行業應用現狀
物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,每時每刻都產生著海量的數據信息。大數據的對傳統的數據倉庫、數據安全、數據分析、數據挖掘提出新的挑戰。
云計算時代的大數據平臺,不僅要以高性價比、高可擴展的硬件體系支撐PB級別,甚至ZB級別的海量結構化,半結構化,以及非結構化的數據存儲。同時還需要能夠高速地挖掘這些數據價值,為企業創造利潤,真正實現大數據=大價值。
系統所面臨的問題
現在金融行業各大數據核心系統所使用的數據庫,幾乎都是MPP架構數據庫集群,但隨著各金融的業務不斷快速的增長使得系統對數據的處理能力的要求也不斷提高,特別是MPP 節點間互聯網絡因大量集群消息發送流量的瓶頸問題,多節點處理性能甚至比單臺數據庫節點的性能還要低,這就失去了MPP架構本身負載均衡的意義和作用。
為什么要采用RDMA 技術
Mellanox網絡可為用戶提供云計算和下一代數據中心最為全面的解決方案。其主要優點:
-高帶寬,單寬口可提供10/40/56/100Gb/s的速率適應各種應用環境;
-采用RDMA(以太網RoCE)技術,實現硬件卸載功能,釋放CPU性能,CPU處理通訊僅有3%;而傳統以太網的CPU處理通信>55%;
-低延時,采用RDMA網絡端到端延時小于1.2us,傳統萬兆以太網延時一般>20us;
-為存儲和服務器提供最大性能、無擁塞網絡互聯,集群能獲得更多的應用;
為什么要采用SSD技術
采用PCI-E插槽的SSD產品,直接安裝到服務器內部,通過與服務器結合,能夠提供接近緩存的IO處理能力,低延遲,這對于那些高并發、讀取頻繁的數據庫應用來說非常適合。
-傳統的機械硬盤由于讀寫的延遲時間都是幾十毫秒到一百多毫秒,而PCIe固態硬盤 的讀寫延遲時間都在幾十微秒
-傳統機械盤讀寫帶寬大約100MB,而PCI-E SSD讀寫帶寬>1.5GB;
方案優勢
高性能
借助Mellanox交換機嚴謹設計的交換結構,每一個連接到Mellanox交換機上的節點與另外一個節點之間的通訊帶寬都確保每個端口與端口之間的延遲小于100ns,實現PB級大數據的高性能多維分析
高擴展
-支持在線線性擴展,滿足業務發展需要
高可靠性
Infiniband交換機具備系統運行的可靠性;用戶更高的可靠性還可以通過構建冗余路徑的Infiniband Fabric來實現;同時系統多副本機制保證數據高可用,避免單點故障
高性價比
X86架構,節省硬件和存儲設備投資
客戶收益
某運營上在MPP數據庫采用InfiniBand+SSD組網,充分解決了網絡I/O瓶頸和磁盤讀寫問題,其經分系統查詢時間從3小時降低到3分鐘;。
建議配置
交換機
MSB7800-ES2F
網 卡
MCX556A-ECAT
SSD
MLC 1.2T