IBM 計(jì)劃推出全新容器原生軟件定義存儲(chǔ)解決方案 IBM Spectrum Fusion HCI;新發(fā)布的 IBM ESS 3200 提供先前型號(hào) 2倍的數(shù)據(jù)訪問(wèn)性能。
新時(shí)代企業(yè)需要敏捷性、多樣性和可擴(kuò)展性來(lái)確保競(jìng)爭(zhēng)力
根據(jù)麥肯錫咨詢,超過(guò) 70% 的頂級(jí)CEO表示,提升企業(yè)整體敏捷性、縮短上市時(shí)間有助于提升其市場(chǎng)競(jìng)爭(zhēng)力,而這些也是他們的當(dāng)務(wù)之急。
當(dāng)下,企業(yè)希望比自己的同業(yè)更加敏捷,同樣也希望通過(guò)AI技術(shù)獲得更好的洞察力。我們聆聽(tīng)到三種客戶心聲:
- 希望應(yīng)用和數(shù)據(jù)能夠根據(jù)市場(chǎng)需求動(dòng)態(tài)進(jìn)行調(diào)整和變化
- 希望能夠隨處構(gòu)建多樣化工具和數(shù)據(jù),能夠更好地獲得洞察力
- 希望應(yīng)用和數(shù)據(jù)能夠動(dòng)態(tài)地?cái)U(kuò)展,實(shí)現(xiàn)最高性能,同時(shí)保持安全合規(guī)
企業(yè)需要具備使其能夠在任何地方開展工作的敏捷性:這意味著能夠使用支持不同開發(fā)工具的云環(huán)境,能夠進(jìn)行動(dòng)態(tài)擴(kuò)展來(lái)滿足客戶需求,同時(shí)能夠更精細(xì)地控制成本。容器應(yīng)用開發(fā)平臺(tái)可為企業(yè)提供在新時(shí)代確保競(jìng)爭(zhēng)力和成功所需的全部敏捷性、多樣性和可擴(kuò)展性。
企業(yè)對(duì)于數(shù)據(jù)的關(guān)注點(diǎn)已經(jīng)從容器轉(zhuǎn)變到應(yīng)用
然而,面向容器化和混合云的轉(zhuǎn)型并非易事。Gartner《2020 年影響基礎(chǔ)架構(gòu)和運(yùn)維的十大趨勢(shì)》報(bào)告顯示:安全、混合云和容器是完成數(shù)據(jù)轉(zhuǎn)型的基礎(chǔ)。58% 的企業(yè)認(rèn)為網(wǎng)絡(luò)安全保護(hù)是一個(gè)非常重要的優(yōu)先事項(xiàng),50% 的企業(yè)用戶是在數(shù)據(jù)中心或者是在云端之外創(chuàng)建和處理的,71% 以上的企業(yè)認(rèn)為需要一致的方式,在本地基礎(chǔ)架構(gòu)和公有云中來(lái)部署云原生應(yīng)用,50% 企業(yè)已經(jīng)部署了容器。
今天,容器應(yīng)用更加注重?cái)?shù)據(jù),有超過(guò)一半的企業(yè)認(rèn)為基于容器構(gòu)建的有狀態(tài)應(yīng)用,容器的持久數(shù)據(jù)保護(hù)已經(jīng)變得非常普遍。企業(yè)對(duì)于數(shù)據(jù)的關(guān)注點(diǎn)已經(jīng)從容器技術(shù)的本身轉(zhuǎn)變到了對(duì)應(yīng)用的關(guān)注。5年前,企業(yè)更關(guān)注的是支持容器的存儲(chǔ),即如何利用已經(jīng)投資在數(shù)據(jù)中心的塊存儲(chǔ)、對(duì)象存儲(chǔ)或者文件存儲(chǔ)來(lái)支持容器化的應(yīng)用。從2018年至今,越來(lái)越多的企業(yè)關(guān)注的是容器原生存儲(chǔ)的技術(shù),即能否夠通過(guò)統(tǒng)一的容器管理和調(diào)度平臺(tái)來(lái)進(jìn)行存儲(chǔ)的管理。隨著時(shí)間的推移,越來(lái)越多的企業(yè)在思考,面向存儲(chǔ)的服務(wù),應(yīng)用如何可以更好地去感知,而不是每次都需要進(jìn)行大量的調(diào)度,調(diào)用運(yùn)維管理人員來(lái)管理存儲(chǔ)服務(wù)。
企業(yè)在構(gòu)建一個(gè)混合云和人工智能的數(shù)據(jù)基礎(chǔ)的時(shí)候,無(wú)論來(lái)自于邊緣、核心的數(shù)據(jù)中心,還是混合的云端,都需要專門為人工智能優(yōu)化而且為各種各樣的應(yīng)用提供一個(gè)單一的數(shù)據(jù)存儲(chǔ)庫(kù)。
構(gòu)建面向應(yīng)用(而非容器)的基礎(chǔ)架構(gòu),包括必要的存儲(chǔ)底層,例如不可變性與加密、同步多協(xié)議訪問(wèn)、高性能存儲(chǔ)緩存、歸檔到磁帶/云以及數(shù)據(jù)優(yōu)化等。在此基礎(chǔ)上,還需要針對(duì) HA/DR、數(shù)據(jù)保護(hù)、容量和性能管理、發(fā)現(xiàn)和編排、安全和遷移,優(yōu)化面向混合云的存儲(chǔ)服務(wù)。企業(yè)需要構(gòu)建一個(gè)堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ),打通存儲(chǔ)底層、存儲(chǔ)服務(wù)和應(yīng)用運(yùn)行的管理。
容器原生的 IBM Spectrum Fusion 應(yīng)運(yùn)而生
IBM Spectrum Fusion是業(yè)界第一個(gè)面向 OpenShift 混合云容器的原生數(shù)據(jù)平臺(tái),計(jì)劃于 2021 年下半年上市,其第一個(gè)版本采用超融合基礎(chǔ)架構(gòu) (HCI) ,將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)整合為單一解決方案。配備 Red Hat OpenShift,使企業(yè)能夠支持虛擬機(jī)和容器環(huán)境,并為云端、邊緣和容器化數(shù)據(jù)中心提供軟件定義存儲(chǔ)。
該平臺(tái)專為需要全局混合云數(shù)據(jù)訪問(wèn)和企業(yè)存儲(chǔ)服務(wù)的企業(yè)而設(shè)計(jì),滿足任務(wù)關(guān)鍵數(shù)據(jù)的嚴(yán)苛要求,其功能包括:
- 全局?jǐn)?shù)據(jù)訪問(wèn):創(chuàng)建混合云靈活性,同時(shí)通過(guò)從核心到邊緣再到公有云的流暢數(shù)據(jù)和全局訪問(wèn)消除數(shù)據(jù)孤島。
- OpenShift 基礎(chǔ),企業(yè)級(jí)全局?jǐn)?shù)據(jù)服務(wù):通過(guò)單個(gè) YB 級(jí)可擴(kuò)展的數(shù)據(jù)基礎(chǔ)來(lái)保護(hù)和優(yōu)化您的數(shù)據(jù)。
- 簡(jiǎn)化 OpenShift 部署:綜合性的計(jì)算、網(wǎng)絡(luò)和軟件定義存儲(chǔ)平臺(tái),提供集成的管理界面和監(jiān)控工具。
Spectrum Fusion提供單一的管理門戶,從而簡(jiǎn)化管理。企業(yè)可以任意構(gòu)建,隨處運(yùn)行容器化的應(yīng)用和服務(wù),同時(shí)隨時(shí)隨地訪問(wèn)、保護(hù)數(shù)據(jù)。該平臺(tái)面向應(yīng)用和人工智能,企業(yè)可以輕松管理基礎(chǔ)架構(gòu)(存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)),輕松管理存儲(chǔ)的服務(wù)、輕松構(gòu)建和運(yùn)行應(yīng)用、輕松部署 Red Hat OpenShift 容器平臺(tái),快速敏捷地完成一系列的工作,我們稱之為“交鑰匙”工程。
軟硬一體,專為高性能 AI 和混合云打造的下一代存儲(chǔ)
IBM Elastic Storage Ssystem (ESS) 是一款以現(xiàn)代化方式實(shí)施的軟件定義存儲(chǔ),它結(jié)合了IBM Spectrum Scale 軟件,基于 IBM POWER 處理器的I/O 密集型服務(wù)器以及強(qiáng)大的雙端口存儲(chǔ)機(jī)柜。IBM Spectrum Scale并行文件系統(tǒng)是 IBM ESS的核心,可隨需擴(kuò)展系統(tǒng)吞吐量,同時(shí)提供單個(gè)命名空間,有助于消除數(shù)據(jù)孤島、簡(jiǎn)化存儲(chǔ)管理并提供高性能。新發(fā)布的 ESS 3200 堪比 AI 時(shí)代的數(shù)據(jù)加速器:
- 業(yè)界領(lǐng)先的數(shù)據(jù)訪問(wèn)性能 - 兩倍于上一代 ESS 3000
- 單個(gè)模塊高達(dá) 80GB/s
- 無(wú)論是邊緣、數(shù)據(jù)中心還是云端,可線性擴(kuò)展到 TB/s 級(jí)的性能和 YB 級(jí)的容量
從外觀上來(lái)看,ESS 3200和上一代的 ESS 3000幾乎是相同的,同樣在一個(gè) 2U的空間里面,可支持最多 8 個(gè) InfiniBand HDR-200 或 Ethernet-100 端口,實(shí)現(xiàn)了高吞吐量和低延遲;可以為每個(gè) 2U 節(jié)點(diǎn)提供最多 367TB 的存儲(chǔ)容量,支持12-24個(gè)NVMe的高速存儲(chǔ)模塊,同時(shí)提供了兩個(gè)Active的雙控制器。和上一代的3000相比,3200的最大的一個(gè)改進(jìn)就是都全面了支持了 PCIe 4.0,無(wú)論是控制器里面的芯片,還是外部的存儲(chǔ)模塊。
此外,IBM ESS 5000 也做了更新,支持的密度比之前高出了 10%,總存儲(chǔ)容量達(dá)到 15.2PB。所有 ESS 系統(tǒng)現(xiàn)在還具備了簡(jiǎn)化的容器化部署功能,并借助最新版本的 Red Hat Ansible 實(shí)現(xiàn)了自動(dòng)化。
升級(jí)到 ESS 3200可以保護(hù)您的現(xiàn)有投資,幫助您構(gòu)成一個(gè)統(tǒng)一的、整合的數(shù)據(jù)湖。您可以在單個(gè)命名空間中整合 ESS 3000、3200、5000 及IBM Spectrum Scale SDS 節(jié)點(diǎn),全局可訪問(wèn)容量高達(dá) 8YB!
Spectrum Scale/COS 增強(qiáng)功能不容錯(cuò)過(guò)
伴隨著 ESS 3200新品發(fā)布,我們還發(fā)布了 Spectrum Scale 5.1.1 GPUDirect 存儲(chǔ)技術(shù)預(yù)覽,讓 NVIDIA 開發(fā)者能夠?qū)崿F(xiàn) GPU 內(nèi)存與存儲(chǔ)之間的直接內(nèi)存訪問(wèn) (DMA),同時(shí)減少延遲并增加帶寬。
Spectrum Scale 在過(guò)去數(shù)年當(dāng)中,一直和 NVIDIA 有著非常緊密的合作,無(wú)論是基于NVIDIA提供的GPU卡,還是它的 Work Station、DGX 的服務(wù)器平臺(tái)、SuperPOD 集群的平臺(tái),IBM Spectrum Scale都有非常完善的參考架構(gòu)。
目前全球的最大的基于NVIDIA的GPU的系統(tǒng),曾經(jīng)位列世界第一和第二的超級(jí)計(jì)算機(jī) Summit和Sierra,都采用了ESS作為數(shù)據(jù)存儲(chǔ)平臺(tái)。在2018、2019年NIVIDIA推出的每一套的SuperPOD的后面支持的存儲(chǔ)也用到基于 SSD 的 ESS。
此外,針對(duì)云對(duì)象存儲(chǔ) Cloud Object Storage 的用戶,還發(fā)布了一個(gè)新的適用于所有的機(jī)柜的存儲(chǔ)模塊型號(hào) —— Slicestor 92,可幫助客戶實(shí)現(xiàn)相當(dāng)于之前 4 倍的密度,無(wú)需額外的空間來(lái)部署超深機(jī)架。這有助于客戶降低運(yùn)營(yíng)開支,滿足不同物理數(shù)據(jù)中心條件的用戶來(lái)實(shí)現(xiàn)一個(gè)更高容量、更高存儲(chǔ)密度的一個(gè)擴(kuò)展。
結(jié)合新發(fā)布的ESS 3200、ESS 5000 或者對(duì)象存儲(chǔ)的新功能,用戶可以把現(xiàn)有的一些投資:不同地點(diǎn)、不同架構(gòu)、不同類型的存儲(chǔ),通過(guò) Spectrum Scale按照應(yīng)用的需求組合成一個(gè)現(xiàn)代化的數(shù)據(jù)存儲(chǔ)平臺(tái),滿足數(shù)據(jù)在收集、組織、分析等階段所需的訪問(wèn)便捷性、容量、性能、單位容量成本等需求。通過(guò)和 Red Hat OpenShift 集成,所有這些能力都可以同時(shí)運(yùn)行在數(shù)據(jù)中心,也可以運(yùn)行在混合云環(huán)境,從而幫助用戶真正降低復(fù)雜性、降低成本,同時(shí)通過(guò)提升整合度,提升數(shù)據(jù)使用效率,獲得更高的數(shù)據(jù)價(jià)值。
簡(jiǎn)化數(shù)據(jù)管理,提升存儲(chǔ)價(jià)值,加速 AI研發(fā)
地平線,一家AI 領(lǐng)域的獨(dú)角獸公司,在AI模型訓(xùn)練中所累積的數(shù)據(jù)量超過(guò)數(shù)十PB,且每年以若干PB的增量繼續(xù)高速增長(zhǎng),這些數(shù)據(jù)分散在多中心、多云環(huán)境里。起初,地平線使用基于開源GlusterFS、Ceph、以及HDFS所構(gòu)建的數(shù)據(jù)基礎(chǔ)架構(gòu),面臨著豎井林立,存取性能下降,數(shù)據(jù)調(diào)度困難,管理復(fù)雜、數(shù)據(jù)存放成本高等難題,因此亟需改造和升級(jí),以滿足業(yè)務(wù)發(fā)展。
基于IBM Spectrum Scale,地平線構(gòu)建了高性能海量數(shù)據(jù)分布式存儲(chǔ)架構(gòu),統(tǒng)一數(shù)據(jù)平臺(tái),消除豎井,更好地利用資源,讓業(yè)務(wù)迭代更加快速。具體而言:
第一,統(tǒng)一數(shù)據(jù)平臺(tái),提升開發(fā)效率。利用Spectrum Scale 在多云之間形成統(tǒng)一的全局命名空間,將不同數(shù)據(jù)訪問(wèn)接口的數(shù)據(jù)方便地接入進(jìn)來(lái)統(tǒng)一管理,消除豎井,實(shí)現(xiàn)高效開發(fā)迭代和系統(tǒng)管理。
第二,數(shù)據(jù)隨需調(diào)度,快速響應(yīng)需求。Spectrum Scale 讓數(shù)據(jù)得以統(tǒng)一調(diào)度,數(shù)據(jù)可以自動(dòng)透明地在多云間自由流動(dòng),大大節(jié)省了人工成本、降低了誤操作的風(fēng)險(xiǎn),訪問(wèn)速度達(dá)到毫秒級(jí),加速訓(xùn)練任務(wù)日程。
第三,運(yùn)維自動(dòng)完成,提升數(shù)據(jù)安全。Spectrum Scale 自帶管理功能,提供簡(jiǎn)單易用的圖形界面、操作簡(jiǎn)便,原有的很多需要人工干預(yù)的操作變?yōu)樽詣?dòng)完成,在降低管理難度的同時(shí),提升了數(shù)據(jù)安全性。
最后,數(shù)據(jù)自動(dòng)分層,降低存儲(chǔ)成本。依托Spectrum Scale 統(tǒng)一管理磁盤和磁帶,實(shí)現(xiàn)多樣的擴(kuò)容方式和數(shù)據(jù)自動(dòng)分層,把冷數(shù)據(jù)如訪問(wèn)量不高的大文件自動(dòng)地歸檔到磁帶系統(tǒng)中,形成低成本的長(zhǎng)期存儲(chǔ)池,且磁帶數(shù)據(jù)實(shí)時(shí)隨機(jī)讀取,冷數(shù)據(jù)存儲(chǔ)降低了大約 80% 的成本,同時(shí)滿足合規(guī)需求。
“依托于Spectrum Scale 統(tǒng)一管理磁盤和磁帶,透明地把數(shù)據(jù)從磁盤遷移到磁帶,也可以從磁帶回遷回來(lái),這一過(guò)程完全不需要我們干預(yù),也無(wú)需應(yīng)用進(jìn)行任何訪問(wèn)方式的改變。一方面,通過(guò)靈活的冷熱分層策略,地平線每年可以節(jié)省數(shù)千萬(wàn)的存儲(chǔ)成本;另一方面,高效的分布式數(shù)據(jù)存儲(chǔ)管理,也使得上層的數(shù)據(jù)管理中臺(tái)與前臺(tái)業(yè)務(wù)無(wú)需關(guān)心存儲(chǔ)本身,而更加專注于業(yè)務(wù)系統(tǒng)的研發(fā)與優(yōu)化。” 地平線的 VP水冰先生說(shuō)道。
值得一提的是,基于Spectrum Scale存儲(chǔ),地平線利用端側(cè)軟件產(chǎn)品的優(yōu)勢(shì),開發(fā)了一套高效、規(guī)模化、安全可控的數(shù)據(jù)驅(qū)動(dòng)閉環(huán)迭代系統(tǒng),打通了端云鏈路,賦能合作伙伴實(shí)現(xiàn)從數(shù)據(jù)篩選、采集標(biāo)注、模型訓(xùn)練優(yōu)化、仿真評(píng)測(cè),到模型OTA部署,端到端的數(shù)據(jù)迭代閉環(huán),幫助合作伙伴充分挖掘利用數(shù)據(jù)價(jià)值,實(shí)現(xiàn)智能駕駛軟件自動(dòng)化迭代,加速產(chǎn)品用戶體驗(yàn)的提升。