IBM 計劃推出全新容器原生軟件定義存儲解決方案 IBM Spectrum Fusion HCI;新發(fā)布的 IBM ESS 3200 提供先前型號 2倍的數(shù)據(jù)訪問性能。
新時代企業(yè)需要敏捷性、多樣性和可擴展性來確保競爭力
根據(jù)麥肯錫咨詢,超過 70% 的頂級CEO表示,提升企業(yè)整體敏捷性、縮短上市時間有助于提升其市場競爭力,而這些也是他們的當(dāng)務(wù)之急。
當(dāng)下,企業(yè)希望比自己的同業(yè)更加敏捷,同樣也希望通過AI技術(shù)獲得更好的洞察力。我們聆聽到三種客戶心聲:
- 希望應(yīng)用和數(shù)據(jù)能夠根據(jù)市場需求動態(tài)進行調(diào)整和變化
- 希望能夠隨處構(gòu)建多樣化工具和數(shù)據(jù),能夠更好地獲得洞察力
- 希望應(yīng)用和數(shù)據(jù)能夠動態(tài)地擴展,實現(xiàn)最高性能,同時保持安全合規(guī)
企業(yè)需要具備使其能夠在任何地方開展工作的敏捷性:這意味著能夠使用支持不同開發(fā)工具的云環(huán)境,能夠進行動態(tài)擴展來滿足客戶需求,同時能夠更精細地控制成本。容器應(yīng)用開發(fā)平臺可為企業(yè)提供在新時代確保競爭力和成功所需的全部敏捷性、多樣性和可擴展性。
企業(yè)對于數(shù)據(jù)的關(guān)注點已經(jīng)從容器轉(zhuǎn)變到應(yīng)用
然而,面向容器化和混合云的轉(zhuǎn)型并非易事。Gartner《2020 年影響基礎(chǔ)架構(gòu)和運維的十大趨勢》報告顯示:安全、混合云和容器是完成數(shù)據(jù)轉(zhuǎn)型的基礎(chǔ)。58% 的企業(yè)認(rèn)為網(wǎng)絡(luò)安全保護是一個非常重要的優(yōu)先事項,50% 的企業(yè)用戶是在數(shù)據(jù)中心或者是在云端之外創(chuàng)建和處理的,71% 以上的企業(yè)認(rèn)為需要一致的方式,在本地基礎(chǔ)架構(gòu)和公有云中來部署云原生應(yīng)用,50% 企業(yè)已經(jīng)部署了容器。
今天,容器應(yīng)用更加注重數(shù)據(jù),有超過一半的企業(yè)認(rèn)為基于容器構(gòu)建的有狀態(tài)應(yīng)用,容器的持久數(shù)據(jù)保護已經(jīng)變得非常普遍。企業(yè)對于數(shù)據(jù)的關(guān)注點已經(jīng)從容器技術(shù)的本身轉(zhuǎn)變到了對應(yīng)用的關(guān)注。5年前,企業(yè)更關(guān)注的是支持容器的存儲,即如何利用已經(jīng)投資在數(shù)據(jù)中心的塊存儲、對象存儲或者文件存儲來支持容器化的應(yīng)用。從2018年至今,越來越多的企業(yè)關(guān)注的是容器原生存儲的技術(shù),即能否夠通過統(tǒng)一的容器管理和調(diào)度平臺來進行存儲的管理。隨著時間的推移,越來越多的企業(yè)在思考,面向存儲的服務(wù),應(yīng)用如何可以更好地去感知,而不是每次都需要進行大量的調(diào)度,調(diào)用運維管理人員來管理存儲服務(wù)。
企業(yè)在構(gòu)建一個混合云和人工智能的數(shù)據(jù)基礎(chǔ)的時候,無論來自于邊緣、核心的數(shù)據(jù)中心,還是混合的云端,都需要專門為人工智能優(yōu)化而且為各種各樣的應(yīng)用提供一個單一的數(shù)據(jù)存儲庫。
構(gòu)建面向應(yīng)用(而非容器)的基礎(chǔ)架構(gòu),包括必要的存儲底層,例如不可變性與加密、同步多協(xié)議訪問、高性能存儲緩存、歸檔到磁帶/云以及數(shù)據(jù)優(yōu)化等。在此基礎(chǔ)上,還需要針對 HA/DR、數(shù)據(jù)保護、容量和性能管理、發(fā)現(xiàn)和編排、安全和遷移,優(yōu)化面向混合云的存儲服務(wù)。企業(yè)需要構(gòu)建一個堅實的數(shù)據(jù)基礎(chǔ),打通存儲底層、存儲服務(wù)和應(yīng)用運行的管理。
容器原生的 IBM Spectrum Fusion 應(yīng)運而生
IBM Spectrum Fusion是業(yè)界第一個面向 OpenShift 混合云容器的原生數(shù)據(jù)平臺,計劃于 2021 年下半年上市,其第一個版本采用超融合基礎(chǔ)架構(gòu) (HCI) ,將計算、存儲和網(wǎng)絡(luò)整合為單一解決方案。配備 Red Hat OpenShift,使企業(yè)能夠支持虛擬機和容器環(huán)境,并為云端、邊緣和容器化數(shù)據(jù)中心提供軟件定義存儲。
該平臺專為需要全局混合云數(shù)據(jù)訪問和企業(yè)存儲服務(wù)的企業(yè)而設(shè)計,滿足任務(wù)關(guān)鍵數(shù)據(jù)的嚴(yán)苛要求,其功能包括:
- 全局?jǐn)?shù)據(jù)訪問:創(chuàng)建混合云靈活性,同時通過從核心到邊緣再到公有云的流暢數(shù)據(jù)和全局訪問消除數(shù)據(jù)孤島。
- OpenShift 基礎(chǔ),企業(yè)級全局?jǐn)?shù)據(jù)服務(wù):通過單個 YB 級可擴展的數(shù)據(jù)基礎(chǔ)來保護和優(yōu)化您的數(shù)據(jù)。
- 簡化 OpenShift 部署:綜合性的計算、網(wǎng)絡(luò)和軟件定義存儲平臺,提供集成的管理界面和監(jiān)控工具。
Spectrum Fusion提供單一的管理門戶,從而簡化管理。企業(yè)可以任意構(gòu)建,隨處運行容器化的應(yīng)用和服務(wù),同時隨時隨地訪問、保護數(shù)據(jù)。該平臺面向應(yīng)用和人工智能,企業(yè)可以輕松管理基礎(chǔ)架構(gòu)(存儲、計算、網(wǎng)絡(luò)),輕松管理存儲的服務(wù)、輕松構(gòu)建和運行應(yīng)用、輕松部署 Red Hat OpenShift 容器平臺,快速敏捷地完成一系列的工作,我們稱之為“交鑰匙”工程。
軟硬一體,專為高性能 AI 和混合云打造的下一代存儲
IBM Elastic Storage Ssystem (ESS) 是一款以現(xiàn)代化方式實施的軟件定義存儲,它結(jié)合了IBM Spectrum Scale 軟件,基于 IBM POWER 處理器的I/O 密集型服務(wù)器以及強大的雙端口存儲機柜。IBM Spectrum Scale并行文件系統(tǒng)是 IBM ESS的核心,可隨需擴展系統(tǒng)吞吐量,同時提供單個命名空間,有助于消除數(shù)據(jù)孤島、簡化存儲管理并提供高性能。新發(fā)布的 ESS 3200 堪比 AI 時代的數(shù)據(jù)加速器:
- 業(yè)界領(lǐng)先的數(shù)據(jù)訪問性能 - 兩倍于上一代 ESS 3000
- 單個模塊高達 80GB/s
- 無論是邊緣、數(shù)據(jù)中心還是云端,可線性擴展到 TB/s 級的性能和 YB 級的容量
從外觀上來看,ESS 3200和上一代的 ESS 3000幾乎是相同的,同樣在一個 2U的空間里面,可支持最多 8 個 InfiniBand HDR-200 或 Ethernet-100 端口,實現(xiàn)了高吞吐量和低延遲;可以為每個 2U 節(jié)點提供最多 367TB 的存儲容量,支持12-24個NVMe的高速存儲模塊,同時提供了兩個Active的雙控制器。和上一代的3000相比,3200的最大的一個改進就是都全面了支持了 PCIe 4.0,無論是控制器里面的芯片,還是外部的存儲模塊。
此外,IBM ESS 5000 也做了更新,支持的密度比之前高出了 10%,總存儲容量達到 15.2PB。所有 ESS 系統(tǒng)現(xiàn)在還具備了簡化的容器化部署功能,并借助最新版本的 Red Hat Ansible 實現(xiàn)了自動化。
升級到 ESS 3200可以保護您的現(xiàn)有投資,幫助您構(gòu)成一個統(tǒng)一的、整合的數(shù)據(jù)湖。您可以在單個命名空間中整合 ESS 3000、3200、5000 及IBM Spectrum Scale SDS 節(jié)點,全局可訪問容量高達 8YB!
Spectrum Scale/COS 增強功能不容錯過
伴隨著 ESS 3200新品發(fā)布,我們還發(fā)布了 Spectrum Scale 5.1.1 GPUDirect 存儲技術(shù)預(yù)覽,讓 NVIDIA 開發(fā)者能夠?qū)崿F(xiàn) GPU 內(nèi)存與存儲之間的直接內(nèi)存訪問 (DMA),同時減少延遲并增加帶寬。
Spectrum Scale 在過去數(shù)年當(dāng)中,一直和 NVIDIA 有著非常緊密的合作,無論是基于NVIDIA提供的GPU卡,還是它的 Work Station、DGX 的服務(wù)器平臺、SuperPOD 集群的平臺,IBM Spectrum Scale都有非常完善的參考架構(gòu)。
目前全球的最大的基于NVIDIA的GPU的系統(tǒng),曾經(jīng)位列世界第一和第二的超級計算機 Summit和Sierra,都采用了ESS作為數(shù)據(jù)存儲平臺。在2018、2019年NIVIDIA推出的每一套的SuperPOD的后面支持的存儲也用到基于 SSD 的 ESS。
此外,針對云對象存儲 Cloud Object Storage 的用戶,還發(fā)布了一個新的適用于所有的機柜的存儲模塊型號 —— Slicestor 92,可幫助客戶實現(xiàn)相當(dāng)于之前 4 倍的密度,無需額外的空間來部署超深機架。這有助于客戶降低運營開支,滿足不同物理數(shù)據(jù)中心條件的用戶來實現(xiàn)一個更高容量、更高存儲密度的一個擴展。
結(jié)合新發(fā)布的ESS 3200、ESS 5000 或者對象存儲的新功能,用戶可以把現(xiàn)有的一些投資:不同地點、不同架構(gòu)、不同類型的存儲,通過 Spectrum Scale按照應(yīng)用的需求組合成一個現(xiàn)代化的數(shù)據(jù)存儲平臺,滿足數(shù)據(jù)在收集、組織、分析等階段所需的訪問便捷性、容量、性能、單位容量成本等需求。通過和 Red Hat OpenShift 集成,所有這些能力都可以同時運行在數(shù)據(jù)中心,也可以運行在混合云環(huán)境,從而幫助用戶真正降低復(fù)雜性、降低成本,同時通過提升整合度,提升數(shù)據(jù)使用效率,獲得更高的數(shù)據(jù)價值。
簡化數(shù)據(jù)管理,提升存儲價值,加速 AI研發(fā)
地平線,一家AI 領(lǐng)域的獨角獸公司,在AI模型訓(xùn)練中所累積的數(shù)據(jù)量超過數(shù)十PB,且每年以若干PB的增量繼續(xù)高速增長,這些數(shù)據(jù)分散在多中心、多云環(huán)境里。起初,地平線使用基于開源GlusterFS、Ceph、以及HDFS所構(gòu)建的數(shù)據(jù)基礎(chǔ)架構(gòu),面臨著豎井林立,存取性能下降,數(shù)據(jù)調(diào)度困難,管理復(fù)雜、數(shù)據(jù)存放成本高等難題,因此亟需改造和升級,以滿足業(yè)務(wù)發(fā)展。
基于IBM Spectrum Scale,地平線構(gòu)建了高性能海量數(shù)據(jù)分布式存儲架構(gòu),統(tǒng)一數(shù)據(jù)平臺,消除豎井,更好地利用資源,讓業(yè)務(wù)迭代更加快速。具體而言:
第一,統(tǒng)一數(shù)據(jù)平臺,提升開發(fā)效率。利用Spectrum Scale 在多云之間形成統(tǒng)一的全局命名空間,將不同數(shù)據(jù)訪問接口的數(shù)據(jù)方便地接入進來統(tǒng)一管理,消除豎井,實現(xiàn)高效開發(fā)迭代和系統(tǒng)管理。
第二,數(shù)據(jù)隨需調(diào)度,快速響應(yīng)需求。Spectrum Scale 讓數(shù)據(jù)得以統(tǒng)一調(diào)度,數(shù)據(jù)可以自動透明地在多云間自由流動,大大節(jié)省了人工成本、降低了誤操作的風(fēng)險,訪問速度達到毫秒級,加速訓(xùn)練任務(wù)日程。
第三,運維自動完成,提升數(shù)據(jù)安全。Spectrum Scale 自帶管理功能,提供簡單易用的圖形界面、操作簡便,原有的很多需要人工干預(yù)的操作變?yōu)樽詣油瓿,在降低管理難度的同時,提升了數(shù)據(jù)安全性。
最后,數(shù)據(jù)自動分層,降低存儲成本。依托Spectrum Scale 統(tǒng)一管理磁盤和磁帶,實現(xiàn)多樣的擴容方式和數(shù)據(jù)自動分層,把冷數(shù)據(jù)如訪問量不高的大文件自動地歸檔到磁帶系統(tǒng)中,形成低成本的長期存儲池,且磁帶數(shù)據(jù)實時隨機讀取,冷數(shù)據(jù)存儲降低了大約 80% 的成本,同時滿足合規(guī)需求。
“依托于Spectrum Scale 統(tǒng)一管理磁盤和磁帶,透明地把數(shù)據(jù)從磁盤遷移到磁帶,也可以從磁帶回遷回來,這一過程完全不需要我們干預(yù),也無需應(yīng)用進行任何訪問方式的改變。一方面,通過靈活的冷熱分層策略,地平線每年可以節(jié)省數(shù)千萬的存儲成本;另一方面,高效的分布式數(shù)據(jù)存儲管理,也使得上層的數(shù)據(jù)管理中臺與前臺業(yè)務(wù)無需關(guān)心存儲本身,而更加專注于業(yè)務(wù)系統(tǒng)的研發(fā)與優(yōu)化! 地平線的 VP水冰先生說道。
值得一提的是,基于Spectrum Scale存儲,地平線利用端側(cè)軟件產(chǎn)品的優(yōu)勢,開發(fā)了一套高效、規(guī);、安全可控的數(shù)據(jù)驅(qū)動閉環(huán)迭代系統(tǒng),打通了端云鏈路,賦能合作伙伴實現(xiàn)從數(shù)據(jù)篩選、采集標(biāo)注、模型訓(xùn)練優(yōu)化、仿真評測,到模型OTA部署,端到端的數(shù)據(jù)迭代閉環(huán),幫助合作伙伴充分挖掘利用數(shù)據(jù)價值,實現(xiàn)智能駕駛軟件自動化迭代,加速產(chǎn)品用戶體驗的提升。