戴爾針對其PowerScale集群文件系統(tǒng)存儲的并行化改進正在穩(wěn)步推進。戴爾發(fā)言人表示："我們在Project Lightning的早期訪問階段收到了積極反饋，請繼續(xù)關(guān)注正式版本的發(fā)布消息。"

PowerScale是戴爾擴展并重新品牌化的Isilon橫向擴展文件存儲技術(shù)，搭載OneFS操作系統(tǒng)，支持4到256個節(jié)點。它與Qumulo的Core系統(tǒng)形成競爭關(guān)系，后者由一些Isilon創(chuàng)始人開發(fā)，采用類似的集群化橫向擴展設計。

另一種高性能文件系統(tǒng)技術(shù)使用并行文件系統(tǒng)，如IBM的Storage Scale（重新品牌化并開發(fā)的GPFS）和Lustre。這些系統(tǒng)為高性能計算（HPC）系統(tǒng)提供更高帶寬的文件系統(tǒng)訪問。近年來，隨著大數(shù)據(jù)分析和人工智能的興起，以及多GPU服務器的普及，企業(yè)計算、AI訓練和推理都需要高性能文件訪問能力。

這一需求催生了VAST Data的并行數(shù)據(jù)訪問技術(shù)、Hammerspace的并行NFS技術(shù)，以及WEKA的并行文件系統(tǒng)技術(shù)。作為回應，戴爾在2024年啟動了Project Lightning項目，為其PowerScale和ObjectScale存儲系統(tǒng)增加并行訪問功能。當時，戴爾ISG部門營銷高級副總裁Varun Chhabra在戴爾科技世界大會上表示："Project Lightning將為PowerScale中的非結(jié)構(gòu)化數(shù)據(jù)提供并行文件系統(tǒng)。該項目將帶來極致性能和無與倫比的效率，接近線速率效率——97%的網(wǎng)絡利用率，以及滿足數(shù)千個數(shù)據(jù)密集型GPU的能力。"

戴爾告訴我們，通過Project Lightning："PowerScale以NAS的簡便性提供企業(yè)級并行文件系統(tǒng)性能，適用于從小型到大規(guī)模部署的各種企業(yè)，并內(nèi)置安全功能。它可在多個節(jié)點間為多個客戶端提供大規(guī)模I/O，為AI、HPC和分析工作負載提供一致的高速訪問、高并發(fā)和低延遲，采用分布式元數(shù)據(jù)且無中央瓶頸。"

與并行文件系統(tǒng)一般特性相符，"PowerScale還利用客戶端軟件層將讀取操作分發(fā)到集群中的所有節(jié)點，實現(xiàn)真正的并行讀取性能（包括RDMA等優(yōu)勢，避免TCP開銷）。雖然我們不想提前透露，但我們即將推出一些重要更新，將使PowerScale更加并行化并大幅提升性能。"

RDMA是遠程直接內(nèi)存訪問技術(shù)，并行化的PowerScale將在驅(qū)動器級別使用這項技術(shù)。"Project Lightning通過直接從客戶端到設備的連接，繞過文件系統(tǒng)，實現(xiàn)極低延遲和極高性能。由于直接連接到設備，其性能受制于網(wǎng)絡結(jié)構(gòu)。Project Lightning將成為世界上最快的并行文件系統(tǒng)，性能比競爭系統(tǒng)高出2倍。"

主要的并行文件系統(tǒng)競爭對手包括IBM Storage Scale、DDN Lustre、VDURA的PanFS、Quobyte和BeeGFS。這些系統(tǒng)都具有HPC背景，大多數(shù)現(xiàn)在都支持企業(yè)AI用例。它們都需要訪問系統(tǒng)安裝特定的客戶端軟件，將標準文件系統(tǒng)訪問協(xié)議轉(zhuǎn)換為并行文件系統(tǒng)軟件內(nèi)部的多節(jié)點處理。VAST Data和Hammerspace則不需要，依賴標準的NFS和SMB。WEKA需要在訪問WekaFS文件系統(tǒng)的系統(tǒng)上安裝其WEKA客戶端軟件進行直接文件訪問。

NetApp推出了用于AI的ONTAP項目，配備獨立的計算控制器，運行ONTAP實例，"增強了額外的元數(shù)據(jù)和數(shù)據(jù)服務"，以及裝滿NVMe SSD的存儲節(jié)點，形成單一存儲池，通過高速、低延遲、基于以太網(wǎng)的RDMA結(jié)構(gòu)進行訪問。我們預計在未來幾周內(nèi)會有關(guān)于其進展的消息。HPE與VAST Data就其文件系統(tǒng)軟件達成了合作協(xié)議。

這些舉措為Qumulo提供了機會，要么加強其中間市場的吸引力，要么在其Core操作系統(tǒng)中增加并行訪問功能，配合其性能增強的NeuralCache預測緩存功能。

我們預計在未來幾周內(nèi)會聽到更多關(guān)于Project Lightning對PowerScale影響的消息，它很可能會在明年5月在拉斯維加斯舉行的戴爾科技世界大會上成為重點。

Q&A

Q1：戴爾Project Lightning項目是什么？

A：Project Lightning是戴爾在2024年啟動的項目，旨在為其PowerScale和ObjectScale存儲系統(tǒng)增加并行訪問功能，提供企業(yè)級并行文件系統(tǒng)性能，實現(xiàn)97%的網(wǎng)絡利用率和滿足數(shù)千個數(shù)據(jù)密集型GPU的處理需求。

Q2：PowerScale與競爭對手相比有什么優(yōu)勢？

A：PowerScale結(jié)合了NAS的簡便性和并行文件系統(tǒng)的高性能，支持4到256個節(jié)點，提供分布式元數(shù)據(jù)且無中央瓶頸。通過Project Lightning，其性能比競爭系統(tǒng)高出2倍，成為世界上最快的并行文件系統(tǒng)。

Q3：哪些企業(yè)需要使用并行文件系統(tǒng)技術(shù)？

A：主要是需要高性能計算的企業(yè)，包括進行大數(shù)據(jù)分析、AI訓練和推理的公司，以及使用多GPU服務器的企業(yè)。這些場景都需要高速文件訪問、高并發(fā)和低延遲的存儲解決方案。