從以上對比我們可以發現，Spark的數據存儲受到限制。

為了使Spark能夠在運行不同工作負載（例如機器學習應用）時實現卓越性能，Spark內置了內存數據存儲功能。因此，Spark的性能要明顯優于其他大數據處理技術。但是，Spark內存功能受到服務器中可用內存的限制；受此影響，執行 Spark作業期間經常出現系統內存已經飽和，但計算資源卻處于閑置狀態的情況。要消除這種限制，一種辦法為在節點集群上運行Spark的分布式架構，以充分利用所有節點中的可用內存。雖然采用更多節點可以解決服務器DRAM容量問題，但會增加成本。因為DRAM不僅成本高昂，而且還要求各企業配置額外的服務器以獲得更多內存。

英特爾® IMDT（Intel® Memory Drive Technology）是一種軟件定義內存（SDM）技術，與英特爾® 傲騰™ 固態盤相結合使用時，可有效擴展系統內存。這種英特爾® 傲騰™ 固態盤與英特爾® IMDT的結合，可以透明地為操作系統和Spark 作業提供更多內存，消除Spark應用所固有的內存限制。為了演示此功能，英特爾使用了一種當前名為TeraSort的 Spark性能指標評測程序。 該程序測試得出的初始數值顯示，英特爾® IMDT能夠有效提升資源利用率，改進系統性能。

TeraSort是一種常見的性能指標評測程序，用于測量在特定計算機系統上對1TB隨機分布數據進行排序所需的時間。它最初是一種用于測量 Apache Hadoop集群的 MapReduce性能的常用方法，并且有一些用于Spark的變體。在數據處理中，傳入的數據必須先排序才能進行分析或處理，因此排序性能至關重要。而這也說明了該性能指標評測套件如此流行的原因所在。

表1列出了測試的三個不同場景的系統配置。這三種配置包括：基準DRAM配置；基準配置加英特爾® IMDT，以增加內存容量；以及與僅增加DRAM的比較。

表 1：比較配置

圖1展示了軟件堆棧的構成。Spark驅動器和執行器是JVM（Java虛擬機）進程。Spark執行器使用的內核和內存均可配置；在這些測試中，Spark驅動器的內存為7.5GB，Spark執行器的內存為21GB。

圖 1：軟件堆棧

Spark執行器進程包含兩個部分：用戶提交‘spark作業’和驅動器向執行器分配‘任務’，如圖2所示。

圖 3：性能指標評測結果

這一內存擴展方法可通過使用英特爾® IMDT顯著加大系統內存，同時通過運行更多的Spark執行器，充分利用系統計算容量。該性能指標評測程序表明，在具有相同內存和計算能力的系統上，通過添加英特爾® IMDT軟件，可以將 Spark作業吞吐量提高一倍。相對于使用英特爾® IMDT，另一種方法是為系統添加更多DRAM。如圖3的性能指標評測結果所示，添加更多DRAM只能略微提高性能，但成本卻要顯著高于英特爾® IMDT。

測試表明，通過在運行基于Spark的TeraSort工作負載的單個服務器節點上，使用英特爾® IMDT添加兩塊英特爾® 傲騰™ 固態盤DC P4800X，吞吐量提高了一倍，同時運行時間縮短了多達40％。而在向系統添加更多DRAM的方案中，性能相比于IMDT的方案略有提高。然而，要實現這一不到6%的性能提升，成本需要增加大約50%。

相比之下，英特爾® IMDT軟件憑借更低的成本（在本文的比較中，成本大約是DRAM成本的一半），以及所能實現的更高容量（英特爾® IMDT可在雙路節點中添加1280-3200GB的系統內存），在總體擁有成本方面明顯具有更高的優勢。