人工神經網絡（注1）利用海量數據進行反復多次的學習，并通過這一方法來提高識別與分類的精度。近年來，人工神經網絡的研究得到長足發展，特別是在圖像識別、文字識別以及聲音識別方面，人工智能的精確度已經超越了人類。

深度學習通過處理海量數據來提升精度，因此，在處理速度上比傳統CPU更具優勢的GPU（注2）得到了廣泛的應用。特別是近年來，神經網絡多層化的趨勢得到了大規模發展，海量數據學習需要耗費大量時間，利用多個GPU并行處理，實現高速化的技術受到了越來越多的關注。

一臺計算機搭載的GPU數量有限，因此可以利用高速網絡實現多個計算機的GPU互連，在進行數據共享的同時推進機器學習處理。然而，由于數據共享的復雜性以及計算機互連需要額外的通信時間，并行處理的運算速度會受到影響。此外，GPU上搭載的內存量通常較小。這些都成為限制神經網絡實現高速學習的課題。

（注1）它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

（注2）圖形處理器（英語：Graphics Processing Unit，縮寫：GPU），是一種專門在個人電腦、工作站、游戲機和一些移動設備（如平板電腦、智能手機等）上進行圖像運算工作的微處理器。

為了解決上述課題，富士通研究所開發了兩項創新技術：

該技術能夠自動控制數據傳輸的優先順序，使得下一步學習處理所需要的數據能夠事先進行共享。采用富士通開發的數據處理技術，在第二階段開始之前，就啟動第一層的數據共享處理任務，使得開啟第二階段的等待時間得到了大幅縮減。對比如下圖：

針對計算機共享的處理結果，當原始數據較小時，每臺計算機共享數據然后進行相同的操作，消除了結果傳輸所需的時間；當原始數據較大時，處理任務會分配到各個節點，處理結果也會在每臺計算機間進行共享。通過基于數據量來自動分配最佳的操作方法，該技術能夠最大限度地減少總體操作時間，如下圖：

富士通研究所開發的這項技術，能夠提升內存使用效率，利用一臺GPU的計算能力來擴大神經網絡規模，避免了使用并行方法導致的學習速度降低問題。通過內存資源的重復利用，該技術能夠降低內存用量。當啟動學習時，神經網絡中每一層的結構都將進行分析，并相應調整運算順序，以便分配內存空間給更大的數據處理任務，整體的內存使用量也將得到降低。如下圖：

實現世界最快的學習速度！