人工神經(jīng)網(wǎng)絡(luò)（注1）利用海量數(shù)據(jù)進(jìn)行反復(fù)多次的學(xué)習(xí)，并通過這一方法來提高識別與分類的精度。近年來，人工神經(jīng)網(wǎng)絡(luò)的研究得到長足發(fā)展，特別是在圖像識別、文字識別以及聲音識別方面，人工智能的精確度已經(jīng)超越了人類。

深度學(xué)習(xí)通過處理海量數(shù)據(jù)來提升精度，因此，在處理速度上比傳統(tǒng)CPU更具優(yōu)勢的GPU（注2）得到了廣泛的應(yīng)用。特別是近年來，神經(jīng)網(wǎng)絡(luò)多層化的趨勢得到了大規(guī)模發(fā)展，海量數(shù)據(jù)學(xué)習(xí)需要耗費(fèi)大量時間，利用多個GPU并行處理，實(shí)現(xiàn)高速化的技術(shù)受到了越來越多的關(guān)注。

一臺計(jì)算機(jī)搭載的GPU數(shù)量有限，因此可以利用高速網(wǎng)絡(luò)實(shí)現(xiàn)多個計(jì)算機(jī)的GPU互連，在進(jìn)行數(shù)據(jù)共享的同時推進(jìn)機(jī)器學(xué)習(xí)處理。然而，由于數(shù)據(jù)共享的復(fù)雜性以及計(jì)算機(jī)互連需要額外的通信時間，并行處理的運(yùn)算速度會受到影響。此外，GPU上搭載的內(nèi)存量通常較小。這些都成為限制神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)高速學(xué)習(xí)的課題。

（注1）它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

（注2）圖形處理器（英語：Graphics Processing Unit，縮寫：GPU），是一種專門在個人電腦、工作站、游戲機(jī)和一些移動設(shè)備（如平板電腦、智能手機(jī)等）上進(jìn)行圖像運(yùn)算工作的微處理器。