超級電腦上模擬生物大腦演算法的新突破
在模擬人類大腦的科學研究最近又取得了進展。由歐盟資助的人腦計畫（Human Brain Project, HBP）涉及歐洲上百個研究單位，旨在對大腦進行各種尺度層級的模擬以研究神經科學。包含於利希研究中心等多間研究機構共同主持的研究項目最近提出了在超級電腦上模擬大腦的新演算法，可以大幅減少模擬所需記憶體的用量以加速運算，成果發表在期刊Frontiers in Neuroinformatics。
在模擬運算中，每個神經元和突觸的動態行為都以一組微分方程來表示，每條連到相同目標神經元的突觸作為一個節點，節點之間彼此進行分散式運算。計算時整個神經網路產生的所有神經脈衝都會傳送到每個節點的記憶體。計算節點需要另外的資料結構來檢查脈衝是否來自有連結的神經元，檢查每個神經元的連結有無需要至少1 bit的空間，因此這樣的資料結構所需記憶體的大小與神經網路的規模匹配。超級電腦大幅增加了處理器核心進行神經網路所需大量的節點運算，但單位處理器的記憶體基本沒有增加，如何減少這些記憶體用量就成為加速運算的課題。
加速運算的關鍵在於神經網路的連結其實非常稀疏，新的演算法所需資料結構不隨神經網路規模等比例增加，而是預先處理神經網絡以確定哪些神經元最有可能彼此連結，讓節點互相交換神經元活動的信息，並且使用該信息來相應地設置資料結構，從而限制計算節點所需記憶體的大小。
研究團隊在超級電腦JUQUEEN上以模擬軟體NEST計算包含5.8兆突觸的神經網路一秒的活動，計算時間從28.5分鐘減少到5.2分鐘。這個新演算法拓展了模擬生物網路於超級電腦的運算，未來研究團隊也預計將成果以開源的形式發布於NEST。
原始論文：
Jordan, J., Ippen, T., Helias, M., Kitayama, I., Sato, M., Igarashi, J., Diesmann, M. and Kunkel, S. (2018). Extremely Scalable Spiking Neuronal Network Simulation Code: From Laptops to Exascale Computers. Frontiers in Neuroinformatics, 12.
撰稿：高暐哲
在模擬運算中，每個神經元和突觸的動態行為都以一組微分方程來表示，每條連到相同目標神經元的突觸作為一個節點，節點之間彼此進行分散式運算。計算時整個神經網路產生的所有神經脈衝都會傳送到每個節點的記憶體。計算節點需要另外的資料結構來檢查脈衝是否來自有連結的神經元，檢查每個神經元的連結有無需要至少1 bit的空間，因此這樣的資料結構所需記憶體的大小與神經網路的規模匹配。超級電腦大幅增加了處理器核心進行神經網路所需大量的節點運算，但單位處理器的記憶體基本沒有增加，如何減少這些記憶體用量就成為加速運算的課題。
加速運算的關鍵在於神經網路的連結其實非常稀疏，新的演算法所需資料結構不隨神經網路規模等比例增加，而是預先處理神經網絡以確定哪些神經元最有可能彼此連結，讓節點互相交換神經元活動的信息，並且使用該信息來相應地設置資料結構，從而限制計算節點所需記憶體的大小。
研究團隊在超級電腦JUQUEEN上以模擬軟體NEST計算包含5.8兆突觸的神經網路一秒的活動，計算時間從28.5分鐘減少到5.2分鐘。這個新演算法拓展了模擬生物網路於超級電腦的運算，未來研究團隊也預計將成果以開源的形式發布於NEST。
原始論文：
Jordan, J., Ippen, T., Helias, M., Kitayama, I., Sato, M., Igarashi, J., Diesmann, M. and Kunkel, S. (2018). Extremely Scalable Spiking Neuronal Network Simulation Code: From Laptops to Exascale Computers. Frontiers in Neuroinformatics, 12.
撰稿：高暐哲
留言
張貼留言