僅用一張2D切片圖就產生3D結構圖！！而且可以投入材料科學模擬實驗！

自從2014年生成對抗網路由Goodfellow 提出後，至今GAN技術已經十分成熟，應用於眾多的領域最知名的例子有AI畫家或是惡名昭彰的換臉（DeepFake）。

GAN的功用簡要說明就是透過反覆的透過生成器產生假資料，並透過鑑別器去評估假資料的真實性，這樣反覆的訓練下，就能訓練出一套可以產生以假亂真的數據集，不論在藝術創作或是基礎研究（生醫影像、材料科學）都有很大的貢獻。

今天要介紹一個新的技術：「SliceGAN」這是一個透過基於GAN去拓展數據，從2D切片生成出3D結構。這個技術生成的3D結構與真實的材料具有極為相似的特性。

從圖1可以看到SliceGAN僅透過一張2D圖生成出結構相似的3D圖片，以及使用沒經過訓練的角度作為輸入，也能生成出3D圖。

圖1：左到右為一張2D切片輸入模型，生成出3D結構圖。中間為比較切片與生成後的平行切片。右側為45度角（訓練模型時並未使用45度角的切片）切片比較生成3D結構後的同層切片。

然而圖2可以看到SliceGAN與3D to 3D(Gayon-Lombardo et al,2020)算法所還原的3D結構圖與原始資料都有極為相近的特性，這也證明SliceGAN所生成的結構圖具有可用性，然而比起3D to 3D所需的訓練資料更少，僅需一張2D切片即可生成3D結構圖。

圖2：比較兩種算法與原始訓練資料的三種電化學與材料特性的統計分析。可觀察3D to 3D與SliceGAN都與原始數據有極相似的統計結果。

這項技術主要的貢獻在可以將2D顯微照片生成統計上真實的3D結構圖，並可用於電化學的模擬，因為2D圖像在解析度跟大小上能夠超越3D成像的局限性，此技術目前著重在材料優化的目的，可以快速的將一張2D顯微圖生成10^8 個體像素(voxel) 的3D結構圖(僅需幾秒鐘)，未來可以結合其他常見的GAN方法與遷移學習開發出其他目的的用途，SliceGAN也提供我們廣泛擴展的潛力。

撰文：許楷翊

參考文獻：

1. Gayon-Lombardo, A., Mosser, L., Brandon, N. P., & Cooper, S. J. (2020). Pores for thought: generative adversarial networks for stochastic reconstruction of 3D multi-phase electrode microstructures with periodic boundaries. npj Computational Materials, 6(1), 1-11.

2. Kench, S., & Cooper, S. J. (2021). Generating three-dimensional structures from a two-dimensional slice with generative adversarial network-based dimensionality expansion. Nature Machine Intelligence, 3(4), 299-305.