學會設身處地 設計良好編碼傳遞

在訊息理論中，我們常需要從旁觀察系統，並為發送者(sender)與接收者(receiver)設計最佳化的編碼以達成最高的訊息傳輸效率。近年來訊息理論也被應用到了分析自然系統上面，像是大腦中的感覺(sensory)與運動(motor)路徑。我們在外面觀察是一回事，神經們自己在內部又是怎麼知道如何才能有效率地傳遞訊息呢？

圖一：外部編碼與內部編碼。眼睛代表接收，手指代表輸出。 (A) 外部視角：編/解碼資訊透明，可以根據訊號跟雜訊的特性設計。 (B) 編/解碼資訊不透明，只能事先設計好。 (C), (D), (E) 為 (B) 的各種不同情況： (C) 一次傳輸一個位元時。 (D) 一次傳輸八個位元(一個位元組)時。 (E) 同(D)，但有七個通道被雜訊干擾。

曾提出著名資訊統合理論(Integrated Information Theory, IIT)的托諾尼博士(Giulio Tononi)便提出了一種度量(Barbosa et al. 2020)，著重於三個原則：

因果性(Causality)：這種度量一定要在符號被「非偶然地」送出時才不為零

特異性(Specificity)：這種度量應該要能反應送出的特定符號能傳遞多少訊息

內在性(Intrinsicality)：這種度量應該要能反應，在編碼字典中，符號增加時是增加訊噪比或減少訊噪比。

結合這三個原則便衍生出了「內部訊息差」(Intrinsic Difference, ID)這樣的度量。這個度量可以視為經典的「相對熵」(Relative Entropy, 或稱 Kullback-Leibler Divergence (KLD))的衍生。粗略地說，KLD 可以測量兩種不同編碼之間的__平均距離__有多遠，而 ID 則用來測量兩種編碼之間的__最大距離__。用比喻來說， KLD 能算出系統的整體質量， ID 則能找出系統密度最高的地方。

圖二： ID 與 KL 的比較。 (A), (B) 在沒有雜訊的情況下，KL與ID的結果是一樣的。 (C) 有雜訊時，雖然透過KL可以知道能傳輸的資料上限跟(A)是一樣的，但對被關在箱子裡的人來說，卻會受到多餘的雜訊影響，導致ID下降。 (D) (A)(B)(C)(E)中雜訊強度與KL/ID的關係。可以看到雜訊越強，對分不出訊號跟雜訊的人來說，傳遞正確訊息的機會就越渺茫，甚至會逼近零。 (E) 對於ID來說，只有當雜訊小於一定值的時候，增加多餘的通道才能幫助傳輸效率。在這個雜訊強度下，(E)的ID跟(A)是一樣的。

圖三： 當通道雜訊固定時，ID具有「最佳通道數」的概念，而KL則通道越多，能傳越多資料。當訊息充實度(informativeness, 三角形)隨通道數量成線性增加時，選擇獨特性(selectivity, 圓形)則呈指數下降。

圖四： 在一個全連接的深度神經網路下，不同雜訊強度擁有不同的最佳單一層數神經數量。以雜訊強度 t=1 為例，最佳的數量座落在 8 這個地方，而 t=10 時則大概在 3 。

這項新的度量可以啟發我們在注重於本地運算(Local Computation)的(類)生物系統中，輸入與輸出可以如何被最佳化，像是類神經網路。期待不管在分析或者設計新編碼的時候，內部訊息差都能幫助我們做出更好的理解。

撰文｜葉宸甫

參考資料

Barbosa, Leonardo S., William Marshall, Sabrina Streipert, Larissa Albantakis, and Giulio Tononi. 2020. “A Measure for Intrinsic Information.” Scientific Reports 10 (1): 18803. https://doi.org/10.1038/s41598-020-75943-4.