中文 Izhikevich Part 3: Resonators versus Integrators

$$\newcommand{\Vminus}{V_-}
\newcommand{\Wminus}{W_-}
\newcommand{\Vplus}{V_+}
\newcommand{\dvdv}{\frac{\partial\frac{dV}{dt}}{\partial V}}
\newcommand{\dvdw}{\frac{\partial\frac{dV}{dt}}{\partial W}}
\newcommand{\dwdv}{\frac{\partial\frac{dW}{dt}}{\partial V}}
\newcommand{\dwdw}{\frac{\partial\frac{dW}{dt}}{\partial W}}$$

For English Version press here

撰稿:Alex White
翻譯:劉沛弦

利用非線性二次方的$V^2$項以及藉由選擇不同的參數，Izhikevich model 可以執行許多不同種類的運算 (neural computations)。因此藉由選擇不同的參數，我們可以創建許多擁有不同運算能力的神經元。

「運算」在這裡是指什麼呢？簡單來說，運算是指當給予一個神經細胞訊號後，它如何把訊號輸出的過程。更進一步來說就是：神經會對什麼訊號產生反應？

根據Dr. Izhikevich的說法，一個分類運算特性的方式是分為求積器 (integraotrs)與共振器 (resonators)。簡單分辨他們的方式是共振器有亞閾震盪 (sub-threshold oscillations)而求積器沒有。這看似瑣碎的特性卻是了解神經動力學的關鍵之一。Dr. Izhikevich 曾說：「許多之後談論的神經特性都只不過是有無這個 (亞閾震盪)特性所衍伸出來的結果罷了。」(第7章230頁)

圖一、頂圖：Hodgkin-Huxley model標準參數空間下亞閾震盪的例子。底圖：Izhikevich model 在調整參數後得到與HH model一模一樣的結果。在這兩次模擬中，我們都給予神經細胞弱而短暫的電流刺激。因為這兩個模型的特徵值都是複數，且都有為負的實部，所以他們在靜平衡附近都會震盪。因為這兩個模型的特徵值相同，因此他們擁有相同的震盪頻率與衰減速率。

什麼是亞閾震盪？我們來看看HH model的模擬。神經細胞一開始處於平衡態，而在62ms時被注入電流刺激。神經並非以單調遞減的方式恢復靜平衡，而是在靜平衡附近震盪慢慢遞減回去，因此HH model是共振器。只要選擇適當的參數，Izhikevich neurons也可以是共振器。在上圖中我正是建造了一個與HH model擁有相同震盪頻率的Izhikevich neuron。上圖的兩張圖看起來非常相似，只有最高峰值有些微差異。
接下來我們可以以前篇文章中所提及的無亞閾震盪的Izhikevich neuron做為對照。此模型是求積器。如果給予電流刺激，它會以單調遞減的方式恢復靜平衡。這代表在這個過程中，它的膜電位一定不會低於靜平衡值。

圖二、為求積器的Izhikevich model對於微弱電流刺激的反應。求積器沒有亞閾震盪。這是因為模型的特徵值沒有虛根，因此膜電位會單調遞減回靜平衡。

所有求積器都沒有亞閾震盪。只有共振器有亞閾震盪。我們來以數學的方式解釋這個現象。在Izhikevich 求積器中，膜電位遞減的方式約略為兩個指數的合： $V(t) \approx \xi_1 e^{(\lambda_1 t)} + \xi_2 e^{(\lambda_2 t)}$。式中$\lambda$及$\xi$ 分別為特徵值與特徵向量。反觀在共振器中，膜電位遞減的方程為： $V(t) \approx. C e^{a_1 t}\sin(\omega t+\phi)$。值得注意的是，在這裡的$\lambda_{1,2}=a \pm \omega i$ 、$C$以及$\phi$都取決於特徵向量以及初始條件。
HH共振器的膜電位隨時間的改變可以被粗估為四個指數的合乘以正弦函數。這些數值正是靜平衡附近線性化後的特徵值與特徵函數。有四個特徵值的原因是因為HH model有四個狀態變量（state variable），而Izhikevich neuron 只有兩個。若讀者對於線性化不熟悉，請閱讀這篇文章。
線性化簡介：線性化是假設平衡點附近的小區域是線性的系統。如果我們假設系統是線性的，我們就可以用常用於線性常微分方程的工具，包括特徵值與特徵向量。通常這些區域都很小，在神經科學約為數豪伏，在區域外非線性的影響就已不可忽略。但這些資訊仍然十分有用。
這裡值得注意的是特徵值可以告訴我們許多關於亞閾震盪的資訊。如上所述，任何線性系統可以表示為指數的合。$V(t) \approx \xi_1 e^{\lambda_1 t} + \xi_2 e^{\lambda_2 t}$,其中$\lambda$是特徵值，$\xi_{1,2}$ 是特徵向量。更重要的是注意到$\sin(\omega t)$ 也是指數和。$\sin(\omega t) = \frac{e^{(\omega i t)} - e^{(-\omega i  t)}}{2 i }$，其中 $i$是虛根。因此我們如果有如HH模型的亞閾振盪，而其中 $V(t)\approx C e^{\alpha t} \sin(\omega t)$，我們因方便起見再假設$\phi=0$，則替換後我們可以得到：
$$ V(t)\approx C e^{\alpha t} \sin(\omega t) $$
$$V(t)\approx C e^{\alpha t} \frac{e^{(\omega i t)} -  e^{(-\omega i t)}}{2i} $$
$$V(t)\approx \frac{C}{2i} e^{(\alpha+\omega i) t} +  \frac{-C}{2i}e^{(\alpha-\omega i) t}$$
$$\xi_1 = \frac{C}{2i}\text{ and  } \xi_2 = \frac{-C}{2i}$$
這代表$\lambda = \alpha \pm \omega i $！因此亞閾振盪是虛根所造成的。這代表沒有虛根的特徵值就不會有亞閾振盪，而該神經就不會是一顆共振器。這就是線性化重要的原因了：我們可以利用線性化來初步了解非常複雜的非線性項的運算能力。
現在我們來說說為何要談共振器。生物中真的有這樣的機制嗎？是的，而且他們不只在烏賊中被發現，哺乳類動物中也有。三叉神經中腦核 (mesencephalic trigeminal neurons)與下橄欖核 (Inferior Olive neurons)都是這樣的例子。甚至視丘神經也可以有亞閾振盪。但他們究竟能做甚麼求積器無法做到的事情呢？
共振器對特定頻率的刺激會有反應，而求積器沒有這樣的現象。求積器傾向於將刺激隨時間累積起來，因此如果訊號是震盪的淨結果就會相消。因此求積器是很好的低通濾波器 (low pass filter)。反之，共振器偏好與他們亞閾振盪頻率相同的刺激，因此他們是良好的帶通濾波器 (band pass filter)。
以上現象可以簡單地用一個實驗來描述。我們可以觀察以下兩個不同Izhikevich模型，一個為求積器一個為共振器。我們會注入一個電流 $I(t) = \sin(\Omega t^2)$。這個電流會掃過許多不同頻率，而它所造成的電位變化就會是一個隨時衰減的正弦波。這給我們一個類似傅立葉轉換的東西，因此我們可以估計每個神經在不同頻率的反應。

圖三、一個共振器與一個求積器對電流產生反應。上圖是一個足以產生動作電位的電流。中圖顯示一個只能產生亞閾反應的電流。下圖顯示我們注入的電流。注意到在中圖我們可以看到不同頻率所造成的不同亞閾振盪。當注入電流夠強時，有些會因此產生動作電位。注意到共振器在共振頻率$\omega$處有最大的振幅。當頻率增大時，求積器則是會單調遞減。它只有在頻率很低處才會產生動作電位。

注意到求積器只有在低頻時才會產生動作電位。這是因為他只會對低頻的波產生反應，而當訊號頻率太高時波的高低峰會互相抵銷，所以抑制？的效果更佳。然而共振器的最大值卻是在頻譜的中央某處。這是共振頻率$\omega$。這個刺激頻率對應到共振器的自然頻率 (natural frequency)。如上所述，如果特徵值是$\lambda = a \pm i\omega$，則$\omega$是共振頻率，也是亞閾振盪的頻率。這對生物來說有直接的影響。這代表共振器可以是帶通濾波器，而我們神經科學家就可以發揮創意用它來創建各種不同的電路。

圖四、只對特定強度的刺激有反應的神經網路示意圖。不同的訊號強度使得綠色的神經有不同的發火頻率。而下游的共振器A、B、C在不同的頻率共振。因此只有一顆神經會對正確的頻率有反應。

以一個由四顆神經組成的神經網路為例 (受Izhikevich博士的書中第七章所啟發)。一個輸入訊號的神經連結到下游三個不同的共振器，A、B、C。當電流刺激由低到高逐漸增加時，不同的共振器會發火。在低電流刺激的情況下，綠色的神經的發火頻率會剛好對到A共振器的頻域，所以A會發火。而訊號在B、C的頻域外，故他們不會發火。
然而當訊號的強度居中時，綠色神經的發火頻率會增加，對應到的則是B而非A的頻域。所以只有B會發火。當訊號強度極高時，頻率太高使得A、B都不會發火，但頻率恰巧適合C，因此C會發火。

圖五、上述神經網路的動畫。當電流增加時，綠色神經的發火頻率增加。這增加了A、B或C的共振。達到共振需要花時間，但當達成後神經就會發火。

共振器A、B、C有著不同的參數。這些參數是刻意調成的，使得不同的神經擁有不同的共振頻域，對應到輸入綠色神經不同的電流強度。所以我們要如何找到這些參數呢？這之中涉及許多數學與線性化。若讀者尚未閱讀第二部分的話，建議在此先行閱讀。
記得在上一篇文章中，一個Izhikevich神經為共振器的條件為
$$(a +\frac{k}{C_m}(V_r+V_{th}-2\Vminus))^2<4\left[a\frac{b}{C_m}\right]$$
這是一個複雜的等式，但當此算式為真時，這個神經會擁有一對擁有虛根的特徵值。因此目標是找到一組符合此等式的參數。但有一個更簡單的方法。這個方式就是設$I=0$，使得 $V_- = V_r$。因此我們知道Jacobian矩陣在穩態時是$$
J = \left(
\begin{array}{cc}
 \frac{k(V_r-V_{th})}{C_m} & -\frac{1}{C_m}\\
ab & -a
\end{array}
\right)
$$
我們也知道特徵向量 $\xi_1$與$\xi_2$會形成矩陣$\Xi$ ，而他的特徵值可以形成一個對角矩陣$\Lambda$使得
$$
\Lambda= \left(
\begin{array}{cc}
 \lambda_1 & 0\\
0 & \lambda_2
\end{array}
\right)
$$
我們也知道$$ J = \Xi^{-1} \Lambda \Xi $$。
所以我們的目標是找到對應到我們想要得系統的兩個特徵向量與特徵值。假設目標使想要擁有一顆亞閾振盪頻率為63.6赫茲的神經，而他的衰退半周期是20毫秒。這代表$\lambda_{1,2}= \frac{1}{20}\pm 2\pi i(.0636)\approx -\frac{1}{20} \pm 0 .4i$。注意到我選擇了一個奇怪的赫茲數，原因是因為當我們把此頻率乘以$2\pi$時會比較好計算。特徵函數需要是對方的複共軛，這代表 $\xi_1 = <1, a + b i>$ and $\xi_2= <1,a - b i>$。
這些選項差別不大，因此$\xi_{1,2}= <1, -\frac{1}{20} \pm  .4i >$ 即可。特徵向量們可以當作一個矩陣的列。因此我們可以用$J= \Xi \Lambda \Xi^T$來建構Jacobian矩陣。這代表$$
\left(
\begin{array}{cc}
1 & 1\\
-\frac{1}{20} -  .4i  &  -\frac{1}{20} +  .4i
\end{array}
\right)
\left(
\begin{array}{cc}
 -\frac{1}{20} +  .4i  & 0\\
0 & -\frac{1}{20}-  .4i
\end{array}
\right)
\left(
\begin{array}{cc}
1 & -\frac{1}{20} +  .4i \\
1 & -\frac{1}{20} - .4i
\end{array}
\right)
= \left(
\begin{array}{cc}
\frac{k(V_r-V_{th})}{C_m} & -\frac{1}{C_m}\\
ab & -a
\end{array}
\right)
$$
計算完算式左邊我們得到$$
\left(
\begin{array}{cc}
1 & 17.004\\
1  & -1.04
\end{array}
\right)= \left(
\begin{array}{cc}
\frac{k(V_r-V_{th})}{C_m} & -\frac{1}{C_m}\\
ab & -a
\end{array}
\right)
$$
這馬上告訴我們$C_m\approx.05$、 $a\approx.1.04$及$b\approx .996$。然而我們必須仍需解出這個算式。
現在我們選擇一個較符合實際生物狀況的值 $V_r = -60 mV$。做出這個選擇是鑒於靜止電位並不是很重要。但我們仍須選擇$V_{th}$ 或 $k$並且解我們沒有選的那個。我比較傾向於選擇 $k$因為這讓會讓我們比較好掌控時間。較大的 $k$代表較快的產生動作電位。沒有什麼確切的方式決定動作電位時間，但我選擇$k=.11$ 。選擇參數本身就是一門藝術。但在這裡我讓需要自己挑選的參數縮減到只剩 $k$。
然而當我們依循這個方式進行時，我們會得到許多自動符合此條件的參數：
$$
(a + \frac{k}{C_m}(V_r+V_{th}-2\Vminus))^2<4\left[a\frac{b}{C_m}\right]
$$
我們只需要任意的選擇一個參數$V_r$，然後剩餘的 $k$就可以系統性的猜測出來。當然，這不會給我們$c$ 和$d$ ，但這就是第一篇部落格的分界線(seperatrix)派上用場之處了。我們可以畫出系統對共振電流的反應，如下圖。為了做圖方便，我暫時時選擇了一個任意的$c = -50$和$d = 10$。我們現在用擁有共振頻率的正弦波以及許多初始條件初始化我們的模擬，然後進行觀察。我們想要看系統產生及不產生動作電位時發生了什麼事。然後我們再重設我們的系統，讓他接近不受非線性影響下系統應該在的地方。這給我們$d \approx. 10$和 $c \approx -55$。我們這裡是單純用肉眼觀察，但也可以讓程式來決定。我並沒有這樣做的原因是因為更高的正弦刺激下這個結果會改變。但這給了我們重設點應該在的位置一個良好的估計。
文末順帶一提，調整系統的參數是一件困難的事情。這往往最好的比喻就是藝術了。在這個例子中我同時調動了$k$、$c$和$d$，不只是$k$。我可能會在另一篇部落格中再詳述我選擇參數的方法。但不論用什麼方法，練習總是能讓你更上一層樓(Practice makes perfect)。