新世代的仿生感應器
隨著物聯網(IoT)科技的發展,擁有輕巧、低功耗、即時三項特性的感應器就顯得非常重要,因為物聯網時代處處佈滿感應器,監測你身邊的大小事,甚至還有你的健康狀況,如此一個龐大的感測器網路,將會需要大量的平行處理,與衍生出巨大的功耗,即使每一個傳統感測器的能源消耗並不多。近來很多在機器學習領域的嘗試,希望能以人工神經網路(artificial neural network)等方式增進感應器的資料處理與校正能力,讓感應器變得更聰明,以降低運算量。
然而近十多年來,一個全新的感應器設計概念漸漸嶄露頭角──仿神經(neuromorphic),這個全新的設計概念促使低功耗(low-power)自適應(self-adapting)感測器,進入典範轉移(paradigm shift)狀態。仿神經顧名思義是以生物體神經系統運作概念為本的設計理念,與傳統感應器的關鍵差異在於將資訊以神經動作電位(action potential)的形式傳遞,而不是一般認知的數值資訊。現今仿神經電路的實作類比與數位都有,是一個發展蓬勃的新領域。作者舉出三種目前研究熱度最高的仿神經感應器,視覺、聽覺和嗅覺:
1)仿神經視覺感測器是目前發展最熱絡的部分,迥異於大眾印象中的攝影機紀錄以幀(frame)為單位的資料,是以事件(event)為訊息單位。基於生物視網膜的三階段訊號處理模型,感光細胞(photoreceptor)接收光刺激,下游的雙極細胞(bipolar cell)和開關節細胞(ON/OFF ganglia cell)將輸出資訊為ON/OFF,也就是說和上一個狀態相比,光刺激是增強或減弱,若沒有變化則沒有額外資訊。這樣運作的相機被稱作動態視覺感測器(dynamic vision sensor, DVS),只處理有訊息變化的像素,使得資料量相對每一幀都完整輸出的傳統相機大幅降低。
2)聽覺感測器要解決的問題和視覺十分相似,傳統聲音感應器根據應用需要不同的採樣率(sampling rate),接續高精度類比數位轉換與濾波器等步驟處理每一個採樣點的資料,本質是一樣是以幀為基礎(frame-based)的運算。仿神經電子耳以耳蝸(cochlea)中基底膜(basilar membrane)轉換不同頻率的工作原理出發,一系列的低通濾波器模擬不同毛細胞(hair cell)對不同頻率的選擇性,一樣可以針對各頻段的聲音事件做出反應。
3)傳統嗅覺感測器需要大量特徵抽取(feature extraction)、樣式辨識(pattern recognition)過程,仿神經電子鼻(electronic nose)的目標就是突破這部分的運算瓶頸,有許多不同的實作方式,主要架構是有一個感測器陣列,分別偏好不同的化學物質,接著信號處理單元,再進入樣式辨識單元。這些單元都能以仿神經迴路實作,以達到低耗能、高運算效率的結果。但目前尚未有比較完整的產品實作。
以上事件基礎(event-based)的資料輸出,主流會搭配AER(address event representation)的溝通協定,能展現仿神經運算的即時、非同步(asynchronous)之特性。因應事件基礎的感應器輸出,仿神經運算晶片(neuromorphic processor)也被發展出來,硬體上實現脈衝式神經網路(spiking neural network, SNN),高度平行化運算解決傳統電腦馮紐曼架構(Von Neumann architecture)不善於處理非同步資料的缺點。
仿神經的設計理念,在只傳遞必要的資料,並且具有高度適應性與容錯性(fault-tolerant),且能進一步實現生物上的學習機制。作者在文中另提到,事實上所有的感應器都能有仿神經的實現方式,包括味覺、壓力、震動、溫度等,低功耗的特性讓仿神經系統具應用於系統單晶片(system on chip, SoC)的能力,有很大的物聯網應用潛力。
撰文:姚皇宇
原始文獻:
1. Vanarse, A., Osseiran, A. & Rassau, A. A Review of Current Neuromorphic Approaches for Vision, Auditory, and Olfactory Sensors. Front. Neurosci. 10, (2016).
2. Vanarse, A., Osseiran, A. & Rassau, A. Neuromorphic engineering — A paradigm shift for future IM technologies. IEEE Instrumentation Measurement Magazine 22, 4–9 (2019).
https://ieeexplore.ieee.org/document/8674627
然而近十多年來,一個全新的感應器設計概念漸漸嶄露頭角──仿神經(neuromorphic),這個全新的設計概念促使低功耗(low-power)自適應(self-adapting)感測器,進入典範轉移(paradigm shift)狀態。仿神經顧名思義是以生物體神經系統運作概念為本的設計理念,與傳統感應器的關鍵差異在於將資訊以神經動作電位(action potential)的形式傳遞,而不是一般認知的數值資訊。現今仿神經電路的實作類比與數位都有,是一個發展蓬勃的新領域。作者舉出三種目前研究熱度最高的仿神經感應器,視覺、聽覺和嗅覺:
1)仿神經視覺感測器是目前發展最熱絡的部分,迥異於大眾印象中的攝影機紀錄以幀(frame)為單位的資料,是以事件(event)為訊息單位。基於生物視網膜的三階段訊號處理模型,感光細胞(photoreceptor)接收光刺激,下游的雙極細胞(bipolar cell)和開關節細胞(ON/OFF ganglia cell)將輸出資訊為ON/OFF,也就是說和上一個狀態相比,光刺激是增強或減弱,若沒有變化則沒有額外資訊。這樣運作的相機被稱作動態視覺感測器(dynamic vision sensor, DVS),只處理有訊息變化的像素,使得資料量相對每一幀都完整輸出的傳統相機大幅降低。
2)聽覺感測器要解決的問題和視覺十分相似,傳統聲音感應器根據應用需要不同的採樣率(sampling rate),接續高精度類比數位轉換與濾波器等步驟處理每一個採樣點的資料,本質是一樣是以幀為基礎(frame-based)的運算。仿神經電子耳以耳蝸(cochlea)中基底膜(basilar membrane)轉換不同頻率的工作原理出發,一系列的低通濾波器模擬不同毛細胞(hair cell)對不同頻率的選擇性,一樣可以針對各頻段的聲音事件做出反應。
3)傳統嗅覺感測器需要大量特徵抽取(feature extraction)、樣式辨識(pattern recognition)過程,仿神經電子鼻(electronic nose)的目標就是突破這部分的運算瓶頸,有許多不同的實作方式,主要架構是有一個感測器陣列,分別偏好不同的化學物質,接著信號處理單元,再進入樣式辨識單元。這些單元都能以仿神經迴路實作,以達到低耗能、高運算效率的結果。但目前尚未有比較完整的產品實作。
以上事件基礎(event-based)的資料輸出,主流會搭配AER(address event representation)的溝通協定,能展現仿神經運算的即時、非同步(asynchronous)之特性。因應事件基礎的感應器輸出,仿神經運算晶片(neuromorphic processor)也被發展出來,硬體上實現脈衝式神經網路(spiking neural network, SNN),高度平行化運算解決傳統電腦馮紐曼架構(Von Neumann architecture)不善於處理非同步資料的缺點。
仿神經的設計理念,在只傳遞必要的資料,並且具有高度適應性與容錯性(fault-tolerant),且能進一步實現生物上的學習機制。作者在文中另提到,事實上所有的感應器都能有仿神經的實現方式,包括味覺、壓力、震動、溫度等,低功耗的特性讓仿神經系統具應用於系統單晶片(system on chip, SoC)的能力,有很大的物聯網應用潛力。
撰文:姚皇宇
原始文獻:
1. Vanarse, A., Osseiran, A. & Rassau, A. A Review of Current Neuromorphic Approaches for Vision, Auditory, and Olfactory Sensors. Front. Neurosci. 10, (2016).
2. Vanarse, A., Osseiran, A. & Rassau, A. Neuromorphic engineering — A paradigm shift for future IM technologies. IEEE Instrumentation Measurement Magazine 22, 4–9 (2019).
https://ieeexplore.ieee.org/document/8674627
留言
張貼留言