活網路？OK, Google!

https://episode.cc/read/seeking.for.myself/my.190912.114834/13

「OK, Google!」

你是不是也對這句話感到熟悉呢？很有可能，你已經習慣在生活中有網路和 Google 的存在了。

活網路究竟是如何影響我們的認知與腦呢？

有研究[1]指出，人們在網路上搜尋東西的時候，會有特定的一些腦區活化，而活網路的仁和不習慣使用網路的人，腦區活化情形亦有所不同。

實驗中以 MRI 觀察網路小白以及網路習慣使用者在搜尋資料時的腦部活動變化，發現網路小白在搜尋資料時，腦區活動可能較為分散。而由於網路搜尋行為與 decision making 有關，所以研究者也發現，常用網路搜尋的人，在搜尋資料時，會更容易有 prefrontal cortex、anterior temporal cortex 以及 hippocampus 等腦區的活動。

除此之外，他們也做了些文獻回顧，例如在網路上活動時的 prefrontal cortex 活動情形。稍早的研究曾指出，活網路或許和 reward system 有關。然而，過度沉迷於特定網路遊戲，也有可能會造成大腦皮質的活動下降。只是，後來的研究也顯示，並非每種網路遊戲都可能會造成智力的降低，那些大量牽涉到 decision making 的遊戲甚至有可能提高智力表現。

Google 也會用機器學習來改善使用者體驗

Google 使用機器學習來分析使用者行為數據，並因此回傳給使用者比較貼近其習慣的結果，用來改善使用者體驗。列舉一些較為特別的技術，其他的，也可以參見 Google 的部落格[2]。


Federated Learning（FL）[3] 的工作原理和其他種類機器學習最大的差異，在於其不會將蒐集的使用者資料交換，而是依照它們的特徵，直接放進運算模型中進行 classification，而資料本身則留在本地端。FL 大致上可以分成幾類：中心化（Centralized）、去中心化（Decentralized）以及異位相（Heterogenous）的 FL（HeteroFL）。在 Google，這種算法應用在 Gboard 鍵盤上，採用的是去中心化的 FL，其方式是在 consensus 改變後，將此改變過的 consensus 再放進訓練模型裡，並把結果回傳（如圖）。而其他 FL 的方式如中心化 FL 則不符合 Google 對於輸入分析的需求，因為它可能較慢且需要一個集中的 server，無法符合手機分散式分布的特性。


TracIn[4] 是用來評估訓練資料的影響，保障 ML 結果品質的技術。主要是在追蹤訓練的過程，並藉此觀察每筆預測的變化過程。使用了 k nearest neighbors 和 clustering 的原理，也可以偵測並排除 outliers。這樣不僅能夠提高 accuracy，也可以有效降低 loss。


TAPAS[5] 模型可以讓我們在 SQL 表裡面快速找到要搜尋的目標。從對於問題的識別開始，它配合著 SQL 的作法，使用 BERT 的技術進行訓練，並且只從問題的答案來學習。其能夠相容的後端架構有 SQA、WikiSQL 和 WTQ 三種。
TAPAS 模型的 GitHub repo：google-research/tapas

（謎之聲：讀完這些會不會覺得今天的熵太大了，需要遺忘汁啊……）


撰稿 | 郭彥伶


參考資料：
[1] G. W. Small, T. D. Moody, and S. Y. Bookheimer (2009). Your brain on Google: patterns of cerebral activation during internet searching. PMID: 19155745. DOI: 10.1097/JGP.0b013e3181953a02.
[2] Google AI Blog. https://ai.googleblog.com
[3] Q. Yang, Y. Liu and H. Yu (2019). Federated Learning. DOI: 10.2200/S00960ED2V01Y201910AIM043.
[4] Garima, F. Liu and M. Sundararajan (2020). Estimating Training Data Influence by Tracing Gradient Descent. arXiv:2002.08484v3.
[5] J. Herzig, P. K. Nowak and J. M. Eisenschlos (2020). TAPAS: Weakly Supervised Table Parsing via Pre-training. arXiv:2004.02349v2.

留言

張貼留言