LiftPose3D,基於深度學習的方法,將實驗室動物的二維姿勢轉換為三維姿勢

在實驗室的動物研究中常常會需要得知動物的姿勢,大多數都會使用一種叫三角測量的方式來利用平面影像得到3D立體數據。但這種方式需要有多個同步的相機以及較複雜的校準方式,引此難以便利使用。而LiftPose3D是基於深度學習的方式,將使用單一的2D影像來重建3D姿勢。

先以6個同步相機進行三角測量,以此數據做為3D姿勢庫,訓練一個LiftPose3D網路,訓練完成後,可在每側僅用一個相機來預測3D姿勢。



撰文:溫倩玟


參考資料
Gosztolai, A., Günel, S., Lobato-Ríos, V. et al.(2021). LiftPose3D, a deep learning-based approach for transforming two-dimensional to three-dimensional poses in laboratory animals. Nat Methods 18, 975–981

留言