Sim-to-Real:用物理引擎打造能虛實轉移的機器人

摘要

深度學習技術快速進步, 我們能訓練神經網路來控制實體機器人, 但訓練過程會發生各種突發狀況, 在物理安全與經濟狀況考慮下, 先在模擬環境完成訓練再轉移到真實機器人是一種解決方法。 但是模擬環境與真實環境有許多物理落差, 速度或摩擦力等各種物理因素, 都會導致訓練好的模型轉移到真實環境的效能低落。 去年 Google Brain 透過對物理引擎的模擬過程進行參數化與隨機擾動來解決問題, 我們也透過同樣方法完成二輪平衡車控制模型的虛實轉換, 這場分享將會介紹我們如何從無到有, 在物理引擎建立 車體3D模型, 並用 Python 參數化各種物理量, 最後展示完成的機器人可以做為訓練環境, 用來訓練神經網路控制模型。

說明

- 虛擬現實轉換 - [Google Brain 1m30s 影片] : https://www.youtube.com/watch?v=xf_UXK0OTIk - 相關工具 - [bullet3] 是一套物理引擎, 可以讀進3D模型檔案, 加入物理作用效果 - [stable_baselines] 是一套包含多種增強學習演算法的 Python 套件 - 工具相關連結 - [bullet3] : https://github.com/bulletphysics/bullet3/tree/master/examples/pybullet - [stable_baselines] : https://stable-baselines.readthedocs.io/en/master/guide/quickstart.html - [Using Custom Environments] : https://stable-baselines.readthedocs.io/en/master/guide/custom_env.html?highlight=environment

講者

Jiawei Chen

MLDM Monday與 Kaohsiung Python社群 Co-organizer, 目前在學術單位擔任研究人員,熱衷於研究機器學習相關技術,喜歡分享相關技術,並應用在實務工作上。