場景理解系統及方法

專利類型

發明

專利國別 (專利申請國家)

中華民國

專利申請案號

109117202

專利證號

I 772806

專利獲證名稱

場景理解系統及方法

專利所屬機關 (申請機關)

國立交通大學

獲證日期

2022/08/01

技術說明

透過影像來重建3D動態模型是電腦視覺中典型的問題，同時可以應用在機器人、VR、AR以及自動駕駛上。而3D動態場景分析又可以拆分為物體在單一時間內的深度預測以及一段時間內景物的光流（optical flow）預測，對於深度預測而言，因為深度和雙眼影像（stereo image）中的視差成反比關係，可以透過尋找雙眼影像中相對應點的映射來取得，即立體匹配(stereo matching)；而光流預測所使用在不同時間的影像上，可能包含鏡頭的移動以及景象中物體的移動，相對於深度預測使用的固定雙眼鏡頭有更多的不確定性，但依然可以透過在時間上連續的圖片尋找相對應的點來預測光流。有鑒於監督式學習所需的標註必須消耗大量人力及時間等資源，隨著深度學習的演進以及傳統電腦視覺的輔助，我們的技術轉而朝向自監督式學習的方向來發展。相對於其他現有的技術通常需要使用使用多個模型來進行自監督式的學習和達到光流及深度預測，且大部分需要預訓練，導致訓練方法繁複及佔用過大的記憶體，在我們所開發的技術中，引用了"由於深度及光流預測都是尋找圖片間的相對應關係"的物理現象，我們可將用於深度預測的雙眼影像視為在時間上連續的影像，而影像內的物體都不移動，惟有鏡頭的些微轉置。應用此概念，我們可以利用單一模型來同時預測深度及光流，利用簡單的訓練步驟及簡單的模型架構達到相當或更甚於當今最先進的方法。除此之外，為了連結深度預測及光流預測，我們藉由將雙眼影像在兩個時間點的四張圖片建構成一個相互關聯的循環，並透過在時間上前後的兩張圖片以及雙眼影像的圖片之間連結使得彼此關聯性更加穩固，達到更好的自監督式學習成效。 We propose a single and principled network for joint estimating optical flow and stereo matching to account for their shared representations, in which the common goal is to find pixel correspondence across images. We introduce geometric constraints during the joint learning process, which provides an effective signal for modeling the consistency (i.e., spatiotemporal correspondence) across two tasks and is then utilized as an objective for unsupervised training. We develop an efficient training scheme for the joint optimization on two tasks within a single framework and show that both tasks benefit each other.

備註

連絡單位 (專責單位/部門名稱)

智慧財產權中心

連絡電話

03-5738251

網址