動作辨識方法以及其系統

專利類型

發明

專利國別 (專利申請國家)

中華民國

專利申請案號

107107208

專利證號

I 650711

專利獲證名稱

動作辨識方法以及其系統

專利所屬機關 (申請機關)

國立中央大學

獲證日期

2019/02/11

技術說明

基於長短期記憶的深層學習架構，我們提出了光流注意力模型。該模型透過光流圖的使用進行影片中的動作辨識。在提出的架構中，各影片皆切為多個幀影像，每幀影像都透過CNN進行特徵擷取，並依時序將特徵輸入至光流注意力模型中。注意力模型主要由LSTM 組成，其特色在於輸入資料會先透過處理過的光流注意力權重圖做為特徵的權重值以提高特徵中的重要部分。而調整後的特徵會再繼續輸入至LSTM，並產生該時序的辨識結果。 本研究藉由光流圖作為權重值對影像的重要區域進行動態追蹤，以提高重要特徵所具有的權重。在動作辨識的實驗中，我們提出的光流注意力模型高於僅使用LSTM ，且高於參考的視覺注意力模型。若與視覺注意力結合，則整體架構能高於僅使用LSTM ，高於只使用視覺注意力模型約。實驗結果顯示出以光流圖作為權重值能有效地捕捉影片動作中的具鑒別性區域，並能與視覺注意力作互補產生更好的辨識效果。 This research proposed a motion based attention model called dynamic tracking attention model (DTAM) which consists of convolutional neural network (CNN) and long short-term memory (LSTM). CNN is used to perform the feature extraction, LSTM is used to handle the sequential information of actions from videos, and the proposed DTAM is used to bridge the motion of actions and understanding of videos.

備註

連絡單位 (專責單位/部門名稱)

智權技轉組

連絡電話

03-4227151轉27076

網址