深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介

專利類型

發明

專利國別 (專利申請國家)

中華民國

專利申請案號

110123222

專利證號

I 769875

專利獲證名稱

深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介

專利所屬機關 (申請機關)

國立中央大學

獲證日期

2022/07/01

技術說明

本系統使用深度學習技術來開發手勢辨識的模型，除了網路模型的建立外，還利用注意力模型來實現手部切割網路，與手勢辨識網路不同，是透過多任務學習的方法來更有效的實現不同模型間權重和計算的共享，只要兩個模型需要具有相同的特徵擷取功能，就可以在同一級的模型中進行訓練，而且在推理階段，只需使用手勢辨識的模型參數就可以執行手勢辨識任務，同時為了有效的提高手勢辨識的泛化能力，除了原本所使用的資料集外，另外提出了一種透過增加離線數據的數據增強策略，增加資料集數量及多樣性，來開發出具強健性的手勢辨識系統，可以在室內、室外或各種光照場景都有良好的表現。同時為了要將手勢辨識任務以FPGA實現，我們面臨到內部記憶體不足而需要使用外部記憶體的問題，所以我們亦分析外部記憶體的頻寬與內部記憶體之大小限制，並規劃最佳記憶體之存取方式，以減少與外部記憶體通訊之時間，讓系統能實現即時的手勢辨識任務 The system uses deep learning techniques to develop a model for gesture recognition. In addition to network model building, the attention model is used to implement a hand-cutting network, which is different from the gesture recognition network in that it uses a multi-task learning approach to achieve more effective weight and computation sharing between different models, as long as both models need to have the same feature acquisition function, they can be trained in the same level of model. In addition to the original dataset, a data enhancement strategy is proposed to increase the number and diversity of datasets by adding offline data to develop a robust gesture recognition system that can perform well indoors, outdoors or in various lighting scenarios. It can perform well indoors, outdoors or in a variety of lighting scenarios. In order to implement gesture recognition tasks on FPGAs, we faced the problem of insufficient internal memory and the need to use external memory. Therefore, we also analysed the bandwidth of external memory and the size limitation of internal memory, and planned the best memory access method to reduce the communication time with external memory, so that the system can implement real-time gesture recognition tasks.

備註

連絡單位 (專責單位/部門名稱)

智權技轉組

連絡電話

03-4227151轉27076

網址