聯合多運算叢集系統執行映射化簡程式的方法A Method of MapReduce Computing on Multiple Clusters

專利類型

發明

專利國別 (專利申請國家)

中華民國

專利申請案號

102107657

專利證號

I 499971

專利獲證名稱

聯合多運算叢集系統執行映射化簡程式的方法A Method of MapReduce Computing on Multiple Clusters

專利所屬機關 (申請機關)

國立成功大學

獲證日期

2015/09/11

技術說明

MapReduce是一種分散式大量運算的處理框架，隨著大量資料之分散式運算的興起，已經有許多機構建立屬於自己的資料及運算中心來處理及分析資料，其中相關應用程式包括了例如建立網頁索引、資料探勘等。 在某些情況下，將各機構的資料及運算叢集資源聯合起來可獲許多好處。舉例像是藉由聯合各機構的運算資源我們可以縮短整體執行時間。關於聯合各機構資料及運算叢集的現有作法可能會導致許多問題。舉例來說，使用者必須要重新設計一個專門使用於多個資料及運算叢集環境的MapReduce程式。或是當運算需求改變時，使用者必須要重新設定整體系統環境。兩者都對用戶造成使用上的不便且破壞了MapReduce的簡潔性。 我們提出了一個不用提供額外程式就能使原有程式在多個資料及運算叢集環境上執行MapReduce應用程式的作法，並將我們的系統實現於多個Hadoop叢集環境中。在我們的系統中，使用者可以在上層Hadoop執行原MapReduce程式，而我們的系統可以自動聯合下層各Hadoop包括工作的派送、資料的傳遞且不必修改該MapReduce程式。實驗結果顯示我們在WordCount 5G的case中可獲23%的效能改善。 MapReduce is a programming model for data-intensive applications while providing the simplicity of parallel programming. With the rapid growth of data-intensive applications in distributed computing, many organizations have built clusters with computing resources to store or to analyze data. In some cases, we could aggregate several clusters’ resources to minimize the job execution time. However, existing solutions to aggregate the resource of clusters make users redesign the program for the collaborative use for each application. We propose a transparent way which could make collaborative clusters work together without redesigning programs for each application. We also implemented our system among several Hadoop clusters. In our system, users could execute jobs in cloud portal as the single Hadoop cluster does, and our system runtime will automatically handle the rest work including job dispatching, data transferring, program modification and program running.

備註

本部(收文號1080026227)同意該校108年4月26日成大研總字第1081103516號函申請終止維護專利 本部(收文號1080069828)同意該校108年10月22日成大技轉字第1085600263號函所報終止維護專利。

連絡單位 (專責單位/部門名稱)

企業關係與技轉中心

連絡電話

06-2360524

網址