Optimizing deep-learning inference program using TVM compiler

指導教授：陳鵬升教授

專題學生：莊翔鈞、洪子傑

目錄：

(一) 摘要

(二) 研究動機與研究問題

(三) 文獻回顧與探討

(四) 研究方法及步驟

(五) 預期結果

(六) 參考文獻

(七) 需要指導教授指導內容

摘要

如何在資源受限的嵌入式設備(如：RISC-V 平台)上部署深度學習模型，有效利用硬體資源並提升模型推論效率，是我們最關注的議題。

本計畫中，我們將實作出一個適用於 RISC-V RVV 指令集的程式碼生成器(Codegen)，並利用 TVM 編譯器的 BYOC（Bring Your Own Codegen）技術，將負責優化 RVV 指令集的自定義運算子整合至模型中，充分地發揮此硬體的向量化處理能力。這麼做不僅能提升模型計算的吞吐量，還能減少運算時記憶體的訪問次數，整體運行效率將大幅提升。

最後，我們會以圖表分析我們的 Codegen 在模型的運行速度和資源利用率等方面所帶來的提升，並以視覺化的方式呈現我們的研究成果**。**

研究動機與研究問題

隨著深度學習技術的快速發展，跨平台部署深度學習模型已成為一項重大的挑戰。由於每種硬體加速器(如: GPU、NPU、XPU )都有各自繁雜的軟體生態，即使是硬體供應商，為了在自家設備上順利運行深度神經網路(DNN)，也需要在軟體上投入巨大的開發和維護成本。

除此之外，為了迎合市面上 DNN 不斷迭代的模型架構和算子庫，硬體供應商還需要同步地、不斷地更新硬體和軟體。為了改善這一問題，開發者迫切地需要自動化工具來生成針對硬體優化的程式碼，從而擺脫繁瑣的手工調整過程。