探索大型語言模型實戰方法:透過 Python 將 LLM 服務化、RAG 知識管理、Fine-Tune 模型在 AI 專案中

劉育維

劉育維

大家好,我是 Simon 劉育維,過去曾擔任過電信業的資深工程師 和 在軟體業擔任 MLOps 客戶技術成功工程師,幫助各大知名企業進行機器學習、深度學習、大型語言模型等人工智慧議題進行人工智慧架構規劃的討論,目前在 Medium 上已經公開超過 60 篇技術文章,我希望能夠嘗試使用 AI 做應用,幫助客戶用 AI 解決痛點。

    Abstract

    自 2022 年底起,隨著生成式 AI 技術的快速進展,大型語言模型( LLMs )已成為業界與學術界的焦點。在這次的演講中,我將以最淺顯易懂的方式,帶領大家深入了解大型語言模型在實務應用中的關鍵技術與策略,涵蓋 RAG 知識管理、 LLM 的服務化、模型微調(Fine-Tuning)和導入 DevOps 在 AI 專案這四大領域。 首先,我們將探討 RAG 如何結合檢索技術,提升 LLMs 的專業知識理解能力,使模型能有效處理大量資料並提供更精準的解答。 接著,我們將介紹並分析 LLM 轉化為服務( LLM as a Service )的重要性,探討如何將這些強大的模型轉化為便於接入與使用的服務,使更多企業與開發者能運用這些尖端技術進行創新與問題解決。 再來,我們將介紹模型微調的實踐方法,說明如何根據具體應用場景對模型進行調整和優化,以滿足不同需求。 最後,我會提供 LLM for DevOps 的流程,讓大家了解在上線 LLM 專案時的流程與應注意的事項。 透過以上內容,聽眾將能以最易理解的方式了解 LLMs 的實戰應用,為後續深入探索 LLMs 的應用奠定基礎,進而為未來公司專案的技術創新與應用做好準備。 注意事項: 1. 本次活動將會使用 Google Colab 進行實作,請提前準備帳號。

    Description

    Location

    R3

    Date

    Day 1 • 05:20-06:45 (UTC)

    Language

    Chinese talk w. English slides

    Level

    Intermediate

    Category

    Natural Language Processing