洞見驅動創新：利用Keras，打造遊戲直播精彩剪輯

摘要

深度學習演算法，在影像辨識領域中大放異彩，產生應用包羅萬象。
此次主要分享，作為 Soocii 後端工程師，從資料中發現，使用者較偏好短時間觀看回放影片，進而利用每日累積的遊戲直播資料，推動影片精華剪輯的功能。希望透過影片自動剪輯技術，增加使用者在平台中的參與度。
此次演講主要分享，我們如何從無到有，以“傳說對決”為範例，利用Keras打造即時影片精華剪輯服務，並使用Flask介接進現有的Micro Services服務群中。

內容主要提及：
1. 資料洞察後，問題定義，與解決方案 ”剪輯功能“ 的可行性驗證。
2. 實踐過程中遇到的困難瓶頸 (組織內部初期推動的瓶頸＆資料及蒐集與標記＆開發軟硬體的限制)。
3. 工程與資源考量設計，與模型選用的考量。
4. 雛形建立與功能驗證 (Build-Measure-Learn在公司內部與外部的循環)。
5. 系統架構部署與介接現況 (ML Micro service CI/CD)。
6. 從畫面擷取訊息的延伸商業應用。

說明

此次演講會著重在：協助聽眾深入淺出了解 “如何建立符合產品需求的深度學習演算法系統”：從觀察問題，提出解決方案雛形，內外部驗證，並推動程式上線的過程。 1. 如何定義ML的問題，並在組織中，推動ML的思想與文化。 ”精華“剪輯的成果優劣，牽涉到實況主與觀眾的主觀感受，身為後端工程師，很難在第一時間說服同仁可行性，從而透過每次的內部展示，從每個可能的”精彩“觀點，進行突破，進而在組織內部取得認同，並實際推展到商業應用上。 2. 利用Keras實踐演算法的過程。 3. 在導入演算法時，需有的考量與限制。 該如何從現有的研究中，綜合公司內部資源，找出適合現在問題的解決方案(演算法)。 4. 如何與既有系統架構介接 (CI/CD) 分享如何建立ML的Micro service(Flask + Celery)，並打造Model & Service 的 CI/CD。 技術細節： 目前使用Keras實踐SqueezeNet打造遊戲畫面辨識，並利用Flask + Celery打包成Microservice，透過公司現有的Docker+Jenkins的CI/CD，部署成即時線上影像辨識&剪輯服務。

Slides

https://drive.google.com/open?id=113sC7qQpSK-UHxgFJ0M8tmQO0tG8YTmK

講者

古宣佑 Hsuanyu

目前於Soocii任職後端工程師，對機器學習演算法有興趣，工作之餘，會拿工作上面臨的問題，當作練習的題目。
之前曾經接觸過時間序列預測的模型開發，在學時期則是專注於自然語言處理(Sentiment Analysis)的相關研究。