洞見驅動創新:利用Keras,打造遊戲直播精彩剪輯

Abstract

深度學習演算法,在影像辨識領域中大放異彩,產生應用包羅萬象。
此次主要分享,作為 Soocii 後端工程師,從資料中發現,使用者較偏好短時間觀看回放影片,進而利用每日累積的遊戲直播資料,推動影片精華剪輯的功能。希望透過影片自動剪輯技術,增加使用者在平台中的參與度。
此次演講主要分享,我們如何從無到有,以“傳說對決”為範例,利用Keras打造即時影片精華剪輯服務,並使用Flask介接進現有的Micro Services服務群中。

內容主要提及:
1. 資料洞察後,問題定義,與解決方案 ”剪輯功能“ 的可行性驗證。
2. 實踐過程中遇到的困難瓶頸 (組織內部初期推動的瓶頸&資料及蒐集與標記&開發軟硬體的限制)。
3. 工程與資源考量設計,與模型選用的考量。
4. 雛形建立與功能驗證 (Build-Measure-Learn在公司內部與外部的循環)。
5. 系統架構部署與介接現況 (ML Micro service CI/CD)。
6. 從畫面擷取訊息的延伸商業應用。

Description

此次演講會著重在:協助聽眾深入淺出了解 “如何建立符合產品需求的深度學習演算法系統”:從觀察問題,提出解決方案雛形,內外部驗證,並推動程式上線的過程。 1. 如何定義ML的問題,並在組織中,推動ML的思想與文化。 ”精華“剪輯的成果優劣,牽涉到實況主與觀眾的主觀感受,身為後端工程師,很難在第一時間說服同仁可行性,從而透過每次的內部展示,從每個可能的”精彩“觀點,進行突破,進而在組織內部取得認同,並實際推展到商業應用上。 2. 利用Keras實踐演算法的過程。 3. 在導入演算法時,需有的考量與限制。 該如何從現有的研究中,綜合公司內部資源,找出適合現在問題的解決方案(演算法)。 4. 如何與既有系統架構介接 (CI/CD) 分享如何建立ML的Micro service(Flask + Celery),並打造Model & Service 的 CI/CD。 技術細節: 目前使用Keras實踐SqueezeNet打造遊戲畫面辨識,並利用Flask + Celery打包成Microservice,透過公司現有的Docker+Jenkins的CI/CD,部署成即時線上影像辨識&剪輯服務。

Slides

https://drive.google.com/open?id=113sC7qQpSK-UHxgFJ0M8tmQO0tG8YTmK

Speaker

古宣佑 Hsuanyu

目前於Soocii任職後端工程師,對機器學習演算法有興趣,工作之餘,會拿工作上面臨的問題,當作練習的題目。
之前曾經接觸過時間序列預測的模型開發,在學時期則是專注於自然語言處理(Sentiment Analysis)的相關研究。