語言
分類
Python 難易度
投影片連結
摘要
在 Python 的領域中,Celery 是一套著名的 distributed task queue framework,其 Canvas 機制更是在分散式系統上建構複雜處理流程的利器。由於 Celery 能夠在 distributed 的環境下運作,很適合與 Docker Swarm 搭配: 由 Docker Swarm 負責建構 cluster 平台,提供 Celery 所需要的 worker containers,而 Celery 可以在 Docker Swarm 上視需要擴展 worker 與 processes 的數量,並行地完成指定的運算。因此,我在 Docker Swarm 之上架了 Celery ,並且以 Hadoop/MapReduce 領域中的入門程式 "Word Count" 來作驗證。另外,IoT 也是屬於分散式的概念,因此我在 Celery + Docker-Swarm 的環境下,以 Docker containers 模擬位於不同 machines 上的 devices,做分散式的溝通與運算。
In this talk, the basic mechanisms of Celery and Docker-Swarm will be explained. With Docker-Swarm, a cluster will be built upon two Raspberry Pi machines. Hadoop entry-level "Word Count" program will be re-writen in Python and executed parallelly via Celery on cluster. A distributed system modeling nerual-network will also be explained.
說明
Wei Lin
Mostly worked in the fields of marketing, strategy-planning, and project-management; I am fascinated by the elegance of Python, and very interested in Machine-Learning and Data-Science.
策略規劃 是專長,寫程式 是興趣,
Machine-Learning 和 Data-Science 是最愛,
對知識的渴望 與 領悟的喜悅 是我永恆的動力。