Practices of Building Trustworthy Data Pipeline
邱顯庭 (Hsien-Ting Chiu)
擁有四年的資料工程師經驗，在期間建立約 10 種不同 data pipeline ，每日處理資量超過 12 億筆．
Abstract
過完版還在擔心 Data Pipeline 是否符合預期嗎? 本演講將說明 Data pipeline 要如何進行測試，包含了在開發環境如何針對資料處理邏輯及 Dag 進行測試，和使用 pytest-postgresql 小技巧，在正式環境如何設計一個穩健的 Data pipeline，幫助大家完成測試後可以安心部署放心下班，上線也能確保輸入輸出是正確無誤的。
Description
Video
Location
R0
Date
Day 1 • 10:10-10:40 (GMT+8)
Language
Chinese talk w. English slides
Level
Intermediate
Category
Testing