Practices of Building Trustworthy Data Pipeline
邱顯庭 (Hsien-Ting Chiu)
擁有四年的資料工程師經驗，在期間建立約 10 種不同 data pipeline ，每日處理資量超過 12 億筆．
摘要
過完版還在擔心 Data Pipeline 是否符合預期嗎? 本演講將說明 Data pipeline 要如何進行測試，包含了在開發環境如何針對資料處理邏輯及 Dag 進行測試，和使用 pytest-postgresql 小技巧，在正式環境如何設計一個穩健的 Data pipeline，幫助大家完成測試後可以安心部署放心下班，上線也能確保輸入輸出是正確無誤的。
說明
影片
地點
R0
時間
第一天 • 10:10-10:40 (GMT+8)
語言
中文演講/英文投影片
層級
中階
分類
測試