年末岡山ごった煮会の資料です。
- 2019年の振り返り
- プライベート: Python実践入門の執筆
- 2017年末にWEB+DB PRESS vol.104と一緒に話をいただく
- 2018/03にタイトルや対象者、目次を確定
- 2018/04に執筆開始
- 2019/01に7章までドラフト書き上げる
- 2019/05に13章までドラフト書き上げる
- レビューx2
- 2019/08末に脱稿
- (PyCon JP登壇)
- レビューx2
- 2019/12末に入稿
- 入稿まで約2年かかった
- モチベーションコントロールが大変
- Pythonであっても複数プラットフォームサポートはやっぱり大変
- 3.8でマルチプロセス処理が動かなくなる
- 仕事: Web開発から離れた1年
- 社内データ基盤とETL
- 他社事例のほとんどは自社（グループ）サービスのログを対象にしたもの
- アパレル、日配品、百貨店等様々なクライアントのデータを扱うのが特徴
- Apache Beam
- Cloud Dataflow
- Apache Airflow
- Cloud Composer
- GKEをを使ったゼロスケールするバッチ処理基盤
- CSV操作はVimやワンライナー、シェルスクリプトでがんばる
- 古くからあるUnixコマンドの凄さを改めて実感
- 社内データ基盤とETL
- プライベート: Python実践入門の執筆