8万デプロイ

Transcript

1. 8万デプロイ by iwamot シネマ de LT 会 #2

2. 自己紹介 岩本 隆史 （iwamot ） ／ENECHANGE 株式会社 VPoT シアタス調布での映画鑑賞 ：

   164 回 前回のLT ：

3. 「 万デプロイ」 の意図 8

4. すべてのデプロイを 判断ミスなく終えたい （たとえ 万回でも） 8

5. https://exit8-movie.toho.co.jp/

6. 「 番出口」 と 「デプロイ」 の ルールは似ている 8

7. 番出口のルール 異変を見逃さないこと 異変を見つけたら、 すぐに引き返すこと 異変が見つからなかったら、 引き返さないこと 8 番出口から外に出ること 8

8. デプロイのルール 異変を見逃さないこと 異変を見つけたら、 すぐに引き返すこと 異変が見つからなかったら、 引き返さないこと 8 番出口から外に出ること

9. どうすればデプロイ後の 異変に気づけるのか

10. 案 ： ベースのアラート 1. サービスレベル目標 （SLO ） を策定 2. エラーバジェットの消費速度を監視

    A SLO

11. https://findy-tools.io/articles/enechange-sre-cooking/34

12. 限界説 Due to the unrecognized problems in error recognition, SLOs

    aren’t feasible https://www.usenix.org/system/files/sre22amer_slides_desai.pdf SLO by Google SREs

13. 案 ： 「外れ値増加」 の監視 1. ワークロードをコホート （群） に自動分割 2. 過去の実績から、

    パフォーマンスの平均値を自動計算 3. 各リクエストの標準スコア （z-score ） を算出 4. 2 σより大きいリクエストが全体の10% を超えたら警告 B

14. https://www.usenix.org/system/files/sre22amer_slides_desai.pdf

15. 「外れ値増加」 方式のメリット SLO の策定や調整が不要 異変に気づきやすい （Google の資料では18 時間前）

16. まとめ

17. ぼくの 「 万デプロイ」 攻略案 「外れ値増加」 の監視に注目 自動的かつ高感度な手法で、 判断ミスをゼロへ 試したら報告します！ 8