03/19(火) は「Rancher Meetup Tokyo #18(モニタリングについて語ろう会)」に参加してきました。
目次
Rancher Meetup Tokyo
前回(と言っても去年の10月ですが)はリモート参加だったので、リアル参加は久しぶりです。
プログラム
| 時間帯 | 発表者 | 発表タイトル |
|---|---|---|
| 19:00-19:10 | @tsukaman | オープニング |
| 19:10-19:35 | @cyberblack28 | Prometheus integrated in Rancher |
| 19:35-20:00 | @takao3 | Sysdig クラウドネイティブ インテリジェンス プラットフォームのご紹介 |
| 20:00-20:15 | - | Networking Time |
| 20:15-20:40 | @songmu | 監視 入門 |
| 20:40-20:50 | @jacopen | Feedback from Cloud Native Deep Dive - みんなのモニタリングお悩み共有 |
| 20:50-20:55 | @ryota_hnk | 今後の活動など |
内容
Prometheus integrated in Rancher
@cyberblack28 さん
Rancharのモニタリングとロギングの機能、そしてRancher 2.2 における Multi-Tenant Prometheus、Multi-Cluster Apps についての内容。
Rancherについては、スピーカーである @cyberblack28 さんの以下の連載で分かりやすく解説されているので、一読することをオススメします。
今回の内容
- 基本的なモニタリング機能
- アラートと通知
- 基本的なロギング機能
- モニタリングとロギングカタログ
- RancherのMulti-Tenant Prometheus の新規サポート
- Multi-Cluster Apps
- Information
今回のセッションでは Multi-Tenant Prometheus の 新規サポート と Multi-Cluster Apps が個人的には興味深かったので、資料の中からリンク部分を貼っておきます。
Multi-Tenant Prometheus
Introduction to Kubernetes Monitoring rancher.com
Rancher’s New Multi-Tenant Prometheus Support rancher.com
December 2018 Online Meetup Introducing Rancher's New Multi Tenant Prometheus Support www.youtube.com
Rancher v2.2.0-Alpha3 Multi-Tenant Prometheus Supportについて qiita.com
Multi-Cluster Apps
複数のKubernetesクラスタへアプリをまとめてデプロイ、ローリングアップデートなどの新機能を搭載した「Rancher 2.2」が登場 www.publickey1.jp
How Enterprise Kubernetes Benefits from Multi-Cluster Apps rancher.com
Introducing Multi-Cluster Applications in Rancher 2.2 Preview 2 rancher.com
February 2019 Online Meetup: Multi Cluster Applications, Global DNS, and Multi Tenant Catalogs www.youtube.com
Rancher 2.2 Tech Preview Multi-Cluster App qiita.com
お知らせ
Cloud Native Tokyo #01 〜コンテナオーケストレーションプラットフォーム特集〜
CloudNative Days Fukuoka 2019
Sysdig クラウドネイティブ インテリジェンス プラットフォームのご紹介
@takao3 さん
資料は上記ですが、以下のページに更に詳しく書かれていますので、こちらも併せてどうぞ。 (当日のセッション内容がそのまま書かれていると言っても良いくらい)
Sysdigによるモニタリングについての内容。
Sysdigについて、このセッションを聞くまで知らなかったのですが、
- ネットワークパケットのモニタリングツールであるWiresharkのContributorの方が作った
- コンテナなどを含めたモニタリングのためのツール
- システムコールレベルで監視
- オープンソース版と商用版が有る
- 商用版は Sysdig Monitor(Sysdig Cloud)と、不正アクティビティの検知やアクティビティに対する防御向けの Sysdig Secure というサービスが有る。
コンテナやマイクロサービスを活用していくための技術的な課題
OSS版は以下。
Sysdig(Github) github.com
falco github.com
個人メモ
- システムコールをすべてキャプチャ。ネットワークのパケットをすべてキャプチャするWiresharkと考え方は同じ。
- 取り敢えずすべて取ってきてから、なんとかして可視化するアプローチ。
- ユーザーランドで処理するとオーバーヘッドが有るのでカーネルランド側で処理を行うことで高速化
- システムコールをトレースするので、不正侵入時もFileStreamレベルまですべて情報を確認可能
- 情報を一番深いところから取ってくる、というアプローチだからこういう事ができる。
- 14日間無料で試せるプランあり。
監視 入門
@songmu さん
はてなの提供するサーバーの監視サービスである Mackerelのプロダクトマネージャである @songmu さんによる監視についての話。
最近話題(空前の監視ブーム(笑))の「入門 監視」。@songmu さんは付録Cを執筆されたとのこと。
- 作者: Mike Julian,松浦隼人
- 出版社/メーカー: オライリージャパン
- 発売日: 2019/01/17
- メディア: 単行本（ソフトカバー）
- この商品を含むブログを見る
はてなの提供するサーバーの監視サービスである Mackerel。最近コンテナ向けのエージェントがリリースされた。
監視とテスト
監視とは本来システムに対する継続的なインテグレーションである developer.cybozu.co.jp
テストと監視
- 開発者がテストを書くことは当たり前になった
- 監視はどうか
モニタリングの重要性の向上
- 監視とはシステムに対する高速健康診断
一般的な健康診断
- 健康診断の結果
- 分かる数値とわからない数値がある
- システム監視も同じ
- 分かる数値を追いかける/分かる数字を計測する
何を監視すれば良いのかを考える
- 監視のコード化
チェック監視
- OKかNGを判定する
- OK/Warning/Critical/Unknown
コマンド終了ステータスで状態を判定
メトリック監視
- 時系列データの以下を空白区切りで出力
- キー
- 値
- timestamp
healthエンドポイント(モニタリング用のエンドポイント)
- /health か /healthzとか
- h2o等のHTTPサーバーで実装
開発者こそ監視する
- アプリケーションに関しては開発した人こそが何を監視すればいいか知っているはず
- 「不安な箇所」を監視する
監視しながら開発する
- 雑でも良いのでチェックスクリプトを書く
- 監視の口を開ける
- health エンドポイントパターン
監視も同時に設計する
- USE Method (Internal / for Resouces)
- 作者: Brendan Gregg,西脇靖紘,長尾高弘
- 出版社/メーカー: オライリージャパン
- 発売日: 2017/02/22
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (1件) を見る
- RED Method (External / for Services)
USEとRED
- それぞれ補完しあうもの
- USEは内部の挙動を観察するための指標
- REDは外部からの振る舞いを観察するための指標
- USEとREDを捉えることで、Four Golden Signalsが見えてくる。
mackerel-container-agent
個人メモ
- 監視について、こうやって解説をしてもらったことで改めて監視と向き合う機会になった
- 入門監視、買ったまま積読になっているので早く読まないと。
- 監視は運用をする人だけでやるのではなく開発者自身もやる必要があるというところはメチャクチャ同意。
- 誰がなにをどうやって監視するかということが大事。ツールを入れれば終わりというわけではない。
Feedback from Cloud Native Deep Dive - みんなのモニタリングお悩み共有
@jacopen さん
Cloud Native Deep Diveという別コミュニティでのモニタリングに関する内容を共有していただきました。 ただ、10分という時間で聞くにはちょっとボリュームが有ったので、資料を見ながら復習したいと思います。
Cloud Native Deep Diveというコミュニティは「話を聞く」ではなく「全員が参加する」形ということなのでフィードバックされた内容を聞く限り、実務での経験や知見を持っていたり、悩んでいる人にとってはとても良いのではないかと思います。(自分のような初心者が参加するのはちょっと躊躇しますが、、、)
こうやって内容を共有してもらえると、ハマりどころと言うか、きちんと考えておかなければいけないところはどこなのかとかといった知見を得ることができるので、とても有り難いなぁと思いました。(今の自分にはそれを活かせる仕事が必要)
ギブアップしたLTネタを供養するエントリー
w4yh さん
本当はLTで話される予定だったそうですが、事情により参加できなくなったということで、スピーカー自身が発表内容をまとめたブログエントリを書かれています。
読んだ内容をざっくり書くとこんな感じです
- グラフを印刷したい
- Prometheus --remote storage -> postgresql(仮受け) -> NetCDFファイル <- GMTで折れ線グラフ画像作成
- http://gmt.soest.hawaii.edu/
- グラフから目で読み取るのか
- ベースラインの値や周期変動って数式で表せるべきなので、以下のツールで検出させて1の仕掛けで出力
- https://hastic.io/
これは是非ともデモを見てみたかったです。1の説明にある以下のところは元SIerとしてはわかり味しか無い。。。
SIﾔｰにとってはWebでダークテーマでインタラクティブにグラフが見られることよりも印刷して月次報告書としてご提出したい
まとめ
今回のテーマは「モニタリングについて語ろう会」ということで、Rancherの監視周りの話をたくさん聞くことができました。 また、監視の入門として、基本的な考え方や監視プラグインのフォーマットなどについてもお話を聞くことができてとても良かったです。
ありがとうございました！
