Above & Beyond

日々のアウトプット記録

日本OpenStackユーザ会 第41回勉強会

1/18(金)は「日本OpenStackユーザ会 第41回勉強会」に参加してきました。

openstack-jp.connpass.com

f:id:kabukawa:20190114103445p:plain:w300

会場は KDDI Digital Gate さん。初めて行きましたが、広くて素敵なスペースです。

f:id:kabukawa:20190119110931j:plain:w600 f:id:kabukawa:20190119110942j:plain:w300f:id:kabukawa:20190119110950j:plain:w300

会場の真ん中あたりにどーんと卓球台が!というツイートをしたらMS社の卓球ガチ勢の方からメンションきた(笑)

ぜひMS社にも卓球台を入れてください。写真撮りに行きます(笑)


目次


日本OpenStackユーザ会とは

グループの概要から引用します。

日本でクラウド基盤OSS「OpenStack」の普及を目指すユーザグループです。

openstack.jp

OpenStackというのはこちらです。

www.openstack.org

オンプレ上にプライベートクラウドを構築できるソフトウェア群です。


何故参加したか

1年くらい前に37回の勉強会に参加していて、約1年ぶりの参加になります。 パブリッククラウドは始めやすいけど、コストも掛かるのでそれを抑えるためにオンプレにプライベートクラウドを構築しているという企業もありますし、最終的に何処に収斂するのかはともかく、知っておいたほうが良い技術だと思っています。


タイムテーブル

時間 内容 発表者
18:30~ 受付開始
19:00~19:05 各種案内
19:05~19:40 OpenStack Swiftとそのエコシステムの最新動向(仮) NTT 露崎さん
19:45~20:20 OpenStack Swiftの性能改善に向けた取り組み紹介 NTTテクノクロス 須田さん
20:25~20:45 OpenStack コミュニティゴールと状況 (これまでと今後) NEC 元木さん
~21:00 解散

内容

OpenStackのプロジェクトで、オブジェクトストレージを提供するSwiftに関する最新動向と性能改善に関するセッションが1本ずつと リリース毎に決められるOpenStack全体の目標である「Community Goals」についてStein版の紹介セッションが1本で合計3セッション。 どのセッションも実際にOpenStackのコンポーネントを開発/運用している方が話されているので、裏側の実装の話などが聞けて個人的にはとてもおもしろかったです。 あと、セッションの資料が始まる前に共有されているのも、事前にどういう内容が話されるのかが分かってとてもいいなと思いました。


OpenStack Swiftとそのエコシステムの最新動向(仮)

NTT 露崎さん

www.slideshare.net

OpenStack Swift www.swiftstack.com

内容メモ

Swiftのアーキテクチャ

  • スケールアウト
    プロキシ層とストレージ層

*メンテンスが楽
オートヒーリング

AWS S3互換API

  • 基本的なものは結構使えるようになってきている
  • 但し、S3とSwiftではアーキテクチャが異なる部分があるので、そういうものは非互換のまま Known failer としている。

Swiftでのコンテナ

  • Docker Containerではなく、S3 Bucketに近い概念
  • リストを高速に取得するための仕組み
  • データはSQLiteで分散保持されている

ProxyFS

  • ファイルシステムとオブジェクトストレージで空間の共有が可能。
  • 詳しくはデモで。
  • オブジェクトストレージの空間をファイルシステムにマウント。
  • これによってアップロードしたファイルを通常のファイルと同じようにエディタで編集などができる。

個人的には、ProxyFSが面白いなぁと思いました。


OpenStack Swiftの性能改善に向けた取り組み紹介

NTTテクノクロス 須田さん

www.slideshare.net

内容メモ

OpenStack Swiftの性能について

  • 「OpenStack Swift 性能」で検索すると性能面で苦労している事例が見つかる
  • ネガティブな書き込みしかない

パフォーマンスが落ちる原因

  • メタ情報のキャッシュが溢れて遅くなる
  • 小さなファイルを大量にアップロードすると書き込み性能が10分の1に低下するという調査結果も。

性能改善パッチが作成されている。

  • FacebookのHayStackと同様の仕組み。

github.com

パッチを適用するとコミュニティでの計測結果としては

  • PUTの場合
    • 0→400万個 1.3倍
    • 400万個→800万個 2.3倍
  • GETの場合
    • 800万個のファイルを格納した状態 2.4倍

Volumeというコンテナに詰めてI/Oを減らすことで性能が改善されるという話、詰めたりパースして取り出したりというオーバーヘッドが有っても結果的には何もしないより速い訳で、面白いですね。このあたりの仕組に Apache Arrowを入れてみるともっと性能が改善できるのかもな、という妄想をしました。


OpenStack コミュニティゴールと状況 (これまでと今後)

NEC 元木さん

www.slideshare.net

コミュニティゴール、というのはこれですね。 governance.openstack.org

内容メモ

WSGI=Web Server Gateway Interface
"ウィスギ"と読むらしい。

Policy in Code
Policy:APIのRBAC(Role Based Access Control)の仕組み

Python2は Jan 1, 2020でPython Upstreamでのサポートが終了。
OpenStackとしてもそれまでにPython3で完全に動作するようにしていく方針

pre-upgrade check
アップグレード時の注意点を機械的にチェックする仕組み

Candidates for “Train” release Berlin Smmit での議論

人気があったもの * Project Resource Deletion * Finish moving legacy python-*client to pythonopenstackclient * Ensure all projects pass project-id

これだけのプロジェクトなのでガッチリしたルールが有るのだと思っていたら、割とおおらかな感じで運用されていたんですね。

なお、セッション後のQAなどはこちらのページに纏められています。

etherpad.openstack.org


まとめ

知らないことばかりだったので、聞いていて「そうなんだ」という驚きの連続。それがとても楽しかったです。 開発者として参加している方が多い感じがするというのも印象的でした。 お酒で懇親、ということもなく、ガチな勉強会なのでタダ飯目的の人も居ないので、安心して参加できるのもいいなと思いました。

f:id:kabukawa:20190118185153j:plain:h300

ありがとうございました!