Above & Beyond

日々のアウトプット記録

Apache Arrow東京ミートアップ2018

参加報告

Apache Arrow東京ミートアップ2018

speee.connpass.com f:id:kabukawa:20181208103746p:plain

会場について

会場は株式会社Speeeさんのラウンジ。ここに来たのは先月のRubyData Tokyo Meetupに続いて2度めです。

f:id:kabukawa:20181208130707j:plain:w345 f:id:kabukawa:20181208130747j:plain:w345 f:id:kabukawa:20181208130743j:plain:w345 f:id:kabukawa:20181208130844j:plain:w345f:id:kabukawa:20181209112553j:plain

ちなみに、RubyData Tokyo Meetupの時の参加報告はこちら。

kabukawa.hatenablog.jp

前回参加した時は椅子のみだったのですが、今回はコード懇親会も有るということでテーブル付きの椅子に。
こういう心遣いが素敵です。

会場説明。

こちらのラウンジではコーヒー飲み放題。しかも美味しいです。

OSS Daysについて

tech.speee.jp

Apache Arrow東京ミートアップ とは

イベント概要から引用すると、

Apache Arrowの開発者およびApache Arrowを活用するとうれしくなりそうなプロダクトの開発者を増やすための集まりです。開発者を増やすための集まりです！ユーザーを増やすための集まりではありません。どーん。

ということです。OSSの開発者を増やしたいという意欲的な取り組みで、それは参加枠にも表れています。

  • 開発に参加したい気持ちがある枠
  • 開発に参加したい気持ちがなくはない枠

「開発に参加したい気持ちがなくはない枠」は、OSSの開発へ参加してみたいけど、いきなりというのは敷居が高そうという人向けの枠と理解しました。
僕はこの枠で参加申し込みをしました。

実際に参加して「OSSの開発へ参加」欲が高まったか？については後述します。

タイムテーブル

時間 内容 発表者
13:00-13:30 開場 -
13:30-13:40 イントロダクション 須藤功平/@ktou
株式会社クリアコード
13:40-14:20 発表：
Apache Arrow 		須藤功平/@ktou
株式会社クリアコード/Apache Arrow PMCメンバー
14:20-14:30 休憩 - |-
14:30-14:55 発表：
Apache SparkとApache Arrow 		上新卓也/@ueshin
Databricks/Apache Sparkコミッター
14:55-15:20 発表：
Multiple-Dimension-SpreadとApache Arrow		 井島洸二
Yahoo! Japan/Multiple-Dimension-Spread開発者
15:20-15:30 休憩 - |-
15:30-15:55 発表：
RとApache Arrow 		湯谷啓明/@yutannihilation
15:55-16:20 発表：
RubyとApache Arrow 		畑中悠作/@hatappi
株式会社Speee/Red Data Toolsメンバー
橋立友宏/@joker1007
Repro株式会社/Asakusa.rbメンバー
16:20-16:30 休憩 - |-
16:30-16:55 発表：
PythonとApache Arrow 		堀越真映/@sinhrks
株式会社ARISE analytics
16:55-17:20 発表：T
ensorとApache Arrow 		村田賢太/@mrkn
株式会社Speee/Red Data Toolsメンバー
17:30-20:00 コード懇親会 -
20:00 終了 - |-

セッション

イントロダクション

最初に会の目的と進め方についての説明がありました。

前半でプロジェクトの状況などを聞いて、参加したいものを決めた上で後半のコード懇親会に臨む、という形です。

単なる「勉強会」ではなく「OSS開発」の入り口に立つ会ということが改めて示された訳ですが、会場の雰囲気としては

「よし分かった。頑張るぞ！」

という風に受け止めていると感じました。(参加枠の選択時点で、参加者は皆さんその気で参加しているので当たり前かもしれませんが)

この後のセッション中も、気になることは随時質問が飛んだりしていて「アツいな！」と思いました。

各セッションの内容は資料を読んでいただければと思いますので、ツイートを貼り付ける形でまとめます。

Apache Arrow

須藤功平/@ktou さん(株式会社クリアコード/Apache Arrow PMCメンバー)

f:id:kabukawa:20181209094418p:plain 資料へのリンク：Apache Arrow

Apache SparkとApache Arrow

上新卓也/@ueshin さん(Databricks/Apache Sparkコミッター)

f:id:kabukawa:20181208154921p:plain 資料へのリンク：Apache Arrow and Pandas UDF on Apache Spark

[SPARK-22216] Improving PySpark/Pandas interoperability - ASF JIRA

Spark Developers Meetup passmarket.yahoo.co.jp

Hadoop / Spark Conference Japan 2019 hadoop.apache.jp

Spark+AI Summit 2019 databricks.com

コントリビュートの仕方などの情報がリンクとして資料のAppendixのところに纏められれていますので、そちらも是非参照してみてください！

Multiple-Dimension-SpreadとApache Arrow

井島洸二 さん(Yahoo! Japan/Multiple-Dimension-Spread開発者)

f:id:kabukawa:20181209092411p:plain 資料へのリンク：Multiple-Dimension-Spread と Apache Arrow

RとApache Arrow

湯谷啓明/@yutannihilation さん

speakerdeck.com

WindowsではRToolsをインストールしてパッケージをビルドしたりするのですが、これに含まれているgccでArrow関連のビルドができない問題が有るようです。

このことを聞いて、Rの部分になにか貢献できないかなと思ったわけですが。。。

RubyとApache Arrow

畑中悠作/@hatappi さん(株式会社Speee/Red Data Toolsメンバー)
橋立友宏/@joker1007 さん(Repro株式会社/Asakusa.rbメンバー)

speakerdeck.com

github.com

red-data-tools.github.io

畑中悠作/@hatappi さん がブログエントリを上げられていたので、リンクを貼っておきます。 blog.hatappi.me

PythonとApache Arrow

堀越真映/@sinhrks さん(株式会社ARISE analytics)

speakerdeck.com

TensorとApache Arrow

村田賢太/@mrkn さん(株式会社Speee/Red Data Toolsメンバー)

speakerdeck.com

コード懇親会

インストールで結構時間がかかってしまって本題にたどり着けなかった、、、、。
手順は再検証して、あとから始める人が困らないようにしたいのでエントリ分けます。

ということだと寂しいので写真を何枚か貼っておきます。

f:id:kabukawa:20181208174447j:plain:w240f:id:kabukawa:20181208174452j:plain:w450 f:id:kabukawa:20181208174624j:plain:w345 f:id:kabukawa:20181208174631j:plain:w345

まとめ

前半戦についてしか纏められていませんが、前半だけでもかなりたくさんのことが学べて、とても良い会でした。

後半戦はもうちょっと頑張りたかったけど、PCのバッテリーが切れてしまったので断念。
バッテリーはメチャ持つPCなので、電源持っていかなかったのですが、それが切れるくらい色々やったということで。。。
いざというときに備えて、電源は持ち歩かないとと思いました(今更？？？)