Tech-on MeetUp #05「xR meets Everything 〜VR/AR/MRが変える日常と取り巻く技術たち〜」
03/11(月) は「Tech-on MeetUp#05「xR meets Everything 〜VR/AR/MRが変える日常と取り巻く技術たち〜」」に参加してきました。
会場は TECH PLAY SHIBUYA さん。
目次
Tech-on MeetUp とは
前回の参加報告があるので、そちらを参照してください。
タイムスケジュール
| 時間 | 内容 | 講演者 |
|---|---|---|
| 18:30〜 | 開場／受付開始 | |
| 19:00〜19:05 | オープニング | |
| 19:05〜19:10 | Tech-onについて | Tech-on事務局 |
| 19:10〜19:30 | VRの現状と未来 | 多田 英起@ナーブ |
| 19:30〜19:50 | xR × 施設型エンターテイメント | 村上 俊介 & Yichuan Shao@ティフォン |
| 19:50〜20:00 | 休憩 | |
| 20:00〜20:20 | XR x ComputerVision | 水田 修@KDDI |
| 20:20〜20:50 | AR今昔 〜セカイカメラから10年、最新テクノロジーでARはどうなる？ | 高橋 憲一@カブク （聞き手：小島 英揮@Still Day One 合同会社） |
| 20:50〜21:00 | まとめ/次回予告 | |
| 21:00〜21:40 | ネットワーキングタイム 登壇者の皆様や参加者同士でご挨拶する時間としてお使いください |
内容
今回はVR/AR/MRが変える日常と取り巻く技術たち、というテーマで開催されました。 平成最後のTechOnの開催ということで、スタッフの方々の「楽しいMeetupにしよう」という意気込みがひしひし伝わってくる。 そんな会でした。(なんと懇親会時の飲み物もいつもより増量(笑))
毎回、MCの方のトークが面白いので参加している人もいるのではないかと密かに思っていたら、今回は別の方。 真面目になるのかな、と思っていたら今回は。。。
カレーに絡めて紹介という新しいテクニック（笑）
— kabukawa (@kabukawa) 2019年3月11日
#TechOn東京
平常運転でした(笑)
当日のツイートはトゥギャられていますので、こちらもどうぞ。
開始前には、お茶もいただきました。ありがとうございます！
VRの現状と未来
多田 英起@ナーブ さん
[資料は公開されたら追記します]
個人メモ：
ナーブさんの会社ページ。 どこでもストアという無人店舗サービスを展開されています。
どこでもストアというのはVRで遠隔通話とVR（バーチャルリアリティ）の技術を活用し、 その場にいながら遠隔で物件や旅行先を見て回ることができ、 さらに端末を通じて専門スタッフからサービスの詳しい説明を聞くことができるというものだそうです。
どこでもストア等のサービスを通じて、VR等の技術を使ってナーブ社が解決したい課題
- 家、車、結婚等のライフイベントは、大きな買い物だけど店舗と利用者で情報格差が大きい。
VRで解決する理由として、単純に 情報量の違い ということを挙げられています。(動画UIになると情報量が5000倍)
動画で情報量が大きく増えたけど、それでも足りなければやはり体験してもらうしか無い。 しかし、それを普通にやろうとすると更に情報量が必要。
- VRで体験することで情報量を抑えつつ体験を実現することができるようになる。
- その場に行くこと無く体験できるどこでもドア
- 不動産では既にモデルがかなり充実(270万件以上)してきている。
- モデルを活用することで、顧客/販売員がモデルルームを見に行ったりする時間拘束が減っている。
複数の特許を取得
- バックエンドではWebSocket、WebRTCなどで、軽量なデータをやり取りする仕組みを構築。
- それでもデータ量は巨大になるのでモデルの回転は差分情報をリアルタイムで流すなどして軽量化を図っている。
データの分析
- 最初はre:dashで本番データを直接参照していた。
- VRで飛んでくるデータはペタバイト級。
- レスポンスが耐えられなくなったり、データ書き換えなどの危険性から、間にTresureDataを挟むことに。
- レスポンスが改善(時間が1/8に)
- 取り敢えずTresureDataに入れて、データ分析は後からやる。
- ユーザーの声「TresureDataいいわー」
現在のNUR*VE Cloudアーキテクチャ
VR Ad というサービスも
- VRを使うと、通常の広告の30倍くらいコンバージョン率が上がるという調査結果も有るらしい。
- 更にデータ量が多くなるので、Hivemallでユーザーの行動情報を蓄積して分析しているとのこと。
まとめ
- コンテンツ数や利用店舗数が急成長していく中データ収集や分析が追いついていなかった
- ノウハウの少ないときに、収集するデータの追加·削除が容易なことはとても嬉しい
- 副次的に速度が大幅に向上した
- 今後機械学習を行うにあたり、学習が容易なことは大きなメリット
感想：
- VRを使った無人店舗。サービスとして既に使われているのが面白い
- VR Adも面白いけど見たい人が見るからコンバージョンが高いのかもな、と思った。
- 生活の一部としてVRが入ってくると、どこでもドアで夢見ていたような世界が来るのかもしれない。
xR × 施設型エンターテイメント
村上 俊介 @ティフォン さん
Yichuan Shao @ティフォン さん
[資料は公開されたら追記します]
個人メモ：
TYFFON Inc.
- Show Your Disney Side
ディズニーキャラクターに変身できるアプリを2014年ディズニーアクセラレータプログラムにより米ウォルト・ディズニーの支援を受けて開発 ZombieBooth 2
自動顔認識技術を活用したゾンビ変身アプリ『ゾンビブース 2』を開発。 4000万ダウンロード。サービス
- Magic-Reality: Corridor
- Magic-Reality: Fluctus
- Tarot VR: Voyage of Reverie
- TYFFONIUM
- お台場と渋谷に開設。体験型アトラクション
Corridor
- 施設の中でVR体験するアトラクション
- 広さは4.5m x 8.5m(動き回るので、使える広さは4m x 8m)。
- バックパックPCを背負って、ヘッドマウントディスプレイでブース内を動きながら体験する
- 実際の画像と合成しているので一緒にプレイしている人や自分の姿も見られるらしい
- 勝手に先に行かれると困るので、参加者同士がリングを持って一緒に行動してもらうようにしたとのこと。
- 行き先を分かるように魔法陣を使ってガイドするようにした。
- 最初は光る板だったけど、それだと気づいてもらえなかった
- エレベータ
- はじめは気づいてもらえず、スタッフが案内していた
- 現在はインタラクションなしでも進めてるようなことも
サウンドに関する課題
改善点
Unityのオーディオ機能だけでは期待している音が得られす、Wwise を導入したとのこと
体験はブースに来たときから始まっている、ということで、施設側にもこだわり。 ライト一つとっても自分たちで設置していて、影の出方とかを考慮して角度調整をしていたりするの、地味に大変そうだし、すごい。
運用Tips
- xR施設はほぼ毎日トラブルが発生
- ソフトウエアよりハードウェアのトラプルが多い
- 最初のうちはトラブルの原因切り分けは技術者でも結構難しい
→ハード、ソフト、インフラと多岐にわたるため - ノウハウは貯めようとしないとたまらない
→個人で解決できるようになっても共有されないとだめ - ー度軌道に乗れはトラブルは店側スタッフで十分対応可能
- スタッフの育成は必須だが時間がかかる
- スタッフには何度でも体験させる
- 予備機器は常備したほうが良い
感想：
- Corridor、題材が怖いけど複数名で参加すれば大丈夫なのかな。。。夢に出てきそう
- 実写画像と合成することで没入感を演出しているということだけど、これは確かに凄そうだ
- VRの裏側は結構地道な調整と運用で成り立っているんだなと思った。
- 渋谷とお台場に施設があるのを知らなかった。もっと知られてもいいと思う。
XR x ComputerVision
水田 修@KDDI さん
[資料は公開されたら追記します]
個人メモ：
KDDIさんのxRに対する取り組み
xRとは？
- ARとVRの境界は曖昧になってきている
xRとCVで体験価値を向上する次世代コミュニケーション
ODG R-9。HoloLensより視野角が広めとのこと。
あらゆるリアル体験がターゲット
大手町牧場
パソナグループと組んでバーチャルガイドの貸出しも。
多言語対応だけではなく、年齢別対応も。 顔写真で年齢推定した上で年齢対応をしているらしい。
CVの進化とアーキテクチャ
常時インプット時の コンテキストの理解 とキャラクターAI。 言うことを聞かないGoogle Home。面白いけどわかりやすい例え。
まとめ
- XR x CV は現実世界を理解したコンテンツ拡張次世代のコミュニケーションの基軸
- ターゲット市場は広い一方で、デバイス、(CYA)， Cloudの進化は必要
- ソフトCV分野は成長著しく、進化·拡張性を前提としたアーキテクチュア構築が必要
とにかくチャレンジ
感想：
- バーチャルキャラクター、結構自然に画面に溶け込んでいて凄い
- 思ったよりシンプルな仕掛けで動いていることに驚き
- ただ使えるというだけでなく、年齢別の出し分けや性格付けなど、より人間に合わせたものになっていくんだなと思った。
AR今昔 〜セカイカメラから10年、最新テクノロジーでARはどうなる？
高橋 憲一@カブク さん
聞き手：小島 英揮@Still Day One 合同会社 さん
www.slideshare.net
個人メモ：
セッションのゴール
Droid会議での資料はたぶんこれ。
エコシステムがエコシステムを生み出す「不可避」な流れ
上記のスライドで紹介されているのはこの本。
- 作者: ケヴィン・ケリー
- 出版社/メーカー: NHK出版
- 発売日: 2016/07/27
- メディア: Kindle版
- この商品を含むブログ (2件) を見る
VRはどんどん外界を遮断していく
- 発売日: 2018/11/09
- メディア: Prime Video
- この商品を含むブログを見る
実行/視聴環境としてのスマフォの重要性
あのアプリのエアタグの世界
- 世界をタグ付けする＝タギングザ・ワールド *「○○参上！」のようなこともできた
- 子供の成長記録としてタグ付けしていた利用者の方もいたらしい
なぜセカイカメラは永遠に続かなかったのか？
- セカイカメラ、10年早かったってことだよな。そしてサービスの継続性。バランスとタイミング、色々難しい。
あのARアプリに必要な機能
- カメラプレビユーの表示
- エアタグの表示
- エアタグの作成
- テキストタグの文字入力
- イメージタグの写真撮影
- 現在位置の取得
- エラタグデータの保存
- エアタグ群の取得
- 現在位置を中心に半径?メートルというクエリ
- ユーザー認証
当時使ったもの
| Android版 | サーバー |
|---|---|
| Java NDK C++ • OpenGL |
AWS — EC2 — S3 ES PHP |
テクノロジー、マーケット、エコシステム的に課題だったことは？
- 今のようなフレームワークはあまり無く、スクラッチ開発
- Unityは有ったけど、素人向けとしてあまり相手にしていなかった
これは失敗だと後で気づいたらしい - 膨大な情報をその人に合わせて取捨選択して表示する。
- 不動産会社や飲食店と連携したら画面がタグで埋め尽くされた
情報のフィルタリング機能が無く、ユーザのタグ情報が見えなくなった - マネタイズが難しかった
- サービスの継続性大事
- サーバーサイドはFirebaseなどを使うことでコードを一切書かずに実現できた。
| Android版 | サーバー |
|---|---|
| ARCore — Sceneform — Cloud Anchors Java Kotlin |
|Firebase — Authentication — Cloud Firestore GeoFirestore |
Doroid会議で発表した内容なのでJavaを使っているが、iOSなども考えればUnityは外せない
- 深度センサーなどはARCoreに機能追加されていく流れ(ハードウェアの機能をソフトウェアで実現)
まとめ
結論：あのセカイは普通になる
感想：
- セカイカメラ、auのガラケーで試していた思い出。。。
- 裏側は結構ガチな実装だったようだ
- 深度センサーの話ってGoogleのPixel3のカメラにも有る機能のことかな。
- 今ならもっと簡単に実装はできるかもしれないけど、更に情報量は増えているからそれに耐えられる基盤が必要だと思う
- そういう意味では、そこまで見据えた設計とかをしないとマネタイズまで持ち込むのは難しいのかも。
懇親会
スピーカーの方々の記念撮影を後ろからパチリ。
平成最後の、ということで飲み物をこれまで以上に準備されたらしいです。 美味しい料理とお酒、ありがとうございます！
まとめ
今回の内容も、実際に使われている事例であったり、みんな(但し一定年齢以上)が知っているあのアプリの話であったり、盛りだくさんでとても楽しく参加することができました。毎回、様々な技術の話を聞くことができるのはこのMeetupのいいところだと思いますし、テーマも「いま聞きたい」というところを突いていて、参加できて良かったと思えるものばかりです。ただ、一つ一つのセッションの内容がとても良いので、もう少し時間を取ってじっくり聞きたいという気持ちがあるのも事実です。Meetupの目指すところとは若干ずれてしまうのかもしれませんが、セッションを減らしてでも1セッションの時間を増やすことも検討していただけると、有り難いなぁと思いました。
最後に、スピーカー、スタッフ、参加者の皆様、ありがとうございました！
