Above & Beyond

日々のアウトプット記録

Tech-on MeetUp #05「xR meets Everything 〜VR/AR/MRが変える日常と取り巻く技術たち〜」

03/11(月) は「Tech-on MeetUp#05「xR meets Everything 〜VR/AR/MRが変える日常と取り巻く技術たち〜」」に参加してきました。

techplay.jp

f:id:kabukawa:20190310181606j:plain

会場は TECH PLAY SHIBUYA さん。


目次


Tech-on MeetUp とは

前回の参加報告があるので、そちらを参照してください。

kabukawa.hatenablog.jp


タイムスケジュール

時間 内容 講演者
18:30〜 開場/受付開始
19:00〜19:05 オープニング
19:05〜19:10 Tech-onについて Tech-on事務局
19:10〜19:30 VRの現状と未来 多田 英起@ナーブ
19:30〜19:50 xR × 施設型エンターテイメント 村上 俊介 & Yichuan Shao@ティフォン
19:50〜20:00 休憩
20:00〜20:20 XR x ComputerVision 水田 修@KDDI
20:20〜20:50 AR今昔 〜セカイカメラから10年、最新テクノロジーでARはどうなる? 高橋 憲一@カブク
(聞き手:小島 英揮@Still Day One 合同会社
20:50〜21:00 まとめ/次回予告
21:00〜21:40 ネットワーキングタイム
登壇者の皆様や参加者同士でご挨拶する時間としてお使いください

内容

今回はVR/AR/MRが変える日常と取り巻く技術たち、というテーマで開催されました。 平成最後のTechOnの開催ということで、スタッフの方々の「楽しいMeetupにしよう」という意気込みがひしひし伝わってくる。 そんな会でした。(なんと懇親会時の飲み物もいつもより増量(笑))

毎回、MCの方のトークが面白いので参加している人もいるのではないかと密かに思っていたら、今回は別の方。 真面目になるのかな、と思っていたら今回は。。。

平常運転でした(笑)

当日のツイートはトゥギャられていますので、こちらもどうぞ。

togetter.com

開始前には、お茶もいただきました。ありがとうございます!

f:id:kabukawa:20190312101745j:plain:w300


VRの現状と未来

多田 英起@ナーブ さん

f:id:kabukawa:20190312100825j:plain:w400

[資料は公開されたら追記します]


個人メモ:

ナーブさんの会社ページ。 どこでもストアという無人店舗サービスを展開されています。

www.nurve.jp

どこでもストアというのはVRで遠隔通話とVRバーチャルリアリティ)の技術を活用し、 その場にいながら遠隔で物件や旅行先を見て回ることができ、 さらに端末を通じて専門スタッフからサービスの詳しい説明を聞くことができるというものだそうです。

www.nurve.jp

どこでもストア等のサービスを通じて、VR等の技術を使ってナーブ社が解決したい課題

  • 家、車、結婚等のライフイベントは、大きな買い物だけど店舗と利用者で情報格差が大きい。

f:id:kabukawa:20190312100805j:plain:w500

VRで解決する理由として、単純に 情報量の違い ということを挙げられています。(動画UIになると情報量が5000倍)

f:id:kabukawa:20190312101045j:plain:w500

動画で情報量が大きく増えたけど、それでも足りなければやはり体験してもらうしか無い。 しかし、それを普通にやろうとすると更に情報量が必要。

  • VRで体験することで情報量を抑えつつ体験を実現することができるようになる。
  • その場に行くこと無く体験できるどこでもドア
  • 不動産では既にモデルがかなり充実(270万件以上)してきている。
  • モデルを活用することで、顧客/販売員がモデルルームを見に行ったりする時間拘束が減っている。

複数の特許を取得

  • バックエンドではWebSocket、WebRTCなどで、軽量なデータをやり取りする仕組みを構築。
  • それでもデータ量は巨大になるのでモデルの回転は差分情報をリアルタイムで流すなどして軽量化を図っている。

f:id:kabukawa:20190312103859j:plain:w500

データの分析

  • 最初はre:dashで本番データを直接参照していた。
  • VRで飛んでくるデータはペタバイト級。
  • レスポンスが耐えられなくなったり、データ書き換えなどの危険性から、間にTresureDataを挟むことに。
  • レスポンスが改善(時間が1/8に)
  • 取り敢えずTresureDataに入れて、データ分析は後からやる。
  • ユーザーの声「TresureDataいいわー」

現在のNUR*VE Cloudアーキテクチャ

f:id:kabukawa:20190312104952j:plain:w500

VR Ad というサービスも

  • VRを使うと、通常の広告の30倍くらいコンバージョン率が上がるという調査結果も有るらしい。

f:id:kabukawa:20190312105156j:plain:w500

  • 更にデータ量が多くなるので、Hivemallでユーザーの行動情報を蓄積して分析しているとのこと。

hivemall.incubator.apache.org

まとめ

  • コンテンツ数や利用店舗数が急成長していく中データ収集や分析が追いついていなかった
  • ノウハウの少ないときに、収集するデータの追加·削除が容易なことはとても嬉しい
  • 副次的に速度が大幅に向上した
  • 今後機械学習を行うにあたり、学習が容易なことは大きなメリット

感想:

  • VRを使った無人店舗。サービスとして既に使われているのが面白い
  • VR Adも面白いけど見たい人が見るからコンバージョンが高いのかもな、と思った。
  • 生活の一部としてVRが入ってくると、どこでもドアで夢見ていたような世界が来るのかもしれない。

xR × 施設型エンターテイメント

村上 俊介 @ティフォン さん
Yichuan Shao @ティフォン さん

f:id:kabukawa:20190312114450j:plain:w400

[資料は公開されたら追記します]


個人メモ:

TYFFON Inc.

www.tyffon.com

  • Show Your Disney Side
    ディズニーキャラクターに変身できるアプリを2014年ディズニーアクセラレータプログラムにより米ウォルト・ディズニーの支援を受けて開発
  • ZombieBooth 2
    自動顔認識技術を活用したゾンビ変身アプリ『ゾンビブース 2』を開発。 4000万ダウンロード。

  • サービス

    • Magic-Reality: Corridor
    • Magic-Reality: Fluctus
    • Tarot VR: Voyage of Reverie
  • TYFFONIUM
    • お台場と渋谷に開設。体験型アトラクション

Corridor

www.tyffonium.com

  • 施設の中でVR体験するアトラクション
  • 広さは4.5m x 8.5m(動き回るので、使える広さは4m x 8m)。
  • バックパックPCを背負って、ヘッドマウントディスプレイでブース内を動きながら体験する
  • 実際の画像と合成しているので一緒にプレイしている人や自分の姿も見られるらしい
  • 勝手に先に行かれると困るので、参加者同士がリングを持って一緒に行動してもらうようにしたとのこと。

f:id:kabukawa:20190312121353j:plain:w500

  • 行き先を分かるように魔法陣を使ってガイドするようにした。
    • 最初は光る板だったけど、それだと気づいてもらえなかった
  • エレベータ
    • はじめは気づいてもらえず、スタッフが案内していた
    • 現在はインタラクションなしでも進めてるようなことも

サウンドに関する課題

f:id:kabukawa:20190312121810j:plain:w500

改善点

f:id:kabukawa:20190312121844j:plain:w500

Unityのオーディオ機能だけでは期待している音が得られす、Wwise を導入したとのこと

www.audiokinetic.com

体験はブースに来たときから始まっている、ということで、施設側にもこだわり。 ライト一つとっても自分たちで設置していて、影の出方とかを考慮して角度調整をしていたりするの、地味に大変そうだし、すごい。

f:id:kabukawa:20190312122552j:plain:w500

運用Tips

  • xR施設はほぼ毎日トラブルが発生
  • ソフトウエアよりハードウェアのトラプルが多い
  • 最初のうちはトラブルの原因切り分けは技術者でも結構難しい
    →ハード、ソフト、インフラと多岐にわたるため
  • ノウハウは貯めようとしないとたまらない
    →個人で解決できるようになっても共有されないとだめ
  • ー度軌道に乗れはトラブルは店側スタッフで十分対応可能
  • スタッフの育成は必須だが時間がかかる
  • スタッフには何度でも体験させる
  • 予備機器は常備したほうが良い

感想:

  • Corridor、題材が怖いけど複数名で参加すれば大丈夫なのかな。。。夢に出てきそう
  • 実写画像と合成することで没入感を演出しているということだけど、これは確かに凄そうだ
  • VRの裏側は結構地道な調整と運用で成り立っているんだなと思った。
  • 渋谷とお台場に施設があるのを知らなかった。もっと知られてもいいと思う。

XR x ComputerVision

水田 修@KDDI さん

f:id:kabukawa:20190312114543j:plain:w400

[資料は公開されたら追記します]


個人メモ:

KDDIさんのxRに対する取り組み

f:id:kabukawa:20190312130703j:plain:w500

xRとは?

  • ARとVRの境界は曖昧になってきている

f:id:kabukawa:20190312131455j:plain:w500

xRとCVで体験価値を向上する次世代コミュニケーション

f:id:kabukawa:20190312131937j:plain:w500

ODG R-9。HoloLensより視野角が広めとのこと。

www.osterhoutgroup.com

あらゆるリアル体験がターゲット

f:id:kabukawa:20190312132215j:plain:w500

事例:パーチャルキャラクターガイドとアーキテクチャ

f:id:kabukawa:20190312132254j:plain:w300 f:id:kabukawa:20190312132457j:plain:w300

大手町牧場
パソナグループと組んでバーチャルガイドの貸出しも。

www.pasonagroup.co.jp

多言語対応だけではなく、年齢別対応も。 顔写真で年齢推定した上で年齢対応をしているらしい。

f:id:kabukawa:20190312132600j:plain:w500

CVの進化とアーキテクチャ

f:id:kabukawa:20190312141134j:plain:w500

常時インプット時の コンテキストの理解 とキャラクターAI。 言うことを聞かないGoogle Home。面白いけどわかりやすい例え。

f:id:kabukawa:20190312141150j:plain:w500

f:id:kabukawa:20190312141414j:plain:w300 f:id:kabukawa:20190312141347j:plain:w300

まとめ

  • XR x CV は現実世界を理解したコンテンツ拡張次世代のコミュニケーションの基軸
  • ターゲット市場は広い一方で、デバイス、(CYA), Cloudの進化は必要
  • ソフトCV分野は成長著しく、進化·拡張性を前提としたアーキテクチュア構築が必要

とにかくチャレンジ


感想:

  • バーチャルキャラクター、結構自然に画面に溶け込んでいて凄い
  • 思ったよりシンプルな仕掛けで動いていることに驚き
  • ただ使えるというだけでなく、年齢別の出し分けや性格付けなど、より人間に合わせたものになっていくんだなと思った。

AR今昔 〜セカイカメラから10年、最新テクノロジーでARはどうなる?

高橋 憲一@カブク さん
聞き手:小島 英揮@Still Day One 合同会社 さん

f:id:kabukawa:20190312114604j:plain:w400

www.slideshare.net


個人メモ:

セッションのゴール

f:id:kabukawa:20190313005149p:plain:w500

Droid会議での資料はたぶんこれ。

speakerdeck.com

エコシステムがエコシステムを生み出す「不可避」な流れ

f:id:kabukawa:20190313005206p:plain:w500

上記のスライドで紹介されているのはこの本。

〈インターネット〉の次に来るもの 未来を決める12の法則

〈インターネット〉の次に来るもの 未来を決める12の法則

VRはどんどん外界を遮断していく

電脳コイルセカイカメラ が目指した世界。

f:id:kabukawa:20190313005237p:plain:w500

メガネの子供たち

メガネの子供たち

実行/視聴環境としてのスマフォの重要性

f:id:kabukawa:20190313005252p:plain:w500

あのアプリのエアタグの世界

f:id:kabukawa:20190313005333p:plain:w500

  • 世界をタグ付けする=タギングザ・ワールド *「○○参上!」のようなこともできた
  • 子供の成長記録としてタグ付けしていた利用者の方もいたらしい

なぜセカイカメラは永遠に続かなかったのか?

  • セカイカメラ、10年早かったってことだよな。そしてサービスの継続性。バランスとタイミング、色々難しい。

あのARアプリに必要な機能

  • カメラプレビユーの表示
  • エアタグの表示
  • エアタグの作成
    • テキストタグの文字入力
    • イメージタグの写真撮影
  • 現在位置の取得
  • エラタグデータの保存
  • エアタグ群の取得
    • 現在位置を中心に半径?メートルというクエリ
  • ユーザー認証

当時使ったもの

Android サーバー
Java
NDK
C++
OpenGL
AWS
— EC2
— S3
ES
PHP

テクノロジー、マーケット、エコシステム的に課題だったことは?

  • 今のようなフレームワークはあまり無く、スクラッチ開発
  • Unityは有ったけど、素人向けとしてあまり相手にしていなかった
    これは失敗だと後で気づいたらしい
  • 膨大な情報をその人に合わせて取捨選択して表示する。
  • 不動産会社や飲食店と連携したら画面がタグで埋め尽くされた
    情報のフィルタリング機能が無く、ユーザのタグ情報が見えなくなった
  • マネタイズが難しかった
  • サービスの継続性大事

2019年のテクノロジー適用例

  • サーバーサイドはFirebaseなどを使うことでコードを一切書かずに実現できた。
Android サーバー
ARCore
— Sceneform
— Cloud Anchors
Java
Kotlin
|Firebase
— Authentication
— Cloud Firestore
GeoFirestore

Doroid会議で発表した内容なのでJavaを使っているが、iOSなども考えればUnityは外せない

f:id:kabukawa:20190313005358p:plain:w500

Googleで研究されていたTangoテクノロジーが蘇る?

f:id:kabukawa:20190313005413p:plain:w500

  • 深度センサーなどはARCoreに機能追加されていく流れ(ハードウェアの機能をソフトウェアで実現)

まとめ

結論:あのセカイは普通になる

f:id:kabukawa:20190313005429p:plain:w500


感想:

  • セカイカメラauガラケーで試していた思い出。。。
  • 裏側は結構ガチな実装だったようだ
  • 深度センサーの話ってGoogleのPixel3のカメラにも有る機能のことかな。
  • 今ならもっと簡単に実装はできるかもしれないけど、更に情報量は増えているからそれに耐えられる基盤が必要だと思う
  • そういう意味では、そこまで見据えた設計とかをしないとマネタイズまで持ち込むのは難しいのかも。

懇親会

スピーカーの方々の記念撮影を後ろからパチリ。

f:id:kabukawa:20190312114724j:plain:w400

平成最後の、ということで飲み物をこれまで以上に準備されたらしいです。 美味しい料理とお酒、ありがとうございます!

f:id:kabukawa:20190312114656j:plain


まとめ

今回の内容も、実際に使われている事例であったり、みんな(但し一定年齢以上)が知っているあのアプリの話であったり、盛りだくさんでとても楽しく参加することができました。毎回、様々な技術の話を聞くことができるのはこのMeetupのいいところだと思いますし、テーマも「いま聞きたい」というところを突いていて、参加できて良かったと思えるものばかりです。ただ、一つ一つのセッションの内容がとても良いので、もう少し時間を取ってじっくり聞きたいという気持ちがあるのも事実です。Meetupの目指すところとは若干ずれてしまうのかもしれませんが、セッションを減らしてでも1セッションの時間を増やすことも検討していただけると、有り難いなぁと思いました。

最後に、スピーカー、スタッフ、参加者の皆様、ありがとうございました!