freeeの開発情報ポータルサイト

freeeが導入した、離れた部屋をつなげる空間ゲートウェイ”tonari”で手を振りたくなってしまう理由

tonariの等身大スクリーンの周辺に複数人が群がっている。スクリーンの奥には関西オフィスのメンバーがいる写真

はじめに

freee Developers Hubでは初めまして。yoと申します。

freeeでは、2022年4月の「Culture Infra」というチームの立ち上げで入社し、Culture Tech Engineerというロールを担っています。

 

このCulture Infraチームは、「freeeのカルチャーをテクノロジーで進化・醸成させる」がミッションで、主に以下のような業務を担っています。

  • カルチャーやコミュニケーションを軸とした設備やツールの企画・運営・管理
  • 社内外に発信するイベントなどの配信&企画・管理・運営支援
  • 社内のナレッジマネジメント

もう1年近く前のものではありますが、以下の記事に立ち上げの詳細がまとまっています。

note.com

本稿では、”tonari”の何がすごいのかを、技術的な観点からご紹介します。

tonariを導入したきっかけは…?それは、大崎へのオフィス移転。

freee大崎オフィスのエントランス写真

freee大崎オフィスのエントランス

freeeは2022年8月、それまでの五反田から大崎にオフィスを移転しました。

これを機に、それまでの設備面の課題を払拭するとともに、「出社したくなるオフィス」実現のために、関西オフィスと空間でつながる”tonari”を導入した、というわけです。

こちらも詳細は以下の記事にまとめていただいています。

www.rbbtoday.com

冒頭、技術的な観点からtonariのすごいところをご紹介する、と申し上げましたが、最もすごいところは、「あらゆるテクノロジーを結集した結果、無意識の体験を生み出している」ということです。

 

具体的には、「tonariの横を歩いていて、目の前(「画面の向こう」というよりも、「目の前」です。)に人がいると手を振りたくなってしまう」というようなものです。

 

「体験すればわかる」というものですが、本稿はエンジニア向けのブログですので、敢えてtonari社からも発信していないような技術面について触れていきます。

等身大・高画質へのこだわり 

tonariの等身大スクリーンの前に2名、スクリーンの向こうに2名、笑顔で語り合っている写真

tonariは、約130インチのスクリーンに、超短焦点レンズのプロジェクタで投影する仕組み

「目が合う」仕組み

一般的な会議システムでは、画面とカメラは微妙に位置が異なるので、目が合わないのですが、tonariはピンホールカメラ(レンズ)がスクリーンの中央に配置されているため、自然に相手と目を合わせながらコミュニケーションすることができます。

レンズフレアへの対策

スクリーンの中央にカメラがあるということは、プロジェクタをそのまま投影すると、光がカメラのレンズに当たり、「レンズフレア」が発生してしまいます。

カメラ周辺のみ光が当たらないように調整(キャリブレーション)を毎朝走らせることで、レンズフレアを防止しています。スクリーンはソフトPVC製であり、時間が経つことに伸びてしまうんですね。

なお、レンズフレアが発生していることを検知すると、任意のタイミングで実行されます。賢い!

低遅延へのこだわり

 一般的な各種コミュニケーションツールは、以下のようなレイテンシー(遅延)が発生しています。

  • 固定電話 < 100ms
  • 携帯電話 < 150ms
  • IP電話 < 400ms
  • 一般的なビデオ会議  < 300ms-500ms

一般的には、150ms以上の遅延があると会話が被ることがあるとされているため、tonariは、遅延を150ms以下に抑えています(実際は120ms以下)。

 

どれくらい遅延がないかと言うと、「じゃんけん」ができてしまうほど。

 

これにより、遅延による会話のかぶりを防ぐのですが。この低遅延を実現するために、多くのプロセスが120ms以内で処理されています。

  • カメラのRAWデータ取得
  • フォーマット変換
  • レンズ補正
  • 色補正
  • エフェクト
  • ビデオの圧縮
  • 伝送用データへ変換
  • 送信先でのビデオの展開
  • プロジェクターへの出力

先日、tonari共同創業者のryoさんにオフィスにお越しいただき、テックトークをしていただいた際に、ピンホールレンズで見ている歪み補正処理前の映像をこっそり見せてくれました。

tonariに映像が映っているが、歪み補正する前の映像のため、円形になっている写真

歪み補正する前の、貴重な貴重なピンホールレンズの映像

まとめ

これら緻密な技術によって、「等身大・高画質・低遅延」が実現し、「思わず手を振りたくなる」ような体験ができている訳です。

 

この、「思わず」というのが重要で、技術の粋を結集することで、結果的に技術を理解していなくとも、人間の無意識にまで働きかけ、自然な体験が生まれている、ということになります。

おまけ1

tonariの音量などを調整するためのダイヤルの画像

  freeeに設置されているtonariのダイヤルは、tonari共同創業者のryoさんが旋盤機で自ら削ったらしい…

おまけ2

あたかもどこでもドアを使用しているかのように、tonariスクリーン手前と奥に同一人物が同じ姿で映っているgif画像

どこでもドア〜