ここ数年でさまざまな産業への活用事例が出てきているAR技術。その技術的な土台の一つが、拡張現実感のためのヘッドマウントディスプレイ（以下、HMD）だといえるでしょう。
大きさや外形、および細かい機能群については多様である一方で、心臓部となる内部の基礎構造については、どれも画像ディスプレイと光学系という、大きく2つのサブシステムによって成り立っているといえます。
本記事では、その一方である画像ディスプレイの中でも、ビデオシースルーと呼ばれるディスプレイタイプについて解説します。なお、VR/AR/MRのいずれもを示す場合、本記事ではxRと表現しております。
3つのHMDディスプレイタイプ
そもそも、xR領域におけるHMDディスプレイには、大きく3つのタイプが存在します。
- 完全没入型
- 光学シースルー型（光学透過型）
- ビデオシースルー型（ビデオ透過型）
ビデオシースルー型ディスプレイを説明する前に、まずは上2つの概要について解説します。
完全没入型ディスプレイ
完全没入型ディスプレイは、HMD装着者の視界を外界から完全に遮断し、そこにコンピューターで生成したデジタルコンテンツを投影して体験させるというものです。いわゆるVR技術で活用されるディスプレイタイプとなります。
なお、似たような言葉に「没入型デジタル環境」というものがありますが、こちらはHMDをを使うものではありません。たとえば数メートル四方の立方体で構成される空間内にて立体的に映像を表示させることで仮想現実を体験させるというものです。没入環境を提供するという観点では同じですが、デバイス環境へのヒトの関わり方が異なります。
光学シースルー型ディスプレイ
そもそもシースルー（see thrrough）とは、xR領域においては「透過」を意味する言葉です。
その上で光学シースルー型ディスプレイとは、レンズ越しに自分の周囲にある景色を眺め、そこにプリズムやハーフミラーといった光学系を用いて、電子的なディスプレイの映像を重ねる仕組みのものです。使用者の網膜上に、現実世界の光景と、記号や画像、文字情報といった仮想世界の情報を重ね合せる形になります。
ここで重要となる技術が「重畳表示（ちょうじょうひょうじ）」です。GPSやWi-Fiなどを利用し、現実世界にある事物の緯度・経度・高度等の情報を取得したうえで、そこにデジタル情報を重ね合わせで表示するという仕組みです。
この重畳表示の技術が発達したことで、実際に見えている現実世界を拡張する仕組みの一つとして、光学シースルー型ディスプレイの用途が広がっているといえるでしょう。
ビデオシースルー型ディスプレイ
上記の完全没入型と光学シースルー型の中間的な位置付けのディスプレイタイプが、ビデオシースルー型ディスプレイとなります。
基本的な設計は完全没入型ディスプレイ搭載のHMDと同じなのですが、そこで主に映し出される映像は、HMDの正面に設置されたカメラでリアルタイムに撮影されているものです。つまり、自分の目の前にある現実世界の景色をHMD正面設置のカメラで映像化し、そこに適宜コンピューターで生成したデジタル情報を重畳表示させることで、現実世界を拡張させるというものです。いったんビデオを経由するので、厳密にはシースルー（see thrrough）ではないと感じる方がいるかもしれません。
なおHMDではありませんが、タブレットやスマホを用いた手持ちのARディスプレイ装置についても、ビデオシースルー型ディスプレイを活用したものだといえます。
ビデオシースルー技術活用のメリットと注意点
ビデオシースルー型ディスプレイを活用するメリットは、なんと言っても、現実世界とデジタル情報の融合レベルの高さにあるといえます。
そもそも、HMDで撮影した映像はいったんコンピューター内部に取り込まれます。つまり、HMD装着者は現実世界を見ていますが、それは網膜に直接映る情報ではなく、コンピューターを経由したデジタルデータを視認します。よって、デジタルコンテンツを合成するという観点で非常に相性が良く、継ぎ目のない形での拡張現実感を作ることが可能だといえるでしょう。
ビデオシースルー技術活用のデメリットや注意点
一方でビデオシースルー型を使う場合、VR酔いや映像酔いのような現象が発生しやすくなる、というデメリットもあります。
先述のとおり、ビデオシースルーは肉眼による映像の視認と異なり、ビデオカメラで撮影する映像にデジタルコンテンツを合成させたものを、リアルタイムで表示させています。つまり、その処理を施す時間分だけ、表示にタイムラグが発生することになります。目線を動かすと、コンマ数秒の範囲ではありますが動きと視界がズレて表示されることになるので、装着者としてはどうしても違和感が発生してしまいます。
さらに、最近では改善がなされてはいるものの、動きが速い対象物に対する表示のぼやけなども発生することで、VR酔い・映像酔いのリスクが高いというデメリットもあります。
このビデオシースルー型ディスプレイを使ううえで重要なのは、いかにHMD装着者の視線と一致した映像が取得できるか、という点です。もちろん、目線の位置があっていなかったとしても人は利用時間が経過することで徐々に慣れていきますが、静止時の違和感が少なくすることで、VR酔い・映像酔いの発生リスクも逓減するといえるでしょう。
セットするカメラの位置を調節するなどして、普段見ている目からの光景に近づけるチューニングが大切になります。
ビデオーシースルー型ディスプレイを使った製品紹介
では、実際にどのような製品群があるのでしょうか。ここではシースルー技術を使ったものとして3つの製品をご紹介します。
1. キヤノン「MREALディスプレイ MD-20」
キヤノンによる「MREAL（エムリアル）」シリーズは、ビデオシースルー型のMRヘッドセットシステムとして開発されています。
その中でも2020年に発表された「MREAL Display MD-20」は、独自開発のグローバルシャッター搭載CMOSイメージセンサーを採用しており、現実世界の映像を歪みなく正確に捉え、ユーザーの動きに追従します。また、視野角は水平方向に約70°、垂直方向に約40°の広画角を実現。肉眼での光景に近い形で、作業や検証をおこなうことが可能です。
こちらはHMDなどのハードウエアの他に、MREAL基盤ソフトウエア「Canon MREAL Platform」や3Dデータ表示のための「Canon MREAL Visualizer」といった、各種MREAL表示アプリケーション群で構成されてます。
2. Varjo「Varjo XR-3」
株式会社 エルザ ジャパンが提供する「Varjo XR-3」は、視野角が115°と圧倒的に広く、その解像度も人間の眼の解像度（70 PPD以上）を実現しているMRヘッドセットシステムです。
超低遅延（<20 ms）と12メガピクセルのビデオストリーム技術によって、現実世界の拡張を自然な形で実現。特に深度認識については、光を用いたLiDARセンサーとステレオRGBビデオフィードを組み合わせており、手・物体・人物検出オクルージョンの新しいベンチマークを設定していることから、現実の要素と仮想の要素をピクセル単位で完全にブレンドしている点が魅力だといえます。
なおAR、VRを簡単に切り替えることもできる仕様となっています。
3. Apple「製品名未定」
まだ製品化されたものではありませんが、米アップルもビデオシースルー型MRデバイスの開発準備を進めているようです。
具体的には、新しいMRデバイスに関する特許の申請が2019年3月に行われ、4ヶ月後の7月には、米国特許商標庁（USPTO）よりその内容が公開されました。出願された特許の名称は「Display System Having Sensors」。タイトルにはディスプレイと記載がありますがが、アプローチとしては従来のディスプレイを排除し、本体内蔵カメラからの映像物を網膜プロジェクターシステムを使って装着者の目に投影する、という仕組みが考えられているようです。
詳細はこちらの米国特許商標庁 Webページをご覧ください。
ディスプレイタイプの違いや特徴を理解することが大切
ビデオシースルー型ディスプレイを搭載したHMDは、現実世界とデジタルコンテンツの合成の質の高さが評価され、たとえば海外では、コックピット内での各種フライトシミュレーションの訓練に利用されています。
コックピットのような再現性にコストがかかる訓練空間だからこそ、デジタルコンテンツとの融合の相性が良いビデオシースルー型が適しているといえるでしょう。 xRコンテンツやソリューションを開発する際は、本記事でお伝えしたような、ディスプレイタイプごとの違いや特徴も理解したうえで、企画設計を進めるようにしましょう。
