視覚と聴覚をハッキング、現実と仮想の境界をなくすSRシステム（代替現実）がもたらす未体験ゾーン

第四回東北セミラボ最後の講演では、独立行政法人理化学研究所脳科学総合研究センターの藤井直敬氏が登壇。現実と仮想の境界をなくす、SR（Substitutional Reality）システムの研究成果を発表し、これまでにない新たな体験の世界へと参加者を引きこんでいった。

本当の意味での仮想的現実空間を実現するSR

独立行政法人理化学研究所
脳科学総合研究センター
適応知性研究チームリーダー
藤井 直敬氏（M.D.,Ph.D.）

はじめに、脳科学の研究を行っている藤井氏は、研究の3つの大きなテーマとして「Social Brains」（社会的な脳機能を知る）、「Brain Machine Interface」（脳と機械をつなぐ仕組みを作る）、「Substitutional Reality」（SR：代替現実技術の開発）を挙げ、今回の講演テーマであるSR技術について解説していった。

日常のなかで、PCを操作したり、テレビやDVDを鑑賞したりするなど、デジタルコンテンツを鑑賞するときにはフラットスクリーンを見ることになるが、デジタルコンテンツの消費は、ほぼすべてがモニターであるフラットスクリーン上だけで行われており、それを拡張することは今までできていなかった。このような状況を藤井氏は不満に感じており、高校時代に観たSF映画「トロン」のように、仮想のデジタルの世界と現実世界の垣根を取り払うことができないかと考えたという。

「トロン」以外にも、仮想世界と現実世界を行き来する映画は非常に多く公開されてきたと話す藤井氏は、一方でこれらを実現するテクノロジーが現実にはないことを指摘する。現実と仮想の境界をつなげることがVR（Virtual Reality）研究やAR（Augmented Reality）研究の目的の1つだが、必ずしもうまくいっているとはいえないというのだ。

AR研究は、実は1960年代からヘッドマウントディスプレイとCGを使って行われているが、研究は50年近く経った現在でも大きく進化しておらず、臨場感は増しても、仮想世界の中に現実を作ることはできていないという。VRやARでは、どこかで仮想世界であることが意識されてしまっており、仮想世界を現実と感じることはできないと藤井氏は説明する。

一方で、SRは「視覚と聴覚をハッキングして、好きな情報を流し込み、それを現実として体験させるシステム」だと藤井氏は話す。SRでは、「Alien Head」と呼ばれるヘッドマウントディスプレイが使われ、体験者はまずフロントにあるカメラ越しに周りの風景を見る。

その時点では、Alien Headを装着するときと同じ風景が見えているので、体験者は現実をそのまま見ていることになる。そこで、あらかじめ体験者の頭と同じ位置から撮影されたパノラマカメラの過去の映像から、現在の頭の角度などを検知して映像を切り取って流せば、体験者は過去の映像を現実と感じるようになる。過去の映像と現実の映像を上手く切り替えることによって、同じ背景の中でさまざまなコンテンツを操作できるようになるのだ。

SRシステムの概念図。ヘッドマウントディスプレイのカメラから送られるリアルタイムの映像と、あらかじめ撮影された過去の映像を切り替えることで、被験者に過去を現実として体験させる。

SRの実験から見る現実と仮想がシームレスになる理由

藤井氏は続けて、「非常に簡単な仕組みだが、SRの体験者は現実と仮想の区別が付かなくなる」と実験の様子を説明する。

図a
まず実験室に被験者が入ってくる様子を密かにパノラマカメラで撮影したうえで、被験者にはAlien Headを装着してカメラがあった場所に座ってもらう。

図b
最初はカメラを通して現実の世界を見ているが、次に「痛くないですか？」などと話しかける過去に撮影した映像を流す。すると、被験者は映像が過去のものになったことに気づかず、現実で話しかけられたと思い、声のする方向へ自然に返事をする。

図c
次にAlien Headに流す映像を、図aの時点で撮影した被験者が実験室に入ってくるときの映像に差し替えると、被験者は現実にいるはずの自分の姿を見て非常に驚く。ここにきて被験者は、現実の自分の姿を見ることはありえないので、何らかの操作が行われていることに気づく。

図d
疑問を感じた被験者は、見ている映像は操作が行われているものだと警戒するが、研究者が実験の種明かしのため目の前に現れると、再び現実に戻っていると感じる。しかし、これも過去の映像が投影されているので仮想（嘘）の世界であり、藤井氏は「嘘を体験させた後にもう一度だますことができるのは、これまでのVRやARではできなかった」と説明する。

図e
さらに、別の場所から研究者が現れて「さっきのは嘘で、今が本当」などと説明すると、体験者は混乱し、現実と仮想がまったくわからなくなってしまうという。このように、過去と現実をうまく組み合わせることによって、人の現実のなかにさまざまなコンテンツを差し込むことができる技術は、これまでにはない技術だと藤井氏は説明する。

こうしたSRの実験は、これまで100人以上が体験したが、ほとんどの人が現実と仮想の違いを認識できず、もし、実験内容を知っているセミボラの来場者が体験したとしても、一連の流れの中で現実と仮想の区別がつかなくなるという。

続いて、藤井氏は実験の様子を映した動画を上映し、被験者が現実と過去の映像を判断できなくなる様子について説明を続ける。SRの実験概要を説明した動画は、Webサイトでも公開されており、よりわかりやすく実験内容を理解できる。

「SRは、現実と仮想の間をシームレスにつなぐことを実現している。VRやARは現実と仮想の間に大きなギャップがあったが、SRは現実であると信じている気持ちのまま仮想に移行し、疑うことができない。現実とはみなさんが信じているものであって、それを疑うことがなければ何でも差し込むことができる」

現実と仮想の違いを確認する唯一の方法は自分の体を見ることで、多くの被験者が自分の手を見ることで現実を見ていると安心できた、と藤井氏は話す。また、猿にSRの実験を行ったことを明かし、普段は自分の手を見つめるようなことはない猿が、現実と仮想がわからなくなったときに自分の手を見ようとしていたことも明かした。

ただし、自分の手を見る被験者に対しても、クロマキーなどの技術を使えば、簡単に過去映像の中に現実の自分の手を映し出すことができるため、SRでは自分の手が見えたからといって現実とは限らないと藤井氏は説明を続ける。また、過去と現実を同時に見せたり、映像の一部分や特定の場所だけを過去映像にしたりし、そのほかを現実にするといった見せ方も可能だという。

SRは時間と場所を飛び越えられる

SRに似ている技術として藤井氏は、TELEXISTENCE（遠隔臨場感）の技術を例に挙げる。TELEXISTENCEは遠隔にあるロボットを操作したり、カメラによる視覚を得たりできる技術で、原発などの危険な場所での作業を行う際にも使われている。しかし、TELEXISTENCEが違う“場所”の視覚を得ることができるのに対し、SRは“場所と時間”が違う視覚を得ることができる点が異なると藤井氏は説明し、「SRは時間と場所をジャンプできるもので、一種のタイムマシンに近い装置と考えてもよい」と話す。

「SRは心理実験に使おうと思ったが、あまりにも上手く実験が成功したので、アートやエンターテインメントの世界で活用している」と話を続ける藤井氏は、実際にSRを活用した事例をいくつか紹介した。

1つは、2012年8月に東京の日本科学未来館で行った「MIRAGE」というイベント。1回約10分のダンスパフォーマンスをSRで体験したり、実際のステージと体験者の映像を同時に観覧したりできるイベントで、現実のダンサーとあらかじめ撮影されたダンサーが入り混じってパフォーマンスを行うものだ。このイベントでは、SRの体験者だけでなく、ステージと映像の両方を見ている観覧者も映像のほうに引っ張られて、現実のステージに違和感を覚える現象も起きていたという。

また、同じ体験をしたにもかかわらず、上演後はそれぞれが異なる観測を行っており、それぞれの主観で感想を述べていたことから、藤井氏は「やはり絶対的な現実というものはなく、私たちは主観的な現実しか持ち合わせることができないということを再確認できた」と説明する。

2012年9月には、東京ゲームショウでソニーのヘッドマウントディスプレイとコラボレーションし、ブースに案内してくれた女性がゾンビに変身して襲ってくるという体験を提供している（HMZ没入快感研究所「実験内容」）。

「SRは、カメラを通して現実を見せているので映像のクオリティが下がり、過去の映像と同じクオリティになっているため、切り替わったことに気づかれないから成功している。実際の視覚の中に過去の映像を流しても、クオリティの違いですぐに気づかれてしまう」と話す藤井氏は、現実の情報のクオリティを下げることで過去の情報を差し込むことができると説明し、どこまで現実感を保ちながらクオリティを下げられるか、実験をベクタの線画で行った動画も上映した。

現実の画像クオリティを下げ、仮想との差を小さくすると過去映像との違いに気づきにくくなる

線画の状態でも現実感は作れると説明する藤井氏は、現実を操作するためには画質や装置のスペックは関係なく、体験者を信じさせて、信じられる情報を差し込むことが重要だと話す。たとえば、線画ではなくポスタライズした映像を現実とすることで、アニメの世界を現実に表現できるようになる。背景が現実のままアニメのキャラクターが登場しても違和感があるが、背景を変えてアニメのようにフィルタをかけることによって現実感を作り出すことができるというわけだ。

エンターテインメント分野の発展に期待

SRの活用例として、藤井氏は結婚式や卒業式などのイベントをパノラマで撮影することで、後からそのイベントを体験する例を挙げている。また、限られた一部の人しか体験できないことをパノラマ映像としてアーカイブすることで、誰もがその体験を共有できる可能性があることも示唆した。

今後のSRの展開については、「実験も行っていくが、エンターテインメントとして何かをやっていきたい」と藤井氏は話す。SRを体験できる装置をパッケージ化したポッドを作り、プリクラのようにさまざまな人が体験できるように提供したり、ゲーム機とヘッドマウントディスプレイを使ったコンテンツの制作も考えているという。

「自分が夢見たSFの世界を誰も作ってくれなかったので、分野が異なる神経科学者の自分がなぜかSRを作ることになってしまった。SRができたことによって、自分の夢はだいぶ現実に近づいたと思っている」と藤井氏は話し、SRの今後の発展を感じさせながら第三部の講演を終えた。

Web広告研究会
代表幹事
本間 充氏

また第三部終了後は、最後の挨拶としてWeb広告研究会代表幹事の本間充氏が登壇。今後もさらに進化した活動を行っていくことを示した。

今日は東京や大阪、そして東北から多くの人が参加してくれて、この活動を続けられていることが非常にうれしいと感じている。今日は、アカデミックなものから新たなビジネスに関するもの、牛たんに関するゆるい議論など、バラエティに富んで非常によかったと思う。秋には第五回東北セミボラをやりたいと考えているので、今日の感想やこんなセッションをやってほしいといった希望をぜひ聞かせてほしい。

オリジナル記事はこちら：「視覚と聴覚をハッキング、現実と仮想の境界をなくすSRシステム（代替現実）がもたらす未体験ゾーン」2013年4月5日開催　第四回東北セミナーレポート（3）