裸眼でも立体に見える3D映像とは
3D映像はエンターテインメントや医療の現場で活用されていますが、ストレスなく3Dに見せるためには難しい面も多いとのこと。今回の3D映像の技術にはどのような特長があるのでしょうか。
髙橋 秀也先生（以下、髙橋秀）「従来の3D映像技術では、ディスプレイに対して決められた場所からでないと3D映像がうまく見えませんでした。どの位置からでも3Dに見えるように、さまざまな方向に映像を出す方法もありますが、それでは映像が粗くなってしまいます。今回の技術は、カメラが人の目の動きを追いかけること（トラッキング）により、映像を見ている人が移動しても高解像度で3Dに見えることが特長です。また、左右の目それぞれに向けて完全に分離した左右で異なる映像を見せるために、特殊なフィルムを貼り付け、裸眼でも3Dに見えるようにしています。このフィルムの技術は特許を取得しています」
インタビュー中、目の前にあるタブレット端末から流れる3D映像。確かに手軽で汎用性も高そうです。
髙橋秀「今、世の中に出回っているものは、技術的な理由で使用するディスプレイの種類が限られています。また他社製品は、処理能力の高いパソコンでしか動かないものが多いですが、本学の技術であればタブレット端末レベルで使えます。ディスプレイを選ばないということは、柔軟性があり導入コストも下げられるということ。さらに、横移動のトラッキングに加えて、前後に奥行きのある動きまで対応できるようになりました。前後移動のトラッキングはこれまで無かった技術です」
もう一つの汎用的な特長は、誰が見ても3Dに見えることだと言います。
髙橋秀「人の目と目の間隔には個人差があります。例えば、大人と子どもではまったく違いますし、大人でも顔の大きさが違えば変わってきますよね。これまでのほとんどのトラッキング技術は、目と目の平均間隔63mmで設計されていました。すると、顔が大きな人や子どもは3Dに見えなかったんです。今回のトラッキング技術は人の目の位置に合わせて動きますし、斜めから見たときの歪みも吸収してくれるため、見る人を選ばない。これは世界のどこにもない技術だと思います」
3D映像×心臓ロボット手術。課題と期待
この3D映像を医療現場で活用しようとしているのが、医学研究科の柴田 利彦先生。どのようなきっかけで今回の医工連携が始まったのでしょうか。
柴田 利彦教授（以下、柴田）「医療の現場ではすでに3D映像が映るディスプレイが活用されていますが、偏光メガネを着用しなければ立体に見えませんでした。工学研究科で開発されているメガネ無しの3D映像の技術は、手術に利用できるのではないかと感じ、これは面白いと思ったんです。心臓の手術には『ダビンチ』という手術支援ロボットを使いますが、ダビンチからは左右の目それぞれで見た映像を、データとして取り出すことができます。その映像を工学研究科に提供したら、すごくきれいな3D映像になったので驚きました」
髙橋秀「私もこれまで3D映像の研究を行ってきましたが、実際に使ってもらわないと工学研究科としては世の中の役に立っていないなと。本学の附属病院ではもともと3D映像が映るディスプレイを導入しているので、受け入れてもらえるのではないかと思いました」
医療現場での3D映像の活用について、どのような課題があるのでしょうか。
高橋 洋介准教授（以下、高橋洋）「ダビンチの手術では、執刀医は手術台から少し離れた場所でゴーグルのようなものを覗いてロボットを動かします。私たち執刀医には3D映像が見えていますが、サポートする助手の先生たちは、手術室内に置かれた普通の2Dディスプレイを見ているんです。ダビンチの手先には、つかむ、切る、縫うなど用途ごとにさまざまな用具を装着しますが、手術中にその用具や針・糸を渡すのは助手の先生たちの役割です」
柴田「本学では、ロボット心臓手術のベッドサイド助手をしている先生たちは技量が高く、2D映像しか見えなくても奥行きまで判断して的確に手術をサポートしていますが、なかなかできることではありません。助手が見る映像も3Dになれば手ブレが軽減されるなど、技術が標準化されます。熟練した人でなくても、ある程度やれば同じ結果が出るようにする。それを助けてくれるのがテクノロジーです。イノベーティブでクリエイティブな医工連携で、技術の進歩に寄与できればと思っています」
インタビュー中にも、今後の技術開発について具体的な意見交換を始める3人。
高橋洋「心臓手術の場合、ダビンチを操作する執刀医はルーペをかけませんが、手術台の近くにいる助手は、患者さんに何かあったときのためにルーペをかけます」
柴田「このルーペが目を隠してしまい、カメラが助手の先生の目をトラッキングできなくなると思うんですが、解決策はありますか」
髙橋秀「ルーペがついているメガネのフレームにマークを付け、そのマークをトラッキングすることで解決できると思います」
柴田「なるほど、それならいけそうですね。医工連携では、こういった具体的なシチュエーションを伝えるのが大切だと思うんです。まずはお互いの言語を理解しないといけない。そのために手術の現場を見てもらうこともあります。コスト感覚やフィーリング、どれくらい開発に時間がかかるのかなど、コミュニケーションが必要だと思います」
医工連携で進む技術開発。その実用化に向けて
柴田「私はロボット心臓手術関連学会協議会の委員長も務めていますが、本学における心臓手術累計件数は非常に多く大学病院ではトップ件数であり、ロボット心臓外科手術の業界ではリーディングポジションにあると自負しています。昨年の日本低侵襲心臓手術学会で髙橋秀也先生の3Dディスプレイ映像の技術を披露したところ、その技術の高さに心臓外科の先生方も驚いていました。タブレット端末なら滅菌した袋に入れてしまえば手術室にも持って入れます。大きなディスプレイでなくても、手元にあれば小さくても良いんです。使い方によっては実用化も近いと思います」
髙橋秀「医療機器として製品にするにはハードルが高いのですが、技術を磨きながら一般用途にも使えたらと考えています。また、この技術を世に広めるため、大学発ベンチャーである株式会社Real Imageを立ち上げました。今後はCEATECのような技術展にも参加しながら、この会社での販売を目指し、他のメーカーとも協力して実用化に向けて加速していきたいと思います」
最後に、本学における医工連携について柴田先生が語ってくれました。
柴田「医工連携を進める中で、自分たちは普段不自由だと思っていないことでも、部外者が見るとより便利になるような改善の提案があったり、さらにはそれが簡単に解決されたりすることに気づきました。学内では定期的に医工連携のウェビナーを実施していますが、すぐにコラボレーションできそうなケースもあります。これからも学内でさまざまな連携が増えていくことを期待しています」
大阪公立大学大学院 心臓血管外科 Webサイトは
こちらをご覧ください。
大阪公立大学大学院 心臓血管外科Webサイト
株式会社Real Image Webサイトはこちらをご覧ください。
株式会社Real Image
プロフィール
博士（工学）。1982年大阪市立大学工学部電気工学科卒業、1987年同大学大学院工学研究科後期博士課程単位取得退学。同大学工学研究科教授、都市防災教育研究センター研究員（兼務）を経て2022年より現職。
物体の3次元情報取得のための3次元カメラと、3次元情報の表示手段としての3次元ディスプレイなどの研究開発に取り組んでいる。
※所属は掲載当時
プロフィール
博士（医学）、医師。1985年大阪市立大学医学部医学科卒業。
心臓弁膜症の外科治療を研究テーマとし、低侵襲心臓手術など、よりQOLの高い手術および治療成績向上を目指している。僧帽弁閉鎖不全症に対する弁形成術では日本屈指の成績を挙げている。
※所属は掲載当時
プロフィール
博士（医学）、医師。2001年大阪市立大学医学部医学科卒業。
米国胸部外科学会のGraham Fellowshipを獲得し、アトランタ・エモリー大学でロボット心臓手術の第一人者より指導を受ける。日本ロボット外科学会専門医を取得し、数少ないロボット心臓手術プロクター (指導者)の資格を有する。
※所属は掲載当時
