ポイント
- 3Dホログラム画像を手術映像に統合する新しい拡張現実（AR）システムを開発し、術野（手術の対象領域）の把握を強化。認知負担を軽減により、特に人工内耳手術において手術精度が向上。
- 東京科学大学とソニー株式会社・ソニーグループ株式会社との連携により、医療現場のニーズに応える新たな手術支援システムを実用化。
- ORBEYE（オーブアイ）の4K3Dモニターで手術映像と3Dホログラム画像を同時に表示し、ヘッドマウントディスプレイ（HMD）を使用せず、一体的な映像表示が可能に。
- 既存のナビゲーションシステムを使用せず、複雑な解剖学構造を直感的に把握でき、外科医の負担を大幅に軽減させることが期待される。
概要
東京科学大学（Science Tokyo）※ 医歯学総合研究科 医学部医学科 耳鼻咽喉科分野の伊藤卓講師および堤剛教授らの研究チームは、拡張現実（AR）[用語1]技術を活用した側頭骨[用語2]および頭蓋底[用語3]手術のための新たな手術支援システムを開発しました。このシステムでは、手術映像に3Dホログラムを重ねて表示し、術者の空間認識を向上させ、より直感的な手術サポートが可能になります。
この開発により、手術の安全性と効率性が向上し、術者の負担軽減が期待されています。たとえば、人工内耳手術では、周囲の神経や血管を避けながら正確な方向と角度で骨を削る必要がありますが、このARシステムにより、より直感的な空間認識が可能になり、手術時間の短縮や患者の負担軽減が見込まれます。また、手術中に必要な情報を一つの画面で確認できるため、術者は自然な視点で操作が行えます。
この成果は、耳鼻咽喉科領域以外の外科手術にも応用が期待され、今後の研究開発によってより高度なARシステムの実用化が進むと考えられます。
本研究成果は、11月1日付（現地時間）の「Sensors」誌に掲載されました。
- 2024年10月1日に東京医科歯科大学と東京工業大学が統合し、東京科学大学（Science Tokyo）となりました。
背景
東京科学大学 耳鼻咽喉科学分野では、多様な耳鼻咽喉科頭頸部外科手術を数多く行い、優れた耳鼻咽喉科医を輩出してきました。これらの経験に基づき、ナビゲーションシステム[用語4]や3Dプリンタ技術、画像解析プログラムなどを組み合わせ、さまざまな手術支援器具の開発を進めてきました。
特に耳科・側頭骨領域では、神経や血管が硬い骨に囲まれているため、ドリルで削らなければその位置が確認できないことが多く、位置だけでなく深さや角度などの3次元的な空間認識が求められます。このため、ナビゲーションには、正確さ、深さ、角度などの精度に加え、手術中の空間把握を強化する3Dビジュアルへのニーズが高まっていました。
本研究では、手術用外視鏡「ORBEYE」の4K3D映像をGPU機能搭載を備えたPCに取り込み、Unity上で高速かつ遅延なしに表示する仕組みを構築しました。さらに、診療用に撮影したCTデータから神経、血管、耳小骨などをセグメンテーションし、3D解析およびモデリングソフトウェアを用いてポリゴン化（3Dモデル化）しました。そして実際の手術のシミュレーションとしてインプラントの留置部位をコンピューターグラフィック上で再現し、Unity上で3Dモデルと手術映像を重ねて表示できるようにしました。
また、Unityの画面を民生用ヘッドマウントディスプレイ（HMD）[用語5]であるMeta Quest3に取り込み、4K画質をほぼ損なうことなく遅延のない3D表示を実現しました。このシステムを「Orbeyace」と名付け、実際の手術で使用して、その有用性と利便性を検討しました。
Orbeyaceシステムでは、ORBEYEの4K 3Dビデオを3DモニターとOrbeyace PCで処理し、Quest 2/3ヘッドセットに取り込むことができます。術者はQuest 2/3を装着し、ハンドジェスチャーで3Dホログラムを操作し、手術映像と統合できます。統合された映像は再びOrbeyace PCに送られ、3Dモニターに表示され、手術助手や他のスタッフが見ることができます。また、手術室内のDICOM Viewer PCからの画像もQuest 2/3内の複数のモニターに表示され、外科医はヘッドセットを外さずに手術映像と一緒に見ることができます。
研究成果
本研究で開発されたARシステムは、3Dホログラムと手術映像をHMDに統合して表示し、カラービデオパススルーで表示される周囲の現実世界に同期して手術映像や3Dモデルが浮かび上がるため、裸眼での操作感覚に近い使用感を実現しました。映像遅延は約0.13秒と非常に短く、HMDを装着したままでも違和感なく手術を行うことが可能です。
さらに、HMDに表示された画面を3Ｄ4Ｋモニターにミラーリングすることで、通常の手術映像と臓器3Ｄモデル、シミュレーション画面、ハンドジェスチャーによるアノテーション表示を同時に映し出すこともでき、HMDを装着している術者のみならず助手や看護師など周囲のスタッフも同じ映像を共有しながら手術を進めることが可能になります。
このシステムを用いて、術野の空間認識にかかる負荷の軽減効果を検証した結果、特に人工内耳手術では、術者の経験年数に関係なく認知負担[用語6]が大幅に軽減され、手術手技の早期習得が期待されることが確認されました。
Quest 3のカラーパススルーモードを使用すると、外科医は周囲を見ながら手術映像を3Dで見ることができます (A)。監督する外科医がQuest 3を装着すると、手のジェスチャーで3D手術ガイドを操作し、3Dモニターに表示して経験の浅い外科医を指導できます (B)。Quest 3は手術中ずっと装着でき、遅延はほとんど感じられません（C）。図Cでは、外科医が3Dモニターを見ているように見えますが、実際にはQuest 3内の映像を見ており、モニターなしで手術が可能です。Quest 3には様々なタッチパネルがあり、手のジェスチャーだけでホログラムを操作し、モニターの表示を調整できます (D)。
術前にインプラント留置部位のシミュレーションを行い（A）、術中はハンドジェスチャーで3Dモデルを操作しながら、手術映像に映る側頭骨の縫合線や表面の輪郭を3Dモデルと比較して埋め込み部位を決定しています (B)。Quest 2/3の映像は3Dモニターに表示され、手術助手も同様の映像を立体的に見ることができます（C）。
NASA Task Load Indexを使用した主観的な評価では、3Dイメージング表示はすべてのカテゴリで2Dディスプレイよりも作業負荷を軽減させるという結果となりました。
社会的インパクト
本技術は耳鼻咽喉科手術に新たなアプローチをもたらし、術者の負担軽減や患者の治療成績向上に貢献する可能性を秘めています。特に、手術手技の習得期間短縮や安全性向上、医療資源の効率的活用などの観点から、医療現場全体への大きなメリットが期待されます。今回の研究で導入された拡張現実（AR）システムは、手術の空間的な認識力を向上させ、術者により精密な操作環境を提供します。
この技術は、人工内耳手術において有用性が確認されており、特に3Dホログラムの活用によって視覚的な作業負担が軽減される効果が見られました。このARシステムの導入により、術者は実際の手術映像にホログラムを直接投影して確認することができるため、複雑な解剖構造の理解が深まり、より効率的かつ安全な医療の提供が可能になることが期待されます。
また、本技術の応用範囲は耳鼻咽喉科手術にとどまらず、他の医療分野にも広がる可能性があり、将来的にはAR技術が医療の標準的なツールとして普及することも見込まれます。このように、科学技術を通じて医療の発展と人々の幸福を追求し、社会と共に新たな価値を創造することを目指しています。
今後の展開
今後の展望としては、ホログラム画像を術野に直接重ねて表示する技術の開発を進め、より直感的かつ精密な手術ガイダンスの実現を目指しています。具体的には、3Dスキャニング技術やARマーカーを活用して手術部位の3次元構造をリアルタイムで正確に把握し、術中の映像にホログラムを直接重ね合わせるシステムの構築を目指しています。また、このシステムの応用範囲を広げることで、脳外科や心臓外科などの複雑でリスクの高い手術分野への導入も視野に入れています。
さらに、AR技術の社会実装に向けては、簡便に3Dモデルを生成し、術者が容易に扱えるシステムインターフェースの開発にも取り組みます。これにより、医療従事者がスムーズに技術を習得し、臨床現場で即座に利用できる環境を提供します。また、導入コストを低減させ、医療機関が手軽にAR技術を導入できるような施策も検討します。加えて、シミュレーション教育やハンズオントレーニングを通じた実践的なトレーニングプログラムを充実させ、医療従事者の技術向上とAR技術の普及を推進していきます。
こうした取り組みにより、医療現場におけるAR技術の標準化を進め、より安全で効率的な治療環境の実現に貢献していきます。また、患者の治療成績向上や術後の回復促進を図り、医療の質の向上と医療リソースの最適化を実現し、社会全体に良い影響をもたらすことを期待しています。
付記
本研究は、東京科学大学とソニー株式会社およびソニーグループ株式会社による包括連携協定による研究助成金の支援を受けて実施されました。本研究で使用した「Orbeyace」システムは、研究目的のために特別に開発されたものです。
用語説明
- [用語1]
- 拡張現実（AR）：現実世界に仮想的な情報を重ね合わせて表示する技術。医療では、手術映像に仮想のガイドや解剖構造を表示することで、術者の視認性を高めるために利用される。
- [用語2]
- 側頭骨：耳の近くにある頭蓋骨の一部で、耳の手術に関与。
- [用語3]
- 頭蓋底：頭蓋骨の底部で、脳や神経の通路となる複雑な部位。
- [用語4]
- ナビゲーションシステム：手術中に術者が体内の位置や構造を正確に把握するための支援システム。
- [用語5]
- ヘッドマウントディスプレイ（HMD）：頭部に装着し、映像を直接目の前に映し出すデバイス。医療では術野の映像や3Dガイドを表示するために用いられる。
- [用語6]
- 認知負担：手術中に外科医が感じる精神的・認知的な負荷。負担が軽減されると、手術がより効率的で安全に行える。
論文情報
- 掲載誌：
- Sensors
- 論文タイトル：
- Integration of Augmented Reality in Temporal Bone and Skull Base Surgeries
- 著者：
- Taku Ito, Taro Fujikawa, Takamori Takeda, Yoshimaru Mizoguchi, Kouta Okubo, Shinya Onogi, Yoshikazu Nakajima, Takeshi Tsutsumi
- DOI：
- 10.3390/s24217063
研究者プロフィール
伊藤 卓 Taku ITO
東京科学大学 大学院医歯学総合研究科
耳鼻咽喉科学分野 講師
研究分野：
分子遺伝学
耳科学、側頭骨手術
XR技術の医療活用
堤 剛 Takeshi TSUTSUMI
東京科学大学 大学院医歯学総合研究科
耳鼻咽喉科学分野 教授
研究分野：
めまい、平衡医学
姿勢制御
側頭骨腫瘍、外耳道がん
関連リンク
お問い合わせ
東京科学大学 大学院医歯学総合研究科 耳鼻咽喉科学分野
講師 伊藤卓
- Tel
- 03-5803-5308
- Fax
- 03-3813-2134
- taku.oto@tmd.ac.jp