ARグラスと医療映像プラットフォームを連携させた内視鏡手術システムを構築

東京科学大学（Science Tokyo）大学院医歯学総合研究科 腎泌尿器外科学分野の吉田宗一郎准教授、工学院 電気電子系の雨宮智宏准教授らの研究チームは、医工連携の取り組みとして、AR（拡張現実）グラスの医療応用に関する研究を進めてきました。
このたび、ARグラスの視認性と軽量性を活かし、内視鏡映像をはじめとする手術に必要な情報を術者の視野内に表示する内視鏡手術システムを構築しました。
2026年9月28日、膀胱がんに対する膀胱温存療法を目的として東京科学大学病院を受診された50歳代の患者さんに対し、化学放射線療法を施行した後に本システムを用いた膀胱がんの手術を実施し、無事に終了しました。

本システムでは、光学シースルー型ARグラス「XREAL One Pro」（XREAL社）と、Thruster社が開発した、術者の立ち位置に応じて内視鏡映像の表示を調整するシステムを組み合わせています。
光学シースルー型とは、現実の景色をレンズ越しに直接見ながら、同じ視野内に電子映像を表示する方式です。
この特徴を活かすことで、術者は手元や周囲の状況を直接確認しながら、自身の立ち位置に適した内視鏡映像を目の前に表示して観察できます。

さらに、内視鏡映像を含む手術室内の映像情報を統合管理する、ソニーの医療映像プラットフォーム「NUCLeUS」と連携しました。
これにより、術者が必要な映像情報を選択し、有線接続または無線伝送を介してARグラスに表示できる構成としました。
また、手術参加者は、それぞれの役割に応じて、より軽量な光学シースルー型ARグラス「XREAL xbx a01+」（XREAL社）を選択して使用します。

本システムにより、手術参加者がそれぞれの立ち位置で、手元や周囲の状況を確認しながら、手術に必要な映像情報を参照できる環境を整えました。
こうした情報確認の支援を通じて、安全で高精度な手術の実現に寄与することが期待されます。

本研究は、国立研究開発法人科学技術振興機構（JST）の戦略的創造研究推進事業（CREST）における研究課題「メタマテリアル技術を活用した医療用ARグラスの実現」（研究代表者：雨宮智宏、研究分担者：吉田宗一郎、研究期間：2024～2029年度、e-RAD課題ID：24031817）の支援を受けて実施しています。