ピアノ演奏時の画像から筋活動を高精度に推定する手法を開発

• 高コストな筋電（EMG）センサを使わずに、カメラ画像のみからピアノ演奏時の筋電位を推定する手法を開発。
• 手指画像、キーストローク、音声、筋電を用いて学習させた深層学習ネットワークを用いて手指画像だけから筋電を高精度に推定。
• 熟練ピアニストの演奏を分析したピアノデータセットを公開。ピアノ演奏技能の獲得支援で活かされることに期待。

東京科学大学（Science Tokyo） 情報理工学院 情報工学系の小池英樹教授、ソニーコンピュータサイエンス研究所の古屋晋一博士らの研究チームは、カメラで撮影した手指画像だけを用いて、手指の筋電位を高精度に推定する深層学習ネットワーク^[用語1]「PianoKPM Net」を開発しました。また、20名の熟練ピアニストのピアノ演奏時の手指姿勢、キーストローク、音声、筋電情報からなるピアノデータセット「PianoKPM Dataset」を世界に公開しました。

音楽、スポーツなどにおける技能獲得のためには、外部から観測可能な姿勢の模倣だけでなく、内部的な筋活動を模倣することが重要です。従来、筋活動を計測するためには、対象となる筋肉の上に筋電（EMG）センサ^[用語2]を一つ一つ貼付しなければなりませんでした。しかし、一般にEMGセンサは価格が高く、かつ複数個のセンサの貼付には多大な時間と高いスキルが必要です。この課題に対して、本研究チームが開発した「PianoKMP Net」は、カメラが撮影する手指姿勢画像を用いて、筋電位を高精度に推定することに成功しました。これにより、誰もがカメラだけを用いて容易に筋電を計測（推定）できるようになり、技能獲得が身近なものとなります。

また、本研究の過程で得られたピアノ演奏に関するマルチモーダルデータセット「PianoKMP Dataset」をインターネット上で公開しました。今後、全世界でピアノ演奏支援研究に使用されることが期待されます。

本研究成果は、2025年9月19日にオンラインで公開され、12月2日から米国・サンディエゴで開催される神経科学に関する国際会議「39^th Conference on Neural Information Processing Systems (NeurIPS 2025)」で発表されます。

音楽演奏やスポーツにおける技能獲得のためには、外部から観察可能な姿勢を模倣するだけでは不十分で、内部的な筋活動を知ることが重要であることが分かっています。従来、筋活動を知るためには、筋電（Electromyography: EMG）センサを対象とする筋肉の上に貼付して筋電位を計測していましたが、一般にEMGセンサは高価格で、かつ複数個のEMGセンサを正しい位置に貼付する作業には多大な時間と高いスキルが必要でした。

本研究では、カメラで撮影した手指の画像から筋電位を高精度に推定する深層学習ネットワーク「PianoKMP Net」を開発しました（図1）。開発に際して本研究チームは、熟練ピアニスト20名にピアノを演奏してもらい、5万フレームにも及ぶ演奏時の手指画像と同タイミングのキーストロークや音声、筋電データを計測しました。このマルチメディアデータを用いて深層学習ネットワークを学習させることで、最終的に手指画像から筋電データを推定することに成功しました（図2）。また、本手法は従来手法と比べて、より高精度に手指姿勢が推定できることも実験によって確認しました（図3）。さらに、実験の過程で得られたマルチメディアデータ「PianoKPM Dataset」は、今後の深層学習を用いた手指姿勢認識研究に有効利用されることを目指して、世界に向けてインターネット公開しました。

• ruofanliu0129/PianoKPMNet | GitHub

従来、筋電計測は価格的にも作業的にも非常にコストが高いものでした。本手法によりカメラ画像だけを用いて筋電を推定できたことで、EMGセンサを持たない人でも容易に筋電を計測（推定）することが可能となりました。その結果、熟練ピアニストの動画から彼らの筋肉の使い方を知り、また自分の演奏画像から推定された筋肉の使い方を比較することで、熟練ピアニストの手指の使い方をより効率的に学習することが可能となります。

本研究成果は、これまで主に熟練者の姿勢を模倣することに着目していたピアノ演奏の学習に対して、熟練者の筋肉の使い方を提示するという学習方法によって、効率的な技能獲得の実現に向けて貢献するものです。今後はデータセットのさらなる充実により、更に高精度な筋電推定を可能にし、手指だけでなく上半身や下半身の筋電推定にも拡張させることを想定しています。

また、本研究はピアノ演奏を対象としたものですが、開発した深層学習ネットワークのフレームワークは他の技能獲得支援、例えばスポーツにおける筋活動の推定にも応用可能です。従来、一部の熟練ピアニストやトップアスリートだけを対象としていた筋電計測を、カメラ画像を用いるだけで誰もが簡単に計測（推定）することが可能となり、技能獲得支援をより効率的にすることが期待されます。将来的には、遠隔地の高価な生体計測機器がない環境でも、低遅延の通信ネットワーク上での使用と組み合わせることで、技能の遠隔教育に貢献できると考えます。

本研究は、科学技術振興機構（JST）CRONOS（情報通信科学・イノベーション基盤創出）事業JPMJCS24N8とJST ASPIRE（先端国際共同研究推進事業）JPMJAP2404の支援を受けて実施されました。

[参考文献1]

Liu, R. et al.：PiaMuscle: Improving Piano Skill Acquisition by Cost-effectively Estimating and Visualizing Activities of Miniature Hand Muscles, Proc. On Human Factors in Computing Systems (CHI 2025), Article 364, pp.1-16, 2025.

[用語1]

深層学習ネットワーク：人間の神経細胞の仕組みをモデルとしたニューラルネットワークを多層化した機械学習システム。

[用語2]

筋電（EMG）センサ：筋肉が収縮する時の活動電位を皮膚表面から計測するセンサ。

発表学会：

Proc. On 39^th Conference on Neural Information Processing Systems (NeurIPS 2025)

タイトル：

From Pose to Muscle: Multimodal Learning for Piano Hand Muscle Electromyograph

著者：

Ruofan Liu, Yichen Peng, Takanori Oku, Chen-Chieh Liao, Erwin Wu, Shinichi Furuya, Hideki Koike

発表ページ：

NeurIPS Poster; From Pose to Muscle: Multimodal Learning for Piano Hand Muscle Electromyography

• プレスリリース ピアノ演奏時の画像から筋活動を高精度に推定する手法を開発－技能獲得支援のための簡易な筋電推定技術として期待－（PDF）
• Science Tokyoの教員3人に「情報処理学会フェロー」の称号授与 | Science Tokyoニュース
• 小池英樹教授が日本ソフトウェア科学会2023年度基礎研究賞を受賞｜旧・東京工業大学
• 胸装着型小型カメラ1台によるモーションキャプチャ技術を開発｜旧・東京工業大学
• 手首装着型小型カメラによるジェスチャー認識技術を開発｜旧・東京工業大学

• 小池 英樹 Hideki Koike | Science Tokyo研究情報データベース（理工学系）
• 小池研究室
• 情報理工学院 情報工学系
• 情報理工学院

• 科学技術振興機構（JST）
• The Thirty-ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025)