人と犬の自然なふれあいを捉える大規模4Dデータセット「InterPet4D」を構築

• 人が犬をなでる、声をかける、遊ぶといった日常の様子を、映像・音声・3Dの動きとしてまとめた新しい研究用データ集「InterPet4D」を作りました。
• 23名の参加者と11犬種13頭の犬の協力を得て、161回の撮影で合計約683万フレームを記録しました。
• このデータを使い、人の手の動きや声に対して犬がどのように動くかをコンピュータで予測・生成する技術を開発しました。

東京科学大学（Science Tokyo） 情報理工学院 情報工学系のホウ・イシン（Peng Yichen）特任助教、小池英樹教授らの研究チームは、カーネギーメロン大学などとの共同研究により、人と犬が自然にふれあう様子を詳しく記録した研究用データ集「InterPet4D^[用語1]」を構築しました。

犬に声をかける、手で合図する、なでる、一緒に遊ぶといった行動は、私たちにとって身近です。しかし、そのとき人と犬がどのように動き、声や手の合図に犬がどう反応しているかを、研究に使える形で大規模に記録したデータはほとんどありませんでした。

本研究では、12台のカメラと参加者が身につけるカメラ付きメガネを使い、人と犬の動き、犬への声かけ、人から見えている映像を同時に記録しました。さらに、このデータを使って、人の動きや声から犬の動きを予測・生成する技術も開発しました。これにより、将来的にはバーチャルペットが人の声やジェスチャーに自然に反応する技術や、ロボット犬が人とよりスムーズに関わるための動作生成技術などへの応用が期待されます。

本研究成果は、9月8日～12日（現地時間）付で開催された、コンピュータビジョン分野のトップ国際会議The European Conference on Computer Vision（ECCV 2026）にて発表されました。

人と犬の関係には、言葉だけでは説明しきれない動きのやり取りがあります。たとえば、飼い主が手を差し出すと犬が近づく、声をかけると座る、遊びの中で互いに動きを変える、といった場面です。こうした行動をコンピュータで理解できるようにするには、実際のふれあいを多く集めたデータが必要です。

しかし、人と犬は近い距離でお互いの体の一部が隠れやすい上に、犬の大きさや動き方も一頭ごとに異なるため、研究に使える品質で大規模に記録することは簡単ではありませんでした。

研究チームは、6 m×6 mの撮影空間に12台のカメラを配置し、参加者にはカメラ付きメガネを装着してもらいました。これにより、周囲から見た映像に加え、参加者本人の目線に近い映像と音声も同時に記録できます。

撮影には、23名の参加者（飼い主11名を含む）と11犬種13頭の犬の協力が得られました。収録したのは、犬をなでる、犬に指示を出す、犬を呼ぶ、自由に遊ぶという4種類の場面です。合計161回の撮影で、約683万フレームのデータが集まりました。また、他の研究者にも活用してもらえるよう、データセットはHugging Face上で公開しています。

• Datasets: ohicarip/interpet4d｜Hugging Face

集めたデータには、人と犬の映像だけでなく、体や手の動き、犬の姿勢、犬への声かけ、行動の説明文も含まれています。これにより、「人がどんな動きをしたとき、犬がどう反応したか」を細かく調べられるようになりました。

さらに、このデータを使って、人の手の動きや声から犬の動きを生成する技術「InterPetMoGen」を開発しました。たとえば、人が犬に向かって手で合図したとき、犬がどのように近づき、向きを変え、座るのかといった動きをコンピュータ上で作り出します。

生成された犬の動きを評価したところ、提案手法はFID^[用語2]11.21を達成し、比較手法よりも実際の犬の動きに近い結果となりました。また、12名による評価（感性評価）でも、自然さ、反応のよさ、総合的な品質のすべてで高い評価を得ました。

InterPet4Dは、犬の行動を理解する研究だけでなく、たとえば、犬のしつけや健康状態の見守りといった、ペットと暮らす人を支援する技術にもつながります。ほかには人と自然に関われるロボット、ゲームやアニメーションでのリアルな犬の動きの作成などへの応用が期待されます。

また、データセットは研究用途向けに公開予定です。世界中の研究者が同じデータを使って比較できるようになることで、人と動物の関係をコンピュータで理解する研究が進むと考えられます。

今後は、犬以外のペットにも対象を広げることや、なでる、引っぱり合う、抱き寄せるといった接触をより自然に扱うことが課題です。また、より長い時間のふれあいを理解・生成できる技術への発展も期待されます。

本研究は、JST ASPIRE（JPMJAP2404）の支援を受けて実施されました。また、株式会社クレッセント、有限会社ピンスタジオとの共同研究であり、東京科学大学のインタラクティブ知能協働研究拠点のプロジェクトとして、スーパーコンピュータTSUBAME4.0を利用して行われました。

[参考文献1]

Yichen Peng, Jyun-Ting Song, Chen-Chieh Liao, Kris Kitani, Hideki Koike, Erwin Wu: InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation, arXiv:2607.10287v1, 2026.

[用語1]

4D：3Dの立体的な情報に、時間の変化を加えたもの。本研究では、人や犬がどのように動いたかを時間に沿って扱う。

[用語2]

FID：生成した動きが、実際に記録した動きにどれだけ近いかを測る指標。値が小さいほど、より自然で実データに近いと考えられる。

発表学会：

The 19th European Conference on Computer Vision（ECCV 2026）

タイトル：

InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

著者：

Yichen Peng, Jyun-Ting Song, Chen-Chieh Liao, Kris Kitani, Hideki Koike, Erwin Wu

DOI：

10.48550/arXiv.2607.10287

データセット公開予定：

Datasets: ohicarip/interpet4d｜Hugging Face

紹介動画：

ECCV Poster InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

• プレスリリース 人と犬の自然なふれあいを捉える大規模4Dデータセット「InterPet4D」を構築—インタラクティブペットの動作生成研究を加速—（PDF）
• キャラクター動作のニュアンスを連続制御する生成AI | Science Tokyoニュース
• 対話音声からジェスチャーを生成するAIを開発 | Science Tokyoニュース
• ピアノ演奏時の画像から筋活動を高精度に推定する手法を開発 | Science Tokyoニュース
• 胸装着型小型カメラ1台によるモーションキャプチャ技術を開発 | 旧・東京工業大学
• 手首装着型小型カメラによるジェスチャー認識技術を開発 | 旧・東京工業大学

• ホウ・イシン Yichen Peng | Science Tokyo 研究情報データベース（理工学系）
• リャオ・チェンチェー Chen-Chieh Liao | Science Tokyo 研究情報データベース（理工学系）
• ウー・エアウイン Erwin Wu | Science Tokyo 研究情報データベース（理工学系）
• 小池 英樹 Hideki Koike | Science Tokyo 研究情報データベース（理工学系）
• 小池研究室
• 情報理工学院 情報工学系
• 情報理工学院

• カーネギーメロン大学（CMU）