自然会話の特徴から双極性障害を高い精度で判別「会話の内容」よりも「声の音響的な特徴」に手がかり

2026年11月2日公開

世界最大級の会話データベース（500名超・約1,300件）を用いた自然言語処理・音声解析

プレスリリース研究情報工学臨床医学 Well-Vitality

ポイント

全国10施設で約7年間（2017〜2024年）収集した、双極性障害患者61名・健常者99名の面接会話データを解析
音響3,473種類・言語211種類の特徴量（音量に依存する2,900種類の音響特徴は除外）からLASSOと入れ子交差検証（nested cross-validation）^[用語1]で判別モデルを構築し、AUC^[用語2]＝0.916（感度0.933、特異度0.859）を達成
有意な特徴量の96〜98%が音響特徴量^[用語3]。音響のみ（AUC=0.910）が言語のみ（AUC=0.651）を大きく上回り、「話の内容」より「声の音響的な特徴」に情報が集中していた
症状が落ち着いた寛解期でも健常者と判別可能（AUC＝0.874）。ただし抗精神病薬の影響を分離できておらず、未服薬例での確認が必要
うつ状態と躁状態では治療方針が大きく異なるため、気分状態の客観的把握には臨床的意義があるが、本研究での状態間の判別は限定的であり、症状モニタリングへの応用には依然として課題が残る

概要

双極性障害^[用語4]は、初期には躁状態がまだ明確に現れていないことなどから、初診時にうつ病と診断されることが多く、正確な診断まで平均およそ6年を要するとされています。また、「うつ状態」「躁・混合状態」など、双極性障害の状態像によって治療方針は大きく異なります。しかし、その状態を客観的に見分けることの難しさが臨床上の課題でした。

東京科学大学髙橋英彦教授（医歯学総合研究科精神行動医科学分野）、慶應義塾大学岸本泰士郎教授（医学部医科学研究連携推進センター）、静岡大学狩野芳伸教授（グリーン科学技術研究所／情報学部）らを中心とする本研究グループは、約10年間にわたり500名を超える精神疾患患者を対象に、自然な会話や課題に基づく会話を収集し、1回30〜60分の会話記録として世界最大級となる約1,300件のデータセットを構築してきました。本研究ではこのうち、双極性障害患者61名・健常者99名の面接会話をAIで解析し、高い精度で両者を判別できること、また状態像の判別も可能であることを明らかにしました。特筆すべきは、判別の重要な手がかりとなったのが、会話の内容よりも、声の高さやトーンといった音響的な特徴であった点です。この結果は、発話内容よりも、声の音響的な特徴の方がより重要な手がかりとなりうることを示唆しています。

本研究成果は、2026年11月1日（米国東部時間）に国際学術誌「Journal of Medical Internet Research（JMIR）」に掲載されました。

研究の背景と概要

双極性障害は成人の1〜3%が罹患する重篤な精神疾患ですが、初診時には躁状態がまだ明確に現れていないことが多く、76.8%がうつ病と診断され、正確な診断に至るまで平均およそ6年を要すると報告されています。うつ状態と躁状態では薬物療法の方針が大きく異なるため正確な評価が不可欠である一方、それを支える客観的な検査指標は存在しません。

近年、自然言語処理（NLP）^[用語5]）と音声解析を用いたバイオマーカー研究が進んでいますが、従来研究の多くは小規模で結果が一貫せず（メタ解析による分類精度は0.77）、言語情報と音響情報を別々に解析しており、両者を同時に解析した研究はほとんどありませんでした。

研究の成果と意義・今後の展開

本研究グループは、会話から精神疾患を理解することを目指すUNDERPINプロジェクトを推進しています。本研究ではその一環として、慶應義塾大学病院および全国の連携医療機関（病院7施設・クリニック3施設）で2017年から2024年に収集した、双極性障害患者61名・健常者99名の半構造化面接データを解析しました。面接時点の気分状態は、うつ状態（32名）、躁症状を伴う状態（混合状態を含む。以下、躁・混合状態）（20名）、寛解期（26名）に分類しました（経過の中で気分状態が変わった患者は2つ以上の気分状態に含まれるため、各状態の人数の合計（78名）は61名を上回ります）。音響特徴量は3,473種類を抽出し、言語特徴量211種類と併せて、LASSO正則化ロジスティック回帰と入れ子交差検証により判別モデルを構築しました（図1）。

図1. 本研究の概要
全国の医療機関で録音した面接中の会話から、声の音響的な特徴（音響特徴量）と話の内容（言語特徴量）を抽出し、機械学習モデルで双極性障害と健常者を判別しました。有意な特徴量の96〜98%は音響特徴量でした。

その結果、双極性障害と健常者の判別でAUC＝0.916が得られました。気分状態別に健常者と比較した場合は、うつ状態でAUC＝0.805、躁・混合状態で0.848、寛解期で0.874となり、最も症状が軽い寛解期で最も高い値が得られました。モダリティ別に解析すると言語のみで0.651、音響のみで0.910、統合モデルで0.911であり、言語特徴量による上乗せはほとんどありませんでした（図2）。

主解析と同じ手順で、（a）言語特徴量のみ、（b）音響特徴量のみ、（c）言語と音響の統合を用いて判別モデルを構築し、AIが算出した双極性障害の予測確率の分布を健常者（灰色）と双極性障害（赤色）で比較しました。音響特徴量を用いたモデルでは2群の分布が分かれたのに対し、言語特徴量のみのモデルでは大きく重なりました。枠内の感度・特異度は判定閾値0.5での値です。出典：論文の補足資料Figure S2を改変（CC BY 4.0）。

個々の特徴量を見ると、うつ状態では高次のMFCC^[用語6]の時間的な平坦さ（発話を通じて声の細かな変化が乏しいこと）が、躁・混合状態ではスペクトルの変動性^[用語7]が関連していました。気分状態によらず持続する特徴としては、低次のMFCCや倍音対雑音比の低下などが同定され、発声の明瞭さの低下を示唆します。うつ症状の重症度（HAMD-17）は、MFCC 8次の変動性と負の相関を示しました（rs＝−0.51）。

被験者の重複を除いて気分状態どうしを直接判別したところ、うつ状態と寛解期の判別のみが有意でした（AUC＝0.760、p＝0.030）。また薬剤の影響を検討した結果、双極性障害全体・うつ状態・躁/混合状態の判別結果は薬剤の種類や総薬剤負荷と関連しませんでしたが、寛解期のみ抗精神病薬を服用している患者で診断確率が高く（Cohen d＝1.17）、寛解期の判別を薬剤の影響から切り分けることはできませんでした。

なお、同定された音響特徴が実際の声にどう現れるかを示すため、WORLDボコーダー^[用語8]で音声を再合成した参考音源を補足資料として公開しています（表1、下記URL）。この再合成は、解析で特定された音響特徴量の変化が人の耳でも聞き取れるかを確かめるための探索的な試みです。元となった音声は患者のものではなく、本研究のデータに含まれない健常ボランティアと、公開英語音声コーパスの音声です。

本研究で示された声の特徴は、多くの参加者を比べて得られた集団としての傾向です。これらの音声は現時点で、双極性障害の診断を裏付けるものではなく、このような声の特徴を持つ方が双極性障害であることを意味するものでも決してありません。

表1. 参考音源
No.	ファイル名	言語	種類	再合成の内容
1	Audio1_Japanese_Control.wav	日本語	対照	元の音声をボコーダーで再合成したのみ（比較の基準）
2	Audio1_Japanese_DepressionLike.wav	日本語	うつ様の再合成	声の細かな変化（MFCCの変動性）を小さくする方向に再合成
3	Audio1_Japanese_ManiaLike.wav	日本語	躁様の再合成	声の響きの変化（スペクトルの変動性）を大きくする方向に再合成

参考音声

本研究に関連する音声ファイルは、以下のリンクよりご確認いただけます。

元の音声は、本研究のデータに含まれない健常ボランティアの音声です。論文公開後は、論文の補足資料（Audio S1.1〜S1.3）としても公開される予定です。論文では、英語音声データでも同様の変化が確認できたことを報告しています。

診断遅延が大きな課題である双極性障害において、実臨床に近い面接会話からうつ状態や躁・混合状態を健常者と見分けるための客観的な補助指標の候補を示した点に本研究の意義があります。とりわけ、判別を担ったのが発話の「内容」ではなく「声の音響的な特徴」であったことは、気分の変調が発話運動や声質の制御に及ぼす影響が、語彙や話題の選択よりも捉えやすい形で現れる可能性を示唆します。

今後は、第一に、うつ病や統合失調症など他の精神疾患との比較により、今回の特徴が双極性障害に特異的かどうかを切り分けます。第二に、日本語以外の言語での再現性を検証します。第三に、今回の判別性能は同じ研究データの中で評価した値であるため、別の集団から新たに集めた外部データで同様の性能が得られるかを検証します。なお、これらの指標は臨床面接に取って代わるものではなく、補助的に活用されるべきものです。

付記

本研究は、科学技術振興機構（JST）戦略的創造研究推進事業 CREST（JPMJCR1684、JPMJCR19F4、JPMJCR22P3）、JST AIP加速課題（JPMJCR22U4）、JSPS科研費 JP23H04979、および日本医療研究開発機構（AMED）の脳科学研究の戦略的な推進<脳科学研究戦略推進プログラム、革新的技術による脳機能ネットワークの全容解明プロジェクト・戦略的国際脳科学研究推進プログラム>戦略的国際脳科学推進プロジェクト、脳とこころの研究推進プログラム「脳科学とAI技術に基づく精神神経疾患の診断と治療技術開発とその応用」、脳神経科学統合プログラム「生成/敵対AI・デジタル脳に基づく脳回路バイオマーカとニューロフィードバック治療に関する研究開発」、脳神経科学統合プログラム「記憶機能に関する全脳ダイナミクス・バイオマーカの開発とニューロフィードバック訓練の基盤構築」、脳神経科学統合プログラム「精神・神経疾患における炎症を起点とした全脳の神経回路変容の解明」の支援を受けて実施されました。

用語説明

[用語1]: LASSOと入れ子交差検証（nested cross-validation）：LASSOは多数の候補から予測に寄与する少数の特徴量を自動的に選び出す統計手法。入れ子交差検証（nested cross-validation）は、モデルの調整に使ったデータで性能を評価してしまうことを防ぐ検証手続き。
[用語2]: AUC：判別性能の指標。1に近いほど性能が高く、0.5は偶然と同じ水準を意味する。
[用語3]: 音響特徴量：声の高さ、声質、周波数成分の分布など、発話の物理的な性質を数値化したもの。「話の内容」ではなく、声そのものの音響的な性質を表す。
[用語4]: 双極性障害：うつ状態と躁状態（気分が高揚し活動性が亢進した状態）を繰り返す精神疾患。
[用語5]: 自然言語処理（NLP）：文章や会話をコンピュータで解析する技術。
[用語6]: MFCC：声の周波数成分の全体的な形を数値で表現したもの。低次の係数は大まかな形を、高次の係数は細かな変化を表す。
[用語7]: スペクトルの変動性：声に含まれる周波数成分の分布（スペクトル）が、時間とともにどれだけ変化するかを表す特徴量。代表的なものにスペクトルフラックスがあり、短い時間の間にスペクトルが大きく変わるほど値が大きくなる。
[用語8]: WORLDボコーダー：音声を声の高さ・周波数成分・雑音成分に分解し、それらを変更して再合成できる音声分析合成システム。

論文情報

掲載誌：: Journal of Medical Internet Research（JMIR）
タイトル：: Machine Learning Classification of Bipolar Disorder Across Mood States Using Natural Language Processing and Speech Analysis: Observational Study（自然言語処理と音声解析を用いた、気分状態をまたぐ双極性障害の機械学習による判別：観察研究）
著者：: 山口湧声、狩野芳伸、杉原玄一、竹村亮、中村啓信、清水正彬、飯塚真理、北沢桃子、仙頭綾子、髙橋英彦、岸本泰士郎
DOI：: 10.2196/98094