ポイント
- ユーザーが音声で伝えた印象語から、画像生成の基盤モデルと化粧品データセットによって、メイクの色を即座に作り出すバーチャルメイク手法を開発
- 投影型のメイクシミュレータにより自分の顔で効果を確認しながら、インタラクティブなプロセスを通じて、個人の好みのメイク色に効率的に最適化
- 化粧品店舗での新たな購買体験、美容相談、エンターテインメントなどへの応用展開が期待される
概要
東京科学大学（Science Tokyo） 工学院 情報通信系の張珂萌（チャン・カホウ）大学院生、彭浩倫（ポン・ハオルン）大学院生（研究当時）、渡辺義浩准教授らの研究チームは、個人の好みに合わせたメイクの色を簡単に探索できる技術を提案しました。
自分自身が納得できるメイクの色を見つけ出すプロセスは、化粧品を選ぶ際のユーザー体験を向上させるために重要です。例えば、バーチャルメイク[用語1]はさまざまな化粧を手軽に試す手段として普及し始めていますが、専門知識を持たない一般のユーザーが、数多くの選択肢の中から自分好みの色を選び出すことは困難でした。
そこで本研究では、ユーザーが思い描く「印象の言葉」をガイドとして、自身の好みに最適なメイクの色を見つけるインタラクティブな探索手法を提案しました。この手法では、まず音声で入力された抽象的な印象語から、実際の化粧品データに基づいた適切なメイク色の候補を自動生成します。さらに、その候補色によるメイクをダイナミックプロジェクションマッピング[用語2]によってユーザーの顔に直接投影し、提示された選択肢から好みのものを対話的に選ぶだけで、ユーザーの潜在的な好みの色へと効率的に導く手法を導入しました。ユーザー体験を分析する被験者実験の結果、提案した手法によって、より効率的かつ簡単に好みのメイク色を探索できることが実証されました。本研究の成果は、これまで時間を要していた化粧品選びを、実際にメイクを試す工程を伴いながらも、自由な自己表現と効率的な探索を両立したプロセスへと発展させるものと期待されます。
本成果は、2026 年1月21日付（日本時間）で論文誌「International Journal of Human-Computer Interaction」に掲載されました。
背景
化粧は個性を引き出し、自己表現を豊かにする手段として、私たちの生活の中で重要な役割を担っています。自分らしい化粧を探求するプロセスは、日常的な化粧品選びといった行動において重要であるだけでなく、エンターテインメントや舞台演出、ファッションといった専門的な表現の現場においても、その人らしさや作品の世界観を作り上げるための不可欠な要素となっています。
近年、こうしたメイクのデザインを支援するため、拡張現実技術を用いて、デジタル上でメイクを試着できる「バーチャルメイク」が普及し、物理的な塗布や洗浄の手間なくさまざまなスタイルを試すことが可能になりました。
しかし、自分好みのメイクの色をデジタル空間で探し出すことには、大きく分けて2つの困難がありました。第1に、探索する色の組み合わせが膨大である点が挙げられます。例えば、アイシャドウ、チーク、リップの3ヵ所を赤・青・緑の色空間で調整する場合、その組み合わせは9次元に及ぶ広大なパラメータ空間となります。専門知識を持たない一般のユーザーがこの選択肢の中から、自身の好みに合致し、かつ納得できる組み合わせを自力で見つけ出すのは非常に困難な作業でした。
第2の問題は、デバイス上でのバーチャルメイクの再現性と没入感の限界です。従来のバーチャルメイクの多くはスマートフォンの画面越しに確認する形式であり、選んだ化粧の色が自分の肌にどのように馴染むのかを正確に評価するにはリアリティが不足していました。また、スマートフォンのフラットな画面を見る行為は、鏡の前で自分自身を観察する本来のメイク体験とは異なるため、直感的な判断を妨げる要因となっていました。
研究成果
本研究では、ダイナミックプロジェクションマッピングによるメイクシミュレータを用いて、ユーザーが自身の好みに合うメイク色を効率的に見つけ出す手法を提案しました（図1）。
まず、ユーザーが思い描く「印象」をシンプルなテキストや音声で入力すると、それを具体的なメイクの色へと変換する「Text-To-Makeup-Colorモデル」を提案しました。このモデルは、テキストから画像を生成する基盤モデルと、独自に収集した化粧品データセットから得られた色の出現確率密度を組み合わせて開発されました。これにより、アイシャドウ、チーク、リップの3ヵ所において、入力された言葉のイメージに合致しつつ、実際のメイクとして現実的かつ自然な色の組み合わせを即座に生成することが可能になりました。
また、顔に直接メイクの色を投影し、ユーザーの反応を反映させながら理想の色へと近づけていく「Projection-In-The-Loop」の手法を提案しました。この手法は、上述のText-to-Makeup-Colorモデルによって導き出された色の組み合わせに対して、少ない試行回数で効率的に最適値を見つけ出せる「ベイズ最適化[用語3]」を用いることで、ユーザー個人の好みや肌の色に合わせてさらに洗練させます。ユーザーは、実際にメイクが投影された鏡に映る自分を確認しながら、提示された候補から好みのものを直感的に選ぶだけで、システムが潜在的な好みを推定し、理想の色の組み合わせを効率的に導き出します。
本手法の有効性を検証するため、提案技術を組み込んだ投影型のメイクシミュレータを開発し、多角的な評価を実施しました（図2）。評価では、15名を対象にユーザー体験を分析する被験者実験や、メイクの専門家へのインタビューを行いました。これらの結果、提案した手法は、手動で色を調整する従来手法と比較して、より効率的かつ簡単に好みのメイク色を探索できることが実証されました（図3）。また、提案技術を通じて、ユーザー自身の当初の意図とは異なる、思いがけないが魅力的な色の組み合わせを発見できるといった、新しいメイクの色彩への気づきやインスピレーションを刺激する効果も確認されました。
（a）基礎アンケートの結果。Q1：出力されたメイク色の満足度、Q2：専門知識がなくても容易な探索プロセス、Q3：多様なスタイルの体験、Q4：直感的な操作性、Q5：当初は想定していなかった新しい色彩を試す意欲を評価した。
（b）ユーザー体験アンケートの結果。Q1からQ4では操作の明快さや効率性といった「使いやすさ」を、Q5からQ8では刺激や独創性といった「体験としての魅力」を評価した。いずれもスコアが高いほど優れた評価であることを示している。
社会的インパクト
本研究の成果は、これまで時間を要していた化粧品選びを、実際にメイクを試す工程を伴いながらも、自由な自己表現と効率的な探索を両立したプロセスへと発展させることができます。提案技術を通して選択されたメイク色は、ユーザーに高い納得感を提供できる点で画期的であり、メイクを選ぶ購買行動や日々の生活において重要な役割を果たすと考えられます。また、専門家に対しても、メイクをデザインするための支援ツールとして役立つことが期待されます。
今後の展開
今後は、納得のいくメイクにたどり着くまでの時間をさらに短くする可能性を模索する予定です。このためには、テキストによるメイクの再現の高精度化や、Projection-In-The-Loopにおけるインタラクションの最適化が必要です。また、色だけでなく、メイクにおける形や質感も自由に探索できる形へと発展させていく予定です。
付記
本研究は、下記機関の協力により実施されました。
株式会社コーセー：専門家としてのシステム評価
用語説明
- [用語1]
- バーチャルメイク：拡張現実技術を用いて、デジタル上で顔に化粧を施した様子をシミュレーションする技術。物理的な塗布や洗浄の手間をかけずに、短時間で多くのスタイルを試せる利点がある。スマートフォンなどの画面越しに確認する形式が一般的であったが、新たにプロジェクションマッピング技術によって実世界上でメイクをシミュレーションする技術も出てきている。
- [用語2]
- ダイナミックプロジェクションマッピング：変形したり動いたりしているものを対象として行われるプロジェクションマッピング。対象と投影像の間でずれが生じないようにするためには、高速でのセンシングと投影が必須となる。
- [用語3]
- ベイズ最適化：評価に時間や手間を要する未知の関数に対して、少ない試行回数で効率的に最適値を見つけ出すための統計的最適化手法。
論文情報
- 掲載誌：
- International Journal of Human-Computer Interaction
- タイトル：
- Impression-Guided Interactive Personalized Color Exploration Framework for Dynamic Projection Mapping Makeup
- 著者：
- Kemeng Zhang, Hao-Lun Peng, Yoshihiro Watanabe
研究者プロフィール
渡辺 義浩 Yoshihiro Watanabe
東京科学大学 工学院 情報通信系 准教授
研究分野：拡張現実、コンピュータビジョン、デジタルアーカイブ、インタラクション