2016年4月11日戸田 智基 教授（メディア科学専攻）2015/9/1着任
2015年9月に着任した戸田 智基と申します。1998年4月に名古屋大学工学部電気電子情報工学科の板倉研究室に配属されて以来、ずっと音に関する研究に魅了されており、音情報処理に関する研究を生業としております。ここでは、音情報処理の面白さをお伝えできればと思います。
音は、物理的には空気などの媒体を伝搬する振動であり、一次元の時系列信号なのですが、例えば音声に限定したとしても、そこには言語、音声表情、個人性、話者位置、音環境など、膨大な情報が埋め込まれています。我々は、所望の情報を含む音声信号を瞬時に生成することができますし、音声信号を聞いただけでこれらの膨大な情報をいとも容易く得ることができます。この利便性ゆえ、音声は我々人類の主要なコミュニケーション手段として用いられています。これらの処理を計算機上で実現することで、我々の音声コミュニケーションを支援し、さらには拡張するシステムが構築できると考えられますが、一次元の時系列信号からそれらの膨大な情報を抽出し処理することは、極めて難しい問題となります。これに対し、音声信号は物理的生成過程を経て生成される点や、言語のように意味のある構造を秘めている点などを手掛かりとして、人が行うような高度で知的な処理を計算機上で実現し、困難な問題を解決していくことが、音情報処理の醍醐味の一つです。また、音は我々の生活に欠かせないものであり、人と密接に絡むものですので、実際に作り上げた技術の効果を自身の体験を通して実感しやすいという面白さがあります。
この音情報処理という課題に対して、主に統計的手法に基づくアプローチで取り組んでいます。このアプローチでは、まず、取り組みたい問題を数理的に記述します。その際に、生成過程における物理的制約や言語情報などの事前知識を導入することで、より正確に音信号を記述できる数理モデルを設計します。そして、予め収録された実データを用いて、定式化した数理モデルを学習します。その結果、自動的に所望のシステムが構築されるという仕組みとなります。この手法で鍵となる基本技術は、信号処理と機械学習でして、さらに応用によっては強化学習も駆使することになります。
実際に、これまでに最も力を入れて取り組んできた研究課題の一つとして、音声変換処理に基づく音声生成機能拡張を例に挙げてご紹介したいと思います（下図参照）。音声変換処理は、ある特定の話者の声を別の特定の話者の声へと変換する応用例を中心として、1990年ごろから研究されている技術です。これに対し、2005年ごろに、音声の時間変化に着目した新たな変換手法を提案し、変換性能を大幅に向上させることに成功しました。また、音声変換処理の新たな応用として、物理的な制約を超えて音声生成機能を拡張する技術の研究を立ち上げました。代表的な応用例として、病気などで声を失った人が再び自身の声を取り戻すための発声障碍者補助（ボイスバンク），特殊なマイクロフォンを用いて体内を伝わる音声を集音することで周囲の人に聞かれない声による通話を可能とするサイレント音声通話，所望のキャラクタや歌手の声による発声・歌唱を可能とするボイスチェンジャ・ボーカルエフェクタなどが挙げられます。これらの音声生成機能拡張技術は、物理的に不可能なことを可能とするものであり、我々人類に対して新たな音声コミュニケーション形態をもたらす可能性を秘めています。実際にこれらの技術を使用してみると、ささやいたはずが普通の声になって聞こえたり、自分の声が有名なキャラクタの声になったりするなど、これまでにはない体験をすることができます。
今後、名古屋大学では、自身の研究室を立ち上げて、不可能を可能とする音情報処理の実現に向けて、以下の研究課題を中心に取り組んで行く予定です。
- 音声・言語情報処理
音声を分析して所望の情報を取り出す音声分析、所望の情報を自在に加工する音声変換、所望の情報を持つ音声を生成する音声合成、音声から話者を識別する話者識別、音声をテキストへと変換する音声認識、発話内容を理解して適切な応答を返す音声対話などの研究に取り組みます。音声コミュニケーションの数理的モデル化を目指し、個々の基盤技術の研究を進めつつ、各種応用技術の研究にも取り組みます。
- 音楽・音響情報処理
歌声の特徴を定量化する歌声分析、所望の歌手の声による歌唱を可能とする歌声変換、身体的制約を超えた歌唱表現生成、イメージを具現化する創作活動支援、音楽信号を個々の楽器音へと分離する音源分離などの研究に取り組みます。また、音に含まれる空間情報や環境情報を処理するための多チャンネル信号処理に関する研究にも取り組みます。
音声に興味がある学生、音楽が好きな学生、歌うことが好きな学生、演奏が好きな学生、声優が好きな学生、創作活動が好きな学生などは、ぜひとも音情報処理の研究に取り組んでみて下さい。不可能を可能とする処理を自分の手で実現し、実際に自分で構築したシステムを使ってみて、世界でまだ誰も体験したことがない未知の体験を楽しんでみて下さい。音情報処理の研究の醍醐味を存分に味わいながら、一緒に研究に取り組みましょう。どうぞよろしくお願いいたします。
音声生成機能拡張技術の例