研究内容

脳を知り、脳を創り、脳を助ける

人間は、見る、聞く、言葉を理解するという重要な情報処理を行っている。このような処理を行っている脳を知り/創り/助けることをモットーに、私達は、１）人間での視聴覚情報処理の仕組みの理解、２）人間の優れた機能に学ぶと同時に独創的な着想に基づく視聴覚情報処理の計算機による工学的な実現（ロボットの目と耳）、さらに、３）視聴覚機能を代替あるいは支援する福祉機器（福祉工学）、の研究をしている。
◆視聴覚情報処理の仕組みの理解
生体での情報処理機構を解析し、モデル化することは、科学としての真理の探究だけでなく、生体の機能を工学的に実現するのに重要である。そこで、生理学・心理学の知見や、独自に実施した心理実験に基づいて、視聴覚情報処理のモデル化やシミュレーションを行っている。
これまでに、両眼注視点の解析、形や透明性の知覚のモデル、主観的輪郭生成のモデル、音声に込められた感情の分析、の研究をした。現在は、どの動きがどの音と対応するのかを決める、視聴覚事象の対応付けと、それに基づく視聴覚情報の統合、運動及び感覚系の教師なし学習、の研究をしている。
◆ロボットの目と耳
人は、目や耳を使って、周囲環境を理解できる。音が、どの方向にあり（音源定位）、それが何の音であるか（音源識別）、たちどころに分かる。さらに、複数の音がなっている場合でも、特定の音を聞き分けることができる（音源分離）。目で、複数物体の前後関係（奥行きの知覚）、物の３次元形状（形状復元）、さらにどんな物体かが分かる（物体識別）。
これまでに、生体の定位機構に示唆を得た音源定位と、音源分離の基本的な手法、主観的輪郭生成にヒントを得た内部輪郭の抽出、透明性の知覚モデルに基づく物体の重なりの検出、陰影からの形状復元、シーン画像中の文字列の抽出、の方法を研究した。現在は、環境内で発生する音の識別、特定の音の分離、屋内・外のシーンを撮影した画像中の文字情報の抽出、さらに、視聴覚情報を用いたシーンの理解および感情推定を研究している。
◆福祉工学
私達人間の基本機能は、見る、聞く、話す、動かすである。これらの機能により情報を表現し、他の人あるいは機器さらには外界とコミュニケーションしている。しかし、疾病あるいは事故のため不幸にしてこれらの機能を失った人は少なくはない。私達は、視聴覚に障害がある人の生活・勉学・就労を支援するための、図面認識支援システム、図情報理解・表現支援システム、空間理解支援システム、環境内文字情報伝達システムを研究開発した。現在は、聴覚障害者向けの、クラクションなどの警告音識別システムを研究している。