TOP > 研究活動 > 研究者総覧「情報知」 > メディア科学専攻 > 音声映像科学講座 > 井手 一郎

研究者総覧「情報知」

メディア科学専攻

氏 名
井手 一郎(いで いちろう)
講座等
音声映像科学講座
職 名
准教授
学 位
博士(工学)
研究分野
マルチメディアコンテンツ処理

研究内容

大規模放送映像群の内容理解
1.研究の概要
撮影メディア・伝達メディアの多様化に伴い、現代社会には大量の映像データが氾濫している。それらの内容を分析し、様々な形で人間の活動を支援することが重要である。しかし、大規模な映像群に対する処理においては、その規模ゆえに従来の画像内容理解やパターン認識の手法をそのまま適用することは困難である。そこで、大規模な映像群に対して、効率的かつ効果的にその内容を理解し、検索や閲覧を実現したり、潜在している知識を抽出したりすることを目指している。
2.研究テーマ
映像の代表的なものとして、放送映像が挙げられる。放送映像は人間社会を克明に記録した人類共通の資産と考えられるが、散逸の危機に瀕している。近年になりアーカイブの構築が進みつつあるが、大量に蓄積された映像群から目的の映像を検索したり、何らかの有用な情報を抽出する手法はいまだに確立していない。
そこで、放送映像のなかでも特に記録として価値の高いニュース映像に注目し、数100時間規模のニュース映像群を対象とした下記のテーマに関する研究に取り組んでいる。
・トピックスレッド構造の抽出
関連するニューストピックの遷移を追跡するために、出来事の時系列的な因果関係を表す「スレッド構造」を自動抽出し、その構造に基づいて話題を追跡するための閲覧インタフェースを提供することで、利用者により指定されたトピックの効率的かつ効果的な内容理解の支援を目指している。
・発言集の作成
映像によるニュースの伝達における最大の利点は、活字(新聞・雑誌)や音声(ラジオ放送)では伝わりにくい視覚情報の存在が挙げられる。特に演説など、被写体が自己の意志を表明するために肉声で発話している映像からは、話者の表情や雰囲気など放送映像ならではの情報が得られるため、人物が発言しているシーンを自動収集し、検索や要約を実現することを目指している。
・登場人物の人間関係の抽出
ニュース映像中の人物の出現状況に基づき、アナウンサによる解説などで明示的に言及されない登場人物の人間関係の自動抽出を目指している。また、このようにして得られた知識を用いて、ニュース映像の内容を更に良く理解することを考えている。
またこれらの実現に必要な画像・テキスト・音声の各メディアにおけるパターン認識技術の研究にも取り組んでいる。
3.今後の展開
利用者からの様々な問い合わせに応じて的確に回答できるようなシステム、たとえば自動的にドキュメンタリ映像を製作することなどを考えている。
4.これまでの研究テーマ
ニュース映像以外に、これまで下記のような映像を対象とした研究に取り組んできた。
・車載カメラ映像:走行支援、街並みデータベースの構築
・料理映像:調理手順の索引付け、調理支援への応用
・スポーツ(サッカー)映像:選手の追跡
・ドラマ映像:登場人物による行動の索引付け
また、本研究とは別に、下記のテーマにも取り組んできた。
・学術情報流通基盤の整備:研究者個人情報管理システムの構築
(上)スレッド構造の例(下)トピック追跡インタフェース

(上)スレッド構造の例(下)トピック追跡インタフェース

経歴

  • 2000年 東京大学 大学院工学系研究科 博士課程修了
  • 2000年 国立情報学研究所 ソフトウェア研究系 助手
  • 2002年 [併]総合研究大学院大学 数物科学研究科 助手
  • 2004年 本学 大学院情報科学研究科/[併]工学部 助教授 [兼]国立情報学研究所 客員助教授(連携)
  • 2007年 本学 大学院情報科学研究科/[併]工学部 准教授 [兼]国立情報学研究所 客員准教授(連携)(~2010年)
  • 2010年 アムステルダム大学 情報学研究所 上級訪問研究員(~2011年)

所属学会

  • IEEE
  • ACM
  • 電子情報通信学会
  • 情報処理学会
  • 人工知能学会
  • 映像情報メディア学会
  • 言語処理学会

主要論文・著書

  1. 井手一郎,木下智義,高橋友和,孟  洋,片山紀生,佐藤真一,村瀬 洋: “大量ニュース映像を対象とした時系列意味構造に基づく情報編簒手法の提案”, 人工知能学会論文誌, 23(5), 282-292, 2008.
  2. 井手一郎,浜田玲子,坂井修一,田中英彦:“テレビニュース字幕の語義属性解析のための辞書作成”,電子情報通信学会論文誌(D-II),J85-D-II(7), 1201-1210, 2002.
  3. 井手一郎、浜田玲子、坂井修一、田中英彦:“ニュース映像における人物の分離による背景の場面推定”、電子情報通信学会論文誌(D-II)、J84-D-II(8)、1856-1863(Aug. 2001).
  4. F. Nack, I. Ide: "Why did the Prime Minister resign? -Generation of event explanation from large news repositories-", Proc. 19th ACM Int. Multimedia Conf. (ACM-MM2011), pp.313-322, 2011