マルチメディア，画像処理、コンピュータビジョン・パターン認識
画像認識・学習の基礎的課題として、オープンワールドの認識・学習の問題，大規模モデルの活用、応用的課題として、360度映像に基づく実世界メタバース，FoodLogに基づくフードコンピューティング，漫画を対象にしたコミックコンピューティング等の課題に取り組んでいる。
研究分野1
画像認識・学習の基盤，オープンワールド
現状の深層学習は、閉じたデータセットに対して精度よく動く。しかし現実には、認識器が見たことのないデータや新出クラスが頻出する。トレーニングデータにもあいまいさが含まれる。そのような状況に対処するための認識技術について研究している。誤りを含むデータからの認識器の学習/ 認識対象外のデータの検出（分布内外の検出）/ 誤りのあるデータからのオブジェクト検出/オープンデータの弱教師あり学習/ ドメイン越しの新カテゴリ検出 / 教師なし学習でのデータ拡張 等について研究している。
研究分野2
360度映像・3次元処理, ムービーマップ、実世界メタバース
3次元・天球映像処理の研究を進め、とりわけ市街歩行映像を対象にし、360度映像から動画マップの構築に取り組んでいる。映像ベースに築く空気感のある実世界メタバースを目指している。市街歩行映像のハイパーラプス/ 3次元復元(SLAM)/ 疎なジオタグからのカメラ位置姿勢の絶対座標推定/ 映像群の統合合成によるムービーマップ/360度画像からの深度推定・高解像・ROI検出・オブジェクト検出/交差点検出のためのPDoT/アバターやライブの融合を行うプラットフォームの構築等に取り組んでいる。
研究分野3
ライフログ, フードコンピューティング
ライフログと呼ばれる分野を開拓してきた。個人の生活に適合した情報提供ができる。なかでも、食事ログの技術と社会展開に取り組んできた。開発したスマホツールで収集した食事記録数は、1000万件を越えた。個人に適応した画像認識/ レシピを複合させた食事記録の詳細解析/ 個人の健康やストレスの予測/ アスリートと栄養士向けの新ツール開発運用を進めている。
研究分野4
漫画, コミックコンピューティング
漫画やアニメーションのメディア処理を進めている．Manga109という世界最大の学術利用データセットを構築し，世界中で利用されるに至った．基盤的な画像処理技術や画風変換、描画支援等の課題に取り組むとともに、新しいビューヤに繋がる基盤技術を研究している．
研究分野5
画像圧縮・生成・環境文字認識
伝統的な信号処理分野の課題である画像圧縮をEnd to Endで最適化する学習型の模索が始まっている。学習による偏りをのぞく汎用画像圧縮などに取り組んでいる。また、拡散モデルによる画像生成では、生成結果を修正可能なフレームワークを提案している。環境文字認識では、新たなデータセットの構築法を提案した。漫画のオノマトペの認識という困難な課題も提起した。