研究内容
❖ 読唇
本研究では、コンピュータにより音声情報を利用せずに映像情報のみから発話内容を推定する機械読唇に関する研究に取り組んでいます。
▶サービス
▶ 研究紹介ビデオ
▶ 読話能力テスト
人の読話能力を評価するテストです。
こちらにアクセスしてください。
マスク顔画像の単語読唇テストはこちらです（2023/2/24公開）。
▶ 公開データベース
- スマートデバイスを用いた発話シーンデータベース（SSSD）：日本語25単語，72名
- ITAコーパス マルチモーダルデータベース：日本語朗読324文＋日本語感情100文，声優4名
- ITAコーパスの文章リスト公開用リポジトリ
- ROHAN4600 マルチモーダルデータベース：日本語6,400文，声優1名
- ROHAN4600：モーラバランス型日本語コーパス
読唇用データベース（整備中）
▶ ワークショップ等
- 第10回サイレント音声認識ワークショップ（2023年10月15日（日））