SSRW2018

コンペティション「機械読唇チャレンジ」

• タスク：日本語25単語発話シーン分類問題


• 参加条件：
  • コンペティション参加申込み手続きを行って下さい。
  • 1名（1グループ）で複数の認識手法の結果を提出していただけます。この場合、複数のIDをそれぞれ登録して下さい（コンペティション参加申込み手続きを複数行って下さい）。
  • 評価方法に従い、認識結果テキストファイル（ここではR-fileと呼びます）を認識結果提出〆切日時までに本Webサイトを利用してアップロードして下さい。R-fileは認識結果提出〆切日時までであれば差し替え可能です。結果は上書きされます。
  • コンペティション用アブストラクトとして、下記項目についてスライド3枚（MS PowerPointファイル）にまとめて、認識結果提出〆切日時までにメール添付で提出して下さい。この資料は、主催者が総括用に利用します。
    
    1. ユーザ（グループ）ID and/or 氏名
    2. 認識手法の概要
    3. 実験環境
    4. 工夫した点
  • ワークショップの発表申込み手続き（こちら）を行って下さい。
  • ワークショップ用アブストラクトを提出してください。詳細はこちらをご覧下さい。


• コンペティション参加申込み手続き 終了しました。
  参加申込み手続き〆切日時：2018年8月24日(金)23:59 8月31日(金)23:59


• 利用データ：SSSD[+]
  データは無償で配布していますが、利用契約書を提出していただく必要があります。提供データなどの詳細はSSSDのWebサイトでご確認下さい。


• 評価方法：
  • 学習データ：24名×25単語×30サンプル（合計18,000）の発話シーン
  • テストデータ：5,000サンプルの発話シーン
    テストデータリスト
    テストデータはSSSDと同じ形式の非公開分です。発話者数、各発話者のサンプル数、各単語のサンプル数などはSSRW2018開催まで非公開です。
    各サンプルの正解値は認識結果提出〆切後に公開します。
  • 参加者が提出したR-fileよりスコアを自動的に算出します。
    R-fileは各サンプルの認識結果（分類結果）の単語番号（0～24、整数値）を1行ずつ記入したものと定義します。今回のテストデータサンプル数は5,000のため、R-fileの行数は5,000行になります。
    下記サンプルR-fileを参考にして下さい。
    サンプルR-file
    ※このサンプルR-fileを評価した場合、スコアは0.039400になります。サンプルR-fileは様式を確認していただくために乱数値で作成しました。
  • （スコア）＝（正解サンプル数）／ 5,000
    スコアは0～1の範囲です。スコアが1に近いほど、高い精度を意味します。
  • 認識結果（R-file）の提出および評価 提出期間は終了しました。
    上記よりR-fileを提出して下さい。提出するとスコアを自動計算して、スコアを表示します。


• コンペティション結果：

  	team	Data type	Score	Code
  1	mulgray	Both feature points and images	0.6112
  2	ssogo_xacti	Only images	0.3052	GitHub
  3	touyu0203	Both feature points and images	0.1114



• 認識結果提出〆切日時：2018年8月24日(金)23:59 8月27日(月)23:59 9月3日(月)23:59


• アブストラクト提出先：saitoh at ces.kyutech.ac.jp


• SSRW2018における発表方法：
  口頭発表
  主催者側が、コンペティション参加者数の人数に応じて、口頭発表、ポスター発表のいずれかの発表形式を決定します。
  発表形式については2018年9月1日(土)までに公開します。


• 主催者：九州工業大学・齊藤剛史
  問い合わせ先：saitoh at ces.kyutech.ac.jp


• 協力者：東京理科大学・桂田浩一、岐阜大学・田村哲嗣、デンソーアイティーラボラトリ・山本光穂、デンソーアイティーラボラトリ・吉澤顕