[dbjapan] NTCIR Short Text Conversation 2 (STC2) 日本語タスク 参加案内

[Ryuichiro Higashinaka <higashinaka.ryuichiro [at] lab.ntt.co.jp>]

※重複して受け取られましたらご容赦ください

関連研究者の皆様，

NTTの東中です．

下記の通り NTCIRにてShort Text Conversation 2 日本語タスク
の参加者を募集しております．

スケジュールがややタイトですが，Yahoo!ニュース コメントデータを元に
対話システムの発話を選択・生成をするという面白いタスクですので，
ぜひ多くの皆様に参加いただければと思います．

よろしくお願い致します．

--
■NTCIR Short Text Conversation 2 (STC2) 日本語タスクのお知らせ

NTCIR にて，Short Text Conversation (STC2) 日本語タスクの参加者を募集します．
情報検索，対話システム，自然言語処理に関わる皆様，ぜひご参加ください．

NTCIR STC2 Japanese Subtask URL:
http://mynlp.github.io/stc/

NTCIR STC2 URL:
http://ntcir12.noahlab.com.hk/stc.htm

■タスク概要

本タスクは，入力発話に対して，所定のコメントペア群（Yahoo!ニュース コメントデータ）
を用い，対話システムの出力としてふさわしい発話を抽出，もしくは，生成するタスクで
す．適切な発言を抽出・生成できれば対話システムの応答性能向上が見込めます．

なお，STC1の日本語タスクではTwitter のデータを用いておりましたが，STC2では，
Yahoo!ニュース コメントデータを用います．Yahoo!ニュースではニュース記事について，
ユーザがコメントできます．また，そのコメントについて応答できる仕組みになっていま
す．本タスクではコメントとそのコメントへの応答のペアのデータを配布します．

■データについて

STC2では以下のデータが配布されます．

1.Yahoo!ニュース コメントデータ： Yahoo!ニュースにおけるコメントと応答のペア約100万件
2.開発用データ：ベースライン手法によって抽出された入力コメントに対する応答とその主観評価値
3.テスト用データ：Yahoo!ニュースのコメントから抽出された入力コメント
　※フォーマルラン時に配布

データの配布を受けるには参加登録後，NIIと覚書を交わす必要があります．

■評価方法

抽出もしくは生成された応答について，オーガナイザ側にて人手による主観評価を行いま
す．主観評価は，0（応答として適合しない）, 1（文脈により適合する）, 2（適合する）
の3段階のラベルを複数人でラベル付けし，適合するツイートの割合や情報検索の評価尺
度によって評価します．

■参加方法

NTCIR の公式サイトから参加登録をお願いします．こちらに入力された連絡先アドレスに
対して，テストデータ配布等の連絡を行います．
http://ntcir.nii.ac.jp/NTCIR13Regist/
（参加登録は下記〆切まで随時受け付けています）

■スケジュール

データ配布：開始しました
開発用ラベル付きデータ配布：7/1
参加登録〆切：2017/7/23
テストデータ配布：7/24
フォーマルラン〆切：7/31
評価実施：8/1-8/31
評価結果配布：9/1
論文第一稿〆切：10/1
カメラレディ論文締切：11/1
NTCIR13カンファレンス：12/5-12/8

■日本語タスクオーガナイザ

・Ryuichiro Higashinaka, Nippon Telegraph and Telephone Corporation, Japan
・Yusuke Miyao, National Institute of Informatics, Japan
・Yuki Arase, Osaka University, Japan
・Masako Nomoto, Yahoo Japan Corporation, Japan

■お問い合わせ先

NTCIR STC 日本語タスクオーガナイザ
stc-japanese<at>nii.ac.jp

NTCIR STC タスクオーガナイザ
stc-org<at>list.waseda.jp

-- 
Ryuichiro Higashinaka
NTT Media Intelligence Laboratories. NTT Corp. 
1-1 Hikarinooka, Yokosuka, 239-0847 Japan.
phone: +81-46-859-2027 fax: +81-46-855-1054