[dbjapan] NTCIR-14 OpenLiveQ-2 タスク参加募集 (参加締切: 2018年08月01日)

["Makoto P. Kato" <mpkato [at] acm.org>]

日本データベース学会の皆様，
（重複して受け取られた場合にはご容赦ください）

京都大学の加藤と申します．
Yahoo!知恵袋の実サービス環境にて評価が行われる質問検索タスク，
NTCIR-14 OpenLiveQ-2への参加案内をお送りさせていただきます．

参加締切は【2018年08月01日】となっておりますので，
ぜひともご参加を検討くださいますようよろしくお願い申し上げます．

__________________________________________________________________

　　NTCIR-14 OpenLiveQ-2 タスク参加募集（参加登録締切: 2018年08月01日）
　　HP: http://www.openliveq.net/
　　Twitter: @NTCIROpenLiveQ
__________________________________________________________________

OpenLiveQ (Open Live Test for Question Retrieval)では
質問検索システムの評価のために，ヤフー株式会社のコミュニティQ&Aサービスにおける
オープンライブテスト環境を提供します．
このタスクでは，より現実的なシステム評価を行う機会を提供し，
実検索サービスに特有の問題（e.g. クエリの曖昧性・不明瞭性，多様な適合性基準）
に取り組むことを支援します．
タスク自体はシンプルで，クエリと回答付き質問集合が与えられたときに
順位付きの質問リストを返すタスクとなっています．


参加方法
============

NTCIR-14 参加登録方法（締切： *2018年08月01日*）：
1. タスク参加の手引きをご確認ください：
http://research.nii.ac.jp/ntcir/ntcir-14/howto-ja.html
2. 参加登録を行ってください：
http://ntcir.nii.ac.jp/NTCIR14Regist/


スケジュール
============
2018年8月1日 参加登録締切 （ NTCIR-14 Webサイトで登録 ）*
2018年8月31日 ラン投稿締切 *
2018年9月-11月 オンラインテスト（実ユーザによる評価）#
2019年1月10日 オンラインテスト結果返却#
2019年2月1日 タスク概要論文（ドラフト）公開#
2019年3月15日 タスク参加者論文（ドラフト） 提出締切*
2019年5月1日 タスク参加者論文 最終提出締切*
2019年6月10日-13日 NTCIR-14カンファレンス@NII, 東京*

*は参加者，#はオーガナイザが行うべき予定になっています


データ
============

参加者は以下のデータを入手することができます：
・Yahoo!知恵袋検索に入力されたクエリ
　（訓練： 1,000クエリ，テスト： 1,000クエリ）
　・クエリに対する検索結果中の各質問のクリック率
　・各質問をクリックしたユーザの属性情報
　　・男女の割合
　　・各年代の割合
・各クエリに対して最大1,000件の質問・回答情報
　（検索結果中に表示される情報（スニペット等）を含む）


タスク
============

OpenLiveQの唯一のタスクは， 各クエリの質問集合に順序を与える、
つまり、質問のランキングを作成することです．
フォーマット等の詳細はHP http://www.openliveq.net/ をご覧ください．


評価
============

オフラインテスト（適合性判定を行ったデータによる評価）
----------------------------------------------

オフラインテストは，後述のオンラインテストの前に行われ，
ここでの成績によって参加者のどのシステムがオンラインテストに用いられるかが決定されます．
評価は通常のアドホック検索タスクと同様に， 適合性判定とnDCG (normalized discounted
cumulative gain), ERR (expected reciprocal rank), Q-measureなどの
評価指標を用いて行われます．参加者はオフラインテスト期間中，本Webサイトから結果を1日1回提出することが可能であり，その場で評価結果を受け取ることができます．


オンラインテスト（実ユーザによる評価）
----------------------------------------------

提出された結果はMultileaving(cf. Schuth et al. "Multileaved Comparisons
for Fast Online Evaluation." CIKM 2014)によって評価されます．
オフラインテストによって評価されたシステムに対してオンラインテストが行われます．
Multileavingによって1つの検索結果に統合された提出結果は，
オンラインテスト期間中に実ユーザに提示され，
その期間中のクリックを収集することで各システムの優劣を決定します．
オンラインテストでは，オフラインテスト時に提出した結果がそのまま利用されます．
ただし，オンラインテスト開始前，または，実施中に何らかの理由により削除された質問は，
オンラインテストでは除外されることになります．


みなさまのご参加を心よりお待ちしています．

NTCIR-14 OpenLiveQ-2 オーガナイザ
　加藤 誠（京都大学）
　山本 岳洋（京都大学）
　藤田 澄男（ヤフー株式会社）
　西田 成臣（ヤフー株式会社）
　真鍋 知博（ヤフー株式会社）