[dbjapan] NTCIR-13 OpenLiveQ 参加募集 (締切: 2016年12月15日)

["Makoto P. Kato" <kato [at] dl.kuis.kyoto-u.ac.jp>]

日本データベース学会の皆様，
（重複して受け取られた場合にはご容赦ください）

京都大学の加藤と申します．
Yahoo!知恵袋の実サービス環境にて評価が行われる質問検索タスク，
NTCIR-13 OpenLiveQへの参加案内をお送りさせていただきます．

こちらのタスクに参加された場合，以下のようなメリットがございます．

1. 【日本語のランキング学習(Learning to Rank)用データセットを入手できる】
　　クエリ，Yahoo!知恵袋中の質問・回答データ，クリックスルーデータを提供します．
　　特に日本語コンテンツに対するクリックスルーデータは希少であるため，
　　ランキング学習に興味がある方はぜひご参加ください．

2. 【オープンライブテストによる評価結果を入手できる】
　　参加者から提出されたシステム出力は，Yahoo!知恵袋の検索結果としてユーザに提示されます．
　　ユーザからのクリックによって，提出された結果が評価されることになるため，
　　より現実に即した評価結果が得られることが期待されます．

3. 【1月から3月の間に評価結果をいつでも入手することができる】
　　オフラインテストによって，中間的な評価結果をすぐに得ることが可能です．
　　1月から3月にかけて論文提出・投稿予定がある方のうち，
　　ランキング学習や質問検索に関わる研究をされている方にご活用いただければと思います．

参加締切は【2016年12月15日】となっておりますので，
ぜひともご参加を検討くださいますようよろしくお願い申し上げます．

__________________________________________________________________

　　NTCIR-13 OpenLiveQ タスク参加募集（参加登録締切: 2016年12月15日）
　　HP: http://www.openliveq.net/
　　Twitter: @NTCIROpenLiveQ
__________________________________________________________________

OpenLiveQ (Open Live Test for Question Retrieval)では
質問検索システムの評価のために，ヤフー株式会社のコミュニティQ&Aサービスにおける
オープンライブテスト環境を提供します．
このタスクでは，より現実的なシステム評価を行う機会を提供し，
実検索サービスに特有の問題（e.g. クエリの曖昧性・不明瞭性，多様な適合性基準）
に取り組むことを支援します．
タスク自体はシンプルで，クエリと回答付き質問集合が与えられたときに
順位付きの質問リストを返すタスクとなっています．


参加方法
============

NTCIR-13 参加登録方法（締切： *2016年12月15日*）：
1. タスク参加の手引きをご確認ください：
http://research.nii.ac.jp/ntcir/ntcir-13/howto-ja.html
2. 参加登録を行ってください：
http://ntcir.nii.ac.jp/NTCIR13Regist/


スケジュール
============
2016年12月15日：参加登録締切 （NTCIR-13 Webサイトで登録）*
2017年1月-3月：オフラインテスト（適合性判定を行ったデータによる評価）*
2017年4月-6月：オンラインテスト（実ユーザによる評価）#
2017年 7月1日：オンラインテスト結果返却#
2017年 9月1日：タスク概要論文（ドラフト）公開#
2017年10月1日：タスク参加者論文（ドラフト） 提出締切*
2017年11月1日：タスク参加者論文 最終提出締切*
2017年12月5日-8日：NTCIR-13カンファレンス@NII, 東京*

*は参加者，#はオーガナイザが行うべき予定になっています


データ
============

参加者は以下のデータを入手することができます：
・Yahoo!知恵袋検索に入力されたクエリ
　（訓練： 1,000クエリ，テスト： 1,000クエリ）
　・クエリに対する検索結果中の各質問のクリック率
　・各質問をクリックしたユーザの属性情報
　　・男女の割合
　　・各年代の割合
・各クエリに対して最大1,000件の質問・回答情報
　（検索結果中に表示される情報（スニペット等）を含む）


タスク
============

クエリ集合Qの各クエリq∈Qについて， 質問集合Dq⊂D（Dは全質問集合）が与えられています．
OpenLiveQの唯一のタスクは， 各クエリqの質問集合Dqに順序を与えることです．
フォーマット等の詳細はHP http://www.openliveq.net/ をご覧ください．


評価
============

オフラインテスト（適合性判定を行ったデータによる評価）
----------------------------------------------

オフラインテストは，後述のオンラインテストの前に行われ，
ここでの成績によって参加者のどのシステムがオンラインテストに用いられるかが決定されます．
評価は通常のアドホック検索タスクと同様に， 適合性判定とnDCG (normalized discounted
cumulative gain), ERR (expected reciprocal rank), Q-measureなどの
評価指標を用いて行われます．
参加者はオフラインテスト期間中，本Webサイトから結果を1日1回提出することが可能であり，
その場で評価結果を受け取ることができます．

オンラインテスト（実ユーザによる評価）
----------------------------------------------

提出された結果はMultileaving(cf. Schuth et al. "Multileaved Comparisons
for Fast Online Evaluation." CIKM 2014)によって評価されます．
オフラインテストによって評価されたシステムのうち，
最大10システムに対してオンラインテストが行われます．
Multileavingによって1つの検索結果に統合された提出結果は，
オンラインテスト期間中に実ユーザに提示され，
その期間中のクリックを収集することで各システムの優劣を決定します．
オンラインテストでは，オフラインテスト時に提出した結果がそのまま利用されます．
ただし，オンラインテスト開始前，または，実施中に何らかの理由により削除された質問は，
オンラインテストでは除外されることになります．


みなさまのご参加を心よりお待ちしています．

NTCIR-13 OpenLiveQ オーガナイザ
　加藤 誠（京都大学）
　山本 岳洋（京都大学）
　藤田 澄男（ヤフー株式会社）
　西田 成臣（ヤフー株式会社）
　真鍋 知博（ヤフー株式会社）