日本データベース学会

dbjapanメーリングリストアーカイブ(2021年)

[dbjapan] NTCIR-16 タスク参加募集案内


日本データベース学会の皆様

兵庫県立大学の山本岳洋です.

NTCIR-16のタスク参加募集についてお送りいたします.
現在8つのタスクが引き続き参加募集を受け付けております.
ご参加されるタスクの登録締切をご確認のうえ,
ご検討のほどよろしくお願いいたします.

参加登録: http://research.nii.ac.jp/ntcir/ntcir-16/howto-ja.html
タスクの概要: http://research.nii.ac.jp/ntcir/ntcir-16/tasks-ja.html
参加登録締切(タスクによって異なるのでご注意ください):
- DataSearch-2 : 2021年9月30日 (IR Subtasks), 2021年12月20日 (QA and UI Subtasks)
- DialEval-2 : 2021年12月1日
- FinNum-3 : 2022年1月3日
- Lifelog-4 : 2021年12月1日
- QA Lab-PoliInfo-3 : 2021年12月1日
- WWW-4 : 2021年10月1日
- RCIR : 2021年12月1日
- Real-MedNLP : 2021年12月1日
- SS : (締切)
- ULTRE : (締切)
_________________________________________________________

  NTCIR-16 タスク参加募集
  CALL FOR NTCIR-16 TASK PARTICIPATION
_________________________________________________________

NTCIR-16では共通のデータセットを用いて研究を行う、
10つの共有タスクへの参加チームを募集中です。情報アクセスに関する研究をされている大学の方、
企業で研究をなさっている方、または情報学に興味のある方、大規模なテストコレクションを用いた検索、
質問応答、自然言語処理に関心のある研究グループはどなたでも歓迎します。
どうぞ、奮ってご参加ください。

== NTCIRとは ==
情報検索や自然言語処理、データベースなどの技術を中核とする情報アクセス技術の開発は、
ウェブへのアクセスやテキストデータ、様々なセンサーデータから得られるビッグデータの利活用のために、
その重要性を増しつつあります。情報アクセス技術の評価には、研究者の協同作業の結果として作成される
「テストコレクション」に基づく評価が欠かせません。NTCIRは、数多くの研究者の協力の下で、
その評価基盤の形成に過去20年以上に渡って取り組み、技術の発展に貢献してきました。
その評価タスク数はのべ80を超え、タスクへの総参加グループ数は、
国内・海外併せて1,000以上にものぼります。さらに、現在、4,600以上の研究グループが
NTCIRテストコレクションを研究目的で利用しています。
NTCIRでは、日々開発される新しい技術に対する評価手法を模索しつつ、活動を進めております。


== NTCIR-16タスク ==
NTCIR-16では10つのタスクを採択いたしました。
各タスクの詳しい内容は、以下のページをご覧ください:

タスク概要ページ: http://research.nii.ac.jp/ntcir/ntcir-16/tasks-ja.html
タスクの概要スライド: http://research.nii.ac.jp/ntcir/ntcir-16/kickoff-ja.html

----------------------------------------------------------------------------

CORE TASKS

Data Search 2: Data Search 2
"統計データの検索と質問応答"
Website: https://ntcir.datasearch.jp/

DialEval-2: Dialogue Evaluation 2
"ヘルプデスク対話の品質推定、問題解決に向けた対話ターンの役割理解"
Website: http://sakailab.com/dialeval2/

FinNum-3: Investor’s and Manager’s Fine-grained Claim Detection
"Investor’s and Manager’s Fine-grained Claim Detection"
Website: https://sites.google.com/nlg.csie.ntu.edu.tw/finnum3/

Lifelog-4: Lifelog Access and Retrieval
"個人マルチモダルライフログ情報検索の評価手法"
Website: http://ntcir-lifelog.computing.dcu.ie/

QA Lab-PoliInfo-3: Question Answering Lab for Political Information
"質問応答、質問答弁のアライメント、事実確認に関するチェック、予算に関する議論マイニング"
Website: https://poliinfo3.net

WWW-4: We Want Web 4 with CENTRE
"ウェブ検索の進歩と再現可能性の定量化"
Website: http://sakailab.com/www4/

PILOT TASKS

RCIR: Reading Comprehension for Information Retrieval
"Text reading signals in Information Retrieval"
Website: http://ntcir-rcir.computing.dcu.ie/

Real-MedNLP: Real document-based Medical Natural Language Processing
"実際の医療文書を用いた医療言語処理"
Website: https://sociocom.naist.jp/real-mednlp/

SS: Session Search
"リアルデータに基づくWebセッション検索"
http://www.thuir.cn/session-search/

ULTRE: Unbiased Learning to Ranking Evaluation Task
"ユーザシミュレーションによる不偏ランキング学習の評価"
http://ultre.online/



== NTCIR-16 参加登録方法 ==

1. タスク参加の手引きをご確認ください:
http://research.nii.ac.jp/ntcir/ntcir-16/howto-ja.html
2. 参加登録を行ってください:
http://ntcir.nii.ac.jp/index.php/ntcir-16-registration-form/


== スケジュール ==
(*スケジュールは各タスクにより異なります。詳しくは各タスクのページをご確認ください。)
2021年7月 データセット配布開始*
2021年7-12月 予備テスト (Dry Run)*
2021年9月-2022年1月 本テスト (Formal Run)*
2022年2月1日 評価結果の参加者への返送
2022年2月1日 タスク概要論文一部公開
2022年3月1日 タスク参加者論文(ドラフト) 提出締切
2022年5月1日 タスク参加者論文・タスク概要論文 提出最終締切
2022年6月14日-17日 NTCIR-16 カンファレンス (NII, 東京)
(NTCIR-16カンファレンスでは、オンラインでの発表が可能です)


== お問い合わせ ==
タスクの詳細については、NTCIR-16 Program Co-Chairs: ntc16-pcc [at] nii.ac.jp 、
もしくは、各タスクのオーガナイザにお問い合わせください。

オンライン登録や過去のNTCIRテストコレクションについては、
NTCIR事務局: ntc-secretariat [at] nii.ac.jp までお問い合わせください。
みなさまのご参加を心よりお待ちしています。

NTCIR-16 Program Co-Chairs:
山本岳洋 (兵庫県立大学)
Zhicheng Dou (Renmin University of China, China)

NTCIR-16 General Chairs:
Charles Clarke (University of Waterloo, Canada)
神門 典子 (国立情報学研究所)
加藤 誠(筑波大学)
刘 奕群 (清華大学, China)

--
Takehiro Yamamoto, Associate Professor
School of Social Information Science, University of Hyogo
Email: t.yamamoto [at] sis.u-hyogo.ac.jp
Tel: 078-794-5212
https://rerank-lab.org/