[dbjapan] NTCIR-12 MobileClick-2タスク参加募集 (Call for Participation: NTCIR-12 MobileClick-2 task)

["Makoto P. Kato" <kato [at] dl.kuis.kyoto-u.ac.jp>]

日本データベース学会の皆様，
（重複して受け取られた場合にはご容赦ください）

京都大学の加藤と申します．
NTCIR-12 MobileClick-2タスクの参加募集をお送りさせていただきます．
本タスクはモバイル検索のための情報要約タスクとなっております．
モバイル情報検索・要約に興味のある方は是非ともご参加ください．

(The English message follows the Japanese one)
______________________________________________________________________


                    NTCIR-12 MobileClick-2 Task
                   -- モバイル情報アクセスタスク --
                           参加チーム募集
                    http://www.mobileclick.org/

______________________________________________________________________

情報アクセス技術評価ワークショップNTCIR-12のコアタスクの1つである
MobileClick-2では，与えられたクエリに対して簡潔な2層の要約を自動生成する
ことによって，直接的かつ即時のモバイル情報アクセスを実現することを目的と
しています．この要約の1層目は重要かつ概要的な情報を提示し，1層目からのリ
ンクをクリックすることで閲覧できる2層目は，1層目より詳細な情報を含むこと
が期待されます．

このMobileClickの目標は2つのサブタスク，iUnit retrievalとiUnit
summarization サブタスクを通して達成可能であると考えられます．
**iUnit rankingサブタスク**は，クエリとiUnitと呼ばれる情報の断片が与えら
れた時にiUnitをクエリに対する重要度順にランキングするであり，
**iUnit summarizationサブタスク**は，クエリとiUnit集合，クエリの意図が与
えられた時にiUnitをうまく配置して2層の要約を生成するタスクとなっています．

提出されるランの性能はより多くの重要なiUnitを含めば高く評価され，
また，ユーザが読むべきテキストの量，もしくは，ユーザが適合情報を手に入れ
るのに必要な時間が短ければ短いほど高く評価されます．本タスクでは，自身の
意図に従って要約の異なる箇所を閲覧するユーザモデルを仮定し，ユーザがどれ
くらい時間をかけて重要な情報を手に入れられるのかを元に評価を行います．

===================================
        参加すべき3つの理由
===================================
* 現代の検索エンジンにとってより重要性を増すモバイル情報アクセス技術を評
価できる

多くの商用検索エンジンが与えられたクエリに対してダイレクトアンサーを提供
し始めており，それを生成する技術はモバイル検索において非常に重要なチャレ
ンジであると考えられます．MobileClick-2ではテストコレクションを提供し，
重要な情報の断片を文書から抽出し，それらを要約するアルゴリズムを評価する
ことを可能にします．


* 要約，情報抽出，意図推定，検索結果多様化を評価するための大規模テストコ
レクション

これまでのNTCIRタスクにおいて，我々は複数のテストコレクションを構築して
きました．参加者となればこれらのテストコレクションをクエリ指向要約やスニ
ペット生成などの評価に利用することができます．これらに加えて，今回は各ク
エリに対する意図も提供するため，意図推定や検索結果多様化の評価にも活用い
ただけます．


* リアルタイム評価システム

今回のタスクではシステム開発を促進し評価結果を共有するためのリアルタイム
評価システムを導入しております．そのため，ランを提出後にすぐに結果を確認
可能であり，また，システムの有効性を広く周知することができます．まずは，
公式Webサイト http://www.mobileclick.org/ にてアカウントを作成し，訓練
データに対するランを投稿してみてください．

===============================
            参加登録
===============================
本タスクに興味を持たれた研究グループはぜひNTCIR参加登録ページ
http://ntcir.nii.ac.jp/NTCIR12Regist/ にて参加登録をお願いいたします．
また，公式Webサイト http://www.mobileclick.org/ にてユーザアカウントを
作成の上，訓練データを入手し試しにランを投稿してみてください．

===============================
           重要な日程
===============================
2015年5月		訓練データ用評価システム公開
2015年6月30日		参加登録締切
2015年8月 		テストクエリおよびテストデータ用評価システム公開
2016年2月		ラン投稿締切
2016年2月1日		ドラフト概要論文公開
2016年3月1日		ドラフト参加者論文提出締切
2016年6月 		NTCIR-12 conference

===============================
          お問い合わせ
===============================
Mail: ntcadm-1click [at] nii.ac.jp
Twitterアカウントもフォローください： @mobileclicktask


(English version)
______________________________________________________________________


                    NTCIR-12 MobileClick-2 Task
                -- Mobile Information Access Task --
                      Call for Participation
                    http://www.mobileclick.org/

______________________________________________________________________

MobileClick-2, a core task at NTCIR-12, aims to provide direct and
immediate mobile information access, by automatically generating
a concise two-layered summary for a given query.
The first layer is expected to contain the most important information
and an outline of additional relevant information, while the second
layer is expected to contain detailed information that can be
accessed by clicking on an associated anchor text in the first layer.

The goal of MobileClick can be achieved through two subtasks:
iUnit ranking subtask and iUnit summarization subtask.
**iUnit ranking subtask** is a task where systems are expected to rank
a set of pieces of information (iUnits) based on their importance for
a given query.
**iUnit summarization subtask** is defined as follows: Given a query,
a set of iUnits, and a set of intents, generate a structured textual
output.

The performance of submitted runs is scored higher if it generates
summaries including more important iUnits. In addition, we require
systems to minimize the amount of text the user has to read or,
equivalently, the time she has to spend in order to obtain relevant
information. We assume a user model that reads different parts of the
summary according to their interest, and compute an evaluation metric
based on the importance of iUnits read as well as the time spent to
obtain them.

===============================
  Why should you participate?
===============================
* Evaluate mobile information access technologies that have been
becoming more important in modern search engines

Direct answers in response to a given query are provided by many
popular commercial search engines, and are considered as important
challenges to achieve immediate mobile information access.
MobileClick-2 offers test collections, by which you can evaluate
your algorithms that identify important information pieces and summarize
them for a given search query.


* Large-scale test collections are available for evaluating
summarization, information extraction, intent detection, and search
result diversification

We have developed several test collections in a series of NTCIR tasks.
Participants can utilize these test collections to evaluate
query-focused summarization, search result snippet generation, etc. In
addition, we also provide intents of each query, which can be used to
evaluate intent detection and result diversification techniques.


* Real time evaluation system

We provide a real time evaluation system that accelerates your system
development and shares records among participants. You can immediately
get results and publicly demonstrate the effectiveness of your system.
Create your account and submit your runs for training data
at http://www.mobileclick.org/ .

===============================
         Registration
===============================
Participation is open to all interested research groups.
To sign up, please visit http://ntcir.nii.ac.jp/NTCIR12Regist/
You may also create a user account at http://www.mobileclick.org/
to obtain training data and submit your runs for the training data.

===============================
           Schedule
===============================
May 2015	Release an evaluation system for training data
Jun 30, 2015	Registration due
Aug 2015	Release test queries and evaluation system for test data
Feb 2016	Run submission due
Feb 1, 2016	Early draft task overview release
Mar 1, 2016	Draft participant paper submission due
Jun 2016 	NTCIR-12 conference

===============================
           Contact
===============================
Mail: ntcadm-1click [at] nii.ac.jp
Please follow us on twitter @mobileclicktask

Best regards,
Makoto P. Kato
on behalf of the MobileClick-2 organizers