日本データベース学会

dbjapanメーリングリストアーカイブ（2012年）

タスク参加募集 NTCIR-10 1CLICK-2 [参加登録: 8/31まで]

日本データベース学会の皆様，
（重複して受け取られた場合にはご容赦ください）

京都大学の加藤と申します．
モバイル検索などにおいて，
検索ボタンを押した直後にユーザを満足させることを目指した，
複数検索結果要約タスクのご案内です．

下記に日本語および英語のCFPがございますので，
どうぞご覧いただきご検討ください．

Japanese CFP
###################################################
     【タスク参加募集】 NTCIR-10 1CLICK-2 タスク
         ワンクリックアクセス（日本語・英語）

1CLICK-2ウェブサイト:
http://research.microsoft.com/en-us/people/tesakai/1click2.aspx

NTCIR-10タスク登録ページ (締切:  8月31日):
http://ntcir.nii.ac.jp/NTCIR10Regist/

本番クエリ公開: 2012年8月31日
評価結果公開:  2013年2月28日
NTCIR-10ワークショップ:  2013年6月18-21日
###################################################


### 概要 ###

ウェブページのリストを出力する従来の検索とは異なり，
ワンクリックアクセスシステムは複数ウェブページの要約を表示することで，
検索ボタンを押した直後に，複数の文書を閲覧することなく，
ユーザを満足させることを目指しています．
このタスクでは重要な情報を先に提示し，
また，ユーザが読まなければいけない文章を最小にすることを期待されています．
1CLICKタスクの要件は特に何度もクリックできないような環境
―モバイル情報検索で重要であると考えており，
また，この要件を達成するには情報検索，情報抽出，
自然言語処理などの技術を統合する必要があると考えております．

NTCIR-9 1CLICK-1では日本語タスクのみを考慮しておりましたが，
2回目となる今回は言語対象に英語を含めました．
さらに，前回の1CLICKタスクでは4種類のクエリ
(CELEBRITY, LOCAL, DEFINITION, QA)のみを対象にしておりましたが，
1CLICK-2ではより粒度の細かい，8種類のクエリを利用する予定です．

Q&Aや要約タスクなどの評価では「ナゲット」と呼ばれる，
最小単位の情報に基づいて評価が行われてきましたが，
1CLICKタスクの評価では「information units (iUnits)」と呼ばれる，
より検索を意識した情報単位を利用します．
また，前回の1CLICKタスクと同様に，S-measure (Sakai/Kato/Song, CIKM'11
http://research.microsoft.com/en-us/people/tesakai/cikmfp0040-sakai.pdf
)と呼ばれる，情報のテキストにおける出現位置と
重要度を考慮した評価指標を利用する予定です．
加えて，PavluらのWSDM'12論文
(http://dx.doi.org/10.1145/2124295.2124343 )
に基づいた新しい評価方法も検討中です．


### タスク ###

メインタスク：
与えられたクエリに対して，
重要な情報を含むX文字のテキストを出力します  (X=500,140)．
これは1CLICK-1 (前回の1CLICKタスク)と基本的には同じです．

クエリ分類サブタスク：
与えられたクエリを8つのクエリタイプに分類するタスクです．

メインタスクへの参加方法は様々です．
決められたWebページから結果を生成するORACLEランや
自由に外部のAPIを利用することで結果を出力するOPENランがあります．
詳しくは下記の1CLICK-2公式サイトをご覧ください:
http://research.microsoft.com/en-us/people/tesakai/1click2.aspx

### 日程 ###

2012年 8月31日			本番クエリ公開
2012年10月31日			ラン投稿締切
2012年11月-2013年1月		ラン評価期間
2013年 2月 1日			概要論文のドラフト公開
2013年 2月28日			評価結果公開
2013年 3月 1日			参加者論文のドラフト締切
2013年 5月 1日			カメラレディ締切
2013年 6月 18-21日		NTCIR-10 ワークショップ


### 参加方法 ###

NTCIR-10タスク登録ページ (締切:  8月31日):
http://ntcir.nii.ac.jp/NTCIR10Regist/

新規参加者は1CLICK-1の概要論文を始めにご覧いただくことをお勧めいたします．
http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings9/NTCIR/01-NTCIR9-OV-1CLICK-SakaiT.pdf

【注意】
参加者は必ずNTCIR-10へ論文投稿し (査読なし)，
国立情報学研究所で開かれるワークショップ (2013年6月18-21日)へ
参加していただくことになります．


### 運営者 ###

Makoto Kato, Kyoto University, Japan
Takehiro Yamamoto, Kyoto University, Japan
Mayu Iwata, Osaka University, Japan
Matthew Ekstrand-Abueg, Northeastern University, USA
Shahzad Rajput, Northeastern University, USA
Virgil Pavlu, Northeastern University, USA
Zhicheng Dou, MSRA, China
Tetsuya Sakai, MSRA, China


## お問い合わせ ##

下記のメールアドレスまでお気軽にお問い合わせください:
ntcadm-1click at nii dot ac dot jp


## リンク ##

1CLICK-2 homepage:
http://research.microsoft.com/en-us/people/tesakai/1click2.aspx

1CLICK-1 homepage:
http://research.microsoft.com/en-us/people/tesakai/1click.aspx

NTCIR-10:
http://research.nii.ac.jp/ntcir/ntcir-10/index.html

NTCIR online proceedings:
http://research.nii.ac.jp/ntcir/publication1-en.html



English CFP
###################################################
          CALL FOR TASK PARTICIPATION
            NTCIR-10 1CLICK-2 Task:
   One Click Access for English and Japanese

Please visit the 1CLICK-2 website:
http://research.microsoft.com/en-us/people/tesakai/1click2.aspx

and the NTCIR-10 task registration site (registration due: Aug 31):
http://ntcir.nii.ac.jp/NTCIR10Regist/

Test queries released: Aug 31, 2012
Evaluation results released: Feb 28, 2013
Final NTCIR-10 workshop: June 18-21 2013
###################################################


### OVERVIEW ###

Unlike traditional search engines
that return a ranked list of web pages,
One Click Access systems
return a short multi-document summary of webpages
and aim to satisfy the user immediately after
a click on the SEARCH button.
Systems must aim to return important pieces of information and
to minimise the amount of text the user has to read.
These requirements are particularly important in mobile environments.

1CLICK-1 at NTCIR-9 only considered a Japanese task,
but for this second round (1CLICK-2),
we are expanding our scope to English.
Moreover, while 1CLICK-1 considered only four query
types (CELEBRITY, LOCAL, DEFINITION and QA),
1CLICK-2 will use a more fine-grained taxonomy
comprising eight query types.

Evaluation will be based on
"information units" (iUnits),
also often referred to as "nuggets".
As in 1CLICK-1, we will use S-measure from
Sakai/Kato/Song CIKM'11
http://research.microsoft.com/en-us/people/tesakai/cikmfp0040-sakai.pdf
and will also consider developing new evaluation methods based on
Pavlu et al. WSDM'12
http://dx.doi.org/10.1145/2124295.2124343


### TASKS ###

Japanese Main Task

Given a Japanese query, return an X-character string
that contain important information (X=500,140).
This is basically the same as the 1CLICK-1 task.

English Main Task

Similar to the Japanese Main Task except that
query and the output are in English.

Query Classification Subtask (for Japanese and English)

Given a query, classify it into one of the eight known query types.


In addition to queries, the organisers will provide
baseline web search results to enhance repeatability and fairness,
and to encourage newcomers to participate.

### IMPORTANT DATES ###

Aug 31, 2012 		test queries released
Oct 31, 2012  		run submissions due
Nov 2012-Jan 2013 	nugget match evaluation
Feb 01, 2013      	very early draft overview released
Feb 28, 2013		evaluation results released
Mar 01, 2013		draft participant papers due
May 01, 2013		all camera ready papers due
Jun 18-21, 2013  	NTCIR-10


### HOW TO PARTICIPATE ###

Task registration page
http://ntcir.nii.ac.jp/NTCIR10Regist/

We encourage new participants to have a look at the 1CLICK-1 overview paper
to familiarise themselves with the task:
http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings9/NTCIR/01-NTCIR9-OV-1CLICK-SakaiT.pdf

Please note:
task participants must write a paper for the NTCIR-10 meeting (unrefereed)
and attend the meeting at NII, Tokyo in June 2013.


### ORGANISERS ###

Makoto Kato, Kyoto University, Japan
Takehiro Yamamoto, Kyoto University, Japan
Mayu Iwata, Osaka University, Japan
Matthew Ekstrand-Abueg, Northeastern University, USA
Shahzad Rajput, Northeastern University, USA
Virgil Pavlu, Northeastern University, USA
Zhicheng Dou, MSRA, China
Tetsuya Sakai, MSRA, China


## QUESTIONS? PLEASE CONTACT ##

ntcadm-1click at
nii dot ac dot jp


## LINKS ##

1CLICK-2 homepage:
http://research.microsoft.com/en-us/people/tesakai/1click2.aspx

1CLICK-1 homepage:
http://research.microsoft.com/en-us/people/tesakai/1click.aspx

NTCIR-10:
http://research.nii.ac.jp/ntcir/ntcir-10/index.html

NTCIR online proceedings:
http://research.nii.ac.jp/ntcir/publication1-en.html