[dbjapan] 第1回対話システムライブコンペティション（ライブコンペ）のご案内（エントリ〆切9/30）

[Ryuichiro Higashinaka <higashinaka.ryuichiro [at] lab.ntt.co.jp>]

※重複して受け取られた場合はご容赦ください
関連研究者のみなさま，

NTTの東中です．

第1回対話システムライブコンペティション（ライブコンペ）のエントリ〆切が
約１カ月と迫りましたので，ご案内いたします．

第9回対話システムシンポジウムのCFPの中でもご連絡させていただいておりますが，
https://jsai-slud.github.io/sig-slud/84th-sig.html
第1回対話システムライブコンペティション（ライブコンペ）を開催します．
ライブコンペとは，複数の対話システムをコンペ形式で評価するイベントです．
https://dialog-system-live-competition.github.io/dslc1/

本イベントは以下の記事でも紹介されています．
https://robotstart.info/2018/08/21/dialog-system-live-competition-2018.html

つきましては，システムのエントリをお待ちしております（★〆切9/30）
対話システムをお持ちの方はぜひエントリをご検討ください．

このライブコンペのために新しくシステムを作っていただく必要はありません．現状お手
持ちのシステムをごエントリいただければと考えております．システムはオーガナイザに
より評価しますので，お手持ちのシステムのアピール以外にも，システムを評価したり，
国内のチャットボットの中での位置づけを知るという目的にもご利用いただけます．
本選に残ったチームのみお名前を公表いたしますので，企業の方も安心してご参加
いただけます．日本初の試みとなりますので，何卒エントリをご検討ください．

詳細は以下をご覧ください．

========================================================================
[1] イベント概要
[2] 日時・場所・スケジュール
[3] 募集内容
[4] 申し込み方法
[5] 注意事項
[6] お問い合わせ

========================================================================
[1] イベント概要
-----------------------------------------------------------------------

対話システムシンポジウムでは，特別セッションとして，これまで対話破綻検出チャレン
ジを開催してきました．対話破綻検出チャレンジは，昨年度，対話システムシンポジウム
を離れ，国際イベントとなりました．対話破綻検出チャレンジのデータは，対話研究への
参入を容易にしたり，現状の対話システムの問題点を明らかにしたりすることに役立って
きたと考えています．しかし，その一方で，固定の対話コーパスに対してアルゴリズムを
競う形式であるために，対話のライブ要素があまり検討されてこなかったという問題点も
ありました．

そこで，このたび，よりライブ性の高いイベントを行うことにより，対話システムにおけ
るよりリアルな難しさや面白さを，シンポジウム参加者全員で共有できるようなイベント
を行いたいと考えました．それが「対話ライブコンペティション（ライブコンペ）」です．

ライブコンペとは，オーディエンスの前で実際に対話システムを動作させ，評価を行うイ
ベントです．予選と対話システムシンポジウム内でのライブイベントから構成されます．
予選では，クラウドソーシングにおいて複数名の作業者が，対話システムの評価を行いま
す．ライブイベントでは，予選で好成績を収めたシステムとシンポジウム参加者が対話し，
その状況を対話システムシンポジウムの参加者全員で鑑賞・評価します．

========================================================================
[2] 日時・場所・スケジュール
------------------------------------------------------------------------

日時：2018年11月20-21日
場所：早稲田大学 西早稲田キャンパス 55号館大会議室
　　　第9回対話システムシンポジウム内のセッション
　　　https://jsai-slud.github.io/sig-slud/

スケジュール：
　　　2018年9月30日：エントリ〆切
　　　2018年10月1-10日：スクリーニングおよびクラウドソーシングを用いた予選
　　　2018年10月12日：予選の結果通知
　　　2018年10月26日：原稿締切（対話システムシンポジウムの締切に従います）
　　　2018年11月20-21日：ライブイベント本番（第9回対話システムシンポジウム内で実施）

========================================================================
[3] 募集内容
-----------------------------------------------------------------------

開発いただくシステムは「雑談対話システム（非タスク指向型対話システム）」です．

〇対話システムの開発の仕方
----------------------------------
対話システムの作成にあたっては，インスタントメッセージシステム
Telegram(https://telegram.org/)上で動作するボットを作成していただきます．
Telegram は，Python，Java，Rubyなど，様々な言語のボット作成用ライブラリがGitHub
で公開されており，これらを使って開発いただけます．基本的には，お手持ちのボットの
入出力をTelegram 対応にしていただければOKです．

詳しい作成方法については，下記ホームページのGetting Startedをご覧ください．
https://dialog-system-live-competition.github.io/dslc1/

〇対話システムの評価の仕方
----------------------------------
クラウドソーシングを用いた予選では，対話システムは，「どれくらいまた話したいと思
うか」という1つの評価軸にて5段階で評価されます．この評価軸はAlexa Prize と同等の
ものです．一つのシステムは20人のワーカーにより主観評価されます．対話はシステム発
話から始まり，システムとユーザは交互に発話するものとし，それぞれ10発話ずつ行った
時点で対話は終了することとします．（※発話数については変更の可能性があります）

なお，20人による評価の前に，疎通に問題ないか，最低限の対話ができるかなどを確認す
るためのスクリーニングを，オーガナイザと数名のクラウドワーカーにより実施します．
本スクリーニングを通過しなかったシステムはその時点で評価の対象外とします．

========================================================================
[4] 申し込み方法
-----------------------------------------------------------------------

ホームページに参加方法を記載しております．Google form へのリンクがありますので，
そちらからエントリください．

https://dialog-system-live-competition.github.io/dslc1/

対話システムライブコンペティションセッションでの発表は，コンペ参加者の方に限りま
す．また，発表形態（口頭あるいはポスター）については事務局が決定いたします．論文
の提出期限は，他のセッションに準じます．投稿原稿のページ数は，口頭発表同様，2ペー
ジ，4ページ，6ページのいずれかといたします．

=======================================================================
[5] 注意事項
-----------------------------------------------------------------------=

予選を勝ち残った参加者については，所属組織を公表します．その他の組織については，
原則非公開としますが，公開を希望される場合はその限りではありません．

対話ログについては原則非公開とします．

エントリの対話システムの数がこちらの想定を上回った場合，エントリをご遠慮いただく
場合があります．あらかじめご了承ください．

========================================================================
[6] お問い合わせ先
------------------------------------------------------------------------

ご質問・ご不明な点がございましたら，オーガナイザまでお願いいたします．

dialog-system-live-competition-ml[at]googlegroups.com

========================================================================

対話システムライブコンペティションオーガナイザ
・東中竜一郎（NTT）
・船越孝太郎（京大）
・稲葉通将（広島市大）
・高橋哲朗（富士通）
・赤間怜奈（東北大）
・角森唯子（NTTドコモ）

-- 
Ryuichiro Higashinaka
NTT Media Intelligence Laboratories. NTT Corp. 
1-1 Hikarinooka, Yokosuka, 239-0847 Japan.
phone: +81-46-859-2027 fax: +81-46-855-1054