[dbjapan] 第３回対話システムライブコンペティション（ライブコンペ３）参加のお誘い（10/12エントリ〆切）

[Ryuichiro Higashinaka <ryuichiro.higashinaka [at] gmail.com>]

※重複して受け取られましたらご容赦ください
関連研究者のみなさま，

エントリ〆切が近づきましたので，再度第3回対話システムライブコンペティション
（ライブコンペ3）のご案内をさせていただきます．
https://dialog-system-live-competition.github.io/dslc3/

また，好評をいただいている対話システム講習会ですが，昨今の状況を鑑み，
オンラインで受講できる資料をHPにて掲載いたしました．ライブコンペ参加の
参考になりましたら幸いです．
https://dialog-system-live-competition.github.io/dslc3/lecture.html

ぜひエントリをご検討ください．よろしくお願いいたします．

東中

***************************************************************
第３回対話システムライブコンペティション（ライブコンペ３）参加のお誘い
https://dialog-system-live-competition.github.io/dslc3/

対話システムライブコンペティションとは聴衆の前で対話システムを実際に動
作させ，システムの挙動を全員で評価するイベントです．2018年11月の第1回
対話システムライブコンペティション（ライブコンペ１），2019年12月のライ
ブコンペ２に引き続き，今年度も対話システムシンポジウム（この冬に開催予
定）において，「第3回対話システムライブコンペティション」（ライブコン
ペ３）を開催します．

対話システムシンポジウムと同様，本イベントもオンライン開催となります．

前回と同じく「(システムと)どれくらいまた話したいと思うか」を競うオープ
ントラックと「どれくらいシチュエーションに適した人らしい会話をしたか」
を競うシチュエーショントラックを設けます．これらのトラックにより，対話
システムの到達点や問題点をより浮き彫りにできればと考えております．

つきましては，ライブコンペ3への対話システムのエントリをぜひご検討ください！

現状お手持ちのシステムをエントリいただいても構いません．また，ライブコ
ンペのために新しくシステムを作っていただいても構いません．システムはオー
ガナイザの負担により評価しますので，お手持ちのシステムのアピール以外に
も，システムを評価したり，国内のチャットボットの中での位置づけを知ると
いう目的にもご利用いただけるイベントです．予選を勝ち残ったチームに限り
組織名を公表いたしますので，企業の方も安心してご参加いただけます．

ご興味がある方は，過去のコンペティションがまとまった以下のウェブサイト
をご覧ください．過去のシステムの対話ログや発表動画などをご覧いただけま
す．

　第1回対話システムライブコンペティションウェブサイト
　https://dialog-system-live-competition.github.io/dslc1/

　第2回対話システムライブコンペティションウェブサイト
　https://dialog-system-live-competition.github.io/dslc2/

また，過去２回のライブコンペについては以下の解説記事もぜひご参照ください．

　東中竜一郎，船越孝太郎，稲葉通将，角森唯子，高橋哲朗，赤間怜奈，宇佐
美まゆみ，川端良子，水上雅博，　「対話システムライブコンペティションか
ら何が得られたか」，人工知能，35，2020．

重ねてになりますが，ぜひエントリをご検討ください．以下，本イベントにつ
いての詳細をご説明します．エントリを検討する際の参考になさってください．

https://dialog-system-live-competition.github.io/dslc3/

以上，よろしくお願い申し上げます．

========================================================================
[1] イベント概要
[2] 日時・場所・スケジュール
[3] 募集内容
[4] 申し込み方法
[5] 注意事項
[6] シチュエーショントラックの詳細
[7] お問い合わせ

========================================================================
[1] イベント概要
-----------------------------------------------------------------------

対話システムシンポジウムでは，2015年から国際イベントになる2017年まで，
特別セッションとして，対話破綻検出チャレンジを開催してきました．対話破
綻検出チャレンジは，対話研究への参入を容易にしたり，現状の対話システム
の問題点を明らかにしたりすることに役立ってきたと考えています．しかし，
その一方で，固定の対話コーパスに対してアルゴリズムを競う形式であるため
に，対話のライブ要素があまり検討されてこなかったという問題がありました．
そこで，よりライブ性の高いイベントを行うことにより，対話システムにおけ
る，よりリアルな難しさや面白さを，シンポジウム参加者全員で共有できるよ
うなイベントを行いたいと考えました．それが「対話システムライブコンペティ
ション（ライブコンペ）」です．

ライブコンペは，聴衆の前で実際に対話システムを動作させ，評価を行うイベ
ントです．予選と対話システムシンポジウム内でのライブイベントから構成さ
れます．予選では，クラウドソーシングにおいて複数名の作業者が，対話シス
テムの評価を行います．ライブイベントでは，予選で好成績を収めたシステム
と対話者が対話し，その状況を対話システムシンポジウムの参加者全員で鑑賞・
評価します．

ライブコンペにはオープントラックとシチュエーショントラックがあります．
オープントラックは任意の話題について（すなわち，オープンドメインで）ユー
ザと雑談を行う能力を競います．シチュエーショントラックでは，オープンな
雑談とは異なり，所定のシチュエーションの中で状況にあった人らしい対話を
行う能力を競います．シチュエーショントラックは，対人関係やTPOを踏まえ
た高度な対話システムの実現の第一歩となることを狙いとしています．参加者
はどちらのトラックにもエントリすることが可能です．ただし，同じトラック
に複数のシステムをエントリすることはできません．

========================================================================
[2] 日時・場所・スケジュール
------------------------------------------------------------------------

日程：2020年11月30日または12月1日
場所：第11回対話システムシンポジウム内のセッションとして開催（オンライン開催）
　　　https://jsai-slud.github.io/sig-slud/

スケジュール：
2020年10月12日：エントリ〆切
2020年10月14日：
スクリーニングおよびクラウドソーシングを用いた予選開始
2020年10月21日：予選の結果通知
2020年10月23日：発表申込み締切
2020年10月30日：原稿締切
2020年11月30日または12月1日：
ライブイベント本番（対話システムシンポジウム内）

========================================================================
[3] 募集内容
-----------------------------------------------------------------------

評価基準が異なる２つのトラック「オープントラック」「シチュエーショント
ラック」のそれぞれで参加する対話システムを募集します．両トラックともシ
ステムの仕様が昨年と異なりますのでご注意ください．

【両トラック共通】

〇対話システムの開発の仕方

どちらのトラックでも，対話システムは，インスタントメッセージシステム
Telegram(https://telegram.org/)上で動作するボットを作成していただきま
す．Telegram は，Python，Java，Rubyなど，様々な言語のボット作成用ライ
ブラリがGitHubで公開されており，これらを使って開発ください．

〇対話システム評価の流れ

評価者には，対話の相手がシステムであることはあらかじめ通知されます．

対話はシステム発話から始まり，システムとユーザは交互に発話するものとし，
それぞれ15発話ずつ（※発話数については変更の可能性があります）行った時
点で対話は終了することとします．対話システムはトラックそれぞれの評価基
準・手順に基づき評価されます．

予選では，クラウドソーシングを用いて，50人程度のワーカーにより主観評価
されます．予選で高い評価を得たシステムが，ライブイベントに参加できます．
ライブイベントでは対話システムが指定された対話者と対話し，その状況をシ
ンポジウムの参加者全員でそれぞれのトラックの基準により評価します．なお，
予選の前に疎通に問題ないか，最低限の対話ができるかなどを確認するための
スクリーニングを，オーガナイザと数名のクラウドワーカーにより実施します．
本スクリーニングを通過しなかったシステムはその時点で評価の対象外となり
ます．本選の実施の方法については，トラックによって異なります（下記参
照）．

【オープントラック】

任意の話題について（オープンドメインで）ユーザと雑談を行う能力を競います．

評価の指針はライブコンペ1や2と同じく「（システムと）どれくらいまた話し
たいと思うか」ですが，「また話したくなる」ためにシステムが備えるべき条
件を分解し，３つの観点で評価するよう変更しました（以下参照）．この変更
は，オープンドメインでユーザと雑談を行う能力を，より適切に評価するため
のものです．

また，予選・本選における，評価手順がライブコンペ1や2から変わります．こ
の変更も，オープンドメインでユーザと雑談を行う能力を，より適切に評価す
るためのものです．

評価者は，対話の前に，オーガナイザが準備する所定の名詞リスト
（Wikipediaの見出し語から作成）から話題として名詞を2つ選択し，それらを
話したい話題として対話します．また，対話中に任意のタイミングで一つの話
題からもう一つの話題に切り替えるものとします．自然，かつ，ユーザが話し
たい話題について情報交換が可能なシステムがよいと考え，以下の３つの観点
のそれぞれについて，5段階評価を行います．これらの合計（もしくは平均）
を評価の得点とします．

・自然性：対話が自然かどうか
・話題追随：システムはユーザが選択した話題に関して適切に応答できたかどうか
・話題提供：システムはユーザが選択した話題に関して新たな情報を提供できたかどうか

これらの3つの観点は，「また話したくなる」ための十分条件ではないかもし
れませんが，オープンドメインでの雑談という目標を踏まえた場合の必要条件
であるとオーガナイザは考えています．

なお，名詞リストは事前に公開いたしません．また，対話者が選んだ名詞につ
いてもシステムに事前に通知されませんのでご了承ください．

システム発話はテキストのみとし，絵文字・顔文字・STICKERS(LINEでいうス
タンプ)は不可とします．システムと評価者は一度のみ対話するものとし，ター
ン数は15（システムとユーザの発話を合わせて全部で30発話）とします．

【シチュエーショントラック】

シチュエーショントラックでは，オープンな雑談とは異なり，設定された状況
の中で状況にあった人らしい対話を行う能力を競います．

対話システムは，「どれくらいシチュエーションに適しており，かつ，人らし
い会話か」という1つの評価軸を用いて5段階で総合的に評価されます．「シチュ
エーションに適している」とは，所定の状況に鑑み「人らしい会話」であると
直感的に思えることです．

「人らしい会話」とは，具体的には以下のような特徴を含みます．

・言いにくいことを言わなければならない場合は，相手との社会的な関係性を
考慮して，相手に失礼にならないように内容を伝えられること．
・適当な「間」や「あいづち」，「フィラー」，「言い淀み」などが用いられていること．
・一つの話題に固執することなく，会話の流れに沿って，別の話題に自然に推移できること．

これらは，「シチュエーションに適しており，かつ，人らしい会話」というも
ののイメージを喚起する参考であり，すべてを満たす必要があるということで
はありません．

システム発話はテキスト，絵文字，顔文字を利用可能とします．
STICKERS(LINEでいうスタンプ)は不可とします．

シチュエーションはライブコンペ2のものと異なります．今回，「依頼を断る」
というシチュエーションを設定しました．参加者は，ユーザの依頼を人間関係
を考慮したうえで断る対話システムを作成します．今回用いるシチュエーショ
ンの詳細については[6]を参照ください．

予選では，上記の評価基準を用い，クラウドワーカーによる評価を実施します．

本選では，まず開発者自身がシステムと対話をし，シンポジウムの参加者全員
が評価します．次に，その対話を見ていない別の対話者がそのシステムと会話
をし，参加者全員で評価します．これらの２つの対話の点数の合計（もしくは
平均）をシステムの点数とします．この評価方法は，シチュエーションに適し
た人らしい会話を実現するためのアイデア自身とその工学的な有効性をそれぞ
れ評価するために採用しました．

各トラックやシステム開発の仕方について，詳しくは下記ホームページに記載
していきますので，適宜ご参照ください．
https://dialog-system-live-competition.github.io/dslc3/

========================================================================
[4] 申し込み方法
-----------------------------------------------------------------------
以下の Google Form よりお申込みください．

https://forms.gle/1Xqy9gde7wKCm1977

対話システムシンポジウムにおける，対話システムライブコンペティションセッ
ションでの発表は，コンペ参加者の方に限ります．また，発表形態（口頭ある
いはポスター）については事務局が決定いたします．論文の提出期限は，他の
セッションに準じます．投稿原稿のページ数は，口頭発表同様といたします．

=======================================================================
[5] 注意事項
-----------------------------------------------------------------------

予選を勝ち残った参加者については，所属組織を公表します．その他の組織に
ついては，原則非公開としますが，公開を希望される場合はその限りではあり
ません．

予選の対話ログについては原則非公開とします．

エントリの対話システムの数がこちらの想定を上回った場合，エントリをご遠
慮いただく場合があります．あらかじめご了承ください．早めのエントリをよ
ろしくお願いいたします．

========================================================================
[6] シチュエーショントラックの詳細
-----------------------------------------------------------------------

シチュエーショントラックにおける会話のシチュエーションは以下のとおりです．

---------
システム(後輩)
・名前: 清水シズカ(女)/シンジ(男)
・職業: 大学4年生，22歳前後
ユーザ(先輩)
・名前: 湯川ユウコ(女)/ユウキ(男)
・職業: 会社員，25歳前後
話者の関係
・同性同士．学生時代のサークルの先輩後輩の関係．学生時代は親
しかったが，先輩が卒業してからは，連絡を取り合っていない．
場所・時間
・それぞれの自宅，清水が卒業の年，春休みの夜の暇な時間
状況・話題
・先輩からの「同窓会の幹事の依頼」を断りたい状況
---------

〇背景

清水(システム)と湯川(ユーザ)は，学生時代，同じサークルの先輩・後輩の関
係であった．清水にとって湯川は，いろんなことについて相談しやすい先輩で
あり，湯川にとって清水は自分を頼ってくるかわいい後輩であった．ただ，湯
川が大学を卒業して会社員になってからは，会う機会も連絡をとることもなく
なっていた．清水も就職が決まり，自宅でくつろいでいた春休みのある日の夜，
久しぶりに湯川からテキストメッセージが送られて来た．卒業式の時期を迎え，
清水も卒業の年になったということを思い出してくれたようで，連絡をくれた
らしい．久しぶりにお互いの近況報告をしたあと，湯川がおもむろに頼み事を
したいと言ってきた．どうやらサークルの同窓会の幹事を，特に清水に任せた
いらしい．清水としては決して暇がないわけではないのだけれど，日程調整や
ら出欠の確認やらは非常に面倒だ．とはいえ湯川は非常にお世話になった先輩
であり，失礼な態度もとりづらい．なんとか頼みを断りたいけれど，さてどう
言って断ろうか．

〇インストラクション

・システム（清水）は，ユーザ（湯川）からの依頼を断ってください． つま
りあなたの作るシステムはユーザからの依頼を断るシステムです．
・ユーザ(湯川)が「ところでさ，ちょっと頼みたいことがあるんだけど...」
という発話を行った直後の状況から会話はスタートです．システム（清水）は，
ユーザのこの発話に答えることから会話を始めてください．
・ユーザ（湯川）はシステム（清水）に依頼を断られても，依頼を繰り返すも
のとします．依頼が断念されることは想定しなくて構いません．
・開発者はシステムの性別を決め，その性別同士（男性同士，もしくは，女性
同士）の対話ができるようにしてください．

========================================================================
[7] お問い合わせ先
------------------------------------------------------------------------

ご質問・ご不明な点がございましたら，オーガナイザまでご連絡ください．

dialog-system-live-competition-ml[at]googlegroups.com

対話システムライブコンペティションオーガナイザ
・東中竜一郎（名大）
・船越孝太郎（東工大）
・稲葉通将（電通大）
・高橋哲朗（富士通）
・赤間怜奈（東北大）
・宇佐美まゆみ（国語研）
・川端良子（国語研）
・角森唯子（NTTドコモ）
・小室允人（千葉大）
・ドルサ・テヨルス（東工大）
・水上雅博（NTT）