[dbjapan] [1st Call for participation] 第３回対話システムライブコンペティション（ライブコンペ３）

[Ryuichiro Higashinaka <ryuichiro.higashinaka [at] gmail.com>]

※重複して受け取られましたらご容赦ください

関連研究者のみなさま，

この冬，対話システムシンポジウムにおいて，
第3回対話システムライブコンペティション（ライブコンペ3）を開催します．
ご興味ありましたら，ぜひエントリを検討ください．

加えて，昨年好評をいただいた対話システム講習会も実施いたします．
こちらについても参加をぜひご検討ください．

よろしくお願いいたします．

東中

****************************************************************************************
第３回対話システムライブコンペティション（ライブコンペ３）参加のお誘い
https://dialog-system-live-competition.github.io/dslc3/

対話システムライブコンペティションとは聴衆の前で対話システムを実際に動作させ，システムの挙動を全員で
評価するイベントです．2018年11月の第1回対話システムライブコンペティション（ライブコンペ１），2019年
12月のライブコンペ２に引き続き，今年度も対話システムシンポジウム（この冬に開催予定）において，「第3
回対話システムライブコンペティション」（ライブコンペ３）を開催します．

対話システムシンポジウムと同様，本イベントもオンライン開催となります．

前回と同じく「(システムと)どれくらいまた話したいと思うか」を競うオープントラックと「どれくらいシチュ
エーションに適した人らしい会話をしたか」を競うシチュエーショントラックを設けます．これらのトラックに
より，対話システムの到達点や問題点をより浮き彫りにできればと考えております．

つきましては，ライブコンペ3への対話システムのエントリをぜひご検討ください！

現状お手持ちのシステムをエントリいただいても構いません．また，ライブコンペのために新しくシステムを作っ
ていただいても構いません．システムはオーガナイザの負担により評価しますので，お手持ちのシステムのアピー
ル以外にも，システムを評価したり，国内のチャットボットの中での位置づけを知るという目的にもご利用いた
だけるイベントです．予選を勝ち残ったチームに限り組織名を公表いたしますので，企業の方も安心してご参加
いただけます．

ご興味がある方は，過去のコンペティションがまとまった以下のウェブサイトをご覧ください．
過去のシステムの対話ログや発表動画などをご覧いただけます．

　第1回対話システムライブコンペティションウェブサイト
　https://dialog-system-live-competition.github.io/dslc1/

　第2回対話システムライブコンペティションウェブサイト
　https://dialog-system-live-competition.github.io/dslc2/

また，過去２回のライブコンペについては以下の解説記事もぜひご参照ください．

　東中竜一郎，船越孝太郎，稲葉通将，角森唯子，高橋哲朗，赤間怜奈，宇佐美まゆみ，川端良子，水上雅博，
　「対話システムライブコンペティションから何が得られたか」，人工知能，35，2020．

重ねてになりますが，ぜひエントリをご検討ください．以下，本イベントについての詳細をご説明します．エン
トリを検討する際の参考になさってください．

https://dialog-system-live-competition.github.io/dslc3/

なお，主にシチュエーショントラックの参加者を対象としたものですが，昨年好評を得た，対話システム講習会
を今年も実施します．対話システムを初めて作るのでどうしたらよいかわからない，今作っている対話システム
についてアドバイスが欲しいという方は，下記の案内をご覧いただき，ぜひお申し込みください．

以上，よろしくお願い申し上げます．

========================================================================
[1] イベント概要
[2] 日時・場所・スケジュール
[3] 募集内容
[4] 申し込み方法
[5] 注意事項
[6] シチュエーショントラックの詳細
[7] 対話システム講習会
[8] お問い合わせ

========================================================================
[1] イベント概要
-----------------------------------------------------------------------

対話システムシンポジウムでは，2015年から国際イベントになる2017年まで，特別セッションとして，対話破綻
検出チャレンジを開催してきました．対話破綻検出チャレンジは，対話研究への参入を容易にしたり，現状の対
話システムの問題点を明らかにしたりすることに役立ってきたと考えています．しかし，その一方で，固定の対
話コーパスに対してアルゴリズムを競う形式であるために，対話のライブ要素があまり検討されてこなかったと
いう問題がありました．そこで，よりライブ性の高いイベントを行うことにより，対話システムにおける，より
リアルな難しさや面白さを，シンポジウム参加者全員で共有できるようなイベントを行いたいと考えました．そ
れが「対話システムライブコンペティション（ライブコンペ）」です．

ライブコンペは，聴衆の前で実際に対話システムを動作させ，評価を行うイベントです．予選と対話システムシ
ンポジウム内でのライブイベントから構成されます．予選では，クラウドソーシングにおいて複数名の作業者が，
対話システムの評価を行います．ライブイベントでは，予選で好成績を収めたシステムと対話者が対話し，その
状況を対話システムシンポジウムの参加者全員で鑑賞・評価します．

ライブコンペにはオープントラックとシチュエーショントラックがあります．オープントラックは任意の話題に
ついて（すなわち，オープンドメインで）ユーザと雑談を行う能力を競います．シチュエーショントラックでは，
オープンな雑談とは異なり，所定のシチュエーションの中で状況にあった人らしい対話を行う能力を競います．
シチュエーショントラックは，対人関係やTPOを踏まえた高度な対話システムの実現の第一歩となることを狙い
としています．参加者はどちらのトラックにもエントリすることが可能です．ただし，同じトラックに複数のシ
ステムをエントリすることはできません．

========================================================================
[2] 日時・場所・スケジュール
------------------------------------------------------------------------

日程：2020年11月30日または12月1日
場所：第11回対話システムシンポジウム内のセッションとして開催（オンライン開催）
　　　https://jsai-slud.github.io/sig-slud/

スケジュール（予定）：
　　　2020年10月上旬：エントリ〆切
　　　2020年10月中旬：予選
　　　2020年10月中旬：予選の結果通知
　　　2020年11月上旬：発表申し込みおよび原稿提出締切
　　　2020年11月30日または12月1日：ライブイベント本番（第11回対話システムシンポジウム内）

========================================================================
[3] 募集内容
-----------------------------------------------------------------------

評価基準が異なる２つのトラック「オープントラック」「シチュエーショントラック」のそれぞれで参加する対
話システムを募集します．両トラックともシステムの仕様が昨年と異なりますのでご注意ください．

【両トラック共通】

〇対話システムの開発の仕方

どちらのトラックでも，対話システムは，インスタントメッセージシステムTelegram(https://telegram.org/)
上で動作するボットを作成していただきます．Telegram は，Python，Java，Rubyなど，様々な言語のボット作
成用ライブラリがGitHubで公開されており，これらを使って開発ください．

〇対話システム評価の流れ

評価者には，対話の相手がシステムであることはあらかじめ通知されます．

対話はシステム発話から始まり，システムとユーザは交互に発話するものとし，それぞれ15発話ずつ（※発話数
については変更の可能性があります）行った時点で対話は終了することとします．対話システムはトラックそれ
ぞれの評価基準・手順に基づき評価されます．

予選では，クラウドソーシングを用いて，50人程度のワーカーにより主観評価されます．予選で高い評価を得た
システムが，ライブイベントに参加できます．ライブイベントでは対話システムが指定された対話者と対話し，
その状況をシンポジウムの参加者全員でそれぞれのトラックの基準により評価します．なお，予選の前に疎通に
問題ないか，最低限の対話ができるかなどを確認するためのスクリーニングを，オーガナイザと数名のクラウド
ワーカーにより実施します．本スクリーニングを通過しなかったシステムはその時点で評価の対象外となります．
本選の実施の方法については，トラックによって異なります（下記参照）．

【オープントラック】

任意の話題について（オープンドメインで）ユーザと雑談を行う能力を競います．

評価基準は「対話システムとどのくらいまた話したくなるかどうか」です．ライブコンペ1や2と同じです．シス
テム発話はテキストのみとし，絵文字・顔文字・STICKERS(LINEでいうスタンプ)は不可とします．システムと評
価者は一度のみ対話するものとし，ターン数は15（システムとユーザの発話を合わせて全部で30発話）とします．

予選・本選における，評価手順がライブコンペ1や2から変わります．この変更は，オープンドメインでユーザと
雑談を行う能力を，より適切に評価するためのものです．

評価者は，対話の前に，オーガナイザが準備する所定の名詞リスト（Wikipediaの見出し語から作成）から話題
として名詞を2つ選択し，それらを話したい話題として対話します．また，対話中に一つの話題からもう一つの
話題に切り替えるものとします．自然，かつ，ユーザが話したい話題について情報交換が可能なシステムがよい
と考え，以下の３つの観点のそれぞれについて，5段階評価を行います．これらの合計（もしくは平均）を評価
の得点とします．

・自然性：対話が自然かどうか
・話題追随：システムはユーザが選択した話題に関して適切に応答できたかどうか
・話題提供：システムはユーザが選択した話題に関して新たな情報を提供できたかどうか

【シチュエーショントラック】

シチュエーショントラックでは，オープンな雑談とは異なり，設定された状況の中で状況にあった人らしい対話
を行う能力を競います．

対話システムは，「どれくらいシチュエーションに適しており，かつ，人らしい会話か」という1つの評価軸を
用いて5段階で総合的に評価されます．「シチュエーションに適している」とは，所定の状況に鑑み「人らしい
会話」であると直感的に思えることです．

「人らしい会話」とは，具体的には以下のような特徴を含みます．

・言いにくいことを言わなければならない場合は，相手との社会的な関係性を考慮して，相手に失礼にならない
ように内容を伝えられること．
・適当な「間」や「あいづち」，「フィラー」，「言い淀み」などが用いられていること．
・一つの話題に固執することなく，会話の流れに沿って，別の話題に自然に推移できること．

これらは，「シチュエーションに適しており，かつ，人らしい会話」というもののイメージを喚起する参考であり，
すべてを満たす必要があるということではありません．

システム発話はテキスト，絵文字，顔文字を利用可能とします．STICKERS(LINEでいうスタンプ)は不可とします．

シチュエーションはライブコンペ2のものと異なります．今回，「依頼を断る」というシチュエーションを設定
しました．参加者は，ユーザの依頼を人間関係を考慮したうえで断る対話システムを作成します．今回用いるシ
チュエーションの詳細については[6]を参照ください．

予選では，上記の評価基準を用い，クラウドワーカーによる評価を実施します．

本選では，まず開発者自身がシステムと対話をし，シンポジウムの参加者全員が評価します．次に，その対話を
見ていない別の対話者がそのシステムと会話をし，参加者全員で評価します．これらの２つの対話の点数の合計
（もしくは平均）をシステムの点数とします．この評価方法は，シチュエーションに適した人らしい会話を実現
するためのアイデア自身とその工学的な有効性をそれぞれ評価するために採用しました．

各トラックやシステム開発の仕方について，詳しくは下記ホームページに記載していきますので，適宜ご参照く
ださい．https://dialog-system-live-competition.github.io/dslc3/

========================================================================
[4] 申し込み方法
-----------------------------------------------------------------------
以下の Google Form よりお申込みください．

https://forms.gle/1Xqy9gde7wKCm1977

対話システムシンポジウムにおける，対話システムライブコンペティションセッションでの発表は，コンペ参加
者の方に限ります．また，発表形態（口頭あるいはポスター）については事務局が決定いたします．論文の提出
期限は，他のセッションに準じます．投稿原稿のページ数は，口頭発表同様といたします．

=======================================================================
[5] 注意事項
-----------------------------------------------------------------------

予選を勝ち残った参加者については，所属組織を公表します．その他の組織については，原則非公開としますが，
公開を希望される場合はその限りではありません．

予選の対話ログについては原則非公開とします．

エントリの対話システムの数がこちらの想定を上回った場合，エントリをご遠慮いただく場合があります．あら
かじめご了承ください．早めのエントリをよろしくお願いいたします．

========================================================================
[6] シチュエーショントラックの詳細
-----------------------------------------------------------------------

シチュエーショントラックにおける会話のシチュエーションは以下のとおりです．

---------
システム(後輩)
・名前: 清水シズカ(女)/シンジ(男)
・職業: 大学4年生，22歳前後
ユーザ(先輩)
・名前: 湯川ユウコ(女)/ユウキ(男)
・職業: 会社員，25歳前後
話者の関係
・同性同士．学生時代のサークルの先輩後輩の関係．学生時代は親
しかったが，先輩が卒業してからは，連絡を取り合っていない．
場所・時間
・それぞれの自宅，清水が卒業の年，春休みの夜の暇な時間
状況・話題
・先輩からの「同窓会の幹事の依頼」を断りたい状況
---------

〇背景

清水(システム)と湯川(ユーザ)は，学生時代，同じサークルの先輩・後輩の関係であった．清水にとって湯川は，
いろんなことについて相談しやすい先輩であり，湯川にとって清水は自分を頼ってくるかわいい後輩であった．
ただ，湯川が大学を卒業して会社員になってからは，会う機会も連絡をとることもなくなっていた．清水も就職
が決まり，自宅でくつろいでいた春休みのある日の夜，久しぶりに湯川からテキストメッセージが送られて来た．
卒業式の時期を迎え，清水も卒業の年になったということを思い出してくれたようで，連絡をくれたらしい．久
しぶりにお互いの近況報告をしたあと，湯川がおもむろに頼み事をしたいと言ってきた．どうやらサークルの同
窓会の幹事を，特に清水に任せたいらしい．清水としては決して暇がないわけではないのだけれど，日程調整や
ら出欠の確認やらは非常に面倒だ．とはいえ湯川は非常にお世話になった先輩であり，失礼な態度もとりづらい．
なんとか頼みを断りたいけれど，さてどう言って断ろうか．

〇インストラクション

・システム（清水）は，ユーザ（湯川）からの依頼を断ってください． つまりあなたの作るシステムはユーザ
からの依頼を断るシステムです．
・ユーザ(湯川)が「ところでさ，ちょっと頼みたいことがあるんだけど...」という発話を行った直後の状況
から会話はスタートです．システム（清水）は，ユーザのこの発話に答えることから会話を始めてください．
・ユーザ（湯川）はシステム（清水）に依頼を断られても，依頼を繰り返すものとします．依頼が断念されるこ
とは想定しなくて構いません．
・開発者はシステムの性別を決め，その性別同士（男性同士，もしくは，女性同士）の対話が
できるようにしてください．

========================================================================
[7] 対話システム講習会（※オンライン開催）
-----------------------------------------------------------------------

昨年度同様，より多くの方にライブコンペについて知っていただいたり，エントリしていただけるように「対話
システムライブコンペ講習会」を開催することにいたしました．

本講習会では，「シチュレーショントラック」にフォーカスして講習を行います．「シチュエーショントラック」
では人間らしさを競うことから，人同士の対話に関する知識がシステム設計の鍵になります。そのため，人の言
語活動に関する研究をされてきたが，対話システムにあまりなじみのない学生・研究者・企業の方に，対話シス
テムを作る経験を通じて，本イベントへの関心を持っていただければと考えています．

たとえば，以下のようなご関心のある方はぜひ講習会へのご参加を検討ください．
・簡単につくれるのであれば，対話システムを作ってみたい．
・関心のある言語活動を対話システムに実装してみたい．
・ご自身の研究が，対話システムの改善に関わる可能性を感じている．
・コンピュータと人との会話に興味がある．
・対話システムライブコンペティションに興味がある．
・現在の対話システムに不満があり，改善したい． etc.

講習会では，xAIML SUNABAというWebアプリケーションを使ってテキストチャットシステムを作ります．チャッ
トシステムの作り方について解説を聞いたのち，チャットシステム作りの実習を行います．講習会はパソコンの
基礎知識がある（仕事や勉強に利用している）方なら誰でも参加可能で，プログラミングの知識は不要です．講
習会への参加は，対話システムライブコンペティションへの参加を義務付けるものではありませんので，お気軽
にご参加ください．

講習会の要領は下記のとおりです．たくさんのご参加をお待ちしております．

〇日程
2020/7/11（土）10:00〜16:00（12:00〜13:00の昼休憩に加えて，進行度に合わせて2回程度の休憩が入ります）
（Zoomによるオンライン開催を予定）
※7月だけでなく，8, 9月にも開催を予定しています．

〇備考
・xAIML SUNABAの利用にはGoogle アカウントが必要になりますので，事前に取得をしてください．
・xAIML SUNABAの利用はブラウザを通して行います．事前に最新版のGoogle Chromeの取得をしてください．
・オンライン講習会のためのZoomアカウントが必要になりますので，事前に取得をしてください．
・インターネットに接続可能なノートパソコンをご用意していただく必要があります。OS(Windows,
Mac, Linux等)は問いません．また，講習会のためのインターネット接続回線はご自身でご準備ください．

〇参加方法（第1回講習会）
以下のURLよりお申込みください．

https://forms.gle/LZYG85xaeZgsHeUw7

※参加希望者が50名に達しましたら受付を終了します．

本講習会参加の前に，備考にあるGoogleアカウント，Zoomアカウントの登録，Google Chromeの取得，インター
ネット回線の準備を必ずお済ませください．事前準備が終わっていない方は講習会の参加をお断りする場合がご
ざいます．第2回以降の講習会の情報および申し込みフォームについては，随時HPにて掲載いたします．

========================================================================
[8] お問い合わせ先
------------------------------------------------------------------------

ご質問・ご不明な点がございましたら，オーガナイザまでご連絡ください．

dialog-system-live-competition-ml[at]googlegroups.com

対話システムライブコンペティションオーガナイザ
・東中竜一郎（名大）
・船越孝太郎（東工大）
・稲葉通将（電通大）
・高橋哲朗（富士通）
・赤間怜奈（東北大）
・宇佐美まゆみ（国語研）
・川端良子（国語研）
・角森唯子（NTTドコモ）
・小室允人（千葉大）
・ドルサ・テヨルス（東工大）
・水上雅博（NTT）