JP6411017B2 - サーバ、及び、情報処理方法 - Google Patents

Description

本発明は、サーバ、及び、情報処理方法に関する。

本技術分野の背景技術として、特開２００３−１３１６９１号公報（特許文献１）がある。この公報には、「車両電装品の制御を行うための音声対話システムにおいて、車両の各部の状態を検出するセンサからの出力によって音声認識装置を起動すると共に、音声出力装置からセンサ出力に対応して予め決められた言葉を出力し、ユーザに対して音声対話のきっかけを与える。これにより、ユーザ側から音声認識のためのタイミングを作ることなく、対話を開始することができる。」と記載されている（要約参照）。

特開２００３−１３１６９１号公報

上記特許文献１では、音声対話システム側が自発的に言葉を出力する際に、例えばドライバーの状態等に応じて、動的に話題等を決定、変更することができない。

そこで本発明は、ドライバーと好適に音声対話処理を行う音声対話処理技術を提供する。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、「ドライバーとの対話処理を行う車両用装置と通信可能なサーバであって、前記車両用装置と通信する通信部と、前記通信部を制御する制御部と、前記ドライバーが契約する外部サービスの契約状態を記憶するサービス契約状態記憶部とを備え、前記制御部は、前記車両用装置または前記サーバにおいて対話処理を開始するトリガー情報が発生した場合に、前記ドライバーによる前記外部サービスの契約状態に基づき、対話処理における始点とする第一の対話を示す情報と、前記第一の対話とは異なる、対話処理における終点とする第二の対話を示す情報とを前記車両用装置に送信する制御を行う」。

本発明によれば、ドライバーと好適に音声対話処理を行う音声対話処理技術を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

対話処理システムの機能構成図である。 車両用装置ハードウェア構成図である。 サーバのハードウェア構成図である。 一連の対話の説明図である。 イベントと環境情報の説明図である。 対話制御処理部の対話ドメインとその遷移方針の選択を示す図である。 対話制御処理部の対話ドメインとその遷移方針の選択を示す図である。 対話制御処理部の対話ドメインとその遷移方針の選択を示す図である。 一連の対話の始点と終点の説明図である。 対話制御処理部の処理のフローチャートである。 センテンス記憶部のデータ構造である。 トリガー優先度定義のデータ構造である。 車両用装置の画面である。 車両用装置の画面である。

以下、本発明に係る実施例を図面を用いて説明する。
先ず、図１を用いて本実施例に係るドライバーとの対話処理システムの構成について説明する。

図１は、本実施例に係るシステム全体の機能構成図である。本実施例に係る対話処理システムは、図１に示すように車両用装置２とサーバ３とから構成され、車両用装置２とサーバ３とが通信回線３１により接続されている。車両用装置２とサーバ３とを接続する通信回線３１は、例えば３Ｇ回線などの無線回線である。

図１を用いてサーバ３のソフトウェア構成について説明する。
サーバ３は対話制御処理部４を備える。対話制御処理部４は、外部サーバイベント受信処理部５、車両用装置イベント受信処理部６、対話ドメイン・センテンス選択処理部７、発話制御処理部８、提示手段選択処理部９、ドライバー状態推定処理部１０、一連の対話状態管理処理部１１、環境情報受信処理部１２、サービス契約状態記憶部２１、環境情報記憶部２２、ＩＤ関連記憶部２３、センテンス記憶部２４、トリガーキュー２５、トリガー優先度定義２６を含む。

外部サーバイベント受信処理部５は、外部サービスサーバ（５１〜５５）から後述する外部サーバイベントを受信する。
車両用装置イベント受信処理部６は、車両用装置２から後述する車両用装置イベントを受信する。
環境情報受信処理部１２は、車両用装置２から後述する環境情報を受信する。
サービス契約状態記憶部２１は、ドライバーが契約する後述する外部サービスの契約状態を記憶する。
環境情報記憶部２２は、環境情報受信部１２で受信した環境情報を記憶する。

ＩＤ関連記憶部２３は、イベントＩＤ、トリガーＩＤ、対話ドメインＩＤ、センテンスＩＤの関連を記憶する。

ここで、各ＩＤについて説明する。対話制御処理部４は、イベント、トリガー、対話ドメイン、センテンスの各々に固有のＩＤを付与することで、各々を一意に識別する。
イベントとは後述する外部サーバイベントまたは車両用装置イベントである。トリガーとは、単一のイベント、または、複数のイベントの組み合わせに対応づけて定義される、一連の対話を開始するためのきっかけとする情報である。
ＩＤ関連記憶部２３は、イベントＩＤが入力された場合に、対応するトリガーＩＤを出力できるようなデータ構造を構成する。

また、対話ドメインとは、ドライバーと対話制御処理部４とが一連の対話を行う際の具体的な話題や目的などを含む対話の種類であり、例えば、交通情報、ニュース、エコ運転診断などの名称によって定義される。
ＩＤ関連記憶部２３は、トリガーＩＤが入力された場合に、対応する対話ドメインＩＤを出力できるようなデータ構造を構成する。

センテンスとは、上記の対話ドメインの文脈において、ドライバーと対話制御処理部４とがやりとりする対話文である。
各々のセンテンスは、何れかの対話ドメインにおける一連の対話においてやりとりされることから、各々のセンテンスは、何れかの対話ドメインに包含されるという関係が成立する。このため、ＩＤ関連記憶部２３は、ある対話ドメインＩＤが入力された場合に、対応する、複数または単数のセンテンスＩＤを出力できるようなデータ構造を構成する。

ここで、対話の始点または終点とするセンテンスと、対話の始点または終点としないセンテンスとを識別可能とできるように、センテンスＩＤには、「始点かつ終点」、「始点」、「終点」、「始点でも終点でもない」、「中間報告」等の属性を付加して記憶し、センテンスＩＤを出力する際に、当該属性も併せて出力可能とする。

このように属性を付加することで、ＩＤ関連記憶部２３は、ある対話ドメインＩＤと属性情報とを入力された場合に、対応するセンテンスＩＤのうち、当該属性を有するセンテンスＩＤのみを抽出して出力することができる。

なお、上記のデータ構造は、例えば、イベントＩＤを上位として、トリガーＩＤ、対話ドメインＩＤ、センテンスＩＤを順次下位に配置していく木（ツリー）状構造によって実現することもできる。

図１に戻り、対話ドメイン・センテンス選択処理部７は、外部サーバイベント受信処理部５と車両用装置イベント受信処理部６とから受信するイベントに応じて、サービス契約状態記憶部２１および環境情報記憶部２２に記憶される情報、および、ＩＤ関連記憶部２３に記憶する情報によって、一連の対話のきっかけとなるトリガーを生成し、センテンス記憶部２４に記憶する情報によって、始点とするセンテンスＩＤおよび終点とするセンテンスＩＤを抽出する。そして、生成したトリガーと抽出したセンテンスＩＤを発話制御処理部８に送信する。ここで、一連の対話とは、ドライバーが発話するセンテンスと、システム側が発話するセンテンスとの複数のセンテンスによって構成される対話をいう。一連の対話については後述する。

センテンス記憶部２４は、一連の対話において発話されるセンテンスとセンテンスＩＤとを対応づけて記憶する。
ドライバー状態推定処理部１０は、環境情報記憶部２２の環境情報によって後述するドライバーの状態を推定する。
一連の対話状態管理処理部１１は、ドライバーとシステムとが一連の対話中か否かの状態を管理する。

発話制御処理部８は、ドライバー状態推定処理部１０で管理するドライバーの状態に応じて、対話ドメイン・センテンス選択処理部７から受信した複数のセンテンスＩＤから、実際に対話に使用するセンテンスのセンテンスＩＤをさらに抽出する。また、ドライバーが発話する内容に基づくドライバー発話データのセンテンスに対応するセンテンスを、予め定義された対応付けに従ってドライバーに対して発話する制御を行う。なお、ドライバー発話データは音声データであってもドライバーが発話した音声データをテキストデータに変換したものであっても良い。

また、トリガーを受信した際に、一連の対話状態管理処理部１１の状態を参照し、一連の対話の途中であると判定した場合は、１）受信したトリガーをトリガーキュー２５に一時的に保存するか、または、２）トリガー優先度定義２６を参照して受信したトリガーの優先度が高優先度である場合には既に実施中の一連の対話を中断して受信したトリガーに対応する一連の対話を開始する。また、終点とするセンテンスＩＤに対応するセンテンスを発話した場合には一連の対話が終了したことを一連の対話記憶部１１に記録する。

提示手段選択処理部９は、ドライバーの状態に応じて、ドライバーに対して発話するか、システム側からの問いかけに対する回答を選択するためのＧＵＩ(Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ)を提示するか、発話と提示をともに行うか等を選択し、選択されたコンテンツを車両用装置２に送信する。

ここで、コンテンツはシステム発話データおよび／または選択リストによって構成される。システム発話データはテキストデータであっても音声データであっても良い。

次に、図１を用いて車両用装置２のソフトウェア構成について説明する。
車両用装置２は、車両信号入力処理部４１、位置検知処理部４２、車両用装置操作状態検知処理部４３、音声入力処理部４４、車両用装置イベント・環境情報送信処理部４５、コンテンツ受信・提示処理部４６を備えている。

車両信号入力処理部４１は、車両信号インタフェース２０７から車両のＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の情報を参照する。ＣＡＮの情報として、例えば、後述する環境情報の車両状況を参照する。車両状況とは、例えば、加速度や速度が大きく変化したことなどに基づく情報である。
位置検知処理部４２は、後述する測位センサ２０４、ジャイロセンサ２０５、加速度センサ２０６から車両の位置を検知する。
車両用装置操作状態検知処理部４３は、車両用装置が記憶するドライバーによる車両用装置操作状態を参照する。なお、車両用装置操作状態とは、例えば後述する環境情報の車両用装置状況であり、例えば、ナビ操作中（カーナビゲーションアプリのメニューを操作中等）であることなどに基づく情報である。

音声入力処理部４４は、後述する入力部２０２のマイクによってドライバーからの音声入力を受ける。また、後述する環境情報の車室内状況を参照する。車室内状況とは、例えば、単数人または複数人の声がマイクに入力されていることなどに基づく情報である。
車両用装置イベント・環境情報送信処理部４５は、車両信号入力処理部４１、位置検知処理部４２、車両用装置操作状態検知処理部４３からの情報をもとに車両用装置イベントおよび／または環境情報を生成してサーバ３に送信する。
コンテンツ受信・提示処理部４６は、サーバ３からコンテンツを受信し、ドライバーに提示する。コンテンツのシステム発話データの再生にあたっては、テキストデータを音声データに変換して再生するためのＴＴＳ（Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）機能を使用することができる。なお、、上記したコンテンツの選択リストは、ドライバーに対して、例えば、「Ａ．はい、Ｂ．いいえ」、「Ａ．名詞１、Ｂ．名詞２」等のＡかＢかの選択肢を提示するためのリストである。この選択肢は、コンテンツ受信・提示処理部４６がＧＵＩのボタンと重畳させて提示し、ドライバーに対して選択を促すことができる。

図２は、車両用装置のハードウェア構成図である。
車両用装置２は、図２に示すようにハードウェア構成として、ＣＰＵ２００、ベースバンドプロセッサ２０１、入力部２０２、メインメモリ２０３、測位センサ２０４、ジャイロセンサ２０５、加速度センサ２０６、車両信号インタフェース２０７、補助記憶部２０８、表示部２０９、無線通信インタフェース２１１を備え、各構成部がバス２１０で結合されている。

ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)２００は、車両用装置２の各構成部を制御し、メインメモリ２０３上にロードされる車両用装置のアプリケーションソフトウェアを実行する演算、制御のためのユニットである。なお、図１にて示した車両用装置２の各処理部は、このアプリケーションソフトウェアとして実行される。また、図１にて示した車両用装置２の各記憶部は、補助記憶装置２０８に実装され、各処理部から参照される。

入力部２０２は、ユーザが車両用装置２を指で操作するボタン、スイッチ、キーボード、タッチパネル、あるいは、マイク等から構成される。
メインメモリ２０３は、補助記憶部２０８に記憶されているプログラムをロードして一時的に保管したり、ワークデータを記憶する半導体記憶装置である。

無線通信インタフェース２１１は、ベースバンドプロセッサ２０１の信号を無線帯域の高周波信号に変換したり、逆に、無線帯域の高周波信号をベースバンドプロセッサ２０１の信号に変換するためのインタフェース装置である。車両用装置２は、無線通信インタフェース２０１を介してインターネットなどの通信回線３１によりサーバ３と通信し、必要な情報のやりとりや、データのダウンロードをおこなう。

測位センサ２０４は、地球上での緯度および経度で示される自身の位置を測位するためのセンサである。
ジャイロセンサ２０５は、搭載されている車両の角度や角速度を計測するためのセンサである。
加速度センサ２０６は、搭載されている車両の加速度を計測するためのセンサである。

車両信号インタフェース２０７は、車両信号線を接続するためのインタフェースであり、車両走行状態や内部状態を取り込むことができる。
補助記憶部２０８は、地図データベースなどの各種データと、車両用装置のアプリケーションソフトウェアを記憶する大容量の記憶装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。
出力部２０９は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、または、スピーカー等、ドライバーに画像情報や音声情報を出力する構成部である。

図３は、サーバ３のハードウェア構成図である。
サーバ３は、図３に示すようにハードウェア構成として、ＣＰＵ３００、入力部３０１、表示部３０２、メインメモリ３０３、補助記憶部３０４、ネットワークインタフェース３０５を備え、各構成部がバス３１０により結合されている。

ＣＰＵ３００は、サーバ３の各構成部を制御し、補助記憶部３０４に格納されたプログラムとデータをメインメモリ３０３上にロードして実行する。なお、図１にて示したサーバ３の各処理部は、このアプリケーションソフトウェアとして実行される。また、図１にて示したサーバ３の各記憶部は、補助記憶装置３０４に実装され、各処理部から参照される。
入力部３０１は、キーボードやマウスなどであり、管理者はこれらの入力部３０１からコマンドなどを入力する。

表示部３０２は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であり、稼動状況のモニタや出力結果が表示される。
メインメモリ３０３は、補助記憶部３０４に記憶されているプログラムをロードして一時的に保管したり、ワークデータを記憶する半導体記憶装置である。

補助記憶部３０４は、データやプログラムを格納するＨＤＤなどの記憶装置である。サーバ３の場合、ＨＤＤはアレイ上に接続されてディスクアレイを構成する場合もある。
ネットワークインタフェース３０５は、通信回線３１と接続するインターフェースであり、これにより外部の装置と通信をおこなう。

なお、図１にて説明した対話制御処理部４は、上記のようにサーバ３と車両用装置２とによって構成されるシステム上に備えても良いし、車両用装置２のみによって構成されるシステムに備えても良い。

次に、図４を用いて、上記した一連の対話について説明する。
本実施例においては、例えば、車両用装置２またはサーバ３に搭載されるアプリケーションである、「エコ運転診断」、「ＳＮＳ」（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎ Ｓｅｒｖｉｃｅ）、「カレンダー」などの外部サービスの種類（４０１）に対応する対話ドメインを定義する。なお、一つの対話ドメインは外部サービスの種類に一対一で対応させても良く、複数の外部サービスの種類に対応させても良い。また、外部サービスの種類以外に対応させても良い。本実施例においては、まず対話ドメインを選択し、その後、ドライバーの状態等に応じて実際に発話するセンテンスをその対話ドメイン内で選ぶことにより、一連の対話を構成するものとする。これによって、ドライバーが利用を意図して契約やダウンロードしたサービスを活用しつつ対話を行うことができる。また、ドライバーが対話に適した状態である場合は対話ドメインの目的を達成できるように対話を進めることができ、ドライバーが対話に適していない状態である場合は、対話ドメインの目的の達成を後ほど行うこととして対話を手短に切り上げることができる。
なお、図４では、対話ドメインを外部サービスの種類として「エコ運転診断」に一対一で対応させた例と、複数の外部サービスの種類に対応させた例として、「ＳＮＳ」から「カレンダー」へと対話ドメインを遷移させる例を挙げている。

対話開始のきっかけの種類（４０２）としては、車両用装置からのイベント（車両用装置イベント）、または、外部サービスサーバからのイベント（外部サーバイベント）とがある。

それぞれの対話ドメインにおける一連の対話は、図４の４０３に記載したような、ドライバーが発話するセンテンスと、システムが発話するセンテンスとの複数のセンテンスによって構成されるものとする。

次に、図５を用いて本実施例におけるイベントと環境情報、および、環境情報から推定するドライバーの状態について説明する。

イベントには、外部サーバイベントと車両用装置イベントとが含まれ、外部サーバイベントとは、外部サーバによって発生するイベントであり、例えば外部サーバ上に新着ニュースが存在する場合や、外部サーバ上でＳＮＳでメッセージを受信した場合や、外部サーバ上のカレンダーにスケジュールが登録されている場合や、外部サーバ上にニュース、天気等に基づく情報がある場合に発生する。
また、車両用装置イベントとは、車両用装置によって発生するイベントであり、例えば車両用装置に搭載されるアプリケーションの動作状態に変化があった場合や、アプリケーションに対してドライバーが操作を行った場合、車両用装置に搭載されるナビゲーションアプリケーションにおける案内中のルート上において事故が発生する等の状況変化が起こった場合、「この先、左からの合流車両に注意してください」「およそ７００メートル先、高速道路、入口です」等の車両状況に関する情報を車両用装置が読み上げた場合、等に発生する。或いは、ＡＣＣ／ＯＮされた場合、位置情報がガソリンスタンド等所定の建物の近傍である場合、パーキングブレーキが解除された（或いは解除されてから所定時間以内である）場合、乗車後に目的地を設定した場合、位置情報が車両用装置からサーバに送信された場合、等に発生する。

そして、環境情報には、車両状況と車室内状況と車両用装置状況とが含まれ、車両状況とは車両信号インタフェース２０７を介して検出される情報であり、例えば、加速度または速度が大きく変化したことや、クラクションが押下されたこと、パーキング中（駐車場に駐車するための運転中である）のこと等に基づく情報である。

車室内状況とは、車室内に人が居るかや、車室内で人がマイクに対して発話しているか、車室内で人同士が会話しているか、などに基づく情報であり、例えば、声がマイクに入力されているか、複数人の声がマイクに入力されているか、などによって判定する。

車両用装置状況とは、ドライバーによる車両用装置の操作状態（カーナビゲーションのメニュー操作中等）や、車両用装置が搭載するアプリケーションによるマイクやスピーカなどの音声リソースの使用状態、車両用装置のカーナビゲーションなどのアプリケーションが検出可能な「高速道路進入／退出中」「高速道路ジャンクション進入／退出中」「バック走行（開始/終了）」等に基づく情報である。

図１にて説明したドライバー状態推定処理部１０は、環境情報によりドライバーの状態を推定する。
例えば本実施例では、ドライバーの状態を「とても忙しい」「やや忙しい」「忙しくない」のように段階をつけて定義し、環境情報に含まれる情報のうち何れかを受信後、所定時間（例えば３０秒間）を「とても忙しい」状態とし、その後更に所定時間が経過するまでの間（例えば受信後３０秒から１２０秒後まで）を「やや忙しい」状態とし、それ以外（例えば受信後１２０秒後から）を「忙しくない」と定義する。また、環境情報の種類によっては、その情報を受信した場合であっても「とても忙しい」状態とみなさず、「やや忙しい」状態とみなすようにしても良い。例えば、図５の＃３に記載している車両状況を受信した場合は「とても忙しい」状態とみなすが、図５の＃４に記載している車室内状況を受信した場合は「やや忙しい」状態とみなしても良い。これにより、ドライバーの状態をより反映した処理を行うことができる。

図６は、本実施例に係る対話制御処理部４の対話ドメインとその遷移方針の選択を示す図であり、対話ドメインとその遷移方針として、イベントに応じて始点とする対話ドメイン（始点対話ドメイン）を、ドライバーの状態と外部サービス契約の有無とに応じて、終点とする対話ドメイン（終点対話ドメイン）を選択する例を示している。図６では、外部サービスの種類として「メモ」と「カレンダー」を挙げている。

なお、外部サービス契約の有無は、ドライバーが「メモ」や「カレンダー」といった外部サービスを利用するための契約を実施済であるか否かによって判別され、例えば、契約を実施済であれば「有」とし、未実施であれば「無」とする。ここで、「有」「無」は、外部サービスを利用するためのユーザＩＤとパスワード等のアカウントを取得済であるか否かによって判別することができる。

図１にて説明した対話ドメイン・センテンス選択処理部７は、イベントとして外部サーバイベントである「ＳＮＳで催事の案内あり（近日中）」というイベントを受信したものとする。この場合、ドライバーの状態が「とても忙しい」である場合は、上記イベントに対応するトリガーをトリガーキュー２５に入れ、その時は発話しないことでドライバーを煩わせないようにする。

一方、ドライバーの状態が「やや忙しい」または「忙しくない」である場合は、外部サービス契約の有無に応じて、始点対話ドメインと始点センテンス（始点とするセンテンス）を選択する。例えば「やや忙しい」である場合は、単一のセンテンスを発話するだけで一連の対話を終えるなど、ドライバーを煩わせないようにする。「忙しくない」である場合は、複数のセンテンスによってドライバーを契約している外部サービスの機能を活用できるように誘導する対話を行う。

図７は、本実施例に係る対話制御処理部４の対話ドメインとその遷移方針の選択の別の一例を示す図であり、外部サービスの種類が「天気」と「交通情報」の場合の例である。図７では、対話ドメイン・センテンス選択処理部７がイベントとして外部サーバイベントである「ＳＮＳで催事の案内あり（本日）」というイベントを受信したものとする。「天気」「交通情報」の対話ドメインに関わるセンテンスはそれぞれ下線で示す箇所である。

図８は、本実施例に係る対話制御処理部４の対話ドメインとその遷移方針の選択の更に別の一例を示す図であり、外部サービスの種類がパブリックモードとプライベートモードを持つ「ＳＮＳ」と「カレンダー」の場合の例である。図８では、対話ドメイン・センテンス選択部７がイベントとして外部サーバイベントである「ＳＮＳで催事の案内あり（近日中）」というイベントを受信したものとする。なお、パブリックモードとは、外部サービスを利用する本人が、本人と本人以外の双方が情報参照できるという前提のもとで情報登録や情報参照を行うモードである。一方、プライベートモードとは、外部サービスを利用する本人のみが情報参照できるという前提のもとで情報登録や情報参照を行うモードである。本実施例では、「ＳＮＳ（パブリックモード）」「ＳＮＳ（プライベートモード）」「カレンダー（パブリックモード）」「カレンダー（プライベートモード）」等が、それぞれ対話ドメインを構成するものとする。

ここで、図８中、「同乗者の有無」は、対話ドメイン・センテンス選択処理部７が車両信号入力処理部４１から取得する着座センサの情報、或いは、音声入力処理部４４から取得する複数人の声がマイクに入力されているか否かなどの環境情報によって判断する。

同乗者が「有り」の場合は、ＳＮＳ（パブリック）で取り扱われる情報（ここでは●●で図示）のみを話題とし、カレンダー（パブリック）で取り扱われる情報のみを参照、表示、登録する。
一方、同乗者が「無し」の場合は、ＳＮＳ（プライベート）で取り扱われる情報（ここでは○○で図示）も話題とし、カレンダー（プライベート）で取り扱われる情報も参照、表示、登録する。

図９は、本実施例に係る一連の対話の始点と終点の説明図である。
対話ドメイン・センテンス選択処理部７は、始点センテンスと終点センテンスを選択する。センテンスは複数候補を選択しても良い。また、始点かつ終点とするセンテンスがあっても良い。

発話制御処理部８は、始点センテンスを発話することで一連の対話の途中状態に入る。また、終点センテンスの何れかを発話することで一連の対話が終了したと判定する。

図１０は、本実施例に係る発話制御処理部８の処理のフローチャートである。
発話制御処理部８は始点センテンスを発話する。（Ｓ６０１）
次に、ドライバーが発話するセンテンスに応じたセンテンスを発話する。（Ｓ６０２）
次に、発話制御処理部８が終点センテンスを発話した場合（Ｓ６０３：Ｙｅｓ）、一連の対話を終了する。

一方、発話制御処理部８が終点センテンスをまだ発話していない場合（Ｓ６０３：Ｎｏ）は、ドライバーの状態が「やや忙しい」か否かをチェックする（Ｓ６０４）。「やや忙しい」状態である場合（Ｓ６０４：Ｙｅｓ）は、「カレンダーにスケジュール登録してもらおうと思っていたけど、いったんその話はやめますね。」等の、終点対話ドメインへの誘導を意図していたことを示唆する中間報告のセンテンスを発話して一連の対話をシステム側から強制終了する。ここで、「やや忙しい」かをチェックする代わりに、予め定義された上限ステップ数まで対話を繰り返したか否かによって一連の対話をシステム側から強制終了しても良い。

なお、ドライバーの状態が「やや忙しい」でない場合として、「とても忙しい」「忙しくない」の状態があるが、「とても忙しい」の場合はそもそも始点センテンス（Ｓ６０１）の発話を開始せず、一連の対話を開始しないものとする。また、Ｓ６０１〜Ｓ６０５の実施中に、他の２つの状態から「とても忙しい」の状態に遷移した場合は、例えば、サーバ３から車両用装置２に対して一連の対話を終了するための情報を送信する等して、Ｓ６０１〜Ｓ６０５の実施を直ちに中断して終了（Ｅｎｄ）としても良い。これにより、ドライバーへの負荷を低減させることができる。

ドライバーの状態が「やや忙しい」でない場合（Ｓ６０４：Ｎｏ）、即ち「忙しくない」の場合は、引き続きセンテンスを発話して一連の対話を継続する（Ｓ６０２）。

このようにすることで、一連の対話が開始した後でドライバーの状態が「やや忙しい」の状態に変化した場合や、対話がなかなか終点に至らずドライバーを目的とする外部サービス機能に誘導することができない場合であっても、それまでの対話を無駄にすることなく一連の対話を終えることができる。

図１１は、図１にて説明したセンテンス記憶部２４のデータ構造である。各センテンスにセンテンスＩＤを対応付けて記憶している。

対話ドメイン・センテンス選択処理部７は、前述のように、センテンス記憶部２４に記憶する情報によって、始点とするセンテンスＩＤや終点とするセンテンスＩＤ、始点かつ終点とするセンテンスＩＤを抽出する。

次に、発話制御部処理部８は、前述のように、対話ドメイン・センテンス選択処理部７が抽出したセンテンスＩＤを一時的に記憶する。

そして、発話制御処理部８は、ドライバーが発話するセンテンスに対応するセンテンスを、予め定義された対応付けに従ってドライバーに対して発話する制御を行う際に、センテンス記憶部２４のセンテンスを参照すると共にセンテンスＩＤを参照する。そして、そのセンテンスＩＤが、前述の一時的に記憶した、始点とするセンテンスＩＤや終点とするセンテンスＩＤ、始点かつ終点とするセンテンスＩＤに該当するか否かをチェックする。

そして、発話制御処理部８は、発話しようとするセンテンスが始点とするセンテンスＩＤに該当する場合は、一連の対話状態管理処理部１１に一連の対話の途中であるという情報を登録する。一方、終点とするセンテンスＩＤ、または、始点かつ終点とするセンテンスＩＤに該当する場合は、一連の対話状態管理処理部１１に一連の対話の途中でないという情報を登録する。なお、始点でも終点でもないセンテンスＩＤの場合は、一連の対話状態管理処理部１１で管理する状態を変更しない。

図１２は、図１にて説明したトリガー優先度定義２６のデータ構造である。
トリガー優先度定義２６には、それぞれのイベントに対応するトリガー、および、その優先度を数値で記載する。

ここで、トリガーは複数のイベントの組合せ（例えば、「ＡＣＣ／ＯＮされた」と「位置情報がガソリンスタンド近傍」の組合せ等）によって生成しても良い。
優先度については、例えば０〜９９を優先度「高」とし、優先度「高」のトリガーに対応する一連の対話は、別の一連の対話の途中であっても割り込むことを許容する。そして例えば１００〜１９９を優先度「中」とし、優先度「中」のトリガーに対応する一連の対話は、別の一連の対話の途中である場合は、当該トリガーを図１にて説明したトリガーキュー２５に一時保存する。そして例えば２００〜２９９を優先度「低」とし、優先度「低」のトリガーに対応する一連の対話は、別の一連の対話の途中である場合は、トリガーをトリガーキュー２５に一時保存せずに破棄する。

なお、優先度の数値はシステム運用者などが事前に設定すれば良い。また、トリガーキュー２５に一時保存したトリガーには所定の有効期限（例えば４８０秒）を付与し、有効期限が満了した場合に当該トリガーを破棄することもできる。

ここで、別の処理の一例として、図１３を用いて、ドライバーの意図によって、一連の対話への割り込み可否を決定する手順について説明する。

対話制御処理部４は、一連の対話中にイベントに対応するトリガーの発生を検知した場合に、当該トリガーをトリガーキュー２５に保存し、１）当該トリガーに対応する対話ドメインや発話内容の要約文、２）トリガー発生時刻、３）対話制御処理部４がトリガーを一意に識別するためのトリガー識別ＩＤを、車両用装置２のコンテンツ受信・提示処理部４６に送信する。

コンテンツ受信・提示処理部４６は、情報を受信すると、通知音などによりドライバーに通知すると共に、受信した上記１）２）の情報を操作ボタン（７０３）（例えば「破棄」や「開始」を促すボタン）と共に車両用装置画面（７０１）に提示する（７０２）。

ドライバーは、実施中の一連の対話を中断して提示された対話を開始したい場合は、「開始」ボタンを押下する。コンテンツ受信・提示処理部４６は、ボタンが押下されるとトリガー識別ＩＤと共に対話制御処理部４に送信する。

対話制御処理部４は、情報を受信すると、トリガー識別ＩＤに対応するセンテンスを前述のようにＩＤ関連記憶部２３とセンテンス記憶部２４を参照することによって選択して、コンテンツ受信・提示処理部４６に対して送信する。このようにして、ドライバーが選択した一連の対話を新たに開始することができる。

また、ドライバーは、提示された対話に興味が無い場合は、「破棄」ボタンを押下する。そして、対話制御処理部４とコンテンツ受信・提示処理部４６の情報伝達を行うことで、選択された一連の対話を意図的に破棄することもできる。

さらに、対話制御処理部４は、ドライバーの「開始」ボタン押下によって、実施中の対話ドメインの一連の対話よりも、選択された対話ドメインの一連の対話の方がドライバーによって優先されていることを検出する。対話制御処理部４は、例えば所定の回数この事象を検出したことによって、ある対話ドメインがある対話ドメインに対して優先されることを記録し、ドライバーの「開始」ボタンの押下を待つこと無く、実施中の一連の対話に対して新たな一連の対話を割り込ませることもできる。

この場合、図１４に示すようなメッセージ（７０４）をドライバーに提示して、事前にドライバーから了承を得てから新たな一連の対話を自動的に割り込ませるようにしても良い。例えば、ドライバーがＳＮＳ（催事）についての一連の対話中に、交通情報の「開始」ボタンが押下されることが多い場合等は、メッセージ（７０４）のような了承を得るための文章を提示する。

また、新たな一連の対話に移行した場合は、図１３に示すように、中断された話題が一時保存された旨のメッセージ（７０５）を表示しても良い。これにより、ドライバーにとっての利便性を更に高めることができる。

さらに、対話制御処理部４は、「破棄」ボタンの押下を例えば所定の回数検出した場合に、実施中の対話ドメインの一連の対話中には、選択された対話ドメインの一連の対話が破棄されることを記録し、ドライバーの「破棄」ボタンの押下を待つこと無く、自動的に新たな一連の対話を破棄することもできる。

また、所定の有効期限（例えば１８０秒）を設定することで、有効期限内のみ提示（７７０２）を行っても良い。

なお、本実施例における提示手段選択処理部９のＧＵＩの例としては、例えばＳＮＳから催事案内があった場合に、「メモする」「カレンダーに登録する」などの回答が記載されたボタンなどがある。このＧＵＩの例は、例えば、「メモしますか？それとも、カレンダーに登録しますか？」といったシステム側からの発話に対応する。提示手段選択処理部９は、例えば、ドライバーの状態が「やや忙しい」である場合には、システム側からの発話のみを行い、「忙しくない」場合には、システム側からの発話とＧＵＩ表示の双方を実施できるようにコンテンツを車両用装置２に対して送信する。

以上説明した本実施例によれば、音声対話処理技術において、送信元が異なる複数のイベントを契機とする自発的な発話を起点として「一連の対話」を行う場合に、ドライバーの状態やサービス契約状態に即した対話ドメインとその遷移方針を選択することができる。また、対話への割り込みを抑止しつつ、発話の機会を保存し、適時を見計らって発話することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、以上の実施例では、対話制御処理部４をサーバが備える例を説明したが、車両用装置２において、対話制御処理部４と同様の処理を行っても良い。

２…車両用装置、３…サーバ、４…対話制御処理部、５…外部サーバイベント受信処理部、６…車両用装置イベント受信処理部、７…対話ドメイン・センテンス選択処理部、８…発話制御処理部、９…提示手段選択処理部、１０…ドライバー状態推定処理部、１１…一連の対話状態管理処理部、１２…環境情報受信処理部、２１…サービス契約状態記憶部、２２…環境情報記憶部、２３…ＩＤ関連記憶部、２４…センテンス記憶部、２５…トリガーキュー、２６…トリガー優先度定義、３１…通信回線、３２…通信路、４１…車両信号入力処理部、４２…位置検知処理部、４３…車両用装置操作状態検知処理部、４４…音声入力処理部、４５…車両用装置イベント・環境情報送信処理部、４６…コンテンツ受信・提示処理部、５１〜５５…外部サービスサーバ、２００…ＣＰＵ、２０１…ベースバンドプロセッサ、２０２…入力部、２０３…メインメモリ、２０４…測位センサ、２０５…ジャイロセンサ、２０６…加速度線センサ、２０７…車両信号インタフェース、２０９…表示部、２１０…バス、２１１無線通信インタフェース、３００…ＣＰＵ、３０１…入力部、３０２…表示部、３０３…メインメモリ、３０３…メインメモリ、３０４…補助記憶部、３０５…ネットワークインタフェース、３１０…バス。

Claims (7)

1. ドライバーとの対話処理を行う車両用装置と通信可能なサーバであって、
   前記車両用装置と通信する通信部と、
   前記通信部を制御する制御部と、
   前記ドライバーが契約する外部サービスの契約状態を記憶するサービス契約状態記憶部とを備え、
   前記制御部は、
   前記車両用装置または前記サーバにおいて対話処理を開始するトリガー情報が発生した場合に、前記ドライバーによる前記外部サービスの契約状態に基づき、対話処理における始点とする第一の対話を示す情報と、前記第一の対話とは異なる、対話処理における終点とする第二の対話を示す情報とを前記車両用装置に送信する制御を行うサーバ。
2. 請求項１に記載のサーバであって、
   前記通信部は、
   前記車両用装置における前記対話処理が前記第二の対話に至らない場合であっても、前記ドライバーの状態の変化により前記対話処理を終了させるための情報を前記車両用装置に送信可能であるサーバ。
3. 請求項１または請求項２に記載のサーバであって、
   前記通信部は、
   前記車両用装置における前記対話処理が終了するまでは、前記車両用装置または前記サーバにおいて新たなトリガー情報が発生した場合であっても、該新たなトリガー情報に基づく前記第一の対話を示す情報と前記第二の対話を示す情報とを、前記車両用装置に送信しないサーバ。
4. 請求項１から請求項３までのいずれか一項に記載のサーバであって、
   前記通信部は、
   前記車両用装置または前記サーバに搭載されるアプリケーションの種類に応じて、異なる前記第二の対話を示す情報を前記車両用装置に送信するサーバ。
5. 請求項１から請求項４までのいずれか一項に記載のサーバであって、
   前記通信部は、
   同乗者の有無に応じて、異なる前記第二の対話を示す情報を前記車両用装置に送信するサーバ。
6. 請求項１から請求項５までのいずれか一項に記載のサーバであって、
   前記通信部は、
   車両の状況、または、車両内の状況、または、前記車両用装置の操作状況のうち、少なくともいずれかを示す環境情報を前記車両用装置から受信し、
   前記制御部は、
   前記通信部で受信した環境情報に基づいて前記第二の対話を決定するサーバ。
7. ドライバーとの対話処理を行う車両用装置と、該車両用装置と通信可能であり前記ドライバーが契約する外部サービスの契約状態を記憶するサービス契約状態記憶部を備えるサーバを備えるシステムにおける情報処理方法において、
   車両の状況、車両内の状況、および前記車両用装置の操作状況のうち、少なくともいずれかを示す環境情報を、前記車両用装置の検出部で検出する検出ステップと、
   前記車両用装置または前記サーバにおいて対話処理を開始するトリガー情報が発生した場合に、前記ドライバーによる前記外部サービスの契約状態に基づき、該トリガー情報に対応した、対話処理における始点とする第一の対話を示す情報と、前記第一の対話とは異なる、前記環境情報に対応した、対話処理における終点とする第二の対話を示す情報とを、前記サーバの生成部で生成する生成ステップと、
   前記生成ステップで生成した情報に基づいて、前記車両用装置の出力部で前記ドライバーとの対話処理を行う対話処理ステップと、
   を有する情報処理方法。

Images