JP6515764B2 - 対話装置及び対話方法 - Google Patents

対話装置及び対話方法 Download PDF

Info

Publication number
JP6515764B2
JP6515764B2 JP2015189974A JP2015189974A JP6515764B2 JP 6515764 B2 JP6515764 B2 JP 6515764B2 JP 2015189974 A JP2015189974 A JP 2015189974A JP 2015189974 A JP2015189974 A JP 2015189974A JP 6515764 B2 JP6515764 B2 JP 6515764B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
conversation
unit
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015189974A
Other languages
English (en)
Other versions
JP2017067849A5 (ja
JP2017067849A (ja
Inventor
真 眞鍋
真 眞鍋
名田 徹
徹 名田
拓哉 岩佐
拓哉 岩佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015189974A priority Critical patent/JP6515764B2/ja
Priority to US15/744,258 priority patent/US20180204572A1/en
Priority to DE112016004391.0T priority patent/DE112016004391B4/de
Priority to PCT/JP2016/077972 priority patent/WO2017057170A1/ja
Publication of JP2017067849A publication Critical patent/JP2017067849A/ja
Publication of JP2017067849A5 publication Critical patent/JP2017067849A5/ja
Application granted granted Critical
Publication of JP6515764B2 publication Critical patent/JP6515764B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、車両に搭載され、車両の運転者と対話する対話装置及び対話方法に関する。
従来、例えば特許文献1に開示の話題提供装置は、運転者からの質問に受動的に回答するのではなく、運転者へ向けて能動的に話しかけることが可能である。この話題提供装置は、例えば運転者の居眠り状態を検出した場合、及び車両周囲に障害物を検出した場合等に、居眠り及び障害物に関する話題の音声をスピーカから出力することができる。
特開平8−329400号公報
さて、特許文献1の話題提供装置は、運転者の運転負荷状況を鑑みることなく、運転者への話しかけを開始してしまう。例えば、運転者が居眠り状態に陥りそうになった場合には、運転負荷が高いか否かに係わらず、スピーカからの音声の出力が開始され得る。また、障害物が検出された場合には、障害物への対応のために運転負荷が高くなっているにも係わらず、スピーカからの音声の出力は開始され得る。以上のような場合、話題提供装置によって出力される音声には、運転者の運転操作を妨げてしまう虞があった。
本発明は、このような問題に鑑みてなされたものであり、その目的は、運転者の運転操作を妨げることなく、装置側から運転者へ向けて話しかけることが可能な対話装置及び対話方法を提供することにある。
上記目的を達成するため、開示された一つの発明は、車室内に音声を出力する音声出力器(32)と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行部(71)と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定部(51)と、対話実行部による発話の開始を禁止する禁止状態とし、負荷判定部によって運転負荷が低いと判定された場合に、対話実行部による発話の開始を許容する許容状態とする発話制御部(72)と、車両の外部から、対話実行部によって実行される会話の内容の候補となるニュース情報を取得する情報取得部(45)と、運転者が漫然状態にあるか否かを判定する漫然判定部(52)と、車両の走行継続に伴う将来的な運転負荷の上昇を先読みする負荷先読部(53)と、を備え、漫然判定部は、負荷先読部によって将来的な運転負荷の上昇が先読みされた場合に、運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、発話制御部は、運転者が興味のあるニュース情報のカテゴリを嗜好カテゴリとして予め設定し、許容状態にある場合に、嗜好カテゴリに含まれるニュース情報が情報取得部によって取得され且つ漫然判定部によって運転者が漫然状態にあると判定されたことに基づき、当該ニュース情報を伝える会話を対話実行部によって開始させる対話装置とする。
また開示された一つの発明は、車室内に音声を出力する音声出力器(32)と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行部(71)と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定部(51)と、対話実行部による発話の開始を禁止する禁止状態とし、負荷判定部によって運転負荷が低いと判定された場合に、対話実行部による発話の開始を許容する許容状態とする発話制御部(72)と、運転者が漫然状態にあるか否かを判定する漫然判定部(52)と、車両の走行継続に伴う将来的な運転負荷の上昇を先読みする負荷先読部(53)と、を備え、漫然判定部は、負荷先読部によって将来的な運転負荷の上昇が先読みされた場合に、運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、発話制御部は、許容状態にある場合に、漫然判定部によって運転者が漫然状態にあると判定されたことに基づき、対話実行部によって運転者へ向けた会話を開始させ、負荷判定部によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、禁止状態を維持し、車室内に運転者以外の搭乗者が居る場合に、禁止条件を成立させる対話装置とする。
また開示された一つの発明は、車室内に音声を出力する音声出力器(32)と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行部(71)と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定部(51)と、対話実行部による発話の開始を禁止する禁止状態とし、負荷判定部によって運転負荷が低いと判定された場合に、対話実行部による発話の開始を許容する許容状態とする発話制御部(72)と、運転者が漫然状態にあるか否かを判定する漫然判定部(52)と、車両の走行継続に伴う将来的な運転負荷の上昇を先読みする負荷先読部(53)と、を備え、漫然判定部は、負荷先読部によって将来的な運転負荷の上昇が先読みされた場合に、運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、発話制御部は、許容状態にある場合に、漫然判定部によって運転者が漫然状態にあると判定されたことに基づき、対話実行部によって運転者へ向けた会話を開始させ、負荷判定部によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、禁止状態を維持し、車両の外部に居る通話相手と運転者が通話している場合に、禁止条件を成立させる対話装置とする。
れらの発明によれば、運転者の運転負荷が低い場合には音声出力器による会話文の発話が許容される一方で、運転者の運転負荷が高い場合には、会話文の発話は、禁止される。以上のように、対話装置は、運転者の運転負荷状況を鑑みることにより、運転者の運転操作を妨げることなく、装置側から運転者へ向けて話しかけることができる。
また、開示された他の一つの発明は、車室内に音声を出力する音声出力器(32)を用いて車両の運転者と対話する対話方法であって、少なくとも一つのプロセッサ(50a,60a)によって実施されるステップとして、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行ステップ(S106,S112,S114)と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定ステップ(S102)と、負荷判定ステップにおいて運転負荷が高いと判定された場合に、対話実行ステップによる発話の開始を禁止する禁止状態とし、負荷判定ステップにおいて運転負荷が低いと判定された場合に、対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ(S101,S104)と、運転者が漫然状態にあるか否かを判定する漫然判定ステップ(S105)と、を含み、漫然判定ステップでは、車両の走行継続に伴う将来的な運転負荷の上昇が先読みされた場合に、運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、対話実行ステップによって実行される会話の内容の候補となるニュース情報は、車両の外部から取得され、発話制御ステップでは、運転者が興味のあるニュース情報のカテゴリが嗜好カテゴリとして予め設定され、対話実行ステップでは、許容状態にある場合に、嗜好カテゴリに含まれるニュース情報が取得され且つ漫然判定ステップによって運転者が漫然状態にあると判定されたことに基づき、当該ニュース情報を伝える会話開始る対話方法とする。
また開示された一つの発明は、車室内に音声を出力する音声出力器(32)を用いて車両の運転者と対話する対話方法であって、少なくとも一つのプロセッサ(50a,60a)によって実施されるステップとして、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行ステップ(S106,S112,S114)と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定ステップ(S102)と、負荷判定ステップにおいて運転負荷が高いと判定された場合に、対話実行ステップによる発話の開始を禁止する禁止状態とし、負荷判定ステップにおいて運転負荷が低いと判定された場合に、対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ(S101,S104)と、運転者が漫然状態にあるか否かを判定する漫然判定ステップ(S105)と、を含み、漫然判定ステップはでは、車両の走行継続に伴う将来的な運転負荷の上昇が先読みされた場合に、運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、発話制御ステップでは、許容状態にある場合に、運転者が漫然状態にあると判定されたことに基づき、対話実行ステップによって運転者へ向けた会話を開始させ、負荷判定ステップにおいて運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、禁止状態を維持し、車室内に運転者以外の搭乗者が居る場合に、禁止条件を成立させる対話方法とする。
また開示された一つの発明は、車室内に音声を出力する音声出力器(32)を用いて車両の運転者と対話する対話方法であって、少なくとも一つのプロセッサ(50a,60a)によって実施されるステップとして、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行ステップ(S106,S112,S114)と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定ステップ(S102)と、負荷判定ステップにおいて運転負荷が高いと判定された場合に、対話実行ステップによる発話の開始を禁止する禁止状態とし、負荷判定ステップにおいて運転負荷が低いと判定された場合に、対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ(S101,S104)と、運転者が漫然状態にあるか否かを判定する漫然判定ステップ(S105)と、を含み、漫然判定ステップでは、車両の走行継続に伴う将来的な運転負荷の上昇が先読みされた場合に、運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、発話制御ステップでは、許容状態にある場合に、運転者が漫然状態にあると判定されたことに基づき、対話実行ステップによって運転者へ向けた会話を開始させ、負荷判定ステップにおいて運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、禁止状態を維持し、車両の外部に居る通話相手と運転者が通話している場合に、禁止条件を成立させる対話方法とする。
以上の対話方法でも、運転者の運転負荷状況が鑑みられる。故に、対話方法を実施する構成は、運転者の運転操作を妨げることなく、運転者へ向けて話しかけることが可能となる。
尚、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、本発明の範囲を何ら制限するものではない。
一実施形態による対話装置の全体構成を示すブロック図である。 運転者における覚醒度と運転のパフォーマンスとの相関を説明するYerkes-Dodson Lawを模式的に示す図である。 状態情報処理回路に構築される機能ブロックを説明する図である。 制御回路に構築される機能ブロックを説明する図である。 制御回路にて実施される会話開始処理を図6と共に示すフローチャートである。 制御回路にて実施される会話開始処理を図5と共に示すフローチャートである。
図1に示す本発明の一実施形態による対話装置100は、車両に搭載されており、車両の搭乗者と会話を行うことができる。図2に示すように、対話装置100は、車両の搭乗者のうちで主に運転者と能動的に対話可能である。対話装置100は、運転者において高い運転パフォーマンスを示し得る通常の覚醒状態が維持されるよう、運転者との会話を行う。加えて対話装置100は、運転者との会話によって、漫然状態に陥った運転者の覚醒度を通常の覚醒状態に引き戻す漫然解消の役割を果たすことができる。
対話装置100は、図1に示すように、車載状態検出器10、音声認識操作スイッチ21、音声入力器23、及び音声再生装置30と電気的に接続されている。加えて対話装置100は、インターネットに接続されており、インターネットを通じて車両の外部から情報を取得することができる。
車載状態検出器10は、車両に搭載された種々のセンサ及び電子機器である。車載状態検出器10には、操舵角センサ11、アクセルポジションセンサ12、GNSS受信器14、車内撮像部16、車外撮像部17、及び車載ECU群19が少なくとも含まれている。
操舵角センサ11は、運転者によって操縦されたステアリングホイールの操舵角を検出し、対話装置100へ向けて検出結果を出力する。アクセルポジションセンサ12は、運転者によって操作されたアクセルペダルの踏み込み量を検出し、対話装置100へ向けて検出結果を出力する。
GNSS(Global Navigation Satellite System)受信器14は、複数の測位衛星から送信される測位信号を受信することにより、車両の現在位置を示す位置情報を取得する。GNSS受信器14は、取得した位置情報を、対話装置100及びナビゲーションECU(後述する)等へ向けて出力する。
車内撮像部16は、例えば近赤外光源と組み合わされた近赤外カメラを有している。近赤外カメラは、車両の室内に取り付けられており、近赤外光源から照射された光によって主に運転者の顔を撮影する。車内撮像部16は、画像解析によって、運転者の両目の視線方向、及び目(まぶた)の開き具合等を、撮影した画像から抽出する。車内撮像部16は、抽出した運転者の視線方向及び目の開き具合等の情報を、対話装置100へ向けて出力する。
尚、車内撮像部16は、複数の近赤外カメラ及び可視光カメラ等を有していてもよい。このように複数のカメラによって車内撮像部16が構成されている場合、車内撮像部16は、運転者の顔周辺だけでなく、例えば助手席及び後部座席に着座する搭乗者も撮影可能となる。故に、車内撮像部16は、運転者以外の搭乗者の状態情報も、同乗者状態情報として対話装置100へ出力可能となる。さらに車内撮像部16は、例えば運転者の顔以外の範囲を撮影し、手及び体の動きを検出することが可能である。
車外撮像部17は、例えば車両の周囲を向けた姿勢にて、車内及び車外に取り付けられた可視光カメラである。車外撮像部17は、車両前方を少なくとも含む車両周囲を撮影する。車外撮像部17は、画像解析によって、進行方向の道路形状及び車両周囲の道路の混雑具合等を、撮影した画像から抽出する。車外撮像部17は、道路形状及び混雑具合等を示す情報を、対話装置100へ向けて出力する。尚、車外撮像部17は、複数の可視光カメラ、近赤外線カメラ、距離画像カメラ等を有していてもよい。
車載ECU(Electronic Control Unit)群19は、それぞれマイコン等を主体に構成されており、ブレーキ制御ECU、統合制御ECU、及びナビゲーションECU等を含んでいる。例えば、ブレーキ制御ECUからは、車速情報が対話装置100によって取得可能に出力される。統合制御ECUからは、助手席及び後部座席に搭乗者が着座しているか否かを示す同乗者状態情報が出力される。ナビゲーションECUからは、搭乗者によって設定された目的地までの経路情報が出力される。
音声認識操作スイッチ21は、運転席の周囲に設けられている。音声認識操作スイッチ21には、対話装置100の会話機能について、作動のオン及びオフを切り替えるための操作が車両の搭乗者によって入力される。音声認識操作スイッチ21は、搭乗者による操作情報を、対話装置100へ出力する。尚、対話装置100の会話機能に係る設定値を変更する操作が音声認識操作スイッチ21に入力可能とされていてもよい。
音声入力器23は、車室内に設けられたマイク24を有している。マイク24は、車両の搭乗者によって発せられた会話の音声を電気信号に変換し、音声情報として対話装置100へ向けて出力する。マイク24は、例えばスマートフォン及びタブレット端末等の通信機器に設けられた通話のための構成であってもよい。またマイク24にて集音された音声データは、対話装置100へ無線送信されてもよい。
音声再生装置30は、搭乗者へ向けて情報を出力する出力インターフェースの機能を有する装置である。音声再生装置30は、表示器、音声制御部31、及びスピーカ32を有している。音声制御部31は、会話文の音声データを取得すると、取得した音声データに基づいてスピーカ32を駆動する。スピーカ32は、車室内に設けられており、車室内に音声を出力する。スピーカ32は、運転者を含む車両の搭乗者に聞き取られるよう、会話文を再生する。
尚、音声再生装置30は、単純な音響機器であってもよく、又はインスツルメントパネルの上面に設置されたコミュニケーションロボット等であってもよい。さらに、対話装置100に接続されたスマートフォン及びタブレット端末等の通信機器が、音声再生装置30の機能を果たしてもよい。
次に、対話装置100の構成を説明する。対話装置100は、入力情報取得部41、音声情報取得部43、通信処理部45、情報出力部47、嗜好データベース49、状態情報処理回路50、及び制御回路60等によって構成されている。
入力情報取得部41は、音声認識操作スイッチ21と接続されている。入力情報取得部41は、音声認識操作スイッチ21から出力された操作情報を取得し、制御回路60へ提供する。音声情報取得部43は、マイク24と接続された音声入力のためのインターフェースである。音声情報取得部43は、マイク24から出力された音声情報を取得し、制御回路60へ提供する。
通信処理部45は、モバイル通信用のアンテナを有している。通信処理部45は、アンテナを介して、車両外部の基地局との間で情報の送受信を行う。通信処理部45は、基地局を通じてインターネットに接続可能である。通信処理部45は、例えばインターネットを通じて、自車両周囲の渋滞情報を取得可能である。通信処理部45は、現在車両が走行している地点周辺の人気スポット及び天候等の地域情報を、インターネットを通じて取得可能である。通信処理部45は、インターネット上にある少なくとも一つ以上の検索サイトから、検索された回数の多いワードの情報と、各ワードに関連する情報とを取得可能である。通信処理部45は、インターネット上にある少なくとも一つ以上のニュース配信サイトNDSから、ニュースの情報を取得可能である。通信処理部45によって取得される複数のニュース情報のそれぞれには、例えばニュースのタイトルと、ニュースの詳細な内容を説明した本文とが含まれている。以上の地域情報、検索数ランキング上位のワードに係る情報、及びニュース情報は、対話装置100によって実行される会話の内容の候補として、嗜好データベース49に格納される。
情報出力部47は、音声再生装置30と接続された音声出力のためのインターフェースである。情報出力部47は、制御回路60によって生成された音声データを音声再生装置30へ向けて出力する。情報出力部47から出力された音声データは、音声制御部31によって取得され、スピーカ32によって再生される。
嗜好データベース49は、制御回路60に接続されたフラッシュメモリ等の記憶媒体に設けられている。嗜好データベース49は、運転者の興味のある情報を優先的に格納する。運転者の嗜好する嗜好カテゴリは、例えば運転者の会話に対する反応、及び運転者による直接的な選択操作の入力等に基づき、制御回路60によって設定される。通信処理部45によって取得される多数のニュース情報のうちで、特に運転者の嗜好するカテゴリのニュース情報が、嗜好データベース49に格納される。嗜好データベース49に格納されたニュース情報、地域情報、及び検索数ランキング上位のワードに係る情報等は、会話文を生成する制御回路60によって参照される。
状態情報処理回路50は、車載状態検出器10から出力された情報を取得することにより、運転者を含む搭乗者の状態を推定する。状態情報処理回路50は、プロセッサ50a、RAM、及びフラッシュメモリを有するマイクロコンピュータを主体に構成されている。状態情報処理回路50には、車載状態検出器10からの信号を受け取る複数の入力インターフェースが設けられている。状態情報処理回路50は、プロセッサ50aによる所定のプログラムの実行により、図3に示す負荷判定ブロック51、負荷先読ブロック53、漫然判定ブロック52、及び同乗者状態推定ブロック54を機能ブロックとして構築する。以下、状態情報処理回路50に構築される各機能ブロックの詳細を、図3及び図1に基づき説明する。
負荷判定ブロック51は、車両が現在走行している道路について、運転者の運転負荷が高いか否かを判定する。負荷判定ブロック51は、操舵角センサ11及びアクセルポジションセンサ12から出力される検出結果を取得する。負荷判定ブロック51は、取得した検出結果の推移に基づき、ステアリング及びアクセルペダルの少なくとも一方を運転者が忙しく操作していると推定した場合に、現在の運転負荷が高いと判定する。
加えて負荷判定ブロック51は、車両が走行中の道路の形状情報、及び自車両周囲の混雑具合を示す情報等を取得する。道路の形状情報は、車外撮像部17及びナビゲーションECUから取得可能である。混雑具合を示す情報は、車外撮像部17及び通信処理部45から取得可能である。負荷判定ブロック51は、進行方向の道路がカーブ形状である場合、及び車両が渋滞の中を走行していると推定される場合に、現在の運転負荷が高いと判定する。
一方、負荷判定ブロック51は、車両が概ね直線状の道路を走行中であり、且つ、周囲を走行する他の車両及び歩行者も僅かである場合に、現在の運転負荷が低いと判定する。また負荷判定ブロック51は、ステアリング及びアクセルペダルの操作量の変動が僅かである場合にも、運転負荷が低いと判定することができる。
負荷先読ブロック53は、車両の走行継続に伴う将来的な運転負荷の上昇を先読みする。負荷先読ブロック53は、例えば数十秒から1分程度先に発生するであろう運転負荷の上昇イベントを検知する。具体的に、負荷先読ブロック53は、進行方向の道路がカーブしている場合、進行方向に渋滞が発生している場合、ナビゲーションECUによって右左折が案内される場合等を予め検知する。
漫然判定ブロック52は、運転者が漫然状態にあるか否かを判定する。漫然判定ブロック52は、操舵角センサ11及びアクセルポジションセンサ12から出力される検出結果を取得する。漫然判定ブロック52は、取得した検出結果の推移に基づき、ステアリング又はアクセルペダルの緩慢な操作、及び時折入力される大きな修正操作等を検出した場合に、運転者が漫然状態にあると判定する。
加えて漫然判定ブロック52は、車内撮像部16から運転者の両目の視線方向及び目の開き具合といった情報を取得する。漫然判定ブロック52は、両目の視差が不安定であったり進行方向の物体の知覚に適切な状態でなかったりした場合、及び目の開度の低い状態が継続している場合等に、運転者が漫然状態にあると判定する。
さらに漫然判定ブロック52は、負荷先読ブロック53によって将来的な運転負荷の上昇が先読みされた場合に、漫然状態であると判定するための判定基準CD(図2参照)を引き下げる。その結果、運転負荷が上昇するイベントの発生前に、漫然判定ブロック52において漫然状態と判定され易い期間が設けられる。
同乗者状態推定ブロック54は、運転者以外の搭乗者の状態を推定する。同乗者状態推定ブロック54は、統合制御ECUから取得する同乗者状態情報に基づき、運転者を除く搭乗者が車内に居るか否かを判定する。尚、同乗者状態推定ブロック54は、同乗者の有無を単純に判定するだけでなく、搭乗者が睡眠中であるか否かといった判定を行ってもよい。具体的には、車内撮像部16が運転者以外の搭乗者の状態情報を抽出可能であれば、同乗者状態推定ブロック54は、車内撮像部16から取得する同乗者状態情報に基づき、運転者を除く搭乗者が睡眠中であるか否かといった判定を実施できる。
図1に示す制御回路60は、搭乗者との間で交わされる会話を統合的に制御する回路である。制御回路60は、プロセッサ60a、RAM、及びフラッシュメモリを有するマイクロコンピュータを主体に構成されている。制御回路60には、対話装置100の他の構成と接続された入出力インターフェースが設けられている。制御回路60は、プロセッサ60aによる所定のプログラムの実行により、図4に示すような音声認識部61と、キーワード抽出ブロック73、対話実行ブロック71、及び発話制御ブロック72を含む認識処理部70とを、機能ブロックとして構築する。以下、制御回路60に構築される各機能ブロックの詳細を、図4及び図1に基づき説明する。
音声認識部61は、音声情報取得部43と接続されており、音声情報取得部43から音声データを取得する。音声認識部61は、取得した音声データを読み込み、テキストデータに変換する。音声認識部61は、例えば運転者の独り言や運転者と同乗者との会話等、車室内にて運転者を含む搭乗者が発した言葉をテキストデータ化し、認識処理部70へ提供する。
認識処理部70は、テキストデータ化された搭乗者の言葉を音声認識部61から取得すると共に、搭乗者へ向けて発話される会話文を情報出力部47へ出力する。認識処理部70は、キーワード抽出ブロック73、対話実行ブロック71、及び発話制御ブロック72により、主に運転者へ向けて発話される会話文を生成する。
キーワード抽出ブロック73は、音声認識部61から取得したテキストデータを用いて、車室内にて発せられた搭乗者の言葉を解析し、予め設定されたキーワードを抽出する。キーワードは、例えば通信処理部45によって取得される検索数ランキグ上位のワードに設定される。キーワード抽出ブロック73は、検索数ランキング上位のワードのうちで、運転者の嗜好するカテゴリに関連するワードのみを、キーワードに設定することも可能である。
対話実行ブロック71は、運転者を含む搭乗者へ向けた会話文の音声データを生成する。対話実行ブロック71は、会話文の音声データを情報出力部47から音声制御部31へ出力させることにより、この会話文をスピーカ32によって発話させる。対話実行ブロック71は、車両及び運転者の状況、並びに運転者の反応に応じて、種々の会話文を作成可能である。
具体的に、対話実行ブロック71は、運転者が漫然状態に陥った場合に、車両が現在走行している地点に関連した地域情報を、運転者へ向けた会話文に盛り込むことができる。加えて対話実行ブロック71は、運転者の嗜好するカテゴリに含まれるニュース情報が通信処理部45によって取得された場合に、このニュース情報の内容を会話文に盛り込むことができる。また対話実行ブロック71は、キーワード抽出ブロック73によってキーワードが抽出された場合に、抽出されたキーワードに関連する情報を会話文に盛り込むことができる。
対話実行ブロック71は、作成した会話文のテキストデータに基づき、会話文の音声データを合成する。対話実行ブロック71は、音節接続方式の音声合成を行ってもよく、又はコーパスベース方式の音声合成を行ってもよい。具体的に対話実行ブロック71は、会話文のテキストデータから、発話される際の韻律データを生成する。そして対話実行ブロック71は、予め記憶されている音声波形のデータベースから、韻律データにあわせて音声波形データをつなぎ合わせていく。以上のプロセスにより、対話実行ブロック71は、会話文のテキストデータを音声データ化することができる。
発話制御ブロック72は、対話実行ブロック71による会話の実行を制御する。例えば、音声認識操作スイッチ21への操作によって、対話装置100の会話機能をオフ状態にする指示が入力されていた場合に、発話制御ブロック72は、キーワード抽出ブロック73及び対話実行ブロック71を停止状態にする。加えて発話制御ブロック72は、運転者の興味のある嗜好カテゴリを予め設定し、嗜好カテゴリに該当するニュース情報を嗜好データベース49に記憶させておくことができる。
また発話制御ブロック72は、負荷判定ブロック51による負荷判定に応じて、対話実行ブロック71の作動ステータスを禁止状態及び許容状態とのうちで切り替える。具体的に対話実行ブロック71は、負荷判定ブロック51によって運転負荷が高いと判定された場合に、対話実行ブロック71の作動ステータスを、発話の開始を禁止する禁止状態とする。一方、負荷判定ブロック51によって運転負荷が低いと判定された場合には、発話制御ブロック72は、対話実行ブロック71の作動ステータスを発話の開始を許容する許容状態とする。
さらに発話制御ブロック72は、負荷判定ブロック51によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、対話実行ブロック71の作動ステータスを許容状態とはせずに、禁止状態に維持する。禁止条件は、適宜設定可能である。例えば発話制御ブロック72は、同乗者状態推定ブロック54によって車室内に運転者以外の搭乗者が居ると判定されている場合に、禁止条件を成立させることができる。また発話制御ブロック72は、車両に搭載されたハンズフリーの通話機能を用いて、運転者が車両の外部に居る通話相手と通話している場合に、禁止条件を成立させることができる。
発話制御ブロック72は、対話実行ブロック71の作動ステータスが許容状態に有る場合に、各種の発話開始イベントの発生をトリガに会話を開始させることで、運転者の覚醒度を良好にできる。発話開始イベントは、例えば漫然判定の成立、新しいニュース情報の取得、特定のキーワードの抽出等である。以下、発話制御ブロック72によって実行される会話開始処理の詳細を、図5及び図6に基づき、図1を参照しつつ説明する。図5及び図6に示される会話開始処理は、車両の電源がオン状態とされたことに基づいて開始され、車両の電源がオフ状態とされるまで、繰り返し開始される。
S101では、初期設定として、対話実行ブロック71の作動ステータスを禁止状態に設定し、S102に進む。S102では、負荷判定ブロック51の判定結果を取得し、現在の運転者における運転負荷が低いか否かを判定する。S102にて、現在の運転負荷が高いと判定した場合、会話開始処理を一旦終了する。一方、S102にて、運転負荷が低いと判定した場合には、S103に進む。
S103では、禁止条件が成立しているか否かを判定する。S103にて、何らかの禁止条件が成立していると判定した場合には、会話開始処理を一旦終了する。一方、S103にて、いずれの禁止条件も成立していないと判定した場合には、S104に進む。
S104では、対話実行ブロック71の作動ステータスを、禁止状態から許容状態へと切り替えて、S105に進む。S105では、漫然判定ブロック52にて運転者の漫然判定が成立しているか否かを参照する。運転者が漫然状態で無い場合、S111に進む。一方、運転者が漫然状態であった場合、S106に進む。S106では、運転者を漫然状態から回復させるための会話を開始する処理を開始し、S107に進む。
S107では、会話の停止条件が成立しているか否かを判定する。会話の停止条件は、例えばユーザから会話終了を指示する発話があった、ユーザの運転負荷が高くなった、及び運転者が通常の覚醒状態まで回復した等の条件である。S107にて、会話停止条件が成立していると判定した場合、S106にて開始した会話を強制的に停止し、会話開始処理を一旦終了する。
一方、S107にて、会話の停止条件が成立していないと判定した場合、S108に進む。S108では、S106にて開始した会話について、例えば見出し文の紹介といった冒頭部分が終了している否かを判定する。S108にて、会話の冒頭部分がまだ継続していると判定した場合には、S107及びS108の判定を繰り返すことで、冒頭部分の終了を待機する。そして、S108にて会話の冒頭部分が終了したと判定した場合にS109に進む。
S109では、会話の冒頭部分に対する運転者の反応の良否を推定するため、運転者の漫然状態が改善されたか否かを判定する。S109にて、現在の会話の話題に対し良好に反応し、漫然状態が改善されていると推定される場合には、S107〜S109を繰り返す。これにより、運転者の興味のある会話が継続される。
一方、S109にて、漫然状態が改善されず、運転者の反応が芳しくないと推定される場合には、S110に進む。S110では、話題を変更して運転者との会話を継続し、S107に戻る。以上のS109及びS110によれば、運転者の関心の薄いニュース情報に係る会話は、早急に終了される。
S111では、運転者の嗜好するカテゴリの新着ニュース情報が有るか否かを確認する。新着ニュース情報が無い場合、S113に進む。一方、新着ニュース情報が有る場合、S112に進む。S112では、新着ニュース情報を運転者にお知らせするための会話を開始する処理を実施し、S115に進む。
S113では、運転者等の発した言葉から特定のキーワードが抽出されたか否かを判定する。S113にてキーワードの抽出が無い場合、会話開始処理を一旦終了する。一方、S113にてキーワードが抽出された場合、S114に進む。S114では、キーワードに基づく会話を開始する処理を実施し、S115に進む。
S115では、S107と同様に、会話の停止条件が成立しているか否かを判定する。S115にて、会話停止条件が成立していると判定した場合、S112又はS114にて開始した会話を強制的に停止し、会話開始処理を一旦終了する。一方、S115にて、会話の停止条件が成立していないと判定した場合、S116に進む。S116では、S112又はS114にて開始した会話が完了したか否かを判定する。S116にて、会話がまだ継続していると判定した場合には、S115及びS116の判定を繰り返すことで、会話の完了を待機する。そして、S116にて会話が完了したと判定した場合には、会話開始処理を一旦終了する。
以上の会話開始処理によって開始される各会話の詳細をさらに説明する。ここで、以下説明する一連の会話が開始される直前には、対話装置100による会話開始を運転者に報知するための報知音が、スピーカ32から出力される。報知音は、運転者の意識を会話の音声に向けさせることができる。その結果、運転者は、対話装置100から投げかけられた会話の始まりの部分を聞き逃し難くなる。
S106の処理に基づき開始される一連の会話文の冒頭には、運転者に漫然状態の自覚を促すメッセージが組み入れられる。また、現在の走行地点に関連した地域情報が会話によって提供される。具体的に、対話実行ブロック71は、漫然状態から運転者を回復させるために、以下のような会話文を生成する。
対話装置:「退屈しているみたいだけど、何か会話しない?」
運転者 :「そうか。おねがいしようか」
対話装置:「ここから1キロくらい北にある○○○っていうお店の×××が最近すごい人気みたいだよ」
運転者 :「へぇ〜。気になるなぁ」
対話装置:「△△△が入っているのが特徴らしいよ」
運転者 :「行ってみようかな」
対話装置:「営業時間は、□□□〜□□□。定休日は▽▽▽だから、今からでも大丈夫だよ」
尚、対話装置100は、地域情報を含む会話として、「今から○○分ぐらい後に、少し激しい雨が振るみたいだよ」といった天候を案内する会話や、「左側に見える高い建物は、○○だよ」といったランドマークを案内する会話も実施可能である。
S112の処理に基づき開始される一連の会話文の冒頭には、お知らせするニュース情報の内容を示す見出し文が組み入れられる。この見出し文は、取得したニュース情報に付けられたタイトルであってもよく、又はニュース情報の本文から抽出した特徴的な単語を組み合わせて、ニュース情報の内容を要約した文章であってもよい。具体的に、対話実行ブロック71は、新着のニュース情報をお知らせして、運転者の覚醒状態を維持させるために、以下のような会話文を生成する。
対話装置:「×××社が新型の○○○を発表したらしいよ」
運転者 :「へぇ〜。どう変わったの?」
対話装置:「△△△の機能が強化されて、▽▽▽がほぼ自動でできるようになったらしいよ」
運転者 :「ほんとに。欲しいな」
対話装置:「日本では、○○月××日から発売だって」
S114の処理に基づき開始される一連の会話文の冒頭には、搭乗者の会話から抽出されたキーワードが組み入れられる。具体的に、対話実行ブロック71は、キーワードに基づく雑談を展開して、運転者の覚醒状態を維持させるために、以下のような会話文を生成する。
対話装置:「そうそう、“○○○(キーワード)”といえば、○○○って昔は△△△って呼ばれてたの知ってた?」
運転者 :「ううん。知らない」
対話装置:「もともとは、×××に因んで、△△△って呼ばれてたんだって」
運転者 :「へぇ〜」
対話装置:「でも、▽▽▽と間違え易いから、みんなに○○○って呼ばれるようになったんだって」
運転者 :「そうだったんだ」
対話装置:「それから、今度は○○○に似せた○×○なんてものも登場してきてるんだって」
運転者 :「ホントに?」
以上のように、対話装置100は、運転者との対話を展開することが可能である。
ここまで説明した本実施形態によれば、運転者の運転負荷が低い場合には、会話文の発話が許容される一方で、運転者の運転負荷が高い場合には、会話文の発話は、禁止される。以上のように、対話装置100は、運転者の運転負荷状況を鑑みることにより、運転者の運転操作を妨げることなく、装置側から運転者へ向けて話しかけることができる。
加えて本実施形態によれば、運転負荷の低い状態が継続した場合、運転者は、漫然状態に陥り易い。そのため、運転者が漫然状態である旨の判定をトリガに会話を開始させれば、対話装置100によって開始される会話は、運転者の運転操作を妨げないだけでなく、運転者を漫然状態から通常の覚醒状態へと引き戻す効果を発揮できる。
また本実施形態によれば、車両の現在の走行地点に関連した地域情報が会話によって提供される。その結果、運転者は、対話装置100から投げかけられる会話に興味を持ち易くなる。故に、対話装置100は、会話の内容に運転者を惹きつけて、運転者とのやり取りを長く継続させることができる。以上によれば、会話によって運転者を漫然状態から通常の覚醒状態へと引き戻す効果は、確実に発揮される。
さらに本実施形態によれば、漫然状態の検出によって会話が開始される場合に、その会話の冒頭に漫然状態の自覚を促すメッセージが組み入れられる。すると運転者は、自らの状況を理解して、対話装置100から投げかけられる会話に積極的に応答することで、漫然状態からの回復を図ろうとし得る。以上によれば、対話装置100は、運転者の自助努力を引き出して、運転者の覚醒度を通常の覚醒状態へと引き戻す効果を確実に発揮できるようになる。
加えて本実施形態によれば、将来的な運転負荷の上昇が先読みされた場合には、漫然状態であると判定するための判定基準CDが引き下げられる。以上によれば、対話装置100は、覚醒度が低下して漫然気味になっている運転者に対し、さらに積極的に会話を投げかけるようになり、運転負荷の将来的な上昇に備えて、運転者の覚醒度を予め高めておくことができる。その結果、運転者は、運転負荷の高まるイベントに対して、余裕を持って対処できる。
また本実施形態によれば、運転負荷の低い許容状態で、運転者の興味のあるカテゴリのニュース情報が取得された場合に、取得したニュース情報を伝える会話が実行される。このような話しかけを行うことにより、対話装置100は、運転負荷の低い状態の継続によって漫然に陥る可能性のある運転者の覚醒度を、通常の覚醒状態に維持させる効果を適確に発揮できる。
さらに本実施形態によれば、ニュース情報を伝える会話の冒頭に、見出し文が組み込まれる。そして、会話に用いたニュース情報が実際には運転者の興味を惹かない内容であり、漫然状態の改善が見られなかった場合、対話装置100は、当該ニュース情報に係る運転者との会話を早急に終了させ、異なるニュース情報に話題を変更することができる。このように、見出し文の紹介に対する運転者のつれない対応を検知して話題を変更できれば、対話装置100からの話しかけが運転者によって煩わしく感じられてしまう事態は、低減され得る。
加えて本実施形態によれば、対話装置100は、運転者等の発したキーワードに関連する情報を会話に組み入れて、運転者が興味を持ち易い内容の会話を投げかけることができる。以上によれば、対話装置100は、話しかけた会話の内容に運転者を惹き込んで、当該運転者の覚醒度を高める効果を確実に発揮できるようになる。
また本実施形態では、所定の禁止条件が成立している場合には、運転負荷が低くても、禁止状態が維持される。以上によれば、対話装置100は、運転者との会話を開始するのに適さない状況を避けて、会話を開始することが可能である。例えば、車室内に運転者以外の搭乗者が居る場合、この搭乗者は、睡眠中であることが想定され得る。故に、対話装置100は、搭乗者を検知している場合に禁止条件を成立させることで、会話の開始を阻止する。以上によれば、積極的な会話の開始によって同乗者の睡眠を妨げてしまう事態は、回避される。
さらに、車両の外部に居る通話相手と運転者が通話している場合、対話装置100による会話は、通話の妨げとなり得る。そこで本実施形態の対話装置100は、運転者が通話している場合に禁止条件を成立させることで、会話の開始を阻止する。以上によれば、積極的な会話の開始によって通話を妨げてしまう事態は回避される。
尚、本実施形態において、スピーカ32が「音声出力器」に相当し、通信処理部45が「情報取得部」に相当する。また、負荷判定ブロック51が「負荷判定部」に相当し、漫然判定ブロック52が「漫然判定部」に相当し、負荷先読ブロック53が「負荷先読部」に相当する。さらに、対話実行ブロック71が「対話実行部」に相当し、発話制御ブロック72が「発話制御部」に相当し、キーワード抽出ブロック73が「キーワード抽出部」に相当する。そして、会話開始処理におけるS101,S104が発話制御ステップに相当し、S102が負荷判定ステップに相当し、S106,S112,S114が「対話実行ステップ」に相当する。
(他の実施形態)
以上、本発明による一実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態では、漫然状態の検出、新着ニュースの受信、及びキーワードの抽出が、対話装置による発話開始のトリガとして設定されていた。しかし、発話開始のトリガに用いられるイベントは、適宜設定可能である。例えば、対話装置は、漫然状態を自覚した運転者が運転席周辺に設けられた対話開始スイッチに対して行う入力や、運転者の「雑談しようよ」といった投げ掛け等をきかっけとして、雑談を開始できる。
上記実施形態では、漫然状態回復用の会話として、地域情報に基づく一連の会話文を例示したが、運転者の興味を惹き得る内容であれば、種々の情報が、漫然状態回復用の会話に採用可能である。対話装置は、例えば、嗜好カテゴリに関連する新着ニュース情報のうちでまだ会話に使用されていない情報、検索ランキング上位のワードのうちで嗜好カテゴリとの関連性が高い情報等を、漫然状態回復用の会話に採用することができる。
上記実施形態の対話装置は、運転負荷の上昇イベントの発生を先読みすることで、当該イベントの発生前に運転者の覚醒度を高める会話を積極的に行うことができた。しかし、こうした先読みに基づく会話は、実施されなくてもよい。また、イベント発生の先読みに基づく会話は、少なくともイベント発生の直前には終了されることが望ましい。以上によれば、覚醒度を予め高めるための会話が運転の妨げになる事態は、回避される。
上記実施形態では、運転者の嗜好カテゴリに関連する新着ニュースが選別されて、運転者にお知らせされていた。しかし、対話装置は、例えばアクセス数のランキングで上位に位置する新着ニュース情報の中から、運転者の嫌いな嫌悪カテゴリに該当するニュース情報を除外し、残った新着ニュース情報を上位から順番に運転者にお知らせすることも可能である。
上記実施形態において、見出し文やキーワード等は、報知音の再生後に最初に発話される一文に組み入れられていた。このように、会話文の冒頭とは、原則として報知音の再生後に最初に発話される一文である。しかし、報知音の再生後に、運転者等の注意を惹くための「ねぇねぇ」や「あのう」とった特に意味の無い遊び言葉が挿入される場合には、これら遊び言葉の次に発話される一文が、会話文の冒頭に該当し得る。
上記実施形態では、同乗者状態推定ブロックによって車室内に運転者以外の搭乗者が居ると判定されている場合に、スピーカからの発話は、中止されていた。しかし、車内撮像部の映像から同乗者の状態、具体的には睡眠中か否かが判別可能であれば、対話装置は、同乗者が居る場合でも、この搭乗者が睡眠中でない場合には、スピーカからの発話を開始することができる。加えて対話装置は、同乗者の発した言葉からキーワードを抽出し、キーワードに関連する情報をもって運転者と同乗者との会話に参加することにより、車内の会話をさらに盛り上げることができる。
上記実施形態では、複数の禁止条件が設定され、いずれかの禁止条件に該当する場合には、運転負荷が低い場合であっても、対話実行ブロックの作動ステータスは、禁止状態に維持されていた。このような禁止条件として設定される項目は、運転者等による操作によって変更可能であることが望ましい。また、音声認識操作スイッチへの入力で容易に会話機能を停止できるのであれば、禁止条件は、設けられなくてもよい。
上記実施形態では、ステアリングへの小刻みな修正舵の入力がなく、大雑把な修正舵が時折入力される場合や、運転者の目の状態が安定していない場合に、運転者が漫然状態であると判定されていた。しかし、漫然状態の判定に用いられる情報は、適宜変更可能である。例えば、対話装置は、車速情報及びナビゲーションECUの情報等に基づき、高速道路の走行が1時間以上連続している場合に、運転者が漫然状態にあると推定してもよい。さらに、車内カメラによって運転者の手及び体の動きを検出可能であれば、手で目及び顔を擦るような動作や、着座位置及び姿勢を頻繁に直すような動作に基づき、漫然状態が推定されてもよい。
上記実施形態では、ステアリング又はアクセルペダルの操作が忙しい場合や、走行中の道路がカーブしている又は渋滞している場合に、運転負荷が高いと判定されていた。しかし、運転負荷の判定に用いられる情報は、適宜変更可能である。例えば、運転者の心拍数等の生体情報に基づいて、運転者における運転負荷の高低が判定されてもよい。
上記実施形態では、対話すること自体を目的とした非タスク指向型の会話を対話装置100が行っている場合について、詳細を説明した。しかし、対話装置100は、上述した雑談のような会話だけでなく、搭乗者から投げかけられた質問に返答する、搭乗者の指定するお店を予約するといったタスク指向型の会話も行うことができる。さらに、非タスク指向型の会話を行っている途中で、一時的にタスク指向型の会話を挟むことも可能である。
上記実施形態において、状態情報処理回路50及び制御回路60の各プロセッサ50a,60aによって提供されていた負荷判定、漫然判定、対話の実行、及び発話制御等の機能は、例えば専用の集積回路によって実現されていてもよい。或いは、一つのプロセッサが、負荷判定、漫然判定、対話の実行、及び発話制御等を全て実施してもよく、又は負荷判定、漫然判定、対話の実行、及び発話制御等がそれぞれ別のプロセッサによって実施されてもよい。さらに、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって、各機能が提供されてよい。また、各プロセッサ50a,60aにて実行されるプログラムを記憶する記憶媒体は、フラッシュメモリに限定されない。種々の非遷移的実体的記憶媒体が、プログラムを記憶する構成として採用可能である。
本発明は、車両に搭載される対話装置だけでなく、スマートフォン及びタブレット端末等の通信機器、並びに車両外部のサーバー等にインストールされる対話プログラムにも適用可能である。対話プログラムを実行する通信機器及びサーバー等にて行われる対話方法も、対話装置によって行われる対話方法と実質同一である。例えば対話プログラムは、車内に持ち込まれる通信端末の記憶媒体に、プロセッサによって実行可能なアプリケーションとして記憶されている。通信端末は、対話プログラムに従って運転者と対話可能であり、対話を通じて運転者の覚醒状態を維持させることができる。
また、対話プログラムがサーバーの記憶媒体に記憶されている場合、サーバーは、車両及び運転者の状態情報を、インターネットを通じて取得することができる。加えてサーバーは、取得した状態情報に基づき生成した会話文を、車両の音声再生装置へ送信し、スピーカから再生させることができる。以上のように、サーバーに対話プログラムがインストールされている場合でも、運転者とシステムとの会話が実現できる。そして、サーバー型の対話システムでも、運転者の覚醒状態の維持は可能である。
そして本発明は、自動運転を行う車両(自律走行車)に搭載される対話装置にも適用可能である。例えば、「システムからの運転操作切り替え要請にドライバーが適切に応じるという条件のもと、特定の運転モードにおいて自動化された運転システムが車両の運転操作を行う」という自動化レベルの自動運転が想定されている。このような自動運転車両では、運転者(オペレータ)は、運転操作のバックアップのために、待機状態を維持する必要がある。そのため、待機状態にある運転者は、漫然状態に陥り易くなると推測される。故に、本発明を適用した対話装置は、自動運転システムのバックアップとして待機状態にある運転者の覚醒度を維持する構成としても、好適なのである。
32 スピーカ(音声出力器)、45 通信処理部(情報取得部)、50a,60a プロセッサ、51 負荷判定ブロック(負荷判定部)、52 漫然判定ブロック(漫然判定部)、53 負荷先読ブロック(負荷先読部)、71 対話実行ブロック(対話実行部)、72 発話制御ブロック(発話制御部)、73 キーワード抽出ブロック(キーワード抽出部)、100 対話装置、CD 判定基準

Claims (15)

  1. 車室内に音声を出力する音声出力器(32)と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、
    前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行部(71)と、
    前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定部(51)と、
    前記対話実行部による発話の開始を禁止する禁止状態とし、前記負荷判定部によって運転負荷が低いと判定された場合に、前記対話実行部による発話の開始を許容する許容状態とする発話制御部(72)と、
    前記車両の外部から、前記対話実行部によって実行される会話の内容の候補となるニュース情報を取得する情報取得部(45)と、
    前記運転者が漫然状態にあるか否かを判定する漫然判定部(52)と、
    前記車両の走行継続に伴う将来的な運転負荷の上昇を先読みする負荷先読部(53)と、を備え、
    前記漫然判定部は、前記負荷先読部によって将来的な運転負荷の上昇が先読みされた場合に、前記運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、
    前記発話制御部は、
    前記運転者が興味のある前記ニュース情報のカテゴリを嗜好カテゴリとして予め設定し、
    前記許容状態にある場合に、前記嗜好カテゴリに含まれる前記ニュース情報が前記情報取得部によって取得され且つ前記漫然判定部によって前記運転者が漫然状態にあると判定されたことに基づき、当該ニュース情報を伝える会話を前記対話実行部によって開始させることを特徴とする対話装置。
  2. 前記対話実行部は、前記ニュース情報の取得に基づいて会話を開始する場合に、当該ニュース情報の内容を示す見出し文を、前記会話文の冒頭に組み入れることを特徴とする請求項1に記載の対話装置。
  3. 前記発話制御部は、前記負荷判定部によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、前記禁止状態を維持することを特徴とする請求項1又は2に記載の対話装置。
  4. 前記発話制御部は、前記車室内に前記運転者以外の搭乗者が居る場合に、前記禁止条件を成立させることを特徴とする請求項3に記載の対話装置。
  5. 車室内に音声を出力する音声出力器(32)と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、
    前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行部(71)と、
    前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定部(51)と、
    前記対話実行部による発話の開始を禁止する禁止状態とし、前記負荷判定部によって運転負荷が低いと判定された場合に、前記対話実行部による発話の開始を許容する許容状態とする発話制御部(72)と、
    前記運転者が漫然状態にあるか否かを判定する漫然判定部(52)と、
    前記車両の走行継続に伴う将来的な運転負荷の上昇を先読みする負荷先読部(53)と、を備え、
    前記漫然判定部は、前記負荷先読部によって将来的な運転負荷の上昇が先読みされた場合に、前記運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、
    前記発話制御部は、
    前記許容状態にある場合に、前記漫然判定部によって前記運転者が漫然状態にあると判定されたことに基づき、前記対話実行部によって前記運転者へ向けた会話を開始させ、
    前記負荷判定部によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、前記禁止状態を維持し、
    前記車室内に前記運転者以外の搭乗者が居る場合に、前記禁止条件を成立させることを特徴とする対話装置。
  6. 前記発話制御部は、前記車両の外部に居る通話相手と前記運転者が通話している場合に、前記禁止条件を成立させることを特徴とする請求項4又は5に記載の対話装置。
  7. 車室内に音声を出力する音声出力器(32)と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、
    前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行部(71)と、
    前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定部(51)と、
    前記対話実行部による発話の開始を禁止する禁止状態とし、前記負荷判定部によって運転負荷が低いと判定された場合に、前記対話実行部による発話の開始を許容する許容状態とする発話制御部(72)と、
    前記運転者が漫然状態にあるか否かを判定する漫然判定部(52)と、
    前記車両の走行継続に伴う将来的な運転負荷の上昇を先読みする負荷先読部(53)と、を備え、
    前記漫然判定部は、前記負荷先読部によって将来的な運転負荷の上昇が先読みされた場合に、前記運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、
    前記発話制御部は、
    前記許容状態にある場合に、前記漫然判定部によって前記運転者が漫然状態にあると判定されたことに基づき、前記対話実行部によって前記運転者へ向けた会話を開始させ、
    前記負荷判定部によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、前記禁止状態を維持し、
    前記車両の外部に居る通話相手と前記運転者が通話している場合に、前記禁止条件を成立させることを特徴とする対話装置。
  8. 前記対話実行部は、前記漫然判定部による漫然判定に基づき開始する会話において、前記車両の現在の走行地点に関連した情報を提供することを特徴とする請求項1〜7のいずれか一項に記載の対話装置。
  9. 前記対話実行部は、前記漫然判定部による漫然判定に基づいて会話を開始する場合に、
    前記運転者に漫然状態の自覚を促すメッセージを前記会話文の冒頭に組み入れることを特徴とする請求項1〜8のいずれか一項に記載の対話装置。
  10. 前記漫然判定部は、漫然判定に基づく会話の開始後に、前記運転者の漫然状態が改善されたか否かをさらに判定し、
    前記対話実行部は、前記漫然判定部によって前記運転者の漫然状態が改善されていないと判定された場合に、話題を変更しつつ会話を継続することを特徴とする請求項のいずれか一項に記載の対話装置。
  11. 前記車室内にて前記運転者を含む前記車両の搭乗者が発した言葉を解析し、予め設定されたキーワードを抽出するキーワード抽出部(73)、をさらに備え、
    前記発話制御部は、前記許容状態にある場合に、前記キーワード抽出部によって前記キーワードが抽出されたことに基づき、当該キーワードに関連する会話を前記対話実行部によって開始させることを特徴とする請求項1〜10のいずれか一項に記載の対話装置。
  12. 前記対話実行部は、前記キーワードの抽出に基づいて会話を開始する場合に、当該キーワードを前記会話文の冒頭に組み入れることを特徴とする請求項11に記載の対話装置。
  13. 車室内に音声を出力する音声出力器(32)を用いて車両の運転者と対話する対話方法であって、
    少なくとも一つのプロセッサ(50a,60a)によって実施されるステップとして、
    前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行ステップ(S106,S112,S114)と、
    前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定ステップ(S102)と、
    前記負荷判定ステップにおいて運転負荷が高いと判定された場合に、前記対話実行ステップによる発話の開始を禁止する禁止状態とし、前記負荷判定ステップにおいて運転負荷が低いと判定された場合に、前記対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ(S101,S104)と、
    前記運転者が漫然状態にあるか否かを判定する漫然判定ステップ(S105)と、を含み、
    前記漫然判定ステップでは、前記車両の走行継続に伴う将来的な運転負荷の上昇が先読みされた場合に、前記運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、
    前記対話実行ステップによって実行される会話の内容の候補となるニュース情報は、前記車両の外部から取得され、
    前記発話制御ステップでは、前記運転者が興味のある前記ニュース情報のカテゴリが嗜好カテゴリとして予め設定され、
    前記対話実行ステップでは、前記許容状態にある場合に、前記嗜好カテゴリに含まれる前記ニュース情報が取得され且つ前記漫然判定ステップによって前記運転者が漫然状態にあると判定されたことに基づき、当該ニュース情報を伝える会話開始ることを特徴とする対話方法。
  14. 車室内に音声を出力する音声出力器(32)を用いて車両の運転者と対話する対話方法であって、
    少なくとも一つのプロセッサ(50a,60a)によって実施されるステップとして、
    前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行ステップ(S106,S112,S114)と、
    前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定ステップ(S102)と、
    前記負荷判定ステップにおいて運転負荷が高いと判定された場合に、前記対話実行ステップによる発話の開始を禁止する禁止状態とし、前記負荷判定ステップにおいて運転負荷が低いと判定された場合に、前記対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ(S101,S104)と、
    前記運転者が漫然状態にあるか否かを判定する漫然判定ステップ(S105)と、を含み、
    前記漫然判定ステップはでは、前記車両の走行継続に伴う将来的な運転負荷の上昇が先読みされた場合に、前記運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、
    前記発話制御ステップでは、
    前記許容状態にある場合に、前記運転者が漫然状態にあると判定されたことに基づき、前記対話実行ステップによって前記運転者へ向けた会話を開始させ、
    前記負荷判定ステップにおいて運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、前記禁止状態を維持し、
    前記車室内に前記運転者以外の搭乗者が居る場合に、前記禁止条件を成立させることを特徴とする対話方法。
  15. 車室内に音声を出力する音声出力器(32)を用いて車両の運転者と対話する対話方法であって、
    少なくとも一つのプロセッサ(50a,60a)によって実施されるステップとして、
    前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行ステップ(S106,S112,S114)と、
    前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定ステップ(S102)と、
    前記負荷判定ステップにおいて運転負荷が高いと判定された場合に、前記対話実行ステップによる発話の開始を禁止する禁止状態とし、前記負荷判定ステップにおいて運転負荷が低いと判定された場合に、前記対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ(S101,S104)と、
    前記運転者が漫然状態にあるか否かを判定する漫然判定ステップ(S105)と、
    を含み、
    前記漫然判定ステップでは、前記車両の走行継続に伴う将来的な運転負荷の上昇が先読みされた場合に、前記運転者が漫然状態であると判定するための判定基準(CD)を引き下げ、
    前記発話制御ステップでは、
    前記許容状態にある場合に、前記運転者が漫然状態にあると判定されたことに基づき、前記対話実行ステップによって前記運転者へ向けた会話を開始させ、
    前記負荷判定ステップにおいて運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、前記禁止状態を維持し、
    前記車両の外部に居る通話相手と前記運転者が通話している場合に、前記禁止条件を成立させることを特徴とする対話方法。
JP2015189974A 2015-09-28 2015-09-28 対話装置及び対話方法 Active JP6515764B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015189974A JP6515764B2 (ja) 2015-09-28 2015-09-28 対話装置及び対話方法
US15/744,258 US20180204572A1 (en) 2015-09-28 2016-09-23 Dialog device and dialog method
DE112016004391.0T DE112016004391B4 (de) 2015-09-28 2016-09-23 Dialogvorrichtung und Dialogverfahren
PCT/JP2016/077972 WO2017057170A1 (ja) 2015-09-28 2016-09-23 対話装置及び対話方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015189974A JP6515764B2 (ja) 2015-09-28 2015-09-28 対話装置及び対話方法

Publications (3)

Publication Number Publication Date
JP2017067849A JP2017067849A (ja) 2017-04-06
JP2017067849A5 JP2017067849A5 (ja) 2017-08-03
JP6515764B2 true JP6515764B2 (ja) 2019-05-22

Family

ID=58423501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015189974A Active JP6515764B2 (ja) 2015-09-28 2015-09-28 対話装置及び対話方法

Country Status (4)

Country Link
US (1) US20180204572A1 (ja)
JP (1) JP6515764B2 (ja)
DE (1) DE112016004391B4 (ja)
WO (1) WO2017057170A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447578B2 (ja) * 2016-05-27 2019-01-09 トヨタ自動車株式会社 音声対話装置および音声対話方法
US10832148B2 (en) * 2016-12-07 2020-11-10 International Business Machines Corporation Cognitive dialog system for driving safety
JP2018147027A (ja) * 2017-03-01 2018-09-20 オムロン株式会社 覚醒支援装置、方法およびプログラム
JP6401821B1 (ja) * 2017-05-23 2018-10-10 カルソニックカンセイ株式会社 運転負荷推定装置
JP6639444B2 (ja) * 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
JP2018206198A (ja) * 2017-06-07 2018-12-27 トヨタ自動車株式会社 覚醒支援装置および覚醒支援方法
JP6962034B2 (ja) * 2017-07-06 2021-11-05 トヨタ自動車株式会社 情報提供装置および情報提供方法
JP6819529B2 (ja) * 2017-09-27 2021-01-27 株式会社デンソー 情報処理装置、情報処理システム、及び情報処理方法
KR102426171B1 (ko) * 2017-10-13 2022-07-29 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
JP2019074498A (ja) * 2017-10-19 2019-05-16 アイシン精機株式会社 運転支援装置
KR102348124B1 (ko) * 2017-11-07 2022-01-07 현대자동차주식회사 차량의 기능 추천 장치 및 방법
US11404075B1 (en) * 2017-11-09 2022-08-02 Amazon Technologies, Inc. Vehicle voice user interface
US11273778B1 (en) * 2017-11-09 2022-03-15 Amazon Technologies, Inc. Vehicle voice user interface
JP7031268B2 (ja) * 2017-12-08 2022-03-08 富士フイルムビジネスイノベーション株式会社 情報伝達装置及びプログラム
US20200331458A1 (en) * 2017-12-28 2020-10-22 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and storage medium
WO2019133689A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
US11024294B2 (en) 2017-12-29 2021-06-01 DMAI, Inc. System and method for dialogue management
WO2019133698A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for personalizing dialogue based on user's appearances
CN112074899A (zh) * 2017-12-29 2020-12-11 得麦股份有限公司 基于多模态传感输入的人机对话的智能发起的***和方法
WO2019160613A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
US10720156B2 (en) * 2018-02-21 2020-07-21 Toyota Motor Engineering & Manufacturing North America, Inc. Co-pilot and conversational companion
JP2021114004A (ja) * 2018-04-11 2021-08-05 ソニーグループ株式会社 情報処理装置及び情報処理方法
KR20200042127A (ko) * 2018-10-15 2020-04-23 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
JP7327536B2 (ja) * 2018-06-12 2023-08-16 トヨタ自動車株式会社 車両用コクピット
JP2022046551A (ja) 2018-08-06 2022-03-23 日産自動車株式会社 音声対話装置、音声対話システム、及び音声対話装置の制御方法
JP6996632B2 (ja) * 2018-08-06 2022-01-18 日産自動車株式会社 音声対話装置、音声対話システム、及び音声対話装置の制御方法
JP2020052482A (ja) * 2018-09-25 2020-04-02 オムロン株式会社 危険運転防止装置
DE102018222378A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Vorrichtung und Verfahren Steuerung der Ausgabe von Fahrerinformation und zur Aufrechterhaltung der Aufmerksamkeit eines Fahrers eines automatisierten Fahrzeugs
CN109684990B (zh) * 2018-12-20 2023-05-30 天津天地伟业信息***集成有限公司 一种基于视频的打电话行为检测方法
US11170240B2 (en) * 2019-01-04 2021-11-09 Cerence Operating Company Interaction system and method
CN113632152A (zh) * 2019-03-15 2021-11-09 本田技研工业株式会社 车辆通信装置和程序
US11427216B2 (en) * 2019-06-06 2022-08-30 GM Global Technology Operations LLC User activity-based customization of vehicle prompts
JP7238641B2 (ja) * 2019-06-28 2023-03-14 トヨタ自動車株式会社 車両起動機構
JP7460145B2 (ja) * 2019-08-30 2024-04-02 有限会社ヴェルク・ジャパン 自動運転車輌用システム
CN111107156A (zh) * 2019-12-26 2020-05-05 苏州思必驰信息科技有限公司 用于主动发起对话的服务端处理方法及服务器、能够主动发起对话的语音交互***
US11302301B2 (en) * 2020-03-03 2022-04-12 Tencent America LLC Learnable speed control for speech synthesis
JP2022093012A (ja) * 2020-12-11 2022-06-23 株式会社デンソー 注目対象共有装置、注目対象共有方法
US11115353B1 (en) 2021-03-09 2021-09-07 Drift.com, Inc. Conversational bot interaction with utterance ranking
DE102022205546A1 (de) 2022-05-31 2023-11-30 Siemens Mobility GmbH Fahrerassistenzvorrichtung für ein Fahrzeug mit auswählbaren Informationskategorien

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3153846B2 (ja) * 1995-06-02 2001-04-09 三菱電機株式会社 話題提供装置
JP2000118260A (ja) * 1998-10-09 2000-04-25 Honda Motor Co Ltd 車両用乗員対話装置
JP4603264B2 (ja) * 2002-02-19 2010-12-22 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法
US7881934B2 (en) * 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
JP2006325182A (ja) * 2005-04-22 2006-11-30 Matsushita Electric Ind Co Ltd ニュース提供システム、サーバ装置および端末装置
JP4680691B2 (ja) * 2005-06-15 2011-05-11 富士通株式会社 対話システム
US7982620B2 (en) 2007-05-23 2011-07-19 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for reducing boredom while driving
JP4547721B2 (ja) * 2008-05-21 2010-09-22 株式会社デンソー 自動車用情報提供システム
JP4609527B2 (ja) * 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
EP2565088B1 (en) * 2008-06-27 2015-03-04 Ford Global Technologies, LLC System and method for controlling an entertainment
JP2010271794A (ja) * 2009-05-19 2010-12-02 Fuji Heavy Ind Ltd 運転行動誘導システム
JP2012194060A (ja) * 2011-03-16 2012-10-11 Denso Corp 情報提供装置
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
JP2013242763A (ja) 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
US9251704B2 (en) 2012-05-29 2016-02-02 GM Global Technology Operations LLC Reducing driver distraction in spoken dialogue
JP6411017B2 (ja) * 2013-09-27 2018-10-24 クラリオン株式会社 サーバ、及び、情報処理方法
JP2015189974A (ja) 2014-03-31 2015-11-02 日本カーバイド工業株式会社 光反射用樹脂組成物

Also Published As

Publication number Publication date
DE112016004391B4 (de) 2022-03-17
WO2017057170A1 (ja) 2017-04-06
JP2017067849A (ja) 2017-04-06
DE112016004391T5 (de) 2018-06-07
US20180204572A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6515764B2 (ja) 対話装置及び対話方法
JP6376096B2 (ja) 対話装置及び対話方法
US9613639B2 (en) Communication system and terminal device
JP6589514B2 (ja) 対話装置及び対話制御方法
JP4380541B2 (ja) 車両用エージェント装置
US11468888B2 (en) Control apparatus, control method agent apparatus, and computer readable storage medium
WO2014083738A1 (ja) テキスト読み上げ装置およびその方法
CN109568973B (zh) 对话装置、对话方法、服务器装置及计算机可读存储介质
CN111261154A (zh) 智能体装置、智能体提示方法及存储介质
TW201909166A (zh) 主動聊天裝置
CN111192583B (zh) 控制装置、智能体装置以及计算机可读存储介质
US11074915B2 (en) Voice interaction device, control method for voice interaction device, and non-transitory recording medium storing program
JP2017068359A (ja) 対話装置及び対話制御方法
CN111144539A (zh) 控制装置、智能体装置以及计算机可读存储介质
JP2020060861A (ja) エージェントシステム、エージェント方法、およびプログラム
US10997442B2 (en) Control apparatus, control method, agent apparatus, and computer readable storage medium
JP6555113B2 (ja) 対話装置
WO2023210171A1 (ja) 音声対話装置及び音声対話方法
JP2020060623A (ja) エージェントシステム、エージェント方法、およびプログラム
WO2023062817A1 (ja) 音声認識装置、制御方法、プログラム及び記憶媒体
US20220208185A1 (en) Speech Dialog System for Multiple Passengers in a Car
WO2023153314A1 (ja) 車内機器制御装置、車内機器制御方法
JP2023162857A (ja) 音声対話装置及び音声対話方法
JP2021047507A (ja) 通知システム、通知制御装置、通知制御方法、及び通知制御プログラム
JP2018147027A (ja) 覚醒支援装置、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R151 Written notification of patent or utility model registration

Ref document number: 6515764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250