JP7448350B2 - エージェント装置、エージェントシステム、及びエージェントプログラム - Google Patents

エージェント装置、エージェントシステム、及びエージェントプログラム Download PDF

Info

Publication number
JP7448350B2
JP7448350B2 JP2019228518A JP2019228518A JP7448350B2 JP 7448350 B2 JP7448350 B2 JP 7448350B2 JP 2019228518 A JP2019228518 A JP 2019228518A JP 2019228518 A JP2019228518 A JP 2019228518A JP 7448350 B2 JP7448350 B2 JP 7448350B2
Authority
JP
Japan
Prior art keywords
word
information
vehicle
answer information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019228518A
Other languages
English (en)
Other versions
JP2021096710A (ja
Inventor
智景 久保
景子 中野
英一 前田
博之 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019228518A priority Critical patent/JP7448350B2/ja
Priority to US17/106,701 priority patent/US11869488B2/en
Priority to DE102020131652.6A priority patent/DE102020131652A1/de
Priority to CN202011382472.XA priority patent/CN113012691A/zh
Publication of JP2021096710A publication Critical patent/JP2021096710A/ja
Application granted granted Critical
Publication of JP7448350B2 publication Critical patent/JP7448350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、装置の説明や操作の説明等を行うエージェント装置、エージェントシステム、及びエージェントプログラムに関する。
特許文献１には、各種車載ユニットの操作に関係のある情報を提供する車両用エージェント処理装置が開示されている。
詳細には、車両エージェント処理装置は、無線通信部で受信した信号として、肉声を含む音声情報が与えられたときは音声認識を行った後で、電子メールの場合はそのままで、それぞれ構文解析部を行って意味解釈し、自動車内の各種車載ユニットの操作に関係のある情報を取捨選択して優先的に要約し、これを音声合成してスピーカから出力する。また、各種車載ユニットの操作が必要と推定される場合は、その旨をエージェント処理部で自動的に判断し、その車載ユニットの操作案内情報を付加して音声案内する。
特開２００１－１４１５００号公報
しかしながら、ユーザがうまく質問できず、あやふやな質問をした場合に、適切な回答を準備できない場合がある。例えば、「ドアについているスイッチが何なのか、知りたい」などのように、あやふやな質問をした場合、適切な回答を準備できない可能性がある。
本発明は、上記事実を考慮して成されたもので、ユーザがうまく質問できない場合であっても、適切な回答を準備できる可能性を向上可能なエージェント装置、エージェントシステム、及びエージェントプログラムを提供することを目的とする。
上記目的を達成するために請求項１に記載のエージェント装置は、音声認識により発話内容を変換したテキスト情報から前記発話内容に対する回答情報を予め用意したデータの中から検索し、前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に車両に関する個別機能を特定する予め定めた単語が含まれる場合に、前記予め定めた単語に関連する回答情報を前記データの中から検索する検索部と、前記検索部によって検索された前記発話内容に対する回答情報を出力し、前記検索部が前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に前記予め定めた単語が含まれる場合は、前記検索部によって検索された当該単語に対する回答情報を当該単語に関連する関連リストとして出力する出力部と、を含み、前記出力部は、該当する前記関連リストがない場合に、前記個別機能を特定する単語を含めた発話を要求する内容を含むエラーメッセージを出力する。
請求項１に記載の発明によれば、検索部では、音声認識により発話内容を変換したテキスト情報から発話内容に対する回答情報が予め用意したデータの中から検索され、発話内容に対する回答情報を用意できず、かつテキスト情報に車両に関する個別機能を特定する予め定めた単語が含まれる場合に、予め定めた単語に関連する回答情報が前記データの中から検索される。そして、出力部では、検索部によって検索された発話内容に対する回答情報を出力し、検索部が発話内容に対する回答情報を用意できず、かつテキスト情報に予め定めた単語が含まれる場合は、検索部によって検索された当該単語に対する回答情報を当該単語に関連する関連リストとして出力する。すなわち、ユーザがうまく質問できない場合であっても発話内容に含まれる車両に関する個別機能を特定する予め定めた単語に関連する関連リストが出力されるので、適切な回答を準備できる可能性を向上することが可能となる。
なお、請求項２に記載の発明のように、出力部は、検索部が発話内容に対する回答情報を用意できず、かつ発話内容に予め定めた単語及び予め定めた個別機能のそれぞれに関す
る単語がある場合、検索部によって検索された当該単語及び個別機能の各々に対する回答情報を、予め定めた単語及び予め定めた個別機能の各々に関連する関連リストとして出力してもよい。これにより、予め定めた単語だけに関連する関連リストを出力する場合よりも適切な回答を準備できる可能性が高くなる。
また、請求項３に記載の発明のように、予め定めた単語は、個別機能が配置された部位を表す単語、個別機能の形状を表す単語、及び個別機能の色を表す単語の少なくとも１つを適用してもよい。これにより、部位、個別機能の形状、及び個別機能の色の少なくとも１つの単語を含めて質問することで名称が分からない個別機能に対する回答を得ることが可能となる。
また、請求項４に記載の発明のように、出力部は、関連リストとして、予め用意した候補画像を出力してもよい。これにより、名称の分からないものについて質問する場合に候補画像を見ることにより、対象のものを指定することが可能となる。
また、請求項５に記載の発明のように、出力部は、該当する関連リストがない場合に、個別機能を特定する単語を含めた発話を要求する内容を含むエラーメッセージを出力してもよい。これにより、質問に対する回答候補を検索し易くすることが可能となる。
また、請求項５に記載の発明のように、検索部は、車両のマニュアルに関係する発話内容に対する回答情報を検索してもよい。このように、検索部が車両のマニュアルに特化して発話内容を検索することで、車両のマニュアルに対する発話の認識精度を向上できる。
請求項６に記載のエージェントシステムは、音声認識により発話内容を認識し、テキスト情報に変換する認識部と、前記テキスト情報から前記発話内容に対する回答情報を予め用意したデータの中から検索し、前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に車両に関する個別機能を特定する予め定めた単語が含まれる場合に、前記予め定めた単語に関連する回答情報を前記データの中から検索する検索部と、前記検索部によって検索された前記発話内容に対する回答情報を出力し、前記検索部が前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に前記予め定めた単語が含まれる場合は、前記検索部によって検索された当該単語に対する回答情報を当該単語に関連する関連リストとして出力する出力部と、車両に搭載されて、乗員の発話を検出し、検出した発話を前記認識部に提供し、かつ前記出力部の出力結果を報知する機能を有する情報提供装置と、を含み、前記出力部は、該当する前記関連リストがない場合に、前記個別機能を特定する単語を含めた発話を要求する内容を含むエラーメッセージを出力する。
請求項６に記載の発明によれば、認識部では、音声認識により発話内容を認識し、テキスト情報に変換され、検索部では、テキスト情報から発話内容に対する回答情報が予め用意したデータの中から検索され、発話内容に対する回答情報を用意できず、かつテキスト情報に車両に関する個別機能を特定する予め定めた単語が含まれる場合、予め定めた単語に関連する回答情報が前記データの中から検索される。出力部では、検索部によって検索された発話内容に対する回答情報を出力し、検索部が発話内容に対する回答情報を用意できず、かつテキスト情報に予め定めた単語が含まれる場合は、検索部によって検索された当該単語に対する回答情報を当該単語に関連する関連リストとして出力する。
また、情報提供装置は、車両に搭載され、乗員の発話を検出して、検出した発話内容を認識部に提供し、かつ出力部の出力結果を報知する。これにより、車両に搭載された情報提供装置に対して、発話によって質問することで回答を得る場合に、ユーザがうまく質問できない場合であっても発話内容に含まれる、車両に関する個別機能を特定する予め定めた単語に関連する関連リストが情報提供装置に出力されて報知されるので、適切な回答を準備できる可能性を向上することが可能となる。
なお、請求項７に記載の発明のように、コンピュータに、請求項１～５の何れか１項に記載のエージェント装置の各部として機能させるためのエージェントプログラムとしてもよい。
以上説明したように本発明によれば、ユーザがうまく質問できない場合であっても、適切な回答を準備できる可能性を向上可能なエージェント装置、エージェントシステム、及びエージェントプログラムを提供できる、という効果がある。
実施形態に係るマニュアル提供システムの概略構成を示す図である。 実施形態の車両のハードウェア構成を示すブロック図である。 実施形態のサーバのハードウェア構成を示すブロック図である。 実施形態のマニュアル提供システムの機能を説明する機能ブロック図である。 個別機能を特定するための単語として、個別機能が配置された部位を表す単語を適用した場合の個別機能特定用データの一例を示す図である。 本実施形態に係るマニュアル提供システムにおけるエージェントサーバで行われる処理の流れの一例を示すフローチャートである。 本実施形態に係るマニュアル提供システムにおけるエージェントサーバで行われる処理の流れの変形例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施形態では、車両のマニュアルを提供するマニュアル提供システムをエージェントシステムの一例として説明する。図１は、本実施形態に係るマニュアル提供システムの概略構成を示す図である。
図１に示されるように、本実施形態のマニュアル提供システム１０は、複数の車両１２と、複数のサーバ３０と、を含んで構成されている。各車両１２には情報提供装置としての車載器２０が搭載されている。また、サーバ３０は、Human Machine Interface（以下、「ＨＭＩ」とする）として機能するＨＭＩサーバ１４、エージェントサーバ１６、及びオーナーズマニュアル（Owner's Manual、以下「ＯＭ」と略す場合がある）サーバ１８を含んでいる。なお、エージェントサーバ１６は、エージェント装置に対応する。
各車両１２の車載器２０、ＨＭＩサーバ１４及びＯＭサーバ１８は、それぞれ、ネットワークＮ１を介して相互に接続されている。また、ＨＭＩサーバ１４とエージェントサーバ１６とは、ネットワークＮ２を通じて相互に接続されている。
（車両）
まず、車両１２のハードウェア構成について説明する。図２は、本実施形態の車両のハードウェア構成を示すブロック図である。
図２に示されるように、本実施形態に係る車両１２は、車載器２０と、複数のＥＣＵ２２と、マイク２４と、入力スイッチ２６と、モニタ２８と、を含んで構成されている。
車載器２０は、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、車内通信Ｉ／Ｆ（Inter Face）２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ、及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、車内通信Ｉ／Ｆ２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ、及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｇを介して相互に通信可能に接続されている。
ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。
ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、車載器２０を制御するための制御プログラムが記憶されている。
ＲＡＭ２０Ｃは、上述したように、ＣＰＵ２０Ａによる各種プログラムの実行時の作業領域としてプログラム又はデータを一時的に記憶する。
車内通信Ｉ／Ｆ２０Ｄは、ＥＣＵ２２と接続するためのインタフェースである。当該インタフェースは、ＣＡＮプロトコルによる通信規格が用いられる。車内通信Ｉ／Ｆ２０Ｄは、外部バス２０Ｈに対して接続されている。ＥＣＵ２２は、車両１２の機能毎に複数設けられている。本実施形態のＥＣＵ２２としては、車両制御ＥＣＵ、エンジンＥＣＵ、ブレーキＥＣＵ、ボデーＥＣＵ、カメラＥＣＵ、マルチメディアＥＣＵ等が例示される。
無線通信Ｉ／Ｆ２０Ｅは、サーバ３０と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。無線通信Ｉ／Ｆ２０Ｅは、ネットワークＮに対して接続されている。
入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載されるマイク２４、入力スイッチ２６、及びモニタ２８と通信するためのインタフェースである。
マイク２４は、車両１２のフロントピラーやダッシュボード等に設けられ、乗員が発した音声を集音する装置である。
入力スイッチ２６は、センタコンソールやステアリングホイール等に設けられ、乗員の手指による操作を入力するスイッチである。入力スイッチ２６としては、例えば、押しボタン式のテンキーやタッチパッド等を採用することができる。
モニタ２８は、センタコンソールやメータパネルに設けられ、オーナーズマニュアルや後述する回答情報を表示するための液晶モニタである。モニタ２８は、入力スイッチ２６を兼ねたタッチパネルとして設けてもよい。
（サーバ）
続いて、サーバ３０のハードウェア構成について説明する。図３は、本実施形態のサーバのハードウェア構成を示すブロック図である。
図３に示されるようにサーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ、及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、内部バス３０Ｇを介して相互に通信可能に接続されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ及び通信Ｉ／Ｆ３０Ｅの機能は、上述した車載器２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ及び無線通信Ｉ／Ｆ２０Ｅと同じである。
ストレージ３０Ｄは、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、各種プログラム及び各種データを記憶している。
ＣＰＵ３０Ａは、ストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。
本実施形態のストレージ３０Ｄには、処理プログラム１００及びデータ群１１０が記憶されている。処理プログラム１００は、サーバ３０が有する各機能を実現するためのプログラムである。
続いて、本実施形態のマニュアル提供システム１０の機能構成について説明する。図４は、実施形態のマニュアル提供システムの機能を説明する機能ブロック図である。
（ＨＭＩサーバ）
ＨＭＩサーバ１４は、車載器２０からの質問を受け付けると共に、オーナーズマニュアルに係る質問に対する回答をエージェントサーバ１６に照会する機能を有している。
図４に示されるように本実施形態のＨＭＩサーバ１４では、ＣＰＵ３０Ａが、処理プログラム１００を実行することで、ＨＭＩ対話制御部３２として機能する。
ＨＭＩ対話制御部３２は、車載器２０との間で通信を行う。ＨＭＩ対話制御部３２は、車載器２０から送信された車両１２の乗員に係る音声情報を取得し、音声認識を行い、音声情報をテキスト情報に変換する。また、ＨＭＩ対話制御部３２は、変換されたテキスト情報を基に、乗員の発話の意図を理解する。そして、ＨＭＩ対話制御部３２は、乗員がオーナーズマニュアルに係る質問を行ったと理解した場合、当該質問に係る照会をエージェントサーバ１６に対し実行する。
（エージェントサーバ）
エージェントサーバ１６は、オーナーズマニュアルに係る質問を処理するエージェント（Owner's Manual Agent（以下、「ＯＭＡ」とする））として機能する。エージェントサーバ１６は、ＨＭＩサーバ１４から車両１２の車両情報と質問に係るテキスト情報とを取得し、ＨＭＩサーバ１４に質問に対する回答に係る回答情報を提供する。
本実施形態のエージェントサーバ１６では、ＣＰＵ３０Ａは、処理プログラム１００を実行することで、ＯＭＡ対話制御部３６及び意図推定部３８として機能する。
また、エージェントサーバ１６のデータ群１１０は、車両ＯＭ対応データ２００、意図推定ＩＤ管理データ２１０、ＱＡデータ２２０、単語正規化データ２３０、学習済みモデル２４０、及び個別機能特定用データ２５０を含む。
車両ＯＭ対応データ２００は、車両１２の車種、グレード、装備品等に係る車両情報と、オーナーズマニュアル毎に付与されたＯＭ品番を紐づけるデータである。
意図推定ＩＤ管理データ２１０は、ＯＭ品番と、ＯＭ品番に対応する意図推定エンジンＩＤとを管理するデータである。意図推定エンジンＩＤとは、後述する意図推定処理を実行する意図推定エンジン毎に付与されたＩＤである。意図推定エンジンは、類似する又は関連するオーナーズマニュアル毎に設けられている。
ＱＡデータ２２０は、回答毎に付されるインテントラベルに紐づく回答情報を保持するデータである。ここで、「インテントラベル」とは、乗員の発話内容から意図を推定した結果として提供されるラベル番号である。回答情報には、質問に対する回答に係る表示用テキスト、表示用画像、読み上げ用テキスト、オーナーズマニュアル表示用のＵＲＬ等が含まれている。
単語正規化データ２３０は、意図推定の前処理に使用する単語の正規化用のデータである。ここで前処理とは、表記のゆれや表現のゆれを統一する処理である。例えば、単語正規化データ４８は、「オフ」と「ＯＦＦ」とが同じ語であることを示す情報であって、表記ゆれを統一させるためのデータを含む。また例えば、単語正規化データ２３０は、「タイヤ空気圧警告灯」と「空気圧警告灯」とが同一のものを指す情報であって、異なる表現を統一するためのデータを含む。
学習済みモデル２４０は、ある質問に関連する複数の言い回しに係るテキスト情報を入力とし、当該質問の回答に係るインテントラベルを出力とする教師データを使用して機械学習を行うことによって生成されたデータである。学習済みモデル２４０は、予め、ＯＭＡ意図推定エンジン毎に学習されたものが用意されている。また、学習済みモデル２４０は、略称でも正式名称でも類似する表現でも１の回答に紐づくように学習されたものが用意されている。
個別機能特定用データ２５０は、車両に関する個別機能（例えば、スイッチやランプ等）と、当該個別機能を特定する予め定めた単語と、関連するインテントラベルとを対応付けしたデータである。個別機能特定用データ２５０は、ＯＭ品番毎に予め用意されている。車両に関する個別機能を特定する予め定めた単語とは、一例として、個別機能が配置された部位を表す単語、個別機能の形状を表す単語、及び個別機能の色を表す単語の少なくとも１つを含む単語を適用するが、他の単語を適用してもよい。
ＯＭＡ対話制御部３６は、車両ＯＭ対応データ２００を参照して、車両１２の車両情報から当該車両１２に対応するＯＭ品番を検索し取得する。ＯＭＡ対話制御部３６は、ＯＭ品番を取得できなかった場合には、「サービス対象外」である旨をＨＭＩ対話制御部３２に通知する。また、ＯＭＡ対話制御部３６は、意図推定ＩＤ管理データ２１０を参照して、取得したＯＭ品番から当該車両１２に適用するＯＭＡ意図推定エンジンＩＤを検索し取得する。
また、ＯＭＡ対話制御部３６は、テキスト情報及びＯＭＡ意図推定エンジンＩＤを入力値として、意図推定部３８に照会を行い、インテントラベルを取得する。ＯＭＡ対話制御部３６は、該当するインテントラベルが一つもなかった場合には、「該当なし」である旨をＨＭＩ対話制御部３２に通知する。ＯＭＡ対話制御部３６は、ＱＡデータ２２０を参照し、取得したインテントラベル、ＯＭ品番を基に、対応する回答情報を検索し取得する。
意図推定部３８は、意図推定エンジンＩＤの意図推定エンジンを使用してインテントラベルを取得し、ＯＭＡ対話制御部３６に提供する。まず、意図推定部３８は、ＯＭＡ対話制御部３６を経由して取得したテキスト情報に係るテキストに対して前処理を行う。前処理により、表記のゆれや表現のゆれが統一される。そして、意図推定部３８は、ＯＭＡ意図推定エンジン毎に用意された学習済みモデル２４０を用いて、前処理をしたテキスト情報に対し意図推定処理を行い、テキスト情報に対応するインテントラベルを出力すると共に、当該インテントラベルに対応した確信度を算出する。そして、確信度が予め定めた値以上のインテントラベルをＯＭＡ対話制御部３６に通知する。
（ＯＭサーバ）
ＯＭサーバ１８は、オーナーズマニュアルを提供するサーバである。ＯＭサーバ１８のデータ群１１０は、オーナーズマニュアルに係るＨＴＭＬデータであるＯＭデータ３００を含む。なお、ＯＭデータ３００は、ＱＡデータ２２０が保持する回答情報に含まれるオーナーズマニュアル表示用のＵＲＬ等で指定することで読み出される。
ところで、本実施形態に係るマニュアル提供システム１０では、ユーザがあやふやな質問をした場合、意図推定部３８が該当するインテントラベルを検索できず、「該当なし」がＨＭＩ対話制御部３２に通知され、適切な回答を車載器２０に返すことができない。
そこで、本実施形態では、ユーザの発話内容が認識できなかった場合で、かつ、あやふやな質問内に、個別機能を特定する予め定めた単語がある場合には、当該単語に関連する個別機能に関する回答を一覧で提示することで、回答を準備できる可能性を向上するようになっている。なお、以下では、個別機能を特定する予め定めた単語として、個別機能が配置された部位を適用した例を一例として説明する。
具体的には、意図推定部３８が、推定したインテントラベルの確信度が予め定めた閾値以下の場合、すなわち、推定結果が「該当なし」の場合に、質問内に個別機能を特定する予め定めた単語があるか否かを検索する。例えば、質問内に「ドアの～」のように、部位に関する単語があるか否かを検索する。部位に関係する単語がある場合、ＯＭ品番に対応する個別機能特定用データ２５０を参照して、部位（例えば、「ドア」）に関連する個別機能を含むインテントラベルを検索する。そして、ＯＭＡ対話制御部３６は、部位に関連する個別機能を含むインテントラベルが検索された場合、ＱＡデータ２２０を参照して、検索されたインテントラベル及びＯＭ品番に基づいて、対応する回答情報を検索して取得し、ＨＭＩ対話制御部３２に通知する。これにより、ＨＭＩ対話制御部３２を介して、部位に関連する個別機能に関する回答情報の一覧を車載器２０に表示することが可能となる。ユーザは、回答情報の一覧から意図する回答情報を選択することで、質問に対する回答を得られる可能性が向上する。換言すれば、個別機能を特定する予め定めた単語を含めて質問することで名称が分からないスイッチやランプ等の個別機能に対する回答を得ることが可能となる。
ここで、本実施形態で用いる個別機能特定用データの一例について説明する。図５は、車両に関する個別機能を特定する予め定めた単語として、個別機能が配置された部位を表す単語を適用した場合の個別機能特定用データ２５０の一例を示す図である。
個別機能特定用データ２５０は、図５に示すように、部位、個別機能分類、個別機能名称、及びインテントラベルがそれぞれ対応付けて登録されている。図５の例では、「部位」の一例としての「ドア」に関連する「個別機能分類」として「スイッチ」及び「ハンドル」が登録され、「スイッチ」に対して「ドアロックスイッチ」と「パワーウインドスイッチ」が登録されている。また、それぞれに対応するインテントラベルの番号が登録されている。すなわち、個別機能特定用データ２５０から「部位」に関連する「個別機能分類」と「インテントラベル」を得ることができるので、質問内に「部位」に関連する単語が含まれる場合に、対応するインテントラベルを抽出して回答候補の一覧を提示することが可能となる。なお、「部位」だけでなく、質問内に「スイッチ」等の「個別機能」を特定する単語がある場合には、対応するインテントラベルを更に絞って回答候補を提示することが可能となる。
続いて、上述のように構成された本実施形態に係るマニュアル提供システム１０におけるエージェントサーバ１６で行われる具体的な処理について説明する。図６は、本実施形態に係るマニュアル提供システム１０におけるエージェントサーバ１６で行われる処理の流れの一例を示すフローチャートである。なお、図６の処理は、ＨＭＩ対話制御部３２が、乗員がオーナーズマニュアルに係る質問に係る照会をエージェントサーバ１６に対し実行して、ＯＭＡ対話制御部３６が、車両ＯＭ対応データ２００を参照して、車両１２の車両情報から当該車両１２に対応するＯＭ品番を検索し取得した場合に開始する。
ステップＳ１００では、エージェントサーバ１６のＣＰＵ３０Ａが、発話を受信して発話内容を解析してステップＳ１０２へ移行する。すなわち、ＯＭＡ対話制御部３６が、車両ＯＭ対応データ２００を参照して、車両１２の車両情報から当該車両１２に対応するＯＭ品番を検索し取得する。また、ＯＭＡ対話制御部３６が、意図推定ＩＤ管理データ２１０を参照して、取得したＯＭ品番から当該車両１２に適用するＯＭＡ意図推定エンジンＩＤを検索し取得する。そして、ＯＭＡ対話制御部３６が、ＨＭＩ対話制御部３２によって音声認識が行われて変換されたテキスト情報、及びＯＭＡ意図推定エンジンＩＤを入力値として、意図推定部３８に照会を行うことにより、発話内容を解析する。なお、ステップＳ１００は認識部に対応する。
ステップＳ１０２では、エージェントサーバ１６のＣＰＵ３０Ａが、発話内容を認識したか否かを判定する。該判定は、ＯＭＡ対話制御部３６が、意図推定部３８によって推定したインテントラベルの確信度が予め定めた閾値を超えるものがあるか否かを判定する。該判定が肯定された場合にはステップＳ１０４へ移行し、否定された場合にはステップＳ１０６へ移行する。
ステップＳ１０４では、エージェントサーバ１６のＣＰＵ３０Ａが、対応する回答をＨＭＩサーバ１４に出力して一連の処理を終了する。すなわち、ＯＭＡ対話制御部３６が、ＱＡデータ２２０を参照し、意図推定部３８から取得したインテントラベル、及びＯＭ品番を基に、対応する回答情報を検索し取得して、ＨＭＩサーバ１４に出力する。これにより、ＨＭＩサーバ１４から車載器２０に対して質問に対する回答が出力される。質問に対する回答は、１つに限るものではなく、例えば、インテントラベルの確信度が閾値を超えるものが複数ある場合には、複数の回答が車載器２０に提示される。
ステップＳ１０６では、エージェントサーバ１６のＣＰＵ３０Ａが、「部位」に関する単語を認識したか否か判定する。該判定は、意図推定部３８が、個別機能特定用データ２５０を参照して、質問内に「部位」に関する単語があるか否かを判定する。例えば、個別機能特定用データ２５０に登録された「部位」に一致する単語が質問内にあるか否かを判定する。該判定が否定された場合にはステップＳ１０８へ移行し、肯定された場合にはステップＳ１１０へ移行する。
ステップＳ１０８では、エージェントサーバ１６のＣＰＵ３０Ａが、エラーメッセージをＨＭＩサーバ１４に出力して一連の処理を終了する。これにより、ＨＭＩサーバ１４から車載器２０に対して質問に対する回答が「該当なし」としてエラー通知される。なお、エラーメッセージとして、「部位」を指定して再度質問してください等の内容を報知してもよい。これにより、質問に対する回答候補を検索しやすくすることが可能となる。
一方、ステップＳ１１０では、エージェントサーバ１６のＣＰＵ３０Ａが、認識した「部位」に関連する関連リストをＨＭＩサーバ１４に出力して一連の処理を終了する。すなわち、意図推定部３８が、個別機能特定用データ２５０に登録された「部位」に対応するインテントラベルを取得する。そして、ＯＭＡ対話制御部３６が、ＱＡデータ２２０を参照して、検索されたインテントラベル及びＯＭ品番に基づいて、対応する回答情報を検索して取得し、ＨＭＩ対話制御部３２に通知する。これにより、ＨＭＩ対話制御部３２を介して、「部位」に関連する個別機能に対応する回答情報の一覧を車載器２０に表示することが可能となる。ユーザは、回答情報の一覧から意図する回答情報を選択することで、質問に対する回答を得られる可能性が向上する。なお、ステップＳ１１０は出力部に対応する。
続いて、「部位」だけでなく、質問内に「スイッチ」等の「個別機能」を特定する単語がある場合に対応するインテントラベルを絞って回答候補を提示する場合について説明する。図７は、本実施形態に係るマニュアル提供システム１０におけるエージェントサーバ１６で行われる処理の流れの変形例を示すフローチャートである。なお、図７の処理は、ＨＭＩ対話制御部３２が、乗員がオーナーズマニュアルに係る質問に係る照会をエージェントサーバ１６に対し実行して、ＯＭＡ対話制御部３６が、車両ＯＭ対応データ２００を参照して、車両１２の車両情報から当該車両１２に対応するＯＭ品番を検索し取得した場合に開始する。また、図６と同一処理については同一符号を付して説明する。
ステップＳ１００では、エージェントサーバ１６のＣＰＵ３０Ａが、発話を受信して発話内容を解析してステップＳ１０２へ移行する。すなわち、ＯＭＡ対話制御部３６が、車両ＯＭ対応データ２００を参照して、車両１２の車両情報から当該車両１２に対応するＯＭ品番を検索し取得する。また、ＯＭＡ対話制御部３６が、意図推定ＩＤ管理データ２１０を参照して、取得したＯＭ品番から当該車両１２に適用するＯＭＡ意図推定エンジンＩＤを検索し取得する。そして、ＯＭＡ対話制御部３６が、ＨＭＩ対話制御部３２によって音声認識が行われて変換されたテキスト情報、及びＯＭＡ意図推定エンジンＩＤを入力値として、意図推定部３８に照会を行うことにより、発話内容を解析する。なお、ステップＳ１００は認識部に対応する。
ステップＳ１０２では、エージェントサーバ１６のＣＰＵ３０Ａが、発話内容を認識したか否かを判定する。該判定は、ＯＭＡ対話制御部３６が、意図推定部３８によって推定したインテントラベルの確信度が予め定めた閾値を超えるものがあるか否かを判定する。該判定が肯定された場合にはステップＳ１０４へ移行し、否定された場合にはステップＳ１０６へ移行する。
ステップＳ１０４では、エージェントサーバ１６のＣＰＵ３０Ａが、対応する回答をＨＭＩサーバ１４に出力して一連の処理を終了する。すなわち、ＯＭＡ対話制御部３６が、ＱＡデータ２２０を参照し、意図推定部３８から取得したインテントラベル、及びＯＭ品番を基に、対応する回答情報を検索し取得して、ＨＭＩサーバ１４に出力する。これにより、ＨＭＩサーバ１４から車載器２０に対して質問に対する回答が出力される。質問に対する回答は、１つに限るものではなく、例えば、インテントラベルの確信度が閾値を超えるものが複数ある場合には、複数の回答が車載器２０に提示される。
ステップＳ１０６では、エージェントサーバ１６のＣＰＵ３０Ａが、「部位」に関する単語を認識したか否か判定する。該判定は、意図推定部３８が、個別機能特定用データ２５０を参照して、質問内に「部位」に関する単語があるか否かを判定する。例えば、個別機能特定用データ２５０に登録された「部位」に一致する単語が質問内にあるか否かを判定する。該判定が否定された場合にはステップＳ１０８へ移行し、肯定された場合にはステップＳ１０９へ移行する。
ステップＳ１０８では、エージェントサーバ１６のＣＰＵ３０Ａが、エラーメッセージをＨＭＩサーバ１４に出力して一連の処理を終了する。これにより、ＨＭＩサーバ１４から車載器２０に対して質問に対する回答が「該当なし」としてエラー通知される。なお、エラーメッセージとして、「部位を指定して再度質問してください」等のように、部位を含めた発話を要求する内容を報知してもよい。これにより、質問に対する回答候補を検索しやすくすることが可能となる。
一方、ステップＳ１０９では、エージェントサーバ１６のＣＰＵ３０Ａが、「個別機能」に関する単語を認識したか否か判定する。該判定は、意図推定部３８が、個別機能特定用データ２５０を参照して、質問内に「個別機能」に関する単語があるか否かを判定する。例えば、個別機能特定用データ２５０に登録された「個別機能」に一致する単語が質問内にあるか否かを判定する。該判定が否定された場合にはステップＳ１１０へ移行し、肯定された場合にはステップＳ１１２へ移行する。
ステップＳ１１０では、エージェントサーバ１６のＣＰＵ３０Ａが、認識した「部位」に関連する関連リストをＨＭＩサーバ１４に出力して一連の処理を終了する。すなわち、意図推定部３８が、個別機能特定用データ２５０に登録された「部位」に対応するインテントラベルを取得する。そして、ＯＭＡ対話制御部３６が、ＱＡデータ２２０を参照して、検索されたインテントラベル及びＯＭ品番に基づいて、対応する回答情報を検索して取得し、ＨＭＩ対話制御部３２に通知する。これにより、ＨＭＩ対話制御部３２を介して、「部位」に関連する個別機能に対応する回答情報の一覧を車載器２０に表示することが可能となる。ユーザは、回答情報の一覧から意図する回答情報を選択することで、質問に対する回答を得られる可能性が向上する。なお、ステップＳ１１０は出力部に対応する。
一方、ステップＳ１１２では、エージェントサーバ１６のＣＰＵ３０Ａが、認識した「部位」及び「個別機能」に関連する関連リストをＨＭＩサーバ１４に出力して一連の処理を終了する。すなわち、意図推定部３８が、個別機能特定用データ２５０に登録された「部位」及び「個別機能」のそれぞれに対応するインテントラベルを取得する。そして、ＯＭＡ対話制御部３６が、ＱＡデータ２２０を参照して、検索されたインテントラベル及びＯＭ品番に基づいて、対応する回答情報を検索して取得し、ＨＭＩ対話制御部３２に通知する。これにより、ＨＭＩ対話制御部３２を介して、「部位」及び「個別機能」に関連する回答情報の一覧を車載器２０に表示することが可能となる。ユーザは、回答情報の一覧から意図する回答情報を選択することで、質問に対する回答を得られる可能性が向上する。なお、ステップＳ１１２についても出力部に対応する。
なお、上記の実施形態におけるステップＳ１１０、１１２は、関連リストを出力する際には、回答情報に含まれる表示用画像をＨＭＩ対話制御部３２に通知し、表示用画像を車載器２０に候補画像として表示させることで、ユーザに選択させる形態としてもよい。これにより、名称の分からないものについて質問する場合に候補画像を見ることにより、対象のものを指定することが可能となる。
また、上記実施形態では、マニュアル提供システム１０を構成するＨＭＩサーバ１４、エージェントサーバ１６及びＯＭサーバ１８を異なるサーバ３０としているが、各サーバ３０の機能を統合したサーバ３０としてもよい。例えば、ＨＭＩサーバ１４、エージェントサーバ１６、及びＯＭサーバ１８の全てを一つに統合してもよいし、一部のサーバ３０を統合してもよい。また、エージェントサーバ１６においては、ＯＭＡ対話制御部３６及び意図推定部３８の機能をそれぞれ異なるサーバ３０に配置してもよい。
また、上記実施形態において、ＣＰＵ２０Ａ、３０Ａがソフトウェア（プログラム）を読み込んで実行する各種処理は、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述したエージェントサーバ１６で行われる処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、サーバ３０における処理プログラム１００は、ストレージ３０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
１０ マニュアル提供システム
１６ エージェントサーバ（エージェント装置）
２０ 車載器（情報提供装置）
３６ ＯＭＡ対話制御部（認識部及び出力部）
３８ 意図推定部（認識部及び出力部）
２００ 車両ＯＭ対応データ
２１０ 意図推定ＩＤ管理データ
２２０ ＱＡデータ
２４０ 学習済みモデル
２５０ 個別機能特定用データ

Claims (7)

  1. 音声認識により発話内容を変換したテキスト情報から前記発話内容に対する回答情報を予め用意したデータの中から検索し、前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に車両に関する個別機能を特定する予め定めた単語が含まれる場合に、前記予め定めた単語に関連する回答情報を前記データの中から検索する検索部と、
    前記検索部によって検索された前記発話内容に対する回答情報を出力し、前記検索部が前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に前記予め定めた単語が含まれる場合は、前記検索部によって検索された当該単語に対する回答情報を当該単語に関連する関連リストとして出力する出力部と、
    を含み、
    前記出力部は、該当する前記関連リストがない場合に、前記個別機能を特定する単語を含めた発話を要求する内容を含むエラーメッセージを出力するエージェント装置。
  2. 前記出力部は、前記検索部が前記発話内容に対する回答情報を用意できず、かつ前記発話内容に前記予め定めた単語及び予め定めた個別機能のそれぞれに関する単語がある場合、前記検索部によって検索された当該単語及び前記個別機能の各々に対する回答情報を、前記予め定めた単語及び前記予め定めた個別機能の各々に関連する関連リストとして出力する請求項１に記載のエージェント装置。
  3. 前記予め定めた単語は、前記個別機能が配置された部位を表す単語、前記個別機能の形状を表す単語、及び前記個別機能の色を表す単語の少なくとも１つである請求項１又は請求項２に記載のエージェント装置。
  4. 前記出力部は、前記関連リストとして、予め用意した候補画像を出力する請求項１～３の何れか１項に記載のエージェント装置。
  5. 前記検索部は、車両のマニュアルに関係する発話内容に対する回答情報を検索する請求項１～４の何れか１項に記載のエージェント装置。
  6. 音声認識により発話内容を認識し、テキスト情報に変換する認識部と、
    前記テキスト情報から前記発話内容に対する回答情報を予め用意したデータの中から検索し、前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に車両に関する個別機能を特定する予め定めた単語が含まれる場合に、前記予め定めた単語に関連する回答情報を前記データの中から検索する検索部と、
    前記検索部によって検索された前記発話内容に対する回答情報を出力し、前記検索部が前記発話内容に対する回答情報を用意できず、かつ前記テキスト情報に前記予め定めた単語が含まれる場合は、前記検索部によって検索された当該単語に対する回答情報を当該単語に関連する関連リストとして出力する出力部と、
    車両に搭載されて、乗員の発話を検出し、検出した発話を前記認識部に提供し、かつ前記出力部の出力結果を報知する機能を有する情報提供装置と、
    を含み、
    前記出力部は、該当する前記関連リストがない場合に、前記個別機能を特定する単語を含めた発話を要求する内容を含むエラーメッセージを出力するエージェントシステム。
  7. コンピュータに、請求項１～５の何れか１項に記載のエージェント装置の各部として機能させるためのエージェントプログラム。
JP2019228518A 2019-12-18 2019-12-18 エージェント装置、エージェントシステム、及びエージェントプログラム Active JP7448350B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019228518A JP7448350B2 (ja) 2019-12-18 2019-12-18 エージェント装置、エージェントシステム、及びエージェントプログラム
US17/106,701 US11869488B2 (en) 2019-12-18 2020-11-30 Agent device, agent system, and computer-readable storage medium
DE102020131652.6A DE102020131652A1 (de) 2019-12-18 2020-11-30 Agentvorrichtung, Agentsystem und computerlesbares Speichermedium
CN202011382472.XA CN113012691A (zh) 2019-12-18 2020-12-01 代理装置、代理***以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019228518A JP7448350B2 (ja) 2019-12-18 2019-12-18 エージェント装置、エージェントシステム、及びエージェントプログラム

Publications (2)

Publication Number Publication Date
JP2021096710A JP2021096710A (ja) 2021-06-24
JP7448350B2 true JP7448350B2 (ja) 2024-03-12

Family

ID=76205995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019228518A Active JP7448350B2 (ja) 2019-12-18 2019-12-18 エージェント装置、エージェントシステム、及びエージェントプログラム

Country Status (4)

Country Link
US (1) US11869488B2 (ja)
JP (1) JP7448350B2 (ja)
CN (1) CN113012691A (ja)
DE (1) DE102020131652A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7347244B2 (ja) * 2020-01-29 2023-09-20 トヨタ自動車株式会社 エージェント装置、エージェントシステム及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304730A1 (en) 2011-01-18 2013-11-14 Google Inc. Automated answers to online questions
JP2019145002A (ja) 2018-02-23 2019-08-29 トヨタ自動車株式会社 情報処理方法、プログラム、情報処理装置、及び情報処理システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2837047B2 (ja) * 1992-11-06 1998-12-14 シャープ株式会社 文書データ検索機能付き文書処理装置
JP2001141500A (ja) 1999-11-15 2001-05-25 Auto Network Gijutsu Kenkyusho:Kk 車載エージェント処理装置
JP3705735B2 (ja) 2000-08-29 2005-10-12 シャープ株式会社 オンデマンド・インタフェース装置とそのウィンドウ表示装置
JP2003058464A (ja) * 2001-06-06 2003-02-28 Neogenesis Corp 質問応答システム
JP2004139553A (ja) * 2002-08-19 2004-05-13 Matsushita Electric Ind Co Ltd 文書検索システムおよび質問応答システム
JP2006004274A (ja) * 2004-06-18 2006-01-05 Nippon Telegr & Teleph Corp <Ntt> 対話処理装置、対話処理方法及び対話処理プログラム
JP2006163623A (ja) * 2004-12-03 2006-06-22 Nippon Hoso Kyokai <Nhk> 質問応答装置及び質問応答プログラム、並びに、テレビ受像機
JP2007141090A (ja) * 2005-11-21 2007-06-07 Fuji Xerox Co Ltd 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム
JP4609527B2 (ja) * 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
JP2011221591A (ja) * 2010-04-05 2011-11-04 Mitsubishi Electric Corp 地図検索システム
JP5593297B2 (ja) * 2011-11-08 2014-09-17 京セラドキュメントソリューションズ株式会社 不動産物件情報提供支援装置
US20130246392A1 (en) 2012-03-14 2013-09-19 Inago Inc. Conversational System and Method of Searching for Information
US9336485B2 (en) * 2013-06-11 2016-05-10 International Business Machines Corporation Determining answers in a question/answer system when answer is not contained in corpus
JP6149812B2 (ja) * 2014-06-30 2017-06-21 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP6351562B2 (ja) * 2014-11-12 2018-07-04 株式会社アドバンスト・メディア 情報処理システム、受付サーバ、情報処理方法及びプログラム
US20160140216A1 (en) * 2014-11-19 2016-05-19 International Business Machines Corporation Adjusting Fact-Based Answers to Consider Outcomes
JP2016218361A (ja) * 2015-05-25 2016-12-22 クラリオン株式会社 音声認識システム、車載器およびサーバ装置
CN108885625A (zh) * 2016-04-07 2018-11-23 日商先进媒体公司 信息处理***、受理服务器、信息处理方法和程序
DK201670540A1 (en) * 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
JP2018169494A (ja) 2017-03-30 2018-11-01 トヨタ自動車株式会社 発話意図推定装置および発話意図推定方法
JP6769405B2 (ja) * 2017-07-11 2020-10-14 トヨタ自動車株式会社 対話システムおよび対話方法
US11450314B2 (en) * 2017-10-03 2022-09-20 Google Llc Voice user interface shortcuts for an assistant application
US20190286414A1 (en) * 2018-03-19 2019-09-19 Geoffrey Langos Voice activated visual communication system
KR20200000155A (ko) * 2018-06-22 2020-01-02 현대자동차주식회사 대화 시스템 및 이를 이용한 차량
EP3853785A1 (en) * 2018-09-21 2021-07-28 Solera Holdings, Inc. Apparatus and method for providing an electronic user manual
US20200257856A1 (en) * 2019-02-07 2020-08-13 Clinc, Inc. Systems and methods for machine learning based multi intent segmentation and classification
KR102204740B1 (ko) * 2019-02-28 2021-01-19 네이버 주식회사 대화 시스템에서의 의도 불분명 질의를 처리하는 방법 및 시스템
CN110400563A (zh) * 2019-07-18 2019-11-01 平安科技（深圳）有限公司 车载语音指令识别方法、装置、计算机设备及存储介质
US11170776B1 (en) * 2019-09-16 2021-11-09 Amazon Technologies, Inc. Speech-processing system
KR20210066985A (ko) * 2019-11-28 2021-06-08 현대자동차주식회사 음성인식을 이용한 차량제어장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304730A1 (en) 2011-01-18 2013-11-14 Google Inc. Automated answers to online questions
JP2019145002A (ja) 2018-02-23 2019-08-29 トヨタ自動車株式会社 情報処理方法、プログラム、情報処理装置、及び情報処理システム

Also Published As

Publication number Publication date
DE102020131652A1 (de) 2021-06-24
CN113012691A (zh) 2021-06-22
US20210193129A1 (en) 2021-06-24
JP2021096710A (ja) 2021-06-24
US11869488B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
CN110660397B (zh) 对话***、车辆和用于控制车辆的方法
US10839797B2 (en) Dialogue system, vehicle having the same and dialogue processing method
KR102414456B1 (ko) 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
US10997974B2 (en) Dialogue system, and dialogue processing method
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US10950233B2 (en) Dialogue system, vehicle having the same and dialogue processing method
US11809885B2 (en) Agent device, agent system, and recording medium
US10861460B2 (en) Dialogue system, vehicle having the same and dialogue processing method
CN110503947B (zh) 对话***、包括其的车辆和对话处理方法
US11995125B2 (en) Agent device, agent system, and recording medium
JP7448350B2 (ja) エージェント装置、エージェントシステム、及びエージェントプログラム
JP7347244B2 (ja) エージェント装置、エージェントシステム及びプログラム
JP2021093087A (ja) エージェント装置
CN115859219A (zh) 多模态交互方法、装置、设备及存储介质
JP7276165B2 (ja) エージェント装置、エージェントシステム、及びエージェントプログラム
JP7084158B2 (ja) 情報処理方法、プログラム、情報処理装置、及び情報処理システム
KR20190135676A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US20210303263A1 (en) Dialogue system and vehicle having the same, and method of controlling dialogue system
US20230178071A1 (en) Method for determining a vehicle domain and a speech recognition system for a vehicle
US20230290358A1 (en) Biasing interpretations of spoken utterance(s) that are received in a vehicular environment
JP2021117205A (ja) 情報処理装置
CN111739524A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN110648661A (zh) 对话***、车辆和用于控制车辆的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230612

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240229

R151 Written notification of patent or utility model registration

Ref document number: 7448350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151