JP6348831B2 - 音声入力補助装置、音声入力補助システムおよび音声入力方法 - Google Patents

音声入力補助装置、音声入力補助システムおよび音声入力方法 Download PDF

Info

Publication number
JP6348831B2
JP6348831B2 JP2014251442A JP2014251442A JP6348831B2 JP 6348831 B2 JP6348831 B2 JP 6348831B2 JP 2014251442 A JP2014251442 A JP 2014251442A JP 2014251442 A JP2014251442 A JP 2014251442A JP 6348831 B2 JP6348831 B2 JP 6348831B2
Authority
JP
Japan
Prior art keywords
voice input
auxiliary device
abbreviation
input auxiliary
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014251442A
Other languages
English (en)
Other versions
JP2016114395A (ja
Inventor
清水　淳史
淳史 清水
山口　隆
隆 山口
靖 永井
靖 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2014251442A priority Critical patent/JP6348831B2/ja
Priority to US15/533,867 priority patent/US20170323641A1/en
Priority to EP15868173.4A priority patent/EP3232160A4/en
Priority to PCT/JP2015/078339 priority patent/WO2016092946A1/ja
Priority to CN201580057276.6A priority patent/CN107148555A/zh
Publication of JP2016114395A publication Critical patent/JP2016114395A/ja
Application granted granted Critical
Publication of JP6348831B2 publication Critical patent/JP6348831B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、音声入力補助装置、音声入力補助システムおよび音声入力方法の技術に関する。
本技術分野の背景技術として、特開２００２−０５５６９４号公報（特許文献１）がある。この公報には、「機器の音声操作を可能とする操作スイッチと、使用できる操作音声の記憶手段と、上記記憶手段に記憶された操作音声の選択的な表示手段と、上記機器に対する操作音声の認識手段とを有し、上記記憶手段は各階層毎に受入れ可能な操作音声データと上記各階層における各操作音声毎の使用回数とを記憶し、上記表示手段は上記操作スイッチがオンとされたとき及びまたは上記認識手段が１つの階層における操作音声を認識したとき上記各階層毎に使用された回数の多い順に上記操作音声へ符号をつけた操作音声メニューを画面上に表示し、上記認識手段は上記符号の音声をその符号がつけられた操作音声としても認識できるように構成された音声操作装置。」と記載されている。
特開２００２−０５５６９４号公報
上記技術では、ユーザーは自然言語ではない符号を発話して操作を行う必要が有り、発話する符号を選択するために画面を目視して符号を確認する必要が有る。
本発明は、上記問題点を解決するためになされたものであり、希望すると推定される操作項目ほど短く省略した言葉によって操作可能とすることを目的とする。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る音声入力補助装置は、操作項目と、上記操作項目の希望する度合いに応じた省略語と、を対応付けて記憶する省略語記憶部と、所定の指標を用いて、上記操作項目ごとの希望する度合いを推定し、上記希望する度合いに応じて上記省略語記憶部から省略語を特定する希望度推定部と、上記希望度推定部により特定された省略語を提示する出力処理部と、省略された上記操作項目に係る音声入力を受け付けると、対応する上記操作項目に係る操作を特定する省略語適用判定部と、を備えることを特徴とする。
本発明によると、希望すると推定される操作項目ほど短く省略した言葉によって操作可能とすることができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の実施形態に係る音声入力補助システムの構成例を示す図である。 サーバー装置の構成例を示す図である。 音声入力補助装置および周辺機器の構成例を示す図である。 発話実績記憶部のデータ構造を示す図である。 省略語記憶部のデータ構造を示す図である。 操作指示語記憶部のデータ構造を示す図である。 アプリ利用状態記憶部のデータ構造を示す図である。 音声入力補助システムを構成するハードウェアの構成を示す図である。 希望度推定処理の処理フローを示す図である。 省略語提示処理の処理フローを示す図である。 音声認識省略語表示画面の例を示す図である。 音声認識処理の処理フローを示す図である。 音声認識表示画面の例を示す図である。
以下に、本発明に係る実施形態を適用した音声入力補助システム１の例について、図面を参照して説明する。
図１は、本発明に係る第一の実施形態を適用した音声入力補助システム１の全体の構成例を示す図である。音声入力補助システム１においては、図１に示すように、サーバー装置１００と、サーバー装置１００とインターネット等のネットワーク１５を介して通信可能な音声入力補助装置２００と、音声入力補助装置２００と有線あるいは無線で通信可能に接続される周辺機器３００と、を連携させて動作させることが可能となっている。
なお、本実施形態において、音声入力補助装置２００および周辺機器３００には、例えば無線通信ルーター、スマートフォン端末、いわゆるタブレット端末等、独立して動作しインターネット等に接続し通信可能なモバイル機器全般を含む。また、音声入力補助装置２００には、例えば移動体に備え付けられたナビゲーション装置あるいは移動体に備え付けられているが取り外しても独立動作しうる可搬型ナビゲーション装置を含む。
本実施形態においては、ユーザー１０は、音声入力補助装置２００により提示された音声入力のための省略語を発話することで、省略語に対応付けられた省略前の各種の操作を入出力インターフェースを用いて操作することができる。また、本実施形態においては、ユーザー１０は、音声入力補助装置２００の入出力インターフェースを用いて音声入力補助装置２００の操作を行うだけでなく、音声入力補助装置２００の音声入力インターフェースを含む入出力インターフェースを用いて周辺機器３００に設けられた音楽再生アプリケーションソフトウェア等、各種ソフトウェアの操作をも行いうる。
ネットワーク１５は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信路である。なお、音声入力補助装置２００と、周辺機器３００と、の間の通信は、ネットワーク１５を介するものに限られず、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの有線通信路あるいは無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の無線通信路であってもよい。
図２は、本実施形態におけるサーバー装置１００の構成例を示す図である。サーバー装置１００は、制御部１１０と、通信部１２０と、記憶部１３０と、を含む。制御部１１０は、音声認識部１１１と、省略語適用判定部１１２と、頻出発話語特定部１１３と、各種サービス処理部１１４と、発話語蓄積部１１５と、を含む。記憶部１３０は、発話実績記憶部１３１と、省略語記憶部１３２と、音声認識情報記憶部１３３と、を含む。
図４は、発話実績記憶部１３１のデータ構造を示す図である。発話実績記憶部１３１には、車両状態１３１ａと、発話件数１３１ｂと、発話情報１３１ｃと、が含まれる。車両状態１３１ａは、音声入力補助装置２００が属する車両の状態を示す情報である。例えば、車両状態１３１ａには、車両の位置が属する地域を特定する情報、あるいは車両により特定された時刻帯等の情報が含まれる。
発話件数１３１ｂは、車両状態１３１ａにて特定される車両状態における、発話情報１３１ｃに係る発話が蓄積された件数を示す情報である。発話情報１３１ｃは、発話された文章がテキスト化された情報である。
図５は、省略語記憶部１３２のデータ構造を示す図である。省略語記憶部１３２には、アプリケーション名１３２ａと、通番１３２ｂと、指示語１３２ｃと、軽省略指示語１３２ｄと、重省略指示語１３２ｅと、が含まれる。
アプリケーション名１３２ａは、アプリケーションソフトウェアの名称を特定する情報である。通番１３２ｂは、指示語１３２ｃに割り当てられたユニークな情報である。指示語１３２ｃは、音声入力による操作を行うための予め定められた語である。軽省略指示語１３２ｄは、指示語１３２ｃに係る指示語について、軽度の省略を施した指示語である。なお、「軽度」であるとは、重省略指示語１３２ｅに係る指示語よりも省略の度合いが小さいという意味である。例えば、軽省略指示語１３２ｄは、指示語について、少なくとも名詞または動詞を抽出して操作可能な項目とするものであり、指示語「音楽の音量を大きくする」に対して軽省略指示語「音楽音量大」等が考えられる。
重省略指示語１３２ｅは、指示語１３２ｃに係る指示語について、重度の省略を施した指示語である。なお、「重度」であるとは、軽省略指示語１３２ｄに係る指示語よりも省略の度合いが大きいという意味である。例えば、重省略指示語１３２ｅは、指示語について、動作の態様を示す語を抽出して操作可能な項目とするものであり、指示語「音楽の音量を大きくする」に対して重省略指示語「音量大」等が考えられる。
なお、上述の省略の度合いの軽重については、あくまで一例であり、指示語について、軽度、重度と省略の度合いが徐々に大きくなっていくほどに簡易な表現となっていればよい。従って、厳密に名詞や動詞、動作の態様を示す語に限定するものではなく、目的語を省略するものである等、指示語および言語ごとに現実に考えられる具体的な省略使用、略語等に合わせて適切に定められるものであってもよい。また、指示語および省略語は、外部の装置から配信された情報に基づいて更新されるものであってもよいし、実行時に指示語に応じて省略を施して省略語を生成するものであってもよい。
図２の説明に戻る。音声認識部１１１は、音声認識情報記憶部１３３に格納された一般的な音声認識のための情報を用いて、音声情報に含まれる言語の認識を行う。なお、音声認識部１１１は、省略語を含むユーザーの発話音声(以降、「ユーザー発話音声(省略語)」と記載)と、省略語適用操作項目リストと、車両情報とを、音声入力補助装置２００から受信する。
また、音声認識部１１１は、ユーザー発話音声(省略語)を、テキスト形式のデータであるユーザー発話語(省略語)へ変換する。そして、音声認識部１１１は、ユーザー発話語(省略語)と省略語適用操作項目リストとを、省略語適用判定部１１２に受け渡す。また、音声認識部１１１は、ユーザー発話語(省略語)と、車両情報と、を発話語蓄積部１１５に受け渡す。
省略語適用判定部１１２は、受け渡されたユーザー発話語(省略語)と、受け渡された省略語適用操作項目リストとを参照し、当該リストの省略語のいずれかにユーザー発話語(省略語)が対応するか否かを判定し、いずれかに対応する場合は、ユーザー発話語(省略語)を対応する操作指示語(省略なし)に変換する。いずれにも対応しない場合は、ユーザ発話語(省略語)を操作指示語(省略なし)とみなして変換する。そして、省略語適用判定部１１２は、操作指示語(省略なし)を音声入力補助装置２００へ送信する。
頻出発話語特定部１１３は、音声入力補助装置２００から送信される車両情報を受信した場合に、発話実績記憶部１３１を参照することで、受信した車両情報に合致または類似する車両情報に関して多数のユーザーが発話した発話語を抽出する。例えば、頻出発話語特定部１１３は、発話の件数が上位の発話語を抽出する。また、頻出発話語特定部１１３は、抽出した発話語を、発話の件数と共に、音声入力補助装置２００に送信する。
各種サービス処理部１１４は、サーバー装置１００が提供している各種サービスを実行するエンジンやサービスを実行する。例えば、各種サービス処理部１１４は、音声対話サービス等の対話型による入力を受けてＰＯＩ（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）となる地点や施設を提示するＰＯＩ検索のサービス等を実行する。
発話語蓄積部１１５は、音声認識部１１１からユーザー発話語(省略なし)と車両情報とを受信する。そして、受信した車両情報と、発話実績記憶部１３１に既に記憶されている共通する車両情報があれば対応付けて、ユーザー発話語（省略なし）を格納する。
通信部１２０は、インターネット等のネットワーク１５に接続される他の装置との通信を行う。すなわち、音声認識部１１１と、各種サービス処理部１１４と、が他の装置から受け付ける情報を受け付けるものであるといえる。また、省略語適用判定部１１２と、頻出発話語特定部１１３と、各種サービス処理部１１４と、が他の装置へ送信する情報を送信する。
以上が、サーバー装置１００の構成の概要である。なお、サーバー装置１００は、典型的には汎用計算機等であるが、これに限らず、パーソナルコンピューター装置、携帯電話端末、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、等の電子情報端末であってもよい。
図３は、本実施形態による音声入力補助装置２００および周辺機器３００の構成を示す図である。音声入力補助装置２００は、制御部２１０と、通信部２２０と、記憶部２３０と、周辺機器接続部２４０と、を含む。制御部２１０は、音声処理部２１１と、出力処理部２１２と、ソフトウェア実行制御部２１３と、希望度推定部２１４と、アプリ利用レベル管理部２１５と、頻出発話語提示部２１６と、車両情報取得部２１７と、並列実行部２１８と、を含む。記憶部２３０は、操作指示語記憶部２３１と、アプリ利用状態記憶部２３２と、省略語記憶部２３３と、を含む。
図６は、操作指示語記憶部２３１のデータ構造を示す図である。操作指示語記憶部２３１は、発話がなされた日時を特定する日時２３１ａと、発話がなされた際の車両の状態を特定する車両状態２３１ｂと、発話の対象となったアプリケーションソフトウェアを特定する指示対象アプリケーション２３１ｃと、発話された言語表現である発話情報２３１ｄと、を含む。
車両状態２３１ｂには、例えば、地域、車速、時刻帯、残燃料、車種、推奨経路等の経路誘導を実施中であるか否かを示す情報等の車両の情報が格納される。指示対象アプリケーション２３１ｃには、アプリケーションソフトウェアの種類を特定する情報が格納される。発話情報２３１ｄには、実際にユーザーが発話した言語表現がテキスト化されて格納される。
図７は、アプリ利用状態記憶部２３２のデータ構造を示す図である。アプリ利用状態記憶部２３２は、アプリケーション名２３２ａと、起動状態２３２ｂと、操作状況２３２ｃと、リソース利用状況２３２ｄと、画面表示状況２３２ｅと、アプリ利用レベル２３２ｆと、を含む。
アプリケーション名２３２ａには、音声入力補助装置２００あるいは接続されている周辺機器３００において利用可能なアプリケーションソフトウェアを特定する情報が格納される。起動状態２３２ｂには、アプリケーション名２３２ａにより特定されるアプリケーションソフトウェアが起動状態にあるか否かを特定する情報が格納される。
操作状況２３２ｃには、アプリケーション名２３２ａにより特定されるアプリケーションソフトウェアが操作状態にあるか否かを特定する情報が格納される。
リソース利用状況２３２ｄには、アプリケーション名２３２ａにより特定されるアプリケーションソフトウェアが利用しているリソースを特定する情報が格納される。例えば、リソースには、スピーカー、Ｂｌｕｅｔｏｏｔｈ（登録商標）の無線通信リソース等が含まれる。
画面表示状況２３２ｅには、アプリケーション名２３２ａにより特定されるアプリケーションソフトウェアの画面表示の状態を特定する情報が格納される。例えば、画面表示の状態には、画面が表示されている状態を示すフォアグラウンド（以下において、ＦＧと表記）、画面が表示されていない状態を示すバックグラウンド（以下において、ＢＧと表記）等が含まれる。
アプリ利用レベル２３２ｆには、アプリケーション名２３２ａにより特定されるアプリケーションソフトウェアの利用度合いを示す値であるアプリ利用レベルを特定する情報が格納される。例えば、アプリ利用レベルは、起動状態２３２ｂと、操作状況２３２ｃと、リソース利用状況２３２ｄと、画面表示状況２３２ｅと、の情報を用いて所定の計算式を適用して算出した値が格納される。なお、アプリ利用レベルの値は、アプリケーションごとに、当該アプリケーションがどの程度利用されている状況にあるのか、を示す指標であり、より頻繁に利用しているアプリケーションであればあるほど高い利用レベルにあるとする値である。そのため、その計算方法は上述のものに限られることは無く、上述の計算方法とは別の視点から別の基準値を用いて算出されるものであってもよいことは言うまでもない。
省略語記憶部２３３は、図５に示す省略語記憶部１３２のデータ構造と同様のデータ構造を備える。すなわち、省略語記憶部２３３には、アプリケーション名１３２ａと、通番１３２ｂと、指示語１３２ｃと、軽省略指示語１３２ｄと、重省略指示語１３２ｅと、が含まれる。操作指示語および省略語記憶部２３３のデータは、アプリケーションの追加または削除のタイミングで、これらアプリを操作するための操作指示語や省略語を追加または削除される。またこれに限られず、音声入力補助装置２００に当該データを編集するためのツールソフトウェアを搭載し、システム運用者またはユーザーの操作を受けて追加、更新または削除を行えるようにしても良い。あるいは、当該データは、ネットワーク１５を介して音声入力補助装置２００がサーバー装置１００などの外部のサーバー装置からダウンロードして取得しても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の外部記憶装置を介して取得しても良い。また、サーバー装置１００に含まれない省略語については、頻出発話語提示部２１６を介して、サーバー装置１００にアップロードして指示語と対応する省略語として追加させるようにすることも可能である。なお、操作指示語は、一般的に、省略度合が大きくなるほど、操作指示語間での省略語の重複が発生しやすくなることから、その追加に関しては重複を回避するよう複数の省略語の候補を生成して省略語を変更してアップロードする。
図３の説明に戻る。音声処理部２１１は、ユーザーが発話する音声を受け付ける。そして、音声処理部２１１は、車両情報取得部２１７から車両情報を受け取る。音声処理部２１１は、ユーザー発話音声と、省略語適用操作項目リストと、車両情報とを、サーバー装置１００の音声認識部１１１に送信する。なお、省略語適用操作項目リストは、希望度推定部２１４が生成した情報である。また、車両情報には、音声入力補助装置２００が備えられている車両が所在する地域(座標)、時間帯、車速、残燃料、車種、推奨経路等の経路誘導を実施中であるか否かを示す情報、等を含む車両の状態を示す情報である。
また、音声処理部２１１は、音声入力補助装置２００にマイクによる音声入力受け付け指示を受け付けるマイクスイッチが設けられている場合には、ユーザーによるマイクスイッチ押下を検出し、押下方法や押下位置の相違により、発話方法表示要求または発話準備要求または表示送り要求の、何れかの要求を検知する。
ここで、発話方法表示とは、音声操作を行うためにどのような発話を行えば良いかを示すことである。また、発話準備とは、発話音声を受け付ける処理を開始することである。また、表示送りとは、後述する「希望度上位の操作項目」に含まれる項目を変更することである。
出力処理部２１２は、ユーザーに対して開示する画面情報を生成する。特に、希望度推定部２１４から発話方法（省略語を含む）を受信し、ユーザーに提示するために画面情報を構成し出力させる。すなわち、出力処理部２１２は、希望度推定部２１４により希望すると推定される操作可能な操作について、希望の度合いに応じて省略の度合いを変えた表現により操作可能な項目として提示するものであるといえる。
ソフトウェア実行制御部２１３は、音声入力補助装置２００において動作しうるソフトウェアを動作させる。また、ソフトウェア実行制御部２１３は、動作したソフトウェアにより出力される情報を用いて、表示画面を生成する。
希望度推定部２１４は、後述する頻出発話語提示部２１６が提示する頻出発話のうち、頻繁に発話された複数の頻出発話語を取得し、発話回数の多寡に応じて希望度を推定する。また、希望度推定部２１４は、後述するアプリ利用レベル管理部２１５が算出するアプリ利用レベルが所定以上高い操作項目を取得し、アプリ利用レベルに応じて希望度を推定する。すなわち、希望度推定部２１４は、希望する操作項目とその度合いとを推定するといえる。また、希望度推定部２１４は、音声入力補助装置２００自らにおいて既に実行されている処理の希望の度合いを、実行されていない処理よりも高く推定するといえる。また、希望度推定部２１４は、音声入力補助装置２００自らにて既に実行されている処理および音声入力補助装置２００自らと接続されている他の装置のいずれかにおいて既に実行中の処理の前記希望の度合いをより高く推定するものであるともいえる。
ここで、希望度について説明する。希望度とは、ユーザーが指示を望むであろうと推定する際にその望みの強さの度合いを示す指標である。例えば、高速道路を走行中に、前方に長大な渋滞が発生している旨の情報を知ると、ユーザーは高速道路から離脱する経路を含めて回避経路の探索の指示を望む度合いが高いといえる。また例えば、音楽を聴いている状態では、音量の変更指示を望む度合いは、音楽を聴いていない状態よりも高いといえる。
ここで、アプリ利用レベルについて説明する。アプリ利用レベルとは、ユーザーが利用するアプリケーションの重要性の度合いを示す指標である。アプリ利用レベルは、各アプリケーションソフトウェアの、１）起動状況、２）ユーザ操作状況、３）リソース利用状況（マイク、スピーカ、通信路、等）、４）アプリケーション間の相対的な画面表示状況（ＦＧであるか、ＢＧであるか）を数値化したアプリ利用レベル指標を用いて所定の数式により算出する。当該数式は、四則演算などの演算規則、および、各アプリ利用レベル指標に対する重み付けパラメータ、などにより構成されるものであればよい。
アプリ利用レベルの算出に用いられる数式としては、具体的には、右辺に上述の１）から４）の少なくとも一つの指標を変数として有し、当該変数に前記数値を入力することで数式の左辺（アプリ利用レベルの点数）を得るものが挙げられる。例えば、各アプリケーションソフトウェアが起動状態にあれば所定の点数をアプリ利用レベルとして獲得し、これにユーザー操作状況、リソース利用状況、アプリケーション間の相対的な画面表示状況に応じた所定の点数を加算して最終的なアプリ利用レベルとして算出するものが挙げられる。
また、希望度推定部２１４は、推定した希望度が上位となる操作項目、および、当該操作項目の省略語を、上位の操作項目から降順にソートして省略語適用操作項目リストとして出力するべく特定する。
ここで、希望度の順位の決定方法としては、発話件数と、アプリ利用レベルに係る点数と、発話件数の偏差値と、アプリ利用レベルに係る点数の偏差値と、のいずれかまたはこれらの複合の値の大きさによって決定する方法が考えられる。
例えば、頻出発話語から抽出される操作項目と、アプリ利用レベルの算出結果から抽出される操作項目の双方が、希望度が上位の操作項目として抽出される場合がある。これらは、単一画面の内部の単一の表示窓の内部に同時に表示されるように出力情報が生成されても良いし、単一画面の内部の別々の表示窓の内部に同時に表示されるように出力情報が生成されても良い。あるいは、それぞれが別々の単一画面に異なるタイミングで（例えば、それぞれ、頻出発話語が抽出された際と、アプリ利用レベルが算出された際と、において）表示されるよう出力情報が生成されても良い。
アプリ利用レベル管理部２１５は、各アプリケーションから、アプリケーションの状態および上述のアプリ利用レベル指標を受信する。なお、アプリケーションの状態および上述のアプリ利用レベル指標の受信は、周期的に行われるものであってもよいし、周期的ではなく、マイクスイッチ押下などのイベントを契機としてもよい。また、アプリ利用レベル管理部２１５は、後述する周辺機器接続部２４０により生成される制御可能アプリリストを参照し、当該リストに制御可能なアプリケーションの名称または識別子が存在する場合は、周辺機器において当該アプリケーションが動作中であるとみなし、当該周辺機器において動作中のアプリケーションの状態と、アプリ利用レベル指標と、を受信する。
また、アプリ利用レベル管理部２１５は、アプリケーションの状態に基づき当該アプリケーションにおいて実施可能な操作項目を特定する。
頻出発話語提示部２１６は、車両の状態を示す情報に対応した頻出発話語および当該頻出発話語が発話された回数である件数を含む情報をサーバー装置１００から受信する。なお、頻出発話語とは、所定の車両状態において複数のユーザーが発話した発話語のうち、発話回数が上位となる発話語をいう。
車両情報取得部２１７は、音声入力補助装置２００が設けられた車両の車速や位置情報、残燃料、時刻帯等の情報を含む情報を関連するセンサー等の装置から取得する。
並列実行部２１８は、希望度推定部２１４の推定する希望度が上位の操作指示語のうち、可逆な処理すなわち実行により状態が変化せず、再実行を行っても矛盾の起きない処理を特定し、当該操作指示語を各アプリケーションに対して送信することで、アプリケーションの先行実行を並列的に制御する。
通信部２２０は、インターネット等のネットワーク１５に接続される他の装置との通信を行う。
周辺機器接続部２４０は、音声入力補助装置２００に接続される周辺機器３００との間の通信の確立、維持、および通信の放棄等を実施する。なお、周辺機器接続部２４０は、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ、ＮＦＣ等の近距離無線通信あるいはＵＳＢ、ＨＤＭＩ等の通信ケーブル等を介した有線通信により、周辺機器３００と通信し、接続する。また、周辺機器接続部２４０は、接続された周辺機器３００において実行されるアプリケーションソフトウェアが音声入力補助装置２００からの操作を受け付けるものである場合に、当該アプリケーションソフトウェアの名称等を取得するとともに操作項目を取得する。
以上が、音声入力補助装置２００の構成の概要である。なお、音声入力補助装置２００は、典型的には、車両に搭載されるナビゲーション装置であるが、これに限られず、モバイル機器、パーソナルコンピューター装置、携帯電話端末、タブレット端末、ＰＤＡ、等の電子情報端末であってもよい。
周辺機器３００は、制御部３１０と、周辺機器接続部３４０と、を含む。制御部３１０は、入力受付部３１１と、出力処理部３１２と、情報端末通信部３１３と、アプリ管理部３１４と、を含む。
入力受付部３１１は、周辺機器３００に備えられている画面に設けられたタッチパネルから伝えられるポイント情報のうち、押した、離した、移動したなどの画面操作に関連する情報を受け付ける。
出力処理部３１２は、音声入力補助装置２００および周辺機器３００にて動作するソフトウェアに関連する画面の表示を行う。情報端末通信部３１３は、音声入力補助装置２００との間で情報の授受を行う。
アプリ管理部３１４は、周辺機器３００において動作しうるソフトウェアを動作させる。また、アプリ管理部３１４は、動作したソフトウェアにより出力される情報を用いて、表示画面を生成する。また、アプリ管理部３１４は、周辺機器接続部３４０を介して接続される音声入力補助装置２００に対して、周辺機器３００で実行されるアプリケーションソフトウェアの名称と、音声入力補助装置２００において操作を受け付けることが可能な操作項目と、を出力する。
周辺機器接続部３４０は、周辺機器３００に接続される音声入力補助装置２００との間の通信の確立、維持、および通信の放棄等を実施する。なお、周辺機器接続部３４０は、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ、ＮＦＣ等の近距離無線通信あるいはＵＳＢ、ＨＤＭＩ等の通信ケーブル等を介した有線通信により、音声入力補助装置２００と通信し、接続する。また、周辺機器接続部３４０は、接続された音声入力補助装置２００に対して、周辺機器３００で実行されるアプリケーションソフトウェアが音声入力補助装置２００からの操作を受け付けるものである場合に、当該アプリケーションソフトウェアの名称、操作項目等を受け渡す。
以上が、周辺機器３００の構成の概要である。なお、周辺機器３００は、典型的には携帯電話端末であるが、これに限らず、ナビゲーション装置、パーソナルコンピューター装置、携帯電話端末、タブレット端末、ＰＤＡ、等の電子情報端末であってもよい。
図８は、音声入力補助システム１を構成する各機器のハードウェア構成を示す図である。サーバー装置１００は、ディスプレイ等の出力装置１５１、ネットワークカード等の通信装置１５２、キーボード等の入力装置１５３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）１５４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の補助記憶装置１５５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５６を含んで構成される。
出力装置１５１は、ディスプレイ等の表示装置であり、ＣＰＵ１５４による処理の結果を表示する。通信装置１５２は、インターネット等のネットワーク１５に接続され、ネットワーク１５に接続される他の装置と各種データのやりとりを行う。
入力装置１５３は、タッチパネル、キーボード、マウス等であり、ユーザーからの指示を受け付ける。
ＣＰＵ１５４は、ＲＡＭ１５６上にロードされるプログラムに従い演算を行う制御ユニットである。
補助記憶装置１５５は、プログラムで利用する各種データを記憶する記憶装置である。
ＲＡＭ１５６は、補助記憶装置１５５に記憶されているプログラムをロードする記憶装置である。また、ＲＡＭ１５６は、データを一時的に保存する。
上記したサーバー装置１００の制御部１１０は、ＣＰＵ１５４に処理を行わせるプログラムによって実現される。このプログラムは、補助記憶装置１５５に記憶され、実行にあたってＲＡＭ１５６上にロードされ、ＣＰＵ１５４により実行される。
また、通信部１２０は、通信装置１５２により実現される。記憶部１３０は、補助記憶装置１５５あるいはＲＡＭ１５６により実現される。
以上が、本実施形態におけるサーバー装置１００のハードウェア構成例である。しかし、これに限らず、その他の同様のハードウェアを用いて構成されるものであってもよい。
音声入力補助装置２００は、表示装置２５１と、ＲＯＭ２５２と、操作装置２５３と、ＲＡＭ２５４と、補助記憶装置２５５と、機器間通信インターフェース２５６と、測位センサ２５７と、ＣＰＵ２５８と、ジャイロセンサ２５９と、加速度センサ２６０と、通信装置２６１と、車両間インターフェース２６２と、を含んで構成される。
表示装置２５１は、液晶ディスプレイや有機ＥＬディスプレイ等、画像情報を表示する装置である。
ＲＯＭ２５２は、制御プログラムなどが書かれた読み出し専用の記憶装置である。
操作装置２５３は、音声入力補助装置２００を指の接触動作等により操作するボタン、スイッチ、キーボード、タッチパネル等のユーザーからの操作を受け付ける装置である。
ＲＡＭ２５４は、補助記憶装置２５５に記憶されているプログラムをロードしデータを一時的に保存する記憶装置である。
補助記憶装置２５５は、ソフトウェアで利用する各種データを記憶する記憶装置である。
機器間通信インターフェース２５６は、周辺機器３００と接続し、データを送受信する。なお、機器間通信インターフェース２５６が備える接続方式は、ＵＳＢやＨＤＭＩ等の規格に準拠した有線接続であってもよいし、無線ＬＡＮのIEEE 802.11a/b/g/n/acやＢｌｕｅｔｏｏｔｈ等の規格に準拠した無線接続であってもよい。
測位センサ２５７は、位置を特定し、緯度、経度による座標系で出力するセンサである。
ＣＰＵ２５８は、音声入力補助装置２００の各部を制御し、ＲＡＭ２５４上にロードされるプログラムに従い演算を行う制御ユニットである。
ジャイロセンサ２５９は、音声入力補助装置２００が設けられている車両の水平方向の角度や角速度を計測するためのセンサである。
加速度センサ２６０は、音声入力補助装置２００が設けられている車両にかかる多軸の加速度を計測するためのセンサである。
通信装置２６１は、無線通信回線網を利用してインターネット等のネットワーク１５に接続し、ネットワーク１５に接続される装置と各種のデータの送受信を行う。
車両間インターフェース２６２は、車両信号線を接続するためのインターフェースであり、車両走行状態や内部状態（例えば、車速、残燃料、位置、時刻帯を含む情報）を取り込むことができる。または、車両間インターフェース２６２は、車両内のネットワークであるＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と接続し、車両の車速情報等の制御情報を送受信するものであってもよい。
上記した音声入力補助装置２００の制御部２１０は、ＣＰＵ２５８に処理を行わせるプログラムによって実現される。このプログラムは、補助記憶装置２５５に記憶され、実行にあたってＲＡＭ２５４上にロードされ、ＣＰＵ２５８により実行される。
また、通信部２２０は、通信装置２６１により実現される。記憶部２３０は、補助記憶装置２５５あるいはＲＡＭ２５４により実現される。また、周辺機器接続部２４０は、機器間通信インターフェース２５６により実現される。
以上が、本実施形態における音声入力補助装置２００のハードウェア構成例である。しかし、これに限らず、その他の同様のハードウェアを用いて構成されるものであってもよい。
周辺機器３００は、表示装置３５１と、ＲＯＭ３５２と、操作装置３５３と、ＲＡＭ３５４と、補助記憶装置３５５と、機器間通信インターフェース３５６と、ＣＰＵ３５７と、通信装置３５８と、を含んで構成される。
表示装置３５１は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等、画像情報を表示する装置である。
ＲＯＭ３５２は、制御プログラムなどが書かれた読み出し専用の記憶装置である。
操作装置３５３は、周辺機器３００を指の接触動作等により操作するボタン、スイッチ、キーボード、タッチパネル等のユーザーからの操作を受け付ける装置である。
ＲＡＭ３５４は、補助記憶装置３５５に記憶されているプログラムをロードしデータを一時的に保存する記憶装置である。
補助記憶装置３５５は、ソフトウェアで利用する各種データを記憶する記憶装置である。
機器間通信インターフェース３５６は、音声入力補助装置２００と接続し、データを送受信する。なお、機器間通信インターフェース３５６が備える接続方式は、ＵＳＢやＨＤＭＩ等の規格に準拠した有線接続であってもよいし、無線ＬＡＮのIEEE 802.11a/b/g/n/acやＢｌｕｅｔｏｏｔｈ等の規格に準拠した無線接続であってもよい。
ＣＰＵ３５７は、周辺機器３００の各部を制御し、ＲＡＭ３５４上にロードされるプログラムに従い演算を行う制御ユニットである。
通信装置３５８は、無線通信回線網を利用してインターネット等のネットワーク１５に接続し、ネットワーク１５に接続される装置と各種のデータの送受信を行う。
上記した周辺機器３００の制御部３１０は、ＣＰＵ３５７に処理を行わせるプログラムによって実現される。このプログラムは、補助記憶装置３５５に記憶され、実行にあたってＲＡＭ３５４上にロードされ、ＣＰＵ３５７により実行される。
また、周辺機器接続部３４０は、機器間通信インターフェース３５６により実現される。
以上が、本実施形態における周辺機器３００のハードウェア構成例である。しかし、これに限らず、その他の同様のハードウェアを用いて構成されるものであってもよい。
［動作の説明］次に、本実施形態における希望度推定処理における動作を、図９を用いて説明する。
図９は、希望度推定処理の処理内容を示す図である。希望度推定処理は、音声入力補助装置２００および周辺機器３００がサーバー装置１００に接続されると、実施される。なお、希望度推定処理は、周辺機器３００が接続されるか否かに関わらず実施され、その場合においては音声入力補助装置２００は周辺機器３００から情報を得ることができないことについてのエラーの発生を、無視しうるものとする。
まず、ソフトウェア実行制御部２１３は、アプリ利用レベル管理部２１５に対して、アプリ利用状況情報を送信する（ステップＳ００１）。具体的には、ソフトウェア実行制御部２１３は、実行中のアプリケーションソフトウェアの名称と、起動状態と、操作状況と、リソース利用状況と、画面表示状況と、をアプリ利用レベル管理部２１５に送信する。この処理は、任意のタイミングで実行するものとし、例えば周期的に実行するものであってもよいし、所定のイベントが発生した場合に実行するものとしてもよい。
また、周辺機器３００のアプリ管理部３１４は、周辺機器３００が音声入力補助装置２００に接続している場合には、アプリ利用状況情報を送信する（ステップＳ００２）。具体的には、アプリ管理部３１４は、周辺機器３００で実行中のアプリケーションソフトウェアの名称と、起動状態と、操作状況と、リソース利用状況と、画面表示状況と、をアプリ利用レベル管理部２１５に送信する。この処理は、任意のタイミングで実行するものとし、例えば周期的に実行するものであってもよいし、所定のイベントが発生した場合に実行するものとしてもよい。
そして、アプリ利用レベル管理部２１５は、アプリ利用レベルを特定する（ステップＳ００３）。具体的には、アプリ利用レベル管理部２１５は、ステップＳ００１およびステップＳ００２において送信されたアプリ利用状況情報を用いて、各アプリケーションソフトウェアごとに利用レベルを特定する。当該アプリ利用レベルの特定処理においては、アプリ利用レベル管理部２１５は、上述のアプリ利用レベル指標の情報に応じた点数の合算を行うことにより、アプリ利用レベルを算出し特定する。
そして、希望度推定部２１４は、所定のタイミングでアプリ利用レベル管理部２１５に対して、アプリ利用レベルを要求する（ステップＳ００４）。当該タイミングは、例えば定期的なものであってもよいし、所定のスケジュールに従ったものであってもよいし、所定のイベント発生に応じるものであってもよい。
アプリ利用レベル管理部２１５は、ステップＳ００４のアプリ利用レベル要求を受け付けると、アプリ利用レベルを送信する（ステップＳ００５）。具体的には、アプリ利用レベル管理部２１５は、希望度推定部２１４に対して、ステップＳ００３により特定したアプリ利用レベルと、アプリケーションソフトウェアの名称と、を対応付けた情報を送信する。
そして、希望度推定部２１４は、所定のタイミングで頻出発話語提示部２１６に対して、頻出発話語を要求する（ステップＳ００６）。当該タイミングは、例えば定期的なものであってもよいし、所定のスケジュールに従ったものであってもよいし、所定のイベント発生に応じるものであってもよい。
頻出発話語提示部２１６は、所定のタイミングで頻出発話語提示部２１６に対して車両情報取得部２１７から送信される（後述するステップＳ００９）車両情報を用いて、頻出発話語を取得し送信する（ステップＳ００７）。具体的には、頻出発話語提示部２１６は、車両情報の各情報が類似する状況においてなされた発話とその件数とを特定し、希望度推定部２１４へ送信する。なお、頻出発話とその件数の特定処理においては、頻出発話語提示部２１６は、地域、時刻帯、残燃料、車速、車種、推奨経路等の経路誘導を実施中であるか否かを示す情報、等の車両情報をサーバー装置１００の頻出発話語特定部１１３へ送信し、返信される発話語と、発話の件数と、を取得する。そして、頻出発話語提示部２１６は、取得した発話語と、発話の件数と、を希望度推定部２１４へ送信する。すなわち、希望度推定部２１４は、音声入力補助装置２００が搭載される車両の状態と、他の車両の状態と、が類似する状態において発話された実績を用いて希望の度合いを推定するものであるといえる。
そして、希望度推定部２１４は、アプリ利用レベルの高いアプリの発話を頻出発話語から抽出する（ステップＳ００８）。具体的には、希望度推定部２１４は、ステップＳ００７において取得した頻出発話語のうち、アプリ利用レベルが高いアプリケーションソフトウェアに係る頻出発話語を抽出し、ユーザーに示すための画面情報を生成する。
車両情報取得部２１７は、これらの希望度推定処理と同期するタイミングあるいは自律したタイミングで、車両情報を頻出発話語提示部２１６へ送信する（ステップＳ００９）。
以上が、希望度推定処理のフローである。希望度推定処理によれば、車両状況が似ている状況において頻繁に発話されたアプリケーションソフトウェアの指示語のうち、アプリケーションソフトウェアの利用の重要性の高いものを抽出してユーザーに提示することができる。これにより、ユーザーの指示をコンテキストに応じて先行的に推測することが可能となるといえる。
図１０は、省略語提示処理の処理フローを示す図である。省略語提示処理は、希望度が上位の操作の発話語を、発話指示を受けるより前に並列して実行する。これにより、指示を受けてから開始するよりも早い結果の取得が可能となり、ユーザーに対する見かけ上の応答速度を得ることができる。あるいは、希望度が上位となった操作項目が変化した事象を契機として、省略語提示処理の実行を行うようにしても良い。
まず、並列実行部２１８は、希望度が上位の操作の発話語を希望度推定部２１４に要求する（ステップＳ１０１）。そして、希望度推定部２１４は、希望度推定処理のステップＳ００８において抽出した希望度が上位の操作の発話語を並列実行部２１８へ送信する（ステップＳ１０２）。
並列実行部２１８は、頻出発話語実行指示をソフトウェア実行制御部２１３へ送信する（ステップＳ１０３）。具体的には、並列実行部２１８は、ステップＳ１０２において受信した希望度が上位の操作の発話語の所定数について、ソフトウェア実行制御部２１３へ実行指示を行う。なお、当該処理においては、並列実行部２１８は、取消可能な処理、すなわち検索や参照等のデータ変更を伴わない処理の実行を指示し、取消不可能な処理、すなわち更新や削除等のデータ変更を伴う処理の実行については除外する。
ソフトウェア実行制御部２１３は、アプリケーションソフトウェアを実行し、結果を保持する（ステップＳ１０４）。具体的には、ソフトウェア実行制御部２１３は、並列実行部２１８により実行を指示された頻出発話語に係るソフトウェアの操作を実行し、結果をキャッシュする。そして、以降において、同内容の実行指示に関して当該キャッシュした結果を処理結果として受け渡す。
また、希望度推定部２１４は、発話方法表示要求を受信する（ステップＳ１０５）。当該要求の受信は、例えばマイクスイッチの所定の操作ボタンの押下等を検出した音声入力補助装置２００の図示しないオペレーティングシステム等により送信される。
そして、希望度推定部２１４は、希望度に応じた省略語を適用し送信する（ステップＳ１０６）。具体的には、希望度推定部２１４は、希望度が上位の操作の発話語のそれぞれについて、希望度が上位の操作の発話については省略の度合いを大きくした省略語を特定して省略語として適用し、並列実行部２１８へ送信する。
そして、並列実行部２１８は、省略語の選択表示出力指示を行う（ステップＳ１０７）。具体的には、並列実行部は２１８は、ステップＳ１０６において送信された省略語について、ユーザーが省略語を理解可能かつ発話可能なように画面構成を行う。なお、並列実行部２１８は、構成する画面上に、少なくとも、省略語と、省略語がどのアプリケーションソフトウェアの操作指示語の省略であるのかを示す情報と、を含ませる。そして、構成した画面情報を出力処理部２１２へ送信する。
出力処理部２１２は、省略語と対象アプリケーションソフトウェアとを表示させる（ステップＳ１０８）。具体的には、出力処理部２１２は、ステップＳ１０７において送信された画面情報を表示させる。なお、出力処理部２１２は、操作可能な項目が、他の操作可能な項目と同一表現となる場合には、省略の度合いを変更して表現を相違させ、相違点を強調（例えば、下線を表示する等）するよう表現する。
以上が、省略語提示処理のフローである。省略語提示処理によれば、希望度が高い操作であればあるほど省略の度合いが大きい省略語をユーザーに提示することが可能となる。そのため、ユーザーは省略語を発話することで端的に操作指示をおこなうことが可能となる。
図１１は、音声認識省略語表示画面の例を示す図である。音声認識省略語表示画面５００においては、希望度が高い順に操作指示語の省略語と、アプリケーションソフトウェアの種類を示す補助情報とが対応付けられて、複数表示される。例えば、画面の向かって左側の列に、鉛直下方向に向かって、「音量大」表示欄５１１と、「案内音量大」表示欄５１２と、「キーワードで絞り込む」表示欄５１３と、が表示される。また、各表示欄の文字の大きさは、希望度が高いほど大きい文字で強調表示される。また、希望度が高いほど省略の度合いが高く、希望度が最も高い「音量大」表示欄５１１には、重省略された操作指示語が記載され、続いて「案内音量大」表示欄５１２には、軽省略された操作指示語が記載され、「キーワードで絞り込む」表示欄５１３には、省略のない操作指示語が記載されるものとする。また、それぞれ画面の向かって右側の列には、「音量大」表示欄５１１と、「案内音量大」表示欄５１２と、「キーワードで絞り込む」表示欄５１３と、に対応付けられて「音楽」、「ナビ」、「ＰＯＩ検索」の補助情報５２１、５２２、５２３のそれぞれが表示される。これは、「音量大」表示欄５１１には、「音楽」機能に関する操作指示が記載されていることを示すものである。同様に、「案内音量大」表示欄５１２には、「ナビ」機能に関する操作指示が記載されていることを示すものである。また、「キーワードで絞り込む」表示欄５１３には、「ＰＯＩ検索」機能に関する操作指示が記載されていることを示すものである。
図１２は、音声認識処理の処理フローを示す図である。音声認識処理は、ユーザーからマイクスイッチ等による音声入力指示がなされると、開始される。
音声処理部２１１は、音声指示を、サーバー装置１００の音声認識部１１１へ送信する（ステップＳ２０１）。
そして、音声認識部１１１は、送信された音声指示を解析して音声テキスト変換を行う（ステップＳ２０２）。そして、音声認識部１１１は、変換結果を省略語適用判定部１１２へ送信する。
省略語適用判定部１１２は、送信された音声テキスト変換結果であるテキスト情報を受け付けると、指示語を特定する（ステップＳ２０３）。具体的には、省略語適用判定部１１２は、省略語記憶部１３２を参照して、発話された省略語がいずれの操作指示語に係るものであるか特定する。そして、省略語適用判定部１１２は、特定した指示語を音声入力補助装置２００の音声処理部２１１へ送信する。
音声処理部２１１は、対象アプリ実行指示を行う(ステップＳ２０４)。具体的には、ソフトウェア実行制御部２１３に対して、指示語により操作するアプリケーションソフトウェアとその操作指示とを実行させる。
ソフトウェア実行制御部２１３は、指示された操作について実行済み結果が有るか否かを判定する（ステップＳ２０５）。具体的には、ソフトウェア実行制御部２１３は、省略語提示処理のステップＳ１０４において実行したキャッシュが存在するか否かを判定する。
実行済み結果が有る場合（ステップＳ２０５にて「Ｙｅｓ」の場合）には、ソフトウェア実行制御部２１３は結果の引き当てを行う（ステップＳ２０６）。
実行済み結果が無い場合（ステップＳ２０５にて「Ｎｏ」の場合）には、ソフトウェア実行制御部２１３は、アプリケーションソフトウェアを実行する（ステップＳ２０７）。具体的には、ソフトウェア実行制御部２１３は、ステップＳ２０４において実行を指示されたアプリケーションソフトウェアの操作を実行し結果を得る。なお、実行対象の操作が、起動していないアプリケーションソフトウェア上の操作である場合には、ソフトウェア実行制御部２１３は、アプリケーションソフトウェアの起動を行って、当該操作を実行するものとしてもよいし、アプリケーションソフトウェアの起動を終了させる操作の場合には、アプリケーションソフトウェアに対して実行中の処理を終了するよう指示を与えるものとする。
そして、ソフトウェア実行制御部２１３は、結果の出力構成を行う（ステップＳ２０８）。具体的にはソフトウェア実行制御部２１３は、アプリケーションソフトウェアの実行の結果得られる出力情報を用いて、結果の出力情報として出力処理部２１２へ受け渡す。
出力処理部２１２は、構成された出力情報の出力を行う（ステップＳ２０９）。具体的には、出力処理部２１２は、ステップＳ２０８において構成された出力画面の出力を行う。
以上が、音声認識処理の処理フローである。音声認識処理によれば、音声操作を省略語で行った場合であっても、正しく操作を行うことが可能となる。また、先行で発話前に並列実行した結果が存在する場合には、その結果を得ることで応答性を高めることができる。
以上、第一の実施形態について説明した。第一の実施形態によれば、希望すると推定される操作項目ほど短く省略した言葉によって操作可能とすることができる。
第一の実施形態では、省略語適用判定部１１２、音声認識部１１１および省略語記憶部１３２は、サーバー装置１００に設けられているが、本発明は、これに限られない。例えば、音声入力補助装置２００に設けられる構成となっていてもよい。
また、希望度推定処理において、アプリ利用レベルの高いアプリの発話を頻出発話語から抽出し出力する処理をステップＳ００８において実施しているが、これに限られない。例えば、アプリ利用レベルの高いアプリの発話語と、頻出発話語として抽出した発話語とを、希望度の高い順から重複を考慮せず羅列するようにしてもよい。例えば、アプリ利用レベルの高いアプリの発話のうち希望度が高い発話語と、頻出発話語のうち希望度が高い発話語とが混在するように表示するようにしてもよい。
図１３は、音声認識表示画面の例を示す図である。音声認識表示画面６００は、このような希望度の高い順から重複を考慮せず羅列する出力例である。音声認識表示画面６００においては、希望度が高い順に操作指示語と、アプリケーションソフトウェアの種類を示す補助情報とが対応付けられて、複数表示される。例えば、画面の向かって左側の列に、鉛直下方向に向かって、「音楽の音量を大きくする」操作表示欄６１１と、「音楽を停止する」操作表示欄６１２と、「案内の音量を大きくする」操作表示欄６１３と、「音楽の音量を大きくする」操作表示欄６１４と、「キーワードで絞り込む」操作表示欄６１５と、が表示される。また、「音楽の音量を大きくする」操作表示欄６１１には、頻出発話語の希望度が最大となる操作指示語が記載され、「音楽を停止する」操作表示欄６１２には、アプリ利用レベルが最大となる操作指示語が記載される。同様に、「案内の音量を大きくする」操作表示欄６１３には、頻出発話語の希望度が次点となる操作指示語が記載され、「音楽の音量を大きくする」操作表示欄６１４には、アプリ利用レベルが次点となる操作指示語が記載される。また、「キーワードで絞り込む」操作表示欄６１５には、頻出発話語の希望度が三番目となる操作指示語が記載される。
また、音声認識表示画面６００においては、それぞれ画面の向かって右側の列には、「音楽」、「音楽」「ナビ」、「外部音楽」、「ＰＯＩ検索」の補助情報６２１、６２２、６２３、６２４、６２５のそれぞれが表示される。
また、発話実績記憶部１３１には、どのようなアプリケーションソフトウェアに対しても存在する多義の操作については、予めブラックリストによる登録排除がなされるようにしてもよい。例えば、ページ送り操作の「次」、「戻る」、「次の候補」「（選択肢を選ぶ）３番」等の操作は、多くのソフトウェアに共通する操作であり、実質的に何の操作を行ったのかを特定する操作語としては妥当性が高いといえない。そのため、このような操作語は、発話実績に含まれないように予め除外して登録する処理部を備えるようにしてもよい。このようにすることで、蓄積される発話の質が向上し、より適切に頻出発話語を特定可能となる。
なお、上述した第一の実施形態にかかる制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えても良い。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。
以上、本発明について、実施形態を中心に説明した。
１・・・音声入力補助システム、１０・・・ユーザー、１５・・・ネットワーク、１００・・・サーバー装置、１１０・・・制御部、１１１・・・音声認識部、１１２・・省略語適用判定部、１１３・・・頻出発話語特定部、１１４・・・各種サービス処理部、１１５・・・発話語蓄積部、１２０・・・通信部、１３０・・・記憶部、１３１・・・発話実績記憶部、１３２・・・省略語記憶部、１３３・・・音声認識情報記憶部、２００・・・音声入力補助装置、２１０・・・制御部、２１１・・・音声処理部、２１２・・・出力処理部、２１３・・・ソフトウェア実行制御部、２１４・・・希望度推定部、２１５・・・アプリ利用レベル管理部、２１６・・・頻出発話語提示部、２１７・・・車両情報取得部、２１８・・・並列実行部、２２０・・・通信部、２３０・・・記憶部、２３１・・・操作指示語記憶部、２３２・・・アプリ利用状態記憶部、２３３・・・省略語記憶部、２４０・・・周辺機器接続部、３００・・・周辺機器、３１０・・・制御部、３１１・・・入力受付部、３１２・・・出力処理部、３１３・・・情報端末通信部、３１４・・・アプリ管理部、３４０・・・周辺機器接続部

Claims (12)

  1. 操作項目と、前記操作項目の希望する度合いに応じた省略語と、を対応付けて記憶する省略語記憶部と、
    所定の指標を用いて、前記操作項目ごとの希望する度合いを推定し、前記希望する度合いに応じて前記省略語記憶部から省略語を特定する希望度推定部と、
    前記希望度推定部により特定された省略語を提示する出力処理部と、
    省略された前記操作項目に係る音声入力を受け付けると、対応する前記操作項目に係る操作を特定する省略語適用判定部と、
    を備えることを特徴とする音声入力補助装置。
  2. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部は、前記音声入力補助装置が搭載される車両の状態を収集し、収集した前記車両の状態と類似する状態において他の車両にてなされた発話実績を用いて前記希望の度合いを推定する、
    ことを特徴とする音声入力補助装置。
  3. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部は、前記音声入力補助装置が搭載される車両の状態を収集し、収集した前記車両の状態と類似する状態において他の車両にてなされた発話実績を用いて前記希望の度合いを推定し、
    前記車両の状態として、地域、時間帯、車速、残燃料、車種、経路誘導を実施中であるか否かを示す情報、のうち少なくともいずれか一つの指標を用いて類似を判定する、
    ことを特徴とする音声入力補助装置。
  4. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部は、前記音声入力補助装置にて利用度の高い処理に関する前記希望の度合いをより高く推定する、
    ことを特徴とする音声入力補助装置。
  5. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部は、前記音声入力補助装置および前記音声入力補助装置と接続されている装置のいずれかにおいて利用度の高い処理に関する前記希望の度合いをより高く推定する、
    ことを特徴とする音声入力補助装置。
  6. 請求項４または５に記載の音声入力補助装置であって、
    前記利用度の高い処理の算出にあたり、各処理について、起動状況、ユーザーによる操作状況、リソース利用状況、相対的な画面表示状況、のうち少なくともいずれか一つの指標により前記利用度を特定する、
    ことを特徴とする音声入力補助装置。
  7. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部は、より強く希望されると推定される前記操作項目については、より省略の度合いを高くする、
    ことを特徴とする音声入力補助装置。
  8. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部は、希望されると推定される前記操作項目については、前記操作項目の名称から少なくとも名詞または動詞を抽出して省略語とする、
    ことを特徴とする音声入力補助装置。
  9. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部は、前記操作項目の省略語を提示する処理において、他の操作項目の省略語と同一表現となる場合には、一方の操作項目の省略の度合いを変更して表現を相違させ、前記省略語とともに相違点の強調表現を特定する、
    ことを特徴とする音声入力補助装置。
  10. 請求項１に記載の音声入力補助装置であって、
    前記希望度推定部により希望すると推定される操作項目に係る操作のいずれかについて、操作指示を受け付けなくとも予め実行する並列実行部、
    を備えることを特徴とする音声入力補助装置。
  11. サーバー装置と、前記サーバー装置と通信可能に接続される音声入力補助装置を含む音声入力補助システムであって、
    前記サーバー装置は、
    前記音声入力補助装置が属する車両の状態と対応付けて発話情報の実績を格納する発話実績記憶部と、
    前記音声入力補助装置から、前記音声入力補助装置が属する車両の状態を示す情報とともに発話情報を取得して前記発話実績記憶部に蓄積する発話語蓄積部と、
    前記音声入力補助装置から車両の状態を示す情報を受け付けると、前記車両の状態に対応付けられた発話頻度の高い発話情報を前記発話実績記憶部から抽出して前記音声入力補助装置へ送信する頻出発話語特定部と、
    を備え、
    前記音声入力補助装置は、
    操作項目と、前記操作項目の希望する度合いに応じた省略語と、を対応付けて記憶する省略語記憶部と、
    前記サーバー装置に対して前記車両の状態を示す情報を送信し、前記サーバー装置から送信された前記発話頻度の高い発話情報および発話頻度を、それぞれ希望する操作項目とその希望する度合いとして推定し、前記希望する度合いに応じて前記省略語記憶部から省略語を特定する希望度推定部と、
    前記希望度推定部により特定された省略語を提示する出力処理部と、
    を備える、
    ことを特徴とする音声入力補助システム。
  12. 音声入力補助装置を用いた音声入力方法であって、
    前記音声入力補助装置は、操作項目と、前記操作項目の希望する度合いに応じた省略語と、を対応付けて記憶する省略語記憶部と、制御部と、を備え、
    前記制御部は、
    所定の指標を用いて、前記操作項目ごとの希望する度合いを推定し、前記希望する度合いに応じて前記省略語記憶部から省略語を特定する希望度推定ステップと、
    前記希望度推定ステップにより特定された省略語を提示する出力処理ステップと、
    省略された前記操作項目に係る音声入力を受け付けると、対応する前記操作項目に係る操作を特定する省略語適用判定ステップと、
    を実施することを特徴とする音声入力方法。
JP2014251442A 2014-12-12 2014-12-12 音声入力補助装置、音声入力補助システムおよび音声入力方法 Expired - Fee Related JP6348831B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014251442A JP6348831B2 (ja) 2014-12-12 2014-12-12 音声入力補助装置、音声入力補助システムおよび音声入力方法
US15/533,867 US20170323641A1 (en) 2014-12-12 2015-10-06 Voice input assistance device, voice input assistance system, and voice input method
EP15868173.4A EP3232160A4 (en) 2014-12-12 2015-10-06 Voice input assistance device, voice input assistance system, and voice input method
PCT/JP2015/078339 WO2016092946A1 (ja) 2014-12-12 2015-10-06 音声入力補助装置、音声入力補助システムおよび音声入力方法
CN201580057276.6A CN107148555A (zh) 2014-12-12 2015-10-06 声音输入辅助装置、声音输入辅助***及声音输入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014251442A JP6348831B2 (ja) 2014-12-12 2014-12-12 音声入力補助装置、音声入力補助システムおよび音声入力方法

Publications (2)

Publication Number Publication Date
JP2016114395A JP2016114395A (ja) 2016-06-23
JP6348831B2 true JP6348831B2 (ja) 2018-06-27

Family

ID=56107141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014251442A Expired - Fee Related JP6348831B2 (ja) 2014-12-12 2014-12-12 音声入力補助装置、音声入力補助システムおよび音声入力方法

Country Status (5)

Country Link
US (1) US20170323641A1 (ja)
EP (1) EP3232160A4 (ja)
JP (1) JP6348831B2 (ja)
CN (1) CN107148555A (ja)
WO (1) WO2016092946A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276395B1 (en) * 2017-03-10 2022-03-15 Amazon Technologies, Inc. Voice-based parameter assignment for voice-capturing devices
JP6819383B2 (ja) * 2017-03-17 2021-01-27 ヤマハ株式会社 制御方法及び制御装置
KR102419728B1 (ko) * 2017-05-30 2022-07-13 현대자동차주식회사 상황 기반 동작 결정 시스템, 상황 기반으로 결정된 동작을 수행 가능한 차량 및 상황 기반 동작 결정 방법
US11205421B2 (en) * 2017-07-28 2021-12-21 Cerence Operating Company Selection system and method
JP6826324B2 (ja) * 2017-09-27 2021-02-03 トヨタ自動車株式会社 サービス提供装置及びサービス提供プログラム
CN109840062B (zh) * 2017-11-28 2022-10-28 株式会社东芝 输入辅助装置以及记录介质
CN108022586B (zh) * 2017-11-30 2019-10-18 百度在线网络技术（北京）有限公司 用于控制页面的方法和装置
JP6962158B2 (ja) 2017-12-01 2021-11-05 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
US10664522B2 (en) * 2017-12-07 2020-05-26 International Business Machines Corporation Interactive voice based assistant for object assistance
KR102485342B1 (ko) * 2017-12-11 2023-01-05 현대자동차주식회사 차량의 환경에 기반한 추천 신뢰도 판단 장치 및 방법
JP7044633B2 (ja) * 2017-12-28 2022-03-30 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法
JP7069730B2 (ja) * 2018-01-11 2022-05-18 トヨタ自動車株式会社 情報処理装置、方法、及びプログラム
JP7239963B2 (ja) * 2018-04-07 2023-03-15 ナレルシステム株式会社 グループ音声通信と過去音声確認のためのコンピュータプログラム、方法及び装置
JP7091807B2 (ja) * 2018-04-23 2022-06-28 トヨタ自動車株式会社 情報提供システムおよび情報提供方法
JP2021139920A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 音声処理装置および音声処理方法
JP2020071764A (ja) * 2018-11-01 2020-05-07 東芝テック株式会社 指示管理装置及びその制御プログラム
KR20200067673A (ko) * 2018-12-04 2020-06-12 (주)이더블유비엠 공유 ai 스피커
WO2020213245A1 (ja) * 2019-04-16 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10999374B2 (en) * 2019-04-26 2021-05-04 Samsara Inc. Event detection system
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
JP7264071B2 (ja) * 2020-01-23 2023-04-25 トヨタ自動車株式会社 情報処理システム、情報処理装置、及びプログラム
US20220415321A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device mounted in vehicle, and method of operating the same

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0781498A (ja) * 1993-09-20 1995-03-28 Mitsubishi Electric Corp 車両用走行制御装置
JP4155383B2 (ja) * 2001-03-05 2008-09-24 アルパイン株式会社 音声認識機器操作装置
JP2003167895A (ja) * 2001-11-30 2003-06-13 Denso Corp 情報検索システム、サーバおよび車載端末
JP2006011002A (ja) * 2004-06-25 2006-01-12 Advanced Telecommunication Research Institute International 音声応答装置、音声応答方法および音声応答プログラム
JP2006107148A (ja) * 2004-10-06 2006-04-20 Hitachi Ltd 音声情報提供装置
EP1884421B1 (en) * 2006-08-04 2008-10-08 Harman Becker Automotive Systems GmbH Method and system for processing voice commands in a vehicle enviroment
WO2010051542A2 (en) * 2008-10-31 2010-05-06 Melodis Corporation Melodis crystal decoder method and device
US8224653B2 (en) * 2008-12-19 2012-07-17 Honeywell International Inc. Method and system for operating a vehicular electronic system with categorized voice commands
JP5620814B2 (ja) * 2010-12-28 2014-11-05 ヤフー株式会社 トピック作成支援装置、トピック作成支援方法およびトピック作成支援プログラム
DE102011109932B4 (de) * 2011-08-10 2014-10-02 Audi Ag Verfahren zum Ansteuern funktioneller Einrichtungen in einem Fahrzeug bei Sprachbefehl-Bedienung
US8762156B2 (en) * 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
JP2013235330A (ja) * 2012-05-07 2013-11-21 Sumitomo Electric Ind Ltd 光ビーコン、及び路車間通信システム
US20140095171A1 (en) * 2012-10-01 2014-04-03 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
JP6122642B2 (ja) * 2013-01-10 2017-04-26 株式会社Ｎｔｔドコモ 機能実行システム及び発話例出力方法
JP2014134657A (ja) * 2013-01-10 2014-07-24 Olympus Corp 走査型レーザ顕微鏡および顕微鏡観察方法
JP5633613B2 (ja) * 2013-08-28 2014-12-03 トヨタ自動車株式会社 データベース管理システム及びナビゲーション装置
DE112014006614B4 (de) * 2014-04-22 2018-04-12 Mitsubishi Electric Corporation Benutzerschnittstellensystem, Benutzerschnittstellensteuereinrichtung, Benutzerschnittstellensteuerverfahren und Benutzerschnittstellensteuerprogramm
EP2949536B1 (en) * 2014-05-30 2016-10-05 Honda Research Institute Europe GmbH Method for controlling a driver assistance system
US20160196823A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Voice Command Activated Vehicle Camera System

Also Published As

Publication number Publication date
EP3232160A4 (en) 2018-07-25
JP2016114395A (ja) 2016-06-23
US20170323641A1 (en) 2017-11-09
WO2016092946A1 (ja) 2016-06-16
CN107148555A (zh) 2017-09-08
EP3232160A1 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
JP6348831B2 (ja) 音声入力補助装置、音声入力補助システムおよび音声入力方法
JP6571118B2 (ja) 音声認識処理のための方法、車載システム及び不揮発性記憶媒体
JP6440513B2 (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
US9211854B2 (en) System and method for incorporating gesture and voice recognition into a single system
US9188456B2 (en) System and method of fixing mistakes by going back in an electronic device
US11289074B2 (en) Artificial intelligence apparatus for performing speech recognition and method thereof
EP3584787A1 (en) Headless task completion within digital personal assistants
CN105222797B (zh) 利用口授和部分匹配搜索的导航***的***和方法
US10950240B2 (en) Information processing device and information processing method
CN110827826B (zh) 语音转换文字方法、电子设备
US20200321000A1 (en) Agent device, system, control method of agent device, and storage medium
CN111145735B (zh) 电子设备及其操作方法
US20210233522A1 (en) Voice context-aware content manipulation
CN111667824A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP6281202B2 (ja) 応答制御システム、およびセンター
CN111752686A (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2015141226A (ja) 情報処理装置
CN113326018A (zh) 处理方法、终端设备及存储介质
JP2019056913A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
US20210193133A1 (en) Information processing device, information processing method, and program
JP5160653B2 (ja) 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体
KR20190074344A (ko) 대화 시스템 및 대화 처리 방법
US20200321006A1 (en) Agent apparatus, agent apparatus control method, and storage medium
US11355114B2 (en) Agent apparatus, agent apparatus control method, and storage medium
US20230186036A1 (en) Method and apparatus for providing interpretation situation information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180601

R150 Certificate of patent or registration of utility model

Ref document number: 6348831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees