JPWO2019163011A1 - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
JPWO2019163011A1
JPWO2019163011A1 JP2020501891A JP2020501891A JPWO2019163011A1 JP WO2019163011 A1 JPWO2019163011 A1 JP WO2019163011A1 JP 2020501891 A JP2020501891 A JP 2020501891A JP 2020501891 A JP2020501891 A JP 2020501891A JP WO2019163011 A1 JPWO2019163011 A1 JP WO2019163011A1
Authority
JP
Japan
Prior art keywords
display control
display
information
display area
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020501891A
Other languages
English (en)
Other versions
JP6884263B2 (ja
Inventor
知弘 岩▲崎▼
知弘 岩▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019163011A1 publication Critical patent/JPWO2019163011A1/ja
Application granted granted Critical
Publication of JP6884263B2 publication Critical patent/JP6884263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

発話内容に関連するアプリケーションが表示されている表示装置の表示領域に、その発話内容に関連してアプリケーションが実行する処理の処理対象を表示させる表示制御装置の提供を目的とする。表示制御装置は、発話された音声の発話内容に基づいて、複数のアプリケーションの各々が表示される表示領域を有する表示装置に対して表示制御を行う。表示制御装置が備える表示制御部は、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得する。さらに表示制御部は、第１情報に基づいて特定される表示領域に、第２情報に基づいて特定されかつアプリケーションが実行する処理の少なくとも１つの処理対象を表示させる制御を行う。

Description

本発明は、表示制御装置および表示制御方法に関する。
車両のコックピットに装備されたディスプレイを通じてドライバ−に多様な情報を提供するシステムが増加している。例えば、特許文献１には、車両用機器制御装置が開示されている。車両用機器制御装置は、ユーザの発話に含まれる検索語に対応付けられた複数の制御内容を検索結果として取得する。また、車両用機器制御装置は、表示装置に表示されている画面に基づいて、ユーザが操作しようとした操作対象機器を推定する。車両用機器制御装置は、検索結果に含まれる複数の制御内容のうち、操作対象機器に関連する制御内容から順に整理して表示する。
特開２０１６−６２１２９号公報
特許文献１に記載の車両用機器制御装置は、検索結果として複数のアプリケーションに関連する複数の制御内容を１つの画面に列挙して表示する。そのため、ユーザにとっては、制御内容がどのアプリケーションに対応するか瞬時に判断することが難しい。また、車両用機器制御装置は、各制御内容とともに、それに対応するアプリケーション名も画面内に表示するため、表示装置が一行あたりに表示できる文字数の上限を超える場合がある。
本発明は、以上のような課題を解決するためになされたものであり、発話内容に関連するアプリケーションが表示されている表示装置の表示領域に、その発話内容に関連してアプリケーションが実行する処理の処理対象を表示させる制御を、表示装置に対して行う表示制御装置の提供を目的とする。
本発明に係る表示制御装置は、発話された音声の発話内容に基づく表示制御を、複数のアプリケーションの各々が表示される表示領域を有する表示装置に対して行う表示制御装置である。表示制御装置は、表示制御部を備える。表示制御部は、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得する。さらに表示制御部は、第１情報に基づいて特定される少なくとも１つのアプリケーションの各々が表示される表示領域に、第２情報に基づいて特定されかつ少なくとも１つのアプリケーションの各々が実行する処理の少なくとも１つの処理対象を、認識候補として表示させる制御を表示装置に対して行う。
本発明によれば、発話内容に関連するアプリケーションが表示されている表示装置の表示領域に、その発話内容に関連してアプリケーションが実行する処理の処理対象を表示させる制御を、表示装置に対して行う表示制御装置の提供が可能である。
本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。
実施の形態１における表示制御装置およびその表示制御装置に関連して動作する装置の構成を示すブロック図である。 実施の形態１における表示制御装置が含む処理回路の一例を示す図である。 実施の形態１における表示制御装置が含む処理回路の別の一例を示す図である。 実施の形態１における表示制御装置の動作を示すフローチャートである。 実施の形態２における表示制御装置およびその表示制御装置に関連して動作する装置の構成を示すブロック図である。 実施の形態２における表示装置であるマルチディスプレイの構成を示す図である。 実施の形態２における第１表示部の第１表示領域を示す図である。 実施の形態２における第２表示部の第２表示領域を示す図である。 実施の形態２における第３表示部の第３表示領域を示す図である。 実施の形態２における表示領域情報を示す図である。 実施の形態２におけるコマンド発話に対して認識された発話音声とトピックとスロットとを示す図である。 実施の形態２における候補選択発話に対して認識された発話音声とトピックとスロットとを示す図である。 実施の形態２におけるトピックとアプリケーションとの対応関係を示す図である。 実施の形態２におけるコマンド発話に対する表示制御装置の動作を示すフローチャートである。 実施の形態２における各表示領域にアプリケーションのトップ画面が表示された状態を示す図である。 実施の形態２における各処理対象と識別記号との関係を示す図である。 実施の形態２における第１表示領域に認識候補が表示された状態を示す図である。 実施の形態２における候補選択発話に対する表示制御装置の動作を示すフローチャートである。 実施の形態２における第１表示領域に処理の実行中の画面が表示された状態を示す図である。 実施の形態２における各表示領域にアプリケーションのトップ画面が表示された状態を示す図である。 実施の形態２における各処理対象と識別記号との関係を示す図である。 実施の形態２における第２表示領域に認識候補が表示された状態を示す図である。 実施の形態２における第２表示領域に処理の実行中の画面が表示された状態を示す図である。 実施の形態２における各表示領域にアプリケーションのトップ画面が表示された状態を示す図である。 実施の形態２における各処理対象と識別記号との関係を示す図である。 実施の形態２における第３表示領域に認識候補が表示された状態を示す図である。 実施の形態２における第３表示領域に処理の実行中の画面が表示された状態を示す図である。 実施の形態２における第３表示領域に発信終了後にトップ画面が表示された状態を示す図である。 実施の形態３における各表示領域にアプリケーションのトップ画面が表示された状態を示す図である。 実施の形態３における各処理対象と識別記号との関係を示す図である。 実施の形態３における各表示領域に認識候補が表示された状態を示す図である。 実施の形態３における第３表示領域に処理の実行中の画面が表示された状態を示す図である。 実施の形態４における各表示領域に認識候補が表示された状態を示す図である。 実施の形態５における各表示領域に認識候補が表示された状態を示す図である。 実施の形態６における各表示領域に認識候補が表示された状態を示す図である。 実施の形態７における表示制御システムの構成を示すブロック図である。
＜実施の形態１＞
（表示制御装置の構成）
図１は、実施の形態１における表示制御装置１０およびその表示制御装置１０に関連して動作する装置の構成を示すブロック図である。
表示制御装置１０は、発話された音声の発話内容に基づく表示制御を、複数のアプリケーションの各々が表示される表示領域を有する表示装置２０に対して行う表示制御装置である。
表示装置２０は、複数の表示領域を有する。複数の表示領域のそれぞれに対応して複数のアプリケーションが表示される。つまり、１つの表示領域には１つのアプリケーションが表示される。１つの表示領域は、例えば、１つのウィンドウである。また、表示装置２０は、複数の表示部を含み、それぞれが個別の表示領域を有するマルチディスプレイであってもよい。または、表示装置２０は、１つの表示装置に複数の表示領域を有する構成であってもよい。つまり表示装置２０内の異なる位置に各アプリケーションに対応するウィンドウが表示される構成であってもよい。実施の形態１において、表示装置２０は、第１表示領域２１、第２表示領域２２および第３表示領域２３を有する。なお、表示領域の数は３つに限られるものではない。
音声認識装置３０は、ユーザが発話した音声を認識し、第１情報および第２情報を表示制御装置１０に出力する。第１情報とは、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定可能な情報である。第２情報とは、第１情報により特定される少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を特定可能な情報である。発話音声とは、音声認識装置３０による音声認識結果であり、第１情報と第２情報とは、音声認識装置３０による意図理解結果である。例えば、音声認識装置３０は、ユーザが発話した音声に対応する発話音声を音声認識結果として認識する。さらに音声認識装置３０は、発話音声を分析し、第１情報と第２情報とを意図理解結果として出力する。その際、音声認識装置３０は、例えば、予め準備された複数の発話内容と第１情報と第２情報とが予め対応付けられたデータベースを参照し、実際に認識された発話内容に対応する第１情報と第２情報とを取得し出力する。データベースは、例えば、過去の発話内容に基づき、予め準備された複数の発話内容と第１情報と第２情報とが統計的に対応付けられた辞書を含む。
表示制御装置１０は、表示制御部１で構成される。表示制御部１は、第１情報と第２情報とを取得する。表示制御部１は、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを第１情報に基づいて特定する。表示制御部１は、第１情報に基づき特定された少なくとも１つのアプリケーションの各々が表示される表示領域を特定する。また、表示制御部１は、第２情報に基づき、発話内容に関連する少なくとも１つの処理対象を特定する。その少なくとも１つの処理対象とは、少なくとも１つのアプリケーションが実行する処理の処理対象である。表示制御部１は、第１情報に基づき特定された少なくとも１つのアプリケーションの各々が表示される表示領域に、第２情報に基づいて特定されかつその少なくとも１つのアプリケーションの各々が実行する処理の少なくとも１つの処理対象を認識候補として表示させる。
（処理回路）
図２は表示制御装置１０が含む処理回路９０の一例を示す図である。表示制御部１の各機能は、処理回路９０により実現される。すなわち、処理回路９０は、表示制御部１を含む。
処理回路９０が専用のハードウェアである場合、処理回路９０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせた回路等である。表示制御部１の各機能は、複数の処理回路により個別に実現されてもよいし、１つの処理回路によりまとめて実現されてもよい。
図３は表示制御装置が含む処理回路の別の一例を示す図である。処理回路は、プロセッサ９１とメモリ９２とを含む。プロセッサ９１がメモリ９２に格納されるプログラムを実行することにより、表示制御部１の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ９１により実行されることにより各機能が実現される。すなわち、表示制御装置は、プログラムを格納するメモリ９２と、そのプログラムを実行するプロセッサ９１とを含む。
プログラムには、表示制御装置が、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得し、第１情報に基づいて特定される少なくとも１つのアプリケーションの各々が表示される表示領域に、第２情報に基づいて特定されかつ少なくとも１つのアプリケーションの各々が実行する処理の少なくとも１つの処理対象を、認識候補として表示装置２０に表示させる機能が記述されている。また、プログラムは、表示制御部１の手順または方法をコンピュータに実行させるものである。
プロセッサ９１は、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の、不揮発性または揮発性の半導体メモリである。または、メモリ９２は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、今後使用されるあらゆる記憶媒体であってもよい。
上述した表示制御部１の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。
（表示制御装置１０の動作）
図４は、実施の形態１における表示制御装置１０の動作を示すフローチャートである。
ステップＳ１０にて、表示制御部１は、第１情報および第２情報を音声認識装置３０から取得する。
ステップＳ２０にて、表示制御部１は、第１情報に基づいて、発話内容に関連する少なくとも１つのアプリケーションを特定する。
ステップＳ３０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが表示される表示領域を特定する。
ステップＳ４０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を第２情報に基づいて特定する。
ステップＳ５０にて、表示制御部１は、第１情報に基づいて特定された少なくとも１つのアプリケーションの各々が表示される表示領域に、第２情報に基づいて特定され、その少なくとも１つのアプリケーションが実行する処理の少なくとも１つの処理対象を認識候補として表示させる。
（効果）
以上をまとめると、実施の形態１における表示制御装置１０は、発話された音声の発話内容に基づく表示制御を、複数のアプリケーションの各々が表示される表示領域を有する表示装置２０に対して行う表示制御装置である。表示制御装置１０は、表示制御部１を備える。表示制御部１は、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得する。さらに表示制御部１は、第１情報に基づいて特定される少なくとも１つのアプリケーションの各々が表示される表示領域に、第２情報に基づいて特定されかつ少なくとも１つのアプリケーションの各々が実行する処理の少なくとも１つの処理対象を、認識候補として表示させる制御を表示装置２０に対して行う。
以上の構成により、表示制御装置１０は、発話内容に関連するアプリケーションが表示されている表示領域（または表示位置、ウィンドウ）に、発話内容に関連してそのアプリケーションが処理を実行するための認識候補を表示させる。認識候補が表示された位置がアプリケーションに直接関連しているため、認識候補にアプリケーションの名称等を付与して表示する必要がない。よって、１つの表示領域内に一度に多くの認識候補を表示することが可能となり、また、認識候補を表示するための上限文字列数が増加する。表示制御装置１０は、限られたスペースを有する表示領域に、多くの情報を表示することを可能とする。また、表示制御装置１０は、認識候補が表示された表示領域に基づき、いずれのアプリケーションに対する認識候補であるかをユーザが判別することを容易にする。また、音声認識装置が発話を誤認識した場合、ユーザが意図したアプリケーションとは異なるアプリケーションが表示される表示領域に認識候補が表示される。つまり、音声認識装置が発話を誤認識した場合、表示制御装置１０は、ユーザがその誤認識を判別することを容易にする。
また、実施の形態１における表示制御方法は、発話された音声の発話内容に基づく表示制御を、複数のアプリケーションの各々が表示される表示領域を有する表示装置２０に対して行う表示制御方法である。表示制御方法は、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得し、第１情報に基づいて特定される少なくとも１つのアプリケーションの各々が表示される表示領域に、第２情報に基づいて特定されかつ少なくとも１つのアプリケーションの各々が実行する処理の少なくとも１つの処理対象を、認識候補として表示させる制御を表示装置２０に対して行う。
以上の構成により、表示制御方法は、発話内容に関連するアプリケーションが表示されている表示領域（表示位置）に、発話内容に関連してそのアプリケーションが処理を実行するための認識候補を表示させる。認識候補が表示された位置がアプリケーションに直接関連しているため、認識候補にアプリケーションの名称等を付与して表示する必要がない。よって、１つの表示領域内に一度に多くの認識候補を表示することが可能となり、また、認識候補を表示するための上限文字列数が増加する。表示制御方法は、限られたスペースを有する表示領域に、多くの情報を表示することを可能とする。また、表示制御方法は、認識候補が表示された表示領域に基づき、いずれのアプリケーションに対する認識候補であるかをユーザが判別することを容易にする。また、音声認識装置が発話を誤認識した場合、ユーザが意図したアプリケーションとは異なるアプリケーションが表示される表示領域に認識候補が表示される。つまり、音声認識装置が発話を誤認識した場合、表示制御方法は、ユーザがその誤認識を判別することを容易にする。
＜実施の形態２＞
実施の形態２における表示制御装置および表示制御方法を説明する。なお、実施の形態１と同様の構成および動作については説明を省略する。
（表示制御装置の構成）
図５は、実施の形態２における表示制御装置１１およびその表示制御装置１１に関連して動作する装置の構成を示すブロック図である。
音声入力装置４０は、ユーザが音声を入力する装置である。
表示装置２０は、実施の形態２において、マルチディスプレイである。表示装置２０は、３つの表示領域を有する。表示装置２０は、第１表示領域２１を有する第１表示部２１０、第２表示領域２２を有する第２表示部２２０および第３表示領域２３を有する第３表示部２３０を含む。
表示制御装置１１は、表示領域管理部２、音声認識部３および表示制御部１を含む。
表示領域管理部２は、アプリケーションとそのアプリケーションが表示される表示領域との対応関係である表示領域情報を管理する。また、表示領域管理部２は、アプリケーションが表示される表示位置を管理してもよい。表示領域情報は、例えば表示領域管理部２に予め記憶されている。表示領域管理部２は、表示領域情報を表示制御部１に通知する。表示領域管理部２は、例えば、アプリケーションマネジャー（Application manager）である。
音声認識部３は、記憶部４を含み、その記憶部４は、予め準備された複数の発話内容と第１情報と第２情報とが対応付けられたデータベースを記憶する。音声認識部３は、実施の形態１に示された音声認識装置３０と同様の機能を有する。
音声認識部３は、音声入力装置４０に入力されたユーザの音声を取得して認識する。実施の形態２においては、音声認識部３は、３つの表示領域のそれぞれに異なるアプリケーションが表示されている状態で、ユーザが発話した音声を認識する。音声認識部３は、データベースを参照して発話内容に関連する第１情報および第２情報を特定し、表示制御部１に出力する。音声認識部３は、例えば音声認識エンジン（Voice recognition engine）である。
表示制御部１は、音声認識部３が出力する第１情報と第２情報とを取得する。表示制御部１は、第１情報に基づいて、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定する。その際、表示制御部１は、第１情報と予め登録されていた複数のアプリケーションとの対応関係を参照して特定する。その対応関係は、例えば表示制御部１に予め記憶されている。表示制御部１は、特定された少なくとも１つのアプリケーションが表示される表示領域を、表示領域管理部２が管理する表示領域情報に基づいて、特定する。また、表示制御部１は、特定された少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を第２情報に基づき特定する。表示制御部１は、第１情報に基づいて特定されたアプリケーションが表示される表示領域に、第２情報に基づいて特定された各処理対象を認識候補として表示させる。表示制御部１は、例えば音声認識マネジャー（Voice recognition manager）である。
図６は、車両内部に設けられたマルチディスプレイの構成を示す図である。マルチディスプレイである表示装置２０は、車両のコックピットに搭載されている。マルチディスプレイを構成する第１表示部２１０、第２表示部２２０および第３表示部２３０は、車両内部に個別に設けられている。第１表示部２１０、第２表示部２２０および第３表示部２３０は、例えば、設置位置の高い順に配置される。または、例えば、第１表示部２１０、第２表示部２２０および第３表示部２３０は、運転席または助手席に近い順に配置される。各表示部は、ユーザが視認しやすい順に配置される。
図７は、第１表示部２１０の第１表示領域２１を示す図である。第１表示領域２１には、アプリケーションとしてナビゲーションが表示される。図７においては、その初期状態または待機状態に対応するトップ画面（Top）が表示されている。ナビゲーションは、地図（MAP）を表示する。また、ナビゲーションは、設定された目的地に誘導する機能を有する。実施の形態１においては、ナビゲーションは、音声認識部３にて認識される発話内容に含まれる名前に基づいて特定される家に案内する機能を有する。
図８は、第２表示部２２０の第２表示領域２２を示す図である。第２表示領域２２には、アプリケーションとしてメディアプレーヤーが表示される。図８においては、そのトップ画面（Top）が表示されている。メディアプレーヤーは、曲名（Album title）を表示する。また、メディアプレーヤーは、音楽を吹鳴する機能を有する。実施の形態１においては、メディアプレーヤーは、音声認識部３にて認識される発話内容に含まれる名前に基づいて特定されるアーティストの曲を再生する機能を有する。
図９は、第３表示部２３０の第３表示領域２３を示す図である。第３表示領域２３には、アプリケーションとしてフォンが表示される。図９においては、そのトップ画面（Top）が表示されている。フォンは、電話帳（Phonebook）を表示する。また、フォンは、通話する機能を有する。実施の形態１においては、フォンは、音声認識部３にて認識される発話内容に含まれる名前に基づいて特定される相手に電話をかける機能を有する。
図１０は、表示領域管理部２が管理する表示領域情報を示す図である。表示領域情報には、第１表示領域２１にナビゲーションが表示され、第２表示領域２２にメディアプレーヤーが表示され、第３表示領域２３にフォンが表示されることが格納されている。表示領域情報は、例えば、図１０に示されるテーブルを含む。
実施の形態２においては、音声認識部３は、コマンド発話および候補選択発話の音声を認識する。コマンド発話とは、各アプリケーションが実行する処理を指定する発話である。また、候補選択発話とは、各アプリケーションが実行する処理の処理対象を複数の認識候補から指定する発話である。また、音声認識部３は、ユーザの発話内容に関連するトピックおよびスロットを出力する。トピックは、第１情報を含み、コマンドの種類に対応する。スロットは、第２情報を含み、コマンドに付随するパラメータである。
図１１は、コマンド発話に対して音声認識部３にて認識される発話音声と表示制御部１に出力されるトピックおよびスロットを示す図である。例えば、ユーザがナビゲーションに目的地までの案内処理を実行させるため、音声入力装置４０に“Navigate to John Smith”（「ジョン・スミスに案内して」）と発話する。音声認識部３は、“Navigate to John Smith”を発話内容として認識する。音声認識部３は、記憶部４に記憶されているデータベースを参照し、発話内容に含まれるNavigate（案内）に関連するトピックとして“NAV.navigateName”を出力する。また、音声認識部３は、発話内容に含まれるJohn Smith（ジョン・スミス）に関連するスロットとして“John Smith”を出力する。トピック“NAV.navigateName”は、ナビゲーションに対し予め登録されている名前の中から特定の名前に対応する地点を目的地に設定し案内することを要求する。すなわち、発話内容に関連して特定されるアプリケーションであるナビゲーションは、トピック“NAV.navigateName”およびスロット“John Smith”に基づき、予め登録されている名前の中からJohn Smithで記憶されている場所を目的地に設定し、その目的地まで案内する処理を実行する。また、図１１において、トピック“MPL.playArtist”は、メディアプレーヤーに対し予め登録されている名前の中から特定の名前に対応するアーティストの曲の再生を要求する。トピック“PHN.callName”は、フォンに対し予め登録されている名前の中から特定の名前に対応する電話番号に電話をかけることを要求する。以上のように、音声認識部３は、ユーザの要求をトピックとスロットとして認識する。つまり、トピックおよびスロットは、音声認識部３による意図理解結果である。また、図１１に示される発話内容は、一例であり、それらに限定されるものではない。例えば、トピック“NAV.navigateName”に対応付けられる発話内容は、ユーザがナビゲーションに案内を命令するあらゆるコマンド発話が含まれる。それらのあらゆるコマンド発話は、記憶部４のデータベースに記憶されている。また、それらのあらゆるコマンド発話は、音声認識部３によって学習され蓄積される。
図１２は、候補選択発話に対して音声認識部３にて認識された発話音声と表示制御部１に出力するトピックおよびスロットを示す図である。例えば、ナビゲーションが目的地までの案内処理を実行するに際し、その案内処理の処理対象である複数の目的地が認識候補として表示領域に表示されているとする。ユーザがナビゲーションに目的地を指定するため、音声入力装置４０に“Select number one”（「１番を選択」）と発話する。例えば、音声認識部３が“Select number one”を発話内容と認識した場合、記憶部４に記憶されているデータベースを参照し、Select（選択）に関連するトピックとして“CMD.selectNbest”を出力する。また、音声認識部３は、Number one（１番）に関連するスロットとして“Number one”を出力する。これは、ID(Identification)=1に対応する認識候補が選択される処理である。
図１３は、第１情報を含むトピックとアプリケーションとの対応関係を示す図である。ここでは、３つのアプリケーションのそれぞれに対応するトピックがテーブルに格納されている。
（表示制御装置の動作：ナビゲーションに対する表示制御動作）
図１４は、実施の形態２におけるコマンド発話に対する表示制御装置１１の動作を示すフローチャートである。まず、３つのアプリケーションのうちナビゲーションに対する表示制御動作を説明する。音声認識により登録された名前を含むコマンドが認識された場合、ナビゲーションはその人物の家を目的地に設定することができる。ここでは、ナビゲーションに対して登録されている人物の名前は、John Smith（ジョン・スミス）とJosh Smith（ジョシュ・スミス）である。図１５は、各表示領域にアプリケーションのトップ画面（Top）が表示された状態を示す図である。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。すなわち、ユーザがナビゲーションに対するコマンド発話を音声入力装置４０に入力し、音声認識部３は、その音声を認識する。ここでは、ユーザは、“Navigate to John Smith”（「ジョン・スミスに案内して」）と発話する。“John Smith”の発音と“Josh Smith”の発音とは類似している。そのため、音声認識部３は、“Navigate to John Smith”（「ジョン・スミスに案内して」）および“Navigate to Josh Smith”（「ジョシュ・スミスに案内して」）を発話内容として認識する。以下、“Navigate to John Smith”を第１発話内容、“Navigate to Josh Smith”を第２発話内容という。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。図１１に示されるように、ナビゲーションに対応するデータベースには、予め準備された発話内容として、“Navigate to John Smith”と“Navigate to Josh Smith”と“John Smith”と“Josh Smith”とが格納されている。音声認識部３は、そのデータベースを参照し、第１発話内容である“Navigate to John Smith”に対応付けられるトピックとして“NAV.navigateName”を出力し、さらに、スロットとして“John Smith”を出力する。同様に、音声認識部３は、第２発話内容である“Navigate to Josh Smith”に対応付けられるトピック“NAV.navigateName”およびスロット“Josh Smith”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ１３０にて、表示制御部１は、第１情報に基づいて、発話内容に関連する少なくとも１つのアプリケーションを特定する。第１発話内容および第２発話内容ともに、第１情報を含むトピックは“NAV.navigateName”である。表示制御部１は、図１３に示される対応関係に基づき、発話内容に関連するアプリケーションとしてナビゲーションを特定する。
ステップＳ１４０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが表示される表示領域を表示領域情報に基づいて特定する。表示制御部１は、図１０に示される表示領域情報に基づき、３つの表示領域のうちナビゲーションが表示されている第１表示領域２１を特定する。
ステップＳ１５０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を第２情報に基づいて特定する。ここでは、特定されたアプリケーションであるナビゲーションが実行し、かつ、発話内容に関連する処理は、トピック“NAV.navigateName”に対応する処理である。“NAV.navigateName”は、予め登録されている名前の中から特定の名前に対応する地点を目的地に設定し、その目的地へ案内する処理を意味する。すなわち、ナビゲーションが実行する処理の処理対象は、目的地である。第１発話内容に対応付けられたスロットは“John Smith”であり、第２発話内容に対応付けられたスロットは“Josh Smith”である。表示制御部１は、各スロットに基づいて、各処理対象を、つまり、目的地を、“John Smith”に対応する地点および“Josh Smith”に対応する地点に特定する。
ステップＳ１６０にて、表示制御部１は、各処理対象に識別記号を付与する。図１６は、各処理対象と識別記号との関係を示す図である。表示制御部１は、“John Smith”に識別記号としてID番号「１」を付与する。また、表示制御部１は、“Josh Smith”にID番号「２」を付与する。
ステップＳ１７０にて、表示制御部１は、各処理対象と識別記号との関係を記憶する。表示制御部１は、例えば、図１６に示されるような、各処理対象と識別記号とが格納されたテーブルを記憶する。
ステップＳ１８０にて、表示制御部１は、識別記号とともに、各処理対象を認識候補として、各アプリケーションが表示される表示領域に表示させる。図１７は、第１表示領域２１に認識候補が表示された状態を示す図である。表示制御部１は、ID番号とともに、スロット“John Smith”および“Josh Smith”を認識候補として、第１表示領域２１に表示させる。第１表示領域２１には、“1. John Smith”と“2. Josh Smith”とが表示される。この際、ナビゲーションは、目的地設定（Set destination）の画面を表示している。また発話内容に関連するトピックがなかったメディアプレーヤーおよびフォンには、認識候補は表示されない。
図１８は、実施の形態２における候補選択発話に対する表示制御装置１１の動作を示すフローチャートである。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。すなわち、ユーザがナビゲーションに対する候補選択発話を音声入力装置４０に入力し、音声認識部３は、その音声を認識する。ここでは、ユーザは、図１７に示された認識候補に基づき“Select number one”（「１番を選択」）と発話する。音声認識部３は、その発話に対して、“Select number one”を認識する。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。図１２に示されるように、候補選択発話に対応するデータベースには、予め準備された発話内容として、“Number one”（「１番」）と“Select number one”（「１番を選択」）とがそれぞれ格納されている。音声認識部３は、データベースを参照し、発話内容である“Select number one”に対応付けられるトピック“CMD.selectNbest”およびスロット“Number one”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ２３０にて、表示制御部１は、第１情報に基づいて、第２情報から発話内容に対応する識別記号を取得する。表示制御部１は、トピック“CMD.selectNbest”に基づき、スロット“Number one”に対応するID番号を取得する。この場合、ID番号は「１」が取得される。
ステップＳ２４０にて、表示制御部１は、各処理対象と識別記号との関係に基づき、発話内容に対応する処理対象を選択する。表示制御部１は、図１６に示される各処理対象と識別記号との関係に基づき、発話された識別記号に対応するスロット“John Smith”を選択する。以上により、アプリケーションが実行する処理の処理対象が決定される。すなわち、ナビゲーションが設定する目的地が、“John Smith”に対応する地点に決定される。
ステップＳ２５０にて、表示制御部１は、アプリケーションに処理の実行を依頼する。表示制御部１は、ナビゲーションに“John Smith”に対応する地点まで誘導するよう依頼する。
ステップＳ２６０にて、表示制御部１は、アプリケーションが表示される表示領域に、そのアプリケーションが処理を実行中であることを表示させる。図１９は、第１表示領域２１に処理の実行中の画面が表示された状態を示す図である。表示制御部１は、ナビゲーションが表示される第１表示領域２１において、“John Smith”に対応する地点である“John Smith's home”（「ジョン・スミスの家」）までの経路等を地図（MAP）上に表示させる。また、表示制御部１は、その第１表示領域２１にトップ画面（Top）を表示させる。以上の動作において、メディアプレーヤーが表示される第２表示領域２２およびフォンが表示される第３表示領域２３は、トップ画面のまま変化しない。
（表示制御装置の動作：メディアプレーヤーに対する表示制御動作）
次に図１４に示されるコマンド発話に対する動作を示すフローチャートに従い、３つのアプリケーションのうちメディアプレーヤーに対する表示制御動作を説明する。音声認識により登録された名前を含むコマンドが認識された場合、メディアプレーヤーはその名前のアーティストの曲を選択して再生することができる。ここでは、メディアプレーヤーに対して登録されている人物の名前は、Joan Smith（ジョーン・スミス）とJosh Smith（ジョシュ・スミス）である。図２０は、各表示領域にアプリケーションのトップ画面（Top）が表示された状態を示す図である。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。ここでは、ユーザは、“Play Joan Smith”（「ジョーン・スミスを再生して」）と発話する。“Joan Smith”の発音と“Josh Smith”の発音とは類似している。そのため、音声認識部３は、“Play Joan Smith”（「ジョーン・スミスを再生して」）および“Play Josh Smith”（「ジョシュ・スミスを再生して」）を発話内容として認識する。以下、“Play Joan Smith”を第３発話内容、“Play Josh Smith”を第４発話内容という。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。図１１に示されるように、メディアプレーヤーに対応するデータベースには、予め準備された発話内容として、“Play Joan Smith”と“Play Josh Smith”と“Joan Smith”と“Josh Smith”とが格納されている。音声認識部３は、そのデータベースを参照し、第３発話内容である“Play Joan Smith”に対応付けられるトピックとして“MPL.playArtist”およびスロットとして“Joan Smith”を出力する。同様に、音声認識部３は、第４発話内容である“Play Josh Smith” に対応付けられるトピックとして“MPL.playArtist”およびスロットとして“Josh Smith”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ１３０にて、表示制御部１は、発話内容に関連する少なくとも１つのアプリケーションを第１情報に基づいて特定する。第３発話内容および第４発話内容ともに、第１情報を含むトピックは“MPL.playArtist”である。表示制御部１は、図１３に示される対応関係に基づき、発話内容に関連するアプリケーションとしてメディアプレーヤーを特定する。
ステップＳ１４０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが表示される表示領域を表示領域情報に基づいて特定する。表示制御部１は、図１０に示される表示領域情報に基づき、３つの表示領域のうちメディアプレーヤーが表示されている第２表示領域２２を特定する。
ステップＳ１５０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を第２情報に基づいて特定する。ここでは、特定されたアプリケーションであるメディアプレーヤーが実行し、かつ、発話内容に関連する処理は、トピック“MPL.playArtist”に対応する処理である。“MPL.playArtist”は、予め登録されている名前の中から特定の名前に対応するアーティストの曲を再生する処理を意味する。すなわち、メディアプレーヤーが実行する処理の処理対象は、アーティストの曲である。第３発話内容に対応付けられたスロットは“Joan Smith”であり、第４発話内容に対応付けられたスロットは“Josh Smith”である。表示制御部１は、各スロットに基づいて、各処理対象を、つまり、アーティストの曲を、“Joan Smith”に対応する曲および“Josh Smith”に対応する曲に特定する。
ステップＳ１６０にて、表示制御部１は、各処理対象に識別記号を付与する。図２１は、各処理対象と識別記号との関係を示す図である。表示制御部１は、“Joan Smith”に識別記号としてID番号「１」を付与する。また、表示制御部１は、“Josh Smith”にID番号「２」を付与する。
ステップＳ１７０にて、表示制御部１は、各処理対象と識別記号との関係を記憶する。表示制御部１は、例えば、図２１に示されるような、各処理対象と識別記号とが格納されたテーブルを記憶する。
ステップＳ１８０にて、表示制御部１は、識別記号とともに、各処理対象を認識候補として、各アプリケーションが表示される表示領域に表示させる。図２２は、第２表示領域２２に認識候補が表示された状態を示す図である。表示制御部１は、ID番号とともに、スロット“Joan Smith”および“Josh Smith”を認識候補として、第２表示領域２２に表示させる。第２表示領域２２には、“1. Joan Smith”と“2. Josh Smith”とが表示される。この際、メディアプレーヤーは、アーティストによる音楽再生（Play by artist）の画面を表示している。また発話内容に関連するトピックがなかったナビゲーションおよびフォンには、認識候補は表示されない。
次に候補選択発話に対する表示制御装置１１の動作を図１８に示されるフローチャートに従い説明する。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。すなわち、ユーザがメディアプレーヤーに対する候補選択発話を音声入力装置４０に入力し、音声認識部３は、その音声を認識する。ここでは、ユーザは、図２２に示された認識候補に基づき“Select number one”（「１番を選択」）と発話する。音声認識部３は、その発話に対して、“Select number one”を認識する。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。音声認識部３は、図１２に示される候補選択発話に対応するデータベースを参照し、発話内容である“Select number one”に対応付けられるトピック“CMD.selectNbest”およびスロット“Number one”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ２３０にて、表示制御部１は、第１情報に基づいて、第２情報から発話内容に対応する識別記号を取得する。表示制御部１は、トピック“CMD.selectNbest”に基づき、スロット“Number one”に対応するID番号を取得する。この場合、ID番号は「１」が取得される。
ステップＳ２４０にて、表示制御部１は、各処理対象と識別記号との関係に基づき、発話内容に対応する処理対象を選択する。表示制御部１は、図２１に示される各処理対象と識別記号との関係に基づき、発話された識別記号に対応するスロット“Joan Smith”を選択する。以上により、アプリケーションが実行する処理の処理対象が決定される。すなわち、メディアプレーヤーが再生するアーティストの曲が、“Joan Smith”に対応する曲に決定される。
ステップＳ２５０にて、表示制御部１は、アプリケーションに処理の実行を依頼する。表示制御部１は、メディアプレーヤーに“Joan Smith”に対応する曲を再生するよう依頼する。
ステップＳ２６０にて、表示制御部１は、アプリケーションが表示される表示領域に、そのアプリケーションが処理を実行中であることを表示させる。図２３は、第２表示領域２２に処理の実行中の画面が表示された状態を示す図である。表示制御部１は、メディアプレーヤーが表示される第２表示領域２２において、“Joan Smith”に対応する曲名である“Joan Smith Best”（「ジョーン・スミス ベスト」）の情報等を表示させる。メディアプレーヤーは、音楽を再生する。また、表示制御部１は、その第２表示領域２２にトップ画面（Top）を表示させる。ナビゲーションが表示される第１表示領域２１およびフォンが表示される第３表示領域２３は、トップ画面のまま変化しない。
（表示制御装置の動作：フォンに対する表示制御動作）
次に図１４に示されるコマンド発話に対する動作を示すフローチャートに従い、３つのアプリケーションのうちフォンに対する表示制御動作を説明する。音声認識により登録された名前を含むコマンドが認識された場合、フォンはその名前つまりコンタクト名に該当する相手に電話をかけることができる。ここでは、フォンに対して登録されている人物の名前は、Joe Smith（ジョー・スミス）とJosh Smith（ジョシュ・スミス）である。図２４は、各表示領域にアプリケーションのトップ画面（Top）が表示された状態を示す図である。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。ここでは、ユーザは、“Call Joe Smith”（「ジョー・スミスに電話して」）と発話する。“Joe Smith”の発音と“Josh Smith”の発音とは類似している。そのため、音声認識部３は、“Call Joe Smith”（「ジョー・スミスに電話して」）および“Call Josh Smith”（「ジョシュ・スミスに電話して」）を発話内容として認識する。以下、“Call Joe Smith”を第５発話内容、“Call Josh Smith”を第６発話内容という。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。図１１に示されるように、フォンに対応するデータベースには、予め準備された発話内容として、“Call Joe Smith”と“Call Josh Smith”と“Joe Smith”と“Josh Smith”とが格納されている。音声認識部３は、そのデータベースを参照し、第５発話内容である“Call Joe Smith”に対応付けられるトピックとして“PHN.callName”およびスロットとして“Joe Smith”を出力する。同様に、音声認識部３は、第６発話内容である“Call Josh Smith”に対応付けられるトピックとして“PHN.callName”およびスロットとして“Josh Smith”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ１３０にて、表示制御部１は、発話内容に関連する少なくとも１つのアプリケーションを第１情報に基づいて特定する。第５発話内容および第６発話内容ともに、第１情報を含むトピックは“PHN.callName”である。表示制御部１は、図１３に示される対応関係に基づき、発話内容に関連するアプリケーションとしてフォンを特定する。
ステップＳ１４０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが表示される表示領域を表示領域情報に基づいて特定する。表示制御部１は、図１０に示される表示領域情報に基づき、３つの表示領域のうちフォンが表示されている第３表示領域２３を特定する。
ステップＳ１５０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を第２情報に基づいて特定する。ここでは、特定されたアプリケーションであるフォンが実行し、かつ、発話内容に関連する処理は、トピック“PHN.callName”に対応する処理である。“PHN.callName”は、予め登録されている名前の中から特定の名前に対応する電話番号に電話をかける処理を意味する。すなわち、フォンが実行する処理の処理対象は、電話をかける相手の名前である。第５発話内容に対応付けられたスロットは“Joe Smith”であり、第６発話内容に対応付けられたスロットは“Josh Smith”である。表示制御部１は、各スロットに基づいて、電話をかける対象を、“Joe Smith”に対応する電話番号および“Josh Smith”に対応する電話番号に特定する。
ステップＳ１６０にて、表示制御部１は、各処理対象に識別記号を付与する。図２５は、各処理対象と識別記号との関係を示す図である。表示制御部１は、“Joe Smith”に識別記号としてID番号「１」を付与する。また、表示制御部１は、“Josh Smith”にID番号「２」を付与する。
ステップＳ１７０にて、表示制御部１は、各処理対象と識別記号との関係を記憶する。表示制御部１は、例えば、図２５に示されるような、各処理対象と識別記号とが格納されたテーブルを記憶する。
ステップＳ１８０にて、表示制御部１は、識別記号とともに、各処理対象を認識候補として、各アプリケーションが表示される表示領域に表示させる。図２６は、第３表示領域２３に認識候補が表示された状態を示す図である。表示制御部１は、ID番号とともに、スロット“Joe Smith”および“Josh Smith”を認識候補として、フォンが表示されている第３表示領域２３に表示させる。第３表示領域２３には、“1. Joe Smith”と“2. Josh Smith”とが表示される。この際、フォンは、名前呼び出し（Call by name）の画面を表示している。また発話内容に関連するトピックがなかったナビゲーションおよびメディアプレーヤーには、認識候補は表示されない。
次に候補選択発話に対する表示制御装置１１の動作を図１８に示されるフローチャートに従い説明する。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。すなわち、ユーザがフォンに対する候補選択発話を音声入力装置４０に入力し、音声認識部３は、その音声を認識する。ここでは、ユーザは、図２６に示された認識候補に基づき“Select number one”（「１番を選択」）と発話する。音声認識部３は、その発話に対して、“Select number one”を認識する。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。音声認識部３は、図１２に示される候補選択発話に対応するデータベースを参照し、発話内容である“Select number one”に対応付けられるトピック“CMD.selectNbest”およびスロット“Number one”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ２３０にて、表示制御部１は、第１情報に基づいて、第２情報から発話内容に対応する識別記号を取得する。表示制御部１は、トピック“CMD.selectNbest”に基づき、スロット“Number one”に対応するID番号を取得する。この場合、ID番号は「１」が取得される。
ステップＳ２４０にて、表示制御部１は、各処理対象と識別記号との関係に基づき、発話内容に対応する処理対象を選択する。表示制御部１は、図２５に示される各処理対象と識別記号との関係に基づき、発話された識別記号に対応するスロット“Joe Smith”を選択する。以上により、アプリケーションが実行する処理の処理対象が決定される。すなわち、フォンが電話をかける電話番号が、“Joe Smith”に対応する電話番号に決定される。
ステップＳ２５０にて、表示制御部１は、アプリケーションに処理の実行を依頼する。表示制御部１は、フォンに“Joe Smith”に対応する電話番号に電話をかけるよう依頼する。
ステップＳ２６０にて、表示制御部１は、アプリケーションが表示される表示領域に、そのアプリケーションが処理を実行中であることを表示させる。図２７は、第３表示領域２３に処理の実行中の画面が表示された状態を示す図である。表示制御部１は、フォンが表示される第３表示領域２３において、“Joe Smith”に対応する電話番号を含む情報として、“Calling Joe Smith 0123-455-7889”（「ジョー・スミスに電話中 0123-455-7889」）等の情報を表示させる。この際、表示制御部１は、電話中（Calling）の画面を表示させる。表示制御装置１１は、フォンの発信が終了すると、トップ画面（Top）を第３表示領域２３に表示させる。図２８は、第３表示領域２３に発信終了後にトップ画面（Top）が表示された状態を示す図である。以上の動作において、ナビゲーションが表示される第１表示領域２１およびメディアプレーヤーが表示される第２表示領域２２は、トップ画面のまま変化しない。
なお、マルチディスプレイを構成する上記の表示領域の個数は、一例であり、３つに限られるものではない。また、各表示領域に表示される上記の３つのアプリケーションは、一例であり、それらに限定されるものではない。また、識別記号は、ID番号に限られるものではなく、複数の処理対象のそれぞれが識別可能であれば文字、符号、記号、これらの組み合わせ等であってもよい。
（効果）
認識候補が表示された位置がアプリケーションに直接関連しているため、認識候補にアプリケーションの名称であるナビゲーション、メディアプレーヤー、フォン等を付与して表示する必要がない。よって、１つの表示領域内に一度に多くの認識候補を表示することが可能となり、また、認識候補を表示するための上限文字列数が増加する。表示制御装置１１は、限られたスペースを有する表示領域に、多くの情報を表示することを可能とする。
以上をまとめると、実施の形態２における表示制御装置１１は、発話された音声を認識し、音声を認識して得られる発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、発話内容に関連する第１情報と第２情報とを表示制御部１に出力する音声認識部３をさらに備える。音声認識部３は、データベースを記憶する記憶部４を含む。
以上の構成により、表示制御装置１１は、発話内容に関連するアプリケーションと処理対象とを効率的に特定することができる。
また、実施の形態２における表示制御装置１１は、各アプリケーションと各アプリケーションが表示される表示領域との対応関係である表示領域情報を管理する表示領域管理部２をさらに備える。表示制御部１は、第１情報に基づいて特定される少なくとも１つのアプリケーションの各々が表示される表示領域を、表示領域管理部２にて取得された表示領域情報に基づいて特定する。
以上の構成により、表示制御装置１１は、アプリケーションが表示される表示領域が変更され得る場合においても、発話内容に関連するアプリケーションの表示位置に、表示装置２０が処理対象を正確に表示するよう制御できる。
＜実施の形態３＞
実施の形態３における表示制御装置１１および表示制御方法を説明する。なお、実施の形態１または２と同様の構成および動作については説明を省略する。
実施の形態３において、第２情報に基づいて特定される少なくとも１つの処理対象は、複数の処理対象を含む。表示制御部１は、複数の処理対象の各々に互いに重複しない識別記号を付与し、各処理対象を認識候補として識別記号とともに表示領域に表示させる。また、表示制御部１は、認識候補が表示される表示領域ごとに予め定められる優先度に応じて、複数の処理対象の各々に識別記号を付与する。
実施の形態３における表示制御動作を、図１４に示されるコマンド発話に対する動作を示すフローチャートに従い説明する。ここでは、複数のアプリケーションに対する表示制御動作を説明する。図２９は、各表示領域にアプリケーションのトップ画面（Top）が表示された状態を示す図である。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。ここでは、ユーザは、“Joe Smith”（「ジョー・スミス」）と発話する。音声認識部３は、その発話の音声に類似する“John Smith”（「ジョン・スミス」）と“Josh Smith”（「ジョシュ・スミス」）と“Joan Smith”（「ジョーン・スミス」）と“Joe Smith”（「ジョー・スミス」）とを発話内容として認識する。以下、“John Smith”を第７発話内容、“Joan Smith”を第８発話内容、“Joe Smith”を第９発話内容、“Josh Smith”を第１０発話内容という。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。音声認識部３は、図１１に示されるコマンド発話に対応するデータベースを参照し、第７発話内容である“John Smith”に対応付けられるトピック“NAV.navigateName”およびスロット“John Smith”を出力する。同様に、音声認識部３は、第８発話内容である“Joan Smith”に対応付けられるトピック“MPL.playArtist”およびスロット“Joan Smith”を出力する。音声認識部３は、第９発話内容である“Joe Smith”に対応付けられるトピック“PHN.callName”およびスロット“Joe Smith”を出力する。音声認識部３は、第１０発話内容である“Josh Smith”に対応付けられる３つのトピック“NAV.navigateName”と“MPL.playArtist”と“PHN.callName”とスロット“Josh Smith”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ１３０にて、表示制御部１は、発話内容に関連する少なくとも１つのアプリケーションを第１情報に基づいて特定する。表示制御部１は、図１３に示される対応関係に基づき、発話内容に関連するアプリケーションを特定する。第７発話内容および第１０発話内容のトピックは“NAV.navigateName”であるため、アプリケーションはナビゲーションである。第８発話内容および第１０発話内容のトピックは“MPL.playArtist”であるため、アプリケーションはメディアプレーヤーである。第９発話内容および第１０発話内容のトピックは“PHN.callName”であるため、アプリケーションはフォンである。
ステップＳ１４０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが表示される表示領域を表示領域情報に基づいて特定する。実施の形態３においては、表示制御部１は、３つアプリケーションが表示される各表示領域を表示領域情報に基づいて特定する。すなわち、表示制御部１は、図１０に示される表示領域情報に基づき、ナビゲーションが表示されている第１表示領域２１、メディアプレーヤーが表示されている第２表示領域２２、および、フォンが表示されている第３表示領域２３を特定する。
ステップＳ１５０にて、表示制御部１は、特定された少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を第２情報に基づいて特定する。ここでは、表示制御部１は、第７発話内容および第１０発話内容の各スロットに基づいて、ナビゲーションが設定する目的地を、“John Smith”に対応する地点および“Josh Smith”に対応する地点に特定する。表示制御部１は、第８発話内容および第１０発話内容の各スロットに基づいて、メディアプレーヤーが再生するアーティストの曲を、“Joan Smith”に対応する曲および“Josh Smith”に対応する曲に特定する。表示制御部１は、第９発話内容および第１０発話内容の各スロットに基づいて、フォンが電話をかける相手を、“Joe Smith”に対応する電話番号および“Josh Smith”に対応する電話番号に特定する。
ステップＳ１６０にて、表示制御部１は、各処理対象に識別記号を付与する。この際、表示制御部１は、複数の処理対象の各々に互いに重複しない識別記号を付与する。図３０は、各処理対象と識別記号との関係を示す図である。表示制御部１は、各処理対象にそれぞれ異なるID番号「１」から「６」を付与する。また、表示制御部１は、表示領域ごとに予め定められる優先度に応じて識別記号を付与する。その優先度は、例えば、表示領域情報に格納され、表示制御部１がその表示領域情報を参照する。また、優先度は、例えば、車両内部の各表示領域の位置に応じて予め設定される。例えば、各表示領域が位置する高さが高い順に優先度が設定される。または、例えば、各表示領域は、運転席または助手席に近い順に優先度が設定される。実施の形態３においては、第１表示領域２１、第２表示領域２２、第３表示領域２３の順に優先度が予め設定されている。
ステップＳ１７０にて、表示制御部１は、各処理対象と識別記号との関係を記憶する。表示制御部１は、例えば、図３０に示されるような、各処理対象と識別記号とが格納されたテーブルを記憶する。
ステップＳ１８０にて、表示制御部１は、識別記号とともに、各処理対象を認識候補として、各アプリケーションが表示される表示領域に表示させる。図３１は、各表示領域に認識候補が表示された状態を示す図である。表示制御部１は、ID番号とともに、スロット“John Smith”および“Josh Smith”を認識候補として、第１表示領域２１に表示させる。この際、ナビゲーションは、目的地設定（Set destination）の画面を表示している。表示制御部１は、ID番号とともに、スロット“Joan Smith”および“Josh Smith”を認識候補として、第２表示領域２２に表示させる。この際、メディアプレーヤーは、再生アーティスト（Play by artist）の画面を表示している。表示制御部１は、ID番号とともに、スロット“Joe Smith”および“Josh Smith”を認識候補として、第３表示領域２３に表示させる。この際、フォンは、名前呼び出し（Call by name）の画面を表示している。
次に候補選択発話に対する表示制御装置１１の動作を図１８に示されるフローチャートに従い説明する。
ステップＳ１００にて、音声認識部３は、発話された音声を認識する。ここでは、ユーザは、図３１に示された認識候補に基づき“Select number five”（「５番を選択」）と発話する。音声認識部３は、その発話に対して、“Select number five”を認識する。
ステップＳ１１０にて、音声認識部３は、予め準備された発話内容と第１情報と第２情報とが対応付けられたデータベースを参照し、認識した発話内容に関連する第１情報および第２情報を出力する。音声認識部３は、図１２に示される候補選択発話に対応するデータベースを参照し、発話内容である“Select number five”に対応付けられるトピック“CMD.selectNbest”およびスロット“Number five”を出力する。
ステップＳ１２０にて、表示制御部１は、音声認識部３が出力する第１情報および第２情報を取得する。ここでは、表示制御部１は、トピックおよびスロットを取得する。
ステップＳ２３０にて、表示制御部１は、第１情報に基づいて、第２情報から発話内容に対応する識別記号を取得する。表示制御部１は、トピック“CMD.selectNbest”に基づき、スロット“Number five”に対応するID番号を取得する。この場合、ID番号は「５」が取得される。
ステップＳ２４０にて、表示制御部１は、各処理対象と識別記号との関係に基づき、発話内容に対応する処理対象を選択する。表示制御部１は、図３０に示される各処理対象と識別記号との関係に基づき、発話された識別記号に対応するスロット“Joe Smith”を選択する。以上により、アプリケーションが実行する処理の処理対象が決定される。すなわち、フォンが電話をかける電話番号が、“Joe Smith”に対応する電話番号に決定される。
ステップＳ２５０にて、表示制御部１は、アプリケーションに処理の実行を依頼する。表示制御部１は、フォンに“Joe Smith”に対応する電話番号に電話をかけるよう依頼する。
ステップＳ２６０にて、表示制御部１は、アプリケーションが表示される表示領域に、そのアプリケーションが処理を実行中であることを表示させる。図３２は、第３表示領域２３に処理の実行中の画面が表示された状態を示す図である。表示制御部１は、フォンが表示される第３表示領域２３において、“Joe Smith”に対応する電話番号を含む情報として、“Calling Joe Smith 0123-455-7889”（「ジョー・スミスに電話中 0123-455-7889」）等の情報を表示させる。また、表示制御部１は、認識候補が選択されなかったナビゲーションおよびメディアプレーヤーがそれぞれ表示される第１表示領域２１および第２表示領域２２にトップ画面（Top）を表示させる。
表示制御装置１１は、フォンの発信が終了すると、図２８と同様のトップ画面（Top）を第３表示領域２３に表示させる。
（効果）
発話内容“Josh Smith”は、ナビゲーション、メディアプレーヤー、フォンの３つのアプリケーションに関連している。その場合、各認識候補は、表示装置２０内にて、異なるID番号が付されて表示される。よって、表示制御装置１１は、ユーザがアプリケーションを指定することなくID番号を指定するだけで認識候補を選択することを可能とする。
以上をまとめると、実施の形態３の表示制御装置１１において、第２情報に基づいて特定される少なくとも１つの処理対象は、複数の処理対象を含む。表示制御部１は、複数の処理対象の各々に互いに重複しない識別記号を付与し、各処理対象を認識候補として識別記号とともに表示領域に表示させる。
このような構成により、表示制御装置１１は、複数のアプリケーションに表示される認識候補をユーザが識別記号を指定して選択することを可能とする。
また、実施の形態３における表示制御装置１１の表示制御部１は、認識候補が表示される表示領域ごとに予め定められる優先度に応じて、複数の処理対象の各々に識別記号を付与する。
このような構成により、表示制御装置１１は、複数の認識候補から優先度の高い認識候補をユーザに提示することができる。
＜実施の形態４＞
実施の形態４における表示制御装置１１および表示制御方法を説明する。なお、他の実施の形態と同様の構成および動作については説明を省略する。
実施の形態４においては、ナビゲーションおよびメディアプレーヤーの各表示領域が入れ替えられる。優先度が最も高い第１表示領域２１には、メディアプレーヤーが表示され、第１表示領域２１よりも優先度が低い第２表示領域２２には、ナビゲーションが表示される。
各アプリケーションの表示領域が入れ替えられたか否かは、例えば、表示領域管理部２が表示制御部１に表示領域情報を通知することによって行われる。表示制御装置１１は、表示位置が入れ替えられた結果、第１表示領域２１に表示されているメディアプレーヤーが実行する各処理対象に、優先的に識別記号を付与する。表示制御装置１１は、複数の処理対象のうち、トピック“MPL.playArtist”およびスロット“Joan Smith”にID番号「１」を、トピック“MPL.playArtist”およびスロット“Josh Smith”にID番号「２」を付与する。
図３３は、実施の形態４における各表示領域に認識候補が表示された状態を示す図である。表示制御部１は、ID番号とともに、スロット“Joan Smith”および“Josh Smith”を認識候補として、メディアプレーヤーが表示されている第１表示領域２１に表示させる。表示制御部１は、ID番号とともに、スロット“John Smith”および“Josh Smith”を認識候補として、ナビゲーションが表示されている第２表示領域２２に表示させる。表示制御部１は、ID番号とともに、スロット“Joe Smith”および“Josh Smith”を認識候補として、フォンが表示されている第３表示領域２３に表示させる。
このような構成により、アプリケーションの表示位置が変更されたとしても、各表示領域に表示される認識候補のID番号は、各表示領域の優先度に応じて並んで表示される。そのため、ユーザは、認識候補を選択しやすい。
＜実施の形態５＞
実施の形態５における表示制御装置１１および表示制御方法を説明する。なお、他の実施の形態と同様の構成および動作については説明を省略する。
実施の形態５においては、表示制御部１は、複数の処理対象のうち発話内容に基づく音響的な信頼度が最も高い処理対象を認識候補として強調して表示させる。音響的な信頼度とは、音声認識部３が認識した発話音声の音響的な確からしさのことである。音響的な信頼度が高い処理対象は、ユーザが意図した処理対象である確率が高い。
図３４は、実施の形態５における各表示領域に認識候補が表示された状態を示す図である。表示制御部１は、音響的な信頼度が最も高い“John Smith”を含む認識候補を強調して表示させている。強調して表示する方法は、例えば、認識候補の表示の大きさを変更する、認識候補の表示の色を変える、認識候補の表示の字体を変える、認識候補の表示にアンダーラインなどの飾りを付ける、認識候補を斜体形などの表示方式を変更する、認識候補の表示がアニメーション動作を行う、認識候補の表示の位置を変える、認識候補の表示の向きを変える等である。表示制御部１は、音響的な信頼度を音声認識部３から取得する。表示制御部１は、例えば、第１情報および第２情報とともに音響的な信頼度を取得する。
このような構成により、表示制御装置１１は、表示装置２０がユーザの意図と合致する可能性の高い認識候補を表示するよう制御できる。
＜実施の形態６＞
実施の形態６における表示制御装置１１および表示制御方法を説明する。なお、他の実施の形態と同様の構成および動作については説明を省略する。上記の各実施の形態においては、１つの表示領域に表示される認識候補は２つである例が示されたが、発話内容や各アプリケーションに登録されている名前等によっては、より多くの認識候補が１つの表示領域に表示される可能性がある。認識候補の数が多い場合、１つの表示領域に、つまり、１つの画面にそれらを表示することが難しい。
実施の形態６において、表示制御装置１１は、表示領域ごとに予め定められる認識候補の表示数の上限値内で、少なくとも１つの処理対象を認識候補として表示させる。図３５は、実施の形態６における各表示領域に認識候補が表示された状態を示す図である。ここでは、各表示領域における予め定められる認識候補の表示数の上限値は２である。ここでは、各表示領域における上限値を同一の値としたが、異なる上限値がそれぞれの表示領域に設定されてもよい。各認識候補は、それぞれの表示領域において、音響的な信頼度が高い順に表示されることが好ましい。
このような構成により、表示制御装置１１は、複数の認識候補が表示される場合の視認性の悪化を防止できる。
＜実施の形態７＞
以上の各実施の形態においては、車両に搭載される表示制御装置が示された。実施の形態７における、表示制御装置は、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムに適用される。図３６は、実施の形態７における表示制御システム１００の構成を示すブロック図である。表示制御装置１０がシステムに適用される場合、表示制御装置１０の各機能あるいは各構成要素は、表示制御システム１００を構築する各機器に分散して配置されてもよい。車両７０には、表示制御装置１０、表示装置２０、音声入力装置４０、および通信装置５０が設けられている。ここで、通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。サーバ８０には、音声認識装置３０および通信装置６０が設けられている。音声入力装置４０に入力されたユーザの発話は、車両の通信装置５０およびサーバの通信装置６０を介して音声認識装置３０に入力され認識される。音声認識装置３０は、各通信装置を介して表示装置２０に第１情報および第２情報を出力する。表示制御装置１０は、その第１情報と第２情報とに基づき、各実施の形態に示された表示制御動作を表示装置２０に対して行う。このような構成であっても、表示制御装置１０は、各実施の形態に示された効果と同様の効果を奏する。
また、ここでは図示は省略するが、実施の形態２に示されたように、表示制御装置が音声認識装置３０の機能として音声認識部３を含む場合、表示制御装置の機能は車両７０とサーバ８０とに分散配置される。つまり、車両７０には表示制御部１の機能が、サーバ８０には音声認識部３の機能が分散配置される。そのような分散配置された構成であっても、表示制御装置は各実施の形態において示された効果と同様の効果を奏する。また、表示制御装置の一部の構成がサーバ８０に設けられることにより、車両７０に搭載される装置の構成を簡素化できる。また、音声認識部３が音声の認識の際に用いるデータベースのアップデート等も容易であり、発話内容の精度、すなわち、音響的な信頼度の向上が可能である。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
１ 表示制御部、２ 表示領域管理部、３ 音声認識部、４ 記憶部、１０ 表示制御装置、２０ 表示装置、２１ 第１表示領域、２２ 第２表示領域、２３ 第３表示領域、１００ 表示制御システム。
本発明に係る表示制御装置は、発話された音声の発話内容に基づく表示制御を、複数のアプリケーションがそれぞれ表示される複数の表示領域を有する表示装置に対して行う表示制御装置である。表示制御装置は、表示制御部を備える。表示制御部は、複数のアプリケーションのうち発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、少なくとも１つのアプリケーションが実行する処理の処理対象であって、発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得する。さらに表示制御部は、複数の表示領域のうち、第１情報に基づいて特定される１つのアプリケーションが表示される表示領域に、第２情報に基づいて特定されかつその１つのアプリケーションが実行する処理の複数の処理対象を、認識候補として表示させる制御、または、複数の表示領域のうち、第１情報に基づいて特定される２以上のアプリケーションがそれぞれ表示される２以上の表示領域の各々に、第２情報に基づいて特定されかつその２以上のアプリケーションの各々が実行する処理の少なくとも１つの処理対象を、認識候補として表示させる制御を表示装置に対して行う。

Claims (8)

  1. 発話された音声の発話内容に基づく表示制御を、複数のアプリケーションの各々が表示される表示領域を有する表示装置に対して行う表示制御装置であって、
    表示制御部を備え、
    前記表示制御部は、前記複数のアプリケーションのうち前記発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、前記少なくとも１つのアプリケーションが実行する処理の処理対象であって、前記発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得し、
    さらに前記表示制御部は、前記第１情報に基づいて特定される前記少なくとも１つのアプリケーションの各々が表示される前記表示領域に、
    前記第２情報に基づいて特定されかつ前記少なくとも１つのアプリケーションの各々が実行する前記処理の前記少なくとも１つの処理対象を、認識候補として表示させる制御を前記表示装置に対して行う、表示制御装置。
  2. 前記発話された前記音声を認識し、前記音声を認識して得られる前記発話内容と前記第１情報と前記第２情報とが対応付けられたデータベースを参照し、前記発話内容に関連する前記第１情報と前記第２情報とを前記表示制御部に出力する音声認識部をさらに備え、
    前記音声認識部は、前記データベースを記憶する記憶部を含む請求項１に記載の表示制御装置。
  3. 各前記アプリケーションと各前記アプリケーションが表示される前記表示領域との対応関係である表示領域情報を管理する表示領域管理部をさらに備え、
    前記表示制御部は、前記第１情報に基づいて特定される前記少なくとも１つのアプリケーションの各々が表示される前記表示領域を、前記表示領域管理部にて取得された前記表示領域情報に基づいて特定する請求項１に記載の表示制御装置。
  4. 前記第２情報に基づいて特定される前記少なくとも１つの処理対象は、複数の処理対象を含み、
    前記表示制御部は、前記複数の処理対象の各々に互いに重複しない識別記号を付与し、前記識別記号とともに各前記処理対象を前記認識候補として前記表示領域に表示させる請求項１に記載の表示制御装置。
  5. 前記表示制御部は、前記認識候補が表示される前記表示領域ごとに予め定められる優先度に応じて、前記複数の処理対象の各々に前記識別記号を付与する請求項４に記載の表示制御装置。
  6. 前記第２情報に基づいて特定される前記少なくとも１つの処理対象は、複数の処理対象を含み、
    前記表示制御部は、前記複数の処理対象のうち前記発話内容に基づく音響的な信頼度が最も高い処理対象を前記認識候補として強調して表示させる請求項１に記載の表示制御装置。
  7. 前記表示制御部は、前記表示領域ごとに予め定められる前記認識候補の表示数の上限値内で、前記少なくとも１つの処理対象を前記認識候補として表示させる請求項１に記載の表示制御装置。
  8. 発話された音声の発話内容に基づく表示制御を、複数のアプリケーションの各々が表示される表示領域を有する表示装置に対して行う表示制御方法であって、
    前記複数のアプリケーションのうち前記発話内容に関連する少なくとも１つのアプリケーションを特定可能な第１情報と、前記少なくとも１つのアプリケーションが実行する処理の処理対象であって、前記発話内容に関連する少なくとも１つの処理対象を特定可能な第２情報と、を取得し、
    前記第１情報に基づいて特定される前記少なくとも１つのアプリケーションの各々が表示される前記表示領域に、
    前記第２情報に基づいて特定されかつ前記少なくとも１つのアプリケーションの各々が実行する処理の前記少なくとも１つの処理対象を、認識候補として表示させる制御を前記表示装置に対して行う表示制御方法。
JP2020501891A 2018-02-21 2018-02-21 表示制御装置および表示制御方法 Active JP6884263B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006134 WO2019163011A1 (ja) 2018-02-21 2018-02-21 表示制御装置および表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2019163011A1 true JPWO2019163011A1 (ja) 2020-10-01
JP6884263B2 JP6884263B2 (ja) 2021-06-09

Family

ID=67687121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501891A Active JP6884263B2 (ja) 2018-02-21 2018-02-21 表示制御装置および表示制御方法

Country Status (3)

Country Link
US (1) US11243741B2 (ja)
JP (1) JP6884263B2 (ja)
WO (1) WO2019163011A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4210047A1 (en) * 2022-01-05 2023-07-12 Honeywell International Inc. Contextual editable speech recognition methods and systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07140998A (ja) * 1992-12-28 1995-06-02 Toshiba Corp 音声認識インターフェース
JPH11175094A (ja) * 1997-12-09 1999-07-02 Hitachi Ltd 音声認識装置
JP2014178567A (ja) * 2013-03-15 2014-09-25 Yahoo Japan Corp 音声認識装置、音声認識方法、およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3387178B2 (ja) 1993-11-15 2003-03-17 富士写真光機株式会社 内視鏡の湾曲操作装置
JP2008164809A (ja) 2006-12-27 2008-07-17 Denso Corp 音声認識装置
US9129291B2 (en) * 2008-09-22 2015-09-08 Personics Holdings, Llc Personalized sound management and method
CN102315557B (zh) 2010-07-09 2013-08-21 凡甲电子(苏州)有限公司 电源连接器
JP5234160B2 (ja) 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
US20140310610A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle occupant impairment assisted vehicle
JP6135400B2 (ja) * 2013-08-26 2017-05-31 株式会社デンソー 表示装置
JP6432233B2 (ja) * 2014-09-15 2018-12-05 株式会社デンソー 車両用機器制御装置、制御内容検索方法
JP2016102823A (ja) * 2014-11-27 2016-06-02 アルパイン株式会社 情報処理システム、音声入力装置及びコンピュータプログラム
JPWO2016181565A1 (ja) * 2015-05-14 2018-03-29 富士通株式会社 文字入力受付方法、文字入力受付装置及び文字入力受付プログラム
US10972607B1 (en) * 2018-09-28 2021-04-06 United Services Automobile Association (Usaa) System and method for providing audible support to a service representative during a call
US10949228B1 (en) * 2018-09-28 2021-03-16 United Services Automobile Association (Usaa) System and method for controlling the content of a device in response to an audible request

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07140998A (ja) * 1992-12-28 1995-06-02 Toshiba Corp 音声認識インターフェース
JPH11175094A (ja) * 1997-12-09 1999-07-02 Hitachi Ltd 音声認識装置
JP2014178567A (ja) * 2013-03-15 2014-09-25 Yahoo Japan Corp 音声認識装置、音声認識方法、およびプログラム

Also Published As

Publication number Publication date
US20210216275A1 (en) 2021-07-15
WO2019163011A1 (ja) 2019-08-29
JP6884263B2 (ja) 2021-06-09
US11243741B2 (en) 2022-02-08

Similar Documents

Publication Publication Date Title
US9396727B2 (en) Systems and methods for spoken dialog service arbitration
US10706853B2 (en) Speech dialogue device and speech dialogue method
US7826945B2 (en) Automobile speech-recognition interface
US9188456B2 (en) System and method of fixing mistakes by going back in an electronic device
KR20240072281A (ko) 선택 시스템 및 방법
US7039629B1 (en) Method for inputting data into a system
US20140316782A1 (en) Methods and systems for managing dialog of speech systems
JPH06282291A (ja) 混同するほど類似した語句の入力を防止する方法と装置
KR20130082339A (ko) 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US20060020471A1 (en) Method and apparatus for robustly locating user barge-ins in voice-activated command systems
US10943587B2 (en) Information processing device and information processing method
US20150012261A1 (en) Method for phonetizing a data list and voice-controlled user interface
JP2007535731A (ja) 殊に自動車のためのリスト項目選択方法および情報システムまたは娯楽システム
JP7347217B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US20200286479A1 (en) Agent device, method for controlling agent device, and storage medium
CN111301312B (zh) 语音识别***的会话引导方法
JP6884263B2 (ja) 表示制御装置および表示制御方法
KR102217653B1 (ko) 차량용 인포테인먼트 시스템 및 그의 제어 방법과 그를 포함하는 차량
JP4770374B2 (ja) 音声認識装置
WO2014108981A1 (ja) 車載情報システムおよび音声認識適応方法
KR101650769B1 (ko) 제스처 인식을 이용한 차량용 음성 인식시스템
US20230260511A1 (en) Vehicle and control method thereof
US20240127810A1 (en) Dialogue Management Method, Dialogue Management System, And Computer-Readable Recording Medium
US20240214332A1 (en) Chatbot service providing method and chatbot service providing system
JP2008233009A (ja) カーナビゲーション装置及びカーナビゲーション装置用プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210511

R150 Certificate of patent or registration of utility model

Ref document number: 6884263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150