JP2011503638A - カーナビゲーションシステムのための自由会話命令分類の改良 - Google Patents

カーナビゲーションシステムのための自由会話命令分類の改良 Download PDF

Info

Publication number
JP2011503638A
JP2011503638A JP2010531320A JP2010531320A JP2011503638A JP 2011503638 A JP2011503638 A JP 2011503638A JP 2010531320 A JP2010531320 A JP 2010531320A JP 2010531320 A JP2010531320 A JP 2010531320A JP 2011503638 A JP2011503638 A JP 2011503638A
Authority
JP
Japan
Prior art keywords
data
conversation
instruction
instructions
conversation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010531320A
Other languages
English (en)
Inventor
グプタ、ラケシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2011503638A publication Critical patent/JP2011503638A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Navigation (AREA)

Abstract

【課題】自由フォーマット命令を、車両ナビゲーション命令に正確に関連付ける。
【解決手段】本発明は、自由会話命令を、定義済命令のセットからの1又は複数の定義済命令に関連付けるシステム及び方法である。定義済命令のセットが格納され、定義済命令のそれぞれに関連付けられた代替フォームが外部データソースから検索される。代替フォームが定義済命令の言い換え語を表すように、外部データソースは、複数のソースから、定義済命令のそれぞれに関連付けられた代替フォームを受信する。定義済命令からの単語、及び、ベクトル表示のような定義済命令の代替フォームが、定義済命令ごとに生成される。受信された会話データと定義済命令の各表示との間の類似度が計算され、会話データは、会話データとの類似度が最高である表示を有する定義済命令として分類される。
【選択図】図1

Description

(関連出願の参照)
本出願は、2007年10月26日付けの米国特許仮出願第60/983,065号、及び2007年12月20日付けの米国特許仮出願第61/015,515号を基礎とする優先権を米国特許法119条(e)に基づき主張し、これらの出願はその全体がここに引用される。
本発明は、一般的には会話データの分類に関する。より具体的には、車両ナビゲーションシステムによる会話データの分類を改良するために外部データを用いるシステム及び方法に関する。
車両ナビゲーションシステム及び携帯ナビゲーションシステムは、徐々に一般的になりつつある。これらのナビゲーションシステムのおかげで、ユーザは、様々な場所への方向を受信することができ、また、空調制御システム又は音声システムのような他の車両システムと交信することができる。今日、多くの車両ナビゲーションシステムは、会話データを受信し、受信された会話データに応じて動作を実行するようになっている。よって、命令を言葉として話すことによって、搭乗者は、車両ナビゲーションシステムに対して、最も近いガソリンスタンド又は言葉として話された住所のような場所を発見すること、車内温度を調節すること、又は、車内で現在再生されているラジオ放送局を変更することを促すことができる。
しかしながら、従来の車両ナビゲーションシステムは、“最も近いATMを探せ”又は“次のラジオ局”のような、特定の数の定義済命令を認識するに留まる。これらの定義済命令は、特定の文法フォーマットのような特定のフォーマットを有するので、ユーザは、当該定義済命令の当該特定のフォーマットを記憶して車両ナビゲーションシステムと交信する必要がある。しかしながら、多くのユーザには、従来の車両ナビゲーションシステムによって認識される定義済命令のリストを調べる時間的余裕はなく、従来の車両ナビゲーションシステムによって認識される定義済命令のフォーマットを記憶する時間はさらに少ない。
多くのユーザは、試行錯誤又はディーラの実演説明に頼って従来の車両ナビゲーションシステムの使用方法を学習するので、多くのユーザは、従来の車両ナビゲーションシステムによって認識される命令を知らず、従来の車両ナビゲーションシステムを使用していると直ぐにストレスが溜まる。従来の車両ナビゲーションシステムについて訓練することは限られているとはいっても、車両ナビゲーションシステムが思った通り稼動しないと、ユーザは、使用し始めて間もないうちに、従来の車両ナビゲーションシステムを使用することをやめてしまうことがよくある。
さらに、従来の車両ナビゲーションシステムによって認識される定義済命令は特定のフォーマットを有しており、当該車両ナビゲーションシステムによって要求される当該特定のフォーマットをユーザは通常知らない。したがって、従来の車両ナビゲーションシステムによって受信される会話データのうちの一般的に半分程度しか、所望の動作を起こすための定義済命令として識別されない。従来の車両ナビゲーションシステムによって受信される会話データのうちの四分の一は誤って解釈され、車両ナビゲーションシステムがユーザ所望の動作以外の動作を実行したり、又は全く動作を実行しなかったりする原因となる。受信される会話データの残りの四分の一は、一般的に、従来の車両ナビゲーションシステムに識別されないので、車両ナビゲーションシステムによって取られるべき動作を起こすことはない。このように、従来の車両ナビゲーションシステムが特定のフォーマットを有する会話データを識別する能力は限定されており、従来の車両ナビゲーションシステムが、ユーザが提供する会話データをエラーとして分類してしまう比率又はそもそも認識できない比率は高く、ユーザの従来の車両ナビゲーションシステムに対する不満に繋がる。
以上のように、自由フォーマット命令を、対応する車両ナビゲーション命令に正確に関連付けるシステム及び方法が必要となっている。
(発明の要約)
本発明は、様々なフォーマットの会話命令、すなわち“自由会話命令”を受信し、当該自由会話命令を、定義済命令のセットからの定義済命令に関連付けるシステム及び方法を提供する。定義済命令のセットが格納されており、当該定義済命令のそれぞれに関連付けられた代替フォームが、外部データソースから検索される。ある実施形態においては、外部データソースは、複数のユーザや複数のソースから、定義済命令のそれぞれに関連付けられた代替フォームを受信するので、代替フォームは、言い換え語、すなわち、定義済命令を伝える代替方法を表す。ベクトル表示のような表示が、定義済命令ごとに生成される。表示は、定義済命令を有する単語、及び、定義済命令の代替フォームを有する単語を含む。このことによって、定義済命令の表示は、1又は複数のユーザによって定義済命令に関連付けられた異なる単語を含むことが可能になる。受信された会話データと定義済命令のそれぞれの表示との間の類似度が計算され、会話データが、対応する表示が最高の類似度を有する定義済命令に関連付けられる。こうして、車両ナビゲーションシステムは、会話データに関連付けられた定義済命令に関連付けられた動作を実行することが可能になる。
本明細書に記述されている特徴及び利点は、限定的なものではなく、図面、明細書及び特許請求の範囲を見れば、当業者には、追加的な特徴及び利点が明らかになる。さらに、本明細書中で使用される用語は、主として意味の取りやすさ及び教示目的から選択されており、本発明の主旨を限定するために選択されているものではないことは当然である。
本発明のある実施形態が動作する、コンピューティング機器を示す図である。 本発明のある実施形態に係る、車両ナビゲーションシステムの語彙を拡張するシステムのブロック図である。 本発明のある実施形態に係る、識別可能な会話データの語彙拡張のための方法を示すフローチャートである。 本発明のある実施形態に係る、受信された会話命令を分類する方法を示すフローチャートである。
本発明の好適な一実施形態を、図を参照しつつ説明する。複数の図に跨って同様の参照番号が記される場合、それらは同一の又は機能的に類似した構成要素を意味する。参照番号の最も左の数字は、当該参照番号が初めて使用された図の番号に対応している。
本明細書において、“ある実施形態”又は“一実施形態”と言う場合は、本発明の少なくとも1つの実施形態に、その実施形態に関連して記述される1つの特徴又は構造が含まれていることを意味する。本明細書のあちこちに“ある実施形態においては”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。
後記する詳細説明のいくつかの部分は、アルゴリズム用語や、コンピュータメモリ内のデータビット作業を示す象徴的な表現による。これらのアルゴリズム的な説明や表現は、情報処理分野の当業者が、自らの業績の要旨を、同分野の他の当業者に最も効率的に伝えるために用いる手段である。アルゴリズムとは、ここでは、そして一般的にも、ある所望の結果に至る複数のステップ(指示)の首尾一貫したシーケンスのことを言う。ステップとは、物理量に対する物理的操作を要求するステップのことである。通常、必ずしも必要条件ではないが、それらの数値は、記憶され、転送され、合成され、比較されかつ操作され得る、電子的、磁気的又は光学的信号の形を取る。これらの信号のことを、ビット、値、要素、シンボル、文字、語又は番号等と呼ぶことが主として用語の共通化の理由から便宜である。さらに、物理量に対する物理的操作を要求するステップの配列のうちいくつかのものは、一般性を失うことなく、モジュール又はコードデバイスと呼ぶことが便宜である。
しかしながら、このような用語の全ては適当な物理量と関連付けられており、これらの物理量に付された単なる便宜的なラベルに過ぎない。後記において特段の説明がない限り、明細書本文全体を通じて、“処理”、“計算”、“算出”、“決定”又は“表示”等の用語を用いた説明は、(電子的な)物理量としてのデータを、コンピュータシステムのメモリ、レジスタ又は他の情報ストレージのなかで操作しかつ変形するコンピュータシステムや同様の電子的コンピューティング機器の動作や処理のことを言う。
本発明のいくつかの側面は、アルゴリズムの形になったプロセスステップや指示を含む。本発明のプロセスステップや指示は、ソフトウエア、ファームウエア又はハードウエアによって実施され、ソフトウエアで実施される場合は、ダウンロードされることが可能であり、多様なオペレーティングシステムが用いる別のプラットフォームから操作されることも可能である。
本発明は、操作を実行する装置にも関する。この装置は、所与の目的を達成する専用装置であってもよいし、コンピュータに記憶されたコンピュータプログラムによって動作する汎用コンピュータであってもよい。このようなコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶され得る。その媒体とは、コンピュータシステムバスに接続可能な、フロッピー(登録商標)ディスク、光ディスク、CD−ROM、電磁光学的ディスク、ROM、RAM、EPROM、EEPROM、電磁的又は光学的カード、ASIC又は電子的命令を記憶し得るあらゆる媒体を含むが、これらに限定されない。さらに、本明細書で言うコンピュータは、単体のプロセッサを含んでもよいし、コンピュータ能力を増加させるために複数のプロセッサを用いた装置であってもよい。
ここでいうアルゴリズムやディスプレイは、もともと特定のコンピュータや他の装置に関係している訳ではない。ここで教示される内容に従って、プログラムとともに多様な一般目的システムが使用され得る。又は、必要とされる方法ステップを実行するためにさらに特化した装置を作成することも便宜である。これらのシステムのそれぞれについてどのような構成が必要となるかは、後記する明細書本文から明らかになる。さらには、本発明は特定のプログラム言語を参照して記載されるものではない。本発明の教示を実装するために、多様なプログラム言語が使用され得る。後記において特定の言語に言及した場合、それは本発明の実施可能性及びベストモードを開示するためである。
さらに、本明細書で使用される言語は、主として意味の取りやすさ及び教示目的から選択されているのであって、本発明の主旨を限定するために選択されているのではない。従って、本発明の開示は、特許請求の範囲にて記述されている本発明の範囲を例示するものであるが限定するものではない。
図1は、本発明のある実施形態が動作する、コンピューティング機器100を示す図である。コンピューティング機器100は、プロセッサ110、入力装置120、出力装置130、会話認識モジュール160及びメモリ140を有する。ある実施形態においては、コンピューティング機器100は、送受信機又はコネクタを含む通信モジュール150をさらに有する。
プロセッサ110は、データ信号を処理するものであり、複合指示セットコンピュータ(CISC)アーキテクチャ、縮小指示セットコンピュータ(RISC)アーキテクチャ、又は指示セットの組合せを実装するアーキテクチャのような様々なコンピューティングアーキテクチャを含み得る。図1においては単一のプロセッサが示されているが、複数のプロセッサが含まれていてもよい。プロセッサ110は、算術論理演算ユニット、マイクロプロセッサ、汎用コンピュータ、若しくは、メモリ140、入力装置120、出力装置130、又は通信モジュール150、からの電子データ信号を送信し、受信し、かつ処理し得る他の情報処理製品を含む。
入力装置120は、コンピューティング機器100に対してユーザ入力を提供する、カーソルコントローラ又はキーボードのような任意の機器である。ある実施形態においては、入力装置120は、QWERTYキーボード、キーパッド又はタッチスクリーン上に表示されたそれらの代替物のような、情報及び/又は命令選択をプロセッサ110又はメモリ140に送信する英数字入力機器を含み得る。他の実施形態においては、入力装置120は、ジョイスティック、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、カーソル移動キー、又は画像の動きを調節する他の機構のような、プロセッサ110に対して命令選択と同様に位置データを送信できるユーザ入力装置である。
出力装置130は、ここに記述されるような電子画像及び電子データを表示できる任意の機器である。出力装置130は、例えば、有機発光ダイオードディスプレイ(OLED)、液晶ディスプレイ(LCD)、陰極管ディスプレイ(CRT)、若しくは、表示装置、スクリーン又はモニタを備えた任意の他の同等の装置であってよい。ある実施形態においては、出力装置130は、接触感応式透明パネルが出力装置130のスクリーンを覆うような、タッチスクリーンを備えている。
メモリ140は、プロセッサ110によって実行される指示及び/又はデータを格納する。指示及び/又はデータは、ここで記述される任意の及び/又はすべての技術を実行するためのコードを含む。メモリ140は、動的ランダムアクセスメモリ(DRAM)デバイス、静的ランダムアクセスメモリ(SRAM)デバイス、フラッシュRAM、他の不揮発性ストレージ装置、これらの組合せ、又は当業界に知られている他のメモリーデバイスであってもよい。メモリ140は、定義済命令格納部142、解釈モジュール144、及び語彙拡張モジュール146を含み、プロセッサ110、入力装置120、出力装置130、会話認識モジュール160及び/又は通信モジュール150と通信可能に接続されている。
定義済命令格納部142は、1又は複数の定義済命令を記述するテキストデータを含む。定義済命令は、コンピューティング機器100に、1又は複数の車両システムと交信させ、かつ、1又は複数の車両システムを修正させる。格納された定義済命令は、1又は複数の単語及び当該1又は複数の単語に関連付けられた順序を特定する定義された文法構造のような特定のフォーマットを有する。例えば、格納された定義済命令は、“室温を上げろ”、“最も近いATMを探せ”、“最も近い銀行を探せ”、“ラジオ局を選局せよ”又は特定の語順の1又は複数の単語からなる他のフレーズのような命令を有する。
ある実施形態においては、定義済命令格納部142は、定義済命令を上位カテゴリに関連付ける。ある実施形態においては、上位カテゴリは、上位カテゴリ内の定義済命令によって実行される機能のタイプを記述する、又は、上位カテゴリ内の当該命令を実行することによって修正される車両システムを記述する。例えば、定義済カテゴリは、“グローバル命令”、“ナビゲーション一般”、“ナビゲーション表示”、“場所発見”、“空調”、“室温”、“設定”、“ラジオ”、“コンパクトディスク(CD)”、“情報”及び“MP3”である。例えば、“空調”という上位カテゴリ内の命令は、その命令が識別された場合、車両空調制御システムの修正を行う。代替的に、定義済カテゴリは、ユーザ定義されたカテゴリ又は他の選好に応じて命令を体系化する。ある実施形態においては、定義済命令格納部142は、入力装置120又は会話認識モジュール160から受信された入力に応じて、命令をカテゴリに体系化する方法を修正する。例えば、ある入力に応じて、定義済命令格納部142は、“地図を表示せよ”という命令を、“グローバル命令”という上位カテゴリに関連付けられている状態から、“ナビゲーション表示”という上位カテゴリに関連付けられている状態に修正する。ある実施形態においては、ある上位カテゴリをある命令に関連付けた後で、定義済命令格納部142は、当該上位カテゴリ内の命令を追加的に分類する。例えば、定義済命令格納部142は、第1の分類器の出力が、上位カテゴリに関連付けられたラベルのセットから選択される場合は、個々の分類器を連結してシーケンスを作成する。
解釈モジュール144は、定義済命令格納部142、語彙拡張モジュール146及び会話認識モジュール160と通信し、定義済命令格納部142からの定義済命令であって、コンピューティングシステム100によって実行されるべき定義済命令に、受信された会話データを関連付ける。会話認識モジュール160から会話データを受信すると、解釈モジュール144は、後記する語彙拡張モジュール146にアクセスし、定義済命令格納部142は、受信した会話データを定義済命令に関連付ける。
例えば、車両ナビゲーションシステムは、定義済命令格納部142に格納されている定義済命令に応じて、動作を認識し実行するように当初は設計されている。解釈モジュール144は、定義済命令格納部142からのこれらの定義済命令にアクセスし、語彙拡張モジュール146からの、定義済命令に関連付けられたデータにもアクセスし、会話データが定義済命令に関連付けられているか否かを決定する。解釈モジュール144は、定義済命令格納部142内のデータと、語彙拡張モジュール146内のデータとの間の関係を使用して、その後受信される会話命令を、定義済命令に関連付ける。語彙拡張モジュール146との交信は、解釈モジュール144が、定義済命令とは異なるフォーマットで受信される会話データを、受信された会話データ命令に最も類似している定義済命令に関連付けることを可能にする。解釈モジュール144については、図4とともに後記する。
語彙拡張モジュール146は、定義済命令格納部142に含まれる命令の代替フォームを含む。これらの代替フォームは、当該定義済命令と類似の意味を有する別の文法構造、当該定義済命令の変形例、又は、格納された定義済命令に含まれる単語の同義語を記述する。例えば、“最も近いATMを探せ”という定義済命令に対して、語彙拡張モジュール146は、“最寄のATM機はどこにあるか”、“最寄の自動支払機を探せ”、“最寄のATMを探せ”、“最も近い現金支払機へ行け”、“私は現金支払機が必要です”又は“ATMを探せ”のような代替フォームを含む。従来の車両ナビゲーションシステムが、前記例の“最も近いATMを探せ”という定義済命令を識別できるに過ぎない一方で、語彙拡張モジュール146は、解釈モジュール144が、“最も近いATMを探せ”の代替フォームにアクセスし、受信された会話が“最も近いATMを探せ”の代替フォームに類似しているか否かを決定することを可能にする、つまり、解釈モジュール144が定義済命令の代替フォームを使用して“最も近いATMを探せ”という命令を識別することを可能にする。このようにして、語彙拡張モジュール146によって、語彙拡張モジュール146に含まれる定義済命令の代替フォームに関連付けられた会話データを受信すると、解釈モジュール144は定義済命令を識別することができる。語彙拡張モジュール146のおかげで、搭乗者は、文法フォーマットが異なる会話命令又は定義済命令を含む単語の同義語を使用する会話命令を提供し、定義済命令を識別するために使用され得る会話データの量を増やすことによって、コンピューティング機器100との交信を単純化することができる。
ある実施形態においては、代替文法フォーマット及び同義語が、通信モジュール150を介して様々なソースから受信され、さらに、語彙拡張モジュール146に送信される。このことは、分散キャプチュア技術を使用して、様々な代替文法フォーマット及び/又は同義語を受信することを可能にする。分散キャプチュア技術を使用することによって、語彙拡張モジュール146は、様々なソースから、非常に様々な代替文法フォーマット及び/又は同義語を受信する。例えば、通信モジュール150は、http://openmind.hri-us.comで利用可能なオープンマインド屋内常識データベースのような外部データソースから命令ごとに代替文法フォーマットを受信する。当該外部データソースは、1又は複数の格納された定義済命令に関連付けられた代替文法フォーマット及び/又は代替フレーズを記述する1又は複数のユーザからのデータを含む。ある実施形態においては、語彙拡張モジュール146は、ワードネットデータベースのような1又は複数の語彙データベースから通信モジュール150を介してデータを受信し、定義済命令格納部142内の命令を有する単語の同義語を検索する。
ある実施形態においては、コンピューティング機器100は、コンピューティング機器100をネットワーク(図示せず)又は他のコンピューティング機器100にリンクさせる通信モジュール150をさらに有する。ネットワークは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(例えば、インターネット)及び/又は複数の機器間の通信を可能にする他の相互接続データパスを有してもよい。ある実施形態においては、通信モジュール150は、USB、IEEE1394又はイーサネット(登録商標)のような、ファイル及び情報を分配するコンピューティング機器100との従来式の接続である。他の実施形態においては、通信モジュール150は、赤外線通信、IEEE802.11a/b/g/n(すなわち、WiFi)通信、Bluetooth(登録商標)通信、3G通信、IEEE802.16(すなわち、WiMax)通信又はラジオ周波数通信のような従来タイプの送受信器である。
コンピューティング機器100は、受信された音声データを、テキストデータのような、コンピューティング機器100が読取可能なフォーマットに変換する会話認識モジュール160も含む。会話認識モジュール160の出力は、定義済命令格納部142及び/又は語彙拡張モジュール146に対してその後の処理のために送信される。ある実施形態においては、会話認識モジュール160は、搭乗者のようなユーザから会話語のような音声データを取得するためのマイクロフォン又は他の音声取得機器を含む。ある実施形態においては、会話認識モジュール160は、隠れマルコフモデル(HMM)ベースの会話認識を使用して音声データを識別する。しかしながら、他の実施形態においては、会話認識モジュール160は、音声データを取得し、当該取得された音声データを、定義済命令格納部142、解釈モジュール144及び/又は語彙拡張モジュール146が使用するフォーマットに変換する任意の適当な方法を使用してもよい。
コンピューティング機器100が、本発明の主旨を逸脱することなく図1に示された以外の構成要素を有してもよいし、図1に示された構成要素を欠いてもよいことは、当業者には明らかである。例えば、コンピューティング機器100は、例えば第1のレベルキャッシュ又は第2のレベルキャッシュのような追加メモリ、若しくは、1又は複数のアプリケーション特定型集積回路(ASICs)を含んでもよい。同様に、コンピューティング機器100は、追加的な入力装置又は出力装置を含んでもよい。本発明のいくつかの実施形態では、1又は複数の構成要素(110、120,130、140,142、144、146、150、160)は相互に近接して配置され得る一方、他の実施形態では、これらの構成要素は、地理的に離れた場所に配置され得る。例えば、メモリ140内のユニットは、コンピューティング機器100から分離して配置される1又は複数のプロセッサ110によって実行され得るプログラムであってもよい。
図2は、本発明のある実施形態に係る、車両ナビゲーションシステムの語彙を拡張するシステム200のブロック図である。例として、図2は、単一の外部データソース210からデータを受信するコンピューティング機器100を示している。しかしながら、他の実施形態においては、コンピューティング機器100は、複数の外部データソース210からデータを受信する。
コンピューティング機器100は、車両220に含まれ、通信リンク230を介して外部データソース210と通信を行う。ある実施形態においては、コンピューティング機器100は、車両に搭載されたナビゲーションシステムであり、空調制御システム、温度センサ、音響システム(例えば、ラジオ、コンパクトディスクプレーヤ、MP3プレーヤ、又は音声データを再生する他のシステム)のような1又は複数の車両システムと交信する。代替的に、コンピューティング機器100は、車両220内の1又は複数のシステムと通信し、車両220の外側で使用するために車両220から取り外し可能な携帯ナビゲーションシステムである。
外部データソース210は、1又は複数のアクティビティを記述する、http://openmind.hri-us.comで利用可能なオープンマインド屋内常識ウエブサイトのような構造化されたデータを含むデータ格納機器である。ある実施形態においては、外部データソース210は、1又は複数のボランティアから受信されたデータを含む。当該データは、コンピューティング機器100内の定義済命令格納部142によって格納された定義済命令の代替フォームを記述する。例えば、外部データソース210は、1又は複数のユーザに対して、定義済命令を含むテンプレートを表示し、当該1又は複数のユーザに質問をし、当該定義済命令のための代替フォーマットを提供する。ある実施形態においては、外部データソース210は、定義済命令を含む1又は複数の単語の同義語を記述するデータであって、1又は複数のユーザ又は1又は複数のデータリポジトリからのデータも受信し、格納する。このようにして、外部データソース210は、1又は複数の定義済命令に関連付けられた代替フォーマット及び/又は同義語を取得し、1又は複数定義済命令に関連付けられ得る会話データの数とタイプを増やす。
通信リンク230は、外部データソース210とコンピューティング機器100内に含まれる通信モジュール150との間でデータを通信する。ある実施形態においては、通信リンク230は、汎用パケットラジオサービス(GPRS)、IEEE802.11(すなわち、WiFi)、IEEE802.16(すなわち、WiMax)、Bluetooth(登録商標)、又は任意の他の適当な無線通信チャネルのような、無線通信チャネルを有する。代替的に、通信リンク230は、イーサネット(登録商標)、デジタル加入者線(DSL)、統合サービスデジタルネットワーク(ISDN)、又は任意の他の適当な有線通信システムのような従来の有線通信システムを有する。ある実施形態においては、通信リンク230は、無線通信システムと有線通信システムの組み合わせを有する。このようにして、通信リンク230は、外部データソース210が、定義済命令に関連付けられた代替フォーマット及び/又は同義語を記述するデータを、語彙拡張モジュール146内に格納するために、コンピューティング機器100に送信することを可能にする。ある実施形態においては、通信リンク230は、定期的に又はユーザ入力に応答して、接続が確立され、語彙拡張モジュール146を追加的な代替フォーマット又は同義語で更新する。
図3は、本発明のある実施形態に係る、車両ナビゲーションシステムの語彙拡張のための方法300を示すフローチャートである。ある実施形態においては、方法300のステップは、記述された動作を起こすソフトウエア指示又はファームウエア指示を実行するプロセッサ110によって実施される。当業者であれば、ハードウエア及び/又はソフトウエア若しくはそれらの組合によって、1又は複数の方法が実施されてもよいことがわかる。例えば、記述された動作を実行する指示は、コンピュータ読取可能な媒体内に具現化され、又は、格納される。さらに、当業者であれば、他の実施形態では、図3のステップが異なる順序で実行され得ることがわかる。さらに、他の実施形態では、ここに記述された以外の、異なる及び/又は追加的なステップが含まれ得る。
最初に、外部データソース210によって定義済命令が受信される(ステップ310)。ある実施形態においては、外部データソース210は、コンピューティング機器100に含まれる定義済命令格納部142から、通信リンク230を介して、定義済命令を受信する(ステップ310)。代替的に、外部データソース210は、外部データソース210によって局部的に格納された定義済命令のセットから定義済命令を受信する(ステップ310)。
次に、定義済命令に関連付けられた代替フォームが、外部データソース210によって受信される(ステップ320)。ある実施形態においては、外部データソース210は、定義済命令を表示機器上に視認可能に表示することによって、定義済命令を複数のユーザに提示し、複数のユーザが定義済命令に関連付けて代替フォームを入力するのを促す。例えば、“最も近いATMを探せ”という定義済命令に対する代替フォームを受信するために、外部データソースは、表示機器上に“車内では、「最も近いATMを探せ」という代わりに・・・といってもよい”という質問を表示し、1又は複数のユーザから、“最寄のATMを探せ”、“最も近い現金支払機へ行け”又は“最寄のATMを示せ”のような1又は複数のユーザが“最も近いATMを探せ”に関連付けている代替フォームを示す単語又はフレーズを記述する入力を受信する。このようにして、外部データソース210によって受信された(ステップ310)定義済命令に1又は複数のユーザが関連付けた別表現又は別フレーズを、代替フォームは表す。代替的に、外部データソースは、1又は複数の単語又はフレーズを含む1又は複数のデータベース又は他の格納機器にアクセスすることによって定義済命令に関連付けられた代替フォームを受信する(ステップ320)。
ある実施形態においては、外部データソース210は、定義済命令に含まれる単語の同義語及び/又は当該定義済命令に関連付けられた1又は複数の代替フォームに含まれる単語の同義語を検索する(ステップ330)。例えば、外部データソース210は、定義済命令又は当該定義済命令に関連付けられた代替フォームを1又は複数の単語に分解し、ワードネットデータベースのような語彙データベースにアクセスし、分解された個々の単語の同義語を検索する(ステップ330)。代替的に、定義済命令又は当該定義済命令の代替フォームを単語に分解した後に、外部データソースは、1又は複数のユーザが分解された個々の単語の同義語を提供するのを促す。
ある実施形態においては、外部データソース210は、定義済命令に関連付けられた代替フォーム及び/又は同義語を記述する言い換え語を生成する(ステップ340)。例えば、外部データソース210は、定義済命令に関連付けられた代替フォームを格納する。ある実施形態においては、外部データソース210は、定義済命令内の1又は複数の単語を検索された同義語に置換することによって言い換え語を生成し(ステップ340)、当該修正された定義済命令を格納する。他の実施形態においては、外部データソース210は、定義済命令に関連付けられた代替フォーム内の1又は複数の単語を検索された同義語に置換することによって定義済命令の代替フォームを修正し、当該修正された定義済命令を、当該定義済命令に関連付けて格納する。
ある実施形態においては、言い換え語が生成されているとき(ステップ340)、定義済命令に関連付けられた代替フォームが前処理される。前処理を行うことにより、定義済命令に関連付けられた収集された代替フォームは、データが会話認識モジュール160から受信される状態のフォーマットにさらに類似することになる。例えば、“ATM”という語は、外部データソース210によって前処理されたうえで格納される。つまり、この語は、実際の発音に忠実に3つの別々の文字に区切って“エー ティー エム”として格納される。同様の前処理が他の語に対しても適用されて、当該他の語が会話データとしてどのように受信されたかに応じてその態様に一致するフォーマットで格納される。ある実施形態においては、上位カテゴリも、定義済命令の代替フォームに関連付けられるので、定義済命令の代替フォームは、定義済命令格納部142によって特定される上位カテゴリに関連付けられる。このようにして、定義済命令の代替フォームのそれぞれは、定義済命令に関連付けられ、オプションとして上位カテゴリにも関連付けられるようにしてもよい。
方法300は、外部データソース210が定義済命令に関連付けられた代替フォームを収集し、格納することを可能にする。当該代替フォームは、ユーザが定義済命令を話し得る代替方法を表すので、外部データソース210は、ユーザが定義済命令を話し得る追加的な方法を記述することができる。コンピュータ機器100が、定義済命令に関連付けられた1又は複数の代替フォームを有する会話データを受信すると、定義済命令を識別することを可能にすることによって、外部データソース210とコンピューティング機器100との交信が単純化される。
図4は、本発明のある実施形態に係る、受信された会話命令を分類する方法400を示すフローチャートである。ある実施形態においては、方法400のステップは、記述された動作を起こすソフトウエア指示又はファームウエア指示を実行するプロセッサ110によって実施される。当業者であれば、ハードウエア及び/又はソフトウエア又はそれらの組み合せによって、1又は複数の方法が実施されてもよいことがわかる。例えば、記述された動作を実行する指示は、コンピュータ読取可能な媒体内に具現化され、又は、格納される。さらに、当業者であれば、他の実施形態では、図4のステップが異なる順序で実行され得ることがわかる。さらに、他の実施形態では、ここに記述された以外の、異なる及び/又は追加的なステップが含まれ得る。
最初に、会話認識モジュール160は、会話データを受信する(ステップ410)。ある実施形態においては、会話認識モジュール160は、解釈モジュール144によって、受信された会話データを後処理のためにテキストデータに変換する。次に、会話データ又は当該会話データから生成されたテキストデータは、解釈モジュール144に送信され、ここで、定義済命令として分類される(ステップ420)。ある実施形態においては、解釈モジュール144は、複数クラス分類方法を使用して、受信された会話データを分類する(ステップ420)。例えば、定義済命令格納部142に含まれる定義済命令のそれぞれと会話データとが比較され、かつ、語彙拡張モジュール146に含まれ、当該定義済命令に関連付けられた代替フォームのそれぞれと会話データとが比較され、当該会話データが定義済命令のそれぞれに対応する確率を決定する。決定された確率に基づいて、会話データは、当該会話データを含む確率が最も高い定義済命令として分類される(ステップ420)。別の実施形態においては、解釈モジュール144は、別の複数カテゴリ分類方法を使用して、会話データを分類する(ステップ420)。複数カテゴリ分類方法の例は後記される。
ある実施形態においては、会話データを分類する(ステップ420)ために、定義済命令に関連付けられた単語出現頻度−逆出現頻度(TFIDF)ウエイトが単語ごとに生成されるので、各カテゴリは、スパースベクトル(sparse vector)によって表され得る。したがって、定義済命令ごとに、当該定義済命令を有する単語及び当該定義済命令の代替表現を有する単語が識別され、TFIDFウエイトが、(1)式にしたがって単語ごとに計算される。
Figure 2011503638
(1)
ここで、tft,cは、カテゴリc内に単語tが出現する頻度である。しかしながら、ある実施形態においては、逆出現頻度成分は使用されない。なぜならば、すべてのカテゴリ内に出現する単語(例えば、複数の定義済命令に共通の単語)についての当該成分は「0」値となり、最終結果が「0」となるからである。TFIDFウエイトは、定義済命令のそれぞれのベクトル表示を生成するために使用され、当該ベクトル表示は、定義済命令からの単語及び当該定義済命令に関連付けられた1又は複数の代替フォームからの単語を含む。したがって、定義済命令のベクトル表示は、当該定義済命令に含まれる複数の単語及び/又は当該定義済命令代替フォームに含まれる複数の単語を含む。ベクトル表示は、別々の単語が当該定義済命令にどの程度の頻度で関連付けられるかを示している。定義済命令のそれぞれに関連付けるベクトル表示を生成した後に、会話データのベクトル表示が生成され、当該会話データのベクトル表示と定義済命令のそれぞれのベクトル表示との間の余弦ベクトル類似度が生成される。次に、定義済命令は、最大の余弦ベクトル類似度を有する定義済命令として分類される(ステップ420)。
代替的に、解釈モジュール144は、ナイーブベイズモデルを使用して、受信した会話データを定義済命令として分類する(ステップ420)。ナイーブベイズモデルでは、解釈モジュール144は、定義済命令のベクトル表示中の単語のそれぞれを以下のようにモデル化する。すなわち、ベクトル表示中の単語のそれぞれは、会話データを(2)式の関係に基づいて定義済命令に分類する際に当該分類に対して独立して貢献するものとする。
Figure 2011503638
(2)
ここで、tiは、定義済命令の表示内の単語を表す。cは、定義済命令を表し、Zは、倍率を表す。このようにして、ナイーブベイズモデルは、どの定義済命令が、受信した会話データを含む最高の確率を有するかを決定することによって、当該会話データをその定義済命令として分類する(ステップ420)。
他の実施形態においては、解釈モジュール144は、定義済命令のそれぞれが受信した会話データを生成する確率をユニグラム(unigram)モデルを使用して計算するために、発生モデルを使用する。
Figure 2011503638
(3)
ここで、tiは、単語を表す。例えば、会話データが“ラジオをつけろturn radio on”という対応するテキストデータを生成する場合、当該会話データの確率を計算するユニグラムモデルは、(4)式の通りである。
Figure 2011503638
(4)
当該確率を計算する際に、定義済命令と定義済命令のすべての収集結果を混合する。この際使用されるパラメータλは、以下の関係にしたがって混合量を修正する。
Figure 2011503638
(5)
発生言語法が使用される際のパフォーマンスを最適化するには、定義済命令と定義済命令の収集結果との均等混合が使用される。このとき、λは「0.5」に設定される。
最尤法を使用して、定義済命令ごとにかつ定義済命令の収集結果ごとに、以下の(6)式にしたがって左辺の値を求める。
Figure 2011503638
(6)
ここで、Mcは、定義済命令“c”についての言語モデルである。Mcollectionは、複数の定義済命令の収集結果についての言語モデルである。tft,cは、定義済命令c内に単語tが未加工の語として出現する頻度である。Lcは、定義済命令c内のトークン(例えば、単語)の数である。例えば、定義済命令に関連付けられたデータ内に“ラジオ”という語が現れる確率は、P(radio)=(定義済命令に関連付けられたデータ内に“ラジオ”という語が現れる回数)/(当該定義済命令に関連付けられた単語の総数)として計算される。
発生モデル法が使用される場合、解釈モジュール144は、62.9%の確度で、会話データを定義済命令として分類する。人間が会話データを定義済命令として分類する場合の確度は70%であるので、発生モデル法を使用する解釈モジュール144は、分類パフォーマンスの上限に近い。
会話データを分類した(ステップ420)後、解釈モジュール144は、当該会話データが1つの定義済命令に関連付けられているか、又は、2以上の定義済命令が当該会話データに関連付けられている可能性があるか、のうちの何れであるかを決定する(ステップ430)。ある実施形態においては、解釈モジュール144は、当該会話データに関連付けられている確率が最も高い定義済命令、及び、当該会話データに関連付けられている確率が2番目に高い定義済命令を識別する。当該会話データに関連付けられている最も高い確率と当該会話データに関連付けられている2番目に高い確率との間の差分が計算されて、閾値と比較される。確率間の差分が当該閾値を超える場合は、解釈モジュール144は、最も高い確率に関連付けられた定義済命令に当該会話データが一致すると決定する(ステップ430)。当該定義済命令が、分類モジュール142から検索され、コンピューティング機器100によって実行される(ステップ440)。
会話データが2以上の定義済命令の候補に一致すると決定した(ステップ430)場合は、解釈モジュールは、当該会話データを提供しているユーザに対して当該会話データを明確化することを要求する(ステップ445)。例えば、当該会話データに関連付けられている最も高い確率と当該会話データに関連付けられている2番目に高い確率との間の差分が当該閾値を超えない場合は、解釈モジュール144は、当該会話データが、最も高い確率に関連付けられた定義済命令及び2番目に高い確率に関連付けられた定義済命令の両者の候補に関連付けられていると決定する(ステップ430)。次に、解釈モジュール144は、ユーザに対して命令の候補のうちの何れかを選択するように促すことによって、適切な定義済命令の明確化を要求する(ステップ445)。例えば、コンピューティング機器100は、出力装置130を使用して、ユーザに対して聴覚的に又は視覚的に定義済命令の候補を提示し、ユーザが所望の定義済命令を選択することを要求する(ステップ445)。例えば、会話認識モジュール160を介して、所望の定義済命令に関連付けられた会話データを受信することによって、適切な命令の明確化結果を受信した(ステップ450)後、コンピューティング機器は、定義済命令格納部142から所望の定義済命令を検索し、所望の定義済命令を実行する(ステップ440)。
例えば、会話認識モジュール160は、会話データ“私は、何冊かの本を必要としています”を受信する(ステップS410)。次に、解釈モジュール144は、当該会話データが、“最も近い書店を探せ”という定義済命令には確率0.55で関連付けられており、“最も近い図書館を探せ”という定義済命令には確率0.45で関連付けられていると、分類する(ステップ420)。両者の確率の差分が0.1であると計算することによって、解釈モジュール144は、会話データ“私は、何冊かの本を必要としています”が、“最も近い書店を探せ”又は“最も近い図書館を探せ”の内の何れかの候補に関連付けられていると決定する(ステップ430)。次に、解釈モジュール144は、“最も近い書店を探せ”及び“最も近い図書館を探せ”の内の何れかを選択するようにユーザに要求する(ステップ445)。例えば、解釈モジュール144は、出力装置130を使用して、“あなたは最も近い書店を探したいのですか、それとも図書館を探したいのですか”をユーザに尋ねる音声信号を生成する。候補の命令のうちの1つを選択すするユーザの入力を受信すると、定義済命令が定義済命令格納部142から検索されて実行される。
ある実施形態においては、解釈モジュール144は、使用された定義済命令の履歴を格納しておき、会話データが2以上の定義済命令の候補に関連付けられている場合、当該定義済命令の履歴を再使用して、所望の定義済命令を決定する。こうすることによって、解釈モジュール144は、現在の状態を追跡し、所望の命令を決定する要求を行う(ステップ445)際の最良の質問を決定できる。ある実施形態においては、解釈モジュール144は、会話データが特定の定義済命令に関連付けられている確率が閾値を超えるか否かを決定するために、各ステージにおいて複数の命令仮説を維持する一連の意思決定方法を適用する。
前記では、本発明の特定の実施形態及び適用例を例示及び記述してきたが、本発明がここで開示された構造及び構成そのものに限定されないこと、並びに、添付された特許請求の範囲に記載された本発明の主旨を逸脱せずに、本発明の方法及び装置の配置、動作及び細部について様々な修正、変更及び変形例が可能であることは、当然である。
100 コンピューティング機器
110 プロセッサ
120 入力装置
130 出力装置
140 メモリ
142 定義済命令格納部
144 解釈モジュール
146 語彙拡張モジュール
150 通信モジュール(オプション)
160 会話認識モジュール
210 外部データソース
220 車両

Claims (27)

  1. 1又は複数の単語を含む会話データを分類するコンピュータを用いた方法であって、
    前記方法は、
    1又は複数の単語を含む複数の定義済命令を動作に関連付けて格納し、
    前記定義済命令のそれぞれに関連付けられた1又は複数の代替フォーマットであって、1又は複数の単語を含み、かつ、前記代替フォーマットを定義済命令に関連付ける識別子を含む前記1又は複数の代替フォーマットをデータソースから受信し、
    前記会話データを受信し、
    前記会話データが前記定義済命令に関連付けられる尤度を示す値のセットであって、それぞれの値が前記定義済命令に関連付けられている値のセットを生成し、
    前記値のセットのうちの値に応じて、前記会話データを定義済命令に関連付け、
    前記会話データに関連付けられた前記定義済命令に関連付けられた前記動作を実行するステップを含むこと、
    を特徴とする方法。
  2. 前記データソースは、
    分散データキャプチュア技術を使用して1又は複数のソースから入手されたデータを含むウエブサイトを含むこと、
    を特徴とする請求項1に記載の方法。
  3. 前記データソースは、
    1又は複数の単語及び各単語に関連付けられた1又は複数の同義語を含む語彙データベースを含むこと、
    を特徴とする請求項1に記載の方法。
  4. 前記データソースは、
    分散データキャプチュア技術を使用して1又は複数のソースから入手されたデータを含むウエブサイトと、
    1又は複数の単語及び各単語に関連付けられた1又は複数の同義語を含む語彙データベースと、を含むこと、
    を特徴とする請求項1に記載の方法。
  5. 前記値のセットを生成するステップは、
    前記データソースから受信された定義済命令のそれぞれに関連付けられた1又は複数の代替フォーマットを使用して、定義済命令に関連付けられた単語出現頻度ベクトルのセットを生成し、
    前記会話データに関連付けられた単語出現頻度ベクトルを生成し、
    前記会話データに関連付けられた単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれとの間の類似度のセットを決定するステップを含むこと、
    を特徴とする請求項1に記載の方法。
  6. 前記類似度は、
    前記会話データに関連付けられた前記単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルとの間の余弦類似度を含むこと、
    を特徴とする請求項5に記載の方法。
  7. 前記会話データに関連付けられた単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれとの間の類似度のセットを決定するステップは、
    前記会話データに関連付けられた単語出現頻度ベクトル及び定義済命令に関連付けられたそれぞれの単語出現頻度ベクトルに対してナイーブベイズモデルを適用し、
    定義済命令のそれぞれが前記会話データに関連付けられている尤度を決定することを含むこと、
    を特徴とする請求項5に記載の方法。
  8. 前記会話データに関連付けられた単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれとの間の類似度のセットを決定するステップは、
    定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれが、前記会話データに関連付けられた単語出現頻度ベクトルを含む確率を、ユニグラムモデルを使用して計算すること、を含むこと、
    を特徴とする請求項5に記載の方法。
  9. 前記ユニグラムモデルは、
    前記定義済命令に関連付けられた単語出現頻度ベクトル及び単語出現頻度ベクトルの前記セットを混合パラメータにしたがって混合すること、
    を特徴とする請求項8に記載の方法。
  10. 前記値のセットからの値に応じて、前記会話データを定義済命令に関連付けるステップは、
    第1の定義済命令に関連付けられた最大類似度を決定し、
    第2の定義済命令に関連付けられた2番目に大きい類似度を決定し、
    前記最大類似度と前記2番目に大きい類似度との間の差分を計算し、
    前記差分が閾値を超えない場合は、第1の定義済命令又は第2の定義済命令のうちの何れかを選択する入力を要求し、
    前記入力に応じて、第1の定義済命令又は第2の定義済命令に前記会話データを関連付けること、を含むこと、
    を特徴とする請求項5に記載の方法。
  11. 前記値のセットからの値に応じて、前記会話データを定義済命令に関連付けるステップは、
    前記差分が前記閾値を超える場合は、前記会話データを前記第1の定義済命令に関連付けることを含むこと、
    を特徴とする請求項10に記載の方法。
  12. 1又は複数の単語含む会話データを分類するコンピュータ実行可能なコードを格納するコンピュータ読取可能な記録媒体を含むコンピュータプログラム製品であって、
    前記コンピュータ実行可能なコードは、
    1又は複数の単語を含む複数の定義済命令を動作に関連付けて格納し、
    前記定義済命令のそれぞれに関連付けられた1又は複数の代替フォーマットであって、1又は複数の単語を含み、かつ、前記代替フォーマットを定義済命令に関連付ける識別子を含む前記1又は複数の代替フォーマットをデータソースから受信し、
    前記会話データを受信し、
    前記会話データが前記定義済命令に関連付けられる尤度を示す値のセットであって、それぞれの値が前記定義済命令に関連付けられている値のセットを生成し、
    前記値のセットからの値に応じて、前記会話データを定義済命令に関連付け、
    前記会話データに関連付けられた前記定義済命令に関連付けられた前記動作を実行するステップを実行すること、
    を特徴とするコンピュータプログラム製品。
  13. 前記データソースは、
    分散データキャプチュア技術を使用して1又は複数のソースから入手されたデータを含むウエブサイトを含むこと、
    を特徴とする請求項12に記載のコンピュータプログラム製品。
  14. 前記データソースは、
    1又は複数の単語及び各単語に関連付けられた1又は複数の同義語を含む語彙データベースを含むこと、
    を特徴とする請求項12に記載のコンピュータプログラム製品。
  15. 前記データソースは、
    分散データキャプチュア技術を使用して1又は複数のソースから入手されたデータを含むウエブサイトと、
    1又は複数の単語及び各単語に関連付けられた1又は複数の同義語を含む語彙データベースと、を含むこと、
    を特徴とする請求項12に記載のコンピュータプログラム製品。
  16. 前記値のセットを生成するステップは、
    前記データソースから受信された定義済命令のそれぞれに関連付けられた1又は複数の代替フォーマットを使用して、定義済命令に関連付けられた単語出現頻度ベクトルのセットを生成し、
    前記会話データに関連付けられた単語出現頻度ベクトルを生成し、
    前記会話データに関連付けられた単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれとの間の類似度のセットを決定するステップを含むこと、
    を特徴とする請求項12に記載のコンピュータプログラム製品。
  17. 前記類似度は、
    前記会話データに関連付けられた前記単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルとの間の余弦類似度を含むこと、
    を特徴とする請求項16に記載のコンピュータプログラム製品。
  18. 前記会話データに関連付けられた単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれとの間の類似度のセットを決定するステップは、
    前記会話データに関連付けられた単語出現頻度ベクトル及び定義済命令に関連付けられたそれぞれの単語出現頻度ベクトルに対してナイーブベイズモデルを適用し、
    定義済命令のそれぞれが前記会話データに関連付けられている尤度を決定することを含むこと、
    を特徴とする請求項16に記載のコンピュータプログラム製品。
  19. 前記会話データに関連付けられた単語出現頻度ベクトルと、定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれとの間の類似度のセットを決定するステップは、
    定義済命令に関連付けられた単語出現頻度ベクトルのそれぞれが、前記会話データに関連付けられた単語出現頻度ベクトルを含む確率を、ユニグラムモデルを使用して計算すること、を含むこと、
    を特徴とする請求項16に記載のコンピュータプログラム製品。
  20. 前記ユニグラムモデルは、
    前記定義済命令に関連付けられた単語出現頻度ベクトル及び単語出現頻度ベクトルの前記セットを混合パラメータにしたがって混合すること、
    を特徴とする請求項19に記載のコンピュータプログラム製品。
  21. 前記値のセットからの値に応じて、前記会話データを定義済命令に関連付けるステップは、
    第1の定義済命令に関連付けられた最大類似度を決定し、
    第2の定義済命令に関連付けられた2番目に大きい類似度を決定し、
    前記最大類似度と前記2番目に大きい類似度との間の差分を計算し、
    前記差分が閾値を超えない場合は、第1の定義済命令又は第2の定義済命令のうちの何れかを選択する入力を要求し、
    前記入力に応じて、第1の定義済命令又は第2の定義済命令に前記会話データを関連付けること、を含むこと、
    を特徴とする請求項16に記載のコンピュータプログラム製品。
  22. 前記値のセットからの値に応じて、前記会話データを定義済命令に関連付けるステップは、
    前記差分が前記閾値を超える場合は、前記会話データを前記第1の定義済命令に関連付けることを含むこと、
    を特徴とする請求項21に記載のコンピュータプログラム製品。
  23. 車両ナビゲーションシステムによって受信される会話データを分類するシステムであって、
    1又は複数の単語を含む複数の定義済命令を、車両システムを修正する動作に関連付けて格納する定義済命令格納部と、
    前記定義済命令のそれぞれに関連付けられた1又は複数の代替フォーマットであって、1又は複数の単語を含み、かつ、前記代替フォーマットを定義済命令に関連付ける識別子を含む前記1又は複数の代替フォーマットを含む外部データソースと、
    前記会話データを受信し、前記会話データをテキストデータに変換する会話認識モジュールと、
    前記定義済命令格納部、前記外部データソース及び前記会話認識モジュールに接続された解釈モジュールと、
    を有し、
    前記解釈モジュールは、
    前記テキストデータを受信し、
    前記テキストデータを定義済命令のそれぞれの表示と比較し、
    前記会話データを前記比較に応じて定義済命令に関連付け、
    定義済命令の前記表示は、
    前記定義済命令からの単語と、前記定義済命令に関連付けられた1又は複数の代替フォーマットからの単語とを含むこと、
    を特徴とするシステム。
  24. 前記データソースは、
    分散データキャプチュア技術を使用して1又は複数のソースから入手されたデータを含むウエブサイトを含むこと、
    を特徴とする請求項23に記載のシステム。
  25. 前記データソースは、
    1又は複数の単語及び各単語に関連付けられた1又は複数の同義語を含む語彙データベースを含むこと、
    を特徴とする請求項23に記載のシステム。
  26. 前記データソースは、
    分散データキャプチュア技術を使用して1又は複数のソースから入手されたデータを含むウエブサイトと、
    1又は複数の単語及び各単語に関連付けられた1又は複数の同義語を含む語彙データベースと、を含むこと、
    を特徴とする請求項23に記載のシステム。
  27. 前記定義済命令の前記表示は、
    単語出現頻度ベクトルを含むこと、
    を特徴とする請求項23に記載のシステム。
JP2010531320A 2007-10-26 2008-10-27 カーナビゲーションシステムのための自由会話命令分類の改良 Pending JP2011503638A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US98306507P 2007-10-26 2007-10-26
US1551507P 2007-12-20 2007-12-20
PCT/US2008/081377 WO2009055819A1 (en) 2007-10-26 2008-10-27 Improving free-speech command classification for car navigation system

Publications (1)

Publication Number Publication Date
JP2011503638A true JP2011503638A (ja) 2011-01-27

Family

ID=40580111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010531320A Pending JP2011503638A (ja) 2007-10-26 2008-10-27 カーナビゲーションシステムのための自由会話命令分類の改良

Country Status (3)

Country Link
US (1) US8359204B2 (ja)
JP (1) JP2011503638A (ja)
WO (1) WO2009055819A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124583A (ko) * 2015-04-22 2017-11-10 구글 엘엘씨 개발자 보이스 액티비티 시스템

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011033680A (ja) * 2009-07-30 2011-02-17 Sony Corp 音声処理装置及び方法、並びにプログラム
JP4826662B2 (ja) * 2009-08-06 2011-11-30 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および音声操作履歴情報共有方法
US20110099507A1 (en) * 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
US8914289B2 (en) * 2009-12-16 2014-12-16 Symbol Technologies, Inc. Analyzing and processing a verbal expression containing multiple goals
US9146122B2 (en) * 2010-09-24 2015-09-29 Telenav Inc. Navigation system with audio monitoring mechanism and method of operation thereof
CA2747153A1 (en) * 2011-07-19 2013-01-19 Suleman Kaheer Natural language processing dialog system for obtaining goods, services or information
KR20130016644A (ko) * 2011-08-08 2013-02-18 삼성전자주식회사 음성인식장치, 음성인식서버, 음성인식시스템 및 음성인식방법
US9847083B2 (en) * 2011-11-17 2017-12-19 Universal Electronics Inc. System and method for voice actuated configuration of a controlling device
US8666751B2 (en) * 2011-11-17 2014-03-04 Microsoft Corporation Audio pattern matching for device activation
US9251788B2 (en) * 2012-08-16 2016-02-02 Ford Global Technologies, Llc Method and apparatus for voice-based machine to machine communication
JP2014109889A (ja) * 2012-11-30 2014-06-12 Toshiba Corp コンテンツ検索装置、コンテンツ検索方法及び制御プログラム
KR20140080089A (ko) * 2012-12-20 2014-06-30 삼성전자주식회사 음성인식장치 및 음성인식방법, 음성인식장치용 데이터 베이스 및 음성인식장치용 데이터 베이스의 구축방법
US10067934B1 (en) 2013-02-22 2018-09-04 The Directv Group, Inc. Method and system for generating dynamic text responses for display after a search
KR102161439B1 (ko) * 2013-07-16 2020-10-05 삼성전자 주식회사 휴대 단말기에서 음성 인식을 수행하는 방법 및 장치
KR102179506B1 (ko) * 2013-12-23 2020-11-17 삼성전자 주식회사 전자장치 및 그 제어방법
US10950229B2 (en) * 2016-08-26 2021-03-16 Harman International Industries, Incorporated Configurable speech interface for vehicle infotainment systems
US9984063B2 (en) 2016-09-15 2018-05-29 International Business Machines Corporation System and method for automatic, unsupervised paraphrase generation using a novel framework that learns syntactic construct while retaining semantic meaning
US9953027B2 (en) * 2016-09-15 2018-04-24 International Business Machines Corporation System and method for automatic, unsupervised paraphrase generation using a novel framework that learns syntactic construct while retaining semantic meaning
KR102389625B1 (ko) * 2017-04-30 2022-04-25 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
KR102380717B1 (ko) * 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
US20190019516A1 (en) * 2017-07-14 2019-01-17 Ford Global Technologies, Llc Speech recognition user macros for improving vehicle grammars
US11170762B2 (en) * 2018-01-04 2021-11-09 Google Llc Learning offline voice commands based on usage of online voice commands
US20190251961A1 (en) * 2018-02-15 2019-08-15 Lenovo (Singapore) Pte. Ltd. Transcription of audio communication to identify command to device
CN110322876A (zh) * 2018-03-30 2019-10-11 中华映管股份有限公司 语音应用***及其方法
US10885912B2 (en) * 2018-11-13 2021-01-05 Motorola Solutions, Inc. Methods and systems for providing a corrected voice command

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149481A (ja) * 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501012A (en) * 1980-11-17 1985-02-19 Nissan Motor Company, Limited Speech recognition system for an automotive vehicle
JPS5870287A (ja) * 1981-10-22 1983-04-26 日産自動車株式会社 音声認識装置
CA2049173C (en) * 1990-08-16 1996-06-25 Shoji Fujimoto Speech recognition apparatus
JPH07109560B2 (ja) * 1990-11-30 1995-11-22 富士通テン株式会社 音声認識装置
NZ250812A (en) * 1993-02-27 1996-09-25 Alcatel Australia Voice controlled data memory and input/output card
US6732077B1 (en) * 1995-05-12 2004-05-04 Trimble Navigation Limited Speech recognizing GIS/GPS/AVL system
JP4267101B2 (ja) * 1997-11-17 2009-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声識別装置、発音矯正装置およびこれらの方法
US6301560B1 (en) * 1998-01-05 2001-10-09 Microsoft Corporation Discrete speech recognition system with ballooning active grammar
US6182046B1 (en) * 1998-03-26 2001-01-30 International Business Machines Corp. Managing voice commands in speech applications
US6965863B1 (en) * 1998-11-12 2005-11-15 Microsoft Corporation Speech recognition user interface
US6850603B1 (en) * 1999-09-13 2005-02-01 Microstrategy, Incorporated System and method for the creation and automatic deployment of personalized dynamic and interactive voice services
EP1222655A1 (en) * 1999-10-19 2002-07-17 Sony Electronics Inc. Natural language interface control system
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US6526382B1 (en) * 1999-12-07 2003-02-25 Comverse, Inc. Language-oriented user interfaces for voice activated services
US7024363B1 (en) * 1999-12-14 2006-04-04 International Business Machines Corporation Methods and apparatus for contingent transfer and execution of spoken language interfaces
JP2001289661A (ja) * 2000-04-07 2001-10-19 Alpine Electronics Inc ナビゲーション装置
JP2001331195A (ja) * 2000-05-19 2001-11-30 Sony Corp 車載機器、カーナビゲーションシステムおよびモニタ装置
US6925432B2 (en) * 2000-10-11 2005-08-02 Lucent Technologies Inc. Method and apparatus using discriminative training in natural language call routing and document retrieval
US6922670B2 (en) * 2000-10-24 2005-07-26 Sanyo Electric Co., Ltd. User support apparatus and system using agents
US6937986B2 (en) * 2000-12-28 2005-08-30 Comverse, Inc. Automatic dynamic speech recognition vocabulary based on external sources of information
US7356461B1 (en) * 2002-01-14 2008-04-08 Nstein Technologies Inc. Text categorization method and apparatus
JP2003241790A (ja) * 2002-02-13 2003-08-29 Internatl Business Mach Corp <Ibm> 音声コマンド処理システム、コンピュータ装置、音声コマンド処理方法およびプログラム
US7181342B2 (en) 2002-03-15 2007-02-20 Mitsubishi Denki Kabushiki Kaisha Vehicular navigation device
US7197460B1 (en) * 2002-04-23 2007-03-27 At&T Corp. System for handling frequently asked questions in a natural language dialog service
US7328155B2 (en) * 2002-09-25 2008-02-05 Toyota Infotechnology Center Co., Ltd. Method and system for speech recognition using grammar weighted based upon location information
US7184957B2 (en) * 2002-09-25 2007-02-27 Toyota Infotechnology Center Co., Ltd. Multiple pass speech recognition method and system
US7519534B2 (en) * 2002-10-31 2009-04-14 Agiletv Corporation Speech controlled access to content on a presentation medium
US7177817B1 (en) * 2002-12-12 2007-02-13 Tuvox Incorporated Automatic generation of voice content for a voice response system
US20040143440A1 (en) * 2003-01-03 2004-07-22 Venkatesh Prasad Vehicle speech recognition system
US20040148170A1 (en) * 2003-01-23 2004-07-29 Alejandro Acero Statistical classifiers for spoken language understanding and command/control scenarios
US7480619B1 (en) * 2003-03-04 2009-01-20 The Board Of Trustees Of The Leland Stanford Junior University Integration manager and natural interaction processor
DE10311581A1 (de) * 2003-03-10 2004-09-23 Deutsche Telekom Ag Verfahren und System zum automatisierten Erstellen von Sprachwortschätzen
US7249023B2 (en) * 2003-03-11 2007-07-24 Square D Company Navigated menuing for industrial human machine interface via speech recognition
ATE410768T1 (de) * 2003-08-29 2008-10-15 Johnson Controls Tech Co System und verfahren zum betrieb eines spracherkennungssystems in einem fahrzeug
US7292978B2 (en) * 2003-12-04 2007-11-06 Toyota Infotechnology Center Co., Ltd. Shortcut names for use in a speech recognition system
EP1562180B1 (en) * 2004-02-06 2015-04-01 Nuance Communications, Inc. Speech dialogue system and method for controlling an electronic device
US7356187B2 (en) 2004-04-12 2008-04-08 Clairvoyance Corporation Method and apparatus for adjusting the model threshold of a support vector machine for text classification and filtering
JP2006085381A (ja) 2004-09-15 2006-03-30 Toshiba Corp 情報提示装置、情報提示方法およびプログラム
US7912186B2 (en) * 2004-10-20 2011-03-22 Microsoft Corporation Selectable state machine user interface system
US7457808B2 (en) * 2004-12-17 2008-11-25 Xerox Corporation Method and apparatus for explaining categorization decisions
US7437297B2 (en) * 2005-01-27 2008-10-14 International Business Machines Corporation Systems and methods for predicting consequences of misinterpretation of user commands in automated systems
JP4622589B2 (ja) * 2005-03-08 2011-02-02 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US20060215821A1 (en) * 2005-03-23 2006-09-28 Rokusek Daniel S Voice nametag audio feedback for dialing a telephone call
US20060235842A1 (en) * 2005-04-14 2006-10-19 International Business Machines Corporation Web page ranking for page query across public and private
US7849087B2 (en) * 2005-06-29 2010-12-07 Xerox Corporation Incremental training for probabilistic categorizer
US20070005370A1 (en) * 2005-06-30 2007-01-04 Scott Elshout Voice-activated control system
US7729901B2 (en) * 2005-12-13 2010-06-01 Yahoo! Inc. System for classifying words
US7835903B2 (en) * 2006-04-19 2010-11-16 Google Inc. Simplifying query terms with transliteration
ATE410346T1 (de) 2006-08-04 2008-10-15 Harman Becker Automotive Sys Methode und system zur verarbeitung von stimmkommandos in einer fahrzeugumgebung
US7899673B2 (en) * 2006-08-09 2011-03-01 Microsoft Corporation Automatic pruning of grammars in a multi-application speech recognition interface
US8401841B2 (en) * 2006-08-31 2013-03-19 Orcatec Llc Retrieval of documents using language models
US20080133245A1 (en) * 2006-12-04 2008-06-05 Sehda, Inc. Methods for speech-to-speech translation
US8099287B2 (en) * 2006-12-05 2012-01-17 Nuance Communications, Inc. Automatically providing a user with substitutes for potentially ambiguous user-defined speech commands
US7822608B2 (en) * 2007-02-27 2010-10-26 Nuance Communications, Inc. Disambiguating a speech recognition grammar in a multimodal application
US7788099B2 (en) * 2007-04-09 2010-08-31 International Business Machines Corporation Method and apparatus for query expansion based on multimodal cross-vocabulary mapping
US8279465B2 (en) * 2007-05-01 2012-10-02 Kofax, Inc. Systems and methods for routing facsimiles based on content
US8165877B2 (en) * 2007-08-03 2012-04-24 Microsoft Corporation Confidence measure generation for speech related searching

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149481A (ja) * 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124583A (ko) * 2015-04-22 2017-11-10 구글 엘엘씨 개발자 보이스 액티비티 시스템
CN107408385A (zh) * 2015-04-22 2017-11-28 谷歌公司 开发者语音动作***
JP2018511831A (ja) * 2015-04-22 2018-04-26 グーグル エルエルシー 開発者音声アクションシステム
KR102038074B1 (ko) * 2015-04-22 2019-10-29 구글 엘엘씨 개발자 보이스 액티비티 시스템
KR20190122888A (ko) * 2015-04-22 2019-10-30 구글 엘엘씨 개발자 보이스 액티비티 시스템
KR102173100B1 (ko) * 2015-04-22 2020-11-02 구글 엘엘씨 개발자 보이스 액티비티 시스템
US10839799B2 (en) 2015-04-22 2020-11-17 Google Llc Developer voice actions system
CN107408385B (zh) * 2015-04-22 2021-09-21 谷歌公司 开发者语音动作***
US11657816B2 (en) 2015-04-22 2023-05-23 Google Llc Developer voice actions system

Also Published As

Publication number Publication date
US20090112605A1 (en) 2009-04-30
WO2009055819A1 (en) 2009-04-30
US8359204B2 (en) 2013-01-22

Similar Documents

Publication Publication Date Title
JP2011503638A (ja) カーナビゲーションシステムのための自由会話命令分類の改良
US11615785B2 (en) Speech recognition using natural language understanding related knowledge via deep feedforward neural networks
US10170110B2 (en) System and method for ranking of hybrid speech recognition results with neural networks
CN105283914B (zh) 用于识别语音的***和方法
KR100998566B1 (ko) 음성인식을 이용한 언어 번역 방법 및 장치
US9959861B2 (en) System and method for speech recognition
KR102426171B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US8548806B2 (en) Voice recognition device, voice recognition method, and voice recognition program
US8219406B2 (en) Speech-centric multimodal user interface design in mobile technology
JP5819924B2 (ja) アジア文字を生成するための認識アーキテクチャ
US20080177541A1 (en) Voice recognition device, voice recognition method, and voice recognition program
KR102414456B1 (ko) 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
US7949524B2 (en) Speech recognition correction with standby-word dictionary
US8527271B2 (en) Method for speech recognition
US9756161B2 (en) Voice recognition apparatus, vehicle having the same, and method of controlling the vehicle
US9196246B2 (en) Determining word sequence constraints for low cognitive speech recognition
US20090112593A1 (en) System for recognizing speech for searching a database
KR20200042127A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20200098079A (ko) 대화 시스템 및 대화 처리 방법
JP2008234427A (ja) ユーザ間の対話を支援する装置、方法およびプログラム
KR20210108557A (ko) 음성 인식률의 향상을 위한 음성 인식 지원 방법 및 시스템
KR102487669B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
JP2017181631A (ja) 情報制御装置
KR20190135676A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US20230178071A1 (en) Method for determining a vehicle domain and a speech recognition system for a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130319