JP3979080B2 - 音声認識装置 - Google Patents
音声認識装置 Download PDFInfo
- Publication number
- JP3979080B2 JP3979080B2 JP2001384452A JP2001384452A JP3979080B2 JP 3979080 B2 JP3979080 B2 JP 3979080B2 JP 2001384452 A JP2001384452 A JP 2001384452A JP 2001384452 A JP2001384452 A JP 2001384452A JP 3979080 B2 JP3979080 B2 JP 3979080B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle control
- control command
- information
- accuracy
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Navigation (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の走行状態を変更するための車両制御指令を、音声認識と操作入力装置とを用いることによって、操作感を保ちつつ簡単に行うための音声認識装置であって、特に、アクセル、ブレーキ及び操舵を自律的に制御することが可能であり、かつ、ドライバからの指令を受け付けることが可能な自律走行車両において好適な音声認識装置に関する。
【０００２】
【従来の技術】
音声認識インタフェースの車両制御への導入としては、例えば、トヨタ自動車による特開２０００−３２０６５７号明細書に記載のものがあり、この音声認識インタフェースでは、音声認識によって走行特性を音声によって所定のモードに設定することにより、例えば、電子スロットルの開度の制御や、二輪駆動と四輪駆動との間での駆動方式の切り替えなどを行っている。また、例えば、路面μが明らかに高いことを感知し、雪が降っていないと判断すると、ドライバからの音声指令が音声認識によって「雪」と認識されても、このような制御は適切でなく、誤認識であったと判断して、処理を中止するような制御もしている。
【０００３】
このような車両特性のみの制御の場合には、誤認識によって車両特性を変更したとしても、進路方向が変わるなど走行上大きな影響があるわけではなく、また処理を中止しても、走行上のドライバの感覚を大きく損なうことはない。しかし、加減速や操舵を自律的に制御する車両においてこのような音声認識による制御を導入する場合、意図しない方向への制御が加わったり、逆に判定を厳しくしすぎて意図する制御が行われなかったりすると、操作性は著しく損なわれてしまう。そのために、一般的に用いられる音声による指令の復唱や、モニタ画面やタッチパネル画面で確認を行う確認手段を常にとるようにすると、今度は音声指令を与えてから実行までに時間がかかり、使い勝手が悪くなってしまう。それで、車両が認識した音声指令がどの程度ドライバの意図する指令と一致しているかの一致度合い（ここでは、確度と呼ぶ）を向上させると共に、制御指令が実行に移される前に高い確度が得られていることを、時間遅れによって操作性を損なうことなくドライバが確認できるようにすることが必要である。
【０００４】
したがって、本発明の目的は、ドライバによる音声指令を、操作感を損なうことなく、簡単かつ迅速に実行するために、音声入力に加えて操作入力及び道路情報を用いることによって、ドライバの意図する指令との一致度合いを示す「確度」を高く保ちつつ、ドライバからの直接的な操作入力を併用することによって、迅速な音声認識を可能にする音声認識装置を提供することである。
【０００５】
【課題を解決するための手段】
本発明の請求項１に記載の発明は、
音声入力情報を認識する音声入力認識手段と、
操作入力情報を認識する操作入力認識手段と、
前記音声入力認識手段が認識した音声入力情報と前記操作入力認識手段が認識した指令とに基づいて車両制御指令を生成する車両制御指令生成手段と、
前記車両制御指令生成手段により生成された車両制御指令に基づいて車両の加減速及び操舵を制御する車両制御手段と、
車両が移行可能な分岐情報と、地図情報から得られる車線幅などの道路構造と、外界認識センサやインフラ情報などから得られる混雑度などの道路状況と、前記分岐情報の各分岐までの距離に応じた重み付けである距離係数とのうち少なくとも１つを含む道路情報とを認識する道路情報認識手段と、
前記分岐情報における車両が移行可能な各分岐に移行する確度を、前記音声入力情報と、操作入力情報と、道路情報とに基づいて算出する確度算出手段と、を具え、前記車両制御指令生成手段が、最も高い確度の分岐への移行を行わせる指令を前記車両制御指令として生成することを特徴とする音声認識装置である。
【０００６】
本発明の請求項２に記載の発明は、請求項１に記載の音声認識装置において、前記音声入力認識手段が、前記音声入力情報において、車両制御動作の目標と、前記目標に対する動作と、前記動作の方向とのうち少なくとも１つを認識することを特徴とする音声認識装置である。
【０００７】
本発明の請求項３に記載の発明は、請求項１又は２に記載の音声認識装置において、前記車両制御指令生成手段が、前記車両制御指令をただちに前記車両制御手段に送るか否かを前記確度に応じて判断することを特徴とする音声認識装置である。
【０００８】
本発明の請求項４に記載の発明は、請求項１ないし３のいずれか１項に記載の音声認識装置において、前記確度算出手段が、前記車両が移行可能な各分岐に移行する確度を算出する際に、前記音声入力情報と、操作入力情報と、道路情報との中で欠けている情報があっても、残りの情報に基づいて前記確度を算出することを特徴とする音声認識装置である。
【０００９】
本発明の請求項５に記載の発明は、請求項１ないし４のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、前記音声入力情報が前記操作入力情報と実際的に同時に入力された場合にのみ車両制御指令を生成することを特徴とする音声認識装置である。
【００１０】
本発明の請求項６に記載の発明は、請求項１ないし５のいずれか１項に記載の音声認識装置において、前記確度算出手段が、前記確度の算出後に追加の音声入力情報及び／又は操作入力情報があった場合、これらの追加の情報にも基づいて確度を再算出することを特徴とする音声認識装置である。
【００１１】
本発明の請求項７に記載の発明は、請求項１ないし６のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、現在の走行速度に関する情報を受け、現在の走行速度に応じて、前記道路情報を取得する範囲と、各分岐への移行確度に付与する重みとを決定することを特徴とする音声認識装置である。
【００１２】
本発明の請求項８に記載の発明は、請求項１ないし７のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、操作入力装置に加えられた力の大きさに応じて道路情報（距離係数）を決定することを特徴とする音声認識装置である。
【００１３】
本発明の請求項９に記載の発明は、請求項１ないし８のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、前記車両制御指令についての情報をドライバに提示する制御指令提示手段をさらに具え、前記車両制御指令を前記車両制御手段に送る際、前記制御指令提示手段がこの車両制御指令についての情報を提示することを特徴とする音声認識装置である。
【００１４】
本発明の請求項１０に記載の発明は、請求項１ないし９のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が車両制御指令を前記車両制御手段にすぐに送らないと判断した場合、最も確度の高い分岐への移行に関する車両制御指令を実行するか否かの質問を前記制御指令提示手段によってドライバに対して提示する制御指令確認手段をさらに具え、この質問に対する音声入力及び／又は操作入力に応じて前記車両制御指令生成手段が前記車両制御指令を前記車両制御手段に送るか否かを決定することを特徴とする音声認識装置である。
【００１５】
本発明の請求項１１に記載の発明は、請求項１０に記載の音声認識装置において、前記制御指令確認手段が、ドライバに対して車両制御指令の実行の有無を確認する場合、この車両制御指令における目標が所定の距離以内に接近している場合、自動的に減速する指令を車両制御装置に送ることを特徴とする音声認識装置である。
【００１６】
本発明の請求項１２に記載の発明は、請求項１０又は１１に記載の音声認識装置において、ドライバからの応答が所定の時間内になかった場合、前記車両制御指令に対応する分岐の確度に応じて、前記車両制御装置に前記車両制御指令を送るか、同じ質問を再度提示するか、次に確度の高い分岐に対応する車両制御指令を実行するか否かに関する質問をドライバに提示するかのいずれかを選択することを特徴とする音声認識装置である。
【００１７】
【発明の効果】
請求項１の発明によれば、ドライバからの指令として音声入力と操作入力が複合して入力されること、および、車両が走行中の道路の情報をあわせて認識することにより、ドライバが意図した指令を高精度に推定できるため、意図した指令を簡単かつ迅速に車両制御装置に伝達することが可能になるとともに、音声入力情報、操作入力情報及び道路情報を、各々の確からしさを表す確度を算出して評価するため、正確な推定を行うことが可能になる。
【００１８】
請求項２の発明によれば、音声指令による車両動作の目標と、目標に対する動作と、動作の方向とを別々に認識することにより、音声入力情報にこれらのすべてが含まれていなくても車両制御指令を生成することが可能になる。
【００１９】
請求項３の発明によれば、車両制御をただちに実行するか否かを判断するために、情報の確かさを表す確度が算出されるので、確度が低い場合、違和感のないように対応を変えることが可能になる。
【００２０】
請求項４の発明によれば、ドライバからの指令入力と道路情報の中で、得られている情報の範囲内で制御指令を生成できるので、ドライバの感覚に合った柔軟な指令が可能になる。
【００２１】
請求項５の発明によれば、操作入力によってドライバが車両に対して音声で指令を与えたことが明示的に確認されるので、ラジオの音声や助手席の人との会話や独り言といった意図しない音声発話に対する誤作動を防止することが可能になる。
【００２２】
請求項６の発明によれば、確度が所定の値より低い場合、ポイントとなる指令のみを追加入力することによって、迅速に違和感なく車両に対して行いたい制御指令に関する情報を与えることが可能になる。
【００２３】
請求項７の発明によれば、走行速度に応じて検索する分岐情報の範囲が調節されるため、その範囲内での音声指令との照合が取れることで音声認識精度を向上することが可能になる。
【００２４】
請求項８の発明によれば、ドライバが早く制御指令を発行するように無意識又は意識的に加えた力に対して自車両近くの分岐への車両動作移行がしやすくなるので、感覚に合った制御指令の生成が可能になる。
【００２５】
請求項９の発明によれば、車両が実行する指令と一連の動作がドライバに提示され、車両が行う動作がドライバに伝えられるため、安心感を向上することができるようになる。
【００２６】
請求項１０の発明によれば、再入力をすることなく可能性が高い指令が提示されるので、ドライバへの負担を軽減することが可能になる。
【００２７】
請求項１１の発明によれば、分岐する可能性の高い指令対象が接近している際に、車両がそこを通過しないように減速するため、意図した指令を車両に対して確認をしている間に通過してしまうことを防止することが可能になる。
【００２８】
請求項１２の発明によれば、確度に応じて対応を変えることにより、ドライバの感覚に合った違和感のない指令系を構成することが可能になる。
【００２９】
【発明の実施の形態】
図１は、本発明による音声認識装置の一実施形態を含む車両制御システムの一例を示すブロック図である。このシステムは、例えば、特に、アクセル、ブレーキ及び操舵を自律的に制御することが可能であり、かつ、ドライバからの指令を受け付けることが可能な自律走行車両の走行を制御するものであり、音声認識装置２と、ドライバインタフェース部４と、走行位置検出部６と、車両制御部８と、通信部１０とを含む。ドライバインタフェース部４は、例えば、音声認識装置２にドライバからの音声入力指令を供給する音声入力装置１２と、音声認識装置２からの車両の移行動作情報をドライバに提示する表示装置１４と、音声認識装置２にドライバからの操作入力指令を供給する操作入力装置１６と、音声認識装置２からの操作確認などをドライバに提示する音声発話装置１８とを具える。走行位置検出部６は、例えば、音声認識装置２に車両の位置情報を供給するＧＰＳナビゲーション装置２０と、磁気ネイル検出装置２２とを具える。車両制御部８は、例えば、音声認識装置２からの車両制御情報を受け、車両の操舵を制御する自動操舵装置２４と、前車との車間距離を保つためのレーダ装置２６と、音声認識装置２からの車両制御情報を受け、車両の速度を制御する車速制御装置２８とを具える。通信部１０は、例えば、路車間通信装置３０と、車車間通信装置３２とを具える。
【００３０】
図１に示す本発明による音声認識装置２の一実施形態は、音声入力認識手段３４と、操作入力認識手段３６と、重み決定手段３８と、道路情報認識手段４０と、確度算出手段４２と、車両制御指令生成手段４４と、制御指令提示手段４６と、制御指令確認手段４８と、車両制御手段５０とを具える。
【００３１】
図２は、図１に音声認識装置２の動作を説明するフローチャートである。ステップＳ１において、ドライバインタフェース４の音声入力装置１８からの音声入力情報を音声認識手段３４が受ける。音声認識装置２は、これによって音声認識動作を開始する。
【００３２】
ステップＳ２において、ドライバインタフェース４の操作入力装置１４からの操作入力情報を操作入力認識手段３６が受ける。なお、ステップＳ１の音声認識動作を、ステップＳ２における操作入力情報によって開始してもよく、また、音声の検出後しばらく操作入力がなかった場合には、音声認識動作を中止してもよい。また、操作入力がされた前後の音声検出結果を認識してもよい。
【００３３】
ステップＳ３において、走行位置検出部６のＧＰＳナビゲーション装置２０や磁気ネイル検出装置２２によって決定された自車位置情報と、属性を含めた道路情報とを道路情報認識手段４０が受ける。なお、道路情報は、通信部１０の路車間通信装置３０や車車間通信装置３２による、インフラや専用電波局からの通信や、周囲の車両との通信や、又は、自車両の外界認識センサなどから取得してもよく、例えば、図３に示すような自車と周囲の車両の位置が示された自車の周囲の一定範囲の地図のような情報とする。なお、交通法規によって決められている車線変更禁止区間や分岐可能な地点情報を道路属性として明示的に示された、例えば図４に示すようなデータあるいは通信手段によって補完された地図情報を用いてもよい。また、道路属性としては、道路幅、道路車線数、制限速度等を取得してもよい。
【００３４】
ステップＳ４において、道路情報認識手段４０は、ステップＳ３で得られた自車位置情報と道路情報とから、車両行動の方向を変更することが可能な経路分岐を車両が移行可能な分岐として認識し、分岐情報を発生する。移行可能な分岐は、右左折といった道路の分岐、車両変更や道路脇での停車や加減速するといった、同一道路上での移行可能な経路を含む。図５は、このような分岐情報を図式的に示したものである。また、車両行動を移行せずに現在の動きを継続するという分岐もあわせて保持しておいてもよい。
【００３５】
ステップＳ５において、音声入力認識手段３４は、前記音声入力情報から、指令目標を辞書情報との照合により抽出する。前記指令目標は、曲がった先の向かう方面の地名（例えば、「横浜」）や、曲がるポイント（例えば、「次の交差点」）や、施設（例えば、「ガソリンスタンド」）といったものを含む。前記辞書情報に含まれる単語との照合を行う際には、あるしきい値以上の尤度の単語をすべて抽出しておく。認識結果として、どれほど確実性があるかについて、認識された単語の相対的な確度を例えば尤度によって決定する。
【００３６】
ステップＳ６において、音声入力認識手段３４は、前記音声入力情報から、指令動作を辞書情報との照合により抽出する。前記指令動作は、「曲がる」、「入る」、「加速する」等を含む。ステップＳ５におけるのと同様に、前記辞書情報に含まれる単語との照合を行う際には、あるしきい値以上の尤度の単語をすべて抽出しておく。認識結果として、どれほど確実性があるかについて、認識された単語の相対的な確度を例えば尤度によって決定する。
【００３７】
ステップＳ７において、音声入力認識手段３４は、前記音声入力情報から、指令方向を辞書情報との照合により抽出する。前記指令方向は、例えば、「右」、「左」、「右斜め」等を含む。ここでもまたステップＳ５及びＳ６と同様に、前記辞書情報に含まれる単語との照合を行う際には、あるしきい値以上の尤度の単語をすべて抽出しておく。認識結果として、どれほど確実性があるかについて、認識された単語の相対的な確度を例えば尤度によって決定する。
【００３８】
なお、ステップＳ５、Ｓ６及びＳ７において単語を辞書情報から選択する際、最も尤度が高いいくつかの単語のみを選択するようにしてもよい。また、ステップＳ５、Ｓ６及びＳ７で使用する辞書情報に関して、自車位置と連動する辞書情報に基づいて使用する辞書を設定してもよい。また、ステップＳ５、Ｓ６及びＳ７のすべてを認識する手段を具えなくてもよい。また、「左折」といった指令を「左」と「曲がる」に分解して抽出したり、「速度４０」といった指令を現在の車速との比較により「加速」として変換して抽出したりしてもよい。この際には、「４０」といった制御量に相当する部分について、他の「５０」、「６０」、「２０」といった数値情報との一致度合いを含めて制御量の確度を尤度に基づいて保持しておき、後述するステップＳ１３において実際に車両制御指令を発行する際にこの保持しておいた情報を使用してもよい。
【００３９】
ステップＳ８において、道路情報認識手段４０は、例えば、道路の幅や制限速度によって決定される容量などの、車両に搭載した地図情報から取得可能な道路の構造に関する車両の走行のし易さについての情報を、道路構造情報として取得する。
【００４０】
ステップＳ９において、道路情報認識手段４０は、車両が走行することによって決定される情報を取得する。このような情報は、例えば、走り易さについての係数を制限速度に対する交通の速度の割合として含む。交通の速度を、例えば、外界センサによって測定した先行車両の速度から推定し、又は、走行中の路車間通信などから得てもよい。また、ナビゲーションシステムによって予め走行する経路が設定されている場合、設定されている経路の重みが大きくなるように設定してもよく、例えば重みを２倍にする。
【００４１】
ステップＳ１０において、重み決定手段３８は、距離係数を決定する。この距離係数は、ステップＳ４において得られた各分岐に移行する確度に関する重み付け係数であり、図６のａないしｄは、このような距離係数を説明するグラフである。例えば、図６ａに示すように自車両から指令対象までの距離に応じて重みが変化するように規定する。操作入力装置に加えられた力又は操作の変化量が大きくなった場合に、図６ｂに示すように自車両近くの重みが大きくなるようにしてもよい。また、このような重み付け特性を自車両の走行速度に応じて変化させてもよく、例えば、走行速度が高い場合、図６ｃに示すように、自車両付近は物理的に車両経路変更が困難だとみなして重みをゼロにしたり、重みを付与する前方距離を延長したりしてもよい。さらに、図６ｄに示すように、指数関数的に重みが変化するように設定してもよい。
【００４２】
ステップＳ１１において、確度算出手段４２は、ステップＳ４において得られた各分岐に移行する確度を、ステップＳ２、Ｓ５、Ｓ６、Ｓ７、Ｓ８及びＳ９において得られた情報と、ステップＳ１０において決定した距離係数とに基づいて算出し、車両制御指令生成手段４４に供給する。この算出方法については後により詳細に説明する。
【００４３】
ステップＳ１２において、車両制御指令生成手段４４は、ステップＳ１１において算出した最も高い確度を有する分岐に移行する車両制御指令をすぐに車両制御手段５０に供給するか否かを、前記確度に応じて決定する。ここで、例として、確度の値が０．８以上の場合は極高、０．６５以上０．８未満の場合は高、０．５以上０．６５未満の場合は中、０．５以下の場合は低として規定する。極高の場合、ステップＳ１３へ進み、それ以外の場合、ステップＳ１４へ進む。
【００４４】
ステップＳ１３において、対応する車両制御指令をすぐに車両制御手段５０に供給する。これと同時に、制御指令提示手段４６が、ドライバインタフェース部４の表示装置１４及び／又は音声発話装置１８を通じてドライバにこの車両制御指令を実行する旨を提示してもよい。さらに、ナビゲーションシステム２０によって予め走行する経路が設定されている場合、選択された分岐に経路をリルートしてもよい。車両制御指令を受けた車両制御手段５０は、周囲の車両に関する情報等を考慮しつつこの車両制御指令に基づいて車両制御部８を制御し、指令どおりに車両を走行させる。ドライバに情報提示を行ってから実際に指令を開始するまでの時間を、前記確度の高さに応じて変化させてもよい。また、実際に車両制御指令が車両制御手段５０に供給されるまでの間、供給された後でも中止することが可能な時間内に、前記指令を取り消すキャンセル指令が入力された場合、指令をキャンセルする代わりにステップＳ１４にジャンプすることもできる。この場合、連続したキャンセル指令が入力された場合、完全にキャンセルしてもよい。また、実際に車両制御指令が車両制御手段５０に供給されるまでの間、供給された後でも中止することが可能な時間内にも音声入力及び／又は操作入力を受け付け、これらの入力を考慮した確度を再計算し、その結果に基づいてステップＳ１２に戻ってもよい。また、ステップＳ５、Ｓ６及びＳ７に関して上述したように、音声指令によって速度「４０」のように制御量が指定されていた場合の処理を行うが、これについては後に説明する。
【００４５】
ステップＳ２２において、車両制御指令が実行された後、保持されている各分岐への確度や車両制御指令をリセットし、次の音声入力及び／又は操作入力があるまで待機する。
【００４６】
ステップＳ１４において、ドライバによってすでに否定された分岐を除いた残りの分岐の中で最も確度の高い分岐に対応する車両制御指令を選択する。
【００４７】
ステップＳ１５、Ｓ２０及びＳ２１は、ステップＳ１４で選択された車両制御指令の指令目標がどれくらい近いかについて判定し、オーバランを防止するためのルーチンである。
【００４８】
ステップＳ１５において、ステップ１４で選択された車両制御指令の指令目標までの距離を決定し、現在の車速及び加速度を考慮して、前記指令目標に到達したときに減速しておく必要のある速度に達するためにある一定以上の減速が必要であるか否かを判定し、必要であると判定された場合、ステップＳ２０に進み、そうでなければステップＳ２１に進む。
【００４９】
ステップＳ２０において、車両制御手段５０が、車両制御部８を制御して前記指令目標に相当する分岐点をオーバランしないように減速を開始すると共に、表示装置１４及び／又は音声発話装置１８によってドライバに対して手動運転への切り替えを促す。なお、その間に追加の入力が加わることで、ステップＳ１２の極高に相当するだけの確度が得られた場合は、対応する車両制御指令を車両制御手段５０に供給するためにステップＳ１３へと進んでもよい。なお、ステップＳ１５、Ｓ２０及びＳ２１を省略することもできる。
【００５０】
ステップ２１において、手動運転への切り替えがなされたか否かを判定する。手動運転への切り替えがされていた場合、自動操舵２４及び車両制御装置２８を解除する。手動運転への切り替えがされていなければステップＳ１６へ進む。
【００５１】
ステップＳ１６において、制御指令確認手段４８が、ステップＳ１４で選択された車両制御指令を実行するか否かを表示装置１４及び／又は音声発話装置１８によってドライバに対して問い合わせる。
【００５２】
ステップＳ１７において、ドライバからの応答の有無を判定する。一定時間内に返答があればステップＳ１８へ、返答がなければステップＳ１９へと進む。このような返答は、音声によるものでも操作によるものでもよい。
【００５３】
ステップＳ１８において、前記返答が肯定を示すものであるか否かを判定する。肯定を示すものであった場合、ステップＳ１３へと進む。そうでなければステップＳ１４に進み、次に高い確度の分岐に関する車両制御指令に関して同様の処理を行う。なお、前記返答が肯定を示すものでも否定を示すものでもなかった場合、ステップＳ１６にジャンプし、再度ドライバに確認することもできる。
【００５４】
ステップＳ１９において、現在処理している分岐の確度が高、中、低のいずれであるかについて判定し、高であればステップＳ１３へ、中であればステップＳ１６へ、低であればステップＳ１４へと進む。なお、中又は低であってもステップＳ１４へ進むモードや、高又は中であってもステップＳ１６へ進むモードといったように、ステップＳ１９における確度に応じて行う処理の分岐については、個別にステップＳ１３、Ｓ１４、Ｓ１６のいずれかに接続するように設定してもよい。ただし、ステップＳ１３、Ｓ１６、Ｓ１４の順に確度を割り当てた結果、Ｓ１６への確度がＳ１４以上であり、Ｓ１３への確度がＳ１６以上となるように設定する。また、ステップＳ１４では、例えば、指令キャンセルスイッチ等の操作による任意の時点での指令キャンセルによって、保持された指令をすべてクリアすることができるようにしてもよい。
【００５５】
上述したステップＳ１１における確度の算出方法について説明する。ここで説明のための例として、図３に示すような道路を走行中に、先の交差点で横浜方面に左折するために、「横浜へ曲がる」と発話しながら、操作入力装置において左方向に操作した場合を考える。すなわち、このような操作の時点で図３のような道路情報が認識されており、図５に示すような分岐情報が得られているとする。
【００５６】
図７は、このような例の場合において確度を算出するプロセスを説明する図である。フローＦ１において、「横浜へ曲がる」という音声に対する音声認識の結果、この例における分岐情報に含まれる指令目標に関する項目として、「横浜」に０．６、「横須賀」に０．３、「ガソリンスタンド」に０．１の尤度が認識され、指令動作に関する項目として、「曲がる」に０．６、「入る」に０．２、「加速」に０．２の尤度が認識されたとする。
【００５７】
フローＦ２において、前記分岐情報における各分岐に移行する確度を割り当てる。上記のように認識された尤度に応じて、重み付けをする。この例の場合において、指令目標の「横浜」に対応する分岐に０．６、「横須賀」に対応する分岐に０．３、「ガソリンスタンド」に対応する分岐に０．１の値を与える。予め設定したしきい値以上の尤度がなかった項目に対応する分岐には、一定の値、この例においては０．１を与える。同様にして、指令動作の「曲がる」に対応する分岐に０．６、「車線変更」に対応する分岐に０．２、「入る」に対応する分岐に０．２、「加速」に対応する分岐に０．２の値を与え、予め設定したしきい値以上の尤度がなかった項目に対応する分岐には一定の値、この例においては０．１を与える。
【００５８】
この例においては、指令方向に関する音声入力がないが、ある場合は上記の他の指令項目と同様に各分岐に重み付けの値を与える。この例のように関連する音声入力がない場合、すべての分岐に一定の値を与えておいてもよい。他の指令に関する音声入力がない場合も同様である。
【００５９】
操作入力情報に関する確度は、操作入力装置において入力された方向に対応する分岐に最も高い値を与え、他の分岐に与える値を、この方向からずれればずれるほど重みが軽くなるように設定する。なお、認識された方向が複数ある場合には、複数の重みを重ねてもよい。なお、例えば、指令目標の交差点が立体交差の場合で右方向に向かうために、いったん現在走行中の道路から左方向に分岐する必要がある場合では、操作入力が右方向に入れられている場合でも左方向に入力されたものとみなし、左方向に対応する分岐への重み付けを重くしてもよい。
【００６０】
道路構造情報に関する確度は、道路容量等に応じて各経路の重み付けの値を決定する。
【００６１】
道路状況情報に関する確度は、混雑度や現在の走行速度等の車の走り易さに応じて各経路の重み付けの値を決定する。
【００６２】
さらに、図２のステップＳ１０に関して説明したような距離係数を各経路に与える。
【００６３】
フローＦ３において、各分岐に関してフローＦ２で与えられた各情報に関する確度を各々掛け合わせる。この例の場合は各情報に関する確度を掛け合わせる際の重みを均等にしているが、情報間で重みを異ならせてもよい。
【００６４】
フローＦ４は、最終的に算出された確度であり、その数値はすべての分岐に関する移行確度の和が１となるように、確度σ＝（最も高い分岐の確度σｉ）／（Σ各分岐の確度σｎ）の計算によって基準化してある。この結果から、最も確度が高い分岐は、横浜方向に左折する動作に対応する分岐であることがわかり、その確度は０．８６である。
【００６５】
図８は、図７と同様の確度を算出するプロセスを説明する図であるが、この図に示す例では、各情報に関する確度を段階的に掛け合わせている。フローＦ１及びＦ２は、図７のものと同じであるが、フローＦ３において、音声入力情報に関する重みのみを掛け合わせた確度と、操作入力情報に関する重みのみを掛け合わせた確度と、道路情報及び距離係数に関する重みのみを掛け合わせた確度とを示している。この段階では、横浜方面に左折する動作に対応する分岐の確度は、それぞれ、０．５４、０．２８、０．１１である。
【００６６】
次のフローＦ３’において、フローＦ３で算出された３つの確度のうち各々２つを取り出して組み合わせた場合の確度を示している。この段階では、横浜方面に左折する動作に対応する分岐の確度は、０．５９（音声入力情報＋操作入力情報）、０．６９（音声入力情報＋道路情報及び距離係数）、０．４８（操作入力情報＋道路情報及び距離係数）である。
【００６７】
フローＦ４において、フローＦ３で算出された値を掛け合わせると、横浜方面に左折する動作に対応する分岐の確度は０．８６となり、図７の場合と同様になる。したがって、この図におけるフローＦ３及びＦ３’のような途中段階の確度は最終的な確度を算出するために必ずしも必要ではないが、このようにして各情報の確度を重ね合わせられる性質により、途中段階、あるいはいったん最終的な確度が算出された段階において、ある情報に関する追加の入力があった場合、この追加入力情報に関する確度をそのとき算出されている確度に掛け合わせることによって、各分岐の確度を新たに算出しなおすことができる。
【００６８】
図９は、図７と同様であるが、音声入力として「車線変更」、操作入力として右方向への操作が行われた場合の確度の算出処理を説明する図であり、音声認識による各分岐の確度は、「車線変更」に対して０．７、「曲がる」に対して０．２、「加速」に対して０．２だったとした場合である。図７の場合と同様に算出された値は、ここでは「車線変更」に関する分岐が最も高く、０．９６である。
【００６９】
上述したステップＳ１３における、ステップＳ５、Ｓ６及びＳ７において音声指令によって速度「４０」のように制御量が指定されていた場合の処理について説明する。このような速度の例においては、現在の車速情報と道路の制限速度情報などと比較し、ステップＳ１１における確度の計算のように、例えば制限速度に達する確度が最も高く、離れるにしたがって小さくなるように設定し、音声認識結果の尤度を図１０に示すように掛け合わせて制御量を算出してもよい。
【図面の簡単な説明】
【図１】 本発明による音声認識装置の一実施形態を含む車両制御システムの一例を示すブロック図である。
【図２】 本発明による音声認識装置の一実施形態の動作を説明するフローチャートである。
【図３】 道路情報を表す地図情報の図である。
【図４】 道路属性を補完された地図情報の図である。
【図５】 ａ及びｂは、分岐情報を図式的に示す図である。
【図６】 ａないしｄは、距離係数を説明するグラフである
【図７】 確度を算出するプロセスを説明する図である。
【図８】 確度を算出するプロセスを説明する図である。
【図９】 確度を算出するプロセスを説明する図である。
【図１０】 制御量が指定されていた場合の処理について説明する図である。
【符号の説明】
２ 音声認識装置
４ ドライバインタフェース部
６ 走行位置検出部
８ 車両制御部
１０ 通信部
１２ 音声入力装置
１４ 表示装置
１６ 操作入力装置
１８ 音声発話装置
２０ ＧＰＳナビゲーション装置
２２ 磁気ネイル検出装置
２４ 自動操舵装置
２６ レーダ装置
２８ 車速制御装置
３０ 路車間通信装置
３２ 車車間通信装置
３４ 音声入力認識手段
３６ 操作入力認識手段
３８ 重み決定手段
４０ 道路情報認識手段
４２ 確度算出手段
４４ 車両制御指令生成手段
４６ 制御指令提示手段
４８ 制御指令確認手段
５０ 車両制御手段
【発明の属する技術分野】
本発明は、車両の走行状態を変更するための車両制御指令を、音声認識と操作入力装置とを用いることによって、操作感を保ちつつ簡単に行うための音声認識装置であって、特に、アクセル、ブレーキ及び操舵を自律的に制御することが可能であり、かつ、ドライバからの指令を受け付けることが可能な自律走行車両において好適な音声認識装置に関する。
【０００２】
【従来の技術】
音声認識インタフェースの車両制御への導入としては、例えば、トヨタ自動車による特開２０００−３２０６５７号明細書に記載のものがあり、この音声認識インタフェースでは、音声認識によって走行特性を音声によって所定のモードに設定することにより、例えば、電子スロットルの開度の制御や、二輪駆動と四輪駆動との間での駆動方式の切り替えなどを行っている。また、例えば、路面μが明らかに高いことを感知し、雪が降っていないと判断すると、ドライバからの音声指令が音声認識によって「雪」と認識されても、このような制御は適切でなく、誤認識であったと判断して、処理を中止するような制御もしている。
【０００３】
このような車両特性のみの制御の場合には、誤認識によって車両特性を変更したとしても、進路方向が変わるなど走行上大きな影響があるわけではなく、また処理を中止しても、走行上のドライバの感覚を大きく損なうことはない。しかし、加減速や操舵を自律的に制御する車両においてこのような音声認識による制御を導入する場合、意図しない方向への制御が加わったり、逆に判定を厳しくしすぎて意図する制御が行われなかったりすると、操作性は著しく損なわれてしまう。そのために、一般的に用いられる音声による指令の復唱や、モニタ画面やタッチパネル画面で確認を行う確認手段を常にとるようにすると、今度は音声指令を与えてから実行までに時間がかかり、使い勝手が悪くなってしまう。それで、車両が認識した音声指令がどの程度ドライバの意図する指令と一致しているかの一致度合い（ここでは、確度と呼ぶ）を向上させると共に、制御指令が実行に移される前に高い確度が得られていることを、時間遅れによって操作性を損なうことなくドライバが確認できるようにすることが必要である。
【０００４】
したがって、本発明の目的は、ドライバによる音声指令を、操作感を損なうことなく、簡単かつ迅速に実行するために、音声入力に加えて操作入力及び道路情報を用いることによって、ドライバの意図する指令との一致度合いを示す「確度」を高く保ちつつ、ドライバからの直接的な操作入力を併用することによって、迅速な音声認識を可能にする音声認識装置を提供することである。
【０００５】
【課題を解決するための手段】
本発明の請求項１に記載の発明は、
音声入力情報を認識する音声入力認識手段と、
操作入力情報を認識する操作入力認識手段と、
前記音声入力認識手段が認識した音声入力情報と前記操作入力認識手段が認識した指令とに基づいて車両制御指令を生成する車両制御指令生成手段と、
前記車両制御指令生成手段により生成された車両制御指令に基づいて車両の加減速及び操舵を制御する車両制御手段と、
車両が移行可能な分岐情報と、地図情報から得られる車線幅などの道路構造と、外界認識センサやインフラ情報などから得られる混雑度などの道路状況と、前記分岐情報の各分岐までの距離に応じた重み付けである距離係数とのうち少なくとも１つを含む道路情報とを認識する道路情報認識手段と、
前記分岐情報における車両が移行可能な各分岐に移行する確度を、前記音声入力情報と、操作入力情報と、道路情報とに基づいて算出する確度算出手段と、を具え、前記車両制御指令生成手段が、最も高い確度の分岐への移行を行わせる指令を前記車両制御指令として生成することを特徴とする音声認識装置である。
【０００６】
本発明の請求項２に記載の発明は、請求項１に記載の音声認識装置において、前記音声入力認識手段が、前記音声入力情報において、車両制御動作の目標と、前記目標に対する動作と、前記動作の方向とのうち少なくとも１つを認識することを特徴とする音声認識装置である。
【０００７】
本発明の請求項３に記載の発明は、請求項１又は２に記載の音声認識装置において、前記車両制御指令生成手段が、前記車両制御指令をただちに前記車両制御手段に送るか否かを前記確度に応じて判断することを特徴とする音声認識装置である。
【０００８】
本発明の請求項４に記載の発明は、請求項１ないし３のいずれか１項に記載の音声認識装置において、前記確度算出手段が、前記車両が移行可能な各分岐に移行する確度を算出する際に、前記音声入力情報と、操作入力情報と、道路情報との中で欠けている情報があっても、残りの情報に基づいて前記確度を算出することを特徴とする音声認識装置である。
【０００９】
本発明の請求項５に記載の発明は、請求項１ないし４のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、前記音声入力情報が前記操作入力情報と実際的に同時に入力された場合にのみ車両制御指令を生成することを特徴とする音声認識装置である。
【００１０】
本発明の請求項６に記載の発明は、請求項１ないし５のいずれか１項に記載の音声認識装置において、前記確度算出手段が、前記確度の算出後に追加の音声入力情報及び／又は操作入力情報があった場合、これらの追加の情報にも基づいて確度を再算出することを特徴とする音声認識装置である。
【００１１】
本発明の請求項７に記載の発明は、請求項１ないし６のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、現在の走行速度に関する情報を受け、現在の走行速度に応じて、前記道路情報を取得する範囲と、各分岐への移行確度に付与する重みとを決定することを特徴とする音声認識装置である。
【００１２】
本発明の請求項８に記載の発明は、請求項１ないし７のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、操作入力装置に加えられた力の大きさに応じて道路情報（距離係数）を決定することを特徴とする音声認識装置である。
【００１３】
本発明の請求項９に記載の発明は、請求項１ないし８のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、前記車両制御指令についての情報をドライバに提示する制御指令提示手段をさらに具え、前記車両制御指令を前記車両制御手段に送る際、前記制御指令提示手段がこの車両制御指令についての情報を提示することを特徴とする音声認識装置である。
【００１４】
本発明の請求項１０に記載の発明は、請求項１ないし９のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が車両制御指令を前記車両制御手段にすぐに送らないと判断した場合、最も確度の高い分岐への移行に関する車両制御指令を実行するか否かの質問を前記制御指令提示手段によってドライバに対して提示する制御指令確認手段をさらに具え、この質問に対する音声入力及び／又は操作入力に応じて前記車両制御指令生成手段が前記車両制御指令を前記車両制御手段に送るか否かを決定することを特徴とする音声認識装置である。
【００１５】
本発明の請求項１１に記載の発明は、請求項１０に記載の音声認識装置において、前記制御指令確認手段が、ドライバに対して車両制御指令の実行の有無を確認する場合、この車両制御指令における目標が所定の距離以内に接近している場合、自動的に減速する指令を車両制御装置に送ることを特徴とする音声認識装置である。
【００１６】
本発明の請求項１２に記載の発明は、請求項１０又は１１に記載の音声認識装置において、ドライバからの応答が所定の時間内になかった場合、前記車両制御指令に対応する分岐の確度に応じて、前記車両制御装置に前記車両制御指令を送るか、同じ質問を再度提示するか、次に確度の高い分岐に対応する車両制御指令を実行するか否かに関する質問をドライバに提示するかのいずれかを選択することを特徴とする音声認識装置である。
【００１７】
【発明の効果】
請求項１の発明によれば、ドライバからの指令として音声入力と操作入力が複合して入力されること、および、車両が走行中の道路の情報をあわせて認識することにより、ドライバが意図した指令を高精度に推定できるため、意図した指令を簡単かつ迅速に車両制御装置に伝達することが可能になるとともに、音声入力情報、操作入力情報及び道路情報を、各々の確からしさを表す確度を算出して評価するため、正確な推定を行うことが可能になる。
【００１８】
請求項２の発明によれば、音声指令による車両動作の目標と、目標に対する動作と、動作の方向とを別々に認識することにより、音声入力情報にこれらのすべてが含まれていなくても車両制御指令を生成することが可能になる。
【００１９】
請求項３の発明によれば、車両制御をただちに実行するか否かを判断するために、情報の確かさを表す確度が算出されるので、確度が低い場合、違和感のないように対応を変えることが可能になる。
【００２０】
請求項４の発明によれば、ドライバからの指令入力と道路情報の中で、得られている情報の範囲内で制御指令を生成できるので、ドライバの感覚に合った柔軟な指令が可能になる。
【００２１】
請求項５の発明によれば、操作入力によってドライバが車両に対して音声で指令を与えたことが明示的に確認されるので、ラジオの音声や助手席の人との会話や独り言といった意図しない音声発話に対する誤作動を防止することが可能になる。
【００２２】
請求項６の発明によれば、確度が所定の値より低い場合、ポイントとなる指令のみを追加入力することによって、迅速に違和感なく車両に対して行いたい制御指令に関する情報を与えることが可能になる。
【００２３】
請求項７の発明によれば、走行速度に応じて検索する分岐情報の範囲が調節されるため、その範囲内での音声指令との照合が取れることで音声認識精度を向上することが可能になる。
【００２４】
請求項８の発明によれば、ドライバが早く制御指令を発行するように無意識又は意識的に加えた力に対して自車両近くの分岐への車両動作移行がしやすくなるので、感覚に合った制御指令の生成が可能になる。
【００２５】
請求項９の発明によれば、車両が実行する指令と一連の動作がドライバに提示され、車両が行う動作がドライバに伝えられるため、安心感を向上することができるようになる。
【００２６】
請求項１０の発明によれば、再入力をすることなく可能性が高い指令が提示されるので、ドライバへの負担を軽減することが可能になる。
【００２７】
請求項１１の発明によれば、分岐する可能性の高い指令対象が接近している際に、車両がそこを通過しないように減速するため、意図した指令を車両に対して確認をしている間に通過してしまうことを防止することが可能になる。
【００２８】
請求項１２の発明によれば、確度に応じて対応を変えることにより、ドライバの感覚に合った違和感のない指令系を構成することが可能になる。
【００２９】
【発明の実施の形態】
図１は、本発明による音声認識装置の一実施形態を含む車両制御システムの一例を示すブロック図である。このシステムは、例えば、特に、アクセル、ブレーキ及び操舵を自律的に制御することが可能であり、かつ、ドライバからの指令を受け付けることが可能な自律走行車両の走行を制御するものであり、音声認識装置２と、ドライバインタフェース部４と、走行位置検出部６と、車両制御部８と、通信部１０とを含む。ドライバインタフェース部４は、例えば、音声認識装置２にドライバからの音声入力指令を供給する音声入力装置１２と、音声認識装置２からの車両の移行動作情報をドライバに提示する表示装置１４と、音声認識装置２にドライバからの操作入力指令を供給する操作入力装置１６と、音声認識装置２からの操作確認などをドライバに提示する音声発話装置１８とを具える。走行位置検出部６は、例えば、音声認識装置２に車両の位置情報を供給するＧＰＳナビゲーション装置２０と、磁気ネイル検出装置２２とを具える。車両制御部８は、例えば、音声認識装置２からの車両制御情報を受け、車両の操舵を制御する自動操舵装置２４と、前車との車間距離を保つためのレーダ装置２６と、音声認識装置２からの車両制御情報を受け、車両の速度を制御する車速制御装置２８とを具える。通信部１０は、例えば、路車間通信装置３０と、車車間通信装置３２とを具える。
【００３０】
図１に示す本発明による音声認識装置２の一実施形態は、音声入力認識手段３４と、操作入力認識手段３６と、重み決定手段３８と、道路情報認識手段４０と、確度算出手段４２と、車両制御指令生成手段４４と、制御指令提示手段４６と、制御指令確認手段４８と、車両制御手段５０とを具える。
【００３１】
図２は、図１に音声認識装置２の動作を説明するフローチャートである。ステップＳ１において、ドライバインタフェース４の音声入力装置１８からの音声入力情報を音声認識手段３４が受ける。音声認識装置２は、これによって音声認識動作を開始する。
【００３２】
ステップＳ２において、ドライバインタフェース４の操作入力装置１４からの操作入力情報を操作入力認識手段３６が受ける。なお、ステップＳ１の音声認識動作を、ステップＳ２における操作入力情報によって開始してもよく、また、音声の検出後しばらく操作入力がなかった場合には、音声認識動作を中止してもよい。また、操作入力がされた前後の音声検出結果を認識してもよい。
【００３３】
ステップＳ３において、走行位置検出部６のＧＰＳナビゲーション装置２０や磁気ネイル検出装置２２によって決定された自車位置情報と、属性を含めた道路情報とを道路情報認識手段４０が受ける。なお、道路情報は、通信部１０の路車間通信装置３０や車車間通信装置３２による、インフラや専用電波局からの通信や、周囲の車両との通信や、又は、自車両の外界認識センサなどから取得してもよく、例えば、図３に示すような自車と周囲の車両の位置が示された自車の周囲の一定範囲の地図のような情報とする。なお、交通法規によって決められている車線変更禁止区間や分岐可能な地点情報を道路属性として明示的に示された、例えば図４に示すようなデータあるいは通信手段によって補完された地図情報を用いてもよい。また、道路属性としては、道路幅、道路車線数、制限速度等を取得してもよい。
【００３４】
ステップＳ４において、道路情報認識手段４０は、ステップＳ３で得られた自車位置情報と道路情報とから、車両行動の方向を変更することが可能な経路分岐を車両が移行可能な分岐として認識し、分岐情報を発生する。移行可能な分岐は、右左折といった道路の分岐、車両変更や道路脇での停車や加減速するといった、同一道路上での移行可能な経路を含む。図５は、このような分岐情報を図式的に示したものである。また、車両行動を移行せずに現在の動きを継続するという分岐もあわせて保持しておいてもよい。
【００３５】
ステップＳ５において、音声入力認識手段３４は、前記音声入力情報から、指令目標を辞書情報との照合により抽出する。前記指令目標は、曲がった先の向かう方面の地名（例えば、「横浜」）や、曲がるポイント（例えば、「次の交差点」）や、施設（例えば、「ガソリンスタンド」）といったものを含む。前記辞書情報に含まれる単語との照合を行う際には、あるしきい値以上の尤度の単語をすべて抽出しておく。認識結果として、どれほど確実性があるかについて、認識された単語の相対的な確度を例えば尤度によって決定する。
【００３６】
ステップＳ６において、音声入力認識手段３４は、前記音声入力情報から、指令動作を辞書情報との照合により抽出する。前記指令動作は、「曲がる」、「入る」、「加速する」等を含む。ステップＳ５におけるのと同様に、前記辞書情報に含まれる単語との照合を行う際には、あるしきい値以上の尤度の単語をすべて抽出しておく。認識結果として、どれほど確実性があるかについて、認識された単語の相対的な確度を例えば尤度によって決定する。
【００３７】
ステップＳ７において、音声入力認識手段３４は、前記音声入力情報から、指令方向を辞書情報との照合により抽出する。前記指令方向は、例えば、「右」、「左」、「右斜め」等を含む。ここでもまたステップＳ５及びＳ６と同様に、前記辞書情報に含まれる単語との照合を行う際には、あるしきい値以上の尤度の単語をすべて抽出しておく。認識結果として、どれほど確実性があるかについて、認識された単語の相対的な確度を例えば尤度によって決定する。
【００３８】
なお、ステップＳ５、Ｓ６及びＳ７において単語を辞書情報から選択する際、最も尤度が高いいくつかの単語のみを選択するようにしてもよい。また、ステップＳ５、Ｓ６及びＳ７で使用する辞書情報に関して、自車位置と連動する辞書情報に基づいて使用する辞書を設定してもよい。また、ステップＳ５、Ｓ６及びＳ７のすべてを認識する手段を具えなくてもよい。また、「左折」といった指令を「左」と「曲がる」に分解して抽出したり、「速度４０」といった指令を現在の車速との比較により「加速」として変換して抽出したりしてもよい。この際には、「４０」といった制御量に相当する部分について、他の「５０」、「６０」、「２０」といった数値情報との一致度合いを含めて制御量の確度を尤度に基づいて保持しておき、後述するステップＳ１３において実際に車両制御指令を発行する際にこの保持しておいた情報を使用してもよい。
【００３９】
ステップＳ８において、道路情報認識手段４０は、例えば、道路の幅や制限速度によって決定される容量などの、車両に搭載した地図情報から取得可能な道路の構造に関する車両の走行のし易さについての情報を、道路構造情報として取得する。
【００４０】
ステップＳ９において、道路情報認識手段４０は、車両が走行することによって決定される情報を取得する。このような情報は、例えば、走り易さについての係数を制限速度に対する交通の速度の割合として含む。交通の速度を、例えば、外界センサによって測定した先行車両の速度から推定し、又は、走行中の路車間通信などから得てもよい。また、ナビゲーションシステムによって予め走行する経路が設定されている場合、設定されている経路の重みが大きくなるように設定してもよく、例えば重みを２倍にする。
【００４１】
ステップＳ１０において、重み決定手段３８は、距離係数を決定する。この距離係数は、ステップＳ４において得られた各分岐に移行する確度に関する重み付け係数であり、図６のａないしｄは、このような距離係数を説明するグラフである。例えば、図６ａに示すように自車両から指令対象までの距離に応じて重みが変化するように規定する。操作入力装置に加えられた力又は操作の変化量が大きくなった場合に、図６ｂに示すように自車両近くの重みが大きくなるようにしてもよい。また、このような重み付け特性を自車両の走行速度に応じて変化させてもよく、例えば、走行速度が高い場合、図６ｃに示すように、自車両付近は物理的に車両経路変更が困難だとみなして重みをゼロにしたり、重みを付与する前方距離を延長したりしてもよい。さらに、図６ｄに示すように、指数関数的に重みが変化するように設定してもよい。
【００４２】
ステップＳ１１において、確度算出手段４２は、ステップＳ４において得られた各分岐に移行する確度を、ステップＳ２、Ｓ５、Ｓ６、Ｓ７、Ｓ８及びＳ９において得られた情報と、ステップＳ１０において決定した距離係数とに基づいて算出し、車両制御指令生成手段４４に供給する。この算出方法については後により詳細に説明する。
【００４３】
ステップＳ１２において、車両制御指令生成手段４４は、ステップＳ１１において算出した最も高い確度を有する分岐に移行する車両制御指令をすぐに車両制御手段５０に供給するか否かを、前記確度に応じて決定する。ここで、例として、確度の値が０．８以上の場合は極高、０．６５以上０．８未満の場合は高、０．５以上０．６５未満の場合は中、０．５以下の場合は低として規定する。極高の場合、ステップＳ１３へ進み、それ以外の場合、ステップＳ１４へ進む。
【００４４】
ステップＳ１３において、対応する車両制御指令をすぐに車両制御手段５０に供給する。これと同時に、制御指令提示手段４６が、ドライバインタフェース部４の表示装置１４及び／又は音声発話装置１８を通じてドライバにこの車両制御指令を実行する旨を提示してもよい。さらに、ナビゲーションシステム２０によって予め走行する経路が設定されている場合、選択された分岐に経路をリルートしてもよい。車両制御指令を受けた車両制御手段５０は、周囲の車両に関する情報等を考慮しつつこの車両制御指令に基づいて車両制御部８を制御し、指令どおりに車両を走行させる。ドライバに情報提示を行ってから実際に指令を開始するまでの時間を、前記確度の高さに応じて変化させてもよい。また、実際に車両制御指令が車両制御手段５０に供給されるまでの間、供給された後でも中止することが可能な時間内に、前記指令を取り消すキャンセル指令が入力された場合、指令をキャンセルする代わりにステップＳ１４にジャンプすることもできる。この場合、連続したキャンセル指令が入力された場合、完全にキャンセルしてもよい。また、実際に車両制御指令が車両制御手段５０に供給されるまでの間、供給された後でも中止することが可能な時間内にも音声入力及び／又は操作入力を受け付け、これらの入力を考慮した確度を再計算し、その結果に基づいてステップＳ１２に戻ってもよい。また、ステップＳ５、Ｓ６及びＳ７に関して上述したように、音声指令によって速度「４０」のように制御量が指定されていた場合の処理を行うが、これについては後に説明する。
【００４５】
ステップＳ２２において、車両制御指令が実行された後、保持されている各分岐への確度や車両制御指令をリセットし、次の音声入力及び／又は操作入力があるまで待機する。
【００４６】
ステップＳ１４において、ドライバによってすでに否定された分岐を除いた残りの分岐の中で最も確度の高い分岐に対応する車両制御指令を選択する。
【００４７】
ステップＳ１５、Ｓ２０及びＳ２１は、ステップＳ１４で選択された車両制御指令の指令目標がどれくらい近いかについて判定し、オーバランを防止するためのルーチンである。
【００４８】
ステップＳ１５において、ステップ１４で選択された車両制御指令の指令目標までの距離を決定し、現在の車速及び加速度を考慮して、前記指令目標に到達したときに減速しておく必要のある速度に達するためにある一定以上の減速が必要であるか否かを判定し、必要であると判定された場合、ステップＳ２０に進み、そうでなければステップＳ２１に進む。
【００４９】
ステップＳ２０において、車両制御手段５０が、車両制御部８を制御して前記指令目標に相当する分岐点をオーバランしないように減速を開始すると共に、表示装置１４及び／又は音声発話装置１８によってドライバに対して手動運転への切り替えを促す。なお、その間に追加の入力が加わることで、ステップＳ１２の極高に相当するだけの確度が得られた場合は、対応する車両制御指令を車両制御手段５０に供給するためにステップＳ１３へと進んでもよい。なお、ステップＳ１５、Ｓ２０及びＳ２１を省略することもできる。
【００５０】
ステップ２１において、手動運転への切り替えがなされたか否かを判定する。手動運転への切り替えがされていた場合、自動操舵２４及び車両制御装置２８を解除する。手動運転への切り替えがされていなければステップＳ１６へ進む。
【００５１】
ステップＳ１６において、制御指令確認手段４８が、ステップＳ１４で選択された車両制御指令を実行するか否かを表示装置１４及び／又は音声発話装置１８によってドライバに対して問い合わせる。
【００５２】
ステップＳ１７において、ドライバからの応答の有無を判定する。一定時間内に返答があればステップＳ１８へ、返答がなければステップＳ１９へと進む。このような返答は、音声によるものでも操作によるものでもよい。
【００５３】
ステップＳ１８において、前記返答が肯定を示すものであるか否かを判定する。肯定を示すものであった場合、ステップＳ１３へと進む。そうでなければステップＳ１４に進み、次に高い確度の分岐に関する車両制御指令に関して同様の処理を行う。なお、前記返答が肯定を示すものでも否定を示すものでもなかった場合、ステップＳ１６にジャンプし、再度ドライバに確認することもできる。
【００５４】
ステップＳ１９において、現在処理している分岐の確度が高、中、低のいずれであるかについて判定し、高であればステップＳ１３へ、中であればステップＳ１６へ、低であればステップＳ１４へと進む。なお、中又は低であってもステップＳ１４へ進むモードや、高又は中であってもステップＳ１６へ進むモードといったように、ステップＳ１９における確度に応じて行う処理の分岐については、個別にステップＳ１３、Ｓ１４、Ｓ１６のいずれかに接続するように設定してもよい。ただし、ステップＳ１３、Ｓ１６、Ｓ１４の順に確度を割り当てた結果、Ｓ１６への確度がＳ１４以上であり、Ｓ１３への確度がＳ１６以上となるように設定する。また、ステップＳ１４では、例えば、指令キャンセルスイッチ等の操作による任意の時点での指令キャンセルによって、保持された指令をすべてクリアすることができるようにしてもよい。
【００５５】
上述したステップＳ１１における確度の算出方法について説明する。ここで説明のための例として、図３に示すような道路を走行中に、先の交差点で横浜方面に左折するために、「横浜へ曲がる」と発話しながら、操作入力装置において左方向に操作した場合を考える。すなわち、このような操作の時点で図３のような道路情報が認識されており、図５に示すような分岐情報が得られているとする。
【００５６】
図７は、このような例の場合において確度を算出するプロセスを説明する図である。フローＦ１において、「横浜へ曲がる」という音声に対する音声認識の結果、この例における分岐情報に含まれる指令目標に関する項目として、「横浜」に０．６、「横須賀」に０．３、「ガソリンスタンド」に０．１の尤度が認識され、指令動作に関する項目として、「曲がる」に０．６、「入る」に０．２、「加速」に０．２の尤度が認識されたとする。
【００５７】
フローＦ２において、前記分岐情報における各分岐に移行する確度を割り当てる。上記のように認識された尤度に応じて、重み付けをする。この例の場合において、指令目標の「横浜」に対応する分岐に０．６、「横須賀」に対応する分岐に０．３、「ガソリンスタンド」に対応する分岐に０．１の値を与える。予め設定したしきい値以上の尤度がなかった項目に対応する分岐には、一定の値、この例においては０．１を与える。同様にして、指令動作の「曲がる」に対応する分岐に０．６、「車線変更」に対応する分岐に０．２、「入る」に対応する分岐に０．２、「加速」に対応する分岐に０．２の値を与え、予め設定したしきい値以上の尤度がなかった項目に対応する分岐には一定の値、この例においては０．１を与える。
【００５８】
この例においては、指令方向に関する音声入力がないが、ある場合は上記の他の指令項目と同様に各分岐に重み付けの値を与える。この例のように関連する音声入力がない場合、すべての分岐に一定の値を与えておいてもよい。他の指令に関する音声入力がない場合も同様である。
【００５９】
操作入力情報に関する確度は、操作入力装置において入力された方向に対応する分岐に最も高い値を与え、他の分岐に与える値を、この方向からずれればずれるほど重みが軽くなるように設定する。なお、認識された方向が複数ある場合には、複数の重みを重ねてもよい。なお、例えば、指令目標の交差点が立体交差の場合で右方向に向かうために、いったん現在走行中の道路から左方向に分岐する必要がある場合では、操作入力が右方向に入れられている場合でも左方向に入力されたものとみなし、左方向に対応する分岐への重み付けを重くしてもよい。
【００６０】
道路構造情報に関する確度は、道路容量等に応じて各経路の重み付けの値を決定する。
【００６１】
道路状況情報に関する確度は、混雑度や現在の走行速度等の車の走り易さに応じて各経路の重み付けの値を決定する。
【００６２】
さらに、図２のステップＳ１０に関して説明したような距離係数を各経路に与える。
【００６３】
フローＦ３において、各分岐に関してフローＦ２で与えられた各情報に関する確度を各々掛け合わせる。この例の場合は各情報に関する確度を掛け合わせる際の重みを均等にしているが、情報間で重みを異ならせてもよい。
【００６４】
フローＦ４は、最終的に算出された確度であり、その数値はすべての分岐に関する移行確度の和が１となるように、確度σ＝（最も高い分岐の確度σｉ）／（Σ各分岐の確度σｎ）の計算によって基準化してある。この結果から、最も確度が高い分岐は、横浜方向に左折する動作に対応する分岐であることがわかり、その確度は０．８６である。
【００６５】
図８は、図７と同様の確度を算出するプロセスを説明する図であるが、この図に示す例では、各情報に関する確度を段階的に掛け合わせている。フローＦ１及びＦ２は、図７のものと同じであるが、フローＦ３において、音声入力情報に関する重みのみを掛け合わせた確度と、操作入力情報に関する重みのみを掛け合わせた確度と、道路情報及び距離係数に関する重みのみを掛け合わせた確度とを示している。この段階では、横浜方面に左折する動作に対応する分岐の確度は、それぞれ、０．５４、０．２８、０．１１である。
【００６６】
次のフローＦ３’において、フローＦ３で算出された３つの確度のうち各々２つを取り出して組み合わせた場合の確度を示している。この段階では、横浜方面に左折する動作に対応する分岐の確度は、０．５９（音声入力情報＋操作入力情報）、０．６９（音声入力情報＋道路情報及び距離係数）、０．４８（操作入力情報＋道路情報及び距離係数）である。
【００６７】
フローＦ４において、フローＦ３で算出された値を掛け合わせると、横浜方面に左折する動作に対応する分岐の確度は０．８６となり、図７の場合と同様になる。したがって、この図におけるフローＦ３及びＦ３’のような途中段階の確度は最終的な確度を算出するために必ずしも必要ではないが、このようにして各情報の確度を重ね合わせられる性質により、途中段階、あるいはいったん最終的な確度が算出された段階において、ある情報に関する追加の入力があった場合、この追加入力情報に関する確度をそのとき算出されている確度に掛け合わせることによって、各分岐の確度を新たに算出しなおすことができる。
【００６８】
図９は、図７と同様であるが、音声入力として「車線変更」、操作入力として右方向への操作が行われた場合の確度の算出処理を説明する図であり、音声認識による各分岐の確度は、「車線変更」に対して０．７、「曲がる」に対して０．２、「加速」に対して０．２だったとした場合である。図７の場合と同様に算出された値は、ここでは「車線変更」に関する分岐が最も高く、０．９６である。
【００６９】
上述したステップＳ１３における、ステップＳ５、Ｓ６及びＳ７において音声指令によって速度「４０」のように制御量が指定されていた場合の処理について説明する。このような速度の例においては、現在の車速情報と道路の制限速度情報などと比較し、ステップＳ１１における確度の計算のように、例えば制限速度に達する確度が最も高く、離れるにしたがって小さくなるように設定し、音声認識結果の尤度を図１０に示すように掛け合わせて制御量を算出してもよい。
【図面の簡単な説明】
【図１】 本発明による音声認識装置の一実施形態を含む車両制御システムの一例を示すブロック図である。
【図２】 本発明による音声認識装置の一実施形態の動作を説明するフローチャートである。
【図３】 道路情報を表す地図情報の図である。
【図４】 道路属性を補完された地図情報の図である。
【図５】 ａ及びｂは、分岐情報を図式的に示す図である。
【図６】 ａないしｄは、距離係数を説明するグラフである
【図７】 確度を算出するプロセスを説明する図である。
【図８】 確度を算出するプロセスを説明する図である。
【図９】 確度を算出するプロセスを説明する図である。
【図１０】 制御量が指定されていた場合の処理について説明する図である。
【符号の説明】
２ 音声認識装置
４ ドライバインタフェース部
６ 走行位置検出部
８ 車両制御部
１０ 通信部
１２ 音声入力装置
１４ 表示装置
１６ 操作入力装置
１８ 音声発話装置
２０ ＧＰＳナビゲーション装置
２２ 磁気ネイル検出装置
２４ 自動操舵装置
２６ レーダ装置
２８ 車速制御装置
３０ 路車間通信装置
３２ 車車間通信装置
３４ 音声入力認識手段
３６ 操作入力認識手段
３８ 重み決定手段
４０ 道路情報認識手段
４２ 確度算出手段
４４ 車両制御指令生成手段
４６ 制御指令提示手段
４８ 制御指令確認手段
５０ 車両制御手段
Claims (12)
- 音声入力情報を認識する音声入力認識手段と、
操作入力情報を認識する操作入力認識手段と、
前記音声入力認識手段が認識した音声入力情報と前記操作入力認識手段が認識した指令とに基づいて車両制御指令を生成する車両制御指令生成手段と、
前記車両制御指令生成手段により生成された車両制御指令に基づいて車両の加減速及び操舵を制御する車両制御手段と、
車両が移行可能な分岐情報と、地図情報から得られる車線幅などの道路構造と、外界認識センサやインフラ情報などから得られる混雑度などの道路状況と、前記分岐情報の各分岐までの距離に応じた重み付けである距離係数とのうち少なくとも１つを含む道路情報とを認識する道路情報認識手段と、
前記分岐情報における車両が移行可能な各分岐に移行する確度を、前記音声入力情報と、操作入力情報と、道路情報とに基づいて算出する確度算出手段と、を具え、前記車両制御指令生成手段が、最も高い確度の分岐への移行を行わせる指令を前記車両制御指令として生成することを特徴とする音声認識装置。 - 請求項１に記載の音声認識装置において、前記音声入力認識手段が、前記音声入力情報において、車両制御動作の目標と、前記目標に対する動作と、前記動作の方向とのうち少なくとも１つを認識することを特徴とする音声認識装置。
- 請求項１又は２に記載の音声認識装置において、前記車両制御指令生成手段が、前記車両制御指令をただちに前記車両制御手段に送るか否かを前記確度に応じて判断することを特徴とする音声認識装置。
- 請求項１ないし３のいずれか１項に記載の音声認識装置において、前記確度算出手段が、前記車両が移行可能な各分岐に移行する確度を算出する際に、前記音声入力情報と、操作入力情報と、道路情報との中で欠けている情報があっても、残りの情報に基づいて前記確度を算出することを特徴とする音声認識装置。
- 請求項１ないし４のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、前記音声入力情報が前記操作入力情報と実際的に同時に入力された場合にのみ車両制御指令を生成することを特徴とする音声認識装置。
- 請求項１ないし５のいずれか１項に記載の音声認識装置において、前記確度算出手段が、前記確度の算出後に追加の音声入力情報及び／又は操作入力情報があった場合、これらの追加の情報にも基づいて確度を再算出することを特徴とする音声認識装置。
- 請求項１ないし６のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、現在の走行速度に関する情報を受け、現在の走行速度に応じて、前記道路情報を取得する範囲と、各分岐への移行確度に付与する重みとを決定することを特徴とする音声認識装置。
- 請求項１ないし７のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、操作入力装置に加えられた力の大きさに応じて道路情報（距離係数）を決定することを特徴とする音声認識装置。
- 請求項１ないし８のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が、前記車両制御指令についての情報をドライバに提示する制御指令提示手段をさらに具え、前記車両制御指令を前記車両制御手段に送る際、前記制御指令提示手段がこの車両制御指令についての情報を提示することを特徴とする音声認識装置。
- 請求項１ないし９のいずれか１項に記載の音声認識装置において、前記車両制御指令生成手段が車両制御指令を前記車両制御手段にすぐに送らないと判断した場合、最も確度の高い分岐への移行に関する車両制御指令を実行するか否かの質問を前記制御指令提示手段によってドライバに対して提示する制御指令確認手段をさらに具え、この質問に対する音声入力及び／又は操作入力に応じて前記車両制御指令生成手段が前記車両制御指令を前記車両制御手段に送るか否かを決定することを特徴とする音声認識装置。
- 請求項１０に記載の音声認識装置において、前記制御指令確認手段が、ドライバに対して車両制御指令の実行の有無を確認する場合、この車両制御指令における目標が所定の距離以内に接近している場合、自動的に減速する指令を車両制御装置に送ることを特徴とする音声認識装置。
- 請求項１０又は１１に記載の音声認識装置において、ドライバからの応答が所定の時間内になかった場合、前記車両制御指令に対応する分岐の確度に応じて、前記車両制御装置に前記車両制御指令を送るか、同じ質問を再度提示するか、次に確度の高い分岐に対応する車両制御指令を実行するか否かに関する質問をドライバに提示するかのいずれかを選択することを特徴とする音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384452A JP3979080B2 (ja) | 2001-12-18 | 2001-12-18 | 音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384452A JP3979080B2 (ja) | 2001-12-18 | 2001-12-18 | 音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003186492A JP2003186492A (ja) | 2003-07-04 |
| JP3979080B2 true JP3979080B2 (ja) | 2007-09-19 |
Family
ID=27594182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001384452A Expired - Fee Related JP3979080B2 (ja) | 2001-12-18 | 2001-12-18 | 音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3979080B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101918666B1 (ko) * | 2012-04-03 | 2018-11-14 | 현대모비스 주식회사 | 음성제어 기능을 갖는 스티어링 휠의 자동정렬 장치 및 그 제어방법 |
| CN105867179A (zh) * | 2016-03-29 | 2016-08-17 | 乐视控股（北京）有限公司 | 一种车载语音控制方法和装置、设备 |
| JP6916647B2 (ja) | 2017-03-31 | 2021-08-11 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
| JP2018188020A (ja) * | 2017-05-08 | 2018-11-29 | クラリオン株式会社 | 自動運転支援装置、及び自動運転支援方法 |
| JP2019073255A (ja) * | 2017-10-19 | 2019-05-16 | アイシン精機株式会社 | 運転支援装置 |
| JP7243567B2 (ja) | 2019-10-18 | 2023-03-22 | トヨタ自動車株式会社 | 変更操作支援装置 |
| CN114248786B (zh) * | 2022-01-18 | 2024-03-29 | 合创汽车科技有限公司 | 车辆控制方法、***、装置、计算机设备和介质 |
-
2001
- 2001-12-18 JP JP2001384452A patent/JP3979080B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003186492A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9937924B1 (en) | Modifying a vehicle state based on the presence of a special-purpose vehicle | |
| CN111976741B (zh) | 用于控制自动驾驶车辆的装置和方法 | |
| US10795358B2 (en) | Automatic driving control device | |
| CN107567406B (zh) | 基于操作者超控的自动化车辆参数修改 | |
| KR102165752B1 (ko) | 자동운전 시스템 및 자동운전 시스템의 제어 방법 | |
| JP6376059B2 (ja) | 自動運転車両の制御装置 | |
| JP4648175B2 (ja) | 自動車の走行制御装置及び方法 | |
| CN103250195B (zh) | 驾驶辅助装置 | |
| US11392119B2 (en) | Autonomous driving device | |
| JP5056220B2 (ja) | 走行制御装置 | |
| CN110582439A (zh) | 驾驶辅助方法以及利用了该驾驶辅助方法的驾驶辅助装置、驾驶辅助*** | |
| US11945442B2 (en) | Autonomous driving system and control method for autonomous driving system | |
| CN113287074A (zh) | 使用语音交互增加自主运载工具安全性和灵活性的方法和*** | |
| JP2006347531A (ja) | 車載端末装置、自動車の走行制御システム、及び自動車の制御方法 | |
| JP6557845B1 (ja) | 自動運転車 | |
| US11332128B2 (en) | Driving assistance apparatus | |
| JP2006308848A (ja) | 車両機器制御装置 | |
| CN116507537A (zh) | 用于根据驾驶员数据运行驾驶功能的车辆引导***和方法 | |
| JP3979080B2 (ja) | 音声認識装置 | |
| US20220161819A1 (en) | Automatic motor-vehicle driving speed control based on driver's driving behaviour | |
| JP2022094311A (ja) | 運転支援システムによる、自動化された運転過程の選択方法 | |
| CN114148341A (zh) | 用于车辆的控制设备、方法及车辆 | |
| JP2019160113A (ja) | 車両制御装置 | |
| CN114802250A (zh) | 数据处理方法、装置、设备、自动驾驶车辆及介质 | |
| CN116390877A (zh) | 在操纵加速踏板时运行驾驶功能的车辆引导***和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070221 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070618 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |