JP2009282783A - リスク融合認識システム - Google Patents

Abstract

【課題】並列に動作する複数のリスク要素認識からの情報を総合的に判断して実際の運転環境に適応した認識を可能とし、個々のドライバに最適な安全運転環境を実現する。
【解決手段】シーンリスク認識部２で外界を撮像した画像情報から画像全体のリスク分布を認識し、抽出リスク認識部３で画像中のリスク対象を認識する。そして、互いに独立して動作するシーンリスク認識部２及び抽出リスク認識部３の各認識結果を、リスク融合部４の処理結果ベクトル生成部４１でベクトルデータ化し、このベクトルデータを入力データとして融合リスク認識部４２で総合的なリスクを認識し、音声装置５や画像表示装置６へ出力してドライバへの警告や情報伝達を行うことで、複数のリスク要素認識からの情報を総合的に判断して実際の運転環境に適応した認識を可能とし、個々のドライバに最適な安全運転環境を実現する。
【選択図】図１

Description

本発明は、自動車等の移動体の外部環境に含まれるリスクを認識する複数のリスク認識要素を融合するリスク融合認識システムに関する。

近年、自動車等の移動体における予防安全技術として、カメラを搭載して外界環境を撮像し、撮像した画像を処理して外界環境に含まれる危険度（リスク）の情報を認識し、ドライバに警告する、又は運転をアシストするといった技術が開発されている。

このような危険情報の認識技術は、例えば、特許文献１に開示されている。特許文献１の技術は、車両周囲の環境の対象物に対して、その種類や属性毎に危険度パラメータを設定し、この危険度パラメータに基づいて危険度を演算するものである。
特開２００３−８１０３９号公報

特許文献１に開示されているような従来の技術では、歩行者、対向車、障害物、白線等といった危険に結びつく要因を設定し、それらに基づいてリスクの認識を行っており、実際のシステムとしては、開発者が想定したリスク要因や認識を予めシステム内に組み込んでおくという形で実現されている。

しかしながら、自動車の走行環境のような実際の環境は、天候の変化、歩行者、車、路上の構造物等の存在といったように多様であり、更には、運転する人間も多様であるため、従来の予め設定した一つの認識モデルでは限界があり、危険に結びつく要因についての認識が高精度で行われなければ、全体としてのリスクを認識できないばかりでなく、予め想定していた以外の危険な場面では認識できないという問題がある。

本発明は上記事情に鑑みてなされたもので、並列に動作する複数のリスク要素認識からの情報を総合的に判断して実際の運転環境に適応した認識を可能とし、個々のドライバに最適な安全運転環境を実現することのできるリスク融合認識システムを提供することを目的としている。

上記目的を達成するため、本発明によるリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力するリスク融合部とを備えることを特徴とする。

本発明によるリスク融合認識システムは、並列に動作する複数のリスク要素認識からの情報を総合的に判断して実際の運転環境に適応した認識を可能とし、個々のドライバに最適な安全運転環境を実現することができる。

以下、図面を参照して本発明の実施の形態を説明する。図１〜図１６は本発明の実施の一形態に係り、図１はリスク融合認識システムの基本構成図、図２はシーンリスク認識部の構成を示すブロック図、図３は抽出リスク認識部の構成を示すブロック図、図４は隠れマルコフモデルによる状態遷移の説明図、図５は入力データの決定方法を示す説明図、図６は閾値を用いたＳＯＭの距離変換を示す説明図、図７はシーンリスク情報の説明図、図８は抽出リスク情報の説明図、図９は状態の設定を示す説明図、図１０は音声提示の設定を示す説明図、図１１は状態遷移確率の例を示すグラフ、図１２は状態０−４の出力確率分布を示すグラフ、図１３は状態５−９の出力確率分布を示すグラフ、図１４は状態１０−１４の出力確率分布を示すグラフ、図１５は状態１５−２１の出力確率分布を示すグラフ、図１６は出力画像の例を示す説明図である。

本発明によるリスク融合認識システムは、例えば自動車等の移動体に搭載され、走行中の危険に関する要素を外界環境から認識する複数のリスク認識部（リスク要素認識部）の認識結果を融合して総合的にリスクを判断するシステムであり、単一のコンピュータシステム或いはネットワーク等を介して接続された複数のコンピュータシステムで構成される。本実施の形態においては、リスク融合認識システム１を自動車に適用し、ドライバへの警告や情報伝達を行う例について説明する。

図１に示すように、本実施の形態のリスク融合認識システム１は、個々のリスク要素認識部として、車載カメラによって外界を撮像した画像情報から画像全体のリスク分布を認識するシーンリスク認識部２と、画像中のリスク対象を認識する抽出リスク認識部３とを備え、更に、シーンリスク認識部２及び抽出リスク認識部３の各認識結果を融合処理するリスク融合部４を備えている。シーンリスク認識部２と抽出リスク認識部３とは、互いに独立して動作する。

また、リスク融合部４は、シーンリスク認識部２及び抽出リスク認識部３のそれぞれの処理結果をベクトル化する処理結果ベクトル生成部４１と、処理結果ベクトル生成部４１で生成されたベクトルデータを入力データとして総合的なリスクを認識する融合リスク認識部４２とを備えている。融合リスク認識部４２の出力は、音声装置５や画像表示装置６へ出力され、ドライバへの警告や情報伝達が行われる。

尚、本リスク融合認識システム１は、図１中に破線で示すように、融合処理の対象として、白線検出、道路標識認識、ドライバ状態等を認識する認識部を加えることも可能であり、高い拡張性を有している。

シーンリスク認識部２は、画像から得られた情報から直接リスクとの関連付けを行うことでリスクを認識すると共に、その関連付けを実際の走行で遭遇した環境から学習し、適応的にリスク認識を行うものであり、ドライバを認識器の学習においての教師とし、ドライバの運転操作からリスク情報を抽出し、その運転操作に基づくリスク情報と、カメラから得られる画像情報との関連を学習する。リスク情報の抽出に際しては、リスクを確率的に取り扱い、似たような状況でもリスクが異なる場合や、得られている画像情報だけでは判断が出来ないリスクも取り扱うことを可能としている。

また、抽出リスク認識部３は、入力画像データを並列に処理する複数の認識器を有し、これらの複数の認識器の出力結果を統合するものであり、統合結果を教師データを用いて評価し、複数の認識器を適応的に学習更新する。抽出リスク認識部３では、処理時間やメモリ空間等の関係から認識器に制限がある状況においても、天候等の環境変化、歩行者、車、路上の構造物等、多様な環境、対象に合わせて適応的に学習することができ、高精度且つロバストな認識を可能としている。

このような個々のリスク要素認識部（シーンリスク認識部２，抽出リスク認識部３）は、本出願人の提案による特願２００７−０７７６２５号，特願２００７−０３８４４０号に詳述されている認識システムを適用することができる。以下では、シーンリスク認識部２及び抽出リスク認識部３の概要について説明する。

図２に示すように、シーンリスク認識部２は、主要構成として、リスク情報抽出部２１、特徴量抽出部２２、状態認識部２３、リスク認識部２４、リスク情報出力部２５を備えており、最終的に、画像から認識した状態がリスクをどの程度の確率で持つかということを表したリスク確率を出力する。各部の機能は、以下の通りである。

リスク情報抽出部２１は、所定の周期（例えば、３０Ｈｚ）でサンプリングした車両情報（ドライバの操作情報）、例えば、車速、ハンドル角、アクセル開度、ブレーキ圧力等から所定のルール等を用いてリスク情報を抽出し、教師情報（リスクの大きさや種類）を作成する。

特徴量抽出部２２は、カメラの撮像画像を処理して得られる所定の階調のデジタル画像から、エッジ情報、動き情報、色情報等の特徴量を抽出し、それらの情報をＮ次元ベクトルとして保持する。尚、このＮ次元ベクトルには、画像特徴量以外の車両情報、例えば車速やヨー角の変化といった情報も含めることができる。

状態認識部２３は、得られたＮ次元の特徴量ベクトルを１次元の状態という量に変換する。ここでの状態とは、入力された画像を走行している場所や、天候、走行状態などによりシーン分けしているイメージであり、実際には、オンライン学習時、今はどのシーンであるかを明示的に教師することはできないため、入力データ及び教師データを用いて実環境に学習的に適応させる。この状態認識部２３での学習は、プロトタイプ型の識別処理で識別した各状態（状態番号）を、自己組織化マップ（SOM;Self-Organization Maps）を用いて学習的に更新する処理である。

リスク認識部２４は、状態認識部２３で得られた状態と、リスク情報抽出部２１で作成された教師との相関関係を求めて状態のリスクを学習・認識し、認識したリスクを、リスク情報出力部２５からリスク融合部４に出力する。リスクの認識は、認識した状態のリスク確率で出力する。これは、その状態が、リスクをどの程度の確率で持つかということを表したものであり、時刻ｔでの入力データがドライバ情報から得られたリスクレベルＲという教師情報を持つ場合、認識された状態が持つリスク確率において、リスクレベルＲの確率が大きければ教師情報による学習を強くし、リスクレベルＲの確率が小さければ教師情報による学習を弱くする。

一方、抽出リスク認識部３は、主要構成として、図３に示すように、複数の認識器３１，…を有する認識処理部３２、各認識器３１，…の出力を統合する統合部３３、処理の目標となる教師データを用いて認識器を学習的に更新する学習部３４を備え、最終的に、画像中のリスクに応じた複数の認識領域を出力する。各部の機能は、以下の通りである。

認識処理部３２は、入力画像を複数の認識器３１，…で並列に処理し、対象を抽出した処理画像を出力する。認識器３１としては、複数の画像フィルタを木構造状に組み合わせた木構造状画像フィルタ、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることが可能であり、オンラインで送られてくる入力画像がこれらの複数の認識器で並列に処理されると、その並列出力が統合部３３で統合され、リスク認識の対象となる複数の領域が認識される。

学習部３４は、オンラインで常に送られている入力画像の中から対象を認識する認識処理部３２及び統合部３３の処理とは別に、教師データの入力をトリガとして、現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。このため、学習部３４は、過去に作成された認識器及び新たに作成する認識器を保存する認識器データベースＤＢ１と、過去に入力された教師データ及び新たに入力される教師データを保存する教師データベースＤＢ２とを備え、内部構成として、個々の認識器を評価する認識器評価部３４ａ、全ての認識器（現在使用している認識器及びストックしている認識器）の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部３４ｂ、教師データを元に新たに認識器を作成する逐次学習部３４ｃを備えている。

概略的には、入力データから教師データが作成されると、この教師データが教師データベースＤＢ２にストックされ、また、この教師データを用いて、現在用いている認識器、認識器データベースＤＢ１にストックされている認識が、認識器評価部３４ａで個別に評価される。

個々の認識器の評価結果は、入替選択部３４ｂで参照され、最適な認識器の組み合わせが決定される。最適な認識器の組み合わせは、認識処理部３２を形成する現在の認識器、すなわち現在使用している複数の認識器の統合結果よりも良好な評価を得られることが前提であり、絶対的な条件として、現在の認識器の組み合わせよりも評価が悪くならないことが必要である。

使うべき候補の認識器がない場合には、逐次学習部３４ｃにおいて、所定の最適化手法、例えば遺伝的プログラミング（GP;Genetic Programming）等を用いた学習により、新たな認識器が作成される（逐次学習）。そして、逐次学習で順次追加された認識器を含めた組み合わせが反復評価され、最終的に決定された最適な認識器の組み合わせにより、現在の認識処理部３２の複数の認識器が部分的或いは全面的に入れ替えられる。

以上のシーンリスク認識部２からの認識情報（シーンリスク情報）及び抽出リスク認識部３の認識情報（抽出リスク情報）は、リスク融合部４で融合処理され、音声装置５や画像表示装置６へ出力されてドライバへの警報やリスク情報の提示が行われる。尚、リスク融合部４からの出力は、音声装置５を介した音声出力を主とするが、同時に、シーンリスク処理・抽出リスク処理で得られた結果表示画像を統合した結果画像が生成され、画像表示装置６へ出力される。

リスク融合部４では、先ず処理結果ベクトル生成部４１において、シーンリスク認識部２及び抽出リスク認識部３の認識結果を処理し、融合リスク認識部４２へ出力するベクトルデータを生成する。後述するように、融合リスク認識部４２は、時系列データの認識等で用いられる隠れマルコフモデル（HMM;Hidden Markov Model）を用いて認識処理を行っている。ＨＭＭは、図４に示すように、確率的な状態遷移を表現するモデルであり、番号を付与した円記号が対象の状態（ステート）を表現し、このステートが確率的な条件分岐によって遷移すること、遷移したステートによって異なる確率で外部に信号（確率的操作出力）が出力されることを想定している。

尚、図４においては、状態を５段階として各ステートに１〜５の番号を付与した場合を例示しているが、後述するように、本システムで実際に扱う状態は、０，１，…，２１の２２段階である。

本システムにおいては、状態、及び状態からの出力を以下のように設定し、ドライバに提示すべき状態を現在の状態の存在確率として、状態の時系列な変化を状態遷移で表現する。
各状態 ：ドライバに或る提示をすべき状態
出力値（観測値）：その状態のとき、各リスク要素認識部が出力するリスク情報

すなわち、ドライバに提示すべき状態がＨＭＭのステートに相当し、そのときに観測されるデータが外部に出力される信号に相当する。つまり、観測される出力値から現在の状態を推定することで認識が行われ、現在、或るシーンリスク情報、或る抽出リスク情報が出ているということは、ドライバに提示すべき状態は、そのときのリスクに対応した或る状態であろうと推定する。

このとき、推定時に観測されるデータがどのステートから出力されたのかを推定するためには、状態の遷移確率と、各状態の出力確率との２つの確率計算を行う必要があり、これらがＨＭＭのモデルパラメータとなる。これらのパラメータは、学習により得られるか若しくは明示的に与えられる。学習に関しては後述する。

このように、並列に動作する個々のリスク要素認識部からの情報を確率的モデルを用いて総合的に判断し、ドライバに警告や情報伝達を行うことで、実際の運転環境に適応した認識が可能となり、車両の開発・販売時には想定することのできない個々のドライバに最適な安全運転環境を実現することが可能となる。

尚、以上のことから、処理結果ベクトル生成部４１で処理されて融合リスク認識部４２へ出力されるベクトルデータは、ＨＭＭにとってのモデル出力値であり、以下では、処理結果ベクトル生成部４１から融合リスク認識部４２へ送られるベクトルデータを、適宜、「処理結果ベクトル」と記載する。

次に、処理結果ベクトル生成部４１の動作について詳細に説明する。処理結果ベクトル生成部４１は、先ず、シーンリスク認識部２及び抽出リスク認識部３から入力されるリスク要素認識結果を所定のタイミングでサンプリングする。この場合、シーンリスク認識部２及び抽出リスク認識部３は、リスク融合部４とは独立で動作しており、その認識周期も各データ毎に異なるものとなっている。一方、処理結果ベクトル生成部４１からのデータを処理する融合リスク認識部４２は、それまでに入力された最新値を用いて融合処理を行う。

このため、入力データ値（処理結果ベクトル）を決定する際には、以下の（１−１），（１−２）に示すような状況が想定される。
（１−１）リスク融合認識処理よりもリスク要素認識処理の処理周期が長い場合
（１−２）リスク融合認識処理よりもリスク要素認識処理の処理周期が短い場合

従って、処理結果ベクトル生成部４１は、以下の（２−１）〜（２−３）に示す方法をシステム環境を考慮する等して適宜選択或いは組み合わせ、シーンリスク認識部２及び抽出リスク認識部３からのデータをサンプリングする。
（２−１）最新値を取り込む。
（２−２）前の周期の処理後に入力された複数データの最大値を取り込む。
（２−３）前の周期の処理後に入力された複数データの平均値を取り込む。

例えば、図５に示すように、融合認識の１周期のうちにリスク要素認識結果が４回入力された場合について説明すると、（２−１）の方法では入力データはＤ、（２−２）の方法ではＣ、（２−３）の方法ではＡ，Ｂ，Ｃ，Ｄの値の平均値となる。

最新値を用いる（２−１）の方法では、処理時間遅れを最小にすることができる。最大値を用いる（２−２）の方法では、例えば危険度が高いか低いかという指標を表す場合には、一番高い値を取ることで、誤って低い危険度と認識することを防止することができる。また、平均値を用いる（２−３）の方法では、ノイズに影響を受け難くすることができる。

更に、処理結果ベクトル生成部４１は、入力データ（リスク要素認識結果）を離散化及び次元圧縮する。すなわち、融合リスク認識部４２では、ＨＭＭのパラメータを離散値として扱っているため、融合リスク認識部４２へ送るベクトルデータは離散化する必要がある。

また、本実施の形態では、融合リスク認識部４２への入力ベクトル（処理結果ベクトル）は３９次元であり、各次元毎に離散化を行うと膨大なメモリが必要となり、現実的ではない。従って、入力データ（リスク要素認識結果）に対して次元圧縮を含めた離散化を行い、連続値を離散値として扱う。この離散化及び次元圧縮は、本実施の形態においては、自己組織化マップ（SOM;Self-Organization Maps）を用いて行う。

ＳＯＭは、生物の大脳皮質のうち視覚野等をモデル化したニューラルネットワークの一種であり、Ｍ次元に並べられたユニットが、それぞれベクトル値（通常入力との結線の重みと呼ばれる）を持ち、入力に対して勝者ユニットをベクトルの距離を基準として決定する。そして、勝者ユニット及びその周辺のユニットの参照ベクトル値を、入力ベクトルに近づくように更新してゆく。これを繰り返すことで、全体が入力データの分布を最適に表現できるように学習し、この学習に基づいて入力データの次元を圧縮すると共に、データの特徴に応じて離散化を行うことができる。

尚、本実施の形態では、ＳＯＭを用いた教師無し競合学習によりデータの離散化及び次元圧縮を行う例について説明するが、教師有り競合学習であるベクトル量子化（LVQ;Learning Vector Quantization）モデルを用いることも可能である。

以下、処理結果ベクトル生成部４１におけるＳＯＭの距離計算、ＳＯＭの勝者決定、ＳＯＭの学習について説明する。

［ＳＯＭの距離計算］
本実施の形態においては、１次元２５６段階のＳＯＭを用いており、各ユニットの番号をｕ、各ユニットの代表値をｐｒｏｔ_u(i)とすると、代表値ｐｒｏｔ_u(i)は、Ｎ次元のベクトルであり、ｉ＝０，１，…，Ｎ−１となる。更に、入力ベクトルをＩｎ(i)とすると、入力ベクトルとＳＯＭユニットとの距離Ｌ(u)は、以下の（１）式によって求められ、（２）式に示すように、この距離Ｌ(u)が最も短いユニットが勝者ユニット（ユニット番号Ｋ）として選択され、認識結果となる。
Ｌ(u)＝(Σ_i(ｐｒｏｔ_u(i)−Ｉｎ(i))²)^1/2 …（１）
Ｋ＝ａｒｇｍｉｎ_u(Ｌ(u)） …（２）

（１）式による距離計算では、入力ベクトルの各次元（本実施の形態においては３９次元）は均等に扱っているが、通常、それぞれの次元の認識における重要度は異なる。また、入力次元間に分布の偏りがある場合には、重要でない特徴がノイズとなって現れる。

従って、本システムにおいては、（１）式による距離計算に代えて、以下の（３）式に示すような入力の各次元毎に重みを付加した距離計算、或いは、以下の（４）式に示すように、変量間の相関に基づくマハラノビス距離（Mahalanobis distance）を用いた距離計算を行う。
Ｌ(u)＝(Σ_iＷ(i)・(ｐｒｏｔ_u(i)−Ｉｎ(i))²)^1/2 …（３）
但し、Ｗ(i)：次元ｉの重み
Ｌ(u)＝(Σ_i(ｐｒｏｔ_u(i)−Ｉｎ(i))Σ^-1(ｐｒｏｔ_u(i)−Ｉｎ(i)))^1/2 …（４）
但し、Σ^-1：入力ベクトルＩｎ(i)の共分散行列の逆行列

マハラノビス距離を用いた距離計算では、入力ベクトルの次元間の相関を考慮した距離計算として、入力次元間の分布の偏りの影響を排除することが可能であり、これにより、重要でない特徴によるノイズへの耐性を向上することができる（但し、重み付けとの同時使用は不可）。

また、以上の距離計算においては、図６に示すように、入力データの各次元で閾値ｔｈ以上は距離は一定であるという変換を前処理として入れることで、「似ている部分」での一致度を重視した認識が可能になる。つまり、本来選択されるべきユニットが、或る次元での誤認識への影響で距離が大きくなってしまい、勝者とならないという問題を回避できる。この閾値ｔｈによる変換を、以下の（５）式に示す。
Ｌ(u)＝（Σ_iＦ(i)²)^1/2 …（５）
但し、│ｐｒｏｔ_u(i)−Ｉｎ(i)│＜ｔｈのとき、Ｆ(i)＝ｐｒｏｔ_u(i)−Ｉｎ(i)
│ｐｒｏｔ_u(i)−Ｉｎ(i)│≧ｔｈのとき、Ｆ(i)＝ｔｈ

また、それとは別に、入力データは、多くがリスクデータであることから、値１は値０よりも重要であることが多い。そのため、この性質を利用して、以下の（６）式により距離を求めるようにしても良い。
Ｌ(s)＝（Σ_iＦ(i)₂)^1/2 …（６）
但し、Ｆ(i)＝α1(ｐｒｏｔ_u(i)−Ｉｎ(i))

（６）式のＦ(i)におけるα1は、入力とユニットとの差の正負に応じた重みを示しており、ｐｒｏｔ_u(i)＜Ｉｎ(i)のとき、α1＜１、ｐｒｏｔ_u(i)≧Ｉｎ(i)のとき、α1＝１であり、過剰認識を低減してリスク認識を適正化することが可能となる。

［ＳＯＭの勝者決定］
ＳＯＭは入力データに距離が一番近いユニットが選ばれるという構造のため、２つのユニットと距離が等しくなる領域（境界付近）では、認識がハンチングする可能性があり、状態認識自体がハンチングしてしまう虞がある。そのため、１周期前の勝者ユニットに関しては、距離に定数β（β＜１）をかけることでヒステリシス的な処理を行い、ハンチングを防止する。すなわち、勝者ユニットを過去の計算時の情報を用いて決定することで、時間的に安定したＳＯＭ出力とすることができる。

また、通常のＳＯＭは、勝者ユニット番号Ｋを出力値として扱うが、以下の（７）式に示すように、ＳＯＭ出力を勝者ユニットとするのではなく確率的にすることで、ハンチングを防止することができ、更には認識精度の向上が期待できる。確率分布Ｑ(u)の設定は、勝者ユニットとの距離比を用いる。尚、（７）式中のσはゲインであり、ゲインσが０に近づく程、確定的な表現になる。
Ｑ(u)＝ｅｘｐ(−Ｌ(u)／ｍｉｎ_u(Ｌ(u))／σ)／ｚ …（７）
但し、ｚ＝Σ_iｅｘｐ(−Ｌ(u)／ｍｉｎ_u(Ｌ(u))／σ)

尚、１ステップ前の確率が大きい場合は、定数βを用いて距離を小さくする変換を入れることも可能である。

［ＳＯＭ学習］
ＳＯＭは、入力ベクトルから自律的に学習を行うことが可能であり、どのデータも均等に学習される。しかしながら、一般の走行中は安全な状態が圧倒的に多いことから、危険状態のユニットに対する十分な学習がなされないことが予想される。そこで、後述するＨＭＭの教師有り学習を行う場合、ＳＯＭ学習にリスクレベルの事前確率分布で重みをつける。すなわち、ＨＭＭの状態Ｓにおいて、事前確率をｐ(s)とすると、そのときのＳＯＭ学習時にかけるゲインＧ(s)をＧ(s)＝ｃｏｎｓｔ／ｐ(s)とする。但し、ゲインが最大設定値以上になった場合は、最大設定値で制限する。また、このゲインは、ＨＭＭの各状態の重要度によって明示的に設定しても良い。

ＳＯＭ学習における代表値の更新則は、上記のゲインＧ(s)を用いた場合、以下の（８）式のようになる。
ｐｒｏｔ_u(i)＝ｐｒｏｔ_u(i)＋α2(Ｉｎ(i)−ｐｒｏｔ_u(i)) …（８）
但し、α2＝ａ・ｂ(t)・ｃ(Ｄ(u,K),t)・Ｇ(s)

（８）式の係数α2を決定する各パラメータａ，ｂ，ｃのうち、パラメータａは学習係数であり、各教師状態の登場確率若しくは各状態の重要度に応じて変更する。また、パラメータｂ，ｃは、通常のＳＯＭの更新則に用いられるパラメータであり、ｂは時間減衰、ｃは領域減衰を示している。

図７，図８は、シーンリスク認識部２からのシーンリスク情報と抽出リスク認識部３からの抽出リスク情報とを処理して生成した処理結果ベクトルの例を示しており、この例では、計３９次元のベクトルデータとして設定されている。尚、このデータは、シーンリスク認識部２及び抽出リスク認識部３の最終出力値だけでなく、計算時に算出される情報も含んでいる。

シーンリスク情報は、図７においては１９次元のベクトルデータとする例を示しており、番号４〜１４のデータは、最尤状態のリスク強度確率分布から求め、番号１５〜１８のデータは、ＳＯＭの勝者判定時に距離により確率に変換したときの上位から順のデータとしている。また、抽出リスク情報は、図８においては２０次元のベクトルデータとする例を示しており、歩行者や車を認識した複数の認識領域における平均や分散をとって番号１９〜３８の２０次元のベクトルデータとしている。

次に、融合リスク認識部４２における認識処理について説明する。本実施の形態においては、ＨＭＭを用いてリスク認識処理を行う例について説明するが、このリスク認識処理は、ファジィルールの推論モデルやニューラルネットワークの学習モデルを用いて行うことも可能である。本実施の形態では、以下、ＨＭＭの状態設定、状態推定、学習、融合認識結果について説明する。

［ＨＭＭの状態設定］
ＨＭＭの状態の設定は、本実施の形態においては、音声提示を基本として「…の音声提示をすべき状態」として設定し、また、リスクに関しては、リスクの大きさ（リスクレベル）、リスクの種類、リスクの位置（画像上の位置）の３つの指標を尺度として状態を設定している。

例えば、図９に示すように、リスレベルの値を０〜１００、状態番号を０〜２２として、０−３０のリスクレベルでは状態番号０（音声提示無し）、３０−５０のリスクレベルでは状態番号１−９、５０−７０のリスクレベルでは状態番号１０−１８、７０以上のリスクレベルでは状態番号１９−２１を対応させて設定する。各状態の発話音声（警告音声）は、図１０に示すように、状態と１対１で対応させ、ドライバ、歩行者、相手車両といったように、ＨＭＭで推定した状態に応じて自車内外に警告音声を発する。

［ＨＭＭによる状態の推定］
ＨＭＭによる状態の推定は、以下の（３−１），（３−２）に示すように、一般的に用いられるビタビアルゴリズム（Viterbi algorithm）若しくは前向きアルゴリズム（forward algorithm)を用いて行われる。この推定は、１周期前の状態Ｓt-1、現在観測された入力データを離散値に変換したユニット番号Ｋtにより行われ、現在が状態Ｓtである確率Ｐ(st)が出力される。

（３−１）ビタビアルゴリズム
ビタビアルゴリズムは、ＨＭＭに対する最尤系列推定手法の一つであり、最尤系列推定は、現在観測されているデータがどのステートから出力されているとするのが最も尤もらしいかを推定（最尤推定）する手法である。遷移系列を計算する際の最も尤もらしい系列とは、発生する確率が最大となる系列を特定することに相当する。

このビタビアルゴリズムは、状態遷移確率と出力信号確率を元に、時系列観測データの先頭から、順次、各時間ステップにおいてそれぞれのステートに存在する最大確率を計算する手法であり、動的計画法に類似した計算手法を用いるために計算量が少ないという特徴を持っている。

以下の（９）式に計算例を示す。（９）式においては、確率が小さくなることによる計算上のアンダーフローを回避するため、確率の対数をとり、計算を全てその対数値で行っている。左辺のＬＰ_t(Ｓ_j)は時刻ｔで状態Ｓjである確率の対数、右辺第１項内のＬＡ(Ｓ_j｜Ｓ_i)は状態Ｓiから状態Ｓjへ遷移する確率の対数、第２項のＬＢ(Ｋ_ｔ｜Ｓ_j)は状態Ｓjのときの時刻ｔで観測値Ｘを出力する確率の対数を示している。
ＬＰ_t(Ｓ_j)＝ｍａｘ_i(ＬＰ_t-1(Ｓ_i)＋ＬＡ(Ｓ_j｜Ｓ_i))＋ＬＢ(Ｋ_ｔ｜Ｓ_j) …（９）

（３−２）前向きアルゴリズム
前向きアルゴリズムは、イベントと各ステートとのトレリス上を前向きに辿る手法であり、以下の（１０）式に示すように、ステップ毎の逐次計算により、各時刻、各状態の存在確率を再帰的に計算する。（１０）式においては、左辺のＰ_t(Ｓ_j)は時刻ｔに状態Ｓjである確率、右辺第１項内のＡ(Ｓ_j｜Ｓ_i)は状態Ｓiから状態Ｓjへ遷移する確率、第２項のＢ(Ｋ_ｔ｜Ｓ_j)は状態Ｓjのときの時刻ｔで観測値Ｘを出力する確率である。
Ｐ_t(Ｓ_j)＝Σ_i(Ｐ_t-1(Ｓ_i)・Ａ(Ｓ_j｜Ｓ_i))＋Ｂ(Ｋ_ｔ｜Ｓ_j) …（１０）

この前向きアルゴリズムによる状態推定は、各時刻の各ステップにおいて全ての遷移確率を計算しており、存在確率の低いステートも考慮した状態推定であることから、高精細な内部状態の推定が可能となる。

推定状態は、確率が一番高い状態となり、ビタビアルゴリズム、前向きアルゴリズムのそれぞれの推定結果は、状態系列の最大値ａｒｇｍａｘj（ＬＰ_t(Ｓ_j))，ａｒｇｍａｘj（Ｐ_t(Ｓ_j))となる。

ここで、推定した状態Ｓの確率Ｐ(Ｓ)はわかっているので、これを、推定の信頼度とする。そして、この信頼度により、実際の音声出力を行うか否かを決定する。つまり、推定により得られた状態の確率が低い場合には、音声出力をしないようにする。

また、認識周期によっては、前の状態の音声出力が終了しないうちに音声出力命令が出る場合がある。そのような場合には、前の状態よりリスクレベルが小さい場合は音声出力を行わず、前の状態よりリスクレベルが大きい場合、前の音声出力を強制的に止めて、新たな音声出力を行う。

また、ＨＭＭを用いて、現在の状態の遷移確率から今後の状態の予測も行うことができる。その場合、観測値Ｘtの時間推移はわからないので、前述の（９），（１０）式とも右辺第２項を省いて計算を行うことにより、繰り返し計算で各時刻t+1,t+2,…の予測状態確率Ｐt+1(S),Ｐt+2(S)…を求めることが可能となる。

尚、処理結果ベクトル生成部４１においてＳＯＭ出力を確率的に扱った場合には、（９），（１０）式の右辺第２項を、それぞれ、前述の（７）式による確率分布Ｑ(u)を用いて、ＬＯＧ₁₀(Σ_uＢ(ｕ｜Ｓ_j)・Ｑ(u))、Σ_uＢ(ｕ｜Ｓ_j)・Ｑ(u)に置き換えることで、確率的な、より安定した認識結果を得ることが可能になる。

［ＨＭＭの学習］
次に、ＨＭＭの学習について説明する、ＨＭＭの学習は、２段階のステップを踏んでおり、第１段階は基本的な認識処理を学習するためのオフラインの事前学習フェーズ、第２段階は走行中に環境に合わせて学習を行うオンライン学習フェーズである。

前者の事前学習フェーズでは、入力情報と、そのときのあるべき状態を教師情報を用いて学習する教師有り学習を行う。この教師有り学習では、入力データＸと、教師データＳ（正解の状態）があるため、ＨＭＭのパラメータ（状態存在確率、出力確率）は、データの累積頻度から直接求めることができる。

後者のオンライン学習フェーズは、教師情報のない教師無し学習となる。これには、バウムウェルチ（Baum Welch）アルゴリズムを用いることにより学習が可能である。バウムウェルチアルゴリズムは、ＥＭアルゴリズムの一種であり、前向き確率と後ろ向き確率とを用いて学習データの尤度を大きくするようにモデルのパラメータを更新していき、これによって収束したパラメータをＨＭＭの学習結果とする。但し、教師無し学習であるため、正解の状態を推定しない誤った学習を行う虞がある。そのため、事前に学習したパラメータから一定値以上更新されないように学習を進める必要がある。

［融合認識結果］
以上の処理を経て得られるＨＭＭのモデルパラメータは、図１１〜図１５に示される。図１１は、各リスク要素認識部が出力するリスク情報を観測値として計算される状態遷移確率を示しており、ステート番号は大きいほど高いリスクレベルであることを示している。このグラフから所定のＨＭＭ駆動周波数の枠組みでは、自己遷移（同じ番号のステートにとどまる遷移）と、上下１ステート分の遷移確率が大きいこと、高リスクステートでは急激にリスクレベルが下がる遷移確率も比較的大きいこと等が見て取れる。これは、一般的に、中低程度のリスクは連続的に上下することや、高いリスク要因は車両の通過等と共に急激に解消すること等に相当し、一般的な運転状況の感覚との乖離は無いものと判断することができる。

また、図１２〜図１５は各状態であるときの出力確率の例を示しており、図１２は状態０−４の出力確率分布、図１３は状態５−９の出力確率分布、図１４は状態１０−１４の出力確率分布、図１５は状態１５−２１の出力確率分布であり、番号が小さい状態（安全と見做される状態）で、出力確率が多様に変化し、状態番号が大きい状態（危険と見做される状態）になると、出力確率のピークが出現して対応する警告音声が出力されることを意味している。

このようなＨＭＭによる認識結果は、音声装置５を介した音声出力を基本とするが、同時に、図１６に示すようなシーンリスク処理・抽出リスク処理で得られた画像を統合した画像が生成され、画像表示装置６へ出力される。図１６の例では、対人リスク抽出と対車リスク抽出とが例えば画像内の赤や青の領域といったように色別に表示され、画面下のバー表示で全体のシーンリスクのリスクレベルを表している。また、図示を省略しているが、その他、記号や文字で中間の計算値も表示する。

以上のように、本実施の形態においては、複数のリスク要素認識処理の結果を観測値として確率的な状態遷移でドライバに提示すべき状態を決定しているため、複数のリスク認識要素からの情報を総合的に判断して実際の運転環境に適応した認識を可能とすることができ、個々のドライバに最適な安全運転環境を実現することができる。

リスク融合認識システムの基本構成図 シーンリスク認識部の構成を示すブロック図 抽出リスク認識部の構成を示すブロック図 隠れマルコフモデルによる状態遷移の説明図 入力データの決定方法を示す説明図 閾値を用いたＳＯＭの距離変換を示す説明図 シーンリスク情報の説明図 抽出リスク情報の説明図 状態の設定を示す説明図 音声提示の設定を示す説明図 状態遷移確率の例を示すグラフ 状態０−４の出力確率分布を示すグラフ 状態５−９の出力確率分布を示すグラフ 状態１０−１４の出力確率分布を示すグラフ 状態１５−２１の出力確率分布を示すグラフ 出力画像の例を示す説明図

符号の説明

１ リスク融合認識システム
２ シーンリスク認識部
３ 抽出リスク認識部
４ リスク融合部
５ 音声装置
６ 画像表示装置
４１ 処理結果ベクトル生成部
４２ 融合リスク認識部

Claims (17)

1. 移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、
   上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力するリスク融合部と
   を備えることを特徴とするリスク融合認識システム。
2. 上記リスク融合部は、上記リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示することを特徴とする請求項１記載のリスク融合認識システム。
3. 上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識することを特徴とする請求項１又は２記載のリスク融合認識システム。
4. 上記確率的状態遷移モデルにおける状態として、上記複数のリスク認識部で認識したリスクのレベルと位置と種類とを指標とした設定を行うことを特徴とする請求項３記載のリスク融合認識システム。
5. 上記確率的状態遷移モデルをオフライン及びオンラインで学習し、自律的に認識構造を構築することを特徴とする請求項３記載のリスク融合認識システム。
6. 認識される現在の状態の確率を信頼度として、上記リスク情報の提示を行うか否かを判断することを特徴とする請求項３記載のリスク融合認識システム。
7. 推定される現在の状態の遷移確率を用いて、未来の状態の予測を行うことを特徴とする請求項３記載のリスク融合認識システム。
8. 上記確率的状態遷移モデルの１回の認識周期に対して、上記複数のリスク認識部のそれぞれから複数回の認識情報が出力される場合、該複数回の認識情報の最大値若しくは最新値若しくは平均値を、上記確率的状態遷移モデルへの入力情報とすることを特徴とする請求項３記載のリスク融合認識システム。
9. 上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすることを特徴とする請求項３記載のリスク融合認識システム。
10. 上記確率的状態遷移モデルの状態推定に際して、上記自己組織化マップの確率的出力を用いることを特徴とする請求項９記載のリスク融合認識システム。
11. 上記自己組織化マップの距離計算に際して、認識の重要度に応じたゲインを用いることを特徴とする請求項９記載のリスク融合認識システム。
12. 上記自己組織化マップの距離計算に際して、入力ベクトルの共分散行列によるマハラノビス距離を用いることを特徴とする請求項９記載のリスク融合認識システム。
13. 上記自己組織化マップの距離計算に際して、各次元の入力データとユニットとの差が閾値以上の場合には、同じ入力値とすることを特徴とする請求項９記載のリスク融合認識システム。
14. 上記自己組織化マップの距離計算に際して、入力の各次元毎にユニットとの差に応じた重みを用いることを特徴とする請求項９記載のリスク融合認識システム。
15. 上記自己組織化マップの勝者ユニットを過去の計算時の情報を用いて決定し、時間的に安定した出力とすることを特徴とする請求項９記載のリスク融合認識システム。
16. 上記自己組織化マップの出力を、勝者ユニットではなく各ユニットとの距離に基づく確率分布とすることを特徴とする請求項９記載のリスク融合認識システム。
17. 上記自己組織化マップの教師有り学習を行う際に、各教師状態の登場確率若しくは各状態の重要度に応じて学習係数を変更することを特徴とする請求項９記載のリスク融合認識システム。