JP5204552B2 - Risk fusion recognition system - Google Patents
Risk fusion recognition system Download PDFInfo
- Publication number
- JP5204552B2 JP5204552B2 JP2008134687A JP2008134687A JP5204552B2 JP 5204552 B2 JP5204552 B2 JP 5204552B2 JP 2008134687 A JP2008134687 A JP 2008134687A JP 2008134687 A JP2008134687 A JP 2008134687A JP 5204552 B2 JP5204552 B2 JP 5204552B2
- Authority
- JP
- Japan
- Prior art keywords
- risk
- state
- recognition
- fusion
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、自動車等の移動体の外部環境に含まれるリスクを認識する複数のリスク認識要素を融合するリスク融合認識システムに関する。 The present invention relates to a risk fusion recognition system that fuses a plurality of risk recognition elements for recognizing a risk contained in an external environment of a moving body such as an automobile.
近年、自動車等の移動体における予防安全技術として、カメラを搭載して外界環境を撮像し、撮像した画像を処理して外界環境に含まれる危険度（リスク）の情報を認識し、ドライバに警告する、又は運転をアシストするといった技術が開発されている。 In recent years, as a preventive safety technology for moving objects such as automobiles, a camera is installed to image the external environment, the captured image is processed to recognize risk information contained in the external environment, and alert the driver Technology has been developed to assist driving or assist driving.
このような危険情報の認識技術は、例えば、特許文献１に開示されている。特許文献１の技術は、車両周囲の環境の対象物に対して、その種類や属性毎に危険度パラメータを設定し、この危険度パラメータに基づいて危険度を演算するものである。
特許文献１に開示されているような従来の技術では、歩行者、対向車、障害物、白線等といった危険に結びつく要因を設定し、それらに基づいてリスクの認識を行っており、実際のシステムとしては、開発者が想定したリスク要因や認識を予めシステム内に組み込んでおくという形で実現されている。 In the prior art disclosed in Patent Document 1, factors that lead to danger such as pedestrians, oncoming vehicles, obstacles, white lines, etc. are set, and the risk is recognized based on these factors. Is realized in the form of incorporating risk factors and recognition assumed by the developer into the system in advance.
しかしながら、自動車の走行環境のような実際の環境は、天候の変化、歩行者、車、路上の構造物等の存在といったように多様であり、更には、運転する人間も多様であるため、従来の予め設定した一つの認識モデルでは限界があり、危険に結びつく要因についての認識が高精度で行われなければ、全体としてのリスクを認識できないばかりでなく、予め想定していた以外の危険な場面では認識できないという問題がある。 However, the actual environment such as the driving environment of automobiles is diverse, such as weather changes, the presence of pedestrians, cars, structures on the road, etc. Furthermore, the number of people driving is also diverse. There is a limit in one of the preset recognition models, and if the factors leading to danger are not recognized with high accuracy, not only the overall risk can be recognized, but also dangerous scenes other than those assumed in advance. There is a problem that cannot be recognized.
本発明は上記事情に鑑みてなされたもので、並列に動作する複数のリスク要素認識からの情報を総合的に判断して実際の運転環境に適応した認識を可能とし、個々のドライバに最適な安全運転環境を実現することのできるリスク融合認識システムを提供することを目的としている。 The present invention has been made in view of the above circumstances, and enables comprehensive recognition of information from a plurality of risk element recognitions operating in parallel to enable recognition adapted to the actual driving environment, and is optimal for individual drivers. The objective is to provide a risk fusion recognition system that can realize a safe driving environment.
上記目的を達成するため、本発明による第１のリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部とを備え、上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記確率的状態遷移モデルの状態推定に際して、上記自己組織化マップの確率的出力を用いることを特徴とする。
本発明による第２のリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部とを備え、上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの距離計算に際して、認識の重要度に応じたゲインを用いることを特徴とする。
本発明による第３のリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部とを備え、上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの距離計算に際して、各次元の入力データとユニットとの差が閾値以上の場合には同じ入力値とすることを特徴とする。
本発明による第４のリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部とを備え、上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの距離計算に際して、入力の各次元毎にユニットとの差に応じた重みを用いることを特徴とする。
本発明による第５のリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部とを備え、上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの勝者ユニットを過去の計算時の情報を用いて決定し、時間的に安定した出力とすることを特徴とする。
本発明による第６のリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部とを備え、上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの出力を、勝者ユニットではなく各ユニットとの距離に基づく確率分布とすることを特徴とする。
本発明による第７のリスク融合認識システムは、移動体の外界環境を検出し、この外界環境に含まれるリスクを認識する複数のリスク認識部と、上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部とを備え、上記リスク融合部は、状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの教師有り学習を行う際に、各教師状態の登場確率若しくは各状態の重要度に応じて学習係数を変更することを特徴とする。
In order to achieve the above object, a first risk fusion recognition system according to the present invention detects an external environment of a moving object, recognizes a risk included in the external environment, and a plurality of risk recognition units. When the recognition results when the units are operated in parallel are combined, and the risk information recognized based on the results of the fusion processing is output , the risk information from the voice output and the risk information from each risk recognition unit And a risk fusion unit that presents at least the audio output, and the risk fusion unit uses a stochastic state transition model that expresses a time-series change of state by state transition, Recognizing the state in which the risk information is to be presented to the driver as the existence probability of the current state, in that case, the output value of the state of the probabilistic state transition model is recognized by each of the plurality of risk recognition units The results with the discretized transform value using the self-organizing map, when the state estimation of the stochastic state transition model, characterized by using a probabilistic output of the self-organizing map.
The second risk fusion recognition system according to the present invention detects an external environment of a mobile body, and operates a plurality of risk recognition units that recognize risks included in the external environment and the plurality of risk recognition units in parallel. When each risk recognition result is subjected to fusion processing, and risk information recognized based on the result of the fusion processing is output, the risk information is a voice output and an image obtained by integrating risk information from each risk recognition unit. A risk fusion unit that presents at least the voice output, and the risk fusion unit presents the risk information to the driver using a probabilistic state transition model that represents a time-series change in the state as a state transition. The state to be recognized is recognized as the existence probability of the current state, and at that time, the output value of the state of the probabilistic state transition model, the recognition results of the plurality of risk recognition units, the self-organization map With a converted value obtained by discretizing have, when distance calculation of the self-organizing map, which is characterized by using a gain corresponding to the importance of the recognition.
The third risk fusion recognition system according to the present invention detects an external environment of a moving body, and operates a plurality of risk recognition units that recognize risks included in the external environment and the plurality of risk recognition units in parallel. When each risk recognition result is subjected to fusion processing, and risk information recognized based on the result of the fusion processing is output, the risk information is a voice output and an image obtained by integrating risk information from each risk recognition unit. A risk fusion unit that presents at least the voice output, and the risk fusion unit presents the risk information to the driver using a probabilistic state transition model that represents a time-series change in the state as a state transition. The state to be recognized is recognized as the existence probability of the current state, and at that time, the output value of the state of the probabilistic state transition model, the recognition results of the plurality of risk recognition units, the self-organization map With a converted value obtained by discretizing have, when distance calculation of the self-organizing map, a difference between the input data and the unit of each dimension in the case of more than the threshold value, characterized in that the same input value.
In the fourth risk fusion recognition system according to the present invention, the external environment of the mobile object is detected, and a plurality of risk recognition units that recognize risks included in the external environment and the plurality of risk recognition units are operated in parallel. When each risk recognition result is subjected to fusion processing, and risk information recognized based on the result of the fusion processing is output, the risk information is a voice output and an image obtained by integrating risk information from each risk recognition unit. A risk fusion unit that presents at least the voice output, and the risk fusion unit presents the risk information to the driver using a probabilistic state transition model that expresses a time-series change in state by state transition. The state to be recognized is recognized as the existence probability of the current state, and at that time, the output value of the state of the probabilistic state transition model, the recognition results of the plurality of risk recognition units, the self-organization map With a converted value obtained by discretizing have, when distance calculation of the self-organizing map, characterized by using a weight according to the difference between the units in each dimension of the input.
The fifth risk fusion recognition system according to the present invention detects the external environment of a mobile object, and operates a plurality of risk recognition units that recognize risks included in the external environment and the plurality of risk recognition units in parallel. When each risk recognition result is subjected to fusion processing, and risk information recognized based on the result of the fusion processing is output, the risk information is a voice output and an image obtained by integrating risk information from each risk recognition unit. A risk fusion unit that presents at least the voice output, and the risk fusion unit presents the risk information to the driver using a probabilistic state transition model that represents a time-series change in the state as a state transition. The state to be recognized is recognized as the existence probability of the current state, and at that time, the output value of the state of the probabilistic state transition model, the recognition results of the plurality of risk recognition units, the self-organization map With a converted value obtained by discretizing have a winner unit of the self-organizing map determined using historical information calculation time, it is characterized in that a temporally stable output.
A sixth risk fusion recognition system according to the present invention detects the external environment of a moving body, and operates a plurality of risk recognition units that recognize risks included in the external environment and the plurality of risk recognition units in parallel. When each risk recognition result is subjected to fusion processing, and risk information recognized based on the result of the fusion processing is output, the risk information is a voice output and an image obtained by integrating risk information from each risk recognition unit. A risk fusion unit that presents at least the voice output, and the risk fusion unit presents the risk information to the driver using a probabilistic state transition model that represents a time-series change in the state as a state transition. The state to be recognized is recognized as the existence probability of the current state, and at that time, the output value of the state of the probabilistic state transition model, the recognition results of the plurality of risk recognition units, the self-organization map With a converted value obtained by discretizing had, the output of the self-organizing map, characterized by a probability distribution based on the distance between the units instead of the winner unit.
The seventh risk fusion recognition system according to the present invention detects the external environment of a moving body, and operates a plurality of risk recognition units that recognize risks included in the external environment and the plurality of risk recognition units in parallel. When each risk recognition result is subjected to fusion processing, and risk information recognized based on the result of the fusion processing is output, the risk information is a voice output and an image obtained by integrating risk information from each risk recognition unit. A risk fusion unit that presents at least the voice output, and the risk fusion unit presents the risk information to the driver using a probabilistic state transition model that represents a time-series change in the state as a state transition. The state to be recognized is recognized as the existence probability of the current state, and at that time, the output value of the state of the probabilistic state transition model, the recognition results of the plurality of risk recognition units, the self-organization map With the converted value discretized have, when performing supervised learning of the self-organizing map, and changes the learning coefficient according to the degree of importance of the appearance probability or the state of each teacher state.
本発明によるリスク融合認識システムは、並列に動作する複数のリスク要素認識からの情報を総合的に判断して実際の運転環境に適応した認識を可能とし、個々のドライバに最適な安全運転環境を実現することができる。 The risk fusion recognition system according to the present invention enables recognition adapted to the actual driving environment by comprehensively judging information from a plurality of risk element recognitions operating in parallel, and provides an optimum safe driving environment for each driver. Can be realized.
以下、図面を参照して本発明の実施の形態を説明する。図１〜図１６は本発明の実施の一形態に係り、図１はリスク融合認識システムの基本構成図、図２はシーンリスク認識部の構成を示すブロック図、図３は抽出リスク認識部の構成を示すブロック図、図４は隠れマルコフモデルによる状態遷移の説明図、図５は入力データの決定方法を示す説明図、図６は閾値を用いたＳＯＭの距離変換を示す説明図、図７はシーンリスク情報の説明図、図８は抽出リスク情報の説明図、図９は状態の設定を示す説明図、図１０は音声提示の設定を示す説明図、図１１は状態遷移確率の例を示すグラフ、図１２は状態０−４の出力確率分布を示すグラフ、図１３は状態５−９の出力確率分布を示すグラフ、図１４は状態１０−１４の出力確率分布を示すグラフ、図１５は状態１５−２１の出力確率分布を示すグラフ、図１６は出力画像の例を示す説明図である。 Embodiments of the present invention will be described below with reference to the drawings. 1 to 16 relate to an embodiment of the present invention, FIG. 1 is a basic configuration diagram of a risk fusion recognition system, FIG. 2 is a block diagram showing a configuration of a scene risk recognition unit, and FIG. FIG. 4 is an explanatory diagram showing state transition by a hidden Markov model, FIG. 5 is an explanatory diagram showing a method for determining input data, FIG. 6 is an explanatory diagram showing SOM distance conversion using a threshold, and FIG. Is an explanatory diagram of scene risk information, FIG. 8 is an explanatory diagram of extracted risk information, FIG. 9 is an explanatory diagram showing setting of a state, FIG. 10 is an explanatory diagram showing setting of voice presentation, and FIG. 11 is an example of state transition probability 12 is a graph showing the output probability distribution of state 0-4, FIG. 13 is a graph showing the output probability distribution of state 5-9, FIG. 14 is a graph showing the output probability distribution of state 10-14, FIG. Indicates the output probability distribution of states 15-21 Off, FIG. 16 is an explanatory view showing an example of an output image.
本発明によるリスク融合認識システムは、例えば自動車等の移動体に搭載され、走行中の危険に関する要素を外界環境から認識する複数のリスク認識部（リスク要素認識部）の認識結果を融合して総合的にリスクを判断するシステムであり、単一のコンピュータシステム或いはネットワーク等を介して接続された複数のコンピュータシステムで構成される。本実施の形態においては、リスク融合認識システム１を自動車に適用し、ドライバへの警告や情報伝達を行う例について説明する。 The risk fusion recognition system according to the present invention is mounted on a moving body such as an automobile, for example, and integrates the recognition results of a plurality of risk recognition units (risk element recognition units) for recognizing elements related to running hazards from the external environment. It is a system for judging risks in general, and is composed of a single computer system or a plurality of computer systems connected via a network or the like. In the present embodiment, an example will be described in which the risk fusion recognition system 1 is applied to an automobile and a warning or information transmission to a driver is performed.
図１に示すように、本実施の形態のリスク融合認識システム１は、個々のリスク要素認識部として、車載カメラによって外界を撮像した画像情報から画像全体のリスク分布を認識するシーンリスク認識部２と、画像中のリスク対象を認識する抽出リスク認識部３とを備え、更に、シーンリスク認識部２及び抽出リスク認識部３の各認識結果を融合処理するリスク融合部４を備えている。シーンリスク認識部２と抽出リスク認識部３とは、互いに独立して動作する。 As shown in FIG. 1, the risk fusion recognition system 1 according to the present embodiment includes a scene risk recognition unit 2 that recognizes the risk distribution of the entire image from image information obtained by imaging the outside world with an in-vehicle camera as individual risk element recognition units. And an extraction risk recognition unit 3 for recognizing a risk target in the image, and further includes a risk fusion unit 4 for performing a fusion process on the recognition results of the scene risk recognition unit 2 and the extraction risk recognition unit 3. The scene risk recognition unit 2 and the extraction risk recognition unit 3 operate independently of each other.
また、リスク融合部４は、シーンリスク認識部２及び抽出リスク認識部３のそれぞれの処理結果をベクトル化する処理結果ベクトル生成部４１と、処理結果ベクトル生成部４１で生成されたベクトルデータを入力データとして総合的なリスクを認識する融合リスク認識部４２とを備えている。融合リスク認識部４２の出力は、音声装置５や画像表示装置６へ出力され、ドライバへの警告や情報伝達が行われる。 In addition, the risk fusion unit 4 inputs the processing result vector generation unit 41 that vectorizes the processing results of the scene risk recognition unit 2 and the extraction risk recognition unit 3 and the vector data generated by the processing result vector generation unit 41. A fusion risk recognition unit 42 that recognizes a comprehensive risk as data is provided. The output of the fusion risk recognition unit 42 is output to the sound device 5 and the image display device 6, and a warning and information transmission to the driver are performed.
尚、本リスク融合認識システム１は、図１中に破線で示すように、融合処理の対象として、白線検出、道路標識認識、ドライバ状態等を認識する認識部を加えることも可能であり、高い拡張性を有している。 The risk fusion recognition system 1 can also add a recognition unit for recognizing white line detection, road sign recognition, driver status, etc. as a target of fusion processing, as indicated by a broken line in FIG. Has extensibility.
シーンリスク認識部２は、画像から得られた情報から直接リスクとの関連付けを行うことでリスクを認識すると共に、その関連付けを実際の走行で遭遇した環境から学習し、適応的にリスク認識を行うものであり、ドライバを認識器の学習においての教師とし、ドライバの運転操作からリスク情報を抽出し、その運転操作に基づくリスク情報と、カメラから得られる画像情報との関連を学習する。リスク情報の抽出に際しては、リスクを確率的に取り扱い、似たような状況でもリスクが異なる場合や、得られている画像情報だけでは判断が出来ないリスクも取り扱うことを可能としている。 The scene risk recognition unit 2 recognizes the risk by directly associating the risk with the information obtained from the image, learns the association from the environment encountered in the actual driving, and adaptively recognizes the risk. Therefore, the driver is a teacher in learning of the recognizer, risk information is extracted from the driving operation of the driver, and the relationship between the risk information based on the driving operation and the image information obtained from the camera is learned. When extracting risk information, it is possible to handle risks stochastically and handle risks that are different even in similar situations, or risks that cannot be determined only by the obtained image information.
また、抽出リスク認識部３は、入力画像データを並列に処理する複数の認識器を有し、これらの複数の認識器の出力結果を統合するものであり、統合結果を教師データを用いて評価し、複数の認識器を適応的に学習更新する。抽出リスク認識部３では、処理時間やメモリ空間等の関係から認識器に制限がある状況においても、天候等の環境変化、歩行者、車、路上の構造物等、多様な環境、対象に合わせて適応的に学習することができ、高精度且つロバストな認識を可能としている。 The extraction risk recognition unit 3 has a plurality of recognizers that process input image data in parallel, and integrates the output results of the plurality of recognizers, and evaluates the integration results using teacher data. And adaptively learning and updating a plurality of recognizers. The extraction risk recognition unit 3 is suitable for various environments and targets such as environmental changes such as weather, pedestrians, cars, and structures on the road, even in situations where the recognizer is limited due to processing time, memory space, etc. Learning adaptively, enabling high-accuracy and robust recognition.
このような個々のリスク要素認識部（シーンリスク認識部２，抽出リスク認識部３）は、本出願人の提案による特願２００７−０７７６２５号，特願２００７−０３８４４０号に詳述されている認識システムを適用することができる。以下では、シーンリスク認識部２及び抽出リスク認識部３の概要について説明する。 Such individual risk element recognition units (scene risk recognition unit 2, extraction risk recognition unit 3) are recognized in detail in Japanese Patent Application Nos. 2007-077625 and 2007-038440 proposed by the present applicant. The system can be applied. Below, the outline | summary of the scene risk recognition part 2 and the extraction risk recognition part 3 is demonstrated.
図２に示すように、シーンリスク認識部２は、主要構成として、リスク情報抽出部２１、特徴量抽出部２２、状態認識部２３、リスク認識部２４、リスク情報出力部２５を備えており、最終的に、画像から認識した状態がリスクをどの程度の確率で持つかということを表したリスク確率を出力する。各部の機能は、以下の通りである。 As shown in FIG. 2, the scene risk recognition unit 2 includes a risk information extraction unit 21, a feature amount extraction unit 22, a state recognition unit 23, a risk recognition unit 24, and a risk information output unit 25 as main components. Eventually, a risk probability representing how much risk the state recognized from the image has is output. The function of each part is as follows.
リスク情報抽出部２１は、所定の周期（例えば、３０Ｈｚ）でサンプリングした車両情報（ドライバの操作情報）、例えば、車速、ハンドル角、アクセル開度、ブレーキ圧力等から所定のルール等を用いてリスク情報を抽出し、教師情報（リスクの大きさや種類）を作成する。 The risk information extracting unit 21 uses a predetermined rule or the like based on vehicle information (driver operation information) sampled at a predetermined cycle (for example, 30 Hz), for example, vehicle speed, steering wheel angle, accelerator opening, brake pressure, and the like. Extract information and create teacher information (risk size and type).
特徴量抽出部２２は、カメラの撮像画像を処理して得られる所定の階調のデジタル画像から、エッジ情報、動き情報、色情報等の特徴量を抽出し、それらの情報をＮ次元ベクトルとして保持する。尚、このＮ次元ベクトルには、画像特徴量以外の車両情報、例えば車速やヨー角の変化といった情報も含めることができる。 The feature amount extraction unit 22 extracts feature amounts such as edge information, motion information, and color information from a digital image having a predetermined gradation obtained by processing a captured image of the camera, and uses the information as an N-dimensional vector. Hold. The N-dimensional vector can include vehicle information other than the image feature amount, for example, information such as a change in vehicle speed and yaw angle.
状態認識部２３は、得られたＮ次元の特徴量ベクトルを１次元の状態という量に変換する。ここでの状態とは、入力された画像を走行している場所や、天候、走行状態などによりシーン分けしているイメージであり、実際には、オンライン学習時、今はどのシーンであるかを明示的に教師することはできないため、入力データ及び教師データを用いて実環境に学習的に適応させる。この状態認識部２３での学習は、プロトタイプ型の識別処理で識別した各状態（状態番号）を、自己組織化マップ（SOM;Self-Organization Maps）を用いて学習的に更新する処理である。 The state recognition unit 23 converts the obtained N-dimensional feature quantity vector into an amount called a one-dimensional state. The state here is an image that is divided into scenes according to the location where the input image is running, the weather, the running state, etc. Actually, it is what scene is currently in online learning Since the teacher cannot be explicitly taught, the learning is adapted to the real environment using the input data and the teacher data. The learning in the state recognition unit 23 is a process of learning-wise updating each state (state number) identified by the prototype type identification process using a self-organizing map (SOM).
リスク認識部２４は、状態認識部２３で得られた状態と、リスク情報抽出部２１で作成された教師との相関関係を求めて状態のリスクを学習・認識し、認識したリスクを、リスク情報出力部２５からリスク融合部４に出力する。リスクの認識は、認識した状態のリスク確率で出力する。これは、その状態が、リスクをどの程度の確率で持つかということを表したものであり、時刻ｔでの入力データがドライバ情報から得られたリスクレベルＲという教師情報を持つ場合、認識された状態が持つリスク確率において、リスクレベルＲの確率が大きければ教師情報による学習を強くし、リスクレベルＲの確率が小さければ教師情報による学習を弱くする。 The risk recognizing unit 24 learns and recognizes the risk of the state by obtaining a correlation between the state obtained by the state recognizing unit 23 and the teacher created by the risk information extracting unit 21, and uses the recognized risk as the risk information. Output from the output unit 25 to the risk fusion unit 4. Risk recognition is output with the risk probability of the recognized state. This represents the probability that the state has a risk, and is recognized when the input data at time t has teacher information of risk level R obtained from the driver information. In the risk probability of the state, if the probability of the risk level R is large, the learning by the teacher information is strengthened, and if the probability of the risk level R is small, the learning by the teacher information is weakened.
一方、抽出リスク認識部３は、主要構成として、図３に示すように、複数の認識器３１，…を有する認識処理部３２、各認識器３１，…の出力を統合する統合部３３、処理の目標となる教師データを用いて認識器を学習的に更新する学習部３４を備え、最終的に、画像中のリスクに応じた複数の認識領域を出力する。各部の機能は、以下の通りである。 On the other hand, as shown in FIG. 3, the extracted risk recognition unit 3 includes a recognition processing unit 32 having a plurality of recognition devices 31,..., An integration unit 33 that integrates outputs of the recognition devices 31,. The learning unit 34 learning-updates the recognizer using the target teacher data, and finally outputs a plurality of recognition regions corresponding to the risk in the image. The function of each part is as follows.
認識処理部３２は、入力画像を複数の認識器３１，…で並列に処理し、対象を抽出した処理画像を出力する。認識器３１としては、複数の画像フィルタを木構造状に組み合わせた木構造状画像フィルタ、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることが可能であり、オンラインで送られてくる入力画像がこれらの複数の認識器で並列に処理されると、その並列出力が統合部３３で統合され、リスク認識の対象となる複数の領域が認識される。 The recognition processing unit 32 processes the input image in parallel by the plurality of recognizers 31,..., And outputs a processed image from which the target has been extracted. As the recognizer 31, a tree-structured image filter in which a plurality of image filters are combined in a tree structure, a neural network, a support vector machine, a recognizer using fuzzy, a recognizer that performs stereo image matching processing, a scan by a laser radar It is possible to use a recognizer or the like that processes images, and when input images sent online are processed in parallel by these multiple recognizers, the parallel outputs are integrated by the integration unit 33, and the risk A plurality of areas to be recognized are recognized.
学習部３４は、オンラインで常に送られている入力画像の中から対象を認識する認識処理部３２及び統合部３３の処理とは別に、教師データの入力をトリガとして、現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。このため、学習部３４は、過去に作成された認識器及び新たに作成する認識器を保存する認識器データベースＤＢ１と、過去に入力された教師データ及び新たに入力される教師データを保存する教師データベースＤＢ２とを備え、内部構成として、個々の認識器を評価する認識器評価部３４ａ、全ての認識器（現在使用している認識器及びストックしている認識器）の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部３４ｂ、教師データを元に新たに認識器を作成する逐次学習部３４ｃを備えている。 The learning unit 34 uses the recognizer currently used as a trigger by using input of teacher data as a trigger, separately from the processing of the recognition processing unit 32 and the integration unit 33 for recognizing a target from input images that are always sent online. The process to update adaptively according to the environment is executed in the background. For this reason, the learning unit 34 includes a recognizer database DB1 that stores a recognizer created in the past and a newly created recognizer, and a teacher that stores teacher data input in the past and teacher data newly input. And a database DB2, and as an internal configuration, an optimum combination among a recognizer evaluation unit 34a that evaluates each recognizer and all recognizers (currently used recognizers and stock recognizers). A replacement selection unit 34b that replaces the currently used recognizer combination with an optimal combination and a sequential learning unit 34c that newly creates a recognizer based on the teacher data are provided.
概略的には、入力データから教師データが作成されると、この教師データが教師データベースＤＢ２にストックされ、また、この教師データを用いて、現在用いている認識器、認識器データベースＤＢ１にストックされている認識が、認識器評価部３４ａで個別に評価される。 In general, when teacher data is created from input data, the teacher data is stocked in the teacher database DB2, and is also stocked in the currently used recognizer and recognizer database DB1 using the teacher data. Are recognized individually by the recognizer evaluation unit 34a.
個々の認識器の評価結果は、入替選択部３４ｂで参照され、最適な認識器の組み合わせが決定される。最適な認識器の組み合わせは、認識処理部３２を形成する現在の認識器、すなわち現在使用している複数の認識器の統合結果よりも良好な評価を得られることが前提であり、絶対的な条件として、現在の認識器の組み合わせよりも評価が悪くならないことが必要である。 The evaluation results of the individual recognizers are referred to by the replacement selection unit 34b, and the optimum combination of the recognizers is determined. The optimum recognizer combination is based on the premise that a better evaluation can be obtained than the integrated result of the current recognizer forming the recognition processing unit 32, that is, a plurality of recognizers currently used. As a condition, it is necessary that the evaluation is not worse than the current combination of recognizers.
使うべき候補の認識器がない場合には、逐次学習部３４ｃにおいて、所定の最適化手法、例えば遺伝的プログラミング（GP;Genetic Programming）等を用いた学習により、新たな認識器が作成される（逐次学習）。そして、逐次学習で順次追加された認識器を含めた組み合わせが反復評価され、最終的に決定された最適な認識器の組み合わせにより、現在の認識処理部３２の複数の認識器が部分的或いは全面的に入れ替えられる。 When there is no candidate recognizer to be used, a new recognizer is created by learning using a predetermined optimization method such as genetic programming (GP) in the sequential learning unit 34c ( Sequential learning). Then, the combination including the recognizers sequentially added by the sequential learning is repeatedly evaluated, and the plurality of recognizers of the current recognition processing unit 32 are partially or entirely determined by the optimum combination of the recognizers finally determined. Are replaced.
以上のシーンリスク認識部２からの認識情報（シーンリスク情報）及び抽出リスク認識部３の認識情報（抽出リスク情報）は、リスク融合部４で融合処理され、音声装置５や画像表示装置６へ出力されてドライバへの警報やリスク情報の提示が行われる。尚、リスク融合部４からの出力は、音声装置５を介した音声出力を主とするが、同時に、シーンリスク処理・抽出リスク処理で得られた結果表示画像を統合した結果画像が生成され、画像表示装置６へ出力される。 The recognition information (scene risk information) from the scene risk recognition unit 2 and the recognition information (extraction risk information) from the extraction risk recognition unit 3 are merged by the risk fusion unit 4 and sent to the audio device 5 and the image display device 6. The alarm is output to the driver and risk information is presented. The output from the risk fusion unit 4 is mainly audio output via the audio device 5, but at the same time, a result image is generated by integrating the result display images obtained by the scene risk processing / extraction risk processing, It is output to the image display device 6.
リスク融合部４では、先ず処理結果ベクトル生成部４１において、シーンリスク認識部２及び抽出リスク認識部３の認識結果を処理し、融合リスク認識部４２へ出力するベクトルデータを生成する。後述するように、融合リスク認識部４２は、時系列データの認識等で用いられる隠れマルコフモデル（HMM;Hidden Markov Model）を用いて認識処理を行っている。ＨＭＭは、図４に示すように、確率的な状態遷移を表現するモデルであり、番号を付与した円記号が対象の状態（ステート）を表現し、このステートが確率的な条件分岐によって遷移すること、遷移したステートによって異なる確率で外部に信号（確率的操作出力）が出力されることを想定している。 In the risk fusion unit 4, first, the processing result vector generation unit 41 processes the recognition results of the scene risk recognition unit 2 and the extracted risk recognition unit 3 to generate vector data to be output to the fusion risk recognition unit 42. As will be described later, the fusion risk recognition unit 42 performs recognition processing using a hidden Markov model (HMM) used for time series data recognition and the like. As shown in FIG. 4, the HMM is a model that expresses a probabilistic state transition. A numbered circle symbol expresses a target state (state), and this state transits by a probabilistic conditional branch. In addition, it is assumed that a signal (probabilistic operation output) is output to the outside with different probabilities depending on the transitioned state.
尚、図４においては、状態を５段階として各ステートに１〜５の番号を付与した場合を例示しているが、後述するように、本システムで実際に扱う状態は、０，１，…，２１の２２段階である。 4 exemplifies a case where each state is assigned a number of 1 to 5 with five states. However, as will be described later, the states actually handled in this system are 0, 1,... , 21 in 22 steps.
本システムにおいては、状態、及び状態からの出力を以下のように設定し、ドライバに提示すべき状態を現在の状態の存在確率として、状態の時系列な変化を状態遷移で表現する。
各状態 ：ドライバに或る提示をすべき状態
出力値（観測値）：その状態のとき、各リスク要素認識部が出力するリスク情報
In this system, the state and the output from the state are set as follows, the state to be presented to the driver is set as the existence probability of the current state, and time-series changes of the state are expressed by state transitions.
Each state: A state to be presented to the driver Output value (observed value): Risk information output by each risk element recognition unit in that state
すなわち、ドライバに提示すべき状態がＨＭＭのステートに相当し、そのときに観測されるデータが外部に出力される信号に相当する。つまり、観測される出力値から現在の状態を推定することで認識が行われ、現在、或るシーンリスク情報、或る抽出リスク情報が出ているということは、ドライバに提示すべき状態は、そのときのリスクに対応した或る状態であろうと推定する。 That is, the state to be presented to the driver corresponds to the HMM state, and the data observed at that time corresponds to a signal output to the outside. That is, recognition is performed by estimating the current state from the observed output value, and now that certain scene risk information and certain extracted risk information are output, the state to be presented to the driver is It is estimated that there is a certain state corresponding to the risk at that time.
このとき、推定時に観測されるデータがどのステートから出力されたのかを推定するためには、状態の遷移確率と、各状態の出力確率との２つの確率計算を行う必要があり、これらがＨＭＭのモデルパラメータとなる。これらのパラメータは、学習により得られるか若しくは明示的に与えられる。学習に関しては後述する。 At this time, in order to estimate from which state the data observed at the time of estimation is output, it is necessary to perform two probability calculations of the state transition probability and the output probability of each state. Model parameters. These parameters can be obtained by learning or given explicitly. Learning will be described later.
このように、並列に動作する個々のリスク要素認識部からの情報を確率的モデルを用いて総合的に判断し、ドライバに警告や情報伝達を行うことで、実際の運転環境に適応した認識が可能となり、車両の開発・販売時には想定することのできない個々のドライバに最適な安全運転環境を実現することが可能となる。 In this way, information from individual risk element recognition units operating in parallel is comprehensively determined using a probabilistic model, and warnings and information are communicated to the driver, so that recognition adapted to the actual driving environment can be achieved. It becomes possible, and it becomes possible to realize an optimum safe driving environment for each driver that cannot be assumed at the time of vehicle development and sales.
尚、以上のことから、処理結果ベクトル生成部４１で処理されて融合リスク認識部４２へ出力されるベクトルデータは、ＨＭＭにとってのモデル出力値であり、以下では、処理結果ベクトル生成部４１から融合リスク認識部４２へ送られるベクトルデータを、適宜、「処理結果ベクトル」と記載する。 From the above, the vector data processed by the processing result vector generation unit 41 and output to the fusion risk recognition unit 42 is a model output value for the HMM. The vector data sent to the risk recognition unit 42 is appropriately described as “processing result vector”.
次に、処理結果ベクトル生成部４１の動作について詳細に説明する。処理結果ベクトル生成部４１は、先ず、シーンリスク認識部２及び抽出リスク認識部３から入力されるリスク要素認識結果を所定のタイミングでサンプリングする。この場合、シーンリスク認識部２及び抽出リスク認識部３は、リスク融合部４とは独立で動作しており、その認識周期も各データ毎に異なるものとなっている。一方、処理結果ベクトル生成部４１からのデータを処理する融合リスク認識部４２は、それまでに入力された最新値を用いて融合処理を行う。 Next, the operation of the processing result vector generation unit 41 will be described in detail. The processing result vector generation unit 41 first samples the risk element recognition results input from the scene risk recognition unit 2 and the extracted risk recognition unit 3 at a predetermined timing. In this case, the scene risk recognizing unit 2 and the extracted risk recognizing unit 3 operate independently of the risk fusion unit 4, and the recognition cycle is different for each data. On the other hand, the fusion risk recognition unit 42 that processes the data from the processing result vector generation unit 41 performs the fusion process using the latest values input so far.
このため、入力データ値（処理結果ベクトル）を決定する際には、以下の（１−１），（１−２）に示すような状況が想定される。
（１−１）リスク融合認識処理よりもリスク要素認識処理の処理周期が長い場合
（１−２）リスク融合認識処理よりもリスク要素認識処理の処理周期が短い場合
For this reason, when determining an input data value (processing result vector), the following situations (1-1) and (1-2) are assumed.
(1-1) When the process cycle of the risk element recognition process is longer than the risk fusion recognition process (1-2) When the process period of the risk element recognition process is shorter than the risk fusion recognition process
従って、処理結果ベクトル生成部４１は、以下の（２−１）〜（２−３）に示す方法をシステム環境を考慮する等して適宜選択或いは組み合わせ、シーンリスク認識部２及び抽出リスク認識部３からのデータをサンプリングする。
（２−１）最新値を取り込む。
（２−２）前の周期の処理後に入力された複数データの最大値を取り込む。
（２−３）前の周期の処理後に入力された複数データの平均値を取り込む。
Therefore, the processing result vector generation unit 41 appropriately selects or combines the methods shown in the following (2-1) to (2-3) in consideration of the system environment, etc., and the scene risk recognition unit 2 and the extraction risk recognition unit Sample data from 3.
(2-1) Fetch the latest value.
(2-2) The maximum value of a plurality of data input after the processing of the previous cycle is fetched.
(2-3) The average value of a plurality of data input after the processing of the previous cycle is fetched.
例えば、図５に示すように、融合認識の１周期のうちにリスク要素認識結果が４回入力された場合について説明すると、（２−１）の方法では入力データはＤ、（２−２）の方法ではＣ、（２−３）の方法ではＡ，Ｂ，Ｃ，Ｄの値の平均値となる。 For example, as shown in FIG. 5, a case where the risk element recognition result is input four times during one cycle of the fusion recognition will be described. In the method (2-1), the input data is D, (2-2) In the method (2), the average value of C, and in the method (2-3), the average value of A, B, C and D is obtained.
最新値を用いる（２−１）の方法では、処理時間遅れを最小にすることができる。最大値を用いる（２−２）の方法では、例えば危険度が高いか低いかという指標を表す場合には、一番高い値を取ることで、誤って低い危険度と認識することを防止することができる。また、平均値を用いる（２−３）の方法では、ノイズに影響を受け難くすることができる。 In the method (2-1) using the latest value, the processing time delay can be minimized. In the method of (2-2) using the maximum value, for example, when an index indicating whether the degree of risk is high or low is represented, by taking the highest value, it is prevented that the risk level is mistakenly recognized as low level. be able to. Further, in the method (2-3) using the average value, it is difficult to be affected by noise.
更に、処理結果ベクトル生成部４１は、入力データ（リスク要素認識結果）を離散化及び次元圧縮する。すなわち、融合リスク認識部４２では、ＨＭＭのパラメータを離散値として扱っているため、融合リスク認識部４２へ送るベクトルデータは離散化する必要がある。 Further, the processing result vector generation unit 41 discretizes and dimensionally compresses the input data (risk element recognition result). That is, since the fusion risk recognition unit 42 treats the HMM parameters as discrete values, the vector data to be sent to the fusion risk recognition unit 42 needs to be discretized.
また、本実施の形態では、融合リスク認識部４２への入力ベクトル（処理結果ベクトル）は３９次元であり、各次元毎に離散化を行うと膨大なメモリが必要となり、現実的ではない。従って、入力データ（リスク要素認識結果）に対して次元圧縮を含めた離散化を行い、連続値を離散値として扱う。この離散化及び次元圧縮は、本実施の形態においては、自己組織化マップ（SOM;Self-Organization Maps）を用いて行う。 Moreover, in this Embodiment, the input vector (processing result vector) to the fusion risk recognition part 42 is 39 dimensions, and if it discretizes for each dimension, a huge memory will be needed and it is not realistic. Therefore, the input data (risk element recognition result) is discretized including dimensional compression, and the continuous value is treated as a discrete value. In this embodiment, the discretization and dimensional compression are performed using a self-organizing map (SOM).
ＳＯＭは、生物の大脳皮質のうち視覚野等をモデル化したニューラルネットワークの一種であり、Ｍ次元に並べられたユニットが、それぞれベクトル値（通常入力との結線の重みと呼ばれる）を持ち、入力に対して勝者ユニットをベクトルの距離を基準として決定する。そして、勝者ユニット及びその周辺のユニットの参照ベクトル値を、入力ベクトルに近づくように更新してゆく。これを繰り返すことで、全体が入力データの分布を最適に表現できるように学習し、この学習に基づいて入力データの次元を圧縮すると共に、データの特徴に応じて離散化を行うことができる。 SOM is a type of neural network that models the visual cortex of the cerebral cortex of living organisms. Each unit arranged in M dimensions has a vector value (usually called the weight of the connection with the input). The winner unit is determined based on the vector distance. Then, the reference vector values of the winner unit and the surrounding units are updated so as to approach the input vector. By repeating this, learning is performed so that the entire distribution of the input data can be expressed optimally, and the dimensions of the input data can be compressed based on the learning, and discretization can be performed according to the characteristics of the data.
尚、本実施の形態では、ＳＯＭを用いた教師無し競合学習によりデータの離散化及び次元圧縮を行う例について説明するが、教師有り競合学習であるベクトル量子化（LVQ;Learning Vector Quantization）モデルを用いることも可能である。 In this embodiment, an example in which data discretization and dimension compression are performed by unsupervised competitive learning using SOM will be described. However, a vector quantization (LVQ; Learning Vector Quantization) model that is supervised competitive learning is described. It is also possible to use it.
以下、処理結果ベクトル生成部４１におけるＳＯＭの距離計算、ＳＯＭの勝者決定、ＳＯＭの学習について説明する。 Hereinafter, SOM distance calculation, SOM winner determination, and SOM learning in the processing result vector generation unit 41 will be described.
［ＳＯＭの距離計算］
本実施の形態においては、１次元２５６段階のＳＯＭを用いており、各ユニットの番号をｕ、各ユニットの代表値をｐｒｏｔu(i)とすると、代表値ｐｒｏｔu(i)は、Ｎ次元のベクトルであり、ｉ＝０，１，…，Ｎ−１となる。更に、入力ベクトルをＩｎ(i)とすると、入力ベクトルとＳＯＭユニットとの距離Ｌ(u)は、以下の（１）式によって求められ、（２）式に示すように、この距離Ｌ(u)が最も短いユニットが勝者ユニット（ユニット番号Ｋ）として選択され、認識結果となる。
Ｌ(u)＝(Σi(ｐｒｏｔu(i)−Ｉｎ(i))2)1/2 …（１）
Ｋ＝ａｒｇｍｉｎu(Ｌ(u)） …（２）
[SOM distance calculation]
In the present embodiment, a one-dimensional 256-level SOM is used. If the number of each unit is u and the representative value of each unit is prot u (i), the representative value prot u (i) is N-dimensional. , I = 0, 1,..., N−1. Further, when the input vector is In (i), the distance L (u) between the input vector and the SOM unit is obtained by the following expression (1), and as shown in the expression (2), this distance L (u ) Is selected as the winner unit (unit number K) and becomes the recognition result.
L (u) = (Σ i (prot u (i) −In (i)) 2 ) 1/2 (1)
K = argmin u (L (u)) (2)
（１）式による距離計算では、入力ベクトルの各次元（本実施の形態においては３９次元）は均等に扱っているが、通常、それぞれの次元の認識における重要度は異なる。また、入力次元間に分布の偏りがある場合には、重要でない特徴がノイズとなって現れる。 In the distance calculation by equation (1), each dimension (39 dimensions in the present embodiment) of the input vector is treated equally, but usually the importance in recognition of each dimension is different. In addition, when there is a distribution bias between input dimensions, an unimportant feature appears as noise.
従って、本システムにおいては、（１）式による距離計算に代えて、以下の（３）式に示すような入力の各次元毎に重みを付加した距離計算、或いは、以下の（４）式に示すように、変量間の相関に基づくマハラノビス距離（Mahalanobis distance）を用いた距離計算を行う。
Ｌ(u)＝(ΣiＷ(i)・(ｐｒｏｔu(i)−Ｉｎ(i))2)1/2 …（３）
但し、Ｗ(i)：次元ｉの重み
Ｌ(u)＝(Σi(ｐｒｏｔu(i)−Ｉｎ(i))Σ-1(ｐｒｏｔu(i)−Ｉｎ(i)))1/2 …（４）
但し、Σ-1：入力ベクトルＩｎ(i)の共分散行列の逆行列
Therefore, in this system, instead of the distance calculation according to the equation (1), the distance calculation with the weight added for each dimension as shown in the following equation (3), or the following equation (4) As shown, distance calculation using the Mahalanobis distance based on the correlation between variables is performed.
L (u) = (Σ i W (i) · (prot u (i) −In (i)) 2 ) 1/2 (3)
Where W (i): weight of dimension i L (u) = (Σ i (pro u (i) −In (i)) Σ −1 (pro u (i) −In (i))) 1/2 ... (4)
Where Σ −1 is the inverse of the covariance matrix of the input vector In (i)
マハラノビス距離を用いた距離計算では、入力ベクトルの次元間の相関を考慮した距離計算として、入力次元間の分布の偏りの影響を排除することが可能であり、これにより、重要でない特徴によるノイズへの耐性を向上することができる（但し、重み付けとの同時使用は不可）。 In the distance calculation using the Mahalanobis distance, it is possible to eliminate the influence of the distribution bias between the input dimensions as a distance calculation considering the correlation between the dimensions of the input vector. (However, simultaneous use with weighting is not possible).
また、以上の距離計算においては、図６に示すように、入力データの各次元で閾値ｔｈ以上は距離は一定であるという変換を前処理として入れることで、「似ている部分」での一致度を重視した認識が可能になる。つまり、本来選択されるべきユニットが、或る次元での誤認識への影響で距離が大きくなってしまい、勝者とならないという問題を回避できる。この閾値ｔｈによる変換を、以下の（５）式に示す。
Ｌ(u)＝（ΣiＦ(i)2)1/2 …（５）
但し、│ｐｒｏｔu(i)−Ｉｎ(i)│＜ｔｈのとき、Ｆ(i)＝ｐｒｏｔu(i)−Ｉｎ(i)
│ｐｒｏｔu(i)−Ｉｎ(i)│≧ｔｈのとき、Ｆ(i)＝ｔｈ
In addition, in the above distance calculation, as shown in FIG. 6, by matching the “similar part” with the conversion that the distance is constant beyond the threshold th in each dimension of the input data as preprocessing. Recognition that emphasizes the degree becomes possible. In other words, it is possible to avoid the problem that the unit that should be selected does not become a winner because the distance is increased due to the influence of misrecognition in a certain dimension. The conversion by this threshold th is shown in the following equation (5).
L (u) = (Σ i F (i) 2 ) 1/2 (5)
However, when the │prot u (i) -In (i ) │ <th, F (i) = prot u (i) -In (i)
│prot u (i) -In (i) │ ≧ th, F (i) = th
また、それとは別に、入力データは、多くがリスクデータであることから、値１は値０よりも重要であることが多い。そのため、この性質を利用して、以下の（６）式により距離を求めるようにしても良い。
Ｌ(s)＝（ΣiＦ(i)2)1/2 …（６）
但し、Ｆ(i)＝α1(ｐｒｏｔu(i)−Ｉｎ(i))
Apart from that, since most of the input data is risk data, the value 1 is often more important than the value 0. Therefore, using this property, the distance may be obtained by the following equation (6).
L (s) = (Σ i F (i) 2 ) 1/2 (6)
However, F (i) = α1 (pro u (i) −In (i))
（６）式のＦ(i)におけるα1は、入力とユニットとの差の正負に応じた重みを示しており、ｐｒｏｔu(i)＜Ｉｎ(i)のとき、α1＜１、ｐｒｏｔu(i)≧Ｉｎ(i)のとき、α1＝１であり、過剰認識を低減してリスク認識を適正化することが可能となる。 In equation (6), α1 in F (i) indicates a weight corresponding to the sign of the difference between the input and the unit. When prot u (i) <In (i), α1 <1, prot u ( When i) ≧ In (i), α1 = 1, and it is possible to reduce excessive recognition and optimize risk recognition.
［ＳＯＭの勝者決定］
ＳＯＭは入力データに距離が一番近いユニットが選ばれるという構造のため、２つのユニットと距離が等しくなる領域（境界付近）では、認識がハンチングする可能性があり、状態認識自体がハンチングしてしまう虞がある。そのため、１周期前の勝者ユニットに関しては、距離に定数β（β＜１）をかけることでヒステリシス的な処理を行い、ハンチングを防止する。すなわち、勝者ユニットを過去の計算時の情報を用いて決定することで、時間的に安定したＳＯＭ出力とすることができる。
[SOM winner determination]
Since SOM has a structure in which the unit whose distance is the closest to the input data is selected, there is a possibility of recognition hunting in an area where the distance is equal to the two units (near the boundary). There is a risk of it. For this reason, the winner unit one cycle before is subjected to hysteresis processing by multiplying the distance by a constant β (β <1) to prevent hunting. That is, by determining the winner unit using the information at the time of past calculation, it is possible to obtain a time-stable SOM output.
また、通常のＳＯＭは、勝者ユニット番号Ｋを出力値として扱うが、以下の（７）式に示すように、ＳＯＭ出力を勝者ユニットとするのではなく確率的にすることで、ハンチングを防止することができ、更には認識精度の向上が期待できる。確率分布Ｑ(u)の設定は、勝者ユニットとの距離比を用いる。尚、（７）式中のσはゲインであり、ゲインσが０に近づく程、確定的な表現になる。
Ｑ(u)＝ｅｘｐ(−Ｌ(u)／ｍｉｎu(Ｌ(u))／σ)／ｚ …（７）
但し、ｚ＝Σiｅｘｐ(−Ｌ(u)／ｍｉｎu(Ｌ(u))／σ)
In addition, the normal SOM treats the winner unit number K as an output value. However, as shown in the following equation (7), hunting is prevented by making the SOM output stochastic rather than being a winner unit. And further improvement in recognition accuracy can be expected. The probability distribution Q (u) is set using the distance ratio with the winner unit. In the equation (7), σ is a gain, and as the gain σ approaches 0, the expression becomes deterministic.
Q (u) = exp (−L (u) / min u (L (u)) / σ) / z (7)
However, z = Σ i exp (−L (u) / min u (L (u)) / σ)
尚、１ステップ前の確率が大きい場合は、定数βを用いて距離を小さくする変換を入れることも可能である。 If the probability of one step before is large, it is possible to use a constant β to convert the distance to be small.
［ＳＯＭ学習］
ＳＯＭは、入力ベクトルから自律的に学習を行うことが可能であり、どのデータも均等に学習される。しかしながら、一般の走行中は安全な状態が圧倒的に多いことから、危険状態のユニットに対する十分な学習がなされないことが予想される。そこで、後述するＨＭＭの教師有り学習を行う場合、ＳＯＭ学習にリスクレベルの事前確率分布で重みをつける。すなわち、ＨＭＭの状態Ｓにおいて、事前確率をｐ(s)とすると、そのときのＳＯＭ学習時にかけるゲインＧ(s)をＧ(s)＝ｃｏｎｓｔ／ｐ(s)とする。但し、ゲインが最大設定値以上になった場合は、最大設定値で制限する。また、このゲインは、ＨＭＭの各状態の重要度によって明示的に設定しても良い。
[SOM learning]
SOM can learn autonomously from an input vector, and any data is learned equally. However, since there are overwhelmingly many safe states during general driving, it is expected that sufficient learning will not be performed for units in a dangerous state. Therefore, when supervised learning of HMM, which will be described later, is performed, SOM learning is weighted with a risk level prior probability distribution. That is, in the state S of the HMM, when the prior probability is p (s), the gain G (s) applied at the time of SOM learning is G (s) = const / p (s). However, if the gain exceeds the maximum set value, it is limited by the maximum set value. Further, this gain may be explicitly set according to the importance of each state of the HMM.
ＳＯＭ学習における代表値の更新則は、上記のゲインＧ(s)を用いた場合、以下の（８）式のようになる。
ｐｒｏｔu(i)＝ｐｒｏｔu(i)＋α2(Ｉｎ(i)−ｐｒｏｔu(i)) …（８）
但し、α2＝ａ・ｂ(t)・ｃ(Ｄ(u,K),t)・Ｇ(s)
The update rule of the representative value in the SOM learning is expressed by the following equation (8) when the above gain G (s) is used.
prot u (i) = prot u (i) + α2 (In (i) −prot u (i)) (8)
However, α2 = a · b (t) · c (D (u, K), t) · G (s)
（８）式の係数α2を決定する各パラメータａ，ｂ，ｃのうち、パラメータａは学習係数であり、各教師状態の登場確率若しくは各状態の重要度に応じて変更する。また、パラメータｂ，ｃは、通常のＳＯＭの更新則に用いられるパラメータであり、ｂは時間減衰、ｃは領域減衰を示している。 Of the parameters a, b, and c that determine the coefficient α2 in the equation (8), the parameter a is a learning coefficient, and changes according to the appearance probability of each teacher state or the importance of each state. Parameters b and c are parameters used in a normal SOM update rule, where b indicates time attenuation and c indicates region attenuation.
図７，図８は、シーンリスク認識部２からのシーンリスク情報と抽出リスク認識部３からの抽出リスク情報とを処理して生成した処理結果ベクトルの例を示しており、この例では、計３９次元のベクトルデータとして設定されている。尚、このデータは、シーンリスク認識部２及び抽出リスク認識部３の最終出力値だけでなく、計算時に算出される情報も含んでいる。 FIGS. 7 and 8 show examples of processing result vectors generated by processing the scene risk information from the scene risk recognition unit 2 and the extraction risk information from the extraction risk recognition unit 3. It is set as 39-dimensional vector data. This data includes not only the final output values of the scene risk recognition unit 2 and the extraction risk recognition unit 3 but also information calculated at the time of calculation.
シーンリスク情報は、図７においては１９次元のベクトルデータとする例を示しており、番号４〜１４のデータは、最尤状態のリスク強度確率分布から求め、番号１５〜１８のデータは、ＳＯＭの勝者判定時に距離により確率に変換したときの上位から順のデータとしている。また、抽出リスク情報は、図８においては２０次元のベクトルデータとする例を示しており、歩行者や車を認識した複数の認識領域における平均や分散をとって番号１９〜３８の２０次元のベクトルデータとしている。 In FIG. 7, the scene risk information is an example of 19-dimensional vector data. The data of numbers 4 to 14 are obtained from the risk intensity probability distribution in the maximum likelihood state, and the data of numbers 15 to 18 are SOM. It is set as the data in order from the top when it is converted into a probability by distance when determining the winner. Further, the extracted risk information is shown as an example of 20-dimensional vector data in FIG. 8, and the average and variance in a plurality of recognition areas in which pedestrians and cars are recognized are taken and 20-dimensional numbers 19 to 38 are taken. It is vector data.
次に、融合リスク認識部４２における認識処理について説明する。本実施の形態においては、ＨＭＭを用いてリスク認識処理を行う例について説明するが、このリスク認識処理は、ファジィルールの推論モデルやニューラルネットワークの学習モデルを用いて行うことも可能である。本実施の形態では、以下、ＨＭＭの状態設定、状態推定、学習、融合認識結果について説明する。 Next, the recognition process in the fusion risk recognition unit 42 will be described. In this embodiment, an example in which risk recognition processing is performed using an HMM will be described. However, this risk recognition processing can also be performed using an inference model of a fuzzy rule or a learning model of a neural network. In the present embodiment, HMM state setting, state estimation, learning, and fusion recognition results will be described below.
［ＨＭＭの状態設定］
ＨＭＭの状態の設定は、本実施の形態においては、音声提示を基本として「…の音声提示をすべき状態」として設定し、また、リスクに関しては、リスクの大きさ（リスクレベル）、リスクの種類、リスクの位置（画像上の位置）の３つの指標を尺度として状態を設定している。
[HMM status setting]
In the present embodiment, the setting of the state of the HMM is set as “a state in which voice presentation of... Should be performed” based on the voice presentation, and regarding the risk, the risk level (risk level), the risk The state is set on the basis of three indicators of type and risk position (position on the image).
例えば、図９に示すように、リスレベルの値を０〜１００、状態番号を０〜２２として、０−３０のリスクレベルでは状態番号０（音声提示無し）、３０−５０のリスクレベルでは状態番号１−９、５０−７０のリスクレベルでは状態番号１０−１８、７０以上のリスクレベルでは状態番号１９−２１を対応させて設定する。各状態の発話音声（警告音声）は、図１０に示すように、状態と１対１で対応させ、ドライバ、歩行者、相手車両といったように、ＨＭＭで推定した状態に応じて自車内外に警告音声を発する。 For example, as shown in FIG. 9, the value of the squirrel level is 0 to 100, the state number is 0 to 22, the state number 0 (no voice presentation) at the 0-30 risk level, and the state number at the 30-50 risk level For risk levels 1-9 and 50-70, state numbers 10-18 are set in correspondence with state numbers 19-21 for risk levels 70 and higher. As shown in FIG. 10, the utterance voice (warning voice) in each state is associated with the state on a one-to-one basis, such as a driver, a pedestrian, or a partner vehicle, inside or outside the vehicle according to the state estimated by the HMM A warning sound is emitted.
［ＨＭＭによる状態の推定］
ＨＭＭによる状態の推定は、以下の（３−１），（３−２）に示すように、一般的に用いられるビタビアルゴリズム（Viterbi algorithm）若しくは前向きアルゴリズム（forward algorithm)を用いて行われる。この推定は、１周期前の状態Ｓt-1、現在観測された入力データを離散値に変換したユニット番号Ｋtにより行われ、現在が状態Ｓtである確率Ｐ(st)が出力される。
[State estimation by HMM]
The state estimation by the HMM is performed using a generally used Viterbi algorithm or forward algorithm as shown in (3-1) and (3-2) below. This estimation is performed based on the state St-1 one cycle ago, the unit number Kt obtained by converting the currently observed input data into discrete values, and the probability P (st) that the current state is the state St is output.
（３−１）ビタビアルゴリズム
ビタビアルゴリズムは、ＨＭＭに対する最尤系列推定手法の一つであり、最尤系列推定は、現在観測されているデータがどのステートから出力されているとするのが最も尤もらしいかを推定（最尤推定）する手法である。遷移系列を計算する際の最も尤もらしい系列とは、発生する確率が最大となる系列を特定することに相当する。
(3-1) Viterbi algorithm The Viterbi algorithm is one of the maximum likelihood sequence estimation methods for the HMM, and the maximum likelihood sequence estimation is most likely to be from which state the currently observed data is output. This is a technique for estimating the likelihood (maximum likelihood estimation). The most likely sequence when calculating the transition sequence corresponds to specifying the sequence with the highest probability of occurrence.
このビタビアルゴリズムは、状態遷移確率と出力信号確率を元に、時系列観測データの先頭から、順次、各時間ステップにおいてそれぞれのステートに存在する最大確率を計算する手法であり、動的計画法に類似した計算手法を用いるために計算量が少ないという特徴を持っている。 This Viterbi algorithm is a method of calculating the maximum probability existing in each state at each time step sequentially from the beginning of the time series observation data based on the state transition probability and output signal probability. Since a similar calculation method is used, the calculation amount is small.
以下の（９）式に計算例を示す。（９）式においては、確率が小さくなることによる計算上のアンダーフローを回避するため、確率の対数をとり、計算を全てその対数値で行っている。左辺のＬＰt(Ｓj)は時刻ｔで状態Ｓjである確率の対数、右辺第１項内のＬＡ(Ｓj｜Ｓi)は状態Ｓiから状態Ｓjへ遷移する確率の対数、第２項のＬＢ(Ｋｔ｜Ｓj)は状態Ｓjのときの時刻ｔで観測値Ｘを出力する確率の対数を示している。
ＬＰt(Ｓj)＝ｍａｘi(ＬＰt-1(Ｓi)＋ＬＡ(Ｓj｜Ｓi))＋ＬＢ(Ｋｔ｜Ｓj) …（９）
An example of calculation is shown in the following equation (9). In Equation (9), in order to avoid calculation underflow due to a decrease in probability, the logarithm of probability is taken and all calculations are performed with the logarithmic value. LP t (S j ) on the left side is the logarithm of the probability of being in state Sj at time t, LA (S j | S i ) in the first term on the right side is the logarithm of the probability of transition from state Si to state Sj, the second term LB (K t | S j ) indicates the logarithm of the probability of outputting the observed value X at time t in the state Sj.
LP t (S j ) = max i (LP t−1 (S i ) + LA (S j | S i )) + LB (K t | S j ) (9)
（３−２）前向きアルゴリズム
前向きアルゴリズムは、イベントと各ステートとのトレリス上を前向きに辿る手法であり、以下の（１０）式に示すように、ステップ毎の逐次計算により、各時刻、各状態の存在確率を再帰的に計算する。（１０）式においては、左辺のＰt(Ｓj)は時刻ｔに状態Ｓjである確率、右辺第１項内のＡ(Ｓj｜Ｓi)は状態Ｓiから状態Ｓjへ遷移する確率、第２項のＢ(Ｋｔ｜Ｓj)は状態Ｓjのときの時刻ｔで観測値Ｘを出力する確率である。
Ｐt(Ｓj)＝Σi(Ｐt-1(Ｓi)・Ａ(Ｓj｜Ｓi))＋Ｂ(Ｋｔ｜Ｓj) …（１０）
(3-2) Forward algorithm The forward algorithm is a method of tracing forward on the trellis of an event and each state. As shown in the following equation (10), each time, each state is calculated by sequential calculation for each step. Recursively calculate the existence probability of. In equation (10), P t (S j ) on the left side is the probability of being in state S j at time t, A (S j | S i ) in the first term on the right side is the probability of transition from state Si to state S j , B (K t | S j ) in the second term is the probability of outputting the observation value X at time t in the state Sj.
P t (S j ) = Σ i (P t−1 (S i ) · A (S j | S i )) + B (K t | S j ) (10)
この前向きアルゴリズムによる状態推定は、各時刻の各ステップにおいて全ての遷移確率を計算しており、存在確率の低いステートも考慮した状態推定であることから、高精細な内部状態の推定が可能となる。 The state estimation by this forward-looking algorithm calculates all transition probabilities at each step at each time, and is a state estimation that also takes into account a state with a low existence probability, so it is possible to estimate a high-definition internal state. .
推定状態は、確率が一番高い状態となり、ビタビアルゴリズム、前向きアルゴリズムのそれぞれの推定結果は、状態系列の最大値ａｒｇｍａｘj（ＬＰt(Ｓj))，ａｒｇｍａｘj（Ｐt(Ｓj))となる。 The estimated state is the state with the highest probability, and the estimation results of the Viterbi algorithm and the forward algorithm are the maximum values argmaxj (LP t (S j )) and argmaxj (P t (S j )) of the state series. .
ここで、推定した状態Ｓの確率Ｐ(Ｓ)はわかっているので、これを、推定の信頼度とする。そして、この信頼度により、実際の音声出力を行うか否かを決定する。つまり、推定により得られた状態の確率が低い場合には、音声出力をしないようにする。 Here, since the probability P (S) of the estimated state S is known, this is set as the reliability of estimation. Then, based on this reliability, it is determined whether or not to perform actual audio output. That is, when the probability of the state obtained by the estimation is low, voice output is not performed.
また、認識周期によっては、前の状態の音声出力が終了しないうちに音声出力命令が出る場合がある。そのような場合には、前の状態よりリスクレベルが小さい場合は音声出力を行わず、前の状態よりリスクレベルが大きい場合、前の音声出力を強制的に止めて、新たな音声出力を行う。 Also, depending on the recognition cycle, a voice output command may be issued before the previous voice output is completed. In such a case, if the risk level is lower than the previous state, no sound is output, and if the risk level is higher than the previous state, the previous sound output is forcibly stopped and a new sound output is performed. .
また、ＨＭＭを用いて、現在の状態の遷移確率から今後の状態の予測も行うことができる。その場合、観測値Ｘtの時間推移はわからないので、前述の（９），（１０）式とも右辺第２項を省いて計算を行うことにより、繰り返し計算で各時刻t+1,t+2,…の予測状態確率Ｐt+1(S),Ｐt+2(S)…を求めることが可能となる。 Further, it is possible to predict the future state from the transition probability of the current state using the HMM. In that case, since the time transition of the observed value Xt is not known, by performing the calculation by omitting the second term on the right side in both the above-mentioned formulas (9) and (10), each time t + 1, t + 2, .. Predicted state probabilities Pt + 1 (S), Pt + 2 (S).
尚、処理結果ベクトル生成部４１においてＳＯＭ出力を確率的に扱った場合には、（９），（１０）式の右辺第２項を、それぞれ、前述の（７）式による確率分布Ｑ(u)を用いて、ＬＯＧ10(ΣuＢ(ｕ｜Ｓj)・Ｑ(u))、ΣuＢ(ｕ｜Ｓj)・Ｑ(u)に置き換えることで、確率的な、より安定した認識結果を得ることが可能になる。 When the processing result vector generation unit 41 handles the SOM output stochastically, the second term on the right side of the equations (9) and (10) is replaced with the probability distribution Q (u ) And replace with LOG 10 (Σ u B (u | S j ) · Q (u)), Σ u B (u | S j ) · Q (u) A recognition result can be obtained.
［ＨＭＭの学習］
次に、ＨＭＭの学習について説明する、ＨＭＭの学習は、２段階のステップを踏んでおり、第１段階は基本的な認識処理を学習するためのオフラインの事前学習フェーズ、第２段階は走行中に環境に合わせて学習を行うオンライン学習フェーズである。
[Learning HMM]
Next, HMM learning will be described. HMM learning takes two steps, the first step is an offline pre-learning phase for learning basic recognition processing, and the second step is running. This is an online learning phase in which learning is performed according to the environment.
前者の事前学習フェーズでは、入力情報と、そのときのあるべき状態を教師情報を用いて学習する教師有り学習を行う。この教師有り学習では、入力データＸと、教師データＳ（正解の状態）があるため、ＨＭＭのパラメータ（状態存在確率、出力確率）は、データの累積頻度から直接求めることができる。 In the former pre-learning phase, supervised learning is performed in which input information and a desired state at that time are learned using teacher information. In this supervised learning, since there is input data X and supervised data S (correct answer state), HMM parameters (state existence probability, output probability) can be obtained directly from the cumulative frequency of data.
後者のオンライン学習フェーズは、教師情報のない教師無し学習となる。これには、バウムウェルチ（Baum Welch）アルゴリズムを用いることにより学習が可能である。バウムウェルチアルゴリズムは、ＥＭアルゴリズムの一種であり、前向き確率と後ろ向き確率とを用いて学習データの尤度を大きくするようにモデルのパラメータを更新していき、これによって収束したパラメータをＨＭＭの学習結果とする。但し、教師無し学習であるため、正解の状態を推定しない誤った学習を行う虞がある。そのため、事前に学習したパラメータから一定値以上更新されないように学習を進める必要がある。 The latter online learning phase is unsupervised learning without teacher information. This can be learned by using the Baum Welch algorithm. The Baum Welch algorithm is a kind of EM algorithm, and the model parameters are updated so as to increase the likelihood of the learning data using the forward probability and the backward probability, and the converged parameters are updated as the learning results of the HMM. And However, since it is unsupervised learning, there is a risk of performing incorrect learning without estimating the correct state. For this reason, it is necessary to advance learning so that a predetermined value or more is not updated from parameters learned in advance.
［融合認識結果］
以上の処理を経て得られるＨＭＭのモデルパラメータは、図１１〜図１５に示される。図１１は、各リスク要素認識部が出力するリスク情報を観測値として計算される状態遷移確率を示しており、ステート番号は大きいほど高いリスクレベルであることを示している。このグラフから所定のＨＭＭ駆動周波数の枠組みでは、自己遷移（同じ番号のステートにとどまる遷移）と、上下１ステート分の遷移確率が大きいこと、高リスクステートでは急激にリスクレベルが下がる遷移確率も比較的大きいこと等が見て取れる。これは、一般的に、中低程度のリスクは連続的に上下することや、高いリスク要因は車両の通過等と共に急激に解消すること等に相当し、一般的な運転状況の感覚との乖離は無いものと判断することができる。
[Fusion recognition result]
HMM model parameters obtained through the above processing are shown in FIGS. FIG. 11 shows the state transition probability calculated using the risk information output by each risk element recognition unit as an observed value, and indicates that the higher the state number, the higher the risk level. From this graph, in the framework of a predetermined HMM drive frequency, the self-transition (transition staying in the same numbered state) and the transition probability for one state above and below are large, and the transition probability that the risk level suddenly decreases in the high risk state is also compared. You can see that it is big. This is generally equivalent to the fact that moderate and moderate risks rise and fall continuously, and high risk factors disappear rapidly with the passing of vehicles, etc. It can be judged that there is no.
また、図１２〜図１５は各状態であるときの出力確率の例を示しており、図１２は状態０−４の出力確率分布、図１３は状態５−９の出力確率分布、図１４は状態１０−１４の出力確率分布、図１５は状態１５−２１の出力確率分布であり、番号が小さい状態（安全と見做される状態）で、出力確率が多様に変化し、状態番号が大きい状態（危険と見做される状態）になると、出力確率のピークが出現して対応する警告音声が出力されることを意味している。 FIGS. 12 to 15 show examples of output probabilities in each state. FIG. 12 shows the output probability distribution of state 0-4, FIG. 13 shows the output probability distribution of state 5-9, and FIG. 15 is an output probability distribution of the state 15-21, and FIG. 15 is an output probability distribution of the state 15-21. In the state where the number is small (a state considered safe), the output probability varies in various ways and the state number is large. When the state (state regarded as dangerous) is reached, it means that an output probability peak appears and a corresponding warning sound is output.
このようなＨＭＭによる認識結果は、音声装置５を介した音声出力を基本とするが、同時に、図１６に示すようなシーンリスク処理・抽出リスク処理で得られた画像を統合した画像が生成され、画像表示装置６へ出力される。図１６の例では、対人リスク抽出と対車リスク抽出とが例えば画像内の赤や青の領域といったように色別に表示され、画面下のバー表示で全体のシーンリスクのリスクレベルを表している。また、図示を省略しているが、その他、記号や文字で中間の計算値も表示する。 The recognition result by such an HMM is based on voice output through the voice device 5, but at the same time, an image obtained by integrating the images obtained by the scene risk processing / extraction risk processing as shown in FIG. 16 is generated. Are output to the image display device 6. In the example of FIG. 16, the person risk extraction and the car risk extraction are displayed by color, for example, red and blue areas in the image, and the bar level at the bottom of the screen indicates the risk level of the entire scene risk. . Although not shown, intermediate calculated values are also displayed using symbols and characters.
以上のように、本実施の形態においては、複数のリスク要素認識処理の結果を観測値として確率的な状態遷移でドライバに提示すべき状態を決定しているため、複数のリスク認識要素からの情報を総合的に判断して実際の運転環境に適応した認識を可能とすることができ、個々のドライバに最適な安全運転環境を実現することができる。 As described above, in the present embodiment, the state to be presented to the driver by the probabilistic state transition is determined by using the results of the plurality of risk element recognition processes as observation values. The information can be comprehensively judged and recognition adapted to the actual driving environment can be made possible, and the optimum safe driving environment for each driver can be realized.
１ リスク融合認識システム
２ シーンリスク認識部
３ 抽出リスク認識部
４ リスク融合部
５ 音声装置
６ 画像表示装置
４１ 処理結果ベクトル生成部
４２ 融合リスク認識部
DESCRIPTION OF SYMBOLS 1 Risk fusion recognition system 2 Scene risk recognition part 3 Extraction risk recognition part 4 Risk fusion part 5 Audio | voice apparatus 6 Image display apparatus 41 Processing result vector generation part 42 Fusion risk recognition part
Claims (7)
上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部と
を備え、
上記リスク融合部は、
状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記確率的状態遷移モデルの状態推定に際して、上記自己組織化マップの確率的出力を用いる
ことを特徴とするリスク融合認識システム。 A plurality of risk recognition units that detect the external environment of a mobile body and recognize risks included in the external environment;
When the recognition results when the plurality of risk recognition units are operated in parallel are fused, and the risk information recognized based on the results of the fusion processing is output , as the risk information, voice output and each risk recognition A risk fusion unit that presents at least the above-mentioned audio output among images integrated with risk information from the unit ,
The above risk fusion department
Using a probabilistic state transition model that expresses time-series changes in the state as state transitions, the state in which the risk information is to be presented to the driver is recognized as the current state existence probability. The output value of the state of the transition model is a converted value obtained by discretizing each recognition result of the plurality of risk recognition units using a self-organizing map, and the self-organization is performed when estimating the state of the stochastic state transition model. Risk fusion recognition system characterized by using a stochastic output of an optimization map .
上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部と
を備え、
上記リスク融合部は、
状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの距離計算に際して、認識の重要度に応じたゲインを用いる
ことを特徴とするリスク融合認識システム。 A plurality of risk recognition units that detect the external environment of a mobile body and recognize risks included in the external environment;
When the recognition results when the plurality of risk recognition units are operated in parallel are fused, and the risk information recognized based on the results of the fusion processing is output, as the risk information, voice output and each risk recognition A risk fusion unit that presents at least the voice output, and an image in which risk information from the unit is integrated;
With
The above risk fusion department
Using a probabilistic state transition model that expresses time-series changes in the state as state transitions, the state in which the risk information is to be presented to the driver is recognized as the current state existence probability. The output value of the state of the transition model is a converted value obtained by discretizing each recognition result of the plurality of risk recognition units using a self-organizing map, and the importance of recognition in calculating the distance of the self-organizing map features and to Brighter disk fusion recognition system that uses a gain in accordance with the.
上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部と
を備え、
上記リスク融合部は、
状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの距離計算に際して、各次元の入力データとユニットとの差が閾値以上の場合には同じ入力値とする
ことを特徴とするリスク融合認識システム。 A plurality of risk recognition units that detect the external environment of a mobile body and recognize risks included in the external environment;
When the recognition results when the plurality of risk recognition units are operated in parallel are fused, and the risk information recognized based on the results of the fusion processing is output, as the risk information, voice output and each risk recognition A risk fusion unit that presents at least the voice output, and an image in which risk information from the unit is integrated;
With
The above risk fusion department
Using a probabilistic state transition model that expresses time-series changes in the state as state transitions, the state in which the risk information is to be presented to the driver is recognized as the current state existence probability. The output value of the state of the transition model is a converted value obtained by discretizing each recognition result of the plurality of risk recognition units using a self-organizing map, and each dimension is input when calculating the distance of the self-organizing map. features and to Brighter disk fusion recognition system that the difference between the data and the unit for the same input value when the threshold value or more.
上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部と
を備え、
上記リスク融合部は、
状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの距離計算に際して、入力の各次元毎にユニットとの差に応じた重みを用いる
ことを特徴とするリスク融合認識システム。 A plurality of risk recognition units that detect the external environment of a mobile body and recognize risks included in the external environment;
When the recognition results when the plurality of risk recognition units are operated in parallel are fused, and the risk information recognized based on the results of the fusion processing is output, as the risk information, voice output and each risk recognition A risk fusion unit that presents at least the voice output, and an image in which risk information from the unit is integrated;
With
The above risk fusion department
Using a probabilistic state transition model that expresses time-series changes in the state as state transitions, the state in which the risk information is to be presented to the driver is recognized as the current state existence probability. The output value of the state of the transition model is a converted value obtained by discretizing each recognition result of the plurality of risk recognition units using the self-organizing map, and each dimension of the input is calculated when calculating the distance of the self-organizing map. features and to Brighter disk fusion recognition system that uses a weight corresponding to the difference between the units in each.
上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部と
を備え、
上記リスク融合部は、
状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの勝者ユニットを過去の計算時の情報を用いて決定し、時間的に安定した出力とする
ことを特徴とするリスク融合認識システム。 A plurality of risk recognition units that detect the external environment of a mobile body and recognize risks included in the external environment;
When the recognition results when the plurality of risk recognition units are operated in parallel are fused, and the risk information recognized based on the results of the fusion processing is output, as the risk information, voice output and each risk recognition A risk fusion unit that presents at least the voice output, and an image in which risk information from the unit is integrated;
With
The above risk fusion department
Using a probabilistic state transition model that expresses time-series changes in the state as state transitions, the state in which the risk information is to be presented to the driver is recognized as the current state existence probability. The output value of the state of the transition model is a converted value obtained by discretizing each recognition result of the plurality of risk recognition units using the self-organizing map, and the winner unit of the self-organizing map is determined in the past calculation. features and to Brighter disk fusion recognition system that was determined using the information, and temporally stable output.
上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部と
を備え、
上記リスク融合部は、
状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの出力を、勝者ユニットではなく各ユニットとの距離に基づく確率分布とする
ことを特徴とするリスク融合認識システム。 A plurality of risk recognition units that detect the external environment of a mobile body and recognize risks included in the external environment;
When the recognition results when the plurality of risk recognition units are operated in parallel are fused, and the risk information recognized based on the results of the fusion processing is output, as the risk information, voice output and each risk recognition A risk fusion unit that presents at least the voice output, and an image in which risk information from the unit is integrated;
With
The above risk fusion department
Using a probabilistic state transition model that expresses time-series changes in the state as state transitions, the state in which the risk information is to be presented to the driver is recognized as the current state existence probability. The output value of the state of the transition model is a converted value obtained by discretizing each recognition result of the plurality of risk recognition units using the self-organizing map, and the output of the self-organizing map is not the winner unit. features and to Brighter disk fusion recognition system to a probability distribution based on the distance between the units.
上記複数のリスク認識部を並列に動作させたときの各認識結果を融合処理し、該融合処理の結果に基づいて認識したリスク情報を出力する際、該リスク情報として、音声出力と各リスク認識部からのリスク情報を統合した画像とのうち、少なくとも上記音声出力を提示するリスク融合部と
を備え、
上記リスク融合部は、
状態の時系列的な変化を状態遷移で表現した確率的状態遷移モデルを用いて、上記リスク情報をドライバに提示すべき状態を現在の状態の存在確率として認識し、その際、上記確率的状態遷移モデルの状態の出力値を、上記複数のリスク認識部の各認識結果を自己組織化マップを用いて離散化した変換値とすると共に、上記自己組織化マップの教師有り学習を行う際に、各教師状態の登場確率若しくは各状態の重要度に応じて学習係数を変更する
ことを特徴とするリスク融合認識システム。 A plurality of risk recognition units that detect the external environment of a mobile body and recognize risks included in the external environment;
When the recognition results when the plurality of risk recognition units are operated in parallel are fused, and the risk information recognized based on the results of the fusion processing is output, as the risk information, voice output and each risk recognition A risk fusion unit that presents at least the voice output, and an image in which risk information from the unit is integrated;
With
The above risk fusion department
Using a probabilistic state transition model that expresses time-series changes in the state as state transitions, the state in which the risk information is to be presented to the driver is recognized as the current state existence probability. When the output value of the state of the transition model is a converted value obtained by discretizing each recognition result of the plurality of risk recognition units using a self-organizing map, and when performing supervised learning of the self-organizing map, features and to Brighter disk fusion recognition system to change the learning coefficient in accordance with the appearance probability or significance of each state of each teacher state.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008134687A JP5204552B2 (en) | 2008-05-22 | 2008-05-22 | Risk fusion recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008134687A JP5204552B2 (en) | 2008-05-22 | 2008-05-22 | Risk fusion recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009282783A JP2009282783A (en) | 2009-12-03 |
| JP5204552B2 true JP5204552B2 (en) | 2013-06-05 |
Family
ID=41453170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008134687A Expired - Fee Related JP5204552B2 (en) | 2008-05-22 | 2008-05-22 | Risk fusion recognition system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5204552B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8299639B2 (en) | 2009-04-17 | 2012-10-30 | Denso Corporation | Starter for starting internal combustion engine |
| JP5478234B2 (en) * | 2009-12-21 | 2014-04-23 | 株式会社デンソーアイティーラボラトリ | Driving scene determination device, driving scene determination method and program, and workload estimation device, workload estimation method and program |
| JP5278419B2 (en) * | 2010-12-17 | 2013-09-04 | 株式会社デンソー | Driving scene transition prediction device and vehicle recommended driving operation presentation device |
| JP2013242615A (en) * | 2012-05-17 | 2013-12-05 | Denso Corp | Driving scene transition prediction device and recommended driving operation presentation device for vehicle |
| JP6834704B2 (en) * | 2017-03-31 | 2021-02-24 | アイシン・エィ・ダブリュ株式会社 | Driving support device and computer program |
| DE102018205248A1 (en) | 2018-04-09 | 2019-10-10 | Bayerische Motoren Werke Aktiengesellschaft | Fusion system for the fusion of environment information for a motor vehicle |
| US20230419687A1 (en) * | 2020-11-20 | 2023-12-28 | Nec Corporation | State determination device, state determination method and recording medium |
| CN112434955B (en) * | 2020-11-27 | 2023-01-24 | 广东电网有限责任公司肇庆供电局 | Distribution network line operation risk sensing method based on multi-data fusion |
| CN113064963A (en) * | 2021-03-19 | 2021-07-02 | 北京沃东天骏信息技术有限公司 | Content risk control method and device |
| CN113344326B (en) * | 2021-04-30 | 2023-10-10 | 西安交通大学 | System and method for identifying dynamic hidden danger and evaluating risk of special operation site |
| CN114997748A (en) * | 2022-08-01 | 2022-09-02 | 中通客车股份有限公司 | New energy automobile operation safety risk prediction method and system based on model fusion |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002260146A (en) * | 2001-03-02 | 2002-09-13 | Toyota Central Res & Dev Lab Inc | Driver risk recognition characteristic storage method, driver risk computing system, driving ability diagnosis and evaluation system, and preventive safety system for vehicle |
| JP2002300573A (en) * | 2001-03-30 | 2002-10-11 | Toshiba Corp | Video diagnostic system on-board of video monitor |
| JP4241309B2 (en) * | 2003-10-14 | 2009-03-18 | 日産自動車株式会社 | Vehicle risk avoidance guide device |
| JP2006169661A (en) * | 2004-12-15 | 2006-06-29 | Murata Mach Ltd | Analyzer and mechanical equipment mounted therewith and analysis program |
| JP2006202015A (en) * | 2005-01-20 | 2006-08-03 | Ntt Docomo Inc | Apparatus for detecting watching state and method for estimating watching state |
| JP4730131B2 (en) * | 2006-02-27 | 2011-07-20 | マツダ株式会社 | Vehicle travel support device |
| JP2007334554A (en) * | 2006-06-14 | 2007-12-27 | Nissan Motor Co Ltd | Obstacle detection device and obstacle detection method |
-
2008
- 2008-05-22 JP JP2008134687A patent/JP5204552B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009282783A (en) | 2009-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5204552B2 (en) | Risk fusion recognition system | |
| US10739773B2 (en) | Generative adversarial inverse trajectory optimization for probabilistic vehicle forecasting | |
| KR102313773B1 (en) | A method for input processing based on neural network learning algorithm and a device thereof | |
| CN110949398B (en) | Method for detecting abnormal driving behavior of first-vehicle drivers in vehicle formation driving | |
| US20210089895A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| US6430523B1 (en) | Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object | |
| EP3757895A1 (en) | Method for estimating a global uncertainty of a neural network | |
| JP2011014037A (en) | Risk prediction system | |
| KR20180048407A (en) | Apparatus and method for detecting a lane | |
| JP2009096365A (en) | Risk recognition system | |
| JP2009262702A (en) | Safe driving support system | |
| JP5185554B2 (en) | Online risk learning system | |
| JP2009073465A (en) | Safe driving support system | |
| US20230244924A1 (en) | System and method for robust pseudo-label generation for semi-supervised object detection | |
| JP5572339B2 (en) | Online risk recognition system | |
| JP5005492B2 (en) | Safe driving support system | |
| CN115600145A (en) | Abnormal region detection using local neural transformation | |
| JP2011003076A (en) | Risk recognition system | |
| US20230038337A1 (en) | Method and device for evaluating an image classifier | |
| JP7350188B2 (en) | Driving support device, learning device, driving support method, driving support program, learned model generation method, learned model generation program | |
| US20230281999A1 (en) | Infrastructure analysis using panoptic segmentation | |
| CN113449585A (en) | Method and device for operating a classifier | |
| CN115129886A (en) | Driving scene recognition method and device and vehicle | |
| JP2021170332A (en) | Device and method for training classifier, and device and method for evaluating robustness of classifier | |
| CN113255725B (en) | Automobile sensor attack detection and repair method based on two-stage LSTM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5204552 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |