JP5838750B2 - Object recognition system and object recognition apparatus - Google Patents
Object recognition system and object recognition apparatus Download PDFInfo
- Publication number
- JP5838750B2 JP5838750B2 JP2011251258A JP2011251258A JP5838750B2 JP 5838750 B2 JP5838750 B2 JP 5838750B2 JP 2011251258 A JP2011251258 A JP 2011251258A JP 2011251258 A JP2011251258 A JP 2011251258A JP 5838750 B2 JP5838750 B2 JP 5838750B2
- Authority
- JP
- Japan
- Prior art keywords
- speed
- data
- unit
- imaging data
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、ラインセンサ等の撮像装置で撮像される領域に存在する物体を、撮像装置により取得した撮像データを用いて認識する物体認識システム及び物体認識装置に関するものである。 The present invention relates to an object recognition system and an object recognition device for recognizing an object existing in a region imaged by an imaging device such as a line sensor using imaging data acquired by the imaging device.
ラインセンサ等の撮像装置によって得られる強度画像等の撮像データを用い、撮像装置に撮像される領域を通過する車両等の物体を認識する物体認識システムが知られている（例えば、特許文献１参照）。このような物体認識システムにおいては、様々な対象物についてのテンプレートデータを用意し、それら複数のテンプレートデータと取得された撮像データとをそれぞれパターンマッチングすることにより物体を認識する。 An object recognition system that recognizes an object such as a vehicle passing through a region imaged by the imaging device using imaging data such as an intensity image obtained by an imaging device such as a line sensor is known (for example, see Patent Document 1). ). In such an object recognition system, template data for various objects is prepared, and an object is recognized by pattern matching between the plurality of template data and the acquired imaging data.
しかしながら、従来の物体認識システムでは、撮像装置におけるデータ取得レートは一定であるため、領域を通過する物体の速度によって撮像データに含まれる物体の画像が歪み、例えば車軸であれば扁平率が変化する。そのため、基準の速度で通過する対象物についてのテンプレートデータとのマッチングの精度が低下するという課題があった。また、それぞれの対象物について様々な速度に対応したテンプレートデータを用意するとなると、テンプレートデータの数が膨大になり、パターンマッチング処理についての処理時間が増大するという課題があった。 However, in the conventional object recognition system, since the data acquisition rate in the imaging device is constant, the image of the object included in the imaging data is distorted depending on the speed of the object passing through the region, for example, the flatness changes in the case of an axle. . Therefore, the subject that the precision of matching with the template data about the target object which passes at a standard speed fell. Further, when template data corresponding to various speeds is prepared for each object, there is a problem that the number of template data becomes enormous and the processing time for pattern matching processing increases.
本発明は、上記のような課題を解決するためになされたものであって、処理時間の増大がなく精度の高い物体認識が可能な物体認識システム及び物体認識装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and it is an object of the present invention to provide an object recognition system and an object recognition apparatus capable of highly accurate object recognition without increasing processing time. .
本発明に係る物体認識システムは、物体が通過する所定領域にレーザ光を照射して得た撮像データを出力する撮像手段と、前記物体が通過する速度を検出する物体速度検出手段と、前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備え、前記物体認識手段は、前記検出速度と予め設定した速度閾値とを比較する速度比較部を有し、前記検出速度が前記速度閾値よりも速い場合には前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較して前記物体又は前記物体の一部を認識し、前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合には、前記撮像データの高度方向について算出したヒストグラムから検知フラグを生成し、前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする。
An object recognition system according to the present invention includes an imaging unit that outputs imaging data obtained by irradiating a predetermined region through which an object passes, an object speed detection unit that detects a speed at which the object passes, and the imaging The size of the image of the object included in the imaging data output from the means is changed according to the detection speed, and the imaging data after the change is compared with the template data corresponding to the reference speed, or the object or the An object recognizing unit for recognizing a part of the object, and the object recognizing unit includes a speed comparing unit that compares the detected speed with a preset speed threshold, and the detected speed is faster than the speed threshold. In this case, the image size of the object included in the imaging data is changed according to the detection speed, and the changed imaging data is compared with the template data corresponding to the reference speed. Then, when the object or part of the object is recognized and the detection speed is slower than the speed threshold or the speed of the object is not detected, a detection flag is calculated from the histogram calculated for the altitude direction of the imaging data. It generates, characterized that you recognize some of the object or the object from the pattern of the detection flag.
本発明に係る物体認識装置は、物体が通過する所定領域にレーザ光を照射して得られた撮像データが入力され物体又は物体の一部を認識する物体認識装置であって、前記物体が通過する速度を検出する物体速度検出手段と、前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備え、前記物体認識手段は、前記検出速度と予め設定した速度閾値とを比較する速度比較部を有し、前記検出速度が前記速度閾値よりも速い場合には前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較して前記物体又は前記物体の一部を認識し、前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合には、前記撮像データの高度方向について算出したヒストグラムから検知フラグを生成し、前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする。 An object recognition apparatus according to the present invention is an object recognition apparatus that recognizes an object or a part of an object by inputting imaging data obtained by irradiating a predetermined region through which the object passes with laser light, and the object passes through the object recognition apparatus. An object speed detecting means for detecting a speed to be changed, and the size of the image of the object included in the imaging data output from the imaging means is changed according to the detection speed, and the changed imaging data and the reference speed are supported. Object recognition means for recognizing the object or part of the object by comparing with the template data to be processed , the object recognition means comprises a speed comparison unit for comparing the detection speed with a preset speed threshold value. And when the detection speed is faster than the speed threshold, the image size of the object included in the imaging data is changed according to the detection speed, and the changed imaging data and reference Compare the template data corresponding to the degree to recognize the object or a part of the object, and if the detection speed is slower than the speed threshold or the speed of the object is not detected, generates a detection flag from the histogram calculated for altitude direction, characterized that you recognize some of the object or the object from the pattern of the detection flag.
本発明の物体認識システム、物体認識装置によれば、検出した物体の速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、処理時間の増大がなく精度高く物体認識ができるという効果を奏する。 According to the object recognition system and the object recognition device of the present invention, the size of the image of the object included in the imaging data is changed according to the speed of the detected object, and pattern matching processing is performed between the changed imaging data and the template data. Therefore, there is an effect that the object can be recognized with high accuracy without increasing the processing time.
実施の形態１．
以下図面を用いて本発明の実施の形態１を説明する。図１は実施の形態１に係る物体認識システムの構成図である。図２は実施の形態１における第１の撮像装置と第２の撮像装置の配置を説明するための図である。図３は実施の形態１における撮像データに含まれる物体である車両の画像を表す図である。図４は実施の形態１における車両を正面から見た図である。図５は実施の形態１に係る物体認識部の構成図である。図６は実施の形態１における撮像データに含まれる車両の画像のサイズ変更を説明するための図である。図７は実施の形態１の動作を説明するフローチャートである。
図１に示すように、物体認識システムは、第１の撮像装置（第１の撮像部）１と、第２の撮像装置（第２の撮像部）２と、物体認識装置３とから構成される。このような物体認識システムは、例えばゲートの侵入監視システムに適用される。ここでは、ゲートに侵入する物体を車両として説明を行うが、これに限定するものではなく、動物、人物等であってもよい。以下も同様である。
As shown in FIG. 1, the object recognition system includes a first imaging device (first imaging unit) 1, a second imaging device (second imaging unit) 2, and an
まず、第１の撮像装置１と第２の撮像装置２について説明する。第１の撮像装置１と第２の撮像装置２は例えば受信スキャンレス型のレーザ画像計測装置が該当する。第１の撮像装置１は第１の領域に、第２の撮像装置２は第２の領域にそれぞれレーザ光を照射し、照射を行った領域内の各点における強度値を強度データとして取得する。また、領域の照射を行った各点における距離値を距離データとして取得する。第１の撮像装置１及び第２の撮像装置２は、所定の時間間隔毎に、取得した強度データと距離データとをそれぞれ第１の撮像データ、第２の撮像データとして物体認識装置３に出力する。
First, the
なお、上記レーザ光が照射される領域については、観測領域、照射領域のように表現してもよい。以下では単に領域（第１の領域、第２の領域）として説明を行う。 Note that the region irradiated with the laser beam may be expressed as an observation region or an irradiation region. In the following, description will be made simply as a region (first region, second region).
図２に示すよう、第１の撮像装置１と第２の撮像装置２は、所定の間隔ｗ（ｍ）をもって車両の通行経路の傍に設置されている。つまり、第２の撮像装置２は、第１の撮像装置１に対して、車両の進行方向（通過方向）に所定間隔をおいて配置されている。図２の例では第１の撮像装置１と第２の撮像装置２は通行経路の反対側にそれぞれ設置されているが、この配置に限るものではなく、同側であってもよい。また、間隔ｗについては、例えば０．８ｍ程度であればよい。
As shown in FIG. 2, the first
車両が進行方向に移動して第１の撮像装置１がレーザ光を照射する第１の領域を通過すると、第１の撮像装置１は車両についての強度データ及び距離データを取得し、物体認識装置３に出力する。このとき、第１の撮像装置１は強度データを画像データ（強度画像）として出力してもよい。強度画像は、図３に示すよう、横軸を車両進行方向に対応するライン方向、縦軸を撮像装置（センサ）の走査方向に対応するデータ方向と定義された平面において、各画素に強度値が与えられた画像であり、第１の撮像装置１から見た奥行方向の強度値を含めてもよい。
When the vehicle moves in the traveling direction and passes through the first region where the
また同様に、車両が進行方向に移動して第２の撮像装置２がレーザ光を照射する第２の領域を通過すると、第２の撮像装置２は車両についての強度データ及び距離データを取得し、物体認識装置３に出力する。
Similarly, when the vehicle moves in the traveling direction and the
なお、ここでは第１の撮像装置１と第２の撮像装置２を一例としてライン状にスキャン（走査）するラインセンサとしたが、これに限るものではなく、少なくとも強度データと距離データとを取得できるものであればよい。強度データの代わりに、領域の照射を行った各点における輝度値から構成される輝度データを取得できるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等であってもよい。なお、強度データ（又は輝度データ）及び距離データをそれぞれ強度画像（又は輝度画像）、距離画像と画像形式にしたものも撮像データに含まれる。第１の撮像装置１は第１の領域にレーザ光を照射して取得する第１の撮像データを、第２の撮像装置２は第２の領域にレーザ光を照射して取得する第２の撮像データを、物体認識装置３に出力する。
Here, the
また、第１の撮像装置１及び第２の撮像装置２は、取得した距離データから、高度値（高さ値）及び奥行距離値を算出し、これらを撮像データとして物体認識装置３に出力してもよい。図４に示すように、撮像装置から見た奥行方向をｘ軸、撮像装置の高さ方向である高度方向をｚ軸と定義すると、ｘ−ｚ平面に垂直な方向が進行方向となり、第１の撮像装置１（第２の撮像装置２）は、ｚ軸方向にセンサ高度Ｈ、ビーム走査角度の半角θ、センサオフナディア角φとなるように設置される。この場合、距離画像におけるデータ方向の画素番号をｉ、その最大画素数をＮ、領域における各点の距離値をＲｉとすると、高度値及び奥行距離値は式（１）のとおりに求められる。
Also, the
なお、第１の撮像装置１、第２の撮像装置２はそれぞれ撮像手段（第１の撮像手段、第２の撮像手段）を構成する。また、撮像手段は第１の撮像装置１と第２の撮像装置２とから構成されるものであってもよい。
The
次に、物体認識装置３について説明する。物体認識装置３は、図１に示すように、撮像データ保存部３１と、物体検知部３２と、速度検出部３３と、物体認識部３４とを備え、第１の撮像装置１から第１の撮像データ、第２の撮像装置２から第２の撮像データが出力される。なお、撮像データ保存部３１、物体検知部３２、速度検出部３３、物体認識部３４、はそれぞれ、撮像データ保存手段３１と、物体検知手段３２と、速度検出手段３３と、物体認識手段３４を構成する。
Next, the
撮像データ保存部３１には、第１の撮像装置１と第２の撮像装置２から出力された第１の撮像データ、第２の撮像データを保存される。また、複数のテンプレートデータが予め保存されている。このテンプレートデータは、予め設定された基準速度で通行経路を通過する対象物の特徴量（特徴パターン）を有するデータであり、対象物には、トラック、乗用車、軽自動車等の様々な種類の車両や、人物、動物等が該当する。ここで、基準速度をどのように決めるかについては、車両認識を行うにあたり想定される車両の最大通過速度としてもよいし、ユーザが任意に決めてもよい。以下では１例として、一般に車両がゲートを通過する速度Ｖｂを基準速度として説明を行う。
The imaging
物体検知部３２は、撮像データ保存部３１から取得した撮像データに基づき、領域内に存在する車両を検知する。物体検知部３２は、例えば、領域内に車両が存在しない状態の強度データ（背景データ）を予め取得しておき、この背景データと車両が存在する状態の第１の撮像データとの各点における強度差を読み出し、強度差が所定の閾値を超える点の数が設定数以上あれば物体である車両が存在しているものと検知する。物体検知部３２は、第１の撮像装置１に出力された第１の撮像データから第１の領域内に存在する車両を検知すると、車両の検知を表す第１の検知信号を出力し、第２の撮像装置２に出力された第２の撮像データから第２の領域内に存在する車両を検知すると車両の検知を表す第２の検知信号を出力する。
The
速度検出部３３は、物体検知部３２から入力される第１の検知信号と第２の検知信号との入力の時間差から、車両の通過する速度を算出する。つまり、速度検出部３３は、第１の撮像装置１と第２の撮像装置２との距離ｗの情報は予め持っているので、第１の撮像装置１から出力される第１の撮像データと第２の装置２から出力される第２の撮像データの出力のタイミング差が把握できれば、車両の通過速度の算出ができる。より具体的には、第１の撮像装置１及び第２の撮像装置２のデータ取得レートをｆｓ（Ｈｚ）、各撮像装置において車両を検知したライン方向のデータ取得数をＳとすると、車両の速度Ｖは式（２）のとおり求められる。速度検出部３３は、検出した速度を物体認識部３４に出力する。
The
なお、物体検知部３２と速度検出部３３とは、物体速度検出手段を構成する。
The
物体認識部３４は、撮像データに含まれる車両の画像サイズを検出速度Ｖに応じて変更し、変更後の撮像データと基準速度Ｖｂに対応するテンプレートデータとを比較することにより、撮像データに含まれる車両又は車両の一部を認識する。そして、その認識結果を図４には図示しない例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の上位の装置に出力する。物体認識部３４は、図５に示すように、画像サイズ変更部３４１と、判定部３４２と、認識処理部３４３とを備える。
The
画像サイズ変更部３４１は、速度検出部３３により検出された速度Ｖに基づき、撮像データ保存部３１から取得した撮像データに含まれる車両の画像のサイズを変更する。具体的には、画像サイズ変更部３４１は、撮像データに含まれる車両の画像について、車両のライン方向、すなわち通過方向（横方向）の長さが変更されるよう、バイリニア補間又はバイキュービック補間等を行いサイズを変更する。なお、画像のサイズを変更する処理を、画像を補正すると表現してもよい。
The image
画像のライン方向のサイズをどの程度変更するかについては、例えば基準速度Ｖｂに対する検出速度Ｖの割合に比例するよう変更すればよい。図６に示すよう、検出速度Ｖで通過する車両のライン方向の長さがＡだとした場合、サイズ変更後の車両のライン方向の長さはＡ×Ｖ/Ｖｂとなる。検出速度Ｖが基準速度Ｖｂよりも速い場合、撮像データに含まれる車両の画像は基準速度に対応する画像よりもライン方向に縮んだ画像となっており、サイズ変更されることによりライン方向に伸びるようになる。一方、検出速度Ｖが基準速度Ｖｂよりも遅い場合、撮像データに含まれる車両の画像は基準速度に対応する画像よりもライン方向に伸びた画像となっており、サイズ変更されることによりライン方向に縮むようになる。画像が車軸の場合は、サイズ変換後の車軸の扁平率が０に近づくこととなる。 The extent to which the size of the image in the line direction is changed may be changed in proportion to the ratio of the detection speed V to the reference speed Vb, for example. As shown in FIG. 6, when the length in the line direction of the vehicle passing at the detection speed V is A, the length in the line direction of the vehicle after the size change is A × V / Vb. When the detection speed V is faster than the reference speed Vb, the image of the vehicle included in the imaging data is an image contracted in the line direction than the image corresponding to the reference speed, and extends in the line direction when the size is changed. It becomes like this. On the other hand, when the detection speed V is slower than the reference speed Vb, the image of the vehicle included in the imaging data is an image that extends in the line direction from the image corresponding to the reference speed, and the line direction is changed by resizing the image. To shrink. If the image is an axle, the flatness of the axle after size conversion will approach zero.
サイズ変更後のライン方向の長さは、車両が基準速度Ｖｂで通過する場合の車両のライン方向の長さに対応している。そのため、車両がいずれの速度で通過しようとも、その通過速度に起因した画像の歪みを補正し、基準速度Ｖｂで通過した場合の画像サイズに合うようになる。 The length in the line direction after the size change corresponds to the length in the line direction of the vehicle when the vehicle passes at the reference speed Vb. Therefore, regardless of the speed at which the vehicle passes, the distortion of the image due to the passing speed is corrected to match the image size when passing at the reference speed Vb.
なお、サイズ変更には、画像のライン方向の長さが大きくなるようサイズ変更した後、さらにアスペクト比を変更したものについても含まれる。また、ライン方向の長さを長く（短く）する代わりにデータ方向（縦方向）の長さが短く（長く）なるように変更してもよいし、ライン方向とデータ方向の両方の長さを変更することによりサイズ変更してもよい。 Note that the size change includes those in which the aspect ratio is further changed after the size is changed so that the length in the line direction of the image is increased. Further, instead of increasing (shortening) the length in the line direction, the length in the data direction (vertical direction) may be changed to be short (longer), or both the lengths in the line direction and data direction may be changed. You may change size by changing.
判定部３４２は、画像サイズ変更部３４１で画像のサイズが変更された撮像データが入力され、この撮像データと、撮像データ保存部３１に予め保存されたテンプレートデータとについて、パターンマッチング処理を行う。判定部３４２は、撮像データに含まれる車両の画像である被探索画像上を、テンプレートデータに含まれる対象物の特徴パターンをｘｙ方向に移動して比較を行っていき、被探索画像上に対象物の特徴パターンの検出を行う。つまり、判定部３４２は、撮像データに含まれる物体である車両の画像が、テンプレートデータに含まれる対象物の特徴パターンを有するか否かを判定する。判定結果は、認識処理部３４３に出力される。
The
ここで撮像データに含まれる画像とは、強度画像、輝度画像、又は距離画像が該当する。また、高度値及び奥行距離値のデータを有する画像とテンプレート画像とのマッチングであってもよいし、検出速度Ｖを用いて算出されるライン方向の距離値による３次元形状マッチングを用いてもよい。検知を行うスキャンの相対ライン数をｊとすると、ライン方向の距離値Ｙｊは式（３）のように求められる Here, the image included in the imaging data corresponds to an intensity image, a luminance image, or a distance image. Further, matching between an image having altitude value and depth distance value data and a template image may be used, or three-dimensional shape matching based on a distance value in the line direction calculated using the detection speed V may be used. . Assuming that the relative number of lines of scanning for detection is j, the distance value Yj in the line direction is obtained as shown in Equation (3).
なお、パターンマッチングの方法としては、テンプレートマッチング処理やテクスチャーマッチング処理を用いればよい。また、テンプレートデータについては撮像データ保存部３１に保存されているとしたが、別の保存装置（メモリ）に予め保存されていてもよいし、また判定部３４２が内部メモリを有し予め保存しておいてもよい。また、テンプレートデータは対象物の特徴量を有するものであるとして説明を行ったが、対象物の画像データそのものであってもよい。
As a pattern matching method, template matching processing or texture matching processing may be used. The template data is stored in the imaging
認識処理部３４３は、判定部３４２からの判定結果に基づいて、物体の認識結果を求め、その認識結果を例えばＰＣ等の外部装置に出力する。つまり、認識処理部３４３は、判定部３４２により撮像データは対象物の特徴パターンを有するという判定結果が入力されると、撮像データに含まれる物体を対象物と認識し、その認識結果を出力する。例えば撮像データが軽自動車の特徴パターンを有するのであれば、認識処理部３４３は物体を軽自動車と認識し、トラックの特徴パターンを有する場合は、認識処理部３４３は物体をトラックと認識してその認識結果を出力する。
The
次に、図７を用いて本発明の実施の形態１の動作について説明する。 Next, the operation of the first embodiment of the present invention will be described with reference to FIG.
第１の撮像装置１及び第２の撮像装置２はそれぞれ所定時間間隔をもって取得した撮像データ（第１の撮像データ、第２の撮像データ）を物体認識装置３の撮像データ保存部３１に出力している（ステップＳ１）。
The
図２に示すように車両が車両進行方向に移動して第１の領域内に入り、第１の撮像装置１が出力する第１の撮像データ中に車両が存在すると（ステップＳ２−Ｙｅｓ）、物体検知部３２は、撮像データ保存部３１から取得したその第１の撮像データ中の物体である車両を検知する。そして、物体検知部３２は、車両が存在することを示す第１の検知信号を速度検出部３３に出力する（ステップＳ３）。なお、この時点では撮像データ中に何か物体が存在することは検知できるが、撮像データ中の物体が車両ということまでは認識できていない。
As shown in FIG. 2, when the vehicle moves in the vehicle traveling direction and enters the first region, and the vehicle is present in the first imaging data output by the first imaging device 1 (step S2-Yes), The
次いで車両が第２の領域内に入り、第２の撮像装置２が出力する第２の撮像データ中に車両が存在すると（ステップＳ４−Ｙｅｓ）、物体検知部３２は、撮像データ保存部３１から取得したその第２の撮像データ中の物体である車両を検知する。そして、物体検知部３２は、車両が存在することを示す第２の検知信号を速度検出部３３に出力する（ステップＳ５）。
Next, when the vehicle enters the second area and the vehicle is present in the second imaging data output from the second imaging device 2 (step S <b> 4 -Yes), the
速度検出部３３は、第１の検知信号と第２の検知信号との両方が入力されると、各検知信号の入力の時間差から車両の通過速度Ｖを検出し、検出速度を物体認識部３４に出力する（ステップＳ６）。
When both the first detection signal and the second detection signal are input, the
物体認識部３４の画像サイズ変更部３４１は、速度検出部３３からの検出速度Ｖが入力されると、撮像データ保存部３１から撮像データを取得し、検出速度Ｖに応じて、撮像データに含まれる車両の画像のサイズを変更する（ステップＳ７）。このようにサイズ変更することにより、車両のライン方向の長さは、車両が基準速度Ｖｂで通過する場合におけるライン方向の長さに対応したものとなる。
When the detection speed V from the
画像サイズ変更部３４１は、サイズ変更処理を行うと、その変更後の撮像データを判定部３４２に出力する。ここで、サイズ変更される画像を含む撮像データは、第１の撮像装置１で撮像された第１の撮像データでも、第２の撮像装置２で撮像された第２の撮像データのいずれであってもよい。
When the image
判定部３４２は、画像サイズ変更部３４１から変更後の画像を含む撮像データが入力されると、変更された撮像データと、撮像データ保存部３１に保存される複数のテンプレートデータとを比較し（ステップＳ８）、撮像データがテンプレートデータに含まれる対象物の特徴パターンを有するか否かを判定し、その判定結果を認識結果出力部３４３に出力する。
When the imaging data including the changed image is input from the image
例えば撮像データ保存部３１にテンプレートデータＡ、Ｂ、Ｃが保存されており、各テンプレートデータがそれぞれ、対象物である軽自動車、乗用車、トラックの特徴パターンを有する場合、判定部３４２は変更後の撮像データとテンプレートデータＡ、Ｂ、Ｃとをそれぞれパターンマッチング処理を行う。ここでは、撮像データにはテンプレートデータＣの特徴パターンが含まれるものとして説明する。
For example, when template data A, B, and C are stored in the imaging
このとき、撮像データにふくまれる車両のライン方向の長さは、車両がいずれの速度で通過しようとも、基準速度Ｖｂで通過する場合のライン方向の長さに対応するようサイズ変更されており、また、テンプレートデータＡ、Ｂ、Ｃに含まれる対象物の特徴パターンは基準速度Ｖｂで通行する場合のサイズに対応させたものとなっている。そのため、車両の通過速度が異なることによるミスマッチを防止し、パターンマッチング処理のマッチング精度の低下を防止することができる。また、様々な通過速度に対応したテンプレートデータを用意する必要がないので、パターンマッチング処理における計算コストを下げることが可能となる。 At this time, the length in the line direction of the vehicle included in the imaging data is resized to correspond to the length in the line direction when the vehicle passes at the reference speed Vb, regardless of the speed. Further, the feature patterns of the objects included in the template data A, B, and C are made to correspond to the size when passing at the reference speed Vb. Therefore, it is possible to prevent mismatch due to different passing speeds of the vehicles and to prevent the matching accuracy of the pattern matching process from being lowered. In addition, since it is not necessary to prepare template data corresponding to various passing speeds, it is possible to reduce the calculation cost in the pattern matching process.
認識処理部３４３は、判定部３４２での判定結果にもとづいて物体を認識し、その結果を出力する（ステップＳ９）。つまり、認識処理部３４３は、判定部３４２から、撮像データにはテンプレートデータＣの特徴パターンが含まれるという判定結果が入力されると、撮像データに含まれる物体である車両はトラックであると認識し、その結果を出力する。
The
ここで、判定部３４２はサイズ変更された撮像データに含まれる物体の一部と対象物が同一か否か判定してもよい。すなわち、テンプレートデータを車軸の特徴量を有するデータとし、車両の画像を含む撮像データと車軸の特徴量を有するテンプレートデータとでパターンマッチング処理を行ってもよい。こうすることにより、物体である車両の一部に車軸が存在するか否かを判定、認識することが可能となる。またテンプレートデータについては、基準速度で通過する際の車軸の特徴量を有するテンプレートデータだけを保存していればよく、複数の速度に対応した車軸の特徴量を有する複数のテンプレートデータは不要となるので、保存しておくテンプレートデータのパターンの量を大幅に削減することができる。
Here, the
以上のように、本発明の実施の形態１によれば、検出した物体の速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、マッチングの精度を向上させ精度高い物体認識が可能となる。 As described above, according to the first embodiment of the present invention, the size of the object image included in the imaging data is changed according to the detected speed of the object, and the changed imaging data and the template data are subjected to pattern matching. Since the object is recognized by processing, the accuracy of matching is improved and the object recognition can be performed with high accuracy.
また、複数の速度に対応した複数のテンプレートデータを予め用意する必要がなくなるので、撮像データとパターンマッチング処理するテンプレートデータ量が減少し、パターンマッチング処理における計算コストを削減して処理時間の増大を防止することが可能となる。 In addition, since it is not necessary to prepare a plurality of template data corresponding to a plurality of speeds in advance, the amount of template data to be subjected to pattern matching processing with imaging data is reduced, the calculation cost in the pattern matching processing is reduced, and the processing time is increased. It becomes possible to prevent.
また、検出した物体である車両の速度に応じて撮像データに含まれる物体の画像のサイズを変更し、その変更後の撮像データと車軸の特徴量を有するテンプレートデータとをパターンマッチング処理することにより、マッチングの精度を良くし、かつ、その計算コストを下げて、通行する車両の車軸を認識することが可能となる。 In addition, by changing the size of the image of the object included in the imaging data in accordance with the speed of the vehicle that is the detected object, pattern matching processing is performed on the imaging data after the change and the template data having the axle feature amount. Thus, it is possible to improve the matching accuracy and reduce the calculation cost, thereby recognizing the axle of the passing vehicle.
なお、これまで第１の撮像装置１から出力される第１の撮像データ及び第２の撮像装置２から出力される第２の撮像データは、撮像データ保存部３１に一旦保存されてから物体検知部３２及び物体認識部３４に入力されていたが、この構成に限らず、例えば第１の撮像装置１及び第２の撮像装置２から直接物体検知部３２及び物体認識部３４に出力されることとしてもよい。以下も同様である。
The first imaging data output from the
なお、これまで撮像データ保存部３１は物体認識装置３の内部に備えられた構成としたが、これに限らず、物体認識装置３の外部の記憶装置に備えられた構成としてもよい。以下も同様である。
The imaging
なお、これまで複数のテンプレートデータは撮像データ保存部３１に保存されているとして説明を行ったが、これに限るものではなく、例えば物体認識装置３内の別メモリに保存してもよいし、物体認識部３４の内部メモリに保存してもよい。以下も同様である。
In the above description, a plurality of template data has been described as being stored in the imaging
実施の形態２．
以下図面を用いて本発明の実施の形態２について説明する。図８は実施の形態２に係る物体認識システムの構成図である。図９は実施の形態２における第１の撮像装置と速度計の配置を説明するための図である。図１０は実施の形態２の動作を説明するフローチャートである。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
The second embodiment of the present invention will be described below with reference to the drawings. FIG. 8 is a configuration diagram of an object recognition system according to the second embodiment. FIG. 9 is a diagram for explaining the arrangement of the first imaging device and the speedometer in the second embodiment. FIG. 10 is a flowchart for explaining the operation of the second embodiment. Portions corresponding to the configuration of the image display system according to the first embodiment are denoted by the same reference numerals as those in FIG.
実施の形態２の物体認識システムは、図８に示すように、第１の撮像装置１と、物体認識装置３と、速度計４とを備え、物体認識装置３は撮像データ保存部３１と物体認識部３４を有する。また、物体認識部３４は、実施の形態１と同様に、図５に示す画像変換部３４１、判定部３４２、認識結果出力部３４３とを有する。実施の形態２の物体認識システムは、撮像装置が１台である点と、物体認識装置３が物体検知部３２と速度検出部３３とを有していない点において実施の形態１と異なる。
As shown in FIG. 8, the object recognition system of
速度計４は、図９に示すように、通行経路の傍に、第１の撮像装置１と所定の間隔をおいて設置されている。この速度計４は、通過する車両等の物体が速度を検出する領域内に入ると、物体の速度を検知して物体認識部３４の速度比較部３４０に出力する。なお、速度計４は物体速度検出手段を構成する。
As shown in FIG. 9, the speedometer 4 is installed at a predetermined distance from the
図１０を用いて本発明の実施の形態２の動作について説明する。 The operation of the second embodiment of the present invention will be described with reference to FIG.
第１の撮像装置１は所定時間間隔で取得した第１の撮像データを物体認識装置３の撮像データ保存部３１に出力している（ステップＳ０１）。
The
車両が車両進行方向に移動して速度計４による速度を検出する領域内に入り、速度計４が車両の速度を検出すると（ステップＳ０２−Ｙｅｓ）、その検出した速度を物体認識部３４の画像サイズ変更部３４１に出力する（ステップＳ０３）。なお、この時点では撮像データ中の物体が車両ということは認識できていない。
When the vehicle moves in the vehicle traveling direction and enters the region where the speedometer 4 detects the speed, and the speedometer 4 detects the speed of the vehicle (step S02-Yes), the detected speed is displayed on the image of the
速度計４により検出された速度が画像サイズ変更部３４１に入力された後の処理（ステップＳ０４〜Ｓ０６）については、実施の形態１で説明した図７のステップＳ７〜Ｓ９と同一であるので、説明を省略する。
Since the processing (steps S04 to S06) after the speed detected by the speedometer 4 is input to the image
以上のように、本発明の実施の形態２によれば、速度計４により物体の通行速度を検出し、その検出速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、実施の形態１よりも撮像装置の設置台数が減り、物体認識装置３において物体検知処理、速度検出処理が不要となるので、実施の形態１と同一の効果を有することに加え、さらに計算コストを下げることが可能となり、また、装置規模を縮小することが可能となる。
As described above, according to the second embodiment of the present invention, the speed of the object is detected by the speedometer 4, and the size of the image of the object included in the imaging data is changed according to the detected speed. Since the object is recognized by pattern matching processing of the imaging data and the template data, the number of installed imaging devices is reduced as compared with the first embodiment, and the object recognition processing and the speed detection processing are not required in the
実施の形態３．
以下図面を用いて本発明の実施の形態３について説明する。図１１は実施の形態３に係る物体認識部の構成図である。図１２は実施の形態３に係る高度ヒストグラム算出処理の一例を説明するための図である。図１３は実施の形態３における撮像データに対しての検知フラグ算出処理の一例を説明するための図である。図１４は実施の形態３の動作を説明するフローチャートである。図１５は実施の形態３に係る高度ヒストグラム算出処理の他の例を説明するための図である。図１６は実施の形態３における撮像データに対しての検知フラグ算出処理の他の例を説明するための図である。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
実施の形態３の物体認識システムは、物体認識装置３の構成が実施の形態１と異なり、図１１に示すように、新たに速度比較部３４０と、平均化処理部３４４と、ヒストグラム算出領域設定部３４５と、高度ヒストグラム算出部３４６と、データ存在確率算出部３４７と、検知フラグ生成部３４８とを備える。なお、速度比較部３４０、平均化処理部３４４、ヒストグラム算出領域設定部３４５、高度ヒストグラム算出部３４６、データ存在確率算出部３４７、検知フラグ生成部３４８、はそれぞれ、速度比較手段３４０と、平均化処理手段３４４と、ヒストグラム算出領域設定手段３４５と、高度ヒストグラム算出手段３４６と、データ存在確率算出手段３４７と、検知フラグ生成手段３４８を構成する。
In the object recognition system of the third embodiment, the configuration of the
速度比較部３４０は、速度検出部３３から検出速度Ｖが入力されると、その検出速度Ｖと予め設定された速度閾値Ｖｔｈとを比較し、検出速度Ｖが速度閾値Ｖｔｈよりも速ければその検出速度Ｖを画像サイズ変更部３４１に出力する。一方、速度比較部３４０は、検出速度Ｖが速度閾値Ｖｔｈよりも遅い場合、又は速度検出部３３から車両の速度を検出できなかったことを表すエラー信号が入力された場合は、画像サイズ変更部３４１に検出速度Ｖを出力せず、平均化処理部３４４に対して処理を行うよう指示する指示信号を出力する。ここで、車両の速度を検出できない場合とは、例えば撮像装置の前で車両が停止した場合等が該当する。
When the detection speed V is input from the
速度閾値Ｖｔｈは、物体認識を行う制限時間内に車両を認識することができる最低の速度値である。すなわち、車両の形状全てを含む画像を保存するために必要な最低の速度であり、車両の通過速度がこのＶｔｈを下回ったとき、制限時間内に車両の全形状の画像が含まれる撮像データが得られないこととなる。速度閾値Ｖｔｈの求め方についての詳細は後述する。 The speed threshold Vth is the lowest speed value at which the vehicle can be recognized within the time limit for performing object recognition. That is, it is the minimum speed necessary for storing an image including the entire shape of the vehicle, and when the vehicle passing speed falls below the Vth, imaging data including an image of the entire shape of the vehicle within the time limit is obtained. It will not be obtained. Details of how to obtain the speed threshold Vth will be described later.
平均化処理部３４４は、速度比較部３４０から指示信号が入力されると、撮像データ保存部３１から撮像データを取得し、撮像データに含まれる車両画像のライン方向に対して移動平均処理を行う。この移動平均処理を行うことにより、移動平均点数をＮＡとして、このＮＡの平方根倍でＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が上昇し、画質を向上させることが可能となる。移動平均点数ＮＡは任意に定めることができるが、１例としては、物体認識を行う必要がある制限時間をＴＬとすると、式（４）のように求められる。
When an instruction signal is input from the
なお、平均化処理部３４４の代わりにＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ、Ｂｕｔｔｅｒｗｏｒｔｈフィルタ等のＩＩＲフィルタを用いその次数をＮＡとしてもよい。
Instead of the averaging
ここでの撮像データは、強度データと距離データとからなる三次元データに相当するが、これに限定するものではなく、例えば距離データの三次元データのみに相当するものであってもよい。また、ここでの撮像データは、第１の撮像データでも第２の撮像データのいずれでもよく、以下は単に撮像データとして説明する。 The imaging data here corresponds to three-dimensional data composed of intensity data and distance data, but is not limited to this, and may correspond to only three-dimensional data of distance data, for example. Further, the imaging data here may be either the first imaging data or the second imaging data, and the following will be described simply as imaging data.
ヒストグラム算出領域設定部３４５は、平均化処理部３４４により移動平均処理がなされた撮像データに対して、第１の領域（又は第２の領域）を所定領域に絞り込み、絞り込んだ所定領域についての撮像データを出力する。この所定領域をヒストグラム算出領域と定義して以下説明する。
The histogram calculation
このヒストグラム算出領域は、図１２に示すよう、高度方向の上限値Ｈ１a、下限値Ｈ２a、奥行距離方向の上限値Ｓ１a、下限値Ｓ２aとで囲まれた領域である。例えば、高度方向の上限値Ｈ１aは撮像装置で撮像可能な最大高さに設定され、高度方向の下限値Ｈ２aは国産車の最低地上高度に設定され、奥行距離方向の上限値Ｓ１aは車両が走行している車線幅に設定され、奥行距離方向の下限値Ｓ２aは撮像装置と車両との最小距離に設定されるが、これに限定されるものではない。 As shown in FIG. 12, the histogram calculation area is an area surrounded by an upper limit value H1a in the altitude direction, a lower limit value H2a, an upper limit value S1a in the depth distance direction, and a lower limit value S2a. For example, the upper limit value H1a in the altitude direction is set to the maximum height that can be imaged by the imaging device, the lower limit value H2a in the altitude direction is set to the lowest ground altitude of the domestic vehicle, and the upper limit value S1a in the depth distance direction is set by the vehicle. The lower limit value S2a in the depth distance direction is set to the minimum distance between the imaging device and the vehicle, but is not limited to this.
高度ヒストグラム算出部３４６は、撮像データのうちのヒストグラム算出領域を高度（高さ）方向にＮ分割して総数Ｎ個の区間（高さビン）Ｂｈaを作成し高度ヒストグラムＣａを算出する。この高さビンＢｈaの幅は任意に設定できるが、例えば撮像データの有する高さ方向の空間分解能に相当する値とすればよい。
The altitude
図１２では高さビンの分割数を２と設定し、車両のルーフ部分Ｂａに該当する撮像データが上部のビンに複数個格納され、車両のドア部分Ｂａ、車両床部分、及びタイヤ部分Ａ’に該当する撮像データが下部のビンに複数個格納される。路面はヒストグラム算出領域外となっているので、路面に該当する撮像データは高さビンには格納されない。そして、高度ヒストグラム算出部３４６は、算出したヒストグラムをデータ存在確率算出部３４７に出力する。
In FIG. 12, the division number of the height bin is set to 2, and a plurality of imaging data corresponding to the roof portion Ba of the vehicle are stored in the upper bin, and the vehicle door portion Ba, vehicle floor portion, and tire portion A ′. A plurality of image data corresponding to the above are stored in the lower bin. Since the road surface is outside the histogram calculation area, imaging data corresponding to the road surface is not stored in the height bin. Then, the altitude
データ存在確率算出部３４７は、高度ヒストグラム算出部３４６で算出された高度ヒストグラムＣａに基づき、強度データ又は距離データが所定数以上格納されたビン数ｎと、高さ方向に分割したビン総数Ｎとの比率ｎ/Ｎをデータ存在確率Ｐaとして算出する。そして、データ存在確率算出部３４７は、図１３(a)に示す撮像データに含まれる車両の断面、つまりライン方向に沿ってデータ存在確率Ｐaを取得する（図１３(b)に対応）。そして、データ存在確率算出部３４７は、車両のライン方向に沿って得たデータ存在確率Ｐaについてのデータを検知フラグ生成部に出力する。なお、撮像データに含まれる車両の画像は、車両の検出速度Ｖが速度閾値Ｖｔｈを下回っているため、図１３(a)に示すように、車両の全形状のうち一部領域が欠落した画像となる。
Based on the altitude histogram Ca calculated by the altitude
検知フラグ生成部３４８は、データ存在確率算出部３４７で算出されたデータ存在確率Ｐaと予め設定された閾値とを比較することにより検知フラグを生成する。
The detection
検知フラグ生成部３４８は複数の閾値の組（上限閾値、下限閾値）を有し、データ存在確率Ｐaが、上限閾値よりも高い場合には検知フラグをＨ、上限閾値よりも低く下限閾値よりも高い場合はＭ、下限閾値よりも低い場合はＬとする。複数の閾値の組は対象物毎、すなわち車種毎、車両サイズ毎に異なるものとされており、例えばトラック用の閾値の組Ｄ、軽自動車用の閾値の組Ｅ、乗用車用の閾値の組Ｆはそれぞれ異なる値である。このように検知フラグ生成部３４８は、対象物に応じて値が異なる複数の閾値の組と、データ存在確率Ｐaとをそれぞれ比較する。
The detection
例えば図１３(b)に示すデータ存在確率Ｐaが入力されると、検知フラグ生成部３４８は、このデータ存在確率Ｐaと上限閾値、下限閾値との比較を行う。ここでは撮像データに含まれる物体である車両は乗用車とし、比較用の閾値の組も乗用車用の閾値の組Ｆとする。比較の結果、図１３(a)に示す撮像データのうち、車両のタイヤ部分におけるデータ存在確率Ｐaは上限閾値を超えているのでＨとなる。車両のルーフ部分におけるデータ存在確率Ｐaは下限閾値よりも大きくかつ上限閾値未満となるのでＭとなる。その他の部分におけるデータ存在確率Ｐaは下限閾値よりも小さくなるのでＬとなる。その結果、図１３(c)に示されるパターンの検知フラグが検知フラグ生成部３４８により生成される。
For example, when the data existence probability Pa shown in FIG. 13B is input, the detection
検知フラグ生成部３４８は、乗用車用の閾値の組Ｆ以外の組の閾値に対してもデータ存在確率Ｐaと比較するが、Ｆ以外の組の閾値においては図１３(c)に示されるような検知フラグのパターンは生成されない。これは、乗用車とトラック、乗用車と軽自動車とでライン方向におけるデータ存在確率Ｐaの値が異なるためである。そのため、閾値の組Ｆにおいて図１３(c)のような検知フラグのパターンが生成されるのは、乗用車に対しては乗用車用の閾値の組Ｆだけとなる。
The detection
検知フラグ生成部３４８は、データ存在確率Ｐaと対象物に応じた閾値の組とをそれぞれ比較して複数の検知フラグを生成すると、生成した検知フラグパターンと対応する対象物の情報とを対応づけて認識処理部３４３に出力する。例えば上記の閾値の組Ｄ、Ｅ、Ｆと図１３(b)に示すデータ存在確率Ｐとを比較した場合、Ｄと比較され生成された検知フラグパターンと「トラック」という情報、Ｅと比較され生成された検知フラグパターンと「軽自動車」、Ｆと比較され生成された検知フラグパターン（図１３(c)に対応）と「乗用車」という情報をそれぞれ認識処理部３４３に出力する。
When the detection
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグパターンと当該パターンに対応する対象物の情報とに基づいて、物体の認識を行う。つまり、認識処理部３４３は、入力された複数の検知フラグパターンを読み取り、所望の検知フラグパターンに対応する閾値の組についての情報から、物体の認識を行う。例えば閾値の組Ｄ、Ｅ、Ｆとの比較により生成された検知フラグパターンと対応する対象物の情報とが入力された場合、認識処理部３４３は、物体を、図１３(c)に示す所望の検知フラグパターンに対応する乗用車であると認識する。
The
図１４を用いて本発明の実施の形態３の動作について説明する。 The operation of the third embodiment of the present invention will be described with reference to FIG.
ステップＳ００１からＳ００６までの処理については、実施の形態１で説明した図７のステップＳ１〜Ｓ６と同一であるので、説明を省略する。 Since the processing from steps S001 to S006 is the same as steps S1 to S6 in FIG. 7 described in the first embodiment, the description thereof is omitted.
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖと速度閾値Ｖｔｈとを比較し（ステップＳ００７）、検出速度Ｖが設定速度Ｖｂよりも速い場合（ステップＳ００８−Ｙｅｓ）、画像サイズ変更部３４１に検出速度Ｖを出力し、その後ステップＳ００９〜Ｓ０１１までの処理がなされることとなる。これらステップＳ００９〜Ｓ０１１までの処理は、実施の形態１で説明した図７のステップＳ７〜Ｓ９と同一であるので、説明を省略する。
The
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが設定速度Ｖｂよりも遅い場合、又は速度検出部３３からエラー信号が入力された場合（ステップＳ００８−Ｎｏ）、ステップＳ００９〜Ｓ０１１までの処理はなされず、ステップＳ０１２〜Ｓ０１７までの処理がなされるよう、処理が切り替わる。つまり、速度比較部３４０は、画像サイズ変更部３４１に検出速度Ｖを出力せず、平均化処理部３４４に対して指示信号を出力することにより処理を切り替える。
When the detected speed V detected by the
平均化処理部３４４は、速度比較部３４０より指示信号が出力されると、撮像データ保存部３１から取得した撮像データに対し移動平均処理を行い、ノイズの除去をする（ステップＳ０１２）。
When the instruction signal is output from the
ヒストグラム算出領域設定部３４５は、移動平均処理が行われた撮像データにおける第１の領域（又は第２の領域）を絞り込み、ヒストグラム算出領域を得る（ステップＳ０１３）。
The histogram calculation
高度ヒストグラム算出部３４６は、ヒストグラム算出領域を高さ方向にＮ分割して総数Ｎ個の高さビンＢｈaを作成し高度ヒストグラムＣａを算出する（ステップＳ０１４）。高度ヒストグラム算出部３４６は、この高度ヒストグラムを車両のライン方向に沿って算出する。
The altitude
データ存在確率算出部３４７は、車両のライン方向に沿って算出された高度ヒストグラムに基づき、強度データ又は距離データが所定数以上格納されたビン数ｎと、高さ方向に分割したビン総数Ｎとの比率ｎ/Ｎから、車両のライン方向に沿ったデータ存在確率Ｐaを算出する（ステップＳ０１５）。
Based on the altitude histogram calculated along the line direction of the vehicle, the data existence
検知フラグ生成部３４８は、データ存在確率算出部３４７で算出されたデータ存在確率Ｐaと、対象物に応じてそれぞれ値が異なる閾値の組とを比較することにより複数の検知フラグを生成し、生成した複数の検知フラグパターンと各パターンに対応する対象物の情報とを認識処理部３４３に出力する（ステップＳ０１６）。
The detection
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグのパターンとそのパターンに対応する対象物の情報とから、検知された物体を、所望の検知フラグパターンに対応する対象物であると認識する（ステップＳ０１７）。
The
ここで、ヒストグラム算出領域設定部３４５は、上述したように、車両全体が含まれるような領域をヒストグラム算出領域として設定してもよいが、図１５(a)(b)に示すように、車両のタイヤが含まれる程度の広さの領域に設定してもよい。この場合、ヒストグラム算出領域設定部３４５は、例えば高度方向の上限値Ｈ１を国産車の最低地上高度、下限値Ｈ２を路面に対する高度の標準偏差値、奥行距離方向の上限値Ｓ１を国内で販売されているタイヤ幅の最大値、下限値Ｓ２を撮像装置１と物体との最小距離、のように設定する。
Here, as described above, the histogram calculation
高度ヒストグラム算出部３４６は、ヒストグラム算出領域を高さ方向にＮ分割して総数Ｎ個の高さビンＢｈを作成し、高度ヒストグラムを算出する。図１５(a)に示すように、ヒストグラム算出領域内にタイヤが存在する場合は、設定した高さビンＢｈのいずれの位置においても強度データ又は距離データが存在するヒストグラムＣになるので、データ存在確率Ｐａは１００％となる。
The altitude
一方、図１５(b)に示すように、ヒストグラム算出領域内にタイヤが存在しない場合、設定した高さビンＢｈの一部についてのみ強度データ又は距離データが存在するので、偏ったヒストグラムＣとなり、データ存在確率Ｐａは２５％程度となる。高度ヒストグラム算出部３４６は、上述したように、車両のライン方向に沿って高度ヒストグラムを算出する。
On the other hand, as shown in FIG. 15 (b), when there is no tire in the histogram calculation region, since intensity data or distance data exists only for a part of the set height bin Bh, a biased histogram C is obtained. The data existence probability Pa is about 25%. As described above, the altitude
データ存在確率算出部３４７は、ヒストグラム算出領域内にタイヤが存在する場合、図１６(a)に示す車両のライン方向に沿ってデータ存在確率Ｐを取得する（図１６(b)に対応）。ここで得られたデータ存在確率Ｐは、車両のタイヤが検知されるときに値が高くなる。
When there is a tire in the histogram calculation area, the data existence
検知フラグ生成部３４８は、データ存在確率Ｐと予め設定した閾値とを比較することにより検知フラグを生成し、生成した検知フラグパターンを認識処理部３４３に出力する。
The detection
検知フラグは、図１６(b)に示すデータ存在確率Ｐのうち、タイヤが存在しない部分においては閾値を超えず値が０となり、タイヤが存在する部分においては閾値を超え１となる。そのため、検知フラグ生成部３４８は、タイヤが存在する場合には図１６(c)に示すようなタイヤの存在を表す１の検知フラグパターンを生成し、タイヤが存在しない場合においては０の検知フラグパターンを生成することとなる。
In the data existence probability P shown in FIG. 16 (b), the detection flag does not exceed the threshold value in the portion where the tire does not exist and becomes 0, and exceeds 1 in the portion where the tire exists. Therefore, the detection
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグパターンから、物体にタイヤが存在するか否か、言い換えると、物体に車軸が存在するか否かを判定する。そして、認識処理部３４３は、物体に車軸が存在すると判定すると、物体は車両であると認識する。
The
なお、取得された撮像データに含まれる車両の画像に後輪のタイヤも含まれた場合、検知フラグのパターンは１のピークが２つ生じるようなパターンとなり、前輪のタイヤのみが検出された場合と同様に物体中に車軸が存在すると判定され、認識処理部３４３により物体は車両であると認識される。
When the rear wheel tire is also included in the image of the vehicle included in the acquired imaging data, the detection flag pattern is a pattern in which two 1 peaks occur, and only the front wheel tire is detected. Similarly, it is determined that an axle is present in the object, and the
以上のように、本発明の実施の形態３によれば、実施の形態１の効果に加え、物体の検出速度が速度閾値よりも遅い場合又は物体の通過する速度が検出できなかった場合には、撮像データ内の領域を絞り込んだヒストグラム算出領域に対して高度ヒストグラムを算出し、その高度ヒストグラムから算出したデータ存在確率と閾値とを比較することにより検知フラグを生成し、その検知フラグのパターンから物体を認識するようにしたので、物体の形状全てを含む画像を保存できない場合であっても、物体を認識することが可能となる。 As described above, according to the third embodiment of the present invention, in addition to the effect of the first embodiment, when the detection speed of the object is lower than the speed threshold or when the speed of the object passing cannot be detected. Then, an altitude histogram is calculated for a histogram calculation area obtained by narrowing down the area in the imaging data, and a detection flag is generated by comparing the data existence probability calculated from the altitude histogram with a threshold, and from the detection flag pattern Since the object is recognized, the object can be recognized even when the image including all the shapes of the object cannot be saved.
なお、物体認識部３４７は、図１１に図示しないデータ削除部を備えていてもよい。データ削除部は、撮像データ保存部３１において保存していたデータ量の検査を行う。データ量閾値をＭとすると、その決定方法として、例えば、搭載されているメモリ量をＭｅ(bit)とすると、１ラインの画素数Ｎ、１データのbit数Ｆを用いて、式（５）のように求められる。
The
また、データ削除部は、物体認識を行う必要がある制限時間ＴＬを用いて、式（６）のように求めてもよい。ただし、式（５）又は式（６）に制限されるものではない。保存されていたデータ量がＭ以上である場合、データ削除部３４７は、最古のデータを破棄し、その結果を電気信号として撮像データ保存部３１に出力する。
In addition, the data deletion unit may obtain the following equation (6) using the time limit TL that requires object recognition. However, it is not limited to Formula (5) or Formula (6). When the stored data amount is M or more, the
ここで、速度閾値Ｖｔｈの求め方についてその詳細を説明する。速度閾値Ｖｔｈは、式（５）又は式（６）におけるＭを用いて、式（７）のように表される。また、ユーザが任意にＭを定義してもよい。 Here, details of how to obtain the speed threshold value Vth will be described. The speed threshold Vth is expressed as in Expression (7) using M in Expression (5) or Expression (6). The user may arbitrarily define M.
実施の形態４．
以下図面を用いて本発明の実施の形態４について説明する。図１７は実施の形態４に係る物体認識部の構成図である。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
Embodiment 4 FIG.
Embodiment 4 of the present invention will be described below with reference to the drawings. FIG. 17 is a configuration diagram of an object recognition unit according to the fourth embodiment. Portions corresponding to the configuration of the image display system according to the first embodiment are denoted by the same reference numerals as those in FIG.
実施の形態４の物体認識システムは、実施の形態３の物体認識システムと比較して、図１８に示すように、新たに平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとを備えた構成であってもよい。これら各構成はそれぞれ図１１の平均化処理部３４４、ヒストグラム算出領域設定部３４５、高度ヒストグラム算出部３４６、データ存在確率算出部３４７、検知フラグ生成部３４８と同一の機能を有するためその説明は省略する。また、速度比較部３４０に検出速度が入力されるまでの動作は実施の形態３と同一であるので、その説明は省略する。
Compared with the object recognition system of the third embodiment, the object recognition system of the fourth embodiment newly includes an averaging
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが速度閾値Ｖｔｈよりも遅い場合、又は速度検出部３３からエラー信号が入力された場合、平均化処理部３４４に指示信号を出力する。その後は図１４のステップＳ０１２〜Ｓ０１７の処理がなされて物体が認識される。
The
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが速度閾値Ｖｔｈよりも速い場合、画像サイズ変更部３４１及び平均化処理部３４４aに検出速度Ｖを出力する。その後は画像サイズ変更部３４１と、判定部３４２とにより図１４のステップＳ００９、Ｓ０１０の処理がなされ、また、平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとにより図１４のステップＳ０１２〜Ｓ０１６に対応する処理もなされる。
When the detection speed V detected by the
そして、認識処理部３４３は、判定部３４２から出力される判定結果と、検知フラグ生成部３４８aから出力される検知フラグパターン及び対象物の情報と、に基づいて、物体の認識結果を外部ＰＣ等へ出力する。つまり、認識処理部３４３は、画像のサイズが変更された撮像データと基準速度に対応するテンプレートデータとが比較された結果と、撮像データの高度方向について算出したヒストグラムから生成された検知フラグのパターン及び対象物の情報とから物体又は物体の一部を認識する。判定部３４２からの結果と検知フラグ生成部３４８aからの結果が異なる場合は、判定部３４２からの結果を優先させることが好ましい。
Then, the
こうすることにより、実施の形態１〜３と比較して、認識処理部３４３における物体認識の精度を向上させることが可能となる。
By doing so, it is possible to improve the accuracy of object recognition in the
なお、平均化処理部３４４aは、移動平均点数ＮＡを、オフセットＣを用いて式（８）のように求めてもよい。動的に移動平均点数を制御することによって、最適な平均化処理を行うことが可能となる。
Note that the averaging
なお、速度閾値Ｖｔｈを複数設定してもよく、例えばＶｔｈ、Ｖｔｈ_ｓ（Ｖｔｈ＜Ｖｔｈ_ｓ）とすると、速度比較部３４０において検出速度ＶがＶｔｈ_ｓよりも大きければ図１４のステップＳ００９〜Ｓ０１１に対応する処理がなされ、検出速度ＶがＶｔｈよりも小さければ図１４のステップＳ０１２〜０１７に対応する処理がなされる。検出速度ＶがＶｔｈよりも大きくＶｔｈ_ｓよりも小さければ、本実施の形態で説明したように、画像サイズ変更部３４１と、判定部３４２とにより図１４のステップＳ００９、Ｓ０１０の処理がなされ、また、平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとにより図１４のステップＳ０１２〜Ｓ０１６に対応する処理がなされ、認識処理部３４３は判定部３４２から出力される判定結果と、検知フラグ生成部３４８aから出力される検知フラグパターン及び対象物の情報と、に基づいて、物体を認識する、というようにしてもよい。また、Ｖｔｈ_ｓについては任意に設定してもよい。
A plurality of speed threshold values Vth may be set. For example, assuming that Vth and Vth_s (Vth <Vth_s), if the detected speed V is larger than Vth_s in the
１ 第１の撮像装置
２ 第２の撮像装置
３ 物体認識装置
３１ 撮像データ保存部
３２ 物体検知部
３３ 速度検出部
３４ 物体認識部
３４０ 速度比較部
３４１ 画像サイズ変更部
３４２ 判定部
３４３ 認識処理部
３４４、３４４a 平均化処理部
３４５、３４５a ヒストグラム算出領域設定部
３４６、３４６a 高度ヒストグラム算出部
３４７、３４７a データ存在確率算出部
３４８、３４８a 検知フラグ生成部
４ 速度計
DESCRIPTION OF
Claims (8)
前記物体が通過する速度を検出する物体速度検出手段と、
前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備え、
前記物体認識手段は、
前記検出速度と予め設定した速度閾値とを比較する速度比較部を有し、
前記検出速度が前記速度閾値よりも速い場合には前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較して前記物体又は前記物体の一部を認識し、
前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合には、前記撮像データの高度方向について算出したヒストグラムから検知フラグを生成し、前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする物体認識システム。 Imaging means for outputting imaging data obtained by irradiating laser light to a predetermined region through which an object passes;
An object speed detecting means for detecting a speed at which the object passes;
The size of the image of the object included in the imaging data output from the imaging means is changed according to the detection speed, and the imaging data after the change is compared with template data corresponding to a reference speed. Or an object recognition means for recognizing a part of the object ,
The object recognition means includes
A speed comparison unit that compares the detected speed with a preset speed threshold;
When the detection speed is faster than the speed threshold, the image size of the object included in the imaging data is changed according to the detection speed, and the changed imaging data and template data corresponding to the reference speed are obtained. Recognize the object or part of the object in comparison,
When the detection speed is slower than the speed threshold or when the speed of the object is not detected, a detection flag is generated from the histogram calculated for the altitude direction of the imaging data, and the object or the An object recognition system characterized by recognizing a part of an object.
前記基準速度に対する前記検出速度の割合に基づいて前記物体又は前記物体の一部の画像の通過方向の長さを変更してサイズを変更するサイズ変更部と、
前記サイズ変更部で変更された画像を有する前記撮像データと対象物の特徴量を有する前記テンプレートデータとでパターンマッチング処理を行い、前記撮像データが前記対象物の特徴量を有するか否かを判定する判定部と、
前記判定部により前記撮像データが前記対象物の特徴量を有すると判定された場合に、前記物体又は前記物体の一部を前記対象物と認識する認識処理部とを有することを特徴とする請求項１に記載の物体認識システム。 The object recognition means includes
A size changing unit that changes the size by changing the length of the image of the object or a part of the object based on the ratio of the detection speed to the reference speed; and
A pattern matching process is performed between the imaging data having the image changed by the size changing unit and the template data having the feature amount of the object, and it is determined whether the imaging data has the feature amount of the object. A determination unit to perform,
And a recognition processing unit that recognizes the object or a part of the object as the target when the determination unit determines that the imaging data has a feature amount of the target. Item 4. The object recognition system according to Item 1.
前記物体が通過する第１の領域にレーザ光を照射して取得した第１の撮像データを出力する第１の撮像部と、前記第１の撮像部に対して前記物体の通過方向に所定間隔をおいて配置され、前記物体が通過する第２の領域にレーザ光を照射して取得した第２の撮像データを出力する第２の撮像部とを有し、
前記物体速度検出手段は、
前記第１の撮像データから前記第１の領域内の前記物体を検知したことを示す第１の検知信号を出力し、前記第２の撮像データから前記第２の領域内の前記物体を検知したことを示す第２の検知信号を出力する物体検知部と、
前記第１の検知信号と前記第２の検知信号との入力の時間差から前記物体の通過する速度を検出する速度検出部とを有し、
前記物体認識手段は、前記第１の撮像データ又は前記第２の撮像データのいずれかに含まれる前記物体の画像のサイズを変更して前記物体又は前記物体の一部を認識することを特徴とする請求項１又は２に記載の物体認識システム。 The imaging means includes
A first imaging unit that outputs first imaging data acquired by irradiating a first region through which the object passes, and a predetermined interval in the passing direction of the object with respect to the first imaging unit; And a second imaging unit that outputs second imaging data acquired by irradiating a laser beam to a second region through which the object passes, and
The object speed detecting means is
A first detection signal indicating that the object in the first area is detected from the first imaging data is output, and the object in the second area is detected from the second imaging data. An object detection unit that outputs a second detection signal indicating that;
A speed detection unit that detects a speed at which the object passes from a time difference between inputs of the first detection signal and the second detection signal;
The object recognizing means recognizes the object or a part of the object by changing a size of an image of the object included in either the first imaging data or the second imaging data. The object recognition system according to claim 1 or 2.
前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合に、前記撮像データの高度方向についてのヒストグラムを算出する高度ヒストグラム算出部と、
前記高度ヒストグラム算出部で算出された前記高度ヒストグラムのうち所定数以上の前記撮像データが存在する割合をデータ存在確率として算出するデータ存在確率算出部と、
前記データ存在確率算出部で算出された前記データ存在確率と予め設定された閾値とを比較して前記検知フラグを生成する検知フラグ生成部とを有し、
前記認識処理部は、前記検知フラグ生成部で生成された前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする請求項１から３のいずれか１項に記載の物体認識システム。 The object recognition means includes
An altitude histogram calculation unit that calculates a histogram for the altitude direction of the imaging data when the detection speed is slower than the speed threshold or when the speed of the object is not detected;
A data existence probability calculating unit that calculates a ratio of the imaging data of a predetermined number or more in the altitude histogram calculated by the altitude histogram calculating unit as a data existence probability;
A detection flag generation unit that generates the detection flag by comparing the data presence probability calculated by the data presence probability calculation unit with a preset threshold;
The said recognition process part recognizes the said object or a part of said object from the pattern of the said detection flag produced | generated by the said detection flag production | generation part, The any one of Claim 1 to 3 characterized by the above-mentioned. Object recognition system.
前記データ存在確率算出部は、前記ビンの個数Ｎに対する前記撮像データが所定数よりも多く格納されたビンの個数ｎの比率ｎ/Ｎを前記データ存在確率として算出することを特徴とする請求項４に記載の物体認識システム。 The altitude histogram calculation unit creates N bins by dividing the imaging data in an altitude direction,
The data existence probability calculating unit calculates, as the data existence probability, a ratio n / N of the number of bins n in which more than a predetermined number of the imaging data is stored with respect to the number N of bins. 5. The object recognition system according to 4 .
前記検出速度が前記速度閾値よりも速い場合に、前記検出速度に応じて画像サイズが変更された撮像データと基準速度に対応するテンプレートデータとを比較した結果と、前記撮像データの高度方向について算出したヒストグラムから生成された前記検知フラグのパターンとに基づいて前記物体又は前記物体の一部を認識することを特徴とする請求項１から請求項５のいずれか１項に記載の物体認識システム。 The object recognition means includes
When the detection speed is faster than the speed threshold, a comparison is made between the imaging data whose image size is changed according to the detection speed and the template data corresponding to the reference speed, and the altitude direction of the imaging data is calculated. the object or the object object recognition system of the placing serial any to one of claims 1 to 5, characterized in that to recognize a portion of the based on the the pattern of the detecting flag generated from the histogram .
前記物体が通過する速度を検出する物体速度検出手段と、
前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備え、
前記物体認識手段は、
前記検出速度と予め設定した速度閾値とを比較する速度比較部を有し、
前記検出速度が前記速度閾値よりも速い場合には前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較して前記物体又は前記物体の一部を認識し、
前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合には、前記撮像データの高度方向について算出したヒストグラムから検知フラグを生成し、前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする物体認識装置。 An object recognition device for recognizing an object or a part of an object by inputting imaging data obtained by irradiating a predetermined area through which the object passes with laser light
An object speed detecting means for detecting a speed at which the object passes;
The size of the image of the object included in the imaging data output from the imaging means is changed according to the detection speed, and the imaging data after the change is compared with template data corresponding to a reference speed. Or an object recognition means for recognizing a part of the object ,
The object recognition means includes
A speed comparison unit that compares the detected speed with a preset speed threshold;
When the detection speed is faster than the speed threshold, the image size of the object included in the imaging data is changed according to the detection speed, and the changed imaging data and template data corresponding to the reference speed are obtained. Recognize the object or part of the object in comparison,
When the detection speed is slower than the speed threshold or when the speed of the object is not detected, a detection flag is generated from the histogram calculated for the altitude direction of the imaging data, and the object or the An object recognition apparatus characterized by recognizing a part of an object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011251258A JP5838750B2 (en) | 2011-11-17 | 2011-11-17 | Object recognition system and object recognition apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011251258A JP5838750B2 (en) | 2011-11-17 | 2011-11-17 | Object recognition system and object recognition apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013105474A JP2013105474A (en) | 2013-05-30 |
| JP5838750B2 true JP5838750B2 (en) | 2016-01-06 |
Family
ID=48624923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011251258A Active JP5838750B2 (en) | 2011-11-17 | 2011-11-17 | Object recognition system and object recognition apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5838750B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6426433B2 (en) * | 2014-10-27 | 2018-11-21 | 株式会社日立製作所 | Image processing apparatus, image processing method, POI information creation system, warning system, and guidance system |
| JP6724670B2 (en) * | 2016-09-09 | 2020-07-15 | 日産自動車株式会社 | Vehicle detection method and vehicle detection device |
| EP3574647B1 (en) * | 2017-01-25 | 2022-10-26 | Carrier Corporation | Line array detection and imaging system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3658137B2 (en) * | 1997-05-07 | 2005-06-08 | 株式会社リコー | Moving object recognition method |
| JP3403697B2 (en) * | 1999-05-28 | 2003-05-06 | 日本電信電話株式会社 | Image processing method and apparatus |
| JP5478419B2 (en) * | 2009-10-22 | 2014-04-23 | 三菱電機株式会社 | Axle detection system |
-
2011
- 2011-11-17 JP JP2011251258A patent/JP5838750B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013105474A (en) | 2013-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2924653B1 (en) | Image processing apparatus and image processing method | |
| JP5143235B2 (en) | Control device and vehicle surrounding monitoring device | |
| JP4832321B2 (en) | Camera posture estimation apparatus, vehicle, and camera posture estimation method | |
| JP5208147B2 (en) | Camera calibration device for in-vehicle camera | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| WO2014027478A1 (en) | Road environment recognition device | |
| JP6601506B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method, image processing program, and vehicle | |
| JP5937832B2 (en) | In-vehicle camera exposure control system | |
| US11030761B2 (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product | |
| JP6456499B2 (en) | Three-dimensional object detection device, stereo camera device, vehicle, and three-dimensional object detection method | |
| JP5838750B2 (en) | Object recognition system and object recognition apparatus | |
| JP5027710B2 (en) | Vehicle environment recognition device and preceding vehicle tracking control system | |
| JP6241172B2 (en) | Vehicle position estimation device and vehicle position estimation method | |
| JP6683245B2 (en) | Image processing device, image processing method, image processing program, object recognition device, and device control system | |
| JPWO2019082628A1 (en) | Image processing equipment, imaging equipment, driving support equipment, moving objects, and image processing methods | |
| JPWO2006087791A1 (en) | Image processing method, image processing system, image processing apparatus, and computer program | |
| JP7052265B2 (en) | Information processing device, image pickup device, device control system, mobile body, information processing method, and information processing program | |
| WO2018034304A1 (en) | Image processing system | |
| JP6331628B2 (en) | Lane recognition device | |
| JPH0757200A (en) | Method and device for recognizing travel course | |
| JP4995555B2 (en) | Image processing device | |
| WO2018100971A1 (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product | |
| JPWO2014027478A1 (en) | Road environment recognition device | |
| JP2006302095A (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| JP2009187181A (en) | Vehicular image processing apparatus and vehicular image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140919 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151026 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5838750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |