JP4743277B2 - Image data recognition method, image processing apparatus, and image data recognition program - Google Patents
Image data recognition method, image processing apparatus, and image data recognition program Download PDFInfo
- Publication number
- JP4743277B2 JP4743277B2 JP2008529068A JP2008529068A JP4743277B2 JP 4743277 B2 JP4743277 B2 JP 4743277B2 JP 2008529068 A JP2008529068 A JP 2008529068A JP 2008529068 A JP2008529068 A JP 2008529068A JP 4743277 B2 JP4743277 B2 JP 4743277B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- vehicle
- pixel
- pixels
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
本発明は、画像データ認識に関する。特に、画像データ内の被写体を検出する画像データ認識方法に関する。 The present invention relates to image data recognition. In particular, the present invention relates to an image data recognition method for detecting a subject in image data.
交通に関するシステムにおいて、固定されたカメラにより取得した画像データおよび移動体に搭載したカメラにより取得した画像データから車両や歩行者を検出する技術がある。車両や歩行者を検出する技術は、例えば、交差点の画像データを取得し、交差点内の車両を検出し、検出された車両や歩行者の存在を走行中の車両に提示することに利用される。車両や歩行者の存在を走行中の車両に提示することにより、車両の運転者は交差点内の状況を未然に知ることができる。 In a system related to traffic, there is a technique for detecting a vehicle or a pedestrian from image data acquired by a fixed camera and image data acquired by a camera mounted on a moving body. A technique for detecting a vehicle or a pedestrian is used, for example, to acquire image data of an intersection, detect a vehicle in the intersection, and present the detected vehicle or pedestrian to a traveling vehicle. . By presenting the presence of the vehicle or the pedestrian to the traveling vehicle, the driver of the vehicle can know the situation in the intersection in advance.
画像データ内の検出の対象となる車両を抽出する方式は、背景差分方式、エッジ検出方式等がある。背景差分方式は、対象物が無い背景の画像データを予め取得しておき、抽出の対象となる画像データと比較することにより、画像データ内の対象物を抽出する方式である。エッジ検出方式は、画像データ内のエッジを検出し、予め格納されたエッジデータによる雛型データと検出したエッジデータとを比較し、対象の車両を特定する方式である。 As a method for extracting a vehicle to be detected in image data, there are a background difference method, an edge detection method, and the like. The background difference method is a method of extracting a target object in image data by acquiring in advance background image data without the target object and comparing it with image data to be extracted. The edge detection method is a method of detecting an edge in image data, comparing template data based on edge data stored in advance with detected edge data, and specifying a target vehicle.
背景差分方式は、車両の影等を含む領域を検出することとなるため、画像データ内の車両のみの位置を正確に検出することができない問題があった（特許文献１）。また、エッジ検出方式も影を検出する。また、エッジ検出された部分の形状データと予め所持する物体の形状のデータベースに格納された形状データとの比較を行って物体を特定するため、検出処理に時間を要する問題があった（特許文献２）。
（発明が解決しようとする課題）
本発明は、輝度の影響を受けずにかつ計算量が少なく画像データ内の被写体を検出する画像データ認識方法を提供することを課題とする。
（課題を解決するための手段）
本発明は、上記の問題を解決する画像データ内の被写体を検出する方法を提供するために以下の構成を有する。まず、第一の画素と該第一の画素を中心とする第一の領域と前記第一の画素と比較の対象とする複数の第二の画素と該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定める。次に第一の領域とそれぞれの第二の領域とから算出した類似値をそれぞれの第二の画素に対応付ける。次に複数の第二の画素に対応付けられた類似値の内の第一の領域の特徴を示す類似値を第一の画素に対応付ける。次に第一の領域の特徴を示す類似値の分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する。(Problems to be solved by the invention)
It is an object of the present invention to provide an image data recognition method that detects a subject in image data without being affected by luminance and having a small amount of calculation.
(Means for solving the problem)
The present invention has the following configuration in order to provide a method for detecting a subject in image data that solves the above problems. First, the first pixel, the first region centered on the first pixel, the plurality of second pixels to be compared with the first pixel, and the plurality of second pixels, respectively. A plurality of second regions to be defined. Next, the similarity value calculated from the first region and each second region is associated with each second pixel. Next, a similarity value indicating a feature of the first region among the similarity values associated with the plurality of second pixels is associated with the first pixel. Next, an area where the shape determined according to the distribution state of the similarity value indicating the characteristics of the first area matches the shape previously determined as the characteristics of the object is detected as a portion of the object in the image data.
また、画像データの撮影対象領域である三次元空間での手前となる領域は大きく、三次元空間での奥となる領域を小さくする。この構成により演算量を減少させることが可能となる。 In addition, a region in front of the three-dimensional space, which is the imaging target region of the image data, is large, and a region behind the three-dimensional space is reduced. With this configuration, it is possible to reduce the amount of calculation.
また、被写体の特徴として定めた形状は、車両の形状を定める条件であることを特長とする。 Further, the shape defined as the feature of the subject is a condition that determines the shape of the vehicle.
また、検出範囲の両側に大きい類似値が分布し、かつ、両側の類似値に対象性があり、かつ、検出範囲の下には小さい類似値が分布する座標を前記車両のフロントの最下部の座標とすることを特長とする。 In addition, the coordinates at which the large similarity values are distributed on both sides of the detection range, the similarity values on both sides are symmetric, and the small similarity values are distributed below the detection range are displayed at the bottom of the front of the vehicle. It is characterized by the coordinates.
また、車両は、車両の類似値の分布の対象性から画像データ内の横方向の車両の中心位置を求め、車両の分布の形状と車両の形状を定める条件から縦軸方向の位置を特定することを特長とする。
（発明の効果）
本発明によれば、画像データ内の画素毎に画素を中心とする領域毎の類似値を検出し、類似値の分布形状が予め定める条件に合致する画像データ内の領域を検出の対象とする。したがって、輝度の影響を受けずにかつ計算量が少なく画像データ内の被写体を検出する事が可能となる。Further, the vehicle obtains the center position of the vehicle in the horizontal direction in the image data from the objectivity of the distribution of similar values of the vehicle, and specifies the position in the vertical axis direction from the conditions for determining the shape of the vehicle distribution and the shape of the vehicle. It is characterized by that.
(The invention's effect)
According to the present invention, for each pixel in the image data, a similarity value for each region centered on the pixel is detected, and a region in the image data whose similarity value distribution shape matches a predetermined condition is detected. . Therefore, it is possible to detect a subject in the image data without being influenced by luminance and with a small amount of calculation.
１ 画像処理装置
２ カメラ
３ 画像メモリ
４ 自己相関差計算部
５ 路上マーク削除部
６ パターン特徴量計算部
７ 対象性特徴量計算部
８ 車両位置判定部
１０ 画像データ
１１ 画素
１２ 消失点
１３ 縦方向
１４ 横方向
１５ 車道
１６ 車両
１７ 最も手前における車道と路側帯との境界を示す点
２０ データベース
２２ 軽自動車
２３ 普通車
２４ 大型車
３１ 探索範囲
３２ 演算領域
３３ 演算対象画素
３５ 比較対象画素
３４ 比較領域
３８ 類似値
３９ 差分
４１ 横断歩道
４２ 縞模様
４３ 演算の対象とする座標点
４４ 所定量Ｌだけ横方向１４に移動した座標
４５ 所定量（−Ｌ／２）だけ横方向１４に移動した座標
４６ 所定量（Ｌ／２）だけ横方向１４に移動した座標
４７ 消失点１２を向く線分に沿うエッジ
４８ 水平方向のエッジ
５０ 分布図
５１ 車両１６の左右に位置する画素群
５２ 車両１６の左右の側面の外側に位置する画素群
５３ 車両１６の前方に位置する画素群
５４ 画素
５５ 検出対象画素
５６ Ｅｌｅｆｔ
５７ Ｅｒｉｇｈｔ
５８ Ｅｓｉｄｅ
５９ Ｅｂｏｔｔｏｍ
６０ 車両の特徴の大きさを示す値
６１ 演算中央座標
１０１ ＣＰＵ
１０３ メモリ
１０４ 出力部
１０５ バスDESCRIPTION OF
57 Eight
58 Eside
59 Ebottom
60 Value indicating size of
103
本実施例は、交差点の固定カメラの画像データから車両を取得する動作について説明する。 In this embodiment, an operation for acquiring a vehicle from image data of a fixed camera at an intersection will be described.
図１は本実施例の画像処理装置１の構成図である。本発明の画像処理装置１は、カメラ２、画像メモリ３、自己相関差計算部４、路上マーク削除部５、パターン特徴量計算部６、対象性特徴量計算部７、車両位置判定部８から構成される。
FIG. 1 is a configuration diagram of an
カメラ２で撮像した交差点の画像データは画像メモリ３に格納される。自己相関差計算部４は、画像メモリ３に格納された画像データから類似値の差分の分布図を作成する。自己相関差計算部４は、画素毎に類似値の差分を求め、類似値の差分による分布図を作成する。路上マーク削除部５は、画像メモリ３に格納された画像データに写る路上マークの領域を削除する。以上から画像処理装置１は、元の画像データから類似値の差分を算出し、路上マークを除去した分布図を得る。次にパターン特徴量計算部６は、自己相関差計算部４で作成した類似値の差分の分布図から車両のパターンを検出する。パターン特徴量計算部６は車両のパターンから車両の最前部あるいは最後部を示す画像データ内の縦方向の座標を取得する。パターン特徴量計算部６は車両パターンを検出する際、路上マーク削除部５で削除した領域情報も加味する。対象性特徴量計算部７は、自己相関差計算部４で作成した類似値の差分の分布図から車両の対象性を演算する。対象性特徴量計算部７は対象性から画像データ内の車両が存在する中心線を取得する。車両位置判定部８は、パターン特徴量計算部６と対象性特徴量計算部７とから特定される画像内の車両の横方向の位置を特定する。また、車両位置判定部８は、車両の位置から定まる車幅を取得し、取得した車幅と画像データ内の縦方向の位置からデータベースを検索して車種を特定する。
The image data of the intersection imaged by the
次に画像処理装置１がカメラ２で取得する画像データについて説明する。図２は本実施例のカメラ２が撮影する画像データ１０である。画像データ１０は画像メモリ３にディジタル形式で格納される。画像データ１０は画素１１の集合によって構成される。画素１１とは画像データ１０を構成する最小単位である。以降の説明において画像データ１０の縦方向とは縦方向１３の方向を示し、横方向とは横方向１４の方向を示す。また、縦座標とは画像データ１０内の縦方向１３の位置を特定する座標を示し、横座標とは画像データ１０内の横方向１４の位置を特定する座標を示す。消失点１２は、二次元に投影された画像データ１０を元の三次元空間で見た場合に最も奥にある座標である。
Next, image data acquired by the
上方から見下ろす場所にカメラ２を設置する場合の画像データ１０の消失点１２は、一般的に、画像データ１０内の縦方向１３の上方の位置に配置する。画像データ１０内の上方の位置に消失点１２を配置することは、画像データ１０内の車道１５が写る領域を多くすることを可能とする。したがって画像処理装置１は車道１５の縦方向１３を消失点１２が画像データ１０内で下方の位置にある場合と比較して多くの縦座標によって分解することが可能となる。縦方向１３をより多く分解することが可能となると、画像処理装置１は車道１５上の車両１６の位置を正確に取得することができる。一方、車両１６にカメラ２を搭載する場合は、一般的に、カメラ２は地面に対して水平方向を撮影するように配置される。カメラ２が車両１６に取付けられる場合は、カメラ２は車両１６のフロント部分等の低い位置に取付けられる。したがって、カメラ２が下方に向けられたアングルの場合、カメラ２は前方を走行する車両１６の最高部を撮影することができなくなる。
The vanishing
車道１５の幅は画像データ１０内の縦方向１３の下方の位置で取得すべき車道１５の幅となるようにする。このとき、最も手前における車道１５と路側帯との境界を示す点１７が画像データ１０の最下部となる。画像データ１０内の下方の位置で車道１５の幅が最大となるように配置することによりカメラ２は画像データ１０内の手前において車両１６の幅を大きく写すことが可能となる。車両１６の幅を大きく写すことにより画像処理装置１は車両１６の幅より多くの画素で分解することができ、画像処理装置１は車両１６の幅の情報を正確に取得することができる。なお、消失点１２、車道１５の幅についてのカメラ２のアングルは、道路条件、取得すべき対象に応じて変更することが可能である。
The width of the
次に画像処理装置１が有する車両１６を検出するためのデータについて説明する。画像処理装置１は画像データ１０内の消失点１２の座標情報を有する。また、画像処理装置１は最も手前における車道１５と路側帯との境界を示す点１７の座標を有する。車道１５と路側帯との境界を示す点１７の座標は道路の両側の２点となる。また、画像処理装置１は消失点１２の座標と車道１５と路側帯との境界を示す点１７の座標とを結ぶ直線から車道１５と路側帯との境界の直線を得る。また、画像処理装置１は画像データ１０内に存在する車両１６の縦方向１３の座標と車両１６の幅とを車両１６の種類毎に関連付けたデータベース２０を有する。
Next, data for detecting the vehicle 16 included in the
図３は、画像データ１０内に存在する車両１６の縦方向１３の座標値２１と車両１６の幅とを車両１６の種類毎に関連付けたデータベース２０の構成例である。例えば、縦方向１３の座標値２１が４８０個の画素１１で構成される画像データ１０は、縦方向１３の４８０個の座標値２１に応じた車両１６の幅情報を有する。車両１６の横幅は軽自動車２２、普通車２３、大型車２４に応じてほぼ決まる。例えば普通車２３の一般的な車両の幅は１７００ｍｍである。画像処理装置１は画像データ１０内の車両１６の縦方向１３の座標値２１の位置に対応する横方向１４の車両１６の幅の画素数を予め求めることができる。本実施例のデータベース２０は、車両１６の幅の情報として縦方向１３の座標値２１の位置に応じた軽自動車２２、普通車２３、大型車２４等の横方向１４の車両１６の幅となる画素数とを関係づけて記憶する。
FIG. 3 is a configuration example of the
図２で説明すると、画像データ１０内の車道１５内の車両１６を示す四角形の底辺の長さが車両１６の幅となる画素数である。車両１６の幅の画素数は四角形が検出される縦方向１３の座標に応じて変化する。
Referring to FIG. 2, the length of the base of the quadrilateral indicating the vehicle 16 in the
次に画像処理装置１の自己相関差計算部４が行う類似値の差分の分布図の作成処理について説明する。自己相関差計算部４は、画像メモリ３に格納された画像データ１０の各画素１１に対応付けられる類似値３８の差分３９を算出する。類似値３８は、画像データ１０内に設定した第一の領域と第二の領域とを比較した時の領域全体として近似する程度を数値化したものである。
Next, a process of creating a difference map of similar values performed by the autocorrelation
図４は、取得した画像データ１０から自己相関差計算部４が類似値３８を検出する概念図である。
FIG. 4 is a conceptual diagram in which the
演算対象画素３３（第一の画素）は、演算の現在の対象となる画像データ１０内の類似値３８を求める画素１１である。演算対象画素３３は画像データ１０内の全ての画素１１が対象となる。なお、画像データ１０内において車両１６が存在し得ない領域に位置する画素１１は、類似値３８の演算を省略することも可能である。例えば、自己相関差計算部４は路側帯を超え、車両１６が明らかに存在しないと想定される範囲にある画素１１については演算を省略することが可能である。自己相関差計算部４が演算を省略することが可能な領域は予め設定される。自己相関差計算部４は演算を省略することが可能な領域以外の画素１１の全てについて類似値３８を算出する。車両１６が明らかに存在しないと想定される範囲にある画素について自己相関差計算部４が演算を省略する構成により、画像処理装置１が行う演算量が減少するため、画像処理装置１は演算結果を得るまでの時間を短縮することが可能となる。
The calculation target pixel 33 (first pixel) is a pixel 11 for obtaining the similarity value 38 in the
比較対象画素３５（第二の画素）は、演算対象画素３３に対する画像データ１０内の類似値３８を求める演算の現在の対象となる画素１１である。
The comparison target pixel 35 (second pixel) is the pixel 11 that is the current target of the calculation for obtaining the similarity value 38 in the
演算領域３２（第一の領域）は、演算対象画素３３を中心とした類似値３８を求める演算の現在の比較の対象となる領域である。比較領域３４（第二の領域）は、比較対象画素３５を中心とした演算領域３２との比較の対象となる領域である。
The calculation area 32 (first area) is an area that is the current comparison target of the calculation for obtaining the similarity value 38 with the
探索範囲３１は、演算対象画素３３に対して比較対象画素３５を設定する範囲である。探索範囲３１は演算対象画素３３と比較対象画素３５との間で画像データ１０内の座標間の距離が大きい場合、類似値３８を算出する必要がないため設定される。座標間の距離が大きく離れている場合、演算領域３２と比較領域３４とは一台の車両１６を対象としていないと考えられるためである。一方、全く異なる対象物との間で類似値３８を算出することは画像データ１０内の車両１６の誤検出の原因となるためである。例えば、探索範囲３１は演算対象画素３３を中心として車両１６が存在し得る範囲とする。
The
比較対象画素３５は探索範囲内３１の全ての画素１１を対象となる。なお、探索範囲３１と画像データ１０上において車両１６が存在し得ない領域とが重複する場合は、自己相関差計算部４は重複する範囲にある比較対象画素３５の類似値３８を算出する演算を省略することも可能である。重複する範囲にある比較対象画素３５との類似値３８を算出する演算を省略する構成にすると画像処理装置１が行う演算量が減少するため、画像処理装置１は演算結果を得るまでの時間が短縮することが可能となる。
The comparison target pixels 35 are all the pixels 11 within the
次に、自己相関差計算部４が行う類似値３８の算出方法について説明する。図５は類似値３８の算出方法のフローチャートである。自己相関差計算部４は画像データ１０内の演算対象画素３３毎に以下の手順で類似値３８を算出するための演算を行う。自己相関差計算部４は演算対象画素３３の座標（ｘ，ｙ）を特定する（Ｓ０１）。図４の演算対象画素３３の座標を（ｘ，ｙ）とする。”ｘ”は画像データ１０内の演算対象画素３３の横方向１４の座標の値である。”ｙ”は画像データ１０内の演算対象画素３３の縦方向１３の座標の値である。演算対象画素３３の座標（ｘ，ｙ）の周囲の領域が演算領域３２となる。また、演算領域３２内の各画素１１を（ｘ＋ｉ，ｙ＋ｊ）とする。”ｉ”は演算対象画素３３の座標（ｘ，ｙ）の周囲の領域内の画素１１の横方向１４の座標を特定する変数である。”ｊ”は演算対象画素３３の座標（ｘ，ｙ）の周囲の領域内の画素１１の縦方向１３の座標を特定する変数である。
Next, a method of calculating the similarity value 38 performed by the autocorrelation
自己相関差計算部４は探索範囲３１を特定する（Ｓ０２）。探索範囲３１は予め設定された大きさの値であり、演算対象画素３３の座標（ｘ，ｙ）を中心に設定される。
The autocorrelation
自己相関差計算部４は探索範囲３１の中の比較対象画素３５の座標（ｘ＋ｕ，ｙ＋ｖ）を特定する（Ｓ０３）。”ｕ”は探索範囲３１内の横方向１４の座標を特定するための変数である。”ｖ”は探索範囲３１内の縦方向１３の座標を特定するための変数である。比較対象画素３５の周囲の領域が比較領域３４となる。また比較領域３４内の各画素を（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）とする。”ｉ”は比較対象画素（ｘ＋ｕ，ｙ＋ｖ）の周囲の領域内の画素１１の横方向１４の座標を特定するための変数である。”ｊ”は比較対象画素（ｘ＋ｕ，ｙ＋ｖ）の周囲の領域内の画素１１の縦方向１３の座標を特定するための変数である。
The autocorrelation
次に自己相関差計算部４は演算領域３２と比較領域３４との間で類似値３８を算出する。類似値３８を算出する演算は、演算対象画素３３の周囲の領域内の各画素１１の座標を示す（ｘ＋ｉ，ｙ＋ｊ）の”ｉ”、”ｊ”と比較対象画素３５の周囲の領域内の各画素１１の座標を示す（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）の”ｉ”、”ｊ”の値を変化させてそれぞれの座標に対応する画素毎に比較することにより行う（Ｓ０４）。
Next, the autocorrelation
例えば、自己相関差計算部４は以下の方法により演算領域３２と比較領域３４との間の類似値３８を算出する。１．演算領域３２の画素の輝度と比較領域３４の画素の輝度との差分の絶対値の総和から算出する方法ＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、２．演算領域３２の画素の輝度と比較領域３４の画素の輝度と差分の二乗の総和から算出する方法ＳＳＤ（Ｓｕｍ Ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、および３．正規化により算出する方法ＮＣＯＲ（Ｎｏｒｍａｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ）によって算出する。以上の方法によって自己相関差計算部４は演算領域３２と比較領域３４との間の各画素間の輝度の差分を求め、輝度の差分の総和から比較領域３４全体としての類似度３８を算出する。
For example, the autocorrelation
自己相関差計算部４は、ＳＡＤにより類似値３８を算出する場合は以下の演算を行う。演算領域３２内の各座標（ｘ＋ｉ，ｙ＋ｊ）の画素１１の輝度Ｐ１（ｘ＋ｉ，ｙ＋ｊ）を取得する。次に、比較領域３４内の座標（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）の画素１１の輝度Ｐ２（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）を取得する。次に、輝度Ｐ１（ｘ＋ｉ，ｙ＋ｊ）と輝度Ｐ２（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）とで輝度の差の絶対値を演算する。演算領域３２内の全ての画素１１と比較領域３４の全ての画素１１との間でそれぞれ演算した輝度の差の絶対値の総和を算出する。自己相関差計算部４は算出した値を比較対象画素３５に対応する類似値３８とする。輝度の差分の絶対値の総和を算出する演算式は式（１）となる。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
The autocorrelation
自己相関差計算部４は、ＳＳＤにより類似値３８を算出する場合は以下の演算を行う。
The autocorrelation
自己相関差計算部４は輝度Ｐ１（ｘ＋ｉ，ｙ＋ｊ）と輝度Ｐ２（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）との間においての輝度の差分の２乗を演算する。自己相関差計算部４は演算領域３２の全ての画素と比較領域３４の全ての画素との間でそれぞれ演算した輝度の差分の２乗の総和を算出する。自己相関差計算部４は算出した値を比較対象画素３５に対応する類似値３８とする。輝度の差の２乗の総和を算出する演算式は式（２）となる。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
The autocorrelation
自己相関差計算部４は、ＮＣＯＲにより類似値３８を算出する場合は式（３）の演算を行う。”ｔ”は現在取得した画像であることを示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
The autocorrelation
自己相関差計算部４は、比較領域３４と演算領域３２との間の全ての画素について輝度の差分を算出するまで処理を繰り返す（Ｓ０５：ｎｏ）。自己相関差計算部４は輝度の差分の総和を算出すると（Ｓ０５：ｙｅｓ）、類似値３８（第一の領域と第二の領域とから算出した類似値）として比較対象画素３５に対応づけて格納する（Ｓ０６）。
The autocorrelation
自己相関差計算部４は、探索範囲３１内の全ての比較対象画素３５と演算対象画素３３との間の類似値３８を算出するまで処理を繰り返す（Ｓ０７：ｎｏ）。自己相関差計算部４は探索範囲３１内の全ての比較対象画素３５について類似値３８の算出をした場合は（Ｓ０７：ｙｅｓ）、演算対象画素３３に探索範囲３１内の各比較対象画素３５が有する類似値３８の差分３９中で特徴を示す類似値３８の差分３９（第一の領域の特徴を示す類似値）を対応付ける（Ｓ０８）。特徴を示す類似値３８の差分３９とは、演算領域３２の画像が角を含む場合に大きな値となり、演算領域３２の画像が直線、及び、アスファルト面のような変化が少ない場合に少ない値となる。Ｓ０８で対応付けられた類似値３８の差分３９は後述する車両検出処理に使用される。
The autocorrelation
ここで、Ｓ０８において自己相関差計算部４が演算対象画素３３に対応付ける類似値３８の差分３９の検出方法について説明する。自己相関差計算部４は演算対象画素３３に対応付ける類似値３８の差分３９を以下の手順で演算する。
Here, a method of detecting the difference 39 of the similarity values 38 that the autocorrelation
自己相関差計算部４が探索範囲３１内で演算する比較対象画素３５には演算対象画素３３自身も含まれる。演算対象画素３３自身の間で算出された類似値３８は探索範囲３１内の比較対象画素３５に対応する類似値３８の中で最も類似することを示す値となる。したがって、演算対象画素３３自身との間で算出した類似値３８は除く必要がある。
The comparison target pixel 35 calculated by the autocorrelation
ＳＡＤおよびＳＳＤによって算出した場合は、演算対象画素３３自身との間は同一であり、最も類似することを示す類似値３８は”０”となる。ＳＡＤ、ＳＳＤによって算出した場合でかつ演算対象画素３３自身が比較対象画素３５に含まれる場合は、自己相関差計算部４は探索範囲３１中の第二位の類似値３８を有する比較対象画素３５を検出する。例えば、自己相関差計算部４は演算対象画素３３自身との間の類似値３８を除く処理をし、探索範囲３１内の各比較対象画素３５に対応して格納された類似値３８の中で最小値となる類似値３８を取得する。自己相関差計算部４は取得した値を演算対象画素３３に対応付ける類似値３８の差分３９とする。ＳＡＤから求める演算を式（４）に示す。ＳＳＤから求める演算を式（５）に示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
When calculated by SAD and SSD, the
ＮＣＯＲの場合は、演算対象画素３３自身との間は同一であり、類似値３８は”１”となる。ＮＣＯＲの場合でかつ演算対象画素３３自身が比較対象画素３５に含まれる場合は、自己相関差計算部４は探索範囲３１中の第二位の類似値３８を有する比較対象画素３５を検出する。例えば、演算対象画素３３自身との間の類似値３８を除く処理をし、探索範囲３１内の各比較対象画素３５に対応して格納された類似値３８の中で最大値となる類似値３８を取得する。その後、自己相関差計算部４は”１”から第二位の類似値３８を引いた値を演算対象画素３３に対応付ける類似値３８の差分３９とする。ＮＣＯＲから求める演算を式（６）に示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
In the case of NCOR, the
次に第二位の類似値３８の差分３９の特徴を説明する。自己相関差計算部４が算出した類似値３８の差分３９は演算領域３２に角がある場合に大きくなる特徴がある。車両１６は正面から見ると多くの角を有する。例えば、車両１６に取付けられたフロントガラスの両側の枠部分、車両１６のフェンダーミラー部分、車両１６の正面のフロントグリル部分、車両１６の正面のナンバープレート部分等である。これらの車両１６の部分は角として画像データ１０に写っており、算出される類似値３８は他の角以外が写る領域の類似値３８と比較して大きい値となる。類似値３８が大きくなるのは、演算領域３２と比較領域３４とが同一形状の角を有する場合が少ないこと、演算領域３２と比較領域３４との間で輝度が異なる画素数が多いためである。
Next, the feature of the difference 39 of the second-like similarity value 38 will be described. The difference 39 of the similarity values 38 calculated by the autocorrelation
一方、演算領域３２に角がない場合、自己相関差計算部４が算出した類似値３８の差分３９は小さくなる特徴がある。角がない場合とは、例えば、車両１６の屋根部分のような直線のエッジ部分を領域とする場合や、アスファルトのような領域内が同系色で構成される場合である。
On the other hand, when the
自己相関差計算部４は、以上の手順による演算対象画素３３に対する類似値３８の差分３９を取得する演算処理を画像データ１０内の全ての画素１１を演算対象画素３３として行う（Ｓ０９）。自己相関差計算部４は、画像データ１０内の全ての演算対象画素３３に類似値３８の差分３９が対応付けられていない場合（Ｓ０９：ｎｏ）、演算対象画素３３を画像データ１０内の次の画素１１に移動して同様に類似値３８の差分３９を算出する。一方、自己相関差計算部４は、画像データ１０内の全ての演算対象画素３３に類似値３８の差分３９が対応付けられた場合（Ｓ０９：ｙｅｓ）、画像データ１０内の各演算対象画素３３に対応付けられた類似値３８の差分３９による分布図５０を作成する（Ｓ１０）。
The autocorrelation
ここで画像データ１０内の路上マークについて説明する。分布図５０は類似値３８の差分３９によって構成される。分布図５０の類似値３８の差分３９の値が大きい画素１１は、画像データ１０内の角が写る領域に多く分布する。しかし、類似値３８の差分３９は路上マークの角が写る領域でも値が大きくなる。したがって、このような路上マークは誤検出の原因となる。そこで画像メモリ３に格納された画像データ１０から背景の余分な部分の削除を行う。背景の余分な部分とは例えば路上マークである。路上マークとは、横断歩道、道路の中央線、歩道との境界を示す線である。本実施例では、画像データ１０内の横断歩道に関する情報を削除する処理を行う。また、本実施例では横断歩道が画像データ１０内において横方向１４と平行に描かれているものとする。また、路上マークの削除の処理は画像データ１０を取得する度に行う。事前に路上マークの領域を削除する処理の場合、路上マーク上に車両１６がある場合も路上マークの領域を削除することとなり、路上マーク上の車両１６を検出できない場合があるためである。
Here, the road mark in the
図６は横断歩道４１の例である。図６（Ａ）、（Ｂ）および（Ｃ）の横断歩道４１は車道１５上に白色で縞模様４２が描かれた領域である。路上マーク削除部５は画像データ１０から横断歩道４１の領域を以下の手順によって検出する。路上マーク削除部５が検出した横断歩道４１の領域は車両１６の検出の処理時に演算から除外する。図７は路上マーク削除部５が実行する画像データ１０から横断歩道４１領域を除外する処理のフローチャートである。
FIG. 6 is an example of a
まず、路上マーク削除部５は画像データ１０内で消失点１２を向く線分に沿うエッジ４７を消去する（Ｓ２１）。次に、路上マーク削除部５は画像データ１０内に周期的に存在する横方向１４のエッジ４８を消去する（Ｓ２２）。横断歩道４１の縞模様４２は画像データ１０内の横方向１４に存在するためである。次に、路上マーク削除部５は横断歩道４１に合致する横方向１４の周期長の繰り返しパターンを検出する（Ｓ２３）。横断歩道４１の縞模様４２の幅４９は規定されている。したがって、路上マーク削除部５は画像データ１０内の縦方向１３の座標に応じた横方向１４の縞模様４２の幅４９を事前に記憶しておくことができる。
First, the road mark deleting unit 5 deletes the
Ａｐ（ｘ，ｙ）は、現在の演算の対象とする座標４３（ｘ，ｙ）の輝度Ｐ３（ｘ、ｙ）と現在の演算の対象とする座標４３（ｘ，ｙ）から所定量Ｌだけ横方向１４に移動した座標４４（ｘ＋Ｌ，ｙ）の輝度Ｐ４（ｘ＋Ｌ、ｙ）との間の輝度の平均値である。所定量Ｌは、画像データ１０内の縦方向１３の座標”ｙ”に応じた横断歩道４１の縞模様４２の横方向１４の幅である。Ａｐ（ｘ，ｙ）はＰ３とＰ４の輝度の平均値であるため横断歩道の白色部分の時に大きくなる。路上マーク削除部５はＡｐを式（７）から求める。
Ap (x, y) is a predetermined amount L from the luminance P3 (x, y) of the coordinate 43 (x, y) that is the target of the current calculation and the coordinate 43 (x, y) that is the target of the current calculation. It is an average value of luminance between the coordinates 44 (x + L, y) moved in the
Ａｍ（ｘ，ｙ）は、現在の演算の対象とする座標４３（ｘ，ｙ）に対して所定量（−Ｌ／２）だけ横方向１４に移動した座標４５（ｘ−Ｌ／２，ｙ）の輝度Ｐ５（ｘ−Ｌ／２、ｙ）と現在の演算の対象とする座標４３（ｘ，ｙ）に対して所定量（Ｌ／２）だけ横方向１４に移動した座標４６（ｘ＋Ｌ／２，ｙ）の輝度Ｐ６（ｘ＋Ｌ／２、ｙ）との間の輝度の平均値である。輝度の平均値は横断歩道の白色部分の時に大きくなる。路上マーク削除部５はＡｍを式（８）から求める。
Am (x, y) is a coordinate 45 (x−L / 2, y) moved in the
ＡｐとＡｍとの関係は、Ｐ５およびＰ６がＰ３およびＰ４に対して”Ｌ／２”だけ横方向１４ずらした座標のため輝度が反転する関係となる。輝度が反転する関係とは、Ｐ３，Ｐ４が横断歩道４１の縞模様４２の白く塗られた部分に位置する場合、Ｐ５，Ｐ６は横断歩道４１の縞模様４２のアスファルト部分に位置する関係である。すなわち、Ａｐ（ｘ、ｙ）が極大値の時にＡｍ（ｘ、ｙ）は極小値となり、Ａｐ（ｘ、ｙ）が極小値の時にＡｍ（ｘ、ｙ）は極大値となる関係である。
The relationship between Ap and Am is a relationship in which the luminance is inverted because P5 and P6 are coordinates shifted by “L / 2” by 14 in the horizontal direction with respect to P3 and P4. The relationship in which the luminance is inverted is a relationship in which P5 and P6 are located in the asphalt portion of the
Ｃｐ（ｘ、ｙ）は、輝度Ｐ３（ｘ、ｙ）と輝度Ｐ４（ｘ＋Ｌ、ｙ）との差分絶対値である。したがって、Ｐ３とＰ４とが同じ状態の時に小さい値となる。例えば、横断歩道４１の縞模様４２の白く塗られた部分にＰ３，Ｐ４がそれぞれ位置する場合、あるいは横断歩道４１の縞模様４２のアスファルト部分にＰ３，Ｐ４がそれぞれ位置する場合である。路上マーク削除部５はＣｐを式（９）から求める。
Cp (x, y) is a difference absolute value between the luminance P3 (x, y) and the luminance P4 (x + L, y). Therefore, it becomes a small value when P3 and P4 are in the same state. For example, this is the case where P3 and P4 are located in white portions of the
Ｃｍ（ｘ、ｙ）は、輝度Ｐ５（ｘ−Ｌ／２，ｙ）と輝度Ｐ６（ｘ＋Ｌ／２，ｙ）との差分絶対値である。したがって、Ｐ５とＰ６とが同じ状態の時に小さい値となる。例えば、横断歩道４１の縞模様４２の白く塗られた部分にＰ５，Ｐ６がそれぞれ位置する場合である、あるいは横断歩道の縞模様４２のアスファルト部分にＰ５，Ｐ６がそれぞれ位置する場合である。路上マーク削除部５はＣｍを式（１０）から求める。
Cm (x, y) is an absolute difference between the luminance P5 (x−L / 2, y) and the luminance P6 (x + L / 2, y). Therefore, the value is small when P5 and P6 are in the same state. For example, this is the case where P5 and P6 are located in white portions of the
以上の算出したＡｐ、Ａｍ、Ｃｐ、Ｃｍに基づき、路上マーク削除部５は横断歩道４１の特徴点Ｅｃｗを式（１１）から算出する。
Based on the calculated Ap, Am, Cp, and Cm, the road mark deletion unit 5 calculates the feature point Ecw of the
ＥｃｗはＡｐとＡｍが反転する関係にあるときに大きい値となる。また、Ｅｃｗは差分絶対値ＣｐおよびＣｍが小さい場合に大きい値となる。したがって、横断歩道４１の領域では高い特徴点を示すこととなる。
Ecw takes a large value when Ap and Am are in a reversed relationship. Further, Ecw becomes a large value when the absolute difference values Cp and Cm are small. Therefore, a high feature point is shown in the area of the
路上マーク削除部５は算出したＥｃｗの値を対応する画素１１に対応付ける（Ｓ２４）。路上マーク削除部５は以上の演算を画像データ１０内の画素１１毎に行う（Ｓ２５）。路上マーク削除部５は横断歩道４１であると判断した領域について車両１６を特定する処理から除外する（Ｓ２６）。具体的には、路上マーク削除部５が横断歩道４１として検出した画素を自己相関差計算部４が作成した分布図５０内の画素とを対応付けて、以降の車両１６検出処理の対象外とする。なお、自己相関差計算部４は路上マーク削除部５によって横断歩道４１が除去された後の画像データ１０によって分布図５０を作成することも可能である。横断歩道４１の領域を除外することにより、画像処理装置１は車両１６を特定する処理において車両１６の誤検出を低減することができる。路上マーク削除部５は図６（Ｂ）の元の画像データ１０に対して、図６（Ｃ）の削除すべき横断歩道４１の領域を取得する。
The road mark deletion unit 5 associates the calculated Ecw value with the corresponding pixel 11 (S24). The road mark deletion unit 5 performs the above calculation for each pixel 11 in the image data 10 (S25). The road mark deletion unit 5 excludes the area determined to be the
次に、画像処理装置１は演算領域３２の特徴を示す類似値の分布の状態に応じて定まる形状が予め車両（被写体）の特徴として定めた形状に合致する領域を画像データ内の車両の部分として検出する。画像処理装置１は自己相関差計算部４及び路上マーク削除部５によって作成された分布図５０から車両１６を検出する。
Next, the
まず、車両１６と類似値３８の差分３９（特徴を示す類似値）との関係について説明する。画像処理装置１は、車両１６の左右対象の形状を利用して分布図５０内の車両を検出する。図８は、元の画像データ１０の車両１６部分の画像（Ａ）と分布図５０の車両１６部分の画像（Ｂ）とを示す。本実施例で設置されたカメラ２は車両１６を正面あるいは背面から撮影することとなる。車両１６の正面または背面は左右対象の形状である。
First, the relationship between the vehicle 16 and the difference 39 (similar value indicating characteristics) between the similar values 38 will be described. The
車両１６の左右に位置する画素群５１の類似値３８の差分３９は大きくなる。車両１６の左右の側面には角となる部分が多いためである。車両１６のフロント部分に位置する画素群の類似値３８の差分３９は大きくなる。車両１６のフロント部分も角となる部分が多いためである。なお、フロント部分も車両１６の中心から左右対称となる。車両１６の左右の側面の外側に位置する画素群５２の類似値３８の差分３９は小さくなる。車両１６の外側はアスファルトであるため類似値３８の差分３９は小さくなるためである。車両１６のフロント部分の更に手前、すなわち車両１６の前方に位置する画素群５３に対応する類似値３８の差分３９は小さくなる。車両１６の外側はアスファルトであるため類似値３８は小さくなるためである。車両１６のフロント部分に位置する画素群の類似値は小さい値が分布する。なお、手前方向に向く車両１６のフロント部分の前方は、二次元の画像データ１０では車両１６よりも下の縦方向１３の座標となる。
The difference 39 between the similarity values 38 of the
以上の車両１６の左右に位置する画素群５１、車両１６の左右の側面の外側に位置する画素群５２および車両１６の前方に位置する画素群５３の分布図５０内の状態に基づき、予め車両の特徴となるパターンを定義する。本実施例での車両１６の特徴となるパターンは以下の条件によって定義する。
・条件１．車両１６の左右に類似値３８の差分３９が大きい画素群５１が分布する。
・条件２．車両１６の両側面の更に外側となる領域に類似値３８の差分３９が小さい画素群５２が分布する。
・条件３．車両１６の下側には類似値３８の差分３９が小さい画素群５３が分布する。Based on the state in the
・ Condition 1 A
・ Condition 2 A
-
画像処理装置１のパターン特徴量計算部６は以上の条件を満たす領域を分布図５０から検出する。
The pattern feature
図９はパターン特徴量計算部６が実行する分布図１０から車両１６が存在する領域を検出する処理のフローチャートである。パターン特徴量計算部６は図８の分布図５０の各画素５４について以下の計算を行う。まず、パターン特徴量計算部６は分布図５０の中の現在の演算の対象となる画素５４を検出対象画素５５として設定する（Ｓ３１）。パターン特徴量計算部６は検出対象画素５５を基準位置として特徴量を算出する（Ｓ３２）。具体的には、パターン特徴量計算部６は類似値３８の差分３９の分布の状態を下記の式（１２）乃至式（１６）の結果から取得する。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
FIG. 9 is a flowchart of processing for detecting an area where the vehicle 16 exists from the
式（１２）によって求められるＥｌｅｆｔ５６は検出対象画素５５を基準の座標として”ｋ１”，”ｌ１”で定められる領域内の画素５４の類似値３８の差分３９の総和である。式（１３）によって求められるＥｒｉｇｈｔ５７は検出対象画素５５を基準位置として”ｋ２”，”ｌ２”で定められる領域内の画素５４の類似値３８の差分３９の総和である。Ｅｌｅｆｔ５６、Ｅｒｉｇｈｔ５７は車両１６の中央から左右の側面部分までの範囲に対応する。車両１６の側面部分およびフロント部分は角部分が多く類似値３８の差分３９が大きい値が多く分布する。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
The
式（１４）によって求められるＥｓｉｄｅ５８は検出対象画素５５を基準位置として分布図５０の左側の”ｋ３”，”ｌ３”で定められる領域内の画素５４の類似値３８の差分３９の総和である。Ｅｓｉｄｅ５８は車両１６の側面よりも更に外側に対応する。車両１６の側面よりも更に外側となる領域はアスファルトであり類似値３８の差分３９が小さい値が多く分布する。
式（１５）によって求められるＥｂｏｔｔｏｍ５９は検出対象画素５５を基準位置として分布図５０の下側の”ｋ４”，”ｌ４”で定められる領域内の画素５４の類似値３８の差分３９の総和である。Ｅｂｏｔｔｏｍ５９は車両１６の下側となる。検出対象画素５５の基準位置が車両１６のフロント部分の下端である場合、Ｅｂｏｔｔｏｍ５９の領域は道路となる。したがって、Ｅｂｏｔｔｏｍ５９の値は小さくなる。
Ebottom 59 obtained by equation (15) is the sum of the differences 39 of the similarity values 38 of the
パターン特徴量計算部６は以上の各式（１２）乃至式（１５）により算出した値を下記の式（１６）に代入して、検出対象画素５５に対応する車両１６の特徴の大きさを示す値６０Ｅ（ｘ，ｙ）を得る。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
The pattern feature
Ｅ（ｘ、ｙ）は、Ｅｌｅｆｔ５６、Ｅｒｉｇｈｔ５７の値が大きい場合に大きくなる。
また、検出対象画素５５が車両１６の中央であった場合、Ｅｌｅｆｔ５６とＥｒｉｇｈｔ５７とは左右対称に位置することとなる。したがって、Ｅｌｅｆｔ５６の値とＥｒｉｇｈｔ５７の値は近い値となる。Ｅ（ｘ、ｙ）はＥｌｅｆｔ５６、Ｅｒｉｇｈｔ５７の左右のバランスがある場合に小さくなる。Ｅ（ｘ、ｙ）はＥｓｉｄｅ５８の値が小さい場合に小さくなる。Ｅ（ｘ、ｙ）はＥｂｏｔｔｏｍ５９の値が小さい場合に小さくなる。なお、Ｃｓｉｄｅ、Ｃｂｏｔｔｏｍの値は、カメラ２が撮影する道路の状態等に応じて設計者が設定する値である。パターン特徴量計算部６は算出したＥ（ｘ、ｙ）を検出対象画素５５に対応付ける（Ｓ３３）。E (x, y) increases when the values of
In addition, when the
パターン特徴量計算部６は以上の処理を分布図５０内の全画素５４について演算する（Ｓ３４）。パターン特徴量計算部６は、演算結果によって、分布図５０内で車両１６が存在すると考えられる領域の縦方向１３の座標、および横方向１４の座標を取得することができる。
The pattern feature
パターン特徴量計算部６による車両１６の検出の演算は自己相関差計算部４が元の画像データ１０について演算対象画素３３を基準とした類似値３８の差分３９を取得し、類似値３８の差分３９によって分布図５０を作成するため、画像データ１０に写る影等の影響は低減している。
In the calculation of the detection of the vehicle 16 by the pattern feature
一方、画像処理装置１の対象性特徴量計算部７は分布図５０から車両１６の左右の中心座標を求める演算を行う。図１０は分布図５０と車両１６の対象性との関係を示す図である。車両１６の形状は左右対象である。したがって、類似値３８の差分３９は車両１６の中心から左右に対象に分布する。そこで、対象性特徴量計算部７は車両１６の左右対称性を利用した車両１６の位置の特定を行う。対象性の評価は以下の手順により行う。
On the other hand, the target characteristic
図１１は、対象性特徴量計算部７が実行する分布図１０から車両１６が存在する領域を検出する処理のフローチャートである。
FIG. 11 is a flowchart of a process for detecting a region where the vehicle 16 exists from the
対象性特徴量計算部７は現在の演算の対象となる座標として図１０の演算中央座標６１（ｘ，ｙ）を設定する（Ｓ４１）。次に対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）の特徴量を算出する（Ｓ４２）。具体的には、対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）の横方向１４の座標”ｘ”を中心として正の横方向１４に離れた座標６３”＋ｉ”および負の横方向１４に離れた座標６２”−ｉ”だけ離れた座標のそれぞれの輝度を取得する。”ｉ”は対象性を算出すべき範囲で適宜定められる。例えば、”ｉ”の範囲は画像データ１０内の縦方向１３の座標に対応する車両１６の幅の半分の大きさに設定される。対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）から正の横方向１４に離れた座標６３を”ｘ＋ｉ，ｙ”とし、座標６３”ｘ＋ｉ，ｙ”の輝度をＰ７（ｘ＋ｉ，ｙ）とする。対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）から負の横方向１４に離れた座標６２を”ｘ−ｉ，ｙ”とし、座標６２”ｘ−ｉ，ｙ”の輝度をＰ８（ｘ−ｉ，ｙ）とする。
The target characteristic
対象性特徴量計算部７は現在の輝度Ｐ７と輝度Ｐ８との合計値を式（１７）のＳ（ｉ）によって算出する。
The target characteristic feature
Ｓ（ｉ）は輝度Ｐ７および輝度Ｐ８のそれぞれの輝度が大きい場合に大きな値となる。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。対象性特徴量計算部７は現在の輝度Ｐ７と輝度Ｐ８との差分値を式（１８）のＤ（ｉ）によって算出する。
S (i) takes a large value when the luminances P7 and P8 are large. Note that “t” indicates that the currently acquired
Ｄ（ｉ）は輝度Ｐ７および輝度Ｐ８が近い値の場合に小さい値となる。したがって、Ｄ（ｉ）は輝度Ｐ７および輝度Ｐ８のバランスを示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
D (i) is a small value when the luminance P7 and the luminance P8 are close to each other. Therefore, D (i) indicates the balance between the luminance P7 and the luminance P8. Note that “t” indicates that the currently acquired
対象性特徴量計算部７は車両の中央を通る線を式（１９）のＥｓｙｍ（ｘ，ｙ）によって算出する。
The objectivity feature
Ｅｓｙｍ（ｘ，ｙ）は演算中央座標６１（ｘ，ｙ）から”ｉ”を所定の範囲で変化させた時のＳ（ｉ）の絶対値の総和からＤ（ｉ）の絶対値の総和を引いた値である。したがって、Eｓｙｍ（ｘ，ｙ）は演算の対象となる領域内の左右の輝度が等しくかつ左右の輝度が大きい場合に大きな値となる。対象性特徴量計算部７はＳ３２で算出したEｓｙｍ（ｘ，ｙ）を演算中央座標６１に対応付ける（Ｓ４３）。
Esym (x, y) is the sum of absolute values of D (i) from the sum of absolute values of S (i) when “i” is changed within a predetermined range from the calculation central coordinates 61 (x, y). Subtracted value. Therefore, Esym (x, y) takes a large value when the left and right luminances in the region to be calculated are equal and the left and right luminances are large. The target characteristic
以上の演算を対象性特徴量計算部７が分布図５０内の全ての画素５４について行う（Ｓ４４）ことにより、分布図５０内の車両１６の中央を通る線を検出することが可能となる。
By performing the above calculation for all the
また、対象性特徴量計算部７は以下の式により車両１６の重心Ｒｓｙｍ（ｘ、ｙ）を求める式（２０）により車両１６の中央を通る線を検出することも可能である。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。
Further, the target characteristic
次に、車両位置判定部８が行う処理について説明する。 Next, processing performed by the vehicle position determination unit 8 will be described.
車両位置判定部８は、パターン特徴量計算部６による車両１６のパターンの認識処理から分布図５０内の車両１６が存在する縦方向１３の座標および横方向１４の座標を得る。縦方向１３の座標は、画像データ１０内で車両１６が手前方向に向いている場合、車両１６のフロントの下端となる。また、車両位置判定部８は、対象性特徴量計算部７による車両１６の左右の中心を通る線を求める処理から分布図５０内の車両１６の中央となる横方向１４の座標を得る。車両位置判定部８はパターン特徴量計算部６による演算結果と対象性特徴量計算部７による演算結果を重ねあわせ、画像データ１０内において車両１６が存在する基準となる座標を取得する。車両位置判定部８は取得した基準となる座標から画像データ１０あるいは分布図５０の輝度のピークを検出して車両１６のフロント部分の幅を示す画素数を取得する。
The vehicle position determination unit 8 obtains the coordinate in the
車両１６の基準となる縦方向１３の座標およびピーク検出によって取得した車両１６のフロント部分の幅の画素数からデータベース２０の合致する車種を検出する。以上により、画像処理装置１は画像データ１０内の車両１６の位置を検出し、及び、車両１６の車種を特定することが可能となる。
A matching vehicle type in the
図１２は、本実施例による車両の検出例である。 FIG. 12 is an example of vehicle detection according to this embodiment.
元の画像データ（Ａ）はカメラ２が撮影した画像である。
車両部分（Ｂ）は、元の画像データ（Ａ）の車両部分を抜き出した領域である。
本実施例による検出（Ｃ）は、本実施例の処理によって検出した場合の検出範囲である。
背景差分による検出（Ｄ）は、従来技術である背景差分方式によって検出した場合の検出範囲である。エッジ検出（Ｅ）は、従来技術であるエッジ検出方式によって検出した場合の検出範囲である。背景差分方式およびエッジ検出方式、では影部分の影響を受けるため車両のみの範囲を検出することができない。The original image data (A) is an image taken by the
The vehicle portion (B) is an area where the vehicle portion of the original image data (A) is extracted.
Detection (C) according to the present embodiment is a detection range when detection is performed by the processing of the present embodiment.
Detection by background difference (D) is a detection range in the case of detection by the background difference method which is a conventional technique. Edge detection (E) is a detection range in the case of detection by an edge detection method that is a conventional technique. In the background difference method and the edge detection method, the range of only the vehicle cannot be detected because it is affected by the shadow portion.
図１３は、本実施例の画像処理装置１のハードウェア構成例である。画像処理装置１は、ＣＰＵ１０１、カメラ２、メモリ１０３、出力部１０４および、バス１０５からなる。ＣＰＵ１０１、カメラ２、メモリ１０３、および、出力部１０４はバス１０５により接続され各部間でデータの授受を行う。ＣＰＵ１０１は、メモリ１０３に格納されている画像処理プログラム１００をワークエリアに読出して実行する中央処理装置である。画像処理プログラム１００は、画像処理装置１のＣＰＵ１０１を自己相関差計算部４、路上マーク削除部５、パターン特徴量計算部６、対象性特徴量計算部７及び車両位置判定部８として機能させる。
FIG. 13 is a hardware configuration example of the
メモリ１０３は、画像処理装置１の種々の情報を記憶する。例えば、ＲＡＭ、ハードディスク装置等である。メモリ１０３は、ＣＰＵ１０１が演算を行う際のワークエリアともなる。また、データベース２０に格納された情報も記憶する。
The
出力部１０４は、画像データ１０内で検出した車両１６の位置及び特定した車種の情報を出力するためのインターフェースである。例えば、出力先は他の車両が有する無線端末である。他の車両は、画像データ１０内に車両１６が存在する旨の情報を受信する。無線通信の場合のインターフェースは無線端末との間の無線プロトコル（例えばＩＥＥＥ８０２．１１に定められた手続き）で通信を行う。
The
本実施例は車両１６の検出のための基本的な特徴量として画素１１間の類似値３８の差分３９を使用する。類似値３８の差分３９による特徴量は曲線および角部分の値が大きくなる。また、車両の正面あるいは背面が左右対称であることを利用する。したがって、類似値３８の差分３９による特徴量は車両１６の正面あるいは背面を検出する場合に有効である。一方、類似値３８の差分３９による特徴量は直線的な部分や曲率の少ない部分での反応は小さくなる。したがって、類似値３８の差分３９による特徴量は影などの直線の部分や単純な形状になりやすい部分に対しては反応が小さくなる。その結果、類似値３８の差分３９による特徴量は影による誤検出や路面反射による誤検出を減少させることができる。 In this embodiment, the difference 39 of the similarity values 38 between the pixels 11 is used as a basic feature amount for detecting the vehicle 16. In the feature amount due to the difference 39 of the similarity value 38, the values of the curve and the corner portion are large. Further, the fact that the front or back of the vehicle is symmetrical is utilized. Therefore, the feature amount based on the difference 39 of the similarity value 38 is effective when detecting the front or back of the vehicle 16. On the other hand, the feature amount due to the difference 39 of the similarity value 38 has a small response in a linear portion or a portion with a small curvature. Therefore, the feature amount based on the difference 39 of the similarity value 38 is less responsive to a straight portion such as a shadow or a portion that tends to be a simple shape. As a result, the feature amount based on the difference 39 of the similarity value 38 can reduce erroneous detection due to shadows and erroneous detection due to road surface reflection.
また、画像データ１０を一定時間の間隔で取得するシステムに本実施例を応用する場合、複数の画像データ１０間において車両１６が存在する位置の差分を取得することにより車両１６の移動速度を計算することも可能である。
Further, when the present embodiment is applied to a system that acquires the
なお、本実施例は、画素１１を基準として演算の処理を行ったが、画像データ１０内の複数の画素１１を一つのまとまりをした領域を演算の単位とすることも可能である。すなわち、ディジタル画像データ１０の画素数を減少させるようなサイズの変更をした場合、複数の画素１１が寄せ集められ一つの画素となるサイズの縮小がなされる。一方、ディジタル画像データ１０の画素数を増加させるようなサイズの変更をした場合、周囲の画素１１との関係から補間した画素１１を新たな画素１１とするサイズの拡大がなされる。したがって、複数の画素１１を一つのまとまりとした領域とみなした検出を行うことは画像データ１０のサイズ変更をした後、画素１１毎に検出処理を行うことと実質同一である。
In the present embodiment, calculation processing is performed using the pixel 11 as a reference. However, a region in which a plurality of pixels 11 in the
更に、本実施例では、自己相関差計算部４が設定する演算領域３２、比較領域３４、及び探索範囲３１はいずれも画像データ１０内で均一として説明した。しかし、画像データ１０内で三次元空間として見た場合に手前となる領域あるいは奥となる領域に応じて探索範囲３１、演算領域３２、および、比較領域３４の範囲を変更することも可能である。例えば、三次元空間として見た場合に奥となる領域については、探索範囲３１、演算領域３２、および、比較領域３４の範囲を小さくする。一方、三次元空間として見た場合に手前となる領域については、探索範囲３１、演算領域３２、および、比較領域３４の範囲を大きくする。範囲を変更することにより、自己相関差計算部４が実行する演算量を削減することができる。また範囲を変更することにより、各座標位置に応じた精度の検出を行うことができる。具体的には、演算対象画素３３の画像データ１０内の縦方向１３の座標値に応じて探索範囲３１、演算領域３２、および、比較領域３４の範囲を変化させるためのデータを予め設けておくことにより可能である。
Furthermore, in the present embodiment, the
また、本実施例は画像データ１０の輝度によって類似値を算出する方法について説明した。本実施例は輝度だけでなく、明度、色相、彩度の組合せによって類似値を算出することができる。
In the present embodiment, the method of calculating the similarity value based on the luminance of the
本発明は、画像データ内の車両の位置の検出を少ない演算で可能とすることにより、画像データ内の車両の状態を通知するシステムに利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used in a system that notifies the state of a vehicle in image data by enabling detection of the position of the vehicle in image data with a small amount of computation.
Claims (9)
前記画像データ内の被写体を検出する検出対象領域を決定し、
決定した該検出対象領域に含まれる複数の第一の画素のそれぞれを中心としかつ第一の所定数の画素を含む複数の第一の領域をそれぞれの該複数の第一の画素毎に決定し、
該複数の第一の画素のそれぞれを中心としかつ第二の所定数の画素を含む探索範囲をそれぞれの該複数の第一の画素毎に決定し、
決定した該それぞれの探索範囲に含まれる複数の第二の画素のそれぞれを中心としかつ該第一の所定数に対応する数の画素を含む複数の第二の領域をそれぞれの該複数の第二の画素毎に決定し、
決定した該複数の第二の領域のそれぞれの画像と該第一の領域の画像との特徴を比較することにより該第一の領域とそれぞれの該複数の第二の領域間の類似値をそれぞれの該複数の第二の領域毎に算出し、
算出した該複数の第二の領域毎の該類似値をそれぞれの該複数の第二の画素に対応付け、
該それぞれの探索範囲に含まれる該第一の画素以外の該複数の第二の画素に対応付けられたそれぞれの類似値の中で該第一の領域に最も類似することを示す第二の類似値を選択し、
選択した該第二の類似値を該それぞれの探索範囲に対応する該第一の画素に対応付け、
前記検出対象領域内の複数の第一の画素のそれぞれに対応付けた第二の類似値を前記第一の画素の位置にマッピングすることで分布を求め、
前記分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出することを特徴とする画像データ認識方法。An image data recognition method for detecting a subject in image data,
Determining a detection target area for detecting a subject in the image data ;
Determining a plurality of first regions each first pixel of each of the plurality including a respective center and a vital first predetermined number of pixels of the plurality of first pixels included in the determined detection target area And
Determining a search range to a respective one pixel of each of the plurality including respective center Toshikatsu second predetermined number of pixels of the plurality of first pixels,
It determined the respective search ranges INCLUDED multiple second plurality including the number of pixels corresponding to a predetermined number each of centered and vital said first pixel and the second region each plurality of Determined for each second pixel,
By comparing the characteristics of the determined images of the plurality of second regions and the images of the first region, the similarity values between the first region and the plurality of second regions are respectively determined. For each of the plurality of second regions of
Associating the calculated similarity values for the plurality of second regions with the plurality of second pixels,
Second similar indicating that most similar to said first region within each similarity value associated with the second pixel of the plurality other than the first pixels included in each search range the Select a value
Associating the selected second similarity value with the first pixel corresponding to the respective search range;
The distribution is obtained by mapping the second similarity value associated with each of the plurality of first pixels in the detection target region to the position of the first pixel,
A method of recognizing an image data, wherein an area where a shape determined according to the distribution state matches a shape previously determined as a feature of the subject is detected as a portion of the subject in the image data.
該画像データで該車道の手前側に相当する領域の検出に使用する該第一の領域、該第二の領域および該探索範囲が含むべき画素数を、該画像データで該車道の奥側に相当する領域の検出に使用する該第一の領域、該第二の領域および該探索範囲が含むべき画素数よりも多くする
ことを特徴とする請求項１記載の画像データ認識方法。The image data is imaged from obliquely above the road so that the road, the subject vehicle on the road, and the vanishing point of the road are shown.
The number of pixels that should be included in the first area, the second area, and the search range used to detect an area corresponding to the front side of the roadway in the image data is displayed on the back side of the roadway in the image data. The image data recognition method according to claim 1 , wherein the number of pixels to be included in the first region, the second region, and the search range used for detection of the corresponding region is larger. .
検出した該第三の領域内の左右側に類似していないことを示す類似値が分布し、かつ、該第三の領域内の左右側の類似していないことを示す類似値に左右方向の中央を挟み対象性があり、かつ、該第三の領域の下側に周囲と類似していることを示す類似値が分布する場合に、該第三の領域の下側に相当する座標を前記車両のフロントの座標とすることを特徴とする請求項３記載の画像データ認識方法。 In the obtained distribution of the second similarity values, a rectangular third region is detected in which similarity values indicating that the similarity values are less similar than the similarity values distributed in the surroundings are detected,
Similar values indicating dissimilarity on the left and right sides in the detected third region are distributed, and the similar values indicating dissimilarity on the left and right sides in the third region are There is symmetry sandwich the center, and, if the similarity value indicating that similar to the ambient on the lower side of said third region is distributed, the coordinates corresponding to the lower side of said third region and the 4. The image data recognition method according to claim 3, wherein the coordinates are front coordinates of the vehicle.
前記画像データ内の被写体を検出する検出対象領域を決定する手段と、
決定した該検出対象領域に含まれる複数の第一の画素のそれぞれを中心としかつ第一の所定数の画素を含む複数の第一の領域をそれぞれの該複数の第一の画素毎に決定する手段と、
該複数の第一の画素のそれぞれを中心としかつ第二の所定数の画素を含む探索範囲をそれぞれの該複数の第一の画素毎に決定する手段と、
決定した該それぞれの探索範囲に含まれる複数の第二の画素のそれぞれを中心としかつ該第一の所定数に対応する数の画素を含む複数の第二の領域をそれぞれの該複数の第二の画素毎に決定する手段と、
決定した該複数の第二の領域のそれぞれの画像と該第一の領域の画像との特徴を比較することにより該第一の領域とそれぞれの該複数の第二の領域間の類似値をそれぞれの該複数の第二の領域毎に算出する手段と、
算出した該複数の第二の領域毎の該類似値をそれぞれの該複数の第二の画素に対応付ける手段と、
該それぞれの探索範囲に含まれる該第一の画素以外の該複数の第二の画素に対応付けられたそれぞれの類似値の中で該第一の領域に最も類似することを示す類似値を選択する手段と、
選択した該類似値を該それぞれの探索範囲に対応する該第一の画素に対応付ける手段と、
前記検出対象領域内の複数の第一の画素のそれぞれに対応付けた類似値を前記第一の画素の位置にマッピングすることで分布を求める手段と、
前記分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する手段とを有することを特徴とする画像データ認識装置。An image data recognition device for detecting a subject in image data,
Means for determining a detection target region for detecting a subject in the image data ;
Determining a plurality of first regions each first pixel of each of the plurality including a respective center and a vital first predetermined number of pixels of the plurality of first pixels included in the determined detection target area Means to
It means for determining a search range for each first pixel of each of the plurality including respective center Toshikatsu second predetermined number of pixels of the plurality of first pixels,
It determined the respective search ranges INCLUDED multiple second plurality including the number of pixels corresponding to a predetermined number each of centered and vital said first pixel and the second region each plurality of Means for determining each second pixel ;
The similarity values between each and said first region the plurality of second regions by you compare the characteristics of the respective image and the image of the first region of the determined plurality of second regions Means for calculating each of the plurality of second regions ;
Means the calculated plurality of second the similarity value for each area that associates to a second pixel of each of the plurality,
Select a similarity value indicating that the most similar to said first region within each similarity value associated with the second pixel of the plurality other than the first pixels included in each search range the Means to
Means that the selected said similarity value to correspond to the first pixels corresponding to the search range of each said,
Means asking you to distribution by mapping the similar values associated with each of the plurality of first pixel within the detection target region to a position of the first pixel,
An image data recognition apparatus comprising: means for detecting, as a portion of a subject in image data, a region in which a shape determined according to the distribution state matches a shape previously determined as a feature of the subject.
前記画像データ内の被写体を検出する検出対象領域を決定し、
決定した該検出対象領域に含まれる複数の第一の画素のそれぞれを中心としかつ第一の所定数の画素を含む複数の第一の領域をそれぞれの該複数の第一の画素毎に決定する手段と、
該複数の第一の画素のそれぞれを中心としかつ第二の所定数の画素を含む探索範囲をそれぞれの該複数の第一の画素毎に決定し、
決定した該それぞれの探索範囲に含まれる複数の第二の画素のそれぞれを中心としかつ該第一の所定数に対応する数の画素を含む複数の第二の領域をそれぞれの該複数の第二の画素毎に決定し、
決定した該複数の第二の領域のそれぞれの画像と該第一の領域の画像との特徴を比較することにより該第一の領域とそれぞれの該複数の第二の領域間の類似値をそれぞれの該複数の第二の領域毎に算出し、
算出した該複数の第二の領域毎の該類似値をそれぞれの該複数の第二の画素に対応付け、
該それぞれの探索範囲に含まれる該第一の画素以外の該複数の第二の画素に対応付けられたそれぞれの類似値の中で該第一の領域に最も類似することを示す類似値を選択する手段、
選択した該類似値を該それぞれの探索範囲に対応する該第一の画素に対応付け、
前記検出対象領域内の複数の第一の画素のそれぞれに対応付けた類似値を前記第一の画素の位置にマッピングすることで分布を求め、
前記分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する
、処理を実行するように機能させることを特徴とする画像データ認識プログラム。An image data recognition program for detecting an object in the image data, the computer,
Determining a detection target area for detecting a subject in the image data ;
Determining a plurality of first regions each first pixel of each of the plurality including a respective center and a vital first predetermined number of pixels of the plurality of first pixels included in the determined detection target area Means to
Determining a search range to a respective one pixel of each of the plurality including respective center Toshikatsu second predetermined number of pixels of the plurality of first pixels,
It determined the respective search ranges INCLUDED multiple second plurality including the number of pixels corresponding to a predetermined number each of centered and vital said first pixel and the second region each plurality of Determined for each second pixel ,
By comparing the characteristics of the determined images of the plurality of second regions and the images of the first region, the similarity values between the first region and the plurality of second regions are respectively determined. second was calculated for each region of the plurality of,
Associating the calculated similarity values for the plurality of second regions with the plurality of second pixels,
Select a similarity value indicating that the most similar to said first region within each similarity value associated with the second pixel of the plurality other than the first pixels included in each search range the Means to
Associating the selected similarity value with the first pixel corresponding to the respective search range;
The distribution is obtained by mapping the similarity value associated with each of the plurality of first pixels in the detection target region to the position of the first pixel,
Image data recognition characterized by functioning to execute a process of detecting, as a portion of the subject in the image data, an area in which the shape determined according to the distribution state matches the shape previously determined as the feature of the subject program.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2006/323685 WO2008065707A1 (en) | 2006-11-28 | 2006-11-28 | Image data recognizing method, image processing device, and image data recognizing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2008065707A1 JPWO2008065707A1 (en) | 2010-03-04 |
| JP4743277B2 true JP4743277B2 (en) | 2011-08-10 |
Family
ID=39467511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008529068A Expired - Fee Related JP4743277B2 (en) | 2006-11-28 | 2006-11-28 | Image data recognition method, image processing apparatus, and image data recognition program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4743277B2 (en) |
| WO (1) | WO2008065707A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9239380B2 (en) * | 2008-05-21 | 2016-01-19 | Adc Automotive Distance Control Systems Gmbh | Driver assistance system for avoiding collisions of a vehicle with pedestrians |
| US8744131B2 (en) | 2009-09-29 | 2014-06-03 | Panasonic Corporation | Pedestrian-crossing marking detecting method and pedestrian-crossing marking detecting device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06201379A (en) * | 1992-12-28 | 1994-07-19 | Mitsubishi Electric Corp | Range finder |
| JPH09330404A (en) * | 1996-06-10 | 1997-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Object detector |
| JPH11345336A (en) * | 1998-06-03 | 1999-12-14 | Nissan Motor Co Ltd | Obstacle detecting device |
| JP2000039306A (en) * | 1998-07-22 | 2000-02-08 | Nec Corp | Device and method for vehicle system area detection |
| JP2001351200A (en) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | Onboard object detecting device |
| JP2005149250A (en) * | 2003-11-18 | 2005-06-09 | Daihatsu Motor Co Ltd | Vehicle detection method and vehicle detection system |
-
2006
- 2006-11-28 JP JP2008529068A patent/JP4743277B2/en not_active Expired - Fee Related
- 2006-11-28 WO PCT/JP2006/323685 patent/WO2008065707A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06201379A (en) * | 1992-12-28 | 1994-07-19 | Mitsubishi Electric Corp | Range finder |
| JPH09330404A (en) * | 1996-06-10 | 1997-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Object detector |
| JPH11345336A (en) * | 1998-06-03 | 1999-12-14 | Nissan Motor Co Ltd | Obstacle detecting device |
| JP2000039306A (en) * | 1998-07-22 | 2000-02-08 | Nec Corp | Device and method for vehicle system area detection |
| JP2001351200A (en) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | Onboard object detecting device |
| JP2005149250A (en) * | 2003-11-18 | 2005-06-09 | Daihatsu Motor Co Ltd | Vehicle detection method and vehicle detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2008065707A1 (en) | 2010-03-04 |
| WO2008065707A1 (en) | 2008-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8204278B2 (en) | Image recognition method | |
| US10970566B2 (en) | Lane line detection method and apparatus | |
| JP6259928B2 (en) | Lane data processing method, apparatus, storage medium and equipment | |
| JP4380838B2 (en) | Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program | |
| US9123242B2 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
| JP4363295B2 (en) | Plane estimation method using stereo images | |
| CN108197523B (en) | Night vehicle detection method and system based on image conversion and contour neighborhood difference | |
| JP4416039B2 (en) | Striped pattern detection system, striped pattern detection method, and striped pattern detection program | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| US10339396B2 (en) | Vehicle accessibility determination device | |
| JP2008082870A (en) | Image processing program, and road surface state measuring system using this | |
| JP6239186B2 (en) | Display control apparatus, display control method, and display control program | |
| JP7050763B2 (en) | Detection of objects from camera images | |
| JPWO2013129361A1 (en) | Three-dimensional object detection device | |
| JP2013140515A (en) | Solid object detection device and program | |
| JP3729025B2 (en) | Pedestrian detection device | |
| WO2018150921A1 (en) | Vehicle-mounted environment recognition device | |
| JP4674179B2 (en) | Shadow recognition method and shadow boundary extraction method | |
| CN111243003A (en) | Vehicle-mounted binocular camera and method and device for detecting road height limiting rod | |
| JP4517003B2 (en) | Automatic road sign recognition system | |
| JP4743277B2 (en) | Image data recognition method, image processing apparatus, and image data recognition program | |
| JP5189556B2 (en) | Lane detection device | |
| CN104252707A (en) | Object detecting method and device | |
| JP2020126304A (en) | Out-of-vehicle object detection apparatus | |
| JP2020095631A (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |