JP2006010652A - Object-detecting device - Google Patents
Object-detecting device Download PDFInfo
- Publication number
- JP2006010652A JP2006010652A JP2004192197A JP2004192197A JP2006010652A JP 2006010652 A JP2006010652 A JP 2006010652A JP 2004192197 A JP2004192197 A JP 2004192197A JP 2004192197 A JP2004192197 A JP 2004192197A JP 2006010652 A JP2006010652 A JP 2006010652A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection target
- pedestrian
- target object
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、物体検出装置に関する。 The present invention relates to an object detection device.
カメラで撮影した画像から検出対象である物体(例えば、歩行者、自転車、車両など)を検出するときに複数の検出対象物体が画像上で重なっていることが有る。検出対象物体の数や検出対象物体それぞれの位置情報等が必要なときには、重複している各検出対象物体を分離して検出対象物体それぞれを個別に認識する必要がある。 When detecting an object (for example, a pedestrian, a bicycle, a vehicle, or the like) that is a detection target from an image captured by a camera, a plurality of detection target objects may overlap on the image. When the number of detection target objects, position information of each detection target object, and the like are necessary, it is necessary to separate each detection target object and recognize each detection target object individually.
このような検出結果の重複を除去する技術が特許文献1に記載されている。特許文献1記載の技術では、まず、入力画像データと、それより1つ前に入力された画像データとの差分がとられ、差分画像が生成される。さらに過去mフレーム分(mは2以上の整数)の差分画像が加算され平均がとられる事によって、統合差分画像が得られる。統合差分画像は、動きのない領域の画素値が0で、動きのある領域ほど画素値が大きい値を取る。統合差分画像が得られると、まず動き領域の有無が調べられる。動き領域がない場合には人物数がゼロとされる。動き領域がある場合、例えば統合差分画像上部領域における動き領域幅の最大値があるしきい値よりも小さいときは1人、大きいときには2人とされる。人物数が2人のときは、統合差分領域が2つの部分領域に分割される。なお3人以上検出された場合には、分割数が増やされる。
特許文献1記載の技術では、画像を人物の数に応じて分割する場合、mフレーム分の画像データを取得して処理する必要がある。したがって、1フレームのみの静止画像において抽出結果の重複を除去する場合には、特許文献1記載の技術を適用することができない。
In the technique described in
本発明は、上記問題点を解消する為になされたものであり、静止画像から物体を検出するときに、画像上で重複している検出対象物体を分離し、検出対象物体それぞれを認識することができる物体検出装置を提供することを目的とする。 The present invention has been made to solve the above-described problems. When an object is detected from a still image, the detection target object overlapping in the image is separated and each detection target object is recognized. It is an object to provide an object detection device capable of
本発明に係る物体検出装置は、画像を撮像する撮像手段と、撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、画像領域の座標値、及び、画像領域に含まれる検出対象物体候補と検出対象物体との類似度に応じた画像領域の評価値を出力する抽出手段と、抽出手段から出力された画像領域の座標値に基づいて、画像領域を検出対象物体ごとに分別する分別手段と、分別手段により分別された検出対象物体ごとの画像領域の座標値に対して評価値に応じた重み付き平均をとることにより、検出対象物体の位置を算出する物***置算出手段とを備えることを特徴とする。 An object detection apparatus according to the present invention extracts an image area including a candidate image of a detection target object from an image picked up by an image pickup means for picking up an image, and the image picked up by the image pickup means. An extraction means for outputting an evaluation value of the image area corresponding to the degree of similarity between the detection target object candidate and the detection target object included in the image, and the detection of the image area based on the coordinate value of the image area output from the extraction means An object for calculating the position of the detection target object by taking a weighted average according to the evaluation value with respect to the coordinate value of the image area for each detection target object classified by the classification means and the classification means for classification for each object And a position calculating means.
本発明に係る物体検出装置によれば、例えば、複数の検出対象物体それぞれについて複数の検出対象物体候補が抽出された場合、まず、画像領域の座標値に基づいて、複数の画像領域に含まれる検出対象物体候補が同一の検出対象物体に対応するものであるか異なる検出対象物体に対応するものであるかが判断されることにより、複数の画像領域が検出対象物体ごとに分けられる。そして、同一の検出対象物体に属する画像領域の座標値が評価値に応じて重み付き平均されて検出対象物体の位置が算出される。そのため、画像上で重複している検出対象物体を分離すると共に、検出対象物体それぞれの位置を精度良く特定することが可能となる。 According to the object detection device of the present invention, for example, when a plurality of detection target object candidates are extracted for each of a plurality of detection target objects, first, they are included in the plurality of image regions based on the coordinate values of the image regions. By determining whether the detection target object candidates correspond to the same detection target object or different detection target objects, a plurality of image regions are divided for each detection target object. Then, the coordinate values of the image areas belonging to the same detection target object are weighted and averaged according to the evaluation value to calculate the position of the detection target object. Therefore, it is possible to separate the detection target objects overlapping on the image and to specify the positions of the detection target objects with high accuracy.
本発明に係る物体検出装置は、画像を撮像する撮像手段と、撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、画像領域の座標値、及び、画像領域に含まれる検出対象物体候補と検出対象物体との類似度に応じた画像領域の評価値を出力する抽出手段と、抽出手段から出力された画像領域の座標値に基づいて、画像領域を検出対象物体ごとに分別する分別手段と、分別手段により検出対象物体ごとに分別された画像領域のうち評価値が最大である画像領域の座標値から検出対象物体の位置を算出する物***置算出手段とを備えることを特徴とする。 An object detection apparatus according to the present invention extracts an image area including a candidate image of a detection target object from an image picked up by an image pickup means for picking up an image, and the image picked up by the image pickup means. An extraction means for outputting an evaluation value of the image area corresponding to the degree of similarity between the detection target object candidate and the detection target object included in the image, and the detection of the image area based on the coordinate value of the image area output from the extraction means Classification means for classifying each object, and object position calculation means for calculating the position of the detection target object from the coordinate value of the image area having the maximum evaluation value among the image areas classified for each detection target object by the classification means It is characterized by providing.
評価値が最大である画像領域の座標値から検出対象物体の位置を算出する場合、重み付き平均をとる場合と比較して、処理工数が低減されるので、処理を高速化することができる。 When the position of the detection target object is calculated from the coordinate value of the image area having the maximum evaluation value, the processing man-hour is reduced as compared with the case where the weighted average is taken, so that the processing can be speeded up.
また、本発明に係る物体検出装置は、画像領域が複数抽出された場合、抽出された複数の画像領域の水平方向の偏差に基づいて検出対象物体の数が複数であるか否かを判断する物体数判断手段をさらに備え、物体数判断手段によって検出対象物体の数が複数であると判断された場合に、分別手段が、複数の画像領域を検出対象物体ごとに分別することが好ましい。 In addition, when a plurality of image regions are extracted, the object detection device according to the present invention determines whether or not the number of detection target objects is a plurality based on the horizontal deviation of the plurality of extracted image regions. It is preferable that the image forming apparatus further includes an object number determination unit, and when the object number determination unit determines that there are a plurality of detection target objects, the classification unit separates the plurality of image regions for each detection target object.
この場合、複数の画像領域の水平方向の偏差に基づいて検出対象物体の数が求められる。例えば、水平方向の偏差が所定値以下である場合には、検出対象物体が1つであると判断され、偏差が所定値より大きい場合には検出対象物体が複数あると判断される。そして、検出対象物体の数が複数である場合に、画像領域が検出対象物体ごとに分けられる。そのため、重複している検出対象物を効率良く分離することが可能となる。 In this case, the number of detection target objects is obtained based on the horizontal deviation of the plurality of image regions. For example, when the horizontal deviation is less than or equal to a predetermined value, it is determined that there is one detection target object, and when the deviation is greater than the predetermined value, it is determined that there are a plurality of detection target objects. When there are a plurality of detection target objects, the image area is divided for each detection target object. Therefore, it is possible to efficiently separate overlapping detection objects.
本発明によれば、静止画像から物体を検出するときに、画像上で重複している検出対象物体を分離し、検出対象物体それぞれを認識することが可能となる。 According to the present invention, when an object is detected from a still image, it is possible to separate detection target objects that overlap in the image and recognize each detection target object.
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the figure, the same reference numerals are used for the same or corresponding parts.
(第1実施形態)
まず、図1を用いて、第1実施形態に係る物体検出装置1の全体構成について説明する。図1は、第1実施形態に係る物体検出装置1の全体構成を示すブロック図である。物体検出装置1は、車両前方の風景を撮像して画像データを取得するカメラ(撮像手段)10,11と、該画像データに対して画像処理を施すことにより、例えば歩行者や車両などの物体を抽出し、その位置情報等を算出する物体検出用電子制御装置(以下「物体検出ECU」という)13とを備えている。以下、歩行者を検出対象物体として検出する場合を例にして説明する。
(First embodiment)
First, the overall configuration of the
カメラ10及びカメラ11それぞれは、例えばCCDカメラであり、自車両のフロントウィンドウ上部(例えば、バックミラーの裏側)に前方を向いて設置されている。両カメラの光軸は互いに平行(実質的に平行であればよい)で、かつ撮像面の水平軸が同一線上に揃うように配置されている。カメラ10,11それぞれは、車両前方の風景を撮像して画像データを取得する。カメラ10,11により取得された画像データは、物体検出ECU13に出力される。なお、カメラ10,11の設置場所はフロントウィンドウ上部に限られることなく、車両前方の画像を撮像することができる場所であれば、車体のどの位置に設けてもよい。
Each of the
物体検出ECU13は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するROM、演算結果などの各種データを記憶するRAM及び12Vバッテリによってその記憶内容が保持されるバックアップRAM等により構成されている。 The object detection ECU 13 includes a microprocessor that performs calculations, a ROM that stores a program for causing the microprocessor to execute each process, a RAM that stores various data such as calculation results, and a backup in which the stored contents are held by a 12V battery. It is comprised by RAM etc.
物体検出ECU13は、カメラ10,11により取得された画像データから歩行者が存在する可能性の高い候補領域を取得する候補領域算出部20、候補領域算出部20で取得された候補領域において検出対象物体(歩行者)候補の抽出及び識別を行う検出部30、検出部30で抽出された歩行者候補の重複を除去する重複除去部40、及び、重複除去部40で認識された歩行者それぞれの位置情報等を出力する検出結果出力部50とを備えて構成されている。
The
候補領域算出部20は、カメラ10,11から入力された画像データに基づいて、歩行者が存在する可能性の高い画像上の候補領域(図4参照)の位置とカメラ10,11から該候補領域までの距離とを算出し、検出部30に出力するものである。候補領域算出部20は、距離計算部21及び候補算出部22を有して構成されている。
Based on the image data input from the
距離計算部21は、カメラ10から入力された画像データとカメラ11から入力された画像データとの差異に基づいて自車両から画像上に撮像されている物体までの距離を算出する。物体までの距離の算出は、例えばステレオ視の画像データを用い、三角測量の原理で求めることができる。距離の算出方法の一例について簡単に説明する。
The
物体が自車の前方にいる場合、カメラ10から得られた画像とカメラ11から得られた画像とを重ね合わせると、物体が水平方向にずれた位置になる。そこで、片方の画像を1画素づつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をnとする。また、カメラ10又は11を構成するレンズの焦点距離をf,左右のカメラ10,11の光軸間の距離をL、画素ピッチをdとすると、自車から物体までの距離Rは、次式により計算できる。
R=(f・L)/(n・d) ・・・(1)
When the object is in front of the host vehicle, when the image obtained from the
R = (f · L) / (n · d) (1)
候補算出部22は、まず、距離計算部21で算出された物体までの距離情報から、例えば、物体部分と背景部分との距離の差、距離のばらつき、及び、物体部分の大きさ(例えば横幅)等を算出する。次に、算出されたこれらの情報に基づいて、歩行者の可能性が高い物体が撮像されている画像上の候補領域を取得する。取得された候補領域情報は検出部30に出力される。
First, the
検出部30は、探索領域(図4参照)の設定等を行う探索制御部31、例えば画像データから特徴部分を抽出する特徴抽出部32、及び歩行者パターンを用いて歩行者を抽出する歩行者検出部33を有して構成されている。
The
探索制御部31では、候補領域算出部20により取得された候補領域それぞれにおいて歩行者を探索する探索領域が設定される。なお、探索領域は候補領域よりも小さく設定される。また、探査領域の大きさは、例えば、歩行者の大きさ及び自車両からの距離に応じて設定される。さらに、探査領域が順次シフトされて、候補領域全域において歩行者の抽出が行われる。
In the
特徴抽出部32及び歩行者検出部33では、設定された探索領域内において、歩行者候補のパターンによる抽出及び識別を行う。歩行者候補の抽出や識別には、例えば、ニューラルネットワーク、SVM(Support Vector Machine)、テンプレートマッチングなどの技術が用いられる。
The
歩行者候補が抽出された探索領域(画像領域)の情報、及び、画像上の歩行者候補と歩行者パターンとの類似度に応じた評価値を含む検出データは、重複除去部40に出力される。すなわち、検出部30は抽出手段として機能する。なお、探索領域情報としては、例えば、自車両からの距離、境界線及び探索領域の左上と右下の座標値などが挙げられる。また、評価値は類似度が高いほど、すなわち歩行者である可能性が高いほど大きくなる。
Information on the search region (image region) from which the pedestrian candidate is extracted and detection data including an evaluation value corresponding to the similarity between the pedestrian candidate and the pedestrian pattern on the image are output to the
ここで、カメラ10,11で撮像された画像と歩行者のパターンとを比較することにより歩行者を抽出するパターンマッチングでは、歩行者の画像が探索領域の中心に無い場合や、大きさの変動がある場合等を考慮して、そのような場合にも歩行者を検出することができるように調整されている。そのため、候補領域内において探査領域が順次シフトされ歩行者の抽出が行われた場合、同一の歩行者に対して複数の重複した検出結果が出力され得る。
Here, in pattern matching in which pedestrians are extracted by comparing images captured by the
重複除去部40は、検出部30から出力された同一歩行者の重複した抽出結果を除去すると共に、複数の歩行者に対する抽出結果の中で、画像上で重複している抽出結果をそれぞれ分離して認識するものである。重複除去部40は、人数推定部41、分別処理部42、及び代表値作成部43を有して構成されている。
The
人数推定部41は、候補領域における歩行者の抽出結果に基づいて、当該候補領域に含まれる歩行者数を推定するものである。人数推定部41では、評価値の上位データに対して、該上位データそれぞれの座標値の水平方向偏差と歩行者の横幅を基準にしたしきい値とに基づいて歩行者の人数が推定される。すなわち、人数推定部41は、物体数判断手段として機能する。歩行者の推定結果は分別処理部42に出力される。
The
分別処理部42は、人数推定部41により推定された歩行者数が複数である場合に、探索領域の座標値と歩行者の横幅とに基づいて、歩行者が抽出された探索領域情報等を歩行者ごとに分別する。すなわち、分別処理部42は、分別手段として機能する。分別された結果は代表値作成部43に出力される。
When there are a plurality of pedestrians estimated by the
代表値作成部43は、歩行者ごとに分けられた探索領域の座標値に対して、評価値に応じて重み付き平均をとることによって、歩行者の位置に対応した代表値を算出するものである。すなわち、代表値作成部43は、物***置算出手段として機能する。算出された代表値は検出結果出力部50に出力される。
The representative
検出結果出力部50は、重複除去部40の出力結果を運転者が必要とする形式に変換して出力するものである。
The detection
次に、図2、3を参照して、物体検出装置1の動作について説明する。図2は、物体検出装置1による歩行者抽出処理の処理手順を示すフローチャートである。図3は、物体検出装置1による重複除去処理の処理手順を示すフローチャートである。なお、本処理は所定時間毎に繰り返して実行される。始めに、図2を参照して、歩行者抽出処理について説明する。
Next, the operation of the
ステップS100では、候補領域算出部20により取得された矩形の候補領域のうちの一つが選択される。続くステップS102では、ステップS100で選択された候補領域内において、歩行者の抽出を行う矩形の探索領域が設定される。この探索領域の大きさは、例えば、歩行者の大きさ及び自車両からの距離に応じて設定される。
In step S100, one of the rectangular candidate areas acquired by the candidate
ステップS104では、ステップS102で設定された探索領域において、画像データの特徴抽出が行われる。続くステップS106では、特徴抽出が行われた画像データに対してパターンマッチングが行われることにより、歩行者の抽出が行われる。そして、歩行者が抽出された探索領域の座標値及び類似度に応じた評価値等の検出データが作成される。 In step S104, feature extraction of the image data is performed in the search area set in step S102. In subsequent step S106, pedestrians are extracted by performing pattern matching on the image data on which the feature extraction has been performed. And detection data, such as an evaluation value according to the coordinate value and similarity of the search area | region where the pedestrian was extracted, are produced.
ステップS108では、選択された候補領域内における全探索領域において歩行者の抽出処理が終了したか否かについて判断が行われる。ここで、全探索領域で歩行者の抽出処理が終了している場合には、ステップS110に処理が移行する。一方、歩行者の抽出処理が行われていない探索領域がある場合には、ステップS102に処理が移行する。そして、ステップS102において、次の探査領域が設定され、ステップS104、S106の処理が実行される。ステップS104、S106の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このようにステップS102〜S108の処理が繰り返し実行されることにより、ステップS100で選択された候補領域の全領域において歩行者の抽出処理が行われる。 In step S108, a determination is made as to whether or not the pedestrian extraction process has been completed in all search areas within the selected candidate area. If the pedestrian extraction process has been completed in all search areas, the process proceeds to step S110. On the other hand, when there is a search area where the pedestrian extraction process is not performed, the process proceeds to step S102. In step S102, the next search area is set, and the processes in steps S104 and S106 are executed. Since the processing content of steps S104 and S106 is the same as the processing content described above, description thereof is omitted here. As described above, the processes in steps S102 to S108 are repeatedly executed, so that the pedestrian extraction process is performed in all the candidate areas selected in step S100.
ステップS110では、候補領域算出部20により取得された全ての候補領域において歩行者の抽出処理が行われたか否かについての判断が行われる。ここで、全候補領域で抽出処理が終了している場合には本処理から一旦抜ける。一方、抽出処理が行われていない候補領域が残っている場合には、ステップS100に処理が移行する。そして、ステップS100において、次の候補領域が選択され、ステップS102〜S108の処理が実行される。ステップS102〜S108の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップS100〜S110の処理が繰り返し実行されることにより、候補領域算出部20により取得された全ての候補領域において歩行者の抽出処理が行われる。
In step S110, a determination is made as to whether or not pedestrian extraction processing has been performed in all candidate regions acquired by the candidate
次に、図3を参照して、重複除去処理について説明する。まず、ステップS200では、重複除去処理が行われる候補領域が選択される。 Next, the deduplication processing will be described with reference to FIG. First, in step S200, a candidate area to be subjected to deduplication processing is selected.
続くステップS202では、選択された候補領域内の歩行者の人数が人数推定部41により推定される。ここで、ステップS202において実行される人数推定のアルゴリズムについて説明する。
In the subsequent step S202, the number of pedestrians in the selected candidate area is estimated by the
まず、選択されている候補領域内の検出データを評価値の大きい方から順番にソートする。次に、ソート後の上位NUMBER_HIGHVAL_DATA個の検出データを取り出す。本実施形態では、NUMBER_HIGHVAL_DATAを10とした。すなわち、歩行者の可能性が高い10の検出データが取得される。次に、取得された検出データの探索領域の水平方向の偏差σxを求める。判断基準値dwを設定する。ここでdwとして、探索領域の横幅に所定値RATIO_HUMAN_WIDTHを乗算した値を用いた。本実施形態では、判断基準値dwがほぼ歩行者の横幅程度の大きさになるように、RATIO_HUMAN_WIDTHの値を0.33とした。これは、歩行者が隣接する場合、それぞれの歩行者の中心を通る線分間の距離が、人の幅程度になることを考慮したものである。そして、偏差σxと判断基準値dwとを比較し、σx≦dwであれば、歩行者は一人であるとし、σx>dwの場合には歩行者が複数であると判断する。 First, the detection data in the selected candidate area is sorted in order from the largest evaluation value. Next, the sorted NUMBER_HIGHVAL_DATA pieces of detected data are extracted. In this embodiment, NUMBER_HIGHVAL_DATA is set to 10. That is, ten detection data with a high possibility of a pedestrian are acquired. Next, a horizontal deviation σx of the search area of the acquired detection data is obtained. A judgment reference value dw is set. Here, a value obtained by multiplying the horizontal width of the search area by a predetermined value RATIO_HUMAN_WIDTH is used as dw. In the present embodiment, the value of RATIO_HUMAN_WIDTH is set to 0.33 so that the determination reference value dw is approximately the width of the pedestrian. This is because when the pedestrians are adjacent to each other, the distance between the line segments passing through the centers of the respective pedestrians is about the width of the person. Then, the deviation σx is compared with the determination reference value dw. If σx ≦ dw, it is determined that there is one pedestrian, and if σx> dw, it is determined that there are a plurality of pedestrians.
次に、ステップS204では、ステップS202で推定された歩行者の数が一人であるか否かについての判断が行われる。ここで、歩行者の数が一人である場合には、ステップS208に処理が移行する。一方、歩行者の数が複数である場合には、ステップS206に処理が移行する。 Next, in step S204, a determination is made as to whether or not the number of pedestrians estimated in step S202 is one. Here, when the number of pedestrians is one, the process proceeds to step S208. On the other hand, when the number of pedestrians is plural, the process proceeds to step S206.
歩行者が複数人であると判断された場合、ステップS206では、検出データを歩行者ごとに分別する分別処理が分別処理部42により行われる。ここで、ステップS206において実行される分別処理のアルゴリズムについて説明する。
When it is determined that there are a plurality of pedestrians, in step S206, the
歩行者が抽出された探索領域の中心のxy座標に応じて、例えばisodata(iterative self organizing data analysis techniques A)アルゴリズム等を適用してクラスタリングを行うことにより、探索領域を歩行者ごとに分別する。 Depending on the xy coordinates of the center of the search area from which the pedestrian has been extracted, for example, an isodata (iterative self organizing data analysis techniques A) algorithm is applied to classify the search area for each pedestrian.
クラスタ中心と該クラスタに所属する探索領域との距離の偏差σを求める。偏差σのもっとも大きいクラスタについて、偏差σが例えば判断基準値dwの1/2より大きければ、該クラスタは複数の人数を含んでいるとし、分割処理を行う。本実施形態において、しきい値をdw/2としたのは、互いの距離が歩行者の横幅の約半分より離れている場合には、別々の歩行者であると判断するためである。 A deviation σ of the distance between the cluster center and the search area belonging to the cluster is obtained. For the cluster having the largest deviation σ, if the deviation σ is larger than ½ of the criterion value dw, for example, the cluster is assumed to include a plurality of persons, and division processing is performed. In the present embodiment, the threshold value is set to dw / 2 in order to determine that they are separate pedestrians when the distance between them is more than about half of the lateral width of the pedestrian.
また、クラスタ中心間の距離を求め、最小の距離が、例えば、所定のしきい値dw/4より小さい場合には、同一のクラスタとみなして両クラスタを融合する。クラスタ中心間の距離が判断基準値dwの1/4より小さい場合には、同一人物であると判断するためである。 Further, the distance between the cluster centers is obtained, and if the minimum distance is smaller than a predetermined threshold value dw / 4, for example, the two clusters are merged with the same cluster. This is because when the distance between the cluster centers is smaller than 1/4 of the determination reference value dw, it is determined that they are the same person.
新旧のクラスタ中心間の距離が1以下となったときにクラスタリングを終了する。本実施形態では、0.1となったときにクラスタリングを終了した。これは、クラスタ中心が画素値として動かなくなればよいとの考えに基づくものである。このようにして、複数の探索領域がクラスタごと、すなわち歩行者ごとに分別される。 When the distance between the old and new cluster centers becomes 1 or less, the clustering is terminated. In the present embodiment, the clustering is finished when it reaches 0.1. This is based on the idea that the cluster center does not have to move as a pixel value. In this way, a plurality of search areas are classified for each cluster, that is, for each pedestrian.
次に、ステップS208において、代表値の算出が代表値作成部43により行われる。ステップS208では、各歩行者に分別された探索領域うち評価値が上位の探索領域を対象にして、歩行者ごとの探索領域の座標値に対して評価値に応じた重み付き平均をとることにより各歩行者の座標、すなわち各歩行者の位置が特定される。
Next, in step S208, the representative value is calculated by the representative
続くステップS210では、全ての候補領域において歩行者の分別処理が行われたか否かについての判断が行われる。ここで、全候補領域で分別処理が終了している場合には本処理から一旦抜ける。一方、分別処理が行われていない候補領域が残っている場合には、ステップS200に処理が移行する。そして、ステップS200において、次の候補領域が選択され、ステップS202〜S208の処理が実行される。ステップS202〜S208の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップS200〜S210の処理が繰り返し実行されることにより、全ての候補領域において歩行者の分別処理が行われる。 In subsequent step S210, a determination is made as to whether or not pedestrian classification processing has been performed in all candidate regions. Here, when the classification process has been completed for all candidate areas, the process temporarily exits. On the other hand, if there remains a candidate area for which the separation process has not been performed, the process proceeds to step S200. In step S200, the next candidate area is selected, and the processes in steps S202 to S208 are executed. Since the processing content of steps S202 to S208 is the same as the processing content described above, description thereof is omitted here. As described above, the processes of steps S200 to S210 are repeatedly executed, so that the pedestrian classification process is performed in all candidate areas.
このように、物体検出装置1によれば、複数の歩行者それぞれについて歩行者画像を含む複数の探索領域が抽出された場合、まず、探査領域の座標値に基づいて、探査領域に含まれる歩行者が同一の歩行者に対応するものであるか異なる歩行者に対応するものであるかが判断されることにより、複数の探索領域が歩行者ごとに分けられる。そして、同一の歩行者に属する探索領域の座標値が評価値に応じて重み付き平均されて歩行者の位置が算出される。このように、画像上で重複している歩行者を分離することができるので、歩行者それぞれを認識することが可能となる。
Thus, according to the
また、本実施形態によれば、複数の探索領域の水平方向の偏差σxに基づいて候補領域内の歩行者の数が求められる。そして、歩行者の数が複数である場合に、探索領域が歩行者ごとに分けられる。そのため、重複している歩行者を効率良く分離することが可能となる。 Further, according to the present embodiment, the number of pedestrians in the candidate area is obtained based on the horizontal deviation σx of the plurality of search areas. And when there are a plurality of pedestrians, the search area is divided for each pedestrian. As a result, overlapping pedestrians can be separated efficiently.
ここで、検出部30による歩行者の抽出結果の一例を図4に示す。破線の矩形枠が候補領域であり、一点鎖線の矩形枠が探索領域である。図4に示されるように、一人の歩行者に対して複数の探索領域が検出されている。また、各探索領域が重複して検出されている。
Here, an example of the extraction result of the pedestrian by the
重複除去部40による重複除去結果の一例を図5に示す。図5に示されるように、重複して検出されていた各探索領域の重複が除去されている。以上のことから、本実施形態の有効性が確認された。
An example of the duplicate removal result by the
(第2実施形態)
次に、図6を用いて、第2実施形態に係る物体検出装置2の全体構成について説明する。図6は、第2実施形態に係る物体検出装置2の全体構成を示すブロック図である。なお、図6において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Second Embodiment)
Next, the overall configuration of the
本実施形態が第1実施形態と異なるのは、代表値作成部43に代えて代表値作成部43Aを備えている点である。その他の構成については、第1実施形態と同一又は同様であるので、ここでは説明を省略する。
The present embodiment differs from the first embodiment in that a representative
代表値作成部43Aは、分別手段により歩行者ごとに分別された画像領域のうち評価値が最大である画像領域、すなわちもっとも類似度が高い画像データを含む画像領域の座標値から歩行者の位置を特定する。
The representative
本実施形態によれば、評価値が最大である画像領域の座標値から歩行者の位置が算出されるので、重み付き平均をとる場合と比較して、処理工数を低減することができる。その結果、処理を高速化することが可能となる。 According to the present embodiment, since the position of the pedestrian is calculated from the coordinate value of the image area having the maximum evaluation value, it is possible to reduce the processing man-hour compared with the case where the weighted average is taken. As a result, the processing can be speeded up.
重み付き平均は、画像領域の中心座標を用いて演算される。そのため、重み付き平均処理を行う前後で、矩形の画像領域の左上、右下の座標から中心の座標への変換及び逆変換を行う必要がある。本実施形態によれば、矩形の画像領域の左上、右下の座標から中心の座標への変換及び逆変換を行う必要がなく、検出データをそのまま代表値として出力することができる。 The weighted average is calculated using the center coordinates of the image area. Therefore, before and after performing the weighted averaging process, it is necessary to perform conversion from the upper left and lower right coordinates of the rectangular image region to the center coordinates and reverse conversion. According to the present embodiment, it is not necessary to perform conversion and reverse conversion from the upper left and lower right coordinates of the rectangular image region to the center coordinates, and the detection data can be output as a representative value as it is.
(第3実施形態)
次に、図7を用いて、第3実施形態に係る物体検出装置3の全体構成について説明する。図7は、第3実施形態に係る物体検出装置3の全体構成を示すブロック図である。なお、図7において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Third embodiment)
Next, the overall configuration of the
本実施形態が第1実施形態と異なるのは、分別処理部42に代えて分別処理部42Aを備えている点である。その他の構成については、第1実施形態と同一又は同様であるので、ここでは説明を省略する。
This embodiment is different from the first embodiment in that a
分別処理部42Aは、探索領域の中心の座標値x,yに、距離z及び評価値vのいずれか一方又は双方を加えた検出データに基づいてクラスタリングを行うことにより、探索領域を歩行者ごとに分別するものである。
The
ただし、座標値x,y、距離z、評価値vそれぞれは、値の取り得る範囲や分散等が異なるため、正規化する必要がある。座標値x,y及び距離zについては、例えば、次式により正規化することができる。
xn=(x−mx)/σx ・・・(2)
yn=(y−my)/σy ・・・(3)
zn=(z−mz)/σz ・・・(4)
ここで、mは平均値、σは標準偏差である。
However, each of the coordinate values x, y, the distance z, and the evaluation value v needs to be normalized because the range, variance, and the like that the value can take are different. The coordinate values x, y and the distance z can be normalized by the following equation, for example.
x n = (x−m x ) / σ x (2)
y n = (y−m y ) / σ y (3)
z n = (z−m z ) / σ z (4)
Here, m is an average value, and σ is a standard deviation.
また、評価値vについては、例えば、次式に示されるようなlogistic関数を用いることにより、評価値vの定義域[0,∞)をfの値域[0,1)の範囲に正規化することができる。
f(x)=1/(1+e−kv) ・・・(5)
ここで、kはvの出力値に応じてfの変化を決定するパラメータである。例えば、k=3とすることができる。
For the evaluation value v, for example, by using a logistic function as shown in the following equation, the domain [0, ∞) of the evaluation value v is normalized to the range of the value range [0,1) of f. be able to.
f (x) = 1 / (1 + e −kv ) (5)
Here, k is a parameter that determines the change of f according to the output value of v. For example, k = 3.
なお、クラスタリング処理は、上記ステップS206における処理と同一又は同様であるので、ここでは説明を省略する。 Note that the clustering process is the same as or similar to the process in step S206, and thus the description thereof is omitted here.
本実施形態によれば、探索領域の中心の座標値x,yに、距離zや評価値vを加えたデータに基づいてクラスタリングがおこなわれるので、分別処理の精度を向上することが可能となる。 According to the present embodiment, since the clustering is performed based on the data obtained by adding the distance z and the evaluation value v to the coordinate values x and y of the center of the search area, it is possible to improve the accuracy of the classification process. .
(第4実施形態)
次に、図8を用いて、第4実施形態に係る物体検出装置4の全体構成について説明する。図8は、第4実施形態に係る物体検出装置4の全体構成を示すブロック図である。なお、図8において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Fourth embodiment)
Next, the overall configuration of the
本実施形態が第1実施形態と異なるのは、カメラ11に代えて自車両からの距離を測定する測距装置12を備えている点、及び、距離計算部21,候補算出部22に代えてセンサ座標系候補算出部23及び画像座標系候補対応部24を備えている点である。その他の構成については、第1実施形態と同一又は同様であるので、ここでは説明を省略する。
This embodiment is different from the first embodiment in that a
測距装置12は、自車両から、前方にある歩行者などの物体までの距離を測定するものであり、例えば、ミリ波レーダやレーザレーダ等が好適に用いられる。
The
センサ座標系候補算出部23は、測距装置12によって測定された物体までの距離情報から、例えば、物体部分と背景部分との距離の差、距離のばらつき、及び、物体部分の大きさ(例えば横幅)等を算出する。次に、算出されたこれらの情報に基づいて、歩行者の可能性が高い物体が撮像されている画像上の候補領域を取得するものである。取得された候補領域情報は検出部30に出力される。
From the distance information to the object measured by the
画像座標系候補対応部24は、センサの座標系とカメラの座標系の対応を取る処理を行うものである。
The image coordinate system
物体検出装置4によれば、測距装置12によって自車両から歩行者までの距離を直接測定することができるので、ステレオカメラを用いた距離算出処理が不要となる。
According to the
(第5実施形態)
次に、図9を用いて、第5実施形態に係る物体検出装置5の全体構成について説明する。図9は、第5実施形態に係る物体検出装置5の全体構成を示すブロック図である。なお、図9において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Fifth embodiment)
Next, the overall configuration of the object detection apparatus 5 according to the fifth embodiment will be described with reference to FIG. FIG. 9 is a block diagram showing the overall configuration of the object detection apparatus 5 according to the fifth embodiment. In FIG. 9, the same or equivalent components as those in the first embodiment are denoted by the same reference numerals.
本実施形態が第1実施形態と異なるのは、人数推定部41を備えていない点である。
This embodiment is different from the first embodiment in that the number-of-
図10を参照して、物体検出装置3の動作について説明する。図10は、物体検出装置5による重複除去処理の処理手順を示すフローチャートである。
The operation of the
ステップS300では、重複除去処理が行われる候補領域が選択される。続くステップS302では、検出データを歩行者ごとに分別する分別処理が行われる。ステップS302における分別処理は、上記ステップS206における処理と同一であるので、ここでは説明を省略する。 In step S300, a candidate area to be subjected to deduplication processing is selected. In subsequent step S302, a classification process is performed in which the detection data is classified for each pedestrian. Since the classification process in step S302 is the same as the process in step S206, description thereof is omitted here.
続いて、ステップS304では、代表値の算出が行われる。ステップS304では、各歩行者に分別された検出データうち評価値が上位の検出データを対象にして、歩行者ごとの画像領域の座標値に対して評価値に応じた重み付き平均をとることにより各歩行者の座標、すなわち各歩行者の位置が特定される。 Subsequently, in step S304, a representative value is calculated. In step S304, by taking the weighted average according to the evaluation value for the coordinate value of the image area for each pedestrian, the detection data with the highest evaluation value among the detection data classified for each pedestrian is used as a target. The coordinates of each pedestrian, that is, the position of each pedestrian is specified.
続くステップS306では、全ての候補領域において歩行者の分別処理が行われたか否かについての判断が行われる。ここで、全候補領域で分別処理が終了している場合には本処理から一旦抜ける。一方、分別処理が行われていない候補領域が残っている場合には、ステップS300に処理が移行する。そして、ステップS300において、次の候補領域が選択され、ステップS302,S304の処理が実行される。ステップS302,S304の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップS300〜S306の処理が繰り返し実行されることにより、全ての候補領域において歩行者の分別処理が行われる。 In subsequent step S306, a determination is made as to whether or not pedestrian classification processing has been performed in all candidate regions. Here, when the classification process has been completed for all candidate areas, the process temporarily exits. On the other hand, if there remains a candidate area for which the separation process has not been performed, the process proceeds to step S300. In step S300, the next candidate area is selected, and the processes in steps S302 and S304 are executed. Since the processing content of steps S302 and S304 is the same as the processing content described above, description thereof is omitted here. As described above, the processes of steps S300 to S306 are repeatedly executed, so that the pedestrian classification process is performed in all candidate areas.
本実施形態では、人数推定処理が行われることなく、直接クラスタリングが行われる。本実施形態によれば、人数推定処理を省略することができるので、処理速度をより高速化することが可能になる。 In the present embodiment, direct clustering is performed without performing the number of people estimation process. According to the present embodiment, since the number of persons estimation process can be omitted, the processing speed can be further increased.
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、物体検出装置1を構成する物体検出ECU13の各処理部の機能分担等は上記実施形態に限られるものではない。
Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made. For example, the function sharing of each processing unit of the
また、上記実施形態の説明では物体検出装置1を車両に搭載した場合について説明したが、例えば、物体検出装置1をロボット等に搭載することもできる。さらに、屋内での人の検出や監視等に使用することもできる。
Moreover, although the case where the
1…物体検出装置、10,11…カメラ、12…測距装置、13…物体検出ECU、20…候補領域算出部、30…検出部、40…重複除去部、41…人数推定部、42…分別処理部、43…代表値作成部、50…検出結果出力部。
DESCRIPTION OF
Claims (3)
前記撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、前記画像領域の座標値、及び、前記画像領域に含まれる検出対象物体候補と前記検出対象物体との類似度に応じた前記画像領域の評価値を出力する抽出手段と、
前記抽出手段から出力された前記画像領域の前記座標値に基づいて、前記画像領域を前記検出対象物体ごとに分別する分別手段と、
前記分別手段により分別された前記検出対象物体ごとの前記画像領域の座標値に対して前記評価値に応じた重み付き平均をとることにより、前記検出対象物体の位置を算出する物***置算出手段と、を備えることを特徴とする物体検出装置。 An imaging means for capturing an image;
An image region including a candidate image of the detection target object is extracted from the image captured by the imaging unit, and the coordinate value of the image region and the detection target object candidate included in the image region and the detection target object are extracted. Extraction means for outputting an evaluation value of the image area according to the similarity,
Sorting means for classifying the image area for each detection target object based on the coordinate values of the image area output from the extraction means;
Object position calculating means for calculating the position of the detection target object by taking a weighted average according to the evaluation value for the coordinate value of the image region for each detection target object classified by the classification means; An object detection apparatus comprising:
前記撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、前記画像領域の座標値、及び、前記画像領域に含まれる検出対象物体候補と前記検出対象物体との類似度に応じた前記画像領域の評価値を出力する抽出手段と、
前記抽出手段から出力された前記画像領域の前記座標値に基づいて、前記画像領域を前記検出対象物体ごとに分別する分別手段と、
前記分別手段により前記検出対象物体ごとに分別された前記画像領域のうち前記評価値が最大である前記画像領域の座標値から前記検出対象物体の位置を算出する物***置算出手段と、を備えることを特徴とする物体検出装置。 An imaging means for capturing an image;
An image region including a candidate image of the detection target object is extracted from the image captured by the imaging unit, and the coordinate value of the image region and the detection target object candidate included in the image region and the detection target object are extracted. Extraction means for outputting an evaluation value of the image area according to the similarity,
Sorting means for classifying the image area for each detection target object based on the coordinate values of the image area output from the extraction means;
Object position calculation means for calculating the position of the detection target object from the coordinate value of the image area having the maximum evaluation value among the image areas classified by the classification means for each detection target object. An object detection device characterized by.
前記分別手段は、前記物体数判断手段によって前記検出対象物体の数が複数であると判断された場合に、複数の前記画像領域を前記検出対象物体ごとに分別することを特徴とする請求項1又は2に記載の物体検出装置。 When a plurality of the image areas are extracted, further comprising an object number determination means for determining whether or not the number of the detection target objects is a plurality based on a horizontal deviation of the plurality of extracted image areas,
The said classification | category means classify | categorizes the said several image area | region for every said detection target object, when it is judged by the said object number determination means that the number of the said detection target objects is plural. Or the object detection apparatus of 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004192197A JP2006010652A (en) | 2004-06-29 | 2004-06-29 | Object-detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004192197A JP2006010652A (en) | 2004-06-29 | 2004-06-29 | Object-detecting device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006010652A true JP2006010652A (en) | 2006-01-12 |
Family
ID=35778056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004192197A Pending JP2006010652A (en) | 2004-06-29 | 2004-06-29 | Object-detecting device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006010652A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008152672A (en) * | 2006-12-19 | 2008-07-03 | Fujitsu Ten Ltd | Image recognition apparatus, image recognition method and electronic control apparatus |
KR100865531B1 (en) | 2007-06-04 | 2008-10-29 | (주)유디피 | Method for separating individual pedestrians by clustering foreground pixels |
JP2014191400A (en) * | 2013-03-26 | 2014-10-06 | Mega Chips Corp | Image detection apparatus, control program, and image detection method |
KR101543105B1 (en) | 2013-12-09 | 2015-08-07 | 현대자동차주식회사 | Method And Device for Recognizing a Pedestrian and Vehicle supporting the same |
JP2019049918A (en) * | 2017-09-12 | 2019-03-28 | 日立建機株式会社 | Obstacle detection system for heavy equipment |
JP2020518076A (en) * | 2017-04-28 | 2020-06-18 | トヨタ モーター ヨーロッパ | System and method for detecting objects in digital images, and system and method for rescoring object detection |
WO2021005898A1 (en) * | 2019-07-11 | 2021-01-14 | コニカミノルタ株式会社 | Object detection device, object detection method, and program |
-
2004
- 2004-06-29 JP JP2004192197A patent/JP2006010652A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008152672A (en) * | 2006-12-19 | 2008-07-03 | Fujitsu Ten Ltd | Image recognition apparatus, image recognition method and electronic control apparatus |
US8090147B2 (en) | 2006-12-19 | 2012-01-03 | Fujitsu Ten Limited | Matching object and reference pattern images using search window size widths and heights to predict object collision |
KR100865531B1 (en) | 2007-06-04 | 2008-10-29 | (주)유디피 | Method for separating individual pedestrians by clustering foreground pixels |
JP2014191400A (en) * | 2013-03-26 | 2014-10-06 | Mega Chips Corp | Image detection apparatus, control program, and image detection method |
KR101543105B1 (en) | 2013-12-09 | 2015-08-07 | 현대자동차주식회사 | Method And Device for Recognizing a Pedestrian and Vehicle supporting the same |
JP2020518076A (en) * | 2017-04-28 | 2020-06-18 | トヨタ モーター ヨーロッパ | System and method for detecting objects in digital images, and system and method for rescoring object detection |
US11715281B2 (en) | 2017-04-28 | 2023-08-01 | Toyota Motor Europe | System and method for detecting objects in a digital image, and system and method for rescoring object detections |
JP2019049918A (en) * | 2017-09-12 | 2019-03-28 | 日立建機株式会社 | Obstacle detection system for heavy equipment |
WO2021005898A1 (en) * | 2019-07-11 | 2021-01-14 | コニカミノルタ株式会社 | Object detection device, object detection method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034047B (en) | Lane line detection method and device | |
CN107431786B (en) | Image processing apparatus, image processing system, and image processing method | |
JP6144656B2 (en) | System and method for warning a driver that visual recognition of a pedestrian may be difficult | |
JP4429298B2 (en) | Object number detection device and object number detection method | |
JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
US7660436B2 (en) | Stereo-vision based imminent collision detection | |
US20130195364A1 (en) | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus | |
CN108645375B (en) | Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system | |
JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
JP2008286725A (en) | Person detector and detection method | |
JP2012174117A (en) | Mobile object detection device | |
JPH1166319A (en) | Method and device for detecting traveling object, method and device for recognizing traveling object, and method and device for detecting person | |
CN101383005A (en) | Method for separating passenger target image and background by auxiliary regular veins | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
JP2007310480A (en) | Recognition device and recognition means | |
JP4123138B2 (en) | Vehicle detection method and vehicle detection device | |
JP5107154B2 (en) | Motion estimation device | |
Ng et al. | Low latency deep learning based parking occupancy detection by exploiting structural similarity | |
JP2006010652A (en) | Object-detecting device | |
JP4918615B2 (en) | Object number detection device and object number detection method | |
JP2007156897A (en) | Speed-measuring apparatus, method, and program | |
JP2013104740A (en) | Image processing device and image processing method | |
CN114743264A (en) | Shooting behavior detection method, device, equipment and storage medium | |
JP4674920B2 (en) | Object number detection device and object number detection method | |
KR102283053B1 (en) | Real-Time Multi-Class Multi-Object Tracking Method Using Image Based Object Detection Information |