JP2012123626A - Object detector and program - Google Patents
Object detector and program Download PDFInfo
- Publication number
- JP2012123626A JP2012123626A JP2010273871A JP2010273871A JP2012123626A JP 2012123626 A JP2012123626 A JP 2012123626A JP 2010273871 A JP2010273871 A JP 2010273871A JP 2010273871 A JP2010273871 A JP 2010273871A JP 2012123626 A JP2012123626 A JP 2012123626A
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- pedestrian
- candidate
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、対象物検出装置及びプログラムに係り、特に、撮像された画像から対象物を検出する対象物検出装置及びプログラムに関する。 The present invention relates to an object detection apparatus and program, and more particularly, to an object detection apparatus and program for detecting an object from a captured image.
近年、車載カメラで撮像した車両周辺の映像を画像処理し、特定の対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。例えば、このような対象物検出装置では、撮像された画像内の部分画像と予め生成された対象物の識別モデル等とを比較することにより対象物を検出しているが、対象物が歩行者及び二輪車の場合には、対象物ではない電柱などの道路構造物や路傍の植え込みなどの植物などが対象物として検出されてしまう誤検出が生じる場合がある。特に、局所的な輪郭情報を記述した特徴量を用いた手法（例えば、ＨＯＧ：Histograms of Oriented Gradients を用いた手法）による対象物検出では、局所的な形状の類似性により、この誤検出が生じる傾向が高い。 In recent years, an increasing number of vehicles are equipped with an object detection device that performs image processing on a video around a vehicle imaged by an in-vehicle camera, detects a specific object, and presents a detection result to a driver. For example, in such an object detection device, the object is detected by comparing a partial image in the captured image with a previously generated identification model of the object, but the object is a pedestrian. And in the case of a two-wheeled vehicle, there may be a false detection in which a road structure such as a utility pole that is not the object or a plant such as a roadside plant is detected as the object. In particular, in the object detection by a method using a feature amount describing local contour information (for example, a method using HOG: Histograms of Oriented Gradients), this false detection occurs due to the similarity of local shapes. The tendency is high.
そこで、車両の進行方向の所定領域を赤外線画像として撮像し、赤外線画像のコントラストを高め、エッジが強調された後の画像に対して、水平方向エッジ及び鉛直方向エッジを低減する処理を行った画像に基づいて、歩行者を表す像を検出する歩行者検出表示システムが提案されている（例えば、特許文献１参照）。 Therefore, an image obtained by capturing a predetermined region in the traveling direction of the vehicle as an infrared image, increasing the contrast of the infrared image, and reducing the horizontal edge and the vertical edge on the image after the edge is enhanced. Based on the above, a pedestrian detection display system for detecting an image representing a pedestrian has been proposed (see, for example, Patent Document 1).
また、近赤外線画像から歩行者候補領域を抽出し、歩行者候補のサイズ及び輝度を正規化した後、正規化された歩行者候補間の類似度を演算し、演算した類似度が所定値以上である他の歩行者候補が２つ以上ある歩行者候補を歩行者ではないと判定する歩行者検知装置が提案されている（例えば、特許文献２参照）。 Moreover, after extracting a pedestrian candidate area | region from a near-infrared image, normalizing the size and brightness | luminance of a pedestrian candidate, the similarity between the normalized pedestrian candidates is calculated, and the calculated similarity is more than predetermined value There has been proposed a pedestrian detection device that determines that a pedestrian candidate having two or more other pedestrian candidates is not a pedestrian (for example, see Patent Document 2).
しかしながら、特許文献１の技術では、水平方向エッジ及び鉛直方向エッジを低減することで人工構造物を除去し、歩行者検出の精度を向上させようとしているが、例えば歩行者の胴体部分などには垂直エッジも多く含まれていること考慮すると、エッジを低減することにより、検出されるべき対象物が検出されない未検出が発生する可能性がある、という問題がある。 However, in the technique of Patent Document 1, an attempt is made to improve the accuracy of pedestrian detection by removing artificial structures by reducing the horizontal edge and the vertical edge. Considering that many vertical edges are included, there is a problem in that undetected objects that cannot be detected may occur due to the reduction of the edges.
また、特許文献２の技術では、検出された他の歩行者候補間で類似性を判断しているため、歩行者候補が１つしか検出されなかった場合には、誤検出を除去することができない、という問題がある。 Moreover, in the technique of Patent Document 2, since similarity is determined between other detected pedestrian candidates, if only one pedestrian candidate is detected, false detection can be eliminated. There is a problem that it is not possible.
本発明は、上記の問題点を解決するためになされたもので、対象物が歩行者及び二輪車である場合に、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる対象物検出装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems. When the target object is a pedestrian or a two-wheeled vehicle, the detection accuracy of the target object can be improved by reducing erroneous detection of road structures and plants. An object of the present invention is to provide an object detection apparatus and program that can be improved.
上記目的を達成するために、第１の発明の対象物検出装置は、撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、前記識別手段により識別された候補画像をテンプレートに設定する設定手段と、前記設定手段により設定されたテンプレートに類似する画像が前記候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、を含んで構成されている。 In order to achieve the above object, an object detection apparatus according to a first aspect of the present invention includes a window image extraction unit that extracts a window image from an image captured by an imaging unit, a window image extracted by the window image extraction unit, Identifying means for identifying whether or not the window image is a candidate image indicating a candidate for an object based on an identification model generated in advance to identify a pedestrian or a two-wheeled vehicle that is an object; A setting unit configured to set the candidate image identified by the identifying unit as a template, and whether or not an image similar to the template set by the setting unit is continuously present along a predetermined direction in a peripheral region of the candidate image. And determining means for determining the remaining candidate images excluding the case where it is determined to exist as an image indicating the object. It is configured.
第１の発明の対象物検出装置によれば、ウインドウ画像抽出手段が、撮像手段により撮像された画像からウインドウ画像を抽出し、識別手段が、ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する。ここで、二輪車には、自転車及び自動二輪車が含まれる。 According to the object detection apparatus of the first invention, the window image extraction unit extracts the window image from the image captured by the imaging unit, and the identification unit extracts the window image extracted by the window image extraction unit and the target Whether the window image is a candidate image indicating a candidate for an object is identified based on an identification model generated in advance to identify a pedestrian or a two-wheeled vehicle that is an object. Here, the motorcycle includes a bicycle and a motorcycle.
そして、設定手段が、識別手段により識別された候補画像をテンプレートに設定し、判定手段が、設定手段により設定されたテンプレートに類似する画像が候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、対象物を示す画像として判定する。 Then, the setting unit sets the candidate image identified by the identifying unit to the template, and the determining unit continuously images similar to the template set by the setting unit along the predetermined direction in the peripheral area of the candidate image. It is determined whether or not it exists, and the remaining candidate images excluding the case where it is determined to exist are determined as images indicating the object.
このように、識別手段により識別された候補画像をテンプレートに設定し、候補画像の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の候補画像を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる。 In this way, the candidate image identified by the identification unit is set as a template, and it is determined whether or not images similar to the template continuously exist along the predetermined direction in the peripheral area of the candidate image. Decide whether the image is a false detection of road structures, plants, etc., and exclude candidate images for false detection, thus reducing false detection of road structures, plants, etc. and improving the detection accuracy of objects Can be made.
また、第２の発明の対象物検出装置は、撮像手段により撮像された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、前記識別手段により識別された候補画像の部分領域の画像をテンプレートに設定する設定手段と、前記設定手段により設定されたテンプレートに類似する画像が前記候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、を含んで構成されている。 According to a second aspect of the present invention, there is provided a target object detection apparatus including a window image extraction unit that extracts a window image from an image captured by an imaging unit, a window image extracted by the window image extraction unit, and a walking that is a target. Identification means for identifying whether or not the window image is a candidate image indicating a candidate for an object based on an identification model generated in advance to identify a person or a motorcycle, and the identification means A setting unit configured to set an image of a partial area of the candidate image as a template, and whether or not an image similar to the template set by the setting unit is continuously present along a predetermined direction in the candidate image. Determining means for determining the remaining candidate images excluding the case where it is determined to exist as an image indicating the target object. That.
第２の発明の対象物検出装置によれば、設定手段が、識別手段により識別された候補画像の部分領域の画像をテンプレートに設定し、判定手段が、設定手段により設定されたテンプレートに類似する画像が候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、対象物を示す画像として判定する。 According to the object detection device of the second invention, the setting means sets the partial region image of the candidate image identified by the identification means to the template, and the determination means is similar to the template set by the setting means. It is determined whether the images are continuously present in the candidate image along a predetermined direction, and the remaining candidate images excluding the case where the images are determined to be present are determined as images indicating the target object.
このように、識別手段により識別された候補画像の一部をテンプレートに設定し、候補画像内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる。 In this way, by setting a part of the candidate image identified by the identification unit as a template and determining whether images similar to the template exist continuously along the predetermined direction in the candidate image, In order to determine whether the candidate image is a false detection of road structures or plants and to exclude false detection pedestrian candidates, the detection accuracy of the target object is reduced by reducing the false detection of road structures and plants. Can be improved.
また、前記判定手段は、前記テンプレートに対応する比較領域を前記所定方向に所定量ずつずらしながら順次設定し、前記テンプレートと前記比較領域内の画像の各々との類似度または非類似度に基づいて、候補画像を除外するか否かを判定することができる。 Further, the determination unit sequentially sets the comparison area corresponding to the template while shifting the predetermined area by a predetermined amount in the predetermined direction, and based on the similarity or dissimilarity between the template and each of the images in the comparison area. It can be determined whether or not to exclude the candidate image.
また、前記設定手段は、前記判定手段により前記比較領域内の画像と前記テンプレートとの類似度または非類似度を求める際に、該テンプレートを１つ前に設定された比較領域の画像に更新することができる。これにより、当初テンプレートを設定した位置から離れた位置に設定された比較領域内の画像にテクスチャなどの変化がある場合でも、比較領域内の画像とテンプレートとの類似度の連続性の判定を安定して行うことができる。 In addition, when the determination unit obtains the similarity or dissimilarity between the image in the comparison region and the template by the determination unit, the setting unit updates the template to the image of the comparison region set immediately before. be able to. This makes it possible to stably determine the continuity of the similarity between the image in the comparison area and the template even if there is a change in the texture or the like in the image in the comparison area set at a position away from the position where the template was originally set. Can be done.
また、前記判定手段は、前記テンプレートに設定された画像周辺の異なる複数の方向に対応する領域から抽出される画像の各々と前記テンプレートとの類似度を算出し、該類似度が最も高い画像が抽出された領域の方向を、前記所定方向として決定したり、前記テンプレートに設定された画像のエッジ方向のヒストグラムを作成し、該エッジ方向のヒストグラムに基づいて、前記所定方向を決定したりすることができる。エッジ方向のヒストグラムを作成する場合は、前記エッジ方向のヒストグラムに基づいて、最も頻度の高いエッジ方向を前記所定方向として決定することができる。これにより、比較領域内の画像とテンプレートとの類似度の連続性の判定を行う際に、所定方向が適切に決定されるため、誤検出の判定精度が向上する。 Further, the determination unit calculates a similarity between each of the images extracted from regions corresponding to a plurality of different directions around the image set in the template, and the image having the highest similarity is calculated. The direction of the extracted region is determined as the predetermined direction, or a histogram of the edge direction of the image set in the template is created, and the predetermined direction is determined based on the edge direction histogram. Can do. When creating an edge direction histogram, the most frequent edge direction can be determined as the predetermined direction based on the edge direction histogram. Thereby, when determining the continuity of the similarity between the image in the comparison region and the template, the predetermined direction is appropriately determined, so that the determination accuracy of erroneous detection is improved.
また、前記判定手段は、前記比較領域内の画像及び前記テンプレートのエッジ方向を演算し、最も頻度の高いエッジ方向が一致または近似する場合に、前記比較領域内の画像と前記テンプレートとの類似度が高いと判定することができる。 In addition, the determination unit calculates the edge direction of the image in the comparison area and the template, and when the most frequent edge direction matches or approximates, the similarity between the image in the comparison area and the template Can be determined to be high.
また、第３の発明の対象物検出プログラムは、コンピュータを、上記対象物検出装置を構成する各手段として機能させるための検出プログラムである。 The object detection program of the third invention is a detection program for causing a computer to function as each means constituting the object detection apparatus.
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。 The storage medium for storing the program of the present invention is not particularly limited, and may be a hard disk or a ROM. Further, it may be a CD-ROM, a DVD disk, a magneto-optical disk or an IC card. Furthermore, the program may be downloaded from a server or the like connected to the network.
以上説明したように、本発明の対象物検出装置及びプログラムによれば、識別手段により識別された候補画像をテンプレートに設定し、候補画像の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定するか、または識別手段により識別された候補画像の一部をテンプレートに設定し、候補画像内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、候補画像が道路構造物や植物等の誤検出か否かを判定して、誤検出の候補画像を除外するため、道路構造物や植物等の誤検出を低減して、対象物の検出精度を向上させることができる、という効果が得られる。 As described above, according to the object detection device and the program of the present invention, the candidate image identified by the identification unit is set as the template, and an image similar to the template along the predetermined direction is set in the peripheral area of the candidate image. It is determined whether or not there is a continuous image, or a part of the candidate image identified by the identification unit is set as a template, and images similar to the template are continuously present in the candidate image along a predetermined direction. In order to determine whether or not the candidate image is a false detection of a road structure or a plant by deciding whether or not to perform a false detection of a road structure or a plant, etc. The effect that it can reduce and the detection accuracy of a target object can be improved is acquired.
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を検出するための歩行者検出装置に本発明を適用した場合について説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case will be described in which the present invention is applied to a pedestrian detection device that is mounted on a vehicle and detects a pedestrian as an object.
図１に示すように、第１の実施の形態に係る歩行者検出装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２で撮像された撮像画像から歩行者を検出する処理を実行するコンピュータ２０と、コンピュータ２０の検出結果を表示する表示装置１８と、を備えている。 As shown in FIG. 1, a pedestrian detection device 10 according to the first embodiment is attached to a vehicle (not shown), captures an image of the front of the vehicle, and generates an image. The computer 20 which performs the process which detects a pedestrian from the captured image imaged with the apparatus 12, and the display apparatus 18 which displays the detection result of the computer 20 are provided.
撮像装置１２は、車両の前方を撮像した画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）と、を備えている。 The imaging device 12 includes an imaging unit (not illustrated) that generates an image signal of an image captured in front of the vehicle, and an A / D conversion unit (not illustrated) that performs A / D conversion on the image signal generated by the imaging unit. And an image memory (not shown) for temporarily storing the A / D converted image signal.
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する歩行者検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、を含んで構成されている。また、記憶手段としてのメモリやＨＤＤを含んで構成してもよい。コンピュータ２０は、機能的には、図１に示すように、撮像装置１２で撮像された撮像画像を取得してウインドウ画像を抽出するウインドウ画像抽出部２２と、予め学習により生成された識別モデルを記憶した識別モデル記憶部２４と、ウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者を表す画像の候補（以下、「歩行者候補」という）であるか否かを識別する歩行者識別部２６と、歩行者候補をテンプレートに設定するテンプレート設定部２８と、テンプレートに類似するパタンが、歩行者候補の周辺領域に所定方向に沿って連続して存在するか否かを探索する類似パタン探索部３０と、類似パタン探索部３０での探索結果に基づいて、歩行者候補の誤検出を判定する誤検出判定部３２と、誤検出と判定された歩行者候補を除外した歩行者候補を歩行者の検出結果として、撮像画像に重畳して表示装置１８に表示するように制御する表示制御部３４と、を含んだ構成で表すことができる。 The computer 20 includes a CPU, a RAM, and a ROM that stores a program for executing a pedestrian detection processing routine described later. Further, it may be configured to include a memory or HDD as storage means. As shown in FIG. 1, the computer 20 functionally includes a window image extraction unit 22 that acquires a captured image captured by the imaging device 12 and extracts a window image, and an identification model generated in advance by learning. Pedestrian identification that identifies whether the window image is a candidate for an image representing a pedestrian (hereinafter referred to as a “pedestrian candidate”) based on the stored identification model storage unit 24, the window image, and the identification model. Part 26, template setting part 28 for setting a pedestrian candidate as a template, and a similar pattern for searching whether a pattern similar to the template is continuously present along a predetermined direction in the peripheral area of the pedestrian candidate Based on the search results of the search unit 30 and the similar pattern search unit 30, an erroneous detection determination unit 32 that determines erroneous detection of a pedestrian candidate, and a pedestrian candidate determined to be erroneous detection As a detection result of the pedestrian excluded pedestrian candidate, a display control unit 34 for controlling to display on the display device 18 superimposed on the captured image can be represented by the inclusive configure.
ウインドウ画像抽出部２２は、撮像装置１２で撮像された撮像画像に対して、抽出ウインドウを設定し、抽出ウインドウ内の画像をウインドウ画像として抽出する。抽出ウインドウは、様々なサイズを用意しておき、撮像画像上を走査しながらウインドウ画像を抽出することで、様々な位置及び大きさの対象物に対応する。 The window image extraction unit 22 sets an extraction window for the captured image captured by the imaging device 12, and extracts an image in the extraction window as a window image. The extraction window is prepared in various sizes, and the window image is extracted while scanning the captured image, thereby corresponding to objects of various positions and sizes.
識別モデル記憶部２４には、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の手法により学習された対象物である歩行者を識別するための識別モデルが記憶されている。 In the identification model storage unit 24, for example, an identification model for identifying a pedestrian that is an object learned by a technique such as SVM (Support Vector Machine) is stored.
歩行者識別部２６は、識別モデル記憶部２４に記憶された識別モデルと、ウインドウ画像抽出部２２により抽出されたウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者候補であるか否かを識別する。 Based on the identification model stored in the identification model storage unit 24 and the window image extracted by the window image extraction unit 22, the pedestrian identification unit 26 uses, for example, a conventionally known SVM classifier to generate a window image. Is identified as a pedestrian candidate.
歩行者識別部２６による識別では、図２に示すように、歩行者以外にも電柱、ガードレール等の道路構造物や植物などが対象物として識別されてしまう場合もある。このような歩行者の画像と歩行者以外の画像とでは、人間の見た目には全く異なる画像パタンを有しているが、ＨＯＧなどの局所的な輪郭情報を記述する特徴量を用いた識別方法においては、これらの誤検出が生じる傾向が高い。歩行者として誤検出され易い電柱やガードレールなどの道路構造物や植物等は、図３に示すように、歩行者候補（ここでは誤検出された電柱等）自身と類似したパタンが歩行者候補自身の周辺に存在している場合が多い。同図（ａ）は上方向、同図（ｂ）は斜め方向、同図（ｃ）は横方向に歩行者候補と類似したパタンが連続している例を示している。 In the identification by the pedestrian identification unit 26, as shown in FIG. 2, road structures such as utility poles and guardrails, plants, and the like may be identified as objects in addition to pedestrians. Such a pedestrian image and a non-pedestrian image have completely different image patterns in human appearance, but a discrimination method using a feature amount describing local contour information such as HOG In, there is a high tendency for these false detections to occur. As shown in FIG. 3, road poles, guardrails, and other road structures and plants that are easily misdetected as pedestrians have patterns similar to pedestrian candidates (in this case, erroneously detected utility poles) themselves. It often exists in the vicinity. The figure (a) shows the example where the pattern similar to a pedestrian candidate continues in the up direction, the figure (b) is the diagonal direction, and the figure (c) is the horizontal direction.
テンプレート設定部２８は、歩行者識別部２６で歩行者候補として識別されたウインドウ画像をテンプレートに設定する。 The template setting unit 28 sets a window image identified as a pedestrian candidate by the pedestrian identification unit 26 as a template.
類似パタン探索部３０は、テンプレート設定部２８で設定されたテンプレートを用いて、歩行者候補の周辺を探索してテンプレートと類似するパタンが所定方向に沿って連続して存在するか否かを探索する。ここで、例えば、識別モデルとの比較で検出された複数の歩行者候補が所定方向に沿って連続して存在しているか否かを判定する場合に比べて、テンプレート設定部２８で設定されたテンプレートを用いた場合の方が、誤検出の場合の特徴である類似パタンの連続性を精度よく判定することができる。 The similar pattern search unit 30 searches for the vicinity of the pedestrian candidate using the template set by the template setting unit 28 and searches for whether or not a pattern similar to the template exists continuously along a predetermined direction. To do. Here, for example, compared with the case where it is determined whether or not a plurality of pedestrian candidates detected by comparison with the identification model are continuously present along a predetermined direction, the template setting unit 28 sets When the template is used, the continuity of similar patterns, which is a feature in the case of erroneous detection, can be determined with higher accuracy.
類似パタン探索部３０でのより具体的な探索処理は、歩行者候補の位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。例えば、図４に示すように、歩行者候補（テンプレート）から探索方向である左方向に数画素分（例えば、２画素分）ずらした領域から比較画像を抽出することができる。探索方向は、予め定めた１つの方向でもよいし、上下左右の４方向や、さらに斜め方向を加えた８方向等のように複数の方向としてもよい。 More specific search processing in the similar pattern search unit 30 sets a comparison area of a size corresponding to the template at a position shifted by a predetermined shift amount in the search direction from the position of the pedestrian candidate, and images in the comparison area Extract as a comparison image. For example, as shown in FIG. 4, a comparative image can be extracted from an area shifted from the pedestrian candidate (template) by several pixels (for example, two pixels) leftward as the search direction. The search direction may be a predetermined direction, or may be a plurality of directions such as four directions (up, down, left, and right) or eight directions including an oblique direction.
そして、テンプレートと比較画像との類似度を算出する。類似度は、例えば、ＳＳＤ（Sum of Square Difference）を用いることができる。ＳＳＤの場合、値が小さいほど類似度が高いことを示す。図５（ａ）に示すように、歩行者候補が車両の一部及び植物で探索方向を横方向とした場合、並びに歩行者候補が歩行者で探索方向を横方向及び縦方向とした場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。歩行者候補が誤検出である車両や植物の場合には、比較領域のずらし量に対して低いＳＳＤの値が続いている。すなわち、テンプレートとの類似度が高い画像が探索方向に沿って連続して存在していることを示している。一方、歩行者候補が真の歩行者の場合には、探索方向が縦方向または横方向のいずれであっても、比較的高いＳＳＤの値が続いている。すなわち、歩行者候補の周辺にテンプレートに類似する画像が存在しないことを示している。 Then, the similarity between the template and the comparison image is calculated. As the similarity, for example, SSD (Sum of Square Difference) can be used. In the case of SSD, the smaller the value, the higher the similarity. As shown in FIG. 5A, when the pedestrian candidate is a part of a vehicle and a plant and the search direction is a horizontal direction, and when the pedestrian candidate is a pedestrian and the search direction is a horizontal direction and a vertical direction. FIG. 4B shows an example of the shift amount of the comparison area and the SSD value. In the case of a vehicle or plant in which the pedestrian candidate is erroneously detected, a low SSD value continues with respect to the shift amount of the comparison area. That is, it shows that images having high similarity to the template exist continuously along the search direction. On the other hand, when the pedestrian candidate is a true pedestrian, a relatively high SSD value continues even if the search direction is either the vertical direction or the horizontal direction. That is, it indicates that there is no image similar to the template around the pedestrian candidate.
誤検出判定部３２は、類似パタン探索部３０の探索結果であるテンプレートと歩行者候補との類似度に基づいて、歩行者候補が誤検出であるか否かを判定する。具体的には、類似パタン探索部３０の探索結果である比較領域のずらし量の所定区間内におけるＳＳＤの値を参照して、所定区間内において予め定めた閾値以下のＳＳＤの値が続いているか否かを判定する。所定区間内において予め定めた閾値以下のＳＳＤの値が続いている場合には、歩行者候補の周辺にテンプレートと類似するパタンが所定方向に沿って連続して存在する、すなわち誤検出であると判定する。 The erroneous detection determination unit 32 determines whether or not the pedestrian candidate is erroneously detected based on the similarity between the template and the pedestrian candidate that is the search result of the similar pattern search unit 30. Specifically, with reference to the SSD value within the predetermined section of the comparison region shift amount, which is the search result of the similar pattern search unit 30, whether the SSD value below a predetermined threshold value continues within the predetermined section. Determine whether or not. If the SSD value below a predetermined threshold value continues within a predetermined section, a pattern similar to the template continuously exists around the pedestrian candidate along the predetermined direction, that is, erroneous detection. judge.
なお、類似パタン探索部３０及び誤検出判定部３２が、本発明の判定手段の一例を示す構成である。 In addition, the similar pattern search unit 30 and the erroneous detection determination unit 32 are configurations showing an example of the determination unit of the present invention.
次に、図６を参照して、第１の実施の形態の歩行者検出装置１０のコンピュータ２０で実行される歩行者検出処理ルーチンについて説明する。 Next, a pedestrian detection processing routine executed by the computer 20 of the pedestrian detection apparatus 10 according to the first embodiment will be described with reference to FIG.
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、上記ステップ１００で取得した撮像画像に対して、抽出ウインドウを設定し、抽出ウインドウ内の画像をウインドウ画像として抽出する。 In step 100, a captured image captured by the imaging device 12 is acquired. Next, in step 102, an extraction window is set for the captured image acquired in step 100, and an image in the extraction window is displayed as a window image. Extract as
次に、ステップ１０４で、識別モデル記憶部２４に記憶された識別モデルと、上記ステップ１０２で抽出したウインドウ画像とに基づいて、例えば、従来既知のＳＶＭ識別器を用いて、ウインドウ画像が歩行者候補であるか否かを識別する。歩行者候補の場合には、ステップ１０６へ移行し、歩行者候補ではない場合には、ステップ１１４へ移行する。 Next, in step 104, based on the identification model stored in the identification model storage unit 24 and the window image extracted in step 102, for example, a window image is converted into a pedestrian using a conventionally known SVM classifier. Identify whether it is a candidate. If it is a pedestrian candidate, the process proceeds to step 106, and if it is not a pedestrian candidate, the process proceeds to step 114.
ステップ１０６では、上記ステップ１０４で歩行者候補であると識別されたウインドウ画像をテンプレートに設定する。次に、ステップ１０８で、類似パタン探索処理を実行する。 In step 106, the window image identified as a pedestrian candidate in step 104 is set as a template. Next, in step 108, a similar pattern search process is executed.
ここで、図７を参照して、類似パタン探索処理ルーチンについて説明する。 Here, the similar pattern search processing routine will be described with reference to FIG.
ステップ１０８０で、歩行者候補の位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。次に、ステップ１０８２で、テンプレートと比較画像との類似度ＳＳＤを算出する。 In step 1080, a comparison area having a size corresponding to the template is set at a position shifted by a predetermined shift amount in the search direction from the position of the pedestrian candidate, and an image in the comparison area is extracted as a comparison image. Next, in step 1082, the similarity SSD between the template and the comparison image is calculated.
次に、ステップ１０８４で、上記ステップ１０８２で算出したＳＳＤが予め定めた閾値以下か否かを判定する。ＳＳＤが閾値以下の場合には、ステップ１０８６へ移行し、ＳＳｄが閾値を超えている場合には、ステップ１０９０へ移行する。 Next, in Step 1084, it is determined whether or not the SSD calculated in Step 1082 is equal to or less than a predetermined threshold value. If the SSD is less than or equal to the threshold, the process proceeds to step 1086. If the SSD is greater than the threshold, the process proceeds to step 1090.
ステップ１０８６では、現在の比較領域のずらし量が所定区間を超えたか否かを判定する。ずらし量が所定区間を超えていない場合には、ステップ１０８０へ戻って、さらに探索方向に沿って歩行者候補の位置から離れる方向に所定のずらし量ずらした位置に比較領域を設定して処理を繰り返す。ずらし量が所定区間を超えた場合には、所定区間内において予め定めた閾値以下のＳＳＤの値が続いていると判定して、ステップ１０８８へ移行し、歩行者候補が非歩行者であるとの探索結果を記憶する。一方、ステップ１０９０へ移行した場合には、歩行者候補が真の歩行者であるとの探索結果を記憶して、リターンする。 In step 1086, it is determined whether or not the current shift amount of the comparison area exceeds a predetermined section. If the shift amount does not exceed the predetermined section, the process returns to step 1080 and further sets the comparison area at a position shifted by the predetermined shift amount in the direction away from the position of the pedestrian candidate along the search direction. repeat. When the shift amount exceeds the predetermined section, it is determined that the SSD value equal to or smaller than a predetermined threshold is continued in the predetermined section, and the process proceeds to Step 1088, where the pedestrian candidate is a non-pedestrian. The search result is stored. On the other hand, if the process proceeds to step 1090, the search result that the pedestrian candidate is a true pedestrian is stored, and the process returns.
なお、所定方向として複数の方向を探索する場合には、例えば、右方向について上記処理を実行し、上方向について上記処理を実行するというように、設定した探索方向毎に上記処理を実行し、少なくとも１つ以上の探索方向で類似パタンが連続して存在する場合に、誤検出であると判定するようにするとよい。 When searching for a plurality of directions as the predetermined direction, for example, the above processing is executed for each set search direction, such as executing the above processing for the right direction and executing the above processing for the upward direction, When similar patterns exist continuously in at least one or more search directions, it may be determined that a false detection has occurred.
歩行者検出処理（図６）に戻ってステップ１１０へ移行し、類似パタン探索処理の探索結果に基づいて、上記ステップ１０４で識別された歩行者候補が歩行者か否かを判定する。歩行者候補が歩行者の場合には、ステップ１１２へ移行して、歩行者候補であるウインドウ画像を抽出した際の抽出ウインドウの位置及びサイズを、歩行者の検出結果として所定の記憶領域に登録して、ステップ１１４へ移行する。上記ステップ１１０において歩行者候補が歩行者ではないと判定された場合には、ステップ１１２をスキップしてステップ１１４へ移行する。 It returns to a pedestrian detection process (FIG. 6), transfers to step 110, and determines whether the pedestrian candidate identified at the said step 104 is a pedestrian based on the search result of a similar pattern search process. When the pedestrian candidate is a pedestrian, the process proceeds to step 112, and the position and size of the extraction window when the window image that is the pedestrian candidate is extracted are registered in a predetermined storage area as a pedestrian detection result. Then, the process proceeds to step 114. If it is determined in step 110 that the pedestrian candidate is not a pedestrian, step 112 is skipped and the process proceeds to step 114.
ステップ１１４では、撮像画像全体からウインドウ画像を抽出する処理が終了したか否か、及び全てのサイズの抽出ウインドウを用いてウインドウ画像を抽出する処理が終了したか否かを判定する。終了していない場合には、ステップ１１６へ移行して、抽出ウインドウを１ステップ（所定画素分）移動させるか、または抽出ウインドウのサイズを変更してステップ１０２へ戻り、次のウインドウ画像を抽出して処理を繰り返す。 In step 114, it is determined whether or not the process of extracting the window image from the entire captured image has been completed, and whether or not the process of extracting the window image using the extraction windows of all sizes has been completed. If not completed, the process proceeds to step 116, and the extraction window is moved by one step (predetermined pixels) or the size of the extraction window is changed and the process returns to step 102 to extract the next window image. Repeat the process.
上記ステップ１１４において、撮像画像全体について、及び全てのサイズの抽出ウインドウについて処理が終了したと判定された場合には、ステップ１１８へ移行して、上記ステップ１１２で所定の記憶領域に登録された検出結果に基づいて、例えば、撮像画像の歩行者を表す画像であると識別された部分を矩形枠で囲むなどして、表示装置１８に表示する。 If it is determined in step 114 that the processing has been completed for the entire captured image and the extraction windows of all sizes, the process proceeds to step 118 and the detection registered in the predetermined storage area in step 112 above. Based on the result, for example, a portion identified as an image representing a pedestrian in the captured image is surrounded by a rectangular frame and displayed on the display device 18.
以上説明したように、第１の実施の形態の歩行者検出装置によれば、歩行者候補をテンプレートに設定し、歩行者候補の周辺領域に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、歩行者候補が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、歩行者の検出精度を向上させることができる。 As described above, according to the pedestrian detection device of the first embodiment, a pedestrian candidate is set as a template, and images similar to the template continue along a predetermined direction in the peripheral area of the pedestrian candidate. To determine whether the pedestrian candidate is a false detection of a road structure, a plant, etc., and to exclude the false detection pedestrian candidate, the road structure, a plant, etc. The detection accuracy of pedestrians can be improved.
次に、第２の実施の形態について説明する。なお、第１の実施の形態の歩行者検出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。 Next, a second embodiment will be described. In addition, about the structure similar to the pedestrian detection apparatus 10 of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
図１に示すように、第２の実施の形態の歩行者検出装置２１０は、撮像装置１２と、コンピュータ２２０と、表示装置１８と、を備えている。 As illustrated in FIG. 1, the pedestrian detection device 210 according to the second embodiment includes an imaging device 12, a computer 220, and a display device 18.
コンピュータ２２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部２８と、類似パタン探索部２３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。 As shown in FIG. 1, the computer 220 functionally includes a window image extraction unit 22, an identification model storage unit 24, a pedestrian identification unit 26, a template setting unit 28, a similar pattern search unit 230, It can be expressed by a configuration including an erroneous detection determination unit 32 and a display control unit 34.
類似パタン探索部２３０は、第１の実施の形態の歩行者検出装置１０における類似パタン探索部３０での処理の前に、類似パタンの探索方向を決定する。図８（ａ）に示すように、電柱の一部が誤検出された場合には、同図（ｂ）に示すように、探索方向を右方向とした場合には高いＳＳＤの値を示し、探索方向を下方向とした場合には低いＳＳＤの値を示す。この場合、この歩行者候補を誤検出として判定するためには、探索方向を下方向とすることが適している。このように、歩行者候補によって適切な探索方向を決定することが重要である。 The similar pattern search unit 230 determines the search direction of the similar pattern before the process in the similar pattern search unit 30 in the pedestrian detection apparatus 10 of the first embodiment. As shown in FIG. 8A, when a part of the utility pole is erroneously detected, as shown in FIG. 8B, when the search direction is the right direction, a high SSD value is shown. When the search direction is the downward direction, a low SSD value is indicated. In this case, in order to determine this pedestrian candidate as a false detection, it is suitable that the search direction is a downward direction. Thus, it is important to determine an appropriate search direction based on pedestrian candidates.
そこで、類似パタン探索部２３０は、図９に示すように、歩行者候補の周辺８方向から方向決定用画像を抽出する。方向決定用画像は、比較画像と同様の方法により抽出することができる。抽出した方向決定用画像の各々とテンプレートとの類似度を算出する。ここで算出する類似度は、テンプレートと比較画像との類似度と同様に、ＳＳＤやＳＡＤ等を用いることができ、最も類似度が高い方向決定用画像が抽出された方向を探索方向として決定することができる。また、テンプレート及び方向決定用画像の各々のエッジ方向の類似度を用いてもよい。具体的には、テンプレート及び方向決定用画像の各々について、エッジ方向のヒストグラムを作成し、最頻値のエッジ方向が一致または近似する方向決定用画像が抽出された方向を探索方向として決定することができる。 Therefore, as shown in FIG. 9, the similar pattern search unit 230 extracts a direction determining image from eight directions around the pedestrian candidate. The direction determining image can be extracted by the same method as the comparative image. The similarity between each of the extracted direction determination images and the template is calculated. The similarity calculated here can use SSD, SAD, or the like, as in the similarity between the template and the comparison image, and determines the direction in which the direction determination image with the highest similarity is extracted as the search direction. be able to. Further, the similarity of the edge direction of each of the template and the direction determining image may be used. Specifically, an edge direction histogram is created for each of the template and the direction determination image, and the direction in which the direction determination image that matches or approximates the mode edge direction is determined as the search direction. Can do.
また、類似パタン探索部２３０は、図１０に示すように、決定した探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出する。同一の探索範囲内から抽出された比較画像のうち、テンプレートとの類似度が最も高いものを、そのずらし量におけるテンプレートと比較画像との類似度として用いる。このように比較領域の設定範囲を拡大することで、探索方向のずれ、撮像画像のずれ、対象物自体の配列のずれ等を吸収する。 Further, as shown in FIG. 10, the similar pattern search unit 230 sets a fixed range in a direction intersecting the search direction as a search range around the position shifted by a predetermined shift amount in the determined search direction. A plurality of comparison images are extracted from the inside. Of the comparison images extracted from the same search range, the image having the highest similarity with the template is used as the similarity between the template and the comparison image with the shift amount. In this way, by expanding the setting range of the comparison area, a shift in the search direction, a shift in the captured image, a shift in the arrangement of the object itself, and the like are absorbed.
次に、第２の実施の形態の歩行者検出装置２１０のコンピュータ２２０で実行される歩行者検出処理ルーチンについて説明する。第２の実施の形態の歩行者検出処理は、第１の実施の形態の歩行者検出処理と類似パタン探索処理の内容が異なるだけであるので、図１１を参照して、第２の実施の形態の類似パタン探索処理ルーチンの内容について説明する。なお、第１の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。 Next, a pedestrian detection processing routine executed by the computer 220 of the pedestrian detection device 210 according to the second embodiment will be described. Since the pedestrian detection process of the second embodiment is different from the pedestrian detection process of the first embodiment only in the content of the similar pattern search process, referring to FIG. The contents of the similar pattern search processing routine will be described. In addition, about the process same as the similar pattern search process of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
ステップ１２８０で、歩行者候補の周辺８方向から８つの方向決定用画像を抽出する。次に、ステップ１２８２で、テンプレートと、上記ステップ１２８０で抽出した方向決定用画像の各々との類似度を算出し、テンプレートとの類似度が最も高い方向決定用画像が抽出された方向を探索方向として決定する。 In step 1280, eight direction determination images are extracted from the eight directions around the pedestrian candidate. Next, in step 1282, the similarity between the template and each of the direction determination images extracted in step 1280 is calculated, and the direction in which the direction determination image having the highest similarity with the template is extracted is determined as the search direction. Determine as.
次に、ステップ１２８４で、歩行者候補の位置から上記ステップ１２８２で決定した探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出する。 Next, in step 1284, a fixed range in the direction intersecting the search direction is set as a search range around the position shifted by a predetermined shift amount from the position of the pedestrian candidate in the search direction determined in step 1282. A plurality of comparison images are extracted from the range.
次に、ステップ１２８６で、上記ステップ１２８４で、同一の探索範囲内から抽出された比較画像の各々とテンプレートとの類似度ＳＳＤを算出し、最小値（最も類似度が高い）のＳＳＤを選択する。 Next, in step 1286, the similarity SSD between each of the comparison images extracted from the same search range and the template in step 1284 is calculated, and the SSD having the minimum value (highest similarity) is selected. .
以下、第１の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。 Thereafter, similarly to the first embodiment, steps 1084 to 1090 are executed to determine whether the pedestrian candidate is a non-pedestrian or a true pedestrian, and the process returns.
以上説明したように、第２の実施の形態の歩行者検出装置によれば、類似パタンの探索方向を適切に決定して、類似パタンが連続して存在するか否かを判定するため、誤検出の判定精度が向上する。 As described above, according to the pedestrian detection device of the second embodiment, the search direction of the similar pattern is appropriately determined and it is determined whether the similar pattern exists continuously. The detection accuracy is improved.
なお、第２の実施の形態では、方向決定用画像を歩行者候補の周辺８方向から抽出する場合について説明したが、上下左右の４方向から抽出したり、より細かく区分した方向から抽出したりしてもよい。また、方向決定用画像を抽出することなく、歩行者候補の特徴を利用して探索方向を決定するようにしてもよい。具体的には、テンプレートに設定された歩行者候補画像のエッジ方向のヒストグラムを作成し、そのエッジ方向のヒストグラムに基づいて、例えば、最頻値のエッジ方向を探索方向として決定することができる。 In the second embodiment, the case in which the direction determination image is extracted from the eight directions around the pedestrian candidate has been described. However, the direction determination image may be extracted from four directions (up, down, left, and right), or may be extracted from more divided directions. May be. Moreover, you may make it determine a search direction using the characteristic of a pedestrian candidate, without extracting the image for direction determination. Specifically, a histogram of the edge direction of the pedestrian candidate image set in the template can be created, and for example, the edge direction of the mode value can be determined as the search direction based on the histogram of the edge direction.
また、第１及び第２の実施の形態において、撮像画像の奥行き方向を考慮して、設定する比較領域のサイズを変更するようにしてもよい。具体的には、まず、撮像画像から消失点を検出する。そして、探索方向が消失点に向かう方向の場合において、歩行者候補より消失点側に比較領域を設定する場合には、テンプレートより小さいサイズの比較領域を設定し、歩行者候補より消失点から離れる側に比較領域を設定する場合には、テンプレートより大きいサイズの比較領域を設定する。これにより、撮像画像上でのサイズが遠近により異なる場合も、精度よく類似パタンの連続性を判定することができる。 In the first and second embodiments, the size of the comparison region to be set may be changed in consideration of the depth direction of the captured image. Specifically, first, the vanishing point is detected from the captured image. When the search direction is a direction toward the vanishing point, when setting the comparison area closer to the vanishing point than the pedestrian candidate, a comparison area having a size smaller than the template is set, and the pedestrian candidate is separated from the vanishing point. When a comparison area is set on the side, a comparison area larger than the template is set. Thereby, even when the size on the captured image varies depending on the perspective, the continuity of similar patterns can be determined with high accuracy.
次に、第３の実施の形態について説明する。なお、第１の実施の形態の歩行者検出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。 Next, a third embodiment will be described. In addition, about the structure similar to the pedestrian detection apparatus 10 of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
図１に示すように、第３の実施の形態の歩行者検出装置３１０は、撮像装置１２と、コンピュータ３２０と、表示装置１８と、を備えている。 As shown in FIG. 1, the pedestrian detection device 310 according to the third embodiment includes an imaging device 12, a computer 320, and a display device 18.
コンピュータ３２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部３２８と、類似パタン探索部３３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。 As shown in FIG. 1, the computer 320 functionally includes a window image extraction unit 22, an identification model storage unit 24, a pedestrian identification unit 26, a template setting unit 328, a similar pattern search unit 330, It can be expressed by a configuration including an erroneous detection determination unit 32 and a display control unit 34.
歩行者識別部２６による識別では、上述のように、歩行者以外にも電柱、ガードレール等の道路構造物や植物などが対象物として識別されてしまう場合もある。図２に示すように、歩行者として誤検出され易い電柱やガードレールなどの道路構造物や植物等は、歩行者候補の一部の画像が、歩行者候補内に連続して存在している場合が多い。第３の実施の形態では、この性質を利用するものである。 In the identification by the pedestrian identification unit 26, as described above, road structures such as utility poles and guardrails, plants, and the like may be identified as objects in addition to pedestrians. As shown in FIG. 2, in the case of road structures such as utility poles and guardrails, plants, etc. that are likely to be erroneously detected as pedestrians, when some images of pedestrian candidates are continuously present in the pedestrian candidates There are many. In the third embodiment, this property is used.
テンプレート設定部３２８は、歩行者候補として識別されたウインドウ画像の一部をテンプレートに設定する。例えば、図１２に示すように、歩行者候補の一辺に対応する一定幅の領域をテンプレートに設定することができる。同図（ａ）は上辺、同図（ｂ）は下辺、同図（ｃ）は左辺、同図（ｄ）は右辺の一定幅の領域を設定した例を示している。テンプレートは、いずれか１つのみ設定してもよいし、複数設定してもよい。 The template setting unit 328 sets a part of the window image identified as a pedestrian candidate as a template. For example, as shown in FIG. 12, an area having a certain width corresponding to one side of a pedestrian candidate can be set as a template. FIG. 6A shows an example in which a region having a constant width is set on the upper side, FIG. 10B shows the lower side, FIG. 10C shows the left side, and FIG. Only one template or a plurality of templates may be set.
類似パタン探索部３３０は、テンプレート設定部３２８で設定されたテンプレートを用いて、歩行者候補内を探索してテンプレートと類似するパタンが探索方向に沿って連続して存在するか否かを探索する。具体的には、テンプレートを設定した位置から所定方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。探索方向は、テンプレートが設定された辺から対向する辺へ向かう方向とすることができる。図１２（ａ）の例では、下方向を探索方向とすることができる。 The similar pattern search unit 330 uses the template set by the template setting unit 328 to search within the pedestrian candidate and search for whether or not a pattern similar to the template exists continuously along the search direction. . Specifically, a comparison area having a size corresponding to the template is set at a position shifted by a predetermined shift amount in a predetermined direction from the position where the template is set, and an image in the comparison area is extracted as a comparison image. The search direction can be a direction from the side where the template is set to the opposite side. In the example of FIG. 12A, the downward direction can be set as the search direction.
そして、第１の実施の形態と同様に、テンプレートと比較画像との類似度を算出する。図１３（ａ）に示すように、歩行者候補が電柱でテンプレートを下辺に設定した場合、及び歩行者候補が植物でテンプレートを上辺に設定した場合、並びに歩行者候補が歩行者でテンプレートを上辺に設定した場合及び左辺に設定した場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。歩行者候補が誤検出である車両や植物の場合には、比較領域のずらし量に対して低いＳＳＤの値が続いている。すなわち、歩行者候補内において、テンプレートとの類似度が高い画像が探索方向に沿って連続していることを示している。一方、歩行者候補が真の歩行者の場合には、テンプレートを左辺に設定した場合及び上辺に設定した場合、すなわち探索方向が縦方向または横方向のいずれであっても、比較的高いＳＳＤの値が続いている。すなわち、歩行者候補内において、テンプレートに類似する画像が連続していないことを示している。 Then, similar to the first embodiment, the similarity between the template and the comparative image is calculated. As shown in FIG. 13A, when the pedestrian candidate is a utility pole and the template is set on the lower side, when the pedestrian candidate is a plant and the template is set on the upper side, and the pedestrian candidate is a pedestrian and the template is set on the upper side. FIG. 4B shows an example of the shift amount of the comparison area and the SSD value for the case of setting to the left side and the case of setting to the left side. In the case of a vehicle or plant in which the pedestrian candidate is erroneously detected, a low SSD value continues with respect to the shift amount of the comparison area. That is, in the pedestrian candidate, it indicates that images having high similarity to the template are continuous along the search direction. On the other hand, if the pedestrian candidate is a true pedestrian, if the template is set on the left side and the upper side, that is, the search direction is either the vertical direction or the horizontal direction, the relatively high SSD The value continues. That is, it shows that images similar to the template are not continuous in the pedestrian candidate.
次に、図１４を参照して、第３の実施の形態の歩行者検出装置３１０のコンピュータ３２０で実行される歩行者検出処理ルーチンについて説明する。なお、第１の実施の形態の歩行者検出処理と同一の処理については、同一の符号を付して詳細な説明を省略する。 Next, a pedestrian detection processing routine executed by the computer 320 of the pedestrian detection apparatus 310 according to the third embodiment will be described with reference to FIG. In addition, about the process same as the pedestrian detection process of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
ステップ１００〜１０４を経て、ウインドウ画像が歩行者候補であると識別されると、ステップ２０６へ移行し、歩行者候補であると識別されたウインドウ画像の一辺に対応する一定幅の領域をテンプレートに設定する。次に、ステップ２０８で、類似パタン探索処理を実行する。 When the window image is identified as a pedestrian candidate through steps 100 to 104, the process proceeds to step 206, and an area having a certain width corresponding to one side of the window image identified as the pedestrian candidate is used as a template. Set. Next, in step 208, a similar pattern search process is executed.
ここで、図１５を参照して、類似パタン探索処理ルーチンについて説明する。なお、第１の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。 Here, the similar pattern search processing routine will be described with reference to FIG. In addition, about the process same as the similar pattern search process of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
ステップ２０８０で、テンプレートを設定した位置から探索方向に所定のずらし量ずらした位置にテンプレートに対応するサイズの比較領域を設定し、比較領域内の画像を比較画像として抽出する。次に、ステップ１０８２で、テンプレートと比較画像との類似度ＳＳＤを算出し、以下、第１の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。 In step 2080, a comparison area having a size corresponding to the template is set at a position shifted by a predetermined shift amount in the search direction from the position where the template is set, and an image in the comparison area is extracted as a comparison image. Next, in step 1082, the similarity SSD between the template and the comparison image is calculated, and thereafter, similarly to the first embodiment, steps 1084 to 1090 are executed to determine whether the pedestrian candidate is a non-pedestrian or not. It is determined whether the person is a pedestrian and returns.
なお、テンプレートを複数設定した場合には、例えば、上辺のテンプレートを用いて上記処理を実行し、左辺のテンプレートを用いて上記処理を実行するというように、設定したテンプレート毎に上記処理を実行し、少なくとも１つ以上のテンプレートで類似パタンが連続して存在する場合に、誤検出であると判定するようにするとよい。 When a plurality of templates are set, the above process is executed for each set template, for example, the above process is executed using the template on the upper side, and the above process is executed using the template on the left side. When similar patterns are continuously present in at least one template, it may be determined that a false detection has occurred.
以上説明したように、第３の実施の形態の歩行者検出装置によれば、歩行者候補の一部をテンプレートに設定し、歩行者候補内に所定方向に沿ってテンプレートに類似する画像が連続して存在するか否かを判定することにより、歩行者候補が道路構造物や植物等の誤検出か否かを判定して、誤検出の歩行者候補を除外するため、道路構造物や植物等の誤検出を低減して、歩行者の検出精度を向上させることができる。 As described above, according to the pedestrian detection device of the third embodiment, a part of pedestrian candidates is set as a template, and images similar to the template are continuously provided along a predetermined direction in the pedestrian candidates. In order to determine whether a pedestrian candidate is a false detection of a road structure or a plant by determining whether or not it exists, and to exclude a false detection pedestrian candidate, a road structure or a plant Thus, the detection accuracy of pedestrians can be improved.
次に、第４の実施の形態について説明する。なお、第３の実施の形態の歩行者検出装置３１０と同様の構成については、同一の符号を付して詳細な説明は省略する。 Next, a fourth embodiment will be described. In addition, about the structure similar to the pedestrian detection apparatus 310 of 3rd Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
図１に示すように、第４の実施の形態の歩行者検出装置４１０は、撮像装置１２と、コンピュータ４２０と、表示装置１８と、を備えている。 As illustrated in FIG. 1, the pedestrian detection device 410 according to the fourth embodiment includes an imaging device 12, a computer 420, and a display device 18.
コンピュータ４２０は、機能的には、図１に示すように、ウインドウ画像抽出部２２と、識別モデル記憶部２４と、歩行者識別部２６と、テンプレート設定部４２８と、類似パタン探索部３３０と、誤検出判定部３２と、表示制御部３４と、を含んだ構成で表すことができる。 Functionally, the computer 420 has a window image extraction unit 22, an identification model storage unit 24, a pedestrian identification unit 26, a template setting unit 428, a similar pattern search unit 330, as shown in FIG. It can be expressed by a configuration including an erroneous detection determination unit 32 and a display control unit 34.
テンプレート設定部４２８は、類似パタン探索部３３０で比較領域を設定する毎に、順次テンプレートを更新する。本実施の形態で誤検出として判定したい電柱や植物等の連続した類似パタンを有するものの中には、内部のテクスチャや周辺パタンに変化があるものがある。例えば、図１６に示すように、歩行者候補の上辺に設定したテンプレートを用いて、歩行者候補内のパタンの連続性を評価すると、テクスチャが変化する領域で類似度が低下する場合があるため、これを解消するためにテンプレートを逐次更新する。 The template setting unit 428 sequentially updates the template every time the similar pattern search unit 330 sets a comparison area. Among those having continuous similar patterns such as utility poles and plants that are to be determined as erroneous detection in the present embodiment, there are changes in the internal texture and peripheral patterns. For example, as shown in FIG. 16, when the continuity of the pattern in the pedestrian candidate is evaluated using the template set on the upper side of the pedestrian candidate, the similarity may decrease in a region where the texture changes. In order to solve this, the template is updated sequentially.
具体的には、図１６に示すように、まず、第３の実施の形態と同様に初期テンプレートを設定し、比較領域を設定して比較画像（１）を抽出し、初期テンプレートと比較画像（１）の類似度を算出する。そして、現在の比較画像（１）をテンプレートに設定すると共に、次の比較領域を設定して比較画像（２）を抽出し、テンプレート（比較画像（１））と比較画像（２）との類似度を算出する。このテンプレートの更新を、歩行者候補内で順次繰り返しながら類似度を算出する。 Specifically, as shown in FIG. 16, first, as in the third embodiment, an initial template is set, a comparison region is set, a comparison image (1) is extracted, and the initial template and comparison image ( The similarity of 1) is calculated. Then, the current comparison image (1) is set as a template, the next comparison region is set and the comparison image (2) is extracted, and the template (comparison image (1)) and the comparison image (2) are similar. Calculate the degree. The degree of similarity is calculated while iteratively updating this template in the pedestrian candidate.
図１７（ａ）に示すように、歩行者候補が歩行者でテンプレートの更新ありの場合及びなしの場合、並びに歩行者候補が電柱でテンプレートの更新ありの場合及びなしの場合について、同図（ｂ）に、比較領域のずらし量及びＳＳＤの値の一例を示す。テンプレートの更新ありの方がテンプレートの更新なしの場合に比べて、類似度が高い状態を維持している。 As shown in FIG. 17 (a), the pedestrian candidate is a pedestrian with and without template update, and the pedestrian candidate is a utility pole with and without template update. b) shows an example of the shift amount of the comparison area and the SSD value. The state where the template is updated maintains a higher degree of similarity than the case where the template is not updated.
次に、第４の実施の形態の歩行者検出装置４１０のコンピュータ４２０で実行される歩行者検出処理ルーチンについて説明する。第４の実施の形態の歩行者検出処理は、第３の実施の形態の歩行者検出処理と類似パタン探索処理の内容が異なるだけであるので、図１８を参照して、第４の実施の形態の類似パタン探索処理ルーチンの内容について説明する。なお、第３の実施の形態の類似パタン探索処理と同一の処理については、同一の符号を付して詳細な説明を省略する。 Next, a pedestrian detection processing routine executed by the computer 420 of the pedestrian detection device 410 according to the fourth embodiment will be described. The pedestrian detection process of the fourth embodiment differs from the pedestrian detection process of the third embodiment only in the contents of the similar pattern search process, so the fourth embodiment will be described with reference to FIG. The contents of the similar pattern search processing routine will be described. In addition, about the process same as the similar pattern search process of 3rd Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
ステップ２０８０で、１つ目の比較画像を抽出し、次に、ステップ１０８２で、初期テンプレートと１つ目の比較画像との類似度ＳＳＤを算出する。 In step 2080, the first comparison image is extracted, and in step 1082, the similarity SSD between the initial template and the first comparison image is calculated.
次に、ステップ１０８４を経て、次のステップ１０８６で、比較領域のずらし量が所定区間を超えていないと判定された場合には、ステップ４０８０へ移行して、上記ステップ２０８０で抽出された現在の比較画像をテンプレートに設定して、ステップ２０８０へ戻る。ステップ２０８０では、次の比較領域を設定して比較画像を抽出し、次のステップ１０８２で、抽出した比較画像と上記ステップ４０８０で設定したテンプレート、すなわち１つ前の比較画像との類似度を算出する。 Next, after step 1084, if it is determined in the next step 1086 that the shift amount of the comparison area does not exceed the predetermined section, the process proceeds to step 4080, and the current extracted in step 2080 above. The comparison image is set as a template, and the process returns to step 2080. In step 2080, the next comparison area is set and a comparison image is extracted. In next step 1082, the similarity between the extracted comparison image and the template set in step 4080, that is, the previous comparison image is calculated. To do.
以下、第３の実施の形態と同様に、ステップ１０８４〜１０９０を実行して、歩行者候補が非歩行者か真の歩行者かを判定して、リターンする。 Hereinafter, similarly to the third embodiment, steps 1084 to 1090 are executed to determine whether the pedestrian candidate is a non-pedestrian or a true pedestrian, and the process returns.
以上説明したように、第４の実施の形態の歩行者検出装置によれば、テンプレートを更新することで、初期テンプレートを設定した位置から離れた位置に設定された比較領域内の画像にテクスチャなどの変化がある場合でも、類似パタンの連続性の判定を安定して行うことができる。 As described above, according to the pedestrian detection device of the fourth embodiment, by updating the template, the texture in the image in the comparison area set at a position away from the position where the initial template is set, etc. Even if there is a change, the determination of the continuity of similar patterns can be performed stably.
なお、テンプレートの更新は、上記第１及び第２の実施の形態のように、歩行者候補の全体をテンプレートに設定する場合にも適用することができる。 Note that the template update can also be applied when the entire pedestrian candidate is set as a template, as in the first and second embodiments.
また、第３及び第４の実施の形態では、テンプレートと歩行者候補内から抽出した比較画像との類似度を算出する場合について説明したが、図１９に示すように、歩行者候補の外側の領域からも比較画像を抽出するようにしてもよい。これにより、誤検出か否かの判定の確信度を高めることができる。また、歩行者候補の外側の領域からも比較画像を抽出する他の例として、第２の実施の形態で説明したように、探索方向に所定のずらし量ずらした位置を中心に、探索方向と交差する方向の一定範囲を探索範囲として設定し、探索範囲内から複数の比較画像を抽出してもよい。 In the third and fourth embodiments, the case where the similarity between the template and the comparison image extracted from the pedestrian candidate is calculated has been described. However, as illustrated in FIG. The comparison image may be extracted from the region. Thereby, the certainty of determination of whether it is a misdetection can be raised. In addition, as another example of extracting a comparison image from a region outside a pedestrian candidate, as described in the second embodiment, the search direction is centered on a position shifted by a predetermined shift amount in the search direction. A certain range in the intersecting direction may be set as the search range, and a plurality of comparison images may be extracted from the search range.
また、第３及び第４の実施の形態では、歩行者候補の上辺や左辺等の一定幅の領域をテンプレートとして設定する場合について説明したが、図２０に示すように、歩行者候補の中央部の一定幅の領域をテンプレートに設定してもよい。図２０のように、歩行者候補の中央部に短辺に平行な一定幅のテンプレートを設定した場合には、上方向及び下方向を探索方向とすることができる。また、歩行者候補の中央部に長辺に平行な一定幅のテンプレートを設定した場合には、左方向及び右方向を探索方向とすることができる。 Further, in the third and fourth embodiments, a case has been described in which an area having a certain width such as the upper side or the left side of the pedestrian candidate is set as a template. However, as shown in FIG. An area having a certain width may be set as a template. As shown in FIG. 20, when a template having a constant width parallel to the short side is set at the center of the pedestrian candidate, the upward direction and the downward direction can be set as the search directions. Further, when a template having a constant width parallel to the long side is set at the center of the pedestrian candidate, the left direction and the right direction can be set as search directions.
また、上記実施の形態では、類似度としてＳＳＤを用いる場合について説明したが、ＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross-Correlation）等を用いてもよいし、ＨＯＧなどの特徴量の２画像間の距離を類似度として用いてもよい。ＮＣＣの場合は、値が大きいほど類似度が高いことを示すため、比較領域のずらし量の所定区間において、予め定めた閾値以上のＮＣＣの値が続いているか否かを判定するようにするとよい。また、上記実施の形態では、所定区間内で１つでもＳＳＤが閾値を超えた場合には歩行者候補を歩行者として判定する場合について説明したが、ずらし量の所定区間内のＳＳＤやＳＡＤの値の９０％以上が閾値以下の場合（ＮＣＣの場合は９０％以上が閾値以上の場合）は誤検出であると判定するなど、所定区間内の類似度の値を総合的に判定するようにしてもよい。 Moreover, although the case where SSD was used as a similarity degree was demonstrated in the said embodiment, SAD (Sum of Absolute Difference), NCC (Normalized Cross-Correlation) etc. may be used, and 2 of feature-values, such as HOG, may be used. You may use the distance between images as a similarity. In the case of NCC, the larger the value, the higher the degree of similarity. Therefore, it may be determined whether or not an NCC value equal to or greater than a predetermined threshold continues in a predetermined section of the shift amount of the comparison area. . Moreover, although the said embodiment demonstrated the case where a pedestrian candidate is determined as a pedestrian when even one SSD exceeds a threshold value within a predetermined section, the shift amount of SSD or SAD within a predetermined section is described. When 90% or more of the values are below the threshold (in the case of NCC, when 90% or more is the threshold or more), it is determined to be a false detection. May be.
また、類似度の累積値を判定に用いてもよい。例えば、ずらし量毎にＳＳＤの値を累積し、累積ＳＳＤの値が所定の閾値を超えた段階で探索を終了して、その歩行者候補を誤検出であると判定するようにしてもよい。類似度としてＮＣＣを用いる場合でも、（１−ＮＣＣ）の値を累積することで、同様に判定することができる。図２１（ａ）に、図５の場合の類似度を累積ＳＳＤで表した場合の一例を、同図（ｂ）に、図１２の場合の類似度を累積ＳＳＤで表した場合の一例を示す。 Moreover, you may use the accumulated value of a similarity degree for determination. For example, the SSD value may be accumulated for each shift amount, the search may be terminated when the accumulated SSD value exceeds a predetermined threshold, and the pedestrian candidate may be determined to be erroneously detected. Even when NCC is used as the similarity, it can be similarly determined by accumulating the value of (1-NCC). FIG. 21A shows an example in which the similarity in the case of FIG. 5 is represented by cumulative SSD, and FIG. 21B shows an example in which the similarity in the case of FIG. 12 is represented by cumulative SSD. .
また、上記実施の形態では、ＳＶＭ識別器を用いて、歩行者候補の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いてもよい。 Moreover, although the case where the identification process of a pedestrian candidate was performed as an example was demonstrated in the said embodiment using a SVM classifier, it is not limited to this, Other conventionally known identification methods (for example, Nearest neighbor identification, linear discrimination, etc.) may be used.
また、上実施の形態では、抽出ウインドウを撮像画像の全範囲に対して走査してウインドウ画像を抽出する場合について説明したが、例えば路面領域を検出する等の事前処理を行って、抽出ウインドウを走査する範囲を制限するようにしてもよい。 Further, in the above embodiment, the case where the extraction window is scanned over the entire range of the captured image to extract the window image has been described. The scanning range may be limited.
また、上記実施の形態では、対象物として歩行者を検出する歩行者検出装置に、本発明を適用した場合を例に説明したが、検出対象物は、自転車や自動二輪車などの二輪車でもよい。 Moreover, although the case where this invention was applied to the pedestrian detection apparatus which detects a pedestrian as a target object was demonstrated to the example in the said embodiment, two-wheeled vehicles, such as a bicycle and a motorcycle, may be sufficient as a detection target object.
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。また、各機能を実現するハードウエアにより構成してもよい。 In the specification of the present application, the embodiment has been described in which the program is installed in advance. However, the program may be provided by being stored in a storage medium such as a CDROM. Moreover, you may comprise with the hardware which implement | achieves each function.
１０、２１０、３１０、４１０ 歩行者検出装置
１２ 撮像装置
１８ 表示装置
２０、２２０、３２０、４２０ コンピュータ
２２ ウインドウ画像抽出部
２４ 識別モデル記憶部
２６ 歩行者識別部
２８、３２８、４２８ テンプレート設定部
３０、２３０、３３０ 類似パタン探索部
３２ 誤検出判定部
３４ 表示制御部
10, 210, 310, 410 Pedestrian detection device 12 Imaging device 18 Display device 20, 220, 320, 420 Computer 22 Window image extraction unit 24 Identification model storage unit 26 Pedestrian identification unit 28, 328, 428 Template setting unit 30, 230, 330 Similar pattern search unit 32 False detection determination unit 34 Display control unit
Claims (8)
前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、
前記識別手段により識別された候補画像をテンプレートに設定する設定手段と、
前記設定手段により設定されたテンプレートに類似する画像が前記候補画像の周辺領域に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、
を含む対象物検出装置。 Window image extraction means for extracting a window image from an image captured by the imaging means;
Based on the window image extracted by the window image extraction means and an identification model generated in advance for identifying a pedestrian or a two-wheeled vehicle as the object, the window image is a candidate image indicating a candidate for the object. An identification means for identifying whether there is,
Setting means for setting a candidate image identified by the identification means in a template;
It is determined whether images similar to the template set by the setting unit are continuously present in a peripheral area of the candidate image along a predetermined direction, and the remaining candidate images excluding the case where it is determined to be present Determining means for determining as an image showing the object;
An object detection apparatus including:
前記ウインドウ画像抽出手段により抽出されたウインドウ画像と、対象物である歩行者または二輪車を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が対象物の候補を示す候補画像であるか否かを識別する識別手段と、
前記識別手段により識別された候補画像の部分領域の画像をテンプレートに設定する設定手段と、
前記設定手段により設定されたテンプレートに類似する画像が前記候補画像内に所定方向に沿って連続して存在するか否かを判定し、存在すると判定された場合を除外した残りの候補画像を、前記対象物を示す画像として判定する判定手段と、
を含む対象物検出装置。 Window image extraction means for extracting a window image from an image captured by the imaging means;
Based on the window image extracted by the window image extraction means and an identification model generated in advance for identifying a pedestrian or a two-wheeled vehicle as the object, the window image is a candidate image indicating a candidate for the object. An identification means for identifying whether there is,
Setting means for setting an image of a partial area of the candidate image identified by the identification means in a template;
It is determined whether images similar to the template set by the setting means are continuously present in the candidate image along a predetermined direction, and the remaining candidate images excluding the case where it is determined to be present, Determination means for determining an image indicating the object;
An object detection apparatus including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010273871A JP2012123626A (en) | 2010-12-08 | 2010-12-08 | Object detector and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010273871A JP2012123626A (en) | 2010-12-08 | 2010-12-08 | Object detector and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012123626A true JP2012123626A (en) | 2012-06-28 |
Family
ID=46504997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010273871A Pending JP2012123626A (en) | 2010-12-08 | 2010-12-08 | Object detector and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012123626A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013180076A1 (en) | 2012-05-30 | 2013-12-05 | 富士フイルム株式会社 | Radiographic imaging equipment, radiographic imaging system, control method for radiographic imaging equipment, and control program for radiographic imaging equipment |
| JP2015007972A (en) * | 2013-05-31 | 2015-01-15 | オムロン株式会社 | Image collation method, image collation apparatus, model template generation method, model template generation apparatus, and program |
| CN109086678A (en) * | 2018-07-09 | 2018-12-25 | 天津大学 | A kind of pedestrian detection method extracting image multi-stage characteristics based on depth supervised learning |
| CN109242884A (en) * | 2018-08-14 | 2019-01-18 | 西安电子科技大学 | Remote sensing video target tracking method based on JCFNet network |
| CN109684967A (en) * | 2018-12-17 | 2019-04-26 | 东北农业大学 | A kind of soybean plant strain stem pod recognition methods based on SSD convolutional network |
| CN110263712A (en) * | 2019-06-20 | 2019-09-20 | 江南大学 | A kind of coarse-fine pedestrian detection method based on region candidate |
| WO2019188994A1 (en) * | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | Video-monitoring support system, video-monitoring support method, and computer-readable record medium |
| CN111079757A (en) * | 2018-10-19 | 2020-04-28 | 北京奇虎科技有限公司 | Clothing attribute identification method and device and electronic equipment |
| CN113191227A (en) * | 2021-04-20 | 2021-07-30 | 上海东普信息科技有限公司 | Cabinet door state detection method, device, equipment and storage medium |
-
2010
- 2010-12-08 JP JP2010273871A patent/JP2012123626A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013180076A1 (en) | 2012-05-30 | 2013-12-05 | 富士フイルム株式会社 | Radiographic imaging equipment, radiographic imaging system, control method for radiographic imaging equipment, and control program for radiographic imaging equipment |
| JP2015007972A (en) * | 2013-05-31 | 2015-01-15 | オムロン株式会社 | Image collation method, image collation apparatus, model template generation method, model template generation apparatus, and program |
| JPWO2019188994A1 (en) * | 2018-03-28 | 2021-02-18 | 日本電気株式会社 | Video monitoring support device, video monitoring support method, and program |
| WO2019188994A1 (en) * | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | Video-monitoring support system, video-monitoring support method, and computer-readable record medium |
| US11457180B2 (en) | 2018-03-28 | 2022-09-27 | Nec Corporation | Video monitoring support apparatus, video monitoring support method, and computer readable recording medium |
| CN109086678A (en) * | 2018-07-09 | 2018-12-25 | 天津大学 | A kind of pedestrian detection method extracting image multi-stage characteristics based on depth supervised learning |
| CN109086678B (en) * | 2018-07-09 | 2022-02-25 | 天津大学 | Pedestrian detection method for extracting image multilevel features based on deep supervised learning |
| CN109242884A (en) * | 2018-08-14 | 2019-01-18 | 西安电子科技大学 | Remote sensing video target tracking method based on JCFNet network |
| CN109242884B (en) * | 2018-08-14 | 2020-11-20 | 西安电子科技大学 | Remote sensing video target tracking method based on JCFNet network |
| CN111079757A (en) * | 2018-10-19 | 2020-04-28 | 北京奇虎科技有限公司 | Clothing attribute identification method and device and electronic equipment |
| CN109684967A (en) * | 2018-12-17 | 2019-04-26 | 东北农业大学 | A kind of soybean plant strain stem pod recognition methods based on SSD convolutional network |
| CN110263712A (en) * | 2019-06-20 | 2019-09-20 | 江南大学 | A kind of coarse-fine pedestrian detection method based on region candidate |
| CN110263712B (en) * | 2019-06-20 | 2021-02-23 | 江南大学 | Coarse and fine pedestrian detection method based on region candidates |
| CN113191227A (en) * | 2021-04-20 | 2021-07-30 | 上海东普信息科技有限公司 | Cabinet door state detection method, device, equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012123626A (en) | Object detector and program | |
| JP5127182B2 (en) | Object detection device | |
| JP5747549B2 (en) | Signal detector and program | |
| US8588466B2 (en) | Object area detection system, device, method, and program for detecting an object | |
| JP5197679B2 (en) | Object detection apparatus and program | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| US9349207B2 (en) | Apparatus and method for parsing human body image | |
| JP2007334751A (en) | Vehicle periphery monitoring device | |
| JP2008286725A (en) | Person detector and detection method | |
| CN104239867A (en) | License plate locating method and system | |
| US20170151943A1 (en) | Method, apparatus, and computer program product for obtaining object | |
| JP2012038318A (en) | Target detection method and device | |
| JP2013140515A (en) | Solid object detection device and program | |
| KR20140031742A (en) | Apparatus and method for feature extraction of image, and image processing system using the same | |
| EP3584763A1 (en) | Vehicle-mounted environment recognition device | |
| JP2012221162A (en) | Object detection device and program | |
| WO2014079058A1 (en) | Method and system for processing video image | |
| CN111027544A (en) | MSER license plate positioning method and system based on visual saliency detection | |
| JP2012203884A (en) | Jumping-out pedestrian determining device and program | |
| JP2008288684A (en) | Person detection device and program | |
| JP2009276910A (en) | Image processor, method and program | |
| JP2011165170A (en) | Object detection device and program | |
| JP6077785B2 (en) | Object detection apparatus and program | |
| JP2012150595A (en) | Stop line detection device and program | |
| JP5020920B2 (en) | Pedestrian detection device and program |