JP2010224787A - Object identification device and program - Google Patents
Object identification device and program Download PDFInfo
- Publication number
- JP2010224787A JP2010224787A JP2009070397A JP2009070397A JP2010224787A JP 2010224787 A JP2010224787 A JP 2010224787A JP 2009070397 A JP2009070397 A JP 2009070397A JP 2009070397 A JP2009070397 A JP 2009070397A JP 2010224787 A JP2010224787 A JP 2010224787A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- candidate area
- result
- identification result
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、対象物識別装置及びプログラムに関する。 The present invention relates to an object identification device and a program.
従来、車載カメラにより撮像された画像から、車両の周辺に存在する歩行者、動物等の障害物を検出する技術が提案されている（特許文献１〜３参照）。 2. Description of the Related Art Conventionally, techniques for detecting obstacles such as pedestrians and animals existing around a vehicle from an image captured by an in-vehicle camera have been proposed (see Patent Documents 1 to 3).
特許文献１には、カメラで撮像された画像内の白線（例えば道路の中央線等）を白線認識部２３ａで認識して路面領域を切り出し、道路に対応する基準データに基づいて、入力画像内の路面領域の中から道路以外の領域を画像制御部２３ｂで特定すると共に、道路以外の領域を特定した入力画像を上記画像制御部２３ｂで俯瞰した状態に画像変換し、路面標示認識部２３ｃで路面標示認識を行うと共に、歩行者認識部２３ｄで路面標示以外の領域を歩行者認識候補として特定する画像認識装置が開示されている。 In Patent Document 1, a white line (for example, a center line of a road) in an image captured by a camera is recognized by a white line recognition unit 23a to cut out a road surface area, and based on reference data corresponding to the road, The area other than the road is specified by the image control unit 23b from the road surface area of the road, and the input image specifying the area other than the road is converted into an overlooked state by the image control unit 23b, and the road marking recognition unit 23c An image recognition device that performs road marking recognition and identifies a region other than road marking as a pedestrian recognition candidate by a pedestrian recognition unit 23d is disclosed.
特許文献２には、撮像した画像データから直線と認識される部分又は角と認識される部分が存在するかを判断し、直線部分又は角部分を有する領域を排除することにより、人間が存在する領域の認識精度を向上させる画像認識システムが開示されている。 In Patent Document 2, it is determined whether there is a part recognized as a straight line or a part recognized as a corner from captured image data, and humans exist by eliminating a region having a straight line part or a corner part. An image recognition system that improves region recognition accuracy is disclosed.
特許文献３には、赤外線画像から赤外線を発する対象物画像を抽出し、抽出した対象物画像と直線パターンあるいは直角パターンからなる基準画像との照合により、対象物が人工構造物であるか否かを判定して、その判定から人工構造物を除外し、残された対象物を歩行者や動物等の動く物体として検出する車両周辺監視装置が開示されている。 In Patent Document 3, an object image that emits infrared rays is extracted from an infrared image, and whether or not the object is an artificial structure is verified by collating the extracted object image with a reference image formed of a linear pattern or a right-angle pattern. A vehicle periphery monitoring device is disclosed in which an artificial structure is excluded from the determination, and the remaining object is detected as a moving object such as a pedestrian or an animal.
しかし、特許文献１〜３の技術は、単独の障害物を識別するため、誤って識別されやすい障害物が存在する場合には識別精度が低下してしまう、という問題がある。 However, since the techniques of Patent Documents 1 to 3 identify a single obstacle, there is a problem that the identification accuracy is reduced when there is an obstacle that is easily identified by mistake.
また、特許文献１の技術では、複数の認識部２３ａ、２３ｃ、２３ｄが、直列に接続され、それぞれ所定の認識処理を行っている。しかし、各認識部２３ａ、２３ｃ、２３ｄは、それぞれ画像を用いて認識処理を行っているため、認識結果を得るのに時間がかかってしまう、という問題がある。 Further, in the technique of Patent Document 1, a plurality of recognition units 23a, 23c, and 23d are connected in series and each perform a predetermined recognition process. However, since each of the recognition units 23a, 23c, and 23d performs a recognition process using an image, there is a problem that it takes time to obtain a recognition result.
特許文献２の技術は、画像データを用いて直線部分又は角部分を含む領域を認識しても、画像データからその領域を削除しなければならず、処理時間がかかってしまう問題がある。特許文献３の技術は、対象物の画像の形状判定後に、対象物の画像から人工構造物を除外しなければならず、処理時間がかかってしまうという問題がある。 The technique of Patent Document 2 has a problem that even if a region including a straight line portion or a corner portion is recognized using image data, the region must be deleted from the image data, and processing time is required. The technique of Patent Document 3 has a problem that it takes a processing time because an artificial structure must be excluded from the image of the object after determining the shape of the image of the object.
本発明は、上述した課題を解決するために提案されたものであり、誤って識別されやすい障害物が存在しても、識別率の低下を抑制しつつ短時間かつ高精度に対象物を識別できる対象物識別装置及びプログラムを提供することを目的とする。 The present invention has been proposed in order to solve the above-described problems, and can identify an object in a short time and with high accuracy while suppressing a decrease in the identification rate even when there is an obstacle that is easily mistakenly identified. An object of the present invention is to provide a target object identification device and a program.
本発明の対象物識別装置は、被写体を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像から識別したい対象物の候補領域を設定する候補領域設定手段と、候補領域設定手段により設定された候補領域に対して、前記対象物の識別結果と、前記対象物と異なる１つ以上の障害物の識別結果と、をそれぞれ出力する第１の識別手段と、直列に接続された複数の第２の識別手段であって、最前段の第２の識別手段は前記第１の識別手段から出力された各識別結果に基づいて前記候補領域についての前記対象物の識別結果を出力し、最前段を除く第２の識別手段は前段から出力された識別結果に基づいて前記候補領域についての前記対象物の識別結果を後段に出力する、複数の第２の識別手段と、最後段の前記第２の識別手段の識別結果に基づいて、対象物であると識別された候補領域の情報を出力する出力手段と、を備えている。 An object identification apparatus according to the present invention includes an imaging unit that captures an image of a subject and generates an image, a candidate area setting unit that sets a candidate area of an object to be identified from the image generated by the imaging unit, and a candidate area setting First identification means for outputting the identification result of the object and the identification result of one or more obstacles different from the object for the candidate area set by the means, connected in series. A plurality of second identifying means, wherein the second identifying means in the forefront stage outputs the identification result of the object for the candidate region based on each identification result output from the first identifying means. And a second discriminating means excluding the front stage outputs a plurality of second discriminating means for outputting the identification result of the object for the candidate region to the subsequent stage based on the identification result output from the front stage, and a last stage. Said second identification means Based on the identification result includes an output means for outputting information of the identified candidate area as an object, the.
本発明によれば、候補領域についての対象物の識別結果と、対象物と異なる１つ以上の障害物の識別結果と、をそれぞれ用いて、候補領域に対して対象物の識別結果を出力することにより、短時間で識別すると共に対象物の識別精度を向上させることができる。 According to the present invention, the identification result of an object for a candidate area and the identification result of one or more obstacles different from the object are output, and the identification result of the object is output to the candidate area. As a result, identification in a short time and identification accuracy of the object can be improved.
また、本発明の対象物識別装置は、被写体を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像から識別したい対象物の候補領域を設定する候補領域設定手段と、候補領域設定手段により設定された候補領域に対して前記対象物の識別結果を出力する対象物識別器と、前記候補領域に対して前記対象物と異なる１つ以上の障害物の識別結果を出力する１つ以上の障害物識別器と、を有する第１の識別手段と、前記第１の識別手段の対象物識別器及び障害物識別器の各識別結果に基づいて、前記候補領域に対して前記対象物の識別結果を出力する第２の識別手段と、前記第２の識別手段の識別結果に基づいて、対象物であると識別された候補領域の情報を出力する出力手段と、を備えている。 In addition, the object identification device of the present invention includes an imaging unit that images a subject to generate an image, a candidate area setting unit that sets a candidate area of an object to be identified from the image generated by the imaging unit, and a candidate An object discriminator that outputs the identification result of the object for the candidate area set by the area setting means, and an identification result of one or more obstacles different from the object for the candidate area One or more obstacle discriminators, based on the respective discrimination results of the object discriminator and the obstacle discriminator of the first discrimination means, A second identification unit that outputs an identification result of the object; and an output unit that outputs information on the candidate area identified as the object based on the identification result of the second identification unit. Yes.
本発明によれば、対象物識別器及び障害物識別器の各識別結果をそれぞれ用いて候補領域に対して対象物の識別結果を出力することにより、短時間で識別すると共に対象物の識別精度を向上させることができる。 According to the present invention, the identification result of the object is output to the candidate area using the identification results of the object classifier and the obstacle classifier, respectively. Can be improved.
本発明に係る対象物識別装置及びプログラムは、誤って識別されやすい障害物が存在しても、識別率の低下を抑制しつつ短時間かつ高精度に対象物を識別することができる。 The object identification device and program according to the present invention can identify an object in a short time and with high accuracy while suppressing a decrease in the identification rate even if there is an obstacle that is easily identified by mistake.
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
［第１の実施形態］
図１は、本発明の第１の実施形態に係る対象物識別装置の構成を示すブロック図である。対象物識別装置は、例えば車両に搭載され、車両前方の画像に基づいて識別対象となる障害物（本実施形態では人物（歩行者））を識別するものである。
[First Embodiment]
FIG. 1 is a block diagram showing the configuration of the object identification device according to the first embodiment of the present invention. The object identification device is mounted on a vehicle, for example, and identifies an obstacle (a person (pedestrian) in the present embodiment) to be identified based on an image ahead of the vehicle.
対象物識別装置は、車両前方の環境を撮像して画像を生成するカメラ１０と、カメラ１０で生成された画像に基づいて歩行者の候補領域を設定する候補領域設定部２０と、歩行者及び歩行者と誤って識別しやすい障害物をそれぞれ識別する第１段識別部３０と、を備えている。 The object identification device includes a camera 10 that captures an environment in front of a vehicle and generates an image, a candidate area setting unit 20 that sets a candidate area for a pedestrian based on the image generated by the camera 10, a pedestrian, A first-stage identification unit 30 that identifies obstacles that are easily mistaken for pedestrians.
対象物識別装置は、さらに、第１段識別部３０の識別結果に基づいて歩行者を識別する第２段識別部４０と、候補領域設定部２０、第１段識別部３０及び第２段識別部４０でそれぞれ使用される学習モデルが記憶されているデータベース５０と、第２段識別部４０の識別結果を出力する出力部６０とを備えている。なお、カメラ１０と出力部６０を除く各部は、所定のプログラムに基づいて動作するコンピュータで構成されたものでもよい。 The object identification device further includes a second stage identification unit 40 for identifying a pedestrian based on the identification result of the first stage identification unit 30, a candidate area setting unit 20, a first stage identification unit 30, and a second stage identification. A database 50 in which learning models used in the unit 40 are stored, and an output unit 60 that outputs the identification result of the second stage identification unit 40 are provided. In addition, each part except the camera 10 and the output part 60 may be comprised with the computer which operate | moves based on a predetermined program.
第１段識別部３０は、特徴量を抽出する９つの特徴抽出部３０Ａｉ（ｉは１〜９）と、識別対象である歩行者及び誤って歩行者と識別されやすい障害物（樹木、車両、電柱等）をそれぞれ識別するためのＭ（＝９）個の識別器３０Ｂｉ（ｉは１〜９）と、を有している。各識別器は、それぞれ異なる障害物を識別する、又は、それぞれ異なる特徴量を使用する。 The first-stage identification unit 30 includes nine feature extraction units 30Ai (i is 1 to 9) that extract feature amounts, and obstacles that are easily identified as pedestrians and pedestrians by mistake (trees, vehicles, M (= 9) discriminators 30Bi (i is 1 to 9) for discriminating each of the electric poles and the like. Each discriminator identifies a different obstacle or uses a different feature amount.
なお、第１及び第２の実施形態では、各識別器は、サポートベクターマシン（ＳＶＭ）を用いているが、学習によりパターン認識できればＳＶＭに限定されるものではない。ここで、第１段識別部３０が複数の識別器を有しているのは次の理由による。 In the first and second embodiments, each discriminator uses a support vector machine (SVM), but is not limited to SVM as long as pattern recognition can be performed by learning. Here, the reason why the first stage identification unit 30 includes a plurality of classifiers is as follows.
識別器は、後述のように、学習用の画像サンプル（ポジティブ画像／ネガティブ画像）に基づいて識別境界面を学習する。ここで、画像サンプルに含まれていなかった画像が候補領域として設定された場合、識別器は境界面付近の判定を行うため、曖昧性が生じる。そこで、第１段識別部３０は、対象物を識別するための人物識別器３０Ｂ１だけでなく、誤って識別されやすい障害物を識別する複数の識別器を並列に用意して、各識別器の結果を出力する。第２段識別部４０は、上記のすべての識別器の出力値の関係から最適な識別結果を得ることができ、この結果識別性能が向上される。 As will be described later, the discriminator learns the discrimination boundary surface based on the image sample for learning (positive image / negative image). Here, when an image that was not included in the image sample is set as a candidate area, the discriminator makes a determination in the vicinity of the boundary surface, which causes ambiguity. Therefore, the first stage identification unit 30 prepares not only the person classifier 30B1 for identifying the object but also a plurality of classifiers for identifying obstacles that are easily mistakenly identified in parallel. Output the result. The second-stage discriminating unit 40 can obtain an optimum discrimination result from the relationship between the output values of all the discriminators described above, and as a result, the discrimination performance is improved.
第１段識別部３０は、９個の識別器として、特徴抽出部３０Ａ１で抽出された特徴量に基づいて人物を識別する人物識別器３０Ｂ１と、特徴抽出部３０Ａ２で抽出された特徴量に基づいて自転車を識別する自転車識別器３０Ｂ２と、特徴抽出部３０Ａ３で抽出された特徴量に基づいて二輪車を識別する二輪車識別器３０Ｂ３と、を有している。 The first stage identifying unit 30 is based on the feature classifier extracted by the person classifier 30B1 for identifying a person based on the feature quantity extracted by the feature extraction unit 30A1 and the feature extraction unit 30A2 as nine classifiers. A bicycle discriminator 30B2 for identifying a bicycle, and a two-wheeler discriminator 30B3 for discriminating a motorcycle based on the feature amount extracted by the feature extraction unit 30A3.
更に、第１段識別部３０は、特徴抽出部３０Ａ４で抽出された特徴量に基づいて電柱を識別する電柱識別器３０Ｂ４と、特徴抽出部３０Ａ５で抽出された特徴量に基づいて路面標示を識別する路面標示識別器３０Ｂ５と、特徴抽出部３０Ａ６で抽出された特徴量に基づいて標識を識別する標識識別器３０Ｂ６と、を有している。 Further, the first stage identifying unit 30 identifies a power pole discriminator 30B4 for identifying a power pole based on the feature amount extracted by the feature extracting unit 30A4 and a road marking based on the feature amount extracted by the feature extracting unit 30A5. The road marking discriminator 30B5 and the sign discriminator 30B6 that discriminates the sign based on the feature amount extracted by the feature extraction unit 30A6.
更に、第１段識別部３０は、特徴抽出部３０Ａ７で抽出された特徴量に基づいて車両を識別する車両識別器３０Ｂ７と、特徴抽出部３０Ａ８で抽出された特徴量に基づいて樹木を識別する樹木識別器３０Ｂ８と、特徴抽出部３０Ａ９で抽出された特徴量に基づいてガードレールを識別するガードレール識別器３０Ｂ９と、を有している。 Further, the first stage identification unit 30 identifies a vehicle based on the feature quantity extracted by the feature extraction unit 30A8 and the vehicle identification unit 30B7 that identifies the vehicle based on the feature quantity extracted by the feature extraction unit 30A7. It has a tree discriminator 30B8 and a guardrail discriminator 30B9 that discriminates a guardrail based on the feature amount extracted by the feature extraction unit 30A9.
各特徴抽出部３０Ａｉ（ｉ＝１〜９）は、互いに並列に設けられており、候補領域設定部２０で設定された候補領域からそれぞれ特徴量を抽出する。なお、特徴抽出部３０Ａｉはそれぞれ同一の特徴量を抽出してもよいし、また、特徴抽出部３０Ａｉの一部のみが同一の特徴量を抽出し他の特徴抽出部３０Ａｉがそれぞれ異なる特徴量を抽出してもよい。また、特徴量は、輝度、エッジの強度、エッジの方向等、特に限定されるものではない。 The feature extraction units 30Ai (i = 1 to 9) are provided in parallel with each other, and extract feature amounts from the candidate areas set by the candidate area setting unit 20, respectively. The feature extraction unit 30Ai may extract the same feature amount, or only a part of the feature extraction unit 30Ai extracts the same feature amount, and the other feature extraction units 30Ai have different feature amounts. It may be extracted. The feature amount is not particularly limited, such as brightness, edge strength, edge direction, and the like.
各識別器３０Ｂｉ（ｉ＝１〜９）は、データベース５０に予め保存されている学習モデルを用いて候補領域の識別処理を実行し、識別対象らしさを示す数値を第２段識別部４０へ出力する。 Each discriminator 30Bi (i = 1 to 9) executes a candidate area discrimination process using a learning model stored in the database 50 in advance, and outputs a numerical value indicating the likelihood of discrimination to the second-stage discriminator 40. To do.
なお、図１に示す第１段識別部３０は、並列に接続された識別器を含む構成であるが、エッジ特徴や矩形を抽出するフィルタを更に含んだ構成であってもよい。例えば、第１段識別部３０は、候補領域設定部２０で設定された候補領域内の特定方向のエッジの数や強度を０又は１で出力してこの出力結果を第２段識別部４０に供給するフィルタを備えてもよい。 The first stage identification unit 30 shown in FIG. 1 is configured to include classifiers connected in parallel, but may be configured to further include a filter that extracts edge features and rectangles. For example, the first stage identifying unit 30 outputs the number and intensity of edges in a specific direction within the candidate area set by the candidate area setting unit 20 as 0 or 1, and outputs the output result to the second stage identifying unit 40. You may provide the filter to supply.
第２段識別部４０は、第１段識別部３０の各識別器３０Ｂｉ（ｉ＝１〜９）の識別結果を統合して特徴量を生成する統合特徴量生成部４０Ａと、統合特徴量生成部４０Ａで生成された統合特徴量に基づいて人物を識別する統合識別器４０Ｂと、を備えている。 The second stage identifying unit 40 integrates the identification results of the classifiers 30Bi (i = 1 to 9) of the first stage identifying unit 30 to generate a feature quantity, and an integrated feature quantity generation. And an integrated discriminator 40B for identifying a person based on the integrated feature amount generated by the unit 40A.
すなわち、第２段識別部４０は、輝度やエッジ方向等のような画像特徴量ではなく、第１段識別部３０による歩行者の識別結果と、誤って歩行者であると識別される傾向のある１つ以上の障害物の識別結果と、に基づく統合特徴量から、候補領域が歩行者であるか否かを識別する。 That is, the second stage identification unit 40 tends not to be identified as a pedestrian by mistake, as a result of pedestrian identification by the first stage identification unit 30, rather than an image feature quantity such as luminance or edge direction. Whether or not the candidate area is a pedestrian is identified from the integrated feature quantity based on the identification result of one or more obstacles.
データベース５０には、パターン認識により候補領域設定部２０で候補領域を設定するために使用される人物モデル、第１段識別部３０の各識別器で使用される各々の学習モデル、統合識別器４０Ｂで使用される学習モデルが記憶されている。なお、候補領域設定部２０は、パターン認識により候補領域を設定する場合に限らず、単純に画像中の人物の大きさに対応した候補枠を候補領域として設定してもよい。 The database 50 includes a person model used for setting a candidate area by the candidate area setting unit 20 by pattern recognition, each learning model used by each classifier of the first stage identification unit 30, and an integrated classifier 40B. The learning model used in is stored. The candidate area setting unit 20 is not limited to setting a candidate area by pattern recognition, and may simply set a candidate frame corresponding to the size of a person in the image as a candidate area.
出力部６０は、第２段識別部４０により歩行者であると識別された候補領域の情報（位置及び大きさ）を出力する。例えば、出力部６０が、車両前方の周辺環境画像を表示するモニタの場合、周辺環境画像を表示すると共に、歩行者であると識別された候補領域の枠を表示する。なお、出力部６０は、上述の例に限らず、候補領域の情報を音声で出力してもよいし、画像及び音声で出力してもよい。 The output unit 60 outputs information (position and size) of the candidate area identified as a pedestrian by the second stage identifying unit 40. For example, when the output unit 60 is a monitor that displays a surrounding environment image in front of the vehicle, the surrounding environment image is displayed and a frame of a candidate area that is identified as a pedestrian is displayed. Note that the output unit 60 is not limited to the above example, and information on candidate areas may be output by sound, or may be output by image and sound.
（学習処理）
以上のように構成された対象物識別装置において、最初に、第１段識別部３０の各識別器に学習させて、次に、第２段識別部４０の統合識別器４０Ｂに学習させる。具体的には、予め学習用の画像サンプル（ポジティブ画像、ネガティブ画像）を用意しておき、候補領域設定部２０にこれらの画像サンプルが入力されると、第１段識別部３０の各識別器がそれぞれ学習して学習モデルを生成する。次に、上述の画像サンプルと異なる画像サンプルを用意しておき、候補領域設定部２０にこれらの画像サンプルが入力されると、第２段識別部４０の統合識別器４０Ｂが学習モデルを生成する。これらの学習モデルは、データベース５０に保存され、障害物識別処理の際に使用される。
(Learning process)
In the object identification device configured as described above, first, each classifier of the first stage identification unit 30 is made to learn, and then, the integrated classifier 40B of the second stage identification unit 40 is made to learn. Specifically, image samples for learning (positive images and negative images) are prepared in advance, and when these image samples are input to the candidate area setting unit 20, each classifier of the first stage identification unit 30. Each learns and generates a learning model. Next, image samples different from the above-described image samples are prepared, and when these image samples are input to the candidate area setting unit 20, the integrated discriminator 40B of the second-stage discriminating unit 40 generates a learning model. . These learning models are stored in the database 50 and used during the obstacle identification process.
（識別処理）
図２は、歩行者識別ルーチンを示すフローチャートである。対象物識別装置は、画像サンプルを用いた学習をした後、図２に示す歩行者識別ルーチンを実行する。
(Identification process)
FIG. 2 is a flowchart showing a pedestrian identification routine. The object identification device performs a pedestrian identification routine shown in FIG. 2 after learning using the image sample.
ステップＳ１では、カメラ１０は、周辺環境を撮像して、周辺環境の画像を取得する。 In step S1, the camera 10 captures the surrounding environment and acquires an image of the surrounding environment.
ステップＳ２では、候補領域設定部２０は、カメラ１０により取得された画像の中から、対象物である歩行者に似た画像パターンを持つ候補領域を探索し、その候補領域の場所及び大きさを決定する。そして、次のステップＳ３〜Ｓ８においては、第１段識別部３０が処理を行う。 In step S2, the candidate area setting unit 20 searches a candidate area having an image pattern similar to a target pedestrian from the images acquired by the camera 10, and determines the location and size of the candidate area. decide. In the next steps S3 to S8, the first stage identification unit 30 performs processing.
ステップＳ３では、インデックス番号ｉ＝１に設定される。ここで、インデックス番号ｉは第１段識別部３０内の各識別器及びそれに対応する特徴抽出部を特定するパラメータであり、「第ｉ番目」（ｉ＝１〜Ｍ（Ｍは並列に接続された識別器の個数を示し、本実施形態ではＭ＝９））という表記により識別器又は特徴抽出部が特定される。例えば、第１番目の特徴抽出部は特徴抽出部３０Ａ１であり、第２番目の特徴抽出部は特徴抽出部３０Ａ２である。また、第１番目の識別器は人物識別器３０Ｂ１であり、第３番目の識別器は二輪車識別器３０Ｂ３である。 In step S3, the index number i = 1 is set. Here, the index number i is a parameter for specifying each discriminator in the first-stage discriminating unit 30 and the feature extracting unit corresponding thereto, and “i-th” (i = 1 to M (M is connected in parallel). In this embodiment, the classifier or the feature extraction unit is specified by the notation M = 9)). For example, the first feature extraction unit is the feature extraction unit 30A1, and the second feature extraction unit is the feature extraction unit 30A2. The first discriminator is a person discriminator 30B1, and the third discriminator is a motorcycle discriminator 30B3.
ステップＳ４では、第ｉ番目の特徴抽出部が、第ｉ番目の識別器用の特徴量を抽出して、ステップＳ５に進む。ステップＳ５では、第ｉ番目の識別器が候補領域を評価して、ステップＳ６に進む。ステップＳ６では、第ｉ番目の識別器の評価値が保存されて、ステップＳ７に進む。 In step S4, the i-th feature extraction unit extracts a feature amount for the i-th discriminator, and the process proceeds to step S5. In step S5, the i-th discriminator evaluates the candidate area and proceeds to step S6. In step S6, the evaluation value of the i-th discriminator is stored, and the process proceeds to step S7.
ステップＳ７では、インデックス番号ｉ＜Ｍ（本実施形態ではＭ＝９）であるかが判定され、肯定判定の場合はステップＳ８に進み、否定判定の場合はステップＳ９に進む。 ステップＳ８では、インデックス番号ｉがインクリメントされて（ｉ＝ｉ＋１）、ステップＳ４に戻る。 In step S7, it is determined whether or not index number i <M (M = 9 in the present embodiment). If the determination is affirmative, the process proceeds to step S8. If the determination is negative, the process proceeds to step S9. In step S8, the index number i is incremented (i = i + 1), and the process returns to step S4.
ステップＳ９では、第２段識別部４０の統合特徴量生成部４０Ａが、第１段識別部３０の複数の識別器の評価結果を統合して特徴量を抽出する。ここでは統合特徴量抽出ルーチンが実行される。 In step S <b> 9, the integrated feature value generation unit 40 </ b> A of the second stage identification unit 40 integrates the evaluation results of the plurality of classifiers of the first stage identification unit 30 to extract feature values. Here, an integrated feature amount extraction routine is executed.
図３は、第１の統合特徴量生成ルーチンを示すフローチャートである。統合特徴量生成部４０Ａは、初期設定としてｋ＝１に設定する（ステップＳ２１）。統合特徴量生成部４０Ａは、次に、第１段識別部３０の識別器群から任意のｋ個の識別器を選択し（ステップＳ２２）、選択したｋ個の識別器の出力から統合特徴量Ａ１、Ａ２を算出する（ステップＳ２３）。 FIG. 3 is a flowchart showing a first integrated feature value generation routine. The integrated feature value generation unit 40A sets k = 1 as an initial setting (step S21). Next, the integrated feature value generation unit 40A selects any k classifiers from the classifier group of the first stage identification unit 30 (step S22), and the integrated feature value is output from the outputs of the selected k classifiers. A1 and A2 are calculated (step S23).
ここで、選択したｋ個の識別器の出力値を Here, the output values of the selected k discriminators are
ｗ及びｔは、重み係数であり、統合特徴量生成部４０Ａの学習の際に決定される。なお、統合特徴量生成部４０Ａは考えられるすべてのｋ個の出力値Ｄを選択してもよいし、予め指定された組み合わせの出力値Ｄのみを計算してもよい。よって、人物識別器３０Ｂ１の出力値は必須ではなく、他の識別器３０Ｂ２〜３０Ｂ９の出力値から歩行者が識別可能であれば、人物識別器３０Ｂ１の出力値は選択されなくてもよい。 w and t are weighting factors, which are determined when the integrated feature value generating unit 40A learns. Note that the integrated feature value generation unit 40A may select all possible k output values D, or may calculate only the output values D of a combination designated in advance. Therefore, the output value of the person identifier 30B1 is not essential, and the output value of the person identifier 30B1 may not be selected as long as the pedestrian can be identified from the output values of the other identifiers 30B2 to 30B9.
そして、統合特徴量生成部４０Ａは、ｋ＜Ｍであるかを判定し（ステップＳ２４）、肯定判定の場合はｋをインクリメント（ｋ＝ｋ＋１）して（ステップＳ２５）、その後ステップＳ２２に戻り、否定判定の場合は算出したすべての統合特徴量を第２段の識別器がある統合識別器４０Ｂへ出力する（ステップＳ２６）。これにより、統合特徴量抽出ルーチンが終了して、図２に示すステップＳ１０に移行する。 Then, the integrated feature value generation unit 40A determines whether k <M (step S24). If the determination is affirmative, k is incremented (k = k + 1) (step S25), and then the process returns to step S22. In the case of negative determination, all the calculated integrated feature values are output to the integrated discriminator 40B having the second-stage discriminator (step S26). As a result, the integrated feature amount extraction routine ends, and the process proceeds to step S10 shown in FIG.
ステップＳ１０では、第２段識別部４０の統合識別器４０Ｂが、統合特徴量生成部４０Ａで抽出された統合特徴量Ａ１、Ａ２を入力して学習結果と照合することによって統合特徴量Ａ１、Ａ２を評価し、それぞれの評価結果を示す評価値を出力して、ステップＳ１１に進む。 In step S10, the integrated discriminator 40B of the second-stage discriminating unit 40 inputs the integrated feature amounts A1 and A2 extracted by the integrated feature amount generating unit 40A and collates them with the learning result, thereby integrating the integrated feature amounts A1 and A2. Are evaluated, and an evaluation value indicating each evaluation result is output, and the process proceeds to step S11.
ステップＳ１１では、統合識別器４０Ｂが、統合特徴量Ａ１、Ａ２のそれぞれの評価値と予め設定された閾値とを比較する閾値判定を行い、それぞれの評価値が閾値を超えている場合には候補領域は歩行者であると識別し、閾値を超えていない場合には候補領域は歩行者でないと識別して、ステップＳ１２に進む。 In step S11, the integrated discriminator 40B performs threshold determination for comparing each evaluation value of the integrated feature amounts A1 and A2 with a preset threshold value, and if each evaluation value exceeds the threshold value, the candidate is determined. The area is identified as a pedestrian. If the threshold is not exceeded, the candidate area is identified as not a pedestrian, and the process proceeds to step S12.
ステップＳ１２では、出力部６０は、第２段識別部４０の識別結果に基づいて、歩行者であると識別された候補領域の位置及び大きさを出力する。なお、このような識別処理は、候補領域設定部２０で設定された全ての候補領域について行われる。 In step S12, the output unit 60 outputs the position and size of the candidate area identified as a pedestrian based on the identification result of the second stage identification unit 40. Such identification processing is performed for all candidate regions set by the candidate region setting unit 20.
図４から図６は、従来の誤検出された障害物を示す図である。図７は、本実施形態に係る対象物識別装置により識別された歩行者を示す図である。つまり、従来は、電柱、車両、樹木等が歩行者として誤検出されることがあったが、本実施形態に係る対象物識別装置は、電柱、車両、樹木を検出することなく、歩行者のみを識別している。 4 to 6 are diagrams showing conventional erroneously detected obstacles. FIG. 7 is a diagram illustrating a pedestrian identified by the object identification device according to the present embodiment. That is, conventionally, a power pole, a vehicle, a tree, or the like may be erroneously detected as a pedestrian, but the object identification device according to the present embodiment is only a pedestrian without detecting a power pole, a vehicle, a tree. Has been identified.
以上のように、第１の実施形態に係る対象物識別装置は、画像の中から識別対象である歩行者の候補領域を設定し、この候補領域に対して、歩行者の識別結果と歩行者と誤って識別されやすい障害物の識別結果のうち、全部又は一部の識別結果に基づいて歩行者らしさを判定する。よって、上記対象物識別装置は、候補領域について１つの識別器では正確に対象物を識別できない場合であっても、当該識別器の識別結果と、他の障害物を識別する他の識別器の識別結果と、を統合して対象物を識別するので、識別精度を向上させることができる。 As described above, the target object identification device according to the first embodiment sets a pedestrian candidate area to be identified from an image, and the pedestrian identification result and the pedestrian for the candidate area. The pedestrian-likeness is determined based on all or a part of the identification results of the obstacles that are easily mistakenly identified. Therefore, even if the target object identification device cannot accurately identify the target object with one classifier for the candidate area, the identification result of the classifier and other classifiers for identifying other obstacles Since the object is identified by integrating the identification result, the identification accuracy can be improved.
また、異なる障害物を識別する複数の識別器を直列に並べて対象物を識別する場合、誤検出率が低下すると共に、正確な識別率も低下してしまう。これに対して、本実施形態に係る対象物識別装置は、第１段識別部３０及び第２段識別部４０の２段だけで構成されているので、識別率の低下を抑制しつつ誤識別を削減することができる。 In addition, when a plurality of discriminators that identify different obstacles are arranged in series to identify an object, the false detection rate is lowered and the accurate discrimination rate is also lowered. On the other hand, since the target object identification device according to the present embodiment is configured with only two stages of the first stage identification unit 30 and the second stage identification unit 40, erroneous identification is performed while suppressing a decrease in the identification rate. Can be reduced.
［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。第２の実施形態の統合特徴量生成部４０Ａは、図３に示す第１の統合特徴量生成ルーチンの代わりに、第２の統合特徴量生成ルーチンを実行する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. The integrated feature value generation unit 40A of the second embodiment executes a second integrated feature value generation routine instead of the first integrated feature value generation routine shown in FIG.
図８は、第２の統合特徴量生成ルーチンを示すフローチャートである。 FIG. 8 is a flowchart showing a second integrated feature value generation routine.
ステップＳ３１では、統合特徴量生成部４０Ａは、第１段識別部３０の各識別器３０Ａｉ（ｉ＝１〜９）の出力値Ｄｉをビット信号Ｂｉに変換する。 In step S31, the integrated feature value generating unit 40A converts the output value Di of each classifier 30Ai (i = 1 to 9) of the first stage identifying unit 30 into a bit signal Bi.
例えば、識別器３０Ａｉの出力値が４．５、識別器３０Ａｊの出力値が−５．２であるとする。それぞれの識別器の出力値をビット信号に変換するための多段階閾値Ｔｉ、Ｔｊをそれぞれ式（３）及び（４）のように与える。 For example, it is assumed that the output value of the discriminator 30Ai is 4.5 and the output value of the discriminator 30Aj is -5.2. Multistage threshold values Ti and Tj for converting the output value of each discriminator into a bit signal are given as shown in equations (3) and (4), respectively.
そして、統合特徴量生成部４０Ａは、Ｔｉ、Ｔｊの各成分と識別器３０Ａｉ、３０Ａｊの出力値とを比較して、その出力値をビット信号に変換する。例えば、識別器３０Ａｉ、３０Ａｊの出力値の方が大きい場合を１、小さい場合を０で表現すると、式（５）及び（６）に示すようなビット信号Ｂｉ、Ｂｊが生成される。 Then, the integrated feature value generation unit 40A compares the components Ti and Tj with the output values of the discriminators 30Ai and 30Aj, and converts the output values into bit signals. For example, when the output values of the discriminators 30Ai and 30Aj are larger, the bit signals Bi and Bj as shown in the equations (5) and (6) are generated when the smaller value is expressed as 1 and the smaller value is expressed as 0.
統合特徴量生成部４０Ａは、以上のようにして各識別器３０Ａｉ（ｉ＝１〜９）の出力値をビット信号Ｂｉに変換して、ステップＳ３２に進む。 The integrated feature value generation unit 40A converts the output value of each discriminator 30Ai (i = 1 to 9) into the bit signal Bi as described above, and proceeds to step S32.
ステップＳ３２では、統合特徴量生成部４０Ａは、各識別器３０Ａｉ（ｉ＝１〜９）から２個を選択し、ステップＳ３３に進む。 In step S32, the integrated feature value generation unit 40A selects two from each discriminator 30Ai (i = 1 to 9), and proceeds to step S33.
ステップＳ３３では、統合特徴量生成部４０Ａは、ステップＳ３２で選択した２個の識別器の出力値のビット信号（Ｂｉ，Ｂｊ）から統合特徴量Ｂを算出する。なお、統合特徴量の算出については、次の２つの方法がある。 In step S33, the integrated feature value generation unit 40A calculates the integrated feature value B from the bit signals (Bi, Bj) of the output values of the two discriminators selected in step S32. There are the following two methods for calculating the integrated feature amount.
（Ｂｉ、Ｂｊの要素成分の組み合わせを使用する方法）
統合特徴量生成部４０Ａは、ビット信号Ｂｉ、Ｂｊからそれぞれ要素成分ｂｉ、ｂｊを抽出し、以下の式（７）に基づいて統合特徴量Ｂ１を生成する。
(Method of using a combination of element components of Bi and Bj)
The integrated feature value generation unit 40A extracts element components bi and bj from the bit signals Bi and Bj, respectively, and generates an integrated feature value B1 based on the following equation (7).
なお、重み係数ｗ、組み合わされる要素成分（ｂｉ，ｂｊ）の組み合わせについては、上述した学習処理によって識別に有効なものが選択される。また、式（７）については、ｂｉやｂｊの２乗の項を追加する等拡張してもよい。 For the combination of the weight coefficient w and the element components (bi, bj) to be combined, those effective for identification are selected by the learning process described above. Further, the expression (7) may be expanded by adding a square term of bi or bj.
（Ｂｉ、Ｂｊの論理演算結果を使用する方法）
統合特徴量生成部４０Ａは、ビット信号Ｂｉ、Ｂｊを用いて、論理和ＯＲｉｊ、論理積ＡＮＤｉｊ、排他的論理和ＸＯＲｉｊ、否定論理和ＮＯＲｉｊ、否定論理積ＮＡＮＤｉｊを演算し、これらの演算結果を使用して統合特徴量Ｂ２を算出する。例えば、ビット信号Ｂｉ、Ｂｊが式（５）及び（６）の場合、各論理演算は次の式（８）〜（１２）のようになる。
(Method of using the logical operation result of Bi and Bj)
Using the bit signals Bi and Bj, the integrated feature value generation unit 40A calculates a logical sum OR ij , a logical product AND ij , an exclusive logical sum XOR ij , a negative logical sum NOR ij , and a negative logical product NAND ij , The integrated feature amount B2 is calculated using the result of the calculation. For example, when the bit signals Bi and Bj are expressed by the equations (5) and (6), each logical operation is expressed by the following equations (8) to (12).
そして、統合特徴量生成部４０Ａは、式（１３）に従って統合特徴量Ｂ２を算出する。 Then, the integrated feature value generation unit 40A calculates the integrated feature value B2 according to the equation (13).
なお、重み係数ｗ、組み合わされる論理演算結果については、上述した学習処理によって識別に有効なものが選択される。 For the weighting coefficient w and the logical operation result to be combined, those effective for identification are selected by the learning process described above.
また、式（１３）で使用可能な論理演算は、上記のものに限られず、例えば、Ｂｉの否定演算とＢｊの論理和を用いてもよいし、上記の演算結果同士の論理和や論理積などを用いて拡張してもよい。さらに、「Ｂｉ、Ｂｊの要素成分の組み合わせを使用する方法」と同様に、統合特徴量生成部４０Ａは、各ビット演算結果の要素成分から任意の組み合わせを抽出して判定してもよい。また、統合特徴量生成部４０Ａは、主成分分析（ＰＣＡ）を用いて、生成した特徴量の数を効果的に削減することもできる。これにより、統合特徴量Ａ、Ｂを任意の次元を用いて表すことができる。 Further, the logical operations that can be used in the expression (13) are not limited to those described above, and for example, a negative operation of Bi and a logical sum of Bj may be used, or a logical sum or logical product of the above operation results. Etc. may be used for expansion. Further, similarly to the “method using the combination of element components of Bi and Bj”, the integrated feature value generation unit 40A may extract and determine an arbitrary combination from the element components of each bit operation result. Further, the integrated feature value generation unit 40A can effectively reduce the number of generated feature values by using principal component analysis (PCA). Thereby, the integrated feature amounts A and B can be expressed using arbitrary dimensions.
そして、以上のような演算によって統合特徴量Ｂが算出されると、ステップＳ３４へ進む。 When the integrated feature amount B is calculated by the above calculation, the process proceeds to step S34.
ステップＳ３４では、統合特徴量生成部４０Ａは、（ｂｉ，ｂｊ）の全組み合わせについて統合特徴量Ｂの演算処理が終了したかを判定し、肯定判定の場合はステップＳ３５に進み、否定判定の場合はステップＳ３２に戻る。 In step S34, the integrated feature value generation unit 40A determines whether the calculation processing of the integrated feature value B has been completed for all combinations of (bi, bj). If the determination is affirmative, the process proceeds to step S35. Returns to step S32.
ステップＳ３５では、統合特徴量生成部４０Ａは、算出したすべての統合特徴量Ｂを統合識別器４０Ｂへ出力する。そして、本ルーチンが終了する。 In step S35, the integrated feature value generation unit 40A outputs all the calculated integrated feature values B to the integrated discriminator 40B. Then, this routine ends.
統合識別器４０Ｂは、統合特徴量生成部４０Ａで生成された統合特徴量Ｂを学習結果と照合（評価）し、その評価値が閾値Ｔｉｊより大きい（Ｂ＞Ｔｉｊ）かを判定する。なお、閾値Ｔｉｊは学習により選択された値である。統合識別器４０Ｂは、Ｂ＞Ｔｉｊである場合には候補領域に歩行者の存在を識別し、Ｂ＞Ｔｉｊでない場合には歩行者の存在を識別しない。 The integrated discriminator 40B compares (evaluates) the integrated feature quantity B generated by the integrated feature quantity generation unit 40A with the learning result, and determines whether the evaluation value is larger than the threshold value Tij (B> Tij ). The threshold T ij is a value selected by learning. Combined discriminator 40B is, B> in the case of T ij identifies the presence of a pedestrian candidate region, if not B> T ij does not identify the presence of pedestrians.
第２の実施形態に係る対象物識別装置は、上記の第２の統合特徴量生成ルーチンを実行することにより、識別対象である歩行者の識別結果だけでなく、誤って識別されやすい障害物の識別結果を利用して、歩行者の識別性能をより向上させることができる。 The object identification device according to the second embodiment executes not only the identification result of the pedestrian that is the identification target but also the obstacle easily identified by executing the second integrated feature value generation routine. By using the identification result, the pedestrian identification performance can be further improved.
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。例えば、上述した対象物識別装置は、歩行者を識別対象としたが、二輪車、車両などの他の障害物を識別対象としてもよいのは勿論である。 It should be noted that the present invention is not limited to the above-described embodiment, and it is needless to say that the present invention can also be applied to a design modified within the scope described in the claims. For example, although the target object identification device described above is intended for identification of pedestrians, it is needless to say that other obstacles such as motorcycles and vehicles may be identified.
また、統合特徴量生成部４０Ａによる統合特徴量の生成方法は、上述した各実施形態の態様に限らず、これらを組み合わせたものでもよい。 Further, the method of generating the integrated feature value by the integrated feature value generating unit 40A is not limited to the aspect of each embodiment described above, and a combination thereof may be used.
また、図１に示す対象物識別装置の第１段識別部３０及び第２段識別部４０は直列に「２段」で構成されているが、より高次の多段化も可能である。例えば、第１段識別部の各識別器を２つのグループに分けた場合、第２段識別部はそれぞれのグループに属する識別器の出力値を入力する２つの識別器を備えるとよい。このときさらに、第３段識別部の識別器は、第２段識別部の２つの識別器の出力を統合して判定するようにすればよい。 Moreover, although the 1st stage identification part 30 and the 2nd stage identification part 40 of the target object identification apparatus shown in FIG. 1 are comprised by "2 stages" in series, higher-order multistage is also possible. For example, when each discriminator of the first stage discriminating unit is divided into two groups, the second stage discriminating unit may include two discriminators that input the output values of the discriminators belonging to the respective groups. At this time, the discriminator of the third stage discriminating unit may determine by integrating the outputs of the two discriminators of the second stage discriminating unit.
１０ カメラ
２０ 候補領域設定部
３０ 第１段識別部
４０ 第２段識別部
５０ データベース
６０ 出力部
10 Camera 20 Candidate Area Setting Unit 30 First Stage Identification Unit 40 Second Stage Identification Unit 50 Database 60 Output Unit
Claims (6)
前記撮像手段により生成された画像から識別したい対象物の候補領域を設定する候補領域設定手段と、
候補領域設定手段により設定された候補領域に対して、前記対象物の識別結果と、前記対象物と異なる１つ以上の障害物の識別結果と、をそれぞれ出力する第１の識別手段と、
直列に接続された複数の第２の識別手段であって、最前段の第２の識別手段は前記第１の識別手段から出力された各識別結果に基づいて前記候補領域についての前記対象物の識別結果を出力し、前記最前段を除く第２の識別手段は前段から出力された識別結果に基づいて前記候補領域についての前記対象物の識別結果を後段に出力する、複数の第２の識別手段と、
最後段の前記第２の識別手段の識別結果に基づいて、対象物であると識別された候補領域の情報を出力する出力手段と、
を備えた対象物識別装置。 Imaging means for imaging a subject and generating an image;
Candidate area setting means for setting a candidate area of an object to be identified from the image generated by the imaging means;
First identification means for outputting the identification result of the object and the identification result of one or more obstacles different from the object for the candidate area set by the candidate area setting means;
A plurality of second identification means connected in series, wherein the second identification means in the forefront stage is configured to identify the object for the candidate region based on each identification result output from the first identification means. A plurality of second identification units that output identification results, and wherein the second identification unit excluding the foremost stage outputs the identification results of the object for the candidate region to the subsequent stage based on the identification results output from the previous stage. Means,
An output means for outputting information on the candidate area identified as the object based on the identification result of the second identification means at the last stage;
An object identification device comprising:
前記撮像手段により生成された画像から識別したい対象物の候補領域を設定する候補領域設定手段と、
候補領域設定手段により設定された候補領域に対して前記対象物の識別結果を出力する対象物識別器と、前記候補領域に対して前記対象物と異なる１つ以上の障害物の識別結果を出力する１つ以上の障害物識別器と、を有する第１の識別手段と、
前記第１の識別手段の対象物識別器及び障害物識別器の各識別結果に基づいて、前記候補領域に対して前記対象物の識別結果を出力する第２の識別手段と、
前記第２の識別手段の識別結果に基づいて、対象物であると識別された候補領域の情報を出力する出力手段と、
を備えた対象物識別装置。 Imaging means for imaging a subject and generating an image;
Candidate area setting means for setting a candidate area of an object to be identified from an image generated by the imaging means;
An object discriminator that outputs the identification result of the object for the candidate area set by the candidate area setting means, and an identification result of one or more obstacles different from the object for the candidate area One or more obstacle classifiers, and a first identification means comprising:
Second identification means for outputting the identification result of the object to the candidate area based on the identification results of the object identifier and the obstacle identifier of the first identification means;
An output means for outputting information on the candidate area identified as the object based on the identification result of the second identification means;
An object identification device comprising:
請求項２に記載の対象物識別装置。 The second discriminating unit is configured to apply the target to the candidate region based on a part of the discrimination results among the discrimination result of the object discriminator and the discrimination results of the one or more obstacle discriminators. The object identification device according to claim 2, wherein an object identification result is output.
請求項２に記載の対象物識別装置。 The second discriminating unit compares the identification result of the object discriminator and the discrimination result of the one or more obstacle discriminators with a value obtained by comparing a part of the discrimination result with a multi-stage threshold. The target object identification apparatus according to claim 2, wherein the target object identification result is output to the candidate region based on the converted bit signal.
撮像手段により生成された画像から識別したい対象物の候補領域を設定する候補領域設定手段と、
候補領域設定手段により設定された候補領域に対して、前記対象物の識別結果と、前記対象物と異なる１つ以上の障害物の識別結果と、をそれぞれ出力する第１の識別手段と、
直列に接続された複数の第２の識別手段であって、最前段の第２の識別手段は前記第１の識別手段から出力された各識別結果に基づいて前記候補領域についての前記対象物の識別結果を出力し、最前段を除く第２の識別手段は前段から出力された識別結果に基づいて前記候補領域についての前記対象物の識別結果を後段に出力する、複数の第２の識別手段と、
最後段の前記第２の識別手段の識別結果に基づいて、対象物であると識別された候補領域の情報を出力手段から出力させる出力制御手段と、
して機能させるための対象物識別プログラム。 Computer
Candidate area setting means for setting a candidate area of an object to be identified from an image generated by the imaging means;
First identification means for outputting the identification result of the object and the identification result of one or more obstacles different from the object for the candidate area set by the candidate area setting means;
A plurality of second identification means connected in series, wherein the second identification means in the forefront stage is configured to identify the object for the candidate region based on each identification result output from the first identification means. A plurality of second identification means for outputting an identification result, wherein the second identification means excluding the front stage outputs the identification result of the object for the candidate area to the subsequent stage based on the identification result outputted from the previous stage. When,
Based on the identification result of the second identification means at the last stage, output control means for outputting information of candidate areas identified as objects from the output means,
The object identification program to make it function.
撮像手段により生成された画像から識別したい対象物の候補領域を設定する候補領域設定手段と、
候補領域設定手段により設定された候補領域に対して前記対象物の識別結果を出力する対象物識別器と、前記候補領域に対して前記対象物と異なる１つ以上の障害物の識別結果を出力する１つ以上の障害物識別器と、を有する第１の識別手段と、
前記第１の識別手段の対象物識別器及び障害物識別器の各識別結果に基づいて、前記候補領域に対して前記対象物の識別結果を出力する第２の識別手段と、
前記第２の識別手段の識別結果に基づいて、対象物であると識別された候補領域の情報を出力手段から出力させる出力制御手段と、
して機能させるための対象物識別プログラム。 Computer
Candidate area setting means for setting a candidate area of an object to be identified from an image generated by the imaging means;
An object discriminator that outputs the identification result of the object for the candidate area set by the candidate area setting means, and an identification result of one or more obstacles different from the object for the candidate area One or more obstacle classifiers, first identifying means comprising:
Second identification means for outputting the identification result of the object to the candidate area based on the identification results of the object identification device and the obstacle identification device of the first identification means;
Based on the identification result of the second identification means, output control means for outputting information of candidate areas identified as objects from the output means;
The object identification program to make it function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009070397A JP5293321B2 (en) | 2009-03-23 | 2009-03-23 | Object identification device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009070397A JP5293321B2 (en) | 2009-03-23 | 2009-03-23 | Object identification device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010224787A true JP2010224787A (en) | 2010-10-07 |
| JP5293321B2 JP5293321B2 (en) | 2013-09-18 |
Family
ID=43041918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009070397A Expired - Fee Related JP5293321B2 (en) | 2009-03-23 | 2009-03-23 | Object identification device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5293321B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011141799A (en) * | 2010-01-08 | 2011-07-21 | Nippon Telegr & Teleph Corp <Ntt> | Object detection recognition apparatus, object detection recognition method, and program |
| DE102013207575A1 (en) | 2012-04-27 | 2013-10-31 | Denso Corporation | OBJECT DETECTION DEVICE |
| JP2015099616A (en) * | 2015-02-26 | 2015-05-28 | カシオ計算機株式会社 | Multiple class identifier generation device, data identification device, multiple class identifier generation method, data identification method, and program |
| JP2016012302A (en) * | 2014-06-30 | 2016-01-21 | 株式会社デンソー | Object detector |
| CN106203398A (en) * | 2016-07-26 | 2016-12-07 | 东软集团股份有限公司 | A kind of detect the method for lane boundary, device and equipment |
| JP2022507995A (en) * | 2018-11-30 | 2022-01-19 | バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド | Obstacle avoidance methods and equipment for unmanned vehicles |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01246678A (en) * | 1988-03-29 | 1989-10-02 | Toshiba Corp | Pattern recognizing device |
| JPH09319825A (en) * | 1996-05-30 | 1997-12-12 | N T T Data Tsushin Kk | Character recognition device |
| JPH11120498A (en) * | 1997-10-18 | 1999-04-30 | Mazda Motor Corp | Obstacle alarming device for vehicle |
| JP2006018578A (en) * | 2004-07-01 | 2006-01-19 | Nippon Signal Co Ltd:The | Personal identification device |
| WO2008075407A1 (en) * | 2006-12-19 | 2008-06-26 | Pioneer Corporation | Information processing device and its control method, control program, and recording medium |
-
2009
- 2009-03-23 JP JP2009070397A patent/JP5293321B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01246678A (en) * | 1988-03-29 | 1989-10-02 | Toshiba Corp | Pattern recognizing device |
| JPH09319825A (en) * | 1996-05-30 | 1997-12-12 | N T T Data Tsushin Kk | Character recognition device |
| JPH11120498A (en) * | 1997-10-18 | 1999-04-30 | Mazda Motor Corp | Obstacle alarming device for vehicle |
| JP2006018578A (en) * | 2004-07-01 | 2006-01-19 | Nippon Signal Co Ltd:The | Personal identification device |
| WO2008075407A1 (en) * | 2006-12-19 | 2008-06-26 | Pioneer Corporation | Information processing device and its control method, control program, and recording medium |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011141799A (en) * | 2010-01-08 | 2011-07-21 | Nippon Telegr & Teleph Corp <Ntt> | Object detection recognition apparatus, object detection recognition method, and program |
| DE102013207575A1 (en) | 2012-04-27 | 2013-10-31 | Denso Corporation | OBJECT DETECTION DEVICE |
| JP2013232080A (en) * | 2012-04-27 | 2013-11-14 | Denso Corp | Object identification device |
| JP2016012302A (en) * | 2014-06-30 | 2016-01-21 | 株式会社デンソー | Object detector |
| US9754174B2 (en) | 2014-06-30 | 2017-09-05 | Denso Corporation | Object detection apparatus |
| JP2015099616A (en) * | 2015-02-26 | 2015-05-28 | カシオ計算機株式会社 | Multiple class identifier generation device, data identification device, multiple class identifier generation method, data identification method, and program |
| CN106203398A (en) * | 2016-07-26 | 2016-12-07 | 东软集团股份有限公司 | A kind of detect the method for lane boundary, device and equipment |
| JP2018018483A (en) * | 2016-07-26 | 2018-02-01 | 東軟集団股▲分▼有限公司 | Method, apparatus, and device for detecting lane boundary |
| US10133941B2 (en) | 2016-07-26 | 2018-11-20 | Neusoft Corporation | Method, apparatus and device for detecting lane boundary |
| CN106203398B (en) * | 2016-07-26 | 2019-08-13 | 东软集团股份有限公司 | A kind of method, apparatus and equipment detecting lane boundary |
| JP2022507995A (en) * | 2018-11-30 | 2022-01-19 | バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド | Obstacle avoidance methods and equipment for unmanned vehicles |
| JP7174063B2 (en) | 2018-11-30 | 2022-11-17 | アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド | Obstacle avoidance method and device for driverless vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5293321B2 (en) | 2013-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI651662B (en) | Image annotation method, electronic device and non-transitory computer readable storage medium | |
| CN109063768B (en) | Vehicle weight identification method, device and system | |
| JP5293321B2 (en) | Object identification device and program | |
| US10025998B1 (en) | Object detection using candidate object alignment | |
| AU2011352412B2 (en) | Scene activity analysis using statistical and semantic feature learnt from object trajectory data | |
| JP5333080B2 (en) | Image recognition system | |
| JP2019149150A (en) | Method and apparatus for processing point cloud data | |
| US9213892B2 (en) | Real-time bicyclist detection with synthetic training data | |
| US20140002658A1 (en) | Overtaking vehicle warning system and overtaking vehicle warning method | |
| JP2011257984A (en) | Object detection device and program | |
| JP2012531685A (en) | Image processing method for a driver assistance system of a vehicle for detecting and classifying at least a part of at least one set image element | |
| US20170151943A1 (en) | Method, apparatus, and computer program product for obtaining object | |
| CN109871792B (en) | Pedestrian detection method and device | |
| CN104350526B (en) | People detects device | |
| CN103886315A (en) | 3d Human Models Applied To Pedestrian Pose Classification | |
| CN103218610A (en) | Formation method of dogface detector and dogface detection method | |
| JP5707570B2 (en) | Object identification device, object identification method, and learning method for object identification device | |
| JP2012221162A (en) | Object detection device and program | |
| CN114926791A (en) | Method and device for detecting abnormal lane change of vehicles at intersection, storage medium and electronic equipment | |
| JP4721829B2 (en) | Image retrieval method and apparatus | |
| CN110738080A (en) | method, device and electronic equipment for identifying modified motor vehicle | |
| CN108710828A (en) | The method, apparatus and storage medium and vehicle of identification object | |
| KR20160081190A (en) | Method and recording medium for pedestrian recognition using camera | |
| JP6077785B2 (en) | Object detection apparatus and program | |
| JP6326622B2 (en) | Human detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130527 |
|
| LAPS | Cancellation because of no payment of annual fees |