JP2007310480A - Recognition device and recognition means - Google Patents
Recognition device and recognition means Download PDFInfo
- Publication number
- JP2007310480A JP2007310480A JP2006136698A JP2006136698A JP2007310480A JP 2007310480 A JP2007310480 A JP 2007310480A JP 2006136698 A JP2006136698 A JP 2006136698A JP 2006136698 A JP2006136698 A JP 2006136698A JP 2007310480 A JP2007310480 A JP 2007310480A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- same
- tracked
- unit
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、例えば道路上の歩行者等の物体を認識する認識装置および認識方法に関し、特には効果的に物体を認識するための学習パターンを収集することができる認識装置および認識方法に関するものである。 The present invention relates to a recognition apparatus and a recognition method for recognizing an object such as a pedestrian on a road, and more particularly to a recognition apparatus and a recognition method capable of collecting learning patterns for effectively recognizing an object. is there.
従来の歩行者等の物体を認識するための技術としては、例えば特許文献1に記載されているものが知られている。この技術では、物体の形状データだけではなく動きパターンも合わせることで、高い検出精度を実現している。この技術では、例えば、遠赤外線カメラを用いた温度測定による歩行者検出においては、温度分布(=形状データ)のみに基づいて検出が行われると検出精度が低いことを顧みて、形状データに加えて動きパターンに基づいても歩行者の検出を行うことで、検出精度を高くすることを提案している。 As a technique for recognizing a conventional object such as a pedestrian, a technique described in Patent Document 1, for example, is known. This technique achieves high detection accuracy by combining not only object shape data but also motion patterns. In this technology, for example, in pedestrian detection by temperature measurement using a far-infrared camera, if detection is performed based only on the temperature distribution (= shape data), the detection accuracy is low. It has also been proposed to increase detection accuracy by detecting pedestrians even based on motion patterns.
この特許文献1に記載の技術では、以下の(1)から(5)までを予め計測し、学習させる。
(1)体格−大人、子供、老人、性別等の違い
(2)持ち物・乗り物−鞄、帽子、傘、杖等の有無、犬、自転車、乳母車、車椅子等の付加物の有無
(3)服装−ズボン、スカート、コート等の服装の違い
(4)歩き方−千鳥足、早足、スキップ等による移動速度の違い
(5)方向−前後、左右、斜め等の移動方向の違い
(1) Physique-adults, children, elderly people, gender, etc. (2) belongings / vehicles-presence or absence of bags, hats, umbrellas, canes, etc., presence of dogs, bicycles, prams, wheelchairs, etc. (3) clothing -Differences in clothes such as trousers, skirts, coats, etc. (4) How to walk-Differences in movement speed due to staggered feet, fast walking, skipping, etc. (5) Direction-Differences in movement directions such as front, back, left, and right
しかしながら、上記の要素を全て網羅する学習パターンを予め用意することは現実的には不可能である。また、形状(上記(1)〜(3))と動きパターン(上記(4),(5))は本来独立な要素であり、これらを同時に学習させることは学習させなければならないパターンを無駄に増大させている。 However, it is practically impossible to prepare a learning pattern that covers all the above elements in advance. Also, the shape (above (1) to (3)) and the motion pattern (above (4), (5)) are essentially independent elements, and learning these simultaneously wastes the pattern that must be learned. It is increasing.
本発明は、かかる事情に鑑みてなされたものであり、その目的は、より効果的に学習パターンを収集することができる認識装置および認識方法を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a recognition apparatus and a recognition method capable of collecting learning patterns more effectively.
本発明は、物体を撮像する撮像手段と、撮像手段により取得した物体の撮像画像により対象物か否かを識別する対象物識別手段と、物体の追跡を行う対象物追跡手段と、対象物識別手段により対象物か否かを識別された物体と、対象物追跡手段により追跡された物体との同一性を判定する同一対象判定手段と、同一対象判定手段により同一の物体であると判定され、かつ対象物識別手段では対象物であると識別されなかったが対象物追跡手段では同一の物体として追跡されていた場合に、物体の撮像画像を抽出する対象物抽出手段と、を備えた認識装置である。 The present invention relates to an image pickup unit that picks up an object, a target object identification unit that identifies whether or not the image is an object based on a captured image of the object acquired by the image pickup unit, a target object tracking unit that performs object tracking, and a target object identification It is determined that the object identified as the object by the means and the same object determining means for determining the identity of the object tracked by the object tracking means and the same object by the same object determining means, And an object extraction unit that extracts a captured image of the object when the object identification unit is not identified as the object but is tracked as the same object by the object tracking unit. It is.
この構成によれば、同一対象判定手段が、対象物識別手段により対象物か否かを識別された物体と、対象物追跡手段により追跡された物体との同一性を判定する。また、対象物抽出手段が、同一対象判定手段により同一の物体であると判定され、かつ対象物識別手段では対象物であると識別されなかったが対象物追跡手段では同一の物体として追跡されていた場合に、物体の撮像画像を抽出する。このため、対象物識別手段では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。したがって、対象物識別手段だけでは対象物として識別されない誤識別が生じたパターン(撮像画像)を効率良く収集することができ、予め膨大な学習パターンを用意したり、学習させなくとも、より効果的に学習パターンを収集することができる。 According to this configuration, the same target determining unit determines the identity between the object identified as the target by the target object identifying unit and the object tracked by the target tracking unit. Further, the object extraction means is determined to be the same object by the same object determination means, and is not identified as the object by the object identification means, but is tracked as the same object by the object tracking means. In this case, a captured image of the object is extracted. For this reason, the captured image of the object that has not been identified as the target object by the target object identifying means can be extracted as the captured image of the object. Therefore, it is possible to efficiently collect patterns (captured images) in which misidentification occurs that cannot be identified as objects only by the object identification means, and it is more effective without preparing a huge learning pattern or learning in advance. Learning patterns can be collected.
この場合、対象物抽出手段が抽出した物体の撮像画像を記憶する画像記憶手段をさらに備えていることが、抽出された学習パターンを蓄積することができるため、好適である。 In this case, it is preferable to further include an image storage unit that stores the captured image of the object extracted by the object extraction unit because the extracted learning patterns can be accumulated.
また、撮像手段により取得した物体の撮像画像と、対象物識別手段の識別結果と、対象物追跡手段の追跡結果とを対応付けて記憶可能な結果記憶手段をさらに備え、同一対象判定手段は、結果記憶手段に記憶された、対象物識別手段により対象物か否かを識別された物体と、対象物追跡手段により追跡された物体との過去における同一性を判定し、対象物抽出手段は、同一対象判定手段により過去において同一の物体であると判定され、かつ対象物識別手段では過去において対象物であると識別されなかったが対象物追跡手段では過去において同一の物体として追跡されていた場合の対応する物体の撮像画像を抽出することが好適である。 In addition, the same object determination unit further includes a result storage unit that can store the captured image of the object acquired by the imaging unit, the identification result of the object identification unit, and the tracking result of the object tracking unit in association with each other. The object storage means stores the object identified by the object identification means as to whether or not it is an object and the object tracked by the object tracking means in the past, and the object extraction means When the same object is determined to be the same object in the past by the same object determining means, and the object identifying means has not been identified as the object in the past, but the object tracking means has been tracked as the same object in the past It is preferable to extract a captured image of the corresponding object.
この構成によれば、結果記憶手段が、撮像手段による撮像画像と、対象物識別手段による識別結果と、対象物追跡手段による追跡結果とを記憶し、対象物抽出手段は結果記憶手段に記憶された過去のデータに基づき、対象物識別手段では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。このため、過去の結果に遡って、対象物識別手段では対象物として識別されなかった誤識別が生じたパターンを収集することができる。 According to this configuration, the result storage means stores the captured image by the imaging means, the identification result by the object identification means, and the tracking result by the object tracking means, and the object extraction means is stored in the result storage means. Based on the past data, a captured image of an object that has not been identified as a target by the target identifying means can be extracted as a captured image of the object. For this reason, it is possible to collect patterns in which erroneous identification that has not been identified as an object by the object identifying means is traced back to past results.
また、対象物追跡手段は、新規に物体の追跡を行うときに、対象物識別手段が対象物と識別し、かつ対象物追跡手段が過去に追跡していない物体の追跡を行うことが、過去に追跡したことの無い物体を新たに走査することができ、追跡対象を決定する効率を一層向上できるため、好適である。 In addition, when the object tracking unit newly tracks an object, the object identifying unit may identify an object and the object tracking unit may track an object that has not been tracked in the past. This is preferable because an object that has never been tracked can be newly scanned, and the efficiency of determining the tracking target can be further improved.
また、本発明の別の態様によれば、物体を撮像する撮像ステップと、撮像ステップにおいて取得した物体の撮像画像により対象物か否かを識別する対象物識別ステップと、物体の追跡を行う対象物追跡ステップと、対象物識別ステップにおいて対象物か否かを識別された物体と、対象物追跡ステップにおいて追跡された物体との同一性を判定する同一対象判定ステップと、同一対象判定ステップにおいて同一の物体であると判定され、かつ対象物識別ステップにおいては対象物であると識別されなかったが対象物追跡ステップにおいては同一の物体として追跡されていた場合に、撮像ステップにおいて取得した物体の撮像画像を抽出する対象物抽出ステップと、を含む認識方法が提供される。 According to another aspect of the present invention, an imaging step for imaging an object, an object identification step for identifying whether the object is an object based on a captured image of the object acquired in the imaging step, and an object for tracking the object The same object determination step for determining the identity between the object tracking step, the object identified as the object in the object identification step and the object tracked in the object tracking step, and the same in the same object determination step If the object is not identified as an object in the object identification step but is tracked as the same object in the object tracking step, the object captured in the imaging step is imaged. A recognition method including an object extraction step of extracting an image.
この場合、対象物抽出ステップにおいて抽出した物体の撮像画像を記憶する画像記憶ステップをさらに含むことが、抽出された学習パターンを蓄積することができるため、好適である。 In this case, it is preferable to further include an image storage step for storing the captured image of the object extracted in the object extraction step because the extracted learning pattern can be accumulated.
また、撮像ステップにおいて取得した物体の撮像画像と、対象物識別ステップにおける識別結果と、対象物追跡ステップにおける追跡結果とを対応付けて記憶する結果記憶ステップをさらに含み、同一対象判定ステップは、結果記憶ステップにおいて記憶された、対象物識別ステップおいて対象物か否かを識別された物体と、対象物追跡ステップにおいて追跡された物体との過去における同一性を判定し、対象物抽出ステップは、同一対象判定ステップでは過去において同一の物体であると判定され、かつ対象物識別ステップでは過去において対象物であると識別されなかったが対象物追跡ステップでは過去において同一の物体として追跡されていた場合の対応する物体の撮像画像を抽出することが、過去の結果に遡って、パターンを収集することができるため好適である。 Further, the method further includes a result storage step of storing the captured image of the object acquired in the imaging step, the identification result in the object identification step, and the tracking result in the object tracking step in association with each other. The identity of the object identified in the object identification step stored in the storage step and whether or not the object is identified in the past and the object tracked in the object tracking step are determined in the past, and the object extraction step includes: In the case where the same object is determined to be the same object in the past in the same object determination step, and has not been identified as the object in the past in the object identification step, but has been tracked as the same object in the past in the object tracking step Extracting the captured image of the corresponding object in the collection of patterns, going back to past results Since can be suitable.
また、対象物追跡ステップは、新規に物体の追跡を行うときに、対象物識別ステップにおいて対象物と識別し、かつ対象物追跡ステップにおいて過去に追跡していない物体の追跡を行うことが、過去に追跡したことの無い物体を新たに走査することができ、追跡対象を決定する効率を一層向上できるため、好適である。 In the object tracking step, when a new object is tracked, it is possible to identify an object in the object identification step and track an object that has not been tracked in the past in the object tracking step. This is preferable because an object that has never been tracked can be newly scanned, and the efficiency of determining the tracking target can be further improved.
本発明の認識装置および認識方法によれば、より効果的に学習パターンを収集することができる。 According to the recognition apparatus and the recognition method of the present invention, learning patterns can be collected more effectively.
以下、本発明の実施の形態に係る認識装置および認識方法について添付図面を参照して説明する。 Hereinafter, a recognition apparatus and a recognition method according to embodiments of the present invention will be described with reference to the accompanying drawings.
図1は、本発明に係わる認識装置の一実施形態の構成を示す機能ブロック図である。本実施形態の認識装置1は、例えば自動車等の車両に搭載され、道路上の歩行者等の物体を認識し、それらの学習パターンを収集するものである。 FIG. 1 is a functional block diagram showing a configuration of an embodiment of a recognition apparatus according to the present invention. The recognition apparatus 1 of this embodiment is mounted on a vehicle such as an automobile, for example, recognizes an object such as a pedestrian on a road, and collects learning patterns thereof.
図1に示すように、本実施形態の認識装置1は、撮像装置(撮像手段)2と、測距装置3と、データ処理装置4とを備えている。撮像装置2は、歩行者等の物体を撮像して撮像画像を取得する物である。本実施形態においては、撮像装置2は可視光カメラであっても、赤外線カメラであっても良い。測距装置3は、認識装置1から物体までの距離を測定する物である。測距装置3には、例えばレーザレンジファインダ等を適用することができる。なお、測距装置3は、後述するデータ処理装置4内の対象物追跡部7が画像の情報に対応しているならば、個別の測距装置3は必要なく、少なくとも1つ以上の撮像装置2によって置き換えることができる。データ処理装置4は、撮像装置2により取得された撮像画像と、測距装置3により得られた距離情報とを処理する物である。
As shown in FIG. 1, the recognition device 1 of the present embodiment includes an imaging device (imaging means) 2, a
以下、図1に基づいてデータ処理装置4について説明する。データ処理装置4は、対象物候補探索部5と、対象物識別部(対象物識別手段)6と、対象物追跡部(対象物追跡手段)7と、結果記憶部(結果記憶手段)8と、同一対象判定部(同一対象判定手段)9と、対象物抽出部(対象物抽出手段)10と、画像記憶部(画像記憶手段)11とを有している。
Hereinafter, the
対象物候補探索部5は、撮像装置2から入力された撮像画像に対して、画像の一部を抽出し、学習パターンを収集すべき対象物の候補を探索する物である。対象物識別部6は、対象物候補探索部5から入力された画像により、当該物体が対象物であるか否かの判定を行う物である。この判定を、対象物識別部6は、以前に学習によって獲得した識別手法を用いて行う。当該学習手段は、SVMやVoila & Jones法を適用することができる。当該画像と対象物識別部6による識別結果とは、結果記憶部8に送られて登録される。
The object
対象物追跡部7は、測距装置3からの距離情報に基づいて物体の追跡を行う物である。対象物追跡部7は、測距装置3からの距離情報以外にも、対象物の追跡が可能な装置を用い、例えば撮像装置2等から取得された画像による対象物の輪郭抽出(Active Contour)や、画像による対象物の動きを推定することにより得られた情報に基づいて物体の追跡を行うことができる。
The object tracking unit 7 is an object that tracks an object based on distance information from the distance measuring
対象物追跡部7は、2次元空間(画像上)で追跡処理を行う物であっても、3次元空間(実空間上)で追跡処理を行う物であっても構わない。特に、3次元空間での追跡は、測距装置3からの距離情報や、ステレオカメラ等の複眼カメラで構成された撮像装置2の撮像画像をステレオ処理して獲得する距離情報が重要になるが、本実施形態において距離は必ずしも必要ではない。測距装置3等により物体との距離を取得できないときは、2次元空間上での対象物の輪郭や動き、あるいは特徴点等を利用して追跡を行えばよい。対象物追跡部7による追跡結果は、結果記憶部8に送られて登録される。
The object tracking unit 7 may be an object that performs tracking processing in a two-dimensional space (on an image) or may be an object that performs tracking processing in a three-dimensional space (on an actual space). In particular, in tracking in a three-dimensional space, distance information from the distance measuring
結果記憶部8は、撮像装置2により取得した物体の撮像画像と、対象物識別部6の対象物か否かの識別結果と、対象物追跡部7の追跡結果とを対応付けて登録する物である。結果記憶部8は、現在より少なくとも1フレーム以上過去の識別結果と追跡結果とを記憶可能とされている。
The
同一対象判定部9は、対象物識別部6により対象物か否かを識別された物体と、対象物追跡部7により追跡された物体との同一性を判定する物である。具体的には、対象物識別部6により対象物か否かを識別されて登録された物体の画像と、対象物追跡部7による登録された追跡結果とを照合する。照合の基準には、例えば、物体の撮像画像が現された画像平面上に対象物追跡部7による追跡結果を射影し、当該画像平面上に射影された領域の大きさと、対象物識別部6により識別された物体の画像領域の大きさとの差を用いる。この差異は以下の基準関数fで表わすことができる。
f=α(x1−x2)2+β(y1−y2)2+γ(s1−s2)2
The same
f = α (x 1 −x 2 ) 2 + β (y 1 −y 2 ) 2 + γ (s 1 −s 2 ) 2
上式で、α,β,γは定数の重みで、x1,y1,s1は、それぞれ対象物識別部6により対象物ではないと識別された物体の画像領域の横位置、縦位置、大きさである。同様に、x2,y2,s2は、それぞれ対象物追跡部7による追跡結果の画像平面上に射影された領域の横位置、縦位置、大きさである。なお、対象物識別部6からの識別結果と対象物追跡部7による追跡結果とを照合する空間は、物体の撮像画像が現された画像平面に限定するものではない。例えば、対象物識別部6からの識別結果と対象物追跡部7による追跡結果とを、実空間におけるx,y,z座標系や、実空間におけるx,y座標系に射影して照合しても良い。また、物体追跡部7の出力が画像平面である場合は、そのまま対象物識別部6からの画像と照合すれば良く、上記のような射影を行う必要はない。
In the above equation, α, β, and γ are constant weights, and x 1 , y 1 , and s 1 are the horizontal position and vertical position of the image area of the object identified by the
対象物抽出部10は、学習パターンとして抽出すべき物体の撮像画像を抽出する物である。具体的には、対象物抽出部10は、対象物識別部6により対象物であると識別されて登録された物体の撮像画像と、同一対象判定部9により同一の物体であると判定され、かつ対象物識別部6では対象物であると識別されなかったが対象物追跡部7では同一の物体として追跡されて登録されていた物体の撮像画像とを抽出する。対象物抽出部10は、対象物識別部6による登録された識別結果と、対象物追跡部7による登録された追跡結果との全ての組み合わせのうち、上記基準関数fの値の少ないものから順に学習パターンとして抽出する。
The
なお、学習パターンとして抽出される最大数は、対象物識別部6による識別結果の登録数と対象物追跡部7による追跡結果の登録数とのうちの小さい方となる。基本的には、この最大数の学習パターンを抽出するが、上記基準関数fの値にある閾値を設け、それよりも基準関数fの値が大きい場合には、学習パターンとして抽出しないようにすることもできる。
Note that the maximum number extracted as a learning pattern is the smaller of the number of registered identification results by the
また、対象物抽出部10は、抽出した画像情報に対して、学習パターンとして登録すべき画像領域を決定し、トリミング処理や正規化、ノイズ除去など、学習画像としての性質を満たす処理を行う物である。
In addition, the
画像記憶部11は、対象物抽出部10が抽出した物体の撮像画像を学習パターンとして記憶する物である。
The
図2は、上記の認識装置1による処理手順を示すフローチャートである。このフローチャートを用いて認識装置1の動作を説明する。 FIG. 2 is a flowchart showing a processing procedure by the recognition device 1 described above. The operation of the recognition apparatus 1 will be described using this flowchart.
まず、撮像装置2から入力された物体の撮像画像に対して、対象物候補探索部5は対象物候補探索を行う(図2のS1)。対象物候補探索は、撮像画像の全体あるいは一部をサブウィンドウのような撮像画像より小さい領域で切り出すような処理である。例えば、この対象物候補探索は、図3(a)〜(c)に示すように、道路上を対象物(歩行者)20が横切っている場合に、対象物20を囲う処理枠30で撮像画像を切り出すことにより行うことができる。あるいは、この対象物候補探索は、撮像画像の全体あるいは一部に対して、特徴点抽出処理(例えばコーナー検出)を行い、抽出された特徴点の近傍の画像を切り出すことによっても行うことができる。
First, the object
対象物候補探索により切り出された画像に対して、対象物識別部6は対象物識別を行い、当該画像にかかる物体が対象物であるか否かを判定する(図2のS2)。対象物識別部6は、対象物識別を行った後、当該画像と識別結果とを、結果記憶部8と同一対象判定部9とに送る。結果記憶部8は、当該画像にかかる物体が対象物であるか否かにかかわらず、当該画像と識別結果とを登録する(図2のS3)。
The
一方、対象物追跡部7は、それまでの過去の追跡結果を結果記憶部8から参照し、対象物候補探索部6により決定された対象物候補ごとに、追跡対象を決定する(図2のS4)。なお、結果記憶部8を参照して、対象物識別部6により対象物として識別されたが過去に追跡結果が存在しない対象物は、新規追跡対象として追跡対象に追加する。対象物追跡部7は、測距装置3から入力された距離情報と、図2のS4の処理で決定された追跡対象とを照合し、追跡情報を更新し対象物の追跡を行う(図2のS5)。図2のS4の処理で決定された追跡対象に対して、対応する測距装置3からの距離情報がない場合は、以後、この物体を追跡対象から除外する。対象物追跡部7は、対象物追跡を行った後、当該距離情報と追跡結果とを、結果記憶部8と同一対象判定部9とに送る。結果記憶部8は、測距装置3からの距離情報と、対象物追跡部7による追跡結果、すなわち追跡対象が存在(追跡完了)あるいは追跡対象が不在(追跡できず)かとを、対象物候補ごとに登録する(図2のS6)。
On the other hand, the object tracking unit 7 refers to the past tracking results so far from the
なお、図2では、S1,S2,S3の対象物を識別する処理の後に、S4,S5,S6の対象物を追跡する処理を行っているが、順序を逆にして、S4,S5,S6の対象物を追跡する処理の後に、S1,S2,S3の対象物を識別する処理を行っても良い。重要なことはそれぞれの処理が独立に実行されることである。 In FIG. 2, the process of tracking the objects of S4, S5, and S6 is performed after the process of identifying the objects of S1, S2, and S3. However, the order is reversed, and S4, S5, and S6 are performed. After the process of tracking the target object, the process of identifying the target object of S1, S2, and S3 may be performed. What is important is that each process is executed independently.
同一対象判定部9は、対象物識別部6による識別結果と、対象物追跡部7による追跡結果とを照合する(図2のS7)。これらの識別結果と追跡結果とには、対象物識別部6と対象物追跡部7とからそれぞれ直接に入力された識別結果と追跡結果との他に、結果記憶部8に登録された過去における識別結果と追跡結果とが含まれる。まず、図2のS3の処理において対象として登録された画像領域に対して、それと対応する追跡結果が図2のS6の処理において存在するか否かを照合する。次に、図2のS3の処理において非対象として登録された画像領域に対して、それと対応する追跡結果が図2のS6の処理において存在するか否かを照合する。
The same
本実施形態では、この照合結果から特に以下の場合に注目する。
ケース1:一つ前のフレームまでは対象として識別されており、なおかつ識別結果と追跡結果との対応がとれていたが、現フレームでは対象として識別されていない。しかし、追跡はできており、対応する非対象の識別結果も存在する。
ケース2:現フレームでは対象として識別されており、なおかつ識別結果と追跡結果との対応がとれているが、一つ前のフレームでは対象として識別されていない。しかし、追跡はできており対応する非対象の識別結果も存在した。
この2つのケースに該当する場合は、当該情報を対象物抽出部10に送る。
In the present embodiment, attention is particularly paid to the following cases from the comparison result.
Case 1: Up to the previous frame has been identified as a target, and the correspondence between the identification result and the tracking result has been taken, but the current frame is not identified as the target. However, it has been tracked and there are corresponding non-object identification results.
Case 2: The current frame is identified as the target, and the identification result and the tracking result are associated with each other, but the previous frame is not identified as the target. However, tracking was possible and there was a corresponding non-target identification result.
If the two cases are applicable, the information is sent to the
対象物抽出部10は、図2のS3の処理で対象物であると識別された撮像画像と、図2のS7の処理で上記2つのケース1およびケース2に該当する場合の撮像画像とを、抽出する(図2のS8)。対象物抽出部10は、上記2つのケース1およびケース2に該当する場合の撮像画像に対して、学習パターンとして登録すべき画像領域を決定する。また、対象物抽出部10は、抽出した撮像画像に対して、トリミング処理や正規化、ノイズ除去など、学習パターンとしての性質を満たす処理を行う。
The target
画像記憶部11は、対象物抽出部10が抽出した撮像画像を学習パターンとして登録する(図2のS9)
The
本実施形態では、同一対象判定部9が、対象物識別部6により対象物か否かを識別された物体と、対象物追跡部7により追跡された物体との同一性を判定する。また、対象物抽出部10が、同一対象判定手段により同一の物体であると判定され、かつ対象物識別部7では対象物であると識別されなかったが対象物追跡部7では同一の物体として追跡されていた場合に、物体の撮像画像を抽出する。このため、対象物識別部6では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。したがって、対象物識別部6だけでは対象物として識別されない誤識別が生じたパターンを効率良く収集することができ、予め膨大な学習パターンを用意したり、学習させなくとも、より効果的に学習パターンを収集することができる。
In the present embodiment, the same
また、本実施形態では、結果記憶部8が、撮像装置2による撮像画像と、対象物識別部6による識別結果と、対象物追跡部7による追跡結果とを記憶し、対象物抽出部10は結果記憶部8に記憶された過去のデータに基づき、対象物識別部8では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。このため、過去の結果に遡って、対象物識別部6だけでは対象物として識別されなかった誤識別が生じたパターンを収集することができる。
In the present embodiment, the
さらに、本実施形態では、対象物追跡部7は、新規に物体の追跡を行うときに、対象物識別部6が対象物と識別し、かつ対象物追跡部7が過去に追跡していない物体の追跡を行うため、過去に追跡したことの無い物体を新たに走査することができ、追跡対象を決定する効率を一層向上させることができる。
Further, in the present embodiment, when the object tracking unit 7 newly tracks an object, the
加えて、本実施形態では、画像記憶部11によって、抽出された学習パターンを蓄積することができる。この学習パターンは、一枚追加された段階で認識装置1に再学習させても良いが、複数枚追加された後に再学習させても良い。また、認識装置1の中で完結するオンライン学習用途だけではなく、認識装置1の中で学習パターンを活用するオフライン学習用途にも適用できる。オフライン学習用途では、例えばディーラーに入庫された複数台の車両に搭載された認識装置の学習パターンを収集し、それらの学習パターンと基本学習パターンとを合わせた学習パターンを、新たな認識装置にさらに学習させる利用方法がある。このようにして学習させた認識装置を、さらに複数台の車両に搭載することで、より精度の高い(検出率の高い)認識装置に近づけていくことが可能である。
In addition, in the present embodiment, the extracted learning pattern can be accumulated by the
尚、本発明の認識装置および認識方法は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 It should be noted that the recognition apparatus and the recognition method of the present invention are not limited to the above-described embodiments, and it is needless to say that various changes can be made without departing from the gist of the present invention.
1…認識装置、2…撮像装置、3…測距装置、4…データ処理装置、5…対象物候補探索部、6…対象物識別部、7…対象物追跡部、8…結果記憶部、9…同一対象判定部、10…対象物抽出部、11…画像記憶部、20…対象物、30…処理枠。
DESCRIPTION OF SYMBOLS 1 ... Recognition apparatus, 2 ... Imaging apparatus, 3 ... Distance measuring apparatus, 4 ... Data processing apparatus, 5 ... Object candidate search part, 6 ... Object identification part, 7 ... Object tracking part, 8 ... Result storage part, DESCRIPTION OF
Claims (8)
前記撮像手段により取得した前記物体の撮像画像により対象物か否かを識別する対象物識別手段と、
前記物体の追跡を行う対象物追跡手段と、
前記対象物識別手段により対象物か否かを識別された物体と、前記対象物追跡手段により追跡された物体との同一性を判定する同一対象判定手段と、
前記同一対象判定手段により同一の物体であると判定され、かつ前記対象物識別手段では対象物であると識別されなかったが前記対象物追跡手段では同一の物体として追跡されていた場合に、前記物体の撮像画像を抽出する対象物抽出手段と、
を備えた認識装置。 Imaging means for imaging an object;
An object identifying means for identifying whether the object is an object based on a captured image of the object acquired by the imaging means;
An object tracking means for tracking the object;
The same object determining means for determining the identity between the object identified as the object by the object identifying means and the object tracked by the object tracking means;
When it is determined that the same object is determined by the same object determination unit and is not identified as an object by the object identification unit, but is tracked as the same object by the object tracking unit, Object extraction means for extracting a captured image of the object;
A recognition device comprising:
前記同一対象判定手段は、前記結果記憶手段に記憶された、前記対象物識別手段により対象物か否かを識別された物体と、前記対象物追跡手段により追跡された物体との過去における同一性を判定し、
前記対象物抽出手段は、前記同一対象判定手段により過去において同一の物体であると判定され、かつ前記対象物識別手段では過去において対象物であると識別されなかったが前記対象物追跡手段では過去において同一の物体として追跡されていた場合の対応する前記物体の撮像画像を抽出する、請求項1または2に記載の認識装置。 A result storage means capable of storing the captured image of the object acquired by the imaging means, the identification result of the object identification means, and the tracking result of the object tracking means in association with each other;
In the past, the same object determining means is the same between the object stored in the result storage means and identified by the object identifying means as the object and the object tracked by the object tracking means. Determine
The object extraction means is determined to be the same object in the past by the same object determination means, and has not been identified as an object in the past by the object identification means. The recognition apparatus according to claim 1, wherein a captured image of the corresponding object in the case of being tracked as the same object is extracted.
前記撮像ステップにおいて取得した前記物体の撮像画像により対象物か否かを識別する対象物識別ステップと、
前記物体の追跡を行う対象物追跡ステップと、
前記対象物識別ステップにおいて対象物か否かを識別された物体と、前記対象物追跡ステップにおいて追跡された物体との同一性を判定する同一対象判定ステップと、
前記同一対象判定ステップにおいて同一の物体であると判定され、かつ前記対象物識別ステップにおいては対象物であると識別されなかったが前記対象物追跡ステップにおいては同一の物体として追跡されていた場合に、前記撮像ステップにおいて取得した前記物体の撮像画像を抽出する対象物抽出ステップと、
を含む認識方法。 An imaging step for imaging an object;
An object identifying step for identifying whether the object is an object based on a captured image of the object acquired in the imaging step;
An object tracking step for tracking the object;
The same object determining step for determining the identity between the object identified as the object in the object identifying step and the object tracked in the object tracking step;
In the case where the same object is determined to be the same object in the same object determination step and not identified as the object in the object identification step, but is tracked as the same object in the object tracking step A target extraction step for extracting a captured image of the object acquired in the imaging step;
A recognition method including:
前記同一対象判定ステップは、前記結果記憶ステップにおいて記憶された、前記対象物識別ステップおいて対象物か否かを識別された物体と、前記対象物追跡ステップにおいて追跡された物体との過去における同一性を判定し、
前記対象物抽出ステップは、前記同一対象判定ステップでは過去において同一の物体であると判定され、かつ前記対象物識別ステップでは過去において対象物であると識別されなかったが前記対象物追跡ステップでは過去において同一の物体として追跡されていた場合の対応する前記物体の撮像画像を抽出する、
請求項5または6に記載の認識方法。 A result storage step of storing the captured image of the object acquired in the imaging step, the identification result in the object identification step, and the tracking result in the object tracking step in association with each other;
In the same object determining step, the same object in the past between the object identified in the object identifying step and the object tracked in the object tracking step stored in the result storing step and the object tracked in the object tracking step. Judging gender,
In the object extraction step, the same object determination step determines that the object is the same in the past, and the object identification step does not identify the object in the past. A captured image of the corresponding object when it is tracked as the same object in
The recognition method according to claim 5 or 6.
In the object tracking step, when the object is newly tracked, the object is identified as the object in the object identifying step, and the object not tracked in the past is tracked in the object tracking step. Item 8. The recognition method according to any one of Items 5 to 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006136698A JP4816240B2 (en) | 2006-05-16 | 2006-05-16 | Data processing apparatus, data processing method, recognition apparatus, and recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006136698A JP4816240B2 (en) | 2006-05-16 | 2006-05-16 | Data processing apparatus, data processing method, recognition apparatus, and recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007310480A true JP2007310480A (en) | 2007-11-29 |
JP4816240B2 JP4816240B2 (en) | 2011-11-16 |
Family
ID=38843298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006136698A Expired - Fee Related JP4816240B2 (en) | 2006-05-16 | 2006-05-16 | Data processing apparatus, data processing method, recognition apparatus, and recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4816240B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122786A (en) * | 2007-11-13 | 2009-06-04 | Mazda Motor Corp | Vehicle driving support apparatus |
JP2012003686A (en) * | 2010-06-21 | 2012-01-05 | Canon Inc | Authentication device, authentication method, authentication program, and recording medium |
WO2013012091A1 (en) * | 2011-07-19 | 2013-01-24 | 株式会社Nec情報システムズ | Information processing apparatus, object tracking method, and program storage medium |
US8705813B2 (en) | 2010-06-21 | 2014-04-22 | Canon Kabushiki Kaisha | Identification device, identification method, and storage medium |
JP2014085795A (en) * | 2012-10-23 | 2014-05-12 | Toshiba Corp | Learning image collection device, learning device and object detection device |
US9158996B2 (en) | 2013-09-12 | 2015-10-13 | Kabushiki Kaisha Toshiba | Learning image collection apparatus, learning apparatus, and target object detection apparatus |
JP2018169776A (en) * | 2017-03-29 | 2018-11-01 | 日本電気株式会社 | Authentication device, authentication method, and program |
JP2018206108A (en) * | 2017-06-06 | 2018-12-27 | 株式会社デンソー | Information processing system, server and communication method |
JP7187655B1 (en) | 2021-12-27 | 2022-12-12 | 株式会社a-LINK | OBJECT TRACKING METHOD, PROGRAM, SYSTEM AND RECORDING MEDIUM |
JP7434394B2 (en) | 2021-03-25 | 2024-02-20 | アクシス アーベー | Method for determining images likely to have false negative object detection |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723012A (en) * | 1993-06-30 | 1995-01-24 | Takahashi Takeshi | Audience rating survey system |
JP2005311691A (en) * | 2004-04-21 | 2005-11-04 | Toyota Central Res & Dev Lab Inc | Apparatus and method for detecting object |
-
2006
- 2006-05-16 JP JP2006136698A patent/JP4816240B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723012A (en) * | 1993-06-30 | 1995-01-24 | Takahashi Takeshi | Audience rating survey system |
JP2005311691A (en) * | 2004-04-21 | 2005-11-04 | Toyota Central Res & Dev Lab Inc | Apparatus and method for detecting object |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122786A (en) * | 2007-11-13 | 2009-06-04 | Mazda Motor Corp | Vehicle driving support apparatus |
JP2012003686A (en) * | 2010-06-21 | 2012-01-05 | Canon Inc | Authentication device, authentication method, authentication program, and recording medium |
US8705813B2 (en) | 2010-06-21 | 2014-04-22 | Canon Kabushiki Kaisha | Identification device, identification method, and storage medium |
US9911053B2 (en) | 2011-07-19 | 2018-03-06 | Nec Corporation | Information processing apparatus, method for tracking object and program storage medium |
WO2013012091A1 (en) * | 2011-07-19 | 2013-01-24 | 株式会社Nec情報システムズ | Information processing apparatus, object tracking method, and program storage medium |
JP2013025490A (en) * | 2011-07-19 | 2013-02-04 | Nec Informatec Systems Ltd | Information processor, object tracking method, and information processing program |
JP2014085795A (en) * | 2012-10-23 | 2014-05-12 | Toshiba Corp | Learning image collection device, learning device and object detection device |
US9158996B2 (en) | 2013-09-12 | 2015-10-13 | Kabushiki Kaisha Toshiba | Learning image collection apparatus, learning apparatus, and target object detection apparatus |
JP2018169776A (en) * | 2017-03-29 | 2018-11-01 | 日本電気株式会社 | Authentication device, authentication method, and program |
JP2018206108A (en) * | 2017-06-06 | 2018-12-27 | 株式会社デンソー | Information processing system, server and communication method |
JP7434394B2 (en) | 2021-03-25 | 2024-02-20 | アクシス アーベー | Method for determining images likely to have false negative object detection |
JP7187655B1 (en) | 2021-12-27 | 2022-12-12 | 株式会社a-LINK | OBJECT TRACKING METHOD, PROGRAM, SYSTEM AND RECORDING MEDIUM |
JP2023096653A (en) * | 2021-12-27 | 2023-07-07 | 株式会社a-LINK | Object tracking method, program, system and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP4816240B2 (en) | 2011-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4816240B2 (en) | Data processing apparatus, data processing method, recognition apparatus, and recognition method | |
Keller et al. | The benefits of dense stereo for pedestrian detection | |
JP5405741B2 (en) | Road use vulnerable person protection system | |
US8744122B2 (en) | System and method for object detection from a moving platform | |
US8965050B2 (en) | Behavior analysis device | |
Zeeshan Zia et al. | Explicit occlusion modeling for 3d object class representations | |
Liu et al. | Detecting and counting people in surveillance applications | |
JP6526953B2 (en) | Object identification method | |
Raman et al. | Direction estimation for pedestrian monitoring system in smart cities: An HMM based approach | |
JP2006133946A (en) | Moving object recognition device | |
KR101360349B1 (en) | Method and apparatus for object tracking based on feature of object | |
JP2010176380A (en) | Information processing device and method, program, and recording medium | |
JP6776719B2 (en) | Mobile group detection program, mobile group detection device, and mobile group detection method | |
Mitzel et al. | Close-range human detection for head-mounted cameras | |
CN111814510A (en) | Detection method and device for remnant body | |
CN114783037B (en) | Object re-recognition method, object re-recognition apparatus, and computer-readable storage medium | |
Ng et al. | Low latency deep learning based parking occupancy detection by exploiting structural similarity | |
Raman et al. | Kinesiology-inspired estimation of pedestrian walk direction for smart surveillance | |
CN118160010A (en) | Vision-based athletic timing and identification system | |
US8670598B2 (en) | Device for creating and/or processing an object signature, monitoring device, method and computer program | |
Budzan | Human detection in thermal images using low-level features | |
US10991119B2 (en) | Mapping multiple views to an identity | |
Del Bimbo et al. | Person detection using temporal and geometric context with a pan tilt zoom camera | |
Shin et al. | Vehicle classification by road lane detection and model fitting using a surveillance camera | |
JP2011043863A (en) | Apparatus, method, program for determining/tracking object region, and apparatus for determining object region |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110815 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4816240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |