JP2016207106A - Method and device for reducing incorrect detection in object detection - Google Patents
Method and device for reducing incorrect detection in object detection Download PDFInfo
- Publication number
- JP2016207106A JP2016207106A JP2015090976A JP2015090976A JP2016207106A JP 2016207106 A JP2016207106 A JP 2016207106A JP 2015090976 A JP2015090976 A JP 2015090976A JP 2015090976 A JP2015090976 A JP 2015090976A JP 2016207106 A JP2016207106 A JP 2016207106A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- candidate
- candidates
- different time
- grouped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、顔、人体、ペット、車、飛行機、一般物体などの検出において、誤検出を低減する方法または装置に関するものである。特に、人体検出において、足や肩など人体の一部を人体として誤検出した場合、人体の存在連続性を利用してこれらの誤検出を高速に削減する方法または装置に関するものである。 The present invention relates to a method or apparatus for reducing false detection in detection of a face, a human body, a pet, a car, an airplane, a general object, and the like. In particular, the present invention relates to a method or apparatus for reducing the number of erroneous detections at high speed by utilizing the presence continuity of a human body when a part of the human body such as a foot or a shoulder is erroneously detected as a human body in human body detection.
近年、映像機器のインテリジェント化が普及しつつある。監視カメラに人体検出機能を提供し、人数カウントや、お客様意図分析や、異常動作検知や、危険領域侵入検知などの機能が提案されている。また、デジタルカメラなどの撮影装置から撮影された映像中の人物の位置を特定し追尾することにより、カメラのフォーカス、露出およびカメラのパン、チルト、ズームなどの姿勢を自動制御する機能が注目されている。人物のほかに、犬、猫、花などの一般の物体にも注目して、カメラを自動制御する機能も普及している。 In recent years, intelligent video equipment has become widespread. Human body detection functions are provided for surveillance cameras, and functions such as counting people, analyzing customer intentions, detecting abnormal operations, and detecting dangerous area intrusions have been proposed. Also, a function that automatically controls camera focus, exposure, and camera posture such as pan, tilt, zoom, etc. by identifying and tracking the position of a person in an image taken from a photographing device such as a digital camera has attracted attention. ing. In addition to people, attention is also paid to general objects such as dogs, cats, and flowers, and a function for automatically controlling the camera is also popular.
映像機器のインテリジェント化の基盤は機械学習による物体検出技術である。機械学習は大量な物体と非物体の学習画像から、物体と非物体を区別する特徴量を抽出し、判別辞書を作成する。画像から物体を検出する際、原画像のサイズをスケーリングしてピラミッド画像レイヤーを作成する。各ピラミッド画像レイヤーについて、ラスタースキャンを行い、辞書に記述した各特徴量の弱判別器応答を組み合わせることにより、異なるサイズの物体を検出する。 The basis for making video equipment intelligent is object detection technology based on machine learning. In machine learning, feature quantities that distinguish objects from non-objects are extracted from a large number of learning images of objects and non-objects, and a discrimination dictionary is created. When detecting an object from an image, a pyramid image layer is created by scaling the size of the original image. A raster scan is performed on each pyramid image layer, and objects of different sizes are detected by combining the weak classifier responses of each feature amount described in the dictionary.
非特許文献1に機械学習を顔検出に実用化した方法を記載してあり、非特許文献２に人体検出によく利用されるHOG特徴量の計算方法を記載してある。非特許文献３に高効率の機械学習方法RealAdaboostを記載してある。 Non-Patent Document 1 describes a method in which machine learning is put into practical use for face detection, and Non-Patent Document 2 describes a method for calculating HOG feature values that are often used for human body detection. Non-Patent Document 3 describes a highly efficient machine learning method RealAdaboost.
一方、非特許文献４に人体検出における誤検出や検出漏れに対応して、多数フレーム間の検出結果を対応付けて時間の連続性から確定人体を決定する方法も記載してある。 On the other hand, Non-Patent Document 4 also describes a method of determining a definite human body from time continuity by associating detection results between multiple frames in response to erroneous detection or omission of detection in human body detection.
しかしながら、機械学習を行う際、学習画像がいくら多くても、物体の微細な変化を網羅的に収集することが困難であり、学習画像以外の画像で検出を行うと、誤検出を防ぐことができない。誤検出率と検出率のトレイドオフが避けられないことになる。特に人体検出において、足や肩など人体の一部を人体として誤検出することがしばしばあるように、物体の中や、物体の周辺に誤検出が発生することも多い。 However, when performing machine learning, it is difficult to comprehensively collect minute changes in an object, no matter how many learning images are present, and detection using images other than learning images can prevent erroneous detection. Can not. The trade-off between the false detection rate and the detection rate is inevitable. In particular, in human body detection, erroneous detection often occurs in or around an object, as often a part of the human body such as a foot or a shoulder is erroneously detected as a human body.
非特許文献４に記載する技術は、確定人体の決定に有効であるが、正しい検出に重なる誤検出に対応できない。また、二つの検出が重なる場合に、検出尤度の高い方を選ぶことが考えられるが、二つとも人体である場合に対応できない。 The technique described in Non-Patent Document 4 is effective in determining a definite human body, but cannot cope with erroneous detection overlapping with correct detection. In addition, when two detections overlap, it may be possible to select the one with the higher detection likelihood, but it cannot cope with the case where both are human bodies.
本発明は、以上の問題に鑑みて成されたものであり、異なる時刻の物体検出の結果から、物体の存在連続性を利用して誤検出を削減する。現在時刻の検出候補が互いに重複する場合や近傍に存在する場合、対応する過去時刻の検出結果を求め、折り返し求めた過去の検出結果から検出候補との関係を求め、現在の検出候補が物体であるかどうかを判定して、誤検出を削減することを目的とする。 The present invention has been made in view of the above problems, and reduces false detections using the presence continuity of objects from the results of object detection at different times. If the detection candidates for the current time overlap each other or exist in the vicinity, the detection result for the corresponding past time is obtained, the relationship with the detection candidate is obtained from the past detection result obtained by loopback, and the current detection candidate is the object. The purpose is to reduce the number of false positives by determining whether there is any.
本発明の目的を達成するために、本発明の画像処理装置は以下のように構成される。すなわち、
入力動画のフレーム画像から所望の物体の候補を検出候補として検出する検出手段と、
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピング手段と、
前記グルーピング手段でグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定手段
を備えることを特徴とする。
In order to achieve the object of the present invention, the image processing apparatus of the present invention is configured as follows. That is,
Detection means for detecting a candidate for a desired object as a detection candidate from a frame image of the input video;
Grouping means for grouping for detection candidates in the frame image that overlap with each other based on the positional relationship, or for candidates located in the vicinity,
By obtaining detection outputs at different times corresponding to the detection candidates grouped by the grouping means, and further obtaining detection candidates corresponding to the obtained detection outputs at different times from the grouped detection candidates, An object determination unit that determines whether a detection candidate is the object is provided.
前記物体判定手段は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在する場合に、異なる時刻の検出出力に対応付けられた前記検出候補を第一の対応結果とし、折り返し、前記求めた異なる時刻の検出出力から前記グループ化した検出候補の中に対応する検出候補を求めて対応付けられた検出候補を第二の対応結果とし、前記第一の対応結果と前記第二の対応結果が一致する場合に前記検出候補を前記物体と判定することを特徴とする。 The object determination means obtains a detection output at a corresponding different time from the detection candidates grouped by the grouping means, and when there is a detection output at a different time corresponding thereto, the object determination means is associated with the detection output at a different time. The detection candidate is set as the first correspondence result, and the detection candidate associated with the detection candidate corresponding to the detection candidate grouped from the detection outputs at the different times obtained is returned as the second correspondence result. The detection candidate is determined to be the object when the first correspondence result matches the second correspondence result.
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を所定の閾値と比較する手段をさらに有することを特徴とする。 When obtaining the first correspondence result, the method further comprises means for comparing the similarity of detection outputs at times different from the grouped object detection candidates with a predetermined threshold.
前記物体判定手段は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在しない場合に、前記異なる時刻の検出出力が前記検出候補を包含する位置関係にあるかどうかを判断し、包含する位置関係にある場合に前記検出候補を前記物体でないと判定することを特徴とする。 The object determination means obtains a detection output at a different time corresponding from the detection candidates grouped by the grouping means, and when the detection output at a different time does not exist, the detection output at the different time indicates the detection candidate. It is characterized in that it is determined whether or not the positional relationship is inclusive, and if the positional relationship is inclusive, it is determined that the detection candidate is not the object.
前記異なる時刻の検出出力は、現在フレーム画像より以前のフレーム画像に物体として確定した検出結果と、現在フレーム画像より未来のフレーム画像に検出した物体の候補を含むことを特徴とする。 The detection output at the different time includes a detection result determined as an object in a frame image before the current frame image and a candidate for an object detected in a future frame image from the current frame image.
本発明によれば、現在フレームに重なっている検出候補や検出位置が近い候補に対し、過去の検出結果または未来の検出候補を利用して、現在フレームの検出候補が物体であるかないかを判定できる。これにより、正しい検出候補を削除することなく、誤った検出候補を削除することができる。 According to the present invention, it is determined whether a detection candidate of the current frame is an object by using a past detection result or a future detection candidate with respect to a detection candidate overlapping with the current frame or a candidate having a close detection position. it can. Thereby, an erroneous detection candidate can be deleted without deleting a correct detection candidate.
例えば、人体検出において、人物が歩いて姿勢変化により肩または足を人体として誤検出される場合、過去の検出結果に誤検出と対応する人体の検出結果がないため、本誤検出を削除できる。一方、二人が近づく場合は、過去の検出結果に二人の検出結果が共にあるとすると、本発明によりどちらも正しい検出結果と判定される。 For example, in human body detection, when a person walks and a shoulder or a foot is erroneously detected as a human body due to a posture change, this erroneous detection can be deleted because there is no human body detection result corresponding to the erroneous detection in the past detection results. On the other hand, when two persons approach, if both detection results are present in the past detection results, both are determined to be correct detection results by the present invention.
以上の工夫により、正検出を維持しながら、現在フレームに重なっている検出候補や検出位置が近い候補に対し誤検出を判別することができる。また、人物以外の一般の物体に対しても同様な効果をもたらすことができる。 With the above device, it is possible to determine erroneous detection for detection candidates that overlap the current frame and candidates that have close detection positions while maintaining correct detection. Moreover, the same effect can be brought about also about general objects other than a person.
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。本発明の特徴となる機能を実現するものも本発明の範囲に含まれる。 Hereinafter, the present invention will be described in detail according to preferred embodiments with reference to the accompanying drawings. In addition, this invention is not limited to the following embodiment, It shows only the specific example advantageous for implementation of this invention. What implement | achieves the function used as the characteristic of this invention is also contained in the scope of the present invention.
［実施形態１］
図１は本発明にかかる物体検出における誤検出低減装置１Aの構成例Ｉを示すブロック図である。
[Embodiment 1]
FIG. 1 is a block diagram showing a configuration example I of an erroneous detection reducing apparatus 1A for object detection according to the present invention.
本発明において、物体検出装置は物体検出部１０１と誤検出削減部１Aから構成される。誤検出削減部１Aは、さらに、グルーピング部１０２と、候補から過去検出結果選出部１０３と、過去検出結果から候補判定部１０４と、過去検出結果記憶部１０５と、制御部１１０から構成される。 In the present invention, the object detection apparatus includes an object detection unit 101 and a false detection reduction unit 1A. The false detection reduction unit 1A further includes a grouping unit 102, a past detection result selection unit 103 from candidates, a candidate determination unit 104 from past detection results, a past detection result storage unit 105, and a control unit 110.
物体検出部１０１は、現在フレームの入力画像１０から、各スケールのピラミッド画像レイヤーを作成する。各ピラミッド画像レイヤーについて、ラスタースキャンを行い、検出辞書に記述した各特徴量の弱判別器応答を線形組み合わせることにより、異なるサイズの物体を検出する。一つの物体について、複数の検出枠があるので、これらの検出枠を統合して検出候補を誤検出削減部１Aに出力する。 The object detection unit 101 creates a pyramid image layer of each scale from the input image 10 of the current frame. For each pyramid image layer, raster scanning is performed, and objects of different sizes are detected by linearly combining the weak classifier responses of each feature amount described in the detection dictionary. Since there are a plurality of detection frames for one object, these detection frames are integrated and a detection candidate is output to the false detection reduction unit 1A.
グルーピング部１０２は、物体検出部１０１から現在フレームの検出候補の重複関係、もしくは近傍関係を判断し、重複する検出候補、もしくは近傍関係にある候補を一つのグループとする。一方、重複しない、もしくは、近傍関係にない単一の検出候補も一つのグループとする。図２に示すように、検出候補Aと検出候補Bは重複関係がありグループ１とし、検出候補Cをグループ２とし、検出候補Dと検出候補Dは近傍関係がありグループ３とする。 The grouping unit 102 determines the overlapping relationship or the proximity relationship of the detection candidates of the current frame from the object detection unit 101, and sets the overlapping detection candidates or the candidates having the proximity relationship as one group. On the other hand, single detection candidates that do not overlap or are not in the vicinity relationship are also set as one group. As shown in FIG. 2, detection candidate A and detection candidate B have an overlap relationship and are group 1, detection candidate C is group 2, and detection candidate D and detection candidate D have a proximity relationship and group 3.
候補から過去検出結果選出部１０３は、前記分類した各グループのそれぞれの検出候補について、過去フレームｔ-1の検出結果との類似度を計算する。tは現在フレームの番号である。最も小さい類似度に対応する過去フレームｔ-1の検出結果が所定閾値より小さい場合、該過去フレームｔ-1の検出結果を前記グループ内の検出候補と対応付けて選出する。 From the candidates, the past detection result selection unit 103 calculates the similarity between the detection candidates of the classified groups and the detection results of the past frame t-1. t is the number of the current frame. When the detection result of the past frame t-1 corresponding to the smallest similarity is smaller than the predetermined threshold, the detection result of the past frame t-1 is selected in association with the detection candidate in the group.
過去検出結果から候補判定部１０４は、前記選出した過去フレームｔ-1の検出結果から、対応する現在フレームtの検出候補グループに、最も小さい類似度の候補を対応付けて物体と判定し出力する。この処理について、本実施形態のフローチャートを説明する際詳細に説明する。 Based on the past detection result, the candidate determination unit 104 determines that the candidate with the smallest similarity is associated with the detection candidate group of the current frame t corresponding to the selected detection result of the past frame t−1 and outputs the object. . This process will be described in detail when the flowchart of the present embodiment is described.
過去検出結果記憶部１０５は、物体と判定した検出候補を記憶し、次フレームの処理に利用する。 The past detection result storage unit 105 stores detection candidates determined to be objects and uses them for processing the next frame.
制御部１１０は、１０１から１０５までの動作を制御する。 The control unit 110 controls operations from 101 to 105.
次に本実施例における処理の流れを図３のフローチャートを用いて説明する。 Next, the flow of processing in this embodiment will be described with reference to the flowchart of FIG.
ステップS１０１において、制御部１１０が画像入力を制御し、ステップS１０２からステップS１１６までの処理を全てのフレーム画像に対し行うようにする。 In step S101, the control unit 110 controls image input so that the processing from step S102 to step S116 is performed on all frame images.
ステップS１０２において、物体検出部１０１が、入力した現在フレームtの画像について、物体検出を行い、物体と判定した画像上の位置とサイズを検出候補として誤検出削減部１Aに出力する。 In step S102, the object detection unit 101 performs object detection on the input image of the current frame t, and outputs the position and size on the image determined to be an object to the erroneous detection reduction unit 1A as detection candidates.
ステップS１０３において、誤検出削減部１Aのグルーピング部１０２が、物体検出部１０１から出力した検出候補をグルーピングする。グルーピングは検出候補の重複関係に基づいて行う。 In step S103, the grouping unit 102 of the false detection reduction unit 1A groups the detection candidates output from the object detection unit 101. Grouping is performed based on the overlapping relationship of detection candidates.
重複関係の評価値である重複度rは、式(１)に示すように、検出候補Aと検出候補BのAND領域対検出候補Aと検出候補BのOR領域の面積の比率に基づいて計算する。重複度ｒは所定閾値より大きい場合に、検出候補Aと検出候補Bを一つのグループとし、他の場合に、検出候補Aと検出候補Bをそれぞれ別々のグループとする。 The degree of overlap r, which is the evaluation value of the overlapping relationship, is calculated based on the ratio of the area of the AND region of detection candidate A and detection candidate B to the OR region of detection candidate A and detection candidate B, as shown in Equation (1). To do. When the overlapping degree r is larger than the predetermined threshold, the detection candidate A and the detection candidate B are set as one group, and in other cases, the detection candidate A and the detection candidate B are set as separate groups.
ステップS１０４において、制御部１１０がステップS１０３でグループ化した各グループについて、ステップS１０５からステップS１１５までの処理を繰り返し行うように制御する。 In step S104, the control unit 110 controls to repeat the processing from step S105 to step S115 for each group grouped in step S103.
ステップS１０５において、候補から過去検出結果選出部１０３が、注目する検出候補のグループについて、そのグループ内の候補数が単一か複数あるかをチェックする。検出候補が単一である場合、ステップS１１４に移り、該検出候補をそのまま物体と判定する。検出候補が複数ある場合、ステップS１０６に移り、検出候補が物体であるか、誤検出であるかを判定する。 In step S105, the past detection result selection unit 103 from the candidates checks whether there is a single candidate or a plurality of candidates in the group of the detection candidate to be noticed. When the detection candidate is single, the process proceeds to step S114, and the detection candidate is determined as an object as it is. When there are a plurality of detection candidates, the process proceeds to step S106, and it is determined whether the detection candidate is an object or a false detection.
ステップS１０６において、制御部１１０が、注目するグループ内のそれぞれの検出候補について、ステップS１０７からステップS１１１までの処理を繰り返し行うように制御する。 In step S106, the control unit 110 performs control so that the processing from step S107 to step S111 is repeated for each detection candidate in the group of interest.
ステップS１０７において、候補から過去検出結果選出部１０３が、注目するグループ内の注目する検出候補について、過去フレームｔ-1の全ての検出結果との類似度d2を式(2)より計算する。 In step S107, the past detection result selection unit 103 from the candidates calculates the similarity d2 of all the detection results of the past frame t-1 with respect to the detection candidates of interest in the group of interest using Expression (2).
ステップS１０８において、候補から過去検出結果選出部１０３が、ステップS１０７に計算した類似度d2に最も小さい類似度を選出し、最小類似度に対応する過去フレームｔ-1の検出結果を選出する。 In step S108, the past detection result selection unit 103 from the candidates selects the smallest similarity in the similarity d2 calculated in step S107, and selects the detection result of the past frame t-1 corresponding to the minimum similarity.
ステップS１０９において、過去検出結果から候補判定部１０４が、ステップS１０８に選出した最小類似度は所定の閾値Th１より小さいかどうかを判定する。最小類似度が閾値Th１より大きい場合に、注目する検出候補が対応する過去検出結果がないため、処理がグループ内において次の検出候補に移る。最小類似度が閾値Th１より小さい場合に、ステップS１１０に移り、検出候補が物体であるかないかの判定を続ける。 In step S109, the candidate determination unit 104 determines whether or not the minimum similarity selected in step S108 is smaller than a predetermined threshold Th1 from the past detection result. When the minimum similarity is larger than the threshold value Th1, there is no past detection result corresponding to the detection candidate to be noticed, and therefore the process moves to the next detection candidate in the group. When the minimum similarity is smaller than the threshold value Th1, the process proceeds to step S110, and the determination whether the detection candidate is an object is continued.
ステップS１１０において、過去検出結果から候補判定部１０４が、ステップS１０８に選出した最小類似度に対応する過去検出結果にから、折り返し、現在フレームｔのグループ内各検出候補との類似度を式(2)より計算する。 In step S110, the candidate determination unit 104 returns the past detection result corresponding to the minimum similarity selected in step S108 based on the past detection result, and calculates the similarity with each detection candidate in the group of the current frame t using the formula (2 )
ステップS１１１において、過去検出結果から候補判定部１０４が、ステップS１０８に選出した最小類似度に対応する過去検出結果と、最小類似度となるグループ内の検出候補を選出し、物体と判定する。 In step S111, the candidate determination unit 104 selects a past detection result corresponding to the minimum similarity selected in step S108 and a detection candidate in the group having the minimum similarity from the past detection result, and determines that the object is an object.
ステップS１１２において、制御部１１０が、ステップS１０７からステップS１１１までの処理が複数検出候補を含むグループ内の全ての検出候補に対して行ったかどうかを判断する。全部行った場合、ステップS１１３に移る。そうでない場合、複数検出候補を含むグループ内の次の検出候補についてステップS１０７からステップS１１１までの処理を行う。 In step S112, the control unit 110 determines whether the processing from step S107 to step S111 has been performed for all detection candidates in the group including a plurality of detection candidates. If all the steps have been performed, the process proceeds to step S113. Otherwise, the processing from step S107 to step S111 is performed for the next detection candidate in the group including a plurality of detection candidates.
ステップS１１３において、過去検出結果から候補判定部１０４が、複数検出候補を含むグループについて、物体と判定した検出候補があるかどうかを判断する。物体と判定した検出候補がある場合、ステップS１１５に移り、物体と判定した検出候補を過去検出結果記憶部１０５に記憶する。グループに物体と判定した検出候補が一つでもない場合、ステップS１１４に移り、本グループ内の全ての検出候補を物体とする。 In step S113, the candidate determination unit 104 determines whether there is a detection candidate determined as an object for a group including a plurality of detection candidates from the past detection result. If there is a detection candidate determined as an object, the process proceeds to step S115, and the detection candidate determined as an object is stored in the past detection result storage unit 105. If there is no detection candidate determined as an object in the group, the process moves to step S114, and all detection candidates in this group are set as objects.
ステップS１１４において、過去検出結果から候補判定部１０４が、誤削除を防ぐために、前記複数検出候補を含むグループ内の全ての検出候補を物体とする。 In step S114, the candidate determination unit 104 determines all detection candidates in the group including the plurality of detection candidates as objects in order to prevent erroneous deletion from past detection results.
ステップS１１５において、過去検出結果記憶部１０５が、単一検出候補のグループの検出候補、または、ステップS１０６からステップS１１２までの処理に物体と判定した検出候補、または、ステップS１１４に物体とした検出候補を記憶する。 In step S115, the past detection result storage unit 105 detects a detection candidate of a group of single detection candidates, a detection candidate determined as an object in the processing from step S106 to step S112, or a detection candidate determined as an object in step S114. Remember.
ステップS１１６において、制御部１１０が、ステップS１０３でグルーピングした各グループについて、ステップS１０５からステップS１１５の処理を行ったどうかを判断する。全部行った場合、ステップS１１７に移る。そうでない場合、ステップS１０５に移り、次のグループを処理する。 In step S116, the control unit 110 determines whether or not the processing from step S105 to step S115 has been performed for each group grouped in step S103. If all the steps have been performed, the process proceeds to step S117. Otherwise, the process moves to step S105, and the next group is processed.
ステップS１１７において、制御部１１０が、誤検出削減部１Aの処理を次のフレーム画像に移るように制御する。 In step S117, the control unit 110 controls the process of the erroneous detection reduction unit 1A to move to the next frame image.
ステップS１０６からステップS１１２までの処理を図４に示す各ケースを用いて、その効果を説明する。 The effect of the processing from step S106 to step S112 will be described using each case shown in FIG.
図４のcase1に示すように、現在フレームtに検出候補Aと検出候補Bが一つのグループになり、ステップS１０７からステップS１１１までの処理を行う。まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Aが選出され、物体と判定される。次に、検出候補Bから物体を判定する。この場合、検出候補Bとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、同じく検出候補Aが選出され、物体と判定される。最終的に、case１の場合、検出候補Aが物体と判定され、検出候補Bが誤検出と判定される。 As shown in case 1 in FIG. 4, the detection candidate A and the detection candidate B form one group in the current frame t, and the processing from step S107 to step S111 is performed. First, an object is determined from detection candidate A. In this case, since the past detection result of the minimum similarity with the detection candidate A is a and the minimum similarity is smaller than the threshold value Th1, the similarity with the detection candidate in this group is calculated from the detection result a. Search for detection candidates with minimum similarity. As a result, detection candidate A is selected and determined as an object. Next, an object is determined from the detection candidate B. In this case, since the past detection result of the minimum similarity with the detection candidate B is a and the minimum similarity is smaller than the threshold value Th1, the similarity with the detection candidate in this group is calculated from the detection result a. Search for detection candidates with minimum similarity. As a result, detection candidate A is similarly selected and determined as an object. Finally, in case 1, detection candidate A is determined to be an object, and detection candidate B is determined to be erroneous detection.
図４のcase2の場合、まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Aが選出され、物体と判定される。一方、検出候補Bから物体を判定する場合、検出候補Bとの最小類似度の過去検出結果がaであるが、最小類似度が閾値Th１より大きいので、検出候補Bに対応する物体がないと判断しグループ内の次ぎの候補に移り処理を行う。検出候補Bが最終的に削除される。 In the case 2 of FIG. 4, first, an object is determined from the detection candidate A. In this case, since the past detection result of the minimum similarity with the detection candidate A is a and the minimum similarity is smaller than the threshold value Th1, the similarity with the detection candidate in this group is calculated from the detection result a. Search for detection candidates with minimum similarity. As a result, detection candidate A is selected and determined as an object. On the other hand, when determining an object from the detection candidate B, the past detection result of the minimum similarity with the detection candidate B is a, but since the minimum similarity is larger than the threshold Th1, there is no object corresponding to the detection candidate B. Determine and move to the next candidate in the group. Detection candidate B is finally deleted.
図４のcase3の場合、まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Aが選出され、物体と判定される。次に、検出候補Bから物体を判定する。この場合、検出候補Bとの最小類似度の過去検出結果がbであり、そして、最小類似度が閾値Th１より小さいので、検出結果bから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Bが選出され、物体と判定される。最終的に、case3の場合、検出候補Aと検出候補Bが共に物体と判定される。 In case 3 of FIG. 4, first, an object is determined from detection candidate A. In this case, since the past detection result of the minimum similarity with the detection candidate A is a and the minimum similarity is smaller than the threshold value Th1, the similarity with the detection candidate in this group is calculated from the detection result a. Search for detection candidates with minimum similarity. As a result, detection candidate A is selected and determined as an object. Next, an object is determined from the detection candidate B. In this case, since the past detection result of the minimum similarity with the detection candidate B is b and the minimum similarity is smaller than the threshold Th1, the similarity with the detection candidate in this group is calculated from the detection result b. Search for detection candidates with minimum similarity. As a result, detection candidate B is selected and determined as an object. Finally, in case 3, both detection candidate A and detection candidate B are determined to be objects.
図４のcase3の場合、まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がcであるが、最小類似度が閾値Th１より大きいので、検出候補Aに対応する物体がないと判断しグループ内の次ぎの候補Bに移り処理を行う。次に、検出候補Bとの最小類似度の過去検出結果がcであるが、最小類似度が閾値Th１より大きいので、検出候補Bに対応する物体がないと判断する。本グループと対応する過去フレームｔ-1の検出結果がないため、本グループの各検出候補をそのまま物体と判定し出力する。 In case 3 of FIG. 4, first, an object is determined from detection candidate A. In this case, the past detection result of the minimum similarity with the detection candidate A is c, but since the minimum similarity is larger than the threshold Th1, it is determined that there is no object corresponding to the detection candidate A, and the next candidate B in the group The process is moved to. Next, the past detection result of the minimum similarity with the detection candidate B is c, but since the minimum similarity is larger than the threshold Th1, it is determined that there is no object corresponding to the detection candidate B. Since there is no detection result of the past frame t-1 corresponding to this group, each detection candidate of this group is determined as an object as it is and output.
以上をまとめると、現在フレームに複数検出候補を含むグループのそれぞれの候補について過去フレームに対応する検出結果を求める。一部または全部の候補に対応する過去の検出結果がある場合に、求めた過去の対応結果から折り返し、現在フレームに対応するグループ内の検出候補を求める。求めた検出候補が一致する場合、該候補を物体と判定する。これに対し、過去の対応結果のない候補、または、一致しない検出候補を誤検出と判定する。 In summary, the detection result corresponding to the past frame is obtained for each candidate of the group including a plurality of detection candidates in the current frame. When there are past detection results corresponding to some or all of the candidates, the detection result in the group corresponding to the current frame is obtained by returning from the obtained past correspondence results. If the obtained detection candidates match, the candidate is determined to be an object. On the other hand, a candidate with no past correspondence result or a detection candidate that does not match is determined as a false detection.
一方、グループ内の全部の候補に対応する過去の検出結果がない場合に、本グループ内の全部の候補を物体と判定する。 On the other hand, when there is no past detection result corresponding to all candidates in the group, all candidates in this group are determined as objects.
本実施形態に、ステップS１０８及びステップS１０９において、各検出候補が過去の検出結果との最小類似度を求めた後、閾値Th１と比較して、対応する過去の検出結果を選出する。その代わりに、ステップS１０７において、注目する検出候補が各過去の検出結果との類似度を計算した後に、閾値Th１と比較して、閾値Th１以下の類似度の最小値を求めってよい。 In this embodiment, in step S108 and step S109, after each detection candidate obtains the minimum similarity with the past detection result, the corresponding past detection result is selected by comparing with the threshold value Th1. Instead, in step S107, after calculating the degree of similarity between the detection candidate of interest and each past detection result, the minimum value of the degree of similarity equal to or lower than the threshold Th1 may be obtained by comparison with the threshold Th1.
また、本実施形態に、検出候補と過去検出結果の類似度は式（２）より計算するが、検出候補または過去検出結果の位置とサイズ情報に基づいて他の計算式で求めってよい。例えば、式（１）のAND領域とOR領域の比率で計算してもよい。 Further, in this embodiment, the similarity between the detection candidate and the past detection result is calculated from the formula (2), but may be obtained by another calculation formula based on the position and size information of the detection candidate or the past detection result. For example, the calculation may be performed by the ratio of the AND region and the OR region in Expression (1).
グルーピングを行う際、式（２）を用いてもよい。その時は別の閾値を使う。式（２）を用いることにより、物体と近傍関係にある誤検出も正しく削除できるようになる。また、グルーピングは式(1)または式(2)に定義した重複度や類似度を用いて、k-means法やmean-shift法を利用して行ってもよい。 When performing grouping, equation (2) may be used. In that case, another threshold is used. By using Expression (2), it is possible to correctly delete false detections that are close to the object. In addition, grouping may be performed using the k-means method or the mean-shift method using the degree of overlap or similarity defined in Equation (1) or Equation (2).
さらに、類似度または重複度は、位置とサイズで求めたが、物体の色など他の特徴量を用いてもよい。 Furthermore, although the degree of similarity or the degree of overlap is obtained from the position and size, other feature amounts such as the color of the object may be used.
また、本実施形態に、ステップS１１３とステップS１１４において、複数検出候補を含むグループについて、全ての検出候補が物体と判定したものがない場合、逆に、全ての検出候補が物体とする処理を行う。これは、あくまでも、検出候補の誤削除を防ぐためであり、場合によって、これらの検出候補を誤検出とすることもできる。 Also, in the present embodiment, when there is no group that includes a plurality of detection candidates in which all the detection candidates are determined to be objects in step S113 and step S114, on the contrary, processing in which all the detection candidates are objects is performed. . This is only for the purpose of preventing erroneous deletion of detection candidates. In some cases, these detection candidates may be erroneously detected.
なお、本実施形態に、現在フレームtの検出候補を物体であるかどうかを判断するため、過去フレームt-1の検出結果に基づいて判断するが、未来フレームt+1の検出候補を利用して、判断することもできる。また、過去フレームt-1の検出結果に基づく判断結果は、未来フレームt+1の検出候補に基づく判断結果とORまたはAND演算を行って、論理演算結果に基づいて物体かどうかを判断してもよい。 In this embodiment, in order to determine whether or not the detection candidate of the current frame t is an object, a determination is made based on the detection result of the past frame t-1, but the detection candidate of the future frame t + 1 is used. It can also be judged. Also, the judgment result based on the detection result of the past frame t-1 is ORed and ANDed with the judgment result based on the detection candidate of the future frame t + 1, and it is judged whether it is an object based on the logical operation result. Also good.
図１０は本実施形態におけるコンピュータの制御構成を示すブロック図である。図９において、１００１はＣＰＵであり、本実施形態の画像処理装置における各種制御を実行する。１００２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１００３はＲＡＭであり、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の作業領域を提供する。１００４はキーボード、１００５はマウスであり、ユーザによる各種入力操作環境を提供する。 FIG. 10 is a block diagram showing the control configuration of the computer in this embodiment. In FIG. 9, reference numeral 1001 denotes a CPU, which executes various controls in the image processing apparatus of the present embodiment. Reference numeral 1002 denotes a ROM which stores a boot program and various data executed when the apparatus is started up. Reference numeral 1003 denotes a RAM, which stores a control program for processing by the CPU 1001 and provides a work area when the CPU 1001 executes various controls. A keyboard 1004 and a mouse 1005 provide various input operation environments for the user.
１００６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等で構成される。ただし、外部記憶装置１００６は、制御プログラムや各種データを全てＲＯＭ１００２に持つようにすれば、必ずしも必要な構成要素ではない。１００７は表示器であり、ディスプレイなどで構成され、結果等をユーザに対して表示する。１００８はネットワークインターフェースでる。１００９はビデオインターフェースであり、撮像部１００４と同軸ケーブルを解したフレーム画像の取り込みを可能とする。また、１０１１は上記の各構成を接続するバスである。 An external storage device 1006 includes a hard disk, a floppy (registered trademark) disk, an optical disk, a magnetic disk, a magneto-optical disk, a magnetic tape, and the like. However, the external storage device 1006 is not necessarily a necessary component if the ROM 1002 has all the control programs and various data. Reference numeral 1007 denotes a display, which is composed of a display or the like, and displays the result and the like to the user. Reference numeral 1008 denotes a network interface. Reference numeral 1009 denotes a video interface, which makes it possible to capture a frame image that is separated from the imaging unit 1004 and a coaxial cable. Reference numeral 1011 denotes a bus for connecting the above components.
［実施形態２］
本発明の第２の実施形態は、図５に示すように、実施形態１に比べ、確定物体処理部２０６を追加する。本実施形態において、確定物体処理部２０６は、過去フレーム0〜過去フレームｔ-1までの検出結果を利用し、物体存在の連続性から、安定して検出した物体を確定物体として確立する。もし、確定物体の検出はフレーム落ちが生じた場合に、しばらくの間に、持続して検出結果として利用することができる。このため、本実施形態において、過去フレームｔ-1の検出結果のみを利用することではなく、過去フレーム0〜過去フレームｔ-1までの検出結果を利用することになる。
[Embodiment 2]
As shown in FIG. 5, the second embodiment of the present invention adds a definite object processing unit 206 compared to the first embodiment. In the present embodiment, the confirmed object processing unit 206 uses the detection results from the past frame 0 to the past frame t−1 to establish a stably detected object as a confirmed object from the continuity of the presence of the object. If a definite object is detected, if a frame drop occurs, it can be used as a detection result continuously for a while. For this reason, in this embodiment, not only the detection result of the past frame t−1 but also the detection results of the past frame 0 to the past frame t−1 are used.
次に本実施例における処理の流れを図６のフローチャートを用いて説明する。 Next, the flow of processing in this embodiment will be described with reference to the flowchart of FIG.
本実施形態は第1実施形態とほぼ同じであり、灰色のステップのみ異なるので、灰色のステップを詳細に説明する。他のステップは第1実施形態を参照してください。 The present embodiment is substantially the same as the first embodiment, and only the gray steps are different, so the gray steps will be described in detail. For other steps, refer to the first embodiment.
ステップS２０３において、確定物体処理部２０６が、確定物体を伸長する。過去フレームｔ-1の確定物体Aがあるとすると、現在フレームｔ確定物体Aの位置とサイズを予測し、現在フレームｔの検出結果との重複度を式(１)より算出する。重複度が閾値Th４より大きい検出結果がある場合に、現在フレームｔに確定物体Aに対応する検出結果があると判断し、該検出結果を確定物体Aとする。 In step S203, the confirmed object processing unit 206 expands the confirmed object. If there is a definite object A in the past frame t-1, the position and size of the current frame t definite object A are predicted, and the degree of overlap with the detection result of the current frame t is calculated from equation (1). If there is a detection result with a degree of overlap greater than the threshold value Th4, it is determined that there is a detection result corresponding to the confirmed object A in the current frame t, and the detected result is defined as the confirmed object A.
ステップS２２０において、過去検出結果記憶部２０５がステップS２１９で確立した確定物体を記憶する。 In step S220, the past detection result storage unit 205 stores the confirmed object established in step S219.
なお、本実施形態において、確定物体の確立の一例を説明したが、同様な機能を実現できれば、他の方法も利用できる。 In the present embodiment, an example of establishing a definite object has been described. However, other methods can be used as long as a similar function can be realized.
例えば、確定物体の伸長方法について、本実施形態のステップS２０３において、過去フレームｔ-1に確定物体Aの位置とサイズから、現在フレームｔに確定物体Aの位置とサイズを予測し、フレームｔの検出結果との重複度を式(１)より算出する。重複度の代わりに、式(2)より予測結果と検出結果の類似度を算出してもよい。また、予測は線形0次、1次、2次予測のいずれを利用してもよい。 For example, regarding the definite object extension method, in step S203 of this embodiment, the position and size of the definite object A are predicted in the current frame t from the position and size of the definite object A in the past frame t-1, and the frame t The degree of overlap with the detection result is calculated from equation (1). Instead of the degree of duplication, the similarity between the prediction result and the detection result may be calculated from equation (2). The prediction may use any of linear 0th order, 1st order, and 2nd order prediction.
本実施形態は、最初から二つの重なる物体があり、一方の物体の検出が最初からフレーム落ちが生じた場合にも対応できる。図７に示すように、過去フレームｔ−２に確定物体aとｂのうち、過去フレームｔ−１において、確定物体ｂは検出のフレーム落ちが生じたが、伸長した物体ｂを利用して現在フレームｔに検出した候補Bを物体として判断できる。このように、物体が確定物体として確立したら、誤削除することが生じない。 In the present embodiment, there are two overlapping objects from the beginning, and detection of one of the objects can cope with a case where a frame drop occurs from the beginning. As shown in FIG. 7, out of the definite objects a and b in the past frame t-2, the definite object b has a detection frame drop in the past frame t−1. Candidate B detected in frame t can be determined as an object. In this way, once an object is established as a definite object, it will not be accidentally deleted.
また、現在フレームtの検出候補が物体かどうかを判断するために、未来フレームｔ＋１から未来フレームｔ＋Tまでの検出候補に基づいて、確定物体を確立し、利用することもできる。さらに、過去フレームｔ−Tから過去フレームt-1までの検出結果と、現在フレームtから未来フレームｔ＋Tまでの検出候補に基づいて、確定物体を確立し、現在フレームtの検出候補が物体かどうかを判断することもできる。 In addition, in order to determine whether the detection candidate of the current frame t is an object, a definite object can be established and used based on detection candidates from the future frame t + 1 to the future frame t + T. Further, a definite object is established based on detection results from the past frame t-T to the past frame t-1 and detection candidates from the current frame t to the future frame t + T, and whether or not the detection candidate of the current frame t is an object. Can also be judged.
［実施形態３］
本発明の第３の実施形態は、実施形態１に比べ、図８に示すケースに対応する処理を追加する。構成ブロック図は同じく図１もしくは図５に示し、処理のフローチャートは図９に示す。簡単のため、構成ブロック図は図１を用いて説明する。
[Embodiment 3]
Compared with the first embodiment, the third embodiment of the present invention adds processing corresponding to the case shown in FIG. The configuration block diagram is also shown in FIG. 1 or FIG. 5, and the process flowchart is shown in FIG. For simplicity, the structural block diagram will be described with reference to FIG.
図８に示すように、現在フレームtの検出結果AとBは過去フレームt-1の検出結果cとの類似度が最小であるが、最小類似度は閾値Th１より大きいので、実施形態１の場合は、検出結果Aと検出結果Bは物体と判定する。本実施形態において、検出結果Aと検出結果Bは現在フレームtにおける位置が過去フレームt-1の検出結果cの位置と重なって、且つ、AまたはBの面積はcの面積より大幅に小さい場合に、AまたはBを誤検出と判断する。すなわち、検出結果Aと検出結果Bは検出結果cに包含される位置関係がある場合に、AとBは誤検出と判断する。 As shown in FIG. 8, the detection results A and B of the current frame t have the minimum similarity with the detection result c of the past frame t−1, but the minimum similarity is larger than the threshold value Th1. In this case, the detection result A and the detection result B are determined as objects. In this embodiment, when the detection result A and the detection result B overlap the position of the detection result c of the past frame t-1 in the current frame t, and the area of A or B is significantly smaller than the area of c In addition, A or B is determined to be a false detection. That is, when the detection result A and the detection result B have a positional relationship included in the detection result c, A and B are determined to be erroneous detections.
次に本実施例における処理の流れを図９のフローチャートを用いて説明する。 Next, the flow of processing in this embodiment will be described with reference to the flowchart of FIG.
ステップS３０１からステップS３１６までの処理は第1実施形態と同様であり、詳細の説明を省略いたします。 The processing from step S301 to step S316 is the same as that of the first embodiment, and detailed description thereof is omitted.
ステップS３５０において、制御部１１０が、現在フレームtにグルーピング部１０２でグルーピングした各グループについて、ステップS３５１〜ステップS３６０の処理を行うように制御する。 In step S350, the control unit 110 performs control so that the processes in steps S351 to S360 are performed for each group grouped by the grouping unit 102 in the current frame t.
ステップS３５１において、物体判定部１Bが、各部ループについて物体と判定した検出候補があるかどうかを判断して、物体と判断した検出候補がある場合にステップS３５９に移り、物体と判断した検出候補を検出結果として記憶する。物体と判断した検出候補がない場合に、ステップS３５２に移り、継続して、図8に示すケース５について検出候補が物体であるかないかの判定処理を行う。 In step S351, the object determination unit 1B determines whether there is a detection candidate determined to be an object for each loop, and if there is a detection candidate determined to be an object, the process proceeds to step S359, and the detection candidate determined to be an object is determined. It is stored as a detection result. When there is no detection candidate determined to be an object, the process proceeds to step S352, and a determination process is performed to determine whether the detection candidate is an object for case 5 shown in FIG.
ステップS３５２において、制御部１１０がグループ内の全ての候補について、ステップS３５３〜ステップS３５７の処理を行うように制御する。
ステップS３５３において、候補から過去検出結果選出部が、注目するグループ内の検出候補は、過去フレームt-1の各検出結果と重複度(AND領域/min領域)を式(１)より算出する。
In step S352, the control unit 110 performs control so that the processes in steps S353 to S357 are performed for all candidates in the group.
In step S353, the past detection result selection unit from the candidates calculates each detection result of the past frame t-1 and the degree of overlap (AND region / min region) from Equation (1) for the detection candidate in the group of interest.
ステップS３５４において、候補から過去検出結果選出部１０３が、ステップS３５３で計算した最大重複度に閾値Th２より大きい過去フレーム t-1があるかないかを判断する。つまり、現在フレームtの検出候補に、過去フレーム t-1の検出結果の内部に入る候補があるかどうかを判断する。最大重複度が閾値Th２より大きい場合にステップS３５５に移る。最大重複度が閾値Th２より小さい場合にステップS３５８に移る。 In step S354, the past detection result selection unit 103 from the candidates determines whether there is a past frame t-1 greater than the threshold Th2 in the maximum degree of duplication calculated in step S353. That is, it is determined whether there is a candidate that falls within the detection result of the past frame t-1 among the detection candidates of the current frame t. When the maximum duplication degree is larger than the threshold value Th2, the process proceeds to step S355. When the maximum duplication degree is smaller than the threshold value Th2, the process proceeds to step S358.
ステップS３５５において、過去検出結果から候補判定部１０４が、過去フレーム t-1の検出結果から、最大重複度の検出結果を選出する。選出した最大重複度の過去フレーム t-1の検出結果は現在フレームtの注目する検出候補との面積比を計算する。 In step S355, the candidate determination unit 104 selects the detection result of the maximum redundancy from the detection result of the past frame t-1 based on the past detection result. For the selected detection result of the past frame t-1 with the maximum degree of overlap, the area ratio of the current frame t to the target detection candidate is calculated.
ステップS３５６において、過去検出結果から候補判定部１０４が、ステップS３５５に計算した面積比を閾値Th３と比較し、大きい場合はステップS３５７に示す。少ない場合はステップS３５８に移り、次の候補を処理する。 In step S356, the candidate determination unit 104 compares the area ratio calculated in step S355 from the past detection result with the threshold value Th3. If not, the process moves to step S358, and the next candidate is processed.
ステップS３５７において、過去検出結果から候補判定部１０４が、ステップS３５６に面積比が閾値Th３より大きい場合に、注目する候補が物体ではないと判定し、誤検出として削除する。 In step S357, when the area ratio is larger than the threshold value Th3 in step S356, the candidate determination unit 104 determines that the target candidate is not an object, and deletes it as a false detection.
ステップS３５８において、制御部１１０が、グループ内全ての候補について処理が終わったかどうかを判断する。全ての候補について処理が終わった場合に、ステップS３５９に移り、そうでない場合に、ステップS３５２に移る。 In step S358, control unit 110 determines whether or not processing has been completed for all candidates in the group. When the processing is completed for all candidates, the process proceeds to step S359, and otherwise, the process proceeds to step S352.
ステップS３５９において、過去検出結果記憶部１０５が、前述のステップらに物体と判定した現在フレームtの検出候補を記憶する。 In step S359, the past detection result storage unit 105 stores detection candidates for the current frame t determined as an object in the above-described steps.
ステップS３６０において、制御部１１０が、ステップS３５０に対応し、現在フレームtにすべてのグループについて、ステップS３５１からステップS３５９までの処理が終わったかどうかを判断する。全部終わった場合、ステップS３６１に移り、次のフレーム画像を処理する。 In step S360, the control unit 110 determines whether or not the processing from step S351 to step S359 has been completed for all groups in the current frame t, corresponding to step S350. When all the processing is completed, the process proceeds to step S361, and the next frame image is processed.
なお、本実施形態において、検出結果Aと検出結果Bは現在フレームtにおける位置が過去フレームt-1の検出結果cの位置と重なって、且つ、AまたはBの面積はcの面積より大幅に小さい場合に、AまたはBを誤検出と判断する。これを拡充し、式（２）より、検出結果Aと検出結果Bは現在フレームtにおける位置が過去フレームt-1の検出結果cの位置と近傍関係を判断して利用してもよい。すなわち、AまたはBはcと近傍関係があり、かつ、AまたはBの面積はcの面積より大幅に小さい場合に、AまたはBを誤検出と判断する。 In the present embodiment, the detection result A and the detection result B overlap the position of the detection result c of the past frame t-1 at the current frame t, and the area of A or B is significantly larger than the area of c. If it is smaller, A or B is determined as a false detection. By expanding this, from Expression (2), the detection result A and the detection result B may be used after the position in the current frame t determines the proximity relationship with the position of the detection result c in the past frame t-1. That is, when A or B is in the neighborhood relationship with c and the area of A or B is significantly smaller than the area of c, A or B is determined to be a false detection.
なお、本実施形態は、第1実施形態と同様に、未来フレームt+1の検出候補を利用して、判断することもできる。さらに、過去フレームt-1の検出結果に基づく判断結果は、未来フレームt+1の検出候補に基づく判断結果とORまたはAND演算を行って、論理演算結果に基づいて判断してもよい。 Note that this embodiment can also make a determination using detection candidates for the future frame t + 1, as in the first embodiment. Further, the determination result based on the detection result of the past frame t-1 may be determined based on the logical operation result by performing an OR or AND operation with the determination result based on the detection candidate of the future frame t + 1.
［その他の実施形態］
前述した実施例の機能を実現するソフトウエアのプログラムコードを記録媒体に記録することができる。本発明の目的は、前記記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
[Other Embodiments]
Software program codes for realizing the functions of the above-described embodiments can be recorded on a recording medium. The object of the present invention can also be achieved by supplying the recording medium to a system or apparatus, and reading and executing the program code stored in the recording medium by a computer (or CPU or MPU) of the system or apparatus. Needless to say. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, a DVD, or the like is used. it can.
また、本発明の目的は、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでない。読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。 The object of the present invention is not only to realize the functions of the above-described embodiments by executing the program code read by the computer. Including the case where the operating system (OS) running on the computer performs part or all of the actual processing based on the read program code instruction, and the functions of the above-described embodiments are realized by the processing. Needless to say.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれることもできる。その後、プログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, the program code read from the storage medium can be written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. After that, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Needless to say.
１０ 入力画像、２０ 検出結果、１０１ 第１実施形態の物体検出部、
１０２ 第１実施形態のグルーピング部、
１０３ 第１実施形態の候補から過去検出結果選出部、
１０４ 第１実施形態の過去検出結果から候補判定部、
１０５ 第１実施形態の過去検出結果記憶部、１１０ 第１実施形態の制御部、
１A 第１実施形態の誤検出削除部、１B 第１実施形態の物体判定部、
２０１ 第２実施形態の物体検出部、２０２ 第２実施形態のグルーピング部、
２０３ 第２実施形態の候補から過去検出結果選出部、
２０４ 第２実施形態の過去検出結果から候補判定部、
２０５ 第２実施形態の過去検出結果記憶部、２０６ 第２実施形態の確定物体処理部、
２１０ 第２実施形態の制御部、
１００１ 汎用のコンピュータシステムの制御構成におけるＣＰＵ装置、
１００２ 汎用のコンピュータシステムの制御構成におけるＲＯＭメモリ、
１００３ 汎用のコンピュータシステムの制御構成におけるＲＡＭメモリ、
１００４ 汎用のコンピュータシステムの制御構成における外部入力キーボード装置、
１００５ 汎用のコンピュータシステムの制御構成における外部入力マウス装置、
１００６ 汎用のコンピュータシステムの制御構成における外部記憶装置、
１００７ 汎用のコンピュータシステムの制御構成における表示器装置、
１００８ 汎用のコンピュータシステムの制御構成におけるネットワークＩ／Ｆ装置、
１００９ 汎用のコンピュータシステムの制御構成におけるビデオＩ／Ｆ装置
10 input image, 20 detection result, 101 object detection unit of the first embodiment,
102 the grouping unit of the first embodiment,
103 past detection result selection unit from the candidates of the first embodiment,
104 candidate determination unit from the past detection result of the first embodiment,
105 past detection result storage unit of the first embodiment, 110 control unit of the first embodiment,
1A false detection deletion unit of the first embodiment, 1B object determination unit of the first embodiment,
201 object detection unit of the second embodiment, 202 grouping unit of the second embodiment,
203 a past detection result selection unit from the candidates of the second embodiment,
204 A candidate determination unit based on the past detection result of the second embodiment,
205 a past detection result storage unit of the second embodiment, 206 a confirmed object processing unit of the second embodiment,
210 Control unit of the second embodiment,
1001 CPU device in a control configuration of a general-purpose computer system;
1002 ROM memory in the control configuration of a general-purpose computer system;
1003 RAM memory in the control configuration of a general-purpose computer system;
1004 External input keyboard device in control configuration of general-purpose computer system,
1005 External input mouse device in control configuration of general-purpose computer system,
1006 An external storage device in the control configuration of a general-purpose computer system,
1007 Display device in control configuration of general-purpose computer system,
1008 Network I / F device in control configuration of general-purpose computer system,
1009 Video I / F device in control configuration of general-purpose computer system
Claims (12)
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピング手段と、
前記グルーピング手段でグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定手段
を備えることを特徴とする物体検出装置。 Detection means for detecting a candidate for a predetermined object as a detection candidate from a frame image of the input video;
Grouping means for grouping for detection candidates in the frame image that overlap with each other based on the positional relationship, or for candidates located in the vicinity,
By obtaining detection outputs at different times corresponding to the detection candidates grouped by the grouping means, and further obtaining detection candidates corresponding to the obtained detection outputs at different times from the grouped detection candidates, An object detection device comprising: object determination means for determining whether a detection candidate is the object.
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を計算し、所定の閾値と比較する手段をさらに有することを特徴とする。 The object determination means obtains a detection output at a corresponding different time from the detection candidates grouped by the grouping means, and when there is a detection output at a different time corresponding thereto, the object determination means is associated with the detection output at a different time. The detection candidate is set as the first correspondence result, and the detection candidate associated with the detection candidate corresponding to the detection candidate grouped from the detection outputs at the different times obtained is returned as the second correspondence result. The object detection apparatus according to claim 1, wherein the detection candidate is determined to be the object when the first correspondence result matches the second correspondence result.
The first correspondence result is characterized by further comprising means for calculating a similarity between detection outputs at times different from the grouped object detection candidates and comparing the similarity with a predetermined threshold value.
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピングステップと、
前記グルーピングステップでグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定ステップ
を備えることを特徴とする物体検出方法。 A detection step of detecting a predetermined object candidate as a detection candidate from a frame image of the input video;
A grouping step for grouping for detection candidates in the frame image that are overlapped with each other based on the positional relationship, or are located in the vicinity.
By obtaining detection outputs at different times corresponding to the detection candidates grouped in the grouping step, and further obtaining detection candidates corresponding to the obtained detection outputs at different times from the grouped detection candidates, An object detection method comprising an object determination step of determining whether or not a detection candidate is the object.
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を計算し、所定の閾値と比較するステップをさらに有することを特徴とする。 The object determination step obtains the detection output corresponding to the different time from the detection candidates grouped in the grouping step, and the detection output corresponding to the different time exists when the detection output corresponding to the different time exists. The detection candidate is set as the first correspondence result, and the detection candidate associated with the detection candidate corresponding to the detection candidate grouped from the detection outputs at the different times obtained is returned as the second correspondence result. The object detection method according to claim 5, wherein the detection candidate is determined as the object when the first correspondence result and the second correspondence result match.
When obtaining the first correspondence result, the method further includes a step of calculating a similarity between detection outputs at times different from the grouped object detection candidates, and comparing the similarity with a predetermined threshold value.
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピング手順と、
前記グルーピングステップでグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定手順
を備えコンピュータに実行させるためのプログラム。 A detection procedure for detecting a predetermined object candidate as a detection candidate from a frame image of the input video;
A grouping procedure for grouping for detection candidates in the frame image that overlap with each other based on the positional relationship, or for candidates located in the vicinity,
By obtaining detection outputs at different times corresponding to the detection candidates grouped in the grouping step, and further obtaining detection candidates corresponding to the obtained detection outputs at different times from the grouped detection candidates, A program for causing a computer to execute an object determination procedure for determining whether or not a detection candidate is the object.
を備えコンピュータに実行させるためのプログラム。
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を計算し、所定の閾値と比較する手順をさらに有することを特徴とする。 In the object determination procedure, when there is a detection output at a different time corresponding to a detection output corresponding to a different time from the detection candidates grouped by the grouping means, the detection output at a different time is associated with the detection output at a different time. The detection candidate is set as the first correspondence result, and the detection candidate associated with the detection candidate corresponding to the detection candidate grouped from the detection outputs at the different times obtained is returned as the second correspondence result. The object detection procedure according to claim 9, wherein the detection candidate is determined to be the object when the first correspondence result matches the second correspondence result. Program.
When obtaining the first correspondence result, the method further includes a step of calculating a similarity between detection outputs at times different from the grouped object detection candidates, and comparing the similarity with a predetermined threshold value.
を備えコンピュータに実行させるためのプログラム。 The object determination procedure obtains a detection output at a different time corresponding from the detection candidates grouped by the grouping means, and if the detection output at a different time does not exist, the detection output at the different time The object detection procedure according to claim 9, wherein it is determined whether the positional relationship is inclusive, and the detection candidate is not the object when the positional relationship is inclusive. Program to let you.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015090976A JP2016207106A (en) | 2015-04-28 | 2015-04-28 | Method and device for reducing incorrect detection in object detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015090976A JP2016207106A (en) | 2015-04-28 | 2015-04-28 | Method and device for reducing incorrect detection in object detection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016207106A true JP2016207106A (en) | 2016-12-08 |
Family
ID=57490024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015090976A Pending JP2016207106A (en) | 2015-04-28 | 2015-04-28 | Method and device for reducing incorrect detection in object detection |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016207106A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7436338B2 (en) | 2020-09-28 | 2024-02-21 | Kddi株式会社 | Information processing systems, terminals, servers and programs |
-
2015
- 2015-04-28 JP JP2015090976A patent/JP2016207106A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7436338B2 (en) | 2020-09-28 | 2024-02-21 | Kddi株式会社 | Information processing systems, terminals, servers and programs |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7317919B2 (en) | Appearance search system and method | |
| US10755080B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP6018674B2 (en) | System and method for subject re-identification | |
| US10353954B2 (en) | Information processing apparatus, method of controlling the same, and storage medium | |
| JP2008192131A (en) | System and method for performing feature level segmentation | |
| JP2011511977A (en) | Detection of facial expressions in digital images | |
| JP2010072723A (en) | Tracking device and tracking method | |
| US10762133B2 (en) | Information processing apparatus, method of controlling the same, and storage medium | |
| JP2017010224A (en) | Object tracking apparatus, object tracking method, and program | |
| Farou et al. | Efficient local monitoring approach for the task of background subtraction | |
| JP2016207106A (en) | Method and device for reducing incorrect detection in object detection | |
| Padmashini et al. | Vision based algorithm for people counting using deep learning | |
| Duan et al. | Detection of hand-raising gestures based on body silhouette analysis | |
| A Alashbi et al. | Deep-Learning-CNN for Detecting Covered Faces with Niqab | |
| Kerdvibulvech | Hybrid model of human hand motion for cybernetics application | |
| Lestari et al. | RGB-Depth Image Based Human Detection Using Viola-Jones and Chan-Vese Active Contour Segmentation | |
| Dedeoglu | Human action recognition using Gaussian mixture model based background segmentation | |
| Mohamed et al. | Statistical-Spatial technique for video object detection | |
| Scerri | Car tracking in video surveillance | |
| Yokoyama et al. | Moving region detection by transportation problem solving | |
| Lo et al. | Security alert through path analysis |