JP6626623B2 - Moving object detection device - Google Patents
Moving object detection device Download PDFInfo
- Publication number
- JP6626623B2 JP6626623B2 JP2015067747A JP2015067747A JP6626623B2 JP 6626623 B2 JP6626623 B2 JP 6626623B2 JP 2015067747 A JP2015067747 A JP 2015067747A JP 2015067747 A JP2015067747 A JP 2015067747A JP 6626623 B2 JP6626623 B2 JP 6626623B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- moving body
- image
- moving
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 100
- 210000000746 body region Anatomy 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、例えば乗物に乗っていない人(歩行者等)などの所定の移動体を、他の移動体から判別して検出することができる移動体検出装置に関するものである。 The present invention relates to a moving object detection device that can detect a predetermined moving object such as a person (pedestrian or the like) who is not riding on a vehicle by distinguishing it from other moving objects.
下記特許文献1には、自転車や二輪車及びそれらの乗員と歩行者との判別精度を向上させた画像認識装置として、画像内の被写体を認識する画像認識装置において、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段と、被写体の移動速度を検出する移動速度検出手段と、前記移動速度検出手段で検出した被写体の移動速度に基づいて、複数の辞書中から前記認識手段において被写体認識のために利用する辞書を選択する辞書選択手段と、を備えた画像認識装置が、開示されている。 Japanese Patent Application Laid-Open No. H11-163873 discloses an image recognition device for recognizing a subject in an image as an image recognition device in which the accuracy of discriminating a bicycle or a motorcycle and their occupants and pedestrians is improved. By comparing the image area with a template image stored in a predetermined dictionary, a recognition unit for recognizing the subject, a moving speed detecting unit for detecting a moving speed of the subject, and the moving speed detecting unit detect the moving speed. There is disclosed an image recognition apparatus including: a dictionary selecting unit that selects a dictionary used for object recognition in the recognition unit from a plurality of dictionaries based on a moving speed of a subject.
しかしながら、前記従来の装置では、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段が用いられており、画像のパターンマッチングにより歩行者を自転車等から判別して検出するものであるため、画像のパターンマッチングの処理に多大な処理量を要する。 However, in the conventional apparatus, a recognition unit for recognizing a subject is used by comparing a partial image area including a subject in an image with a template image stored in a predetermined dictionary. Since a pedestrian is discriminated from a bicycle or the like and detected by the pattern matching described above, a large amount of processing is required for the image pattern matching processing.
本発明は、このような事情に鑑みてなされたもので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人(歩行者等)などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and without performing pattern matching of images using a dictionary of template images, a predetermined moving object such as a person (pedestrian or the like) not riding on a vehicle. It is an object of the present invention to provide a moving object detecting device capable of detecting the moving object with high accuracy from other moving objects.
前記課題を解決するための手段として、以下の各態様を提示する。第1の態様による移動体検出装置は、所定領域を撮像する撮像手段と、前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、を備えたものである。 The following aspects are presented as means for solving the above problems. The moving object detection device according to the first aspect includes an image pickup unit that picks up an image of a predetermined region, and, for each image obtained from the image pickup unit over time, a moving object region obtaining unit that obtains a moving object region in the image. Determining means for determining whether or not the moving body is a predetermined moving body based on a change in shape of the moving body area of each image estimated as being caused by a moving body over time. It is something.
この第1の態様によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人(歩行者等)などの所定の移動体を、高い精度で他の移動体から判別して検出することができる。 According to the first aspect, it is determined whether the moving object is a predetermined moving object based on a change in shape of the moving object region of each of the images estimated to be caused by the same moving object with time. Since it is determined whether or not a predetermined moving body such as a person (pedestrian or the like) who is not riding on a vehicle can be determined with high accuracy without performing pattern matching of images using a dictionary of template images. And can be detected.
第2の態様による移動体検出装置は、前記第1の態様において、前記形状変化の様子を示す指標値を得る指標値取得手段を備え、前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定するものである。 The moving object detection device according to a second aspect, in the first aspect, further includes an index value obtaining unit that obtains an index value indicating a state of the shape change, and the determination unit performs the movement based on the index value. It is to determine whether or not the body is the predetermined moving body.
この第2の態様によれば、前記形状変化の様子を示す指標値を得て、この指標値に基づいて前記移動体が前記所定の移動体であるか否かを判定するので、前記移動体が前記所定の移動体であるか否かの判定をより容易に行うことができる。 According to the second aspect, the index value indicating the state of the shape change is obtained, and it is determined whether the moving object is the predetermined moving object based on the index value. Can be more easily determined whether or not is the predetermined moving body.
第3の態様による移動体検出装置は、前記第2の態様において、前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第1の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第1の値の変化に基づいて前記指標値を取得するものである。 In the moving body detection device according to a third aspect, in the second aspect, the index value acquiring unit may include, for the moving body area of each image estimated to be caused by the same moving body, The first value corresponding to the ratio of the area of the partial region on one side in the predetermined direction in the moving object region to the area of the entire region is obtained, and the moving object of each image estimated to be caused by the same moving object is obtained. The index value is obtained based on a change in the first value for a region.
この第3の態様は、前記面積の比率に応じた第1の値を利用して指標値を取得する例を挙げたものである。 The third aspect is an example in which an index value is obtained using a first value corresponding to the area ratio.
第4の態様による移動体検出装置は、前記第3の態様において、前記指標値取得手段は、(i)同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第1の値を求める第1の演算手段と、(ii)同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第1の所定数の前記移動体領域の各々について求められた前記第1の値の平均値に応じた第2の値を求める第2の演算手段と、(iii)同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第2の演算手段により求められた最新までの第2の所定数の前記第2の値の時系列が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第3の演算手段と、を有するものである。 In the moving object detection device according to a fourth aspect, in the third aspect, the index value acquiring unit may be configured to: (i) move the moving object area of each of the images estimated to be caused by the same moving object; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. For the moving object region of each image estimated as, according to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to the moving object region (Iii) a second calculating means for obtaining the second value, and (iii) the second to latest values obtained by the second calculating means for the moving body area of each of the images estimated to be caused by the same moving body. The time series of a predetermined number of 2 of the second values is The number of crossing from top to bottom or from bottom to top or up and down with respect to the reference value, and has a third arithmetic means for obtaining as the index value.
この第4の態様は、前記面積の比率に応じた第1の値を利用して指標値を取得する場合の具体例を挙げたものである。 The fourth aspect is a specific example in which an index value is obtained using a first value corresponding to the area ratio.
第5の態様による移動体検出装置は、前記第4の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第2の演算手段により求められた最新までの前記第2の所定数の前記第2の値の平均値であるものである。 In the moving object detection device according to a fifth aspect, in the fourth aspect, the reference value is obtained by the second calculating means for the moving object region of each of the images estimated to be caused by the same moving object. The average value of the second predetermined number of the second values up to the latest value.
この第5の態様は、前記基準値の例として前記平均値を挙げたものである。 In the fifth aspect, the average value is given as an example of the reference value.
第6の態様による移動体検出装置は、前記第3の態様において、前記指標値取得手段は、(i)同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第1の値を求める第1の演算手段と、(ii)同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第1の演算手段により求められた最新までの所定数の前記第1の値の時系列の近似曲線が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第2の演算手段と、を有するものである。 In the moving body detection device according to a sixth aspect, in the third aspect, the index value acquiring unit may be configured to: (i) perform the moving with respect to the moving body region of each of the images estimated to be caused by the same moving body; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. The time series approximation curve of a predetermined number of the first values up to the latest obtained by the first calculation means for the moving object region of each image estimated as Second computing means for determining the number of times of crossing from bottom to top or from top to bottom as the index value.
この第6の態様は、前記面積の比率に応じた第1の値を利用して指標値を取得する場合の他の具体例を挙げたものである。 The sixth aspect is another specific example in which an index value is obtained using a first value corresponding to the area ratio.
第7の態様による移動体検出装置は、前記第6の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第1の演算手段により求められた最新までの前記所定数の前記第1の値の平均値であるものである。 In the moving object detection device according to a seventh aspect, in the sixth aspect, the reference value is obtained by the first calculating means for the moving object region of each of the images estimated to be caused by the same moving object. The average value of the predetermined number of the first values up to the latest obtained value.
この第7の態様は、前記基準値の例として前記平均値を挙げたものである。 In the seventh aspect, the average value is given as an example of the reference value.
第8の態様による移動体検出装置は、前記第4又は第6の態様において、前記基準値は所定の一定値であるものである。 In the moving object detection device according to an eighth aspect, in the fourth or sixth aspect, the reference value is a predetermined constant value.
この第7の態様は、前記基準値の例として所定の一定値を挙げたものである。 In the seventh aspect, a predetermined constant value is given as an example of the reference value.
第9の態様による移動体検出装置は、前記第4乃至第8のいずれかの態様において、前記判定手段は、前記第3の演算手段又は前記第2の演算手段により求められた回数が所定回数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。 In the moving object detection device according to a ninth aspect, in any one of the fourth to eighth aspects, the determination means may determine that the number of times obtained by the third calculation means or the second calculation means is a predetermined number of times. In the case described above, it is determined that the moving object is the predetermined moving object.
この第9の態様は、前記判定手段による判定の具体例を挙げたものである。 The ninth aspect is a specific example of the judgment by the judgment means.
第10の態様による移動体検出装置は、前記第3の態様において、前記指標値取得手段は、(i)同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第1の値を求める第1の演算手段と、(ii)同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第1の所定数の前記移動体領域の各々について求められた前記第1の値の平均値に応じた第2の値を求める第2の演算手段と、(iii)同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第2の演算手段により求められた最新までの第2の所定数の前記第2の値の時系列の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第3の演算手段と、を有するものである。 In the moving object detection device according to a tenth aspect, in the third aspect, the index value obtaining unit may be configured to: (i) perform the moving with respect to the moving object region of each image estimated to be caused by the same moving object; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. For the moving object region of each image estimated as, according to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to the moving object region (Iii) a second calculating means for obtaining the second value, and (iii) the second to latest values obtained by the second calculating means for the moving body area of each of the images estimated to be caused by the same moving body. A time series of a predetermined number of the second values of 2 Those with the number of maxima, the count of the number or the sum of their minimum, and third calculation means for obtaining as the index value.
この第10の態様は、前記面積の比率に応じた第1の値を利用して指標値を取得する場合の他の具体例を挙げたものである。 The tenth aspect is another specific example in which an index value is obtained using a first value corresponding to the area ratio.
第11の態様による移動体検出装置は、前記第3の態様において、前記指標値取得手段は、(i)同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第1の値を求める第1の演算手段と、(ii)同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第1の演算手段により求められた最新までの所定数の前記第1の値の時系列の近似曲線の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第2の演算手段と、を有するものである。 In the moving object detection device according to an eleventh aspect, in the third aspect, the index value obtaining unit may be configured to: (i) perform the moving with respect to the moving object region of each image estimated to be caused by the same moving object; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. The number of local maxima, the number of local minima, or the number of time-series approximation curves of a predetermined number of the first values up to the latest obtained by the first arithmetic means for the moving object region of each image estimated as And a second calculating means for obtaining the total number thereof as the index value.
この第11の態様は、前記面積の比率に応じた第1の値を利用して指標値を取得する場合の他の具体例を挙げたものである。 The eleventh aspect is another specific example in which an index value is obtained using a first value corresponding to the area ratio.
第12の態様による移動体検出装置は、前記第10又は第11の態様において、前記判定手段は、前記第3の演算手段又は前記第2の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。 In a moving object detection device according to a twelfth aspect, in the tenth or eleventh aspect, the determination unit may be configured such that the number calculated by the third calculation unit or the second calculation unit is equal to or greater than a predetermined number. In this case, it is determined that the moving body is the predetermined moving body.
この第12の態様は、前記判定手段による判定の具体例を挙げたものである。 The twelfth aspect is a specific example of the judgment by the judgment means.
第13の態様による移動体検出装置は、前記第1乃至第12のいずれかの態様において、前記移動体領域取得手段は、前記撮像手段から時間経過に従って得られる前記各画像について、当該画像から背景画像を差し引いた差分画像を得る差分画像取得手段と、前記差分画像を2値化する2値化処理手段と、該2値化処理手段により2値化された各画像に対してラベリングを行うラベリング手段と、前記2値化された各画像のラベル領域又はそのラベル領域のうち所定大きさ以上のラベル領域を前記移動体領域として求める手段と、を有するものである。 According to a thirteenth aspect, in the moving body detection device according to any one of the first to twelfth aspects, the moving body region acquiring means may include a method for obtaining a background from each of the images obtained from the imaging means over time. Difference image obtaining means for obtaining a difference image from which an image has been subtracted, binarization processing means for binarizing the difference image, and labeling for labeling each image binarized by the binarization processing means Means for obtaining a label area of each of the binarized images or a label area having a predetermined size or more among the label areas as the moving body area.
この第13の態様は、移動体領域の取得の具体例を挙げたものである。 In the thirteenth aspect, a specific example of obtaining a moving object area is given.
第14の態様による移動体検出装置は、前記第13の態様において、前記撮像手段により撮像された前記画像のうち前記移動体領域を除く部分に基づいて、前記背景画像を更新する更新手段を備えたものである。 The moving object detection device according to a fourteenth aspect is the thirteenth aspect, further comprising an updating unit that updates the background image based on a portion of the image captured by the imaging unit excluding the moving body region. It is something.
この第14の態様によれば、前記背景画像を更新する更新手段を備えているので、周囲の状況(日照条件や照明など)が変化しても、より高い精度で移動体領域を取得することができ、ひいては、所定の移動体をより高い精度で他の移動体から判別して検出することができる。 According to the fourteenth aspect, since the updating means for updating the background image is provided, the moving body area can be acquired with higher accuracy even when the surrounding conditions (sunshine conditions, lighting, etc.) change. As a result, a predetermined moving object can be distinguished and detected from other moving objects with higher accuracy.
第15の態様による移動体検出装置は、前記第3乃至第14のいずれかの態様において、前記所定方向は、前記画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が45゜以上の角度をなす方向であるものである。 The moving object detection device according to a fifteenth aspect is the mobile object detection device according to any one of the third to fourteenth aspects, wherein the predetermined direction is a straight line in the image extending in a direction corresponding to a vertical direction passing through the center of the image. On the other hand, the smaller angle is a direction forming an angle of 45 ° or more.
この第15の態様によれば、例えば前記所定の移動体が乗物に乗っていない人である場合における腕の振りによる移動体領域の形状変化のように、水平方向の形状変化が大きい場合、その形状変化を感度良く捉えることができ、ひいては、前記所定の移動体をより高い精度で他の移動体から判別して検出することができる。 According to the fifteenth aspect, for example, when a change in the shape in the horizontal direction is large, such as a change in the shape of the moving body region due to the swing of the arm when the predetermined moving body is a person not riding on a vehicle, The change in shape can be detected with high sensitivity, and the predetermined moving body can be distinguished and detected from other moving bodies with higher accuracy.
第16の態様による移動体検出装置は、前記第1乃至第15のいずれかの態様において、前記所定の移動体が乗物に乗っていない人であるものである。 A mobile object detection device according to a sixteenth aspect is the mobile object detection device according to any one of the first to fifteenth aspects, wherein the predetermined mobile object is a person who is not riding on a vehicle.
この第16の態様は、前記所定の移動体の例を挙げたものである。乗物に乗っていない人と自転車(人が乗っている自転車)とは一般的に判別が困難であるが、前記第1乃至前記第15の態様では、そのような判別も容易となる。 In the sixteenth aspect, an example of the predetermined moving body is given. Although it is generally difficult to distinguish between a person who is not riding on a vehicle and a bicycle (a bicycle on which a person is riding), in the first to fifteenth aspects, such a distinction is also facilitated.
第17の態様による移動体検出装置は、前記第16の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段を備えたものである。 A moving object detection device according to a seventeenth aspect is the vehicle detecting device according to the sixteenth aspect, further comprising: a vehicle determining unit configured to determine whether the moving region obtained by the moving region obtaining unit is a vehicle. Things.
この第17の態様によれば、自動車も判別して検出することができる。 According to the seventeenth aspect, the automobile can be also determined and detected.
第18の態様による移動体検出装置は、前記第16又は第17の態様において、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段を備えたものである。 The mobile object detection apparatus according to an eighteenth aspect is the mobile object detection device according to the sixteenth or seventeenth aspect, which determines whether or not the mobile object area obtained by the mobile object area obtaining means is a motorcycle having a motor. It is provided with a two-wheeled vehicle judging means.
この第18の態様によれば、原動機を備えた二輪車も判別して検出することができる。 According to the eighteenth aspect, a two-wheeled vehicle equipped with a prime mover can also be determined and detected.
第19の態様による移動体検出装置は、前記第1乃至第18のいずれかの態様において、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられるものである。 The moving object detection device according to a nineteenth aspect, according to any one of the first to eighteenth aspects, uses the same moving object as the moving object region of each of the images presumed to be caused by the same moving object. And the moving body region of each image that satisfies a predetermined condition is used.
この第19の態様によれば、判定手段は移動体領域のうち所定条件を満たすものについて所定の移動体であるか否かを判定するので、前記判定手段は、前記所定条件を満たさずに前記所定の移動体である可能性がない移動体領域については、前記移動体領域の時間経過に従った形状変化に基づく判定を行わずに済む。 According to the nineteenth aspect, the determining means determines whether or not a moving body area that satisfies a predetermined condition is a predetermined moving body. Therefore, the determining means does not satisfy the predetermined condition and does not satisfy the predetermined condition. For a moving object region that is not likely to be a predetermined moving object, it is not necessary to make a determination based on a shape change of the moving object region over time.
第20の態様による移動体検出装置は、前記第16の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段と、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、を備え、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定するものである。 The mobile object detection device according to a twentieth aspect is the vehicle determination device according to the sixteenth aspect, wherein the mobile object region obtained by the mobile object region acquisition device is determined by an automobile. A motorcycle determining means for determining whether or not the moving body area obtained by the moving body area obtaining means is based on a motorcycle equipped with a prime mover, wherein each of the images estimated to be from the same moving body. The moving body region of each image which is estimated to be from the same moving body and satisfies a predetermined condition is used as the moving body region, and the predetermined condition is that the moving body region is determined by the vehicle And that the two-wheeled vehicle judging means has judged that the moving body region is not a two-wheeled vehicle. If it is determined that not a person not on the one in which the movable body is determined to be a bicycle.
この第20の態様によれば、前記撮像手段が、乗物に乗っていない人と自転車の他に、自動車や原動機を備えた二輪車を撮像し得る場合であっても、それらを判別して検出することができる。 According to the twentieth aspect, even in a case where the imaging unit can capture an image of an automobile or a motorcycle equipped with a motor, in addition to a person and a bicycle who are not riding on a vehicle, the imaging unit determines and detects them. be able to.
本発明によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人(歩行者等)などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, without performing pattern matching of the image using the dictionary of template images, a predetermined moving body, such as a person (pedestrian, etc.) who is not riding in a vehicle, can be accurately separated from other moving bodies. It is possible to provide a moving object detection device capable of determining and detecting.
以下、本発明による移動体検出装置について、図面を参照して説明する。 Hereinafter, a moving object detection device according to the present invention will be described with reference to the drawings.
[第1の実施の形態] [First Embodiment]
図1は、本発明の第1の実施の形態による移動体検出装置を示す概略ブロック図である。 FIG. 1 is a schematic block diagram showing a moving object detection device according to a first embodiment of the present invention.
本実施の形態による移動体検出装置は、図1に示すように、所定領域を撮像する撮像手段としてのテレビカメラ1と、テレビカメラ1からの画像信号をA/D変換して画像メモリ3にサンプリングして取り込み、このサンプリングされた画像に基づいて処理を行って検出対象となる移動体を他の移動体から判別して検出する処理部2と、前記画像メモリ3とを備えている。なお、図面には示していないが、処理部2は、A/D変換器の他、後述する動作を実現するように、例えば、マイクロコンピュータ及び他の電子回路等で構成されている。 As shown in FIG. 1, the moving object detection device according to the present embodiment includes a television camera 1 as an imaging unit that captures an image of a predetermined area, and A / D conversion of an image signal from the television camera 1 to an image memory 3. The image memory 3 includes a processing unit 2 that samples and captures and performs processing based on the sampled image to determine a moving object to be detected from other moving objects and detects the moving object. Although not shown in the drawings, the processing unit 2 includes, for example, a microcomputer and other electronic circuits so as to realize the operation described later, in addition to the A / D converter.
本実施の形態による移動体検出装置は、具体的には、自転車の走行が禁止されている歩道において、人が乗っている自転車(以下、単に「自転車」という場合がある。)を、乗物に乗っていない人(以下、「歩行者等」という場合がある。)から判別して検出するように構成されている。歩行者等には、歩行者の他にジョガーやランナーも含まれる。処理部2から出力される自転車を検出した旨を示す自転車検出信号は、例えば、図示しない警報装置において、当該歩道を走行する自転車に対して警報(例えば、自転車はこの歩道を走行してはならない旨の音声)を発生するために用いられる。 Specifically, the moving object detection device according to the present embodiment converts a bicycle on which a person rides (hereinafter, may be simply referred to as a “bicycle”) into a vehicle on a sidewalk where traveling of the bicycle is prohibited. It is configured to be distinguished and detected from a person who is not riding (hereinafter, may be referred to as “pedestrian or the like”). Pedestrians include joggers and runners in addition to pedestrians. The bicycle detection signal output from the processing unit 2 and indicating that a bicycle has been detected is output, for example, by an alarm device (not shown) to an alarm for the bicycle running on the sidewalk (for example, the bicycle must not run on this sidewalk). This is used to generate a voice to the effect.
図2は、テレビカメラ1により撮像された画像の例を模式的に示す概略図である。本実施の形態では、図面には示していないが、テレビカメラ1は、自転車の走行が禁止されている歩道を含む領域を撮像するように、歩道の斜め上方に設置されている。図2において、11は自転車の走行が禁止されている歩道の像、12は車道の像、13は歩行者等の像、14は人が乗っている自転車の像である。 FIG. 2 is a schematic diagram schematically illustrating an example of an image captured by the television camera 1. In the present embodiment, although not shown in the drawings, the television camera 1 is installed diagonally above the sidewalk so as to capture an image of an area including the sidewalk where running of the bicycle is prohibited. In FIG. 2, reference numeral 11 denotes an image of a sidewalk where running of a bicycle is prohibited, 12 denotes an image of a road, 13 denotes an image of a pedestrian or the like, and 14 denotes an image of a bicycle on which a person is riding.
図2に示すように、互いに直交するX軸及びY軸を定義する。X軸方向のうち矢印の向きを+X方向又は+X側又は右側、その反対の向きを−X方向又は−X側又は左側と呼び、+X方向のX座標の値は大きく、−X方向のX座標の値は小さく、Y軸についても同様である。本実施の形態では、テレビカメラ1による画像は長方形をなし、その長辺方向がX軸方向と一致し、その短辺方向がY軸方向と一致している。図2からわかるように、テレビカメラ1により撮像される画像の中心を通る前記画像中のY軸方向の直線(図示せず)は、ほぼ鉛直方向に対応する方向に延びている。これにより、本実施の形態では、X軸方向が、テレビカメラ1により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度がほぼ90゜の角度をなす方向になっている。X軸方向が、テレビカメラ1により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が45゜以上の角度をなす方向となるように、テレビカメラ1を設置することが、歩行者等の腕の振りによる形状変化を感度良く捉えるために好ましい。 As shown in FIG. 2, an X axis and a Y axis that are orthogonal to each other are defined. The direction of the arrow in the X-axis direction is referred to as + X direction or + X side or right side, and the opposite direction is referred to as -X direction or -X side or left side. The value of the X coordinate in the + X direction is large, and the X coordinate in the -X direction is large. Is small, and the same applies to the Y axis. In the present embodiment, the image obtained by the television camera 1 has a rectangular shape, the long side direction of the image coincides with the X-axis direction, and the short side direction of the image coincides with the Y-axis direction. As can be seen from FIG. 2, a straight line (not shown) in the Y-axis direction in the image passing through the center of the image captured by the television camera 1 extends in a direction substantially corresponding to the vertical direction. Accordingly, in the present embodiment, the smaller angle of the X-axis direction with respect to the straight line in the image passing through the center of the image captured by the television camera 1 and extending in the direction corresponding to the vertical direction is approximately 90 degrees. The direction is at an angle of ゜. The X-axis direction is such that a smaller angle with respect to a straight line in the image passing through the center of the image captured by the television camera 1 and extending in a direction corresponding to the vertical direction forms an angle of 45 ° or more. In addition, it is preferable to install the television camera 1 in order to detect the shape change due to the swing of the arm of the pedestrian or the like with high sensitivity.
次に、本実施の形態による移動体検出装置の動作について、図3及び図4を参照して説明する。 Next, the operation of the moving object detection device according to the present embodiment will be described with reference to FIGS.
図3は、図1に示す移動体検出装置の動作の一部を示す概略フローチャートである。図4は、図1に示す移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 3 is a schematic flowchart showing a part of the operation of the moving object detection device shown in FIG. FIG. 4 is a schematic flowchart showing the remaining part of the operation of the moving object detection device shown in FIG.
本実施の形態による移動体検出装置では、動作を開始すると、まず、処理部2は、初期の背景画像を作成する(ステップS1)。具体的には、処理部2は、例えば、歩行者等や自転車などの移動体が存在しない状態でテレビカメラ1により撮像された画像をサンプリングして画像メモリ3に取り込み、この画像を初期の背景画像とする。 In the moving object detection device according to the present embodiment, when the operation is started, first, the processing unit 2 creates an initial background image (step S1). Specifically, for example, the processing unit 2 samples an image captured by the television camera 1 in a state where no moving object such as a pedestrian or a bicycle is present, loads the image into the image memory 3, and stores the image in the initial background. Images.
以下の説明において、背景画像は、ステップS21で更新されるまでは、ステップS1で作成された初期の背景画像を意味し、ステップS21で更新された後には、ステップS21で最新に更新された背景画像を意味する。 In the following description, the background image means the initial background image created in step S1 until it is updated in step S21, and after the background image is updated in step S21, the background image that has been updated latest in step S21. Means an image.
次に、処理部2は、テレビカメラ1からの現在の画像をサンプリングして画像メモリ3に取り込む(ステップS2)。このステップS2で最新にサンプリングされた画像を、現画像と呼ぶ。なお、本実施の形態では、テレビカメラ1は所定のフレームレート(例えば、30fps)で順次撮像し、ステップS2の後に以下に説明する処理を経てステップS2に戻ることを繰り返すが、ステップS2間で行われる処理は1フレーム周期内に終了し、各回のステップS2で、テレビカメラ1で所定のフレームレートで順次撮像される1フレームずつが順次取り込まれるようなっている。もっとも、本発明では必ずしもこれに限らない。 Next, the processing unit 2 samples the current image from the television camera 1 and takes it into the image memory 3 (step S2). The image most recently sampled in step S2 is called the current image. In the present embodiment, the television camera 1 sequentially captures images at a predetermined frame rate (for example, 30 fps), and after step S2, returns to step S2 through the processing described below is repeated. The processing to be performed is completed within one frame period, and in each step S2, one frame sequentially captured by the television camera 1 at a predetermined frame rate is sequentially captured. However, the present invention is not necessarily limited to this.
なお、本実施の形態では、テレビカメラ1により撮像された画像の全領域を後述する処理の対象とするが、撮像画像中に検出すべき移動体(本実施の形態では、歩道上の自転車)が存在し得ない領域がある場合には、その領域をマスク処理して後述する処理の対象から除外してもよい。 In the present embodiment, the entire area of the image captured by the television camera 1 is a target to be described later, but a moving object to be detected in the captured image (a bicycle on a sidewalk in the present embodiment) If there is an area where cannot exist, the area may be masked and excluded from the processing described below.
次いで、処理部2は、現画像と背景画像との差分画像(背景差分画像)を作成し(ステップS3)、この背景差分画像を所定閾値で2値化する(ステップS4)。ここでは、2値化後の背景差分画像において、現画像の画素と背景画像の画素との差が大きい画素は黒画素となるものとする。したがって、移動体が存在する箇所の画素は黒画素となる。なお、背景差分画像の2値化に用いる閾値は、固定閾値でもよいし、例えば判別分析法などによる可変閾値でもよい。 Next, the processing unit 2 creates a difference image (background difference image) between the current image and the background image (Step S3), and binarizes the background difference image with a predetermined threshold (Step S4). Here, in the binarized background difference image, a pixel having a large difference between a pixel of the current image and a pixel of the background image is a black pixel. Therefore, the pixel where the moving object exists is a black pixel. The threshold value used for binarizing the background difference image may be a fixed threshold value or a variable threshold value by, for example, a discriminant analysis method.
図5は、ステップS4で2値化された差分画像中の実際の移動体領域の各具体例を示す図である。図5(a)は、あるフレームの2値化された差分画像中の歩行者の像を示している。図5(b)は、他のフレームの2値化された差分画像中の同じ歩行者の像を示している。図5(a)に示す像では当該歩行者は歩行動作に従って左手及び右足を前に出しているのに対し、図5(b)に示す像では当該歩行者は歩行動作に従って右手及び左足を前に出している。図5(c)は、あるフレームの2値化された差分画像中の人が乗っている自転車の像を示している。 FIG. 5 is a diagram illustrating each specific example of the actual moving body region in the difference image binarized in step S4. FIG. 5A shows an image of a pedestrian in a binarized difference image of a certain frame. FIG. 5B shows an image of the same pedestrian in the binarized difference image of another frame. In the image shown in FIG. 5A, the pedestrian puts his left hand and right foot forward in accordance with the walking motion, whereas in the image shown in FIG. 5B, the pedestrian raises his right hand and left foot in accordance with the walking motion. It is put out. FIG. 5C shows an image of a bicycle on which a person is riding in the binarized difference image of a certain frame.
引き続いて、処理部2は、ステップS4で得られた2値化後の背景差分画像に対してラベリングを行う(ステップS5)。 Subsequently, the processing unit 2 performs labeling on the binarized background difference image obtained in step S4 (step S5).
その後、処理部2は、ステップS5でラベリングされた各ラベル領域のうち所定の大きさ以上のラベル領域のみを、それぞれ移動体領域として判別する(ステップS6)。あまりに小さいラベル領域は、移動体ではなくノイズ等であるので、本実施の形態のように、ラベル領域の大きさで移動体領域を選別することが好ましい。もっとも、処理部2は、ステップS6を行う代わりに、ラベル領域の大きさに拘わらず、全てのラベル領域をそれぞれ移動体領域として判別してもよい。なお、ステップS6で判別される移動体領域は1つに限らない。なお、ステップS6で所定の大きさ以上のラベル領域が存在しない場合には、ステップS2へ戻るが、その図示は省略している。 After that, the processing unit 2 determines only a label area having a predetermined size or more among the label areas labeled in step S5 as a moving body area (step S6). Since a label area that is too small is not a moving body but a noise or the like, it is preferable to select a moving body area based on the size of the label area as in the present embodiment. Of course, instead of performing step S6, the processing unit 2 may determine all the label areas as the moving body areas regardless of the size of the label area. Note that the number of moving object areas determined in step S6 is not limited to one. If there is no label area larger than the predetermined size in step S6, the process returns to step S2, but illustration is omitted.
次に、処理部2は、ステップS6で判別された移動体領域のうち、当該ステップS7で今回未だ選択されていない1つの移動体領域を選択する(ステップS7)。 Next, the processing unit 2 selects one moving body area that has not been selected this time in step S7 from among the moving body areas determined in step S6 (step S7).
次いで、処理部2は、ステップS7で最新に選択された移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第1の値として、当該移動体領域の左側面積比率を算出する(ステップS8)。ここでは、左側面積比率は、当該移動体領域の画素のうちもっとも小さいX座標を有する画素の当該X座標をx1とし、当該移動体領域の画素のうちもっとも大きいX座標を有する画素の当該X座標をx2とするとき、当該移動体領域の画素のうちx1から[{(x2−x1)×0.5}+x1]までのX座標を有する画素の数を、当該移動体領域の全画素数で除算した値である。前記左側面積比率は、必ずしもこれに限らず、例えば、当該移動体領域の画素のうちx1から[{(x2−x1)×0.4}+x1]までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちx1から[{(x2−x1)×0.6}+x1]までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、αを小さい値としたとき、当該移動体領域の画素のうちの(x1+α)から[{(x2−x1)×0.5}+x1]までのX座標を有する画素の数を、当該移動体領域の全画素数で除算した値でもよい。前記第1の値は、前記左側面積比率に限らず、例えば、前記左側面積比率に比例定数を乗算した値や、前記左側面積比率の逆数などでもよい。 Next, the processing unit 2 determines the ratio of the area of the partial area on one side in the predetermined direction in the mobile object area to the area of the entire area of the mobile object area in the mobile object area most recently selected in step S7. As the first value, a left area ratio of the moving body region is calculated (step S8). Here, the left area ratio is defined as x1 of the pixel having the smallest X coordinate among the pixels of the moving body region, and the X coordinate of the pixel having the largest X coordinate among the pixels of the moving body region. Is defined as x2, the number of pixels having an X coordinate from x1 to [{(x2-x1) × 0.5} + x1] among the pixels of the moving body region is represented by the total number of pixels of the moving body region. This is the divided value. The left side area ratio is not necessarily limited to this. For example, the number of pixels having an X coordinate from x1 to [{(x2−x1) × 0.4} + x1] among the pixels of the moving body region is determined by the shift. The value may be a value obtained by dividing by the total number of pixels of the body region, or the number of pixels having an X coordinate from x1 to [{(x2-x1) × 0.6} + x1] among the pixels of the moving body region may be moved. The value may be divided by the total number of pixels in the body region, or when α is a small value, from (x1 + α) to [{(x2-x1) × 0.5} + x1] of the pixels in the moving body region May be a value obtained by dividing the number of pixels having the X coordinate by the total number of pixels in the moving body region. The first value is not limited to the left area ratio, and may be, for example, a value obtained by multiplying the left area ratio by a proportional constant, or a reciprocal of the left area ratio.
また、前記第1の値は、当該移動体領域の右側面積比率でもよいし、前記右側面積比率に比例定数を乗算した値や、前記右側面積比率の逆数などでもよい。前記右側面積比率は、当該移動体領域の画素のうちの[{(x2−x1)×0.5}+x1]からx2までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの[{(x2−x1)×0.4}+x1]からx2までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの[{(x2−x1)×0.6}+x1]からx2までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの[{(x2−x1)×0.5}+x1]から(x2−α)までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよい。 Further, the first value may be a right area ratio of the moving body region, a value obtained by multiplying the right area ratio by a proportional constant, or a reciprocal of the right area ratio. The right side area ratio is obtained by dividing the number of pixels having an X coordinate from [{(x2-x1) × 0.5} + x1] to x2 among the pixels of the moving body region by the total number of pixels of the moving body region. The divided value may be used, or the number of pixels having an X coordinate from [{(x2−x1) × 0.4} + x1] to x2 among the pixels of the moving body region may be calculated as the total number of pixels of the moving body region. Or the number of pixels having an X coordinate from [{(x2−x1) × 0.6} + x1] to x2 among the pixels of the moving body region is calculated as the total number of pixels of the moving body region. The value obtained by dividing by the number may be used, or the number of pixels having the X coordinate from [{(x2-x1) × 0.5} + x1] to (x2-α) among the pixels in the moving body region may be moved. A value obtained by dividing by the total number of pixels of the body region may be used.
図6は、テレビカメラ1により撮像された各フレームと、当該フレームの2値化された差分画像中の同一の歩行者を示す移動体領域の左側面積比率(左比率)及び右側面積比率(右比率)との関係の実際の一例を示す図であり、実験により得たものである。図7は、撮像された各フレームと、当該フレームの2値化された差分画像中の同一の人が乗っている自転車を示す移動体領域の左側面積比率(左比率)及び右側面積比率(右比率)との関係の実際の一例を示す図であり、実験により得たものである。図6及び図7中の横軸の数値pのフレームは、この実験で30fpsで順次得たフレームのうちのp番目のフレームを示している。例えば、図6中の横軸の数値「400」のフレームは、この実験で30fpsで順次得たフレームのうちの400番目のフレームを示している。 FIG. 6 shows a left area ratio (left ratio) and a right area ratio (right ratio) of each frame captured by the television camera 1 and a moving object region indicating the same pedestrian in the binarized difference image of the frame. FIG. 4 is a diagram showing an actual example of the relationship with the ratio (ratio), which is obtained by an experiment. FIG. 7 shows a left area ratio (left ratio) and a right area ratio (right) of each captured frame and a moving object region indicating a bicycle on which the same person is riding in the binarized difference image of the frame. FIG. 4 is a diagram showing an actual example of the relationship with the ratio (ratio), which is obtained by an experiment. The frames of the numerical value p on the horizontal axis in FIGS. 6 and 7 indicate the p-th frame among the frames sequentially obtained at 30 fps in this experiment. For example, the frame with the numerical value “400” on the horizontal axis in FIG. 6 indicates the 400th frame among the frames sequentially obtained at 30 fps in this experiment.
図6及び図7において、左側面積比率(左比率)は、ステップS8で算出されるものと同様に、当該移動体領域の画素のうちx1から[{(x2−x1)×0.5}+x1]までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。また、図6及び図7において、右側面積比率(右比率)は、当該移動体領域の画素のうち[{(x2−x1)×0.5}+x1]からx2までのX座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。よって、同一フレームの左側面積比率(左比率)と右側面積比率(右比率)との和は、1となっている。 6 and 7, the left side area ratio (left ratio) is calculated from x1 to [{(x2−x1) × 0.5} + x1 among the pixels of the moving body region, similarly to the one calculated in step S8. ] Is divided by the total number of pixels in the moving body area. In FIGS. 6 and 7, the right area ratio (right ratio) is a value of a pixel having an X coordinate from [{(x2-x1) × 0.5} + x1] to x2 among the pixels of the moving body region. The number was set to a value obtained by dividing the number by the total number of pixels in the moving body area. Therefore, the sum of the left area ratio (left ratio) and the right area ratio (right ratio) of the same frame is 1.
図6からわかるように、移動体が歩行者である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することが判明した。これは、移動体が歩行者である場合には、その歩行動作に従って、図5(a)のように左手及び右足を前に出している状態と図5(b)のように右手及び左足を前に出す状態(特に腕の振り)を、周期的に繰り返すことによるものであることが判明した。移動体が歩行者ではなくジョガーやランナーであっても、移動体が乗物に乗っていない人である場合には、腕の振りによって左側面積比率及び右側面積比率はそれぞれ周期的に上下する。 As can be seen from FIG. 6, when the moving body is a pedestrian, the left side area ratio and the right side area ratio periodically rise and fall. This means that when the moving body is a pedestrian, the left hand and the right foot are put forward as shown in FIG. 5A and the right hand and the left foot are put out as shown in FIG. It turned out that this was caused by periodically repeating the state brought forward (especially the swing of the arm). Even if the moving body is not a pedestrian but a jogger or a runner, if the moving body is a person who is not riding on a vehicle, the left area ratio and the right area ratio periodically rise and fall due to the swing of the arm.
一方、図7からわかるように、移動体が人が乗っている自転車である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することはないことが判明した。これは、図5(c)に示すような姿勢を保って腕を振ることがないことによるものであることが判明した。 On the other hand, as can be seen from FIG. 7, when the moving object is a bicycle on which a person is riding, it has been found that the left area ratio and the right area ratio do not periodically rise and fall. It has been found that this is because the arm is not shaken while maintaining the posture as shown in FIG.
このように、移動体が歩行者等である場合と人が乗っている自転車である場合とで、その移動体による移動体領域の時間経過に従った形状変化に差異が生じて、前記第1の値の変化に差異が生じ、左側面積比率又は右側面積比率が周期的に上下するか否かが異なる。したがって、左側面積比率又は右側面積比率が周期的に上下するか否かによって、当該移動体領域の移動体が歩行者等であるか人が乗っている自転車であるかを判別することができる。 As described above, when the moving body is a pedestrian or the like and when a person is riding a bicycle, a change occurs in the shape of the moving body region over time due to the moving body. Is different in whether the left side area ratio or the right side area ratio periodically rises and falls. Therefore, whether the moving object in the moving object region is a pedestrian or the like or a bicycle on which a person is riding can be determined based on whether the left area ratio or the right area ratio periodically rises and falls.
図6及び図7からわかるように、左側面積比率及び右側面積比率はノイズによる影響を受け易い。これに対し、図6に示すデータを処理して得た図8、及び、図7に示すデータを処理して得た図9では、ノイズの影響を低減することができることが判明した。図8は、撮像された各フレームと、当該フレームまでの最新の10フレームの同一の歩行者を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図6に示すデータから算出されたものである。図9は、撮像された各フレームと、当該フレームまでの最新の10フレームの同一の人が乗っている自転車を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図7に示すデータから算出されたものである。例えば、図8における400番目のフレームの左側面積比率平均(左比率平均)は、図6における391番目から400番目までのフレームの左側面積比率(10個の左側面積比率)の平均値であり、図8における400番目のフレームの右側面積比率平均(右比率平均)は、図6における391番目から400番目までのフレームの右側面積比率(10個の右側面積比率)の平均値である。例えば、図9における250番目のフレームの左側面積比率平均(左比率平均)は、図7における241番目から250番目までのフレームの左側面積比率(10個の左側面積比率)の平均値であり、図8における250番目のフレームの右側面積比率平均(右比率平均)は、図9における241番目から250番目までのフレームの右側面積比率(10個の右側面積比率)の平均値である。 As can be seen from FIGS. 6 and 7, the left area ratio and the right area ratio are easily affected by noise. On the other hand, in FIG. 8 obtained by processing the data shown in FIG. 6 and FIG. 9 obtained by processing the data shown in FIG. 7, it was found that the influence of noise can be reduced. FIG. 8 is an actual example of a relationship between each captured frame and the average value of the left side area ratio and the average value of the right side area ratio of the moving object region indicating the same pedestrian in the latest 10 frames up to the frame. 7 is calculated from the data shown in FIG. FIG. 9 shows the relationship between each imaged frame and the average value of the left-side area ratio and the average value of the right-side area ratio of the moving body region indicating the bicycle on which the same person is riding in the latest 10 frames up to the frame. FIG. 8 is a diagram showing an actual example of the above, which is calculated from the data shown in FIG. For example, the left area ratio average (left ratio average) of the 400th frame in FIG. 8 is an average value of the left area ratio (10 left area ratios) of the 391st to 400th frames in FIG. The right area ratio average (right ratio average) of the 400th frame in FIG. 8 is an average value of the right area ratio (10 right area ratios) of the 391st to 400th frames in FIG. For example, the left area ratio average (left ratio average) of the 250th frame in FIG. 9 is an average value of the left area ratio (10 left area ratios) of the 241st to 250th frames in FIG. The right area ratio average (right ratio average) of the 250th frame in FIG. 8 is an average value of the right area ratio (10 right area ratios) of the 241st to 250th frames in FIG.
図8及び図9では、このように10個の比率の平均値を得ているが、2個以上の比率の平均値を得れば、ノイズの影響を低減することができる。もっとも、平均する比率の個数があまりに多ければ、人が乗っている自転車に関する左側面積比率又は右側面積比率の時間経過に従った周期的な上下が現れ難くなってしまう。したがって、平均する比率の個数(後述する値M)は、ノイズの影響の低減効果及び周期的な上下の顕在化の両方を考慮して適宜定めればよい。 In FIGS. 8 and 9, the average value of the ten ratios is obtained as described above. However, if the average value of the two or more ratios is obtained, the influence of noise can be reduced. However, if the number of ratios to be averaged is too large, it becomes difficult for the left side area ratio or the right side area ratio of the bicycle on which a person rides to appear periodically up and down over time. Therefore, the number of ratios to be averaged (value M to be described later) may be determined as appropriate in consideration of both the effect of reducing the influence of noise and the periodic upward and downward manifestation.
ステップS8の後に、処理部2は、ステップS7で最新に選択された移動体領域と同一の移動体によるものと推定される前回の画像(前回のステップS2で取り込まれた画像)の移動体領域が、存在するか否かを判定する(ステップS9)。例えば、今回の画像中のステップS7で最新に選択された移動体領域の中心座標と前回の画像中の移動体領域の中心座標との間を距離を求め、その距離が所定の距離以下である場合に両者の移動体領域は同一の移動体によるものであると推定するものとし、ステップS9の判定は、具体的には、例えば、今回の画像中のステップS7で最新に選択された移動体領域の中心座標に対して所定距離内に位置する中心座標を持つ前回の画像中の移動体領域が存在するか否かによって判定することができる。もっとも、両者の移動体領域が同一の移動体によるものと推定されるか否かの判定手法は、これに限らない。 After step S8, the processing unit 2 sets the moving object region of the previous image (the image captured in the previous step S2) estimated to be caused by the same moving object as the moving object region most recently selected in step S7. Is determined (step S9). For example, a distance is determined between the center coordinates of the moving object region most recently selected in step S7 in the current image and the center coordinates of the moving object region in the previous image, and the distance is equal to or less than a predetermined distance. In this case, it is assumed that both moving object regions are based on the same moving object. Specifically, the determination in step S9 is, for example, the moving object selected latest in step S7 in the current image. The determination can be made based on whether or not there is a moving body region in the previous image having the center coordinates located within a predetermined distance from the center coordinates of the region. However, the method of determining whether or not both moving object regions are estimated to be caused by the same moving object is not limited to this.
ステップS9で存在しないと判定されると、処理部2は、当該移動体に関するカウント値m,nを0にした(ステップS10)後に、当該移動体に関するカウント値mを1だけインクリメントする(ステップS11)。一方、ステップS9で存在すると判定されると、処理部2は、ステップS10を経ることなくステップS11へ移行して、当該移動体に関するカウント値mを1だけインクリメントする。したがって、カウント値mは、同一の移動体についての追跡回数(撮像画像数)を示すことになる。カウント値nは、後述するように、同一の移動体についてステップS13で算出された左側面積比率の平均値の数を示すことになる。なお、カウント値m,nは、移動体毎に設けられる。 If it is determined in step S9 that the moving object does not exist, the processing unit 2 sets the count values m and n of the moving object to 0 (step S10), and then increments the count value m of the moving object by 1 (step S11). ). On the other hand, when it is determined in step S9 that the moving object exists, the processing unit 2 proceeds to step S11 without going through step S10, and increments the count value m of the moving object by one. Therefore, the count value m indicates the number of times of tracking (the number of captured images) for the same moving object. The count value n indicates the number of average values of the left area ratios calculated in step S13 for the same moving object, as described later. Note that the count values m and n are provided for each moving object.
ステップS11の後、処理部2は、当該移動体に関するカウント値mが所定値M以上であるか否かを判定する(ステップS12)。前述したように、所定値Mは、平均する左側面積比率の個数を示し、ノイズの影響の低減効果及び人が乗っている自転車についての周期的な上下の顕在化の両方を考慮して、2以上の任意の値に設定され、例えば10とされる。 After step S11, the processing unit 2 determines whether or not the count value m of the moving object is equal to or greater than a predetermined value M (step S12). As described above, the predetermined value M indicates the number of left side area ratios to be averaged, and is 2 in consideration of both the effect of reducing the effect of noise and the periodic up and down manifestation of a bicycle on which a person is riding. The value is set to an arbitrary value as described above, and is set to, for example, 10.
ステップS12で所定値M以上であると判定されると、ステップS13へ移行する一方、ステップS12で所定値M以上ではないと判定されると、ステップS20へ移行する。 If it is determined in step S12 that the value is not less than the predetermined value M, the process proceeds to step S13. On the other hand, if it is determined in step S12 that the value is not more than the predetermined value M, the process proceeds to step S20.
ステップS13において、処理部2は、当該移動体について、ステップS7で最新に選択された移動体領域までの時系列順のM個の移動体領域の各々について求められた前記第1の値の平均値(本実施の形態では、左側面積比率平均)に応じた第2の値として、その左側面積比率平均を算出する。例えば、M=10であり、ステップS7で最新に選択された移動体領域が図6中の400番目のフレームの画像中の移動体領域(歩行者による移動体領域)である場合には、ステップS13において、処理部2は、図6における391番目から400番目までのフレームの左側面積比率(10個の左側面積比率)の平均値(図8における400番目のフレームの左側面積比率平均)を算出する。また、例えば、M=10であり、ステップS7で最新に選択された移動体領域が図7中の250番目のフレームの画像中の移動体領域(人が乗っている自転車による移動体領域)である場合には、ステップS13において、処理部2は、図7における241番目から250番目までのフレームの左側面積比率(10個の左側面積比率)の平均値(図9における250番目のフレームの左側面積比率平均)を算出する。なお、前記第2の値は、前記左側面積比率平均に限らず、例えば、前記左側面積比率平均に比例定数を乗算した値や、前記左側面積比率平均の逆数などでもよい。 In step S13, the processing unit 2 calculates, for the mobile object, an average of the first values obtained for each of the M mobile object regions in chronological order up to the mobile object region most recently selected in step S7. As the second value corresponding to the value (in the present embodiment, the left area ratio average), the left area ratio average is calculated. For example, if M = 10 and the moving object area most recently selected in step S7 is the moving object area (moving object area by pedestrian) in the image of the 400th frame in FIG. In S13, the processing unit 2 calculates the average value of the left area ratios (the ten left area ratios) of the 391st to 400th frames in FIG. 6 (the average of the left area ratios of the 400th frame in FIG. 8). I do. Also, for example, M = 10, and the moving object region most recently selected in step S7 is the moving object region (the moving object region of a bicycle on which a person is riding) in the image of the 250th frame in FIG. In some cases, in step S13, the processing unit 2 determines the average value of the left side area ratios (the ten left side area ratios) of the 241st to 250th frames in FIG. 7 (the left side of the 250th frame in FIG. 9). Area average). The second value is not limited to the average of the left area ratios, and may be, for example, a value obtained by multiplying the average of the left area ratios by a proportional constant, or a reciprocal of the average of the left area ratios.
次に、処理部2は、当該移動体に関するカウント値nを1だけインクリメントする(ステップS14)。したがって、カウント値nは、同一の移動体についてステップS13で算出された左側面積比率の平均値の数を示すことになる。 Next, the processing unit 2 increments the count value n of the moving object by 1 (step S14). Therefore, the count value n indicates the number of average values of the left area ratios calculated for the same moving object in step S13.
次いで、処理部2は、当該移動体に関するカウント値nが所定値N以上であるか否かを判定する(ステップS15)。この所定値Nは、ステップS13で算出された平均値の時間的な変化を調べる範囲を定める値であり、例えば、70にされる。例えば、図8や図9において、Nフレーム分の範囲について、ステップS13で算出された平均値の時間的な変化を、ステップS17で調べることになる。 Next, the processing unit 2 determines whether or not the count value n of the moving object is equal to or greater than a predetermined value N (Step S15). The predetermined value N is a value that determines a range in which a temporal change in the average value calculated in step S13 is checked, and is set to, for example, 70. For example, in FIG. 8 and FIG. 9, a temporal change in the average value calculated in step S13 for the range of N frames is checked in step S17.
ステップS15で所定値N以上であると判定されると、ステップS16へ移行する一方、ステップS15で所定値N以上ではないと判定されると、ステップS20へ移行する。 If it is determined in step S15 that the value is not less than the predetermined value N, the process proceeds to step S16. On the other hand, if it is determined in step S15 that the value is not more than the predetermined value N, the process proceeds to step S20.
ステップS16において、処理部2は、当該移動体について、各ステップS13で求められた最新までのN個の左側面積比率平均の平均値を、基準値として算出する。 In step S16, the processing unit 2 calculates, as a reference value, the average value of the average of the N left area ratios up to the latest obtained in each step S13 for the moving object.
引き続いて、処理部2は、当該移動体について各ステップS13で求められた最新までのN個の左側面積比率平均の時系列が、ステップS16で最新に算出された基準値に対して上下に交差する数cを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める(ステップS17)。例えば、N=70であり、ステップS7で最新に選択された移動体領域が図8中の400番目のフレームの画像中の移動体領域(歩行者による移動体領域)である場合には、図8中の331番目のフレームから400番目のフレームまでの70個の左側面積比率平均の時系列が、その70個の左側面積比率平均の平均値である基準値に対して上下に交差する数cを、指標値として求める。また、例えば、N=70であり、ステップS7で最新に選択された移動体領域が図9中の290番目のフレームの画像中の移動体領域(人が乗っている自転車による移動体領域)である場合には、図9中の221番目のフレームから290番目のフレームまでの70個の左側面積比率平均の時系列が、その70個の左側面積比率平均の平均値である基準値に対して上下に交差する数cを、指標値として求める。なお、ステップS17で用いる基準値は、ステップS16で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップS16を取り除き、ステップS15でYESの場合は直ちにステップS17へ移行すればよい。 Subsequently, the processing unit 2 determines that the time series of the average of the N left area ratios up to the latest obtained in each step S13 for the mobile object intersects the reference value calculated latest in the step S16 up and down. The number c to be obtained is obtained as an index value indicating a state of the shape change of the moving body region with time (step S17). For example, if N = 70 and the moving object region most recently selected in step S7 is the moving object region (moving object region by pedestrian) in the image of the 400th frame in FIG. 8, the number c in which the time series of the 70 left area ratio averages from the 331st frame to the 400th frame vertically intersects the reference value which is the average of the 70 left area ratio averages Is obtained as an index value. Also, for example, N = 70, and the moving object region most recently selected in step S7 is the moving object region (the moving object region of a bicycle on which a person is riding) in the image of the 290th frame in FIG. In some cases, the time series of the average of the 70 left area ratios from the 221st frame to the 290th frame in FIG. 9 is compared with the reference value that is the average of the 70 left area ratio averages. The number c intersecting vertically is obtained as an index value. The reference value used in step S17 is not limited to the reference value calculated in step S16, and may be a predetermined constant value. In this case, step S16 may be removed, and if YES in step S15, the process may immediately proceed to step S17.
なお、ステップS17で求める指標値は、前述した例に限らず、例えば、当該移動体について各ステップS13で求められた最新までのN個の左側面積比率平均の時系列が、ステップS16で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップS17で求める指標値は、例えば、当該移動体について各ステップS13で求められた最新までのN個の左側面積比率平均の時系列の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップS18でその数が所定数以上であるか否かを判定することになる。 Note that the index value obtained in step S17 is not limited to the example described above. For example, the time series of the average of the N left area ratios up to the latest obtained in step S13 for the moving object is updated in step S16. The number of intersections from the bottom to the top with respect to the calculated reference value or the number of intersections from the top to the bottom may be obtained as an index value indicating a state of a shape change of the moving body region over time. In addition, the index value obtained in step S17 is, for example, the number of local maximums, the number of local minimums, or the sum of the time series of the average of the N left area ratios up to the latest obtained in step S13 for the moving object. It may be a number. In these cases, it is determined in step S18 whether the number is equal to or more than a predetermined number.
ステップS17の後、処理部2は、ステップS17で最新に求められた数cが所定数C以上であるか否かを判定する(ステップS18)。この所定数Cは、左側面積比率平均が周期的に上下するか否かを判別するための閾値である。ステップS18の判定によって、図8に示すような左側面積比率平均の変化と図9に示すような左側面積比率平均の変化とが判別され、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。 After step S17, the processing unit 2 determines whether or not the number c obtained latest in step S17 is equal to or greater than a predetermined number C (step S18). This predetermined number C is a threshold value for determining whether or not the left side area ratio average periodically rises and falls. By the determination in step S18, a change in the average of the left area ratio as shown in FIG. 8 and a change in the average of the left area ratio as shown in FIG. 9 are determined, and whether the moving object is a pedestrian or the like is used. It is determined whether the bicycle is present.
ステップS18で所定数C以上である(すなわち、当該移動体が歩行者等である)と判定されると、ステップS20へ移行する。一方、ステップS18で所定数C以上ではない(すなわち、当該移動体が人が乗っている自転車である)と判定されると、処理部2は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した(ステップS19)後に、ステップS20へ移行する。なお、ステップS18で所定数C以上であると判定された場合、処理部2は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップS20へ移行してもよい。 If it is determined in step S18 that the number is equal to or larger than the predetermined number C (that is, the moving body is a pedestrian or the like), the process proceeds to step S20. On the other hand, when it is determined in step S18 that the number is not equal to or more than the predetermined number C (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S19), the process proceeds to step S20. If it is determined in step S18 that the number is equal to or greater than the predetermined number C, the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected, if necessary, and then proceeds to step S20. May be.
ステップS20において、処理部2は、ステップS6で最新に判別された移動体領域の全てについてステップS7の選択が終了したか否かを判定し、終了していなければステップS7へ戻り、終了していればステップS21を経てステップS2へ戻る。 In step S20, the processing unit 2 determines whether or not the selection in step S7 has been completed for all of the moving object regions determined latest in step S6, and if not completed, returns to step S7 and ends. If so, the process returns to step S2 via step S21.
ステップS21において、処理部2は背景画像を更新する。具体的には、例えば、現在の背景画像をf(t−1)とし、更新後の背景画像をf(t)とし、ステップS2で最新にサンプリングされた画像(現画像)をg(t)とし、βを0<β<1を満たす重み係数であるとすると、ステップS6で最新に判別された移動体領域については、f(t)=f(t−1)とし、ステップS6で最新に判別された移動体領域以外の領域については、f(t)=βf(t−1)+(1−β)g(t)とすればよい。なお、本実施の形態では、ステップS2で現画像が得られる度にステップS21で背景画像の更新が行われることになるが、必ずしもこれに限らない。 In step S21, the processing unit 2 updates the background image. More specifically, for example, the current background image is f (t-1), the updated background image is f (t), and the image (current image) most recently sampled in step S2 is g (t). Assuming that β is a weight coefficient satisfying 0 <β <1, f (t) = f (t−1) is set for the moving object region most recently determined in step S6, and the latest is determined in step S6. For regions other than the determined moving object region, f (t) = βf (t−1) + (1−β) g (t) may be set. In the present embodiment, the background image is updated in step S21 every time the current image is obtained in step S2, but is not limited to this.
本実施の形態による移動体検出装置によれば、自転車の走行が禁止されている歩道において、人が乗っている自転車を、歩行者等から判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部2から出力される自転車検出信号に応答して、図示しない警報装置から当該歩道を走行する自転車に対して警報(例えば、自転車はこの歩道を走行してはならない旨の音声)を発生させることができる。 According to the moving object detection device of the present embodiment, a bicycle on which a person is riding can be detected and detected from a pedestrian or the like on a sidewalk where traveling of the bicycle is prohibited. For example, in response to a bicycle detection signal output from the processing unit 2 of the moving object detection device according to the present embodiment, a warning device (not shown) warns a bicycle running on the sidewalk (for example, the bicycle (A voice notifying that the vehicle must not run).
本実施の形態によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、ステップS18で前記移動体が歩行者等であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。 According to the present embodiment, the moving body is a pedestrian or the like in step S18 based on a shape change of the moving body area of each of the images estimated to be caused by the same moving body over time. Therefore, it is possible to determine and detect a pedestrian or the like and a bicycle on which a person is riding with high accuracy without performing pattern matching of images using a dictionary of template images.
また、本実施の形態によれば、ステップS17で前記形状変化の様子を示す指標値を得て、ステップS18でこの指標値に基づいて前記移動体が歩行者等であるか否かを判定するので、前記移動体が歩行者等であるか否かの判定をより容易に行うことができる。 Further, according to the present embodiment, an index value indicating the state of the shape change is obtained in step S17, and it is determined whether the moving body is a pedestrian or the like based on the index value in step S18. Therefore, it is possible to more easily determine whether the moving object is a pedestrian or the like.
[第2の実施の形態] [Second embodiment]
図10は、本発明の第2の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図11は、本発明の第2の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 10 is a schematic flowchart showing a part of the operation of the moving object detection device according to the second embodiment of the present invention. FIG. 11 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the second embodiment of the present invention.
本実施の形態による移動体検出装置が前記第1の実施の形態による移動体検出装置と異なる所は、図3及び図4に示す動作に代えて、図10及び図11に示す動作を行う点である。 The difference between the mobile object detection device according to the present embodiment and the mobile object detection device according to the first embodiment is that the operation illustrated in FIGS. 10 and 11 is performed instead of the operation illustrated in FIGS. It is.
図10及び図11に示す動作が図3及び図4に示す動作と異なる所は、主に、図3及び図4に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図10及び図11に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図10及び図11に示す動作について、具体的に説明する。 The operation shown in FIGS. 10 and 11 is different from the operation shown in FIGS. 3 and 4 mainly in the operation shown in FIGS. 3 and 4 in that the influence of noise is obtained by using the average value of the average of the left side area ratios. 10 and 11, the operation shown in FIGS. 10 and 11 is to reduce the influence of noise by using the approximate curve of the average of the left side area ratios. Hereinafter, the operation shown in FIGS. 10 and 11 will be specifically described.
本実施の形態による移動体検出装置では、動作を開始すると、処理部2は、ステップS31〜S39において、前述したステップS1〜S9とそれぞれ同一の処理を行う。 In the moving object detection device according to the present embodiment, when the operation is started, the processing unit 2 performs the same processing in steps S31 to S39 as steps S1 to S9 described above.
ステップS39で存在しないと判定されると、処理部2は、当該移動体に関するカウント値kを0にした(ステップS40)後に、当該移動体に関するカウント値kを1だけインクリメントする(ステップS41)。一方、ステップS39で存在すると判定されると、処理部2は、ステップS40を経ることなくステップS41へ移行して、当該移動体に関するカウント値kを1だけインクリメントする。したがって、カウント値kは、同一の移動体についての追跡回数(撮像画像数)を示すことになる。なお、カウント値kは、移動体毎に設けられる。 If it is determined in step S39 that the moving object does not exist, the processing unit 2 sets the count value k of the moving object to 0 (step S40), and then increments the count value k of the moving object by 1 (step S41). On the other hand, if it is determined in step S39 that the moving object exists, the processing unit 2 proceeds to step S41 without going through step S40, and increments the count value k for the moving body by one. Therefore, the count value k indicates the number of times of tracking (the number of captured images) for the same moving object. Note that the count value k is provided for each moving object.
ステップS41の後、処理部2は、当該移動体に関するカウント値kが所定値K以上であるか否かを判定する(ステップS42)。この所定値Kは、ステップS38で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、70にされる。例えば、図6や図7において、Kフレーム分の範囲について、ステップS38で算出された左側面積比率の近似曲線の時間的な変化を、ステップS45で調べることになる。 After step S41, the processing unit 2 determines whether or not the count value k of the moving object is equal to or greater than a predetermined value K (step S42). The predetermined value K is a value that defines a range in which a temporal change in the left area ratio calculated in step S38 is checked, and is set to, for example, 70. For example, in FIG. 6 and FIG. 7, the temporal change of the approximate curve of the left area ratio calculated in step S38 for the range of K frames is examined in step S45.
ステップS42で所定値K以上であると判定されると、ステップS43へ移行する一方、ステップS42で所定値K以上ではないと判定されると、ステップS48へ移行する。 If it is determined in step S42 that the value is equal to or more than the predetermined value K, the process proceeds to step S43. If it is determined that the value is not equal to or more than the predetermined value K in step S42, the process proceeds to step S48.
ステップS43において、処理部2は、当該移動体について、ステップS37で最新に選択された移動体領域までの時系列順のK個の移動体領域の各々について求められた前記第1の値(本実施の形態では、左側面積比率)の近似曲線を取得する。この近似曲線は公知の種々の手法で得ることができる。 In step S43, the processing unit 2 determines, for the moving object, the first value (the present value) obtained for each of the K moving object regions in chronological order up to the moving object region most recently selected in step S37. In the embodiment, an approximate curve of the left side area ratio is obtained. This approximate curve can be obtained by various known methods.
その後、処理部2は、当該移動体について、ステップS37で最新に選択された移動体領域までの時系列順のK個の移動体領域の各々について求められた前記第1の値(本実施の形態では、左側面積比率)の平均値を、基準値として算出する(ステップS44)。 Thereafter, the processing unit 2 determines, for the mobile object, the first value (for the present embodiment) obtained for each of the K mobile object regions in chronological order up to the mobile object region selected most recently in step S37. In the embodiment, the average value of the left side area ratio) is calculated as a reference value (step S44).
引き続いて、処理部2は、当該移動体についてステップS43で最新に求められた近似曲線が、ステップS44で最新に算出された基準値に対して上下に交差する数dを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める(ステップS45)。なお、ステップS45で用いる基準値は、ステップS44で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップS44を取り除き、ステップS43の後に直ちにステップS45へ移行すればよい。 Subsequently, the processing unit 2 calculates the number d at which the approximate curve most recently obtained in step S43 of the moving object vertically intersects with the reference value most recently calculated in step S44, of the moving object region. It is obtained as an index value indicating the state of the shape change with the passage of time (step S45). The reference value used in step S45 is not limited to the reference value calculated in step S44, but may be a predetermined constant value. In this case, step S44 may be removed, and the process may proceed to step S45 immediately after step S43.
なお、ステップS45で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップS43で最新に求められた近似曲線が、ステップS44で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップS45で求める指標値は、例えば、当該移動体についてステップS43で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップS46でその数が所定数以上であるか否かを判定することになる。 Note that the index value obtained in step S45 is not limited to the example described above. For example, the approximate curve obtained latest in step S43 for the moving object is determined from below the reference value calculated latest in step S44. The number of intersections from above or the number of intersections from above to below may be obtained as an index value indicating a state of a shape change of the moving body region over time. In addition, the index value obtained in step S45 may be, for example, the number of local maximums, the number of local minimums, or the total number of the approximate curves most recently obtained in step S43 for the moving object. In these cases, it is determined in step S46 whether the number is equal to or more than a predetermined number.
ステップS45の後、処理部2は、ステップS45で最新に求められた数dが所定数D以上であるか否かを判定する(ステップS46)。この所定数Dは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップS46の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。 After step S45, the processing unit 2 determines whether or not the number d obtained latest in step S45 is equal to or greater than a predetermined number D (step S46). This predetermined number D is a threshold value for determining whether or not the approximate curve rises and falls periodically. By the determination in step S46, it is determined whether the moving object is a pedestrian or the like or a bicycle on which a person is riding.
ステップS46で所定数D以上である(すなわち、当該移動体が歩行者等である)と判定されると、ステップS48へ移行する。一方、ステップS46で所定数D以上ではない(すなわち、当該移動体が人が乗っている自転車である)と判定されると、処理部2は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した(ステップS47)後に、ステップS48へ移行する。なお、ステップS46で所定数D以上であると判定された場合、処理部2は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップS48へ移行してもよい。 If it is determined in step S46 that the number is equal to or more than the predetermined number D (that is, the moving body is a pedestrian or the like), the process proceeds to step S48. On the other hand, when it is determined in step S46 that the number is not equal to or greater than the predetermined number D (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S47), the process proceeds to step S48. If it is determined in step S46 that the number is equal to or greater than the predetermined number D, the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected, if necessary, and then proceeds to step S48. May be.
ステップS48において、処理部2は、ステップS36で最新に判別された移動体領域の全てについてステップS37の選択が終了したか否かを判定し、終了していなければステップS37へ戻り、終了していればステップS49を経てステップS32へ戻る。ステップS49において、処理部2は、前述したステップS21と同様に、背景画像を更新する。 In step S48, the processing unit 2 determines whether or not the selection in step S37 has been completed for all of the moving object regions determined latest in step S36. If not, the process returns to step S37 and ends. Then, the process returns to step S32 via step S49. In step S49, the processing unit 2 updates the background image as in step S21 described above.
本実施の形態によっても、前記第1の実施の形態と同様の利点が得られる。 According to this embodiment, advantages similar to those of the first embodiment can be obtained.
[第3の実施の形態] [Third Embodiment]
図12は、本発明の第3の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図13は、本発明の第3の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 12 is a schematic flowchart showing a part of the operation of the moving object detection device according to the third embodiment of the present invention. FIG. 13 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the third embodiment of the present invention.
本実施の形態による移動体検出装置が前記第1の実施の形態による移動体検出装置と異なる所は、テレビカメラ1が高速道路の入口などを撮像するように設置されている点と、図3及び図4に示す動作に代えて、図12及び図13に示す動作を行い、移動体として、歩行者等、人が乗っている自転車、自動車、及び、原動機を備えた二輪車(以下、「自動二輪車」と呼ぶ。)を互いに判別して検出する点である。以下に、図12及び図13に示す動作について、説明する。 The difference between the mobile object detection device according to the present embodiment and the mobile object detection device according to the first embodiment is that the TV camera 1 is installed so as to capture an entrance of an expressway and the like. 12 and 13 are performed in place of the operation shown in FIG. 4 and FIG. 4, and as a moving object, a bicycle, a car, and a motorcycle equipped with a motor, This is referred to as “motorcycle”). The operation shown in FIGS. 12 and 13 will be described below.
本実施の形態による移動体検出装置では、動作を開始すると、処理部2は、ステップS51〜S57において、前述したステップS1〜S7とそれぞれ同一の処理を行う。 In the moving object detection device according to the present embodiment, when the operation is started, the processing unit 2 performs the same processing in steps S51 to S57 as steps S1 to S7 described above.
次に、処理部2は、ステップS57で最新に選択された移動体領域について、当該移動体領域の画像中の面積S及び位置を算出する(ステップS58)。同じ移動体であっても、撮像画像中ではテレビカメラ1に近いほど大きく映る。そこで、本実施の形態では、後述するステップS59,S61において当該移動体領域の面積Sに基づいて自動車や自動二輪車を他の移動体から判別するために、ステップS58において当該移動体領域の画像中の面積Sの他に当該移動体領域の画像中の位置も算出している。本実施の形態では、図面には示していないが、テレビカメラ1からの移動体の遠近方向が略々Y軸方向と一致している。このため、本実施の形態では、ステップS58において、当該移動体領域の画像中の位置として、当該移動体領域の画像中の中心のY座標位置yを算出する。もっとも、必要に応じて、例えばXY座標位置を算出してもよい。この場合、後述する判別用基準値はXY座標位置のパラメータとして予め定めておけばよい。 Next, the processing unit 2 calculates an area S and a position in the image of the moving object region most recently selected in step S57 (step S58). Even in the case of the same moving object, the closer to the TV camera 1 in the captured image, the larger the image. Therefore, in the present embodiment, in order to discriminate an automobile or a motorcycle from other moving objects based on the area S of the moving object region in steps S59 and S61 described later, an image of the moving object region is determined in step S58. In addition to the area S, the position of the moving body region in the image is calculated. In the present embodiment, although not shown in the drawings, the direction in which the moving object is far from the television camera 1 substantially coincides with the Y-axis direction. For this reason, in the present embodiment, in step S58, the Y coordinate position y of the center of the moving body region in the image is calculated as the position of the moving body region in the image. However, if necessary, for example, the XY coordinate position may be calculated. In this case, a reference value for determination described later may be determined in advance as a parameter of the XY coordinate position.
図14は、各移動体を示す移動体領域の画像中の位置(Y座標位置y)と、各移動体を示す移動体領域の画像中の面積S及び判別用基準値S1(y),S2(y)との関係の実際の一例を示す図であり、実験により得たものである。図14の横軸はY座標位置yを示し、図14ではyの値が大きい程テレビカメラ1に近いものとしている。図14の縦軸は、移動体領域の画像中の面積Sとしての、当該移動体領域の画素数を示している。図14には、歩行者の面積、人が乗った自転車の面積、「原付」(原動機を備えた二輪車のうち、50cc以下の原動機を備えた二輪車)の面積、「自動2輪」(「原付」以外の原動機を備えた二輪車)の面積、自動車の面積が示されている。図14において、歩行者の面積と人が乗った自転車の面積とはほぼ同じであり、両者は重なってしまい、両者を判別することは困難である。図14に示すように、同じY座標位置yでは、歩行者の面積及び人が乗った自転車の面積に対して、「原付」の面積、「自動2輪」の面積及び自動車の面積の順に大きくなっている。図14において、判別用基準値S1(y)は、各Y座標位置yにおいて自動車の面積と「自動2輪」の面積とを判別するための基準値であり、各Y座標位置yにおける自動車の面積と「自動2輪」の面積とのほぼ平均値となっている。判別用基準値S2(y)は、各Y座標位置yにおいて「原付」の面積と歩行者の面積及び人が乗った自転車の面積とを判別するための基準値であり、各Y座標位置yにおける「原付」の面積と歩行者の面積又は人が乗った自転車の面積とのほぼ平均値となっている。なお、判別用基準値S1(y),S2(y)は、テレビカメラ1の設置場所等に応じて、図14に示すような実験データから予め求めておき、yを変数とする式の形式又はルックアップテーブルの形式などで、処理部2のメモリ等に格納しておけばよい。 FIG. 14 shows the position (Y-coordinate position y) of the moving object region indicating each moving object in the image, the area S of the moving object region indicating each moving object in the image, and the reference values S1 (y) and S2 for determination. It is a figure which shows an actual example of the relationship with (y), and is obtained by experiment. The horizontal axis in FIG. 14 indicates the Y coordinate position y. In FIG. 14, the larger the value of y, the closer to the television camera 1. The vertical axis in FIG. 14 indicates the number of pixels of the moving body region as the area S in the image of the moving body region. FIG. 14 shows the area of a pedestrian, the area of a bicycle on which a person rides, the area of a “moped” (a motorcycle having a motor of 50 cc or less among motorcycles having a motor), an area of “motorcycle” (“motorized”). ), And the area of a motor vehicle. In FIG. 14, the area of a pedestrian is almost the same as the area of a bicycle on which a person rides, and the two overlap, making it difficult to distinguish them. As shown in FIG. 14, at the same Y coordinate position y, the area of the “moped”, the area of the “motorcycle”, and the area of the car increase in the order of the area of the pedestrian and the area of the bicycle on which the person rides. Has become. In FIG. 14, a reference value for discrimination S1 (y) is a reference value for discriminating the area of the vehicle and the area of the "motorcycle" at each Y coordinate position y. The average value of the area and the area of the "motorcycle" is almost the average. The discrimination reference value S2 (y) is a reference value for discriminating the area of “moped”, the area of a pedestrian, and the area of a bicycle on which a person rides at each Y coordinate position y. The average value of the area of the “moped” and the area of the pedestrian or the area of the bicycle on which the person rides is shown. Note that the reference values S1 (y) and S2 (y) for discrimination are obtained in advance from experimental data as shown in FIG. Alternatively, it may be stored in a memory or the like of the processing unit 2 in the form of a lookup table.
ステップS58の後に、処理部2は、ステップS58で最新に算出された当該移動体領域の面積Sが、ステップS58で最新に算出された当該移動体領域の位置yでの判別用基準値S1(y)以上であるか否かを判定する(ステップS59)。この判別用基準値S1(y)は、当該移動体領域が自動車によるものであるか否かを判別するための閾値となる。このステップS59は、当該移動体領域が自動車によるものであるか否かを判定する自動車判定手段に相当している。もっとも、自動車判定手段はこれに限らない。 After step S58, the processing unit 2 determines that the area S of the moving body region most recently calculated in step S58 is equal to the reference value S1 for determination at the position y of the moving body region most recently calculated in step S58 ( y) It is determined whether or not it is equal to or greater than (step S59). This determination reference value S1 (y) is a threshold value for determining whether or not the moving object area is due to an automobile. This step S59 corresponds to a vehicle judging means for judging whether or not the moving body region is caused by a car. However, the vehicle determination means is not limited to this.
ステップS59で判別用基準値S1(y)以上である(すなわち、当該移動体が自動車である)と判定されると、処理部2は、自動車を検出した旨を示す自動車検出信号を出力した(ステップS60)後に、ステップS76へ移行する。一方、ステップS59で判別用基準値S1(y)以上ではないと判定されると、ステップS61へ移行する。 When it is determined in step S59 that the value is equal to or more than the determination reference value S1 (y) (that is, the moving body is an automobile), the processing unit 2 outputs an automobile detection signal indicating that the automobile has been detected ( After step S60), the process proceeds to step S76. On the other hand, if it is determined in step S59 that the difference is not equal to or larger than the determination reference value S1 (y), the process proceeds to step S61.
ステップS61において、処理部2は、ステップS58で最新に算出された当該移動体領域の面積Sが、ステップS58で最新に算出された当該移動体領域の位置yでの判別用基準値S2(y)以上であるか否かを判定する。この判別用基準値S2(y)は、当該移動体領域が自動二輪車(原動機を備えた二輪車であり、「原付」及び「自動2輪」を含む。)によるものであるか否かを判別するための閾値となる。ステップS59,S61は全体として、当該移動体領域が自動二輪車によるものであるか否かを判定する二輪車判定手段に相当している。もっとも、二輪車判定手段はこれに限らない。 In step S61, the processing unit 2 determines that the area S of the moving body region calculated latest in step S58 is the reference value S2 (y for discrimination at the position y of the moving body region calculated latest in step S58. ) It is determined whether or not it is above. This determination reference value S2 (y) determines whether or not the moving object area is based on a motorcycle (a motorcycle equipped with a motor and includes a “motorcycle” and a “motorcycle”). Threshold value for Steps S59 and S61 as a whole correspond to motorcycle determination means for determining whether or not the moving object area is based on a motorcycle. However, the motorcycle determination means is not limited to this.
ステップS61で判別用基準値S2(y)以上である(すなわち、当該移動体が自動二輪車である)と判定されると、処理部2は、自動二輪車を検出した旨を示す自動二輪車検出信号を出力した(ステップS62)後に、ステップS76へ移行する。一方、ステップS61で判別用基準値S2(y)以上ではないと判定されると、ステップS63へ移行する。 When it is determined in step S61 that the value is equal to or greater than the determination reference value S2 (y) (that is, the moving object is a motorcycle), the processing unit 2 outputs a motorcycle detection signal indicating that the motorcycle has been detected. After the output (step S62), the process proceeds to step S76. On the other hand, if it is determined in step S61 that the difference is not more than the reference value for determination S2 (y), the process proceeds to step S63.
処理部2は、ステップS63〜S73において、前述したステップS8〜S18とそれぞれ同一の処理を行う。 In steps S63 to S73, the processing unit 2 performs the same processing as steps S8 to S18 described above.
ステップS73で所定数C以上である(すなわち、当該移動体が歩行者等である)と判定されると、処理部2は、歩行者等を検出した旨を示す歩行者等検出信号を出力した(ステップS74)後に、ステップS76へ移行する。一方、ステップS73で所定数C以上ではない(すなわち、当該移動体が人が乗っている自転車である)と判定されると、処理部2は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した(ステップS75)後に、ステップS76へ移行する。 When it is determined in step S73 that the number is equal to or more than the predetermined number C (that is, the moving body is a pedestrian or the like), the processing unit 2 outputs a pedestrian or the like detection signal indicating that a pedestrian or the like has been detected. After (step S74), the process moves to step S76. On the other hand, when it is determined in step S73 that the number is not equal to or greater than the predetermined number C (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S75), the process proceeds to step S76.
ステップS76において、処理部2は、ステップS56で最新に判別された移動体領域の全てについてステップS57の選択が終了したか否かを判定し、終了していなければステップS57へ戻り、終了していればステップS77を経てステップS52へ戻る。ステップS77において、処理部2は、前述したステップS21と同様に、背景画像を更新する。 In step S76, the processing unit 2 determines whether or not the selection in step S57 has been completed for all of the moving object areas determined latest in step S56, and if not completed, returns to step S57 and ends. If so, the process returns to step S52 via step S77. In step S77, the processing unit 2 updates the background image as in step S21 described above.
本実施の形態によれば、前記第1の実施の形態と同様に、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。 According to the present embodiment, as in the first embodiment, a pedestrian or the like and a bicycle on which a person is riding can be accurately determined without performing pattern matching of images using a dictionary of template images. It can be determined and detected.
また、本実施の形態による移動体検出装置によれば、高速道路の入口などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部2から出力される自動車検出信号、自動二輪車検出信号、歩行者等検出信号及び自転車検出信号は、交通管制センターに送られ、高速道路の管理等に役立てられる。例えば、交通管制センターは、歩行者等検出信号や自転車検出信号に応答して、交通機動隊等へ指示を発することで、高速道路に誤って進入した歩行者や自転車を迅速に保護することができる。 Further, according to the moving object detection device according to the present embodiment, at the entrance of a highway or the like, a moving object, such as a pedestrian, a bicycle, a car, and a motorcycle on which a person is riding is discriminated and detected. be able to. For example, an automobile detection signal, a motorcycle detection signal, a pedestrian detection signal, and a bicycle detection signal output from the processing unit 2 of the moving object detection device according to the present embodiment are sent to a traffic control center to manage a highway. Etc. are useful. For example, a traffic control center responds to a pedestrian detection signal or a bicycle detection signal to issue an instruction to a traffic riot police or the like, thereby quickly protecting a pedestrian or a bicycle accidentally entering an expressway. it can.
なお、本実施の形態による移動体検出装置は、例えば、交差点などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出するために用いてもよい。 Note that the moving object detection device according to the present embodiment is used for distinguishing and detecting bicycles, automobiles, and motorcycles on which people are riding, such as pedestrians, at intersections, for example, as moving objects. You may.
[第4の実施の形態] [Fourth Embodiment]
図15は、本発明の第4の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図16は、本発明の第4の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 15 is a schematic flowchart showing a part of the operation of the moving object detection device according to the fourth embodiment of the present invention. FIG. 16 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the fourth embodiment of the present invention.
本実施の形態による移動体検出装置が前記第3の実施の形態による移動体検出装置と異なる所は、図12及び図13に示す動作に代えて、図15及び図16に示す動作を行う点である。 The moving object detecting apparatus according to the present embodiment is different from the moving object detecting apparatus according to the third embodiment in that the operation shown in FIGS. 15 and 16 is performed instead of the operation shown in FIGS. It is.
図15及び図16に示す動作が図12及び図13に示す動作と異なる所は、主に、図12及び図13に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図15及び図16に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図15及び図16に示す動作について、具体的に説明する。 The operation shown in FIGS. 15 and 16 is different from the operation shown in FIGS. 12 and 13 mainly in the operation shown in FIGS. 12 and 13 by using the average value of the average of the left area ratios. 15 and FIG. 16, the effect shown in FIGS. 15 and 16 is that the influence of noise is reduced by using the approximate curve of the average of the left side area ratios. Hereinafter, the operation shown in FIGS. 15 and 16 will be specifically described.
本実施の形態による移動体検出装置では、動作を開始すると、処理部2は、ステップS81〜S94において、前述したステップS51〜S64それぞれ同一の処理を行う。ただし、ステップS90の後にステップS104へ移行し、ステップS92の後にステップS104へ移行する。 In the moving object detection device according to the present embodiment, when the operation is started, the processing unit 2 performs the same processing in steps S51 to S64 described above in steps S81 to S94. However, after step S90, the process proceeds to step S104, and after step S92, the process proceeds to step S104.
ステップS94で存在しないと判定されると、処理部2は、当該移動体に関するカウント値kを0にした(ステップS95)後に、当該移動体に関するカウント値kを1だけインクリメントする(ステップS96)。一方、ステップS94で存在すると判定されると、処理部2は、ステップS95を経ることなくステップS96へ移行して、当該移動体に関するカウント値kを1だけインクリメントする。したがって、カウント値kは、同一の移動体についての追跡回数(撮像画像数)を示すことになる。なお、カウント値kは、移動体毎に設けられる。 If it is determined in step S94 that the moving object does not exist, the processing unit 2 sets the count value k of the moving object to 0 (step S95), and then increments the count value k of the moving object by 1 (step S96). On the other hand, if it is determined in step S94 that the moving object exists, the processing unit 2 proceeds to step S96 without going through step S95, and increments the count value k for the moving body by one. Therefore, the count value k indicates the number of times of tracking (the number of captured images) for the same moving object. Note that the count value k is provided for each moving object.
ステップS96の後、処理部2は、当該移動体に関するカウント値kが所定値K以上であるか否かを判定する(ステップS97)。この所定値Kは、ステップS93で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、70にされる。例えば、図6や図7において、Kフレーム分の範囲について、ステップS93で算出された左側面積比率の近似曲線の時間的な変化を、ステップS100で調べることになる。 After step S96, the processing unit 2 determines whether or not the count value k for the moving object is equal to or greater than a predetermined value K (step S97). The predetermined value K is a value that defines a range in which a temporal change in the left side area ratio calculated in step S93 is checked, and is set to, for example, 70. For example, in FIG. 6 and FIG. 7, the temporal change of the approximate curve of the left area ratio calculated in step S93 for the range of K frames is examined in step S100.
ステップS97で所定値K以上であると判定されると、ステップS98へ移行する一方、ステップS97で所定値K以上ではないと判定されると、ステップS104へ移行する。 If it is determined in step S97 that the value is equal to or more than the predetermined value K, the process proceeds to step S98. If it is determined that the value is not equal to or more than the predetermined value K in step S97, the process proceeds to step S104.
ステップS98において、処理部2は、当該移動体について、ステップS57で最新に選択された移動体領域までの時系列順のK個の移動体領域の各々について求められた前記第1の値(本実施の形態では、左側面積比率)の近似曲線を取得する。 In step S98, the processing unit 2 determines, for the mobile object, the first value (this value) obtained for each of the K mobile object regions in time series up to the mobile object region most recently selected in step S57. In the embodiment, an approximate curve of the left side area ratio is obtained.
その後、処理部2は、当該移動体について、ステップS57で最新に選択された移動体領域までの時系列順のK個の移動体領域の各々について求められた前記第1の値(本実施の形態では、左側面積比率)の平均値を、基準値として算出する(ステップS99)。 Thereafter, the processing unit 2 determines, for the moving object, the first value (for this embodiment) obtained for each of the K moving object regions in chronological order up to the moving object region most recently selected in step S57. In the embodiment, the average value of the left side area ratio) is calculated as a reference value (step S99).
引き続いて、処理部2は、当該移動体についてステップS98で最新に求められた近似曲線が、ステップS99で最新に算出された基準値に対して上下に交差する数dを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める(ステップS100)。なお、ステップS100で用いる基準値は、ステップS99で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップS99を取り除き、ステップS98の後に直ちにステップS100へ移行すればよい。 Subsequently, the processing unit 2 calculates the number d of the approximate curve obtained at step S98 for the moving object that crosses up and down with respect to the reference value calculated latest at step S99. It is obtained as an index value indicating the state of the shape change over time (step S100). The reference value used in step S100 is not limited to the reference value calculated in step S99, and may be a predetermined constant value. In this case, step S99 may be removed, and the process may proceed to step S100 immediately after step S98.
なお、ステップS100で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップS98で最新に求められた近似曲線が、ステップS99で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップS100で求める指標値は、例えば、当該移動体についてステップS98で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップS101でその数が所定数以上であるか否かを判定することになる。 Note that the index value obtained in step S100 is not limited to the above-described example. For example, the approximate curve obtained latest in step S98 for the moving object is determined from below the reference value calculated latest in step S99. The number of intersections from above or the number of intersections from above to below may be obtained as an index value indicating a state of a shape change of the moving body region over time. Further, the index value obtained in step S100 may be, for example, the number of local maximums, the number of local minimums, or the total number of the approximate curves most recently obtained in step S98 for the moving object. In these cases, it is determined in step S101 whether the number is equal to or more than a predetermined number.
ステップS100の後、処理部2は、ステップS100で最新に求められた数dが所定数D以上であるか否かを判定する(ステップS101)。この所定数Dは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップS101の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。 After step S100, the processing unit 2 determines whether or not the number d obtained latest in step S100 is equal to or greater than a predetermined number D (step S101). This predetermined number D is a threshold value for determining whether or not the approximate curve rises and falls periodically. By the determination in step S101, it is determined whether the moving object is a pedestrian or the like or a bicycle on which a person is riding.
ステップS101で所定数D以上である(すなわち、当該移動体が歩行者等である)と判定されると、処理部2は、歩行者等を検出した旨を示す歩行者等検出信号を出力した(ステップS102)後に、ステップS104へ移行する。一方、ステップS101で所定数D以上ではない(すなわち、当該移動体が人が乗っている自転車である)と判定されると、処理部2は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した(ステップS103)後に、ステップS104へ移行する。 When it is determined in step S101 that the number is equal to or more than the predetermined number D (that is, the moving body is a pedestrian or the like), the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected. After (Step S102), the process proceeds to Step S104. On the other hand, if it is determined in step S101 that the number is not equal to or greater than the predetermined number D (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S103), the process proceeds to step S104.
ステップS104において、処理部2は、ステップS86で最新に判別された移動体領域の全てについてステップS87の選択が終了したか否かを判定し、終了していなければステップS87へ戻り、終了していればステップS105を経てステップS82へ戻る。ステップS105において、処理部2は、前述したステップS77と同様に、背景画像を更新する。 In step S104, the processing unit 2 determines whether or not the selection in step S87 has been completed for all of the moving object areas determined latest in step S86, and if not completed, returns to step S87 and ends. If so, the process returns to step S82 via step S105. In step S105, the processing unit 2 updates the background image as in step S77 described above.
本実施の形態によっても、前記第3の実施の形態と同様の利点が得られる。 According to this embodiment, advantages similar to those of the third embodiment can be obtained.
[第5の実施の形態] [Fifth Embodiment]
図3は、本発明の第5の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートでもある。図17は、本発明の第5の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 3 is also a schematic flowchart showing a part of the operation of the moving object detection device according to the fifth embodiment of the present invention. FIG. 17 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the fifth embodiment of the present invention.
本実施の形態による移動体検出装置が前記第1の実施の形態による移動体検出装置と異なる所は、テレビカメラ1が、歩行者等及びその他の任意の移動体(人が乗っている自転車、自動車及び自動二輪車のうちの少なくとも1種類の移動体)が通過する所定領域を撮像するように設定されている点と、図3及び図4に示す動作に代えて、図3及び図17に示す動作を行い、歩行者等のみを他の移動体から判別して検出する点である。 The difference between the moving object detecting device according to the present embodiment and the moving object detecting device according to the first embodiment is that the television camera 1 is provided with a pedestrian or the like and any other moving object (a bicycle on which a person is riding, 3 and FIG. 17 in place of the operation shown in FIG. 3 and FIG. 4 in that an image of a predetermined area through which at least one type of vehicle (automobile or motorcycle) passes is set. The point is that only the pedestrians and the like are distinguished from other moving objects and detected.
図3及び図17に示す動作が図3及び図4に示す動作と異なる所は、ステップS18で所定数C以上である(すなわち、当該移動体が歩行者等である)と判定されると、処理部2は、歩行者等を検出した旨を示す歩行者等検出信号を出力した(ステップS22)後に、ステップS20へ移行する一方で、ステップS18で所定数C以上ではない(すなわち、当該移動体が歩行者等ではない)と判定されると、直ちにステップS20へ移行する点のみである。 3 and FIG. 17 is different from the operation shown in FIG. 3 and FIG. 4 when it is determined in step S18 that the number is equal to or more than the predetermined number C (that is, the moving body is a pedestrian or the like). After outputting the pedestrian detection signal indicating that a pedestrian or the like has been detected (step S22), the processing unit 2 proceeds to step S20, but does not exceed the predetermined number C in step S18 (that is, the movement is not performed). If it is determined that the body is not a pedestrian or the like, the only point is that the process immediately proceeds to step S20.
本実施の形態によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等を他の移動体から高い精度で判別して検出することができる。
。
According to the present embodiment, a pedestrian or the like can be determined and detected with high accuracy from other moving objects without performing pattern matching of images using a dictionary of template images.
.
以上、本発明の各実施の形態及びその変形例について説明したが、本発明はこれらに限定されるものではない。例えば、本発明では、移動体の移動速度も考慮して当該移動体を判別して検出するようにしてもよい。 The embodiments of the present invention and the modifications thereof have been described above, but the present invention is not limited to these. For example, in the present invention, the moving body may be determined and detected in consideration of the moving speed of the moving body.
1 テレビカメラ
2 処理部
3 画像メモリ
1 TV camera 2 Processing unit 3 Image memory
Claims (18)
前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、
同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、
前記形状変化の様子を示す指標値を得る指標値取得手段と、
を備え、
前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定し、
前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第1の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第1の値の変化に基づいて前記指標値を取得する、
ことを特徴とする移動体検出装置。 Imaging means for imaging a predetermined area;
For each image obtained over time from the imaging means, a moving body area obtaining means for obtaining a moving body area in the image,
Determining means for determining whether or not the moving object is a predetermined moving object, based on a shape change of the moving object region of each image estimated to be caused by the same moving object over time;
Index value obtaining means for obtaining an index value indicating the state of the shape change,
With
The determining means determines whether the moving object is the predetermined moving object based on the index value,
The index value acquiring unit may include, for the moving body region of each of the images estimated to be caused by the same moving body, a partial region on one side in a predetermined direction in the moving body region with respect to the entire area of the moving body region A first value corresponding to the area ratio of the image is obtained, and the index value is obtained based on a change in the first value related to the moving body region of each image estimated to be caused by the same moving body. ,
A moving object detection device characterized by the above-mentioned.
ことを特徴とする請求項1記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. (Ii) a first calculating means for calculating a first value corresponding to a ratio of the area of the partial region, and (ii) the moving body region of each of the images estimated to be caused by the same moving body. (Iii) the same as the second calculation means for obtaining a second value corresponding to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to The time series of a second predetermined number of the second values up to the latest obtained by the second calculating means for the moving object region of each image estimated to be due to the moving object is a reference value. crosses from top to bottom or from bottom to top or vertically for And having a third calculation means for obtaining as the index value,
The moving object detection device according to claim 1, wherein:
ことを特徴とする請求項1記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. And (ii) the first calculation for the moving object region of each of the images estimated to be caused by the same moving object. approximate curve of the time series of a predetermined number of said first value to the most recent obtained by means of several intersecting the bottom or from the top from the bottom or up and down with respect to the reference value, as the index value And third computing means for determining
The moving object detection device according to claim 1, wherein:
ことを特徴とする請求項2乃至6のいずれかに記載の移動体検出装置。 The determination means determines, when the third number, which is more required for computation hand stage is equal to or more than a predetermined number, and the moving body is a predetermined moving object,
Moving object detection apparatus according to any one of claims 2 to 6, characterized in that.
ことを特徴とする請求項1記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. (Ii) a first calculating means for calculating a first value corresponding to a ratio of the area of the partial region, and (ii) the moving body region of each of the images estimated to be caused by the same moving body. (Iii) the same as the second calculation means for obtaining a second value corresponding to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to The maximum number of the time series of the second predetermined number of the second values up to the latest obtained by the second calculating means for the moving body region of each image estimated to be due to the moving body , The minimum number or the total number thereof as the index value And a third arithmetic means for obtaining, a,
The moving object detection device according to claim 1, wherein:
ことを特徴とする請求項1記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. And (ii) the first calculation for the moving object region of each of the images estimated to be caused by the same moving object. A third calculating means for obtaining, as the index value, the maximum number, the minimum number, or the total number of the maximum number, the minimum number, or the total number of the time-series approximation curves of the predetermined number of the first values up to the latest obtained by the means; Having,
The moving object detection device according to claim 1, wherein:
ことを特徴とする請求項8又は9記載の移動体検出装置。 The determination means determines, when the third number, which is more required for computation hand stage is equal to or more than a predetermined number, and the moving body is a predetermined moving object,
The moving object detection device according to claim 8 or 9, wherein
前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、
を備え、
同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、
前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、
前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定することを特徴とする請求項14記載の移動体検出装置。 Vehicle determining means for determining whether the moving body area obtained by the moving body area obtaining means is due to a car,
Two-wheeler determination means for determining whether or not the moving body area obtained by the moving body area acquisition means is based on a motorcycle having a motor.
With
As the moving object region of each image estimated to be due to the same moving object, the moving object region of each image estimated to be due to the same moving object and satisfying a predetermined condition is used,
The predetermined condition is a condition that the vehicle determining unit determines that the moving body region is not due to an automobile and the motorcycle determining unit determines that the moving body region is not a motorcycle.
15. The moving object detecting device according to claim 14 , wherein the determining unit determines that the moving object is a bicycle when determining that the moving object is not a person who does not ride on a vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015067747A JP6626623B2 (en) | 2015-03-27 | 2015-03-27 | Moving object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015067747A JP6626623B2 (en) | 2015-03-27 | 2015-03-27 | Moving object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016186780A JP2016186780A (en) | 2016-10-27 |
JP6626623B2 true JP6626623B2 (en) | 2019-12-25 |
Family
ID=57203315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015067747A Active JP6626623B2 (en) | 2015-03-27 | 2015-03-27 | Moving object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6626623B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019040389A (en) * | 2017-08-25 | 2019-03-14 | 独立行政法人自動車技術総合機構 | Obstacle detection device, obstacle detection method, and obstacle detection program |
JP2020013206A (en) * | 2018-07-13 | 2020-01-23 | 日本ユニシス株式会社 | Device for detecting two-wheeled vehicle from moving image/camera, program, and system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0750825A (en) * | 1993-05-24 | 1995-02-21 | Hideo Mori | Human being and animal monitor system |
JP4267171B2 (en) * | 1999-05-10 | 2009-05-27 | 本田技研工業株式会社 | Pedestrian detection device |
JP2003187248A (en) * | 2001-12-21 | 2003-07-04 | Mitsubishi Electric Corp | System and apparatus of image processing |
JP4470067B2 (en) * | 2007-08-07 | 2010-06-02 | 本田技研工業株式会社 | Object type determination device, vehicle |
JP4962304B2 (en) * | 2007-12-26 | 2012-06-27 | 株式会社豊田中央研究所 | Pedestrian detection device |
US20120147188A1 (en) * | 2009-09-03 | 2012-06-14 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP5692024B2 (en) * | 2011-11-28 | 2015-04-01 | トヨタ自動車株式会社 | Object change detection device and object change detection method |
JP6088381B2 (en) * | 2013-08-02 | 2017-03-01 | 株式会社日立国際電気 | Object search system |
-
2015
- 2015-03-27 JP JP2015067747A patent/JP6626623B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016186780A (en) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9805474B1 (en) | Pedestrian tracking at a traffic intersection to identify vulnerable roadway users for traffic signal timing, pedestrian safety, and traffic intersection control | |
US9460613B1 (en) | Pedestrian counting and detection at a traffic intersection based on object movement within a field of view | |
JP7025912B2 (en) | In-vehicle environment recognition device | |
US10081308B2 (en) | Image-based vehicle detection and distance measuring method and apparatus | |
EP2465092B1 (en) | Vehicle vicinity monitoring apparatus | |
US9449506B1 (en) | Pedestrian counting and detection at a traffic intersection based on location of vehicle zones | |
JP4104867B2 (en) | Night vision system | |
KR102099265B1 (en) | System and method for pedestrian-vehicle collision warning based on pedestrian state | |
JP6467798B2 (en) | Image processing apparatus, three-dimensional object detection method, three-dimensional object detection program, and moving object control system | |
JP5904925B2 (en) | Vehicle periphery monitoring device | |
WO2014050286A1 (en) | Mobile object recognition device | |
KR20090014124A (en) | Method and apparatus for evaluating an image | |
JP4937844B2 (en) | Pedestrian detection device | |
JP5530530B2 (en) | Vehicle periphery monitoring device | |
JP6626623B2 (en) | Moving object detection device | |
JP2020013206A (en) | Device for detecting two-wheeled vehicle from moving image/camera, program, and system | |
KR101958868B1 (en) | System for predicting pedestrian intention for vehicle in night time and method thereof | |
JP3839329B2 (en) | Night vision system | |
JP4823753B2 (en) | Vehicle periphery monitoring device | |
JP3844750B2 (en) | Infrared image recognition device and alarm device using infrared image recognition device | |
JP6569416B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method, and image processing program | |
JP5559121B2 (en) | Object type determination device | |
JPH03286398A (en) | Image processing type traffic flow measuring instrument | |
JP2006185432A (en) | Vehicle surroundings monitoring apparatus | |
CN116524453A (en) | Moving object detection device, moving object detection method, moving object detection system, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6626623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |