JP6626623B2

JP6626623B2 - Moving object detection device

Info

Publication number: JP6626623B2
Application number: JP2015067747A
Authority: JP
Inventors: 武頼前田; 知大内山; 大輔細谷
Original assignee: Koito Electric IndustriesLtd
Current assignee: Koito Electric IndustriesLtd
Priority date: 2015-03-27
Filing date: 2015-03-27
Publication date: 2019-12-25
Anticipated expiration: 2035-03-27
Also published as: JP2016186780A

Description

本発明は、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、他の移動体から判別して検出することができる移動体検出装置に関するものである。 The present invention relates to a moving object detection device that can detect a predetermined moving object such as a person (pedestrian or the like) who is not riding on a vehicle by distinguishing it from other moving objects.

下記特許文献１には、自転車や二輪車及びそれらの乗員と歩行者との判別精度を向上させた画像認識装置として、画像内の被写体を認識する画像認識装置において、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段と、被写体の移動速度を検出する移動速度検出手段と、前記移動速度検出手段で検出した被写体の移動速度に基づいて、複数の辞書中から前記認識手段において被写体認識のために利用する辞書を選択する辞書選択手段と、を備えた画像認識装置が、開示されている。 Japanese Patent Application Laid-Open No. H11-163873 discloses an image recognition device for recognizing a subject in an image as an image recognition device in which the accuracy of discriminating a bicycle or a motorcycle and their occupants and pedestrians is improved. By comparing the image area with a template image stored in a predetermined dictionary, a recognition unit for recognizing the subject, a moving speed detecting unit for detecting a moving speed of the subject, and the moving speed detecting unit detect the moving speed. There is disclosed an image recognition apparatus including: a dictionary selecting unit that selects a dictionary used for object recognition in the recognition unit from a plurality of dictionaries based on a moving speed of a subject.

特開２００７−２４９８４１号公報JP-A-2007-249841

しかしながら、前記従来の装置では、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段が用いられており、画像のパターンマッチングにより歩行者を自転車等から判別して検出するものであるため、画像のパターンマッチングの処理に多大な処理量を要する。 However, in the conventional apparatus, a recognition unit for recognizing a subject is used by comparing a partial image area including a subject in an image with a template image stored in a predetermined dictionary. Since a pedestrian is discriminated from a bicycle or the like and detected by the pattern matching described above, a large amount of processing is required for the image pattern matching processing.

本発明は、このような事情に鑑みてなされたもので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and without performing pattern matching of images using a dictionary of template images, a predetermined moving object such as a person (pedestrian or the like) not riding on a vehicle. It is an object of the present invention to provide a moving object detecting device capable of detecting the moving object with high accuracy from other moving objects.

前記課題を解決するための手段として、以下の各態様を提示する。第１の態様による移動体検出装置は、所定領域を撮像する撮像手段と、前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、を備えたものである。 The following aspects are presented as means for solving the above problems. The moving object detection device according to the first aspect includes an image pickup unit that picks up an image of a predetermined region, and, for each image obtained from the image pickup unit over time, a moving object region obtaining unit that obtains a moving object region in the image. Determining means for determining whether or not the moving body is a predetermined moving body based on a change in shape of the moving body area of each image estimated as being caused by a moving body over time. It is something.

この第１の態様によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる。 According to the first aspect, it is determined whether the moving object is a predetermined moving object based on a change in shape of the moving object region of each of the images estimated to be caused by the same moving object with time. Since it is determined whether or not a predetermined moving body such as a person (pedestrian or the like) who is not riding on a vehicle can be determined with high accuracy without performing pattern matching of images using a dictionary of template images. And can be detected.

第２の態様による移動体検出装置は、前記第１の態様において、前記形状変化の様子を示す指標値を得る指標値取得手段を備え、前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定するものである。 The moving object detection device according to a second aspect, in the first aspect, further includes an index value obtaining unit that obtains an index value indicating a state of the shape change, and the determination unit performs the movement based on the index value. It is to determine whether or not the body is the predetermined moving body.

この第２の態様によれば、前記形状変化の様子を示す指標値を得て、この指標値に基づいて前記移動体が前記所定の移動体であるか否かを判定するので、前記移動体が前記所定の移動体であるか否かの判定をより容易に行うことができる。 According to the second aspect, the index value indicating the state of the shape change is obtained, and it is determined whether the moving object is the predetermined moving object based on the index value. Can be more easily determined whether or not is the predetermined moving body.

第３の態様による移動体検出装置は、前記第２の態様において、前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第１の値の変化に基づいて前記指標値を取得するものである。 In the moving body detection device according to a third aspect, in the second aspect, the index value acquiring unit may include, for the moving body area of each image estimated to be caused by the same moving body, The first value corresponding to the ratio of the area of the partial region on one side in the predetermined direction in the moving object region to the area of the entire region is obtained, and the moving object of each image estimated to be caused by the same moving object is obtained. The index value is obtained based on a change in the first value for a region.

この第３の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する例を挙げたものである。 The third aspect is an example in which an index value is obtained using a first value corresponding to the area ratio.

第４の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第３の演算手段と、を有するものである。 In the moving object detection device according to a fourth aspect, in the third aspect, the index value acquiring unit may be configured to: (i) move the moving object area of each of the images estimated to be caused by the same moving object; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. For the moving object region of each image estimated as, according to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to the moving object region (Iii) a second calculating means for obtaining the second value, and (iii) the second to latest values obtained by the second calculating means for the moving body area of each of the images estimated to be caused by the same moving body. The time series of a predetermined number of 2 of the second values is The number of crossing from top to bottom or from bottom to top or up and down with respect to the reference value, and has a third arithmetic means for obtaining as the index value.

この第４の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の具体例を挙げたものである。 The fourth aspect is a specific example in which an index value is obtained using a first value corresponding to the area ratio.

第５の態様による移動体検出装置は、前記第４の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの前記第２の所定数の前記第２の値の平均値であるものである。 In the moving object detection device according to a fifth aspect, in the fourth aspect, the reference value is obtained by the second calculating means for the moving object region of each of the images estimated to be caused by the same moving object. The average value of the second predetermined number of the second values up to the latest value.

この第５の態様は、前記基準値の例として前記平均値を挙げたものである。 In the fifth aspect, the average value is given as an example of the reference value.

第６の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第２の演算手段と、を有するものである。 In the moving body detection device according to a sixth aspect, in the third aspect, the index value acquiring unit may be configured to: (i) perform the moving with respect to the moving body region of each of the images estimated to be caused by the same moving body; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. The time series approximation curve of a predetermined number of the first values up to the latest obtained by the first calculation means for the moving object region of each image estimated as Second computing means for determining the number of times of crossing from bottom to top or from top to bottom as the index value.

この第６の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。 The sixth aspect is another specific example in which an index value is obtained using a first value corresponding to the area ratio.

第７の態様による移動体検出装置は、前記第６の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの前記所定数の前記第１の値の平均値であるものである。 In the moving object detection device according to a seventh aspect, in the sixth aspect, the reference value is obtained by the first calculating means for the moving object region of each of the images estimated to be caused by the same moving object. The average value of the predetermined number of the first values up to the latest obtained value.

この第７の態様は、前記基準値の例として前記平均値を挙げたものである。 In the seventh aspect, the average value is given as an example of the reference value.

第８の態様による移動体検出装置は、前記第４又は第６の態様において、前記基準値は所定の一定値であるものである。 In the moving object detection device according to an eighth aspect, in the fourth or sixth aspect, the reference value is a predetermined constant value.

この第７の態様は、前記基準値の例として所定の一定値を挙げたものである。 In the seventh aspect, a predetermined constant value is given as an example of the reference value.

第９の態様による移動体検出装置は、前記第４乃至第８のいずれかの態様において、前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた回数が所定回数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。 In the moving object detection device according to a ninth aspect, in any one of the fourth to eighth aspects, the determination means may determine that the number of times obtained by the third calculation means or the second calculation means is a predetermined number of times. In the case described above, it is determined that the moving object is the predetermined moving object.

この第９の態様は、前記判定手段による判定の具体例を挙げたものである。 The ninth aspect is a specific example of the judgment by the judgment means.

第１０の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第３の演算手段と、を有するものである。 In the moving object detection device according to a tenth aspect, in the third aspect, the index value obtaining unit may be configured to: (i) perform the moving with respect to the moving object region of each image estimated to be caused by the same moving object; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. For the moving object region of each image estimated as, according to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to the moving object region (Iii) a second calculating means for obtaining the second value, and (iii) the second to latest values obtained by the second calculating means for the moving body area of each of the images estimated to be caused by the same moving body. A time series of a predetermined number of the second values of 2 Those with the number of maxima, the count of the number or the sum of their minimum, and third calculation means for obtaining as the index value.

この第１０の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。 The tenth aspect is another specific example in which an index value is obtained using a first value corresponding to the area ratio.

第１１の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第２の演算手段と、を有するものである。 In the moving object detection device according to an eleventh aspect, in the third aspect, the index value obtaining unit may be configured to: (i) perform the moving with respect to the moving object region of each image estimated to be caused by the same moving object; A first calculating means for obtaining a first value according to a ratio of an area of a partial region on one side in a predetermined direction in the moving body region to an area of the whole body region, and (ii) using the same moving body. The number of local maxima, the number of local minima, or the number of time-series approximation curves of a predetermined number of the first values up to the latest obtained by the first arithmetic means for the moving object region of each image estimated as And a second calculating means for obtaining the total number thereof as the index value.

この第１１の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。 The eleventh aspect is another specific example in which an index value is obtained using a first value corresponding to the area ratio.

第１２の態様による移動体検出装置は、前記第１０又は第１１の態様において、前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。 In a moving object detection device according to a twelfth aspect, in the tenth or eleventh aspect, the determination unit may be configured such that the number calculated by the third calculation unit or the second calculation unit is equal to or greater than a predetermined number. In this case, it is determined that the moving body is the predetermined moving body.

この第１２の態様は、前記判定手段による判定の具体例を挙げたものである。 The twelfth aspect is a specific example of the judgment by the judgment means.

第１３の態様による移動体検出装置は、前記第１乃至第１２のいずれかの態様において、前記移動体領域取得手段は、前記撮像手段から時間経過に従って得られる前記各画像について、当該画像から背景画像を差し引いた差分画像を得る差分画像取得手段と、前記差分画像を２値化する２値化処理手段と、該２値化処理手段により２値化された各画像に対してラベリングを行うラベリング手段と、前記２値化された各画像のラベル領域又はそのラベル領域のうち所定大きさ以上のラベル領域を前記移動体領域として求める手段と、を有するものである。 According to a thirteenth aspect, in the moving body detection device according to any one of the first to twelfth aspects, the moving body region acquiring means may include a method for obtaining a background from each of the images obtained from the imaging means over time. Difference image obtaining means for obtaining a difference image from which an image has been subtracted, binarization processing means for binarizing the difference image, and labeling for labeling each image binarized by the binarization processing means Means for obtaining a label area of each of the binarized images or a label area having a predetermined size or more among the label areas as the moving body area.

この第１３の態様は、移動体領域の取得の具体例を挙げたものである。 In the thirteenth aspect, a specific example of obtaining a moving object area is given.

第１４の態様による移動体検出装置は、前記第１３の態様において、前記撮像手段により撮像された前記画像のうち前記移動体領域を除く部分に基づいて、前記背景画像を更新する更新手段を備えたものである。 The moving object detection device according to a fourteenth aspect is the thirteenth aspect, further comprising an updating unit that updates the background image based on a portion of the image captured by the imaging unit excluding the moving body region. It is something.

この第１４の態様によれば、前記背景画像を更新する更新手段を備えているので、周囲の状況（日照条件や照明など）が変化しても、より高い精度で移動体領域を取得することができ、ひいては、所定の移動体をより高い精度で他の移動体から判別して検出することができる。 According to the fourteenth aspect, since the updating means for updating the background image is provided, the moving body area can be acquired with higher accuracy even when the surrounding conditions (sunshine conditions, lighting, etc.) change. As a result, a predetermined moving object can be distinguished and detected from other moving objects with higher accuracy.

第１５の態様による移動体検出装置は、前記第３乃至第１４のいずれかの態様において、前記所定方向は、前記画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向であるものである。 The moving object detection device according to a fifteenth aspect is the mobile object detection device according to any one of the third to fourteenth aspects, wherein the predetermined direction is a straight line in the image extending in a direction corresponding to a vertical direction passing through the center of the image. On the other hand, the smaller angle is a direction forming an angle of 45 ° or more.

この第１５の態様によれば、例えば前記所定の移動体が乗物に乗っていない人である場合における腕の振りによる移動体領域の形状変化のように、水平方向の形状変化が大きい場合、その形状変化を感度良く捉えることができ、ひいては、前記所定の移動体をより高い精度で他の移動体から判別して検出することができる。 According to the fifteenth aspect, for example, when a change in the shape in the horizontal direction is large, such as a change in the shape of the moving body region due to the swing of the arm when the predetermined moving body is a person not riding on a vehicle, The change in shape can be detected with high sensitivity, and the predetermined moving body can be distinguished and detected from other moving bodies with higher accuracy.

第１６の態様による移動体検出装置は、前記第１乃至第１５のいずれかの態様において、前記所定の移動体が乗物に乗っていない人であるものである。 A mobile object detection device according to a sixteenth aspect is the mobile object detection device according to any one of the first to fifteenth aspects, wherein the predetermined mobile object is a person who is not riding on a vehicle.

この第１６の態様は、前記所定の移動体の例を挙げたものである。乗物に乗っていない人と自転車（人が乗っている自転車）とは一般的に判別が困難であるが、前記第１乃至前記第１５の態様では、そのような判別も容易となる。 In the sixteenth aspect, an example of the predetermined moving body is given. Although it is generally difficult to distinguish between a person who is not riding on a vehicle and a bicycle (a bicycle on which a person is riding), in the first to fifteenth aspects, such a distinction is also facilitated.

第１７の態様による移動体検出装置は、前記第１６の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段を備えたものである。 A moving object detection device according to a seventeenth aspect is the vehicle detecting device according to the sixteenth aspect, further comprising: a vehicle determining unit configured to determine whether the moving region obtained by the moving region obtaining unit is a vehicle. Things.

この第１７の態様によれば、自動車も判別して検出することができる。 According to the seventeenth aspect, the automobile can be also determined and detected.

第１８の態様による移動体検出装置は、前記第１６又は第１７の態様において、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段を備えたものである。 The mobile object detection apparatus according to an eighteenth aspect is the mobile object detection device according to the sixteenth or seventeenth aspect, which determines whether or not the mobile object area obtained by the mobile object area obtaining means is a motorcycle having a motor. It is provided with a two-wheeled vehicle judging means.

この第１８の態様によれば、原動機を備えた二輪車も判別して検出することができる。 According to the eighteenth aspect, a two-wheeled vehicle equipped with a prime mover can also be determined and detected.

第１９の態様による移動体検出装置は、前記第１乃至第１８のいずれかの態様において、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられるものである。 The moving object detection device according to a nineteenth aspect, according to any one of the first to eighteenth aspects, uses the same moving object as the moving object region of each of the images presumed to be caused by the same moving object. And the moving body region of each image that satisfies a predetermined condition is used.

この第１９の態様によれば、判定手段は移動体領域のうち所定条件を満たすものについて所定の移動体であるか否かを判定するので、前記判定手段は、前記所定条件を満たさずに前記所定の移動体である可能性がない移動体領域については、前記移動体領域の時間経過に従った形状変化に基づく判定を行わずに済む。 According to the nineteenth aspect, the determining means determines whether or not a moving body area that satisfies a predetermined condition is a predetermined moving body. Therefore, the determining means does not satisfy the predetermined condition and does not satisfy the predetermined condition. For a moving object region that is not likely to be a predetermined moving object, it is not necessary to make a determination based on a shape change of the moving object region over time.

第２０の態様による移動体検出装置は、前記第１６の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段と、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、を備え、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定するものである。 The mobile object detection device according to a twentieth aspect is the vehicle determination device according to the sixteenth aspect, wherein the mobile object region obtained by the mobile object region acquisition device is determined by an automobile. A motorcycle determining means for determining whether or not the moving body area obtained by the moving body area obtaining means is based on a motorcycle equipped with a prime mover, wherein each of the images estimated to be from the same moving body. The moving body region of each image which is estimated to be from the same moving body and satisfies a predetermined condition is used as the moving body region, and the predetermined condition is that the moving body region is determined by the vehicle And that the two-wheeled vehicle judging means has judged that the moving body region is not a two-wheeled vehicle. If it is determined that not a person not on the one in which the movable body is determined to be a bicycle.

この第２０の態様によれば、前記撮像手段が、乗物に乗っていない人と自転車の他に、自動車や原動機を備えた二輪車を撮像し得る場合であっても、それらを判別して検出することができる。 According to the twentieth aspect, even in a case where the imaging unit can capture an image of an automobile or a motorcycle equipped with a motor, in addition to a person and a bicycle who are not riding on a vehicle, the imaging unit determines and detects them. be able to.

本発明によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, without performing pattern matching of the image using the dictionary of template images, a predetermined moving body, such as a person (pedestrian, etc.) who is not riding in a vehicle, can be accurately separated from other moving bodies. It is possible to provide a moving object detection device capable of determining and detecting.

本発明の第１の実施の形態による移動体検出装置を示す概略ブロック図である。1 is a schematic block diagram illustrating a moving object detection device according to a first embodiment of the present invention. 撮像された画像の例を模式的に示す概略図である。It is the schematic which shows the example of the image | photographed image typically. 図１に示す移動体検出装置の動作の一部を示す概略フローチャートである。3 is a schematic flowchart illustrating a part of the operation of the moving object detection device illustrated in FIG. 1. 図１に示す移動体検出装置の動作の残りの部分を示す概略フローチャートである。3 is a schematic flowchart illustrating a remaining part of the operation of the moving object detection device illustrated in FIG. 1. ２値化された差分画像中の実際の移動体の像の各具体例を示す図である。It is a figure which shows each specific example of the image of the actual moving body in the binarized difference image. 撮像された各フレームと、当該フレームの２値化された差分画像中の同一の歩行者を示す移動体領域の左側面積比率及び右側面積比率との関係の実際の一例を示す図である。FIG. 9 is a diagram illustrating an actual example of a relationship between each captured frame and a left area ratio and a right area ratio of a moving body region indicating the same pedestrian in a binarized difference image of the frame. 撮像された各フレームと、当該フレームの２値化された差分画像中の同一の人が乗っている自転車を示す移動体領域の左側面積比率及び右側面積比率との関係の実際の一例を示す図である。The figure which shows the actual example of the relationship between each image | photographed flame | frame and the left area ratio and the right area ratio of the mobile body area | region which shows the bicycle which the same person is riding in the binarized difference image of the said frame. It is. 撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の歩行者を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図６に示すデータから算出されたものである。FIG. 9 is a diagram illustrating an actual example of the relationship between each captured frame and the average value of the left side area ratio and the average value of the right side area ratio of the moving object region indicating the same pedestrian in the latest 10 frames up to the frame. Thus, it is calculated from the data shown in FIG. 撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の人が乗っている自転車を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図７に示すデータから算出されたものである。Actual example of the relationship between each captured frame and the average value of the left side area ratio and the average value of the right side area ratio of the moving body region indicating the bicycle on which the same person is riding in the latest 10 frames up to the frame 8 is calculated from the data shown in FIG. 本発明の第２の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。9 is a schematic flowchart illustrating a part of the operation of the moving object detection device according to the second embodiment of the present invention. 本発明の第２の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。It is a schematic flowchart which shows the remaining part of operation | movement of the moving body detection apparatus by the 2nd Embodiment of this invention. 本発明の第３の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。It is a schematic flowchart which shows a part of operation | movement of the mobile body detection apparatus by the 3rd Embodiment of this invention. 本発明の第３の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。13 is a schematic flowchart illustrating the remaining part of the operation of the moving object detection device according to the third embodiment of the present invention. 各移動体を示す移動体領域の画像中の位置と、各移動体を示す移動体領域の画像中の面積及び判別用基準値との関係の実際の一例を示す図である。FIG. 8 is a diagram illustrating an actual example of a relationship between a position of a moving object region indicating each moving object in an image, an area of the moving object region indicating each moving object in the image, and a reference value for determination. 本発明の第４の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。13 is a schematic flowchart illustrating a part of the operation of the moving object detection device according to the fourth embodiment of the present invention. 本発明の第４の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。13 is a schematic flowchart illustrating the remaining part of the operation of the moving object detection device according to the fourth embodiment of the present invention. 本発明の第５の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。15 is a schematic flowchart illustrating the remaining part of the operation of the moving object detection device according to the fifth embodiment of the present invention.

以下、本発明による移動体検出装置について、図面を参照して説明する。 Hereinafter, a moving object detection device according to the present invention will be described with reference to the drawings.

［第１の実施の形態］ [First Embodiment]

図１は、本発明の第１の実施の形態による移動体検出装置を示す概略ブロック図である。 FIG. 1 is a schematic block diagram showing a moving object detection device according to a first embodiment of the present invention.

本実施の形態による移動体検出装置は、図１に示すように、所定領域を撮像する撮像手段としてのテレビカメラ１と、テレビカメラ１からの画像信号をＡ／Ｄ変換して画像メモリ３にサンプリングして取り込み、このサンプリングされた画像に基づいて処理を行って検出対象となる移動体を他の移動体から判別して検出する処理部２と、前記画像メモリ３とを備えている。なお、図面には示していないが、処理部２は、Ａ／Ｄ変換器の他、後述する動作を実現するように、例えば、マイクロコンピュータ及び他の電子回路等で構成されている。 As shown in FIG. 1, the moving object detection device according to the present embodiment includes a television camera 1 as an imaging unit that captures an image of a predetermined area, and A / D conversion of an image signal from the television camera 1 to an image memory 3. The image memory 3 includes a processing unit 2 that samples and captures and performs processing based on the sampled image to determine a moving object to be detected from other moving objects and detects the moving object. Although not shown in the drawings, the processing unit 2 includes, for example, a microcomputer and other electronic circuits so as to realize the operation described later, in addition to the A / D converter.

本実施の形態による移動体検出装置は、具体的には、自転車の走行が禁止されている歩道において、人が乗っている自転車（以下、単に「自転車」という場合がある。）を、乗物に乗っていない人（以下、「歩行者等」という場合がある。）から判別して検出するように構成されている。歩行者等には、歩行者の他にジョガーやランナーも含まれる。処理部２から出力される自転車を検出した旨を示す自転車検出信号は、例えば、図示しない警報装置において、当該歩道を走行する自転車に対して警報（例えば、自転車はこの歩道を走行してはならない旨の音声）を発生するために用いられる。 Specifically, the moving object detection device according to the present embodiment converts a bicycle on which a person rides (hereinafter, may be simply referred to as a “bicycle”) into a vehicle on a sidewalk where traveling of the bicycle is prohibited. It is configured to be distinguished and detected from a person who is not riding (hereinafter, may be referred to as “pedestrian or the like”). Pedestrians include joggers and runners in addition to pedestrians. The bicycle detection signal output from the processing unit 2 and indicating that a bicycle has been detected is output, for example, by an alarm device (not shown) to an alarm for the bicycle running on the sidewalk (for example, the bicycle must not run on this sidewalk). This is used to generate a voice to the effect.

図２は、テレビカメラ１により撮像された画像の例を模式的に示す概略図である。本実施の形態では、図面には示していないが、テレビカメラ１は、自転車の走行が禁止されている歩道を含む領域を撮像するように、歩道の斜め上方に設置されている。図２において、１１は自転車の走行が禁止されている歩道の像、１２は車道の像、１３は歩行者等の像、１４は人が乗っている自転車の像である。 FIG. 2 is a schematic diagram schematically illustrating an example of an image captured by the television camera 1. In the present embodiment, although not shown in the drawings, the television camera 1 is installed diagonally above the sidewalk so as to capture an image of an area including the sidewalk where running of the bicycle is prohibited. In FIG. 2, reference numeral 11 denotes an image of a sidewalk where running of a bicycle is prohibited, 12 denotes an image of a road, 13 denotes an image of a pedestrian or the like, and 14 denotes an image of a bicycle on which a person is riding.

図２に示すように、互いに直交するＸ軸及びＹ軸を定義する。Ｘ軸方向のうち矢印の向きを＋Ｘ方向又は＋Ｘ側又は右側、その反対の向きを−Ｘ方向又は−Ｘ側又は左側と呼び、＋Ｘ方向のＸ座標の値は大きく、−Ｘ方向のＸ座標の値は小さく、Ｙ軸についても同様である。本実施の形態では、テレビカメラ１による画像は長方形をなし、その長辺方向がＸ軸方向と一致し、その短辺方向がＹ軸方向と一致している。図２からわかるように、テレビカメラ１により撮像される画像の中心を通る前記画像中のＹ軸方向の直線（図示せず）は、ほぼ鉛直方向に対応する方向に延びている。これにより、本実施の形態では、Ｘ軸方向が、テレビカメラ１により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度がほぼ９０゜の角度をなす方向になっている。Ｘ軸方向が、テレビカメラ１により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向となるように、テレビカメラ１を設置することが、歩行者等の腕の振りによる形状変化を感度良く捉えるために好ましい。 As shown in FIG. 2, an X axis and a Y axis that are orthogonal to each other are defined. The direction of the arrow in the X-axis direction is referred to as + X direction or + X side or right side, and the opposite direction is referred to as -X direction or -X side or left side. The value of the X coordinate in the + X direction is large, and the X coordinate in the -X direction is large. Is small, and the same applies to the Y axis. In the present embodiment, the image obtained by the television camera 1 has a rectangular shape, the long side direction of the image coincides with the X-axis direction, and the short side direction of the image coincides with the Y-axis direction. As can be seen from FIG. 2, a straight line (not shown) in the Y-axis direction in the image passing through the center of the image captured by the television camera 1 extends in a direction substantially corresponding to the vertical direction. Accordingly, in the present embodiment, the smaller angle of the X-axis direction with respect to the straight line in the image passing through the center of the image captured by the television camera 1 and extending in the direction corresponding to the vertical direction is approximately 90 degrees. The direction is at an angle of ゜. The X-axis direction is such that a smaller angle with respect to a straight line in the image passing through the center of the image captured by the television camera 1 and extending in a direction corresponding to the vertical direction forms an angle of 45 ° or more. In addition, it is preferable to install the television camera 1 in order to detect the shape change due to the swing of the arm of the pedestrian or the like with high sensitivity.

次に、本実施の形態による移動体検出装置の動作について、図３及び図４を参照して説明する。 Next, the operation of the moving object detection device according to the present embodiment will be described with reference to FIGS.

図３は、図１に示す移動体検出装置の動作の一部を示す概略フローチャートである。図４は、図１に示す移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 3 is a schematic flowchart showing a part of the operation of the moving object detection device shown in FIG. FIG. 4 is a schematic flowchart showing the remaining part of the operation of the moving object detection device shown in FIG.

本実施の形態による移動体検出装置では、動作を開始すると、まず、処理部２は、初期の背景画像を作成する（ステップＳ１）。具体的には、処理部２は、例えば、歩行者等や自転車などの移動体が存在しない状態でテレビカメラ１により撮像された画像をサンプリングして画像メモリ３に取り込み、この画像を初期の背景画像とする。 In the moving object detection device according to the present embodiment, when the operation is started, first, the processing unit 2 creates an initial background image (step S1). Specifically, for example, the processing unit 2 samples an image captured by the television camera 1 in a state where no moving object such as a pedestrian or a bicycle is present, loads the image into the image memory 3, and stores the image in the initial background. Images.

以下の説明において、背景画像は、ステップＳ２１で更新されるまでは、ステップＳ１で作成された初期の背景画像を意味し、ステップＳ２１で更新された後には、ステップＳ２１で最新に更新された背景画像を意味する。 In the following description, the background image means the initial background image created in step S1 until it is updated in step S21, and after the background image is updated in step S21, the background image that has been updated latest in step S21. Means an image.

次に、処理部２は、テレビカメラ１からの現在の画像をサンプリングして画像メモリ３に取り込む（ステップＳ２）。このステップＳ２で最新にサンプリングされた画像を、現画像と呼ぶ。なお、本実施の形態では、テレビカメラ１は所定のフレームレート（例えば、３０ｆｐｓ）で順次撮像し、ステップＳ２の後に以下に説明する処理を経てステップＳ２に戻ることを繰り返すが、ステップＳ２間で行われる処理は１フレーム周期内に終了し、各回のステップＳ２で、テレビカメラ１で所定のフレームレートで順次撮像される１フレームずつが順次取り込まれるようなっている。もっとも、本発明では必ずしもこれに限らない。 Next, the processing unit 2 samples the current image from the television camera 1 and takes it into the image memory 3 (step S2). The image most recently sampled in step S2 is called the current image. In the present embodiment, the television camera 1 sequentially captures images at a predetermined frame rate (for example, 30 fps), and after step S2, returns to step S2 through the processing described below is repeated. The processing to be performed is completed within one frame period, and in each step S2, one frame sequentially captured by the television camera 1 at a predetermined frame rate is sequentially captured. However, the present invention is not necessarily limited to this.

なお、本実施の形態では、テレビカメラ１により撮像された画像の全領域を後述する処理の対象とするが、撮像画像中に検出すべき移動体（本実施の形態では、歩道上の自転車）が存在し得ない領域がある場合には、その領域をマスク処理して後述する処理の対象から除外してもよい。 In the present embodiment, the entire area of the image captured by the television camera 1 is a target to be described later, but a moving object to be detected in the captured image (a bicycle on a sidewalk in the present embodiment) If there is an area where cannot exist, the area may be masked and excluded from the processing described below.

次いで、処理部２は、現画像と背景画像との差分画像（背景差分画像）を作成し（ステップＳ３）、この背景差分画像を所定閾値で２値化する（ステップＳ４）。ここでは、２値化後の背景差分画像において、現画像の画素と背景画像の画素との差が大きい画素は黒画素となるものとする。したがって、移動体が存在する箇所の画素は黒画素となる。なお、背景差分画像の２値化に用いる閾値は、固定閾値でもよいし、例えば判別分析法などによる可変閾値でもよい。 Next, the processing unit 2 creates a difference image (background difference image) between the current image and the background image (Step S3), and binarizes the background difference image with a predetermined threshold (Step S4). Here, in the binarized background difference image, a pixel having a large difference between a pixel of the current image and a pixel of the background image is a black pixel. Therefore, the pixel where the moving object exists is a black pixel. The threshold value used for binarizing the background difference image may be a fixed threshold value or a variable threshold value by, for example, a discriminant analysis method.

図５は、ステップＳ４で２値化された差分画像中の実際の移動体領域の各具体例を示す図である。図５（ａ）は、あるフレームの２値化された差分画像中の歩行者の像を示している。図５（ｂ）は、他のフレームの２値化された差分画像中の同じ歩行者の像を示している。図５（ａ）に示す像では当該歩行者は歩行動作に従って左手及び右足を前に出しているのに対し、図５（ｂ）に示す像では当該歩行者は歩行動作に従って右手及び左足を前に出している。図５（ｃ）は、あるフレームの２値化された差分画像中の人が乗っている自転車の像を示している。 FIG. 5 is a diagram illustrating each specific example of the actual moving body region in the difference image binarized in step S4. FIG. 5A shows an image of a pedestrian in a binarized difference image of a certain frame. FIG. 5B shows an image of the same pedestrian in the binarized difference image of another frame. In the image shown in FIG. 5A, the pedestrian puts his left hand and right foot forward in accordance with the walking motion, whereas in the image shown in FIG. 5B, the pedestrian raises his right hand and left foot in accordance with the walking motion. It is put out. FIG. 5C shows an image of a bicycle on which a person is riding in the binarized difference image of a certain frame.

引き続いて、処理部２は、ステップＳ４で得られた２値化後の背景差分画像に対してラベリングを行う（ステップＳ５）。 Subsequently, the processing unit 2 performs labeling on the binarized background difference image obtained in step S4 (step S5).

その後、処理部２は、ステップＳ５でラベリングされた各ラベル領域のうち所定の大きさ以上のラベル領域のみを、それぞれ移動体領域として判別する（ステップＳ６）。あまりに小さいラベル領域は、移動体ではなくノイズ等であるので、本実施の形態のように、ラベル領域の大きさで移動体領域を選別することが好ましい。もっとも、処理部２は、ステップＳ６を行う代わりに、ラベル領域の大きさに拘わらず、全てのラベル領域をそれぞれ移動体領域として判別してもよい。なお、ステップＳ６で判別される移動体領域は１つに限らない。なお、ステップＳ６で所定の大きさ以上のラベル領域が存在しない場合には、ステップＳ２へ戻るが、その図示は省略している。 After that, the processing unit 2 determines only a label area having a predetermined size or more among the label areas labeled in step S5 as a moving body area (step S6). Since a label area that is too small is not a moving body but a noise or the like, it is preferable to select a moving body area based on the size of the label area as in the present embodiment. Of course, instead of performing step S6, the processing unit 2 may determine all the label areas as the moving body areas regardless of the size of the label area. Note that the number of moving object areas determined in step S6 is not limited to one. If there is no label area larger than the predetermined size in step S6, the process returns to step S2, but illustration is omitted.

次に、処理部２は、ステップＳ６で判別された移動体領域のうち、当該ステップＳ７で今回未だ選択されていない１つの移動体領域を選択する（ステップＳ７）。 Next, the processing unit 2 selects one moving body area that has not been selected this time in step S7 from among the moving body areas determined in step S6 (step S7).

次いで、処理部２は、ステップＳ７で最新に選択された移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値として、当該移動体領域の左側面積比率を算出する（ステップＳ８）。ここでは、左側面積比率は、当該移動体領域の画素のうちもっとも小さいＸ座標を有する画素の当該Ｘ座標をｘ１とし、当該移動体領域の画素のうちもっとも大きいＸ座標を有する画素の当該Ｘ座標をｘ２とするとき、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を、当該移動体領域の全画素数で除算した値である。前記左側面積比率は、必ずしもこれに限らず、例えば、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．４｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．６｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、αを小さい値としたとき、当該移動体領域の画素のうちの（ｘ１＋α）から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を、当該移動体領域の全画素数で除算した値でもよい。前記第１の値は、前記左側面積比率に限らず、例えば、前記左側面積比率に比例定数を乗算した値や、前記左側面積比率の逆数などでもよい。 Next, the processing unit 2 determines the ratio of the area of the partial area on one side in the predetermined direction in the mobile object area to the area of the entire area of the mobile object area in the mobile object area most recently selected in step S7. As the first value, a left area ratio of the moving body region is calculated (step S8). Here, the left area ratio is defined as x1 of the pixel having the smallest X coordinate among the pixels of the moving body region, and the X coordinate of the pixel having the largest X coordinate among the pixels of the moving body region. Is defined as x2, the number of pixels having an X coordinate from x1 to [{(x2-x1) × 0.5} + x1] among the pixels of the moving body region is represented by the total number of pixels of the moving body region. This is the divided value. The left side area ratio is not necessarily limited to this. For example, the number of pixels having an X coordinate from x1 to [{(x2−x1) × 0.4} + x1] among the pixels of the moving body region is determined by the shift. The value may be a value obtained by dividing by the total number of pixels of the body region, or the number of pixels having an X coordinate from x1 to [{(x2-x1) × 0.6} + x1] among the pixels of the moving body region may be moved. The value may be divided by the total number of pixels in the body region, or when α is a small value, from (x1 + α) to [{(x2-x1) × 0.5} + x1] of the pixels in the moving body region May be a value obtained by dividing the number of pixels having the X coordinate by the total number of pixels in the moving body region. The first value is not limited to the left area ratio, and may be, for example, a value obtained by multiplying the left area ratio by a proportional constant, or a reciprocal of the left area ratio.

また、前記第１の値は、当該移動体領域の右側面積比率でもよいし、前記右側面積比率に比例定数を乗算した値や、前記右側面積比率の逆数などでもよい。前記右側面積比率は、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．４｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．６｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］から（ｘ２−α）までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよい。 Further, the first value may be a right area ratio of the moving body region, a value obtained by multiplying the right area ratio by a proportional constant, or a reciprocal of the right area ratio. The right side area ratio is obtained by dividing the number of pixels having an X coordinate from [{(x2-x1) × 0.5} + x1] to x2 among the pixels of the moving body region by the total number of pixels of the moving body region. The divided value may be used, or the number of pixels having an X coordinate from [{(x2−x1) × 0.4} + x1] to x2 among the pixels of the moving body region may be calculated as the total number of pixels of the moving body region. Or the number of pixels having an X coordinate from [{(x2−x1) × 0.6} + x1] to x2 among the pixels of the moving body region is calculated as the total number of pixels of the moving body region. The value obtained by dividing by the number may be used, or the number of pixels having the X coordinate from [{(x2-x1) × 0.5} + x1] to (x2-α) among the pixels in the moving body region may be moved. A value obtained by dividing by the total number of pixels of the body region may be used.

図６は、テレビカメラ１により撮像された各フレームと、当該フレームの２値化された差分画像中の同一の歩行者を示す移動体領域の左側面積比率（左比率）及び右側面積比率（右比率）との関係の実際の一例を示す図であり、実験により得たものである。図７は、撮像された各フレームと、当該フレームの２値化された差分画像中の同一の人が乗っている自転車を示す移動体領域の左側面積比率（左比率）及び右側面積比率（右比率）との関係の実際の一例を示す図であり、実験により得たものである。図６及び図７中の横軸の数値ｐのフレームは、この実験で３０ｆｐｓで順次得たフレームのうちのｐ番目のフレームを示している。例えば、図６中の横軸の数値「４００」のフレームは、この実験で３０ｆｐｓで順次得たフレームのうちの４００番目のフレームを示している。 FIG. 6 shows a left area ratio (left ratio) and a right area ratio (right ratio) of each frame captured by the television camera 1 and a moving object region indicating the same pedestrian in the binarized difference image of the frame. FIG. 4 is a diagram showing an actual example of the relationship with the ratio (ratio), which is obtained by an experiment. FIG. 7 shows a left area ratio (left ratio) and a right area ratio (right) of each captured frame and a moving object region indicating a bicycle on which the same person is riding in the binarized difference image of the frame. FIG. 4 is a diagram showing an actual example of the relationship with the ratio (ratio), which is obtained by an experiment. The frames of the numerical value p on the horizontal axis in FIGS. 6 and 7 indicate the p-th frame among the frames sequentially obtained at 30 fps in this experiment. For example, the frame with the numerical value “400” on the horizontal axis in FIG. 6 indicates the 400th frame among the frames sequentially obtained at 30 fps in this experiment.

図６及び図７において、左側面積比率（左比率）は、ステップＳ８で算出されるものと同様に、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。また、図６及び図７において、右側面積比率（右比率）は、当該移動体領域の画素のうち［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。よって、同一フレームの左側面積比率（左比率）と右側面積比率（右比率）との和は、１となっている。 6 and 7, the left side area ratio (left ratio) is calculated from x1 to [{(x2−x1) × 0.5} + x1 among the pixels of the moving body region, similarly to the one calculated in step S8. ] Is divided by the total number of pixels in the moving body area. In FIGS. 6 and 7, the right area ratio (right ratio) is a value of a pixel having an X coordinate from [{(x2-x1) × 0.5} + x1] to x2 among the pixels of the moving body region. The number was set to a value obtained by dividing the number by the total number of pixels in the moving body area. Therefore, the sum of the left area ratio (left ratio) and the right area ratio (right ratio) of the same frame is 1.

図６からわかるように、移動体が歩行者である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することが判明した。これは、移動体が歩行者である場合には、その歩行動作に従って、図５（ａ）のように左手及び右足を前に出している状態と図５（ｂ）のように右手及び左足を前に出す状態（特に腕の振り）を、周期的に繰り返すことによるものであることが判明した。移動体が歩行者ではなくジョガーやランナーであっても、移動体が乗物に乗っていない人である場合には、腕の振りによって左側面積比率及び右側面積比率はそれぞれ周期的に上下する。 As can be seen from FIG. 6, when the moving body is a pedestrian, the left side area ratio and the right side area ratio periodically rise and fall. This means that when the moving body is a pedestrian, the left hand and the right foot are put forward as shown in FIG. 5A and the right hand and the left foot are put out as shown in FIG. It turned out that this was caused by periodically repeating the state brought forward (especially the swing of the arm). Even if the moving body is not a pedestrian but a jogger or a runner, if the moving body is a person who is not riding on a vehicle, the left area ratio and the right area ratio periodically rise and fall due to the swing of the arm.

一方、図７からわかるように、移動体が人が乗っている自転車である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することはないことが判明した。これは、図５（ｃ）に示すような姿勢を保って腕を振ることがないことによるものであることが判明した。 On the other hand, as can be seen from FIG. 7, when the moving object is a bicycle on which a person is riding, it has been found that the left area ratio and the right area ratio do not periodically rise and fall. It has been found that this is because the arm is not shaken while maintaining the posture as shown in FIG.

このように、移動体が歩行者等である場合と人が乗っている自転車である場合とで、その移動体による移動体領域の時間経過に従った形状変化に差異が生じて、前記第１の値の変化に差異が生じ、左側面積比率又は右側面積比率が周期的に上下するか否かが異なる。したがって、左側面積比率又は右側面積比率が周期的に上下するか否かによって、当該移動体領域の移動体が歩行者等であるか人が乗っている自転車であるかを判別することができる。 As described above, when the moving body is a pedestrian or the like and when a person is riding a bicycle, a change occurs in the shape of the moving body region over time due to the moving body. Is different in whether the left side area ratio or the right side area ratio periodically rises and falls. Therefore, whether the moving object in the moving object region is a pedestrian or the like or a bicycle on which a person is riding can be determined based on whether the left area ratio or the right area ratio periodically rises and falls.

図６及び図７からわかるように、左側面積比率及び右側面積比率はノイズによる影響を受け易い。これに対し、図６に示すデータを処理して得た図８、及び、図７に示すデータを処理して得た図９では、ノイズの影響を低減することができることが判明した。図８は、撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の歩行者を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図６に示すデータから算出されたものである。図９は、撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の人が乗っている自転車を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図７に示すデータから算出されたものである。例えば、図８における４００番目のフレームの左側面積比率平均（左比率平均）は、図６における３９１番目から４００番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値であり、図８における４００番目のフレームの右側面積比率平均（右比率平均）は、図６における３９１番目から４００番目までのフレームの右側面積比率（１０個の右側面積比率）の平均値である。例えば、図９における２５０番目のフレームの左側面積比率平均（左比率平均）は、図７における２４１番目から２５０番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値であり、図８における２５０番目のフレームの右側面積比率平均（右比率平均）は、図９における２４１番目から２５０番目までのフレームの右側面積比率（１０個の右側面積比率）の平均値である。 As can be seen from FIGS. 6 and 7, the left area ratio and the right area ratio are easily affected by noise. On the other hand, in FIG. 8 obtained by processing the data shown in FIG. 6 and FIG. 9 obtained by processing the data shown in FIG. 7, it was found that the influence of noise can be reduced. FIG. 8 is an actual example of a relationship between each captured frame and the average value of the left side area ratio and the average value of the right side area ratio of the moving object region indicating the same pedestrian in the latest 10 frames up to the frame. 7 is calculated from the data shown in FIG. FIG. 9 shows the relationship between each imaged frame and the average value of the left-side area ratio and the average value of the right-side area ratio of the moving body region indicating the bicycle on which the same person is riding in the latest 10 frames up to the frame. FIG. 8 is a diagram showing an actual example of the above, which is calculated from the data shown in FIG. For example, the left area ratio average (left ratio average) of the 400th frame in FIG. 8 is an average value of the left area ratio (10 left area ratios) of the 391st to 400th frames in FIG. The right area ratio average (right ratio average) of the 400th frame in FIG. 8 is an average value of the right area ratio (10 right area ratios) of the 391st to 400th frames in FIG. For example, the left area ratio average (left ratio average) of the 250th frame in FIG. 9 is an average value of the left area ratio (10 left area ratios) of the 241st to 250th frames in FIG. The right area ratio average (right ratio average) of the 250th frame in FIG. 8 is an average value of the right area ratio (10 right area ratios) of the 241st to 250th frames in FIG.

図８及び図９では、このように１０個の比率の平均値を得ているが、２個以上の比率の平均値を得れば、ノイズの影響を低減することができる。もっとも、平均する比率の個数があまりに多ければ、人が乗っている自転車に関する左側面積比率又は右側面積比率の時間経過に従った周期的な上下が現れ難くなってしまう。したがって、平均する比率の個数（後述する値Ｍ）は、ノイズの影響の低減効果及び周期的な上下の顕在化の両方を考慮して適宜定めればよい。 In FIGS. 8 and 9, the average value of the ten ratios is obtained as described above. However, if the average value of the two or more ratios is obtained, the influence of noise can be reduced. However, if the number of ratios to be averaged is too large, it becomes difficult for the left side area ratio or the right side area ratio of the bicycle on which a person rides to appear periodically up and down over time. Therefore, the number of ratios to be averaged (value M to be described later) may be determined as appropriate in consideration of both the effect of reducing the influence of noise and the periodic upward and downward manifestation.

ステップＳ８の後に、処理部２は、ステップＳ７で最新に選択された移動体領域と同一の移動体によるものと推定される前回の画像（前回のステップＳ２で取り込まれた画像）の移動体領域が、存在するか否かを判定する（ステップＳ９）。例えば、今回の画像中のステップＳ７で最新に選択された移動体領域の中心座標と前回の画像中の移動体領域の中心座標との間を距離を求め、その距離が所定の距離以下である場合に両者の移動体領域は同一の移動体によるものであると推定するものとし、ステップＳ９の判定は、具体的には、例えば、今回の画像中のステップＳ７で最新に選択された移動体領域の中心座標に対して所定距離内に位置する中心座標を持つ前回の画像中の移動体領域が存在するか否かによって判定することができる。もっとも、両者の移動体領域が同一の移動体によるものと推定されるか否かの判定手法は、これに限らない。 After step S8, the processing unit 2 sets the moving object region of the previous image (the image captured in the previous step S2) estimated to be caused by the same moving object as the moving object region most recently selected in step S7. Is determined (step S9). For example, a distance is determined between the center coordinates of the moving object region most recently selected in step S7 in the current image and the center coordinates of the moving object region in the previous image, and the distance is equal to or less than a predetermined distance. In this case, it is assumed that both moving object regions are based on the same moving object. Specifically, the determination in step S9 is, for example, the moving object selected latest in step S7 in the current image. The determination can be made based on whether or not there is a moving body region in the previous image having the center coordinates located within a predetermined distance from the center coordinates of the region. However, the method of determining whether or not both moving object regions are estimated to be caused by the same moving object is not limited to this.

ステップＳ９で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｍ，ｎを０にした（ステップＳ１０）後に、当該移動体に関するカウント値ｍを１だけインクリメントする（ステップＳ１１）。一方、ステップＳ９で存在すると判定されると、処理部２は、ステップＳ１０を経ることなくステップＳ１１へ移行して、当該移動体に関するカウント値ｍを１だけインクリメントする。したがって、カウント値ｍは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。カウント値ｎは、後述するように、同一の移動体についてステップＳ１３で算出された左側面積比率の平均値の数を示すことになる。なお、カウント値ｍ，ｎは、移動体毎に設けられる。 If it is determined in step S9 that the moving object does not exist, the processing unit 2 sets the count values m and n of the moving object to 0 (step S10), and then increments the count value m of the moving object by 1 (step S11). ). On the other hand, when it is determined in step S9 that the moving object exists, the processing unit 2 proceeds to step S11 without going through step S10, and increments the count value m of the moving object by one. Therefore, the count value m indicates the number of times of tracking (the number of captured images) for the same moving object. The count value n indicates the number of average values of the left area ratios calculated in step S13 for the same moving object, as described later. Note that the count values m and n are provided for each moving object.

ステップＳ１１の後、処理部２は、当該移動体に関するカウント値ｍが所定値Ｍ以上であるか否かを判定する（ステップＳ１２）。前述したように、所定値Ｍは、平均する左側面積比率の個数を示し、ノイズの影響の低減効果及び人が乗っている自転車についての周期的な上下の顕在化の両方を考慮して、２以上の任意の値に設定され、例えば１０とされる。 After step S11, the processing unit 2 determines whether or not the count value m of the moving object is equal to or greater than a predetermined value M (step S12). As described above, the predetermined value M indicates the number of left side area ratios to be averaged, and is 2 in consideration of both the effect of reducing the effect of noise and the periodic up and down manifestation of a bicycle on which a person is riding. The value is set to an arbitrary value as described above, and is set to, for example, 10.

ステップＳ１２で所定値Ｍ以上であると判定されると、ステップＳ１３へ移行する一方、ステップＳ１２で所定値Ｍ以上ではないと判定されると、ステップＳ２０へ移行する。 If it is determined in step S12 that the value is not less than the predetermined value M, the process proceeds to step S13. On the other hand, if it is determined in step S12 that the value is not more than the predetermined value M, the process proceeds to step S20.

ステップＳ１３において、処理部２は、当該移動体について、ステップＳ７で最新に選択された移動体領域までの時系列順のＭ個の移動体領域の各々について求められた前記第１の値の平均値（本実施の形態では、左側面積比率平均）に応じた第２の値として、その左側面積比率平均を算出する。例えば、Ｍ＝１０であり、ステップＳ７で最新に選択された移動体領域が図６中の４００番目のフレームの画像中の移動体領域（歩行者による移動体領域）である場合には、ステップＳ１３において、処理部２は、図６における３９１番目から４００番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値（図８における４００番目のフレームの左側面積比率平均）を算出する。また、例えば、Ｍ＝１０であり、ステップＳ７で最新に選択された移動体領域が図７中の２５０番目のフレームの画像中の移動体領域（人が乗っている自転車による移動体領域）である場合には、ステップＳ１３において、処理部２は、図７における２４１番目から２５０番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値（図９における２５０番目のフレームの左側面積比率平均）を算出する。なお、前記第２の値は、前記左側面積比率平均に限らず、例えば、前記左側面積比率平均に比例定数を乗算した値や、前記左側面積比率平均の逆数などでもよい。 In step S13, the processing unit 2 calculates, for the mobile object, an average of the first values obtained for each of the M mobile object regions in chronological order up to the mobile object region most recently selected in step S7. As the second value corresponding to the value (in the present embodiment, the left area ratio average), the left area ratio average is calculated. For example, if M = 10 and the moving object area most recently selected in step S7 is the moving object area (moving object area by pedestrian) in the image of the 400th frame in FIG. In S13, the processing unit 2 calculates the average value of the left area ratios (the ten left area ratios) of the 391st to 400th frames in FIG. 6 (the average of the left area ratios of the 400th frame in FIG. 8). I do. Also, for example, M = 10, and the moving object region most recently selected in step S7 is the moving object region (the moving object region of a bicycle on which a person is riding) in the image of the 250th frame in FIG. In some cases, in step S13, the processing unit 2 determines the average value of the left side area ratios (the ten left side area ratios) of the 241st to 250th frames in FIG. 7 (the left side of the 250th frame in FIG. 9). Area average). The second value is not limited to the average of the left area ratios, and may be, for example, a value obtained by multiplying the average of the left area ratios by a proportional constant, or a reciprocal of the average of the left area ratios.

次に、処理部２は、当該移動体に関するカウント値ｎを１だけインクリメントする（ステップＳ１４）。したがって、カウント値ｎは、同一の移動体についてステップＳ１３で算出された左側面積比率の平均値の数を示すことになる。 Next, the processing unit 2 increments the count value n of the moving object by 1 (step S14). Therefore, the count value n indicates the number of average values of the left area ratios calculated for the same moving object in step S13.

次いで、処理部２は、当該移動体に関するカウント値ｎが所定値Ｎ以上であるか否かを判定する（ステップＳ１５）。この所定値Ｎは、ステップＳ１３で算出された平均値の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図８や図９において、Ｎフレーム分の範囲について、ステップＳ１３で算出された平均値の時間的な変化を、ステップＳ１７で調べることになる。 Next, the processing unit 2 determines whether or not the count value n of the moving object is equal to or greater than a predetermined value N (Step S15). The predetermined value N is a value that determines a range in which a temporal change in the average value calculated in step S13 is checked, and is set to, for example, 70. For example, in FIG. 8 and FIG. 9, a temporal change in the average value calculated in step S13 for the range of N frames is checked in step S17.

ステップＳ１５で所定値Ｎ以上であると判定されると、ステップＳ１６へ移行する一方、ステップＳ１５で所定値Ｎ以上ではないと判定されると、ステップＳ２０へ移行する。 If it is determined in step S15 that the value is not less than the predetermined value N, the process proceeds to step S16. On the other hand, if it is determined in step S15 that the value is not more than the predetermined value N, the process proceeds to step S20.

ステップＳ１６において、処理部２は、当該移動体について、各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の平均値を、基準値として算出する。 In step S16, the processing unit 2 calculates, as a reference value, the average value of the average of the N left area ratios up to the latest obtained in each step S13 for the moving object.

引き続いて、処理部２は、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列が、ステップＳ１６で最新に算出された基準値に対して上下に交差する数ｃを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ１７）。例えば、Ｎ＝７０であり、ステップＳ７で最新に選択された移動体領域が図８中の４００番目のフレームの画像中の移動体領域（歩行者による移動体領域）である場合には、図８中の３３１番目のフレームから４００番目のフレームまでの７０個の左側面積比率平均の時系列が、その７０個の左側面積比率平均の平均値である基準値に対して上下に交差する数ｃを、指標値として求める。また、例えば、Ｎ＝７０であり、ステップＳ７で最新に選択された移動体領域が図９中の２９０番目のフレームの画像中の移動体領域（人が乗っている自転車による移動体領域）である場合には、図９中の２２１番目のフレームから２９０番目のフレームまでの７０個の左側面積比率平均の時系列が、その７０個の左側面積比率平均の平均値である基準値に対して上下に交差する数ｃを、指標値として求める。なお、ステップＳ１７で用いる基準値は、ステップＳ１６で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ１６を取り除き、ステップＳ１５でＹＥＳの場合は直ちにステップＳ１７へ移行すればよい。 Subsequently, the processing unit 2 determines that the time series of the average of the N left area ratios up to the latest obtained in each step S13 for the mobile object intersects the reference value calculated latest in the step S16 up and down. The number c to be obtained is obtained as an index value indicating a state of the shape change of the moving body region with time (step S17). For example, if N = 70 and the moving object region most recently selected in step S7 is the moving object region (moving object region by pedestrian) in the image of the 400th frame in FIG. 8, the number c in which the time series of the 70 left area ratio averages from the 331st frame to the 400th frame vertically intersects the reference value which is the average of the 70 left area ratio averages Is obtained as an index value. Also, for example, N = 70, and the moving object region most recently selected in step S7 is the moving object region (the moving object region of a bicycle on which a person is riding) in the image of the 290th frame in FIG. In some cases, the time series of the average of the 70 left area ratios from the 221st frame to the 290th frame in FIG. 9 is compared with the reference value that is the average of the 70 left area ratio averages. The number c intersecting vertically is obtained as an index value. The reference value used in step S17 is not limited to the reference value calculated in step S16, and may be a predetermined constant value. In this case, step S16 may be removed, and if YES in step S15, the process may immediately proceed to step S17.

なお、ステップＳ１７で求める指標値は、前述した例に限らず、例えば、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列が、ステップＳ１６で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ１７で求める指標値は、例えば、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ１８でその数が所定数以上であるか否かを判定することになる。 Note that the index value obtained in step S17 is not limited to the example described above. For example, the time series of the average of the N left area ratios up to the latest obtained in step S13 for the moving object is updated in step S16. The number of intersections from the bottom to the top with respect to the calculated reference value or the number of intersections from the top to the bottom may be obtained as an index value indicating a state of a shape change of the moving body region over time. In addition, the index value obtained in step S17 is, for example, the number of local maximums, the number of local minimums, or the sum of the time series of the average of the N left area ratios up to the latest obtained in step S13 for the moving object. It may be a number. In these cases, it is determined in step S18 whether the number is equal to or more than a predetermined number.

ステップＳ１７の後、処理部２は、ステップＳ１７で最新に求められた数ｃが所定数Ｃ以上であるか否かを判定する（ステップＳ１８）。この所定数Ｃは、左側面積比率平均が周期的に上下するか否かを判別するための閾値である。ステップＳ１８の判定によって、図８に示すような左側面積比率平均の変化と図９に示すような左側面積比率平均の変化とが判別され、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。 After step S17, the processing unit 2 determines whether or not the number c obtained latest in step S17 is equal to or greater than a predetermined number C (step S18). This predetermined number C is a threshold value for determining whether or not the left side area ratio average periodically rises and falls. By the determination in step S18, a change in the average of the left area ratio as shown in FIG. 8 and a change in the average of the left area ratio as shown in FIG. 9 are determined, and whether the moving object is a pedestrian or the like is used. It is determined whether the bicycle is present.

ステップＳ１８で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、ステップＳ２０へ移行する。一方、ステップＳ１８で所定数Ｃ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ１９）後に、ステップＳ２０へ移行する。なお、ステップＳ１８で所定数Ｃ以上であると判定された場合、処理部２は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップＳ２０へ移行してもよい。 If it is determined in step S18 that the number is equal to or larger than the predetermined number C (that is, the moving body is a pedestrian or the like), the process proceeds to step S20. On the other hand, when it is determined in step S18 that the number is not equal to or more than the predetermined number C (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S19), the process proceeds to step S20. If it is determined in step S18 that the number is equal to or greater than the predetermined number C, the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected, if necessary, and then proceeds to step S20. May be.

ステップＳ２０において、処理部２は、ステップＳ６で最新に判別された移動体領域の全てについてステップＳ７の選択が終了したか否かを判定し、終了していなければステップＳ７へ戻り、終了していればステップＳ２１を経てステップＳ２へ戻る。 In step S20, the processing unit 2 determines whether or not the selection in step S7 has been completed for all of the moving object regions determined latest in step S6, and if not completed, returns to step S7 and ends. If so, the process returns to step S2 via step S21.

ステップＳ２１において、処理部２は背景画像を更新する。具体的には、例えば、現在の背景画像をｆ（ｔ−１）とし、更新後の背景画像をｆ（ｔ）とし、ステップＳ２で最新にサンプリングされた画像（現画像）をｇ（ｔ）とし、βを０＜β＜１を満たす重み係数であるとすると、ステップＳ６で最新に判別された移動体領域については、ｆ（ｔ）＝ｆ（ｔ−１）とし、ステップＳ６で最新に判別された移動体領域以外の領域については、ｆ（ｔ）＝βｆ（ｔ−１）＋（１−β）ｇ（ｔ）とすればよい。なお、本実施の形態では、ステップＳ２で現画像が得られる度にステップＳ２１で背景画像の更新が行われることになるが、必ずしもこれに限らない。 In step S21, the processing unit 2 updates the background image. More specifically, for example, the current background image is f (t-1), the updated background image is f (t), and the image (current image) most recently sampled in step S2 is g (t). Assuming that β is a weight coefficient satisfying 0 <β <1, f (t) = f (t−1) is set for the moving object region most recently determined in step S6, and the latest is determined in step S6. For regions other than the determined moving object region, f (t) = βf (t−1) + (1−β) g (t) may be set. In the present embodiment, the background image is updated in step S21 every time the current image is obtained in step S2, but is not limited to this.

本実施の形態による移動体検出装置によれば、自転車の走行が禁止されている歩道において、人が乗っている自転車を、歩行者等から判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部２から出力される自転車検出信号に応答して、図示しない警報装置から当該歩道を走行する自転車に対して警報（例えば、自転車はこの歩道を走行してはならない旨の音声）を発生させることができる。 According to the moving object detection device of the present embodiment, a bicycle on which a person is riding can be detected and detected from a pedestrian or the like on a sidewalk where traveling of the bicycle is prohibited. For example, in response to a bicycle detection signal output from the processing unit 2 of the moving object detection device according to the present embodiment, a warning device (not shown) warns a bicycle running on the sidewalk (for example, the bicycle (A voice notifying that the vehicle must not run).

本実施の形態によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、ステップＳ１８で前記移動体が歩行者等であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。 According to the present embodiment, the moving body is a pedestrian or the like in step S18 based on a shape change of the moving body area of each of the images estimated to be caused by the same moving body over time. Therefore, it is possible to determine and detect a pedestrian or the like and a bicycle on which a person is riding with high accuracy without performing pattern matching of images using a dictionary of template images.

また、本実施の形態によれば、ステップＳ１７で前記形状変化の様子を示す指標値を得て、ステップＳ１８でこの指標値に基づいて前記移動体が歩行者等であるか否かを判定するので、前記移動体が歩行者等であるか否かの判定をより容易に行うことができる。 Further, according to the present embodiment, an index value indicating the state of the shape change is obtained in step S17, and it is determined whether the moving body is a pedestrian or the like based on the index value in step S18. Therefore, it is possible to more easily determine whether the moving object is a pedestrian or the like.

［第２の実施の形態］ [Second embodiment]

図１０は、本発明の第２の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１１は、本発明の第２の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 10 is a schematic flowchart showing a part of the operation of the moving object detection device according to the second embodiment of the present invention. FIG. 11 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the second embodiment of the present invention.

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、図３及び図４に示す動作に代えて、図１０及び図１１に示す動作を行う点である。 The difference between the mobile object detection device according to the present embodiment and the mobile object detection device according to the first embodiment is that the operation illustrated in FIGS. 10 and 11 is performed instead of the operation illustrated in FIGS. It is.

図１０及び図１１に示す動作が図３及び図４に示す動作と異なる所は、主に、図３及び図４に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図１０及び図１１に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図１０及び図１１に示す動作について、具体的に説明する。 The operation shown in FIGS. 10 and 11 is different from the operation shown in FIGS. 3 and 4 mainly in the operation shown in FIGS. 3 and 4 in that the influence of noise is obtained by using the average value of the average of the left side area ratios. 10 and 11, the operation shown in FIGS. 10 and 11 is to reduce the influence of noise by using the approximate curve of the average of the left side area ratios. Hereinafter, the operation shown in FIGS. 10 and 11 will be specifically described.

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ３１〜Ｓ３９において、前述したステップＳ１〜Ｓ９とそれぞれ同一の処理を行う。 In the moving object detection device according to the present embodiment, when the operation is started, the processing unit 2 performs the same processing in steps S31 to S39 as steps S1 to S9 described above.

ステップＳ３９で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｋを０にした（ステップＳ４０）後に、当該移動体に関するカウント値ｋを１だけインクリメントする（ステップＳ４１）。一方、ステップＳ３９で存在すると判定されると、処理部２は、ステップＳ４０を経ることなくステップＳ４１へ移行して、当該移動体に関するカウント値ｋを１だけインクリメントする。したがって、カウント値ｋは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。なお、カウント値ｋは、移動体毎に設けられる。 If it is determined in step S39 that the moving object does not exist, the processing unit 2 sets the count value k of the moving object to 0 (step S40), and then increments the count value k of the moving object by 1 (step S41). On the other hand, if it is determined in step S39 that the moving object exists, the processing unit 2 proceeds to step S41 without going through step S40, and increments the count value k for the moving body by one. Therefore, the count value k indicates the number of times of tracking (the number of captured images) for the same moving object. Note that the count value k is provided for each moving object.

ステップＳ４１の後、処理部２は、当該移動体に関するカウント値ｋが所定値Ｋ以上であるか否かを判定する（ステップＳ４２）。この所定値Ｋは、ステップＳ３８で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図６や図７において、Ｋフレーム分の範囲について、ステップＳ３８で算出された左側面積比率の近似曲線の時間的な変化を、ステップＳ４５で調べることになる。 After step S41, the processing unit 2 determines whether or not the count value k of the moving object is equal to or greater than a predetermined value K (step S42). The predetermined value K is a value that defines a range in which a temporal change in the left area ratio calculated in step S38 is checked, and is set to, for example, 70. For example, in FIG. 6 and FIG. 7, the temporal change of the approximate curve of the left area ratio calculated in step S38 for the range of K frames is examined in step S45.

ステップＳ４２で所定値Ｋ以上であると判定されると、ステップＳ４３へ移行する一方、ステップＳ４２で所定値Ｋ以上ではないと判定されると、ステップＳ４８へ移行する。 If it is determined in step S42 that the value is equal to or more than the predetermined value K, the process proceeds to step S43. If it is determined that the value is not equal to or more than the predetermined value K in step S42, the process proceeds to step S48.

ステップＳ４３において、処理部２は、当該移動体について、ステップＳ３７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の近似曲線を取得する。この近似曲線は公知の種々の手法で得ることができる。 In step S43, the processing unit 2 determines, for the moving object, the first value (the present value) obtained for each of the K moving object regions in chronological order up to the moving object region most recently selected in step S37. In the embodiment, an approximate curve of the left side area ratio is obtained. This approximate curve can be obtained by various known methods.

その後、処理部２は、当該移動体について、ステップＳ３７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の平均値を、基準値として算出する（ステップＳ４４）。 Thereafter, the processing unit 2 determines, for the mobile object, the first value (for the present embodiment) obtained for each of the K mobile object regions in chronological order up to the mobile object region selected most recently in step S37. In the embodiment, the average value of the left side area ratio) is calculated as a reference value (step S44).

引き続いて、処理部２は、当該移動体についてステップＳ４３で最新に求められた近似曲線が、ステップＳ４４で最新に算出された基準値に対して上下に交差する数ｄを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ４５）。なお、ステップＳ４５で用いる基準値は、ステップＳ４４で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ４４を取り除き、ステップＳ４３の後に直ちにステップＳ４５へ移行すればよい。 Subsequently, the processing unit 2 calculates the number d at which the approximate curve most recently obtained in step S43 of the moving object vertically intersects with the reference value most recently calculated in step S44, of the moving object region. It is obtained as an index value indicating the state of the shape change with the passage of time (step S45). The reference value used in step S45 is not limited to the reference value calculated in step S44, but may be a predetermined constant value. In this case, step S44 may be removed, and the process may proceed to step S45 immediately after step S43.

なお、ステップＳ４５で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップＳ４３で最新に求められた近似曲線が、ステップＳ４４で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ４５で求める指標値は、例えば、当該移動体についてステップＳ４３で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ４６でその数が所定数以上であるか否かを判定することになる。 Note that the index value obtained in step S45 is not limited to the example described above. For example, the approximate curve obtained latest in step S43 for the moving object is determined from below the reference value calculated latest in step S44. The number of intersections from above or the number of intersections from above to below may be obtained as an index value indicating a state of a shape change of the moving body region over time. In addition, the index value obtained in step S45 may be, for example, the number of local maximums, the number of local minimums, or the total number of the approximate curves most recently obtained in step S43 for the moving object. In these cases, it is determined in step S46 whether the number is equal to or more than a predetermined number.

ステップＳ４５の後、処理部２は、ステップＳ４５で最新に求められた数ｄが所定数Ｄ以上であるか否かを判定する（ステップＳ４６）。この所定数Ｄは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップＳ４６の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。 After step S45, the processing unit 2 determines whether or not the number d obtained latest in step S45 is equal to or greater than a predetermined number D (step S46). This predetermined number D is a threshold value for determining whether or not the approximate curve rises and falls periodically. By the determination in step S46, it is determined whether the moving object is a pedestrian or the like or a bicycle on which a person is riding.

ステップＳ４６で所定数Ｄ以上である（すなわち、当該移動体が歩行者等である）と判定されると、ステップＳ４８へ移行する。一方、ステップＳ４６で所定数Ｄ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ４７）後に、ステップＳ４８へ移行する。なお、ステップＳ４６で所定数Ｄ以上であると判定された場合、処理部２は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップＳ４８へ移行してもよい。 If it is determined in step S46 that the number is equal to or more than the predetermined number D (that is, the moving body is a pedestrian or the like), the process proceeds to step S48. On the other hand, when it is determined in step S46 that the number is not equal to or greater than the predetermined number D (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S47), the process proceeds to step S48. If it is determined in step S46 that the number is equal to or greater than the predetermined number D, the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected, if necessary, and then proceeds to step S48. May be.

ステップＳ４８において、処理部２は、ステップＳ３６で最新に判別された移動体領域の全てについてステップＳ３７の選択が終了したか否かを判定し、終了していなければステップＳ３７へ戻り、終了していればステップＳ４９を経てステップＳ３２へ戻る。ステップＳ４９において、処理部２は、前述したステップＳ２１と同様に、背景画像を更新する。 In step S48, the processing unit 2 determines whether or not the selection in step S37 has been completed for all of the moving object regions determined latest in step S36. If not, the process returns to step S37 and ends. Then, the process returns to step S32 via step S49. In step S49, the processing unit 2 updates the background image as in step S21 described above.

本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。 According to this embodiment, advantages similar to those of the first embodiment can be obtained.

［第３の実施の形態］ [Third Embodiment]

図１２は、本発明の第３の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１３は、本発明の第３の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 12 is a schematic flowchart showing a part of the operation of the moving object detection device according to the third embodiment of the present invention. FIG. 13 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the third embodiment of the present invention.

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、テレビカメラ１が高速道路の入口などを撮像するように設置されている点と、図３及び図４に示す動作に代えて、図１２及び図１３に示す動作を行い、移動体として、歩行者等、人が乗っている自転車、自動車、及び、原動機を備えた二輪車（以下、「自動二輪車」と呼ぶ。）を互いに判別して検出する点である。以下に、図１２及び図１３に示す動作について、説明する。 The difference between the mobile object detection device according to the present embodiment and the mobile object detection device according to the first embodiment is that the TV camera 1 is installed so as to capture an entrance of an expressway and the like. 12 and 13 are performed in place of the operation shown in FIG. 4 and FIG. 4, and as a moving object, a bicycle, a car, and a motorcycle equipped with a motor, This is referred to as “motorcycle”). The operation shown in FIGS. 12 and 13 will be described below.

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ５１〜Ｓ５７において、前述したステップＳ１〜Ｓ７とそれぞれ同一の処理を行う。 In the moving object detection device according to the present embodiment, when the operation is started, the processing unit 2 performs the same processing in steps S51 to S57 as steps S1 to S7 described above.

次に、処理部２は、ステップＳ５７で最新に選択された移動体領域について、当該移動体領域の画像中の面積Ｓ及び位置を算出する（ステップＳ５８）。同じ移動体であっても、撮像画像中ではテレビカメラ１に近いほど大きく映る。そこで、本実施の形態では、後述するステップＳ５９，Ｓ６１において当該移動体領域の面積Ｓに基づいて自動車や自動二輪車を他の移動体から判別するために、ステップＳ５８において当該移動体領域の画像中の面積Ｓの他に当該移動体領域の画像中の位置も算出している。本実施の形態では、図面には示していないが、テレビカメラ１からの移動体の遠近方向が略々Ｙ軸方向と一致している。このため、本実施の形態では、ステップＳ５８において、当該移動体領域の画像中の位置として、当該移動体領域の画像中の中心のＹ座標位置ｙを算出する。もっとも、必要に応じて、例えばＸＹ座標位置を算出してもよい。この場合、後述する判別用基準値はＸＹ座標位置のパラメータとして予め定めておけばよい。 Next, the processing unit 2 calculates an area S and a position in the image of the moving object region most recently selected in step S57 (step S58). Even in the case of the same moving object, the closer to the TV camera 1 in the captured image, the larger the image. Therefore, in the present embodiment, in order to discriminate an automobile or a motorcycle from other moving objects based on the area S of the moving object region in steps S59 and S61 described later, an image of the moving object region is determined in step S58. In addition to the area S, the position of the moving body region in the image is calculated. In the present embodiment, although not shown in the drawings, the direction in which the moving object is far from the television camera 1 substantially coincides with the Y-axis direction. For this reason, in the present embodiment, in step S58, the Y coordinate position y of the center of the moving body region in the image is calculated as the position of the moving body region in the image. However, if necessary, for example, the XY coordinate position may be calculated. In this case, a reference value for determination described later may be determined in advance as a parameter of the XY coordinate position.

図１４は、各移動体を示す移動体領域の画像中の位置（Ｙ座標位置ｙ）と、各移動体を示す移動体領域の画像中の面積Ｓ及び判別用基準値Ｓ１（ｙ），Ｓ２（ｙ）との関係の実際の一例を示す図であり、実験により得たものである。図１４の横軸はＹ座標位置ｙを示し、図１４ではｙの値が大きい程テレビカメラ１に近いものとしている。図１４の縦軸は、移動体領域の画像中の面積Ｓとしての、当該移動体領域の画素数を示している。図１４には、歩行者の面積、人が乗った自転車の面積、「原付」（原動機を備えた二輪車のうち、５０ｃｃ以下の原動機を備えた二輪車）の面積、「自動２輪」（「原付」以外の原動機を備えた二輪車）の面積、自動車の面積が示されている。図１４において、歩行者の面積と人が乗った自転車の面積とはほぼ同じであり、両者は重なってしまい、両者を判別することは困難である。図１４に示すように、同じＹ座標位置ｙでは、歩行者の面積及び人が乗った自転車の面積に対して、「原付」の面積、「自動２輪」の面積及び自動車の面積の順に大きくなっている。図１４において、判別用基準値Ｓ１（ｙ）は、各Ｙ座標位置ｙにおいて自動車の面積と「自動２輪」の面積とを判別するための基準値であり、各Ｙ座標位置ｙにおける自動車の面積と「自動２輪」の面積とのほぼ平均値となっている。判別用基準値Ｓ２（ｙ）は、各Ｙ座標位置ｙにおいて「原付」の面積と歩行者の面積及び人が乗った自転車の面積とを判別するための基準値であり、各Ｙ座標位置ｙにおける「原付」の面積と歩行者の面積又は人が乗った自転車の面積とのほぼ平均値となっている。なお、判別用基準値Ｓ１（ｙ），Ｓ２（ｙ）は、テレビカメラ１の設置場所等に応じて、図１４に示すような実験データから予め求めておき、ｙを変数とする式の形式又はルックアップテーブルの形式などで、処理部２のメモリ等に格納しておけばよい。 FIG. 14 shows the position (Y-coordinate position y) of the moving object region indicating each moving object in the image, the area S of the moving object region indicating each moving object in the image, and the reference values S1 (y) and S2 for determination. It is a figure which shows an actual example of the relationship with (y), and is obtained by experiment. The horizontal axis in FIG. 14 indicates the Y coordinate position y. In FIG. 14, the larger the value of y, the closer to the television camera 1. The vertical axis in FIG. 14 indicates the number of pixels of the moving body region as the area S in the image of the moving body region. FIG. 14 shows the area of a pedestrian, the area of a bicycle on which a person rides, the area of a “moped” (a motorcycle having a motor of 50 cc or less among motorcycles having a motor), an area of “motorcycle” (“motorized”). ), And the area of a motor vehicle. In FIG. 14, the area of a pedestrian is almost the same as the area of a bicycle on which a person rides, and the two overlap, making it difficult to distinguish them. As shown in FIG. 14, at the same Y coordinate position y, the area of the “moped”, the area of the “motorcycle”, and the area of the car increase in the order of the area of the pedestrian and the area of the bicycle on which the person rides. Has become. In FIG. 14, a reference value for discrimination S1 (y) is a reference value for discriminating the area of the vehicle and the area of the "motorcycle" at each Y coordinate position y. The average value of the area and the area of the "motorcycle" is almost the average. The discrimination reference value S2 (y) is a reference value for discriminating the area of “moped”, the area of a pedestrian, and the area of a bicycle on which a person rides at each Y coordinate position y. The average value of the area of the “moped” and the area of the pedestrian or the area of the bicycle on which the person rides is shown. Note that the reference values S1 (y) and S2 (y) for discrimination are obtained in advance from experimental data as shown in FIG. Alternatively, it may be stored in a memory or the like of the processing unit 2 in the form of a lookup table.

ステップＳ５８の後に、処理部２は、ステップＳ５８で最新に算出された当該移動体領域の面積Ｓが、ステップＳ５８で最新に算出された当該移動体領域の位置ｙでの判別用基準値Ｓ１（ｙ）以上であるか否かを判定する（ステップＳ５９）。この判別用基準値Ｓ１（ｙ）は、当該移動体領域が自動車によるものであるか否かを判別するための閾値となる。このステップＳ５９は、当該移動体領域が自動車によるものであるか否かを判定する自動車判定手段に相当している。もっとも、自動車判定手段はこれに限らない。 After step S58, the processing unit 2 determines that the area S of the moving body region most recently calculated in step S58 is equal to the reference value S1 for determination at the position y of the moving body region most recently calculated in step S58 ( y) It is determined whether or not it is equal to or greater than (step S59). This determination reference value S1 (y) is a threshold value for determining whether or not the moving object area is due to an automobile. This step S59 corresponds to a vehicle judging means for judging whether or not the moving body region is caused by a car. However, the vehicle determination means is not limited to this.

ステップＳ５９で判別用基準値Ｓ１（ｙ）以上である（すなわち、当該移動体が自動車である）と判定されると、処理部２は、自動車を検出した旨を示す自動車検出信号を出力した（ステップＳ６０）後に、ステップＳ７６へ移行する。一方、ステップＳ５９で判別用基準値Ｓ１（ｙ）以上ではないと判定されると、ステップＳ６１へ移行する。 When it is determined in step S59 that the value is equal to or more than the determination reference value S1 (y) (that is, the moving body is an automobile), the processing unit 2 outputs an automobile detection signal indicating that the automobile has been detected ( After step S60), the process proceeds to step S76. On the other hand, if it is determined in step S59 that the difference is not equal to or larger than the determination reference value S1 (y), the process proceeds to step S61.

ステップＳ６１において、処理部２は、ステップＳ５８で最新に算出された当該移動体領域の面積Ｓが、ステップＳ５８で最新に算出された当該移動体領域の位置ｙでの判別用基準値Ｓ２（ｙ）以上であるか否かを判定する。この判別用基準値Ｓ２（ｙ）は、当該移動体領域が自動二輪車（原動機を備えた二輪車であり、「原付」及び「自動２輪」を含む。）によるものであるか否かを判別するための閾値となる。ステップＳ５９，Ｓ６１は全体として、当該移動体領域が自動二輪車によるものであるか否かを判定する二輪車判定手段に相当している。もっとも、二輪車判定手段はこれに限らない。 In step S61, the processing unit 2 determines that the area S of the moving body region calculated latest in step S58 is the reference value S2 (y for discrimination at the position y of the moving body region calculated latest in step S58. ) It is determined whether or not it is above. This determination reference value S2 (y) determines whether or not the moving object area is based on a motorcycle (a motorcycle equipped with a motor and includes a “motorcycle” and a “motorcycle”). Threshold value for Steps S59 and S61 as a whole correspond to motorcycle determination means for determining whether or not the moving object area is based on a motorcycle. However, the motorcycle determination means is not limited to this.

ステップＳ６１で判別用基準値Ｓ２（ｙ）以上である（すなわち、当該移動体が自動二輪車である）と判定されると、処理部２は、自動二輪車を検出した旨を示す自動二輪車検出信号を出力した（ステップＳ６２）後に、ステップＳ７６へ移行する。一方、ステップＳ６１で判別用基準値Ｓ２（ｙ）以上ではないと判定されると、ステップＳ６３へ移行する。 When it is determined in step S61 that the value is equal to or greater than the determination reference value S2 (y) (that is, the moving object is a motorcycle), the processing unit 2 outputs a motorcycle detection signal indicating that the motorcycle has been detected. After the output (step S62), the process proceeds to step S76. On the other hand, if it is determined in step S61 that the difference is not more than the reference value for determination S2 (y), the process proceeds to step S63.

処理部２は、ステップＳ６３〜Ｓ７３において、前述したステップＳ８〜Ｓ１８とそれぞれ同一の処理を行う。 In steps S63 to S73, the processing unit 2 performs the same processing as steps S8 to S18 described above.

ステップＳ７３で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ７４）後に、ステップＳ７６へ移行する。一方、ステップＳ７３で所定数Ｃ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ７５）後に、ステップＳ７６へ移行する。 When it is determined in step S73 that the number is equal to or more than the predetermined number C (that is, the moving body is a pedestrian or the like), the processing unit 2 outputs a pedestrian or the like detection signal indicating that a pedestrian or the like has been detected. After (step S74), the process moves to step S76. On the other hand, when it is determined in step S73 that the number is not equal to or greater than the predetermined number C (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S75), the process proceeds to step S76.

ステップＳ７６において、処理部２は、ステップＳ５６で最新に判別された移動体領域の全てについてステップＳ５７の選択が終了したか否かを判定し、終了していなければステップＳ５７へ戻り、終了していればステップＳ７７を経てステップＳ５２へ戻る。ステップＳ７７において、処理部２は、前述したステップＳ２１と同様に、背景画像を更新する。 In step S76, the processing unit 2 determines whether or not the selection in step S57 has been completed for all of the moving object areas determined latest in step S56, and if not completed, returns to step S57 and ends. If so, the process returns to step S52 via step S77. In step S77, the processing unit 2 updates the background image as in step S21 described above.

本実施の形態によれば、前記第１の実施の形態と同様に、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。 According to the present embodiment, as in the first embodiment, a pedestrian or the like and a bicycle on which a person is riding can be accurately determined without performing pattern matching of images using a dictionary of template images. It can be determined and detected.

また、本実施の形態による移動体検出装置によれば、高速道路の入口などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部２から出力される自動車検出信号、自動二輪車検出信号、歩行者等検出信号及び自転車検出信号は、交通管制センターに送られ、高速道路の管理等に役立てられる。例えば、交通管制センターは、歩行者等検出信号や自転車検出信号に応答して、交通機動隊等へ指示を発することで、高速道路に誤って進入した歩行者や自転車を迅速に保護することができる。 Further, according to the moving object detection device according to the present embodiment, at the entrance of a highway or the like, a moving object, such as a pedestrian, a bicycle, a car, and a motorcycle on which a person is riding is discriminated and detected. be able to. For example, an automobile detection signal, a motorcycle detection signal, a pedestrian detection signal, and a bicycle detection signal output from the processing unit 2 of the moving object detection device according to the present embodiment are sent to a traffic control center to manage a highway. Etc. are useful. For example, a traffic control center responds to a pedestrian detection signal or a bicycle detection signal to issue an instruction to a traffic riot police or the like, thereby quickly protecting a pedestrian or a bicycle accidentally entering an expressway. it can.

なお、本実施の形態による移動体検出装置は、例えば、交差点などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出するために用いてもよい。 Note that the moving object detection device according to the present embodiment is used for distinguishing and detecting bicycles, automobiles, and motorcycles on which people are riding, such as pedestrians, at intersections, for example, as moving objects. You may.

［第４の実施の形態］ [Fourth Embodiment]

図１５は、本発明の第４の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１６は、本発明の第４の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 15 is a schematic flowchart showing a part of the operation of the moving object detection device according to the fourth embodiment of the present invention. FIG. 16 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the fourth embodiment of the present invention.

本実施の形態による移動体検出装置が前記第３の実施の形態による移動体検出装置と異なる所は、図１２及び図１３に示す動作に代えて、図１５及び図１６に示す動作を行う点である。 The moving object detecting apparatus according to the present embodiment is different from the moving object detecting apparatus according to the third embodiment in that the operation shown in FIGS. 15 and 16 is performed instead of the operation shown in FIGS. It is.

図１５及び図１６に示す動作が図１２及び図１３に示す動作と異なる所は、主に、図１２及び図１３に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図１５及び図１６に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図１５及び図１６に示す動作について、具体的に説明する。 The operation shown in FIGS. 15 and 16 is different from the operation shown in FIGS. 12 and 13 mainly in the operation shown in FIGS. 12 and 13 by using the average value of the average of the left area ratios. 15 and FIG. 16, the effect shown in FIGS. 15 and 16 is that the influence of noise is reduced by using the approximate curve of the average of the left side area ratios. Hereinafter, the operation shown in FIGS. 15 and 16 will be specifically described.

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ８１〜Ｓ９４において、前述したステップＳ５１〜Ｓ６４それぞれ同一の処理を行う。ただし、ステップＳ９０の後にステップＳ１０４へ移行し、ステップＳ９２の後にステップＳ１０４へ移行する。 In the moving object detection device according to the present embodiment, when the operation is started, the processing unit 2 performs the same processing in steps S51 to S64 described above in steps S81 to S94. However, after step S90, the process proceeds to step S104, and after step S92, the process proceeds to step S104.

ステップＳ９４で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｋを０にした（ステップＳ９５）後に、当該移動体に関するカウント値ｋを１だけインクリメントする（ステップＳ９６）。一方、ステップＳ９４で存在すると判定されると、処理部２は、ステップＳ９５を経ることなくステップＳ９６へ移行して、当該移動体に関するカウント値ｋを１だけインクリメントする。したがって、カウント値ｋは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。なお、カウント値ｋは、移動体毎に設けられる。 If it is determined in step S94 that the moving object does not exist, the processing unit 2 sets the count value k of the moving object to 0 (step S95), and then increments the count value k of the moving object by 1 (step S96). On the other hand, if it is determined in step S94 that the moving object exists, the processing unit 2 proceeds to step S96 without going through step S95, and increments the count value k for the moving body by one. Therefore, the count value k indicates the number of times of tracking (the number of captured images) for the same moving object. Note that the count value k is provided for each moving object.

ステップＳ９６の後、処理部２は、当該移動体に関するカウント値ｋが所定値Ｋ以上であるか否かを判定する（ステップＳ９７）。この所定値Ｋは、ステップＳ９３で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図６や図７において、Ｋフレーム分の範囲について、ステップＳ９３で算出された左側面積比率の近似曲線の時間的な変化を、ステップＳ１００で調べることになる。 After step S96, the processing unit 2 determines whether or not the count value k for the moving object is equal to or greater than a predetermined value K (step S97). The predetermined value K is a value that defines a range in which a temporal change in the left side area ratio calculated in step S93 is checked, and is set to, for example, 70. For example, in FIG. 6 and FIG. 7, the temporal change of the approximate curve of the left area ratio calculated in step S93 for the range of K frames is examined in step S100.

ステップＳ９７で所定値Ｋ以上であると判定されると、ステップＳ９８へ移行する一方、ステップＳ９７で所定値Ｋ以上ではないと判定されると、ステップＳ１０４へ移行する。 If it is determined in step S97 that the value is equal to or more than the predetermined value K, the process proceeds to step S98. If it is determined that the value is not equal to or more than the predetermined value K in step S97, the process proceeds to step S104.

ステップＳ９８において、処理部２は、当該移動体について、ステップＳ５７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の近似曲線を取得する。 In step S98, the processing unit 2 determines, for the mobile object, the first value (this value) obtained for each of the K mobile object regions in time series up to the mobile object region most recently selected in step S57. In the embodiment, an approximate curve of the left side area ratio is obtained.

その後、処理部２は、当該移動体について、ステップＳ５７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の平均値を、基準値として算出する（ステップＳ９９）。 Thereafter, the processing unit 2 determines, for the moving object, the first value (for this embodiment) obtained for each of the K moving object regions in chronological order up to the moving object region most recently selected in step S57. In the embodiment, the average value of the left side area ratio) is calculated as a reference value (step S99).

引き続いて、処理部２は、当該移動体についてステップＳ９８で最新に求められた近似曲線が、ステップＳ９９で最新に算出された基準値に対して上下に交差する数ｄを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ１００）。なお、ステップＳ１００で用いる基準値は、ステップＳ９９で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ９９を取り除き、ステップＳ９８の後に直ちにステップＳ１００へ移行すればよい。 Subsequently, the processing unit 2 calculates the number d of the approximate curve obtained at step S98 for the moving object that crosses up and down with respect to the reference value calculated latest at step S99. It is obtained as an index value indicating the state of the shape change over time (step S100). The reference value used in step S100 is not limited to the reference value calculated in step S99, and may be a predetermined constant value. In this case, step S99 may be removed, and the process may proceed to step S100 immediately after step S98.

なお、ステップＳ１００で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップＳ９８で最新に求められた近似曲線が、ステップＳ９９で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ１００で求める指標値は、例えば、当該移動体についてステップＳ９８で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ１０１でその数が所定数以上であるか否かを判定することになる。 Note that the index value obtained in step S100 is not limited to the above-described example. For example, the approximate curve obtained latest in step S98 for the moving object is determined from below the reference value calculated latest in step S99. The number of intersections from above or the number of intersections from above to below may be obtained as an index value indicating a state of a shape change of the moving body region over time. Further, the index value obtained in step S100 may be, for example, the number of local maximums, the number of local minimums, or the total number of the approximate curves most recently obtained in step S98 for the moving object. In these cases, it is determined in step S101 whether the number is equal to or more than a predetermined number.

ステップＳ１００の後、処理部２は、ステップＳ１００で最新に求められた数ｄが所定数Ｄ以上であるか否かを判定する（ステップＳ１０１）。この所定数Ｄは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップＳ１０１の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。 After step S100, the processing unit 2 determines whether or not the number d obtained latest in step S100 is equal to or greater than a predetermined number D (step S101). This predetermined number D is a threshold value for determining whether or not the approximate curve rises and falls periodically. By the determination in step S101, it is determined whether the moving object is a pedestrian or the like or a bicycle on which a person is riding.

ステップＳ１０１で所定数Ｄ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ１０２）後に、ステップＳ１０４へ移行する。一方、ステップＳ１０１で所定数Ｄ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ１０３）後に、ステップＳ１０４へ移行する。 When it is determined in step S101 that the number is equal to or more than the predetermined number D (that is, the moving body is a pedestrian or the like), the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected. After (Step S102), the process proceeds to Step S104. On the other hand, if it is determined in step S101 that the number is not equal to or greater than the predetermined number D (that is, the moving object is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding has been detected. After outputting the bicycle detection signal (step S103), the process proceeds to step S104.

ステップＳ１０４において、処理部２は、ステップＳ８６で最新に判別された移動体領域の全てについてステップＳ８７の選択が終了したか否かを判定し、終了していなければステップＳ８７へ戻り、終了していればステップＳ１０５を経てステップＳ８２へ戻る。ステップＳ１０５において、処理部２は、前述したステップＳ７７と同様に、背景画像を更新する。 In step S104, the processing unit 2 determines whether or not the selection in step S87 has been completed for all of the moving object areas determined latest in step S86, and if not completed, returns to step S87 and ends. If so, the process returns to step S82 via step S105. In step S105, the processing unit 2 updates the background image as in step S77 described above.

本実施の形態によっても、前記第３の実施の形態と同様の利点が得られる。 According to this embodiment, advantages similar to those of the third embodiment can be obtained.

［第５の実施の形態］ [Fifth Embodiment]

図３は、本発明の第５の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートでもある。図１７は、本発明の第５の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。 FIG. 3 is also a schematic flowchart showing a part of the operation of the moving object detection device according to the fifth embodiment of the present invention. FIG. 17 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the fifth embodiment of the present invention.

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、テレビカメラ１が、歩行者等及びその他の任意の移動体（人が乗っている自転車、自動車及び自動二輪車のうちの少なくとも１種類の移動体）が通過する所定領域を撮像するように設定されている点と、図３及び図４に示す動作に代えて、図３及び図１７に示す動作を行い、歩行者等のみを他の移動体から判別して検出する点である。 The difference between the moving object detecting device according to the present embodiment and the moving object detecting device according to the first embodiment is that the television camera 1 is provided with a pedestrian or the like and any other moving object (a bicycle on which a person is riding, 3 and FIG. 17 in place of the operation shown in FIG. 3 and FIG. 4 in that an image of a predetermined area through which at least one type of vehicle (automobile or motorcycle) passes is set. The point is that only the pedestrians and the like are distinguished from other moving objects and detected.

図３及び図１７に示す動作が図３及び図４に示す動作と異なる所は、ステップＳ１８で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ２２）後に、ステップＳ２０へ移行する一方で、ステップＳ１８で所定数Ｃ以上ではない（すなわち、当該移動体が歩行者等ではない）と判定されると、直ちにステップＳ２０へ移行する点のみである。 3 and FIG. 17 is different from the operation shown in FIG. 3 and FIG. 4 when it is determined in step S18 that the number is equal to or more than the predetermined number C (that is, the moving body is a pedestrian or the like). After outputting the pedestrian detection signal indicating that a pedestrian or the like has been detected (step S22), the processing unit 2 proceeds to step S20, but does not exceed the predetermined number C in step S18 (that is, the movement is not performed). If it is determined that the body is not a pedestrian or the like, the only point is that the process immediately proceeds to step S20.

本実施の形態によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等を他の移動体から高い精度で判別して検出することができる。
。 According to the present embodiment, a pedestrian or the like can be determined and detected with high accuracy from other moving objects without performing pattern matching of images using a dictionary of template images.
.

以上、本発明の各実施の形態及びその変形例について説明したが、本発明はこれらに限定されるものではない。例えば、本発明では、移動体の移動速度も考慮して当該移動体を判別して検出するようにしてもよい。 The embodiments of the present invention and the modifications thereof have been described above, but the present invention is not limited to these. For example, in the present invention, the moving body may be determined and detected in consideration of the moving speed of the moving body.

１テレビカメラ
２処理部
３画像メモリ 1 TV camera 2 Processing unit 3 Image memory

Claims

所定領域を撮像する撮像手段と、
前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、
同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、
前記形状変化の様子を示す指標値を得る指標値取得手段と、
を備え、
前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定し、
前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第１の値の変化に基づいて前記指標値を取得する、
ことを特徴とする移動体検出装置。 Imaging means for imaging a predetermined area;
For each image obtained over time from the imaging means, a moving body area obtaining means for obtaining a moving body area in the image,
Determining means for determining whether or not the moving object is a predetermined moving object, based on a shape change of the moving object region of each image estimated to be caused by the same moving object over time;
Index value obtaining means for obtaining an index value indicating the state of the shape change,
With
The determining means determines whether the moving object is the predetermined moving object based on the index value,
The index value acquiring unit may include, for the moving body region of each of the images estimated to be caused by the same moving body, a partial region on one side in a predetermined direction in the moving body region with respect to the entire area of the moving body region A first value corresponding to the area ratio of the image is obtained, and the index value is obtained based on a change in the first value related to the moving body region of each image estimated to be caused by the same moving body. ,
A moving object detection device characterized by the above-mentioned.

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列が、基準値に対して上下に又は下から上に又は上から下に交差する数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項１記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. (Ii) a first calculating means for calculating a first value corresponding to a ratio of the area of the partial region, and (ii) the moving body region of each of the images estimated to be caused by the same moving body. (Iii) the same as the second calculation means for obtaining a second value corresponding to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to The time series of a second predetermined number of the second values up to the latest obtained by the second calculating means for the moving object region of each image estimated to be due to the moving object is a reference value. crosses from top to bottom or from bottom to top or vertically for And having a third calculation means for obtaining as the index value,
The moving object detection device according to claim 1, wherein:

前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの前記第２の所定数の前記第２の値の平均値であることを特徴とする請求項２記載の移動体検出装置。 The reference value is a value of the second predetermined number of the second values up to the latest obtained by the second calculating means for the moving body region of each image estimated to be due to the same moving body. The moving object detection device according to claim 2 , wherein the detection value is an average value.

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線が、基準値に対して上下に又は下から上に又は上から下に交差する数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項１記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. And (ii) the first calculation for the moving object region of each of the images estimated to be caused by the same moving object. approximate curve of the time series of a predetermined number of said first value to the most recent obtained by means of several intersecting the bottom or from the top from the bottom or up and down with respect to the reference value, as the index value And third computing means for determining
The moving object detection device according to claim 1, wherein:

前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの前記所定数の前記第１の値の平均値であることを特徴とする請求項４記載の移動体検出装置。 The reference value is an average value of the predetermined number of the first values up to the latest obtained by the first calculation means for the moving body region of each image estimated to be caused by the same moving body. 5. The moving object detecting device according to claim 4, wherein:

前記基準値は所定の一定値であることを特徴とする請求項２又は４記載の移動体検出装置。 The reference value is the moving object detection apparatus according to claim 2 or 4, wherein it is a predetermined constant value.

前記判定手段は、前記第３の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定する、
ことを特徴とする請求項２乃至６のいずれかに記載の移動体検出装置。 The determination means determines, when the third number, which is more required for computation hand stage is equal to or more than a predetermined number, and the moving body is a predetermined moving object,
Moving object detection apparatus according to any one of claims 2 to 6, characterized in that.

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項１記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. (Ii) a first calculating means for calculating a first value corresponding to a ratio of the area of the partial region, and (ii) the moving body region of each of the images estimated to be caused by the same moving body. (Iii) the same as the second calculation means for obtaining a second value corresponding to the average value of the first values obtained for each of the first predetermined number of the moving object regions in chronological order up to The maximum number of the time series of the second predetermined number of the second values up to the latest obtained by the second calculating means for the moving body region of each image estimated to be due to the moving body , The minimum number or the total number thereof as the index value And a third arithmetic means for obtaining, a,
The moving object detection device according to claim 1, wherein:

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項１記載の移動体検出装置。 The index value acquiring means includes: (i) one side of a predetermined direction in the moving body region with respect to the entire area of the moving body region for the moving body region of each image estimated to be caused by the same moving body. And (ii) the first calculation for the moving object region of each of the images estimated to be caused by the same moving object. A third calculating means for obtaining, as the index value, the maximum number, the minimum number, or the total number of the maximum number, the minimum number, or the total number of the time-series approximation curves of the predetermined number of the first values up to the latest obtained by the means; Having,
The moving object detection device according to claim 1, wherein:

前記判定手段は、前記第３の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定する、
ことを特徴とする請求項８又は９記載の移動体検出装置。 The determination means determines, when the third number, which is more required for computation hand stage is equal to or more than a predetermined number, and the moving body is a predetermined moving object,
The moving object detection device according to claim 8 or 9, wherein

前記移動体領域取得手段は、前記撮像手段から時間経過に従って得られる前記各画像について、当該画像から背景画像を差し引いた差分画像を得る差分画像取得手段と、前記差分画像を２値化する２値化処理手段と、該２値化処理手段により２値化された各画像に対してラベリングを行うラベリング手段と、前記２値化された各画像のラベル領域又はそのラベル領域のうち所定大きさ以上のラベル領域を前記移動体領域として求める手段と、を有することを特徴とする請求項１乃至１０のいずれかに記載の移動体検出装置。 The moving body region obtaining means includes, for each image obtained from the imaging means over time, a difference image obtaining means for obtaining a difference image obtained by subtracting a background image from the image, and a binary image for binarizing the difference image Binarization processing means, labeling means for labeling each image binarized by the binarization processing means, and a label area of each binarized image or a predetermined size or more of the label area moving object detection apparatus according to any one of claims 1 to 10, characterized in that it comprises a means for obtaining a label area as the moving body region.

前記撮像手段により撮像された前記画像のうち前記移動体領域を除く部分に基づいて、前記背景画像を更新する更新手段を備えたことを特徴とする請求項１１記載の移動体検出装置。 12. The moving object detection device according to claim 11 , further comprising an updating unit that updates the background image based on a portion of the image captured by the imaging unit excluding the moving object region.

前記所定方向は、前記画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向であることを特徴とする請求項１乃至１２のいずれかに記載の移動体検出装置 The method according to claim 1, wherein the predetermined direction is a direction in which a smaller angle forms an angle of 45 ° or more with respect to a straight line in the image that passes through a center of the image and extends in a direction corresponding to a vertical direction. The moving object detection device according to any one of 1 to 12

前記所定の移動体が乗物に乗っていない人であることを特徴とする請求項１乃至１３のいずれかに記載の移動体検出装置。 Moving object detection apparatus according to any one of claims 1 to 13, wherein the predetermined moving object is a person that is not riding on the vehicle.

前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段を備えたことを特徴とする請求項１４記載の移動体検出装置。 15. The moving object detection device according to claim 14, further comprising an automobile determining unit that determines whether or not the moving object area obtained by the moving object area obtaining unit is an automobile.

前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段を備えたことを特徴とする請求項１４又は１５記載の移動体検出装置。 16. The moving body according to claim 14, further comprising: a motorcycle determination unit configured to determine whether or not the moving body area obtained by the moving body area acquisition unit is a motorcycle equipped with a motor. Detection device.

同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられることを特徴とする請求項１乃至１６のいずれかに記載の移動体検出装置。 As the moving object region of each image estimated to be caused by the same moving object, the moving object region of each image estimated to be caused by the same moving object and satisfying a predetermined condition is used. moving object detection apparatus according to any one of claims 1 to 16.

前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段と、
前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、
を備え、
同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、
前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、
前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定することを特徴とする請求項１４記載の移動体検出装置。 Vehicle determining means for determining whether the moving body area obtained by the moving body area obtaining means is due to a car,
Two-wheeler determination means for determining whether or not the moving body area obtained by the moving body area acquisition means is based on a motorcycle having a motor.
With
As the moving object region of each image estimated to be due to the same moving object, the moving object region of each image estimated to be due to the same moving object and satisfying a predetermined condition is used,
The predetermined condition is a condition that the vehicle determining unit determines that the moving body region is not due to an automobile and the motorcycle determining unit determines that the moving body region is not a motorcycle.
15. The moving object detecting device according to claim 14 , wherein the determining unit determines that the moving object is a bicycle when determining that the moving object is not a person who does not ride on a vehicle.