JP2016186780A - Movable body detection device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a movable body detection device that can detect a predetermined movable body, such as a person not on a vehicle (pedestrian, etc.) with high accuracy while distinguishing from another movable body, without performing pattern matching of images using a dictionary of a template image.SOLUTION: A camera 1 photographs a predetermined area. A processing part 2 includes movable body area acquisition means that acquires a movable body area in images obtained from the camera 1 over the course of time, and determination means that determines whether the movable body is a predetermined movable body on the basis of a change in shape over the course of time in the movable body area in the images, the change estimated to be of the same movable body.SELECTED DRAWING: Figure 1

Description

本発明は、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、他の移動体から判別して検出することができる移動体検出装置に関するものである。   The present invention relates to a moving body detection apparatus that can detect and detect a predetermined moving body such as a person (pedestrian or the like) who is not on a vehicle from other moving bodies.

下記特許文献１には、自転車や二輪車及びそれらの乗員と歩行者との判別精度を向上させた画像認識装置として、画像内の被写体を認識する画像認識装置において、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段と、被写体の移動速度を検出する移動速度検出手段と、前記移動速度検出手段で検出した被写体の移動速度に基づいて、複数の辞書中から前記認識手段において被写体認識のために利用する辞書を選択する辞書選択手段と、を備えた画像認識装置が、開示されている。   Patent Document 1 listed below includes a part of an image recognition apparatus that recognizes a subject in an image as an image recognition device that improves the discrimination accuracy between bicycles and two-wheeled vehicles and their occupants and pedestrians. By comparing the image area with a template image stored in a predetermined dictionary, the recognition means for recognizing the object, the movement speed detection means for detecting the movement speed of the object, and the movement speed detection means There is disclosed an image recognition apparatus including a dictionary selection unit that selects a dictionary to be used for subject recognition in the recognition unit from a plurality of dictionaries based on a moving speed of a subject.

特開２００７−２４９８４１号公報JP 2007-249841 A

しかしながら、前記従来の装置では、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段が用いられており、画像のパターンマッチングにより歩行者を自転車等から判別して検出するものであるため、画像のパターンマッチングの処理に多大な処理量を要する。   However, the conventional apparatus uses a recognition unit that recognizes a subject by comparing a partial image region including the subject in the image with a template image stored in a predetermined dictionary. Therefore, a large amount of processing is required for image pattern matching processing.

本発明は、このような事情に鑑みてなされたもので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and does not perform image pattern matching using a template image dictionary, for example, a predetermined moving body such as a person (pedestrian or the like) who is not on a vehicle. It is an object of the present invention to provide a moving body detection device that can detect and detect a moving object from other moving bodies with high accuracy.

前記課題を解決するための手段として、以下の各態様を提示する。第１の態様による移動体検出装置は、所定領域を撮像する撮像手段と、前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、を備えたものである。   The following aspects are presented as means for solving the problems. The moving body detection apparatus according to the first aspect is the same as an imaging means for imaging a predetermined area and a moving body area acquisition means for obtaining a moving body area in the image for each image obtained from the imaging means as time elapses. Determination means for determining whether or not the moving body is a predetermined moving body based on a change in shape of the moving body region of each image estimated to be due to a moving body over time. It is a thing.

この第１の態様によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる。   According to this first aspect, whether the moving body is a predetermined moving body based on the shape change of the moving body area of each image estimated to be caused by the same moving body over time. For example, a predetermined moving body such as a person (pedestrian or the like) who is not on a vehicle can be compared with another moving body with high accuracy without performing pattern matching of an image using a dictionary of template images. Can be detected and detected.

第２の態様による移動体検出装置は、前記第１の態様において、前記形状変化の様子を示す指標値を得る指標値取得手段を備え、前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定するものである。   In the first aspect, the mobile body detection device according to the second aspect includes index value acquisition means for obtaining an index value indicating the state of the shape change, and the determination means is configured to move the movement based on the index value. It is determined whether or not the body is the predetermined moving body.

この第２の態様によれば、前記形状変化の様子を示す指標値を得て、この指標値に基づいて前記移動体が前記所定の移動体であるか否かを判定するので、前記移動体が前記所定の移動体であるか否かの判定をより容易に行うことができる。   According to the second aspect, an index value indicating the state of the shape change is obtained, and it is determined based on the index value whether the moving body is the predetermined moving body. It is possible to more easily determine whether or not is the predetermined moving body.

第３の態様による移動体検出装置は、前記第２の態様において、前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第１の値の変化に基づいて前記指標値を取得するものである。   According to a third aspect of the present invention, the mobile object detection apparatus according to the second aspect is characterized in that the index value acquisition unit is configured to determine, for the mobile object area of each image estimated to be the same mobile object, the mobile object area. A first value corresponding to a ratio of the area of a partial region on one side in a predetermined direction in the moving body region to the area of the entire region is obtained, and the moving body of each image estimated to be from the same moving body The index value is acquired based on a change in the first value related to the region.

この第３の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する例を挙げたものである。   The third aspect is an example in which an index value is acquired using a first value corresponding to the area ratio.

第４の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第３の演算手段と、を有するものである。   The mobile object detection device according to a fourth aspect is the mobile object detection apparatus according to the third aspect, wherein the index value acquisition means (i) performs the movement for the mobile object region of each image estimated to be the same mobile object. First calculation means for obtaining a first value corresponding to the ratio of the area of the partial region on one side in a predetermined direction in the mobile body region to the area of the whole body region, and (ii) by the same mobile body According to the average value of the first values obtained for each of the first predetermined number of the mobile object regions in time-series order up to the mobile object region, with respect to the mobile object region of each image estimated as Second calculation means for obtaining the second value; and (iii) the second calculation means up to the latest obtained by the second calculation means for the moving body region of each image estimated to be caused by the same moving body. A time series of the predetermined number of the second values of 2 is The number of crossing from top to bottom or from bottom to top or up and down with respect to the reference value, and has a third arithmetic means for obtaining as the index value.

この第４の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の具体例を挙げたものである。   The fourth aspect is a specific example in the case where the index value is obtained using the first value corresponding to the area ratio.

第５の態様による移動体検出装置は、前記第４の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの前記第２の所定数の前記第２の値の平均値であるものである。   According to a fifth aspect of the present invention, in the fourth aspect, the reference value is obtained by the second calculation means for the moving body region of each image estimated to be from the same moving body. The average value of the second predetermined number of the second values up to the latest.

この第５の態様は、前記基準値の例として前記平均値を挙げたものである。   In the fifth aspect, the average value is given as an example of the reference value.

第６の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第２の演算手段と、を有するものである。   The mobile object detection device according to a sixth aspect is the mobile object detection apparatus according to the third aspect, wherein the index value acquisition means (i) moves the mobile object region of each image estimated to be from the same mobile object. First calculation means for obtaining a first value corresponding to the ratio of the area of the partial region on one side in a predetermined direction in the mobile body region to the area of the whole body region, and (ii) by the same mobile body A time-series approximate curve of a predetermined number of the first values up to the latest obtained by the first calculation means for the moving body region of each image estimated as And second calculating means for obtaining the number of times of crossing from the bottom to the top or from the top to the bottom as the index value.

この第６の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。   The sixth aspect is another specific example in the case where the index value is acquired using the first value corresponding to the ratio of the areas.

第７の態様による移動体検出装置は、前記第６の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの前記所定数の前記第１の値の平均値であるものである。   According to a seventh aspect of the present invention, in the sixth aspect, the reference value is obtained by the first calculation means for the moving body region of each image estimated to be from the same moving body. The average value of the predetermined number of the first values up to the latest.

この第７の態様は、前記基準値の例として前記平均値を挙げたものである。   In the seventh aspect, the average value is given as an example of the reference value.

第８の態様による移動体検出装置は、前記第４又は第６の態様において、前記基準値は所定の一定値であるものである。   In the moving body detection device according to the eighth aspect, in the fourth or sixth aspect, the reference value is a predetermined constant value.

この第７の態様は、前記基準値の例として所定の一定値を挙げたものである。   In the seventh aspect, a predetermined constant value is given as an example of the reference value.

第９の態様による移動体検出装置は、前記第４乃至第８のいずれかの態様において、前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた回数が所定回数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。   In the mobile object detection device according to a ninth aspect, in any of the fourth to eighth aspects, the determination means is configured such that the number of times obtained by the third arithmetic means or the second arithmetic means is a predetermined number of times. When it is above, it determines with the said mobile body being the said predetermined mobile body.

この第９の態様は、前記判定手段による判定の具体例を挙げたものである。   In the ninth aspect, a specific example of determination by the determination unit is given.

第１０の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第３の演算手段と、を有するものである。   The mobile object detection apparatus according to a tenth aspect is the mobile object detection apparatus according to the third aspect, wherein the index value acquisition means (i) performs the movement for the mobile object region of each image estimated to be due to the same mobile object. First calculation means for obtaining a first value corresponding to the ratio of the area of the partial region on one side in a predetermined direction in the mobile body region to the area of the whole body region, and (ii) by the same mobile body According to the average value of the first values obtained for each of the first predetermined number of the mobile object regions in time-series order up to the mobile object region, with respect to the mobile object region of each image estimated as Second calculation means for obtaining the second value; and (iii) the second calculation means up to the latest obtained by the second calculation means for the moving body region of each image estimated to be caused by the same moving body. A time series of a predetermined number of said second values of 2 Those with the number of maxima, the count of the number or the sum of their minimum, and third calculation means for obtaining as the index value.

この第１０の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。   The tenth aspect is another specific example in the case where the index value is acquired using the first value corresponding to the ratio of the areas.

第１１の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第２の演算手段と、を有するものである。   According to an eleventh aspect of the present invention, in the third aspect, the mobile object detection apparatus is configured such that the index value acquisition unit (i) moves the moving object region of each image estimated to be due to the same moving object. First calculation means for obtaining a first value corresponding to the ratio of the area of the partial region on one side in a predetermined direction in the mobile body region to the area of the whole body region, and (ii) by the same mobile body The maximum number, the minimum number, or the minimum number of time-series approximate curves of the predetermined number of the first values up to the latest obtained by the first calculation means for the moving body region of each image estimated as And a second calculating means for obtaining the total number as the index value.

この第１１の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。   The eleventh aspect is another specific example in which the index value is acquired using the first value corresponding to the ratio of the areas.

第１２の態様による移動体検出装置は、前記第１０又は第１１の態様において、前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。   In the mobile body detection device according to a twelfth aspect according to the tenth or eleventh aspect, the number of the determination means obtained by the third calculation means or the second calculation means is a predetermined number or more. In this case, it is determined that the moving body is the predetermined moving body.

この第１２の態様は、前記判定手段による判定の具体例を挙げたものである。   In the twelfth aspect, a specific example of determination by the determination unit is given.

第１３の態様による移動体検出装置は、前記第１乃至第１２のいずれかの態様において、前記移動体領域取得手段は、前記撮像手段から時間経過に従って得られる前記各画像について、当該画像から背景画像を差し引いた差分画像を得る差分画像取得手段と、前記差分画像を２値化する２値化処理手段と、該２値化処理手段により２値化された各画像に対してラベリングを行うラベリング手段と、前記２値化された各画像のラベル領域又はそのラベル領域のうち所定大きさ以上のラベル領域を前記移動体領域として求める手段と、を有するものである。   In the mobile object detection device according to a thirteenth aspect according to any one of the first to twelfth aspects, the mobile object region acquisition unit is configured to obtain a background from the image for each of the images obtained from the imaging unit over time. Difference image acquisition means for obtaining a difference image obtained by subtracting images, binarization processing means for binarizing the difference image, and labeling for labeling each image binarized by the binarization processing means And means for obtaining a label area of each binarized image or a label area of a predetermined size or more as the moving body area.

この第１３の態様は、移動体領域の取得の具体例を挙げたものである。   In the thirteenth aspect, a specific example of acquiring the moving object region is given.

第１４の態様による移動体検出装置は、前記第１３の態様において、前記撮像手段により撮像された前記画像のうち前記移動体領域を除く部分に基づいて、前記背景画像を更新する更新手段を備えたものである。   According to a fourteenth aspect, in the thirteenth aspect, the mobile body detection device includes an updating unit that updates the background image based on a portion of the image captured by the imaging unit excluding the mobile body region. It is a thing.

この第１４の態様によれば、前記背景画像を更新する更新手段を備えているので、周囲の状況（日照条件や照明など）が変化しても、より高い精度で移動体領域を取得することができ、ひいては、所定の移動体をより高い精度で他の移動体から判別して検出することができる。   According to the fourteenth aspect, since the update means for updating the background image is provided, the moving object region can be acquired with higher accuracy even if the surrounding situation (sunshine conditions, lighting, etc.) changes. As a result, the predetermined moving body can be determined and detected from other moving bodies with higher accuracy.

第１５の態様による移動体検出装置は、前記第３乃至第１４のいずれかの態様において、前記所定方向は、前記画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向であるものである。   In the mobile object detection device according to a fifteenth aspect, in any one of the third to fourteenth aspects, the predetermined direction is a straight line in the image extending through a center of the image and corresponding to a vertical direction. On the other hand, the smaller angle is a direction that forms an angle of 45 ° or more.

この第１５の態様によれば、例えば前記所定の移動体が乗物に乗っていない人である場合における腕の振りによる移動体領域の形状変化のように、水平方向の形状変化が大きい場合、その形状変化を感度良く捉えることができ、ひいては、前記所定の移動体をより高い精度で他の移動体から判別して検出することができる。   According to this fifteenth aspect, for example, when the shape change in the horizontal direction is large, such as the shape change of the moving object region due to the swing of the arm when the predetermined moving object is a person not on the vehicle, The change in shape can be detected with high sensitivity, and as a result, the predetermined moving body can be distinguished from other moving bodies and detected with higher accuracy.

第１６の態様による移動体検出装置は、前記第１乃至第１５のいずれかの態様において、前記所定の移動体が乗物に乗っていない人であるものである。   A mobile body detection device according to a sixteenth aspect is the person according to any one of the first to fifteenth aspects, wherein the predetermined mobile body is not on a vehicle.

この第１６の態様は、前記所定の移動体の例を挙げたものである。乗物に乗っていない人と自転車（人が乗っている自転車）とは一般的に判別が困難であるが、前記第１乃至前記第１５の態様では、そのような判別も容易となる。   The sixteenth aspect is an example of the predetermined moving body. Although it is generally difficult to discriminate between a person who is not on a vehicle and a bicycle (a bicycle on which a person is riding), in the first to fifteenth aspects, such discrimination is also easy.

第１７の態様による移動体検出装置は、前記第１６の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段を備えたものである。   In the sixteenth aspect, a mobile body detection device according to a seventeenth aspect includes a vehicle determination unit that determines whether or not the mobile body region obtained by the mobile body region acquisition unit is a vehicle. Is.

この第１７の態様によれば、自動車も判別して検出することができる。   According to the seventeenth aspect, an automobile can also be determined and detected.

第１８の態様による移動体検出装置は、前記第１６又は第１７の態様において、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段を備えたものである。   In the sixteenth or seventeenth aspect, the mobile body detection device according to the eighteenth aspect determines whether or not the mobile body area obtained by the mobile body area acquisition means is a two-wheeled vehicle equipped with a prime mover. A motorcycle determination means is provided.

この第１８の態様によれば、原動機を備えた二輪車も判別して検出することができる。   According to the eighteenth aspect, the two-wheeled vehicle including the prime mover can also be determined and detected.

第１９の態様による移動体検出装置は、前記第１乃至第１８のいずれかの態様において、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられるものである。   The moving object detection apparatus according to a nineteenth aspect is the one according to any one of the first to eighteenth aspects, wherein the moving object region of each image estimated to be due to the same moving object is the same moving object. And the moving object region of each image satisfying a predetermined condition is used.

この第１９の態様によれば、判定手段は移動体領域のうち所定条件を満たすものについて所定の移動体であるか否かを判定するので、前記判定手段は、前記所定条件を満たさずに前記所定の移動体である可能性がない移動体領域については、前記移動体領域の時間経過に従った形状変化に基づく判定を行わずに済む。   According to the nineteenth aspect, since the determining means determines whether or not the moving object region satisfying the predetermined condition is a predetermined moving object, the determining means does not satisfy the predetermined condition. For a moving body region that is not likely to be a predetermined moving body, it is not necessary to make a determination based on a change in shape of the moving body region over time.

第２０の態様による移動体検出装置は、前記第１６の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段と、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、を備え、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定するものである。   The mobile object detection device according to a twentieth aspect according to the sixteenth aspect is the vehicle determination means for determining whether or not the mobile object area obtained by the mobile object area acquisition means is an automobile, Two-wheeled vehicle determination means for determining whether or not the moving body region obtained by the moving body region acquisition means is a two-wheeled vehicle equipped with a prime mover, and each image estimated to be due to the same moving body As the moving body area, the moving body area of each image that is presumed to be due to the same moving body and satisfies a predetermined condition is used, and the predetermined condition is determined by the vehicle determination means. The two-wheeled vehicle determining means determines that the moving body region is not a two-wheeled vehicle, and the determining means If it is determined that not a person not on the one in which the movable body is determined to be a bicycle.

この第２０の態様によれば、前記撮像手段が、乗物に乗っていない人と自転車の他に、自動車や原動機を備えた二輪車を撮像し得る場合であっても、それらを判別して検出することができる。   According to the twentieth aspect, the imaging means discriminates and detects them even when a motorcycle and a motorcycle equipped with a prime mover can be imaged in addition to a person and a bicycle who are not on the vehicle. be able to.

本発明によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することができる。   According to the present invention, a predetermined moving body such as a person (pedestrian or the like) who is not on a vehicle can be moved from another moving body with high accuracy without performing pattern matching of an image using a dictionary of template images. It is possible to provide a moving body detection apparatus that can be discriminated and detected.

本発明の第１の実施の形態による移動体検出装置を示す概略ブロック図である。1 is a schematic block diagram showing a moving object detection device according to a first embodiment of the present invention. 撮像された画像の例を模式的に示す概略図である。It is the schematic which shows the example of the imaged image typically. 図１に示す移動体検出装置の動作の一部を示す概略フローチャートである。It is a schematic flowchart which shows a part of operation | movement of the moving body detection apparatus shown in FIG. 図１に示す移動体検出装置の動作の残りの部分を示す概略フローチャートである。It is a schematic flowchart which shows the remaining part of operation | movement of the moving body detection apparatus shown in FIG. ２値化された差分画像中の実際の移動体の像の各具体例を示す図である。It is a figure which shows each specific example of the image of the actual mobile body in the binarized difference image. 撮像された各フレームと、当該フレームの２値化された差分画像中の同一の歩行者を示す移動体領域の左側面積比率及び右側面積比率との関係の実際の一例を示す図である。It is a figure which shows an actual example of the relationship between each imaged flame | frame and the left side area ratio and right side area ratio of the mobile body area | region which shows the same pedestrian in the binarized difference image of the said frame. 撮像された各フレームと、当該フレームの２値化された差分画像中の同一の人が乗っている自転車を示す移動体領域の左側面積比率及び右側面積比率との関係の実際の一例を示す図である。The figure which shows an actual example of the relationship between each frame imaged and the left side area ratio and the right side area ratio of the moving body area | region which shows the bicycle in which the same person is riding in the binarized difference image of the said frame. It is. 撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の歩行者を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図６に示すデータから算出されたものである。It is a figure which shows an actual example of the relationship between each imaged frame and the average value of the left side area ratio and the average value of the right side area ratio of the moving body region showing the same pedestrian in the latest 10 frames up to the frame. Thus, it is calculated from the data shown in FIG. 撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の人が乗っている自転車を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図７に示すデータから算出されたものである。An actual example of the relationship between each imaged frame and the average value of the left area ratio and the average value of the right area ratio of the moving body region indicating the bicycle on which the same person is riding in the latest 10 frames up to that frame It is a figure which shows, Comprising: It was calculated from the data shown in FIG. 本発明の第２の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。It is a schematic flowchart which shows a part of operation | movement of the moving body detection apparatus by the 2nd Embodiment of this invention. 本発明の第２の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。It is a schematic flowchart which shows the remaining part of operation | movement of the moving body detection apparatus by the 2nd Embodiment of this invention. 本発明の第３の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。It is a schematic flowchart which shows a part of operation | movement of the moving body detection apparatus by the 3rd Embodiment of this invention. 本発明の第３の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。It is a schematic flowchart which shows the remaining part of operation | movement of the moving body detection apparatus by the 3rd Embodiment of this invention. 各移動体を示す移動体領域の画像中の位置と、各移動体を示す移動体領域の画像中の面積及び判別用基準値との関係の実際の一例を示す図である。It is a figure which shows an actual example of the relationship between the position in the image of the moving body area | region which shows each moving body, the area in the image of the moving body area | region which shows each moving body, and the reference value for discrimination. 本発明の第４の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。It is a schematic flowchart which shows a part of operation | movement of the moving body detection apparatus by the 4th Embodiment of this invention. 本発明の第４の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。It is a schematic flowchart which shows the remaining part of operation | movement of the moving body detection apparatus by the 4th Embodiment of this invention. 本発明の第５の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。It is a schematic flowchart which shows the remaining part of operation | movement of the moving body detection apparatus by the 5th Embodiment of this invention.

以下、本発明による移動体検出装置について、図面を参照して説明する。   Hereinafter, a mobile object detection device according to the present invention will be described with reference to the drawings.

［第１の実施の形態］   [First Embodiment]

図１は、本発明の第１の実施の形態による移動体検出装置を示す概略ブロック図である。   FIG. 1 is a schematic block diagram showing a moving object detection apparatus according to the first embodiment of the present invention.

本実施の形態による移動体検出装置は、図１に示すように、所定領域を撮像する撮像手段としてのテレビカメラ１と、テレビカメラ１からの画像信号をＡ／Ｄ変換して画像メモリ３にサンプリングして取り込み、このサンプリングされた画像に基づいて処理を行って検出対象となる移動体を他の移動体から判別して検出する処理部２と、前記画像メモリ３とを備えている。なお、図面には示していないが、処理部２は、Ａ／Ｄ変換器の他、後述する動作を実現するように、例えば、マイクロコンピュータ及び他の電子回路等で構成されている。   As shown in FIG. 1, the moving body detection apparatus according to the present embodiment performs A / D conversion on an image signal from the television camera 1 as an imaging means for imaging a predetermined area and the television camera 1 to an image memory 3. The image memory 3 is provided with a processing unit 2 that samples and captures, performs processing based on the sampled image and discriminates and detects a moving body to be detected from other moving bodies. Although not shown in the drawings, the processing unit 2 includes, for example, a microcomputer and other electronic circuits so as to realize an operation described later in addition to the A / D converter.

本実施の形態による移動体検出装置は、具体的には、自転車の走行が禁止されている歩道において、人が乗っている自転車（以下、単に「自転車」という場合がある。）を、乗物に乗っていない人（以下、「歩行者等」という場合がある。）から判別して検出するように構成されている。歩行者等には、歩行者の他にジョガーやランナーも含まれる。処理部２から出力される自転車を検出した旨を示す自転車検出信号は、例えば、図示しない警報装置において、当該歩道を走行する自転車に対して警報（例えば、自転車はこの歩道を走行してはならない旨の音声）を発生するために用いられる。   Specifically, the moving body detection apparatus according to the present embodiment uses a bicycle on which a person is riding on a sidewalk where bicycle traveling is prohibited (hereinafter, simply referred to as “bicycle”) as a vehicle. It is configured to discriminate from a person who is not on board (hereinafter sometimes referred to as “pedestrian or the like”). Pedestrians include joggers and runners in addition to pedestrians. A bicycle detection signal indicating that the bicycle output from the processing unit 2 has been detected is, for example, an alarm for a bicycle traveling on the sidewalk in an alarm device (not shown) (for example, the bicycle must not travel on the sidewalk). Used to generate a sound).

図２は、テレビカメラ１により撮像された画像の例を模式的に示す概略図である。本実施の形態では、図面には示していないが、テレビカメラ１は、自転車の走行が禁止されている歩道を含む領域を撮像するように、歩道の斜め上方に設置されている。図２において、１１は自転車の走行が禁止されている歩道の像、１２は車道の像、１３は歩行者等の像、１４は人が乗っている自転車の像である。   FIG. 2 is a schematic diagram schematically illustrating an example of an image captured by the television camera 1. In the present embodiment, although not shown in the drawings, the television camera 1 is installed obliquely above the sidewalk so as to capture an area including the sidewalk where bicycle travel is prohibited. In FIG. 2, 11 is an image of a sidewalk in which bicycle travel is prohibited, 12 is an image of a roadway, 13 is an image of a pedestrian, and 14 is an image of a bicycle on which a person is riding.

図２に示すように、互いに直交するＸ軸及びＹ軸を定義する。Ｘ軸方向のうち矢印の向きを＋Ｘ方向又は＋Ｘ側又は右側、その反対の向きを−Ｘ方向又は−Ｘ側又は左側と呼び、＋Ｘ方向のＸ座標の値は大きく、−Ｘ方向のＸ座標の値は小さく、Ｙ軸についても同様である。本実施の形態では、テレビカメラ１による画像は長方形をなし、その長辺方向がＸ軸方向と一致し、その短辺方向がＹ軸方向と一致している。図２からわかるように、テレビカメラ１により撮像される画像の中心を通る前記画像中のＹ軸方向の直線（図示せず）は、ほぼ鉛直方向に対応する方向に延びている。これにより、本実施の形態では、Ｘ軸方向が、テレビカメラ１により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度がほぼ９０゜の角度をなす方向になっている。Ｘ軸方向が、テレビカメラ１により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向となるように、テレビカメラ１を設置することが、歩行者等の腕の振りによる形状変化を感度良く捉えるために好ましい。   As shown in FIG. 2, an X axis and a Y axis that are orthogonal to each other are defined. The direction of the arrow in the X axis direction is called + X direction or + X side or right side, and the opposite direction is called -X direction or -X side or left side. The value of X coordinate in + X direction is large, and the X coordinate in -X direction. The value of is small and the same applies to the Y axis. In the present embodiment, the image by the television camera 1 is rectangular, the long side direction thereof coincides with the X axis direction, and the short side direction thereof coincides with the Y axis direction. As can be seen from FIG. 2, a straight line (not shown) in the Y-axis direction in the image passing through the center of the image captured by the television camera 1 extends in a direction substantially corresponding to the vertical direction. As a result, in the present embodiment, the X-axis direction passes through the center of the image captured by the television camera 1 and extends in a direction corresponding to the vertical direction, and the smaller angle is approximately 90 degrees. The direction is an angle of ゜. The X-axis direction is such that the smaller angle forms an angle of 45 ° or more with respect to the straight line in the image passing through the center of the image captured by the TV camera 1 and extending in the direction corresponding to the vertical direction. In addition, it is preferable to install the TV camera 1 in order to capture the shape change caused by the swing of the arm of a pedestrian or the like with high sensitivity.

次に、本実施の形態による移動体検出装置の動作について、図３及び図４を参照して説明する。   Next, the operation of the moving object detection apparatus according to this embodiment will be described with reference to FIGS.

図３は、図１に示す移動体検出装置の動作の一部を示す概略フローチャートである。図４は、図１に示す移動体検出装置の動作の残りの部分を示す概略フローチャートである。   FIG. 3 is a schematic flowchart showing a part of the operation of the moving object detection apparatus shown in FIG. FIG. 4 is a schematic flowchart showing the remaining part of the operation of the moving object detection apparatus shown in FIG.

本実施の形態による移動体検出装置では、動作を開始すると、まず、処理部２は、初期の背景画像を作成する（ステップＳ１）。具体的には、処理部２は、例えば、歩行者等や自転車などの移動体が存在しない状態でテレビカメラ１により撮像された画像をサンプリングして画像メモリ３に取り込み、この画像を初期の背景画像とする。   In the moving body detection apparatus according to the present embodiment, when the operation is started, first, the processing unit 2 creates an initial background image (step S1). Specifically, for example, the processing unit 2 samples and captures an image captured by the television camera 1 in the state where there is no moving body such as a pedestrian or a bicycle, and stores the image in the initial background. An image.

以下の説明において、背景画像は、ステップＳ２１で更新されるまでは、ステップＳ１で作成された初期の背景画像を意味し、ステップＳ２１で更新された後には、ステップＳ２１で最新に更新された背景画像を意味する。   In the following description, the background image means the initial background image created in step S1 until updated in step S21, and after being updated in step S21, the background image updated in step S21 is the latest updated background image. Means an image.

次に、処理部２は、テレビカメラ１からの現在の画像をサンプリングして画像メモリ３に取り込む（ステップＳ２）。このステップＳ２で最新にサンプリングされた画像を、現画像と呼ぶ。なお、本実施の形態では、テレビカメラ１は所定のフレームレート（例えば、３０ｆｐｓ）で順次撮像し、ステップＳ２の後に以下に説明する処理を経てステップＳ２に戻ることを繰り返すが、ステップＳ２間で行われる処理は１フレーム周期内に終了し、各回のステップＳ２で、テレビカメラ１で所定のフレームレートで順次撮像される１フレームずつが順次取り込まれるようなっている。もっとも、本発明では必ずしもこれに限らない。   Next, the processing unit 2 samples the current image from the television camera 1 and loads it into the image memory 3 (step S2). The image most recently sampled in step S2 is referred to as the current image. In the present embodiment, the television camera 1 sequentially captures images at a predetermined frame rate (for example, 30 fps), and repeats the process described below after step S2 and returns to step S2, but between steps S2 The processing to be performed is completed within one frame period, and in each step S2, frames that are sequentially captured by the television camera 1 at a predetermined frame rate are sequentially captured. However, the present invention is not necessarily limited to this.

なお、本実施の形態では、テレビカメラ１により撮像された画像の全領域を後述する処理の対象とするが、撮像画像中に検出すべき移動体（本実施の形態では、歩道上の自転車）が存在し得ない領域がある場合には、その領域をマスク処理して後述する処理の対象から除外してもよい。   In the present embodiment, the entire area of the image captured by the TV camera 1 is a target of processing to be described later, but a moving body to be detected in the captured image (in this embodiment, a bicycle on a sidewalk) If there is a region that cannot exist, the region may be masked and excluded from the processing target described later.

次いで、処理部２は、現画像と背景画像との差分画像（背景差分画像）を作成し（ステップＳ３）、この背景差分画像を所定閾値で２値化する（ステップＳ４）。ここでは、２値化後の背景差分画像において、現画像の画素と背景画像の画素との差が大きい画素は黒画素となるものとする。したがって、移動体が存在する箇所の画素は黒画素となる。なお、背景差分画像の２値化に用いる閾値は、固定閾値でもよいし、例えば判別分析法などによる可変閾値でもよい。   Next, the processing unit 2 creates a difference image (background difference image) between the current image and the background image (step S3), and binarizes the background difference image with a predetermined threshold (step S4). Here, in the background difference image after binarization, a pixel having a large difference between the pixel of the current image and the pixel of the background image is a black pixel. Therefore, the pixel at the location where the moving body is present is a black pixel. Note that the threshold value used for binarization of the background difference image may be a fixed threshold value or a variable threshold value based on, for example, a discriminant analysis method.

図５は、ステップＳ４で２値化された差分画像中の実際の移動体領域の各具体例を示す図である。図５（ａ）は、あるフレームの２値化された差分画像中の歩行者の像を示している。図５（ｂ）は、他のフレームの２値化された差分画像中の同じ歩行者の像を示している。図５（ａ）に示す像では当該歩行者は歩行動作に従って左手及び右足を前に出しているのに対し、図５（ｂ）に示す像では当該歩行者は歩行動作に従って右手及び左足を前に出している。図５（ｃ）は、あるフレームの２値化された差分画像中の人が乗っている自転車の像を示している。   FIG. 5 is a diagram illustrating specific examples of the actual moving object region in the difference image binarized in step S4. Fig.5 (a) has shown the image of the pedestrian in the binarized difference image of a certain frame. FIG. 5B shows an image of the same pedestrian in the binarized difference image of another frame. In the image shown in FIG. 5 (a), the pedestrian puts his left hand and right foot forward according to the walking motion, whereas in the image shown in FIG. 5 (b), the pedestrian moves his right hand and left foot forward according to the walking motion. Out. FIG. 5C shows an image of a bicycle on which a person is riding in a binarized difference image of a certain frame.

引き続いて、処理部２は、ステップＳ４で得られた２値化後の背景差分画像に対してラベリングを行う（ステップＳ５）。   Subsequently, the processing unit 2 performs labeling on the binarized background difference image obtained in step S4 (step S5).

その後、処理部２は、ステップＳ５でラベリングされた各ラベル領域のうち所定の大きさ以上のラベル領域のみを、それぞれ移動体領域として判別する（ステップＳ６）。あまりに小さいラベル領域は、移動体ではなくノイズ等であるので、本実施の形態のように、ラベル領域の大きさで移動体領域を選別することが好ましい。もっとも、処理部２は、ステップＳ６を行う代わりに、ラベル領域の大きさに拘わらず、全てのラベル領域をそれぞれ移動体領域として判別してもよい。なお、ステップＳ６で判別される移動体領域は１つに限らない。なお、ステップＳ６で所定の大きさ以上のラベル領域が存在しない場合には、ステップＳ２へ戻るが、その図示は省略している。   Thereafter, the processing unit 2 determines only the label areas having a predetermined size or more as the moving body areas among the label areas labeled in step S5 (step S6). Since a label area that is too small is not a moving object but noise or the like, it is preferable to sort the moving object area by the size of the label area as in the present embodiment. However, instead of performing step S6, the processing unit 2 may determine all the label areas as moving object areas regardless of the size of the label area. In addition, the mobile body area | region discriminated by step S6 is not restricted to one. If there is no label area having a predetermined size or larger in step S6, the process returns to step S2, but the illustration is omitted.

次に、処理部２は、ステップＳ６で判別された移動体領域のうち、当該ステップＳ７で今回未だ選択されていない１つの移動体領域を選択する（ステップＳ７）。   Next, the processing unit 2 selects one moving body area that has not yet been selected in step S7 from the moving body areas determined in step S6 (step S7).

次いで、処理部２は、ステップＳ７で最新に選択された移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値として、当該移動体領域の左側面積比率を算出する（ステップＳ８）。ここでは、左側面積比率は、当該移動体領域の画素のうちもっとも小さいＸ座標を有する画素の当該Ｘ座標をｘ１とし、当該移動体領域の画素のうちもっとも大きいＸ座標を有する画素の当該Ｘ座標をｘ２とするとき、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を、当該移動体領域の全画素数で除算した値である。前記左側面積比率は、必ずしもこれに限らず、例えば、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．４｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．６｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、αを小さい値としたとき、当該移動体領域の画素のうちの（ｘ１＋α）から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を、当該移動体領域の全画素数で除算した値でもよい。前記第１の値は、前記左側面積比率に限らず、例えば、前記左側面積比率に比例定数を乗算した値や、前記左側面積比率の逆数などでもよい。   Next, the processing unit 2 corresponds to the ratio of the area of the partial region on the one side in the predetermined direction in the moving body region to the area of the entire moving body region with respect to the area of the entire moving body region selected in step S7. As the first value, the left side area ratio of the moving body region is calculated (step S8). Here, the left side area ratio is the X coordinate of the pixel having the smallest X coordinate among the pixels of the moving body region, and the X coordinate of the pixel having the largest X coordinate among the pixels of the moving body region. Where x2 is the number of pixels having the X coordinate from x1 to [{(x2-x1) × 0.5} + x1] among the pixels in the moving object region, as the total number of pixels in the moving object region. Divided value. The left side area ratio is not necessarily limited to this. For example, among the pixels of the moving body region, the number of pixels having an X coordinate from x1 to [{(x2-x1) × 0.4} + x1] is moved. The value may be a value obtained by dividing the total number of pixels in the body area, or the number of pixels having the X coordinate from x1 to [{(x2-x1) × 0.6} + x1] among the pixels in the moving body area It may be a value divided by the total number of pixels in the body area, or when (α) is a small value, from (x1 + α) to [{(x2−x1) × 0.5} + x1] of the pixels in the moving body area A value obtained by dividing the number of pixels having the X coordinate by the total number of pixels of the moving object region may be used. The first value is not limited to the left area ratio, and may be, for example, a value obtained by multiplying the left area ratio by a proportional constant, an inverse number of the left area ratio, or the like.

また、前記第１の値は、当該移動体領域の右側面積比率でもよいし、前記右側面積比率に比例定数を乗算した値や、前記右側面積比率の逆数などでもよい。前記右側面積比率は、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．４｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．６｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］から（ｘ２−α）までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよい。   Further, the first value may be a right area ratio of the mobile region, a value obtained by multiplying the right area ratio by a proportional constant, an inverse number of the right area ratio, or the like. The right side area ratio is the number of pixels having X coordinates from [{(x2−x1) × 0.5} + x1] to x2 among the pixels of the moving body region as the total number of pixels of the moving body region. It may be a value obtained by dividing, or the number of pixels having X coordinates from [{(x2−x1) × 0.4} + x1] to x2 among the pixels of the moving object region is the total number of pixels of the moving object region. Or the number of pixels having X coordinates from [{(x2−x1) × 0.6} + x1] to x2 among the pixels of the moving object region may be all the pixels of the moving object region. It may be a value divided by a number, or the number of pixels having X coordinates from [{(x2-x1) × 0.5} + x1] to (x2-α) among the pixels of the moving object region A value obtained by dividing the total number of pixels in the body region may be used.

図６は、テレビカメラ１により撮像された各フレームと、当該フレームの２値化された差分画像中の同一の歩行者を示す移動体領域の左側面積比率（左比率）及び右側面積比率（右比率）との関係の実際の一例を示す図であり、実験により得たものである。図７は、撮像された各フレームと、当該フレームの２値化された差分画像中の同一の人が乗っている自転車を示す移動体領域の左側面積比率（左比率）及び右側面積比率（右比率）との関係の実際の一例を示す図であり、実験により得たものである。図６及び図７中の横軸の数値ｐのフレームは、この実験で３０ｆｐｓで順次得たフレームのうちのｐ番目のフレームを示している。例えば、図６中の横軸の数値「４００」のフレームは、この実験で３０ｆｐｓで順次得たフレームのうちの４００番目のフレームを示している。   FIG. 6 shows the left-side area ratio (left ratio) and right-side area ratio (right side) of each frame imaged by the television camera 1 and the moving body region indicating the same pedestrian in the binarized difference image of the frame. It is a figure which shows an example of the actual relationship with (ratio), and was obtained by experiment. FIG. 7 shows the left side area ratio (left ratio) and right side area ratio (right side) of a moving body region showing each imaged frame and a bicycle on which the same person in the binarized difference image of the frame is riding. It is a figure which shows an example of the actual relationship with (ratio), and was obtained by experiment. 6 and 7 indicate the p-th frame among the frames sequentially obtained at 30 fps in this experiment. For example, the frame of numerical value “400” on the horizontal axis in FIG. 6 indicates the 400th frame among the frames sequentially obtained at 30 fps in this experiment.

図６及び図７において、左側面積比率（左比率）は、ステップＳ８で算出されるものと同様に、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。また、図６及び図７において、右側面積比率（右比率）は、当該移動体領域の画素のうち［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。よって、同一フレームの左側面積比率（左比率）と右側面積比率（右比率）との和は、１となっている。   6 and 7, the left side area ratio (left ratio) is calculated from x1 to [{(x2−x1) × 0.5} + x1 among the pixels of the moving body region in the same manner as that calculated in step S8. The number of pixels having X coordinates up to] is divided by the total number of pixels in the moving object region. 6 and 7, the right area ratio (right ratio) is the pixel having the X coordinate from [{(x2−x1) × 0.5} + x1] to x2 among the pixels of the moving body region. The number was divided by the total number of pixels in the moving body region. Therefore, the sum of the left area ratio (left ratio) and the right area ratio (right ratio) of the same frame is 1.

図６からわかるように、移動体が歩行者である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することが判明した。これは、移動体が歩行者である場合には、その歩行動作に従って、図５（ａ）のように左手及び右足を前に出している状態と図５（ｂ）のように右手及び左足を前に出す状態（特に腕の振り）を、周期的に繰り返すことによるものであることが判明した。移動体が歩行者ではなくジョガーやランナーであっても、移動体が乗物に乗っていない人である場合には、腕の振りによって左側面積比率及び右側面積比率はそれぞれ周期的に上下する。   As can be seen from FIG. 6, when the moving body is a pedestrian, the left side area ratio and the right side area ratio are found to periodically rise and fall. When the moving body is a pedestrian, the left hand and the right foot are put forward as shown in FIG. 5 (a) and the right hand and the left foot as shown in FIG. 5 (b) according to the walking movement. It turns out that the state to be put forward (especially the swing of the arm) is due to cyclic repetition. Even if the moving body is not a pedestrian but a jogger or runner, if the moving body is a person who is not on the vehicle, the left side area ratio and the right side area ratio periodically rise and fall depending on the swing of the arm.

一方、図７からわかるように、移動体が人が乗っている自転車である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することはないことが判明した。これは、図５（ｃ）に示すような姿勢を保って腕を振ることがないことによるものであることが判明した。   On the other hand, as can be seen from FIG. 7, when the moving body is a bicycle on which a person is riding, the left area ratio and the right area ratio do not periodically rise and fall. It has been found that this is because the arm is not shaken while maintaining the posture as shown in FIG.

このように、移動体が歩行者等である場合と人が乗っている自転車である場合とで、その移動体による移動体領域の時間経過に従った形状変化に差異が生じて、前記第１の値の変化に差異が生じ、左側面積比率又は右側面積比率が周期的に上下するか否かが異なる。したがって、左側面積比率又は右側面積比率が周期的に上下するか否かによって、当該移動体領域の移動体が歩行者等であるか人が乗っている自転車であるかを判別することができる。   In this way, there is a difference in the shape change of the moving body region over time due to the moving body between the case where the moving body is a pedestrian or the like and the case where the person is riding a bicycle. There is a difference in the change in the value of whether or not the left side area ratio or the right side area ratio periodically rises and falls. Therefore, it can be determined whether the moving body in the moving body region is a pedestrian or the like or a bicycle on which a person is riding depending on whether the left area ratio or the right area ratio periodically rises and falls.

図６及び図７からわかるように、左側面積比率及び右側面積比率はノイズによる影響を受け易い。これに対し、図６に示すデータを処理して得た図８、及び、図７に示すデータを処理して得た図９では、ノイズの影響を低減することができることが判明した。図８は、撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の歩行者を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図６に示すデータから算出されたものである。図９は、撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の人が乗っている自転車を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図７に示すデータから算出されたものである。例えば、図８における４００番目のフレームの左側面積比率平均（左比率平均）は、図６における３９１番目から４００番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値であり、図８における４００番目のフレームの右側面積比率平均（右比率平均）は、図６における３９１番目から４００番目までのフレームの右側面積比率（１０個の右側面積比率）の平均値である。例えば、図９における２５０番目のフレームの左側面積比率平均（左比率平均）は、図７における２４１番目から２５０番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値であり、図８における２５０番目のフレームの右側面積比率平均（右比率平均）は、図９における２４１番目から２５０番目までのフレームの右側面積比率（１０個の右側面積比率）の平均値である。   As can be seen from FIGS. 6 and 7, the left area ratio and the right area ratio are easily affected by noise. On the other hand, in FIG. 8 obtained by processing the data shown in FIG. 6 and FIG. 9 obtained by processing the data shown in FIG. 7, it was found that the influence of noise can be reduced. FIG. 8 shows an actual example of the relationship between each imaged frame and the average value of the left area ratio and the average value of the right area ratio of the moving body region indicating the same pedestrian in the latest 10 frames up to the frame. It is a figure which shows, Comprising: It was calculated from the data shown in FIG. FIG. 9 shows the relationship between each imaged frame and the average value of the left side area ratio and the average value of the right side area ratio of the moving body region indicating the bicycle in which the same person is riding in the latest 10 frames up to that frame. It is a figure which shows an actual example of these, Comprising: It is calculated from the data shown in FIG. For example, the left area ratio average (left ratio average) of the 400th frame in FIG. 8 is the average value of the left area ratios (10 left area ratios) of the 391st to 400th frames in FIG. The right area ratio average (right ratio average) of the 400th frame in FIG. 8 is an average value of right area ratios (10 right area ratios) of the 391st to 400th frames in FIG. For example, the left area ratio average (left ratio average) of the 250th frame in FIG. 9 is the average value of the left area ratios (10 left area ratios) of the 241st to 250th frames in FIG. The right area ratio average (right ratio average) of the 250th frame in FIG. 8 is an average value of right area ratios (10 right area ratios) of the 241st to 250th frames in FIG.

図８及び図９では、このように１０個の比率の平均値を得ているが、２個以上の比率の平均値を得れば、ノイズの影響を低減することができる。もっとも、平均する比率の個数があまりに多ければ、人が乗っている自転車に関する左側面積比率又は右側面積比率の時間経過に従った周期的な上下が現れ難くなってしまう。したがって、平均する比率の個数（後述する値Ｍ）は、ノイズの影響の低減効果及び周期的な上下の顕在化の両方を考慮して適宜定めればよい。   8 and 9, the average value of 10 ratios is obtained in this way. However, if the average value of two or more ratios is obtained, the influence of noise can be reduced. However, if the number of ratios to be averaged is too large, it will be difficult for periodic up and down according to the passage of time of the left side area ratio or the right side area ratio regarding a bicycle on which a person is riding. Therefore, the number of ratios to be averaged (value M to be described later) may be determined as appropriate in consideration of both the effect of reducing the influence of noise and the periodic manifestation of up and down.

ステップＳ８の後に、処理部２は、ステップＳ７で最新に選択された移動体領域と同一の移動体によるものと推定される前回の画像（前回のステップＳ２で取り込まれた画像）の移動体領域が、存在するか否かを判定する（ステップＳ９）。例えば、今回の画像中のステップＳ７で最新に選択された移動体領域の中心座標と前回の画像中の移動体領域の中心座標との間を距離を求め、その距離が所定の距離以下である場合に両者の移動体領域は同一の移動体によるものであると推定するものとし、ステップＳ９の判定は、具体的には、例えば、今回の画像中のステップＳ７で最新に選択された移動体領域の中心座標に対して所定距離内に位置する中心座標を持つ前回の画像中の移動体領域が存在するか否かによって判定することができる。もっとも、両者の移動体領域が同一の移動体によるものと推定されるか否かの判定手法は、これに限らない。   After step S8, the processing unit 2 moves the moving body region of the previous image (the image captured in the previous step S2) estimated to be due to the same moving body as the moving body region most recently selected in step S7. Is determined (step S9). For example, a distance is obtained between the center coordinate of the mobile object region selected most recently in step S7 in the current image and the center coordinate of the mobile object region in the previous image, and the distance is equal to or less than a predetermined distance. In this case, it is assumed that both of the moving body regions are due to the same moving body. Specifically, the determination in step S9 is, for example, the moving body that is selected most recently in step S7 in the current image. The determination can be made based on whether or not there is a moving body region in the previous image having a center coordinate located within a predetermined distance with respect to the center coordinate of the region. However, the method for determining whether or not both moving body regions are estimated to be the same moving body is not limited to this.

ステップＳ９で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｍ，ｎを０にした（ステップＳ１０）後に、当該移動体に関するカウント値ｍを１だけインクリメントする（ステップＳ１１）。一方、ステップＳ９で存在すると判定されると、処理部２は、ステップＳ１０を経ることなくステップＳ１１へ移行して、当該移動体に関するカウント値ｍを１だけインクリメントする。したがって、カウント値ｍは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。カウント値ｎは、後述するように、同一の移動体についてステップＳ１３で算出された左側面積比率の平均値の数を示すことになる。なお、カウント値ｍ，ｎは、移動体毎に設けられる。   If it is determined in step S9 that it does not exist, the processing unit 2 increments the count value m related to the moving object by 1 after setting the count values m and n related to the moving object to 0 (step S10) (step S11). ). On the other hand, if it determines with existing in step S9, the process part 2 will transfer to step S11, without passing through step S10, and will increment the count value m regarding the said mobile body only by 1. Therefore, the count value m indicates the number of tracking times (number of captured images) for the same moving object. As will be described later, the count value n indicates the number of left side area ratio average values calculated in step S13 for the same moving object. The count values m and n are provided for each moving object.

ステップＳ１１の後、処理部２は、当該移動体に関するカウント値ｍが所定値Ｍ以上であるか否かを判定する（ステップＳ１２）。前述したように、所定値Ｍは、平均する左側面積比率の個数を示し、ノイズの影響の低減効果及び人が乗っている自転車についての周期的な上下の顕在化の両方を考慮して、２以上の任意の値に設定され、例えば１０とされる。   After step S11, the processing unit 2 determines whether or not the count value m related to the moving object is greater than or equal to a predetermined value M (step S12). As described above, the predetermined value M indicates the number of left side area ratios to be averaged, and takes into consideration both the effect of reducing the influence of noise and the periodic up-and-down manifestation of a bicycle on which a person is riding. The above arbitrary value is set, for example, 10.

ステップＳ１２で所定値Ｍ以上であると判定されると、ステップＳ１３へ移行する一方、ステップＳ１２で所定値Ｍ以上ではないと判定されると、ステップＳ２０へ移行する。   If it is determined in step S12 that the value is equal to or greater than the predetermined value M, the process proceeds to step S13. If it is determined in step S12 that the value is not equal to or greater than the predetermined value M, the process proceeds to step S20.

ステップＳ１３において、処理部２は、当該移動体について、ステップＳ７で最新に選択された移動体領域までの時系列順のＭ個の移動体領域の各々について求められた前記第１の値の平均値（本実施の形態では、左側面積比率平均）に応じた第２の値として、その左側面積比率平均を算出する。例えば、Ｍ＝１０であり、ステップＳ７で最新に選択された移動体領域が図６中の４００番目のフレームの画像中の移動体領域（歩行者による移動体領域）である場合には、ステップＳ１３において、処理部２は、図６における３９１番目から４００番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値（図８における４００番目のフレームの左側面積比率平均）を算出する。また、例えば、Ｍ＝１０であり、ステップＳ７で最新に選択された移動体領域が図７中の２５０番目のフレームの画像中の移動体領域（人が乗っている自転車による移動体領域）である場合には、ステップＳ１３において、処理部２は、図７における２４１番目から２５０番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値（図９における２５０番目のフレームの左側面積比率平均）を算出する。なお、前記第２の値は、前記左側面積比率平均に限らず、例えば、前記左側面積比率平均に比例定数を乗算した値や、前記左側面積比率平均の逆数などでもよい。   In step S13, the processing unit 2 calculates the average of the first values obtained for each of the M moving body regions in time series up to the moving body region selected most recently in step S7. The left area ratio average is calculated as the second value according to the value (in this embodiment, the left area ratio average). For example, if M = 10 and the moving body region selected most recently in step S7 is the moving body region (moving body region by a pedestrian) in the image of the 400th frame in FIG. In S13, the processing unit 2 calculates the average value of the left side area ratios (10 left side area ratios) of the 391st to 400th frames in FIG. 6 (the left side area ratio average of the 400th frame in FIG. 8). To do. Further, for example, M = 10, and the moving body region selected most recently in step S7 is the moving body region (moving body region by a bicycle on which a person is riding) in the image of the 250th frame in FIG. If there is, in step S13, the processing unit 2 determines the average value of the left side area ratios (10 left side area ratios) of the 241st to 250th frames in FIG. 7 (the left side of the 250th frame in FIG. 9). (Area ratio average) is calculated. The second value is not limited to the left area ratio average, and may be, for example, a value obtained by multiplying the left area ratio average by a proportionality constant or the reciprocal of the left area ratio average.

次に、処理部２は、当該移動体に関するカウント値ｎを１だけインクリメントする（ステップＳ１４）。したがって、カウント値ｎは、同一の移動体についてステップＳ１３で算出された左側面積比率の平均値の数を示すことになる。   Next, the processing unit 2 increments the count value n related to the moving object by 1 (step S14). Therefore, the count value n indicates the number of average values of the left area ratio calculated in step S13 for the same moving object.

次いで、処理部２は、当該移動体に関するカウント値ｎが所定値Ｎ以上であるか否かを判定する（ステップＳ１５）。この所定値Ｎは、ステップＳ１３で算出された平均値の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図８や図９において、Ｎフレーム分の範囲について、ステップＳ１３で算出された平均値の時間的な変化を、ステップＳ１７で調べることになる。   Next, the processing unit 2 determines whether or not the count value n regarding the moving body is equal to or greater than a predetermined value N (step S15). The predetermined value N is a value that defines a range in which the temporal change of the average value calculated in step S13 is examined, and is set to 70, for example. For example, in FIG. 8 and FIG. 9, the temporal change of the average value calculated in step S13 is examined in step S17 for a range of N frames.

ステップＳ１５で所定値Ｎ以上であると判定されると、ステップＳ１６へ移行する一方、ステップＳ１５で所定値Ｎ以上ではないと判定されると、ステップＳ２０へ移行する。   If it is determined in step S15 that the value is equal to or greater than the predetermined value N, the process proceeds to step S16. If it is determined in step S15 that the value is not equal to or greater than the predetermined value N, the process proceeds to step S20.

ステップＳ１６において、処理部２は、当該移動体について、各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の平均値を、基準値として算出する。   In step S <b> 16, the processing unit 2 calculates, as a reference value, the average value of the N left-side area ratio averages obtained in each step S <b> 13 for the moving object.

引き続いて、処理部２は、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列が、ステップＳ１６で最新に算出された基準値に対して上下に交差する数ｃを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ１７）。例えば、Ｎ＝７０であり、ステップＳ７で最新に選択された移動体領域が図８中の４００番目のフレームの画像中の移動体領域（歩行者による移動体領域）である場合には、図８中の３３１番目のフレームから４００番目のフレームまでの７０個の左側面積比率平均の時系列が、その７０個の左側面積比率平均の平均値である基準値に対して上下に交差する数ｃを、指標値として求める。また、例えば、Ｎ＝７０であり、ステップＳ７で最新に選択された移動体領域が図９中の２９０番目のフレームの画像中の移動体領域（人が乗っている自転車による移動体領域）である場合には、図９中の２２１番目のフレームから２９０番目のフレームまでの７０個の左側面積比率平均の時系列が、その７０個の左側面積比率平均の平均値である基準値に対して上下に交差する数ｃを、指標値として求める。なお、ステップＳ１７で用いる基準値は、ステップＳ１６で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ１６を取り除き、ステップＳ１５でＹＥＳの場合は直ちにステップＳ１７へ移行すればよい。   Subsequently, the processing unit 2 vertically intersects the time series of the N left-side area ratio averages obtained up to the latest for each moving object with respect to the reference value calculated at the latest in step S16. The number c to be obtained is obtained as an index value indicating the state of change in shape of the moving body region over time (step S17). For example, when N = 70 and the moving body region selected most recently in step S7 is the moving body region (moving body region by a pedestrian) in the image of the 400th frame in FIG. The number c in which the time series of 70 left side area ratio averages from the 331st frame to the 400th frame in FIG. 8 vertically intersect with the reference value that is the average value of the 70 left side area ratio averages c Is obtained as an index value. Further, for example, N = 70, and the moving body region selected most recently in step S7 is the moving body region (moving body region by a bicycle on which a person is riding) in the image of the 290th frame in FIG. In some cases, the time series of 70 left area ratio averages from the 221st frame to the 290th frame in FIG. 9 is compared with the reference value that is the average value of the 70 left area ratio averages. The number c that intersects vertically is obtained as an index value. Note that the reference value used in step S17 is not limited to the reference value calculated in step S16, and may be a predetermined constant value determined in advance. In this case, step S16 may be removed, and if YES in step S15, the process immediately proceeds to step S17.

なお、ステップＳ１７で求める指標値は、前述した例に限らず、例えば、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列が、ステップＳ１６で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ１７で求める指標値は、例えば、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ１８でその数が所定数以上であるか否かを判定することになる。   In addition, the index value calculated | required by step S17 is not restricted to the example mentioned above, For example, the time series of N left side area ratio averages to the newest calculated | required by each step S13 about the said mobile body is the newest by step S16. You may obtain | require the number which cross | intersects the calculated reference value from the bottom to the top or the number which cross | intersects from the top to the bottom as an index value which shows the mode of the shape change according to the time passage of the said mobile body area | region. Further, the index value obtained in step S17 is, for example, the number of local maxima, the number of local minima, or the sum of the time series of N left side area ratio averages obtained up to the latest obtained in each step S13. It may be a number. In these cases, it is determined in step S18 whether or not the number is a predetermined number or more.

ステップＳ１７の後、処理部２は、ステップＳ１７で最新に求められた数ｃが所定数Ｃ以上であるか否かを判定する（ステップＳ１８）。この所定数Ｃは、左側面積比率平均が周期的に上下するか否かを判別するための閾値である。ステップＳ１８の判定によって、図８に示すような左側面積比率平均の変化と図９に示すような左側面積比率平均の変化とが判別され、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。   After step S17, the processing unit 2 determines whether or not the number c most recently obtained in step S17 is equal to or greater than a predetermined number C (step S18). The predetermined number C is a threshold value for determining whether or not the left area ratio average periodically rises and falls. By the determination in step S18, a change in the left area ratio average as shown in FIG. 8 and a change in the left area ratio average as shown in FIG. 9 are discriminated, and a person gets on whether the moving body is a pedestrian or the like. It is determined whether it is a bicycle.

ステップＳ１８で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、ステップＳ２０へ移行する。一方、ステップＳ１８で所定数Ｃ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ１９）後に、ステップＳ２０へ移行する。なお、ステップＳ１８で所定数Ｃ以上であると判定された場合、処理部２は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップＳ２０へ移行してもよい。   If it is determined in step S18 that the number is equal to or greater than the predetermined number C (that is, the moving body is a pedestrian or the like), the process proceeds to step S20. On the other hand, when it is determined in step S18 that the number is not equal to or greater than the predetermined number C (that is, the moving body is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding is detected. After outputting a bicycle detection signal (step S19), the process proceeds to step S20. In addition, when it determines with it being more than the predetermined number C by step S18, the process part 2 outputs the pedestrian etc. detection signal which shows that the pedestrian etc. were detected as needed, and transfers to step S20 May be.

ステップＳ２０において、処理部２は、ステップＳ６で最新に判別された移動体領域の全てについてステップＳ７の選択が終了したか否かを判定し、終了していなければステップＳ７へ戻り、終了していればステップＳ２１を経てステップＳ２へ戻る。   In step S20, the processing unit 2 determines whether or not the selection in step S7 has been completed for all of the moving body regions that have been most recently determined in step S6. If not, the processing unit 2 returns to step S7 and ends. If so, the process returns to step S2 via step S21.

ステップＳ２１において、処理部２は背景画像を更新する。具体的には、例えば、現在の背景画像をｆ（ｔ−１）とし、更新後の背景画像をｆ（ｔ）とし、ステップＳ２で最新にサンプリングされた画像（現画像）をｇ（ｔ）とし、βを０＜β＜１を満たす重み係数であるとすると、ステップＳ６で最新に判別された移動体領域については、ｆ（ｔ）＝ｆ（ｔ−１）とし、ステップＳ６で最新に判別された移動体領域以外の領域については、ｆ（ｔ）＝βｆ（ｔ−１）＋（１−β）ｇ（ｔ）とすればよい。なお、本実施の形態では、ステップＳ２で現画像が得られる度にステップＳ２１で背景画像の更新が行われることになるが、必ずしもこれに限らない。   In step S21, the processing unit 2 updates the background image. Specifically, for example, the current background image is f (t-1), the updated background image is f (t), and the latest sampled image (current image) in step S2 is g (t). Assuming that β is a weighting factor satisfying 0 <β <1, the moving body region determined most recently in step S6 is set to f (t) = f (t−1), and the latest in step S6. For an area other than the determined moving body area, f (t) = βf (t−1) + (1−β) g (t) may be set. In the present embodiment, the background image is updated in step S21 every time the current image is obtained in step S2, but this is not necessarily limited thereto.

本実施の形態による移動体検出装置によれば、自転車の走行が禁止されている歩道において、人が乗っている自転車を、歩行者等から判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部２から出力される自転車検出信号に応答して、図示しない警報装置から当該歩道を走行する自転車に対して警報（例えば、自転車はこの歩道を走行してはならない旨の音声）を発生させることができる。   According to the moving body detection device of the present embodiment, a bicycle on which a person is riding can be discriminated and detected from a pedestrian or the like on a sidewalk where the traveling of the bicycle is prohibited. For example, in response to a bicycle detection signal output from the processing unit 2 of the moving body detection device according to the present embodiment, an alarm device (not shown) warns a bicycle traveling on the sidewalk (for example, a bicycle uses this sidewalk). A sound indicating that the vehicle must not travel).

本実施の形態によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、ステップＳ１８で前記移動体が歩行者等であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。   According to the present embodiment, the moving body is a pedestrian or the like in step S18 based on the shape change of each image estimated to be caused by the same moving body over time. Therefore, a pedestrian or the like and a bicycle on which a person is riding can be discriminated and detected with high accuracy without performing image pattern matching using a template image dictionary.

また、本実施の形態によれば、ステップＳ１７で前記形状変化の様子を示す指標値を得て、ステップＳ１８でこの指標値に基づいて前記移動体が歩行者等であるか否かを判定するので、前記移動体が歩行者等であるか否かの判定をより容易に行うことができる。   Further, according to the present embodiment, an index value indicating the shape change is obtained in step S17, and it is determined in step S18 whether the moving body is a pedestrian or the like based on the index value. Therefore, it is possible to more easily determine whether the moving body is a pedestrian or the like.

［第２の実施の形態］   [Second Embodiment]

図１０は、本発明の第２の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１１は、本発明の第２の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。   FIG. 10 is a schematic flowchart showing a part of the operation of the moving object detection device according to the second exemplary embodiment of the present invention. FIG. 11 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the second exemplary embodiment of the present invention.

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、図３及び図４に示す動作に代えて、図１０及び図１１に示す動作を行う点である。   The moving body detection device according to the present embodiment is different from the moving body detection device according to the first embodiment in that the operation shown in FIGS. 10 and 11 is performed instead of the operation shown in FIGS. It is.

図１０及び図１１に示す動作が図３及び図４に示す動作と異なる所は、主に、図３及び図４に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図１０及び図１１に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図１０及び図１１に示す動作について、具体的に説明する。   The operation shown in FIGS. 10 and 11 differs from the operation shown in FIGS. 3 and 4 mainly in the operation shown in FIGS. 3 and 4 by using the average value of the left side area ratio average. 10 and FIG. 11 is that the influence of noise is reduced by using an approximate curve of the left side area ratio average. The operation shown in FIGS. 10 and 11 will be specifically described below.

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ３１〜Ｓ３９において、前述したステップＳ１〜Ｓ９とそれぞれ同一の処理を行う。   In the moving body detection apparatus according to the present embodiment, when the operation is started, the processing unit 2 performs the same processes as steps S1 to S9 described above in steps S31 to S39.

ステップＳ３９で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｋを０にした（ステップＳ４０）後に、当該移動体に関するカウント値ｋを１だけインクリメントする（ステップＳ４１）。一方、ステップＳ３９で存在すると判定されると、処理部２は、ステップＳ４０を経ることなくステップＳ４１へ移行して、当該移動体に関するカウント値ｋを１だけインクリメントする。したがって、カウント値ｋは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。なお、カウント値ｋは、移動体毎に設けられる。   If it determines with not existing in step S39, the process part 2 will increment the count value k regarding the said moving body only 1 after setting the count value k regarding the said moving body to 0 (step S40) (step S41). On the other hand, if it determines with existing in step S39, the process part 2 will transfer to step S41, without passing through step S40, and will increment the count value k regarding the said mobile body by 1. Therefore, the count value k indicates the number of times of tracking (the number of captured images) for the same moving object. Note that the count value k is provided for each moving object.

ステップＳ４１の後、処理部２は、当該移動体に関するカウント値ｋが所定値Ｋ以上であるか否かを判定する（ステップＳ４２）。この所定値Ｋは、ステップＳ３８で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図６や図７において、Ｋフレーム分の範囲について、ステップＳ３８で算出された左側面積比率の近似曲線の時間的な変化を、ステップＳ４５で調べることになる。   After step S41, the processing unit 2 determines whether or not the count value k related to the moving object is equal to or greater than a predetermined value K (step S42). The predetermined value K is a value that defines a range for examining the temporal change in the left area ratio calculated in step S38, and is set to 70, for example. For example, in FIG. 6 and FIG. 7, the temporal change of the approximate curve of the left area ratio calculated in step S38 is examined in step S45 for the range of K frames.

ステップＳ４２で所定値Ｋ以上であると判定されると、ステップＳ４３へ移行する一方、ステップＳ４２で所定値Ｋ以上ではないと判定されると、ステップＳ４８へ移行する。   If it is determined in step S42 that the value is equal to or greater than the predetermined value K, the process proceeds to step S43. On the other hand, if it is determined in step S42 that the value is not equal to or greater than the predetermined value K, the process proceeds to step S48.

ステップＳ４３において、処理部２は、当該移動体について、ステップＳ３７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の近似曲線を取得する。この近似曲線は公知の種々の手法で得ることができる。   In step S43, the processing unit 2 determines, for the mobile object, the first value (the book value) obtained for each of the K mobile object areas in time-series order up to the mobile object area selected most recently in step S37. In the embodiment, an approximate curve of the left area ratio) is acquired. This approximate curve can be obtained by various known methods.

その後、処理部２は、当該移動体について、ステップＳ３７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の平均値を、基準値として算出する（ステップＳ４４）。   Thereafter, the processing unit 2 determines, for the moving body, the first value (this embodiment) calculated for each of the K moving body areas in time-series order up to the moving body area selected in step S37. In the embodiment, the average value of the left area ratio is calculated as a reference value (step S44).

引き続いて、処理部２は、当該移動体についてステップＳ４３で最新に求められた近似曲線が、ステップＳ４４で最新に算出された基準値に対して上下に交差する数ｄを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ４５）。なお、ステップＳ４５で用いる基準値は、ステップＳ４４で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ４４を取り除き、ステップＳ４３の後に直ちにステップＳ４５へ移行すればよい。   Subsequently, the processing unit 2 calculates the number d of the approximate curve obtained at the latest in step S43 for the moving object vertically intersecting the reference value calculated at the latest in step S44. It is obtained as an index value indicating the shape change over time (step S45). Note that the reference value used in step S45 is not limited to the reference value calculated in step S44, and may be a predetermined constant value set in advance. In this case, step S44 may be removed and step S45 may be performed immediately after step S43.

なお、ステップＳ４５で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップＳ４３で最新に求められた近似曲線が、ステップＳ４４で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ４５で求める指標値は、例えば、当該移動体についてステップＳ４３で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ４６でその数が所定数以上であるか否かを判定することになる。   In addition, the index value calculated | required by step S45 is not restricted to the example mentioned above, For example, the approximate curve newly calculated | required by step S43 about the said mobile body from the bottom with respect to the reference value newly calculated by step S44 from the bottom. You may obtain | require the number which cross | intersects the top or the number which cross | intersects from the top to the bottom as an index value which shows the mode of the shape change according to the time passage of the said mobile body area | region. Further, the index value obtained in step S45 may be, for example, the number of local maximums, the number of local minimums, or the total number of the approximate curves obtained in the latest in step S43 for the moving object. In these cases, it is determined in step S46 whether or not the number is a predetermined number or more.

ステップＳ４５の後、処理部２は、ステップＳ４５で最新に求められた数ｄが所定数Ｄ以上であるか否かを判定する（ステップＳ４６）。この所定数Ｄは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップＳ４６の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。   After step S45, the processing unit 2 determines whether or not the number d most recently obtained in step S45 is a predetermined number D or more (step S46). The predetermined number D is a threshold value for determining whether or not the approximate curve periodically rises and falls. The determination in step S46 determines whether the moving body is a pedestrian or the like or a bicycle on which a person is riding.

ステップＳ４６で所定数Ｄ以上である（すなわち、当該移動体が歩行者等である）と判定されると、ステップＳ４８へ移行する。一方、ステップＳ４６で所定数Ｄ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ４７）後に、ステップＳ４８へ移行する。なお、ステップＳ４６で所定数Ｄ以上であると判定された場合、処理部２は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップＳ４８へ移行してもよい。   If it is determined in step S46 that the number is equal to or greater than the predetermined number D (that is, the moving body is a pedestrian or the like), the process proceeds to step S48. On the other hand, when it is determined in step S46 that the number is not equal to or greater than the predetermined number D (that is, the moving body is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding is detected. After outputting the bicycle detection signal (step S47), the process proceeds to step S48. In addition, when it determines with it being more than the predetermined number D by step S46, the process part 2 outputs the pedestrian etc. detection signal which shows that the pedestrian etc. were detected as needed, and transfers to step S48 May be.

ステップＳ４８において、処理部２は、ステップＳ３６で最新に判別された移動体領域の全てについてステップＳ３７の選択が終了したか否かを判定し、終了していなければステップＳ３７へ戻り、終了していればステップＳ４９を経てステップＳ３２へ戻る。ステップＳ４９において、処理部２は、前述したステップＳ２１と同様に、背景画像を更新する。   In step S48, the processing unit 2 determines whether or not the selection in step S37 has been completed for all of the moving body regions that have been most recently determined in step S36. If not, the processing unit 2 returns to step S37 and ends. If so, the process returns to step S32 via step S49. In step S49, the processing unit 2 updates the background image as in step S21 described above.

本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。   Also in this embodiment, the same advantages as those in the first embodiment can be obtained.

［第３の実施の形態］   [Third Embodiment]

図１２は、本発明の第３の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１３は、本発明の第３の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。   FIG. 12 is a schematic flowchart showing a part of the operation of the mobile object detection device according to the third exemplary embodiment of the present invention. FIG. 13: is a schematic flowchart which shows the remaining part of operation | movement of the moving body detection apparatus by the 3rd Embodiment of this invention.

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、テレビカメラ１が高速道路の入口などを撮像するように設置されている点と、図３及び図４に示す動作に代えて、図１２及び図１３に示す動作を行い、移動体として、歩行者等、人が乗っている自転車、自動車、及び、原動機を備えた二輪車（以下、「自動二輪車」と呼ぶ。）を互いに判別して検出する点である。以下に、図１２及び図１３に示す動作について、説明する。   The mobile object detection device according to the present embodiment is different from the mobile object detection device according to the first embodiment in that the TV camera 1 is installed so as to capture an entrance of an expressway and the like, FIG. 12 and FIG. 13 instead of the operation shown in FIG. 4 and FIG. 4, and a two-wheeled vehicle (hereinafter referred to as “automatic”) including a bicycle on which a person such as a pedestrian is riding, a car, and a motor as a moving body. It is called “two-wheeled vehicle”). The operation shown in FIGS. 12 and 13 will be described below.

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ５１〜Ｓ５７において、前述したステップＳ１〜Ｓ７とそれぞれ同一の処理を行う。   In the moving body detection apparatus according to the present embodiment, when the operation is started, the processing unit 2 performs the same processes as steps S1 to S7 described above in steps S51 to S57, respectively.

次に、処理部２は、ステップＳ５７で最新に選択された移動体領域について、当該移動体領域の画像中の面積Ｓ及び位置を算出する（ステップＳ５８）。同じ移動体であっても、撮像画像中ではテレビカメラ１に近いほど大きく映る。そこで、本実施の形態では、後述するステップＳ５９，Ｓ６１において当該移動体領域の面積Ｓに基づいて自動車や自動二輪車を他の移動体から判別するために、ステップＳ５８において当該移動体領域の画像中の面積Ｓの他に当該移動体領域の画像中の位置も算出している。本実施の形態では、図面には示していないが、テレビカメラ１からの移動体の遠近方向が略々Ｙ軸方向と一致している。このため、本実施の形態では、ステップＳ５８において、当該移動体領域の画像中の位置として、当該移動体領域の画像中の中心のＹ座標位置ｙを算出する。もっとも、必要に応じて、例えばＸＹ座標位置を算出してもよい。この場合、後述する判別用基準値はＸＹ座標位置のパラメータとして予め定めておけばよい。   Next, the processing unit 2 calculates the area S and the position in the image of the moving body region for the moving body region most recently selected in step S57 (step S58). Even the same moving object appears larger as it is closer to the television camera 1 in the captured image. Therefore, in the present embodiment, in step S58 and S61 described later, in order to discriminate a car or a motorcycle from other moving bodies based on the area S of the moving body region, in step S58, the image of the moving body region is included. In addition to the area S, the position of the moving body region in the image is also calculated. In the present embodiment, although not shown in the drawings, the perspective direction of the moving body from the television camera 1 is substantially coincident with the Y-axis direction. For this reason, in this embodiment, in step S58, the Y coordinate position y of the center in the image of the moving body region is calculated as the position in the image of the moving body region. However, for example, the XY coordinate position may be calculated as necessary. In this case, a reference value for determination, which will be described later, may be determined in advance as a parameter for the XY coordinate position.

図１４は、各移動体を示す移動体領域の画像中の位置（Ｙ座標位置ｙ）と、各移動体を示す移動体領域の画像中の面積Ｓ及び判別用基準値Ｓ１（ｙ），Ｓ２（ｙ）との関係の実際の一例を示す図であり、実験により得たものである。図１４の横軸はＹ座標位置ｙを示し、図１４ではｙの値が大きい程テレビカメラ１に近いものとしている。図１４の縦軸は、移動体領域の画像中の面積Ｓとしての、当該移動体領域の画素数を示している。図１４には、歩行者の面積、人が乗った自転車の面積、「原付」（原動機を備えた二輪車のうち、５０ｃｃ以下の原動機を備えた二輪車）の面積、「自動２輪」（「原付」以外の原動機を備えた二輪車）の面積、自動車の面積が示されている。図１４において、歩行者の面積と人が乗った自転車の面積とはほぼ同じであり、両者は重なってしまい、両者を判別することは困難である。図１４に示すように、同じＹ座標位置ｙでは、歩行者の面積及び人が乗った自転車の面積に対して、「原付」の面積、「自動２輪」の面積及び自動車の面積の順に大きくなっている。図１４において、判別用基準値Ｓ１（ｙ）は、各Ｙ座標位置ｙにおいて自動車の面積と「自動２輪」の面積とを判別するための基準値であり、各Ｙ座標位置ｙにおける自動車の面積と「自動２輪」の面積とのほぼ平均値となっている。判別用基準値Ｓ２（ｙ）は、各Ｙ座標位置ｙにおいて「原付」の面積と歩行者の面積及び人が乗った自転車の面積とを判別するための基準値であり、各Ｙ座標位置ｙにおける「原付」の面積と歩行者の面積又は人が乗った自転車の面積とのほぼ平均値となっている。なお、判別用基準値Ｓ１（ｙ），Ｓ２（ｙ）は、テレビカメラ１の設置場所等に応じて、図１４に示すような実験データから予め求めておき、ｙを変数とする式の形式又はルックアップテーブルの形式などで、処理部２のメモリ等に格納しておけばよい。   FIG. 14 shows the position (Y-coordinate position y) in the moving object region image showing each moving object, the area S in the moving object region image showing each moving object, and the discrimination reference values S1 (y), S2. It is a figure which shows an example of the actual relationship with (y), and was obtained by experiment. The horizontal axis of FIG. 14 indicates the Y coordinate position y. In FIG. 14, the larger the value of y, the closer to the television camera 1 is. The vertical axis in FIG. 14 indicates the number of pixels of the moving body region as the area S in the image of the moving body region. FIG. 14 shows the area of a pedestrian, the area of a bicycle on which a person rides, the area of a “moped” (a motorcycle equipped with a motor of 50 cc or less out of a motorcycle equipped with a prime mover), an “auto two-wheel” (“moped” The area of a motorcycle equipped with a prime mover other than “” and the area of an automobile are shown. In FIG. 14, the area of a pedestrian and the area of a bicycle on which a person rides are almost the same, and both overlap, making it difficult to distinguish both. As shown in FIG. 14, at the same Y coordinate position y, the “moped” area, the “motorcycle” area, and the automobile area increase in order of the area of the pedestrian and the area of the bicycle on which the person rides. It has become. In FIG. 14, a discrimination reference value S1 (y) is a reference value for discriminating between the area of the automobile and the area of the “auto two-wheel” at each Y coordinate position y. It is almost an average value of the area and the area of the “auto two-wheeler”. The discrimination reference value S2 (y) is a reference value for discriminating the “moped” area, the pedestrian area, and the area of the bicycle on which the person rides at each Y coordinate position y, and each Y coordinate position y. It is almost the average value of the “moped” area and the area of pedestrians or bicycles on which people ride. The discrimination reference values S1 (y) and S2 (y) are obtained in advance from experimental data as shown in FIG. 14 in accordance with the installation location of the television camera 1 and the like. Alternatively, it may be stored in the memory of the processing unit 2 in the form of a lookup table.

ステップＳ５８の後に、処理部２は、ステップＳ５８で最新に算出された当該移動体領域の面積Ｓが、ステップＳ５８で最新に算出された当該移動体領域の位置ｙでの判別用基準値Ｓ１（ｙ）以上であるか否かを判定する（ステップＳ５９）。この判別用基準値Ｓ１（ｙ）は、当該移動体領域が自動車によるものであるか否かを判別するための閾値となる。このステップＳ５９は、当該移動体領域が自動車によるものであるか否かを判定する自動車判定手段に相当している。もっとも、自動車判定手段はこれに限らない。   After step S58, the processing unit 2 determines that the area S of the moving body region calculated most recently in step S58 is the reference value S1 for determination at the position y of the moving body region calculated most recently in step S58 ( y) It is determined whether or not it is greater than or equal to (step S59). The determination reference value S1 (y) is a threshold value for determining whether or not the moving body region is a vehicle. This step S59 corresponds to a vehicle determination means for determining whether or not the moving body region is a vehicle. However, the vehicle determination means is not limited to this.

ステップＳ５９で判別用基準値Ｓ１（ｙ）以上である（すなわち、当該移動体が自動車である）と判定されると、処理部２は、自動車を検出した旨を示す自動車検出信号を出力した（ステップＳ６０）後に、ステップＳ７６へ移行する。一方、ステップＳ５９で判別用基準値Ｓ１（ｙ）以上ではないと判定されると、ステップＳ６１へ移行する。   If it is determined in step S59 that it is equal to or greater than the discrimination reference value S1 (y) (that is, the moving body is an automobile), the processing unit 2 outputs an automobile detection signal indicating that the automobile has been detected ( After step S60), the process proceeds to step S76. On the other hand, if it is determined in step S59 that it is not equal to or greater than the determination reference value S1 (y), the process proceeds to step S61.

ステップＳ６１において、処理部２は、ステップＳ５８で最新に算出された当該移動体領域の面積Ｓが、ステップＳ５８で最新に算出された当該移動体領域の位置ｙでの判別用基準値Ｓ２（ｙ）以上であるか否かを判定する。この判別用基準値Ｓ２（ｙ）は、当該移動体領域が自動二輪車（原動機を備えた二輪車であり、「原付」及び「自動２輪」を含む。）によるものであるか否かを判別するための閾値となる。ステップＳ５９，Ｓ６１は全体として、当該移動体領域が自動二輪車によるものであるか否かを判定する二輪車判定手段に相当している。もっとも、二輪車判定手段はこれに限らない。   In step S61, the processing unit 2 determines that the area S of the moving body region calculated most recently in step S58 is the determination reference value S2 (y at the position y of the moving body region calculated most recently in step S58. ) Determine whether it is above. The determination reference value S2 (y) determines whether or not the moving body region is due to a motorcycle (a motorcycle equipped with a motor, including “moped” and “motorcycle”). For the threshold. Steps S59 and S61 as a whole correspond to motorcycle determination means for determining whether or not the moving body region is a motorcycle. However, the motorcycle determination means is not limited to this.

ステップＳ６１で判別用基準値Ｓ２（ｙ）以上である（すなわち、当該移動体が自動二輪車である）と判定されると、処理部２は、自動二輪車を検出した旨を示す自動二輪車検出信号を出力した（ステップＳ６２）後に、ステップＳ７６へ移行する。一方、ステップＳ６１で判別用基準値Ｓ２（ｙ）以上ではないと判定されると、ステップＳ６３へ移行する。   If it is determined in step S61 that it is equal to or greater than the determination reference value S2 (y) (that is, the moving body is a motorcycle), the processing unit 2 outputs a motorcycle detection signal indicating that the motorcycle has been detected. After outputting (step S62), the process proceeds to step S76. On the other hand, if it is determined in step S61 that it is not equal to or greater than the determination reference value S2 (y), the process proceeds to step S63.

処理部２は、ステップＳ６３〜Ｓ７３において、前述したステップＳ８〜Ｓ１８とそれぞれ同一の処理を行う。   The processing unit 2 performs the same processes as steps S8 to S18 described above in steps S63 to S73, respectively.

ステップＳ７３で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ７４）後に、ステップＳ７６へ移行する。一方、ステップＳ７３で所定数Ｃ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ７５）後に、ステップＳ７６へ移行する。   When it is determined in step S73 that the number is equal to or greater than the predetermined number C (that is, the moving body is a pedestrian or the like), the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected. After (Step S74), the process proceeds to Step S76. On the other hand, if it is determined in step S73 that the number is not equal to or greater than the predetermined number C (that is, the moving body is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding is detected. After outputting the bicycle detection signal (step S75), the process proceeds to step S76.

ステップＳ７６において、処理部２は、ステップＳ５６で最新に判別された移動体領域の全てについてステップＳ５７の選択が終了したか否かを判定し、終了していなければステップＳ５７へ戻り、終了していればステップＳ７７を経てステップＳ５２へ戻る。ステップＳ７７において、処理部２は、前述したステップＳ２１と同様に、背景画像を更新する。   In step S76, the processing unit 2 determines whether or not the selection in step S57 has been completed for all of the moving body regions that have been most recently determined in step S56. If not, the processing unit 2 returns to step S57 and ends. If so, the process returns to step S52 via step S77. In step S77, the processing unit 2 updates the background image as in step S21 described above.

本実施の形態によれば、前記第１の実施の形態と同様に、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。   According to the present embodiment, as in the first embodiment, a pedestrian or the like and a bicycle on which a person is riding can be detected with high accuracy without performing image pattern matching using a template image dictionary. It can be determined and detected.

また、本実施の形態による移動体検出装置によれば、高速道路の入口などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部２から出力される自動車検出信号、自動二輪車検出信号、歩行者等検出信号及び自転車検出信号は、交通管制センターに送られ、高速道路の管理等に役立てられる。例えば、交通管制センターは、歩行者等検出信号や自転車検出信号に応答して、交通機動隊等へ指示を発することで、高速道路に誤って進入した歩行者や自転車を迅速に保護することができる。   In addition, according to the moving object detection device of the present embodiment, at the entrance of an expressway or the like, as a moving object, a pedestrian or other person riding a bicycle, a car, and a motorcycle are distinguished from each other and detected. be able to. For example, an automobile detection signal, a motorcycle detection signal, a pedestrian detection signal, and a bicycle detection signal output from the processing unit 2 of the moving object detection apparatus according to the present embodiment are sent to a traffic control center to manage a highway. Etc. For example, the traffic control center can promptly protect pedestrians and bicycles accidentally entering the highway by issuing instructions to traffic riot police etc. in response to pedestrian detection signals and bicycle detection signals. it can.

なお、本実施の形態による移動体検出装置は、例えば、交差点などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出するために用いてもよい。   Note that the moving body detection device according to the present embodiment is used to distinguish and detect bicycles, automobiles, and motorcycles on which people are riding, such as pedestrians, as moving bodies at intersections, for example. May be.

［第４の実施の形態］   [Fourth Embodiment]

図１５は、本発明の第４の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１６は、本発明の第４の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。   FIG. 15 is a schematic flowchart showing a part of the operation of the moving object detection device according to the fourth exemplary embodiment of the present invention. FIG. 16 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the fourth exemplary embodiment of the present invention.

本実施の形態による移動体検出装置が前記第３の実施の形態による移動体検出装置と異なる所は、図１２及び図１３に示す動作に代えて、図１５及び図１６に示す動作を行う点である。   The moving object detection device according to the present embodiment is different from the moving object detection device according to the third embodiment in that the operation shown in FIGS. 15 and 16 is performed instead of the operation shown in FIGS. It is.

図１５及び図１６に示す動作が図１２及び図１３に示す動作と異なる所は、主に、図１２及び図１３に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図１５及び図１６に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図１５及び図１６に示す動作について、具体的に説明する。   The operation shown in FIGS. 15 and 16 differs from the operation shown in FIGS. 12 and 13 mainly in the operation shown in FIGS. 12 and 13 by using the average value of the left side area ratio average. 15 and 16, the influence of noise is reduced by using an approximate curve of the left area ratio average. The operation shown in FIGS. 15 and 16 will be specifically described below.

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ８１〜Ｓ９４において、前述したステップＳ５１〜Ｓ６４それぞれ同一の処理を行う。ただし、ステップＳ９０の後にステップＳ１０４へ移行し、ステップＳ９２の後にステップＳ１０４へ移行する。   In the moving body detection apparatus according to the present embodiment, when the operation is started, the processing unit 2 performs the same processes in steps S51 to S64 described above in steps S81 to S94. However, after step S90, the process proceeds to step S104, and after step S92, the process proceeds to step S104.

ステップＳ９４で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｋを０にした（ステップＳ９５）後に、当該移動体に関するカウント値ｋを１だけインクリメントする（ステップＳ９６）。一方、ステップＳ９４で存在すると判定されると、処理部２は、ステップＳ９５を経ることなくステップＳ９６へ移行して、当該移動体に関するカウント値ｋを１だけインクリメントする。したがって、カウント値ｋは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。なお、カウント値ｋは、移動体毎に設けられる。   If it determines with not existing in step S94, the process part 2 will increment the count value k regarding the said moving body only 1 after setting the count value k regarding the said moving body to 0 (step S95) (step S96). On the other hand, if it determines with existing in step S94, the process part 2 will transfer to step S96, without passing through step S95, and will increment the count value k regarding the said mobile body by 1. Therefore, the count value k indicates the number of times of tracking (the number of captured images) for the same moving object. Note that the count value k is provided for each moving object.

ステップＳ９６の後、処理部２は、当該移動体に関するカウント値ｋが所定値Ｋ以上であるか否かを判定する（ステップＳ９７）。この所定値Ｋは、ステップＳ９３で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図６や図７において、Ｋフレーム分の範囲について、ステップＳ９３で算出された左側面積比率の近似曲線の時間的な変化を、ステップＳ１００で調べることになる。   After step S96, the processing unit 2 determines whether or not the count value k related to the moving object is equal to or greater than a predetermined value K (step S97). The predetermined value K is a value that defines a range for examining the temporal change in the left area ratio calculated in step S93, and is set to 70, for example. For example, in FIG. 6 and FIG. 7, the temporal change of the approximate curve of the left area ratio calculated in step S93 is examined in step S100 for the range of K frames.

ステップＳ９７で所定値Ｋ以上であると判定されると、ステップＳ９８へ移行する一方、ステップＳ９７で所定値Ｋ以上ではないと判定されると、ステップＳ１０４へ移行する。   If it is determined in step S97 that the value is equal to or greater than the predetermined value K, the process proceeds to step S98. On the other hand, if it is determined in step S97 that the value is not equal to or greater than the predetermined value K, the process proceeds to step S104.

ステップＳ９８において、処理部２は、当該移動体について、ステップＳ５７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の近似曲線を取得する。   In step S98, the processing unit 2 determines, for the moving object, the first value (the book value) obtained for each of the K moving object regions in time-series order up to the moving object region selected most recently in step S57. In the embodiment, an approximate curve of the left area ratio) is acquired.

その後、処理部２は、当該移動体について、ステップＳ５７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の平均値を、基準値として算出する（ステップＳ９９）。   Thereafter, the processing unit 2 determines, for the moving object, the first value (this embodiment) obtained for each of the K moving object regions in time-series order up to the moving object region most recently selected in step S57. In the embodiment, the average value of the left side area ratio) is calculated as a reference value (step S99).

引き続いて、処理部２は、当該移動体についてステップＳ９８で最新に求められた近似曲線が、ステップＳ９９で最新に算出された基準値に対して上下に交差する数ｄを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ１００）。なお、ステップＳ１００で用いる基準値は、ステップＳ９９で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ９９を取り除き、ステップＳ９８の後に直ちにステップＳ１００へ移行すればよい。   Subsequently, the processing unit 2 calculates the number d of the approximate curve obtained at the latest in step S98 for the moving object vertically intersecting the reference value calculated at the latest in step S99 in the moving object region. It is obtained as an index value indicating the shape change over time (step S100). Note that the reference value used in step S100 is not limited to the reference value calculated in step S99, but may be a predetermined constant value set in advance. In this case, step S99 may be removed and step S98 may be performed immediately after step S98.

なお、ステップＳ１００で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップＳ９８で最新に求められた近似曲線が、ステップＳ９９で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ１００で求める指標値は、例えば、当該移動体についてステップＳ９８で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ１０１でその数が所定数以上であるか否かを判定することになる。   In addition, the index value calculated | required by step S100 is not restricted to the example mentioned above, For example, the approximate curve newly calculated | required by step S98 about the said mobile body from the bottom with respect to the reference value newly calculated by step S99 from the bottom. You may obtain | require the number which cross | intersects upward or the number which cross | intersects from the top to the bottom as an index value which shows the mode of the shape change according to the time passage of the said mobile body area | region. In addition, the index value obtained in step S100 may be, for example, the number of local maxima, the number of local minima, or the total number of the approximate curves obtained most recently in step S98 for the moving object. In these cases, it is determined in step S101 whether or not the number is a predetermined number or more.

ステップＳ１００の後、処理部２は、ステップＳ１００で最新に求められた数ｄが所定数Ｄ以上であるか否かを判定する（ステップＳ１０１）。この所定数Ｄは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップＳ１０１の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。   After step S100, the processing unit 2 determines whether or not the number d most recently obtained in step S100 is greater than or equal to a predetermined number D (step S101). The predetermined number D is a threshold value for determining whether or not the approximate curve periodically rises and falls. The determination in step S101 determines whether the moving body is a pedestrian or the like or a bicycle on which a person is riding.

ステップＳ１０１で所定数Ｄ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ１０２）後に、ステップＳ１０４へ移行する。一方、ステップＳ１０１で所定数Ｄ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ１０３）後に、ステップＳ１０４へ移行する。   When it is determined in step S101 that the number is equal to or greater than the predetermined number D (that is, the moving body is a pedestrian or the like), the processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected. After (Step S102), the process proceeds to Step S104. On the other hand, if it is determined in step S101 that the number is not equal to or greater than the predetermined number D (that is, the moving body is a bicycle on which a person is riding), the processing unit 2 indicates that a bicycle on which a person is riding is detected. After outputting the bicycle detection signal (step S103), the process proceeds to step S104.

ステップＳ１０４において、処理部２は、ステップＳ８６で最新に判別された移動体領域の全てについてステップＳ８７の選択が終了したか否かを判定し、終了していなければステップＳ８７へ戻り、終了していればステップＳ１０５を経てステップＳ８２へ戻る。ステップＳ１０５において、処理部２は、前述したステップＳ７７と同様に、背景画像を更新する。   In step S104, the processing unit 2 determines whether or not the selection in step S87 has been completed for all of the moving body regions that have been most recently determined in step S86. If not, the processing unit 2 returns to step S87 and ends. If so, the process returns to step S82 via step S105. In step S105, the processing unit 2 updates the background image as in step S77 described above.

本実施の形態によっても、前記第３の実施の形態と同様の利点が得られる。   This embodiment can provide the same advantages as those of the third embodiment.

［第５の実施の形態］   [Fifth Embodiment]

図３は、本発明の第５の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートでもある。図１７は、本発明の第５の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。   FIG. 3 is also a schematic flowchart showing a part of the operation of the mobile object detection device according to the fifth exemplary embodiment of the present invention. FIG. 17 is a schematic flowchart showing the remaining part of the operation of the moving object detection device according to the fifth exemplary embodiment of the present invention.

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、テレビカメラ１が、歩行者等及びその他の任意の移動体（人が乗っている自転車、自動車及び自動二輪車のうちの少なくとも１種類の移動体）が通過する所定領域を撮像するように設定されている点と、図３及び図４に示す動作に代えて、図３及び図１７に示す動作を行い、歩行者等のみを他の移動体から判別して検出する点である。   The mobile body detection device according to the present embodiment is different from the mobile body detection device according to the first embodiment in that the TV camera 1 is a pedestrian or any other mobile body (a bicycle on which a person is riding, 3 and FIG. 17 instead of the point shown in FIG. 3 and FIG. 4 and the operation set in FIG. 3 and FIG. 4 in order to capture a predetermined region through which at least one kind of moving body of an automobile and a motorcycle) passes. It is the point which performs an operation | movement and discriminate | determines only a pedestrian etc. from another moving body.

図３及び図１７に示す動作が図３及び図４に示す動作と異なる所は、ステップＳ１８で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ２２）後に、ステップＳ２０へ移行する一方で、ステップＳ１８で所定数Ｃ以上ではない（すなわち、当該移動体が歩行者等ではない）と判定されると、直ちにステップＳ２０へ移行する点のみである。   3 and FIG. 17 is different from the operation shown in FIG. 3 and FIG. 4 when it is determined in step S18 that it is equal to or greater than the predetermined number C (that is, the moving body is a pedestrian or the like) The processing unit 2 outputs a pedestrian detection signal indicating that a pedestrian or the like has been detected (step S22), and then proceeds to step S20 while not exceeding the predetermined number C in step S18 (that is, the movement) If it is determined that the body is not a pedestrian or the like), the process immediately proceeds to step S20.

本実施の形態によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等を他の移動体から高い精度で判別して検出することができる。
。 According to the present embodiment, it is possible to distinguish and detect pedestrians and the like from other moving bodies without performing pattern matching of images using a dictionary of template images.
.

以上、本発明の各実施の形態及びその変形例について説明したが、本発明はこれらに限定されるものではない。例えば、本発明では、移動体の移動速度も考慮して当該移動体を判別して検出するようにしてもよい。   As mentioned above, although each embodiment of this invention and its modification were demonstrated, this invention is not limited to these. For example, in the present invention, the moving body may be determined and detected in consideration of the moving speed of the moving body.

１ テレビカメラ
２ 処理部
３ 画像メモリ 1 TV Camera 2 Processing Unit 3 Image Memory

Claims (20)

所定領域を撮像する撮像手段と、
前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、
同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、
を備えたことを特徴とする移動体検出装置。 Imaging means for imaging a predetermined area;
For each image obtained from the imaging means according to the passage of time, a moving body area obtaining means for obtaining a moving body area in the image;
Determination means for determining whether or not the moving body is a predetermined moving body based on a shape change according to the passage of time of the moving body region of each image estimated to be caused by the same moving body;
A moving body detection apparatus comprising: 前記形状変化の様子を示す指標値を得る指標値取得手段を備え、
前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定する、
ことを特徴とする請求項１記載の移動体検出装置。 Comprising an index value obtaining means for obtaining an index value indicating the state of the shape change,
The determination means determines whether the moving body is the predetermined moving body based on the index value.
The moving body detection apparatus according to claim 1. 前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第１の値の変化に基づいて前記指標値を取得することを特徴とする請求項２記載の移動体検出装置。   The index value acquisition means is a partial region on one side in a predetermined direction in the moving body region with respect to the area of the entire moving body region of the moving body region of each image estimated to be from the same moving body. A first value corresponding to the ratio of the area is obtained, and the index value is acquired based on a change in the first value related to the moving object region of each image estimated to be caused by the same moving object. The moving body detection apparatus according to claim 2. 前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。 The index value acquisition means is (i) one side of a predetermined direction in the moving object region with respect to the area of the entire moving object region with respect to the area of the moving object region in each image estimated to be from the same moving object. First calculation means for obtaining a first value corresponding to the ratio of the areas of the partial areas, and (ii) for the moving body area of each image estimated to be caused by the same moving body, the moving body area (Iii) same as the second computing means for obtaining a second value corresponding to the average value of the first values obtained for each of the first predetermined number of the mobile object regions in time series order until The time series of the second predetermined number of second values up to the latest obtained by the second computing means for the moving body region of each image estimated to be due to the moving body of the image is the reference value. Intersects vertically or from bottom to top or from top to bottom The number has a third calculation means for obtaining as the index value,
The moving body detection apparatus according to claim 3. 前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの前記第２の所定数の前記第２の値の平均値であることを特徴とする請求項４記載の移動体検出装置。   The reference value is the second predetermined number of the second values up to the latest obtained by the second calculation means for the moving body region of each image estimated to be from the same moving body. The moving body detection device according to claim 4, wherein the moving body detection device is an average value. 前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第２の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。 The index value acquisition means is (i) one side of a predetermined direction in the moving object region with respect to the area of the entire moving object region with respect to the area of the moving object region in each image estimated to be from the same moving object. First calculation means for obtaining a first value corresponding to the ratio of the areas of the partial areas, and (ii) the first calculation for the moving body area of each image estimated to be caused by the same moving body The number of times that the approximate number of the first value time series approximated to the latest obtained by the means intersects the reference value up and down or from bottom to top or from top to bottom as the index value Second computing means to be obtained,
The moving body detection apparatus according to claim 3. 前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの前記所定数の前記第１の値の平均値であることを特徴とする請求項６記載の移動体検出装置。   The reference value is an average value of the predetermined number of the first values up to the latest obtained by the first calculation means for the moving body region of each image estimated to be from the same moving body. The mobile body detection device according to claim 6, wherein the mobile body detection device is provided. 前記基準値は所定の一定値であることを特徴とする請求項４又は６記載の移動体検出装置。   7. The moving body detection apparatus according to claim 4, wherein the reference value is a predetermined constant value. 前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた回数が所定回数以上である場合に、前記移動体が前記所定の移動体であると判定する、
ことを特徴とする請求項４乃至８のいずれかに記載の移動体検出装置。 The determination means determines that the moving body is the predetermined moving body when the number of times obtained by the third calculating means or the second calculating means is a predetermined number of times or more.
The moving body detection apparatus according to claim 4, wherein 前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。 The index value acquisition means is (i) one side of a predetermined direction in the moving object region with respect to the area of the entire moving object region with respect to the area of the moving object region in each image estimated to be from the same moving object. First calculation means for obtaining a first value corresponding to the ratio of the areas of the partial areas, and (ii) for the moving body area of each image estimated to be caused by the same moving body, the moving body area (Iii) same as the second computing means for obtaining a second value corresponding to the average value of the first values obtained for each of the first predetermined number of the mobile object regions in time series order until The maximum number of time series of the second predetermined number of the second values up to the latest obtained by the second calculation means for the moving body region of each image estimated to be due to the moving body of , The minimum number or the total number thereof as the index value And a third arithmetic means for obtaining, a,
The moving body detection apparatus according to claim 3. 前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第２の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。 The index value acquisition means is (i) one side of a predetermined direction in the moving object region with respect to the area of the entire moving object region with respect to the area of the moving object region in each image estimated to be from the same moving object. First calculation means for obtaining a first value corresponding to the ratio of the areas of the partial areas, and (ii) the first calculation for the moving body area of each image estimated to be caused by the same moving body Second computing means for obtaining, as the index value, the number of local maximums, the number of local minimums, or the total number of the approximate number of time series approximate curves of the first value obtained up to the latest obtained by the means; Having
The moving body detection apparatus according to claim 3. 前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定する、
ことを特徴とする請求項１０又は１１記載の移動体検出装置。 The determination means determines that the moving body is the predetermined moving body when the number obtained by the third calculating means or the second calculating means is a predetermined number or more.
The moving body detection apparatus according to claim 10 or 11, 前記移動体領域取得手段は、前記撮像手段から時間経過に従って得られる前記各画像について、当該画像から背景画像を差し引いた差分画像を得る差分画像取得手段と、前記差分画像を２値化する２値化処理手段と、該２値化処理手段により２値化された各画像に対してラベリングを行うラベリング手段と、前記２値化された各画像のラベル領域又はそのラベル領域のうち所定大きさ以上のラベル領域を前記移動体領域として求める手段と、を有することを特徴とする請求項１乃至１２のいずれかに記載の移動体検出装置。   The moving body region acquisition unit includes a difference image acquisition unit that obtains a difference image obtained by subtracting a background image from the image for each image obtained from the imaging unit over time, and a binary value that binarizes the difference image. A binarization processing unit, a labeling unit for labeling each image binarized by the binarization processing unit, and a label area of each binarized image or a predetermined size or more of the label area The moving body detecting apparatus according to claim 1, further comprising a unit that obtains the label area as the moving body area. 前記撮像手段により撮像された前記画像のうち前記移動体領域を除く部分に基づいて、前記背景画像を更新する更新手段を備えたことを特徴とする請求項１３記載の移動体検出装置。   The moving body detection apparatus according to claim 13, further comprising an updating unit that updates the background image based on a portion of the image captured by the imaging unit excluding the moving body region. 前記所定方向は、前記画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向であることを特徴とする請求項３乃至１４のいずれかに記載の移動体検出装置   The predetermined direction is a direction in which a smaller angle forms an angle of 45 ° or more with respect to a straight line in the image extending in a direction corresponding to a vertical direction through the center of the image. The moving body detection device according to any one of 3 to 14 前記所定の移動体が乗物に乗っていない人であることを特徴とする請求項１乃至１５のいずれかに記載の移動体検出装置。   16. The moving body detection apparatus according to claim 1, wherein the predetermined moving body is a person who is not on a vehicle. 前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段を備えたことを特徴とする請求項１６記載の移動体検出装置。   The mobile body detection apparatus according to claim 16, further comprising an automobile determination unit that determines whether or not the mobile body area obtained by the mobile body area acquisition unit is an automobile. 前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段を備えたことを特徴とする請求項１６又は１７記載の移動体検出装置。   The mobile body according to claim 16 or 17, further comprising two-wheeled vehicle determination means for determining whether or not the mobile body area obtained by the mobile body area acquisition means is a two-wheeled vehicle equipped with a prime mover. Detection device. 同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられることを特徴とする請求項１乃至１８のいずれかに記載の移動体検出装置。   The moving object region of each image that is estimated to be caused by the same moving object and satisfies a predetermined condition is used as the moving object region of each image that is estimated to be caused by the same moving object. The moving body detection apparatus according to claim 1. 前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段と、
前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、
を備え、
同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、
前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、
前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定することを特徴とする請求項１６記載の移動体検出装置。 Vehicle determination means for determining whether or not the mobile region obtained by the mobile region acquisition means is a vehicle;
Two-wheeled vehicle determination means for determining whether the moving body region obtained by the moving body region acquisition means is a two-wheeled vehicle equipped with a prime mover;
With
As the moving body region of each image estimated to be due to the same moving body, the moving body region of each image estimated to be due to the same moving body and satisfying a predetermined condition is used,
The predetermined condition is a condition that the vehicle determination unit determines that the moving body region is not a vehicle and the two-wheeled vehicle determination unit determines that the moving body region is not a motorcycle.
The moving body detection apparatus according to claim 16, wherein the determination unit determines that the moving body is a bicycle when it is determined that the moving body is not a person who is not on a vehicle.