JP5702544B2 - Vehicle traffic monitoring device and program - Google Patents
Vehicle traffic monitoring device and program Download PDFInfo
- Publication number
- JP5702544B2 JP5702544B2 JP2010058257A JP2010058257A JP5702544B2 JP 5702544 B2 JP5702544 B2 JP 5702544B2 JP 2010058257 A JP2010058257 A JP 2010058257A JP 2010058257 A JP2010058257 A JP 2010058257A JP 5702544 B2 JP5702544 B2 JP 5702544B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- traffic
- lane
- detection means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、主に、一般道路や高速道路を通行する車両交通の状況について映像を利用して監視する車両交通監視装置およびプログラムに関する。 The present invention mainly relates to a vehicle traffic monitoring apparatus and a program for monitoring a situation of vehicle traffic on a general road or a highway using an image.
一般に、一般道路や高速道路における監視システムは、目的により以下に分類される。一つは、道路構造物そのものの破損等の状況を確認するためのものであり、もう一つは、通行する車両の数や速度などの交通流に関する情報を検出するためのものである。そして、事故や渋滞、落下物の存在や逆走車の存在などの道路管理運営上問題となるトラフィックイベントを検出するためのものがある。そのため、それらの目的に応じて様々なデバイスによる検出が行われているが、現在、上記のいずれの目的のシステムにもビデオカメラを用いた映像による確認を行う手法も利用されている。 Generally, monitoring systems on general roads and highways are classified as follows according to the purpose. One is for confirming the situation such as damage of the road structure itself, and the other is for detecting information relating to traffic flow such as the number and speed of vehicles passing through. And there are those for detecting traffic events that cause problems in road management operations such as accidents, traffic jams, the presence of falling objects, and the presence of reverse running vehicles. For this reason, detection by various devices is performed in accordance with the purpose, but currently, a method of confirming with a video using a video camera is also used for any of the above-described systems.
道路構造物確認のための映像監視システムでは、一般的に手動で操作が可能なＰＴＺ（パン・チルト・ズーム）カメラを用い、確認したい部分にカメラを向け、適切なズーム操作により確認が行われる。一方、交通流計測に関する映像監視システムは、一般的には、道路に対して通行車両の数や速度の計測に適切となるようカメラを固定的に設置し、そこから得られた映像に対して画像処理を施すことにより、走行車線、通行車両数、通行車両長、車両速度等の検出を行う。 In video surveillance systems for road structure confirmation, a PTZ (pan / tilt / zoom) camera that can be operated manually is generally used, the camera is pointed at the part to be confirmed, and confirmation is performed by an appropriate zoom operation. . On the other hand, video surveillance systems related to traffic flow measurement generally have cameras fixedly installed on roads so that they are suitable for measuring the number and speed of passing vehicles and By performing image processing, the traveling lane, the number of passing vehicles, the length of the passing vehicle, the vehicle speed, and the like are detected.
また、高速道路上での停止車両、低速車両、路肩走行車両、渋滞、落下物、逆走車両等のトラフィックイベントの抽出を目的とした映像監視システムについては、カメラを固定的に設置し、その映像が通常状態と同じであるか異なるかを確認するシステムと、道路構造物確認のための映像監視システムのように、人手による目視を前提とし、トラフィックイベントが起きた際に手動でカメラ操作を行い現場の確認を行うものがある。従って、高速道路においては、同一地点においても異なる目的のため異なる複数のカメラシステムを導入することが必要となる。 For video surveillance systems for the purpose of extracting traffic events such as stopped vehicles on lowways, low-speed vehicles, shoulder-running vehicles, traffic jams, falling objects, and reverse-running vehicles, cameras are fixedly installed. As in the case of a system that checks whether the video is the same as or different from the normal state and a video surveillance system that checks road structures, it is assumed that the camera is manually viewed when a traffic event occurs. There are things to check on site. Therefore, on a highway, it is necessary to introduce a plurality of different camera systems for different purposes even at the same point.
ここで、図９を用いて、上記のトラフィックイベントの抽出を目的とした映像監視システムの構成とその処理動作を説明する。トラフィックイベントの抽出を目的とした映像監視システムは、固定カメラ１００と、撮影環境検出部２００と、車両検出部３００と、トラフィックイベント検出部４００とから構成されている。
Here, the configuration and processing operation of the video monitoring system for the purpose of extracting the traffic event will be described with reference to FIG. The video surveillance system for the purpose of extracting traffic events includes a
この映像監視システムでは、車両検出部３００が撮影環境検出部２００により検出された撮影環境情報と外部から与えられた走行車線情報とにより車両を検出することにより、この情報を利用して、交通流計測情報を得るとともに、さらに、車両検出情報に基づいて、トラフィックイベント検出部４００がトラフィックイベント情報を生成する。
In this video surveillance system, the
また、他の従来例として、画面内の道路上に仮想的にラインセンサを設置し、そのラインセンサ上の画素値の変化を検出することで車両の通行を検出し、この情報を利用して、トラフィックイベント情報を生成する技術も開示されている（例えば、特許文献１参照。）。 As another conventional example, a line sensor is virtually installed on the road in the screen, and the traffic of the vehicle is detected by detecting a change in the pixel value on the line sensor, and this information is used. A technique for generating traffic event information is also disclosed (see, for example, Patent Document 1).
しかしながら、従来の画像による自動交通監視システムでは、監視カメラの撮影方向ならびに画角が固定されていることが必要であった。一方で、目視による監視を目的としたカメラについては、その監視範囲を拡大させるため、撮影方向や拡大率を自由に変更できるパンチルトズームカメラ（ＰＴＺカメラ）が採用されている。そのため、高速道路においては、同一地点においても異なる目的のため異なる複数のカメラシステムを導入することが必要となっていたが、コスト面を考慮すれば、これを１台のカメラで実現することが期待されていた。 However, in the conventional automatic traffic monitoring system using images, it is necessary that the shooting direction and the angle of view of the monitoring camera are fixed. On the other hand, for cameras intended for visual monitoring, a pan / tilt / zoom camera (PTZ camera) that can freely change the shooting direction and the enlargement ratio is employed to expand the monitoring range. Therefore, on the highway, it was necessary to introduce a plurality of different camera systems for different purposes even at the same point. However, considering the cost, this can be realized with one camera. It was expected.
ところが、従来の画像による交通監視システムでは、このような車両交通の監視範囲や拡大率を自由に変更できるＰＴＺカメラのように、撮影方向及び画角を任意に変更可能な撮像装置からの映像に基づいて、十分なトラフィックイベントを抽出することができないという問題があった。 However, in a conventional traffic monitoring system using images, such as a PTZ camera that can freely change the monitoring range and magnification rate of vehicle traffic, the image from an imaging device that can arbitrarily change the shooting direction and the angle of view. Based on this, there was a problem that sufficient traffic events could not be extracted.
そこで、本発明は、上述の課題に鑑みてなされたものであり、撮影映像の監視範囲を任意に変更可能な撮像装置からの映像に基づいて、交通流監視を自動的に行うとともに、トラフィックイベントを抽出する車両交通監視装置およびプログラムを提供することを目的とする。 Accordingly, the present invention has been made in view of the above-described problems, and automatically performs traffic flow monitoring based on a video from an imaging device capable of arbitrarily changing a monitoring range of a captured video, and a traffic event. It is an object of the present invention to provide a vehicle traffic monitoring device and a program for extracting a vehicle.
本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。 The present invention proposes the following matters in order to solve the above problems. In addition, in order to make an understanding easy, although the code | symbol corresponding to embodiment of this invention is attached | subjected and demonstrated, it is not limited to this.
（１）本発明は、撮影映像の監視範囲を任意に変更可能な撮像装置を備えた車両交通監視装置であって、該撮像装置により車両交通の監視範囲が決定されると、車両交通監視処理を開始することを特徴とする車両交通監視装置を提案している。 (1) The present invention is a vehicle traffic monitoring apparatus including an imaging device capable of arbitrarily changing a monitoring range of a captured video, and when the monitoring range of the vehicle traffic is determined by the imaging device, the vehicle traffic monitoring process Has proposed a vehicle traffic monitoring device characterized by starting
この発明によれば、車両交通の監視範囲が決定されると、車両交通監視処理を開始する。したがって、従来のような固定式監視カメラ以外の魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラのように、目視による確認を目的としたカメラを用いて、人手を介さずに、自動的に、交通流計測やトラフィックイベントの検出(交通流監視)を行うことができる。 According to the present invention, when the vehicle traffic monitoring range is determined, the vehicle traffic monitoring process is started. Therefore, using a camera for the purpose of visual confirmation, such as a camera using a fisheye lens other than a conventional fixed surveillance camera or a panoramic camera such as an omnidirectional camera using a special lens, Traffic flow measurement and traffic event detection (traffic flow monitoring) can be performed automatically without human intervention.
（２）本発明は、（１）の車両交通監視装置について、車両交通の監視範囲を決定する監視範囲検出手段（例えば、図１のカメラアングル検出部５００に相当）と、撮影環境情報を取得する撮影環境情報取得手段（例えば、図１の撮影環境検出部２０１に相当）と、走行車線を検出する走行車線検出手段（例えば、図１の走行車線検出部６００に相当）と、道路の背景画像情報を格納する格納手段と、前記撮像装置の撮影画像と前記検出された走行車線と前記取得された撮影環境情報と前記格納された道路の背景画像情報とに基づいて、車両情報を検出する車両検出手段（例えば、図１の車両検出部３００に相当）と、該検出された車両情報からトラフィックイベントを検出するトラフィックイベント検出手段（例えば、図１のトラフィックイベント検出部４００に相当）と、を備え、前記監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、前記走行車線検出手段、撮影環境情報取得手段、車両検出手段、トラフィックイベント検出手段を作動させて車両交通監視処理を行うことを特徴とする車両交通監視装置を提案している。
(2) In the vehicle traffic monitoring device of (1), the present invention acquires monitoring range detection means (for example, equivalent to the camera
この発明によれば、監視範囲検出手段は、車両交通の監視範囲を決定し、撮影環境情報取得手段は、撮影環境情報を取得し、走行車線検出手段は、走行車線の検出をし、格納手段は、道路の背景画像情報を格納し、車両検出手段は、撮像装置の撮影画像と検出された走行車線と取得された撮影環境情報と格納された道路の背景画像情報とに基づいて、車両情報を検出し、トラフィックイベント検出手段は、その検出された車両情報からトラフィックイベントを検出する。そして、監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、走行車線検出手段、撮影環境情報取得手段、車両検出手段、トラフィックイベント検出手段を作動させて車両交通監視処理を行う。したがって、従来のような固定式監視カメラ以外の魚眼レンズを用いたカメラやカメラ筐体を固定したまま特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラのように、目視による確認を目的としたカメラを用いて、人手を介さずに、監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、走行車線検出、撮影環境情報取得、車両検出、トラフィックイベント検出を行うことにより車両交通監視処理を実行して、交通流計測やトラフィックイベントの検出(交通流監視)を行うことができる。 According to the present invention, the monitoring range detection means determines the vehicle traffic monitoring range, the shooting environment information acquisition means acquires shooting environment information, the travel lane detection means detects the travel lane, and the storage means. Stores the background image information of the road, and the vehicle detection means detects the vehicle information based on the captured image of the imaging device, the detected travel lane, the acquired shooting environment information, and the stored background image information of the road. The traffic event detection means detects a traffic event from the detected vehicle information. When the monitoring range of the vehicle traffic is determined by the monitoring range detection means, the vehicle traffic monitoring process is performed by operating the traveling lane detection means, the photographing environment information acquisition means, the vehicle detection means, and the traffic event detection means. Therefore, the purpose of visual confirmation is as in conventional panoramic cameras such as cameras using fish-eye lenses other than fixed surveillance cameras and omnidirectional cameras using special lenses with the camera housing fixed. When the monitoring range of the vehicle traffic is determined by the monitoring range detection means without using humans, the driving lane detection, the shooting environment information acquisition, the vehicle detection, and the traffic event detection are performed. By executing the vehicle traffic monitoring process, traffic flow measurement and traffic event detection (traffic flow monitoring) can be performed.
（３）本発明は、（２）の車両交通監視装置について、前記監視範囲検出手段で検出する監視範囲が変更されるたびごとに、新たに前記車両交通監視処理を実行することを特徴とする車両交通監視装置を提案している。 (3) The present invention is the vehicle traffic monitoring device according to (2), wherein the vehicle traffic monitoring process is newly executed every time the monitoring range detected by the monitoring range detecting means is changed. A vehicle traffic monitoring device is proposed.
この発明によれば、監視範囲検出手段で検出する監視範囲が変更されるたびごとに、新たに車両交通監視処理を実行する。すなわち、可動式のカメラの場合には、カメラの監視範囲が固定されるとすぐに車両交通監視処理を実行することができる。これは、魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラにおいて、監視範囲が変更した場合も同様である。 According to this invention, every time the monitoring range detected by the monitoring range detecting means is changed, the vehicle traffic monitoring process is newly executed. That is, in the case of a movable camera, the vehicle traffic monitoring process can be executed as soon as the monitoring range of the camera is fixed. This is the same even when the monitoring range is changed in a camera capable of panoramic photography such as a camera using a fisheye lens or an omnidirectional camera using a special lens.
（４）本発明は、（２）の車両交通監視装置について、過去に検出した車両交通の監視範囲と該監視範囲における走行車線の検出結果とを対応付けて記憶するデータベースを備え、前記監視範囲検出手段が検出した監視範囲と同一の監視範囲における情報が前記データベース内にある場合には、新たに、前記走行車線検出手段による走行車線の検出処理を行わずに、前記データベース内の走行車線の検出結果を用いることを特徴とする車両交通監視装置を提案している。 (4) The present invention includes a database for storing a vehicle traffic monitoring range detected in the past and a detection result of a traveling lane in the monitoring range in association with the vehicle traffic monitoring device of (2), wherein the monitoring range When the information in the same monitoring range as the detection range detected by the detecting means is in the database, the detection of the traveling lane in the database is newly performed without performing the traveling lane detection process by the traveling lane detecting means. A vehicle traffic monitoring device characterized by using a detection result is proposed.
この発明によれば、データベースは、過去に検出した車両交通の監視範囲とその監視範囲における走行車線の検出結果とを対応付けて記憶する。そして、監視範囲検出手段が検出した監視範囲と同一の監視範囲における情報がデータベース内にある場合には、新たに、走行車線検出手段による走行車線の検出処理を行わずに、データベース内の走行車線の検出結果を用いる。したがって、走行車線の検出処理を省くことができるため、画角が固定されてから交通流計測やトラフィックイベント検出を開始するまでの時間を短縮することが出来ると共に、照明設備が設置されていない道路や降雪状態の道路等でラインマーカー(白線部)が検出しにくい状態でも正確に走行車線の判定を行うことができる。 According to this invention, the database stores the vehicle traffic monitoring range detected in the past and the detection result of the traveling lane in the monitoring range in association with each other. When the information in the same monitoring range as the monitoring range detected by the monitoring range detection means is in the database, the traveling lane in the database is newly not performed by the traveling lane detection means without performing the detection processing of the traveling lane. The detection result is used. Therefore, the road lane detection process can be omitted, so the time from when the angle of view is fixed until traffic flow measurement or traffic event detection starts can be shortened, and roads without lighting equipment installed. Even when it is difficult to detect a line marker (white line portion) on a road or snowy road, it is possible to accurately determine the traveling lane.
（５）本発明は、（１）の車両交通監視装置について、前記走行車線検出手段が、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出することを特徴とする車両交通監視装置を提案している。 (5) In the vehicle traffic monitoring device according to (1), the travel lane detection unit performs motion detection on the captured image in units of pixels and acquires information on the motion direction and the size for a certain period of time. A vehicle traffic monitoring device characterized in that it continuously performs the accumulation or averaging, and detects a travel lane by identifying a vehicle traffic area for a portion having a certain size or more as movement on the screen. Has proposed.
この発明によれば、走行車線検出手段が、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出する。つまり、従来の方法として、撮像した画像情報から、白線部を検出することにより、走行車線の検出を行う方法があるが、この方法では、照明設備の無い道路で白線部が抽出しにくい場合や、豪雨時や降雪時の雪の影響で白線が隠されて検出できないという問題がある。しかしながら、本発明による検出方法では、そのような問題を解消して、どんな状況下であっても、正確に走行車線の検出を行うことができる。 According to the present invention, the traveling lane detecting means detects the motion of the captured image in units of pixels, continuously acquires the information on the motion direction and the size for a certain period of time, and accumulates or averages the information. Then, the travel lane is detected by specifying the portion where the movement on the screen has a certain size or more as the vehicle traffic area. In other words, as a conventional method, there is a method of detecting a traveling lane by detecting a white line portion from captured image information. However, in this method, it is difficult to extract a white line portion on a road without lighting equipment. There is a problem that the white line is hidden and cannot be detected due to the influence of snow during heavy rain or snowfall. However, with the detection method according to the present invention, such a problem can be solved and the traveling lane can be accurately detected under any circumstances.
（６）本発明は、（２）の車両交通監視装置について、前記監視範囲において表示される破線状の走行車線の１の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出する距離情報算出手段を備えたことを特徴とする車両交通監視装置を提案している。 (6) The present invention relates to the vehicle traffic monitoring device of (2), from the display length from the start point of one white line part of the broken-line traveling lane displayed in the monitoring range to the start point of the adjacent white line part. Proposed is a vehicle traffic monitoring device comprising a distance information calculating means for calculating road distance information.
この発明によれば、距離情報算出手段は、監視範囲において表示される破線状の走行車線の１の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出する。つまり、破線状の走行車線の白線部の長さおよび破線状の走行車線の白線部間の長さが決まっているため、これを画面上で計測して比例計算を行えば、実際の道路の距離情報を得ることができる。また、この演算結果を利用して車両の速度、車幅や車長等を算出することもできる。 According to the present invention, the distance information calculation means calculates the actual road distance information from the display length from the start point of one white line part of the dashed traveling lane displayed in the monitoring range to the start point of the adjacent white line part. To do. In other words, since the length of the white line portion of the broken-line driving lane and the length between the white line portions of the broken-line driving lane are determined, if this is measured on the screen and proportional calculation is performed, the actual road Distance information can be obtained. Further, the speed, vehicle width, vehicle length, etc. of the vehicle can be calculated using the calculation result.
（７）本発明は、（１）から（６）の車両交通監視装置について、前記撮像装置が、パン・チルト・ズーム（ＰＴＺ）カメラであることを特徴とする車両交通監視装置を提案している。 (7) The present invention proposes a vehicle traffic monitoring device according to (1) to (6), wherein the imaging device is a pan / tilt / zoom (PTZ) camera. Yes.
この発明によれば、撮像装置が、パン・チルト・ズーム（ＰＴＺ）カメラである。つまり、目視監視用のパン・チルト・ズーム（ＰＴＺ）カメラを用いて、撮像範囲を任意に固定することより、交通流計測やトラフィックイベントの検出を自動的に開始することができる。 According to the present invention, the imaging device is a pan / tilt / zoom (PTZ) camera. In other words, traffic flow measurement and traffic event detection can be started automatically by arbitrarily fixing the imaging range using a pan / tilt / zoom (PTZ) camera for visual monitoring.
（８）本発明は、（７）の車両交通監視装置について、前記パン・チルト・ズーム（ＰＴＺ）カメラのカメラアングルに変更があった場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別する判別手段と、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、警報を発出して運用者等に知らせる報知手段（例えば、図１の報知部７００に相当）と、を備えたことを特徴とする車両交通監視装置を提案している。
(8) In the vehicle traffic monitoring device of (7), when the camera angle of the pan / tilt / zoom (PTZ) camera is changed, the camera angle after the change is predetermined by the operator. A discriminating means for discriminating whether or not the camera angle is different from the camera angle at the fixed point observation, and when the changed camera angle is different from the camera angle at the fixed point observation set by the operator in advance, an alarm is issued to the operator etc. A vehicle traffic monitoring device characterized by comprising notification means for notification (e.g., corresponding to the
この発明によれば、判別手段は、パン・チルト・ズーム（ＰＴＺ）カメラで落下物の存在や渋滞状況を見るためにズームやカメラアングルを変更した場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別する。報知手段は、変更後のカメラアングルが定点観測時のカメラアングルと異なる場合に、その旨を運用者等に通知する。したがって、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、その旨を通知して、カメラアングルの変更を運用者に促すことにより、カメラアングルの戻し忘れを防止し、予め運用者が定めた撮影画角での交通流計測やイベント検出を再開することができる。 According to the present invention, when the zoom or the camera angle is changed in order to see the presence of a fallen object or a traffic jam situation with a pan / tilt / zoom (PTZ) camera, the changed camera angle is determined in advance by the operator. It is determined whether or not the camera angle is different from the camera angle at the fixed point observation determined by. When the changed camera angle is different from the camera angle at the fixed point observation, the notification means notifies the operator or the like to that effect. Therefore, if the camera angle after the change is different from the camera angle at the fixed point observation determined by the operator in advance, notify the operator and prompt the operator to change the camera angle. It is possible to prevent traffic flow measurement and event detection at a shooting angle of view predetermined by the operator.
（９）本発明は、撮影映像の監視範囲を任意に変更可能な撮像装置を備えた車両交通監視装置における車両交通監視方法をコンピュータに実行させるためのプログラムであって、車両交通の監視範囲を決定する第１のステップ（例えば、図８のステップＳ５０２に相当）と、撮影環境情報を取得する第２のステップと、走行車線を検出する第３のステップ（例えば、図８のステップＳ５０３、Ｓ５０４に相当）と、前記撮像装置の撮影画像と前記検出された走行車線と前記取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出する第４のステップ（例えば、図８のステップＳ５０４に相当）と、該検出された車両情報からトラフィックイベントを検出する第５のステップ（例えば、図８のステップＳ５０５に相当）と、を備え、前記第１のステップにおいて、車両交通の監視範囲が決定されたときに、前記第２のステップから第５のステップの処理を実行することを特徴とするプログラムを提案している。 (9) The present invention is a program for causing a computer to execute a vehicle traffic monitoring method in a vehicle traffic monitoring apparatus provided with an imaging device capable of arbitrarily changing a monitoring range of a captured video, the vehicle traffic monitoring range being A first step for determination (for example, corresponding to step S502 in FIG. 8), a second step for acquiring photographing environment information, and a third step for detecting a traveling lane (for example, steps S503 and S504 in FIG. 8). And vehicle information based on the captured image of the imaging device, the detected traveling lane, the acquired imaging environment information, and the stored road background image information. (For example, equivalent to step S504 in FIG. 8) and a fifth step (for example, step S5 in FIG. 8) for detecting a traffic event from the detected vehicle information. 5), and when the vehicle traffic monitoring range is determined in the first step, the processing from the second step to the fifth step is executed. is suggesting.
この発明によれば、車両交通の監視範囲を決定されたときに、撮影環境情報を取得して、走行車線を自動的に検出し、撮像装置の撮影画像と検出された走行車線と取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出して、その検出された車両情報からトラフィックイベントを検出する処理を実行する。したがって、従来のような固定式監視カメラ以外の魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラのように、目視による確認を目的としたカメラを用いて、人手を介さずに、監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、走行車線検出、撮影環境情報取得、車両検出、トラフィックイベント検出を行うことにより車両交通監視処理を実行して、交通流計測やトラフィックイベントの検出(交通流監視)を行うことができる。 According to this invention, when the monitoring range of the vehicle traffic is determined, the shooting environment information is acquired, the travel lane is automatically detected, and the captured image of the imaging device and the detected travel lane are acquired. Based on the shooting environment information and the stored road background image information, vehicle information is detected, and a process of detecting a traffic event from the detected vehicle information is executed. Therefore, using a camera for the purpose of visual confirmation, such as a camera using a fisheye lens other than a conventional fixed surveillance camera or a panoramic camera such as an omnidirectional camera using a special lens, When the monitoring range of the vehicle traffic is determined by the monitoring range detection means without human intervention, the vehicle traffic monitoring process is executed by detecting the driving lane, acquiring the shooting environment information, detecting the vehicle, and detecting the traffic event. Thus, traffic flow measurement and traffic event detection (traffic flow monitoring) can be performed.
（１０）本発明は、（９）のプログラムについて、前記第１のステップにおいて検出する監視範囲が変更されるたびごとに、新たに前記第２のステップから第５のステップの処理を実行することを特徴とするプログラムを提案している。 (10) The present invention newly executes the processing from the second step to the fifth step each time the monitoring range detected in the first step is changed in the program of (9). A program that features
この発明によれば、監視範囲が変更されるたびごとに、撮影環境情報を取得して、走行車線を検出し、撮像装置の撮影画像と検出された走行車線と取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出して、その検出された車両情報からトラフィックイベントを検出する処理を実行する。すなわち、可動式のカメラの場合には、カメラが固定されるとすぐに車両交通監視処理を実行することができる。これは、魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラにおいて、監視範囲が変更した場合も同様である。 According to the present invention, whenever the monitoring range is changed, the shooting environment information is acquired, the travel lane is detected, the captured image of the imaging device, the detected travel lane, the acquired shooting environment information, and the storage are stored. Based on the road background image information being detected, vehicle information is detected, and a process of detecting a traffic event from the detected vehicle information is executed. That is, in the case of a movable camera, the vehicle traffic monitoring process can be executed as soon as the camera is fixed. This is the same even when the monitoring range is changed in a camera capable of panoramic photography such as a camera using a fisheye lens or an omnidirectional camera using a special lens.
（１１）本発明は、（９）のプログラムについて、過去に検出した車両交通の監視範囲と該監視範囲における走行車線の検出結果とを対応付けて記憶するデータベースを備え、前記第１のステップで検出した監視範囲と同一の監視範囲における情報が前記データベース内にある場合には、新たに、前記第２のステップについての検出処理を行わずに、前記データベース内の走行車線の検出結果を用いることを特徴とするプログラムを提案している。 (11) The present invention includes a database that stores the vehicle traffic monitoring range detected in the past and the detection result of the traveling lane in the monitoring range in association with the program of (9), and in the first step When the information in the same monitoring range as the detected monitoring range is in the database, the detection result of the traveling lane in the database is newly used without performing the detection process for the second step. A program that features
この発明によれば、データベースは、過去に検出した車両交通の監視範囲とその監視範囲における走行車線の検出結果とを対応付けて記憶する。そして、検出した監視範囲と同一の監視範囲における情報がデータベース内にある場合には、新たに、走行車線の検出処理を行わずに、データベース内の走行車線の検出結果を用いる。したがって、走行車線の検出処理を省くことができるため、画角が固定されてから交通流計測やトラフィックイベント検出を開始するまでの時間を短縮することが出来ると共に、照明設備が設置されていない道路や降雪状態の道路等でラインマーカー(白線部)が検出しにくい状態でも正確に走行車線の判定を行うことができる。 According to this invention, the database stores the vehicle traffic monitoring range detected in the past and the detection result of the traveling lane in the monitoring range in association with each other. When information in the same monitoring range as the detected monitoring range exists in the database, the detection result of the traveling lane in the database is newly used without performing the traveling lane detection process. Therefore, the road lane detection process can be omitted, so the time from when the angle of view is fixed until traffic flow measurement or traffic event detection starts can be shortened, and roads without lighting equipment installed. Even when it is difficult to detect a line marker (white line portion) on a road or snowy road, it is possible to accurately determine the traveling lane.
（１２）本発明は、（９）のプログラムについて、前記第２のステップにおいて、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出することを特徴とするプログラムを提案している。 (12) In the program of (9), in the second step, the present invention performs motion detection on the captured image for each pixel in the second step, and continuously acquires information on the motion direction and size for a certain period of time. A program is proposed in which a running lane is detected by specifying a vehicle traffic area for a portion having a certain size or more as a movement on the screen by performing accumulation or averaging.
この発明によれば、走行車線検出処理において、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出する。つまり、従来の方法として、撮像した画像情報から、白線部を検出することにより、走行車線の検出を行う方法があるが、この方法では、照明設備の無い道路で白線部が抽出しにくい場合や、豪雨時や降雪時に、雪の影響で白線が隠されて検出できないという問題がある。しかしながら、本発明による検出方法では、そのような問題を解消して、どんな状況下であっても、正確に走行車線の検出を行うことができる。 According to the present invention, in the traveling lane detection process, motion detection is performed on the captured image in units of pixels, information on the motion direction and size is continuously acquired for a certain period of time, and the accumulation or averaging is performed. Then, the travel lane is detected by specifying the portion where the movement on the screen has a certain size or more as the vehicle traffic area. In other words, as a conventional method, there is a method of detecting a traveling lane by detecting a white line portion from captured image information. However, in this method, it is difficult to extract a white line portion on a road without lighting equipment. During heavy rain or snowfall, there is a problem that the white line is hidden due to the snow and cannot be detected. However, with the detection method according to the present invention, such a problem can be solved and the traveling lane can be accurately detected under any circumstances.
（１３）本発明は、（９）のプログラムについて、前記監視範囲において表示される破線状の走行車線の１の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出するステップをさらに備えたことを特徴とするプログラムを提案している。 (13) In the program of (9), the present invention relates to the distance of the actual road from the display length from the start point of one white line part of the broken traveling lane displayed in the monitoring range to the start point of the adjacent white line part. A program characterized by further comprising a step of calculating information is proposed.
この発明によれば、距離情報算出処理は、監視範囲において表示される破線状の走行車線の１の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出する。つまり、破線状の走行車線の白線部の長さおよび破線状の走行車線の白線部間の長さが決まっているため、これを画面上で計測して比例計算を行えば、実際の道路の距離情報を得ることができる。また、この演算結果を利用して車両の速度、車幅や車長等を算出することもできる。 According to the present invention, the distance information calculation process calculates the actual road distance information from the display length from the start point of one white line part of the dashed traveling lane displayed in the monitoring range to the start point of the adjacent white line part. To do. In other words, since the length of the white line portion of the broken-line driving lane and the length between the white line portions of the broken-line driving lane are determined, if this is measured on the screen and proportional calculation is performed, the actual road Distance information can be obtained. Further, the speed, vehicle width, vehicle length, etc. of the vehicle can be calculated using the calculation result.
（１４）本発明は、（９）のプログラムについて、前記撮像装置が、パン・チルト・ズーム（ＰＴＺ）カメラであり、カメラアングルに変更があった場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別するステップと、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、その旨を通知するステップと、をさらに備えたことを特徴とするプログラムを提案している。 (14) According to the present invention, in the program of (9), when the imaging device is a pan / tilt / zoom (PTZ) camera and the camera angle is changed, the changed camera angle is set in advance by the operator. Determining whether or not the camera angle is different from the camera angle at the fixed point observation determined by, and notifying when the camera angle after the change is different from the camera angle at the fixed point observation determined by the operator in advance A program characterized by further comprising the above is proposed.
この発明によれば、判別処理は、パン・チルト・ズーム（ＰＴＺ）カメラ落下物の存在や渋滞状況を見るためにズームやカメラアングルを変更した場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別する。報知手段は、変更後のカメラアングルが定点観測時のカメラアングルと異なる場合に、その旨を運用者等に通知する。したがって、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、その旨を通知して、カメラアングルの変更を運用者に促すことにより、カメラアングルの戻し忘れを防止し、予め運用者が定めた撮影画角での交通流計測やイベント検出を再開することができる。 According to the present invention, when the zoom or camera angle is changed in order to check the presence of a pan / tilt / zoom (PTZ) camera fallen object or the traffic congestion state, the changed camera angle is previously determined by the operator. It is determined whether or not the camera angle differs from the fixed point observation time. When the changed camera angle is different from the camera angle at the fixed point observation, the notification means notifies the operator or the like to that effect. Therefore, if the camera angle after the change is different from the camera angle at the fixed point observation determined by the operator in advance, notify the operator and prompt the operator to change the camera angle. It is possible to prevent traffic flow measurement and event detection at a shooting angle of view predetermined by the operator.
本発明によれば、撮影映像の監視範囲を任意に変更可能な撮像装置からの映像に基づいて、自動的に、交通流計測を行うとともに、トラフィックイベントを抽出(交通監視)することができるという効果がある。
従って、従来は、カメラアングルを完全に固定して交通量(車両台数)や車両の速度を計測する交通計測用カメラと、落下物や渋滞状況等のトラヒックイベントを監視するカメラの２台を最低設置していたが、本発明では、従来設置されていた固定式カメラ(交通流計測用)が不要となることからコストダウンに寄与できるという効果がある。
According to the present invention, it is possible to automatically perform traffic flow measurement and extract a traffic event (traffic monitoring) based on a video from an imaging device that can arbitrarily change the monitoring range of a captured video. effective.
Therefore, in the past, there are at least two cameras: a traffic measurement camera that measures the traffic volume (number of vehicles) and vehicle speed with a fixed camera angle, and a camera that monitors traffic events such as falling objects and traffic jams. Although installed, the present invention has an effect that it can contribute to cost reduction because a fixed camera (for traffic flow measurement) that has been installed in the past is not necessary.
以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Note that the constituent elements in the present embodiment can be appropriately replaced with existing constituent elements and the like, and various variations including combinations with other existing constituent elements are possible. Therefore, the description of the present embodiment does not limit the contents of the invention described in the claims.
＜車両交通監視装置の構成＞
図１を用いて、本発明の実施形態に係る車両交通監視装置の構成について説明する。
本実施形態に係る車両交通監視装置は、図１に示すように、ＰＴＺカメラ１０１と、撮影環境検出部２０１と、車両検出部３００と、トラフィックイベント検出部４００と、カメラアングル検出部５００と、走行車線検出部６００と、報知部７００とから構成されている。
<Configuration of vehicle traffic monitoring device>
The configuration of the vehicle traffic monitoring apparatus according to the embodiment of the present invention will be described with reference to FIG.
As shown in FIG. 1, the vehicle traffic monitoring apparatus according to the present embodiment includes a
ＰＴＺカメラ１０１は、道路における車両の通行状況を撮影し、その映像信号をカメラアングル検出部５００、撮影環境検出部２０１、走行車線検出部６００、車両検出部３００に対して出力する。なお、映像信号としては、カラー信号は、もちろん輝度信号のみであってもよい。また、カメラとしては一般的なビデオカメラに限らず、夜間での撮影に適した赤外線ビデオカメラを用いることも可能である。なお、本実施形態では、説明を容易にするために、監視カメラとして、従来からよく用いられているＰＴＺカメラを例示したが、例えば、これに限らず、魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラであってもよい。
The
カメラアングル検出部５００は、ＰＴＺカメラ１０１より得られた映像を解析し、ＰＴＺカメラ１０１の撮影方向や撮影領域のズームなどのカメラアングル（撮影画角）に関する変更がされている状態なのか否かを検出し、カメラアングルの変更状態である場合にはその旨を、そうでない場合には固定状態であるという情報を出力する。また、本実施形態の車両交通監視装置は、カメラアングル検出部５００が固定状態であることを検出したときに、以下に、記載する各部の動作を実行させる。さらに、検出する監視範囲が変更され、カメラアングル検出部５００が固定状態であることを検出するたびごとに、以下に、記載する各部の動作を実行させる。なお、カメラアングル検出部５００における処理の詳細については、後述する。
The camera
撮影環境検出部２０１は、ＰＴＺカメラ１０１から得られた映像から、画面の輝度情報や、撮影環境の天候状況など、適切な画像解析処理を行うために必要な情報の取得を行い、その結果判定された情報を出力する。また、図示しない情報格納部を備え、撮影環境における車両が存在していない状態の画像を背景道路画像として保持し、車両検出部３００に情報を出力する。なお、画面内の走行車線情報の抽出や、車両の検出処理においては、昼夜を問わず、また、天候等や撮影環境の違いにも関わらず、検出精度を維持することが求められる。そのためには、撮影環境に伴い検出手法を適切に変更する必要がある。これらの検出における適切な手法を選択するために、撮影環境検出部において撮影状況の検出を行う。また、撮影状況の検出として必要となる情報としては、対象となる道路が太陽や照明などにより明るく保たれている状況なのか否か、さらに、撮影対象領域が屋外の場合には、どのような天候環境下で撮影されているものなのか等が挙げられる。なお、撮影環境検出部２０１における処理の詳細については、後述する。
The imaging
走行車線検出部６００は、カメラアングル検出部５００からカメラアングルが固定されたことを検出する信号を受けた後に、ＰＴＺカメラ１０１から得られる映像を解析し、画面内で交通監視画像に用いる画面領域を特定して、その領域について走行車線の存在、走行車線の画面内位置、車両の通行方向、走行車線に関する距離情報等の抽出を行う。なお、走行車線検出部６００における処理の詳細については、後述する。
The traveling
車両検出部３００は、撮影環境検出部２０１から得られる車両の存在しない背景画像を用いて、取得された映像からこの背景道路画像を差引くことにより車両領域を特定する。なお、この背景道路画像の取得には、車両等の移動物体の含まれない道路だけが撮影された画像である撮影道路画像を取得する必要があるが、この取得方法としては、実際に車両が通行していない状況における道路を撮影しておく方法、移動平均法等を用いた背景画像合成手法を利用し、移動物体が映らない道路画像を生成する方法などが挙げられる。さらに、走行車線検出部６００から得られる画面内の走行車線情報と、撮影環境検出部２０１から得られる撮影環境情報および背景道路画像情報を用い、ＰＴＺカメラ１０１から得られる映像に対して車両検出処理を行い、車両の存在の有無、車両の通行方向、車両の通行速度、車両の通行車線、通行車両の長さ情報、通行車両の幅情報などの取得を行い、その結果をトラフィックイベント検出部４００に出力する。
The
トラフィックイベント検出部４００は、車両検出部３００で得られた映像内の車両情報および通行情報から、トラフィックイベントの抽出を行う。抽出するトラフィックイベントとしては、例えば、低速走行車両の検出、高速走行車両の検出、路肩走行車両の検出、停止車両の検出、逆走車両の検出、道路上の落下物の検出、渋滞の検出、車線変更の検出等が挙げられる。
The traffic
報知部７００は、ＰＴＺカメラ１０１のカメラアングルに変化があり、しかも、停止状態において、予め運用者が定めた撮影画角と異なるアングルである場合に、警報を発出して運用者に知らせる。これにより、ＰＴＺカメラ１０１のカメラアングルの変更を促すことにより、運用者のカメラの戻し忘れを防止し、予め運用者が定めた撮影画角で交通流計測や交通監視を可能とすることができる。
The
＜カメラアングル検出部の処理動作＞
図２を用いて、本発明の実施形態に係るカメラアングル検出部の処理動作について、詳細に説明する。
<Processing operation of camera angle detector>
The processing operation of the camera angle detection unit according to the embodiment of the present invention will be described in detail with reference to FIG.
カメラアングルの変化は、ビデオカメラから得られる最新の画像と、それよりも以前に撮影された画像との間での変化量を測定することにより検出する。この変化量の測定には、同一位置画素同士の絶対差分和による評価や、動き補償予測やグローバルモーション、またはオプティカルフローの利用が可能である。前者の場合には、例えば絶対差分和が一定値を超えた場合にカメラアングルの変更があったと判断することができる。また、後者の場合には、動き補償予測やグローバルモーション検出によって得られたカメラの動き量が一定範囲を超えた場合にカメラアングルに動きがあったと判定することができる。 The change in the camera angle is detected by measuring the amount of change between the latest image obtained from the video camera and an image taken before that. For the measurement of the change amount, evaluation based on the sum of absolute differences between pixels at the same position, motion compensation prediction, global motion, or optical flow can be used. In the former case, for example, it can be determined that the camera angle has changed when the absolute difference sum exceeds a certain value. In the latter case, it can be determined that the camera angle has moved when the camera motion amount obtained by motion compensation prediction or global motion detection exceeds a certain range.
また、高い車両検出精度を実現するための意図的なカメラアングルの変更については、微細であっても検出できることが求められるが、一方で、カメラ設置条件等に伴う意図しないカメラアングルの揺らぎの影響は排除した画像処理を行うことが求められる。従来は、一定時間の動き量が閾値よりも小さい場合には揺らぎであると判定し、カメラアングル固定状態であると判定するが、本実施形態においては、カメラアングルがズームアップ状態であるか否か、および夜間や天候状況等の撮影条件によりこの閾値について変更させる。 In addition, the intentional change of the camera angle to achieve high vehicle detection accuracy is required to be able to be detected even if it is fine, but on the other hand, the influence of unintended camera angle fluctuations due to camera installation conditions etc. Are required to perform the excluded image processing. Conventionally, when the amount of movement for a certain period of time is smaller than the threshold value, it is determined that the fluctuation is present, and it is determined that the camera angle is fixed, but in this embodiment, whether the camera angle is zoomed up or not. The threshold value is changed according to shooting conditions such as nighttime and weather conditions.
図２に示すように、まず、道路監視映像を入力し（ステップＳ１０１）、撮影領域拡大率推定処理を行う（ステップＳ１０２）。ここで、カメラアングルがズームアップ状態であるか否かについては、撮影画角の横幅に対する観測される車線の１車線分の幅が占める割合を算出し、この占有率が高いほどズームアップ率が高いと推定し、閾値を高める方向に変更する（ステップＳ１０５）。また、それ以外にも、実際にカメラからズーム率に関する情報を得ることや、統計的な処理によりズーム率を推定することも可能である。 As shown in FIG. 2, first, a road monitoring video is input (step S101), and a shooting area enlargement rate estimation process is performed (step S102). Here, as to whether or not the camera angle is in the zoom-up state, the ratio of the width of one lane of the observed lane to the lateral width of the shooting angle of view is calculated, and the zoom-up ratio increases as this occupancy increases. It is estimated that the threshold value is high, and the threshold value is increased (step S105). In addition, it is also possible to actually obtain information on the zoom rate from the camera and estimate the zoom rate by statistical processing.
さらに、動き判定精度について推定を行う（ステップＳ１０３）。これは、夜間や悪天候時の撮影画像においては、動き予測等の処理を施すと、実際には発生していない動きを動きとして誤判定することが発生し、動き解析結果についての信頼度が下がることから、上記閾値を高める方向に変更するものである。この動き判定精度の推定には、画面内を小ブロック単位に分割した状態で、各ブロックについてフレーム間動き予測を行い（ステップＳ１０５）、動き量のばらつきが大きいほど動き判定制度が低いと判断し、閾値を高い値に変更する。 Furthermore, the motion determination accuracy is estimated (step S103). This is because, in a captured image at night or in bad weather, when processing such as motion prediction is performed, a motion that does not actually occur may be erroneously determined as a motion, and the reliability of the motion analysis result decreases. For this reason, the threshold value is changed in the direction of increasing. In order to estimate the motion determination accuracy, inter-frame motion prediction is performed for each block in a state where the screen is divided into small blocks (step S105), and it is determined that the motion determination system is lower as the motion amount variation is larger. The threshold value is changed to a higher value.
次に、画面内の動き量測定を行う（ステップＳ１０４）。なお、画面内の動き量測定については、車両の通行による影響を避けるため、後述する車線領域の検出結果に応じ、その車線領域と判定されなかった領域の画像情報を用いて行う。動き量の検出については、上述のように、画面内を小ブロック単位に分割した状態で、各ブロックについてのフレーム間動き予測を行い、そのベクトル量を動きと判定する。 Next, the amount of motion in the screen is measured (step S104). Note that the movement amount measurement in the screen is performed using image information of an area that is not determined to be the lane area according to the detection result of the lane area described later in order to avoid the influence due to the traffic of the vehicle. Regarding the detection of the motion amount, as described above, the inter-frame motion prediction for each block is performed in the state where the screen is divided into small blocks, and the vector amount is determined as the motion.
以上より、画面の動き量を測定し、この測定された動き量と、上記にて決定された閾値の大小関係により（ステップＳ１０６）、カメラアングルが固定状態（ステップＳ１０８）か、変更状態（ステップＳ１０７）かを判定する。また、カメラアングルが変更状態である場合には、さらに、そのアングルが予め運用者が定めた撮影画角と一致するか否かを判定し（ステップＳ１０９）、一致していない場合（ステップＳ１０９の「Ｎｏ」）には、報知処理を行う（ステップＳ１１０）。 As described above, the amount of movement of the screen is measured, and the camera angle is fixed (step S108) or changed (step S108) depending on the magnitude relationship between the measured amount of movement and the threshold value determined above (step S106). S107). If the camera angle is in the changed state, it is further determined whether or not the angle matches a shooting angle of view determined in advance by the operator (step S109). If the angle does not match (step S109). In “No”, a notification process is performed (step S110).
なお、上記の処理を実現するために、この閾値についてグローバルモーション等の画像処理から得られた動き量による検出を用いた場合に、単位時間あたりのグローバルーションベクトルの絶対値が一定以下となっている場合には、カメラアングルの変更とみなさず、意図しない揺らぎであると判断する。また、カメラアングルの変化量が一定の範囲に収まっていると判断された場合には、ブレ補正技術により画像処理精度を向上させることが可能である。さらに、カメラアングルの変更のうち、撮影領域に関してズームアップがなされている場合には、撮影画面に領域に対する意図しないカメラアングルの揺らぎの影響が大きくなり、揺らぎ自体をカメラアングルの変更と誤検出する可能性が増す。そこで、この誤検出を回避するために、画面内における撮影領域とその画面幅に対する１車線の占有幅の割合を算出し、その割合が高いほどズームアップ率が高いと判定し、カメラアングルの変化の検出感度を下げる。 In order to realize the above processing, the absolute value of the globalization vector per unit time becomes below a certain value when detection based on the amount of motion obtained from image processing such as global motion is used for this threshold. If it is, the camera angle is not regarded as a change and it is determined that the fluctuation is not intended. In addition, when it is determined that the amount of change in the camera angle is within a certain range, it is possible to improve the image processing accuracy by the blur correction technique. In addition, when the shooting area is zoomed out among changes in the camera angle, the influence of unintended camera angle fluctuations on the shooting area increases on the shooting screen, and the fluctuation itself is erroneously detected as a camera angle change. The possibility increases. Therefore, in order to avoid this erroneous detection, the ratio of the occupancy width of one lane to the shooting area and the screen width in the screen is calculated, and the higher the ratio, the higher the zoom-up rate, and the change in camera angle. Reduce the detection sensitivity.
＜撮影環境検出部の処理動作＞
図３および図４を用いて、本発明の実施形態に係る撮影環境検出部の処理動作について、詳細に説明する。
<Processing operation of the shooting environment detection unit>
The processing operation of the imaging environment detection unit according to the embodiment of the present invention will be described in detail with reference to FIGS. 3 and 4.
撮影環境検出部２０１は、撮影環境が明環境下か暗環境下か、また、雨天等によりレンズに水滴が付着したり、路面に水がたまることにより光の反射を起こすなどの画像処理上の精度維持が困難となる悪環境下での撮影となっているか否かを判別する。
The shooting
まず、道路監視映像を入力して（ステップＳ２０１）、撮影環境の明度を推定する（ステップＳ２０２）。そして、明度推定値が予め定めた閾値よりも大きいか否かを判定し（ステップＳ２０３）、明度推定値が予め定めた閾値よりも大きい場合（ステップＳ２０３の「Ｙｅｓ」）には、明環境下の撮影状態と判定する（ステップＳ２０４）。一方で、明度推定値が予め定めた閾値よりも小さい場合（ステップＳ２０３の「Ｎｏ」）には、暗環境下の撮影状態と判定する（ステップＳ２０５）。 First, a road monitoring video is input (step S201), and the brightness of the shooting environment is estimated (step S202). Then, it is determined whether or not the estimated brightness value is larger than a predetermined threshold value (step S203). If the estimated brightness value is larger than the predetermined threshold value ("Yes" in step S203), the light environment Is determined to be in the shooting state (step S204). On the other hand, when the estimated brightness value is smaller than a predetermined threshold (“No” in step S203), it is determined that the shooting state is in a dark environment (step S205).
撮影状況が明るい環境下なのか、暗い環境下なのかを判断する手法としては、画面の平均輝度を用いる方法がある。
カメラ自体に輝度調整を行う機能を具備する機器が用いられることが多い為、暗い領域を撮影した場合には撮影された各画素における信号対雑音比が増大する。そのため、本実施例では、主にこの信号対雑音比が高い場合には、暗部の撮影状態であり、低い場合には明部の撮影状態であると判定する。
As a method for determining whether the shooting situation is a bright environment or a dark environment, there is a method using the average luminance of the screen.
Since a device having a function of adjusting brightness is often used for the camera itself, when a dark region is photographed, the signal-to-noise ratio of each photographed pixel increases. For this reason, in the present embodiment, it is determined that the dark portion is in a shooting state mainly when the signal-to-noise ratio is high, and that the light portion is in a bright state when the signal to noise ratio is low.
次に、図４を用いて、撮影環境が良環境下か悪い環境下かを判定する処理について説明する。
まず、道路監視映像を入力して（ステップＳ３０１）、カメラアングル検出処理で用いた動き判定精度処理を用いて、動き判定精度の推定を行う（ステップＳ３０２）。そして、動き判定精度が所定値よりも低いか否かを判定し（ステップＳ３０３）、低いと判定された場合（ステップＳ３０３の「Ｙｅｓ」）には、悪環境下の撮影状態と判定する（ステップＳ３０４）。一方で、高いと判定された場合（ステップＳ３０３の「Ｎｏ」）には、良環境下の撮影状態と判定する（ステップＳ３０５）。
Next, processing for determining whether the shooting environment is a good environment or a bad environment will be described with reference to FIG.
First, a road monitoring video is input (step S301), and motion determination accuracy is estimated using the motion determination accuracy processing used in the camera angle detection processing (step S302). Then, it is determined whether or not the motion determination accuracy is lower than a predetermined value (step S303). If it is determined that the motion determination accuracy is low (“Yes” in step S303), it is determined that the shooting state is in an adverse environment (step S303). S304). On the other hand, if it is determined to be high (“No” in step S303), it is determined that the shooting state is in a good environment (step S305).
＜走行車線検出部の処理動作＞
図５から図７を用いて、本発明の実施形態に係る走行車線検出部の処理動作について、詳細に説明する。
<Processing of driving lane detector>
The processing operation of the traveling lane detector according to the embodiment of the present invention will be described in detail with reference to FIGS.
走行車線検出部のフローを図５に示す。図５に示すように、走行車線検出部の処理は、１）車両通行領域特定処理（ステップＳ４０１）、２）主監視対象方向決定処理（ステップＳ４０２）、３）監視領域設定処理（ステップＳ４０３）、４）道路情報抽出処理（ステップＳ４０４）の順に実行される。以下に、それぞれの処理についての詳細を説明する。 A flow of the traveling lane detection unit is shown in FIG. As shown in FIG. 5, the process of the traveling lane detecting unit is as follows: 1) vehicle traffic area specifying process (step S401), 2) main monitoring target direction determining process (step S402), and 3) monitoring area setting process (step S403). 4) The road information extraction process (step S404) is executed in this order. Details of each processing will be described below.
１）車両通行領域特定処理（ステップＳ４０１）
車両通行領域特定処理では、入力された監視画像に対して、画素単位での動き検出を行い、動き方向および大きさの情報を得る。この処理については１画像だけでなく、一定の時間継続的に行い、その集積または平均化を行う。この際に画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定する。一定以上の大きさとするのは、誤差の影響を排除するため、および動きの小さい部分では検出精度を維持できないため、予め検出対象領域としないようにするためである。
1) Vehicle traffic area specifying process (step S401)
In the vehicle traffic area specifying process, motion detection in units of pixels is performed on the input monitoring image to obtain information on the motion direction and size. This processing is performed not only for one image but also for a certain period of time, and accumulation or averaging is performed. At this time, a portion having a certain size or more as the movement on the screen is specified as the vehicle traffic area. The reason why the size is larger than a certain value is to eliminate the influence of errors and to prevent the detection accuracy from being maintained in advance because the detection accuracy cannot be maintained in a portion where the motion is small.
２）主監視対象方向決定処理（ステップＳ４０２）
交通監視映像においては、例えば、上り車線と下り車線の双方を同時に撮影することも可能だが、基本的な交通監視では、解析処理において精度を高く保つことのできる１方向の交通に関して測定することを目的する。上記集積結果について、動き成分の画面内垂直方向の成分を確認し、垂直成分が上方となる領域と、垂直成分が下方となる領域の面積とを比較し、大きい方の領域に属する交通流を主監視対象方向と決定する。または、画面内の底辺部分の動きについて観測し、上方成分を含む領域が下方成分を含む領域よりも多い場合には交通流として上方成分を持つ交通流を主監視対象方向と特定し、その逆の場合には、下方成分をもつ交通流を主監視対象方向と特定する。
2) Main monitoring target direction determination processing (step S402)
In the traffic monitoring video, for example, it is possible to photograph both the up lane and the down lane at the same time. However, in basic traffic monitoring, it is possible to measure the traffic in one direction that can keep high accuracy in the analysis process. Purpose. Check the vertical component of the motion component in the screen, and compare the area where the vertical component is above and the area where the vertical component is below. Determined as the main monitoring target direction. Or, observe the movement of the bottom part in the screen, and if the area containing the upper component is larger than the area containing the lower component, the traffic flow having the upper component as the traffic flow is identified as the main monitoring target direction and vice versa. In this case, the traffic flow having the lower component is specified as the main monitoring target direction.
３）監視領域決定処理（ステップＳ４０３）
処理を簡素化させるため、監視領域の道路は画面内の四角形領域とする。監視領域は以下により特定する。
Ａ）監視領域の左辺については、車両通行領域として特定された領域のうち、主監視対象方向に属する領域の左端に設定する。
Ｂ）監視領域の右辺についても上記左辺の決定と同様の処理により決定する。
Ｃ）監視領域の底辺については、画面内の上記Ａ）で決定された左辺およびＢ）で決定された右辺を結ぶ画面内水平線のうち、最も下方となる位置と設定する。
Ｄ）監視領域の上辺については、画面内の上記Ａ）で決定された左辺およびＢ）で決定された右辺を結ぶ画面内水平線のうち、最も上方となる位置と設定する。
3) Monitoring area determination process (step S403)
In order to simplify the processing, the road in the monitoring area is a rectangular area in the screen. The monitoring area is specified as follows.
A) The left side of the monitoring area is set to the left end of the area belonging to the main monitoring target direction among the areas specified as the vehicle traffic area.
B) The right side of the monitoring area is determined by the same process as the determination of the left side.
C) The bottom of the monitoring area is set to the lowest position among the horizontal lines in the screen connecting the left side determined in A) and the right side determined in B) in the screen.
D) The upper side of the monitoring area is set to the uppermost position among the horizontal lines in the screen connecting the left side determined in A) and the right side determined in B) in the screen.
４）道路情報抽出処理（ステップＳ４０４）
ここでは以下の情報を取得する。
イ）主交通流方向
主監視対象方向として決定された方向とする。
ロ）車線数
監視領域の底辺上の全ての画素について、検出された動きの平均値を出力し、その極大値の数により車線数を特定する。ただし、検出誤差を考慮するため、底辺上の全ての画素の動きの平均値については近接画素間の重み付き平均を用いる。または、車両通行領域として特定された領域内で、白線認識を行う。白線認識については移動物体領域として検出されていない画素、または背景分離手法による背景画像を対象として、その画素の中で輝度の高い領域を白線として認識する。
4) Road information extraction process (step S404)
Here, the following information is acquired.
B) Main traffic flow direction The direction determined as the main monitoring target direction.
B) Number of lanes The average value of the detected motion is output for all pixels on the bottom of the monitoring area, and the number of lanes is specified by the number of local maximum values. However, in order to consider detection errors, a weighted average between adjacent pixels is used for the average value of the movement of all pixels on the bottom side. Alternatively, white line recognition is performed within the area specified as the vehicle traffic area. For white line recognition, a pixel that has not been detected as a moving object region or a background image obtained by a background separation method is targeted, and a region having a high luminance among the pixels is recognized as a white line.
つまり、図６に示すように、道路に記される走行車線境界には破線のものと実線のものがあるが、検出された走行車線境界が実線の場合にはそのままその実線の位置を走行車線境界線情報として用いる。一方、検出された車線境界が破線またはその一部と判断された場合には、その破線の延長または検出された複数の破線の補間処理により生成される線を走行車線境界情報として用いる。走行車線の中央は、検出された隣り合う走行車線境界の中央と判定することができる。これにより、撮影画面内の走行車線の位置および撮影画面内に存在する走行車線数を把握することができる。 That is, as shown in FIG. 6, there are broken-lane boundaries and solid-line boundaries on the road marked on the road, but when the detected travel lane boundary is a solid line, the position of the solid line is directly used as the travel lane. Used as boundary information. On the other hand, when it is determined that the detected lane boundary is a broken line or a part thereof, a line generated by the extension of the broken line or interpolation processing of a plurality of detected broken lines is used as the traveling lane boundary information. The center of the travel lane can be determined as the center of the detected adjacent travel lane boundary. Thereby, the position of the traveling lane in the photographing screen and the number of traveling lanes existing in the photographing screen can be grasped.
５）監視領域長検出処理（ステップＳ４０５）
画面内の撮影領域に関する実際の距離情報の抽出について説明する。撮影道路の実際の距離等の情報の抽出には、撮影された画面のみで利用可能な情報を利用した設定方法と、利用しない設定方法とがある。
5) Monitoring area length detection processing (step S405)
The extraction of actual distance information related to the shooting area in the screen will be described. Extraction of information such as the actual distance of the shooting road includes a setting method using information that can be used only on the shot screen and a setting method not using it.
撮影された画面のみで利用可能な情報を用いずに距離情報を取得する手法のひとつとして、予め道路の走行車線幅情報や車線境界の破線の長さや破線間の距離に関する情報を外部より指定・保持しておき、画像の検出された道路部分に対してこれらの既知の距離情報を用いて特定する手法がある。具体的には以下により監視領域長の推定を行う。
ａ）監視領域の写像変換
ｂ）変換画像内の破線位置特定
ｃ）破線および破線間の長さ情報に基づく監視領域長推定
As one of the methods to acquire distance information without using information that can be used only on the screen shot, information on road lane width information, lane boundary dashed line length, and distance between dashed lines is specified from outside. There is a method of holding and specifying the road portion where the image is detected using these known distance information. Specifically, the monitoring area length is estimated as follows.
a) Mapping conversion of monitoring area b) Location of broken line in converted image c) Monitoring area length estimation based on length information between broken line and broken line
ａ）の監視領域の写像変換は、図６に示すとおり、４つの頂点を矩形のそれぞれの頂点に合せるよう写像変換させる。ｂ）の変換画像内の破線位置特定は、ａ）に伴い監視領域内の白線（破線）も写像変換されるため、その領域を特定する。ｃ）の破線および破線間の長さ情報に基づく監視領域長推定は、道路に塗布される破線の長さ情報、および破線間隔の長さ情報、そして車線幅の情報は外部から予め与えられていることを想定し、その情報から、監視領域内の横幅の距離情報ならびに監視領域の縦方向（走行方向）の長さを特定する。なお、図６において、両端の実線部分は、走行車線境界を示し、その内側の２本は、破線で示された走行車線境界とその補助線を示している。 As shown in FIG. 6, the mapping conversion of the monitoring area in a) is performed so that the four vertices are aligned with the respective vertices of the rectangle. Since the white line (broken line) in the monitoring area is also subjected to mapping conversion in accordance with a), the position of the broken line in the converted image in b) is specified. The monitoring area length estimation based on the length information between the broken line and the broken line in c) is that the length information of the broken line applied to the road, the length information of the distance between the broken lines, and the lane width information are given in advance from the outside. From the information, the lateral distance information in the monitoring area and the length of the monitoring area in the vertical direction (traveling direction) are specified. In FIG. 6, the solid line portions at both ends indicate the traveling lane boundary, and the two inside lines indicate the traveling lane boundary indicated by a broken line and its auxiliary line.
路肩走行の検出のための領域拡張
高速道路監視においては、路肩を走行する車両を検出することが求められる。本実施形態において、車両の実際の通行をもとに走行車線を特定する場合には、路肩部分については通常は走行がないために検出領域から外れてしまうことになる。これに対応するために、図６の写像された道路情報を基礎とし、高速道路において路肩はその走行方向に対して左側に存在していることは既知であるため、図７に示すように、写像後の画像上で路肩領域部分の拡張を行っておき、その画像領域を逆写像することで、もとの画像上の路肩領域を含めた検出を行うことが可能となる。
Area expansion for detection of road shoulder In highway monitoring, it is required to detect a vehicle traveling on the road. In the present embodiment, when the travel lane is specified based on the actual traffic of the vehicle, the road shoulder portion is usually out of travel and thus deviates from the detection area. In order to cope with this, based on the mapped road information of FIG. 6, it is known that the shoulder on the highway is on the left side with respect to the traveling direction, so as shown in FIG. By expanding the road shoulder region on the image after mapping and performing reverse mapping of the image region, detection including the road shoulder region on the original image can be performed.
なお、走行車線検出機能については、車両の通行情報を元にして検出を行った場合には、検出を開始してから実際に監視領域を特定し、走行車線情報を確定させるまでには時間を要することになる。この時間を短縮するために、以下の手法をとる。 As for the travel lane detection function, when detection is performed based on vehicle traffic information, it takes time from the start of detection until the actual monitoring area is specified and the travel lane information is determined. It will take. In order to shorten this time, the following method is taken.
つまり、車両通行領域特定を行った際に、画面内の各画素における平均的な動き情報と、その車両通行領域の場合に算出された交通監視のための写像変換パラメータや車線情報、車線に関する距離情報を保持しておく。そして、カメラアングルに何らかの変更があった場合には、カメラアングルが固定された直後に、まず画面内の各画素で観測される動き情報を取得する。そして、その画面内の動き情報と、上記により予め保持されている各画素における平均的な動き情報との比較を行い、その比較結果が類似していると判断された場合には、その予め保持されている交通監視用パラメータを流用する。 In other words, when the vehicle traffic area is specified, the average motion information in each pixel in the screen, the map conversion parameter for traffic monitoring calculated in the case of the vehicle traffic area, lane information, and the distance related to the lane Keep information. If there is any change in the camera angle, motion information observed at each pixel in the screen is first acquired immediately after the camera angle is fixed. Then, the motion information in the screen is compared with the average motion information in each pixel held in advance as described above. If it is determined that the comparison results are similar, the information is stored in advance. Use the traffic monitoring parameters that have been used.
また、類似していないと判定された場合には、そのまま道路情報抽出までを行い、その際に得られた画面内の各画素の平均的な動き情報と、その際の道路情報を新たな監視アングルとして保持しておく。 If it is determined that they are not similar, the road information is extracted as it is, and the average motion information of each pixel in the screen obtained at that time and the road information at that time are newly monitored. Hold as an angle.
このように、カメラアングルが変更された場合には、画面内の動き情報と、これまでに取得したカメラアングルで得られる画面内の動き情報とのマッチングを行うことにより、既存のカメラアングルと判断された場合には、既知の道路情報を呼び出して利用し、未知のカメラアングルと判断された場合には、その時に得られる画面内の各画素の動き情報とともに解析結果となる道路情報を追加で保持しておく。 In this way, when the camera angle is changed, the existing camera angle is determined by matching the motion information in the screen with the motion information in the screen obtained by the camera angle acquired so far. If it is determined that the camera angle is unknown, the road information that is the analysis result is added along with the movement information of each pixel in the screen obtained at that time. Keep it.
＜車両交通監視装置の処理＞
図８を用いて、本実施形態に係る車両交通監視装置の処理について説明する。
<Processing of vehicle traffic monitoring device>
The process of the vehicle traffic monitoring apparatus according to the present embodiment will be described with reference to FIG.
まず、新規画像の入力があったか否かを検出し（ステップＳ５０１）、入力がない場合（ステップＳ５０１の「Ｎｏ」）には、処理を中止する。一方、新規画像の入力があった場合（ステップＳ５０１の「Ｙｅｓ」）には、カメラアングルが変更されている状態か否かの判定を行う（ステップＳ５０２）。 First, it is detected whether or not a new image has been input (step S501). If there is no input (“No” in step S501), the processing is stopped. On the other hand, if a new image has been input (“Yes” in step S501), it is determined whether or not the camera angle has been changed (step S502).
そして、カメラアングルが変更されたと判定した場合（ステップＳ５０２の「Ｙｅｓ」）には、画像内の走行車線の状況を把握するため、車線解析が行われる（ステップＳ５０３）。 If it is determined that the camera angle has been changed (“Yes” in step S502), lane analysis is performed in order to grasp the situation of the traveling lane in the image (step S503).
一方で、カメラアングルが変更されていない場合（ステップＳ５０２の「Ｎｏ」）においても、まだ車線解析が完了していない場合には、引続き車線解析を完了させるまでは車両の検出やトラフィックイベントの抽出処理は行われない（ステップＳ５０４）。 On the other hand, even if the camera angle has not been changed (“No” in step S502), if the lane analysis is not yet completed, vehicle detection and traffic event extraction will continue until the lane analysis is completed. Processing is not performed (step S504).
カメラアングルに変更がある場合には、車両解析処理が完了したか否かを判定し（ステップＳ５０３）、車両解析処理が完了した場合（ステップＳ５０３の「Ｙｅｓ」）およびカメラアングルに変更がない状態となり、車線解析処理が完了した場合には、車両検出処理を行い、個々の通行車両の交通状況を抽出する。一方、カメラアングルに変更があり、車両解析処理が完了していない場合（ステップＳ５０３の「Ｎｏ」）には、車両解析処理が完了するまで処理を続行し（ステップＳ５０４）、車両解析処理が完了した後に、車両検出処理を行い、個々の通行車両の交通状況を抽出する。 When the camera angle is changed, it is determined whether or not the vehicle analysis process is completed (step S503). When the vehicle analysis process is completed ("Yes" in step S503), the camera angle is not changed. When the lane analysis processing is completed, vehicle detection processing is performed to extract the traffic situation of each passing vehicle. On the other hand, when the camera angle is changed and the vehicle analysis process is not completed (“No” in step S503), the process is continued until the vehicle analysis process is completed (step S504), and the vehicle analysis process is completed. After that, vehicle detection processing is performed to extract the traffic situation of each passing vehicle.
そして、車両検出処理が終了すると、個々の通行車両の交通状況の解析結果をもとに、トラフィックイベント情報の抽出を行う（ステップＳ５０６）。 When the vehicle detection process ends, traffic event information is extracted based on the analysis result of the traffic situation of each passing vehicle (step S506).
以上、説明したように、本実施形態によれば、撮影映像の監視範囲を任意に変更可能な撮像装置からの映像に基づいて、自動的に、交通流計測を行うとともに、トラフィックイベントを抽出することができる。 As described above, according to the present embodiment, the traffic flow is automatically measured and the traffic event is extracted based on the video from the imaging device that can arbitrarily change the monitoring range of the captured video. be able to.
なお、車両交通監視装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを車両交通監視装置に読み込ませ、実行することによって本発明の車両交通監視装置を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。 The vehicle traffic monitoring apparatus of the present invention is realized by recording the processing of the vehicle traffic monitoring apparatus on a computer-readable recording medium, causing the vehicle traffic monitoring apparatus to read and execute the program recorded on the recording medium. be able to. The computer system here includes an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW (World Wide Web) system is used. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the embodiments, and includes designs and the like that do not depart from the gist of the present invention.
１０１；ＰＴＺカメラ
２０１；撮影環境検出部
３００；車両検出部
４００；トラフィックイベント検出部
５００；カメラアングル検出部
６００；走行車線検出部
７００；報知部
101;
Claims (8)
前記撮像装置から得られた映像を解析し、前記撮像装置のカメラアングルが固定状態であるか否かを検出するカメラアングル検出手段と、
前記撮像装置から得られた映像から、少なくとも、画面の輝度情報、天候状況を取得し、撮影環境情報を検出する撮影環境検出手段と、
車両が存在していない状態の背景道路画像を格納する格納手段と、
前記カメラアングル検出手段の検出結果から前記カメラアングルが固定状態であるときに、前記撮像装置から得られた映像を解析し、少なくとも、交通監視画像内における走行車線の有無、走行車線の位置、車両の通行方向、走行車線に関する距離情報を抽出して、走行車線を検出する走行車線検出手段と、
前記格納手段に格納された背景道路画像と、前記走行車線検出手段から得られる前記交通監視画面内における走行車線の有無、走行車線の位置、車両の通行方向、走行車線に関する距離情報と、前記撮影環境検出手段から得られる撮影環境情報とから、前記撮像装置から得られた映像に対して、車両の存在の有無、車両の通行方向、車両の通行速度、車両の通行車線、通行車両の長さ情報、通行車両の幅情報を含む車両情報を検出する車両情報検出手段と、
前記車両情報検出手段において検出された前記車両情報に基づいて、トラフィックイベントを検出するトラフィックイベント検出手段と、
を備え、
前記カメラアングル検出手段が、前記撮像装置から得られた映像から、撮影画角の横幅に対する観測される車線の１車線分の幅が占める割合からズームアップ率を推定するとともに、画面内を小ブロック単位に分割した状態で、各ブロックについてフレーム間動き予測を行って、動き判定精度を推定して、閾値を決定し、車線領域ではない領域の画像情報を用いて、該画面情報を小ブロック単位に分割した状態で、各ブロックについてのフレーム間動き予測を行い、そのベクトル量により、画面内の動き量を測定して、該測定された動き量が前記決定された閾値小さいときに、前記カメラアングルが固定状態であることを検出することを特徴とする車両交通監視装置。 A vehicle traffic monitoring device including an imaging device capable of arbitrarily changing a monitoring range of a captured image,
Camera angle detection means for analyzing the video obtained from the imaging device and detecting whether the camera angle of the imaging device is in a fixed state;
From the video obtained from the imaging device, at least the brightness information of the screen, the weather situation, and shooting environment detection means for detecting shooting environment information,
Storage means for storing a background road image in a state where no vehicle exists;
When the camera angle is in a fixed state from the detection result of the camera angle detection means, the video obtained from the imaging device is analyzed, and at least the presence / absence of a traveling lane in the traffic monitoring image, the position of the traveling lane, the vehicle A driving lane detecting means for detecting the driving lane by extracting distance information related to the traffic direction and the driving lane;
The background road image stored in the storage means, the presence or absence of a traveling lane in the traffic monitoring screen obtained from the traveling lane detecting means, the position of the traveling lane, the traffic direction of the vehicle, the distance information about the traveling lane, and the photographing The presence / absence of a vehicle, the direction of travel of the vehicle, the traffic speed of the vehicle, the traffic lane of the vehicle, the length of the traffic vehicle with respect to the image obtained from the imaging device from the shooting environment information obtained from the environment detection means Vehicle information detecting means for detecting vehicle information including information, width information of a passing vehicle;
Traffic event detection means for detecting a traffic event based on the vehicle information detected by the vehicle information detection means;
Equipped with a,
The camera angle detection means estimates a zoom-up rate from a video obtained from the imaging device from a ratio of a width of one lane of the observed lane to a horizontal width of the shooting angle of view, and small blocks in the screen In a state of being divided into units, inter-frame motion prediction is performed for each block, motion determination accuracy is estimated, a threshold value is determined, and the screen information is divided into small block units using image information of a region that is not a lane region When the motion amount in the screen is measured based on the vector amount and the measured motion amount is smaller than the determined threshold value, the camera performs the inter-frame motion prediction for each block in the divided state. A vehicle traffic monitoring device for detecting that an angle is in a fixed state.
前記カメラアングル検出手段が、前記撮像装置から得られた映像を解析し、前記撮像装置のカメラアングルが固定状態であるか否かを検出する第１のステップと、
前記撮影環境検出手段が、前記撮像装置から得られた映像から、少なくとも、画面の輝度情報、天候状況を取得し、撮影環境情報を検出する第２のステップと、
前記走行車線検出手段が、前記カメラアングル検出手段の検出結果から前記カメラアングルが固定状態であるときに、前記撮像装置から得られた映像を解析し、少なくとも、交通監視画像内における走行車線の有無、走行車線の位置、車両の通行方向、走行車線に関する距離情報を抽出して、走行車線を検出する第３のステップと、
前記車両情報検出手段が、前記格納手段に格納された背景道路画像と、前記走行車線検出手段から得られる前記交通監視画面内における走行車線の有無、走行車線の位置、車両の通行方向、走行車線に関する距離情報と、前記撮影環境検出手段から得られる撮影環境情報とから、前記撮像装置から得られた映像に対して、車両の存在の有無、車両の通行方向、車両の通行速度、車両の通行車線、通行車両の長さ情報、通行車両の幅情報を含む車両情報を検出する第４のステップと、
前記トラフィックイベント検出手段が、前記車両情報検出手段において検出された前記車両情報に基づいて、トラフィックイベントを検出する第５のステップと、
を備え、
前記第１のステップにおいて、前記撮像装置から得られた映像から、撮影画角の横幅に対する観測される車線の１車線分の幅が占める割合からズームアップ率を推定するとともに、画面内を小ブロック単位に分割した状態で、各ブロックについてフレーム間動き予測を行って、動き判定精度を推定して、閾値を決定し、車線領域ではない領域の画像情報を用いて、該画面情報を小ブロック単位に分割した状態で、各ブロックについてのフレーム間動き予測を行い、そのベクトル量により、画面内の動き量を測定して、該測定された動き量が前記決定された閾値小さいときに、前記カメラアングルが固定状態であることを検出することを特徴とする車両交通監視方法。 A camera angle detection unit; a shooting environment detection unit; a storage unit that stores a background road image in a state where no vehicle exists; a traveling lane detection unit; a vehicle information detection unit; and a traffic event detection unit. , A vehicle traffic monitoring method in a vehicle traffic monitoring device including an imaging device capable of arbitrarily changing the monitoring range of a captured video,
A first step in which the camera angle detection means analyzes an image obtained from the imaging device and detects whether or not the camera angle of the imaging device is in a fixed state;
A second step in which the shooting environment detection means acquires at least the brightness information of the screen and the weather condition from the video obtained from the imaging device, and detects the shooting environment information;
The travel lane detection means analyzes the video obtained from the imaging device when the camera angle is fixed from the detection result of the camera angle detection means, and at least the presence or absence of the travel lane in the traffic monitoring image A third step of detecting the travel lane by extracting the distance information related to the position of the travel lane, the direction of travel of the vehicle, and the travel lane;
The vehicle information detection means includes a background road image stored in the storage means, the presence or absence of a travel lane in the traffic monitoring screen obtained from the travel lane detection means, the position of the travel lane, the traffic direction of the vehicle, the travel lane Presence / absence of vehicle, direction of traffic, speed of vehicle traffic, traffic of vehicle with respect to the image obtained from the imaging device from distance information regarding the image environment information obtained from the imaging environment detection means A fourth step of detecting vehicle information including lane, length information of the passing vehicle, width information of the passing vehicle;
A fifth step in which the traffic event detection means detects a traffic event based on the vehicle information detected by the vehicle information detection means;
Equipped with a,
In the first step, from the video obtained from the imaging device, the zoom-up rate is estimated from the ratio of the width of one lane of the observed lane to the horizontal width of the shooting angle of view, and a small block is displayed on the screen In a state of being divided into units, inter-frame motion prediction is performed for each block, motion determination accuracy is estimated, a threshold value is determined, and the screen information is divided into small block units using image information of a region that is not a lane region When the motion amount in the screen is measured based on the vector amount and the measured motion amount is smaller than the determined threshold value, the camera performs the inter-frame motion prediction for each block in the divided state. A vehicle traffic monitoring method for detecting that an angle is in a fixed state.
前記カメラアングル検出手段が、前記撮像装置から得られた映像を解析し、前記撮像装置のカメラアングルが固定状態であるか否かを検出する第１のステップと、
前記撮影環境検出手段が、前記撮像装置から得られた映像から、少なくとも、画面の輝度情報、天候状況を取得し、撮影環境情報を検出する第２のステップと、
前記走行車線検出手段が、前記カメラアングル検出手段の検出結果から前記カメラアングルが固定状態であるときに、前記撮像装置から得られた映像を解析し、少なくとも、交通監視画像内における走行車線の有無、走行車線の位置、車両の通行方向、走行車線に関する距離情報を抽出して、走行車線を検出する第３のステップと、
前記車両情報検出手段が、前記格納手段に格納された背景道路画像と、前記走行車線検出手段から得られる前記交通監視画面内における走行車線の有無、走行車線の位置、車両の通行方向、走行車線に関する距離情報と、前記撮影環境検出手段から得られる撮影環境情報とから、前記撮像装置から得られた映像に対して、車両の存在の有無、車両の通行方向、車両の通行速度、車両の通行車線、通行車両の長さ情報、通行車両の幅情報を含む車両情報を検出する第４のステップと、
前記トラフィックイベント検出手段が、前記車両情報検出手段において検出された前記車両情報に基づいて、トラフィックイベントを検出する第５のステップと、
を備え、
前記第１のステップにおいて、前記撮像装置から得られた映像から、撮影画角の横幅に対する観測される車線の１車線分の幅が占める割合からズームアップ率を推定するとともに、画面内を小ブロック単位に分割した状態で、各ブロックについてフレーム間動き予測を行って、動き判定精度を推定して、閾値を決定し、車線領域ではない領域の画像情報を用いて、該画面情報を小ブロック単位に分割した状態で、各ブロックについてのフレーム間動き予測を行い、そのベクトル量により、画面内の動き量を測定して、該測定された動き量が前記決定された閾値小さいときに、前記カメラアングルが固定状態であることを検出することを特徴とするプログラム。 A camera angle detection unit; a shooting environment detection unit; a storage unit that stores a background road image in a state where no vehicle exists; a traveling lane detection unit; a vehicle information detection unit; and a traffic event detection unit. A program for causing a computer to execute a vehicle traffic monitoring method in a vehicle traffic monitoring device including an imaging device capable of arbitrarily changing a monitoring range of a captured video,
A first step in which the camera angle detection means analyzes an image obtained from the imaging device and detects whether or not the camera angle of the imaging device is in a fixed state;
A second step in which the shooting environment detection means acquires at least the brightness information of the screen and the weather condition from the video obtained from the imaging device, and detects the shooting environment information;
The travel lane detection means analyzes the video obtained from the imaging device when the camera angle is fixed from the detection result of the camera angle detection means, and at least the presence or absence of the travel lane in the traffic monitoring image A third step of detecting the travel lane by extracting the distance information related to the position of the travel lane, the direction of travel of the vehicle, and the travel lane;
The vehicle information detection means includes a background road image stored in the storage means, the presence or absence of a travel lane in the traffic monitoring screen obtained from the travel lane detection means, the position of the travel lane, the traffic direction of the vehicle, the travel lane Presence / absence of vehicle, direction of traffic, speed of vehicle traffic, traffic of vehicle with respect to the image obtained from the imaging device from distance information regarding the image environment information obtained from the imaging environment detection means A fourth step of detecting vehicle information including lane, length information of the passing vehicle, width information of the passing vehicle;
A fifth step in which the traffic event detection means detects a traffic event based on the vehicle information detected by the vehicle information detection means;
Equipped with a,
In the first step, from the video obtained from the imaging device, the zoom-up rate is estimated from the ratio of the width of one lane of the observed lane to the horizontal width of the shooting angle of view, and a small block is displayed on the screen In a state of being divided into units, inter-frame motion prediction is performed for each block, motion determination accuracy is estimated, a threshold value is determined, and the screen information is divided into small block units using image information of a region that is not a lane region When the motion amount in the screen is measured based on the vector amount and the measured motion amount is smaller than the determined threshold value, the camera performs the inter-frame motion prediction for each block in the divided state. A program characterized by detecting that the angle is fixed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010058257A JP5702544B2 (en) | 2010-03-15 | 2010-03-15 | Vehicle traffic monitoring device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010058257A JP5702544B2 (en) | 2010-03-15 | 2010-03-15 | Vehicle traffic monitoring device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011192069A JP2011192069A (en) | 2011-09-29 |
| JP5702544B2 true JP5702544B2 (en) | 2015-04-15 |
Family
ID=44796898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010058257A Expired - Fee Related JP5702544B2 (en) | 2010-03-15 | 2010-03-15 | Vehicle traffic monitoring device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5702544B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530711A (en) * | 2016-12-16 | 2017-03-22 | 合肥寰景信息技术有限公司 | Video image intelligent traffic analysis method for high-speed vehicle |
| JP7048357B2 (en) * | 2018-03-06 | 2022-04-05 | 東芝インフラシステムズ株式会社 | Pre-confirmation system for captured images and pre-confirmation method for captured images |
| JP2020201841A (en) * | 2019-06-12 | 2020-12-17 | 富士通株式会社 | Image processing program, image processing apparatus, and image processing method |
| CN110335467B (en) * | 2019-07-24 | 2021-08-27 | 山东交通学院 | Method for realizing highway vehicle behavior detection by using computer vision |
| CN110796360A (en) * | 2019-10-24 | 2020-02-14 | 吉林化工学院 | Fixed traffic detection source multi-scale data fusion method |
| JP7379260B2 (en) | 2020-04-06 | 2023-11-14 | Ｆｃｎｔ株式会社 | Wrong-way vehicle detection device, wrong-way vehicle detection method, and wrong-way vehicle detection program |
| KR102283483B1 (en) * | 2021-02-19 | 2021-07-29 | 주식회사 싸인텔레콤 | Image analysis system for calculating traffic volume |
| CN113139482A (en) * | 2021-04-28 | 2021-07-20 | 北京百度网讯科技有限公司 | Method and device for detecting traffic abnormity |
| CN113299073B (en) * | 2021-04-28 | 2023-05-23 | 北京百度网讯科技有限公司 | Method, device, equipment and storage medium for identifying illegal parking of vehicle |
| KR102546198B1 (en) * | 2022-11-30 | 2023-06-22 | 주식회사 인피닉 | Method for learning data classification based physical factor, and computer program recorded on record-medium for executing method thereof |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2944812B2 (en) * | 1992-01-24 | 1999-09-06 | 松下電器産業株式会社 | ITV camera device |
| JPH05282592A (en) * | 1992-04-02 | 1993-10-29 | Matsushita Electric Ind Co Ltd | Image processing-type vehicle sensor and method for processing traffic information |
| JP2004102545A (en) * | 2002-09-06 | 2004-04-02 | Sumitomo Electric Ind Ltd | Traffic situation displaying method and traffic situation displaying device |
| JP2006285399A (en) * | 2005-03-31 | 2006-10-19 | Tama Tlo Kk | Image monitoring method and device for monitoring motion of vehicle at intersection |
| JP4600929B2 (en) * | 2005-07-20 | 2010-12-22 | パナソニック株式会社 | Stop low-speed vehicle detection device |
| JP4967937B2 (en) * | 2007-09-06 | 2012-07-04 | 日本電気株式会社 | Image processing apparatus, method, and program |
| JP4948338B2 (en) * | 2007-09-20 | 2012-06-06 | アルパイン株式会社 | Inter-vehicle distance measuring device |
-
2010
- 2010-03-15 JP JP2010058257A patent/JP5702544B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011192069A (en) | 2011-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5702544B2 (en) | Vehicle traffic monitoring device and program | |
| US10878584B2 (en) | System for tracking object, and camera assembly therefor | |
| EP2919197B1 (en) | Object detection device and object detection method | |
| US9154741B2 (en) | Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects | |
| US20110063445A1 (en) | Runway surveillance system and method | |
| JP4858761B2 (en) | Collision risk determination system and warning system | |
| JP5902049B2 (en) | Lens cloudiness diagnostic device | |
| KR101149916B1 (en) | Warning system of landslide | |
| JP2007026300A (en) | Traffic flow abnormality detector and traffic flow abnormality detection method | |
| JP2014106704A (en) | In-vehicle image processing device | |
| WO2014054328A1 (en) | Vehicle detection apparatus | |
| JP2013186663A (en) | Crosswalk recognition device and crosswalk recognition method | |
| JP2013186664A (en) | Crosswalk recognition device and crosswalk recognition method | |
| KR100690279B1 (en) | Multipurpose video image detection system | |
| JP5697587B2 (en) | Vehicle fire detection device | |
| JP5175765B2 (en) | Image processing apparatus and traffic monitoring apparatus | |
| KR101911239B1 (en) | The channel extension operation system for detecting illegally parked vehicles | |
| KR101073053B1 (en) | Auto Transportation Information Extraction System and Thereby Method | |
| JP2005338941A (en) | Method and device for detecting visibility | |
| JP2004005726A (en) | Traffic flow monitoring system for moving-body | |
| KR102484691B1 (en) | Vehicle detection system and vehicle detection method using stereo camera and radar | |
| JP5315104B2 (en) | Traffic flow measuring device | |
| JP4697761B2 (en) | Queue detection method and queue detection apparatus | |
| KR101327256B1 (en) | System and method of detecting vehicle using detecting shadow region of the vehicle by ptz camera | |
| JP4987819B2 (en) | Traffic monitoring device and traffic monitoring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5702544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |