JP2012073677A

JP2012073677A - On-vehicle imaging apparatus and traffic system

Info

Publication number: JP2012073677A
Application number: JP2010216095A
Authority: JP
Inventors: Keishiyun Nakada; 圭俊中田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2010-09-27
Filing date: 2010-09-27
Publication date: 2012-04-12

Abstract

PROBLEM TO BE SOLVED: To provide an on-vehicle imaging apparatus that can accurately and quickly detect the presence of a dangerous object outside the imaging range and inside the range of a blind area of an on-vehicle camera.SOLUTION: An on-vehicle imaging apparatus (10) is mounted on a vehicle (1) traveling in an intersection (40) in which multiple lighting devices (41) sequentially blinking at a predetermined blinking cycle are installed, and detects the presence of a dangerous object (50) from photographed images of an on-vehicle camera (11). Specifically, the on-vehicle imaging apparatus (10) includes blinking cycle detection means (13) for detecting a blinking cycle of the lighting devices, synchronization control means (14) for synchronizing an image acquisition timing of the on-vehicle camera with the blinking cycle, and determining means for determining the presence or absence of the dangerous object based on whether or not the shadows (51) of the dangerous object are included in the multiple photographed images.

Description

本発明は、車両に搭載された撮像系の撮像画像に基づいて、車両の走行路及びその周辺領域における危険物の存在を検知可能な車載撮像装置及び該車載撮像装置を備えた交通システムの技術分野に関する。 The present invention relates to an in-vehicle imaging device capable of detecting the presence of a dangerous substance in a traveling path of the vehicle and its surrounding area based on a captured image of an imaging system mounted on the vehicle, and a technology of a traffic system including the in-vehicle imaging device. Related to the field.

車両の走行時に、走行路及びその周辺領域にある危険物を的確に検知し、その存在をドライバーに認識させることは安全上重要である。近年、このような走行路上における危険物の存在を車載カメラの撮像画像に基づいて検知する技術について、研究開発が進められている。ここで、車載カメラの撮像範囲外及び死角範囲にある危険物は撮像画像中に写らず、ドライバーが認識することが困難であるという問題がある。 When the vehicle is traveling, it is important for safety to accurately detect dangerous objects on the road and the surrounding area and to make the driver recognize the presence. In recent years, research and development has been progressing on a technique for detecting the presence of such a dangerous substance on a traveling road based on a captured image of an in-vehicle camera. Here, there is a problem that dangerous objects outside the imaging range and the blind spot range of the in-vehicle camera are not captured in the captured image and are difficult for the driver to recognize.

このような問題に対し、例えば特許文献１には、他車の撮影画像を無線受信により取り込むことによって自車の撮像範囲外及び死角範囲に存在する危険物を検知する技術が開示されている。また、特許文献２には、交差点にインフラとして設置されたカメラから撮像画像を無線受信することにより、撮像範囲外及び死角範囲に存在する危険物を検知可能な技術が開示されている。 To deal with such a problem, for example, Patent Document 1 discloses a technique for detecting a dangerous object existing outside the imaging range and in the blind spot range by capturing a captured image of another vehicle by wireless reception. Patent Document 2 discloses a technology that can detect dangerous objects that exist outside the imaging range and within the blind spot range by wirelessly receiving a captured image from a camera installed as an infrastructure at an intersection.

特開２００３−６７９７号公報JP 2003-6797 A 特開２００７−１４９０７７号公報JP 2007-149077 A

しかしながら、上述の特許文献１及び特許文献２では共に、車外から容量の大きい画像データを無線受信する必要があるため、その通信及び処理速度が低下してしまうという技術的問題点がある。尚、送受信される画像データを間引いてサイズの小さい画像データにする等によって、その容量を小さくして高速化を図ることも考えられるが、この場合、画像の解像度が低くなってしまい、ドライバーに必要な情報が失われてしまうおそれがある。 However, both Patent Document 1 and Patent Document 2 described above have a technical problem that communication and processing speed are reduced because it is necessary to wirelessly receive a large amount of image data from outside the vehicle. Note that it is possible to reduce the capacity and speed up by thinning the image data to be transmitted and received to make the image data smaller in size. However, in this case, the resolution of the image is lowered, which causes the driver to Necessary information may be lost.

本発明は、上述した問題点に鑑みなされたものであり、撮像系の撮像範囲外及び死角範囲にある危険物の存在を的確且つ迅速に検知可能な車載撮像装置及び該車載撮像装置を含む交通システムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an in-vehicle imaging device capable of accurately and quickly detecting the presence of a dangerous substance outside the imaging range and in the blind spot range of the imaging system, and traffic including the in-vehicle imaging device. The purpose is to provide a system.

本発明の車載撮像装置は上記課題を解決するために、所定の点滅サイクルで順次点滅する複数の照明が設置された道路を走行する車両に搭載され、撮像系により撮像された画像に基づいて、前記道路及びその周辺領域における危険物の存在を検知可能な車載撮像装置であって、前記複数の照明の点滅サイクルを検出する点滅サイクル検出手段と、前記撮像系の画像取得タイミングを前記検出手段によって検出された点滅サイクルに同期させる同期制御手段と、前記同期制御手段によって同期された画像取得タイミングで時系列的に取得された複数の画像を比較し、該複数の画像中に前記危険物の影が含まれているか否かにより、前記撮像系の撮像範囲外及び死角範囲における前記危険物の有無を判定する判定手段とを備えたことを特徴とする。 In order to solve the above-described problem, the in-vehicle imaging device of the present invention is mounted on a vehicle traveling on a road where a plurality of lights sequentially flashing in a predetermined flashing cycle is installed, and based on an image captured by an imaging system. A vehicle-mounted imaging device capable of detecting the presence of a dangerous substance in the road and its surrounding area, the blinking cycle detection means for detecting the blinking cycle of the plurality of lights, and the image acquisition timing of the imaging system by the detection means A synchronization control unit that synchronizes with the detected blinking cycle and a plurality of images acquired in time series at the image acquisition timing synchronized by the synchronization control unit are compared, and the shadow of the dangerous object is included in the plurality of images. Determining means for determining the presence / absence of the dangerous substance outside the imaging range of the imaging system and in the blind spot range depending on whether or not the image is included.

本発明によれば、撮像系の撮像範囲外及び死角範囲にあるためにそれ自身を撮像することが困難な危険物であっても、当該危険物を影として検知することができるので、撮像範囲外及び死角範囲にある危険物の存在をドライバーに認識させることができる。特に本発明では、複数の照明の点滅サイクルに撮像系の撮像タイミングを同期させることにより、危険物に対して異なる方向から光を照射して影を形成することで、危険物の影が撮像系の撮像範囲内に収められ易く構成されている。これにより、撮像系の撮像範囲外及び死角範囲にある危険物の存在を、ドライバーにより的確に認識させることができる。 According to the present invention, even if the dangerous object is difficult to image itself because it is outside the imaging range and the blind spot range of the imaging system, the dangerous object can be detected as a shadow. The driver can be made aware of the presence of dangerous goods in the outside and blind spot range. In particular, in the present invention, by synchronizing the imaging timing of the imaging system with a plurality of lighting blinking cycles, the shadow of the dangerous object is formed by irradiating the dangerous object with light from different directions to form a shadow. It is easy to fit in the imaging range. As a result, the presence of a dangerous substance outside the imaging range and in the blind spot range of the imaging system can be accurately recognized by the driver.

好ましくは、前記危険物の影が含まれた画像における影の形状及び位置に基づいて、前記危険物の位置を特定する位置特定手段を備えるとよい。 Preferably, a position specifying unit that specifies the position of the dangerous object based on the shape and position of the shadow in the image including the shadow of the dangerous object may be provided.

この場合、危険物の影の形状や位置から、撮像範囲外にある危険物が道路及びその周辺領域のどの位置にあるかを特定することができる。このように特定された危険物の位置は、適宜画像や音声によってドライバーに認識させるとよい。これにより、ドライバーは撮像範囲外及び死角範囲にある危険物の位置を認識することができる。 In this case, it is possible to specify the position of the dangerous object outside the imaging range on the road and its surrounding area from the shape and position of the shadow of the dangerous object. The position of the dangerous substance identified in this way may be appropriately recognized by the driver by an image or sound. Accordingly, the driver can recognize the position of the dangerous object outside the imaging range and in the blind spot range.

好ましくは、前記判定手段は、前記特定された危険物の位置が時間的に変化している場合、前記当該危険物を要注意物体として、前記特定された危険物の位置が時系列的に変化しない危険物と区別して判定するとよい。 Preferably, when the position of the identified dangerous article has changed in time, the determination unit may change the position of the identified dangerous article in time series with the dangerous article as a target object. It is better to distinguish it from dangerous goods that do not.

この場合、特定された危険物の位置が時間的に変化している場合、当該危険物は走行路上に置かれた単なる障害物ではなく、歩行者や他車である可能性が高く、ドライバーに対してより注意を喚起する必要がある。そこで、位置が時間的に変化するか否かによって危険物を区別して認識することで、ドライバーに対し、その危険度に応じた適切な喚起を行うことができる。 In this case, if the location of the identified dangerous goods changes over time, the dangerous goods are not simply obstacles placed on the road, but are likely to be pedestrians or other vehicles. It is necessary to call attention to it. Accordingly, by distinguishing and recognizing dangerous objects depending on whether the position changes with time, it is possible to appropriately alert the driver according to the degree of danger.

好ましくは、前記所定の点滅サイクルは所定の点滅周波数を有しており、前記点滅サイクル検出手段は、前記所定の点滅周波数より大きいフレーム周波数で時系列的に撮像された複数の画像における輝度の時系列変化に基づいて、前記所定の点滅周波数を検出するとよい。 Preferably, the predetermined flashing cycle has a predetermined flashing frequency, and the flashing cycle detecting means has a brightness in a plurality of images captured in time series at a frame frequency higher than the predetermined flashing frequency. The predetermined blinking frequency may be detected based on the series change.

この場合、複数の照明の点滅サイクルに対し、十分大きいフレーム周波数でサンプリングすることにより、照明の点滅サイクルに応じた撮像画像の輝度変化から、点滅サイクルを精度よく検出することができる。 In this case, by sampling at a sufficiently large frame frequency for a plurality of lighting blinking cycles, the blinking cycle can be accurately detected from a change in luminance of the captured image corresponding to the lighting blinking cycle.

本発明の交通システムは上記課題を解決するために、車両の走行路に設置され、所定の点滅サイクルで順次点滅する複数の照明と、上述の車載撮像装置（各種態様を含む）とを備えたことを特徴とする。 In order to solve the above-described problems, a traffic system according to the present invention includes a plurality of lights that are installed on a traveling road of a vehicle and sequentially blink in a predetermined blinking cycle, and the above-described on-vehicle imaging device (including various aspects). It is characterized by that.

本発明の車載撮像装置が搭載された車両及びその周辺環境を示す模式図である。It is a schematic diagram which shows the vehicle by which the vehicle-mounted imaging device of this invention is mounted, and its surrounding environment. 本発明に係る車載撮像装置の全体構成を示すブロック図である。1 is a block diagram illustrating an overall configuration of an in-vehicle imaging device according to the present invention. 車載撮像装置の処理内容を示すフローチャート図である。It is a flowchart figure which shows the processing content of a vehicle-mounted imaging device. 位相解析ＩＣによる街灯の点滅サイクルの検出メカニズムを示すグラフ図である。It is a graph which shows the detection mechanism of the blinking cycle of a streetlight by phase analysis IC. 位相解析による街灯の点滅サイクルの検出が行われる前後におけるフレーム周波数の設定内容を時系列的に示す模式図である。It is a schematic diagram which shows the setting content of the frame frequency before and after the detection of the blinking cycle of a streetlight by a phase analysis in time series. フレーム周波数を点滅周波数に同期した車載カメラの撮像タイミングと各街灯の点滅タイミングを示すタイミングチャートである。It is a timing chart which shows the imaging timing of the vehicle-mounted camera which synchronized the frame frequency with the blink frequency, and the blink timing of each street light. 図６に示す各期間に対応する交差点の様子を示す模式図であるIt is a schematic diagram which shows the mode of the intersection corresponding to each period shown in FIG. 変形例に係る車載撮像装置の処理内容を示すフローチャート図である。It is a flowchart figure which shows the processing content of the vehicle-mounted imaging device which concerns on a modification.

図１は本発明の車載撮像装置が搭載された車両及びその周辺環境を示す模式図である。車両１には本発明の車載撮像装置１０が搭載されており、該車載撮像装置には車両１の前方を撮像可能なフロントカメラである車載カメラが組み込まれている。本実施例では、車両１が交差点４０に向かって進行する際に、車載カメラの撮像範囲外及び死角範囲となる位置に危険物５０が存在する場合を例に説明する。 FIG. 1 is a schematic diagram showing a vehicle on which an in-vehicle imaging device of the present invention is mounted and its surrounding environment. The vehicle 1 is equipped with the in-vehicle imaging device 10 of the present invention, and the in-vehicle imaging device incorporates an in-vehicle camera that is a front camera capable of imaging the front of the vehicle 1. In the present embodiment, an example will be described in which when the vehicle 1 travels toward the intersection 40, there is a dangerous object 50 at a position outside the imaging range of the in-vehicle camera and in the blind spot range.

本実施例において車両１が侵入しようとする交差点４０は、互いに交差する２本の道路４０ａ及び４０ｂからなり、その四隅には街灯４１Ａ乃至４１Ｄが設置されている。車両１は道路４０ａに沿って交差点に向かって進行しており、他方の道路４０ｂ上に危険物５０（歩行者）が存在している。尚、街灯４１Ａ乃至４１ＤはＬＥＤ電球からなり、後述する所定の点滅サイクルで順次点滅するように制御されている。尚、このような街灯４１Ａ乃至４１Ｄは常にこのような点滅サイクルになるように、交通システムの一環として各々の点滅タイミングが制御されていてもよいし、通常時は他の点滅パターンで制御されており、当該車両１が交差点４０に接近したことを検知して上述の点滅サイクルで動作するように構成してもよい。 In this embodiment, the intersection 40 into which the vehicle 1 is to enter is composed of two roads 40a and 40b intersecting each other, and street lamps 41A to 41D are installed at the four corners. The vehicle 1 travels toward the intersection along the road 40a, and a dangerous object 50 (pedestrian) exists on the other road 40b. The street lamps 41A to 41D are LED bulbs, and are controlled so as to blink sequentially in a predetermined blinking cycle to be described later. It should be noted that each of the street lights 41A to 41D may be controlled with each flashing timing as a part of the traffic system so that it always has such a flashing cycle, and is normally controlled with another flashing pattern. The vehicle 1 may be configured to operate in the above-described blinking cycle upon detecting that the vehicle 1 has approached the intersection 40.

図２は、本発明に係る車載撮像装置１０の全体構成を示すブロック図である。車載撮像装置１０は、撮像レンズ１１ａと該撮像レンズ１１ａの透過光を受光して画像信号を出力する撮像素子１１ｂとを含んでなる車載カメラ１１と、所定の周波数を有する電気信号を出力可能な発信器１２と、前記車載カメラ１１から取得した画像信号に基づいて街灯４１Ａ乃至４１Ｄの点滅サイクルを解析可能な位相解析ＩＣ１３と、前記発信器１２の周波数を街灯４１Ａ乃至４１Ｄの点滅サイクルに同期させる周波数同期回路（ＰＬＬ）１４と、前記撮像素子１１ｂから出力された画像信号に対して各種処理を行う処理部１５と、該処理部１５によって処理された画像信号に基づいて画像表示を行うディスプレイ１６とからなる。 FIG. 2 is a block diagram showing the overall configuration of the in-vehicle imaging device 10 according to the present invention. The in-vehicle imaging device 10 can output an in-vehicle camera 11 including an imaging lens 11a and an imaging element 11b that receives the light transmitted through the imaging lens 11a and outputs an image signal, and an electrical signal having a predetermined frequency. The transmitter 12, the phase analysis IC 13 capable of analyzing the blinking cycle of the street lamps 41A to 41D based on the image signal acquired from the in-vehicle camera 11, and the frequency of the transmitter 12 are synchronized with the blinking cycle of the street lamps 41A to 41D. A frequency synchronization circuit (PLL) 14, a processing unit 15 that performs various processes on the image signal output from the image sensor 11 b, and a display 16 that displays an image based on the image signal processed by the processing unit 15. It consists of.

車載カメラ１１は車両１の前方に取り付けられており、図１において点線で示した撮像範囲を画像として取り込むことできる。尚、図１では当該車載カメラ１１の撮像範囲を２本の点線１１Ａ間の領域として表示している（以下、当該領域を適宜「撮像範囲１１Ａ」と称する）。車載カメラ１１の撮像タイミングは、撮像素子１１ｂのフレーム周波数によって規定されており、当該フレーム周波数は発信器１２からの出力周波数に基づいて制御可能に構成されている。尚、本願明細書では、撮像レンズ１１ａの焦点距離や画角などの光学的要素によって規定される撮像可能な範囲を「撮像範囲」、死角を生み出す遮蔽物によって遮蔽されることにより撮像不能な範囲（例えば、交差点の手前側に存在する壁によって車両側から見えない範囲）を「死角範囲」と称することとする。 The in-vehicle camera 11 is attached in front of the vehicle 1 and can capture an imaging range indicated by a dotted line in FIG. 1 as an image. In FIG. 1, the imaging range of the in-vehicle camera 11 is displayed as an area between two dotted lines 11A (hereinafter, the area is appropriately referred to as “imaging area 11A”). The imaging timing of the in-vehicle camera 11 is defined by the frame frequency of the image sensor 11 b, and the frame frequency is configured to be controllable based on the output frequency from the transmitter 12. In the specification of the present application, an imageable range defined by optical elements such as a focal length and an angle of view of the imaging lens 11a is referred to as an “imaging range”, and a range incapable of being imaged by being shielded by a shielding object that generates a blind spot. (For example, a range that cannot be seen from the vehicle side by a wall existing on the near side of the intersection) will be referred to as a “dead zone”.

処理部１５は撮像素子１１ｂから出力された画像信号に対して各種処理を行うことによって、車載カメラ１１の撮像画像に、危険物５０の位置をマーカで重畳表示するように画像信号を処理する。処理部１５によって処理された画像信号は、例えば車両１に搭載されたナビゲーションの画面等であるディスプレイ１６において画像化される。これにより、車両１のドライバーは、交差点４０の死角に存在する危険物５０の存在を、ディスプレイ上１６に表示された画像として認識することができる。 The processing unit 15 performs various processes on the image signal output from the image sensor 11b, thereby processing the image signal so that the position of the dangerous object 50 is superimposed on the captured image of the in-vehicle camera 11 with a marker. The image signal processed by the processing unit 15 is imaged on a display 16 which is a navigation screen mounted on the vehicle 1, for example. Thereby, the driver of the vehicle 1 can recognize the presence of the dangerous object 50 present in the blind spot of the intersection 40 as an image displayed on the display 16.

図３は、車載撮像装置１０の処理内容を示すフローチャート図である。まず、車載カメラ１１のフレーム周波数を街灯４１Ａ乃至４１Ｄの点滅サイクルに同期させるために、位相解析ＩＣ１３は、基準となる街灯４１Ａ乃至４１Ｄの点滅サイクルを検出する（ステップＳ１０１）。 FIG. 3 is a flowchart showing the processing contents of the in-vehicle imaging device 10. First, in order to synchronize the frame frequency of the in-vehicle camera 11 with the blinking cycle of the street lamps 41A to 41D, the phase analysis IC 13 detects the blinking cycle of the reference street lamps 41A to 41D (step S101).

ここで、図４は位相解析ＩＣ１３による街灯４１Ａ乃至４１Ｄの点滅サイクルの検出メカニズムを示すグラフ図である。図４の横軸は時間を示しており、縦軸は撮像カメラ１１の撮像画像における輝度を示している。本実施例では特に、街灯４１Ａ乃至４１Ｄの点滅サイクルは所定の点滅周波数（６０Ｈｚ）を有してなり、位相解析ＩＣ１３によって街灯４１Ａ乃至４１Ｄの点滅サイクルを検出する際の撮像素子１１ｂのフレーム周波数は、該点滅周波数（６０Ｈｚ）より十分に大きい４８０Ｈｚに設定されている。 Here, FIG. 4 is a graph showing the detection mechanism of the blinking cycle of the street lamps 41A to 41D by the phase analysis IC13. The horizontal axis in FIG. 4 indicates time, and the vertical axis indicates the luminance in the captured image of the imaging camera 11. Particularly in the present embodiment, the blinking cycle of the street lamps 41A to 41D has a predetermined blinking frequency (60 Hz), and the frame frequency of the image sensor 11b when the phase analysis IC 13 detects the blinking cycle of the street lamps 41A to 41D is 480 Hz which is sufficiently larger than the blinking frequency (60 Hz).

このように撮像素子１１ｂのフレーム周波数が十分大きく設定されているため、車載カメラ１１によって経時的に撮像された複数の画像の輝度から、図４に示すような街灯４１Ａ乃至４１Ｄの点滅周波数に応じた輝度の時間変化を得ることができる。即ち、図４のグラフは、撮像カメラ１１が４８０Ｈｚのフレーム周波数で連続的に撮像された複数の画像における、輝度の時間変化を示している。位相解析ＩＣはこのような輝度の時間変化から、輝度が上下する周期を逆数演算することによって、街灯４１Ａ乃至４１Ｄの点滅周波数を求めることができる。 As described above, since the frame frequency of the image sensor 11b is set to be sufficiently large, the brightness of the plurality of images taken with time by the in-vehicle camera 11 is determined according to the blinking frequency of the street lamps 41A to 41D as shown in FIG. The change in brightness over time can be obtained. That is, the graph of FIG. 4 shows the temporal change in luminance in a plurality of images captured continuously by the imaging camera 11 at a frame frequency of 480 Hz. The phase analysis IC can obtain the blinking frequency of the street lamps 41A to 41D by calculating the reciprocal of the cycle in which the luminance increases and decreases from such a luminance change over time.

撮像素子１１ｂのフレーム周波数は、このように位相解析ＩＣ１３による街灯４１Ａ乃至４１Ｄの点滅サイクルの検出が行われる間には、街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）より十分に大きい４８０Ｈｚに設定されるが、その他の時間（但し、後述するように、撮像素子１１ｂの撮像フレーム周波数が街灯４１Ａ乃至４１Ｄの点滅周波数に同期されている期間を除く）では、任意のフレーム周波数に設定されていてもよい。 The frame frequency of the image sensor 11b is set to 480 Hz which is sufficiently higher than the blinking frequency (60 Hz) of the street lamps 41A to 41D while the blinking cycle of the street lamps 41A to 41D is thus detected by the phase analysis IC 13. However, at other times (however, as will be described later, except for the period in which the imaging frame frequency of the imaging device 11b is synchronized with the blinking frequency of the street lamps 41A to 41D), it may be set to an arbitrary frame frequency. .

図５は位相解析ＩＣ１３による街灯４１Ａ乃至４１Ｄの点滅サイクルの検出が行われる前後におけるフレーム周波数の設定内容を時系列的に示す模式図である。上述のステップＳ１０１が実行される以前では、撮像素子１１ｂのフレーム周波数は、予め規定された所定のフレーム周波数（例えば、３０Ｈｚ又は６０Ｈｚ）に設定され、当該フレーム周波数に従った撮像タイミングで車載カメラ１１が動作している。そして、ステップＳ１０１が実行されると、撮像素子１１ｂのフレーム周波数は、位相解析ＩＣ１３によって街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）を検出すべく、当該点滅周波数より十分に大きい４８０Ｈｚに設定される。尚、ステップＳ１０１の実行後は後述するように、フレーム周波数は街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）に同期される。 FIG. 5 is a schematic diagram showing the setting contents of the frame frequency in chronological order before and after the blinking cycle of the street lamps 41A to 41D is detected by the phase analysis IC13. Before the above-described step S101 is executed, the frame frequency of the image sensor 11b is set to a predetermined frame frequency (for example, 30 Hz or 60 Hz) defined in advance, and the vehicle-mounted camera 11 is captured at an imaging timing according to the frame frequency. Is working. When step S101 is executed, the frame frequency of the image sensor 11b is set to 480 Hz that is sufficiently higher than the blinking frequency so that the phase analysis IC 13 can detect the blinking frequency (60 Hz) of the street lamps 41A to 41D. In addition, after execution of step S101, as will be described later, the frame frequency is synchronized with the blinking frequency (60 Hz) of the street lamps 41A to 41D.

尚、位相解析ＩＣ１３による点滅周波数（６０Ｈｚ）の検出が行われる際のフレーム周波数は、高く設定するほどより精度よく点滅周波数（６０Ｈｚ）を検出することができるが、それに伴いデータ量が増加し、処理負担が増加する。そのため、点滅周波数（６０Ｈｚ）の検出精度と処理負担とのバランスを考慮して適切なフレーム周波数に設定するとよい。 The frame frequency when the blinking frequency (60 Hz) is detected by the phase analysis IC 13 can be detected more accurately as the frame frequency is set higher, but the data amount increases accordingly. The processing burden increases. Therefore, an appropriate frame frequency may be set in consideration of the balance between the detection accuracy of the blinking frequency (60 Hz) and the processing load.

再び図３に戻って、続いて周波数同期回路１４は位相解析ＩＣ１３によって検出された点滅周波数を取得し（ステップＳ１０２）、発信器１２の出力周波数が当該点滅周波数に同期するように発信器１２を制御する（ステップＳ１０３）。これにより、撮像素子１１ｂのフレーム周波数が、街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）に同期する。 Returning to FIG. 3 again, the frequency synchronization circuit 14 subsequently acquires the blinking frequency detected by the phase analysis IC 13 (step S102), and sets the transmitter 12 so that the output frequency of the transmitter 12 is synchronized with the blinking frequency. Control (step S103). Thereby, the frame frequency of the image sensor 11b is synchronized with the blinking frequency (60 Hz) of the street lamps 41A to 41D.

続いて、車載カメラ１１は同期されたフレーム周波数に従って、時系列的に複数の画像を取得する（ステップＳ１０４）。ここでステップＳ１０４における画像の取得枚数は、少なくとも交差点４０に設置された街灯の数（本実施例では街灯４１Ａ乃至４１Ｄ
があるので、４枚）より多く設定される。 Subsequently, the in-vehicle camera 11 acquires a plurality of images in time series according to the synchronized frame frequency (step S104). Here, the number of images acquired in step S104 is at least the number of street lamps installed at the intersection 40 (in this embodiment, street lamps 41A to 41D).
Since there are 4 sheets, more are set.

図６は、フレーム周波数を点滅周波数に同期した車載カメラ１１の撮像タイミングと各街灯４１Ａ乃至４１Ｄの点滅タイミングを示すタイミングチャートであり、図７（ａ）乃至（ｄ）は、それぞれ図６に示す各期間Ｔ１乃至Ｔ４に対応する交差点４０の様子を示す模式図である。 FIG. 6 is a timing chart showing the imaging timing of the in-vehicle camera 11 and the flashing timing of each of the street lamps 41A to 41D in which the frame frequency is synchronized with the flashing frequency. FIGS. 7 (a) to 7 (d) are respectively shown in FIG. It is a schematic diagram which shows the mode of the intersection 40 corresponding to each period T1 thru | or T4.

図６に示すように、街灯４１Ａ乃至４１Ｄは点滅周波数（６０Ｈｚ）に従って、順次点滅する点滅サイクルを有しており、撮像素子１１ｂのフレーム周波数は、街灯４１Ａ乃至４１Ｄの点滅周波数（６０Ｈｚ）に同期されている。図６に示す各期間Ｔ１からＴ４では、街灯４１Ａ乃至４１Ｄのうちいずれか一つが点灯しており、道路上には当該点灯している街灯によって危険物５０が照らされることにより、それぞれ図７（ａ）から（ｄ）に示すように影５１が生じている。 As shown in FIG. 6, the street lamps 41A to 41D have a blinking cycle that sequentially blinks according to the blinking frequency (60 Hz), and the frame frequency of the image sensor 11b is synchronized with the blinking frequency (60 Hz) of the street lamps 41A to 41D. Has been. In each period T1 to T4 shown in FIG. 6, any one of the street lamps 41A to 41D is lit, and the dangerous article 50 is illuminated on the road by the lit street lamp. A shadow 51 is generated as shown from a) to (d).

ここで、期間Ｔ１及びＴ３では、それぞれ図７（ａ）及び（ｃ）に示すように、危険物５０の影５１は交差点４０から外側に向かって延びるように生じており、車載カメラ１１の撮像範囲１１Ａ外に位置している。一方、期間Ｔ２及びＴ４では、それぞれ図７（ｂ）及び（ｄ）に示すように、危険物５０の影５１は交差点４０の内側に向かって延びるように生じており、車載カメラ１１の撮像範囲１１Ａ内に位置している。 Here, in the periods T1 and T3, as shown in FIGS. 7A and 7C, the shadow 51 of the dangerous object 50 is generated so as to extend outward from the intersection 40. It is located outside the range 11A. On the other hand, in periods T2 and T4, as shown in FIGS. 7B and 7D, the shadow 51 of the dangerous object 50 is generated so as to extend toward the inside of the intersection 40, and the imaging range of the in-vehicle camera 11 is increased. 11A.

このようにステップＳ１０４において取得された４枚の画像は差分解析され（ステップＳ１０５）、４枚の画像の各々に危険物５０の影５１が含まれているか否かが判定される（ステップＳ１０６）。本実施例では、期間Ｔ１及びＴ３における車載カメラ１１の撮像画像には危険物５０の影５１が含まれないが（図７（ａ）及び（ｃ）を参照）、期間Ｔ２及びＴ４における車載カメラ１１の撮像画像には危険物５０の影５１が含まれる（図７（ｂ）及び（ｄ）を参照）。従って、これら４枚の画像を比較し、それらの差を算出することによって、図７（ｂ）及び（ｄ）において撮像範囲に含まれた危険物５０の影５１を抽出することができる。 The four images acquired in step S104 are differentially analyzed (step S105), and it is determined whether or not each of the four images includes the shadow 51 of the dangerous object 50 (step S106). . In the present embodiment, the captured image of the in-vehicle camera 11 in the periods T1 and T3 does not include the shadow 51 of the dangerous object 50 (see FIGS. 7A and 7C), but the in-vehicle camera in the periods T2 and T4. 11 includes a shadow 51 of the dangerous object 50 (see FIGS. 7B and 7D). Therefore, the shadow 51 of the dangerous object 50 included in the imaging range in FIGS. 7B and 7D can be extracted by comparing these four images and calculating the difference between them.

４枚の画像中に危険物の影が含まれている場合（ステップＳ１０６：ＹＥＳ）、当該抽出された危険物５０の影５１に基づいて、危険物５０の存在位置が特定される（ステップＳ１０７）。つまり、抽出された危険物５０の影５１の形状や位置に基づいて、危険物５０が交差点４０のどの位置に存在するのかが特定される。尚、４枚の画像に危険物５０の影５１が無い場合（ステップＳ１０５：ＮＯ）は、処理は終了する（ＥＮＤ）。 When the shadow of the dangerous substance is included in the four images (step S106: YES), the presence position of the dangerous substance 50 is specified based on the extracted shadow 51 of the dangerous substance 50 (step S107). ). That is, based on the shape and position of the shadow 51 of the extracted dangerous object 50, the position at which the dangerous object 50 exists at the intersection 40 is specified. If there is no shadow 51 of the dangerous object 50 in the four images (step S105: NO), the process ends (END).

処理部１５は、このように位置が特定された危険物５０の存在をドライバーに認識させるべく、車載カメラ１１の撮像画像に危険物５０の存在位置をマーカで重畳表示するために、車載カメラ１１から取得した画像信号を処理する（ステップＳ１０８）。このように処理された画像信号は、ディスプレイ１６に送信され、ディスプレイ１６上に車載カメラ１１による撮像画像と共に、危険物５０の位置を示すマーカが重畳表示される（ステップＳ１０９）。 In order to cause the driver to recognize the presence of the dangerous object 50 whose position has been specified in this way, the processing unit 15 superimposes and displays the position of the dangerous object 50 on the captured image of the in-vehicle camera 11 with a marker. The image signal acquired from the above is processed (step S108). The image signal processed in this way is transmitted to the display 16, and a marker indicating the position of the dangerous object 50 is superimposed on the display 16 together with the image captured by the in-vehicle camera 11 (step S109).

尚、車載カメラ１１の撮像範囲外及び死角範囲にある危険物５０の表示マーカは、本来の撮像画像の表示を妨げないように、透過的に表示したり、点滅表示したりしてもよい。また、本実施例では車両１のドライバーに危険物５０の存在を認識させるための手段として、車載カメラ１１の撮像画像に重畳表示されるマーカを用いたが、これに代えて又はこれに加えて、ドライバーの五感に働きかける他の手段、例えば音声を介した報知手段などを用いてもよい。 Note that the display marker of the dangerous object 50 outside the imaging range and the blind spot range of the in-vehicle camera 11 may be displayed transparently or blinking so as not to disturb the display of the original captured image. In the present embodiment, as a means for causing the driver of the vehicle 1 to recognize the presence of the dangerous object 50, a marker superimposed on the captured image of the in-vehicle camera 11 is used. However, instead of or in addition to this, Other means for working on the five senses of the driver, for example, a notification means via voice may be used.

次に本発明の車載撮像装置１０の変形例について説明する。図８は変形例に係る車載撮像装置１０の処理内容を示すフローチャート図である。尚、変形例に係る車載撮像装置１０は、基本的に上述の実施例と構成及び動作が共通しており、当該共通している点に関しては説明を適宜省略し、相違点について重点的に説明することとする。 Next, a modification of the in-vehicle imaging device 10 of the present invention will be described. FIG. 8 is a flowchart showing the processing contents of the in-vehicle imaging device 10 according to the modification. Note that the in-vehicle imaging device 10 according to the modification basically has the same configuration and operation as those of the above-described embodiments, and description of the common points will be omitted as appropriate, and differences will be mainly described. I decided to.

変形例に係る車載撮像装置１０は、まず、図３に示す動作制御を繰り返すことにより、危険物５０の位置を時系列的に特定し（ステップＳ２０１）、該特定された危険物５０の位置が時系列的に変化するか否かを判定する（ステップＳ２０２）。危険物５０の位置が時系列的に変化する場合（ステップＳ２０２：ＹＥＳ）、当該危険物５０は歩行者、自転車又は他の車両などである可能性が高いとして、危険度を「高」に設定する（ステップＳ２０３）。一方、危険物５０の存在位置が時系列的に変化しない場合（ステップＳ２０２：ＮＯ）、当該危険物５０は単なる障害物であるとして、危険度を「低」に設定する（ステップＳ２０４）。そして、処理部１５は、設定された危険度に応じて、危険物５０の位置を異なる色のマーカや点滅表示周期を変えることで区別して撮像画像に重畳表示するように、車載カメラ１１から取得した画像信号を処理する（ステップＳ２０５）。これにより、ディスプレイ１６上には危険物５０の位置が危険度に応じて、異なる色のマーカで撮像画像上に重畳的に表示される（ステップＳ２０６）。 First, the in-vehicle imaging device 10 according to the modification identifies the position of the dangerous object 50 in time series by repeating the operation control shown in FIG. 3 (step S201), and the position of the identified dangerous object 50 is determined. It is determined whether or not it changes in time series (step S202). When the position of the dangerous article 50 changes in time series (step S202: YES), the danger level is set to “high” because it is highly likely that the dangerous article 50 is a pedestrian, bicycle, or other vehicle. (Step S203). On the other hand, when the presence position of the dangerous object 50 does not change in time series (step S202: NO), the danger level is set to “low” on the assumption that the dangerous object 50 is a simple obstacle (step S204). And the process part 15 is acquired from the vehicle-mounted camera 11 so that the position of the dangerous goods 50 may be distinguished and displayed on a captured image by changing the marker and blinking display period of a different color according to the set risk level. The processed image signal is processed (step S205). As a result, the position of the dangerous object 50 is displayed on the display 16 in a superimposed manner with a marker of a different color according to the degree of danger (step S206).

尚、本変形例では危険度の違いをマーカの色を異ならしめることで表示するとしたが、危険度の高い危険物５０が存在する場合に限り、特別な報知手段によってドライバーに報知するようにしてもよい。例えば、危険度の低い危険物５０のみが存在している場合では上述のようにディスプレイ１６の画面上にマーカでその存在位置を表示するのみである一方で、危険度の高い危険物５０が存在する場合には、このような画面上での表示に加え、音声によってドライバーに報知するようにするとよい。また、危険度の高い危険物５０がある場合には、車両１のブレーキ等を自動的に制御することによって、車両１の挙動に反映させてもよい。 In this modification, the difference in risk is displayed by making the color of the marker different. However, only when there is a dangerous object 50 with a high risk, a special notification means is used to notify the driver. Also good. For example, in the case where only a dangerous substance 50 having a low risk level exists, the presence position is only displayed on the screen of the display 16 with a marker as described above, while the dangerous substance 50 having a high risk level exists. When doing so, in addition to the display on the screen, it is preferable to notify the driver by voice. Further, when there is a dangerous material 50 with a high degree of danger, it may be reflected in the behavior of the vehicle 1 by automatically controlling the brake or the like of the vehicle 1.

以上説明したように、本発明によれば、車載カメラ１１の撮像範囲外及び死角範囲にあるために危険物５０自体を撮像不能な場合（即ち危険物５０が死角にある場合）であっても、当該危険物５０の影５１を検知することによって、危険物５０の存在を認識することができる。 As described above, according to the present invention, even when the dangerous object 50 itself cannot be imaged because it is outside the imaging range and the blind spot range of the in-vehicle camera 11 (that is, when the dangerous article 50 is in the blind spot). By detecting the shadow 51 of the dangerous object 50, the presence of the dangerous object 50 can be recognized.

本発明は、所定の点滅サイクルで順次点滅する複数の照明が設置された道路を走行する車両に搭載され、撮像系により撮像された画像に基づいて、道路及びその周辺領域における危険物の存在を検知可能な車載撮像装置に利用可能である。 The present invention is mounted on a vehicle traveling on a road on which a plurality of lights that sequentially flash in a predetermined flashing cycle is installed, and based on the images captured by the imaging system, the presence of dangerous materials on the road and its surrounding area is detected. It can be used for a vehicle-mounted imaging device capable of detection.

１車両
１０車載撮像装置
１１車載カメラ
１１a 撮像レンズ
１１ｂ撮像素子
１２発信器
１３位相解析ＩＣ
１４周波数同期回路
１５処理部
１６ディスプレイ
４０交差点
４１街灯
５０危険物
５１影 DESCRIPTION OF SYMBOLS 1 Vehicle 10 In-vehicle imaging device 11 In-vehicle camera 11a Imaging lens 11b Imaging element 12 Transmitter 13 Phase analysis IC
14 Frequency synchronization circuit 15 Processing unit 16 Display 40 Intersection 41 Streetlight 50 Dangerous goods 51 Shadow

Claims

所定の点滅サイクルで順次点滅する複数の照明が設置された道路を走行する車両に搭載され、撮像系により撮像された画像に基づいて、前記道路及びその周辺領域における危険物の存在を検知可能な車載撮像装置であって、
前記複数の照明の点滅サイクルを検出する点滅サイクル検出手段と、
前記撮像系の画像取得タイミングを前記検出手段によって検出された点滅サイクルに同期させる同期制御手段と、
前記同期制御手段によって同期された画像取得タイミングで時系列的に取得された複数の画像を比較し、該複数の画像中に前記危険物の影が含まれているか否かにより、前記撮像系の撮像範囲外及び死角範囲における前記危険物の有無を判定する判定手段と
を備えたことを特徴とする車載撮像装置。 Mounted on a vehicle traveling on a road where a plurality of lights flashing sequentially in a predetermined flashing cycle are installed, and based on images captured by an imaging system, it is possible to detect the presence of dangerous materials on the road and its surrounding area An in-vehicle imaging device,
Blinking cycle detecting means for detecting blinking cycles of the plurality of lights;
Synchronization control means for synchronizing the image acquisition timing of the imaging system with the blinking cycle detected by the detection means;
A plurality of images acquired in time series at the image acquisition timing synchronized by the synchronization control means are compared, and depending on whether or not the shadow of the dangerous material is included in the plurality of images, the imaging system A vehicle-mounted imaging device comprising: a determination unit that determines the presence or absence of the dangerous substance outside the imaging range and in the blind spot range.

前記危険物の影が含まれた画像における影の形状及び位置に基づいて、前記危険物の位置を特定する位置特定手段を備えることを特徴とする請求項１に記載の車載撮像装置。 The in-vehicle imaging device according to claim 1, further comprising position specifying means for specifying a position of the dangerous object based on a shape and position of a shadow in an image including the shadow of the dangerous object.

前記判定手段は、前記特定された危険物の位置が時間的に変化している場合、前記当該危険物を要注意物体として、前記特定された危険物の位置が時系列的に変化しない危険物と区別して判定することを特徴とする請求項２に記載の車載撮像装置。 When the position of the specified dangerous goods is changing with time, the determination means uses the dangerous goods as an object requiring attention, and the dangerous goods whose position of the specified dangerous goods does not change in time series The vehicle-mounted imaging device according to claim 2, wherein the determination is made in distinction with the on-vehicle imaging device.

前記所定の点滅サイクルは所定の点滅周波数を有しており、
前記点滅サイクル検出手段は、前記所定の点滅周波数より大きいフレーム周波数で時系列的に撮像された複数の画像における輝度の時系列変化に基づいて、前記所定の点滅周波数を検出することを特徴とする請求項１に記載の車載撮像装置。 The predetermined flashing cycle has a predetermined flashing frequency;
The blinking cycle detecting means detects the predetermined blinking frequency based on a time series change in luminance in a plurality of images captured in time series at a frame frequency higher than the predetermined blinking frequency. The in-vehicle imaging device according to claim 1.

車両の走行路に設置され、所定の点滅サイクルで順次点滅する複数の照明と、
請求項１から４のいずれか一項に記載の車載撮像装置と
を備えたことを特徴とする交通システム。 A plurality of lights that are installed on the vehicle's driving path and sequentially flash in a predetermined flashing cycle;
A traffic system comprising: the vehicle-mounted imaging device according to claim 1.