JP2007172462A - Vehicular periphery monitor - Google Patents
Vehicular periphery monitor Download PDFInfo
- Publication number
- JP2007172462A JP2007172462A JP2005371819A JP2005371819A JP2007172462A JP 2007172462 A JP2007172462 A JP 2007172462A JP 2005371819 A JP2005371819 A JP 2005371819A JP 2005371819 A JP2005371819 A JP 2005371819A JP 2007172462 A JP2007172462 A JP 2007172462A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- intersection
- speed
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両前部の左右方向のように運転席の死角となる方向をカメラ（ブラインドコーナーカメラ）で撮像して表示する車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring apparatus that captures and displays a direction that becomes a blind spot of a driver's seat such as a left-right direction of a front portion of a vehicle with a camera (blind corner camera).
特開２００５−０３９５４７号公報には、右折時に於いて、対向車線方向を右カメラで撮影するとともに右折方向横断歩道を左カメラで撮影し、車両の右折転回角が増大するに従って右カメラ（対向車線方向）の撮影画像による表示比率が大きくなるように二つの画像を合成して表示する装置が記載されている。また、同公報の装置では、左カメラ（右折方向横断歩道）の撮影画像内に歩行者が検出された場合には、車両の右折転回角にかかわりなく二つの画像を一定の比率で表示している（特許文献１，参照）。 In Japanese Patent Laid-Open No. 2005-039547, when turning right, the opposite camera direction is photographed with the right camera and the right turn direction pedestrian crossing is photographed with the left camera. An apparatus is described in which two images are combined and displayed so that the display ratio of the captured image of (direction) is increased. Further, in the apparatus of the same publication, when a pedestrian is detected in a photographed image of the left camera (right turn direction pedestrian crossing), the two images are displayed at a constant ratio regardless of the turning right angle of the vehicle. (See Patent Document 1).
ブラインドコーナーカメラの撮像画像は、一般に、車速が所定の切換速度以下の場合に表示され、車速が所定の切換速度を越えると表示されなくなる。その理由は、ブラインドコーナーカメラによる周辺監視が低速時もしくは停止時を前提としており、高速時には肉眼で確認することが前提とされているためである。
特許文献１の装置では交差点では車速にかかわりなく画像が表示されるため、肉眼で監視することが前提となる高速通過時にも画像が表示される。しかし、この画像は、周辺監視に利用することができず、無駄である。
一方、車速に応じて表示／非表示を切換制御する従来の装置では、交差点通過中に速度が増加して所定の切換速度を少しでも越えると画像が表示されなくなるため、周辺監視に支障をきたす恐れがある。例えば、物陰から飛び出して来る動体物（歩行者，自転車，二輪車）や、遠方から急接近して来る車両等を監視できなくなる恐れがある。
The captured image of the blind corner camera is generally displayed when the vehicle speed is equal to or lower than a predetermined switching speed, and is not displayed when the vehicle speed exceeds the predetermined switching speed. The reason is that the peripheral monitoring by the blind corner camera is premised on a low speed or when stopped, and it is presumed to be confirmed with the naked eye at a high speed.
In the apparatus of Patent Document 1, since an image is displayed at an intersection regardless of the vehicle speed, the image is also displayed during high-speed passage on the assumption that monitoring is performed with the naked eye. However, this image cannot be used for surrounding monitoring and is useless.
On the other hand, in the conventional device that switches between display and non-display according to the vehicle speed, the speed increases while passing through the intersection, and the image is not displayed even if it exceeds a predetermined switching speed, which hinders surrounding monitoring. There is a fear. For example, moving objects (pedestrians, bicycles, two-wheeled vehicles) jumping out from the shadows, vehicles approaching from a distance, etc. may not be monitored.
本発明は、ブラインドコーナーカメラを用いる周辺監視を、車速に応じて適切に行い得るようにすることを目的とする。即ち、肉眼での監視が前提とされる高速通過時にもブラインドコーナーカメラを周辺監視に利用できるようにすることで、例えば、物陰から飛び出して来る動体物（歩行者，自転車，二輪車）や、遠方から急接近して来る車両等を監視できるようにすることを目的とする。 It is an object of the present invention to enable peripheral monitoring using a blind corner camera to be appropriately performed according to the vehicle speed. In other words, by making it possible to use the blind corner camera for peripheral monitoring even at high speeds, where surveillance with the naked eye is a prerequisite, for example, moving objects (pedestrians, bicycles, two-wheeled vehicles) jumping out of the shadows, or far away The purpose is to make it possible to monitor vehicles that are approaching quickly.
本発明は、下記［１］〜［７］のように構成される。
［１］構成１：
車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、
カメラが設置される車両の現在速度が所定速度以上か否か判定する速度判定手段と、
前記速度判定手段により現在速度が所定速度以上であると判定された場合は左右方向の各撮像画像内の動体物をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により接近状態の動体物が有ると判定された場合はその旨を警告出力する警告出力手段と、
を有することを特徴とする車両周辺監視装置。
The present invention is configured as the following [1] to [7].
[1] Configuration 1:
A vehicle periphery monitoring device having a function of displaying on a display device each captured image of a camera installed in the vehicle so that the left and right direction of the front portion of the vehicle can be photographed,
Speed determining means for determining whether or not the current speed of the vehicle in which the camera is installed is equal to or higher than a predetermined speed;
Image recognition means for examining each moving object in each captured image in the left-right direction when the speed determination means determines that the current speed is greater than or equal to a predetermined speed;
Warning output means for outputting a warning to that effect when it is determined that there is a moving object in the approaching state based on the determination based on the result of the examination by the image recognition means;
A vehicle periphery monitoring device comprising:
カメラとしては、左右の画像をプリズムを介して単一の撮像素子へ導く所謂ブラインドコーナーカメラを用いることができるが、これに限定されず、左右それぞれの画像用に複数個の撮像素子を用いる構成でもよい。
車両の現在速度は、公知の車両制御機能が公知の車速センサの検出信号を用いて演算した結果を取り込むことで得ることができる。
「所定速度以上」とは「閾値が所定速度」という意味である。したがって、「所定速度未満・所定速度以上」の組で判定する場合と、「所定速度以下・所定速度より大」の組で判定する場合の両者を含む。
左右方向の各撮像画像内の動体物（例：歩行者，自転車，二輪車等）の有無とその接近状態は、公知の画像認識処理により調べて検出することができる。
警告出力は、例えば、メッセージ又は警告音等の音声出力やステアリングの強制振動等によって行なうことができる。
As the camera, a so-called blind corner camera that guides left and right images to a single image sensor via a prism can be used, but is not limited to this, and a configuration in which a plurality of image sensors are used for each of the left and right images. But you can.
The current speed of the vehicle can be obtained by taking in a result calculated by a known vehicle control function using a detection signal of a known vehicle speed sensor.
“Over a predetermined speed” means “the threshold is a predetermined speed”. Therefore, it includes both a case where the determination is made with a group of “less than a predetermined speed and a predetermined speed or more” and a case where the determination is made with a group of “below a predetermined speed and greater than a predetermined speed”.
The presence and absence of moving objects (eg, pedestrians, bicycles, two-wheeled vehicles, etc.) in each captured image in the left-right direction can be detected and detected by a known image recognition process.
The warning output can be performed by, for example, voice output such as a message or warning sound, forced vibration of the steering, or the like.
［２］構成２：
構成１に於いて、
カメラが設置される車両の現在位置が交差点内か否かを判定する交差点判定手段を更に有し、
前記画像認識手段は前記交差点判定手段により当該車両が交差点内に在ると判定された場合に左右方向の各撮像画像内の動体物をそれぞれ調べる、
ことを特徴とする車両周辺監視装置。
当該の車両が交差点内に在るか否かは、例えば、公知のカーナビゲーション装置が持つ現在位置検出機能と道路情報とに基づいて判定することができる。また、フロントカメラで取り入れた車両前方の画像或いはブラインドコーナーカメラで取り入れた死角方向の画像に対し公知の画像認識処理を施して、交差点要素（例：横断歩道，停止線，標識等）を検出することにより判定することもできる。
［３］構成３：
構成２に於いて、
前記交差点判定手段により当該車両が交差点内に在ると判定された場合は左右方向の各撮像画像を非表示とする表示制御手段を更に有する、
ことを特徴とする車両周辺監視装置。
[2] Configuration 2:
In configuration 1,
An intersection determination means for determining whether or not the current position of the vehicle where the camera is installed is within the intersection;
The image recognizing means examines the moving object in each captured image in the left-right direction when the intersection determining means determines that the vehicle is in the intersection;
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
Whether or not the vehicle is in the intersection can be determined based on, for example, a current position detection function and road information of a known car navigation device. In addition, a known image recognition process is performed on the image in front of the vehicle captured by the front camera or the image in the blind spot direction captured by the blind corner camera to detect intersection elements (eg, pedestrian crossings, stop lines, signs, etc.). It can also be determined by.
[3] Configuration 3:
In configuration 2,
When the intersection determination means determines that the vehicle is in the intersection, the vehicle further includes display control means for hiding each captured image in the left-right direction.
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
［４］構成４：
構成２又は構成３に於いて、
前記画像認識手段は更に左右方向の各撮影画像内の交差点要素を調べ、
前記交差点判定手段は前記画像認識手段による交差点要素の検査結果に基づいて交差点内か否かを判定する、
ことを特徴とする車両周辺監視装置。
[4] Configuration 4:
In Configuration 2 or Configuration 3,
The image recognition means further examines an intersection element in each captured image in the left-right direction,
The intersection determination means determines whether or not the vehicle is within an intersection based on the inspection result of the intersection element by the image recognition means;
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
［５］構成５：
構成２又は構成３に於いて、
カメラが設置される車両の現在位置を検出する位置検出手段と、
道路情報を取得する道路情報取得手段と、
を更に有し、
前記交差点判定手段は前記位置検出手段により検出した車両の現在位置と前記道路情報取得手段により取得した道路情報とに基づいて交差点内か否かを判定する、
ことを特徴とする車両周辺監視装置。
[5] Configuration 5:
In Configuration 2 or Configuration 3,
Position detection means for detecting the current position of the vehicle in which the camera is installed;
Road information acquisition means for acquiring road information;
Further comprising
The intersection determination means determines whether or not the vehicle is in an intersection based on the current position of the vehicle detected by the position detection means and the road information acquired by the road information acquisition means;
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
［６］構成６：
構成２又は構成３に於いて、
車両前方を撮影可能なように車両に設置されるフロントカメラと、
前記フロントカメラの撮影画像内の交差点要素を調べるフロント画像認識手段と、
を更に有し、
前記交差点判定手段は前記フロント画像認識手段による交差点要素の検査結果に基づいて交差点内か否かを判定する、
ことを特徴とする車両周辺監視装置。
[6] Configuration 6:
In Configuration 2 or Configuration 3,
A front camera installed in the vehicle so that the front of the vehicle can be photographed;
Front image recognition means for examining an intersection element in a photographed image of the front camera;
Further comprising
The intersection determination means determines whether or not the vehicle is within an intersection based on the inspection result of the intersection element by the front image recognition means.
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
［７］構成７：
運転席から死角となる方向を撮影可能なように車両に設置されるカメラの撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、
カメラが設置される車両の現在速度が所定速度以上か否か判定する速度判定手段と、
前記速度判定手段により現在速度が所定速度以上であると判定された場合は前記死角方向の各撮像画像内の動体物をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により接近状態の動体物が有ると判定された場合はその旨を警告出力する警告出力手段と、
を有することを特徴とする車両周辺監視装置。
運転席から死角となる方向としては、例えば、車両側方を挙げることができるが、車両側方に限定されない。車種によっては視野に制限を受ける場合があり、そのような車種では、当該制限された方向が死角となる方向に該当する。
[7] Configuration 7:
A vehicle periphery monitoring device having a function of displaying on a display device a photographed image of a camera installed in a vehicle so as to be able to photograph a blind spot direction from a driver's seat,
Speed determining means for determining whether or not the current speed of the vehicle in which the camera is installed is equal to or higher than a predetermined speed;
Image recognition means for examining each moving object in each captured image in the blind spot direction when the speed determination means determines that the current speed is equal to or higher than a predetermined speed;
Warning output means for outputting a warning to that effect when it is determined that there is a moving object in the approaching state based on the determination based on the result of the examination by the image recognition means;
A vehicle periphery monitoring device comprising:
Examples of the direction of the blind spot from the driver's seat include the side of the vehicle, but are not limited to the side of the vehicle. Depending on the vehicle type, the field of view may be restricted, and in such a vehicle type, the restricted direction corresponds to a direction that becomes a blind spot.
構成１は、車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、カメラが設置される車両の現在速度が所定速度以上か否か判定する速度判定手段と、前記速度判定手段により現在速度が所定速度以上であると判定された場合は左右方向の各撮像画像内の動体物をそれぞれ調べる画像認識手段と、前記画像認識手段により調べた結果に基づく判定により接近状態の動体物が有ると判定された場合はその旨を警告出力する警告出力手段と、を有する車両周辺監視装置であるため、カメラを用いる周辺確認を車速に応じて適切に行うことができる。即ち、肉眼での監視が前提とされる高速通過時にも上記カメラを周辺監視に利用でき、例えば、物陰から飛び出して来る動体物（例：歩行者，自転車，二輪車等）や、遠方から急接近して来る車両等を知ることができる。
構成２は、構成１に於いて、カメラが設置される車両の現在位置が交差点内か否かを判定する交差点判定手段を更に有し、前記画像認識手段は前記交差点判定手段により当該車両が交差点内に在ると判定された場合に左右方向の各撮像画像内の動体物をそれぞれ調べる車両周辺監視装置であるため、交差点に於いて、構成１の効果を得ることができる。
構成３は、構成２に於いて、前記交差点判定手段により当該車両が交差点内に在ると判定された場合は左右方向の各撮像画像を非表示とする表示制御手段を更に有する車両周辺監視装置であるため、構成２が持つ効果に加えて、さらに、交差点を比較的高速で通過する時に運転者は画像に気をとられなくてすむ効果がある。
構成４は、構成２又は３に於いて、前記画像認識手段は更に左右方向の各撮影画像内の交差点要素を調べ、前記交差点判定手段は前記画像認識手段による交差点要素の検査結果に基づいて交差点内か否かを判定する車両周辺監視装置であるため、構成２が持つ作用効果に加えて、交差点判定の具体的手法を提供できる効果がある。
構成５は、構成２又は３に於いて、カメラが設置される車両の現在位置を検出する位置検出手段と、道路情報を取得する道路情報取得手段とを更に有し、前記交差点判定手段は前記位置検出手段により検出した車両の現在位置と前記道路情報取得手段により取得した道路情報とに基づいて交差点内か否かを判定する車両周辺監視装置であるため、構成２が持つ作用効果に加えて、交差点判定の具体的手法を提供できる効果がある。
構成６は、構成２又は３に於いて、車両前方を撮影可能なように車両に設置されるフロントカメラと、前記フロントカメラの撮影画像内の交差点要素を調べるフロント画像認識手段とを更に有し、前記交差点判定手段は前記フロント画像認識手段による交差点要素の検査結果に基づいて交差点内か否かを判定する車両周辺監視装置であるため、構成２が持つ作用効果に加えて、交差点判定の具体的手法を提供できる効果がある。
Configuration 1 is a vehicle periphery monitoring device having a function of displaying on a display device each captured image of a camera installed in a vehicle so that the left and right directions of the front portion of the vehicle can be photographed. An image for examining each moving object in each of the captured images in the left-right direction when the current speed is determined by the speed determination means to be greater than or equal to a predetermined speed. Since it is a vehicle periphery monitoring device having a recognition unit and a warning output unit that outputs a warning to that effect when it is determined that there is a moving object in an approaching state based on a determination based on the result of the examination by the image recognition unit, Peripheral confirmation using a camera can be appropriately performed according to the vehicle speed. In other words, the camera can be used to monitor the surroundings even when traveling at high speeds, where surveillance with the naked eye is a prerequisite. You can know the vehicles that are coming.
The configuration 2 further includes an intersection determination unit that determines whether or not the current position of the vehicle on which the camera is installed is within the intersection in the configuration 1, and the image recognition unit uses the intersection determination unit to connect the vehicle to the intersection. Since it is a vehicle periphery monitoring device that examines moving objects in each captured image in the left-right direction when it is determined that it is inside, the effect of Configuration 1 can be obtained at the intersection.
Configuration 3 is a vehicle periphery monitoring device further comprising display control means for hiding each captured image in the left-right direction when the intersection determination means determines that the vehicle is in the intersection in Configuration 2. Therefore, in addition to the effect of the configuration 2, there is an effect that the driver does not have to pay attention to the image when passing the intersection at a relatively high speed.
In the configuration 4, in the configuration 2 or 3, the image recognition unit further examines an intersection element in each captured image in the left-right direction, and the intersection determination unit determines the intersection based on the inspection result of the intersection element by the image recognition unit. Since it is a vehicle periphery monitoring device that determines whether or not the vehicle is inside, in addition to the operational effects of the configuration 2, there is an effect that it is possible to provide a specific method of intersection determination.
Configuration 5 further includes position detection means for detecting a current position of a vehicle on which the camera is installed and road information acquisition means for acquiring road information in Configuration 2 or 3, wherein the intersection determination means is Since it is a vehicle periphery monitoring device that determines whether or not it is within an intersection based on the current position of the vehicle detected by the position detection means and the road information acquired by the road information acquisition means, in addition to the operational effects of the configuration 2 This has the effect of providing a specific method for determining the intersection.
The configuration 6 further includes a front camera installed in the vehicle so that the front of the vehicle can be photographed in the configuration 2 or 3, and a front image recognition means for examining an intersection element in the photographed image of the front camera. The intersection determination unit is a vehicle periphery monitoring device that determines whether or not the vehicle is within the intersection based on the inspection result of the intersection element by the front image recognition unit. It is possible to provide an effective method.
構成７は、運転席から死角となる方向を撮影可能なように車両に設置されるカメラの撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、カメラが設置される車両の現在速度が所定速度以上か否か判定する速度判定手段と、前記速度判定手段により現在速度が所定速度以上であると判定された場合は前記死角方向の各撮像画像内の動体物をそれぞれ調べる画像認識手段と、前記画像認識手段により調べた結果に基づく判定により接近状態の動体物が有ると判定された場合はその旨を警告出力する警告出力手段と、を有する車両周辺監視装置であるため、カメラを用いる周辺確認を車速に応じて適切に行うことができる。即ち、肉眼での監視が前提とされる高速通過時にも上記カメラを周辺監視に利用でき、例えば、物陰から飛び出して来る動体物（例：歩行者，自転車，二輪車等）や、遠方から急接近して来る車両等を知ることができる。 Configuration 7 is a vehicle periphery monitoring device having a function of displaying on a display device a photographed image of a camera installed in a vehicle so that the direction of a blind spot from a driver's seat can be photographed. Speed determining means for determining whether or not the current speed is equal to or higher than a predetermined speed, and when the speed determining means determines that the current speed is equal to or higher than the predetermined speed, the moving object in each captured image in the blind spot direction is examined. Since it is a vehicle periphery monitoring device having image recognition means and warning output means for outputting a warning to that effect when it is determined that there is a moving object in the approaching state based on the determination based on the result of examination by the image recognition means The surroundings using the camera can be appropriately checked according to the vehicle speed. In other words, the camera can be used to monitor the surroundings even at high speeds, which must be monitored with the naked eye. For example, moving objects (eg, pedestrians, bicycles, two-wheeled vehicles) that pop out from the shadows, or suddenly approach from a distance. You can know the vehicles that are coming.
図面を参照して本発明の実施の形態を説明する。
図１は実施の形態の車両周辺監視装置の制御部の構成を示すブロック図、図２はブラインドコーナーカメラ画像制御手順を示すフローチャート、図３は交差点通過とブラインドコーナーカメラ画像の利用法とを対応付ける説明図である。
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a control unit of a vehicle periphery monitoring apparatus according to an embodiment, FIG. 2 is a flowchart showing a blind corner camera image control procedure, and FIG. 3 associates an intersection passage with a usage method of a blind corner camera image. It is explanatory drawing.
図１に示す本実施の形態の車両周辺監視装置は、公知のカーナビゲーション機能と車両制御機能と画像認識機能とを有し更にブラインドコーナーカメラ画像制御機能を有するＥＣＵ（Electronic Control Unit)１０と、ＥＣＵ１０に接続された表示装置１１とスピーカ１２と操作入力装置１３とを有する。また、ＥＣＵ１０には、カーナビゲーション機能で用いるための道路情報等が記憶されたハードディスク１５が接続されている。これに代えて、道路情報等がＤＶＤ−ＲＯＭ等に格納されている構成であってもよい。表示装置１１にはカーナビゲーション機能を実現するための画像が表示される他、後述のように、車両前部左右方向の画像が適宜に表示される。スピーカ１２についても同様であり、カーナビゲーション機能を実現するための音声の他、車両前部左右方向の画像が表示されない場合に於いて動体物が検出された場合の警告音又は警告音声が出力される。
A vehicle periphery monitoring apparatus according to the present embodiment shown in FIG. 1 includes an ECU (Electronic Control Unit) 10 having a known car navigation function, a vehicle control function, and an image recognition function, and a blind corner camera image control function, A
ＧＰＳ受信機２１では、カーナビゲーション機能が現在位置を求めるために用いるＧＰＳ衛星からの信号が受信される。無線通信装置２２は、カーナビゲーション機能が道路情報を随時更新等するべく公知のデータセンターと通信する際等に用いられる。更新された道路情報は、ハードディスク１５に格納される。これらの情報を用いる公知の演算によりカーナビゲーション機能にて生成された現在位置情報や道路情報は、適宜、ブラインドコーナーカメラ画像制御機能に与えられる。
The
公知の車速センサ２４からの検出信号は、車両制御機能が車速を演算するために用いられる。この情報を用いる公知の演算により車両制御機能により生成された車速情報は、適宜、ブラインドコーナーカメラ画像制御機能に与えられる。なお、更にシフト位置情報等を与えるように構成することもできる。
A detection signal from a known
車両の前端部略中央部位に設置される公知のブラインドコーナーカメラＢＣＣにて撮像された左右の画像信号は、画像処理回路１６にて公知の画像処理を施され、ＥＣＵ１０に入力される。このように生成されて入力された左右の画像データは、画像認識機能にて動体物（例：歩行者，自転車，二輪車等）の有無と該動体物の状態（接近／離隔／速度）を調べる画像認識処理に供されて、その結果が、ブラインドコーナーカメラ画像制御機能に送られる。また、上記のように生成されて入力された左右の画像データは、上記の画像認識結果に基づくブラインドコーナーカメラ画像制御機能により、後述のように、表示／非表示を制御される。
The left and right image signals imaged by a known blind corner camera BCC installed at a substantially central portion of the front end of the vehicle are subjected to known image processing by the
車両の運転席上方中央に車両前方を撮像可能なように設置される公知のフロントカメラＦＣにて撮像された画像信号は、画像処理回路１６にて公知の画像処理を施され、ＥＣＵ１０に入力される。このように生成されて入力された画像データは、画像認識機能にて交差点要素の有無を調べる画像認識処理に供されて、その結果が、ブラインドコーナーカメラ画像制御機能に送られる。交差点要素としては、例えば、横断歩道、停止線ＳＬ、各種標識（例：「止まれ」標識）類等を挙げることができる。
An image signal picked up by a known front camera FC installed in the center above the driver's seat so as to be able to pick up the front of the vehicle is subjected to known image processing by the
以下、図２を参照して、ブラインドコーナーカメラ画像処理の手順を説明する。
ブラインドコーナーカメラ画像処理は、所定の時間間隔（撮像画像の表示／非表示を適切に切り換え得る時間間隔／例：５０ｍｓｅｃ毎）で実行され、これにより、以下のブラインドコーナーカメラ画像制御機能が実現される。
Hereinafter, the procedure of blind corner camera image processing will be described with reference to FIG.
The blind corner camera image processing is executed at a predetermined time interval (time interval at which captured image display / non-display can be appropriately switched / example: every 50 msec), thereby realizing the following blind corner camera image control function. The
まず、現在位置情報と、車両が交差点内に在るか否かを現在位置情報を参照して判定するために必要な現在位置付近の道路情報とを、公知のカーナビゲーション機能から取得する（Ｓ０１）。カーナビゲーション機能は、ＧＰＳ受信機２１からの信号に基づいて現在位置を演算しているものとする。
ステップＳ０１では、また、車速情報（車両の現在速度の情報）を少なくとも含む車両情報を、公知の車両制御機能から取得する（Ｓ０１）。車両制御機能は、車速センサ２４の検出信号に基づいて車両の現在速度を演算しているものとする。
First, current position information and road information in the vicinity of the current position necessary for determining whether or not the vehicle is in an intersection with reference to the current position information are acquired from a known car navigation function (S01). ). It is assumed that the car navigation function calculates the current position based on a signal from the
In step S01, vehicle information including at least vehicle speed information (information on the current speed of the vehicle) is acquired from a known vehicle control function (S01). It is assumed that the vehicle control function calculates the current speed of the vehicle based on the detection signal of the
ステップＳ０３では、ステップＳ０１で取得した車両の現在速度が、所定の閾値ａ［ｋｍ／ｈｏｕｒ］（例：６［ｋｍ／ｈｏｕｒ］）以下か否か判定する。このステップＳ０３の処理が、速度判定手段に該当する。
車両速度が所定値ａ［ｋｍ／ｈｏｕｒ］以下の場合に於いて（Ｓ０３でＹＥＳ）、ブラインドコーナーカメラＢＣＣがオフ状態の場合は（Ｓ１１でＹＥＳ）、ブラインドコーナーカメラＢＣＣを起動して（Ｓ１３）、ブラインドコーナーカメラＢＣＣの撮像画像を表示装置１１に表示する（Ｓ１５）。つまり、車両の現在速度が比較的低速の場合は、ブラインドコーナーカメラＢＣＣの撮像画像を表示装置１１に表示する。
In step S03, it is determined whether or not the current speed of the vehicle acquired in step S01 is equal to or less than a predetermined threshold value a [km / hour] (example: 6 [km / hour]). The processing in step S03 corresponds to speed determination means.
When the vehicle speed is equal to or less than the predetermined value a [km / hour] (YES in S03), if the blind corner camera BCC is in the off state (YES in S11), the blind corner camera BCC is activated (S13). The captured image of the blind corner camera BCC is displayed on the display device 11 (S15). That is, when the current speed of the vehicle is relatively low, the captured image of the blind corner camera BCC is displayed on the
一方、ステップＳ０３で車両の現在速度が所定値ａ［ｋｍ／ｈ］を越えていると判定された場合は（Ｓ０３でＮＯ）、当該の車両が交差点内か否か判定する（Ｓ０５）。このステップＳ０５の処理が、交差点判定手段に該当する。
この判定には、ステップＳ０１でカーナビゲーション機能から取得した現在位置情報と道路情報を用いることができるが、この情報に代えて、又は、この情報とともに、フロントカメラＦＣ及び／又はブラインドコーナーカメラＢＣＣの撮像画像に基づいて画像認識機能により調べた交差点要素（例：横断歩道、停止線ＳＬ、各種標識（例：「止まれ」標識）類等）の検出状態、例えば、それらの有無を用いることもできる。
ステップＳ０５での判定の結果、車両の現在位置が交差点内でない場合は（Ｓ０５でＮＯ）、ステップＳ０７へ進み、ブラインドコーナーカメラＢＣＣの状態を調べる。ブラインドコーナーカメラＢＣＣがオンされている場合は（Ｓ０７でＹＥＳ）、ブラインドコーナーカメラＢＣＣをオフする（Ｓ０９）。
On the other hand, if it is determined in step S03 that the current speed of the vehicle exceeds the predetermined value a [km / h] (NO in S03), it is determined whether or not the vehicle is in the intersection (S05). The process of step S05 corresponds to an intersection determination unit.
For this determination, the current position information and road information acquired from the car navigation function in step S01 can be used, but instead of this information or together with this information, the front camera FC and / or the blind corner camera BCC. Detection states of intersection elements (eg, pedestrian crossings, stop lines SL, various signs (eg, “stop” signs), etc.) examined by the image recognition function based on the captured image can be used, for example, the presence or absence of them. .
As a result of the determination in step S05, if the current position of the vehicle is not within the intersection (NO in S05), the process proceeds to step S07, and the state of the blind corner camera BCC is checked. If the blind corner camera BCC is turned on (YES in S07), the blind corner camera BCC is turned off (S09).
一方、ステップＳ０５での判定の結果、車両の現在位置が交差点内の場合は（Ｓ０５でＹＥＳ）、ステップＳ２１へ進み、ブラインドコーナーカメラＢＣＣの状態を調べる。
ブラインドコーナーカメラＢＣＣがオフされている場合は（Ｓ２１でＹＥＳ）、ブラインドコーナーカメラＢＣＣを起動して（Ｓ２３）、ステップＳ２５へ進む。
ブラインドコーナーカメラＢＣＣが既にオンされている場合は（Ｓ２１でＮＯ）、ステップＳ２３をとばしてステップＳ２５へ進む。
On the other hand, as a result of the determination in step S05, if the current position of the vehicle is within the intersection (YES in S05), the process proceeds to step S21 to check the state of the blind corner camera BCC.
If the blind corner camera BCC is turned off (YES in S21), the blind corner camera BCC is activated (S23), and the process proceeds to step S25.
If the blind corner camera BCC is already turned on (NO in S21), the process skips step S23 and proceeds to step S25.
ステップＳ２５では、ブラインドコーナーカメラＢＣＣによる撮像画像を非表示に設定するとともに、画像認識機能によりブラインドコーナーカメラＢＣＣの撮像画像内の動体物（例：歩行者，自転車，二輪車等）を調べる。 In step S25, the image captured by the blind corner camera BCC is set not to be displayed, and moving objects (eg, pedestrians, bicycles, two-wheeled vehicles, etc.) in the image captured by the blind corner camera BCC are checked by the image recognition function.
画像認識機能により動体物を調べた結果、接近状態の動体物が認識された場合は（Ｓ２７でＹＥＳ）、その旨を警告出力する（Ｓ３１）。この警告は、スピーカ１２から警告音或いは警告メッセージを出力することにより行なうことができる。また、接近速度が速い場合や歩行者の飛び出しの場合等のように緊急を要する場合には、警告音や警告メッセージに代えて、又は、警告音や警告メッセージとともに、ステアリング等を強制振動させて強く警告するようにしてもよい。また、表示装置１１に所定の警告メッセージを併せて表示するようにしてもよい。なお、既に警告出力中の場合は（Ｓ２９でＹＥＳ）、ステップＳ３１はジャンプする。
As a result of examining the moving object by the image recognition function, if an approaching moving object is recognized (YES in S27), a warning to that effect is output (S31). This warning can be performed by outputting a warning sound or a warning message from the
警告の緊急度は、画像認識処理により調べる動体物の状態（例：接近速度，飛び出し速度等）に基づいて判定することができる。
交差点通過時にブラインドコーナーカメラＢＣＣの撮像画像を表示装置１１へ出力するか、又は、表示装置１１へ出力しないで動体物（例：歩行者，自転車，二輪車等）を検出するための画像認識処理に供するかの場合分けを、図３（ｂ）に示す。
The urgency level of the warning can be determined based on the state of the moving object to be examined by the image recognition process (eg, approach speed, pop-out speed, etc.).
For image recognition processing for detecting moving objects (eg, pedestrians, bicycles, two-wheeled vehicles, etc.) without outputting the captured image of the blind corner camera BCC to the
上記では、ブラインドコーナーカメラＢＣＣが車両前端部中央に設置されており、車両前部の左右方向を検出する場合を説明したが、この位置に代えて、又は、この位置とともに、車両の側方等の死角方向を撮像するブラインドコーナーカメラ（側方カメラ）についても、上記と同様に処理することができる。 In the above, the case where the blind corner camera BCC is installed at the center of the front end of the vehicle and detects the left-right direction of the front of the vehicle has been described, but instead of this position or together with this position, the side of the vehicle, etc. The blind corner camera (side camera) that captures the blind spot direction can be processed in the same manner as described above.
ＢＣＣ ブラインドコーナーカメラ
ＦＣ フロントカメラ
Ｃ 車両
ＳＬ 停止線
BCC Blind corner camera FC Front camera C Vehicle SL Stop line
Claims (7)
カメラが設置される車両の現在速度が所定速度以上か否か判定する速度判定手段と、
前記速度判定手段により現在速度が所定速度以上であると判定された場合は左右方向の各撮像画像内の動体物をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により接近状態の動体物が有ると判定された場合はその旨を警告出力する警告出力手段と、
を有することを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device having a function of displaying on a display device each captured image of a camera installed in the vehicle so that the left and right direction of the front portion of the vehicle can be photographed,
Speed determining means for determining whether or not the current speed of the vehicle in which the camera is installed is equal to or higher than a predetermined speed;
Image recognition means for examining each moving object in each captured image in the left-right direction when the speed determination means determines that the current speed is greater than or equal to a predetermined speed;
Warning output means for outputting a warning to that effect when it is determined that there is a moving object in the approaching state based on the determination based on the result of the examination by the image recognition means;
A vehicle periphery monitoring device comprising:
カメラが設置される車両の現在位置が交差点内か否かを判定する交差点判定手段を更に有し、
前記画像認識手段は前記交差点判定手段により当該車両が交差点内に在ると判定された場合に左右方向の各撮像画像内の動体物をそれぞれ調べる、
ことを特徴とする車両周辺監視装置。 In claim 1,
An intersection determination means for determining whether or not the current position of the vehicle where the camera is installed is within the intersection;
The image recognizing means examines the moving object in each captured image in the left-right direction when the intersection determining means determines that the vehicle is in the intersection;
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
前記交差点判定手段により当該車両が交差点内に在ると判定された場合は左右方向の各撮像画像を非表示とする表示制御手段を更に有する、
ことを特徴とする車両周辺監視装置。 In claim 2,
When the intersection determination means determines that the vehicle is in the intersection, the vehicle further includes display control means for hiding each captured image in the left-right direction.
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
前記画像認識手段は更に左右方向の各撮影画像内の交差点要素を調べ、
前記交差点判定手段は前記画像認識手段による交差点要素の検査結果に基づいて交差点内か否かを判定する、
ことを特徴とする車両周辺監視装置。 In claim 2 or claim 3,
The image recognition means further examines an intersection element in each captured image in the left-right direction,
The intersection determination means determines whether or not the vehicle is within an intersection based on the inspection result of the intersection element by the image recognition means;
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
カメラが設置される車両の現在位置を検出する位置検出手段と、
道路情報を取得する道路情報取得手段と、
を更に有し、
前記交差点判定手段は前記位置検出手段により検出した車両の現在位置と前記道路情報取得手段により取得した道路情報とに基づいて交差点内か否かを判定する、
ことを特徴とする車両周辺監視装置。 In claim 2 or claim 3,
Position detection means for detecting the current position of the vehicle in which the camera is installed;
Road information acquisition means for acquiring road information;
Further comprising
The intersection determination means determines whether or not the vehicle is within an intersection based on the current position of the vehicle detected by the position detection means and the road information acquired by the road information acquisition means;
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
車両前方を撮影可能なように車両に設置されるフロントカメラと、
前記フロントカメラの撮影画像内の交差点要素を調べるフロント画像認識手段と、
を更に有し、
前記交差点判定手段は前記フロント画像認識手段による交差点要素の検査結果に基づいて交差点内か否かを判定する、
ことを特徴とする車両周辺監視装置。 In claim 2 or claim 3,
A front camera installed in the vehicle so that the front of the vehicle can be photographed;
Front image recognition means for examining an intersection element in a photographed image of the front camera;
Further comprising
The intersection determination means determines whether or not the vehicle is within an intersection based on the inspection result of the intersection element by the front image recognition means.
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
カメラが設置される車両の現在速度が所定速度以上か否か判定する速度判定手段と、
前記速度判定手段により現在速度が所定速度以上であると判定された場合は前記死角方向の各撮像画像内の動体物をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により接近状態の動体物が有ると判定された場合はその旨を警告出力する警告出力手段と、
を有することを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device having a function of displaying on a display device a photographed image of a camera installed in a vehicle so as to be able to photograph a blind spot direction from a driver's seat,
Speed determining means for determining whether or not the current speed of the vehicle in which the camera is installed is equal to or higher than a predetermined speed;
Image recognition means for examining each moving object in each captured image in the blind spot direction when the speed determination means determines that the current speed is equal to or higher than a predetermined speed;
Warning output means for outputting a warning to that effect when it is determined that there is a moving object in the approaching state based on the determination based on the result of the examination by the image recognition means;
A vehicle periphery monitoring device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005371819A JP4561627B2 (en) | 2005-12-26 | 2005-12-26 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005371819A JP4561627B2 (en) | 2005-12-26 | 2005-12-26 | Vehicle periphery monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007172462A true JP2007172462A (en) | 2007-07-05 |
| JP4561627B2 JP4561627B2 (en) | 2010-10-13 |
Family
ID=38298912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005371819A Expired - Fee Related JP4561627B2 (en) | 2005-12-26 | 2005-12-26 | Vehicle periphery monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4561627B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2103485A2 (en) | 2008-03-19 | 2009-09-23 | Mazda Motor Corporation | Surroundings monitoring device, method and computer program product for a vehicle |
| JP2009230225A (en) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | Periphery monitoring device for vehicle |
| JP2009230224A (en) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | Surroundings monitoring device for vehicle |
| JP2014106147A (en) * | 2012-11-28 | 2014-06-09 | Fujitsu Ltd | Intersection detection method and intersection detection system |
| JP2018081050A (en) * | 2016-11-18 | 2018-05-24 | 株式会社Ｓｏｋｅｎ | Object detection device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002205615A (en) * | 2001-01-05 | 2002-07-23 | Nissan Motor Co Ltd | Visual field auxiliary device for vehicle |
| JP2004102827A (en) * | 2002-09-11 | 2004-04-02 | Nissan Motor Co Ltd | Vehicle periphery monitoring apparatus |
| JP2004252550A (en) * | 2003-02-18 | 2004-09-09 | Toyota Central Res & Dev Lab Inc | Driving support device |
| JP2005039547A (en) * | 2003-07-15 | 2005-02-10 | Denso Corp | Vehicular front view support device |
| JP2005318408A (en) * | 2004-04-30 | 2005-11-10 | Nissan Motor Co Ltd | Vehicle surrounding monitoring apparatus and method |
-
2005
- 2005-12-26 JP JP2005371819A patent/JP4561627B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002205615A (en) * | 2001-01-05 | 2002-07-23 | Nissan Motor Co Ltd | Visual field auxiliary device for vehicle |
| JP2004102827A (en) * | 2002-09-11 | 2004-04-02 | Nissan Motor Co Ltd | Vehicle periphery monitoring apparatus |
| JP2004252550A (en) * | 2003-02-18 | 2004-09-09 | Toyota Central Res & Dev Lab Inc | Driving support device |
| JP2005039547A (en) * | 2003-07-15 | 2005-02-10 | Denso Corp | Vehicular front view support device |
| JP2005318408A (en) * | 2004-04-30 | 2005-11-10 | Nissan Motor Co Ltd | Vehicle surrounding monitoring apparatus and method |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2103485A2 (en) | 2008-03-19 | 2009-09-23 | Mazda Motor Corporation | Surroundings monitoring device, method and computer program product for a vehicle |
| JP2009230225A (en) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | Periphery monitoring device for vehicle |
| JP2009230224A (en) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | Surroundings monitoring device for vehicle |
| US8054201B2 (en) | 2008-03-19 | 2011-11-08 | Mazda Motor Corporation | Surroundings monitoring device for vehicle |
| JP2014106147A (en) * | 2012-11-28 | 2014-06-09 | Fujitsu Ltd | Intersection detection method and intersection detection system |
| JP2018081050A (en) * | 2016-11-18 | 2018-05-24 | 株式会社Ｓｏｋｅｎ | Object detection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4561627B2 (en) | 2010-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5022272B2 (en) | Driving support device | |
| US9576208B2 (en) | Emergency vehicle detection with digital image sensor | |
| JP4935589B2 (en) | Status determination device and program | |
| EP2523173B1 (en) | Driver assisting system and method for a motor vehicle | |
| WO2020031873A1 (en) | Visually-distracted driving detection device | |
| US11738767B2 (en) | Vehicular driver assist system using acoustic sensors | |
| JP2008221906A (en) | Damage part informing system for vehicle | |
| KR101455847B1 (en) | Digital tachograph with black-box and lane departure warning | |
| JP4561627B2 (en) | Vehicle periphery monitoring device | |
| JP2006209368A (en) | Vehicle drive support device | |
| JPH11306498A (en) | On-board camera system | |
| JP4499525B2 (en) | Danger warning system | |
| JP6018840B2 (en) | Drive recorder | |
| JP2004051006A (en) | Intersection accident prevention device and program | |
| KR101665590B1 (en) | Lane Recognition Apparatus and Method using Blackbox and AVM | |
| JP2015005168A (en) | Drive recorder (dr) having lane departure warning system (ldws), and forward collision warning system (fcws) | |
| JP7057074B2 (en) | On-board unit and driving support device | |
| JP2000272414A (en) | Turn signal sound generator for vehicle | |
| JP2008282235A (en) | Driving support device, automobile equipped with driving support device and driving support method | |
| JP2006273190A (en) | On-vehicle navigation device | |
| JP6288204B1 (en) | Vehicle speed limit detection device | |
| JPH0958343A (en) | Nose view apparatus of vehicle | |
| JP2006331082A (en) | Operation support device for vehicle | |
| JP2020013369A (en) | Operation support device, operation support system, and operation support program | |
| JP2006004217A (en) | Navigation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100719 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4561627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140806 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |