JP2018133616A - Image processing system and drive support device using the same - Google Patents

Image processing system and drive support device using the same Download PDF

Info

Publication number
JP2018133616A
JP2018133616A JP2017024245A JP2017024245A JP2018133616A JP 2018133616 A JP2018133616 A JP 2018133616A JP 2017024245 A JP2017024245 A JP 2017024245A JP 2017024245 A JP2017024245 A JP 2017024245A JP 2018133616 A JP2018133616 A JP 2018133616A
Authority
JP
Japan
Prior art keywords
image
vehicle
constant speed
image processing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017024245A
Other languages
Japanese (ja)
Inventor
恭佑 河野
Kyosuke Kono
恭佑 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu General Ltd
Original Assignee
Fujitsu General Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu General Ltd filed Critical Fujitsu General Ltd
Priority to JP2017024245A priority Critical patent/JP2018133616A/en
Publication of JP2018133616A publication Critical patent/JP2018133616A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing system capable of facilitating recognition of an approach speed (relative speed to an own vehicle) of an approaching mobile body.SOLUTION: An image processing system 2, processing an input image from an imaging apparatus 1 and creating an output image, executes image conversion processing so that a mobile body which is inside the input image and moves at a constant speed moves on the output image at a constant speed.SELECTED DRAWING: Figure 5

Description

本発明は、撮像装置で撮像した接近する移動体画像を画像処理する画像処理装置及びこれを使用した運転支援装置に関する。   The present invention relates to an image processing apparatus that performs image processing on an approaching moving body image captured by an imaging apparatus, and a driving support apparatus using the image processing apparatus.

この種の画像処理装置として、例えば車両の周囲を車載カメラで撮像した画像情報を画像処理して運転席の近傍に設けたモニタに表示するものが提案されている（例えば、特許文献１参照）。
この特許文献１に記載の先行技術では、車両の前、後、左側及び右側にフロントカメラ、バックカメラ、左サイドカメラ、右サイドカメラの４つのカメラを配置し、車両の周囲の画像情報を撮像し、各カメラで撮像した撮像画像から仮想視点から見た合成画像を生成してディスプレイに表示するようにしている。 As this type of image processing apparatus, for example, an image processing apparatus has been proposed in which image information obtained by imaging the periphery of a vehicle with an in-vehicle camera is subjected to image processing and displayed on a monitor provided in the vicinity of the driver's seat (for example, see Patent Document 1). .
In the prior art described in Patent Document 1, four cameras, a front camera, a back camera, a left side camera, and a right side camera, are arranged on the front, rear, left side, and right side of the vehicle to capture image information around the vehicle. Then, a composite image viewed from a virtual viewpoint is generated from captured images captured by the cameras and displayed on the display.

特開２０１２−２５３４２８号公報JP 2012-253428 A

しかしながら、この先行技術では、例えば自車両の後方から接近する車両の画像を自車両の画像とともに表示することはできるが、例えば接近する車両が等速で走行して自車両に近づいている場合に、接近する車両と撮像カメラとの距離が遠い場合と近い場合とでは、表示画面上での移動速度が異なってしまう。この現象は撮像カメラに魚眼レンズの様な広角レンズが搭載されている場合、より顕著になる。   However, in this prior art, for example, an image of a vehicle approaching from behind the host vehicle can be displayed together with an image of the host vehicle. For example, when the approaching vehicle travels at a constant speed and approaches the host vehicle. The moving speed on the display screen differs depending on whether the distance between the approaching vehicle and the imaging camera is long or close. This phenomenon becomes more prominent when a wide-angle lens such as a fisheye lens is mounted on the imaging camera.

よって、運転者が表示画面上で後方の車両を確認しても、その車両が自車両にどの程度の速度で接近しているかが分かりにくく、例えば車線変更の判断に使用するのが難しいという課題がある。
そこで、本発明は、上記先行技術の課題に着目してなされたものであり、接近する移動体の接近速度(自車両との相対速度)を認識し易くすることができる画像処理装置及びこれを使用した運転支援装置を提供することを目的としている。 Therefore, even if the driver confirms the vehicle behind the display screen, it is difficult to determine how fast the vehicle is approaching the host vehicle, for example, it is difficult to use it to determine lane change. There is.
Therefore, the present invention has been made paying attention to the problems of the prior art described above, and an image processing apparatus capable of easily recognizing the approaching speed (relative speed with the host vehicle) of a moving object approaching the same. It aims at providing the used driving assistance device.

本発明の一態様に係る画像処理装置は、撮像装置からの入力画像を処理し出力画像を生成する画像処理装置であって、入力画像内にある等速移動する移動体が、出力画像上を等速移動する様に画像変換処理を行うようにしている。
また、本発明の一態様に係る運転支援装置は、上記画像処理装置の画像変換処理を含んで構成されている。 An image processing apparatus according to an aspect of the present invention is an image processing apparatus that processes an input image from an imaging device and generates an output image, and a moving body that moves in the input image at a constant speed moves on the output image. Image conversion processing is performed so as to move at a constant speed.
A driving support apparatus according to an aspect of the present invention includes the image conversion process of the image processing apparatus.

本発明の一態様によれば、撮像装置に移動体が等速で接近してくる場合に、表示画面上で移動体が等速移動するように画像変換されるので、撮像装置と移動体との距離が遠い場合でも表示画面上で移動体との距離が近い場合と同等の単位時間当たりの移動距離に変換することができる。
また、上画像変換処理を運転支援装置に適用することにより、車両に接近する車両を容易に確認することができる運転支援装置を提供することができる。 According to one embodiment of the present invention, when a moving body approaches the imaging device at a constant speed, the image is converted so that the moving body moves at a constant speed on the display screen. Even when the distance is long, it can be converted into a movement distance per unit time equivalent to that when the distance to the moving body is short on the display screen.
In addition, by applying the upper image conversion process to the driving support device, it is possible to provide a driving support device that can easily check a vehicle approaching the vehicle.

本発明に係る画像処理装置の第１実施形態の構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of a first embodiment of an image processing apparatus according to the present invention. 撮像装置を示す側面図である。It is a side view which shows an imaging device. 車両の移動状況を示す説明図である。It is explanatory drawing which shows the movement condition of a vehicle. 撮像装置からの入力画像を示す図である。It is a figure which shows the input image from an imaging device. 等速移動画像を示す図である。It is a figure which shows a constant velocity moving image. 画像変換処理した左右の出力画像を示す図である。It is a figure which shows the left and right output image which carried out the image conversion process. 画像変換処理した出力画像の変形例を示す図である。It is a figure which shows the modification of the output image which carried out the image conversion process. 画像変換処理した出力画像の他の変形例を示す図である。It is a figure which shows the other modification of the output image which carried out the image conversion process.

次に、図面を参照して、本発明の一実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、現実のものとは異なることに留意すべきである。したがって、具体的な構成部品については以下の説明を参酌して判断すべきものである。
また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。 Next, an embodiment of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, it should be noted that the drawings are schematic and different from the actual ones. Therefore, specific components should be determined in consideration of the following description.
Further, the embodiments described below exemplify apparatuses and methods for embodying the technical idea of the present invention, and the technical idea of the present invention includes the shape, structure, arrangement, etc. of components. It is not specified to the following. The technical idea of the present invention can be variously modified within the technical scope defined by the claims described in the claims.

以下の詳細な説明では、本発明の一実施形態の完全な理解を提供するように多くの特定の細部について記載される。しかしながら、かかる特定の細部がなくても１つ以上の実施態様が実施できることは明らかであろう。他にも、図面を簡潔にするために、周知の構造及び装置が略図で示されている。
以下に、本発明に係る画像処理装置を運転支援装置に適用した場合の一実施形態について説明する。 In the following detailed description, numerous specific details are set forth in order to provide a thorough understanding of one embodiment of the present invention. However, it will be apparent that one or more embodiments may be practiced without such specific details. In other instances, well-known structures and devices are schematically shown in order to simplify the drawing.
Hereinafter, an embodiment in which the image processing apparatus according to the present invention is applied to a driving support apparatus will be described.

図１に示すように、運転支援装置１０は、車両の後方の画像データを取得する撮像装置１と、画像処理装置２とを少なくとも備えている。
撮像装置１は、図２に示すように、車両４の後部のバンパー４ａの上方で且つ幅方向の中央（例えば、車両４の後部に設置されたナンバープレートの上部）に設置されたバックカメラである。この撮像装置１は、図１に示すように、車両４の後方から入射する光を集光する魚眼レンズ１１と、この魚眼レンズ１１を透過した光束が結像されるＣＣＤ等の撮像素子１２と、この撮像素子１２に対して画素の読み出しアドレスを順次指定しながら画像信号を取り込んで、画像信号として画像処理装置２に出力する画像処理部１３とを備えている。 As shown in FIG. 1, the driving support device 10 includes at least an imaging device 1 that acquires image data behind the vehicle and an image processing device 2.
As shown in FIG. 2, the imaging device 1 is a back camera installed above the bumper 4 a at the rear of the vehicle 4 and at the center in the width direction (for example, the upper part of the license plate installed at the rear of the vehicle 4). is there. As shown in FIG. 1, the imaging device 1 includes a fisheye lens 11 that collects light incident from the rear of the vehicle 4, an imaging element 12 such as a CCD on which a light beam transmitted through the fisheye lens 11 is imaged, The image processing unit 13 includes an image processing unit 13 that captures an image signal while sequentially specifying pixel readout addresses with respect to the image sensor 12 and outputs the image signal to the image processing apparatus 2.

魚眼レンズ１１は、光軸ＯＡが車両４の直進走行方向と平行に設定され、水平方向及び垂直方向に１８０度程度の画角を有する。この魚眼レンズ１１を通過した光束は撮像素子１２に結像される。
図２の視野角αは後述する図４に示される画像の垂直方向の画角を示している。
画像処理装置２は、画像変換部２１と、画像メモリ２２と、Ｄ／Ａコンバータ２３とを備えている。 The fisheye lens 11 has an optical axis OA set parallel to the straight traveling direction of the vehicle 4 and has an angle of view of about 180 degrees in the horizontal and vertical directions. The light beam that has passed through the fisheye lens 11 forms an image on the image sensor 12.
The viewing angle α in FIG. 2 indicates the angle of view in the vertical direction of the image shown in FIG.
The image processing apparatus 2 includes an image conversion unit 21, an image memory 22, and a D / A converter 23.

画像変換部２１は、撮像装置１から画像信号として入力される入力画像を座標値、輝度値、色差値で構成された１画素のデータの集合からなる入力画像データとして画像メモリ２２に記憶する。ルックアップテーブル２４には入力画像データの１画素を出力画像データのどの座標に配置させるかの対応関係が座標データとして１画素毎に記憶されている。画像変換部２１は、１画素毎に入力画像データを読み出し、またルックアップテーブル２４からは座標データを読み出し、座標データを基に座標値を置き換えて出力画像データとして画像メモリ２２に記憶する。これらの動作を画像変換処理と言う。画像変換処理については更に後述する。 さらに、画像変換部２１は、画像メモリ２２に記憶されている出力画像データをＤ／Ａコンバータ２３に出力する。   The image conversion unit 21 stores the input image input as an image signal from the imaging device 1 in the image memory 22 as input image data including a set of 1-pixel data including coordinate values, luminance values, and color difference values. In the look-up table 24, a correspondence relationship in which one pixel of the input image data is arranged at which coordinate of the output image data is stored for each pixel as coordinate data. The image conversion unit 21 reads input image data for each pixel, reads coordinate data from the lookup table 24, replaces coordinate values based on the coordinate data, and stores them in the image memory 22 as output image data. These operations are called image conversion processing. The image conversion process will be further described later. Further, the image conversion unit 21 outputs the output image data stored in the image memory 22 to the D / A converter 23.

Ｄ／Ａコンバータ２３は、画像変換部２１から入力される出力画像データをアナログ信号（例えばＮＴＳＣ（National Television System Committee)信号）に変換したアナログ画像信号を出力する。このＤ／Ａコンバータ２３から出力されるアナログ画像信号は、図１に示す表示装置３１や画像認識装置３２に出力画像として表示される。
本発明で実施される画像変換部２１が行う画像変換処理については、地上から垂直方向に設定された撮像装置１の光軸を含む仮想平面と平行な向きに等速で移動する移動体の移動を表示装置３１上で等速移動するように変換処理が行われる。 The D / A converter 23 outputs an analog image signal obtained by converting the output image data input from the image conversion unit 21 into an analog signal (for example, NTSC (National Television System Committee) signal). The analog image signal output from the D / A converter 23 is displayed as an output image on the display device 31 and the image recognition device 32 shown in FIG.
Regarding the image conversion processing performed by the image conversion unit 21 implemented in the present invention, the moving body that moves at a constant speed in a direction parallel to the virtual plane including the optical axis of the imaging device 1 set in the vertical direction from the ground. Is converted so as to move at a constant speed on the display device 31.

表示装置３１は、タッチパネル機能を有する液晶パネルを備え、画像処理装置２から出力されるアナログ画像信号に基づき画像を表示する。なお、表示装置３１には、車両４に設置されている図示しないカーナビゲーションシステムから送信される地図画像や、ＤＶＤプレーヤ等の画像再生機器から送信される画像を表示させてもよい。
次に、画像処理装置２の画像変換部２１の画像変換処理の具体的な処理内容について、図３を伴って説明する。例えば第１通行帯４１ａ、第２通行帯４１ｂ及び第３通行帯４１ｃを有する３車線の道路の第２通行帯４１ｂを自車両４が走行しているものとする。 The display device 31 includes a liquid crystal panel having a touch panel function, and displays an image based on an analog image signal output from the image processing device 2. The display device 31 may display a map image transmitted from a car navigation system (not shown) installed in the vehicle 4 or an image transmitted from an image reproduction device such as a DVD player.
Next, specific processing contents of the image conversion processing of the image conversion unit 21 of the image processing apparatus 2 will be described with reference to FIG. For example, it is assumed that the host vehicle 4 is traveling on a second lane 41b of a three-lane road having a first lane 41a, a second lane 41b, and a third lane 41c.

自車両４が走行する第２通行帯４１ｂの隣接通行帯となる第３通行帯４１ｃには自車両４を追越すように自車両４とは異なる速度で等速移動する等速移動車両（追い越し車両）４２が存在する。自車両４に搭載されている撮像装置１と等速移動車両４２の前端との、通行帯と平行な方向に規定される距離は、１秒間に３ｍずつ縮まる(等速移動車両４２が接近する)ものとし、１秒毎の等速移動車両４２が描かれている。また、第１通行帯４１ａには車両が存在していない。   A constant-velocity moving vehicle (passing vehicle) that moves at a constant speed at a speed different from that of the own vehicle 4 so as to pass the own vehicle 4 in a third traffic zone 41c that is adjacent to the second traffic zone 41b in which the host vehicle 4 travels. Vehicle) 42 exists. The distance defined in the direction parallel to the traffic zone between the imaging device 1 mounted on the host vehicle 4 and the front end of the constant velocity moving vehicle 42 is reduced by 3 m per second (the constant velocity moving vehicle 42 approaches). ) And a constant speed moving vehicle 42 every second is depicted. In addition, no vehicle is present in the first lane 41a.

撮像装置１と等速移動車両４２のフロントとの、通行帯と平行な方向に規定される距離は、１１ｍから、１秒後には８ｍ、２秒後には５ｍ、３秒後には２ｍ、４秒後には−１ｍ、５秒後には−４ｍとなっている。
図４は、この図３における等速移動車両４２の接近状態を撮像装置１で撮像した撮像画像に左右反転処理を施した入力画像５０である。この入力画像５０は、図４（ａ）〜（ｆ）に示すように、中央に第２通行帯４１ｂが表示され、この第２通行帯４１ｂの左側に第１通行帯４１ａ、右側に第３通行帯４１ｃが表示される。図４（ａ）では、等速移動車両４２と撮像装置１との通行帯と平行な方向に規定される距離は１１ｍであり、図４（ｂ）では８ｍ、図４（ｃ）では５ｍとなっている。 The distance defined between the imaging device 1 and the front of the constant speed moving vehicle 42 in the direction parallel to the traffic zone is from 11 m to 8 m after 1 second, 5 m after 2 seconds, 2 m after 3 seconds, and 4 m after 4 seconds. Later, it is -1 m, and after 4 seconds it is -4 m.
FIG. 4 is an input image 50 obtained by performing left-right reversal processing on the captured image obtained by capturing the approaching state of the constant speed moving vehicle 42 in FIG. As shown in FIGS. 4A to 4F, the input image 50 has a second traffic band 41b displayed at the center, the first traffic band 41a on the left side of the second traffic band 41b, and the third traffic band on the right side. A traffic band 41c is displayed. In FIG. 4A, the distance defined in the direction parallel to the traffic zone between the constant velocity moving vehicle 42 and the imaging device 1 is 11 m, 8 m in FIG. 4B and 5 m in FIG. 4C. It has become.

これら図４（ａ）〜図４（ｆ）では等速移動車両４２の前端の位置を点線Ｌ１として示している。この入力画像５０をモニタに表示しても、図４（ａ）〜図４（ｃ）では等速移動車両４２の像が小さく、またモニタ上単位時間毎のモニタ上の移動量が小さいので、運転者は等速移動車両４２が迫っていることを直感的に認識することが難しい。
尚、図４（ａ）〜図４（ｆ）では等速移動車両４２の前方端の位置が分かりやすい様に前方端に沿う線Ｌ１を描いている。 In FIG. 4A to FIG. 4F, the position of the front end of the constant speed moving vehicle 42 is shown as a dotted line L1. Even if this input image 50 is displayed on the monitor, the image of the constant speed moving vehicle 42 is small in FIGS. 4A to 4C, and the amount of movement on the monitor per unit time on the monitor is small. It is difficult for the driver to intuitively recognize that the constant speed moving vehicle 42 is approaching.
4A to 4F, a line L1 along the front end is drawn so that the position of the front end of the constant speed moving vehicle 42 can be easily understood.

その後、図４（ｄ）以降では、急激に等速移動車両４２の像が大きくなり、モニタ上の移動量も大きくなり、その後モニタ上から消失する。運転者は図４（ｄ）の段階で等速移動車両４２を認識したとしても、それを元に例えば車線変更の可否を判断することは難しい。
このため、本実施形態では、等速移動車両４２と自車両４（撮像装置１）との距離が一定の速さで縮まるとき、または自車両４が等速車両を等速で追い越して自車両（撮像装置１）と等速移動車両４２との距離が伸びるとき、すなわち、撮像装置１を基準としたときに、自車両４と異なる速度で等速移動している等速移動車両４２が存在しているときに、出力画像上で等速移動車両４２の像が等速移動するように画像変換して出力画像を生成する。生成した出力画像を表示装置の表示画面上に表示したとき、等速移動する等速移動車両４２は、運転者から認識されやすく、例えば車線変更の可否の判断等が容易になる。 Thereafter, in FIG. 4D and thereafter, the image of the constant speed moving vehicle 42 suddenly increases, the amount of movement on the monitor also increases, and then disappears from the monitor. Even if the driver recognizes the constant-velocity moving vehicle 42 at the stage of FIG. 4D, it is difficult to determine whether or not the lane can be changed based on the recognition.
For this reason, in the present embodiment, when the distance between the constant speed moving vehicle 42 and the own vehicle 4 (imaging device 1) is reduced at a constant speed, or the own vehicle 4 passes the constant speed vehicle at a constant speed. When the distance between the (imaging device 1) and the constant-velocity moving vehicle 42 increases, that is, when the imaging device 1 is used as a reference, there is a constant-velocity moving vehicle 42 that moves at a constant speed at a speed different from that of the host vehicle 4. In this case, the output image is generated by performing image conversion so that the image of the constant speed moving vehicle 42 moves at a constant speed on the output image. When the generated output image is displayed on the display screen of the display device, the constant speed moving vehicle 42 that moves at a constant speed is easily recognized by the driver, and for example, it is easy to determine whether or not to change lanes.

前述の画像変換処理を繰り返すことにより、図５（ａ）〜（ｆ）に示すように、表示画面上を等速移動車両４２が一定移動量だけ移動する等速移動画像５１を生成することができる。図５では１秒毎の表示画面を（ａ）〜（ｆ）として時系列で表している。この等速移動画像５１は、図５（ａ）〜（ｆ）に示すように、移動体となる等速移動車両４２が時間の経過とともに、等速で表示画面上を移動している事がわかる。
尚、図５（ａ）〜図５（ｆ）では等速移動車両４２の前方端の位置が分かりやすい様に前方端に沿う線Ｌ２を描いている。
このような出力画像５１を例えば表示装置３１に表示することで、運転者は自車両４に近づく等速移動車両４２を容易に認識することができる。 By repeating the above-described image conversion processing, as shown in FIGS. 5A to 5F, a constant-velocity moving image 51 in which the constant-velocity moving vehicle 42 moves by a certain amount of movement on the display screen can be generated. it can. In FIG. 5, the display screens per second are shown in time series as (a) to (f). As shown in FIGS. 5A to 5F, the constant-velocity moving image 51 indicates that the constant-velocity moving vehicle 42 that is a moving body is moving on the display screen at a constant speed as time passes. Recognize.
5A to 5F, a line L2 is drawn along the front end so that the position of the front end of the constant speed moving vehicle 42 can be easily understood.
By displaying such an output image 51 on the display device 31, for example, the driver can easily recognize the constant speed moving vehicle 42 approaching the host vehicle 4.

なお、上記実施形態では、自車両の右側後方から接近する等速移動車両について画像上で等速移動する出力画像を生成する場合について説明したが、これに限定されるものではない。すなわち、自車両の左側後方で等速移動する車両についても右側と同様に出力画像上で等速移動する移動体として画像変換を行なうことができる。そして、車両の左右両側で等速移動画像を生成する場合には、図６（ａ）〜（ｆ）に示すように、出力画像５１を、１画面の左半分には第１通行帯４１ａを走行する車両の出力画像５２Ｌを配置し、１画面の右半分には第３通行帯４１ｃを走行する車両の出力画像５２Ｒを配置する合成出力画像とすることができる。この図６（ａ）〜（ｆ）に示す出力画像５１により、出力画像５１上で自車両４の両隣の通行帯を等速で接近する車両を同時に出力画像５１の中央から左右端部側に向かって等速で移動する等速移動車両として表すことができる。   In the above-described embodiment, a case has been described in which an output image that moves at a constant speed on an image is generated for a constant-velocity moving vehicle approaching from the right rear side of the host vehicle. However, the present invention is not limited to this. That is, image conversion can also be performed on a vehicle that moves at a constant speed behind the left side of the host vehicle as a moving body that moves at a constant speed on the output image, as in the right side. Then, when generating constant-velocity moving images on both the left and right sides of the vehicle, as shown in FIGS. 6A to 6F, the output image 51 is displayed on the left half of one screen and the first lane 41a is displayed. An output image 52L of a traveling vehicle can be arranged, and a composite output image in which an output image 52R of a vehicle traveling in the third traffic band 41c can be arranged on the right half of one screen. 6 (a) to 6 (f), a vehicle that approaches the traffic zone on both sides of the host vehicle 4 at a constant speed on the output image 51 at the same time from the center of the output image 51 to the left and right ends. It can be expressed as a constant-velocity moving vehicle that moves toward the vehicle at a constant speed.

このため、運転者が両隣の等速移動車両を容易に認識することができるとともに、等速移動車両４２が等速で接近してくること又は等速で遠ざかることを認識することができる。
なお、図６（ａ）〜（ｆ）では、第１通行帯４１ａを走行する等速移動車両がない場合について表示しており、出力画像５２Ｌでは、等速移動画像を生成することなく道路脇のフェンスが連続して表示されている。 Therefore, the driver can easily recognize the adjacent constant speed moving vehicles, and can also recognize that the constant speed moving vehicle 42 approaches at a constant speed or moves away at a constant speed.
FIGS. 6A to 6F show the case where there is no constant speed moving vehicle traveling in the first traffic band 41a. In the output image 52L, the roadside is generated without generating the constant speed moving image. The fences are displayed continuously.

さらには図７（ａ）〜（ｆ）に示すように、上述した図６（ａ）〜（ｆ）の２つの出力画像５２Ｌ及び５２Ｒについて、自車両４の第２通行帯４１ｂを撮像している領域と空を撮像している領域との双方を切り取って、走行車両のみを表示する横長で縦方向が１画面の半分となる出力画像５５Ｌ及び５５Ｒとして編集し、１画面の残りの半分の部分に出力画像５５Ｌ、５５Ｒの領域のそれぞれの一部を上方から見た画像、すなわち俯瞰画像５６Ｌ、５６Ｒとし、これらを合成して１画面分の出力画像５１を生成するようにしてもよい。尚、図６、図７で表される画像は画像処理装置２のルックアップテーブル２４に記憶されている座標データを変更することにより容易に生成することができる。   Further, as shown in FIGS. 7A to 7F, the second output band 41b of the host vehicle 4 is imaged with respect to the two output images 52L and 52R in FIGS. 6A to 6F described above. Both the area where the image is captured and the area where the sky is imaged are cut out and edited as output images 55L and 55R which are horizontally long and display only the traveling vehicle in the half of one screen. It is also possible to generate an output image 51 for one screen by synthesizing a part of each of the regions of the output images 55L and 55R from above, that is, overhead images 56L and 56R. 6 and 7 can be easily generated by changing the coordinate data stored in the lookup table 24 of the image processing apparatus 2.

この場合には、図６で示した効果に加え、俯瞰画像５６Ｌ、５６Ｒで自車両４の通行帯を区画する白線を上方から俯瞰した画像を表示することができるため、これを例えば車線逸脱等の判断に使用することが可能となる。出力画像５５Ｌ及び５５Ｒと俯瞰画像５６Ｌ、５６Ｒとの上下関係は、上下反転させて１画面分の上半分に俯瞰画像５６Ｌ、５６Ｒを配置し、下半分に出力画像５５Ｌ及び５５Ｒを配置するようにしてもよい。   In this case, in addition to the effects shown in FIG. 6, an image in which the white line defining the traffic zone of the host vehicle 4 is viewed from above can be displayed in the overhead images 56L and 56R. It can be used for the determination of The vertical relationship between the output images 55L and 55R and the overhead images 56L and 56R is reversed so that the overhead images 56L and 56R are arranged in the upper half of one screen and the output images 55L and 55R are arranged in the lower half. May be.

また、図７で示した俯瞰画像５６Ｌ、５６Ｒに代えて、図８に示すように、魚眼レンズ１１に起因する自車４の左右後方の画像歪みをそれぞれ補正した歪み補正画像５７Ｌ、５７Ｒとしてもよい。歪み補正画像５７Ｌ、５７Ｒではドアミラーに映し出される風景と同様な表示がなされる。こうすることにより、出力画像５５Ｌ、５５Ｒでは、運転者は自車両４に近づく等速移動車両４２を容易に認識しつつ、歪み補正画像５７Ｌ，５７で同時にドアミラー越しに後方を見たものと同様な画像を同時に見ることができるため、双方の画像から自車両４の後方の状態をより的確に判断することができる。   Further, instead of the overhead images 56L and 56R shown in FIG. 7, as shown in FIG. 8, distortion corrected images 57L and 57R obtained by correcting the left and right rear image distortion of the vehicle 4 caused by the fisheye lens 11 may be used. . In the distortion corrected images 57L and 57R, a display similar to the scenery projected on the door mirror is performed. By doing so, in the output images 55L and 55R, the driver can easily recognize the constant-velocity moving vehicle 42 approaching the host vehicle 4, and the distortion corrected images 57L and 57 are the same as those viewed from the rear through the door mirror at the same time. Therefore, it is possible to more accurately determine the state behind the host vehicle 4 from both images.

尚、上述の歪み補正については例えば特開２００８−３１１８９０号公報で開示される補正方法が用いられればよい。
また、上記実施形態では、撮像装置１が魚眼レンズ１１を備えている場合について説明したが、これに限定されるものではなく、画角が広い広角レンズを適用するようにしてもよい。また、撮像装置１は常時画像データを撮像する場合に限らず、静止画像を撮像するスチールカメラを適用し、一定時間毎にシャッターを制御して一定時間毎の静止画像を撮像するようにしてもよい。 For the above-described distortion correction, for example, a correction method disclosed in Japanese Patent Laid-Open No. 2008-31890 may be used.
Moreover, although the said embodiment demonstrated the case where the imaging device 1 was provided with the fisheye lens 11, it is not limited to this, You may make it apply a wide angle lens with a wide angle of view. Further, the imaging apparatus 1 is not limited to always capturing image data, but a still camera that captures still images is applied, and a shutter is controlled at regular intervals to capture still images at regular intervals. Good.

また、上記実施形態では、本発明を車両の後方の移動体を撮像する場合に適用したが、これに限定されるものではなく、車両の前方の移動体を撮像する場合にも本発明を適用することができる。
また、本発明は、運転支援装置１０に適用する場合に限らず、地面から垂直方向に設定された前記撮像装置１の光軸ＯＡを含む仮想平面と平行な向きに移動する任意の移動体の入力画像について本発明を適用することができる。この場合、撮像装置１は、移動体に装着する場合に限らず、固定物に装着し、固定物に向かって移動する移動体を表示するようにしてもよい。 In the above embodiment, the present invention is applied to the case where the moving body behind the vehicle is imaged. However, the present invention is not limited to this, and the present invention is also applied to the case where the moving body ahead of the vehicle is imaged. can do.
In addition, the present invention is not limited to the case where the present invention is applied to the driving support device 10, but an arbitrary moving body that moves in a direction parallel to a virtual plane including the optical axis OA of the imaging device 1 set in the vertical direction from the ground. The present invention can be applied to an input image. In this case, the imaging device 1 is not limited to being mounted on a moving body, and may display a moving body that is mounted on a fixed object and moves toward the fixed object.

以上、特定の実施形態を参照して本発明を説明したが、これらの説明によって発明を限定することを意図するものではない。本発明の説明を参照することにより、当業者には、開示された実施形態の種々の変形例とともに本発明の別の実施形態も明らかである。したがって、特許請求の範囲は、本発明の範囲及び要旨に含まれるこれらの変形例又は実施形態も網羅すると解すべきである。   While the present invention has been described with reference to specific embodiments, it is not intended that the invention be limited by these descriptions. From the description of the invention, other embodiments of the invention will be apparent to persons skilled in the art, along with various variations of the disclosed embodiments. Therefore, it is to be understood that the claims encompass these modifications and embodiments that fall within the scope and spirit of the present invention.

１…撮像装置、２…画像処理装置、４…自車両、１０…運転支援装置、１１…魚眼レンズ、１２…撮像素子、１３…画像処理部、２１…画像変換部、２２…画像メモリ、２３…Ｄ／Ａコンバータ、４１ａ…第１通行帯、４１ｂ…第２通行帯、４１ｃ…第３通行帯、４２…等速移動車両、３１…表示装置、３２…画像認識装置、５０…入力画像、５１…出力画像、５２Ｌ，５５Ｌ…出力画像、５２Ｒ，５５Ｒ…出力画像、５６Ｌ，５６Ｒ…俯瞰画像、５７Ｌ，５７Ｒ…歪み補正画像   DESCRIPTION OF SYMBOLS 1 ... Imaging device, 2 ... Image processing device, 4 ... Own vehicle, 10 ... Driving assistance device, 11 ... Fisheye lens, 12 ... Imaging element, 13 ... Image processing part, 21 ... Image conversion part, 22 ... Image memory, 23 ... D / A converter, 41a ... 1st traffic zone, 41b ... 2nd traffic zone, 41c ... 3rd traffic zone, 42 ... Constant speed moving vehicle, 31 ... Display device, 32 ... Image recognition device, 50 ... Input image, 51 ... Output image, 52L, 55L ... Output image, 52R, 55R ... Output image, 56L, 56R ... Overhead image, 57L, 57R ... Distortion corrected image

Claims (3)

撮像装置からの入力画像を処理し出力画像を生成する画像処理装置であって、
前記入力画像内にある等速移動する移動体が、前記出力画像上を等速移動する様に画像変換処理を行うことを特徴とする画像処理装置。 An image processing device that processes an input image from an imaging device and generates an output image,
An image processing apparatus that performs image conversion processing so that a moving body that moves at a constant speed in the input image moves at a constant speed on the output image. 請求項１に記載の画像処理装置において、
前記移動体の移動方向は、地面から垂直方向に設定された前記撮像装置の光軸を含む仮想平面と平行な向きであることを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The moving direction of the moving body is a direction parallel to a virtual plane including an optical axis of the imaging device set in a vertical direction from the ground. 請求項１に記載の画像処理装置の前記画像変換処理を含むことを特徴とする運転支援装置。   A driving support apparatus comprising the image conversion process of the image processing apparatus according to claim 1.
JP2017024245A 2017-02-13 2017-02-13 Image processing system and drive support device using the same Pending JP2018133616A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017024245A JP2018133616A (en) 2017-02-13 2017-02-13 Image processing system and drive support device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017024245A JP2018133616A (en) 2017-02-13 2017-02-13 Image processing system and drive support device using the same

Publications (1)

Publication Number Publication Date
JP2018133616A true JP2018133616A (en) 2018-08-23

Family

ID=63249008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017024245A Pending JP2018133616A (en) 2017-02-13 2017-02-13 Image processing system and drive support device using the same

Country Status (1)

Country Link
JP (1) JP2018133616A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013085142A (en) * 2011-10-11 2013-05-09 Honda Motor Co Ltd Drive support device for vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013085142A (en) * 2011-10-11 2013-05-09 Honda Motor Co Ltd Drive support device for vehicle

Similar Documents

Publication Publication Date Title
US9771022B2 (en) Display apparatus
US8559675B2 (en) Driving support device, driving support method, and program
KR100936558B1 (en) Perimeter monitoring apparatus and image display method for vehicle
US9050931B2 (en) Vehicle periphery monitoring system
JP6257989B2 (en) Driving assistance device
CN110308556B (en) Image forming system, image correcting system, image displaying method, moving object, and non-transitory computer-readable medium
US8477191B2 (en) On-vehicle image pickup apparatus
JP5209578B2 (en) Image display device for vehicle
JP4315968B2 (en) Image processing apparatus and visibility support apparatus and method
JP2012527681A (en) Lane departure detection method and apparatus using vehicle periphery image
JPH0399952A (en) Surrounding situation monitor for vehicle
JP2018537329A (en) Method and apparatus for determining a covered area in a vehicle periphery of a vehicle
WO2018016119A1 (en) Display control device, method, program and system
JP6443716B2 (en) Image display device, image display method, and image display control program
JP2018526873A (en) Vehicle-mounted camera means for photographing the periphery of the vehicle, and driver assistant device for object recognition provided with such vehicle-mounted camera means
TW201904282A (en) Camera device, camera module and control method of camera device
JP6668975B2 (en) Electronics and vehicles
JP4569285B2 (en) Image processing device
JP2016109645A (en) Information providing device, information providing method, and control program for providing information
CN104735403A (en) vehicle obstacle detection display system
JP2019040634A (en) Image display device, image display method and image display control program
JP2006178652A (en) Vehicle environment recognition system and image processor
JP2018133616A (en) Image processing system and drive support device using the same
JP6274936B2 (en) Driving assistance device
JP2010195271A (en) Parking support device and display method of parking support image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210525