JP6941949B2 - Vehicle image display device - Google Patents
Vehicle image display device Download PDFInfo
- Publication number
- JP6941949B2 JP6941949B2 JP2017049634A JP2017049634A JP6941949B2 JP 6941949 B2 JP6941949 B2 JP 6941949B2 JP 2017049634 A JP2017049634 A JP 2017049634A JP 2017049634 A JP2017049634 A JP 2017049634A JP 6941949 B2 JP6941949 B2 JP 6941949B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- platform
- posture
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車両用映像表示装置に関し、特に、自車両を上方から見た俯瞰映像を表示可能な車両用映像表示装置に関する。 The present invention relates to a vehicle image display device, and more particularly to a vehicle image display device capable of displaying a bird's-eye view image of the own vehicle viewed from above.
従来、自車両周辺を撮像する車載カメラを備えた車両用映像表示装置が知られている。この車両用映像表示装置において、近年、運転者の死角となる自車両直下の領域を透過的な車両の画像と共に俯瞰映像として車室内に設置された表示部に表示させる技術が開発されている。 Conventionally, a vehicle image display device including an in-vehicle camera that captures an image of the surroundings of the own vehicle has been known. In this vehicle image display device, in recent years, a technique has been developed in which an area directly under the own vehicle, which is a blind spot of the driver, is displayed on a display unit installed in the vehicle interior as a bird's-eye view image together with a transparent image of the vehicle.
例えば、特許文献1では、車両後部に設置されて自車両周辺の画像を撮像する車載カメラと、該車載カメラが撮像した画像を基に俯瞰映像を生成し、車載モニタに表示させる車両用映像表示装置が記載されている。車載モニタには、同時に透過的な車両の画像が表示され、この透過部分を通して運転者の死角となる車両直下領域が視認できるように画像が合成されている。 For example, in Pat. The device is described. At the same time, a transparent image of the vehicle is displayed on the in-vehicle monitor, and the image is synthesized so that the area directly under the vehicle, which is the blind spot of the driver, can be visually recognized through the transparent portion.
また、特許文献2に記載の車両用映像表示装置では、車両の周縁に配置された複数の車載カメラが撮像した画像を合成して、自車両とその周辺の路面画像を含む俯瞰映像を半透明化した車両の画像とともに表示部に表示させている。 Further, in the vehicle image display device described in Patent Document 2, images taken by a plurality of in-vehicle cameras arranged on the periphery of the vehicle are combined, and a bird's-eye view image including a road surface image of the own vehicle and its surroundings is translucent. It is displayed on the display unit together with the image of the converted vehicle.
これらの車両用映像表示装置では、車載カメラが撮像した時系列的な撮像画像に視点変換処理を施して、車載カメラがリアルタイムに撮像することのできない自車両直下領域の画像を生成し、賦形映像として表示させている。これにより、運転者の死角となる各タイヤの前方部分に、石等の障害物があっても、運転者がこれを容易に把握して適切な走行を行うことができる。 In these vehicle image display devices, the time-series captured images captured by the vehicle-mounted camera are subjected to viewpoint conversion processing to generate an image of the region directly under the own vehicle that the vehicle-mounted camera cannot capture in real time, and shaped. It is displayed as an image. As a result, even if there is an obstacle such as a stone in the front portion of each tire which is a blind spot of the driver, the driver can easily grasp the obstacle and perform appropriate driving.
しかしながら、上述した車両用映像表示装置では、走行中に車両姿勢が大きく変化する場合、例えば、路面勾配が急激に変化して車両の前後方向の傾きが大きく変化する場合に、車載カメラと路面との距離や、車載カメラが撮像する路面の範囲が変化することから、表示される俯瞰映像に歪みが発生することがある。具体的に説明すると、車両走行中に表示部に連続的に表示される俯瞰映像は、視点変換処理を行った時系列的な車載カメラの撮像画像(静止画像)の結像により得られるため、車両姿勢の変化前後では、結像された映像の遠近感等の差から俯瞰映像が歪んでいるように見える。その結果、映像を見ている運転者に違和感を与えたり、運転者が必要とする死角領域の情報(例えば、タイヤ前方の障害物の有無など)が適切に得られなかったりする事態が生じていた。 However, in the above-mentioned vehicle image display device, when the vehicle attitude changes significantly during traveling, for example, when the road surface gradient suddenly changes and the vehicle's front-rear inclination changes significantly, the vehicle-mounted camera and the road surface Since the distance of the vehicle and the range of the road surface captured by the in-vehicle camera change, the displayed bird's-eye view image may be distorted. Specifically, the bird's-eye view image continuously displayed on the display unit while the vehicle is running is obtained by imaging a time-series captured image (still image) of the in-vehicle camera that has undergone the viewpoint conversion process. Before and after the change in vehicle attitude, the bird's-eye view image seems to be distorted due to the difference in perspective of the imaged image. As a result, the driver who is watching the image may feel uncomfortable, or the information on the blind spot area required by the driver (for example, the presence or absence of an obstacle in front of the tire) may not be properly obtained. rice field.
本発明は、上記課題に鑑みてなされたものであって、車載カメラの撮像画像に基づいて自車両の俯瞰映像を生成して表示部に表示させる際に、車両姿勢の変化に起因して俯瞰映像に表れる歪みを低減し、運転者に適切な路面情報を提供することが可能な車両用映像表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and when a bird's-eye view image of the own vehicle is generated based on an image captured by an in-vehicle camera and displayed on a display unit, the bird's-eye view is caused by a change in the vehicle attitude. An object of the present invention is to provide a vehicle image display device capable of reducing distortion appearing in an image and providing appropriate road surface information to a driver.
上記目的を達成するために、請求項1に記載の車両用映像表示装置は、自車両周辺の路面を撮影する車載カメラと、前記車載カメラが撮像した画像データに基づいて視点変換処理を行った俯瞰映像を生成し、車室内に設置された表示部に表示させる制御部と、車両姿勢を検知する車両姿勢センサと、を備え、前記制御部は、基準となる車両姿勢を規定したプラットフォームを有し、該プラットフォームで規定した基準車両姿勢と、前記車両姿勢センサが検知した車両姿勢との間にズレがある場合に、前記車載カメラにて得た画像データに対して車両姿勢のズレ量に基づく補正処理を行って前記俯瞰映像を生成し、前記制御部は、前記車両姿勢センサの検知結果に基づいて前記プラットフォームを設定可能であり、設定された第1のプラットフォームの基準車両姿勢と前記車両姿勢センサが検知した車両姿勢との間にズレがあり、かつ、車両姿勢のズレ量が一定である状態が所定時間以上継続した場合に、前記車両姿勢センサが検知した車両姿勢を基準とする第2のプラットフォームに移行することを特徴とする。 In order to achieve the above object, the vehicle image display device according to claim 1 performs a viewpoint conversion process based on an in-vehicle camera that photographs the road surface around the own vehicle and image data captured by the in-vehicle camera. It is equipped with a control unit that generates a bird's-eye view image and displays it on a display unit installed in the vehicle interior, and a vehicle attitude sensor that detects the vehicle attitude. The control unit has a platform that defines a reference vehicle attitude. However, when there is a discrepancy between the reference vehicle posture defined by the platform and the vehicle posture detected by the vehicle posture sensor, the deviation amount of the vehicle posture with respect to the image data obtained by the in-vehicle camera is used. The bird's-eye view image is generated by performing correction processing, and the control unit can set the platform based on the detection result of the vehicle posture sensor, and the set reference vehicle posture of the first platform and the vehicle posture. When there is a deviation from the vehicle posture detected by the sensor and the state in which the deviation amount of the vehicle posture is constant continues for a predetermined time or longer, the second vehicle posture detected by the vehicle attitude sensor is used as a reference. It is characterized by migrating to the platform of.
この構成によれば、制御部において定められたプラットフォームの基準車両姿勢と、走行中の車両姿勢との間にズレが生じた場合に、車載カメラで撮影して得た画像データに対して車両姿勢のズレ量に基づく補正処理を行うため、車両姿勢の変化に起因する俯瞰映像の歪みを低減することができる。これにより、運転者に与える違和感を軽減することができる。
また、この構成によれば、一定勾配の路面が継続する場合に、路面状況に適したプラットフォームを新たに設定することができるので、設定されたプラットフォームに対する補正処理を簡素化できる。
According to this configuration, when there is a discrepancy between the reference vehicle posture of the platform defined by the control unit and the vehicle posture while driving, the vehicle posture with respect to the image data taken by the in-vehicle camera. Since the correction process is performed based on the amount of deviation, it is possible to reduce the distortion of the bird's-eye view image due to the change in the vehicle posture. This makes it possible to reduce the discomfort given to the driver.
Further, according to this configuration, when the road surface having a constant slope continues, a platform suitable for the road surface condition can be newly set, so that the correction process for the set platform can be simplified.
また、請求項2に記載の発明は、請求項1に記載の車両用映像表示装置において、前記車載カメラは、自車両の前方側下方を撮像する前部車載カメラであることを特徴とする。 The invention according to claim 2 is characterized in that, in the vehicle image display device according to claim 1, the in-vehicle camera is a front in-vehicle camera that captures an image of the lower front side of the own vehicle.
この構成によれば、前部車載カメラの画像データに基づいて、車両の前進走行中に自車両直下領域の俯瞰画像を生成して表示部に表示させることができるので、俯瞰映像の生成処理が容易である。 According to this configuration, it is possible to generate a bird's-eye view image of the area directly under the own vehicle and display it on the display unit while the vehicle is traveling forward based on the image data of the front in-vehicle camera. It's easy.
また、請求項3に記載の発明は、請求項1又は2に記載の車両用映像表示装置において、前記車両姿勢センサは、少なくとも車両の前後方向の傾きを検知することを特徴とする。 The invention according to claim 3 is characterized in that, in the vehicle image display device according to claim 1 or 2, the vehicle posture sensor detects at least the inclination of the vehicle in the front-rear direction.
この構成によれば、車両の前後方向の傾き(すなわち、車両のピッチ角の変化)は、車載カメラと路面との間の距離や、路面の撮像範囲に大きな影響を与えやすいので、このピッチ角の変化を車両姿勢センサにより検知し、制御部によりズレ量であるピッチ角の変化量に基づいて画像データを補正することで、俯瞰映像における違和感を適切に低減することができる。 According to this configuration, the inclination of the vehicle in the front-rear direction (that is, the change in the pitch angle of the vehicle) tends to greatly affect the distance between the in-vehicle camera and the road surface and the imaging range of the road surface. By detecting the change in the vehicle attitude sensor and correcting the image data based on the amount of change in the pitch angle, which is the amount of deviation, the control unit can appropriately reduce the discomfort in the bird's-eye view image.
また、請求項4に記載の発明は、請求項1〜3の何れか1項に記載の車両用映像表示装置において、前記制御部は、前記ズレ量に基づいて、前記画像データにおける路面勾配を前記プラットフォームの基準車両姿勢における路面勾配に近似させる補正処理を行うことを特徴とする。 Further, the invention according to claim 4 is the vehicle image display device according to any one of claims 1 to 3, wherein the control unit determines the road surface gradient in the image data based on the deviation amount. It is characterized in that correction processing is performed so as to approximate the road surface gradient in the reference vehicle attitude of the platform.
この構成によれば車両姿勢の変化によって車載カメラによる画像データに視覚的な路面勾配の変化が発生する場合に、変化した路面勾配をプラットフォームの基準車両姿勢における路面勾配に近似させる補正処理が行われることで、表示された俯瞰映像において、車両があたかも一定勾配の路面を走行しているように見せることができる。これにより、例えば、車両姿勢が変化するような悪路を走行している場合であっても、一定勾配の路面(例えば、平坦路面)を走行しているような俯瞰映像を表示させることが可能となり、俯瞰映像における車両直下領域の視認性が向上する。その結果、運転者が地面の状況をより的確に把握することが可能となる。 According to this configuration, when a visual change in the road surface gradient occurs in the image data obtained by the in-vehicle camera due to a change in the vehicle attitude, a correction process is performed to approximate the changed road surface gradient to the road surface gradient in the reference vehicle attitude of the platform. As a result, in the displayed bird's-eye view image, it is possible to make it appear as if the vehicle is traveling on a road surface having a constant slope. As a result, for example, even when the vehicle is traveling on a rough road where the vehicle posture changes, it is possible to display a bird's-eye view image as if the vehicle is traveling on a constant slope road surface (for example, a flat road surface). Therefore, the visibility of the area directly under the vehicle in the bird's-eye view image is improved. As a result, the driver can more accurately grasp the condition of the ground.
本発明に係る車両用映像表示装置によれば、走行中に車両姿勢が変化した際に、車載カメラの撮影画像データに対して補正処理を行うことで、時系列的な撮影画像データに基づく表示映像の結像部分に生じる視覚的な違和感を低減することができる。これにより、表示部に表示される俯瞰画像の歪みが低減され、運転者に適切な路面情報を提供することができる。 According to the vehicle image display device according to the present invention, when the vehicle attitude changes during traveling, correction processing is performed on the captured image data of the in-vehicle camera to display based on the time-series captured image data. It is possible to reduce the visual discomfort that occurs in the imaged portion of the image. As a result, the distortion of the bird's-eye view image displayed on the display unit is reduced, and appropriate road surface information can be provided to the driver.
図1は、本発明の実施の形態である車両用映像表示装置10の構成を示すブロック図である。車両用撮像装置10は、車両(自車両)70に搭載され、カメラの撮像映像に基づいて自車両を上方から見た俯瞰映像を生成し、車室内に設置された表示部に表示させるものであり、カメラ(車載カメラ)20と、傾斜センサ(車両姿勢センサ)30と、制御部40と、表示部50とを備える。
FIG. 1 is a block diagram showing a configuration of a vehicle
カメラ20は、広角撮影が可能な魚眼レンズまたは広角レンズを備え、図2に示すように、車両70の前部における車幅方向の中央部に配置されており、車両70の前方側下方を含む広角領域を撮像する。
The
傾斜センサ30は、主に路面の勾配に起因する車両姿勢である車両70の傾斜を検知するものであり、例えば、Gセンサ、ジャイロセンサ及びサスストロークセンサ等を単独又は組み合わせて用いることができる。傾斜センサ30としてGセンサを用いた場合には、比較的小型で、簡易かつ安価に構成することができる。本実施の形態では傾斜センサ30により、車両70の前後方向の傾斜角(ピッチ角)を検知している。
The
制御部40は、例えばCPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス等を有して構成され、カメラ20、傾斜センサ30及び表示部50と接続されている。制御部40は、プラットフォーム設定部41と、ズレ量算出部42と、判定部43と、俯瞰映像生成部45とを備える。
The
プラットフォーム設定部41は、車両姿勢のズレ量を算出する際の基準となるプラットフォームを設定する部位である。ここで、プラットフォームとは、基準となる車両姿勢を規定したものである。本実施の形態では、図2に示すように、路面勾配が零である水平路面80に車両70を載置した状態を基準の車両姿勢とした第1のプラットフォームを初期値として設定している。
The
プラットフォーム設定部41は、さらに、走行状態に応じて、ズレ量算出の基準となるプラットフォーム(以下、補正用PFという)を第1のプラットフォームとは異なるプラットフォーム(例えば、第2、第3のプラットフォーム)に適宜変更する。プラットフォーム設定部41には、プラットフォーム設定変更のための変化量閾値dthと時間閾値Tthとが設定されている。ここで、閾値dthを設定している変化量とは、単位時間辺りの車両姿勢の変化量であり、本実施の形態では、単位時間辺りのピッチ角の変化量dである。
The
ズレ量算出部42は、補正用PFで規定された車両姿勢(以下、基準車両姿勢という)と、傾斜センサ30が検知した車両姿勢とを比較して、基準車両姿勢に対する車両70の車両姿勢のズレ量Δを算出する。本実施の形態では、ズレ量算出部42が、基準車両姿勢のピッチ角と、傾斜センサ30が検知した車両70のピッチ角とを比較して、ピッチ角のズレ量Δを算出する。
The deviation amount calculation unit 42 compares the vehicle posture defined by the correction PF (hereinafter referred to as the reference vehicle posture) with the vehicle posture detected by the
判定部43は、補正処理を行うか否かの判定、及び、補正用PFの変更を行うための要件の判定を行う部位である。具体的には、判定部43は、ズレ量算出部42により算出されたズレ量Δを予め設定されているズレ量閾値Δthと比較し、ズレ量Δがズレ量閾値Δthの範囲を超えているか否かを判定する。 The determination unit 43 is a portion that determines whether or not to perform the correction process and determines the requirements for changing the correction PF. More specifically, the determination unit 43 compares the deviation amount threshold delta th set in advance to be a deviation amount delta calculated by the shift amount calculating part 42, shift amount delta is outside the range of displacement amount threshold delta th Determine if it is.
俯瞰映像生成部45は、補正処理部46と、視点変換処理部47と、画像合成部48とを備える。 The bird's-eye view image generation unit 45 includes a correction processing unit 46, a viewpoint conversion processing unit 47, and an image composition unit 48.
補正処理部46は、ズレ量算出部42が算出したズレ量Δに基づいてカメラ20が撮像した画像データを補正する。本実施の形態では、カメラ20が撮像した画像の路面勾配を補正用PFの基準車両姿勢における路面勾配に近似させるように、ズレ量Δに応じた座標変換処理を行う。
The correction processing unit 46 corrects the image data captured by the
視点変換処理部47は、カメラ20が撮像した画像を車両70の上方から見た画像となるように視点変換(座標変換)する処理を行う。また、視点変換処理部47は、補正処理部46において補正処理が行われた場合、補正処理後の画像に対して視点変換処理を行う。
The viewpoint conversion processing unit 47 performs a process of performing viewpoint conversion (coordinate conversion) so that the image captured by the
画像合成部48は、視点変換された時系列的な俯瞰画像を合成(結像)する画像合成処理を行う。なお、視点変換処理及び画像合成処理については、例えば特開2002−087160号公報等に開示された技術により実行することができる。 The image synthesizing unit 48 performs an image synthesizing process for synthesizing (imaging) a time-series bird's-eye view image whose viewpoint has been transformed. The viewpoint conversion process and the image composition process can be performed by, for example, the techniques disclosed in Japanese Patent Application Laid-Open No. 2002-087160.
俯瞰映像生成部45は、さらに、生成された俯瞰映像に透過的な車両70の輪郭を合成する処理を行って、これを表示部50に表示させる。表示部50としては、車室内に設置されて、制御部40で生成された映像を表示可能な車載モニタを用いることができる。
The bird's-eye view image generation unit 45 further performs a process of synthesizing a transparent outline of the
表示部50の画面55に表示される俯瞰映像には、タイヤの輪郭52aを含む透過的な車両70の輪郭形状が表示され(図5(b)参照)、運転者は、この透過的な車両画像52を通して死角となる車両70の直下領域R(図2参照)を視認することができる。
The bird's-eye view image displayed on the screen 55 of the
図3は、制御部40によって実行される俯瞰映像表示処理を示すフローチャート図である。以下、ステップ毎に順を追って制御部40の処理を説明する。
FIG. 3 is a flowchart showing a bird's-eye view video display process executed by the
まず、制御部40のズレ量算出部42は、傾斜センサ30から検知信号を受信すると、プラットフォーム設定部41において設定された補正用PFと傾斜センサ30により検知した車両70のピッチ角とに基づき、補正用PFの基準車両姿勢に対する車両70のピッチ角のズレ量Δを算出する(ステップS11)。
First, when the deviation amount calculation unit 42 of the
判定部44は、算出されたズレ量Δがズレ量閾値Δthの範囲を超えているか否かを判定する(ステップS12)。 Determining unit 44 determines the calculated amount of deviation delta is whether beyond the scope of the deviation amount threshold delta th (step S12).
ズレ量Δがズレ量閾値Δthの範囲内である場合(ステップS12:No)、俯瞰映像生成部43の視点変換処理部46は、カメラ20が撮像した画像データに対して、視点変換処理を行う(ステップS14)。
If the deviation amount delta is within the range of displacement amount threshold delta th (step S12: No), the viewpoint conversion processing unit 46 of the overhead view video generation unit 43, the image data by the
次に、画像合成部47は、視点変換処理後の時系列的な画像を合成して、俯瞰映像を生成するとともに、生成された俯瞰映像に車両70の透過的な画像を合成する(ステップS15)。
Next, the image synthesizing unit 47 synthesizes the time-series images after the viewpoint conversion processing to generate a bird's-eye view image, and also synthesizes a transparent image of the
その後、俯瞰映像生成部43は、生成された俯瞰映像を表示部50に表示させる(ステップS16)。
After that, the bird's-eye view image generation unit 43 causes the
ステップ12において、ズレ量Δがズレ量閾値Δthよりも大きい場合(ステップS12:Yes)、補正処理部46は、ズレ量Δに基づいて、カメラ20の画像データに対して補正処理を行う(ステップS13)。
In
その後、視点変換処理部46は、補正処理された画像データに対して、視点変換処理を行う(ステップS14)。次に、画像合成部47は、視点変換処理後の時系列的な画像を合成して俯瞰映像を生成するとともに、この俯瞰映像に車両70の透過的な画像を合成する(ステップS15)。その後、生成された俯瞰映像を表示部50に表示させる(ステップS16)。
After that, the viewpoint conversion processing unit 46 performs viewpoint conversion processing on the corrected image data (step S14). Next, the image synthesizing unit 47 synthesizes the time-series images after the viewpoint conversion process to generate a bird's-eye view image, and synthesizes a transparent image of the
図4は、上述した車両用映像表示装置10における補正処理の作用を説明する図である。なお、図4の説明において、車両70の補正用PFは第1のプラットフォームに設定されているものとする。
FIG. 4 is a diagram illustrating the operation of the correction process in the vehicle
車両70が凹凸のある路面(悪路)を走行することにより、基準車両姿勢(図4で仮想線で示す車両姿勢)に対して車両70のピッチ角のズレ量Δがズレ量閾値Δthよりも大きくなると、カメラ20が撮像した画像データに対してズレ量Δに応じた補正処理が実行される。
When the
この補正処理では、カメラ20が撮像した画像の路面勾配(図4の二点鎖線で示す路面勾配86)を基準車両姿勢における路面勾配(図4で二点鎖線で示す水平路面80)に近似させるように、ズレ量Δに応じた座標変換処理が実行される。これにより、カメラ20の画像データは、車両70があたかも一定勾配の路面(ここでは水平路面80)を走行しているかのように補正される。
In this correction process, the road surface gradient (
図5(a)は、従来の車両用映像表示装置の表示部に表示される俯瞰映像の例を示す図であり、図5(b)は、本実施の形態の車両用映像表示装置10の表示部50に表示される俯瞰映像の例を示す図である。なお、図5では、車両70の直下の路面に「ABC」の文字が描かれた状態を示している。
FIG. 5A is a diagram showing an example of a bird's-eye view image displayed on a display unit of a conventional vehicle image display device, and FIG. 5B is a diagram of the vehicle
図5(a)に示すように、補正処理が行われない従来の車両用映像表示装置では、悪路走行によって車両のピッチ角が変化した際に、路面と車載カメラとの距離が変化することに起因して、表示部の画面155に表示される俯瞰映像に歪みが生じる。そのため、画面155において透過的な車両画像152を通して視認される、路面に描かれた「ABC」の文字が歪んでしまう。
As shown in FIG. 5A, in the conventional vehicle image display device in which the correction process is not performed, the distance between the road surface and the vehicle-mounted camera changes when the pitch angle of the vehicle changes due to driving on a rough road. Due to this, the bird's-eye view image displayed on the
これに対し、本実施の形態の車両用映像表示装置10では、ピッチ角の変化に応じて補補正処理を行うことで、図5(b)に示すように、路面とカメラ20との距離が変化した場合であっても、車両画像52を通して視認される路面に描かれた「ABC」の文字の歪みを低減することができる。これにより、運転者に正確な路面情報を提供することが可能となる。
On the other hand, in the vehicle
車両姿勢変化(ピッチ角、ロール角及びヨー角の変化)の中で、特に、ピッチ角の変化は、カメラ20と路面との間の距離や、カメラ20による路面の撮像範囲に大きな影響を与えやすい。本実施の形態の車両用映像表示装置10では、傾斜センサ30によりピッチ角を検知し、プラットフォームで規定された基準車両姿勢に対するピッチ角のズレ量Δに応じた補正処理をカメラ20の画像データに施すことで、ピッチ角の変化に起因する俯瞰映像の歪みを適切に抑制することができる。
Among the changes in vehicle attitude (changes in pitch angle, roll angle, and yaw angle), changes in pitch angle have a great influence on the distance between the
また、本実施の形態の車両用映像表示装置10では、車両70に搭載した1台の広角カメラ20の撮像画像に基づいて俯瞰映像を生成しているので、複数のカメラによって撮像した画像を合成して俯瞰映像を生成するものに比べて、俯瞰映像生成部45における画像処理が容易である。
Further, in the vehicle
既述のとおり、本実施の形態の車両用映像表示装置10は、走行状態に応じて、補正用PFを初期値である第1のプラットフォームから他のプラットフォームへ変更することが可能である。以下に、補正用PFの設定処理について説明する。
As described above, the vehicle
図6は、制御部40によって実行される補正用PFの設定処理を示すフローチャート図である。以下、ステップ毎に順を追って制御部40の処理を説明する。
FIG. 6 is a flowchart showing a correction PF setting process executed by the
まず、制御部40のズレ量算出部42は、傾斜センサ30からの検知信号と、プラットフォーム設定部41において既に設定されている補正用PF(例えば、第1のプラットフォーム)とに基づいて、基準車両姿勢に対する車両70のピッチ角のズレ量Δを算出する(ステップS21)。
First, the deviation amount calculation unit 42 of the
判定部44は、算出されたズレ量Δがズレ量閾値Δthの範囲を超えているか否かを判定する(ステップS22)。 Determining unit 44 determines the calculated amount of deviation delta is whether beyond the scope of the deviation amount threshold delta th (step S22).
ズレ量Δがズレ量閾値Δthの範囲内である場合(ステップS22:No)、制御部40は、処理を終了(リターン)する。
If the deviation amount delta is within the range of displacement amount threshold delta th (step S22: No), the
ズレ量Δがズレ量閾値Δthを超えた場合(ステップS22:Yes)、プラットフォーム設定部41は、傾斜センサ30からの検知信号に基づき、車両姿勢の変化量である単位時間辺りの車両70のピッチ角の変化量dを算出し、算出した変化量dが変化量閾値dthの範囲内にあるか否かを判定するとともに(ステップS23)、変化量dが変化量閾値dthの範囲内となっている時間Tをカウントする(ステップS24)。
If the deviation amount delta exceeds the shift amount threshold delta th (step S22: Yes), the
ステップS23において変化量dが変化量閾値dthを超えていない場合(ステップS23:No)、制御部40は、処理を終了(リターン)する。
When the change amount d does not exceed the change amount threshold value dth in step S23 (step S23: No), the
なお、プラットフォーム設定部41は、カウント時間Tが時間閾値Tthを経過するまでの間(ステップS24:No)、繰り返しステップS23の判定を行う。 The platform setting unit 41 repeatedly determines step S23 until the count time T elapses from the time threshold value T th (step S24: No).
カウントした時間Tが時間閾値Tthを超えた場合(ステップS24:Yes)、すなわち、ピッチ角のズレ量Δがほぼ一定の状態(変化量d≦変化量閾値dthの状態)が所定の時間閾値Tth以上継続した場合、時間Tのカウント開始時から時間閾値Tthまでの間に傾斜センサ30により検知された車両70の車両姿勢に基づいて、車両70の平均車両姿勢を算出する(ステップS25)。ここでは、傾斜センサ30で検知されたピッチ角に基づいて、カウント開始時から時間閾値Tthまでの間の車両70の平均ピッチ角を算出する。
When the counted time T exceeds the time threshold T th (step S24: Yes), that is, a state in which the deviation amount Δ of the pitch angle is substantially constant (change amount d ≦ change amount threshold d th ) is a predetermined time. When the threshold T th or more is continued, the average vehicle posture of the
その後、プラットフォーム設定部41は、算出した平均車両姿勢を基準車両姿勢とする新たなプラットフォーム(第1のプラットフォームと基準車両姿勢の異なる第2のプラットフォーム)を補正用PFとして設定し(ステップS26)、処理を終了(リターン)する。
After that, the
なお、本実施の形態において、プラットフォーム設定処理で用いられるズレ量閾値Δthは、俯瞰映像生成表示処理において用いられるズレ量閾値Δthと同じ値に設定されているが、これらを互いに異なる値に設定してもよい。 In the present embodiment, deviation amount threshold delta th used in the platform configuration process has been set to the same value as the deviation amount threshold delta th used in the overhead view video generation display process them into different values It may be set.
次に、図7を用いて、補正用PFの設定の一例を説明する。なお、図7において、車両70は車両位置P1から車両位置P4へ順に移動し、車両位置P1において車両70は水平路面を走行しており、補正用PFとして第1のプラットフォームが設定されているものとする。
Next, an example of setting the correction PF will be described with reference to FIG. 7. In FIG. 7, the
車両70が車両位置P1から車両位置P2へ移行すると、ピッチ角が変化し、基準車両姿勢に対するズレ量ΔP2がズレ量閾値Δthを超える。すると、プラットフォーム設定部41は、車両70のピッチ角の変化量dを算出し、算出した変化量dが変化量閾値dthの範囲内であるか否かを判定する。車両位置P2では、変化量d>変化量閾値dthとなり、第1のプラットフォームが維持される。なお、車両位置P2では、補正処理部46によりズレ量ΔP2に応じた補正処理が施された俯瞰映像が生成される。
When the
車両70が車両位置P2から一定の路面勾配が継続する車両位置P3へ移行する際には、ズレ量Δがズレ量閾値Δthを超えるとともに、一定の路面勾配により車両70のピッチ角がほぼ一定に定まることで、ピッチ角の変化量dが変化量閾値dthの範囲内となる。この状態が時間閾値Tth以上継続すると、プラットフォーム設定部41は、補正用PFを第1のプラットフォームから第2のプラットフォームに変更する。本実施例において第2のプラットフォームで規定した基準車両姿勢は、車両位置P3で示す車両姿勢となる。
When the
なお、車両位置P3では、俯瞰映像生成処理において、第2のプラットフォームの基準車両姿勢に対してピッチ角のズレ量Δを算出することとなる。車両位置P3では、算出したズレ量Δは零(ズレ量閾値Δthの範囲内)となることから、俯瞰映像が生成において補正処理は実行されない。 In the vehicle position P 3, the overhead image generation processing, and calculating the shift amount Δ of the pitch angle relative to the reference vehicle posture of the second platform. In the vehicle position P 3, since the deviation amount delta calculated to be zero (in the range of displacement amount threshold delta th), correction processing overhead view video is in the production is not executed.
車両70が車両位置P3から車両位置P4へ移行すると、ピッチ角が変化し、第2のプラットフォームの基準車両姿勢に対するズレ量ΔP4がズレ量閾値Δthを超える。すると、プラットフォーム設定部41は、車両70のピッチ角の変化量dを算出し、算出した変化量dが変化量閾値dthの範囲内であるか否かを判定する。車両位置P4では、変化量d>変化量閾値dthとなり、第2のプラットフォームが維持される。なお、車両位置P4では、補正処理部46によりズレ量ΔP4に応じた補正処理が施された俯瞰映像が生成される。
When the
上述のように、一定勾配の路面が継続する場合に、補正用PFを路面状況に適したプラットフォームに設定変更することで、設定されたプラットフォームに対する補正処理を簡素化できる。これにより、俯瞰映像生成部45におけるデータ処理の負荷を軽減することができる。 As described above, when the road surface having a constant slope continues, the correction process for the set platform can be simplified by changing the setting of the correction PF to a platform suitable for the road surface condition. As a result, the load of data processing in the bird's-eye view image generation unit 45 can be reduced.
なお、本発明は上述した実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the invention.
例えば、傾斜センサ30により、さらに車両70のロール角を検知し、ピッチ角のズレ量Δとともに、基準車両姿勢に対するロール角のズレ量に応じて、補正処理を施す構成であってもよい。また、車両姿勢に基づく補正処理は、視点変換処理部による視点変換処理の後に実行する構成であってもよい。
For example, the
また、車両用映像表示装置10は、複数の車載カメラを備え、これらのカメラによる俯瞰画像を合成することにより、車両70とその周辺領域を含む俯瞰映像を生成する構成であってもよい。このような画像の合成には、例えば、特開2010−130413号公報等に示される手法を適用することが可能である。複数の車載カメラとしては、例えば、前部カメラ20の他に、車両70の左右側部にそれぞれ配置されて車両70の側部側下方の領域を撮像可能な側部カメラや、車両70の後部に配置されて車両70の後部側下方の領域を撮像可能な後部カメラを適宜組み合わせて用いることができる。
Further, the vehicle
10 車両用映像表示装置
20 カメラ(前部車載カメラ)
30 傾斜センサ(車両姿勢センサ)
40 制御部
45 俯瞰映像生成部
50 表示部
70 車両
10 Vehicle
30 Tilt sensor (vehicle attitude sensor)
40 Control unit 45 Bird's-eye view
Claims (4)
前記車載カメラが撮像した画像データに基づいて視点変換処理を行った俯瞰映像を生成し、車室内に設置された表示部に表示させる制御部と、
車両姿勢を検知する車両姿勢センサと、を備え、
前記制御部は、基準となる車両姿勢を規定したプラットフォームを有し、該プラットフォームで規定した基準車両姿勢と、前記車両姿勢センサが検知した車両姿勢との間にズレがある場合に、前記車載カメラにて得た画像データに対して車両姿勢のズレ量に基づく補正処理を行って前記俯瞰映像を生成し、
前記制御部は、前記車両姿勢センサの検知結果に基づいて前記プラットフォームを設定可能であり、設定された第1のプラットフォームの基準車両姿勢と前記車両姿勢センサが検知した車両姿勢との間にズレがあり、かつ、車両姿勢のズレ量が一定である状態が所定時間以上継続した場合に、前記車両姿勢センサが検知した車両姿勢を基準とする第2のプラットフォームに移行することを特徴とする車両用映像表示装置。 An on-board camera that shoots the road surface around the vehicle and
A control unit that generates a bird's-eye view image that has undergone viewpoint conversion processing based on the image data captured by the in-vehicle camera and displays it on a display unit installed in the vehicle interior.
Equipped with a vehicle attitude sensor that detects the vehicle attitude,
The control unit has a platform that defines a reference vehicle posture, and when there is a discrepancy between the reference vehicle posture defined by the platform and the vehicle posture detected by the vehicle posture sensor, the in-vehicle camera The image data obtained in the above-mentioned image data is corrected based on the amount of deviation of the vehicle posture to generate the bird's-eye view image .
The control unit can set the platform based on the detection result of the vehicle posture sensor, and there is a deviation between the set reference vehicle posture of the first platform and the vehicle posture detected by the vehicle posture sensor. For vehicles characterized by shifting to a second platform based on the vehicle posture detected by the vehicle posture sensor when the state in which the deviation amount of the vehicle posture is constant continues for a predetermined time or longer. Video display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049634A JP6941949B2 (en) | 2017-03-15 | 2017-03-15 | Vehicle image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049634A JP6941949B2 (en) | 2017-03-15 | 2017-03-15 | Vehicle image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018152014A JP2018152014A (en) | 2018-09-27 |
JP6941949B2 true JP6941949B2 (en) | 2021-09-29 |
Family
ID=63680882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017049634A Active JP6941949B2 (en) | 2017-03-15 | 2017-03-15 | Vehicle image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6941949B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7081481B2 (en) * | 2018-12-28 | 2022-06-07 | 株式会社Jvcケンウッド | Vehicle video processing equipment, vehicle video processing systems, vehicle video processing methods and programs |
JP2022176839A (en) * | 2021-05-17 | 2022-11-30 | 京セラ株式会社 | Observation device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007266930A (en) * | 2006-03-28 | 2007-10-11 | Aisin Aw Co Ltd | Driving assist method and driving support apparatus |
JP2010233080A (en) * | 2009-03-27 | 2010-10-14 | Aisin Aw Co Ltd | Driving support device, driving support method, and driving support program |
JP2010245821A (en) * | 2009-04-06 | 2010-10-28 | Denso Corp | Image display for vehicle |
JP5709675B2 (en) * | 2011-07-07 | 2015-04-30 | クラリオン株式会社 | Vehicle surrounding imaging system |
JP2013186245A (en) * | 2012-03-07 | 2013-09-19 | Denso Corp | Vehicle periphery monitoring device |
JP6380550B2 (en) * | 2014-11-14 | 2018-08-29 | 日産自動車株式会社 | Display device and display method |
-
2017
- 2017-03-15 JP JP2017049634A patent/JP6941949B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018152014A (en) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4882571B2 (en) | Vehicle monitoring device | |
JP6028848B2 (en) | Vehicle control apparatus and program | |
US8514282B2 (en) | Vehicle periphery display device and method for vehicle periphery image | |
US9902323B2 (en) | Periphery surveillance apparatus and program | |
JP5684144B2 (en) | Peripheral image generation method and apparatus | |
US9895974B2 (en) | Vehicle control apparatus | |
JP6379967B2 (en) | Image generating apparatus and image generating method | |
EP3418122B1 (en) | Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program | |
JP6471522B2 (en) | Camera parameter adjustment device | |
EP3761262B1 (en) | Image processing device and image processing method | |
JP3765862B2 (en) | Vehicle environment recognition device | |
US11845381B2 (en) | Systems and methods for controlling a vehicle camera | |
WO2020177970A1 (en) | Imaging system and method | |
WO2019156072A1 (en) | Attitude estimating device | |
JP6941949B2 (en) | Vehicle image display device | |
JP2018136739A (en) | Calibration device | |
JP6384138B2 (en) | Vehicle display device | |
CN108058643B (en) | Vehicle rear area image display device and computer-readable medium storing vehicle rear area image display program | |
JP5195776B2 (en) | Vehicle periphery monitoring device | |
US8384779B2 (en) | Display device for vehicle | |
JP7009209B2 (en) | Camera misalignment detection device, camera misalignment detection method and abnormality detection device | |
JP6439233B2 (en) | Image display apparatus for vehicle and image processing method | |
JP5891880B2 (en) | In-vehicle image display device | |
JP6785172B2 (en) | Vehicle image display device | |
JP5831331B2 (en) | Rear side photographing device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6941949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |