JP6941949B2 - Vehicle image display device - Google Patents
Vehicle image display device Download PDFInfo
- Publication number
- JP6941949B2 JP6941949B2 JP2017049634A JP2017049634A JP6941949B2 JP 6941949 B2 JP6941949 B2 JP 6941949B2 JP 2017049634 A JP2017049634 A JP 2017049634A JP 2017049634 A JP2017049634 A JP 2017049634A JP 6941949 B2 JP6941949 B2 JP 6941949B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- platform
- posture
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車両用映像表示装置に関し、特に、自車両を上方から見た俯瞰映像を表示可能な車両用映像表示装置に関する。 The present invention relates to a vehicle image display device, and more particularly to a vehicle image display device capable of displaying a bird's-eye view image of the own vehicle viewed from above.
従来、自車両周辺を撮像する車載カメラを備えた車両用映像表示装置が知られている。この車両用映像表示装置において、近年、運転者の死角となる自車両直下の領域を透過的な車両の画像と共に俯瞰映像として車室内に設置された表示部に表示させる技術が開発されている。 Conventionally, a vehicle image display device including an in-vehicle camera that captures an image of the surroundings of the own vehicle has been known. In this vehicle image display device, in recent years, a technique has been developed in which an area directly under the own vehicle, which is a blind spot of the driver, is displayed on a display unit installed in the vehicle interior as a bird's-eye view image together with a transparent image of the vehicle.
例えば、特許文献１では、車両後部に設置されて自車両周辺の画像を撮像する車載カメラと、該車載カメラが撮像した画像を基に俯瞰映像を生成し、車載モニタに表示させる車両用映像表示装置が記載されている。車載モニタには、同時に透過的な車両の画像が表示され、この透過部分を通して運転者の死角となる車両直下領域が視認できるように画像が合成されている。 For example, in Pat. The device is described. At the same time, a transparent image of the vehicle is displayed on the in-vehicle monitor, and the image is synthesized so that the area directly under the vehicle, which is the blind spot of the driver, can be visually recognized through the transparent portion.
また、特許文献２に記載の車両用映像表示装置では、車両の周縁に配置された複数の車載カメラが撮像した画像を合成して、自車両とその周辺の路面画像を含む俯瞰映像を半透明化した車両の画像とともに表示部に表示させている。 Further, in the vehicle image display device described in Patent Document 2, images taken by a plurality of in-vehicle cameras arranged on the periphery of the vehicle are combined, and a bird's-eye view image including a road surface image of the own vehicle and its surroundings is translucent. It is displayed on the display unit together with the image of the converted vehicle.
これらの車両用映像表示装置では、車載カメラが撮像した時系列的な撮像画像に視点変換処理を施して、車載カメラがリアルタイムに撮像することのできない自車両直下領域の画像を生成し、賦形映像として表示させている。これにより、運転者の死角となる各タイヤの前方部分に、石等の障害物があっても、運転者がこれを容易に把握して適切な走行を行うことができる。 In these vehicle image display devices, the time-series captured images captured by the vehicle-mounted camera are subjected to viewpoint conversion processing to generate an image of the region directly under the own vehicle that the vehicle-mounted camera cannot capture in real time, and shaped. It is displayed as an image. As a result, even if there is an obstacle such as a stone in the front portion of each tire which is a blind spot of the driver, the driver can easily grasp the obstacle and perform appropriate driving.
しかしながら、上述した車両用映像表示装置では、走行中に車両姿勢が大きく変化する場合、例えば、路面勾配が急激に変化して車両の前後方向の傾きが大きく変化する場合に、車載カメラと路面との距離や、車載カメラが撮像する路面の範囲が変化することから、表示される俯瞰映像に歪みが発生することがある。具体的に説明すると、車両走行中に表示部に連続的に表示される俯瞰映像は、視点変換処理を行った時系列的な車載カメラの撮像画像（静止画像）の結像により得られるため、車両姿勢の変化前後では、結像された映像の遠近感等の差から俯瞰映像が歪んでいるように見える。その結果、映像を見ている運転者に違和感を与えたり、運転者が必要とする死角領域の情報（例えば、タイヤ前方の障害物の有無など）が適切に得られなかったりする事態が生じていた。 However, in the above-mentioned vehicle image display device, when the vehicle attitude changes significantly during traveling, for example, when the road surface gradient suddenly changes and the vehicle's front-rear inclination changes significantly, the vehicle-mounted camera and the road surface Since the distance of the vehicle and the range of the road surface captured by the in-vehicle camera change, the displayed bird's-eye view image may be distorted. Specifically, the bird's-eye view image continuously displayed on the display unit while the vehicle is running is obtained by imaging a time-series captured image (still image) of the in-vehicle camera that has undergone the viewpoint conversion process. Before and after the change in vehicle attitude, the bird's-eye view image seems to be distorted due to the difference in perspective of the imaged image. As a result, the driver who is watching the image may feel uncomfortable, or the information on the blind spot area required by the driver (for example, the presence or absence of an obstacle in front of the tire) may not be properly obtained. rice field.
本発明は、上記課題に鑑みてなされたものであって、車載カメラの撮像画像に基づいて自車両の俯瞰映像を生成して表示部に表示させる際に、車両姿勢の変化に起因して俯瞰映像に表れる歪みを低減し、運転者に適切な路面情報を提供することが可能な車両用映像表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and when a bird's-eye view image of the own vehicle is generated based on an image captured by an in-vehicle camera and displayed on a display unit, the bird's-eye view is caused by a change in the vehicle attitude. An object of the present invention is to provide a vehicle image display device capable of reducing distortion appearing in an image and providing appropriate road surface information to a driver.
上記目的を達成するために、請求項１に記載の車両用映像表示装置は、自車両周辺の路面を撮影する車載カメラと、前記車載カメラが撮像した画像データに基づいて視点変換処理を行った俯瞰映像を生成し、車室内に設置された表示部に表示させる制御部と、車両姿勢を検知する車両姿勢センサと、を備え、前記制御部は、基準となる車両姿勢を規定したプラットフォームを有し、該プラットフォームで規定した基準車両姿勢と、前記車両姿勢センサが検知した車両姿勢との間にズレがある場合に、前記車載カメラにて得た画像データに対して車両姿勢のズレ量に基づく補正処理を行って前記俯瞰映像を生成し、前記制御部は、前記車両姿勢センサの検知結果に基づいて前記プラットフォームを設定可能であり、設定された第１のプラットフォームの基準車両姿勢と前記車両姿勢センサが検知した車両姿勢との間にズレがあり、かつ、車両姿勢のズレ量が一定である状態が所定時間以上継続した場合に、前記車両姿勢センサが検知した車両姿勢を基準とする第２のプラットフォームに移行することを特徴とする。 In order to achieve the above object, the vehicle image display device according to claim 1 performs a viewpoint conversion process based on an in-vehicle camera that photographs the road surface around the own vehicle and image data captured by the in-vehicle camera. It is equipped with a control unit that generates a bird's-eye view image and displays it on a display unit installed in the vehicle interior, and a vehicle attitude sensor that detects the vehicle attitude. The control unit has a platform that defines a reference vehicle attitude. However, when there is a discrepancy between the reference vehicle posture defined by the platform and the vehicle posture detected by the vehicle posture sensor, the deviation amount of the vehicle posture with respect to the image data obtained by the in-vehicle camera is used. The bird's-eye view image is generated by performing correction processing, and the control unit can set the platform based on the detection result of the vehicle posture sensor, and the set reference vehicle posture of the first platform and the vehicle posture. When there is a deviation from the vehicle posture detected by the sensor and the state in which the deviation amount of the vehicle posture is constant continues for a predetermined time or longer, the second vehicle posture detected by the vehicle attitude sensor is used as a reference. It is characterized by migrating to the platform of.
この構成によれば、制御部において定められたプラットフォームの基準車両姿勢と、走行中の車両姿勢との間にズレが生じた場合に、車載カメラで撮影して得た画像データに対して車両姿勢のズレ量に基づく補正処理を行うため、車両姿勢の変化に起因する俯瞰映像の歪みを低減することができる。これにより、運転者に与える違和感を軽減することができる。
また、この構成によれば、一定勾配の路面が継続する場合に、路面状況に適したプラットフォームを新たに設定することができるので、設定されたプラットフォームに対する補正処理を簡素化できる。
According to this configuration, when there is a discrepancy between the reference vehicle posture of the platform defined by the control unit and the vehicle posture while driving, the vehicle posture with respect to the image data taken by the in-vehicle camera. Since the correction process is performed based on the amount of deviation, it is possible to reduce the distortion of the bird's-eye view image due to the change in the vehicle posture. This makes it possible to reduce the discomfort given to the driver.
Further, according to this configuration, when the road surface having a constant slope continues, a platform suitable for the road surface condition can be newly set, so that the correction process for the set platform can be simplified.
また、請求項２に記載の発明は、請求項１に記載の車両用映像表示装置において、前記車載カメラは、自車両の前方側下方を撮像する前部車載カメラであることを特徴とする。 The invention according to claim 2 is characterized in that, in the vehicle image display device according to claim 1, the in-vehicle camera is a front in-vehicle camera that captures an image of the lower front side of the own vehicle.
この構成によれば、前部車載カメラの画像データに基づいて、車両の前進走行中に自車両直下領域の俯瞰画像を生成して表示部に表示させることができるので、俯瞰映像の生成処理が容易である。 According to this configuration, it is possible to generate a bird's-eye view image of the area directly under the own vehicle and display it on the display unit while the vehicle is traveling forward based on the image data of the front in-vehicle camera. It's easy.
また、請求項３に記載の発明は、請求項１又は２に記載の車両用映像表示装置において、前記車両姿勢センサは、少なくとも車両の前後方向の傾きを検知することを特徴とする。 The invention according to claim 3 is characterized in that, in the vehicle image display device according to claim 1 or 2, the vehicle posture sensor detects at least the inclination of the vehicle in the front-rear direction.
この構成によれば、車両の前後方向の傾き（すなわち、車両のピッチ角の変化）は、車載カメラと路面との間の距離や、路面の撮像範囲に大きな影響を与えやすいので、このピッチ角の変化を車両姿勢センサにより検知し、制御部によりズレ量であるピッチ角の変化量に基づいて画像データを補正することで、俯瞰映像における違和感を適切に低減することができる。 According to this configuration, the inclination of the vehicle in the front-rear direction (that is, the change in the pitch angle of the vehicle) tends to greatly affect the distance between the in-vehicle camera and the road surface and the imaging range of the road surface. By detecting the change in the vehicle attitude sensor and correcting the image data based on the amount of change in the pitch angle, which is the amount of deviation, the control unit can appropriately reduce the discomfort in the bird's-eye view image.
また、請求項４に記載の発明は、請求項１〜３の何れか１項に記載の車両用映像表示装置において、前記制御部は、前記ズレ量に基づいて、前記画像データにおける路面勾配を前記プラットフォームの基準車両姿勢における路面勾配に近似させる補正処理を行うことを特徴とする。 Further, the invention according to claim 4 is the vehicle image display device according to any one of claims 1 to 3, wherein the control unit determines the road surface gradient in the image data based on the deviation amount. It is characterized in that correction processing is performed so as to approximate the road surface gradient in the reference vehicle attitude of the platform.
この構成によれば車両姿勢の変化によって車載カメラによる画像データに視覚的な路面勾配の変化が発生する場合に、変化した路面勾配をプラットフォームの基準車両姿勢における路面勾配に近似させる補正処理が行われることで、表示された俯瞰映像において、車両があたかも一定勾配の路面を走行しているように見せることができる。これにより、例えば、車両姿勢が変化するような悪路を走行している場合であっても、一定勾配の路面（例えば、平坦路面）を走行しているような俯瞰映像を表示させることが可能となり、俯瞰映像における車両直下領域の視認性が向上する。その結果、運転者が地面の状況をより的確に把握することが可能となる。 According to this configuration, when a visual change in the road surface gradient occurs in the image data obtained by the in-vehicle camera due to a change in the vehicle attitude, a correction process is performed to approximate the changed road surface gradient to the road surface gradient in the reference vehicle attitude of the platform. As a result, in the displayed bird's-eye view image, it is possible to make it appear as if the vehicle is traveling on a road surface having a constant slope. As a result, for example, even when the vehicle is traveling on a rough road where the vehicle posture changes, it is possible to display a bird's-eye view image as if the vehicle is traveling on a constant slope road surface (for example, a flat road surface). Therefore, the visibility of the area directly under the vehicle in the bird's-eye view image is improved. As a result, the driver can more accurately grasp the condition of the ground.
本発明に係る車両用映像表示装置によれば、走行中に車両姿勢が変化した際に、車載カメラの撮影画像データに対して補正処理を行うことで、時系列的な撮影画像データに基づく表示映像の結像部分に生じる視覚的な違和感を低減することができる。これにより、表示部に表示される俯瞰画像の歪みが低減され、運転者に適切な路面情報を提供することができる。 According to the vehicle image display device according to the present invention, when the vehicle attitude changes during traveling, correction processing is performed on the captured image data of the in-vehicle camera to display based on the time-series captured image data. It is possible to reduce the visual discomfort that occurs in the imaged portion of the image. As a result, the distortion of the bird's-eye view image displayed on the display unit is reduced, and appropriate road surface information can be provided to the driver.
図１は、本発明の実施の形態である車両用映像表示装置１０の構成を示すブロック図である。車両用撮像装置１０は、車両(自車両)７０に搭載され、カメラの撮像映像に基づいて自車両を上方から見た俯瞰映像を生成し、車室内に設置された表示部に表示させるものであり、カメラ（車載カメラ）２０と、傾斜センサ（車両姿勢センサ）３０と、制御部４０と、表示部５０とを備える。
FIG. 1 is a block diagram showing a configuration of a vehicle
カメラ２０は、広角撮影が可能な魚眼レンズまたは広角レンズを備え、図２に示すように、車両７０の前部における車幅方向の中央部に配置されており、車両７０の前方側下方を含む広角領域を撮像する。
The
傾斜センサ３０は、主に路面の勾配に起因する車両姿勢である車両７０の傾斜を検知するものであり、例えば、Ｇセンサ、ジャイロセンサ及びサスストロークセンサ等を単独又は組み合わせて用いることができる。傾斜センサ３０としてＧセンサを用いた場合には、比較的小型で、簡易かつ安価に構成することができる。本実施の形態では傾斜センサ３０により、車両７０の前後方向の傾斜角（ピッチ角）を検知している。
The
制御部４０は、例えばＣＰＵ等の情報処理手段、ＲＡＭやＲＯＭ等の記憶手段、入出力インターフェイス等を有して構成され、カメラ２０、傾斜センサ３０及び表示部５０と接続されている。制御部４０は、プラットフォーム設定部４１と、ズレ量算出部４２と、判定部４３と、俯瞰映像生成部４５とを備える。
The
プラットフォーム設定部４１は、車両姿勢のズレ量を算出する際の基準となるプラットフォームを設定する部位である。ここで、プラットフォームとは、基準となる車両姿勢を規定したものである。本実施の形態では、図２に示すように、路面勾配が零である水平路面８０に車両７０を載置した状態を基準の車両姿勢とした第１のプラットフォームを初期値として設定している。
The
プラットフォーム設定部４１は、さらに、走行状態に応じて、ズレ量算出の基準となるプラットフォーム（以下、補正用ＰＦという）を第１のプラットフォームとは異なるプラットフォーム（例えば、第２、第３のプラットフォーム）に適宜変更する。プラットフォーム設定部４１には、プラットフォーム設定変更のための変化量閾値ｄｔｈと時間閾値Ｔｔｈとが設定されている。ここで、閾値ｄｔｈを設定している変化量とは、単位時間辺りの車両姿勢の変化量であり、本実施の形態では、単位時間辺りのピッチ角の変化量ｄである。
The
ズレ量算出部４２は、補正用ＰＦで規定された車両姿勢（以下、基準車両姿勢という）と、傾斜センサ３０が検知した車両姿勢とを比較して、基準車両姿勢に対する車両７０の車両姿勢のズレ量Δを算出する。本実施の形態では、ズレ量算出部４２が、基準車両姿勢のピッチ角と、傾斜センサ３０が検知した車両７０のピッチ角とを比較して、ピッチ角のズレ量Δを算出する。
The deviation amount calculation unit 42 compares the vehicle posture defined by the correction PF (hereinafter referred to as the reference vehicle posture) with the vehicle posture detected by the
判定部４３は、補正処理を行うか否かの判定、及び、補正用ＰＦの変更を行うための要件の判定を行う部位である。具体的には、判定部４３は、ズレ量算出部４２により算出されたズレ量Δを予め設定されているズレ量閾値Δｔｈと比較し、ズレ量Δがズレ量閾値Δｔｈの範囲を超えているか否かを判定する。 The determination unit 43 is a portion that determines whether or not to perform the correction process and determines the requirements for changing the correction PF. More specifically, the determination unit 43 compares the deviation amount threshold delta th set in advance to be a deviation amount delta calculated by the shift amount calculating part 42, shift amount delta is outside the range of displacement amount threshold delta th Determine if it is.
俯瞰映像生成部４５は、補正処理部４６と、視点変換処理部４７と、画像合成部４８とを備える。 The bird's-eye view image generation unit 45 includes a correction processing unit 46, a viewpoint conversion processing unit 47, and an image composition unit 48.
補正処理部４６は、ズレ量算出部４２が算出したズレ量Δに基づいてカメラ２０が撮像した画像データを補正する。本実施の形態では、カメラ２０が撮像した画像の路面勾配を補正用ＰＦの基準車両姿勢における路面勾配に近似させるように、ズレ量Δに応じた座標変換処理を行う。
The correction processing unit 46 corrects the image data captured by the
視点変換処理部４７は、カメラ２０が撮像した画像を車両７０の上方から見た画像となるように視点変換（座標変換）する処理を行う。また、視点変換処理部４７は、補正処理部４６において補正処理が行われた場合、補正処理後の画像に対して視点変換処理を行う。
The viewpoint conversion processing unit 47 performs a process of performing viewpoint conversion (coordinate conversion) so that the image captured by the
画像合成部４８は、視点変換された時系列的な俯瞰画像を合成（結像）する画像合成処理を行う。なお、視点変換処理及び画像合成処理については、例えば特開２００２−０８７１６０号公報等に開示された技術により実行することができる。 The image synthesizing unit 48 performs an image synthesizing process for synthesizing (imaging) a time-series bird's-eye view image whose viewpoint has been transformed. The viewpoint conversion process and the image composition process can be performed by, for example, the techniques disclosed in Japanese Patent Application Laid-Open No. 2002-087160.
俯瞰映像生成部４５は、さらに、生成された俯瞰映像に透過的な車両７０の輪郭を合成する処理を行って、これを表示部５０に表示させる。表示部５０としては、車室内に設置されて、制御部４０で生成された映像を表示可能な車載モニタを用いることができる。
The bird's-eye view image generation unit 45 further performs a process of synthesizing a transparent outline of the
表示部５０の画面５５に表示される俯瞰映像には、タイヤの輪郭５２ａを含む透過的な車両７０の輪郭形状が表示され（図５（ｂ）参照）、運転者は、この透過的な車両画像５２を通して死角となる車両７０の直下領域Ｒ（図２参照）を視認することができる。
The bird's-eye view image displayed on the screen 55 of the
図３は、制御部４０によって実行される俯瞰映像表示処理を示すフローチャート図である。以下、ステップ毎に順を追って制御部４０の処理を説明する。
FIG. 3 is a flowchart showing a bird's-eye view video display process executed by the
まず、制御部４０のズレ量算出部４２は、傾斜センサ３０から検知信号を受信すると、プラットフォーム設定部４１において設定された補正用ＰＦと傾斜センサ３０により検知した車両７０のピッチ角とに基づき、補正用ＰＦの基準車両姿勢に対する車両７０のピッチ角のズレ量Δを算出する（ステップＳ１１）。
First, when the deviation amount calculation unit 42 of the
判定部４４は、算出されたズレ量Δがズレ量閾値Δｔｈの範囲を超えているか否かを判定する（ステップＳ１２）。 Determining unit 44 determines the calculated amount of deviation delta is whether beyond the scope of the deviation amount threshold delta th (step S12).
ズレ量Δがズレ量閾値Δｔｈの範囲内である場合（ステップＳ１２：Ｎｏ）、俯瞰映像生成部４３の視点変換処理部４６は、カメラ２０が撮像した画像データに対して、視点変換処理を行う（ステップＳ１４）。
If the deviation amount delta is within the range of displacement amount threshold delta th (step S12: No), the viewpoint conversion processing unit 46 of the overhead view video generation unit 43, the image data by the
次に、画像合成部４７は、視点変換処理後の時系列的な画像を合成して、俯瞰映像を生成するとともに、生成された俯瞰映像に車両７０の透過的な画像を合成する（ステップＳ１５）。
Next, the image synthesizing unit 47 synthesizes the time-series images after the viewpoint conversion processing to generate a bird's-eye view image, and also synthesizes a transparent image of the
その後、俯瞰映像生成部４３は、生成された俯瞰映像を表示部５０に表示させる（ステップＳ１６）。
After that, the bird's-eye view image generation unit 43 causes the
ステップ１２において、ズレ量Δがズレ量閾値Δｔｈよりも大きい場合（ステップＳ１２：Ｙｅｓ）、補正処理部４６は、ズレ量Δに基づいて、カメラ２０の画像データに対して補正処理を行う（ステップＳ１３）。
In
その後、視点変換処理部４６は、補正処理された画像データに対して、視点変換処理を行う（ステップＳ１４）。次に、画像合成部４７は、視点変換処理後の時系列的な画像を合成して俯瞰映像を生成するとともに、この俯瞰映像に車両７０の透過的な画像を合成する（ステップＳ１５）。その後、生成された俯瞰映像を表示部５０に表示させる（ステップＳ１６）。
After that, the viewpoint conversion processing unit 46 performs viewpoint conversion processing on the corrected image data (step S14). Next, the image synthesizing unit 47 synthesizes the time-series images after the viewpoint conversion process to generate a bird's-eye view image, and synthesizes a transparent image of the
図４は、上述した車両用映像表示装置１０における補正処理の作用を説明する図である。なお、図４の説明において、車両７０の補正用ＰＦは第１のプラットフォームに設定されているものとする。
FIG. 4 is a diagram illustrating the operation of the correction process in the vehicle
車両７０が凹凸のある路面（悪路）を走行することにより、基準車両姿勢（図４で仮想線で示す車両姿勢）に対して車両７０のピッチ角のズレ量Δがズレ量閾値Δｔｈよりも大きくなると、カメラ２０が撮像した画像データに対してズレ量Δに応じた補正処理が実行される。
When the
この補正処理では、カメラ２０が撮像した画像の路面勾配（図４の二点鎖線で示す路面勾配８６）を基準車両姿勢における路面勾配（図４で二点鎖線で示す水平路面８０）に近似させるように、ズレ量Δに応じた座標変換処理が実行される。これにより、カメラ２０の画像データは、車両７０があたかも一定勾配の路面（ここでは水平路面８０）を走行しているかのように補正される。
In this correction process, the road surface gradient (
図５（ａ）は、従来の車両用映像表示装置の表示部に表示される俯瞰映像の例を示す図であり、図５（ｂ）は、本実施の形態の車両用映像表示装置１０の表示部５０に表示される俯瞰映像の例を示す図である。なお、図５では、車両７０の直下の路面に「ＡＢＣ」の文字が描かれた状態を示している。
FIG. 5A is a diagram showing an example of a bird's-eye view image displayed on a display unit of a conventional vehicle image display device, and FIG. 5B is a diagram of the vehicle
図５（ａ）に示すように、補正処理が行われない従来の車両用映像表示装置では、悪路走行によって車両のピッチ角が変化した際に、路面と車載カメラとの距離が変化することに起因して、表示部の画面１５５に表示される俯瞰映像に歪みが生じる。そのため、画面１５５において透過的な車両画像１５２を通して視認される、路面に描かれた「ＡＢＣ」の文字が歪んでしまう。
As shown in FIG. 5A, in the conventional vehicle image display device in which the correction process is not performed, the distance between the road surface and the vehicle-mounted camera changes when the pitch angle of the vehicle changes due to driving on a rough road. Due to this, the bird's-eye view image displayed on the
これに対し、本実施の形態の車両用映像表示装置１０では、ピッチ角の変化に応じて補補正処理を行うことで、図５（ｂ）に示すように、路面とカメラ２０との距離が変化した場合であっても、車両画像５２を通して視認される路面に描かれた「ＡＢＣ」の文字の歪みを低減することができる。これにより、運転者に正確な路面情報を提供することが可能となる。
On the other hand, in the vehicle
車両姿勢変化（ピッチ角、ロール角及びヨー角の変化）の中で、特に、ピッチ角の変化は、カメラ２０と路面との間の距離や、カメラ２０による路面の撮像範囲に大きな影響を与えやすい。本実施の形態の車両用映像表示装置１０では、傾斜センサ３０によりピッチ角を検知し、プラットフォームで規定された基準車両姿勢に対するピッチ角のズレ量Δに応じた補正処理をカメラ２０の画像データに施すことで、ピッチ角の変化に起因する俯瞰映像の歪みを適切に抑制することができる。
Among the changes in vehicle attitude (changes in pitch angle, roll angle, and yaw angle), changes in pitch angle have a great influence on the distance between the
また、本実施の形態の車両用映像表示装置１０では、車両７０に搭載した１台の広角カメラ２０の撮像画像に基づいて俯瞰映像を生成しているので、複数のカメラによって撮像した画像を合成して俯瞰映像を生成するものに比べて、俯瞰映像生成部４５における画像処理が容易である。
Further, in the vehicle
既述のとおり、本実施の形態の車両用映像表示装置１０は、走行状態に応じて、補正用ＰＦを初期値である第１のプラットフォームから他のプラットフォームへ変更することが可能である。以下に、補正用ＰＦの設定処理について説明する。
As described above, the vehicle
図６は、制御部４０によって実行される補正用ＰＦの設定処理を示すフローチャート図である。以下、ステップ毎に順を追って制御部４０の処理を説明する。
FIG. 6 is a flowchart showing a correction PF setting process executed by the
まず、制御部４０のズレ量算出部４２は、傾斜センサ３０からの検知信号と、プラットフォーム設定部４１において既に設定されている補正用ＰＦ（例えば、第１のプラットフォーム）とに基づいて、基準車両姿勢に対する車両７０のピッチ角のズレ量Δを算出する（ステップＳ２１）。
First, the deviation amount calculation unit 42 of the
判定部４４は、算出されたズレ量Δがズレ量閾値Δｔｈの範囲を超えているか否かを判定する（ステップＳ２２）。 Determining unit 44 determines the calculated amount of deviation delta is whether beyond the scope of the deviation amount threshold delta th (step S22).
ズレ量Δがズレ量閾値Δｔｈの範囲内である場合（ステップＳ２２：Ｎｏ）、制御部４０は、処理を終了（リターン）する。
If the deviation amount delta is within the range of displacement amount threshold delta th (step S22: No), the
ズレ量Δがズレ量閾値Δｔｈを超えた場合（ステップＳ２２：Ｙｅｓ）、プラットフォーム設定部４１は、傾斜センサ３０からの検知信号に基づき、車両姿勢の変化量である単位時間辺りの車両７０のピッチ角の変化量ｄを算出し、算出した変化量ｄが変化量閾値ｄｔｈの範囲内にあるか否かを判定するとともに（ステップＳ２３）、変化量ｄが変化量閾値ｄｔｈの範囲内となっている時間Ｔをカウントする（ステップＳ２４）。
If the deviation amount delta exceeds the shift amount threshold delta th (step S22: Yes), the
ステップＳ２３において変化量ｄが変化量閾値ｄｔｈを超えていない場合（ステップＳ２３：Ｎｏ）、制御部４０は、処理を終了（リターン）する。
When the change amount d does not exceed the change amount threshold value dth in step S23 (step S23: No), the
なお、プラットフォーム設定部４１は、カウント時間Ｔが時間閾値Ｔｔｈを経過するまでの間（ステップＳ２４：Ｎｏ）、繰り返しステップＳ２３の判定を行う。 The platform setting unit 41 repeatedly determines step S23 until the count time T elapses from the time threshold value T th (step S24: No).
カウントした時間Ｔが時間閾値Ｔｔｈを超えた場合（ステップＳ２４：Ｙｅｓ）、すなわち、ピッチ角のズレ量Δがほぼ一定の状態（変化量ｄ≦変化量閾値ｄｔｈの状態）が所定の時間閾値Ｔｔｈ以上継続した場合、時間Ｔのカウント開始時から時間閾値Ｔｔｈまでの間に傾斜センサ３０により検知された車両７０の車両姿勢に基づいて、車両７０の平均車両姿勢を算出する（ステップＳ２５）。ここでは、傾斜センサ３０で検知されたピッチ角に基づいて、カウント開始時から時間閾値Ｔｔｈまでの間の車両７０の平均ピッチ角を算出する。
When the counted time T exceeds the time threshold T th (step S24: Yes), that is, a state in which the deviation amount Δ of the pitch angle is substantially constant (change amount d ≦ change amount threshold d th ) is a predetermined time. When the threshold T th or more is continued, the average vehicle posture of the
その後、プラットフォーム設定部４１は、算出した平均車両姿勢を基準車両姿勢とする新たなプラットフォーム（第１のプラットフォームと基準車両姿勢の異なる第２のプラットフォーム）を補正用ＰＦとして設定し（ステップＳ２６）、処理を終了（リターン）する。
After that, the
なお、本実施の形態において、プラットフォーム設定処理で用いられるズレ量閾値Δｔｈは、俯瞰映像生成表示処理において用いられるズレ量閾値Δｔｈと同じ値に設定されているが、これらを互いに異なる値に設定してもよい。 In the present embodiment, deviation amount threshold delta th used in the platform configuration process has been set to the same value as the deviation amount threshold delta th used in the overhead view video generation display process them into different values It may be set.
次に、図７を用いて、補正用ＰＦの設定の一例を説明する。なお、図７において、車両７０は車両位置Ｐ１から車両位置Ｐ４へ順に移動し、車両位置Ｐ１において車両７０は水平路面を走行しており、補正用ＰＦとして第１のプラットフォームが設定されているものとする。
Next, an example of setting the correction PF will be described with reference to FIG. 7. In FIG. 7, the
車両７０が車両位置Ｐ１から車両位置Ｐ２へ移行すると、ピッチ角が変化し、基準車両姿勢に対するズレ量ΔＰ２がズレ量閾値Δｔｈを超える。すると、プラットフォーム設定部４１は、車両７０のピッチ角の変化量ｄを算出し、算出した変化量ｄが変化量閾値ｄｔｈの範囲内であるか否かを判定する。車両位置Ｐ２では、変化量ｄ＞変化量閾値ｄｔｈとなり、第１のプラットフォームが維持される。なお、車両位置Ｐ２では、補正処理部４６によりズレ量ΔＰ２に応じた補正処理が施された俯瞰映像が生成される。
When the
車両７０が車両位置Ｐ２から一定の路面勾配が継続する車両位置Ｐ３へ移行する際には、ズレ量Δがズレ量閾値Δｔｈを超えるとともに、一定の路面勾配により車両７０のピッチ角がほぼ一定に定まることで、ピッチ角の変化量ｄが変化量閾値ｄｔｈの範囲内となる。この状態が時間閾値Ｔｔｈ以上継続すると、プラットフォーム設定部４１は、補正用ＰＦを第１のプラットフォームから第２のプラットフォームに変更する。本実施例において第２のプラットフォームで規定した基準車両姿勢は、車両位置Ｐ３で示す車両姿勢となる。
When the
なお、車両位置Ｐ３では、俯瞰映像生成処理において、第２のプラットフォームの基準車両姿勢に対してピッチ角のズレ量Δを算出することとなる。車両位置Ｐ３では、算出したズレ量Δは零（ズレ量閾値Δｔｈの範囲内）となることから、俯瞰映像が生成において補正処理は実行されない。 In the vehicle position P 3, the overhead image generation processing, and calculating the shift amount Δ of the pitch angle relative to the reference vehicle posture of the second platform. In the vehicle position P 3, since the deviation amount delta calculated to be zero (in the range of displacement amount threshold delta th), correction processing overhead view video is in the production is not executed.
車両７０が車両位置Ｐ３から車両位置Ｐ４へ移行すると、ピッチ角が変化し、第２のプラットフォームの基準車両姿勢に対するズレ量ΔＰ４がズレ量閾値Δｔｈを超える。すると、プラットフォーム設定部４１は、車両７０のピッチ角の変化量ｄを算出し、算出した変化量ｄが変化量閾値ｄｔｈの範囲内であるか否かを判定する。車両位置Ｐ４では、変化量ｄ＞変化量閾値ｄｔｈとなり、第２のプラットフォームが維持される。なお、車両位置Ｐ４では、補正処理部４６によりズレ量ΔＰ４に応じた補正処理が施された俯瞰映像が生成される。
When the
上述のように、一定勾配の路面が継続する場合に、補正用ＰＦを路面状況に適したプラットフォームに設定変更することで、設定されたプラットフォームに対する補正処理を簡素化できる。これにより、俯瞰映像生成部４５におけるデータ処理の負荷を軽減することができる。 As described above, when the road surface having a constant slope continues, the correction process for the set platform can be simplified by changing the setting of the correction PF to a platform suitable for the road surface condition. As a result, the load of data processing in the bird's-eye view image generation unit 45 can be reduced.
なお、本発明は上述した実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the invention.
例えば、傾斜センサ３０により、さらに車両７０のロール角を検知し、ピッチ角のズレ量Δとともに、基準車両姿勢に対するロール角のズレ量に応じて、補正処理を施す構成であってもよい。また、車両姿勢に基づく補正処理は、視点変換処理部による視点変換処理の後に実行する構成であってもよい。
For example, the
また、車両用映像表示装置１０は、複数の車載カメラを備え、これらのカメラによる俯瞰画像を合成することにより、車両７０とその周辺領域を含む俯瞰映像を生成する構成であってもよい。このような画像の合成には、例えば、特開２０１０−１３０４１３号公報等に示される手法を適用することが可能である。複数の車載カメラとしては、例えば、前部カメラ２０の他に、車両７０の左右側部にそれぞれ配置されて車両７０の側部側下方の領域を撮像可能な側部カメラや、車両７０の後部に配置されて車両７０の後部側下方の領域を撮像可能な後部カメラを適宜組み合わせて用いることができる。
Further, the vehicle
１０ 車両用映像表示装置
２０ カメラ（前部車載カメラ）
３０ 傾斜センサ（車両姿勢センサ）
４０ 制御部
４５ 俯瞰映像生成部
５０ 表示部
７０ 車両
10 Vehicle
30 Tilt sensor (vehicle attitude sensor)
40 Control unit 45 Bird's-eye view
Claims (4)
前記車載カメラが撮像した画像データに基づいて視点変換処理を行った俯瞰映像を生成し、車室内に設置された表示部に表示させる制御部と、
車両姿勢を検知する車両姿勢センサと、を備え、
前記制御部は、基準となる車両姿勢を規定したプラットフォームを有し、該プラットフォームで規定した基準車両姿勢と、前記車両姿勢センサが検知した車両姿勢との間にズレがある場合に、前記車載カメラにて得た画像データに対して車両姿勢のズレ量に基づく補正処理を行って前記俯瞰映像を生成し、
前記制御部は、前記車両姿勢センサの検知結果に基づいて前記プラットフォームを設定可能であり、設定された第１のプラットフォームの基準車両姿勢と前記車両姿勢センサが検知した車両姿勢との間にズレがあり、かつ、車両姿勢のズレ量が一定である状態が所定時間以上継続した場合に、前記車両姿勢センサが検知した車両姿勢を基準とする第２のプラットフォームに移行することを特徴とする車両用映像表示装置。 An on-board camera that shoots the road surface around the vehicle and
A control unit that generates a bird's-eye view image that has undergone viewpoint conversion processing based on the image data captured by the in-vehicle camera and displays it on a display unit installed in the vehicle interior.
Equipped with a vehicle attitude sensor that detects the vehicle attitude,
The control unit has a platform that defines a reference vehicle posture, and when there is a discrepancy between the reference vehicle posture defined by the platform and the vehicle posture detected by the vehicle posture sensor, the in-vehicle camera The image data obtained in the above-mentioned image data is corrected based on the amount of deviation of the vehicle posture to generate the bird's-eye view image .
The control unit can set the platform based on the detection result of the vehicle posture sensor, and there is a deviation between the set reference vehicle posture of the first platform and the vehicle posture detected by the vehicle posture sensor. For vehicles characterized by shifting to a second platform based on the vehicle posture detected by the vehicle posture sensor when the state in which the deviation amount of the vehicle posture is constant continues for a predetermined time or longer. Video display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017049634A JP6941949B2 (en) | 2017-03-15 | 2017-03-15 | Vehicle image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017049634A JP6941949B2 (en) | 2017-03-15 | 2017-03-15 | Vehicle image display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018152014A JP2018152014A (en) | 2018-09-27 |
| JP6941949B2 true JP6941949B2 (en) | 2021-09-29 |
Family
ID=63680882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017049634A Active JP6941949B2 (en) | 2017-03-15 | 2017-03-15 | Vehicle image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6941949B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7081481B2 (en) * | 2018-12-28 | 2022-06-07 | 株式会社Ｊｖｃケンウッド | Vehicle video processing equipment, vehicle video processing systems, vehicle video processing methods and programs |
| JP2022176839A (en) * | 2021-05-17 | 2022-11-30 | 京セラ株式会社 | Observation device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007266930A (en) * | 2006-03-28 | 2007-10-11 | Aisin Aw Co Ltd | Driving assist method and driving support apparatus |
| JP2010233080A (en) * | 2009-03-27 | 2010-10-14 | Aisin Aw Co Ltd | Driving support device, driving support method, and driving support program |
| JP2010245821A (en) * | 2009-04-06 | 2010-10-28 | Denso Corp | Image display for vehicle |
| JP5709675B2 (en) * | 2011-07-07 | 2015-04-30 | クラリオン株式会社 | Vehicle surrounding imaging system |
| JP2013186245A (en) * | 2012-03-07 | 2013-09-19 | Denso Corp | Vehicle periphery monitoring device |
| JP6380550B2 (en) * | 2014-11-14 | 2018-08-29 | 日産自動車株式会社 | Display device and display method |
-
2017
- 2017-03-15 JP JP2017049634A patent/JP6941949B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018152014A (en) | 2018-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4882571B2 (en) | Vehicle monitoring device | |
| JP6028848B2 (en) | Vehicle control apparatus and program | |
| US8514282B2 (en) | Vehicle periphery display device and method for vehicle periphery image | |
| US9902323B2 (en) | Periphery surveillance apparatus and program | |
| JP5684144B2 (en) | Peripheral image generation method and apparatus | |
| US9895974B2 (en) | Vehicle control apparatus | |
| JP6379967B2 (en) | Image generating apparatus and image generating method | |
| EP3418122B1 (en) | Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program | |
| JP6471522B2 (en) | Camera parameter adjustment device | |
| EP3761262B1 (en) | Image processing device and image processing method | |
| JP3765862B2 (en) | Vehicle environment recognition device | |
| US11845381B2 (en) | Systems and methods for controlling a vehicle camera | |
| WO2020177970A1 (en) | Imaging system and method | |
| WO2019156072A1 (en) | Attitude estimating device | |
| JP6941949B2 (en) | Vehicle image display device | |
| JP2018136739A (en) | Calibration device | |
| JP6384138B2 (en) | Vehicle display device | |
| CN108058643B (en) | Vehicle rear area image display device and computer-readable medium storing vehicle rear area image display program | |
| JP5195776B2 (en) | Vehicle periphery monitoring device | |
| US8384779B2 (en) | Display device for vehicle | |
| JP7009209B2 (en) | Camera misalignment detection device, camera misalignment detection method and abnormality detection device | |
| JP6439233B2 (en) | Image display apparatus for vehicle and image processing method | |
| JP5891880B2 (en) | In-vehicle image display device | |
| JP6785172B2 (en) | Vehicle image display device | |
| JP5831331B2 (en) | Rear side photographing device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210907 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6941949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |