JP4683272B2 - Vehicle external display method and display device - Google Patents
Vehicle external display method and display device Download PDFInfo
- Publication number
- JP4683272B2 JP4683272B2 JP2005117525A JP2005117525A JP4683272B2 JP 4683272 B2 JP4683272 B2 JP 4683272B2 JP 2005117525 A JP2005117525 A JP 2005117525A JP 2005117525 A JP2005117525 A JP 2005117525A JP 4683272 B2 JP4683272 B2 JP 4683272B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- driver
- vehicle
- blind spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車等に搭載され、運転者による運転を支援することができる車両外部表示方法及び装置に関する。 The present invention relates to a vehicle external display method and apparatus that are mounted on a vehicle or the like and can support driving by a driver.
運転を支援する装置として、自動車のインストゥルメントパネル上にターンシグナル等を表示したり、ピラー上に外部情景を表示したりするものが提案されている。ここで、ターンシグナルや外部情景は仮想画像として表示される。
例えば、特許文献1は、この種の仮想画像の様々な利用を提案するものであり、ピラーの内面に、外部情景を映写することが提案されている。この文献に記載の技術では、外部情景を撮像可能な撮像装置、運転者の視点を検出可能な視点検出装置及び画像編集装置が備えられており、この画像編集装置により画像の運転者視点に従った画像編集が行われることとなっている。
As a device for assisting driving, a device that displays a turn signal on an instrument panel of an automobile or an external scene on a pillar has been proposed. Here, the turn signal and the external scene are displayed as virtual images.
For example,
この文献には、段落〔0051〕に、「画像編集装置18では、これら供給された車両前方や車両後方の画像情報と視点位置信号から、運転者から死角となっている領域の外部情報を編集処理し、その編集処理データがホログラフィ表示装置19に供給され、ホログラフィ表示装置19により各ピラー31位置の実空間上に死角部情報13gが視認景色23と一体的となるようにホログラム表示される。」と記載されている。
しかしながら、運転者視点をどのようにして検出するか、さらに、カメラにより撮像される撮像画像をどのように編集処理するかに関する具体的記載はない。
In this document, paragraph [0051] states, “The image editing device 18 edits external information of a blind spot from the driver from the supplied image information of the front and rear of the vehicle and the viewpoint position signal. Then, the edit processing data is supplied to the holographic display device 19, and the holographic display device 19 displays the blind spot information 13 g on the real space at each pillar 31 position so as to be integrated with the visual field 23. Is described.
However, there is no specific description regarding how to detect the driver's viewpoint and how to edit the captured image captured by the camera.
例えば、運転者の斜め前にあるピラーに、ピラーを越えた外部にある情景を映写すると、その映写状態が良好(外部の情景を忠実かつ自然に反映した歪み、ずれのない画像)である場合に限り、その効果を発揮することができる。
従って、映像に歪みがある場合等には問題となるとともに、ピラーの周部に存するウインドウに不要な映像が映写された場合は、不自然感を禁じ得ない。
さらに、運転状態にあっては、刻々とピラー外部の情景が変化するため、ほぼリアルタイムで外部の情景を歪み及びずれなく映写することが要求される。
For example, when a scene outside the pillar is projected on the pillar in front of the driver, the projection state is good (an image that is faithful and naturally reflects the external scene and has no deviation). As long as it is, the effect can be exhibited.
Therefore, it becomes a problem when the image is distorted or the like, and when an unnecessary image is projected in the window around the pillar, unnatural feeling cannot be forbidden.
Furthermore, since the scene outside the pillar changes every moment in the driving state, it is required to project the outside scene almost without distortion and without deviation.
このような観点から上述の従来技術を参照すると、画像編集装置における編集処理に関して何ら具体的な説明がなく、処理工程が煩雑化したり、死角領域以外の画像を、歪み、ずれのある状態で映写することとなる可能性が残る。
さらに、ピラー内面は比較的複雑な立体形状を有しているが、この種の立体形状に関する提案はなんら成されていない。
From this point of view, referring to the above-described prior art, there is no specific explanation regarding the editing process in the image editing apparatus, the processing process becomes complicated, and images other than the blind spot area are projected in a distorted and shifted state. There is a possibility that it will be.
Furthermore, although the pillar inner surface has a relatively complicated three-dimensional shape, no proposal has been made regarding this type of three-dimensional shape.
本発明の目的は、車両構造物、例えば、運転者の右前に位置するピラーの内面に、確立された画像処理を施して、時事刻々変化する外部の情景をリアルタイムに、不自然な印象を与えることなく映写することが可能となり、運転支援を迅速且つ的確に行うことができる車両外部表示方法及び装置を提供する点にある。 An object of the present invention is to apply established image processing to the inner surface of a vehicle structure, for example, a pillar located in front of the driver, to give an unnatural impression in real time in an external scene that changes from moment to moment. Therefore, the present invention provides a vehicle external display method and apparatus that can perform projection without any problem and can perform driving support quickly and accurately.
上記目的を達成するための、本願に係る車両外部表示方法の特徴手段は、
撮像手段により車両外部の情景を撮像した画像をカメラ視点画像として得る撮像工程と、
前記カメラ視点画像から、運転者から見た場合に視認される画像である運転者視点画像を、車外に仮想される第一仮想スクリーン上の画像として得る第一画像変換工程を実行するとともに、
車両構造物によって運転者にとって死角となる領域の画像を前記運転者視点画像から抽出する死角領域画像抽出工程と、
前記第一仮想スクリーンと車内の前記車両構造物の位置に仮想される第二仮想スクリーンとの配置関係に基づいて、前記死角領域画像抽出工程で得られる前記死角となる領域の画像を変換し、前記第二仮想スクリーン上の画像として得る第二画像変換工程と、
前記第二画像変換工程で得られる変換後の画像を、前記車両構造物の立体的配置構成及び立体的内面形状に応じて、車両外部の情景の実像に対して歪み及びずれのない画像とするように補正する内装形状補正工程と、を実行し、
前記内装形状補正工程で得られる補正後の画像を、前記車両構造物に投影表示することにある。
In order to achieve the above object, the characteristic means of the vehicle external display method according to the present application is as follows:
An imaging step of obtaining an image of a scene outside the vehicle captured by the imaging means as a camera viewpoint image;
From the camera viewpoint image, performing a first image conversion step of obtaining a driver viewpoint image, which is an image viewed when viewed from the driver, as an image on a first virtual screen virtualized outside the vehicle ,
A blind spot area image extracting step of extracting an image of a blind spot area for the driver by the vehicle structure from the driver viewpoint image ;
Based on the positional relationship between the first virtual screen and the second virtual screen virtualized at the position of the vehicle structure in the vehicle , the image of the area that becomes the blind spot obtained in the blind spot area image extraction step is converted, A second image conversion step for obtaining an image on the second virtual screen;
The converted image obtained in the second image conversion step is an image that is free from distortion and displacement with respect to the real image of the scene outside the vehicle, according to the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure. And an interior shape correction process for correcting the
The corrected image obtained in the interior shape correcting step is projected and displayed on the vehicle structure.
この手法にあっては、車外に所定の第一仮想スクリーンを想定し、その第一仮想スクリーン上に外部の情景が映ったものとして、本願に係る表示を取り扱うこととなる。この種の第一仮想スクリーンとしては、車の前方に鉛直に立設された平面スクリーンを仮想してもよいし、車の周りに上下方向に軸を有する円筒状のもの、或は車を中心とする球状のスクリーンを仮定してもよい。さらに、車体形状に合わせて、これを拡大した仮想スクリーンを外部に想定してもよい。また、車内の車両構造物の位置に第二仮想スクリーンを想定し、その第二仮想スクリーン上に死角領域画像抽出工程で得られる死角となる領域の画像を映すものとして、本願に係る表示を取り扱うこととなる。
また、この車両外部表示方法にあっては、カメラ視点画像を撮像手段を利用して得るとともに、このカメラ視点画像を第一画像変換工程にて運転者視点画像に変換する。さらに、このようにして得られた、この運転者視点画像における運転者にとって死角となる領域の画像を死角領域画像抽出工程において抽出し、この画像を第二画像変換工程と内装形状補正工程とを経て車両構造物に投影表示する。従って、運転者の視点に変換した画像を表示するため自然な表示ができる。さらに、余計な部分への投影を無くすことが可能となり、車外の人や物、車両の他の部分への投影を防止できる。また、内装形状補正工程を実行することで、車両構造物の立体的配置構成及び立体的内面形状が比較的複雑となっていても、これに対応させて、適切な運転者視点画像を映像することが可能となる。
In this method, a predetermined first virtual screen is assumed outside the vehicle, and the display according to the present application is handled on the assumption that an external scene is reflected on the first virtual screen. As the first virtual screen of this type, a flat screen standing vertically in front of the car may be imagined, a cylindrical screen having an axis in the vertical direction around the car, or the car as the center. A spherical screen may be assumed. Furthermore, a virtual screen that is enlarged according to the shape of the vehicle body may be assumed outside. In addition, the second virtual screen is assumed at the position of the vehicle structure in the vehicle, and the display according to the present application is handled on the second virtual screen as an image of a blind spot area obtained in the blind spot area image extraction step. It will be.
Further, in this vehicle external display method, a camera viewpoint image is obtained by using an imaging unit, and this camera viewpoint image is converted into a driver viewpoint image in a first image conversion step . Furthermore, an image of the area that is a blind spot for the driver in the driver viewpoint image obtained in this way is extracted in a blind spot area image extraction step, and this image is subjected to a second image conversion step and an interior shape correction step. Then, it is projected and displayed on the vehicle structure. Therefore, since the image converted into the driver's viewpoint is displayed, a natural display can be performed. Further, it is possible to eliminate projection onto an extra part, and it is possible to prevent projection onto a person or an object outside the vehicle or another part of the vehicle. In addition, by executing the interior shape correction process, even if the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure are relatively complicated, an appropriate driver viewpoint image is displayed corresponding to this. It becomes possible.
上記の外部画像表示方法を実行する場合に、
運転者の視点を検出する視点検出工程を実行し、前記視点検出工程で検出された前記運転者の視点に基づいて、前記第一画像変換工程を実行するとともに、前記死角領域画像抽出工程を実行することが好ましい。
視点検出工程を実行することで、運転者の視点を検出して画像の変換、死角領域の抽出を行うため、視点の移動に対して最適な画像の投影を行うことができる。
When executing the above external image display method,
A viewpoint detection process for detecting a driver's viewpoint is executed, and the first image conversion process and the blind spot area image extraction process are executed based on the driver's viewpoint detected in the viewpoint detection process. It is preferable to do.
By executing the viewpoint detection step, the viewpoint of the driver is detected, the image is converted, and the blind spot area is extracted, so that an image optimal for the movement of the viewpoint can be projected.
上記目的を達成するための、更なる、本願に係る車両外部表示方法の特徴手段は、
撮像手段により車両外部の情景を撮像した画像をカメラ視点画像として得る撮像工程と、運転者の視点を検出する視点検出工程とを実行し、
前記視点検出工程で得られた前記運転者の視点に基づいて、
前記カメラ視点画像から、運転者から見た場合に視認される画像である運転者視点画像を、車外に仮想される第一仮想スクリーン上の画像として得る第一画像変換工程を実行するとともに、運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定工程と、を実行し、
前記第一仮想スクリーンと車内の前記車両構造物の位置に仮想される第二仮想スクリーンとの配置関係に基づいて、前記死角領域特定工程で得られる前記運転者視点画像死角領域の画像を変換し、前記第二仮想スクリーン上の画像として得る第二画像変換工程と、
前記第二画像変換工程で得られる変換後の画像を、前記車両構造物の立体的配置構成及び立体的内面形状に応じて、車両外部の情景の実像に対して歪み及びずれのない画像とするように補正する内装形状補正工程と、を更に実行し、
前記内装形状補正工程で得られる補正後の画像を、前記車両構造物に投影表示することにある。
In order to achieve the above object, further characteristic means of the vehicle external display method according to the present application include:
An imaging step of obtaining an image of a scene outside the vehicle captured by the imaging means as a camera viewpoint image, and a viewpoint detection step of detecting the driver's viewpoint,
Based on the driver's viewpoint obtained in the viewpoint detection step,
From the camera viewpoint image , a driver's viewpoint image , which is an image viewed when viewed from the driver, is executed as a first image conversion step for obtaining an image on a first virtual screen virtualized outside the vehicle, and driving Performing a blind spot area specifying step of obtaining a driver viewpoint image blind spot area as an area occupied by the vehicle structure viewed from the driver in the driver viewpoint image;
Based on the positional relationship between the first virtual screen and the second virtual screen virtualized at the position of the vehicle structure in the vehicle, the image of the driver viewpoint image blind spot area obtained in the blind spot area specifying step is converted. A second image conversion step for obtaining an image on the second virtual screen;
The converted image obtained in the second image conversion step is an image that is free from distortion and displacement with respect to the real image of the scene outside the vehicle, according to the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure. And further executing an interior shape correction step of correcting the
The corrected image obtained in the interior shape correcting step is projected and displayed on the vehicle structure.
この手法にあっては、車外に所定の第一仮想スクリーンを想定し、その第一仮想スクリーン上に外部の情景が映ったものとして、本願に係る表示を取り扱うこととなる。この種の第一仮想スクリーンとしては、車の前方に鉛直に立設された平面スクリーンを仮想してもよいし、車の周りに上下方向に軸を有する円筒状のもの、或は車を中心とする球状のスクリーンを仮定してもよい。さらに、車体形状に合わせて、これを拡大した仮想スクリーンを外部に想定してもよい。また、車内の車両構造物の位置に第二仮想スクリーンを想定し、その第二仮想スクリーン上に死角領域特定工程で得られる運転者視点画像死角領域の画像を映すものとして、本願に係る表示を取り扱うこととなる。
また、この方法にあっては、車両外部の画像が撮像され、運転者の視点が検出される。
そして、このようにして検出される視点が、運転者視点画像を得るのに利用されるとともに、本願にいう死角領域の特定に使用される。
ここで、運転者視点画像は、車両外部の情景を運転者から見た場合に視認される情景画像であり、撮像手段と視点との位置関係に従って、カメラ視点画像から求めることができる。
In this method, a predetermined first virtual screen is assumed outside the vehicle, and the display according to the present application is handled on the assumption that an external scene is reflected on the first virtual screen. As the first virtual screen of this type, a flat screen standing vertically in front of the car may be imagined, a cylindrical screen having an axis in the vertical direction around the car, or the car as the center. A spherical screen may be assumed. Furthermore, a virtual screen that is enlarged according to the shape of the vehicle body may be assumed outside. In addition, assuming a second virtual screen at the position of the vehicle structure in the vehicle and displaying an image of the driver viewpoint image blind spot area obtained in the blind spot area specifying step on the second virtual screen, the display according to the present application is displayed. Will be handled.
Further, in this method, an image outside the vehicle is taken, and the viewpoint of the driver is detected.
The viewpoint detected in this way is used to obtain a driver viewpoint image, and is used for specifying a blind spot area as referred to in the present application.
Here, the driver viewpoint image is a scene image visually recognized when a scene outside the vehicle is viewed from the driver, and can be obtained from the camera viewpoint image according to the positional relationship between the imaging means and the viewpoint.
一方、死角領域は、運転者の視点と、本願において、映像の対象となるピラーといった車両構造物により死角となる領域であり、この領域も視点と車両構造物との位置関係によって決定され、求めることが可能な仮想的な領域部位である。 On the other hand, the blind spot area is an area that becomes a blind spot due to the driver's viewpoint and a vehicle structure such as a pillar to be imaged in the present application, and this area is also determined and determined by the positional relationship between the viewpoint and the vehicle structure. This is a virtual region part that can be used.
そこで、本願にあっては、視点の検出を実行して、その視点の位置に基づいて第一画像変換工程にて運転者視点画像を得るとともに、その画像における死角領域を特定し、その領域内に位置する運転者死角領域の画像を、第二画像変換工程と内装形状補正工程とを経て車両構造物に投影表示する。 Therefore, in the present application, the viewpoint is detected, the driver viewpoint image is obtained in the first image conversion process based on the position of the viewpoint, the blind spot area in the image is specified, An image of the driver blind spot area located at is projected and displayed on the vehicle structure through the second image conversion process and the interior shape correction process .
このようにすることで、車両構造物に、過不足のない外部画像を、適切且つ迅速に映像
することができる。また、内装形状補正工程を実行することで、車両構造物の立体的配置構成及び立体的内面形状が比較的複雑となっていても、これに対応させて、適切な運転者視点画像を映像することが可能となる。
By doing in this way, an external image without excess and deficiency can be appropriately and rapidly imaged on the vehicle structure. In addition, by executing the interior shape correction process, even if the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure are relatively complicated, an appropriate driver viewpoint image is displayed corresponding to this. It becomes possible.
この構成の車両外部表示装置としては、
車両外部の情景をカメラ視点画像として撮像する撮像手段と、
運転者の視点を検出する視点検出手段とを備え、
前記視点検出手段で得られた前記運転者の視点に基づいて、
前記カメラ視点画像を、前記運転者から見た場合に視認される画像である運転者視点画像に、車外に仮想される第一仮想スクリーン上の画像として変換する第一変換手段を備えるとともに、
運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定手段を備え、
前記第一仮想スクリーンと車内の前記車両構造物の位置に仮想される第二仮想スクリーンとの配置関係に基づいて、前記死角領域特定手段により得られる前記運転者視点画像死角領域の画像を、前記第二仮想スクリーン上の画像に変換する第二変換手段と、
前記第二変換手段により得られる変換後の画像を、前記車両構造物の立体的配置構成及び立体的内面形状に応じて、車両外部の情景の実像に対して歪み及びずれのない画像とするように補正する内装形状補正手段と、を更に備え、
前記内装形状補正手段により得られる補正後の画像を、前記車両構造物に投影表示する構成とすることができる。
As a vehicle external display device of this configuration,
Imaging means for imaging a scene outside the vehicle as a camera viewpoint image;
A viewpoint detection means for detecting the viewpoint of the driver,
Based on the driver's viewpoint obtained by the viewpoint detection means,
A first conversion means for converting the camera viewpoint image into a driver viewpoint image that is an image viewed when viewed from the driver, as an image on a first virtual screen virtualized outside the vehicle ;
A blind spot area specifying means for obtaining, as a driver viewpoint image blind spot area, an area occupied by the vehicle structure viewed from the driver in the driver viewpoint image;
Based on the positional relationship between the first virtual screen and the second virtual screen virtualized at the position of the vehicle structure in the vehicle, the image of the driver viewpoint image blind spot area obtained by the blind spot area specifying means , Second conversion means for converting to an image on a second virtual screen;
According to the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure, the image after conversion obtained by the second conversion unit is an image that is free from distortion and displacement with respect to the real image of the scene outside the vehicle. Further comprising an interior shape correcting means for correcting to
The corrected image obtained by the interior shape correcting means can be projected and displayed on the vehicle structure.
さらに上記の車両外部表示方法にあって、
運転者視点から見た前記車両構造物の前記第一仮想スクリーン上の画像領域を車両構造物死角領域として、前記車両構造物死角領域に位置する前記運転者視点画像の領域部位を、前記運転者視点画像死角領域の画像とすることが好ましい。
Furthermore, in the above vehicle external display method ,
An image region on the first virtual screen of the vehicle structure as viewed from OPERATION's perspective as a vehicle structural blind area, an area portion of the driver's viewpoint image located in the vehicle structure blind area, the operation It is preferable that the image is a person's viewpoint image blind spot area image.
このような第一仮想スクリーンを仮定すると、その上での、カメラ視点画像から運転者視点画像への変換及び死角領域の特定及び演算処理が非常に簡便となる。結果、迅速且つ正確な処理が可能となる。 Assuming a first virtual screen such as this, the on it, identify and processing of the conversion and the blind area from the camera viewpoint images to the driver viewpoint image becomes very simple. As a result, quick and accurate processing is possible.
この手法を使用する車両外部表示装置としては、これを、
運転者視点から見た前記車両構造物の前記第一仮想スクリーン上の画像部位を車両構造物死角領域として、前記車両構造物死角領域に位置する前記運転者視点画像の領域部位を、前記運転者視点画像死角領域の画像とするものとして構成できる。
As a vehicle external display device using this method ,
An image region on said first virtual screen of the vehicle structure as viewed from OPERATION's perspective as a vehicle structural blind area, an area portion of the driver's viewpoint image located in the vehicle structure blind area, the operation It can be configured as an image of a person's viewpoint image blind spot area.
また、これまで説明してきた外部表示方法において、
前記カメラ視点画像を前記運転者視点画像とする変換テーブルを、前記視点の位置をパラメータとして予め備えておき、
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換することが好ましい。
In the external display method described so far,
A conversion table in which the camera viewpoint image is the driver viewpoint image is prepared in advance with the position of the viewpoint as a parameter,
Preferably, the conversion table to be used is specified based on the detected viewpoint, and the camera viewpoint image is converted into the driver viewpoint image using the specified conversion table.
本願装置にあっては、撮像手段の位置と視点の位置とが決まれば、自動的に視点変換の
変換テーブルは決まる。そこで、視点の位置をパラメータとする変換テーブルを用意しておいて、検出された視点に従って、使用すべき変換テーブルを決定して運転者視点画像を得ることで、迅速且つ一定のスキームに従った処理で、目的の画像を得ることができる。
In the device of the present application, if the position of the imaging means and the position of the viewpoint are determined, the conversion table for the viewpoint conversion is automatically determined. Therefore, a conversion table using the position of the viewpoint as a parameter is prepared, and according to the detected viewpoint, a conversion table to be used is determined and a driver viewpoint image is obtained. The target image can be obtained by the processing.
この手法を使用する外部表示装置は、
前記カメラ視点画像を前記運転者視点画像とする変換テーブルを、前記視点の位置をパラメータとして予め備えておき、
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換することとなる。
External display devices that use this technique are:
A conversion table in which the camera viewpoint image is the driver viewpoint image is prepared in advance with the position of the viewpoint as a parameter,
The conversion table to be used is specified based on the detected viewpoint, and the camera viewpoint image is converted into the driver viewpoint image using the specified conversion table.
一方、死角領域に関しても同様な構成を採用できる。
即ち、前記視点の位置をパラメータとした、前記第一仮想スクリーンにおける前記車両構造物死角領域を予め求めておき、
検出された前記視点に基づいて使用すべき前記車両構造物死角領域を特定し、前記特定された車両構造物死角領域を用いて、
前記運転者視点画像死角領域の画像を求めるものとするのである。
On the other hand, a similar configuration can be adopted for the blind spot area.
That is, the blind spot area of the vehicle structure in the first virtual screen is obtained in advance with the position of the viewpoint as a parameter,
Identifying the vehicle structure blind spot area to be used based on the detected viewpoint, and using the identified vehicle structure blind spot area,
The image of the driver viewpoint image blind spot area is obtained.
本願装置にあっては、視点が決まれば、自動的に第一仮想スクリーン上における車両構造物死角領域は決まる。そこで、視点の位置をパラメータとする第一仮想スクリーン上の車両構造物死角領域に関する情報を用意しておいて、検出された視点に従って、死角領域がどこになるかを特定することで、迅速且つ一定のスキームに従った処理で、目的の画像を得ることができる。 In the device of the present application, if the viewpoint is determined, the vehicle structure blind spot area on the first virtual screen is automatically determined. Therefore, by preparing information on the vehicle structure blind spot area on the first virtual screen with the position of the viewpoint as a parameter, and specifying where the blind spot area is according to the detected viewpoint, it is quick and constant. The target image can be obtained by the processing according to the scheme.
この手法を使用する外部表示装置は、 External display devices that use this technique are:
前記視点の位置をパラメータとした、前記車両構造物死角領域を予め求めておき、 The vehicle structure blind spot area is obtained in advance with the position of the viewpoint as a parameter,
検出された前記視点に基づいて使用すべき前記車両構造物死角領域を特定し、前記特定された車両構造物死角領域を用いて、前記運転者視点画像死角領域の画像を求めるものとなる。 The vehicle structure blind spot area to be used is specified based on the detected viewpoint, and an image of the driver viewpoint image blind spot area is obtained using the specified vehicle structure blind spot area.
以上説明したように、本願に係る車両外部表示方法は検出される視点の位置に大きく依存することとなる。
そこで、この種の視点の位置の検出方法としては、着座状態にある運転者画像を撮像して得られる運転者の目の位置、運転者が着座した着座状態にあるシートの形状、若しくは車両に備えられているシート位置のいずれか1つ以上に基づいて求めることとできる。
As described above, the vehicle external display method according to the present application greatly depends on the position of the detected viewpoint.
Therefore, as a method for detecting the position of this type of viewpoint, the position of the driver's eyes obtained by capturing a driver image in the seated state, the shape of the seat in the seated state in which the driver is seated, or the vehicle It can be determined based on any one or more of the provided sheet positions.
また、検出装置としては、
着座状態にある運転者画像の目の位置、運転者が着座した着座状態にあるシート形状、若しくは車両に備えられているシート位置のいずれか1つ以上に基づいて求めるものとできる。
As a detection device,
It can be obtained based on any one or more of the position of the eyes of the driver image in the seated state, the seat shape in the seated state where the driver is seated, or the seat position provided in the vehicle.
図1は、本願に係る車両外部表示装置100の構成を示したものであり、車に備えられる各機器102、103、104を、その配設位置に合わせて図示するとともに、本願装置100の核となる演算処理装置である表示装置本体101を、その機能ブロック図で示している。
FIG. 1 shows a configuration of a vehicle
同図に示す例では、車両外部表示装置100は、車1の前方及び左右方向を撮像するための撮像カメラ102、運転者2の視点3の位置を検出するための視点検出装置103、さらにプロジェクター104を備えて構成されるとともに、前記プロジェクター104に対して、映写に必要な情報を与える表示装置本体101を備えて構成されている。この表示装置本体101は、使用者である運転者2との遣り取りを行う入出力装置101aを備えている。撮像カメラとしては、車の前方及び左右方向を撮像するためのものに限らず、側後方、後方を撮像するカメラを備えておいてもよい。
In the example shown in the figure, the vehicle
この表示装置本体101は、撮像カメラ102から得られるカメラ視点画像Icと、視点検出装置103から得られる運転者2の視点3の位置情報とに基づいて、プロジェクター104において映写さるべき画像(プロジェクター画像Ipと称する)を生成する。
さらに、この表示装置本体101には、イグニッションキー4のON、OFF情報が入るように構成されており、車両外部表示装置101のON、OFFは、このイグニッションキー4のON,OFFに連動するものとされている。
The
Further, the display device
以下、車両外部表示装置101を成す夫々の機器に関して順に説明する。
1 撮像カメラ102(撮像手段の一例)
図1に示す例にあっては、車1の前方及び前側左右方向の外部画像を取るための撮像カメラ102が車1の前方、車体中央位置に設けられており、この撮像カメラ102から例えば、運転者2にとってピラー6によって死角となるピラー背面領域の情景も撮像することができる。この種のカメラ102としては、例えばCCDカメラ、CMOSカメラ等を使用する。
Hereinafter, each apparatus which comprises the vehicle
1 imaging camera 102 (an example of imaging means)
In the example shown in FIG. 1, an
2 視点検出装置103(視点検出手段の一例)
視点検出装置103は、同図に示す例の場合、バックミラー7の支持部位近傍に装置される赤外線カメラ8と、シート支持フレーム9に設けられる複数のロードセル10とを備えて構成されている。これら赤外線カメラ8、複数のロードセル10からの検出情報は、視点検出装置103内に備えられている視点導出手段C1に送られ、視点位置に変換される。
前記赤外線カメラ8は、運転者2の顔をその視野内に納めるように構成されており、視点導出手段C1において、顔画像から目の位置を推定し、車内における上下方向及び左右方向(車の幅方向)における視点3の位置を導出する。
一方、シート支持フレーム9に設けられるロードセル10は、平面形状が矩形の枠組みとして構成されるシート支持フレーム9の各枠に備えられ、視点導出手段C1において、夫々配置関係において対を成す2対のロードセル10の出力から、車内における視点3の前後方向の位置を導出する。この前後方向の位置は、シートの位置から求めるものとしてもよい。
従って、この視点導出手段C1により、運転者2の視点3の車内における、上下・左右及び前後方向の位置を得ることができる。
2 viewpoint detection device 103 (an example of viewpoint detection means)
In the example shown in the figure, the
The
On the other hand, the
Therefore, this viewpoint deriving means C1 makes it possible to obtain vertical, horizontal, and longitudinal positions in the vehicle of the
3 プロジェクター104
プロジェクター104は、図1に示す例においては、運転者2の斜め右前に位置するピラー内面6aに、ピラー外部の画像を映写するために設けられており、図8に示すように、その光軸104aをピラー内面6aを代表する仮想スクリーンS2にほぼ直交するように配設されており、ピラー内面6a全体に映写可能な位置関係に配設されている。このプロジェクター104は具体的には走査型の映写装置である所謂レーザープロジェクターである。
プロジェクター104は、前述の表示装置本体101から映写対象のプロジェクター画像Ipを受け取り、その画像Ipをピラー内面6aに映写する。図2は、運転者右前側に位置されるピラー6の内面6aにその外部画像を映写したものであり、ピラー内面6aに映写された外部画像と、ピラー周りのガラス部位11を透過して見える外部実像との間において、一体性のある自然な状態が得られていることが判る。
このプロジェクター104は、その位置、映像面の方向(光軸の方向)を調整可能に構成されている。
3
In the example shown in FIG. 1, the
The
The
4 表示装置本体101
この表示装置本体101は、車両外部表示装置100全体の動作を制御する部位であるとともに、プロジェクター104において表示に必要な画像を得る処理を行う部位である。
図1に示すように、表示装置本体101に対する入力は、イグニッションキー4のON・OFF情報、カメラ視点画像Ic、視点3の情報である。
4
The display device
As shown in FIG. 1, the input to the display device
一方、図1に示すように、本体101内には記憶部mが備えられており、その記憶部m内に、装置100内に備えられる光学レンズによる歪みを補正するためのレンズ補正情報i1、ピラー−プロジェクター変換情報i2、車1の内装形状に基づいた補正を行うための内装形状補正情報i3が記憶されているとともに、視点3の位置をパラメータとした、カメラ視点画像を運転者視点画像に変換する視点変換テーブルi4、運転者視点画像上の死角領域を記憶した死角領域情報i5が記憶されている。
On the other hand, as shown in FIG. 1, a storage unit m is provided in the
この表示装置本体101における処理は、カメラ視点画像Icの運転者視点画像Idへの変換、運転者視点画像Idにおける死角領域Dの特定、さらに、この死角領域Dの画像をプロジェクター104から映写するために必要となるプロジェクター画像Ipの生成の順に処理が進む。
そして、このようにして得られたプロジェクター画像Ipがプロジェクター104に送られて、ピラー6上に適切な死角領域Dの画像が映写される。
The processing in the display device
Then, the projector image Ip thus obtained is sent to the
さらに、表示装置本体101には、初期化処理手段C2が備えられており、イグニッションキー4のON操作に伴って、所定の初期化処理を実行するように構成されるとともに、必要な場合は、プロジェクター104自体の位置、光軸方向を調整するように構成されている。但し、プロジェクター104の位置の調整は、使用者である運転者2によって行われる。
車両外部表示装置100においては、その通常状態において、常時、検出されるカメラ視点画像Ic及び運転者の視点3に基づいて、プロジェクター画像Ipが生成され、これが良好に映写される。一方、例えば、車両外部表示装置100を初めて設置した時、あるいは、設置後、比較的長期間が経過しており、プロジェクター104の位置・方向が本来の位置・方向からずれを生じていると考えられる状況においては、表示装置本体101に対して設けられている入出力装置101aを使用して、表示装置本体101側からの質問・指示に基づいて、プロジェクター104に対する位置調整(所謂キャリブレーション)を行うことができる。
Further, the display device
In the vehicle
以下、上記の操作を実行する、図1に示されるレンズ補正手段C3、第1変換手段C4、死角領域特定手段C5、プロジェクター画像生成手段C6(第2変換手段C6a及び内装形状補正手段C6b)の働きに関して、具体例を示しながら説明する。 Hereinafter, the lens correcting unit C3, the first converting unit C4, the blind spot area specifying unit C5, and the projector image generating unit C6 (second converting unit C6a and interior shape correcting unit C6b) shown in FIG. The function will be explained with specific examples.
カメラ視点画像から運転者視点画像の生成
この画像生成は、レンズ補正手段C3による光学レンズの影響を排除した画像に対して、第一変換手段C4によって実行される画像変換であり、記憶部mに記憶されている視点変換テーブルi4を使用して行われる。
Generation of the driver viewpoint image from the camera viewpoint image This image generation is an image conversion performed by the first conversion unit C4 on the image from which the influence of the optical lens by the lens correction unit C3 is eliminated, and is stored in the storage unit m. This is performed using the stored viewpoint conversion table i4.
本願に係る車両外部表示装置100にあっては、車1に対して撮像カメラ102の位置及びその撮像方向は固定されており、同時に先に示したように、運転者2の視点3の位置は特定される。従って、図3(a)(b)に示すように、撮像カメラ102により撮像されるカメラ視点画像Icと、運転者2の視点3から見た運転者視点画像Idとの関係は一意に決定される。即ち、撮像カメラ102が車1の幅方向中央位置にその撮像方向を前方に向けて配設されており、運転者2の視点3が車1の幅方向中央位置より右側に位置し、同じく前方を見ている場合は、車1の前方右側に大きく見えている別の車200は、運転者視点からみると、前後方向位置の差分だけ縮小され、さらに、左側によった画像となる。この状況は、図3(A)に示すように、車1の前方に配設された仮想スクリーンS1に映る画像を、異なった視点から見ているのと同様である。従って、この種の変換は所謂アフィン変換等の座標変換とすることができる。
この変換の一例を、図4に基づいて説明する。ここでは、説明を簡略化するため、直線状に5個配列された画素の変換について説明する。
図4において、図4(a)は、カメラ視点からみた直線状に5個配列された画素の並びを示しており、図4(e)は、これを運転者視点からみた場合に、どのような配列となるかを示したものである。
図示される5個の画素の運転者視点における変換は、カメラ視点と運転者視点とに関するカメラの光軸と運転者視線との角度差θを求め、その角度差θ分だけ傾けたスクリーンを想定することで特定できる。この場合、元の画像の中心(5個配列されているうちの3個目の画素の位置)を回転中心とする。この状態が図4(b)に示す状態である。そして、元のスクリーン上の画素と運転者視点とを結んだ線と、傾けたスクリーンとの交点が変換後の画素の位置となる。従って、(c)、(d)に示すように、各画素間の距離が変化し、画素の配列の比が変わる。さらに、図4(e)に示すように、運転者視点と変換後の画像平面の位置関係から画像サイズの調整を行うこととなる。
このようにして運転者の視点3に対応づけられた傾いたスクリーン上に構成された画素の集合が視点変換後の画像となる。即ち、先に説明した運転者視点画像を得ることができるのである。
In the vehicle
An example of this conversion will be described with reference to FIG. Here, in order to simplify the description, conversion of five pixels arranged in a straight line will be described.
In FIG. 4, FIG. 4 (a) shows an arrangement of five pixels arranged in a straight line as seen from the camera viewpoint, and FIG. 4 (e) shows how this is seen from the driver's viewpoint. It is shown whether it becomes a correct arrangement.
The conversion from the viewpoint of the driver of the five pixels shown in the figure assumes an angle difference θ between the optical axis of the camera and the driver's line of sight with respect to the camera viewpoint and the driver viewpoint, and assumes a screen tilted by the angle difference θ. Can be identified. In this case, the center of the original image (the position of the third pixel among the five arranged) is set as the rotation center. This state is the state shown in FIG. Then, the intersection of the line connecting the pixel on the original screen and the driver's viewpoint and the tilted screen becomes the position of the pixel after conversion. Accordingly, as shown in (c) and (d), the distance between the pixels changes, and the ratio of the pixel arrangement changes. Further, as shown in FIG. 4E, the image size is adjusted from the positional relationship between the driver viewpoint and the converted image plane.
In this way, a set of pixels formed on the tilted screen associated with the driver's
そこで、本願にあっては、カメラ視点画像Icと運転者視点画像Idとの変換テーブルである視点変換テーブルi4が、視点3の位置をパラメータとして用意されており、第1変換手段C4は、検出される運転者2の視点3に基づいて視点変換テーブルi4を選択・特定して、現在のカメラ視点画像Icから現在の運転者視点画像Idを生成する。
In view of this, in the present application, a viewpoint conversion table i4, which is a conversion table between the camera viewpoint image Ic and the driver viewpoint image Id, is prepared using the position of the
運転者視点画像Idにおける死角領域Dの特定
この死角領域Dの特定は、死角領域特定手段C5により行われる処理である。
本願に係る車両外部表示装置100にあっては、運転者2の視点3が検出される。これに対して、その視点3に対するピラー6の位置は、車1の形状が確定していることから特定される。従って、運転者2にとって死角となる外部領域は視点3の位置に基づいて決まる。
図5に、車1の幅方向において異なった位置にある視点3(図上「視点1」として示す視点3a、「視点2」として示す視点3b)に対して、車1の前方向に配置されていると仮定できる仮想スクリーンS1における死角領域(本願にいう運転者視点死角領域)Dを示した。この図から判明するように、視点3が車1の幅方向外側に移動するに従って、死角領域Dは仮想スクリーンS1上で幅方向内側に移動することが判る。この仮想スクリーンS1上での死角領域Dは、視点3の位置とピラー6の位置との関係に基づいて確定している。
そこで、本願に係る車両外部表示装置100にあっては、記憶部m内に視点3の位置をパラメータとする仮想スクリーンS1上の死角領域情報i5が記憶されており、検出される運転者2の視点3の位置に基づいて、死角領域特定手段C5がピラー6により形成される仮想スクリーンS1上の死角領域Dを特定する。
Specification of blind spot area D in driver viewpoint image Id This specification of blind spot area D is a process performed by blind spot area specifying means C5.
In the vehicle
In FIG. 5, the
Therefore, in the vehicle
具体的には、仮想スクリーンS1上の死角領域Dに対して、死角領域D以外の領域をマスクする仮想的なマスク画像Mが生成され、このマスク画像Mが下手側へ送られる。
図6に、異なった視点3(図上「視点1」,「視点2」,「視点3」として示す)に対応する、仮想スクリーンS1上の死角領域Dを示すとともに、この死角領域Dを区画するためのマスク画像Mを示した。運転者の視点3(「視点1」,「視点2」,「視点3」)に従って、この死角領域Dが、視点3とピラー6との位置関係に従って右側から左側に移動していることがわかる。
Specifically, a virtual mask image M that masks an area other than the blind spot area D is generated for the blind spot area D on the virtual screen S1, and the mask image M is sent to the lower side.
FIG. 6 shows a blind spot area D on the virtual screen S1 corresponding to different viewpoints 3 (shown as “
運転者視点画像における死角領域に位置する画像の抽出
以上の工程を経て、図7に示すように、運転者視点画像Idとマスク画像Mとを利用して、その重畳領域としてピラーに映像すべき画像を抽出する。図7に、この画像を透過部画像Idpとして示した。
Extraction of an image located in the blind spot area in the driver viewpoint image Through the above steps, as shown in FIG. 7, the driver viewpoint image Id and the mask image M should be used to image the pillar as the overlapping area. Extract images. FIG. 7 shows this image as a transmissive part image Idp.
プロジェクター画像Ipの生成
上記のようにして得られる透過部画像Idpは、プロジェクター画像生成手段C6に送られ、運転者2の視点3とプロジェクター104との関係から決まる変換とピラー6の形状、立体的形状からくる補正を受ける。即ち、記憶部mに記憶されている、ピラー−プロジェクター変換情報i2、内装形状補正情報i3に基づいた変換・補正を施すのである。
前者の変換は、主には、先にカメラ視点画像Icと運転者視点画像Idとの変換関係で述べたと同じ変換であり、この変換は第2変換手段C6aにより実行される。
この段階の変換に関して述べると、透過部画像Idpが得られていることから、ピラー6を代表する位置に鉛直方向の仮想スクリーンS2を仮定すれば、その映写すべき画像が確定する。
この映写すべき画像は、視点3から車外に設定した仮想スクリーンS1までの距離と、ピラー6を代表する位置に設定した仮想スクリーンS2との位置関係に対応して、幾分縮小され、両スクリーンS1,S2の傾き分だけ影響を受けたものとなる。
一方、ピラー6の位置とプロジェクター104の位置は固定された関係にあり、図8(A)に示すように、プロジェクター104の光軸104aは、ピラー6を代表する位置の仮想スクリーンS2に直交する関係に配設されているため、仮想スクリーンS2がプロジェクター104の映写面と平行に配設されている場合は、上記の映写すべき画像をピラーと仮想スクリーンS2の配置関係分だけ視点補正した画像をプロジェクター画像Ipとすることができる。これらの変換が図1に示す第2変換手段C6aで実行される。
Generation of Projector Image Ip The transmission part image Idp obtained as described above is sent to the projector image generation means C6, and the conversion determined from the relationship between the
The former conversion is mainly the same conversion as described above in the conversion relationship between the camera viewpoint image Ic and the driver viewpoint image Id, and this conversion is executed by the second conversion means C6a.
Regarding the conversion at this stage, since the transmission part image Idp is obtained, assuming the vertical virtual screen S2 at a position representing the
This image to be projected is somewhat reduced in accordance with the positional relationship between the distance from the
On the other hand, the position of the
通常のピラー6にあっては、ピラー6は、斜め前方向に延びる等立体的配置構成を有し、図8(A)に示すように、その断面表面形状も複雑な形状とされている。
そこで、プロジェクター画像生成手段6には、第2変換手段C6aに加えて、内装形状補正手段C6bが設けられている。
この補正に関する情報は、プロジェクター104とピラー6との位置関係が確定しており、さらにピラー6の立体的形状も確定しているため、予め確定することができ、記憶部mの内装形状補正情報i3として記憶される。
In the
Therefore, the projector image generation means 6 is provided with an interior shape correction means C6b in addition to the second conversion means C6a.
The information regarding this correction can be determined in advance because the positional relationship between the
この補正を、図8(A)に示す、ピラー6が車1の前後方向及び幅方向に延びる2面60,61からなる場合に関して説明する。図8(a)は、ピラー6を運転者2から見た状態を示しており、ピラー内面6aが下方に向かう程、運転者2から見て奥側(車の前側)に位置しており、ピラー内面6aが運転者2側に突出した稜線62と、この稜線62から両側に延び、運転者2に対して離間する側に延びる2面60,61から構成されていることを示している。
This correction will be described with respect to the case where the
さて、先に説明したピラー6を代表する位置に仮想した仮想スクリーンS2に形成されるべき死角領域Dの画像が図8(b)に示すような単なる方形の画像Aである場合を考える。この場合、図8(c)に示すように、その画像Aをピラー内面6aにそのまま映写すると、方形の上辺a及び下辺bが屈曲した位置関係となる直線の組み合わせとなり好ましくない。従って、プロジェクター104に供給すべき画像としては、図8(d)に示すように、運転者2から離間する方向に延びる各面60,61に映写される上辺a及び下辺bが、ピラー6の稜線62において折れ曲がった区画線a1,a2,b1,b2となるように画像を補正しておく。このようにしておくことで、図8(e)に示すように、ピラー内面6aにプロジェクター104より映写された画像は外部画像を不自然な印象なく映写することができる。
Now, let us consider a case where the image of the blind spot area D to be formed on the virtual screen S2 imaginary at a position representing the
以上の説明では、プロジェクター画像生成手段C6における処理を、第2変換手段C6aと内装形状補正手段C6bとの別個の手段による処理として説明したが、運転者2の視点3が特定されると、車外に設定される仮想スクリーンS1の位置とピラー6の位置との関係からピラー内面6aに映写されるべき画像は特定される。
In the above description, the processing in the projector image generation means C6 has been described as processing by separate means of the second conversion means C6a and the interior shape correction means C6b. However, when the
一方、ピラー内面6aの立体的形状とプロジェクター104の配設関係が固定であるため、プロジェクター104での映写に使用する画像であるプロジェクター画像Ipは、車外に設定される仮想スクリーンS1の位置とピラー6の位置関係及びピラー内面6aの立体的形状とプロジェクター104の配設関係から一意に求めることが可能である。
On the other hand, since the three-dimensional shape of the pillar
そこで、プロジェクター画像生成手段6では、第2変換手段C6aによる変換及び内装形状補正手段による補正を統合した処理を施すことで、良好にピラー内面6aに死角領域Dの画像を映写することができることとなる。
Therefore, the projector image generation means 6 can project the image of the blind spot area D on the pillar
初期化処理
本願に係る車両外部表示装置100では、現在のプロジェクター104の位置(方向も含む)を、プロジェクター104が本来あるべき位置に、適宜、運転者自身が調整可能に構成されている。
Initialization Process In the vehicle
表示装置本体101内には初期化処理手段C2が設けられている。
この初期化処理の目的は、外部表示に必要な情報の取り込み、及び、プロジェクター104の位置の調整(キャリブレーション)にある。前記必要な情報の取り込みは、装置の作動時開始時に常に実行される処理であり、後者の調整は、例えば、車両外部表示装置100の初期設置時、あるいは、所定の期間使用後に運転者2が調整を必要と判断した時に、適宜実行されるものである。
この調整手法の概念を模式的に、図9に示した。図9の左側には、運転者の右前側に位置するピラー6が示されており、右側には、プロジェクター104及びこの調整時にプロジェクター104から映写される初期化画像Iiが示されている。
車両外部表示装置100の使用に際しては、同左図に示すように、マーカー12をピラー6に対して所定3箇所に設置しておく。このマーカー12の位置は、車種、その車におけるピラー6の形状に合わせてプロジェクター104の配設位置との関係で予め決定されている位置であり、ピラー6とプロジェクター104との位置・光軸を適正に保つべく設定される位置である。図9には、マーカー12を、ピラー6の上端に一点、下側二点設ける場合を示している。
一方、記憶部mには、初期化設定用のマーカー12が配設されるべきピラー6に対する位置(車両形状データ上のマーカー位置である目標点の位置)が記憶されており、この位置に対応して、同図右側に示す初期化画像Iiを生成し、目標点であるマーカー点i12をピラー6に映写することが可能な構成が採用されている。プロジェクター104がピラー6に対して適正に配設されている場合に、映写画像のマーカー点i12がピラー6上に位置するマーカー12上に輝点として映写されることとなる。
An initialization processing unit C2 is provided in the display device
The purpose of this initialization process is to capture information necessary for external display and to adjust the position of the projector 104 (calibration). The acquisition of the necessary information is a process that is always executed at the start of operation of the device. The latter adjustment is performed by the
The concept of this adjustment method is schematically shown in FIG. The left side of FIG. 9 shows the
When the vehicle
On the other hand, the storage unit m stores a position (a position of a target point that is a marker position on the vehicle shape data) with respect to the
この初期化処理手段C2の動作フローを、図10に示した。一方、図11に、車両外部表示装置100のメインフローを示した。初期化処理は、メインフローの初段(ステップS1)に位置されており、車両外部表示装置100の動作開始時(例えば、イグニッションキー4のON操作時)に常時実行される。
The operation flow of this initialization processing means C2 is shown in FIG. On the other hand, FIG. 11 shows a main flow of the vehicle
図10に示すフローに従って、この初期化処理を説明する。
ステップ101(S101)
初期化処理を開始する時点で、記憶部mに記憶されているレンズ補正情報i1を読み出す。レンズ補正情報i1が変換テーブルとして記憶されている場合は、それをそのまま使用可能であり、レンズ特性を表す式等として記憶されている場合は、レンズ補正を画像情報に対して適応すべく、変換テーブルの形態に変えることとなる。
This initialization process will be described according to the flow shown in FIG.
Step 101 (S101)
When the initialization process is started, the lens correction information i1 stored in the storage unit m is read. When the lens correction information i1 is stored as a conversion table, it can be used as it is. When the lens correction information i1 is stored as an expression representing lens characteristics, the lens correction information i1 is converted to adapt the lens correction to the image information. It will change to the form of the table.
ステップ102・103(S102・103)
先に説明した、死角領域Dの画像からプロジェクター画像Ipを形成するための情報i2、i3を、記憶部mから呼び出す。この場合、先に説明したピラー−プロジェクター変換情報i2及び内部形状補正情報i3が一体として呼び出され、プロジェクター画像Ipの生成が可能となる。
The information i2 and i3 for forming the projector image Ip from the image of the blind spot area D described above is called from the storage unit m. In this case, the pillar-projector conversion information i2 and the internal shape correction information i3 described above are called together and the projector image Ip can be generated.
以上の3のステップは、初期化処理に伴って、自動的に装置側で実行されるステップである。
以下、ステップ104(S104)からステップ109(S109)に至るステップは、プロジェクター104の調整(キャリブレーション)に関する処理ステップであり、装置100と運転者2との間で行われる処理ステップである。
ステップ104(S104)
このステップに到達した段階で、表示装置本体101に付属して設けられている入出力装置101aに、プロジェクター104調整(キャリブレーション)の要否が問い合わされ、運転者2側からのキャリブレーション開始トリガの有無が判断される。
例えば、入出力装置101aの最上段の点灯ボタンを点灯しておくことで、調整の要否の判定を促し、このボタンが押されること(開始トリガあり)で、調整が要と判定されたものとするのである。一方、一定時間内に操作されない場合は、開始トリガなしとできる。
先にも説明したように、例えば、車両外部表示装置100が最初に設置された時、或は、長期間に渡って使用が継続され、運転者2が表示画像に大きなずれを感じるようになった場合に、運転者2は、この開始トリガを入力する。
開始トリガがある場合(ステップ104;yes)は、ステップ105からステップ109の調整処理に入る。一方、開始トリガがない場合(ステップ104;no)は、これらの処理は省略されて、初期化処理を終了する(エンド)。
The above three steps are steps automatically executed on the apparatus side in accordance with the initialization process.
Hereinafter, steps from step 104 (S104) to step 109 (S109) are processing steps relating to adjustment (calibration) of the
Step 104 (S104)
When this step is reached, the input /
For example, by turning on the uppermost lighting button of the input /
As described above, for example, when the vehicle
If there is a start trigger (
ステップ105(S105)
このステップにおいて、先に説明したマーカー12が設けられている位置である初期化画像上の目標点の位置を記憶部mから読み出し、図9右側に示す初期化画像Iiを生成する。
以上説明した、ステップ104ステップ105は、装置側での一連の処理として実行される。
Step 105 (S105)
In this step, the position of the target point on the initialization image, which is the position where the
Step 104 and step 105 described above are executed as a series of processing on the apparatus side.
引き続いて、ステップ106からステップ108に示す一連の処理を、各マーカー12に対して実行する。これらステップにあっては、運転者2によるプロジェクター104の調整操作が介入する。
ステップ106(S106)
このステップにおいて、初期化画像Iiを使用して目標点の位置で走査線を映写する。
ステップ107・ステップ108(S107・108)
これらステップにおいては、ピラー6に備えられているマーカー12の位置と、プロジェクター104から映写される走査線の位置とが一致しているか否かを、順次、装置が運転者2側に問い合わせ(S107)、一致していない場合は、運転者2にプロジェクター104の調整操作を指示するとともに、運転者2により調整される(S108)。
先に示す入出力装置101aの場合は、輝点の映像順に、上から2番目、3番目、4番目の順に点灯していき、調整の後に、この点灯ボタンを順次押すことで、その調整の完了を確認することができる。
ステップ109(S109)
このステップにおいて、3個設けられているマーカー12に関して、全ての点に関する調整が完了したかどうかが、運転者2、装置100間で確認され、全てに関して完了した状態で、初期化処理を完了する。
Subsequently, a series of processing shown in Step 106 to Step 108 is executed for each
Step 106 (S106)
In this step, the scan line is projected at the position of the target point using the initialization image Ii.
Step 107 and Step 108 (S107 and 108)
In these steps, the device sequentially inquires of the
In the case of the input /
Step 109 (S109)
In this step, it is confirmed between the
以上が、本願に係る車両外部表示装置100の構成及び初期化処理の内容であるが、以下、図11に示すメインフローに基づいて、外部表示に関して説明する。
メインフローは、イグニッションキー4のON操作に伴って開始される(スタート)処理フローであり、初期化処理(ステップ1)を実行した後、適宜、撮像カメラ102からカメラ視点画像Icを取り込み、必要な処理を施した後、本願にいうプロジェクター画像Ipを生成し、これをピラー上に映写するものである。
ステップ1(S1)
初期化処理手段C2により、先に説明した初期化処理が実行される。
このステップを完了した段階で、レンズ補正のためのレンズ補正情報i1、ピラー−プロジェクター変換情報i2及び内装形状補正情報i3が、演算処理に適応できるように取り込まれており、プロジェクター104はピラー6に対して適性な位置関係に調整されている。
ステップ2(S2)
撮像カメラ102よりカメラ視点画像Icが取得される。この取得は、予め設定されている所定の取得間隔で実行される。この取得間隔は、メインフローにおけるステップ2〜ステップ8に至る単一特定のカメラ視点画像Icの映写処理に要する時間を考慮して決定されている。
ステップ3(S3)
初期化処理により予め確定されているレンズ補正情報i1を使用して、カメラ視点画像Icの画像補正が施される。結果、レンズの影響を受けない画像を以降処理することとなる。
ステップ4(S4)
運転者2の視点3が取得される。即ち、視点位置検出手段C1により、赤外線カメラ8、ロードセル10の検出結果に基づいて、運転者2の視点3が導出され、表示装置本体101に送られてくる。
ステップ5(S5)
レンズ補正済みのカメラ視点画像Icを、運転者視点画像Idに変換する。この変換は第1変換手段C4により実行され、車外に仮想的に設けられている仮想スクリーンS1上に映る外部映写を運転者2の視点3から見た場合に、見える画像に変換されることとなる。
この時、記憶部mに、視点3の位置をパラメータとして記憶されている変換テーブルを特定して、呼び出し使用する。
ステップ6(S6)
別途、運転者2の視点3の検出結果に基づいて、上記車外に仮想的に設けられている仮想スクリーンS1上の死角領域Dが特定される。この処理は、死角領域特定手段C5により実行される処理であり、記憶部mに、視点3をパラメータとして記憶されている死角領域Dを特定して・抽出してくる処理であり、実態上は、マスクの選択・抽出に帰着する。
ステップ5で得られた運転者視点画像Idとステップ6で得られるマスクとを利用して、透過部画像Idpが生成され、プロジェクター側へ送られる。
ステップ7(S7)
そして、描画データであるプロジェクター画像Ipが抽出・生成される。この処理はプロジェクター画像生成手段C6により実行される処理であり、仮想スクリーンS1,S2と視点3及びプロジェクター104の位置を考慮した第2変換手段C6aによる変換と、内装形状を考慮した内装形状補正手段C6bによる補正を伴うこととなる。
ステップ8(S8)
このようにして生成されるプロジェクター画像(描画データからなる画像)Ipが、プロジェクター104に送られ、画像表示される。
この時、プロジェクター104における走査の範囲は、視点3の位置(図中、「視点1」、「視点2」、「視点3」と表示)及び内装の表面形状にも依存する。図12に示す例は、プロジェクターの位置に対して、視点3がその周りで移動した場合の例である。
同図に示すように、プロジェクターの最大照射範囲はピラーとの位置関係において「視点1」で示すように、ピラー6全体をカバーできるように走査することとなっているが、「視点2」の場合は下側の内面6dに対応する領域が走査しない領域となっており、同図に示す「視点3」の場合は、「視点1」の走査領域に対して上側の内面6uに対応する領域が走査しない領域となる。
以上のステップ2からステップ8に至る一連の処理を特定の画像に対して施すことで、ピラー6上に、迅速且つ良好にピラー外部の情景を映写することができる。
ステップ9(S9)
このステップは、引き続き画像表示を実行するか否かの判断ステップであり、イグニッションキー4がOFF操作されているか否かを判定し、OFF操作されている場合は、動作を停止し、ON操作が維持されている場合は、ステップ2に戻って、新たな画像表示を行う。
上記の説明にあっては、本願に係る車両外部表示装置100は、イグニッションキー4のON・OFFに基づいて動作するものとしたが、無論、独自のON・OFFスイッチを設けて、その動作を行うものとしてもよい。
The above is the configuration of the vehicle
The main flow is a (start) processing flow that is started when the
Step 1 (S1)
The initialization processing described above is executed by the initialization processing means C2.
At the stage of completing this step, lens correction information i1, lens-projector conversion information i2, and interior shape correction information i3 for lens correction are incorporated so that they can be applied to arithmetic processing. It has been adjusted to an appropriate positional relationship.
Step 2 (S2)
A camera viewpoint image Ic is acquired from the
Step 3 (S3)
Image correction of the camera viewpoint image Ic is performed using the lens correction information i1 determined in advance by the initialization process. As a result, an image not affected by the lens is processed thereafter.
Step 4 (S4)
The
Step 5 (S5)
The lens-corrected camera viewpoint image Ic is converted into a driver viewpoint image Id. This conversion is executed by the first conversion means C4, and is converted into an image that can be seen when the external projection shown on the virtual screen S1 virtually provided outside the vehicle is viewed from the
At this time, a conversion table stored in the storage unit m using the position of the
Step 6 (S6)
Separately, based on the detection result of the
Using the driver viewpoint image Id obtained in
Step 7 (S7)
Then, a projector image Ip that is drawing data is extracted and generated. This process is a process executed by the projector image generation unit C6. The conversion by the second conversion unit C6a considering the virtual screens S1 and S2, the
Step 8 (S8)
The projector image (image consisting of drawing data) Ip generated in this way is sent to the
At this time, the scanning range of the
As shown in the figure, the maximum irradiation range of the projector is scanned so as to cover the
By performing a series of processes from
Step 9 (S9)
This step is a step for determining whether or not to continue to perform image display. It is determined whether or not the
In the above description, the vehicle
以上の操作を実行することにより、良好にピラー上に外部画像を映写することができる。
〔別実施の形態〕
a.上記の実施の形態にあっては、運転者の右前にあるピラー上に外部の情景を映写するものとしたが、この種の映写を実行する部位に関しては、運転者にとって死角を形成する車体部位であれば任意の部位に外部の画像を映写することができる。
例えば、後部のピラー、後部座席、ボンネット等に映写するものとしてもよい。
b.上記の実施の形態にあっては、プロジェクター画像生成手段を備え、プロジェクターから映像されるプロジェクター画像を使用して、その走査線が方形の画像領域に対して上辺あるいは下辺に平行に移動しながら走査を実行する場合に関して説明した。図8(d)の下側に示すのがこの場合の走査方向である。
しかしながら、上記の第2変換手段及び内装形状補正手段による変換・補正を施すことなく、ピラー表面に的確に表示するためには、この画像における走査線の走査方向及び位置を、ピラーとプロジェクターとの位置関係及びピラーの具体的内面形状に基づいて変更してもよい。この例の場合、図5(b)に示す画像と同じ画像とした場合、その走査方向・位置を図8(f)に示すように変換する。この場合、初期化処理におけるステップ102及びステップ103に伴う処理が不要となり、表示装置本体から直接運転者視点画像の死角領域において確定している画像(透過部画像Idp)を、プロジェクターに送るとともに、送られてくる画像において、仮想スクリーンS1と、ピラー−プロジェクター間の位置関係及び、ピラーの形状に基づいて定まる走査方向及び画像上の位置に従って映像することとなる。
c.上記の実施の形態にあっては、マスクは視点をパラメータとした情報として記憶部に予め記憶しておく情報としたが、3次元の車両形状データを持ち、車外に仮想する仮想スクリーン(先の例で示したS1)に基づいて、その仮想スクリーン上で、視点の検出毎に演算により求めるものとしてもよい。
d. 上記の実施の形態にあっては、視点の位置は、運転者画像の目の位置として、あるいはシート形状、シートの位置から検出したが、積極的に検出することなく、予め設定されている視点の位置、例えばヘッドレストの位置に従った視点の位置を記憶部に記憶しておき、その情報に従った処理を行ってもよい。
By executing the above operation, an external image can be projected on the pillar well.
[Another embodiment]
a. In the above embodiment, an external scene is projected on the pillar in front of the driver. However, with respect to a part that performs this kind of projection, a vehicle body part that forms a blind spot for the driver. If so, an external image can be projected on any part.
For example, it may be projected on a rear pillar, a rear seat, a hood, or the like.
b. In the above embodiment, the projector image generation means is provided, and the projector image scanned from the projector is used while the scanning line moves parallel to the upper side or the lower side with respect to the rectangular image region. Explained the case of executing. The scanning direction in this case is shown on the lower side of FIG.
However, in order to display accurately on the pillar surface without performing the conversion / correction by the second conversion means and the interior shape correction means, the scanning direction and position of the scanning lines in this image are determined between the pillar and the projector. You may change based on a positional relationship and the specific inner surface shape of a pillar. In this example, when the image is the same as the image shown in FIG. 5B, the scanning direction and position are converted as shown in FIG. In this case, the process associated with
c. In the above embodiment, the mask is information stored in advance in the storage unit as information with the viewpoint as a parameter. However, the virtual screen having the three-dimensional vehicle shape data and virtual outside the vehicle (the previous screen) Based on S1) shown in the example, it may be obtained by calculation every time a viewpoint is detected on the virtual screen.
d. In the above embodiment, the position of the viewpoint is detected as the position of the eyes of the driver image or from the seat shape and the position of the seat, but is set in advance without positive detection. The position of the viewpoint, for example, the position of the viewpoint according to the position of the headrest may be stored in the storage unit, and processing according to the information may be performed.
例えば、運転者の右前に位置するピラーの内面に、確立された画像処理を施して、時事刻々変化する外部の情景をリアルタイムに、不自然な印象を与えることなく映写することが可能となり、運転支援を迅速且つ的確に行うことができる車両外部表示方法及び装置を提供することができた。 For example, by applying established image processing to the inner surface of the pillar located in front of the driver, it is possible to project an external scene that changes from moment to moment in real time without giving an unnatural impression. It was possible to provide a vehicle external display method and apparatus capable of providing quick and accurate support.
1 :車
2 :運転者
3 :視点
6 :ピラー
100:車両外部表示装置
101:表示装置本体
102:撮像カメラ
103:視点検出装置
104:プロジェクター
1: Car 2: Driver 3: Viewpoint 6: Pillar 100: Vehicle external display device 101: Display device body 102: Imaging camera 103: Viewpoint detection device 104: Projector
Claims (12)
前記カメラ視点画像から、運転者から見た場合に視認される画像である運転者視点画像を、車外に仮想される第一仮想スクリーン上の画像として得る第一画像変換工程を実行するとともに、
車両構造物によって運転者にとって死角となる領域の画像を前記運転者視点画像から抽出する死角領域画像抽出工程と、
前記第一仮想スクリーンと車内の前記車両構造物の位置に仮想される第二仮想スクリーンとの配置関係に基づいて、前記死角領域画像抽出工程で得られる前記死角となる領域の画像を変換し、前記第二仮想スクリーン上の画像として得る第二画像変換工程と、
前記第二画像変換工程で得られる変換後の画像を、前記車両構造物の立体的配置構成及び立体的内面形状に応じて、車両外部の情景の実像に対して歪み及びずれのない画像とするように補正する内装形状補正工程と、を実行し、
前記内装形状補正工程で得られる補正後の画像を、前記車両構造物に投影表示する車両外部表示方法。 An imaging step of obtaining an image of a scene outside the vehicle captured by the imaging means as a camera viewpoint image;
From the camera viewpoint image, performing a first image conversion step of obtaining a driver viewpoint image, which is an image viewed when viewed from the driver, as an image on a first virtual screen virtualized outside the vehicle ,
A blind spot area image extracting step of extracting an image of a blind spot area for the driver by the vehicle structure from the driver viewpoint image ;
Based on the positional relationship between the first virtual screen and the second virtual screen virtualized at the position of the vehicle structure in the vehicle , the image of the area that becomes the blind spot obtained in the blind spot area image extraction step is converted, A second image conversion step for obtaining an image on the second virtual screen;
The converted image obtained in the second image conversion step is an image that is free from distortion and displacement with respect to the real image of the scene outside the vehicle, according to the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure. And an interior shape correction process for correcting the
A vehicle external display method for projecting and displaying a corrected image obtained in the interior shape correction step on the vehicle structure.
前記視点検出工程で得られた前記運転者の視点に基づいて、
前記カメラ視点画像から、運転者から見た場合に視認される画像である運転者視点画像を、車外に仮想される第一仮想スクリーン上の画像として得る第一画像変換工程を実行するとともに、運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定工程と、を実行し、
前記第一仮想スクリーンと車内の前記車両構造物の位置に仮想される第二仮想スクリーンとの配置関係に基づいて、前記死角領域特定工程で得られる前記運転者視点画像死角領域の画像を変換し、前記第二仮想スクリーン上の画像として得る第二画像変換工程と、
前記第二画像変換工程で得られる変換後の画像を、前記車両構造物の立体的配置構成及び立体的内面形状に応じて、車両外部の情景の実像に対して歪み及びずれのない画像とするように補正する内装形状補正工程と、を更に実行し、
前記内装形状補正工程で得られる補正後の画像を、前記車両構造物に投影表示する車両外部表示方法。 An imaging step of obtaining an image of a scene outside the vehicle captured by the imaging means as a camera viewpoint image, and a viewpoint detection step of detecting the driver's viewpoint,
Based on the driver's viewpoint obtained in the viewpoint detection step,
From the camera viewpoint image , a driver's viewpoint image , which is an image viewed when viewed from the driver, is executed as a first image conversion step for obtaining an image on a first virtual screen virtualized outside the vehicle, and driving Performing a blind spot area specifying step of obtaining a driver viewpoint image blind spot area as an area occupied by the vehicle structure viewed from the driver in the driver viewpoint image;
Based on the positional relationship between the first virtual screen and the second virtual screen virtualized at the position of the vehicle structure in the vehicle, the image of the driver viewpoint image blind spot area obtained in the blind spot area specifying step is converted. A second image conversion step for obtaining an image on the second virtual screen;
The converted image obtained in the second image conversion step is an image that is free from distortion and displacement with respect to the real image of the scene outside the vehicle, according to the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure. And further executing an interior shape correction step of correcting the
A vehicle external display method for projecting and displaying a corrected image obtained in the interior shape correction step on the vehicle structure.
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換する請求項3又は4記載の車両外部表示方法。 A conversion table in which the camera viewpoint image is the driver viewpoint image is prepared in advance with the position of the viewpoint as a parameter,
The vehicle exterior according to claim 3 or 4, wherein the conversion table to be used is specified based on the detected viewpoint, and the camera viewpoint image is converted into the driver viewpoint image using the specified conversion table. Display method.
検出された前記視点に基づいて使用すべき前記車両構造物死角領域を特定し、前記特定された車両構造物死角領域を用いて、
前記運転者視点画像死角領域の画像を求める請求項4記載の車両外部表示方法。 The vehicle structure blind spot area in the first virtual screen is obtained in advance with the position of the viewpoint as a parameter,
Identifying the vehicle structure blind spot area to be used based on the detected viewpoint, and using the identified vehicle structure blind spot area,
The vehicle external display method according to claim 4, wherein an image of the driver viewpoint image blind spot area is obtained.
運転者の視点を検出する視点検出手段とを備え、
前記視点検出手段で得られた前記運転者の視点に基づいて、
前記カメラ視点画像を、前記運転者から見た場合に視認される画像である運転者視点画像に、車外に仮想される第一仮想スクリーン上の画像として変換する第一変換手段を備えるとともに、
運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定手段を備え、
前記第一仮想スクリーンと車内の前記車両構造物の位置に仮想される第二仮想スクリーンとの配置関係に基づいて、前記死角領域特定手段により得られる前記運転者視点画像死角領域の画像を、前記第二仮想スクリーン上の画像に変換する第二変換手段と、
前記第二変換手段により得られる変換後の画像を、前記車両構造物の立体的配置構成及び立体的内面形状に応じて、車両外部の情景の実像に対して歪み及びずれのない画像とするように補正する内装形状補正手段と、を更に備え、
前記内装形状補正手段により得られる補正後の画像を、前記車両構造物に投影表示する車両外部表示装置。 Imaging means for imaging a scene outside the vehicle as a camera viewpoint image;
A viewpoint detection means for detecting the viewpoint of the driver,
Based on the driver's viewpoint obtained by the viewpoint detection means,
A first conversion means for converting the camera viewpoint image into a driver viewpoint image that is an image viewed when viewed from the driver, as an image on a first virtual screen virtualized outside the vehicle ;
A blind spot area specifying means for obtaining, as a driver viewpoint image blind spot area, an area occupied by the vehicle structure viewed from the driver in the driver viewpoint image;
Based on the positional relationship between the first virtual screen and the second virtual screen virtualized at the position of the vehicle structure in the vehicle, the image of the driver viewpoint image blind spot area obtained by the blind spot area specifying means , Second conversion means for converting to an image on a second virtual screen;
According to the three-dimensional arrangement configuration and the three-dimensional inner surface shape of the vehicle structure, the image after conversion obtained by the second conversion unit is an image that is free from distortion and displacement with respect to the real image of the scene outside the vehicle. Further comprising an interior shape correcting means for correcting to
A vehicle external display device that projects and displays a corrected image obtained by the interior shape correcting means on the vehicle structure.
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換する請求項8又は9記載の車両外部表示装置。 A conversion table in which the camera viewpoint image is the driver viewpoint image is prepared in advance with the position of the viewpoint as a parameter,
The vehicle exterior according to claim 8 or 9, wherein the conversion table to be used is specified based on the detected viewpoint, and the camera viewpoint image is converted into the driver viewpoint image using the specified conversion table. Display device.
検出された前記視点に基づいて使用すべき前記車両構造物死角領域を特定し、前記特定された車両構造物死角領域を用いて、前記運転者視点画像死角領域の画像を求める請求項9記載の車両外部表示装置。 The vehicle structure blind spot area is obtained in advance with the position of the viewpoint as a parameter,
Identify the vehicle structure blind area to be used on the basis of the detected viewpoint, using said identified vehicle structure blind spot regions, according to claim 9, wherein obtaining the image of the driver's viewpoint image blind area Vehicle external display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005117525A JP4683272B2 (en) | 2005-04-14 | 2005-04-14 | Vehicle external display method and display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005117525A JP4683272B2 (en) | 2005-04-14 | 2005-04-14 | Vehicle external display method and display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006290304A JP2006290304A (en) | 2006-10-26 |
JP4683272B2 true JP4683272B2 (en) | 2011-05-18 |
Family
ID=37411339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005117525A Active JP4683272B2 (en) | 2005-04-14 | 2005-04-14 | Vehicle external display method and display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4683272B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106274686A (en) * | 2016-08-05 | 2017-01-04 | 北京智芯微电子科技有限公司 | A kind of vehicle blind zone rendering method and device |
KR20180003671A (en) * | 2016-06-30 | 2018-01-10 | 전자부품연구원 | Covering object transparent display device, method and system according to gaze direction |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4862774B2 (en) | 2006-12-20 | 2012-01-25 | アイシン・エィ・ダブリュ株式会社 | Driving support method and driving support device |
US9126533B2 (en) | 2007-02-23 | 2015-09-08 | Aisin Aw Co., Ltd. | Driving support method and driving support device |
JP4412380B2 (en) * | 2007-10-02 | 2010-02-10 | アイシン・エィ・ダブリュ株式会社 | Driving support device, driving support method, and computer program |
DE102008026059A1 (en) | 2008-05-30 | 2009-12-03 | Rheinmetall Landsysteme Gmbh | Method and device for enlarging the field of view of a driver located in a motor vehicle |
WO2011148455A1 (en) * | 2010-05-25 | 2011-12-01 | 富士通株式会社 | Video processing device, video processing method, and video processing program |
JP5817792B2 (en) * | 2013-07-02 | 2015-11-18 | 株式会社デンソー | Projection type display device for vehicle |
JP6299122B2 (en) * | 2013-09-06 | 2018-03-28 | トヨタ自動車株式会社 | Driving assistance device |
WO2016018320A1 (en) * | 2014-07-30 | 2016-02-04 | Johnson Controls Technology Company | System for projecting an image within a vehicle interior |
EP3334621A4 (en) * | 2015-08-10 | 2019-03-13 | Bayerische Motoren Werke Aktiengesellschaft | System, method and apparatus for vehicle and computer readable medium |
DE102016007522B4 (en) * | 2016-06-20 | 2022-07-07 | Mekra Lang Gmbh & Co. Kg | Mirror replacement system for a vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196645A (en) * | 2001-12-28 | 2003-07-11 | Equos Research Co Ltd | Image processing device of vehicle |
JP2004064131A (en) * | 2002-07-24 | 2004-02-26 | Honda Motor Co Ltd | Display for vehicle |
JP2005184225A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Vehicular display |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11115546A (en) * | 1997-10-17 | 1999-04-27 | Harness Syst Tech Res Ltd | Display device for vehicle |
-
2005
- 2005-04-14 JP JP2005117525A patent/JP4683272B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196645A (en) * | 2001-12-28 | 2003-07-11 | Equos Research Co Ltd | Image processing device of vehicle |
JP2004064131A (en) * | 2002-07-24 | 2004-02-26 | Honda Motor Co Ltd | Display for vehicle |
JP2005184225A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Vehicular display |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180003671A (en) * | 2016-06-30 | 2018-01-10 | 전자부품연구원 | Covering object transparent display device, method and system according to gaze direction |
KR101892135B1 (en) * | 2016-06-30 | 2018-08-29 | 전자부품연구원 | Covering object transparent display device, method and system according to gaze direction |
CN106274686A (en) * | 2016-08-05 | 2017-01-04 | 北京智芯微电子科技有限公司 | A kind of vehicle blind zone rendering method and device |
Also Published As
Publication number | Publication date |
---|---|
JP2006290304A (en) | 2006-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4683272B2 (en) | Vehicle external display method and display device | |
US8272748B2 (en) | Projection-type display apparatus and method for performing projection adjustment | |
US8947533B2 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
CN101132536B (en) | Image processor and vehicle surrounding visual field support device | |
JP6223685B2 (en) | Image processing apparatus and image processing method | |
JP4681432B2 (en) | In-vehicle peripheral image display device | |
JP5523730B2 (en) | In-vehicle peripheral image display device | |
US20100231717A1 (en) | Image adjusting device, image adjusting method, and on-vehicle camera | |
EP1115250A1 (en) | Method and apparatus for displaying image | |
WO2014034364A1 (en) | Image generating apparatus, image displaying system, parameter acquiring apparatus, image generating method, and parameter acquiring method | |
JP4758481B2 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING PROGRAM | |
JP2006303583A (en) | Vehicle body outside display device and initializing method of vehicle body outside display device | |
JP2001218197A (en) | Device for displaying periphery of vehicle | |
JP2010085186A (en) | Calibration device for on-vehicle camera | |
GB2361376A (en) | Image conversion device for vehicle rearward-monitoring device | |
JP4666062B2 (en) | Image photographing apparatus and method | |
JP4306006B2 (en) | Three-dimensional data input method and apparatus | |
KR101657673B1 (en) | Apparatus and method for generating panorama view | |
JP4496503B2 (en) | Vehicle driving support device | |
CN105981376B (en) | Drive assistance device | |
JP2008037118A (en) | Display for vehicle | |
JP2010258691A (en) | Maneuver assisting apparatus | |
JP2008307981A (en) | Driving support device for vehicle | |
JP2010218058A (en) | Device and method for supporting driving | |
JP2016025394A (en) | Display device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4683272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150218 Year of fee payment: 4 |