JP2006303583A - Vehicle body outside display device and initializing method of vehicle body outside display device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle body outside display device capable of displaying a video image of an external scene varying from hour to hour on an interior face of one of pillars in real time without developing unnatural impression through an established image processing applied to an imaged image so as to quickly and surely assist driving. <P>SOLUTION: The vehicle body outside display device picks up an image resulting from imaging a scenery at the outside of the vehicle body as a camera viewpoint image, executes a viewpoint detection process for detecting the viewpoint of the driver, and projectingly displays the image on a vehicle interior structure corresponding to the shape of the vehicle interior structure, and is configured to be capable of executing positional adjustment between the vehicle interior structure and a video image means in the case of initializing the vehicle body outside display device. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車等に搭載され、運転者による運転を支援することができる車体外部表示装置に関するとともに、その初期化方法に関する。   The present invention relates to a vehicle body external display device that is mounted on a vehicle or the like and can support driving by a driver, and also relates to an initialization method thereof.

運転を支援する装置として、自動車のインストゥルメントパネル上にターンシグナル等を表示したり、ピラー上に車外の情景を表示したりすることが提案されている。ここで、ターンシグナルや車外の情景は仮想画像として表示される。
例えば、特許文献１は、この種の仮想画像の様々な利用形態を提案するものであり、ピラーの内面に、車外の情景を映像することも提案されている。この文献に記載の技術では、車外の情景を撮像可能な撮像装置（撮像手段）、運転者の視点を検出可能な視点検出装置（視点検出手段）及び画像編集装置が備えられており、この画像編集装置により画像の運転者視点に従った画像編集が行われた後、ホログラフィ表示装置等（映像手段）を用いて所定の仮想画像を映像している。 As a device for assisting driving, it has been proposed to display a turn signal or the like on an instrument panel of an automobile or to display a scene outside the vehicle on a pillar. Here, a turn signal and a scene outside the vehicle are displayed as virtual images.
For example, Patent Document 1 proposes various usage forms of this type of virtual image, and it is also proposed to image a scene outside the vehicle on the inner surface of the pillar. The technique described in this document includes an imaging device (imaging means) that can capture a scene outside the vehicle, a viewpoint detection device (viewpoint detection means) that can detect the viewpoint of the driver, and an image editing device. After image editing according to the driver's viewpoint of the image is performed by the editing device, a predetermined virtual image is imaged using a holographic display device or the like (video means).

この文献には、段落〔００５１〕に、「画像編集装置１８では、これら供給された車両前方や車両後方の画像情報と視点位置信号から、運転者から死角となっている領域の外部情報を編集処理し、その編集処理データがホログラフィ表示装置１９に供給され、ホログラフィ表示装置１９により各ピラー３１位置の実空間上に死角部情報１３ｇが視認景色２３と一体的となるようにホログラム表示される。」と記載されている。
しかしながら、運転者視点をどのようにして検出するか、さらに、カメラにより撮像される撮像画像をどのように編集処理するかに関する具体的記載はない。 In this document, paragraph [0051] states, “The image editing device 18 edits external information of a blind spot from the driver from the supplied image information of the front and rear of the vehicle and the viewpoint position signal. Then, the edit processing data is supplied to the holographic display device 19, and the holographic display device 19 displays the blind spot information 13 g on the real space at each pillar 31 position so as to be integrated with the visual field 23. Is described.
However, there is no specific description regarding how to detect the driver's viewpoint and how to edit the captured image captured by the camera.

特開平１１−１１５５４６号公報（第５１段落、図６、７、８）JP 11-115546 A (paragraph 51, FIGS. 6, 7 and 8)

例えば、運転者の斜め前にあるピラーに、ピラーを越えた外部にある情景を映像すると、その映像状態が良好（外部の情景を忠実かつ自然に反映した歪み、ずれのない画像）である場合に限り、その効果を発揮することができる。
従って、映像に歪みがある場合等には問題となるとともに、ピラーの周部に存するウインドウに不要な映像が映写された場合は、不自然感を禁じ得ない。
さらに、運転状態にあっては、刻々とピラー外部の情景が変化するため、ほぼリアルタイムで外部の情景を歪み及びずれなく映写することが要求される。 For example, when a scene outside the pillar is imaged on a pillar that is diagonally in front of the driver, the image is in good condition (an image that is faithful and naturally reflects the external scene and has no displacement). As long as it is, the effect can be exhibited.
Therefore, it becomes a problem when the image is distorted or the like, and when an unnecessary image is projected in the window around the pillar, unnatural feeling cannot be forbidden.
Furthermore, since the scene outside the pillar changes every moment in the driving state, it is required to project the outside scene almost without distortion and without deviation.

このような観点から上述の従来技術を参照すると、画像編集装置における編集処理に関して何ら具体的な説明がなく、処理工程が煩雑化したり、死角領域以外の画像を、歪み、ずれのある状態で映像することとなる可能性が残る等問題がある。
さらに、ホログラフィ表示装置が、例えばピラーに対して適正な位置関係を保っていない場合は、良好な画像表示を行うことができないが、このような問題に対する対策は、なんら見出すことができない。 From this point of view, referring to the above-described prior art, there is no specific explanation regarding the editing process in the image editing apparatus, the processing process becomes complicated, and an image other than the blind spot area is displayed in a distorted and shifted state. There is a problem, such as the possibility of being left behind.
Furthermore, when the holographic display device does not maintain an appropriate positional relationship with respect to the pillar, for example, good image display cannot be performed, but no countermeasure for such a problem can be found.

本発明の目的は、車両構造物、例えば、運転者の右前に位置するピラーの内面に、確立された画像処理を施して、不自然な印象を与えることなく映像することが可能となり、運転支援を的確に行うことができる車両外部表示装置を提供する点にある。   An object of the present invention is to perform established image processing on the inner surface of a vehicle structure, for example, a pillar located in front of the driver, so that an image can be displayed without giving an unnatural impression. It is in the point which provides the vehicle external display apparatus which can perform accurately.

上記目的を達するための、本願に係る、
車両外部の情景をカメラ視点画像として撮像する撮像手段と、車両構造物に画像を映像する映像手段とを備え、
運転者の視点に基づいて、前記カメラ視点画像から前記画像を得て、前記車両構造物に、運転者から見て前記車両構造物により死角となる車両外部の情景を表示する車両外部表示装置の特徴構成は、
動作開始時点において、前記車両構造物と前記映像手段との位置関係を、両者間の適正な位置関係として予め規定される適正位置関係に調整する調整工程を実行するための初期化処理手段を備えたことにある。
この車両外部表示装置にあっては、初期化処理手段を備えることにより、動作開始時点、例えば、イグニッションキーがＯＮ操作される動作開始時点において、車両構造物と映像手段との位置関係が適正な位置関係にあるかどうかをチェックし、調整工程を行うことが可能となる。
本願に係る車両外部表示装置にあっては、映像対象である車両外部の情景は、次々変化するのに対して、言わばスクリーンとして働く車両構造物に対する映像手段の位置関係は、本来変わることは予定されない。しかしながら、車載型の装置の宿命として、車両構造物と映像手段との位置関係は不測に、或は経時的に変化する場合がある。
そこで、本願装置にあっては、装置の動作開始時に、調整処理（車両構造物と映像手段との位置関係を適正位置関係に調整する）を可能としておく。
このようにすることで、例えば運転者が映像が不自然と思う等、適宜必要な場合に初期化処理を行うことができ、先の目的を達成することができる。 In order to achieve the above purpose, according to the present application,
Imaging means for capturing a scene outside the vehicle as a camera viewpoint image, and video means for imaging an image on the vehicle structure,
A vehicle external display device that obtains the image from the camera viewpoint image based on a driver's viewpoint and displays a scene outside the vehicle that becomes a blind spot by the vehicle structure as viewed from the driver on the vehicle structure. The feature configuration is
Initialization processing means for executing an adjustment process for adjusting the positional relationship between the vehicle structure and the video means to an appropriate positional relationship defined in advance as an appropriate positional relationship between the two at the start of operation. That is.
In this vehicle external display device, by providing the initialization processing means, the positional relationship between the vehicle structure and the video means is appropriate at the start of the operation, for example, at the start of the operation when the ignition key is turned on. It is possible to check whether there is a positional relationship and perform the adjustment process.
In the vehicle external display device according to the present application, the scene outside the vehicle that is the subject of the image changes one after another, so that the positional relationship of the image means with respect to the vehicle structure that functions as a screen is supposed to change originally. Not. However, as the fate of a vehicle-mounted device, the positional relationship between the vehicle structure and the image means may change unexpectedly or with time.
Therefore, in the device of the present application, adjustment processing (adjusting the positional relationship between the vehicle structure and the image means to an appropriate positional relationship) is enabled at the start of the operation of the device.
By doing so, for example, the initialization process can be performed when necessary, for example, when the driver thinks that the image is unnatural, and the previous purpose can be achieved.

さて、上記構成において、３個のマーカー位置に配設されるマーカーを、前記車両構造物に対して備えるとともに、
前記車両構造物と前記映像手段とが適正な位置関係にある場合に、前記３個のマーカー位置に３個の輝点を映像可能な初期化画像を備え、
前記調整工程において、前記映像手段が前記初期化画像を用いて前記輝点を前記マーカーに対して映像可能に構成されていることが好ましい。このマーカー及び輝点の数は、少なくとも３個あればよい。 Now, in the above configuration, with the markers arranged at the three marker positions for the vehicle structure,
When the vehicle structure and the video means are in an appropriate positional relationship, an initialization image capable of imaging three bright spots at the three marker positions is provided.
In the adjustment step, it is preferable that the image means is configured to be able to image the bright spot with respect to the marker using the initialization image. The number of markers and bright spots may be at least three.

この構成にあっては、車両構造物に対する映像手段の位置関係を特定するのに、車両構造物に対して規定される３個のマーカーを利用する。
即ち、車両構造物に対して配設される３個のマーカーと、このマーカーに対して映像される輝点とを利用し、輝点がマーカー位置に一致した場合に、車両構造物と前記映像手段とが適正な位置関係にあるものとできる。
このようにすると、単純な３点測量の原理を利用して、映像手段の位置及び方向を適正な位置関係に調整でき、良好な映像を実現できる。 In this configuration, three markers defined for the vehicle structure are used to specify the positional relationship of the image means with respect to the vehicle structure.
That is, when the three markers arranged on the vehicle structure and the bright spot imaged with respect to the marker are used and the bright spot matches the marker position, the vehicle structure and the image are displayed. The means can be in an appropriate positional relationship.
In this way, the position and direction of the image means can be adjusted to an appropriate positional relationship using the simple principle of three-point surveying, and a good image can be realized.

この構成を取る場合、
車両外部の情景をカメラ視点画像として撮像する撮像手段と、車両構造物に画像を映像する映像手段とを備え、
運転者の視点に基づいて、前記カメラ視点画像から前記画像を得て、前記車両構造物に、運転者から見て前記車両構造物により死角となる車両外部の情景を表示する車両外部表示装置の初期化方法として、
３個のマーカー位置に配設されるマーカーを、前記車両構造物に対して備えるとともに、
前記車両構造物と前記映像手段とが適正な位置関係にある場合に、前記３個のマーカー位置に３個の輝点を映像可能な初期化画像を備え、
前記映像手段が前記初期化画像を用いて前記輝点を前記マーカーに対して映像し、前記車両構造物と前記映像手段とを適正な位置関係に調整する手法を行うこととなる。 If you take this configuration,
Imaging means for capturing a scene outside the vehicle as a camera viewpoint image, and video means for imaging an image on the vehicle structure,
A vehicle external display device that obtains the image from the camera viewpoint image based on a driver's viewpoint and displays a scene outside the vehicle that becomes a blind spot by the vehicle structure as viewed from the driver on the vehicle structure. As an initialization method,
With the markers arranged at the three marker positions for the vehicle structure,
When the vehicle structure and the video means are in an appropriate positional relationship, an initialization image capable of imaging three bright spots at the three marker positions is provided.
The video means images the bright spot with respect to the marker using the initialization image, and performs a method of adjusting the vehicle structure and the video means to an appropriate positional relationship.

さて、前記映像手段が走査線を走査させて映像を行う走査型映像手段であり、
３個の輝点に対して、輝点順に映像し、前記映像手段の調整が可能とされていることも好ましい。
このようにしておくと、順次、マーカー（あるいはそれに対する輝点）を追いながら、調整を完了することができる。 Now, the video means is a scanning type video means for scanning the scanning line and performing video,
It is also preferable that the three bright spots are imaged in the order of bright spots so that the image means can be adjusted.
In this way, the adjustment can be completed while sequentially tracking the marker (or the bright spot corresponding thereto).

一方、前記映像手段が走査線を走査させて映像を行う走査型映像手段であり、
３個の輝点に対して、全ての輝点を映像し、前記映像手段の調整が可能とされていることも好ましい。
このようにしておくと、例えば、映像手段が左右方向に単純に振っている、或は、映像手段が車両構造物に対する離間・近接距離が変化している等の状況に対して、マーカーと輝点との関係を、３つのマーカー全ての関係として迅速に把握して、調整を完了することができる。 On the other hand, the video means is a scanning type video means for scanning a scanning line and performing video,
It is also preferable that all the luminescent spots are imaged with respect to the three luminescent spots so that the image means can be adjusted.
In this way, for example, when the image means is simply swaying in the left-right direction, or the image means is changing the distance or proximity distance to the vehicle structure, the marker and the brightness The relationship between points can be quickly grasped as the relationship of all three markers, and the adjustment can be completed.

さて、これまで説明してきた構成において、
前記動作開始時点において、前記車両構造物と前記映像手段との位置関係の調整処理の要否を受け付け、調整処理が必要とのトリガに受け付けられた場合に、前記初期化処理手段が前記調整工程を対する処理を実行することが、好ましい。
本願に係る車両外部表示装置にあっては、動作開始時点毎に調整処理を実行すると、無駄が多く同時に使用開始までに時間を要し、運転者にとって使用勝手がよくない。
これに対して、調整処理の要否をトリガとして入力可能とし、装置側では、このトリガ入力があった場合に調整処理を実行するように構成することで、必要な状況において適宜調整処理を実行して良好な動作状態を維持できる。 Now, in the configuration described so far,
At the time of starting the operation, when the necessity of adjustment processing of the positional relationship between the vehicle structure and the video means is received, and when the adjustment processing is received as a trigger that requires adjustment processing, the initialization processing means performs the adjustment process. It is preferable to execute a process for.
In the vehicle external display device according to the present application, if the adjustment process is executed at each operation start time, it is wasteful and takes time to start using at the same time, which is not convenient for the driver.
On the other hand, the necessity of the adjustment process can be input as a trigger, and the apparatus side is configured to execute the adjustment process when the trigger is input, so that the adjustment process is appropriately executed in a necessary situation. Thus, a good operating state can be maintained.

図１は、本願に係る車両外部表示装置１００の構成を示したものであり、車に備えられる各機器１０２、１０３、１０４を、その配設位置に合わせて図示するとともに、本願装置１００の核となる演算処理装置である表示装置本体１０１を、その機能ブロック図で示している。   FIG. 1 shows a configuration of a vehicle external display device 100 according to the present application. The devices 102, 103, and 104 provided in the vehicle are illustrated in accordance with their arrangement positions, and the core of the device 100 of the present application is illustrated. A display device main body 101 that is an arithmetic processing device is shown in a functional block diagram thereof.

同図に示す例では、車両外部表示装置１００は、車１の前方及び左右方向を撮像するための撮像カメラ１０２、運転者２の視点３の位置を検出するための視点検出装置１０３、さらにプロジェクター１０４を備えて構成されるとともに、前記プロジェクター１０４に対して、映写に必要な情報を与える表示装置本体１０１を備えて構成されている。この表示装置本体１０１は、使用者である運転者２との遣り取りを行う入出力装置１０１ａを備えている。撮像カメラとしては、車の前方及び左右方向を撮像するためのものに限らず、側後方、後方を撮像するカメラを備えておいてもよい。   In the example shown in the figure, the vehicle external display device 100 includes an imaging camera 102 for imaging the front and left and right directions of the car 1, a viewpoint detection device 103 for detecting the position of the viewpoint 3 of the driver 2, and a projector. And a display device main body 101 that provides the projector 104 with information necessary for projection. The display device main body 101 includes an input / output device 101a that communicates with the driver 2 as a user. The imaging camera is not limited to the one for imaging the front and left and right directions of the car, but may include a camera for imaging the rear side and the rear side.

この表示装置本体１０１は、撮像カメラ１０２から得られるカメラ視点画像Ｉｃと、視点検出装置１０３から得られる運転者２の視点３の位置情報とに基づいて、プロジェクター１０４において映写さるべき画像（プロジェクター画像Ｉｐと称する）を生成する。
さらに、この表示装置本体１０１には、イグニッションキー４のＯＮ、ＯＦＦ情報が入るように構成されており、車両外部表示装置１０１のＯＮ、ＯＦＦは、このイグニッションキー４のＯＮ，ＯＦＦに連動するものとされている。 The display device body 101 is configured to display an image (projector image) to be projected by the projector 104 based on the camera viewpoint image Ic obtained from the imaging camera 102 and the position information of the viewpoint 3 of the driver 2 obtained from the viewpoint detection device 103. Ip).
Further, the display device main body 101 is configured to receive ON / OFF information of the ignition key 4. The ON / OFF of the vehicle external display device 101 is linked to the ON / OFF of the ignition key 4. It is said that.

以下、車両外部表示装置１０１を成す夫々の機器に関して順に説明する。
１ 撮像カメラ１０２（撮像手段の一例）
図１に示す例にあっては、車１の前方及び前側左右方向の外部画像を取るための撮像カメラ１０２が車１の前方、車体中央位置に設けられており、この撮像カメラ１０２から例えば、運転者２にとってピラー６によって死角となるピラー背面領域の情景も撮像することができる。この種のカメラ１０２としては、例えばＣＣＤカメラ、ＣＭＯＳカメラ等を使用する。 Hereinafter, each apparatus which comprises the vehicle external display apparatus 101 is demonstrated in order.
1 imaging camera 102 (an example of imaging means)
In the example shown in FIG. 1, an imaging camera 102 for taking external images in the front and front left and right directions of the car 1 is provided in front of the car 1 and at a vehicle body center position. A scene of the pillar back area that becomes a blind spot by the pillar 6 for the driver 2 can also be imaged. As this type of camera 102, for example, a CCD camera, a CMOS camera, or the like is used.

２ 視点検出装置１０３（視点検出手段の一例）
視点検出装置１０３は、同図に示す例の場合、バックミラー７の支持部位近傍に装置される赤外線カメラ８と、シート支持フレーム９に設けられる複数のロードセル１０とを備えて構成されている。これら赤外線カメラ８、複数のロードセル１０からの検出情報は、視点検出装置１０３内に備えられている視点導出手段Ｃ１に送られ、視点位置に変換される。
前記赤外線カメラ８は、運転者２の顔をその視野内に納めるように構成されており、視点導出手段Ｃ１において、顔画像から目の位置を推定し、車内における上下方向及び左右方向（車の幅方向）における視点３の位置を導出する。
一方、シート支持フレーム９に設けられるロードセル１０は、平面形状が矩形の枠組みとして構成されるシート支持フレーム９の各枠に備えられ、視点導出手段Ｃ１において、夫々配置関係において対を成す２対のロードセル１０の出力から、車内における視点３の前後方向の位置を導出する。この前後方向の位置は、シートの位置から求めるものとしてもよい。
従って、この視点導出手段Ｃ１により、運転者２の視点３の車内における、上下・左右及び前後方向の位置を得ることができる。 2 viewpoint detection device 103 (an example of viewpoint detection means)
In the example shown in the figure, the viewpoint detection device 103 includes an infrared camera 8 installed in the vicinity of the support portion of the rearview mirror 7 and a plurality of load cells 10 provided in the seat support frame 9. Detection information from the infrared camera 8 and the plurality of load cells 10 is sent to the viewpoint deriving means C1 provided in the viewpoint detection apparatus 103, and converted into viewpoint positions.
The infrared camera 8 is configured to place the face of the driver 2 within its field of view. In the viewpoint deriving means C1, the eye position is estimated from the face image, and the up and down direction and the left and right direction (in the vehicle) The position of the viewpoint 3 in the width direction) is derived.
On the other hand, the load cell 10 provided in the seat support frame 9 is provided in each frame of the seat support frame 9 configured as a frame having a rectangular planar shape, and in the viewpoint deriving means C1, two pairs that form a pair in the arrangement relationship, respectively. From the output of the load cell 10, the position in the front-rear direction of the viewpoint 3 in the vehicle is derived. The position in the front-rear direction may be obtained from the position of the seat.
Therefore, this viewpoint deriving means C1 makes it possible to obtain vertical, horizontal, and longitudinal positions in the vehicle of the viewpoint 2 of the driver 2.

３ プロジェクター１０４
プロジェクター１０４は、図１に示す例においては、運転者２の斜め右前に位置するピラー内面６ａに、ピラー外部の画像を映写するために設けられており、図８に示すように、その光軸１０４ａをピラー内面６ａを代表する仮想スクリーンＳ２にほぼ直交するように配設されており、ピラー内面６ａ全体に映写可能な位置関係に配設されている。このプロジェクター１０４は具体的には走査型の映写装置である所謂レーザープロジェクターである。
プロジェクター１０４は、前述の表示装置本体１０１から映写対象のプロジェクター画像Ｉｐを受け取り、その画像Ｉｐをピラー内面６ａに映写する。図２は、運転者右前側に位置されるピラー６の内面６ａにその外部画像を映写したものであり、ピラー内面６ａに映写された外部画像と、ピラー周りのガラス部位１１を透過して見える外部実像との間において、一体性のある自然な状態が得られていることが判る。
このプロジェクター１０４は、その位置、映像面の方向（光軸の方向）を調整可能に構成されている。 3 Projector 104
In the example shown in FIG. 1, the projector 104 is provided on the pillar inner surface 6 a located diagonally right front of the driver 2 for projecting an image outside the pillar, and as shown in FIG. 104a is disposed so as to be substantially orthogonal to the virtual screen S2 representing the pillar inner surface 6a, and is disposed in a positional relationship capable of being projected on the entire pillar inner surface 6a. Specifically, the projector 104 is a so-called laser projector which is a scanning projection apparatus.
The projector 104 receives the projector image Ip to be projected from the display device main body 101 and projects the image Ip on the pillar inner surface 6a. FIG. 2 shows the external image projected on the inner surface 6a of the pillar 6 located on the right front side of the driver. The external image projected on the pillar inner surface 6a and the glass portion 11 around the pillar appear to pass through. It can be seen that an integrated natural state is obtained with the external real image.
The projector 104 is configured to be able to adjust the position and the direction of the image plane (the direction of the optical axis).

４ 表示装置本体１０１
この表示装置本体１０１は、車両外部表示装置１００全体の動作を制御する部位であるとともに、プロジェクター１０４において表示に必要な画像を得る処理を行う部位である。
図１に示すように、表示装置本体１０１に対する入力は、イグニッションキー４のＯＮ・ＯＦＦ情報、カメラ視点画像Ｉｃ、視点３の情報である。 4 Display device body 101
The display device main body 101 is a part that controls the operation of the entire vehicle external display device 100 and a part that performs processing for obtaining an image necessary for display in the projector 104.
As shown in FIG. 1, the input to the display device main body 101 is ON / OFF information of the ignition key 4, camera viewpoint image Ic, and viewpoint 3 information.

一方、図１に示すように、本体１０１内には記憶部ｍが備えられており、その記憶部ｍ内に、装置１００内に備えられる光学レンズによる歪みを補正するためのレンズ補正情報ｉ１、ピラー−プロジェクター変換情報ｉ２、車１の内装形状に基づいた補正を行うための内装形状補正情報ｉ３が記憶されているとともに、視点３の位置をパラメータとした、カメラ視点画像を運転者視点画像に変換する視点変換テーブルｉ４、運転者視点画像上の死角領域を記憶した死角領域情報ｉ５が記憶されている。   On the other hand, as shown in FIG. 1, a storage unit m is provided in the main body 101, and lens correction information i1 for correcting distortion caused by an optical lens provided in the apparatus 100 is stored in the storage unit m. The pillar-projector conversion information i2 and the interior shape correction information i3 for performing correction based on the interior shape of the car 1 are stored, and the camera viewpoint image with the position of the viewpoint 3 as a parameter is used as the driver viewpoint image. A viewpoint conversion table i4 to be converted and blind spot area information i5 storing a blind spot area on the driver viewpoint image are stored.

この表示装置本体１０１における処理は、カメラ視点画像Ｉｃの運転者視点画像Ｉｄへの変換、運転者視点画像Ｉｄにおける死角領域Ｄの特定、さらに、この死角領域Ｄの画像をプロジェクター１０４から映写するために必要となるプロジェクター画像Ｉｐの生成の順に処理が進む。
そして、このようにして得られたプロジェクター画像Ｉｐがプロジェクター１０４に送られて、ピラー６上に適切な死角領域Ｄの画像が映写される。 The processing in the display device main body 101 is to convert the camera viewpoint image Ic into the driver viewpoint image Id, specify the blind spot area D in the driver viewpoint image Id, and project the image of the blind spot area D from the projector 104. The processing proceeds in the order of generation of the projector image Ip necessary for the operation.
Then, the projector image Ip thus obtained is sent to the projector 104, and an image of an appropriate blind spot area D is projected on the pillar 6.

さらに、表示装置本体１０１には、初期化処理手段Ｃ２が備えられており、イグニッションキー４のＯＮ操作に伴って、所定の初期化処理を実行するように構成されるとともに、必要な場合は、プロジェクター１０４自体の位置、光軸方向を調整するように構成されている。但し、プロジェクター１０４の調整は、使用者である運転者２によって行われる。
車両外部表示装置１００においては、その通常状態において、常時、検出されるカメラ視点画像Ｉｃ及び運転者の視点３に基づいて、プロジェクター画像Ｉｐが生成され、これが良好に映写される。一方、例えば、車両外部表示装置１００を初めて設置した時、あるいは、設置後、比較的長期間が経過しており、プロジェクター１０４の位置・方向が本来の位置・方向からずれを生じていると考えられる状況においては、表示装置本体１０１に対して設けられている入出力装置１０１ａを使用して、表示装置本体１０１側からの質問・指示に基づいて、プロジェクター１０４に対する調整（所謂キャリブレーション）を行うことができる。 Further, the display device main body 101 is provided with an initialization processing means C2, which is configured to execute a predetermined initialization process in response to an ON operation of the ignition key 4, and if necessary, The projector 104 itself is configured to adjust the position and the optical axis direction. However, the adjustment of the projector 104 is performed by the driver 2 who is a user.
In the vehicle external display device 100, in the normal state, the projector image Ip is generated based on the camera viewpoint image Ic and the driver's viewpoint 3 that are always detected, and this is projected well. On the other hand, for example, when the vehicle external display device 100 is installed for the first time or after the installation, a relatively long period of time has passed, and it is considered that the position / direction of the projector 104 has deviated from the original position / direction. In such a situation, the input / output device 101a provided for the display device main body 101 is used to perform adjustment (so-called calibration) on the projector 104 based on a question / instruction from the display device main body 101 side. be able to.

以下、上記の操作を実行する、図１に示されるレンズ補正手段Ｃ３、第１変換手段Ｃ４、死角領域特定手段Ｃ５、プロジェクター画像生成手段Ｃ６（第２変換手段Ｃ６ａ及び内装形状補正手段Ｃ６ｂ）の働きに関して、具体例を示しながら説明する。   Hereinafter, the lens correcting unit C3, the first converting unit C4, the blind spot area specifying unit C5, and the projector image generating unit C6 (second converting unit C6a and interior shape correcting unit C6b) shown in FIG. The function will be explained with specific examples.

カメラ視点画像から運転者視点画像の生成
この画像生成は、レンズ補正手段Ｃ３による光学レンズの影響を排除した画像に対して、第一変換手段Ｃ４によって実行される画像変換であり、記憶部ｍに記憶されている視点変換テーブルｉ４を使用して行われる。 Generation of the driver viewpoint image from the camera viewpoint image This image generation is an image conversion performed by the first conversion unit C4 on the image from which the influence of the optical lens by the lens correction unit C3 is eliminated, and is stored in the storage unit m. This is performed using the stored viewpoint conversion table i4.

本願に係る車両外部表示装置１００にあっては、車１に対して撮像カメラ１０２の位置及びその撮像方向は固定されており、同時に先に示したように、運転者２の視点３の位置は特定される。従って、図３（ａ）（ｂ）に示すように、撮像カメラ１０２により撮像されるカメラ視点画像Ｉｃと、運転者２の視点３から見た運転者視点画像Ｉｄとの関係は一意に決定される。即ち、撮像カメラ１０２が車１の幅方向中央位置にその撮像方向を前方に向けて配設されており、運転者２の視点３が車１の幅方向中央位置より右側に位置し、同じく前方を見ている場合は、車１の前方右側に大きく見えている別の車２００は、運転者視点からみると、前後方向位置の差分だけ縮小され、さらに、左側によった画像となる。この状況は、図３（Ａ）に示すように、車１の前方に配設された仮想スクリーンＳ１に映る画像を、異なった視点から見ているのと同様である。従って、この種の変換は所謂アフィン変換等の座標変換とすることができる。
この変換の一例を、図４に基づいて説明する。ここでは、説明を簡略化するため、直線状に５個配列された画素の変換について説明する。
図４において、図４（ａ）は、カメラ視点からみた直線状に５個配列された画素の並びを示しており、図４（ｅ）は、これを運転者視点からみた場合に、どのような配列となるかを示したものである。
図示される５個の画素の運転者視点における変換は、カメラ視点と運転者視点とに関するカメラの光軸と運転者視線との角度差θを求め、その角度差θ分だけ傾けたスクリーンを想定することで特定できる。この場合、元の画像の中心（５個配列されているうちの３個目の画素の位置）を回転中心とする。この状態が図４（ｂ）に示す状態である。そして、元のスクリーン上の画素と運転者視点とを結んだ線と、傾けたスクリーンとの交点が変換後の画素の位置となる。従って、（ｃ）、（ｄ）に示すように、各画素間の距離が変化し、画素の配列の比が変わる。さらに、図４（ｅ）に示すように、運転者視点と変換後の画像平面の位置関係から画像サイズの調整を行うこととなる。
このようにして運転者の視点３に対応づけられた傾いたスクリーン上に構成された画素の集合が視点変換後の画像となる。即ち、先に説明した運転者視点画像を得ることができるのである。 In the vehicle external display device 100 according to the present application, the position of the imaging camera 102 and the imaging direction thereof are fixed with respect to the car 1, and at the same time, as shown above, the position of the viewpoint 3 of the driver 2 is Identified. Accordingly, as shown in FIGS. 3A and 3B, the relationship between the camera viewpoint image Ic captured by the imaging camera 102 and the driver viewpoint image Id viewed from the viewpoint 3 of the driver 2 is uniquely determined. The That is, the imaging camera 102 is disposed at the center position in the width direction of the car 1 with the imaging direction facing forward, and the viewpoint 3 of the driver 2 is located on the right side of the center position in the width direction of the car 1. When looking at the vehicle, another vehicle 200 that is largely visible on the front right side of the vehicle 1 is reduced by the difference in the position in the front-rear direction when viewed from the driver's viewpoint, and further becomes an image on the left side. As shown in FIG. 3A, this situation is the same as viewing the image shown on the virtual screen S1 disposed in front of the car 1 from a different viewpoint. Therefore, this type of transformation can be coordinate transformation such as so-called affine transformation.
An example of this conversion will be described with reference to FIG. Here, in order to simplify the description, conversion of five pixels arranged in a straight line will be described.
In FIG. 4, FIG. 4 (a) shows an arrangement of five pixels arranged in a straight line as seen from the camera viewpoint, and FIG. 4 (e) shows how this is seen from the driver's viewpoint. It is shown whether it becomes a correct arrangement.
The conversion from the viewpoint of the driver of the five pixels shown in the figure assumes an angle difference θ between the optical axis of the camera and the driver's line of sight with respect to the camera viewpoint and the driver viewpoint, and assumes a screen tilted by the angle difference θ. Can be identified. In this case, the center of the original image (the position of the third pixel among the five arranged) is set as the rotation center. This state is the state shown in FIG. Then, the intersection of the line connecting the pixel on the original screen and the driver's viewpoint and the tilted screen becomes the position of the pixel after conversion. Accordingly, as shown in (c) and (d), the distance between the pixels changes, and the ratio of the pixel arrangement changes. Further, as shown in FIG. 4E, the image size is adjusted from the positional relationship between the driver viewpoint and the converted image plane.
In this way, a set of pixels formed on the tilted screen associated with the driver's viewpoint 3 becomes the image after the viewpoint conversion. That is, the driver viewpoint image described above can be obtained.

そこで、本願にあっては、カメラ視点画像Ｉｃと運転者視点画像Ｉｄとの変換テーブルである視点変換テーブルｉ４が、視点３の位置をパラメータとして用意されており、第１変換手段Ｃ４は、検出される運転者２の視点３に基づいて視点変換テーブルｉ４を選択・特定して、現在のカメラ視点画像Ｉｃから現在の運転者視点画像Ｉｄを生成する。   In view of this, in the present application, a viewpoint conversion table i4, which is a conversion table between the camera viewpoint image Ic and the driver viewpoint image Id, is prepared using the position of the viewpoint 3 as a parameter, and the first conversion means C4 performs detection. The viewpoint conversion table i4 is selected and specified based on the viewpoint 3 of the driver 2 to be generated, and the current driver viewpoint image Id is generated from the current camera viewpoint image Ic.

運転者視点画像Ｉｄにおける死角領域Ｄの特定
この死角領域Ｄの特定は、死角領域特定手段Ｃ５により行われる処理である。
本願に係る車両外部表示装置１００にあっては、運転者２の視点３が検出される。これに対して、その視点３に対するピラー６の位置は、車１の形状が確定していることから特定される。従って、運転者２にとって死角となる外部領域は視点３の位置に基づいて決まる。
図５に、車１の幅方向において異なった位置にある視点３（図上「視点１」として示す視点３ａ，「視点２」として示す視点３ｂ）に対して、車１の前方向に配置されていると仮定できる仮想スクリーンＳ１における死角領域（本願にいう運転者視点死角領域）Ｄを示した。この図から判明するように、視点３が車１の幅方向外側に移動するに従って、死角領域Ｄは仮想スクリーンＳ１上で幅方向内側に移動することが判る。この仮想スクリーンＳ１上での死角領域Ｄは、視点３の位置とピラー６の位置との関係に基づいて確定している。
そこで、本願に係る車両外部表示装置１００にあっては、記憶部ｍ内に視点３の位置をパラメータとする仮想スクリーンＳ１上の死角領域情報ｉ５が記憶されており、検出される運転者２の視点３の位置に基づいて、死角領域特定手段Ｃ５がピラー６により形成される仮想スクリーンＳ１上の死角領域Ｄを特定する。 Specification of blind spot area D in driver viewpoint image Id This specification of blind spot area D is a process performed by blind spot area specifying means C5.
In the vehicle external display device 100 according to the present application, the viewpoint 3 of the driver 2 is detected. On the other hand, the position of the pillar 6 with respect to the viewpoint 3 is specified because the shape of the vehicle 1 is fixed. Therefore, the external area that is a blind spot for the driver 2 is determined based on the position of the viewpoint 3.
In FIG. 5, the vehicle 1 is arranged in the front direction of the vehicle 1 with respect to the viewpoints 3 (viewpoint 3a shown as “viewpoint 1” and viewpoint 3b shown as “viewpoint 2” in the figure) at different positions in the width direction. The blind spot area (driver viewpoint blind spot area referred to in the present application) D on the virtual screen S1 that can be assumed to be present is shown. As can be seen from this figure, it is understood that the blind spot area D moves inward in the width direction on the virtual screen S1 as the viewpoint 3 moves outward in the width direction of the car 1. The blind spot area D on the virtual screen S1 is determined based on the relationship between the position of the viewpoint 3 and the position of the pillar 6.
Therefore, in the vehicle external display device 100 according to the present application, the blind spot area information i5 on the virtual screen S1 with the position of the viewpoint 3 as a parameter is stored in the storage unit m, and the detected driver 2's Based on the position of the viewpoint 3, the blind spot area specifying means C5 specifies the blind spot area D on the virtual screen S1 formed by the pillar 6.

具体的には、仮想スクリーンＳ１上の死角領域Ｄに対して、死角領域Ｄ以外の領域をマスクする仮想的なマスク画像Ｍが生成され、このマスク画像Ｍが下手側へ送られる。
図６に、異なった視点３（図上「視点１」，「視点２」，「視点３」として示す）に対応する、仮想スクリーンＳ１上の死角領域Ｄを示すとともに、この死角領域Ｄを区画するためのマスク画像Ｍを示した。運転者の視点３（「視点１」，「視点２」，「視点３」）に従って、この死角領域Ｄが、視点３とピラー６との位置関係に従って右側から左側に移動していることがわかる。 Specifically, a virtual mask image M that masks an area other than the blind spot area D is generated for the blind spot area D on the virtual screen S1, and the mask image M is sent to the lower side.
FIG. 6 shows a blind spot area D on the virtual screen S1 corresponding to different viewpoints 3 (shown as “viewpoint 1”, “viewpoint 2”, and “viewpoint 3” in the figure), and the blind spot area D is divided into sections. A mask image M is shown. According to the driver's viewpoint 3 (“viewpoint 1”, “viewpoint 2”, “viewpoint 3”), it can be seen that the blind spot area D moves from the right side to the left side according to the positional relationship between the viewpoint 3 and the pillar 6. .

運転者視点画像における死角領域に位置する画像の抽出
以上の工程を経て、図７に示すように、運転者視点画像Ｉｄとマスク画像Ｍとを利用して、その重畳領域としてピラーに映像すべき画像を抽出する。図７に、この画像を透過部画像Ｉｄｐとして示した。 Extraction of an image located in the blind spot area in the driver viewpoint image Through the above steps, as shown in FIG. 7, the driver viewpoint image Id and the mask image M should be used to image the pillar as the overlapping area. Extract images. FIG. 7 shows this image as a transmissive part image Idp.

プロジェクター画像Ｉｐの生成
上記のようにして得られる透過部画像Ｉｄｐは、プロジェクター画像生成手段Ｃ６に送られ、運転者２の視点３とプロジェクター１０４との関係から決まる変換とピラー６の形状、立体的形状からくる補正を受ける。即ち、記憶部ｍに記憶されている、ピラー−プロジェクター変換情報ｉ２、内装形状補正情報ｉ３に基づいた変換・補正を施すのである。
前者の変換は、主には、先にカメラ視点画像Ｉｃと運転者視点画像Ｉｄとの変換関係で述べたと同じ変換であり、この変換は第２変換手段Ｃ６ａにより実行される。
この段階の変換に関して述べると、透過部画像Ｉｄｐが得られていることから、ピラー６を代表する位置に鉛直方向の仮想スクリーンＳ２を仮定すれば、その映写すべき画像が確定する。
この映写すべき画像は、視点３から車外に設定した仮想スクリーンＳ１までの距離と、ピラー６を代表する位置に設定した仮想スクリーンＳ２との位置関係に対応して、幾分縮小され、両スクリーンＳ１，Ｓ２の傾き分だけ影響を受けたものとなる。
一方、ピラー６の位置とプロジェクター１０４の位置は固定された関係にあり、図８（Ａ）に示すように、プロジェクター１０４の光軸１０４ａは、ピラー６を代表する位置の仮想スクリーンＳ２に直交する関係に配設されているため、仮想スクリーンＳ２がプロジェクター１０４の映写面と平行に配設されている場合は、上記の映写すべき画像をピラーと仮想スクリーンＳ２の配置関係分だけ視点補正した画像をプロジェクター画像Ｉｐとすることができる。これらの変換が図１に示す第２変換手段Ｃ６ａで実行される。 Generation of Projector Image Ip The transmission part image Idp obtained as described above is sent to the projector image generation means C6, and the conversion determined from the relationship between the viewpoint 3 of the driver 2 and the projector 104, the shape of the pillar 6, and the three-dimensional shape Receive correction from shape. That is, conversion / correction based on the pillar-projector conversion information i2 and the interior shape correction information i3 stored in the storage unit m is performed.
The former conversion is mainly the same conversion as described above in the conversion relationship between the camera viewpoint image Ic and the driver viewpoint image Id, and this conversion is executed by the second conversion means C6a.
Regarding the conversion at this stage, since the transmission part image Idp is obtained, assuming the vertical virtual screen S2 at a position representing the pillar 6, the image to be projected is determined.
This image to be projected is somewhat reduced in accordance with the positional relationship between the distance from the viewpoint 3 to the virtual screen S1 set outside the vehicle and the virtual screen S2 set to a position representing the pillar 6, and both screens are displayed. It is influenced by the inclination of S1 and S2.
On the other hand, the position of the pillar 6 and the position of the projector 104 are fixed, and as shown in FIG. 8A, the optical axis 104a of the projector 104 is orthogonal to the virtual screen S2 at the position representing the pillar 6. Therefore, when the virtual screen S2 is arranged in parallel with the projection surface of the projector 104, an image obtained by performing viewpoint correction on the above-described image to be projected by the arrangement relationship between the pillar and the virtual screen S2. Can be used as the projector image Ip. These conversions are executed by the second conversion means C6a shown in FIG.

通常のピラー６にあっては、ピラー６は、斜め前方向に延びる等立体的配置構成を有し、図８（Ａ）に示すように、その断面表面形状も複雑な形状とされている。
そこで、プロジェクター画像生成手段６には、第２変換手段Ｃ６ａに加えて、内装形状補正手段Ｃ６ｂが設けられている。
この補正に関する情報は、プロジェクター１０４とピラー６との位置関係が確定しており、さらにピラー６の立体的形状も確定しているため、予め確定することができ、記憶部ｍの内装形状補正情報ｉ３として記憶される。 In the normal pillar 6, the pillar 6 has a three-dimensional arrangement configuration extending obliquely forward, and its cross-sectional surface shape is also a complicated shape as shown in FIG.
Therefore, the projector image generation means 6 is provided with an interior shape correction means C6b in addition to the second conversion means C6a.
The information regarding this correction can be determined in advance because the positional relationship between the projector 104 and the pillar 6 is determined, and the three-dimensional shape of the pillar 6 is also determined. Stored as i3.

この補正を、図８（Ａ）に示す、ピラー６が車１の前後方向及び幅方向に延びる２面６０，６１からなる場合に関して説明する。図８（ａ）は、ピラー６を運転者２から見た状態を示しており、ピラー内面６ａが下方に向かう程、運転者２から見て奥側（車の前側）に位置しており、ピラー内面６ａが運転者２側に突出した稜線６２と、この稜線６２から両側に延び、運転者２に対して離間する側に延びる２面６０，６１から構成されていることを示している。   This correction will be described with respect to the case where the pillar 6 is composed of two surfaces 60 and 61 extending in the front-rear direction and the width direction of the vehicle 1 as shown in FIG. FIG. 8A shows a state in which the pillar 6 is viewed from the driver 2, and as the pillar inner surface 6a is directed downward, the pillar 6 is located on the back side (front side of the car) as viewed from the driver 2. It is shown that the pillar inner surface 6a is composed of a ridge line 62 protruding to the driver 2 side, and two surfaces 60 and 61 extending from the ridge line 62 to both sides and extending to the side away from the driver 2.

さて、先に説明したピラー６を代表する位置に仮想した仮想スクリーンＳ２に形成されるべき死角領域Ｄの画像が図８（ｂ）に示すような単なる方形の画像Ａである場合を考える。この場合、図８（ｃ）に示すように、その画像Ａをピラー内面６ａにそのまま映写すると、方形の上辺ａ及び下辺ｂが屈曲した位置関係となる直線の組み合わせとなり好ましくない。従って、プロジェクター１０４に供給すべき画像としては、図８（ｄ）に示すように、運転者２から離間する方向に延びる各面６０，６１に映写される上辺ａ及び下辺ｂが、ピラー６の稜線６２において折れ曲がった区画線ａ１，ａ２，ｂ１，ｂ２となるように画像を補正しておく。このようにしておくことで、図８（ｅ）に示すように、ピラー内面６ａにプロジェクター１０４より映写された画像は外部画像を不自然な印象なく映写することができる。   Now, let us consider a case where the image of the blind spot area D to be formed on the virtual screen S2 imaginary at a position representing the pillar 6 described above is a simple square image A as shown in FIG. In this case, as shown in FIG. 8C, if the image A is projected onto the pillar inner surface 6a as it is, a combination of straight lines in which the upper side a and the lower side b of the square are bent is not preferable. Therefore, as an image to be supplied to the projector 104, as shown in FIG. 8D, the upper side a and the lower side b projected on the surfaces 60 and 61 extending in the direction away from the driver 2 are The image is corrected so that it becomes the division lines a1, a2, b1, b2 bent at the ridgeline 62. By doing so, as shown in FIG. 8E, the image projected from the projector 104 onto the pillar inner surface 6a can project the external image without an unnatural impression.

以上の説明では、プロジェクター画像生成手段Ｃ６における処理を、第２変換手段Ｃ６ａと内装形状補正手段Ｃ６ｂとの別個の手段による処理として説明したが、運転者２の視点３が特定されると、車外に設定される仮想スクリーンＳ１の位置とピラー６の位置との関係からピラー内面６ａに映写されるべき画像は特定される。   In the above description, the processing in the projector image generation means C6 has been described as processing by separate means of the second conversion means C6a and the interior shape correction means C6b. However, when the viewpoint 3 of the driver 2 is identified, The image to be projected on the pillar inner surface 6 a is specified from the relationship between the position of the virtual screen S <b> 1 and the position of the pillar 6.

一方、ピラー内面６ａの立体的形状とプロジェクター１０４の配設関係が固定であるため、プロジェクター１０４での映写に使用する画像であるプロジェクター画像Ｉｐは、車外に設定される仮想スクリーンＳ１の位置とピラー６の位置関係及びピラー内面６ａの立体的形状とプロジェクター１０４の配設関係から一意に求めることが可能である。   On the other hand, since the three-dimensional shape of the pillar inner surface 6a and the arrangement relationship of the projector 104 are fixed, the projector image Ip which is an image used for projection by the projector 104 is the position of the virtual screen S1 set outside the vehicle and the pillar. 6 and the three-dimensional shape of the pillar inner surface 6 a and the arrangement relationship of the projector 104 can be uniquely obtained.

そこで、プロジェクター画像生成手段６では、第２変換手段Ｃ６ａによる変換及び内装形状補正手段による補正を統合した処理を施すことで、良好にピラー内面６ａに死角領域Ｄの画像を映写することができることとなる。   Therefore, the projector image generation means 6 can project the image of the blind spot area D on the pillar inner surface 6a satisfactorily by performing a process in which the conversion by the second conversion means C6a and the correction by the interior shape correction means are integrated. Become.

初期化処理
本願に係る車両外部表示装置１００では、現在のプロジェクター１０４の位置（方向も含む）を、プロジェクター１０４が本来あるべき位置に、適宜、運転者自身が調整可能に構成されている。 Initialization Process In the vehicle external display device 100 according to the present application, the current position (including direction) of the projector 104 can be appropriately adjusted by the driver to the position where the projector 104 should be.

表示装置本体１０１内には初期化処理手段Ｃ２が設けられている。
この初期化処理の目的は、外部表示に必要な情報の取り込み、及び、プロジェクター１０４の位置の調整（キャリブレーション）にある。前記必要な情報の取り込みは、装置の作動時開始時に常に実行される処理であり、後者の調整は、例えば、車両外部表示装置１００の初期設置時、あるいは、所定の期間使用後に運転者２が調整を必要と判断した時に、適宜実行されるものである。
この調整手法の概念を模式的に、図９に示した。図９の左側には、運転者の右前側に位置するピラー６が示されており、右側には、プロジェクター１０４及びこの調整時にプロジェクター１０４から映写される初期化画像Ｉｉが示されている。
車両外部表示装置１００の使用に際しては、同左図に示すように、マーカー１２をピラー６に対して所定３箇所に設置しておく。このマーカー１２の位置は、車種、その車におけるピラー６の形状に合わせてプロジェクター１０４の配設位置との関係で予め決定されている位置であり、ピラー６とプロジェクター１０４との位置・光軸を適正に保つべく設定される位置である。図９には、マーカー１２を、ピラー６の上端に一点、下側二点設ける場合を示している。
一方、記憶部ｍには、初期化設定用のマーカー１２が配設されるべきピラー６に対する位置（車両形状データ上のマーカー位置である目標点の位置）が記憶されており、この位置に対応して、同図右側に示す初期化画像Ｉｉを生成し、目標点であるマーカー点ｉ１２をピラー６に映写することが可能な構成が採用されている。プロジェクター１０４がピラー６に対して適正に配設されている場合に、映写画像のマーカー点ｉ１２がピラー６上に位置するマーカー１２上に輝点として映写されることとなる。 An initialization processing unit C2 is provided in the display device main body 101.
The purpose of this initialization process is to capture information necessary for external display and to adjust the position of the projector 104 (calibration). The acquisition of the necessary information is a process that is always executed at the start of operation of the device. The latter adjustment is performed by the driver 2 at the time of initial installation of the vehicle external display device 100 or after a predetermined period of use, for example. It is executed as appropriate when it is determined that adjustment is necessary.
The concept of this adjustment method is schematically shown in FIG. The left side of FIG. 9 shows the pillar 6 positioned on the right front side of the driver, and the right side shows the projector 104 and the initialization image Ii projected from the projector 104 during this adjustment.
When the vehicle external display device 100 is used, the markers 12 are installed at predetermined three positions with respect to the pillar 6 as shown in the left figure. The position of the marker 12 is a position determined in advance in relation to the vehicle type and the position of the projector 104 in accordance with the shape of the pillar 6 in the vehicle, and the position and optical axis of the pillar 6 and the projector 104 are determined. This is a position that is set to keep it appropriate. FIG. 9 shows a case where the marker 12 is provided at one point on the upper end of the pillar 6 and two points on the lower side.
On the other hand, the storage unit m stores a position (a position of a target point that is a marker position on the vehicle shape data) with respect to the pillar 6 where the initialization setting marker 12 is to be disposed, and corresponds to this position. Thus, a configuration is adopted in which the initialization image Ii shown on the right side of the figure can be generated and the marker point i12 as the target point can be projected onto the pillar 6. When the projector 104 is properly arranged with respect to the pillar 6, the marker point i <b> 12 of the projected image is projected as a bright spot on the marker 12 positioned on the pillar 6.

この初期化処理手段Ｃ２の動作フローを、図１０に示した。一方、図１１に、車両外部表示装置１００のメインフローを示した。初期化処理は、メインフローの初段（ステップＳ１）に位置されており、車両外部表示装置１００の動作開始時（例えば、イグニッションキー４のＯＮ操作時）に常時実行される。   The operation flow of this initialization processing means C2 is shown in FIG. On the other hand, FIG. 11 shows a main flow of the vehicle external display device 100. The initialization process is located in the first stage (step S1) of the main flow, and is always executed when the operation of the vehicle external display device 100 is started (for example, when the ignition key 4 is turned on).

図１０に示すフローに従って、この初期化処理を説明する。
ステップ１０１（Ｓ１０１）
初期化処理を開始する時点で、記憶部ｍに記憶されているレンズ補正情報ｉ１を読み出す。レンズ補正情報ｉ１が変換テーブルとして記憶されている場合は、それをそのまま使用可能であり、レンズ特性を表す式等として記憶されている場合は、レンズ補正を画像情報に対して適応すべく、変換テーブルの形態に変えることとなる。 This initialization process will be described according to the flow shown in FIG.
Step 101 (S101)
When the initialization process is started, the lens correction information i1 stored in the storage unit m is read. When the lens correction information i1 is stored as a conversion table, it can be used as it is. When the lens correction information i1 is stored as an expression representing lens characteristics, the lens correction information i1 is converted to adapt the lens correction to the image information. It will change to the form of the table.

ステップ１０２・１０３（Ｓ１０２・１０３）
先に説明した、死角領域Ｄの画像からプロジェクター画像Ｉｐを形成するための情報ｉ２、ｉ３を、記憶部ｍから呼び出す。この場合、先に説明したピラー−プロジェクター変換情報ｉ２及び内部形状補正情報ｉ３が一体として呼び出され、プロジェクター画像Ｉｐの生成が可能となる。 Steps 102 and 103 (S102 and 103)
The information i2 and i3 for forming the projector image Ip from the image of the blind spot area D described above is called from the storage unit m. In this case, the pillar-projector conversion information i2 and the internal shape correction information i3 described above are called together and the projector image Ip can be generated.

以上の３のステップは、初期化処理に伴って、自動的に装置側で実行されるステップである。
以下、ステップ１０４（Ｓ１０４）からステップ１０９（Ｓ１０９）に至るステップは、プロジェクター１０４の調整（キャリブレーション）に関する処理ステップであり、装置１００と運転者２との間で行われる処理ステップである。
ステップ１０４（Ｓ１０４）
このステップに到達した段階で、表示装置本体１０１に付属して設けられている入出力装置１０１ａに、プロジェクター１０４調整（キャリブレーション）の要否が問い合わされ、運転者２側からのキャリブレーション開始トリガの有無が判断される。
例えば、入出力装置１０１ａの最上段の点灯ボタンを点灯しておくことで、調整の要否の判定を促し、このボタンが押されること（開始トリガあり）で、調整が要と判定されたものとするのである。一方、一定時間内に操作されない場合は、開始トリガなしとできる。
先にも説明したように、例えば、車両外部表示装置１００が最初に設置された時、或は、長期間に渡って使用が継続され、運転者２が表示画像に大きなずれを感じるようになった場合に、運転者２は、この開始トリガを入力する。
開始トリガがある場合（ステップ１０４；ｙｅｓ）は、ステップ１０５からステップ１０９の調整処理に入る。一方、開始トリガがない場合（ステップ１０４；ｎｏ）は、これらの処理は省略されて、初期化処理を終了する（エンド）。 The above three steps are steps automatically executed on the apparatus side in accordance with the initialization process.
Hereinafter, steps from step 104 (S104) to step 109 (S109) are processing steps relating to adjustment (calibration) of the projector 104, and are processing steps performed between the apparatus 100 and the driver 2.
Step 104 (S104)
When this step is reached, the input / output device 101a provided with the display device main body 101 is inquired about whether or not the projector 104 needs to be adjusted (calibrated), and a calibration start trigger from the driver 2 side is inquired. The presence or absence of is determined.
For example, by turning on the uppermost lighting button of the input / output device 101a, it is urged to determine whether adjustment is necessary. When this button is pressed (with a start trigger), it is determined that adjustment is necessary. It is. On the other hand, if no operation is performed within a certain time, the start trigger can be absent.
As described above, for example, when the vehicle external display device 100 is first installed or used for a long period of time, the driver 2 feels a large shift in the display image. The driver 2 inputs this start trigger.
If there is a start trigger (step 104; yes), the adjustment process from step 105 to step 109 is entered. On the other hand, when there is no start trigger (step 104; no), these processes are omitted and the initialization process is ended (end).

ステップ１０５（Ｓ１０５）
このステップにおいて、先に説明したマーカー１２が設けられている位置である初期化画像上の目標点の位置を記憶部ｍから読み出し、図９右側に示す初期化画像Ｉｉを生成する。
以上説明した、ステップ１０４ステップ１０５は、装置側での一連の処理として実行される。 Step 105 (S105)
In this step, the position of the target point on the initialization image, which is the position where the marker 12 described above is provided, is read from the storage unit m, and the initialization image Ii shown on the right side of FIG. 9 is generated.
Step 104 and step 105 described above are executed as a series of processing on the apparatus side.

引き続いて、ステップ１０６からステップ１０８に示す一連の処理を、各マーカー１２に対して実行する。これらステップにあっては、運転者２によるプロジェクター１０４の調整操作が介入する。
ステップ１０６（Ｓ１０６）
このステップにおいて、初期化画像Ｉｉを使用して目標点の位置で走査線を映写する。
ステップ１０７・ステップ１０８（Ｓ１０７・１０８）
これらステップにおいては、ピラー６に備えられているマーカー１２の位置と、プロジェクター１０４から映写される走査線の位置とが一致しているか否かを、順次、装置が運転者２側に問い合わせ（Ｓ１０７）、一致していない場合は、運転者２にプロジェクター１０４の調整操作を指示するとともに、運転者２により調整される（Ｓ１０８）。
先に示す入出力装置１０１ａの場合は、輝点の映像順に、上から２番目、３番目、４番目の順に点灯していき、調整の後に、この点灯ボタンを順次押すことで、その調整の完了を確認することができる。
ステップ１０９（Ｓ１０９）
このステップにおいて、３個設けられているマーカー１２に関して、全ての点に関する調整が完了したかどうかが、運転者２、装置１００間で確認され、全てに関して完了した状態で、初期化処理を完了する。 Subsequently, a series of processing shown in Step 106 to Step 108 is executed for each marker 12. In these steps, an adjustment operation of the projector 104 by the driver 2 intervenes.
Step 106 (S106)
In this step, the scan line is projected at the position of the target point using the initialization image Ii.
Step 107 and Step 108 (S107 and 108)
In these steps, the device sequentially inquires of the driver 2 whether or not the position of the marker 12 provided on the pillar 6 and the position of the scanning line projected from the projector 104 are the same (S107). If they do not match, the driver 2 is instructed to adjust the projector 104 and adjusted by the driver 2 (S108).
In the case of the input / output device 101a described above, the lighting is performed in the order of the second, third, and fourth from the top in the order of the image of the bright spot. Completion can be confirmed.
Step 109 (S109)
In this step, it is confirmed between the driver 2 and the device 100 whether or not the adjustment for all the points has been completed for the three markers 12, and the initialization process is completed in a state in which all the adjustments have been completed. .

以上が、本願に係る車両外部表示装置１００の構成及び初期化処理の内容であるが、以下、図１１に示すメインフローに基づいて、外部表示に関して説明する。
メインフローは、イグニッションキー４のＯＮ操作に伴って開始される（スタート）処理フローであり、初期化処理（ステップ１）を実行した後、適宜、撮像カメラ１０２からカメラ視点画像Ｉｃを取り込み、必要な処理を施した後、本願にいうプロジェクター画像Ｉｐを生成し、これをピラー上に映写するものである。
ステップ１（Ｓ１）
初期化処理手段Ｃ２により、先に説明した初期化処理が実行される。
このステップを完了した段階で、レンズ補正のためのレンズ補正情報ｉ１、ピラー−プロジェクター変換情報ｉ２及び内装形状補正情報ｉ３が、演算処理に適応できるように取り込まれており、プロジェクター１０４はピラー６に対して適性な位置関係に調整されている。
ステップ２（Ｓ２）
撮像カメラ１０２よりカメラ視点画像Ｉｃが取得される。この取得は、予め設定されている所定の取得間隔で実行される。この取得間隔は、メインフローにおけるステップ２〜ステップ８に至る単一特定のカメラ視点画像Ｉｃの映写処理に要する時間を考慮して決定されている。
ステップ３（Ｓ３）
初期化処理により予め確定されているレンズ補正情報ｉ１を使用して、カメラ視点画像Ｉｃの画像補正が施される。結果、レンズの影響を受けない画像を以降処理することとなる。
ステップ４（Ｓ４）
運転者２の視点３が取得される。即ち、視点位置検出手段Ｃ１により、赤外線カメラ８、ロードセル１０の検出結果に基づいて、運転者２の視点３が導出され、表示装置本体１０１に送られてくる。
ステップ５（Ｓ５）
レンズ補正済みのカメラ視点画像Ｉｃを、運転者視点画像Ｉｄに変換する。この変換は第１変換手段Ｃ４により実行され、車外に仮想的に設けられている仮想スクリーンＳ１上に映る外部映写が運転者２の視点３から見た場合に、見える画像に変換されることとなる。
この時、記憶部ｍに、視点３の位置をパラメータとして記憶されている変換テーブルを特定して、呼び出し使用する。
ステップ６（Ｓ６）
別途、運転者２の視点３の検出結果に基づいて、上記車外に仮想的に設けられている仮想スクリーンＳ１上の死角領域Ｄが特定される。この処理は、死角領域特定手段Ｃ５により実行される処理であり、記憶部ｍに、視点３をパラメータとして記憶されている死角領域Ｄを特定して・抽出してくる処理であり、実態上は、マスクの選択・抽出に帰着する。
ステップ５で得られた運転者視点画像Ｉｄとステップ６で得られるマスクとを利用して、透過部画像Ｉｄｐが生成され、プロジェクター側へ送られる。
ステップ７（Ｓ７）
そして、描画データであるプロジェクター画像Ｉｐが抽出・生成される。この処理はプロジェクター画像生成手段Ｃ６により実行される処理であり、仮想スクリーンＳ１，Ｓ２と視点３及びプロジェクター１０４の位置を考慮した第２変換手段Ｃ６ａによる変換と、内装形状を考慮した内装形状補正手段Ｃ６ｂによる補正を伴うこととなる。
ステップ８（Ｓ８）
このようにして生成されるプロジェクター画像（描画データからなる画像）Ｉｐが、プロジェクター１０４に送られ、画像表示される。
この時、プロジェクター１０４における走査の範囲は、視点３の位置（図中、「視点１」、「視点２」、「視点３」と表示）及び内装の表面形状にも依存する。図１２に示す例は、プロジェクターの位置に対して、視点３がその周りで移動した場合の例である。
同図に示すように、プロジェクターの最大照射範囲はピラーとの位置関係において「視点１」で示すように、ピラー６全体をカバーできるように走査することとなっているが、「視点２」の場合は下側の内面６ｄに対応する領域が走査しない領域となっており、同図に示す「視点３」の場合は、「視点１」の走査領域に対して上側の内面６ｕに対応する領域が走査しない領域となる。
以上のステップ２からステップ８に至る一連の処理を特定の画像に対して施すことで、ピラー６上に、迅速且つ良好にピラー外部の情景を映写することができる。
ステップ９（Ｓ９）
このステップは、引き続き画像表示を実行するか否かの判断ステップであり、イグニッションキー４がＯＦＦ操作されているか否かを判定し、ＯＦＦ操作されている場合は、動作を停止し、ＯＮ操作が維持されている場合は、ステップ２に戻って、新たな画像表示を行う。
上記の説明にあっては、本願に係る車両外部表示装置１００は、イグニッションキー４のＯＮ・ＯＦＦに基づいて動作するものとしたが、無論、独自のＯＮ・ＯＦＦスイッチを設けて、その動作を行うものとしてもよい。 The above is the configuration of the vehicle external display device 100 according to the present application and the content of the initialization process. Hereinafter, the external display will be described based on the main flow shown in FIG.
The main flow is a (start) processing flow that is started when the ignition key 4 is turned on. After the initialization processing (step 1) is executed, the camera viewpoint image Ic is appropriately captured from the imaging camera 102 and necessary. After performing this process, the projector image Ip referred to in the present application is generated and projected onto the pillar.
Step 1 (S1)
The initialization processing described above is executed by the initialization processing means C2.
At the stage of completing this step, lens correction information i1, lens-projector conversion information i2, and interior shape correction information i3 for lens correction are incorporated so that they can be applied to arithmetic processing. It has been adjusted to an appropriate positional relationship.
Step 2 (S2)
A camera viewpoint image Ic is acquired from the imaging camera 102. This acquisition is executed at a predetermined acquisition interval set in advance. This acquisition interval is determined in consideration of the time required for the projection processing of a single specific camera viewpoint image Ic from step 2 to step 8 in the main flow.
Step 3 (S3)
Image correction of the camera viewpoint image Ic is performed using the lens correction information i1 determined in advance by the initialization process. As a result, an image not affected by the lens is processed thereafter.
Step 4 (S4)
The viewpoint 3 of the driver 2 is acquired. In other words, the viewpoint 3 of the driver 2 is derived by the viewpoint position detection means C 1 based on the detection results of the infrared camera 8 and the load cell 10 and sent to the display device main body 101.
Step 5 (S5)
The lens-corrected camera viewpoint image Ic is converted into a driver viewpoint image Id. This conversion is executed by the first conversion means C4, and when the external projection shown on the virtual screen S1 virtually provided outside the vehicle is viewed from the viewpoint 3 of the driver 2, it is converted into a visible image. Become.
At this time, a conversion table stored in the storage unit m using the position of the viewpoint 3 as a parameter is specified and used.
Step 6 (S6)
Separately, based on the detection result of the viewpoint 3 of the driver 2, a blind spot area D on the virtual screen S1 virtually provided outside the vehicle is specified. This process is a process executed by the blind spot area specifying means C5, and is a process of specifying and extracting the blind spot area D stored in the storage unit m using the viewpoint 3 as a parameter. This results in mask selection / extraction.
Using the driver viewpoint image Id obtained in step 5 and the mask obtained in step 6, a transmission part image Idp is generated and sent to the projector side.
Step 7 (S7)
Then, a projector image Ip that is drawing data is extracted and generated. This process is a process executed by the projector image generation unit C6. The conversion by the second conversion unit C6a considering the virtual screens S1 and S2, the viewpoint 3, and the position of the projector 104, and the interior shape correction unit considering the interior shape. This is accompanied by correction by C6b.
Step 8 (S8)
The projector image (image consisting of drawing data) Ip generated in this way is sent to the projector 104 and displayed as an image.
At this time, the scanning range of the projector 104 also depends on the position of the viewpoint 3 (indicated as “viewpoint 1”, “viewpoint 2”, and “viewpoint 3” in the drawing) and the surface shape of the interior. The example shown in FIG. 12 is an example when the viewpoint 3 moves around the position of the projector.
As shown in the figure, the maximum irradiation range of the projector is scanned so as to cover the entire pillar 6 as indicated by “viewpoint 1” in the positional relationship with the pillar. In this case, the region corresponding to the lower inner surface 6d is a region that does not scan. In the case of “viewpoint 3” shown in the figure, the region corresponding to the upper inner surface 6u with respect to the scanning region of “viewpoint 1”. Is a region not scanned.
By performing a series of processes from step 2 to step 8 on a specific image, a scene outside the pillar can be projected on the pillar 6 quickly and satisfactorily.
Step 9 (S9)
This step is a step for determining whether or not to continue to perform image display. It is determined whether or not the ignition key 4 is turned off. If it is turned off, the operation is stopped and the ON operation is performed. If it is maintained, the process returns to step 2 to display a new image.
In the above description, the vehicle external display device 100 according to the present application is operated based on ON / OFF of the ignition key 4, but of course, an original ON / OFF switch is provided to operate the vehicle. It may be done.

以上の操作を実行することにより、良好にピラー上に外部画像を映写することができる。
〔別実施の形態〕
ａ．上記の実施の形態にあっては、運転者の右前にあるピラー上に外部の情景を映写するものとしたが、この種の映写を実行する部位に関しては、運転者にとって死角を形成する車体部位であれば任意の部位に外部の画像を映写することができる。
例えば、後部のピラー、後部座席、ボンネット等に映写するものとしてもよい。
ｂ．上記の実施の形態にあっては、プロジェクター画像生成手段を備え、プロジェクターから映像されるプロジェクター画像を使用して、その走査線が方形の画像領域に対して上辺あるいは下辺に平行に移動しながら走査を実行する場合に関して説明した。図８（ｄ）の下側に示すのがこの場合の走査方向である。
しかしながら、上記の第２変換手段及び内装形状補正手段による変換・補正を施すことなく、ピラー表面に的確に表示するためには、この画像における走査線の走査方向及び位置を、仮想スクリーンＳ１，Ｓ２、ピラーとプロジェクターとの位置関係及びピラーの具体的内面形状に基づいて変更してもよい。この例の場合、内面形状に係る変更は、図５（ｂ）に示す画像と同じ画像とした場合、その走査方向・位置を図８（ｆ）に示すように変換する。この場合、初期化処理におけるステップ１０２及びステップ１０３に伴う処理が不要となり、表示装置本体から直接運転者視点画像の死角領域において確定している画像（透過部画像Ｉｄｐ）を、プロジェクターに送るとともに、送られてくる画像において、仮想スクリーンＳ１と、ピラー−プロジェクター間の位置関係及び、ピラーの形状に基づいて定まる走査方向及び画像上の位置に従って映像することとなる。
ｃ．上記の実施の形態にあっては、マスクは視点をパラメータとした情報として記憶部に予め記憶しておく情報としたが、３次元の車両形状データを持ち、車外に仮想する仮想スクリーン（先の例で示したＳ１）に基づいて、その仮想スクリーン上で、視点の検出毎に演算により求めるものとしてもよい。
ｄ. 上記の実施の形態にあっては、視点の位置は、運転者画像の目の位置として、あるいはシート形状、シートの位置から検出したが、積極的に検出することなく、予め設定されている視点の位置、例えばヘッドレストの位置に従った視点の位置を記憶部に記憶しておき、その情報に従った処理を行ってもよい。
e. 上記の実施の形態にあっては、初期化手段による調整において、マーカーに対する走査線の照射を順次行ったが、同時に行うものとしてもよい。 By executing the above operation, an external image can be projected on the pillar well.
[Another embodiment]
a. In the above embodiment, an external scene is projected on the pillar in front of the driver. However, with respect to a part that performs this kind of projection, a vehicle body part that forms a blind spot for the driver. If so, an external image can be projected on any part.
For example, it may be projected on a rear pillar, a rear seat, a hood, or the like.
b. In the above embodiment, the projector image generation means is provided, and the projector image scanned from the projector is used while the scanning line moves parallel to the upper side or the lower side with respect to the rectangular image region. Explained the case of executing. The scanning direction in this case is shown on the lower side of FIG.
However, in order to display accurately on the pillar surface without performing the conversion / correction by the second conversion means and the interior shape correction means, the scanning directions and positions of the scanning lines in this image are displayed on the virtual screens S1, S2. The position may be changed based on the positional relationship between the pillar and the projector and the specific inner shape of the pillar. In the case of this example, when the change related to the inner surface shape is the same as the image shown in FIG. 5B, the scanning direction and position are converted as shown in FIG. In this case, the process associated with Step 102 and Step 103 in the initialization process is not necessary, and the image (transmission part image Idp) that is fixed in the blind spot area of the driver viewpoint image is directly sent from the display device body to the projector. In the image to be sent, the image is displayed in accordance with the virtual screen S1, the positional relationship between the pillar-projector, the scanning direction determined based on the pillar shape, and the position on the image.
c. In the above embodiment, the mask is information stored in advance in the storage unit as information with the viewpoint as a parameter. However, the virtual screen having the three-dimensional vehicle shape data and virtual outside the vehicle (the previous screen) Based on S1) shown in the example, it may be obtained by calculation every time a viewpoint is detected on the virtual screen.
d. In the above embodiment, the position of the viewpoint is detected as the position of the eyes of the driver image or from the seat shape and the position of the seat, but is set in advance without positive detection. The position of the viewpoint, for example, the position of the viewpoint according to the position of the headrest may be stored in the storage unit, and processing according to the information may be performed.
e. In the above-described embodiment, the scanning line irradiation is sequentially performed on the marker in the adjustment by the initialization unit, but may be performed simultaneously.

例えば、運転者の右前に位置するピラーの内面に、確立された画像処理を施して、時事刻々変化する外部の情景をリアルタイムに、不自然な印象を与えることなく映像することが可能となり、運転支援を迅速且つ的確に行うことができる車両外部表示装置及び、その初期化方法を提供することができた。   For example, by applying established image processing to the inner surface of the pillar located in front of the driver, it is possible to image an external scene that changes from moment to moment in real time without giving an unnatural impression. It was possible to provide a vehicle external display device capable of providing support quickly and accurately, and an initialization method thereof.

使用状態における車両外部表示装置の構成の説明図Explanatory drawing of a structure of the vehicle external display apparatus in use condition ピラーに映写された外部情景を示す図Figure showing an external scene projected on a pillar 運転者視点画像の生成構成を示す説明図Explanatory drawing showing the generation configuration of the driver viewpoint image 運転者視点画像の生成における画素間の変換形態例を示す図The figure which shows the example of the conversion form between pixels in the production | generation of a driver | operator viewpoint image 視点により異なることとなる死角領域を示す説明図Explanatory drawing showing the blind spot area that will vary depending on the viewpoint 視点により異なることとなる死角領域とマスク画像の関係を示す図The figure which shows the relationship between the blind spot area and the mask image that will differ depending on the viewpoint マスク画像及び運転者視点画像を使用した運転者視点画像の死角領域の画像を示す図The figure which shows the image of the blind spot area | region of a driver | operator viewpoint image using a mask image and a driver | operator viewpoint image. 内装形状補正の説明図Illustration of interior shape correction 初期化処理時のマーカーに対する映写状態を示す図The figure which shows the projection state with respect to the marker at the time of initialization processing 初期化処理フローを示すフローチャートFlow chart showing initialization process flow メインフローを示すフローチャートFlow chart showing main flow 異なった視点位置に基づく走査領域の説明図Illustration of scanning area based on different viewpoint positions

符号の説明Explanation of symbols

１ ：車
２ ：運転者
３ ：視点
６ ：ピラー
１００：車両外部表示装置
１０１：表示装置本体
１０２：撮像カメラ
１０３：視点検出装置
１０４：プロジェクター 1: Car 2: Driver 3: Viewpoint 6: Pillar 100: Vehicle external display device 101: Display device body 102: Imaging camera 103: Viewpoint detection device 104: Projector

Claims (5)

車両外部の情景をカメラ視点画像として撮像する撮像手段と、車両構造物に画像を映像する映像手段とを備え、
運転者の視点に基づいて、前記カメラ視点画像から前記画像を得て、前記車両構造物に、運転者から見て前記車両構造物により死角となる車両外部の情景を表示する車両外部表示装置であって、
動作開始時点において、前記車両構造物と前記映像手段との位置関係を、両者間の適正な位置関係として予め規定される適正位置関係に調整する調整工程を実行するための初期化処理手段を備えた車両外部表示装置。 Imaging means for capturing a scene outside the vehicle as a camera viewpoint image, and video means for imaging an image on the vehicle structure,
A vehicle external display device that obtains the image from the camera viewpoint image based on a driver's viewpoint and displays a scene outside the vehicle that becomes a blind spot by the vehicle structure as viewed from the driver on the vehicle structure. There,
Initialization processing means for executing an adjustment process for adjusting the positional relationship between the vehicle structure and the video means to an appropriate positional relationship defined in advance as an appropriate positional relationship between the two at the start of operation. Vehicle external display device. ３個のマーカー位置に配設されるマーカーを、前記車両構造物に対して備えるとともに、
前記車両構造物と前記映像手段とが適正な位置関係にある場合に、前記３個のマーカー位置に３個の輝点を映像可能な初期化画像を備え、
前記調整工程において、前記映像手段が前記初期化画像を用いて前記輝点を前記マーカーに対して映像可能に構成されている請求項１記載の車両外部表示装置。 With the markers arranged at the three marker positions for the vehicle structure,
When the vehicle structure and the video means are in an appropriate positional relationship, an initialization image capable of imaging three bright spots at the three marker positions is provided.
The vehicle external display device according to claim 1, wherein, in the adjustment step, the video unit is configured to be able to image the bright spot with respect to the marker using the initialization image. 前記動作開始時点において、前記車両構造物と前記映像手段との位置関係の調整処理の要否を受け付け、調整処理が必要とのトリガが受け付けられた場合に、前記初期化処理手段が前記調整工程に対する処理を実行する請求項１又は２項記載の車両外部表示装置。   At the time of starting the operation, when the necessity of adjustment processing of the positional relationship between the vehicle structure and the video means is received, and when a trigger indicating that adjustment processing is required is received, the initialization processing means performs the adjustment process. The vehicle exterior display apparatus of Claim 1 or 2 which performs the process with respect to. 車両外部の情景をカメラ視点画像として撮像する撮像手段と、車両構造物に画像を映像する映像手段とを備え、
運転者の視点に基づいて、前記カメラ視点画像から前記画像を得て、前記車両構造物に、運転者から見て前記車両構造物により死角となる車両外部の情景を表示する車両外部表示装置の初期化方法であって、
３個のマーカー位置に配設されるマーカーを、前記車両構造物に対して備えるとともに、
前記車両構造物と前記映像手段とが適正な位置関係にある場合に、前記３個のマーカー位置に輝点を映像可能な初期化画像を備え、
前記映像手段が前記初期化画像を用いて前記輝点を前記マーカーに対して映像し、前記車両構造物と前記映像手段とを適正な位置関係に調整する車両外部表示装置の初期化方法。 Imaging means for capturing a scene outside the vehicle as a camera viewpoint image, and video means for imaging an image on the vehicle structure,
A vehicle external display device that obtains the image from the camera viewpoint image based on a driver's viewpoint and displays a scene outside the vehicle that becomes a blind spot by the vehicle structure as viewed from the driver on the vehicle structure. An initialization method,
With the markers arranged at the three marker positions for the vehicle structure,
When the vehicle structure and the video means are in an appropriate positional relationship, an initialization image capable of imaging a bright spot at the three marker positions is provided,
An initialization method for a vehicle external display device, wherein the video means images the bright spot with respect to the marker using the initialization image and adjusts the vehicle structure and the video means to an appropriate positional relationship. 動作開始時点において、前記車両構造物と前記映像手段との位置関係の調整処理の要否を受け付け、調整処理が必要とのトリガに基づいて、調整処理を実行する請求項４記載の車両外部表示装置の初期化方法。   5. The vehicle external display according to claim 4, wherein at the start of operation, whether or not adjustment processing of the positional relationship between the vehicle structure and the video means is necessary is performed, and adjustment processing is executed based on a trigger that adjustment processing is necessary. Device initialization method.

Images