JP6550690B2

JP6550690B2 - Display device, vehicle

Info

Publication number: JP6550690B2
Application number: JP2014101333A
Authority: JP
Inventors: 賢一郎齊所; 横田　聡一郎; 聡一郎横田; 史子酒匂; 智子石垣; 博美吉川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2014-05-15
Filing date: 2014-05-15
Publication date: 2019-07-31
Anticipated expiration: 2034-05-15
Also published as: JP2015219631A

Description

本発明は、表示装置、及び前記表示装置を搭載した車両に関する。 The present invention relates to a display device and a vehicle equipped with the display device.

新たな車両安全技術として、ステレオカメラやヘッドアップディスプレイ（以降、ＨｕＤと称する場合がある）を用いた表示装置の技術開発が進んでいる。この技術は、測距が可能なステレオカメラと、運転者の視界に直接画像を投影するＨｕＤとを組み合わせたもので、拡張現実（ＡＲ：Augmented Reality）感のある運転中の映像体験が市場から期待されている。一方、市場において、自律運転に向けた技術開発が進められており、２０２０年には部分的な自律運転車両が市場に現れると言われている。 As a new vehicle safety technology, technological development of a display device using a stereo camera or a head-up display (hereinafter sometimes referred to as HuD) is in progress. This technology combines a stereo camera capable of distance measurement and HuD, which projects an image directly into the driver's field of vision, and the video experience while driving with augmented reality (AR) comes from the market Expected. On the other hand, in the market, technology development for autonomous driving is in progress, and it is said that by 2020, partially autonomous driving vehicles will appear in the market.

現在のＨｕＤの価値は、手動運転における視線移動の低減により安全運転を提供することにあるが、上記のような自律運転が普及する社会において、人の車両内での行為がどう変化するか、車両のインテリアはどう変わるか、に関して様々な場所で議論されている。そのような議論の中で、「自車両が今どのような状態にあるか」を乗員に通知する機能は少なくとも必要になると予測されている。 The current value of HuD lies in providing safe driving by reducing eye movement in manual driving, but how in the society where such autonomous driving spreads, how the behavior of human beings in vehicles changes There are various discussions about how the interior of the vehicle will change. In such a discussion, it is predicted that at least the function of notifying the occupant of "what kind of state the vehicle is now" is required.

又、自律運転社会においては、集団隊列走行のための車両間通信技術が発達すると言われており、自車両が自律的に他車両に道を譲る等の利他的運転と、車両間のメッセージ交換が可能になる。 In addition, in the autonomous driving society, it is said that inter-vehicle communication technology for group corps traveling develops, and the altruistic driving such as self-vehicle giving way to other vehicles autonomously and message exchange between vehicles Is possible.

しかしながら、今までの車社会においては、方向指示器、サンキューハザード等のランプ類のみによる車両間メッセージのやり取りしかなく、後方以外の車両へメッセージ発信ができない、又、時には誤解をしてしまいクラクションを鳴らしてしまう等、車両間メッセージ交換の不十分さによる「移動の楽しみの阻害」が生じうる。 However, in the car society so far, there is only the exchange of inter-vehicle messages only with lamps such as direction indicators and thank-you hazards, so messages can not be sent to vehicles other than the rear. Inadequate inter-vehicle message exchange, such as ringing, can result in a “distraction in mobility”.

又、カーナビゲーション等を通したインターネット経由の情報送受信のみでは、「今そこにいる車両がメッセージを発している」感覚や、「今そこに見えている車両にメッセージを発している」感覚が得がたく、運転者が受容する情報と視界とのアンマッチングを感じてしまう。これにより、運転者が煩わしさを感じ、安全運転の阻害となるおそれもあり、ここでも「移動の楽しみの阻害」が生じうる。 In addition, only by sending and receiving information via the Internet through car navigation etc., there is a sense that "the vehicle at the moment is sending a message" or "the message is sending to the vehicle at the moment now". It is difficult to feel the unmatching between the information received by the driver and the field of view. As a result, the driver may feel annoyance, which may cause an obstacle to safe driving, and here too, "an obstacle to enjoyment of traveling" may occur.

本発明は、上記に鑑みてなされたものであり、自車外との快適なコミュニケーションを実現可能な表示装置等を提供することを課題とする。 This invention is made in view of the above, and makes it a subject to provide the display etc. which can realize comfortable communication with the self-vehicles exterior.

本表示装置は、自車両と他車両との間で通信を行う車間通信部と、前記他車両に関する情報を検出する他車両検出部と、測距機能及び２次元輝度画像を同時に取得できる機能を備え、前記自車両の運転者の両眼を画角に捉えて運転者の視点を検出する運転者視点検出部と、前記車間通信部、前記他車両検出部、及び前記運転者視点検出部から入手した情報に基づいて画像を生成する画像生成部と、前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有し、前記画像生成部は、前記車間通信部で受信した情報をメッセージに変換する表示メッセージ生成部と、前記他車両検出部で検出した前記他車両に関する情報、及び前記運転者視点検出部で検出した運転者の視点に基づいて、運転者の視点から視た車両位置を生成する車両位置生成部と、前記車両位置生成部で生成した車両位置に基づいて、前記メッセージを表示する位置を生成するメッセージ表示位置生成部と、を備え、前記画像表示部は、前記メッセージ表示位置生成部が生成した位置に、前記メッセージを表示し、前記車間通信部は、周囲に車両識別情報の送信を要請する要請信号を発信すると共に、前記要請信号を受けて前記他車両から送信された前記他車両の車両識別情報を受信し、前記画像生成部は、前記他車両の車両識別番号及び３Ｄモデルデータを含む車両識別情報に基づいて、前記メッセージを発信している前記他車両を特定する照合部を備えていることを要件とする。 The display device includes an inter-vehicle communication unit that performs communication between the host vehicle and another vehicle, an other vehicle detection unit that detects information about the other vehicle, and a function that can simultaneously acquire a ranging function and a two-dimensional luminance image. A driver viewpoint detection unit that detects the driver's viewpoint by capturing both eyes of the driver of the host vehicle at an angle of view, the inter-vehicle communication unit, the other vehicle detection unit, and the driver viewpoint detection unit An image generation unit configured to generate an image based on the obtained information; and an image display unit configured to display the image superimposed on the driver's field of view. The image generation unit is received by the inter-vehicle communication unit. From the driver's viewpoint based on the display message generation unit that converts the processed information into a message, the information on the other vehicle detected by the other vehicle detection unit, and the driver's viewpoint detected by the driver viewpoint detection unit Vehicle position to generate the viewed vehicle position A message display position generation unit that generates a position for displaying the message based on the vehicle position generated by the vehicle position generation unit, and the message display position generation unit includes the message display position generation unit. The message is displayed at the generated position, and the inter-vehicle communication unit transmits a request signal for requesting transmission of vehicle identification information to the surroundings, and the other vehicle transmitted from the other vehicle in response to the request signal. The image generation unit receives a vehicle identification information of the other vehicle and, based on the vehicle identification information including the vehicle identification number of the other vehicle and 3D model data, a collation unit that identifies the other vehicle that is transmitting the message. It is a requirement to have it.

開示の技術によれば、自車外との快適なコミュニケーションを実現可能な表示装置等を提供できる。 According to the disclosed technology, it is possible to provide a display device and the like that can realize comfortable communication with the outside of the host vehicle.

本実施の形態に係る表示装置を例示する図である。It is a figure which illustrates the display concerning this embodiment. 本実施の形態に係る画像表示部を例示する図である。It is a figure which illustrates the image display part which concerns on this Embodiment. 本実施の形態に係る表示装置の動作を説明するための図（その１）である。FIG. 6 is a diagram (No. 1) for explaining the operation of the display device according to the embodiment; 第１撮像部がステレオカメラである場合のハードウェア構成を例示する図である。It is a figure which illustrates the hardware constitutions in case the 1st image pick-up part is a stereo camera. 本実施の形態に係る表示装置の動作を説明するための図（その２）である。FIG. 10 is a diagram (part 2) for explaining the operation of the display device according to the embodiment; 本実施の形態に係る表示装置の動作を説明するための図（その３）である。FIG. 10 is a diagram (No. 3) for explaining the operation of the display device according to the embodiment; 本実施の形態に係る表示装置による画像表示例を示す図（その１）である。It is a figure (the 1) which shows the example of an image display by the display apparatus which concerns on this Embodiment. 本実施の形態に係る表示装置による画像表示例を示す図（その２）である。It is a figure (the 2) which shows the example of an image display by the display apparatus which concerns on this Embodiment. 本実施の形態に係る表示装置による画像表示例を示す図（その３）である。It is a figure (the 3) which shows the example of an image display by the display apparatus which concerns on this Embodiment. 本実施の形態に係る表示装置による画像表示例を示す図（その４）である。FIG. 16 is a diagram showing an example of image display by the display device according to the present embodiment (part 4). 本実施の形態に係る表示装置による画像表示例を示す図（その５）である。FIG. 17 is a fifth diagram showing an example of image display by the display device according to the present embodiment;

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。 Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings. In the drawings, the same components are denoted by the same reference numerals, and redundant description may be omitted.

図１は、本実施の形態に係る表示装置を例示する図である。図１を参照するに、表示装置１は、自車両１２０に搭載されており、大略すると、他車両検出部１０と、運転者視点検出部２０と、車間通信部３０と、画像生成部４０と、画像表示部５０とを有する。 FIG. 1 is a diagram illustrating a display device according to the present embodiment. Referring to FIG. 1, the display device 1 is mounted on the host vehicle 120, and in general, the other vehicle detection unit 10, the driver viewpoint detection unit 20, the inter-vehicle communication unit 30, and the image generation unit 40 And an image display unit 50.

他車両検出部１０は、自車両１２０の前方の他車両に関する情報を検出する機能を有する。他車両検出部１０は、後述のように、第１撮像部１１と、第１信号処理部１５とを備えている（図３等参照）。第１撮像部１１は、ステレオカメラに代表される測距機能及び２次元輝度画像を同時に取得できる機能を備えていることが好ましい。第１撮像部１１は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。第１撮像部１１を自車両１２０内のダッシュボード上等に配置してもよい。第１信号処理部１５の機能については後述する。 The other vehicle detection unit 10 has a function of detecting information related to the other vehicle in front of the host vehicle 120. The other vehicle detection unit 10 includes a first imaging unit 11 and a first signal processing unit 15 (see FIG. 3 and the like) as described later. The first imaging unit 11 preferably has a distance measuring function represented by a stereo camera and a function capable of simultaneously acquiring a two-dimensional luminance image. The first imaging unit 11 may be disposed at an arbitrary position in accordance with the interior design of the host vehicle 120, and can be disposed, for example, at a ceiling in the host vehicle 120. You may arrange | position the 1st imaging part 11 on the dashboard etc. in the own vehicle 120. FIG. The function of the first signal processing unit 15 will be described later.

運転者視点検出部２０は、自車両１２０の運転者１３０の視点を検出する機能を有する。運転者視点検出部２０は、後述のように、第２撮像部２１と、第２信号処理部２５とを備えている（図３等参照）。第２撮像部２１は、ステレオカメラに代表される測距機能及び２次元輝度画像を同時に取得できる機能を備えていることが好ましい。運転者視点検出部２０は、運転者１３０の視線方向を検出するために、運転者１３０の両眼近傍を画角に捉える形態で配置されている。運転者視点検出部２０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。運転者視点検出部２０を自車両１２０内のダッシュボード上等に配置してもよい。第２信号処理部２５の機能については後述する。 The driver viewpoint detection unit 20 has a function of detecting the viewpoint of the driver 130 of the host vehicle 120. The driver's viewpoint detection unit 20 includes a second imaging unit 21 and a second signal processing unit 25 (see FIG. 3 and the like) as described later. The second imaging unit 21 preferably has a distance measuring function represented by a stereo camera and a function capable of simultaneously acquiring a two-dimensional luminance image. The driver's viewpoint detection unit 20 is disposed in a form that captures the vicinity of the both eyes of the driver 130 at an angle of view in order to detect the direction of the driver's 130 gaze. The driver viewpoint detection unit 20 may be disposed at an arbitrary position in accordance with the interior design of the host vehicle 120, and may be disposed, for example, on a ceiling portion in the host vehicle 120. The driver viewpoint detection unit 20 may be arranged on a dashboard in the own vehicle 120 or the like. The function of the second signal processing unit 25 will be described later.

車間通信部３０は、自車両１２０と他車両との間で通信（メッセージの送受信等）を行う機能を有する。車間通信部３０は、自車両１２０内の任意の位置に配置することができる。画像生成部４０は、他車両検出部１０、運転者視点検出部２０、及び車間通信部３０より入手した情報を統合して重畳画像を生成し、画像表示部５０に出力する機能を有する。画像生成部４０は、自車両１２０内の任意の位置に配置することができる。 The inter-vehicle communication unit 30 has a function of performing communication (transmission and reception of messages, etc.) between the host vehicle 120 and other vehicles. The inter-vehicle communication unit 30 can be disposed at any position in the host vehicle 120. The image generation unit 40 has a function of integrating the information obtained from the other vehicle detection unit 10, the driver viewpoint detection unit 20, and the inter-vehicle communication unit 30 to generate a superimposed image and output it to the image display unit 50. The image generation unit 40 can be disposed at an arbitrary position in the host vehicle 120.

画像表示部５０は、自車両１２０内で画像生成部４０が生成した画像を、運転者１３０の視界に虚像として重畳して表示する機能を有する、所謂ヘッドアップディスプレイである。画像表示部５０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内のダッシュボード上に配置することができる。画像表示部５０を自車両１２０内の天井部等に配置してもよい。或いは、画像表示部５０をダッシュボード内に埋め込んでもよい。 The image display unit 50 is a so-called head-up display having a function of superimposing and displaying the image generated by the image generation unit 40 in the host vehicle 120 as a virtual image on the field of view of the driver 130. The image display unit 50 may be disposed at an arbitrary position in accordance with the interior design of the host vehicle 120. For example, the image display unit 50 can be disposed on a dashboard in the host vehicle 120. The image display unit 50 may be arranged on a ceiling or the like in the host vehicle 120. Alternatively, the image display unit 50 may be embedded in the dashboard.

より詳しくは、画像表示部５０は、内部で生成した中間像をミラーやレンズ等で拡大虚像表示し、運転者１３０の視点から所定の距離感を持って画像を表示することができるモジュールである。画像表示部５０の実現形態としてはパネル投射型やレーザ走査型等があるが、本実施の形態では何れの形態を用いてもよい。但し、レーザ走査型は、虚像の広角化が可能であること、外光に対してロバストな高輝度画像を表示できることから、本実施の形態において用いると好適である。以下、レーザ走査型の画像表示部５０を例にして説明する。 More specifically, the image display unit 50 is a module capable of displaying an intermediate image generated inside with a mirror, a lens, or the like on a magnified virtual image, and displaying an image with a predetermined sense of distance from the viewpoint of the driver 130 . There are a panel projection type, a laser scanning type and the like as a form of realization of the image display unit 50, but any form may be used in the present embodiment. However, the laser scanning type is suitable for use in this embodiment because it can widen a virtual image and can display a high-intensity image that is robust against external light. Hereinafter, the laser scanning type image display unit 50 will be described as an example.

図２は、本実施の形態に係る画像表示部を例示する図である。図２を参照するに、画像表示部５０は、大略すると、光源部５１と、光偏向器５２と、第１ミラー５３と、被走査面５４と、第２ミラー５５とを有する。なお、図２において、１３５は運転者の眼球（以降、眼球１３５とする）を、１１０は虚像（以降、虚像１１０とする）を示している。 FIG. 2 is a diagram illustrating an image display unit according to the present embodiment. Referring to FIG. 2, the image display unit 50 generally includes a light source unit 51, an optical deflector 52, a first mirror 53, a scanned surface 54, and a second mirror 55. In FIG. 2, reference numeral 135 denotes an eyeball of the driver (hereinafter referred to as an eyeball 135), and reference numeral 110 denotes a virtual image (hereinafter referred to as a virtual image 110).

光源部５１は、例えば、ＲＧＢに対応した３つのレーザ光源、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのレーザ光源から出射されたレーザ光を合成して光偏向器５２の反射面に向かって導く。光偏向器５２の反射面に導かれたレーザ光は、光偏向器５２により２次元的に偏向される。 The light source unit 51 includes, for example, three laser light sources corresponding to RGB, a coupling lens, an aperture, a combining element, a lens, and the like, and combines the laser beams emitted from the three laser light sources to obtain an optical deflector 52. Lead toward the reflective surface. The laser light guided to the reflection surface of the light deflector 52 is two-dimensionally deflected by the light deflector 52.

光偏向器５２としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器５２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）とすることができる。光偏向器５２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。 As the light deflector 52, for example, it is possible to use one minute mirror which oscillates with respect to two orthogonal axes or two minute mirrors which oscillate or rotate around one axis. The light deflector 52 can be, for example, a MEMS (Micro Electro Mechanical Systems) manufactured by a semiconductor process or the like. The light deflector 52 can be driven, for example, by an actuator whose driving force is the deformation force of the piezoelectric element.

光偏向器５２により２次元的に偏向された光束は、第１ミラー５３に入射し、第１ミラー５３により折り返されて被走査面５４に２次元像を描画する。第１ミラー５３としては、例えば、凹面ミラーを用いることができる。第１ミラー５３の反射面は、例えば、アナモフィックとすることができる。つまり、第１ミラー５３の反射面は、所定方向の曲率と、それに直交する方向の曲率とが異なる反射面とすることができる。第１ミラー５３の反射面をアナモフィックとすることにより、反射面の曲面形状を調整可能となり、収差補正性能を向上できる。 The light beam deflected two-dimensionally by the optical deflector 52 enters the first mirror 53, is folded by the first mirror 53, and draws a two-dimensional image on the scanned surface 54. As the first mirror 53, for example, a concave mirror can be used. The reflective surface of the first mirror 53 can be, for example, anamorphic. That is, the reflective surface of the first mirror 53 can be a reflective surface in which the curvature in a predetermined direction is different from the curvature in a direction orthogonal thereto. By making the reflection surface of the first mirror 53 anamorphic, it is possible to adjust the curved surface shape of the reflection surface, and the aberration correction performance can be improved.

被走査面５４は、第１ミラー５３で反射された光束が入射して２次元像が形成される透過性を有する面である。被走査面５４は、合成されたレーザ光を所望の発散角で発散させる機能を有しており、例えば、マイクロレンズアレイ構造とすると好適である。被走査面５４から射出された光束は、第２ミラー５５及び半透過鏡５９により拡大表示される。第２ミラー５５としては、例えば、凹面ミラーを用いることができる。画像表示部５０は、レンズやプリズム等の透過型光学素子を具備してもよい。 The surface to be scanned 54 is a surface having transparency so that the light beam reflected by the first mirror 53 is incident to form a two-dimensional image. The surface to be scanned 54 has a function of diverging the synthesized laser light at a desired divergence angle, and for example, a microlens array structure is preferable. The light beam emitted from the surface to be scanned 54 is enlarged and displayed by the second mirror 55 and the semitransparent mirror 59. As the second mirror 55, for example, a concave mirror can be used. The image display unit 50 may include a transmissive optical element such as a lens or a prism.

半透過鏡５９は、可視域の透過率が１０〜７０％程度である鏡であり、第２ミラー５５により折り返された光束が入射する側に、例えば、誘電体多層膜或いはワイヤーグリッド等が形成された反射面を有する。半透過鏡５９の反射面は、レーザが出射する光束の波長帯を選択的に反射するものとすることができる。すなわち、ＲＧＢに対応した３つのレーザからの出射光を包含する反射ピークや反射バンドを有するものや、特定の偏向方向に対して反射率を強めるように形成されたものとすることができる。 The semi-transmissive mirror 59 is a mirror having a transmittance in the visible range of about 10 to 70%, and, for example, a dielectric multilayer film or a wire grid is formed on the side on which the light flux folded back by the second mirror 55 is incident. Having a reflective surface. The reflecting surface of the semitransparent mirror 59 can selectively reflect the wavelength band of the light beam emitted by the laser. That is, it may be formed to have a reflection peak or a reflection band including emission lights from three lasers corresponding to RGB, or to be formed to enhance the reflectance in a specific deflection direction.

半透過鏡５９は、例えば、自車両１２０のフロントガラス１２５（図１参照）と一体化することができる。画像表示部５０を自車両１２０において運転者１３０の前方に配置することにより、半透過鏡５９の反射面で反射された光束は、運転席にいる運転者１３０の眼球１３５へ入射する。そして、被走査面５４の２次元像が、半透過鏡５９の反射面よりも前方の所定の位置に拡大された虚像１１０として運転者１３０に視認される。つまり、画像表示部５０により、所謂ヘッドアップディスプレイを実現できる。 The semitransparent mirror 59 can be integrated with, for example, the windshield 125 (see FIG. 1) of the host vehicle 120. By arranging the image display unit 50 in front of the driver 130 in the vehicle 120, the luminous flux reflected by the reflection surface of the semitransparent mirror 59 enters the eyeball 135 of the driver 130 at the driver's seat. Then, the two-dimensional image of the scan surface 54 is visually recognized by the driver 130 as a virtual image 110 enlarged at a predetermined position in front of the reflection surface of the semitransparent mirror 59. That is, the image display unit 50 can realize a so-called head-up display.

なお、表示装置１において、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、メインメモリ等を含む構成とすることができる。この場合、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の各種機能は、ＲＯＭ等に記録されたプログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現できる。 In the display device 1, part or all of the other vehicle detection unit 10, the driver viewpoint detection unit 20, the inter-vehicle communication unit 30, and the image generation unit 40 may be, for example, a central processing unit (CPU) or a read only memory (ROM). Memory, a main memory, and the like can be included. In this case, the various functions of the other vehicle detection unit 10, the driver's viewpoint detection unit 20, the inter-vehicle communication unit 30, and the image generation unit 40 are executed by the CPU reading the programs stored in the ROM or the like into the main memory Can be realized.

但し、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の一部又は全部は、ハードウェアのみにより実現されてもよい。又、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０のぞれぞれは、物理的に複数の装置等により構成されてもよい。又、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の一部又は全部は、共通のＣＰＵ等により実現されてもよい。 However, some or all of the other vehicle detection unit 10, the driver viewpoint detection unit 20, the inter-vehicle communication unit 30, and the image generation unit 40 may be realized only by hardware. Further, each of the other vehicle detection unit 10, the driver viewpoint detection unit 20, the inter-vehicle communication unit 30, and the image generation unit 40 may be physically configured by a plurality of devices. Further, a part or all of the other vehicle detection unit 10, the driver viewpoint detection unit 20, the inter-vehicle communication unit 30, and the image generation unit 40 may be realized by a common CPU or the like.

次に、図３及び図４を参照しながら、車間通信部３０で受信した情報を処理するアルゴリズムの例について説明する。車間通信部３０で受信した情報は、画像生成部４０の表示メッセージ生成部４１によりメッセージ（文字や記号、アイコン等）に変換される。特に文字の場合は、運転中の瞬読性を考慮し、１５文字以下程度の文章にすることが好ましい。 Next, an example of an algorithm for processing information received by the inter-vehicle communication unit 30 will be described with reference to FIGS. 3 and 4. The information received by the inter-vehicle communication unit 30 is converted by the display message generation unit 41 of the image generation unit 40 into a message (characters, symbols, icons, etc.). In particular, in the case of characters, it is preferable to use about 15 characters or less in consideration of instantaneous readability during driving.

他車両検出部１０において、第１撮像部１１から得られた光学情報は、第１信号処理部１５にて車両位置・距離に関する情報（３次元）に変換され、画像生成部４０の車両位置生成部４２に入力される。又、運転者視点検出部２０において、第２撮像部２１から得られた光学情報は、第２信号処理部２５にて運転者の視点の座標情報に変換され、画像生成部４０の車両位置生成部４２に入力される。 In the other vehicle detection unit 10, the optical information obtained from the first imaging unit 11 is converted into information (three-dimensional) regarding the vehicle position and distance by the first signal processing unit 15, and the vehicle position generation of the image generation unit 40 is performed. Input to the unit 42. Further, in the driver's viewpoint detection unit 20, the optical information obtained from the second imaging unit 21 is converted into coordinate information of the driver's viewpoint by the second signal processing unit 25, and the vehicle position generation of the image generation unit 40 is performed. Input to the unit 42.

図４は、他車両検出部１０の第１撮像部１１がステレオカメラである場合のハードウェア構成を例示する図である。第１撮像部１１がステレオカメラである場合、第１撮像部１１は、第１カメラ部１２と第２カメラ部１３とを有する。第１カメラ部１２と第２カメラ部１３の一方が左目用、他方が右目用である。第１カメラ部１２と第２カメラ部１３とを並置することで、両者の視差情報を利用して、前方の対象物（他車両等）の奥行き情報を得ることができる。すなわち、対象物（他車両等）の３次元情報を得ることができる。 FIG. 4 is a diagram illustrating a hardware configuration when the first imaging unit 11 of the other vehicle detection unit 10 is a stereo camera. When the first imaging unit 11 is a stereo camera, the first imaging unit 11 includes a first camera unit 12 and a second camera unit 13. One of the first camera unit 12 and the second camera unit 13 is for the left eye, and the other is for the right eye. By juxtaposing the first camera unit 12 and the second camera unit 13, it is possible to obtain depth information of an object in front (such as another vehicle) by using the parallax information of both. That is, three-dimensional information of an object (other vehicle etc.) can be obtained.

第１カメラ部１２と第２カメラ部１３は、例えば、互いに略平行に配置されている。第１カメラ部１２は、レンズ１２ａ、画像センサ１２ｂ、及びセンサコントローラ１２ｃを備えている。同様に、第２カメラ部１３は、レンズ１３ａ、画像センサ１３ｂ、及びセンサコントローラ１３ｃを備えている。 For example, the first camera unit 12 and the second camera unit 13 are disposed substantially parallel to each other. The first camera unit 12 includes a lens 12a, an image sensor 12b, and a sensor controller 12c. Similarly, the second camera unit 13 includes a lens 13a, an image sensor 13b, and a sensor controller 13c.

画像センサ１２ｂ及び１３ｂとしては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Device）等のイメージセンサを用いることができる。センサコントローラ１２ｃ及び１３ｃは、画像センサ１２ｂ及び１３ｂの露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う機能を有する。センサコントローラ１２ｃ及び１３ｃは、ＣＰＵやＲＯＭ等を含んで構成されてもよい。 As the image sensors 12b and 13b, for example, an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor device (CMOS) can be used. The sensor controllers 12c and 13c have functions of performing exposure control of the image sensors 12b and 13b, image reading control, communication with an external circuit, transmission control of image data, and the like. The sensor controllers 12c and 13c may be configured to include a CPU, a ROM, and the like.

第１撮像部１１は、例えば、データバスライン及びシリアルバスラインを介して第１信号処理部１５と接続されている。第１信号処理部１５は、第１撮像部１１から得られた光学情報に基づいて輝度画像及び視差画像を生成することができる。又、第１信号処理部１５は、状況認識等の各種処理を実行制御することで、例えば他車両等の認識対象の認識を行うことができる。又、第１信号処理部１５は、前述のように、第１撮像部１１から得られた光学情報を車両位置・距離に関する情報（３次元）に変換することができる。 The first imaging unit 11 is connected to the first signal processing unit 15 via, for example, a data bus line and a serial bus line. The first signal processing unit 15 can generate a luminance image and a parallax image based on the optical information obtained from the first imaging unit 11. The first signal processing unit 15 can recognize a recognition target such as another vehicle by executing and controlling various processes such as situation recognition. Further, as described above, the first signal processing unit 15 can convert the optical information obtained from the first imaging unit 11 into information (three-dimensional) related to the vehicle position and distance.

図３の説明に戻り、画像生成部４０の車両位置生成部４２は、他車両検出部１０で検出した車両位置・距離に関する（３次元）情報、及び運転者視点検出部２０で検出した運転者の視点の座標情報に基づいて、あたかも運転者の視点位置から見た座標となるように、車両位置・距離を３次元回転処理する。 Returning to the description of FIG. 3, the vehicle position generation unit 42 of the image generation unit 40 detects (three-dimensional) information regarding the vehicle position and distance detected by the other vehicle detection unit 10 and the driver detected by the driver viewpoint detection unit 20 Based on the coordinate information of the viewpoint of, the vehicle position / distance is subjected to three-dimensional rotation processing so that the coordinates are as viewed from the viewpoint position of the driver.

すなわち、他車両検出部１０で得られた車両位置・距離に関する（３次元）情報は、車両位置生成部４２において、拡大縮小行列・回転行列・平行移動行列を用いた座標変換により世界座標に変換される。そして、更に、運転者視点検出部２０で得られた運転者の視点の座標情報も用いた同様の座標変換により、車両位置生成部４２において、運転者の視点位置から見た座標（運転者の視点から視た車両位置）に変換される。 That is, (three-dimensional) information on the vehicle position / distance obtained by the other vehicle detection unit 10 is converted into world coordinates by coordinate conversion using an enlargement / reduction matrix / rotation matrix / translation matrix in the vehicle position generation unit 42. Is done. Further, the vehicle position generation unit 42 further performs coordinate conversion using the coordinate information of the driver's viewpoint obtained by the driver viewpoint detection unit 20 as well (coordinates viewed from the driver's viewpoint (the driver's Converted to the position of the vehicle viewed from the viewpoint).

画像生成部４０のメッセージ表示位置生成部４３は、車両位置生成部４２で生成した車両位置に基づいて、メッセージを表示する位置を生成する。具体的には、メッセージ表示位置生成部４３は、表示メッセージ生成部４１で生成したメッセージを、車両位置生成部４２で３次元回転処理により生成された３次元情報に配置し、画像表示部５０へ送信する。画像表示部５０は、メッセージ表示位置生成部４３が生成した位置に、表示メッセージ生成部４１で生成したメッセージを画像として表示する。 The message display position generation unit 43 of the image generation unit 40 generates a position for displaying a message based on the vehicle position generated by the vehicle position generation unit 42. Specifically, the message display position generation unit 43 arranges the message generated by the display message generation unit 41 in the three-dimensional information generated by the three-dimensional rotation process by the vehicle position generation unit 42 and sends it to the image display unit 50. Send. The image display unit 50 displays the message generated by the display message generation unit 41 as an image at the position generated by the message display position generation unit 43.

図５は、視界に存在する他車両の識別と車両検出結果を照合するアルゴリズムの例を示している。車間通信部３０は、例えば、周囲に車両識別情報の送信を要請する要請信号である車両識別プロービング信号３１を発信する。視界内の他車両に搭載された車間通信部３０Ａは、例えば、車間通信部３０が発信する車両識別プロービング信号３１を受けて、車間通信部３０にメッセージ３２及び車両識別番号・車両識別３Ｄモデル３３を返信する。 FIG. 5 shows an example of an algorithm for collating the identification of other vehicles existing in the field of view with the vehicle detection result. The inter-vehicle communication unit 30 transmits, for example, a vehicle identification probing signal 31 that is a request signal for requesting transmission of vehicle identification information to the surroundings. The inter-vehicle communication unit 30A mounted on another vehicle in the field of view receives, for example, a vehicle identification probing signal 31 transmitted from the inter-vehicle communication unit 30, and sends a message 32 and a vehicle identification number / vehicle identification 3D model 33 to the inter-vehicle communication unit 30. Reply.

ここで、車両識別番号とは、車間通信を行うにあたり、各車両に付与されているＩＤ（Identification）である。なお、読み取り阻害要因がない場合には、車両識別番号を用いる方法の代わりに、ナンバープレートを読み取る方法を用いてもよい。又、車両識別３Ｄモデルとは、上記で認識した車両識別番号に対応した他車両の３Ｄモデルデータである。車両識別番号が受信されるだけで他車両の存在は検知できるが、視界のどこに対応しているのかが検知できない。３Ｄモデルデータを用いることで、受信した車両識別番号に対応した検知車両を視界中で探索することができる。なお、車両識別番号や車両識別３Ｄモデルを含めた車両識別に用い得る情報を、車両識別情報と称する場合がある。 Here, the vehicle identification number is an ID (Identification) assigned to each vehicle when performing inter-vehicle communication. If there is no reading inhibiting factor, a method of reading a license plate may be used instead of the method of using a vehicle identification number. The vehicle identification 3D model is 3D model data of another vehicle corresponding to the vehicle identification number recognized above. Although the presence of another vehicle can be detected only by receiving the vehicle identification number, it is not possible to detect where in the field of view it corresponds. By using the 3D model data, a detection vehicle corresponding to the received vehicle identification number can be searched in the field of view. Information that can be used for vehicle identification including a vehicle identification number or a vehicle identification 3D model may be referred to as vehicle identification information.

なお、視界中の他車両は、自車に対して背を向けているもの、側面を向けているもの、対向しているもの等様々であるから、探索に用いるデータは３次元的である必要がある。但し、３Ｄモデルデータは、視界中に他車両を探索できる程度のものであれば、他車両の前方・側面・後方面の断面図の組み合わせ等の簡易なものであってもよい。又、３Ｄモデルデータは、後述の図９で示すように、凹凸が少ない面にメッセージを表示するために、他車両の表面の凹凸情報を含んでいると好適である。 There are various other vehicles in the field of view, such as those facing away from the vehicle, those facing the side, those facing each other, and the data used for the search needs to be three-dimensional. There is. However, the 3D model data may be a simple one such as a combination of sectional views of the front, side, and rear surfaces of the other vehicle as long as the other vehicle can be searched in the view. Further, as shown in FIG. 9 described later, it is preferable that the 3D model data include unevenness information on the surface of another vehicle in order to display a message on a surface with less unevenness.

画像生成部４０の照合部４４は、車両識別番号・車両識別３Ｄモデル３３に基づいて他車両検出部１０の撮像結果の中にメッセージを発信している他車両を探索し、車両位置検出と車両識別（メッセージを発信している他車両の特定）を行う。探索方法は、車両識別番号・車両識別３Ｄモデル３３に埋め込まれた簡易なデータから視界内の類似形状を検索する方法等の様々な方法が考えられる。 The collation unit 44 of the image generation unit 40 searches for another vehicle transmitting a message in the imaging result of the other vehicle detection unit 10 based on the vehicle identification number / vehicle identification 3D model 33, and detects the vehicle position and the vehicle Identify (identify other vehicles that are sending messages). As a search method, various methods such as a method of searching for a similar shape in a field of view from simple data embedded in a vehicle identification number / vehicle identification 3D model 33 can be considered.

図６は、車両位置生成部のアルゴリズムの例を示している。本実施の形態において、他車両検出部１０の第１撮像部１１と運転者視点検出部２０の第２撮像部２１とは異なる場所にある。そのため、表示装置１は、画像を視界に重畳して表示するために、第１撮像部１１と第２撮像部２１との差分を補正する必要がある。 FIG. 6 shows an example of an algorithm of the vehicle position generation unit. In the present embodiment, the first imaging unit 11 of the other vehicle detection unit 10 and the second imaging unit 21 of the driver viewpoint detection unit 20 are in different places. Therefore, the display device 1 needs to correct the difference between the first imaging unit 11 and the second imaging unit 21 in order to display an image superimposed on the field of view.

他車両検出部１０の第１信号処理部１５及び運転者視点検出部２０の第２信号処理部２５より、それぞれ車両位置（Ｘ，Ｙ，Ｚ）、運転者視点位置（ｘｅ，ｙｅ，ｚｅ）が得られる。ここで、ｘｅ及びｙｅは、運転者視点検出部２０に撮影される両眼位置から算出でき、ｚｅは両眼間隔から算出できる。 From the first signal processing unit 15 of the other vehicle detection unit 10 and the second signal processing unit 25 of the driver viewpoint detection unit 20, the vehicle position (X, Y, Z) and the driver viewpoint position (xe, ye, ze), respectively. Is obtained. Here, xe and ye can be calculated from the binocular position photographed by the driver's viewpoint detection unit 20, and ze can be calculated from the interocular distance.

次に、車両位置（Ｘ，Ｙ，Ｚ）及び運転者視点位置（ｘｅ，ｙｅ，ｚｅ）を用いて、車両位置生成部４２の距離算出部４２ａにより運転者の視点と車両位置との距離を算出する。又、車両位置（Ｘ，Ｙ，Ｚ）及び運転者視点位置（ｘｅ，ｙｅ，ｚｅ）を用いて、角度算出部４２ｂにより、運転者の視点と他車両検出部１０の視線方向との差分（角度）を算出する。 Next, using the vehicle position (X, Y, Z) and the driver viewpoint position (xe, ye, ze), the distance calculation unit 42a of the vehicle position generation unit 42 determines the distance between the driver's viewpoint and the vehicle position. calculate. Further, by using the vehicle position (X, Y, Z) and the driver viewpoint position (xe, ye, ze), the angle calculation unit 42b uses the difference between the driver's viewpoint and the line-of-sight direction of the other vehicle detection unit 10 ( Angle).

次に、画像変換部４２ｃは、他車両検出部１０で検出した他車両の３次元位置情報を、運転者視点検出部２０で検出した運転者視点位置に合わせて回転及び伸縮する。具体的には、運転者の視点と車両位置との距離を用いて、画像変換部４２ｃで拡大縮小処理（伸縮）を行い、拡大縮小倍率（ｚｏｏｍ）を算出する。又、運転者の視点と他車両検出部１０の視線方向の差分（角度）を用いて画像変換部４２ｃで回転処理を行い、その結果と拡大縮小処理の結果に基づいて、表示位置算出部４２ｄで２次元表示装置である画像表示部５０の画像内表示位置（ｘｈ，ｙｈ）を算出する。 Next, the image conversion unit 42 c rotates and expands and contracts the three-dimensional position information of the other vehicle detected by the other vehicle detection unit 10 in accordance with the driver viewpoint position detected by the driver viewpoint detection unit 20. Specifically, using the distance between the driver's viewpoint and the vehicle position, enlargement / reduction processing (extension / contraction) is performed by the image conversion unit 42c, and the enlargement / reduction magnification (zoom) is calculated. The image conversion unit 42c performs rotation processing using the difference (angle) between the driver's viewpoint and the gaze direction of the other vehicle detection unit 10, and based on the result and the result of the scaling processing, the display position calculation unit 42d Then, the in-image display position (xh, yh) of the image display unit 50 which is a two-dimensional display device is calculated.

画像内表示位置（ｘｈ，ｙｈ）は、距離算出部４２ａにより算出された運転者の視点と車両位置との距離、及び、角度算出部４２ｂにより算出された運転者の視点と他車両検出部１０の視線方向の差分（角度）に基づいて、画像表示部５０の表示座標上への透視投影により決定することができる。拡大縮小倍率（ｚｏｏｍ）は、透視投影の際の倍率が反映される。 The in-image display position (xh, yh) is the distance between the viewpoint of the driver calculated by the distance calculation unit 42a and the vehicle position, and the viewpoint of the driver calculated by the angle calculation unit 42b and the other vehicle detection unit 10 It can be determined by perspective projection on the display coordinates of the image display unit 50 based on the difference (angle) in the line-of-sight direction. The enlargement / reduction magnification (zoom) reflects the magnification at the time of perspective projection.

以上の処理によって、第１撮像部１１の光学情報から第１信号処理部１５が得た車両位置情報（Ｘ，Ｙ，Ｚ）を運転者１３０の視点に変換し、運転者１３０の視界と重なるメッセージ表示位置情報（ｘｈ，ｙｈ，ｚｏｏｍ）を算出することができる。 By the above processing, the vehicle position information (X, Y, Z) obtained by the first signal processing unit 15 from the optical information of the first imaging unit 11 is converted into the viewpoint of the driver 130 and overlaps the view of the driver 130 Message display position information (xh, yh, zoom) can be calculated.

図７は、表示装置１によって車両位置を検出し前方の車両２１０のメッセージＭ_１を運転者１３０の視界に重畳して表示した例を示している。このように、メッセージＭ_１が吹き出し型のデザインである場合、吹き出し元が他車両の運転席近傍となるように表示すると、他車両のメッセージ発信者の存在感を増強することができる。但し、図７の場合には、メッセージ発信車両である車両２１０以外の対象を遮蔽してしまい、運転視界の阻害となるおそれがある。 Figure 7 shows an example of displaying by superimposing the message M ₁ in front of the vehicle 210 detects the vehicle position by the display device 1 in view of the driver 130. Thus, if the message M ₁ is a balloon-type design, balloon source when displayed as a driver's seat near the other vehicles, it is possible to enhance the presence of the message originator of another vehicle. However, in the case of FIG. 7, a target other than the vehicle 210 that is a message transmission vehicle is shielded, which may hinder driving visibility.

図８は、表示装置１によって車両位置を検出し前方の車両２１０及び２２０のメッセージＭ_２及びＭ_３を運転者１３０の視界に重畳して表示した例を示している。この表示方式は、メッセージを発信している車両２１０及び２２０以外の視界を阻害しないというメリットがある。又、例えば、車両２１０のメッセージＭ_２が『車線変更したいです』、車両２２０のメッセージＭ_３が『次とまります』であった場合等において、メッセージＭ_２に対して、自車両は『道を譲る』等の即座な利他的行動に移ることができるというメリットがある。 FIG. 8 shows an example in which the vehicle position is detected by the display device 1 and the messages M ₂ and M ₃ of the vehicles 210 and 220 ahead are superimposed and displayed on the field of view of the driver 130. This display method has the advantage of not disturbing the view other than the vehicles 210 and 220 that are sending messages. In addition, for example, "I want to change lanes," the message M ₂ is a vehicle 210, in such case the message M ₃ of the vehicle 220 is "you next stops", to the message M _2, the vehicle is a "road There is a merit that it can be transferred to an immediate altruistic action such as giving up.

又、メッセージＭ_２のような即座な行動で応答できるメッセージは点滅や素早い出現等の強調表示をし、メッセージＭ_３のような『文脈の認識程度』にとどめておけるメッセージは緩慢に出現や消滅をさせる等の抑制した表示をすることが好ましい。これにより、メッセージが視界に氾濫して運転者が煩わしく感じることを防ぐことができる。 Also, a message that can be responded by an immediate action such as the message M ₂ is highlighted such as blinking or quick appearance, and a message that can be kept in “the degree of context recognition” such as the message M ₃ appears or disappears slowly. It is preferable to provide a suppressed display, such as This can prevent the driver from being bothered by the message being out of sight.

又、表示メッセージ生成部４１がメッセージの緊急度を判別し、緊急度が高いと判別されたメッセージを強調表示するようにしてもよい。強調表示の方法としては、例えば、通常の文字よりも拡大して表示したり、点滅させて表示したりすることができる。 Alternatively, the display message generation unit 41 may determine the urgency of the message, and may highlight the message determined to be high. As a method of highlighting, for example, it can be displayed larger than normal characters or displayed blinking.

図９は、表示装置１によって車両位置を検出し前方の車両２１０及び２２０のメッセージＭ_４及びＭ_５を運転者１３０の視界に重畳して表示した例を示している。図９の例では、車両に重畳して文字のみを表示している。この表示方式では、メッセージＭ_４及びＭ_５が文字のみを表示しているため、表示内容による視界の対象の遮蔽率を最も小さくでき、視覚的煩雑さを低減する効果がある。又、他車両検出部１０により各車両の表面状態を検出して凹凸が少ない面にメッセージを表示すると、煩雑さ低減の効果を更に向上することができる。 FIG. 9 shows an example in which the vehicle position is detected by the display device 1 and the messages M ₄ and M ₅ of the vehicles 210 and 220 ahead are superimposed and displayed on the field of view of the driver 130. In the example of FIG. 9, only characters are displayed superimposed on the vehicle. In this display method, since the message M ₄ and M ₅ are displayed only characters, can minimize the shielding rate of the subject's view by the display contents, the effect of reducing the visual complexity. Moreover, if the other vehicle detection part 10 detects the surface state of each vehicle and displays a message on a surface with less unevenness, the effect of reducing complexity can be further improved.

図１０は、見通しが悪く信号機のない市街地交差点にて、対向車両２３０に右折を譲ってもらう例を示している。例えば、駐車車両２４０等の影響で対向車両２３０の見通しが悪い場合、ランプだけのメッセージでは譲る・譲らないが伝わりにくい。このような場合に、自車両が対向車両２３０から右折譲渡のメッセージＭ_６『お先にどうぞ！』を受け取ったとすると、表示装置１により、図１０のようにメッセージＭ_６『お先にどうぞ！』を運転者１３０の視界に重畳して表示することができる。なお、表示装置１が対向車両２３０にも搭載されている場合、自車両からも対向車両２３０に対して『ありがとう』等のメッセージを発信し、対向車両２３０は対向車両２３０の運転者の視界に重畳して自車両からのメッセージを表示することができる。 FIG. 10 shows an example in which an oncoming vehicle 230 makes a right turn at an intersection in a city where the line of sight is poor and there is no traffic light. For example, when the oncoming vehicle 230 has poor visibility due to the influence of the parked vehicle 240 or the like, it is difficult to convey it with or without a message with a lamp alone. In such a case, a message M ₆ from the oncoming vehicle 230 of the host vehicle's right turn transfer "Please go ahead! If it is received, as shown in FIG. 10, the message M ₆ “Please come first! Can be displayed superimposed on the field of view of the driver 130. When the display device 1 is also mounted on the oncoming vehicle 230, a message such as “Thank you” is transmitted from the own vehicle to the oncoming vehicle 230, and the oncoming vehicle 230 is in view of the driver of the oncoming vehicle 230. It is possible to superimpose and display a message from the host vehicle.

図１１は、建物２５０の近傍にメッセージＭ_７を表示した例を示している。このように、表示装置１は、第１撮像部１１で撮像した画像の背景に含まれる標識や看板、建物等に記載された文字を画像生成部４０に認識させ、画像生成部４０で他言語に翻訳し、画像表示部５０で表示する機能を有してもよい。 FIG. 11 shows an example in which the message M ₇ is displayed near the building 250. As described above, the display device 1 causes the image generation unit 40 to recognize characters described in a sign, a signboard, a building, and the like included in the background of the image captured by the first imaging unit 11. , And may be displayed on the image display unit 50.

図１１の例では、画像生成部４０は、第１撮像部１１で撮像した『フジビル』という言語（日本語）を認識し、それを『Fuji Bld.』という他言語（英語）に翻訳してメッセージＭ_７を生成している。なお、翻訳結果であるメッセージＭ_７は、図８や図９と同様の方法で標識や看板、建物等に追従させて表示させることができる。又、翻訳は、日本語を英語に翻訳する場合には限定されず、英語を日本語に翻訳してもよいし、それ以外であってもよい。 In the example of FIG. 11, the image generation unit 40 recognizes the language (Japanese) "Fuji Building" imaged by the first imaging unit 11 and translates it into another language (English) "Fuji Bld." Message M ₇ is generated. Incidentally, the translation result message M ₇ is may be displayed to follow the signs and billboards, buildings, etc. in the same manner as in FIGS. 8 and 9. Also, the translation is not limited when Japanese is translated into English, and English may be translated into Japanese or may be other than that.

図１１のような表示をするためには、例えば、表示メッセージ生成部４１に、第１撮像部１１が撮像した対象物に記載された文字を認識し、認識した文字を他言語に翻訳したメッセージを生成する機能を持たせることができる。又、車両位置生成部４２に、第１撮像部１１が撮像した対象物に関する情報、及び運転者視点検出部２０で検出した運転者の視点に基づいて、運転者の視点から視た対象物位置を生成する対象物位置生成部としての機能を持たせることができる。又、メッセージ表示位置生成部４３に、対象物位置生成部で生成した対象物位置に基づいて、メッセージを表示する位置を生成する機能を持たせることができる。 In order to display as shown in FIG. 11, for example, the display message generation unit 41 recognizes a character described in the target object captured by the first imaging unit 11, and translates the recognized character into another language Can have the ability to generate Further, the vehicle position generation unit 42 detects the position of the object viewed from the driver's viewpoint based on the information related to the object captured by the first imaging unit 11 and the driver's viewpoint detected by the driver viewpoint detection unit 20. Function as a target position generation unit for generating Further, the message display position generation unit 43 can have a function of generating a position at which a message is displayed based on the target position generated by the target position generation unit.

その他、下記のようなメッセージとシーンのバリエーションも考えられる。例えば、居眠り・うとうと運転の他車両からの情報を受信し、運転者１３０の視界に重畳して「ｚｚｚ」等と表示することができる。又、サンキューハザードの代替として、他車両から『ありがとう』等のメッセージを受け取った場合、そのメッセージを運転者１３０の視界に重畳して表示することができる。 Other variations of the following messages and scenes are also conceivable. For example, it is possible to receive information from another vehicle driving a nap and lie and superimpose it on the view of the driver 130 and display "zzz" or the like. As an alternative to the Thank You hazard, when a message such as “Thank you” is received from another vehicle, the message can be displayed superimposed on the field of view of the driver 130.

又、他車両から『急いでいます！』等のメッセージを受け取った場合、そのメッセージを運転者１３０の視界に重畳して表示し、メッセージが表示された他車両に対し利他的に走行することができる。又、利己的走行をしてしまった後で他車両へ『ごめんなさい』等のメッセージを送信すると共に、送信したメッセージを運転者１３０の視界に重畳して表示することができる。 Also, from other vehicles' I'm in a hurry! When a message such as is received, the message can be superimposed and displayed on the view of the driver 130, and the vehicle can travel in an altruistic manner with respect to the other vehicles on which the message is displayed. Also, after having made selfish travel, a message such as “I'm sorry” can be transmitted to another vehicle, and the transmitted message can be superimposed and displayed on the view of the driver 130.

このように、本実施の形態に係る表示装置１では、他車両検出部１０により実風景を３Ｄ計測して他車両に関する情報を検出すると共に、運転者視点検出部２０により自車両の運転者の視点を検出する。そして、画像生成部４０が、車間通信部３０で受信した情報をメッセージに変換し、他車両検出部１０及び運転者視点検出部２０で検出した情報に基づいて運転者１３０の視点から視た車両位置を生成し、その車両位置に基づいてメッセージを表示する位置を生成する。そして、画像表示部５０が、情報を発信した他車両の近傍のメッセージ表示位置（運転者１３０の視界内）に、車間通信部３０が受信した情報を変換したメッセージを虚像として表示する。 As described above, in the display device 1 according to the present embodiment, the other vehicle detection unit 10 performs 3D measurement of the actual landscape to detect information about the other vehicle, and the driver viewpoint detection unit 20 detects the information of the driver of the own vehicle. Detect viewpoint. Then, the image generation unit 40 converts the information received by the inter-vehicle communication unit 30 into a message, and the vehicle viewed from the viewpoint of the driver 130 based on the information detected by the other vehicle detection unit 10 and the driver viewpoint detection unit 20 A position is generated, and a position to display a message is generated based on the vehicle position. Then, the image display unit 50 displays a message obtained by converting the information received by the inter-vehicle communication unit 30 as a virtual image at a message display position (within the field of view of the driver 130) of the other vehicle that has transmitted the information.

これにより、情報を発信した他車両からのメッセージを、情報を発信した他車両があたかもそう発信しているかのように実風景に重畳させて表示することが可能となる。その結果、運転中に視線を外すことなく自車外との快適なコミュニケーションをとりながら走行することができる。 As a result, it is possible to superimpose a message from another vehicle that has sent information on a real scene as if it had sent another vehicle that has sent information. As a result, while driving, it is possible to travel while taking comfortable communication with the outside of the vehicle without losing sight of the eyes.

以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。 Although the preferred embodiments have been described above in detail, the present invention is not limited to the above-described embodiments, and various modifications and substitutions may be made to the above-described embodiments without departing from the scope described in the claims. Can be added.

例えば、上記実施の形態では、他車両検出部１０が、輝度情報と距離情報を取得するステレオカメラ（複眼カメラ）を有する例を示した。しかし、他車両検出部１０は、他車両に関する輝度情報を所得する手段と、距離情報を取得する手段とを別々に有してもよい。輝度情報を取得する手段としては、例えば、単眼カメラを挙げることができる。又、距離情報を取得する手段としては、例えば、ミリ波レーダやレーザレーダ等を挙げることができる。 For example, in the said embodiment, the other vehicle detection part 10 showed the example which has a stereo camera (compound eye camera) which acquires brightness | luminance information and distance information. However, the other-vehicle detection unit 10 may separately include means for acquiring luminance information on another vehicle and means for acquiring distance information. As a means to acquire luminance information, a monocular camera can be mentioned, for example. Moreover, as a means to acquire distance information, a millimeter wave radar, a laser radar etc. can be mentioned, for example.

又、上記実施の形態では、文字による表示を中心に記載しているが、瞬間的な認識速度向上等のため、アイコン等の単純な図形を組み合わせたものを表示してもよい。つまり、上記実施の形態において、メッセージは文字であってもよいし、アイコンや記号等であってもよいし、それらを適宜組み合わせたものであってもよい。 In the embodiment described above, the description is centered on the display by characters, but a combination of simple figures such as icons may be displayed in order to improve the instantaneous recognition speed. That is, in the above embodiment, the message may be a character, an icon, a symbol or the like, or a combination of them as appropriate.

又、画像表示部５０において、３つのレーザを用いる例を示したが、単一のレーザを用いて単色の画像を形成する構成としてもよい。この場合には、合成素子等は不要である。 Further, although an example in which three lasers are used in the image display unit 50 is shown, a single laser may be used to form a single color image. In this case, a combining element or the like is unnecessary.

１表示装置
１０他車両検出部
１１第１撮像部
１２第１カメラ部
１２ａ、１３ａレンズ
１２ｂ、１３ｂ画像センサ
１２ｃ、１３ｃセンサコントローラ
１３第２カメラ部
１５第１信号処理部
２０運転者視点検出部
２１第２撮像部
２５第２信号処理部
３０、３０Ａ車間通信部
３１車両識別プロービング信号
３２メッセージ
３３車両識別番号・車両識別３Ｄモデル
４０画像生成部
４１表示メッセージ生成部
４２車両位置生成部
４２ａ距離算出部
４２ｂ角度算出部
４２ｃ画像変換部
４２ｄ表示位置算出部
４３メッセージ表示位置生成部
４４照合部
５０画像表示部
５１光源部
５２光偏向器
５３第１ミラー
５４被走査面
５５第２ミラー
５９半透過鏡
１１０虚像
１２０自車両
１２５フロントガラス
１３０運転者
１３５眼球
２１０、２２０車両
２３０対向車両
２４０駐車車両
２５０建物
Ｍ_１〜Ｍ_７メッセージ Reference Signs List 1 display device 10 other vehicle detection unit 11 first imaging unit 12 first camera unit 12a, 13a lens 12b, 13b image sensor 12c, 13c sensor controller 13 second camera unit 15 first signal processing unit 20 driver's viewpoint detection unit 21 Second imaging unit 25 second signal processing unit 30, 30A inter-vehicle communication unit 31 vehicle identification probing signal 32 message 33 vehicle identification number / vehicle identification 3D model 40 image generation unit 41 display message generation unit 42 vehicle position generation unit 42 a distance calculation unit 42b Angle calculation unit 42c Image conversion unit 42d Display position calculation unit 43 Message display position generation unit 44 Verification unit 50 Image display unit 51 Light source unit 52 Light deflector 53 First mirror 54 Scanned surface 55 Second mirror 59 Semi-transmission mirror 110 Virtual image 120 Vehicle 125 Front glass 130 'S 135 ocular 210,220 vehicle 230 opposite the vehicle 240 parked vehicle 250 building M ₁ ~M ₇ message

特許第４８０７２６３号Japanese Patent No. 4807263

Claims

自車両と他車両との間で通信を行う車間通信部と、
前記他車両に関する情報を検出する他車両検出部と、
測距機能及び２次元輝度画像を同時に取得できる機能を備え、前記自車両の運転者の両眼を画角に捉えて運転者の視点を検出する運転者視点検出部と、
前記車間通信部、前記他車両検出部、及び前記運転者視点検出部から入手した情報に基づいて画像を生成する画像生成部と、
前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有し、
前記画像生成部は、
前記車間通信部で受信した情報をメッセージに変換する表示メッセージ生成部と、
前記他車両検出部で検出した前記他車両に関する情報、及び前記運転者視点検出部で検出した運転者の視点に基づいて、運転者の視点から視た車両位置を生成する車両位置生成部と、
前記車両位置生成部で生成した車両位置に基づいて、前記メッセージを表示する位置を生成するメッセージ表示位置生成部と、を備え、
前記画像表示部は、前記メッセージ表示位置生成部が生成した位置に、前記メッセージを表示し、
前記車間通信部は、周囲に車両識別情報の送信を要請する要請信号を発信すると共に、前記要請信号を受けて前記他車両から送信された前記他車両の車両識別情報を受信し、
前記画像生成部は、前記他車両の車両識別番号及び３Ｄモデルデータを含む車両識別情報に基づいて、前記メッセージを発信している前記他車両を特定する照合部を備えている表示装置。 An inter-vehicle communication unit that communicates between the host vehicle and another vehicle;
An other vehicle detection unit for detecting information on the other vehicle;
A driver viewpoint detection unit that has a distance measuring function and a function capable of simultaneously acquiring a two-dimensional luminance image, and detects a driver's viewpoint by capturing both eyes of the driver of the host vehicle at an angle of view;
An image generation unit that generates an image based on information obtained from the inter-vehicle communication unit, the other vehicle detection unit, and the driver viewpoint detection unit;
And an image display unit that displays the image superimposed on the field of view of the driver.
The image generation unit
A display message generation unit for converting the information received by the inter-vehicle communication unit into a message;
A vehicle position generation unit that generates a vehicle position viewed from the viewpoint of the driver based on the information on the other vehicle detected by the other vehicle detection unit and the viewpoint of the driver detected by the driver viewpoint detection unit;
A message display position generation unit that generates a position at which the message is displayed based on the vehicle position generated by the vehicle position generation unit;
The image display unit displays the message at a position generated by the message display position generation unit .
The inter-vehicle communication unit transmits a request signal for requesting transmission of vehicle identification information to the surroundings, receives the vehicle identification information of the other vehicle transmitted from the other vehicle in response to the request signal,
The display device includes a verification unit that identifies the other vehicle that is sending the message based on vehicle identification information including a vehicle identification number of the other vehicle and 3D model data .

前記他車両に関する情報は、前記他車両の３次元位置情報であり、
前記車両位置生成部は、前記他車両の３次元位置情報を、前記運転者視点検出部で検出した運転者の視点の位置に合わせて回転及び伸縮する画像変換部を備えている請求項１記載の表示装置。 The information on the other vehicle is three-dimensional position information of the other vehicle,
The vehicle position generation unit according to claim 1, further comprising: an image conversion unit configured to rotate and expand and contract the three-dimensional position information of the other vehicle according to the position of the viewpoint of the driver detected by the driver viewpoint detection unit. Display device.

前記画像表示部は、前記メッセージを発信している前記他車両の車体に重畳して前記メッセージを表示する請求項１又は２記載の表示装置。 The display device according to claim 1 or 2, wherein the image display unit displays the message superimposed on a vehicle body of the other vehicle transmitting the message.

前記画像表示部は、前記メッセージを発信している前記他車両の凹凸が少ない面に前記メッセージを表示する請求項３記載の表示装置。 The display device according to claim 3, wherein the image display unit displays the message on a surface of the other vehicle transmitting the message with less unevenness.

前記表示メッセージ生成部は、メッセージの緊急度を判別し、緊急度が高いと判別されたメッセージは強調表示する請求項１乃至４の何れか一項記載の表示装置。 The message generating unit, determines the urgency of the message, urgency is high, the determined message display device of any one of claims 1 to 4 highlights.

前記画像表示部は、レーザ光源と、前記レーザ光源から出射されたレーザ光を偏向する光偏向器と、を備えている請求項１乃至５の何れか一項記載の表示装置。 The image display unit includes a laser light source, a display device according to one of the optical deflector and, with that claims 1 to 5 comprising a deflecting the laser beam emitted from the laser light source.

請求項１乃至６の何れか一項記載の表示装置を搭載した車両。 A vehicle equipped with the display device according to any one of claims 1 to 6 .