JP7007062B2 - Viewpoint photography device, viewpoint photography method and evaluation method - Google Patents

Viewpoint photography device, viewpoint photography method and evaluation method Download PDF

Info

Publication number
JP7007062B2
JP7007062B2 JP2018131720A JP2018131720A JP7007062B2 JP 7007062 B2 JP7007062 B2 JP 7007062B2 JP 2018131720 A JP2018131720 A JP 2018131720A JP 2018131720 A JP2018131720 A JP 2018131720A JP 7007062 B2 JP7007062 B2 JP 7007062B2
Authority
JP
Japan
Prior art keywords
image
driver
viewpoint
image pickup
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018131720A
Other languages
Japanese (ja)
Other versions
JP2020006890A (en
Inventor
豪 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2018131720A priority Critical patent/JP7007062B2/en
Publication of JP2020006890A publication Critical patent/JP2020006890A/en
Application granted granted Critical
Publication of JP7007062B2 publication Critical patent/JP7007062B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、運転者の視点を撮影する装置に関し、特に、仮想現実（Augmented Reality:以下、ＡＲという）を投射するヘッドアップディスプレイ（Heads Up Display：以下、ＨＵＤという）を利用するときの運転者の視点撮影に関する。 The present invention relates to a device that captures a driver's viewpoint, and in particular, a driver when using a heads up display (hereinafter referred to as HUD) that projects virtual reality (Augmented Reality: hereinafter referred to as AR). Regarding the viewpoint shooting.

昨今、運転者への種々の情報を提示する手段としてＨＵＤが利用されている。また、ＨＵＤを利用して、道路等の実景に存在する対象物（オブジェクト）に投射画像を重ね合わせるＡＲ表示も実用化されている。ＡＲ表示を実現するには、ＨＵＤ以外にも、オブジェクトをセンシングするオブジェクトセンシング技術や自車の姿勢角を正確に計算するソフトウェア技術等が必要である。 Recently, the HUD is used as a means of presenting various information to the driver. Further, an AR display in which a projected image is superimposed on an object (object) existing in a real scene such as a road by using a HUD has also been put into practical use. In addition to the HUD, object sensing technology that senses objects and software technology that accurately calculates the attitude angle of the own vehicle are required to realize AR display.

ＡＲ表示では、ＨＵＤによる投射画像を実景のオブジェクトに重ね合わせる必要があり、両者の位置関係がずれていると、運転者にとっては、投射されたＡＲ画像がオブジェクトからずれて見える場合がある。こうした不具合を解消するため、特許文献１は、ヘッドアップディスプレイ装置の調整方法を開示しており、運転者の目の位置に調整用鏡を配置し、被撮影物とヘッドアップディスプレイの表示画面を重畳させた画像をディスプレイに表示させ、ヘッドアップディスプレイ装置の調整を可能にしている。特許文献２は、測定された視点位置に基づいて真の視点位置を算出し、両者の差に基づき虚像を表示させる車両用表示装置を開示している。特許文献３は、虚像調整装置のズレを自動的に歪みのない状態に調整する方法を開示している。 In the AR display, it is necessary to superimpose the projected image by the HUD on the object in the actual scene, and if the positional relationship between the two is deviated, the projected AR image may appear to be deviated from the object to the driver. In order to solve such a problem, Patent Document 1 discloses an adjustment method of the head-up display device, arranges an adjustment mirror at the position of the driver's eyes, and displays the display screen of the object to be photographed and the head-up display. The superimposed image is displayed on the display, enabling adjustment of the head-up display device. Patent Document 2 discloses a display device for a vehicle that calculates a true viewpoint position based on a measured viewpoint position and displays a virtual image based on the difference between the two. Patent Document 3 discloses a method of automatically adjusting the deviation of the virtual image adjusting device to a state without distortion.

特開２００９－２６２６６６号公報Japanese Unexamined Patent Publication No. 2009-262666 国際公開第２０１６／１５７７９９号International Publication No. 2016/157799 特開２０１１－２０９４５７号公報Japanese Unexamined Patent Publication No. 2011-209457

ＨＵＤによるＡＲ画像を実景に重畳させる場合、運転者の視点位置からＡＲ画像がどのように見えるか、すなわち運転者の視点位置とＡＲ画像との相対的な位置関係を事前に調整する必要がある。図８は、従来の調整方法を説明する図である。車両１にＨＵＤ２が搭載され、ＨＵＤ２により実景のオブジェクトＯＢに関連したＡＲ画像３がフロントガラス４またはスクリーン上に投射され、運転者Ｕは、その視線方向ＳにＡＲ画像３の虚像３Ａを見る。また、運転者Ｕの視線位置近傍に撮像カメラ５が取り付けられ、撮像カメラ６により撮像された撮像データを評価することで、運転者の視点位置とＡＲ画像の相対的な位置関係を評価し、その評価結果に基づきＨＵＤ３の調整を行っている。図８（Ｂ）は、オブジェクト３に関連する虚像４Ａが適切に表示されている状態を示している。 When superimposing an AR image by HUD on a real scene, it is necessary to adjust in advance what the AR image looks like from the driver's viewpoint position, that is, the relative positional relationship between the driver's viewpoint position and the AR image. .. FIG. 8 is a diagram illustrating a conventional adjustment method. The HUD 2 is mounted on the vehicle 1, and the AR image 3 related to the object OB in the actual scene is projected on the windshield 4 or the screen by the HUD 2, and the driver U sees the virtual image 3A of the AR image 3 in the line-of-sight direction S. Further, the image pickup camera 5 is attached near the line-of-sight position of the driver U, and the image pickup data captured by the image pickup camera 6 is evaluated to evaluate the relative positional relationship between the driver's viewpoint position and the AR image. HUD3 is adjusted based on the evaluation result. FIG. 8B shows a state in which the virtual image 4A related to the object 3 is properly displayed.

しかしながら、図８に示すような従来の調整方法は、運転者Ｕの視線位置近傍に撮像カメラ６を取り付けなければならず、その作業は、非常に煩雑である。それ故、ときには、運転者Ｕが運転席に着座することができず、車両１を停車させた状態での運転者の視線方向の映像を撮像しなければならず、実際に走行中の運転者の視線方向の映像を得ることができないという課題があった。 However, in the conventional adjustment method as shown in FIG. 8, the image pickup camera 6 must be attached in the vicinity of the line-of-sight position of the driver U, and the work is very complicated. Therefore, sometimes, the driver U cannot be seated in the driver's seat, and the image in the line-of-sight direction of the driver with the vehicle 1 stopped must be captured, and the driver actually traveling is required. There was a problem that it was not possible to obtain an image in the direction of the line of sight.

本発明は、このような従来の課題を解決するものであり、簡易な方法により走行中の運転者の視線方向の映像を得ることができる、視点撮影装置、視点撮影方法および評価方法を提供することを目的とする。 The present invention solves such a conventional problem, and provides a viewpoint photographing device, a viewpoint photographing method, and an evaluation method capable of obtaining an image in the line-of-sight direction of a traveling driver by a simple method. The purpose is.

本発明に係る運転者の視点撮影装置は、フロントガラスと運転席との間に配置され、フロントガラスから入射される光の一部を透過し、かつ一部を反射するミラーと、前記ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像する撮像装置とを有する。 The driver's viewpoint photographing device according to the present invention is arranged between the windshield and the driver's seat, and is provided by a mirror that transmits a part of the light incident from the windshield and reflects a part of the light, and the mirror. It has an image pickup device that captures an image in the direction of the driver's line of sight by injecting the reflected light.

ある実施態様では、視点撮影装置はさらに、フロントガラスまたはコンバイナに画像を投射する投射手段を含む。ある実施態様では、前記撮像装置は、車両の天井に取り付けられ、前記撮像装置の光軸は、フロントガラスから入射された光が前記ミラーによって反射されたときの反射角の方向に概ね一致する。ある実施態様では、視点撮影装置はさらに、前記撮像装置によって撮像された映像を出力する出力手段を含む。ある実施態様では、前記出力手段は、前記撮像装置によって撮像された映像を記憶する記憶手段を含む。ある実施態様では、前記ミラーは、車両の天井に取り付けられる。ある実施態様では、視点撮影装置はさらに、前記ミラーの位置または角度を調整する調整手段を含む。ある実施態様では、視点撮影装置はさらに、前記ミラーの振動を防止する振動防止手段を含む。ある実施態様では、視点撮影装置はさらに、前記撮像装置の位置または向きを調整する調整手段を含む。ある実施態様では、視点撮影装置はさらに、前記撮像装置の振動を防止する振動防止手段を含む。 In certain embodiments, the point-of-view device further comprises a projection means that projects an image onto a windshield or combiner. In one embodiment, the image pickup device is mounted on the ceiling of the vehicle, and the optical axis of the image pickup device is substantially aligned with the direction of the reflection angle when the light incident from the windshield is reflected by the mirror. In one embodiment, the viewpoint photographing device further includes an output means for outputting an image captured by the image pickup device. In one embodiment, the output means includes a storage means for storing an image captured by the image pickup device. In one embodiment, the mirror is mounted on the ceiling of the vehicle. In certain embodiments, the viewpoint imaging device further includes adjusting means for adjusting the position or angle of the mirror. In certain embodiments, the viewpoint imaging device further includes anti-vibration means for preventing vibration of the mirror. In certain embodiments, the viewpoint imaging device further includes adjusting means for adjusting the position or orientation of the image pickup device. In certain embodiments, the viewpoint imaging device further includes anti-vibration means for preventing vibration of the image pickup device.

本発明に係る運転者の視点を撮影する視点撮影方法は、投射装置により、車両の走行中に、フロントガラスまたはコンバイナに画像を投射させ、フロントガラスと運転席との間に配置されたミラーにより、フロントガラスから入射された光の一部を透過させ、その透過光を運転者の視点に入射させ、かつ当該入射された光の一部を反射させ、その反射光を撮像装置に入射させ、撮像装置により、走行中の運転者の視線方向の映像を撮像させる。 In the viewpoint photographing method for photographing the driver's viewpoint according to the present invention, an image is projected on the front glass or a combiner while the vehicle is running by a projection device, and a mirror arranged between the front glass and the driver's seat is used. A part of the light incident from the windshield is transmitted, the transmitted light is incident on the driver's viewpoint, a part of the incident light is reflected, and the reflected light is incident on the image pickup apparatus. The image pickup device is used to capture an image in the line-of-sight direction of the moving driver.

本発明に係る評価方法は、上記構成の視点撮影方法によって撮像された撮像データを用いて、運転者の視線方向の映像を評価する。ある実施態様では、前記撮像データに基づき、フロントガラスまたはコンバイナに投射された画像と運転者の視線方向のオブジェクトとの位置関係を評価することを含む。 The evaluation method according to the present invention evaluates an image in the line-of-sight direction of the driver by using the image pickup data captured by the viewpoint photographing method having the above configuration. In one embodiment, the positional relationship between the image projected on the windshield or the combiner and the object in the line-of-sight direction of the driver is evaluated based on the captured data.

本発明によれば、フロントガラスと運転席との間にミラーを配置し、ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像するようにしたので、走行中の運転者の視線方向の映像を容易に取得することができる。 According to the present invention, a mirror is arranged between the windshield and the driver's seat, and the light reflected by the mirror is incident to capture an image in the direction of the driver's line of sight. It is possible to easily acquire an image in the direction of the person's line of sight.

本発明の実施例に係る視点撮影装置の全体配置を説明する図である。It is a figure explaining the whole arrangement of the viewpoint photographing apparatus which concerns on embodiment of this invention. 運転者の上面図を模式的に示す図である。It is a figure which shows the top view of the driver schematically. 本発明の実施例に係るハーフミラーの取り付け例を説明する図である。It is a figure explaining the mounting example of the half mirror which concerns on embodiment of this invention. 本発明の実施例に係る撮像カメラの電気的構成を示すブロック図である。It is a block diagram which shows the electric structure of the image pickup camera which concerns on embodiment of this invention. ＨＵＤの構成例を示すブロック図である。It is a block diagram which shows the structural example of HUD. 本発明の実施例に係る視点撮影装置の動作を説明する図である。It is a figure explaining the operation of the viewpoint photographing apparatus which concerns on embodiment of this invention. 本実施例に係る評価装置の一例を説明する図である。It is a figure explaining an example of the evaluation apparatus which concerns on this Example. 従来のＨＵＤの評価ないし調整方法を説明する図である。It is a figure explaining the evaluation or adjustment method of the conventional HUD.

次に、本発明の実施の形態について図面を参照して詳細に説明する。本実施例に係る視点撮影装置は、フロントガラスと運転席との間に配置され、運転者の視線方向の映像を反射するハーフミラーと、ハーフミラーによって反射された光により運転者の視線方向の映像を撮像する撮像装置とを含む。１つの態様では、撮像装置およびハーフミラーは、車両の天井に取り付けられる。また、１つの態様では、撮像装置およびハーフミラーは、調整機構によってその取り付け位置および／または取り付け角度の調整が可能である。 Next, embodiments of the present invention will be described in detail with reference to the drawings. The viewpoint photographing device according to this embodiment is arranged between the front glass and the driver's seat, and has a half mirror that reflects an image in the driver's line-of-sight direction and a half mirror that reflects the light reflected by the half mirror in the driver's line-of-sight direction. Includes an image pickup device that captures images. In one embodiment, the imaging device and half mirror are mounted on the ceiling of the vehicle. Further, in one embodiment, the image pickup device and the half mirror can be adjusted in the mounting position and / or the mounting angle by the adjusting mechanism.

また、車両には、ＨＵＤが搭載される。ＨＵＤは、車両のフロントガラスまたはフロントガラス近傍のコンバイナにＡＲ画像や、その他必要な画像を投射する。ＡＲ画像を投射する場合には、運転者は、その視線方向にＡＲ画像の虚像を実空間のオブジェクトに重畳させて視認する。本実施例の視点撮影装置は、運転者にとって視認されるＡＲ画像とオブジェクトとの重畳された映像を撮像する。１つの態様では、撮像された映像は、評価装置において評価され、この評価結果に基づきＨＵＤの位置調整、あるいはＡＲ画像とオブジェクトとの相対的な位置調整等が行われる。 In addition, the vehicle will be equipped with a HUD. The HUD projects an AR image or other necessary image on the windshield of the vehicle or a combiner near the windshield. When projecting an AR image, the driver superimposes a virtual image of the AR image on an object in real space in the direction of the line of sight and visually recognizes the image. The viewpoint photographing apparatus of this embodiment captures an superimposed image of an AR image and an object that are visually recognized by the driver. In one embodiment, the captured image is evaluated by the evaluation device, and the position of the HUD is adjusted, or the relative position of the AR image and the object is adjusted based on the evaluation result.

次に、本発明の実施例について説明する。図１は、本発明の実施例に係る視点撮影装置の概略構成を示す図である。本実施例に係る視点撮影装置１０は、走行中の運転者の視線方向の映像を撮像可能な装置であり、ハーフミラー１００、撮像カメラ２００、およびＨＵＤ３００を含んで構成される。 Next, examples of the present invention will be described. FIG. 1 is a diagram showing a schematic configuration of a viewpoint photographing apparatus according to an embodiment of the present invention. The viewpoint photographing device 10 according to the present embodiment is a device capable of capturing an image in the line-of-sight direction of a traveling driver, and includes a half mirror 100, an imaging camera 200, and a HUD 300.

ハーフミラー１００は、車両のフロントガラス４１０と運転席４２０との間に配置され、フロントガラス４１０から入射された光の一部を入射し、一部を反射する。言い換えれば、運転席４２０に着座された運転者Ｕの視点の前方側、すなわち視線方向に配される。ハーフミラー１００は、例えば、透明な板ガラスあるいはアクリルなどの有機ガラス上に１つまたは複数の反射膜を形成して構成される。以下の説明では、便宜上、ハーフミラーと称するが、ハーフミラー１００の反射率と透過率との関係は、必ずしも等しい必要はなく、透過率＞反射率でもよいし、反対に反射率＞透過率でもよい。また、ハーフミラー１００の形状は任意であり、ここでは、矩形状に構成される。 The half mirror 100 is arranged between the windshield 410 of the vehicle and the driver's seat 420, and incidents a part of the light incident from the windshield 410 and reflects a part of the light. In other words, it is arranged on the front side of the viewpoint of the driver U seated in the driver's seat 420, that is, in the line-of-sight direction. The half mirror 100 is configured by forming one or more reflective films on, for example, transparent plate glass or organic glass such as acrylic. In the following description, it is referred to as a half mirror for convenience, but the relationship between the reflectance and the transmittance of the half mirror 100 does not necessarily have to be equal, and the transmittance may be> the transmittance, or conversely, the reflectance> the transmittance. good. Further, the shape of the half mirror 100 is arbitrary, and here, it is configured in a rectangular shape.

ここで、運転者の視点とは、運転者の両眼のほぼ中心を表し、その視線方向とは、その視点から車両の前方に向かう方向である。図２に、運転者の上面図を模式的に示す。同図において、点Ｑ１、Ｑ２は、運転者Ｕの左右の眼の位置であり、点Ｑは、両眼の中心点、すなわち、運転者Ｕの視点である。運転者Ｕの視線方向Ｓは、視点Ｑから車両の前方に向かうが、この視線方向Ｓは、運転席４２０に着座したときの運転者Ｕがオブジェクトを視認する方向として予め規定される。視線方向Ｓは、例えば、運転者Ｕが運転席４２０に着座したときに自車前方の距離１０ｍを見る方向である。 Here, the driver's viewpoint represents substantially the center of both eyes of the driver, and the line-of-sight direction is the direction from the viewpoint toward the front of the vehicle. FIG. 2 schematically shows a top view of the driver. In the figure, points Q1 and Q2 are the positions of the left and right eyes of the driver U, and the point Q is the center point of both eyes, that is, the viewpoint of the driver U. The line-of-sight direction S of the driver U faces the front of the vehicle from the viewpoint Q, and this line-of-sight direction S is predetermined as a direction in which the driver U sees the object when seated in the driver's seat 420. The line-of-sight direction S is, for example, a direction in which the driver U looks at a distance of 10 m in front of the vehicle when he / she sits in the driver's seat 420.

図３に、ハーフミラー１００の取り付け例を示し、図３（Ａ）は、ハーフミラーの正面図、図３（Ｂ）は、ハーフミラーの動作を説明する図である。ハーフミラー１００は、概略矩形状を有し、一対の棒状の支持部１１０、１２０によって車両の天井４００に固定される。支持部１１０、１２０の一方の端部１１２、１２２は、例えば、ヒンジ等の部材によってハーフミラー１００の両側部に回転可能に取り付けられ、他方の端部１１４、１２４は、天井４００に固定される。ハーフミラー１００は、図３（Ｂ）に示すにように、支持部１１０、１２０の端部１１２、１２２を介して回転可能であり、ハーフミラー１００の回転角θは、運転者Ｕの視線方向Ｓに応じて適宜設定される。 3A and 3B show a mounting example of the half mirror 100, FIG. 3A is a front view of the half mirror, and FIG. 3B is a diagram illustrating the operation of the half mirror. The half mirror 100 has a substantially rectangular shape and is fixed to the ceiling 400 of the vehicle by a pair of rod-shaped support portions 110 and 120. One end 112, 122 of the support 110, 120 is rotatably attached to both sides of the half mirror 100 by a member such as a hinge, and the other end 114, 124 is fixed to the ceiling 400. .. As shown in FIG. 3B, the half mirror 100 is rotatable via the ends 112 and 122 of the support portions 110 and 120, and the rotation angle θ of the half mirror 100 is the line-of-sight direction of the driver U. It is appropriately set according to S.

１つの実施態様では、車両の走行中の振動がハーフミラー１００に伝達されるのを防止するため、支持部１１０、１２０の一方の端部１１２、１２２とハーフミラー１００との間に、振動や衝撃等を吸収する吸収部材や吸収シートが介在されるようにしてもよい。吸収部材または吸収シートは、例えば、ゴムや樹脂等の弾性部材から構成される。同様に、支持部１１０、１２０の他方の端部１１４、１２４と天井４００との間に、振動や衝撃等を吸収するゴム等の吸収部材や吸収シートが介在されるようにしてもよい。 In one embodiment, in order to prevent the traveling vibration of the vehicle from being transmitted to the half mirror 100, vibration or vibration is generated between one end 112, 122 of the support portions 110, 120 and the half mirror 100. An absorbent member or an absorbent sheet that absorbs an impact or the like may be interposed. The absorbent member or absorbent sheet is made of an elastic member such as rubber or resin. Similarly, an absorbing member such as rubber or an absorbing sheet that absorbs vibration, impact, or the like may be interposed between the other ends 114, 124 of the supporting portions 110, 120 and the ceiling 400.

また、ハーフミラー１００は、図３（Ｂ）に示すように、天井４００とほぼ平行なＸＹ平面において、その位置を可変できるようにしてもよい。支持部１１０、１２０の他方の端部１１４、１２４は、例えば、天井４００に設置されたレール４３０などを介してＸ方向またはＹ方向に摺動できるようにし、これにより、ハーフミラー１００の位置を調整するようにしてもよい。 Further, as shown in FIG. 3B, the position of the half mirror 100 may be variable in the XY plane substantially parallel to the ceiling 400. The other ends 114, 124 of the supports 110, 120 allow them to slide in the X or Y direction, for example, via rails 430 installed on the ceiling 400, thereby locating the half mirror 100. It may be adjusted.

次に、撮像カメラ２００について説明する。撮像カメラ２００は、例えば、天井４００に取り付けられ、ハーフミラー１００によって反射された光を入射し、運転者Ｕの視線方向の映像を撮像する。具体的には、撮像カメラ２００の光軸Ｃ１と運転者Ｕの視線方向Ｓとが交差する位置にハーフミラー１００が配置され、フロントガラス４１０から入射した光の一部がハーフミラー１００によって反射されて撮像カメラ２００へ向けられ、一部がハーフミラー１００を透過して運転者Ｕの視点へ向けられる。 Next, the image pickup camera 200 will be described. The image pickup camera 200 is attached to the ceiling 400, for example, and incidents the light reflected by the half mirror 100 to capture an image in the line-of-sight direction of the driver U. Specifically, the half mirror 100 is arranged at a position where the optical axis C1 of the image pickup camera 200 and the line-of-sight direction S of the driver U intersect, and a part of the light incident from the front glass 410 is reflected by the half mirror 100. The image is directed toward the image pickup camera 200, and a part thereof is directed to the viewpoint of the driver U through the half mirror 100.

図４は、本実施例の撮像カメラ２００の電気的な構成を示すブロック図である。撮像カメラ２００は、ハーフミラー１００によって映された映像を撮像する撮像素子（ＣＭＯＳセンサやＣＣＤ等）を含む撮像部２１０と、撮像部２１０によって撮像された撮像データを記憶する記憶部２２０と、記憶部２２０に記憶された画像データを外部に出力する出力部２３０と、内部バス２４０を介して各部と接続される制御部２５０とを含んで構成される。 FIG. 4 is a block diagram showing an electrical configuration of the image pickup camera 200 of this embodiment. The image pickup camera 200 includes an image pickup unit 210 including an image pickup element (CMOS sensor, CCD, etc.) that captures an image projected by the half mirror 100, a storage unit 220 that stores image pickup data captured by the image pickup unit 210, and storage. It includes an output unit 230 that outputs image data stored in the unit 220 to the outside, and a control unit 250 that is connected to each unit via an internal bus 240.

撮像部２１０は、例えば、図３（Ａ）に示すように、ハーフミラー１００上に映された映像の一定の撮像範囲Ｋを撮像するための光学レンズ２６０を含むことができる。撮像範囲２６０の大きさは任意であるが、例えば、図２に示すように、運転者Ｕの視線方向Ｓの視野範囲Ｓ１、Ｓ２の大きさに合致するように撮像範囲２６０が設定される。 As shown in FIG. 3A, the imaging unit 210 can include, for example, an optical lens 260 for imaging a constant imaging range K of an image projected on the half mirror 100. The size of the imaging range 260 is arbitrary, but for example, as shown in FIG. 2, the imaging range 260 is set so as to match the sizes of the visual field ranges S1 and S2 in the line-of-sight direction S of the driver U.

制御部２５０は、走行中に撮像部２１０によって撮像された撮像データを記憶部２２０に書込む。記憶部２２０は、例えば、フラッシュメモリのような不揮発性メモリを含み、そこに撮像部２１０によって撮像された撮像データを格納する。また、１つの実施態様では、記憶部２２０は、撮像カメラ２００から取り外し可能な記憶メディア（ＵＳＢメモリ、メモリカード等）を含むことができる。記憶メディアに撮像データを格納した後、記憶メディアを外部の評価装置へ取り付けることで、評価装置において撮像データの評価を行うことができる。 The control unit 250 writes the image pickup data captured by the image pickup unit 210 during traveling into the storage unit 220. The storage unit 220 includes, for example, a non-volatile memory such as a flash memory, in which the image pickup data captured by the image pickup unit 210 is stored. Further, in one embodiment, the storage unit 220 can include a storage medium (USB memory, memory card, etc.) that can be removed from the image pickup camera 200. After storing the imaging data in the storage medium, the storage media can be attached to an external evaluation device to evaluate the imaging data in the evaluation device.

出力部２３０は、記憶部２２０に格納された撮像データを、無線通信などを利用して外部に出力する機能を備えている。出力部２３０は、例えば、無線ＬＡＮ、ＷｉＦｉ（登録商標）、近距離無線通信等により、外部の評価装置に撮像データを伝送するようにしてもよい。 The output unit 230 has a function of outputting the image pickup data stored in the storage unit 220 to the outside by using wireless communication or the like. The output unit 230 may transmit the image pickup data to an external evaluation device by, for example, wireless LAN, WiFi (registered trademark), short-range wireless communication, or the like.

１つの実施態様では、車両の走行中の振動が撮像カメラ２００に伝達されるのを防止するため、撮像カメラ２００のハウジングと天井４００との間に、振動や衝撃等を吸収する吸収部材または吸収シート２７０を介在するようにしてもよい。さらに１つの態様では、撮像カメラ２００の取り付け位置や取り付け角度を調整するための調整機構を設けるようにしてもよい。調整機構は、例えば、撮像カメラ２００を天井４００に固定するためのネジ機構を用いたり、あるいは天井４００に設けられたレールに沿って撮像カメラ２００を移動する移動機構を用いることができる。調整機構により、撮像カメラ２００の光軸Ｃ１や撮像範囲Ｋの調整を行うことができる。 In one embodiment, in order to prevent vibration during traveling of the vehicle from being transmitted to the image pickup camera 200, an absorbent member or an absorption member that absorbs vibration, impact, or the like is provided between the housing of the image pickup camera 200 and the ceiling 400. A sheet 270 may be interposed. In still one aspect, an adjustment mechanism for adjusting the mounting position and mounting angle of the image pickup camera 200 may be provided. As the adjusting mechanism, for example, a screw mechanism for fixing the image pickup camera 200 to the ceiling 400 can be used, or a moving mechanism for moving the image pickup camera 200 along a rail provided on the ceiling 400 can be used. The adjustment mechanism can adjust the optical axis C1 of the image pickup camera 200 and the image pickup range K.

ＨＵＤ３００は、図１に示すように、自車のフロントガラス４１０またはスクリーン上に画像３１０を投射し、運転者Ｕは、視線方向Ｓに投射画像３１０の虚像３１０Ａを見ることができる。図５に、ＨＵＤの構成例を示す。ＨＵＤ３００は、光源３２０、光源３２２の光により光変調部３２４を照明する照明光学系３２２、画像データに従い照明光学系３２２の光を変調する光変調部３２４、光変調部３２４によって変調された光をフロントガラス４１０またはスクリーン上に投射する投射光学系３２６を含む。また、ＨＵＤ３００は、投射光学系３２６の投射角度（光軸）や焦点距離などを調整するためのアクチュエータ３２８を含むことができる。 As shown in FIG. 1, the HUD 300 projects the image 310 on the windshield 410 or the screen of the own vehicle, and the driver U can see the virtual image 310A of the projected image 310 in the line-of-sight direction S. FIG. 5 shows a configuration example of the HUD. The HUD 300 uses the light modulated by the illumination optical system 322 that illuminates the light modulation unit 324 with the light of the light source 320 and the light source 322, the light modulation unit 324 that modulates the light of the illumination optical system 322 according to the image data, and the light modulation unit 324. Includes a projection optical system 326 that projects onto a front glass 410 or screen. Further, the HUD 300 can include an actuator 328 for adjusting the projection angle (optical axis), focal length, and the like of the projection optical system 326.

光変調部３２４は、例えば、液晶デバイス、あるいは複数の可変ミラーが２次元的に配置されたディジタルミラーデバイス（ＤＭＤ）などから構成される。光変調部３２４は、ナビゲーション装置等の車載装置から提供される画像データを光学的に変調し、投射画像３１０を生成する。本例では、車両の走行中に実景のオブジェクトに重畳されるべきＡＲ画像を光学的に変調し、ＡＲ画像をフロントガラス４１０またはスクリーン上に投射する。投射光学系３２６は、例えば、凹面ミラー等の光学部材を含み、アクチュエータ３２８は、例えば、凹面ミラーの光軸または投射角を調整する。凹面ミラーの投射角を調整することで、運転者Ｕが見る虚像の位置を調整することができる。 The optical modulation unit 324 is composed of, for example, a liquid crystal device or a digital mirror device (DMD) in which a plurality of variable mirrors are two-dimensionally arranged. The optical modulation unit 324 optically modulates image data provided by an in-vehicle device such as a navigation device to generate a projected image 310. In this example, the AR image to be superimposed on the real-life object is optically modulated while the vehicle is running, and the AR image is projected onto the windshield 410 or the screen. The projection optical system 326 includes, for example, an optical member such as a concave mirror, and the actuator 328 adjusts, for example, the optical axis or the projection angle of the concave mirror. By adjusting the projection angle of the concave mirror, the position of the virtual image seen by the driver U can be adjusted.

次に、本実施例の視点撮影装置の動作について説明する。まず、自車の走行中、ＨＵＤ３００は、実景のオブジェクトに関連したＡＲ画像３１０をフロントガラス４１０またはスクリーン上に投射し、運転者Ｕは、視線方向において、投射されたＡＲ画像３１０の虚像３１０Ａを見る。他方、撮像カメラ２００は、運転者Ｕの視線方向に映し出される画像を撮像し、これを記録する。 Next, the operation of the viewpoint photographing apparatus of this embodiment will be described. First, while the vehicle is running, the HUD 300 projects an AR image 310 related to a real-life object onto the windshield 410 or a screen, and the driver U projects a virtual image 310A of the projected AR image 310 in the line-of-sight direction. look. On the other hand, the image pickup camera 200 captures and records an image projected in the line-of-sight direction of the driver U.

この様子を図６を参照して説明する。フロントガラス４１０から入射される入射光Ｌｉｎは、運転者Ｕの視線方向Ｓの映像である。入射光Ｌｉｎは、その一部がハーフミラー１００を透過し、その透過光ＬＴが運転者Ｕの視点Ｑに入射される。また、入射光Ｌｉｎは、その一部がハーフミラー１００で反射し、その反射光ＬＲが撮像カメラ２００に入射される。入射角θｉｎは、反射角θＲと等しい関係にあるため、好ましくは、撮像カメラ２００の光軸Ｃ１とハーフミラー１００の成す角が反射角θrに一致または近似するように、ハーフミラー１００および／または撮像撮像カメラ２００の位置が調整される。こうして、撮像カメラ２００は、運転者Ｕが視線方向で見ている映像を撮像する。 This situation will be described with reference to FIG. The incident light Lin incident from the windshield 410 is an image of the line-of-sight direction S of the driver U. A part of the incident light Lin passes through the half mirror 100, and the transmitted light LT is incident on the viewpoint Q of the driver U. A part of the incident light Lin is reflected by the half mirror 100, and the reflected light LR is incident on the image pickup camera 200. Since the incident angle θ in has an equal relationship with the reflection angle θ R , it is preferable that the half mirror 100 so that the angle formed by the optical axis C1 of the image pickup camera 200 and the half mirror 100 matches or approximates the reflection angle θ r . And / or the position of the imaging camera 200 is adjusted. In this way, the image pickup camera 200 captures the image that the driver U is looking at in the line-of-sight direction.

次に、撮像カメラによって撮像された撮像データの評価例について説明する。図７は、本実施例に係る評価装置の一例を示す図である。評価装置５００は、撮像カメラ２００によって撮像された撮像データを受け取るインターフェース（Ｉ／Ｆ）５１０と、撮像データを格納する記憶部５２０と、表示部５３０と、制御部５４０を含む。Ｉ／Ｆ５１０は、撮像カメラ２００から取り外された記憶メディアを接続するものであってもよいし、出力部２３０から転送された撮像データを受信するものであってもよい。 Next, an evaluation example of the image pickup data captured by the image pickup camera will be described. FIG. 7 is a diagram showing an example of the evaluation device according to the present embodiment. The evaluation device 500 includes an interface (I / F) 510 for receiving image pickup data captured by the image pickup camera 200, a storage unit 520 for storing the image pickup data, a display unit 530, and a control unit 540. The I / F 510 may be connected to a storage medium removed from the image pickup camera 200, or may receive image pickup data transferred from the output unit 230.

制御部５４０は、撮像カメラ２００によって撮像された走行中の運転者Ｕの視線方向の映像を評価し、ＡＲ画像が実景のオブジェクトに対して適切な位置関係にあるか否かを評価し、その評価した結果を表示部５３０に表示させる。例えば、ＡＲ画像とオブジェクトとの距離が一定距離以上離れている場合には、その旨を表示する。評価者は、表示部５３０に表示された評価結果を参照し、ＡＲ画像の投射位置、あるいはＨＵＤ３００の光学的な調整を行うことができる。 The control unit 540 evaluates the image of the driver U in the line-of-sight direction captured by the image pickup camera 200, evaluates whether or not the AR image has an appropriate positional relationship with respect to the object in the actual scene, and evaluates the image thereof. The evaluation result is displayed on the display unit 530. For example, when the distance between the AR image and the object is more than a certain distance, that fact is displayed. The evaluator can refer to the evaluation result displayed on the display unit 530 and adjust the projection position of the AR image or the optical adjustment of the HUD 300.

このように本実施例によれば、運転者Ｕの視線方向にハーフミラーを配置し、ハーフミラーによって反射された光を撮像カメラ２００により撮像するようにしたので、走行中の運転者の視線方向の映像を容易に取得することができる。 As described above, according to the present embodiment, the half mirror is arranged in the line-of-sight direction of the driver U, and the light reflected by the half mirror is imaged by the image pickup camera 200. You can easily get the video of.

上記実施例では、ハーフミラー１００を天井に取り付ける例を示したが、これは一例であり、運転者の視線方向にハーフミラーを配置させることが可能であれば、どのような形態であってもよい。例えば、運転者Ｕが装着する帽子などにハーフミラーを取り付けるようにしてもよいし、車両に搭載されているサンバイザーなどを利用してハーフミラーを取り付けるようにしてもよい。 In the above embodiment, an example of mounting the half mirror 100 on the ceiling is shown, but this is an example, and any form can be used as long as the half mirror can be arranged in the direction of the driver's line of sight. good. For example, the half mirror may be attached to a hat or the like worn by the driver U, or the half mirror may be attached by using a sun visor or the like mounted on the vehicle.

上記実施例では、撮像カメラ２００を天井に取り付ける例を示したが、これは一例であり、例えば、ハーフミラー１００と撮像カメラ２００との間にミラー等を介在させることで、撮像カメラ２００を天井以外の場所に設置するようにしてもよい。 In the above embodiment, an example in which the image pickup camera 200 is attached to the ceiling is shown, but this is an example. For example, the image pickup camera 200 is placed on the ceiling by interposing a mirror or the like between the half mirror 100 and the image pickup camera 200. It may be installed in a place other than the above.

上記実施例では、ＨＵＤ３００によりＡＲ画像を投射しているときの運転者Ｕの視線方向の映像を撮像する例を示したが、これは一例であり、ＨＵＤ３００による投射は必須ではない。例えば、走行中の運転者の視点位置を評価するために運転者の視線方向の映像を撮像するようにしてよい。 In the above embodiment, an example of capturing an image in the line-of-sight direction of the driver U when the AR image is projected by the HUD 300 is shown, but this is an example, and the projection by the HUD 300 is not essential. For example, in order to evaluate the viewpoint position of the driving driver, an image in the line-of-sight direction of the driver may be captured.

上記実施例では、走行中の運転者の視線方向の映像を撮像カメラ２００により撮像し、その後に、撮像データを評価装置５００へ提供する例を示したが、これは一例であり、走行中の運転者の視線方向の映像をリアルタイムで評価装置５００へ伝送するようにしてもよい。 In the above embodiment, an example is shown in which an image in the line-of-sight direction of a traveling driver is captured by an image pickup camera 200 and then the image pickup data is provided to the evaluation device 500, but this is an example and is running. The image in the line-of-sight direction of the driver may be transmitted to the evaluation device 500 in real time.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various aspects of the present invention are described within the scope of the claims. It can be transformed and changed.

１０：視点撮影装置 １００：ハーフミラー
１１０、１２０：支持部 １１２、１１４、１２２、１２４：端部
２００：撮像カメラ ２６０：光学レンズ
２７０：吸収部材 ３００：ＨＵＤ
３１０：投射画像 ３１０Ａ：虚像
４００：天井 ４１０：フロントガラス
４２０：運転席 ４３０：レール
Ｑ：視点
Ｓ：視線方向 10: Viewpoint imaging device 100: Half mirror 110, 120: Support part 112, 114, 122, 124: End part 200: Imaging camera 260: Optical lens 270: Absorbent member 300: HUD
310: Projection image 310A: Virtual image 400: Ceiling 410: Windshield 420: Driver's seat 430: Rail Q: Viewpoint S: Line-of-sight direction

Claims (13)

運転者の視点撮影装置であって、
フロントガラスと運転席との間に配置され、フロントガラスから入射される光の一部を透過し、かつ一部を反射するミラーと、
前記ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像する撮像装置と、
を有する視点撮影装置。 It ’s a driver ’s point-of-view shooting device.
A mirror placed between the windshield and the driver's seat that transmits and reflects part of the light incident from the windshield.
An image pickup device that captures an image in the driver's line-of-sight direction by incident light reflected by the mirror, and an image pickup device.
A viewpoint photographing device having. 視点撮影装置はさらに、フロントガラスまたはコンバイナに画像を投射する投射手段を含む、請求項１に記載の視点撮影装置。 The viewpoint photographing device according to claim 1, further comprising a projection means for projecting an image onto a windshield or a combiner. 前記撮像装置は、車両の天井に取り付けられ、前記撮像装置の光軸は、フロントガラスから入射された光が前記ミラーによって反射されたときの反射角の方向に概ね一致する、請求項１に記載の視点撮影装置。 The first aspect of claim 1, wherein the image pickup device is attached to the ceiling of a vehicle, and the optical axis of the image pickup device substantially coincides with the direction of the reflection angle when the light incident from the windshield is reflected by the mirror. Viewpoint photography device. 視点撮影装置はさらに、前記撮像装置によって撮像された映像を出力する出力手段を含む、請求項１に記載の視点撮影装置。 The viewpoint photographing device according to claim 1, further comprising an output means for outputting an image captured by the image pickup device. 前記出力手段は、前記撮像装置によって撮像された映像を記憶する記憶手段を含む、請求項４に記載の視点撮影装置。 The viewpoint photographing device according to claim 4, wherein the output means includes a storage means for storing an image captured by the image pickup device. 前記ミラーは、車両の天井に取り付けられる、請求項１に記載の視点撮影装置。 The viewpoint photographing device according to claim 1, wherein the mirror is attached to the ceiling of a vehicle. 視点撮影装置はさらに、前記ミラーの位置または角度を調整する調整手段を含む、請求項６に記載の視点撮影装置。 The viewpoint photographing device according to claim 6, further comprising an adjusting means for adjusting the position or angle of the mirror. 視点撮影装置はさらに、前記ミラーの振動を防止する振動防止手段を含む、請求項６または７に記載の視点撮影装置。 The viewpoint photographing device according to claim 6 or 7, further comprising a vibration preventing means for preventing vibration of the mirror. 視点撮影装置はさらに、前記撮像装置の位置または向きを調整する調整手段を含む、請求項１に記載の視点撮影装置。 The viewpoint photographing device according to claim 1, further comprising an adjusting means for adjusting the position or orientation of the image pickup device. 視点撮影装置はさらに、前記撮像装置の振動を防止する振動防止手段を含む、請求項１に記載の視点撮影装置。 The viewpoint photographing device according to claim 1, further comprising a vibration preventing means for preventing vibration of the image pickup device. 運転者の視点を撮影する視点撮影方法であって、
投射装置により、車両の走行中に、フロントガラスまたはコンバイナに画像を投射させ、
フロントガラスと運転席との間に配置されたミラーにより、フロントガラスから入射された光の一部を透過させ、その透過光を運転者の視点に入射させ、かつ当該入射された光の一部を反射させ、その反射光を撮像装置に入射させ、
撮像装置により、走行中の運転者の視線方向の映像を撮像させる、視点撮影方法。 It is a viewpoint shooting method that shoots the driver's viewpoint.
The projection device projects an image onto the windshield or combiner while the vehicle is running.
A mirror arranged between the front glass and the driver's seat transmits a part of the light incident from the front glass, causes the transmitted light to be incident on the driver's viewpoint, and a part of the incident light. Is reflected, and the reflected light is incident on the image pickup device.
A viewpoint shooting method in which an image pickup device is used to capture an image in the direction of the driver's line of sight while driving. 請求項１１に記載の視点撮影方法によって撮像された撮像データを用いて、運転者の視線方向の映像を評価する、評価方法。 An evaluation method for evaluating an image in the line-of-sight direction of a driver using the image pickup data captured by the viewpoint photographing method according to claim 11. 前記撮像データに基づき、フロントガラスまたはコンバイナに投射された画像と運転者の視線方向のオブジェクトとの位置関係を評価することを含む、請求項１２に記載の評価方法。 The evaluation method according to claim 12, wherein the evaluation method includes evaluating the positional relationship between the image projected on the windshield or the combiner and the object in the line-of-sight direction of the driver based on the captured data.
JP2018131720A 2018-07-11 2018-07-11 Viewpoint photography device, viewpoint photography method and evaluation method Active JP7007062B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018131720A JP7007062B2 (en) 2018-07-11 2018-07-11 Viewpoint photography device, viewpoint photography method and evaluation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018131720A JP7007062B2 (en) 2018-07-11 2018-07-11 Viewpoint photography device, viewpoint photography method and evaluation method

Publications (2)

Publication Number Publication Date
JP2020006890A JP2020006890A (en) 2020-01-16
JP7007062B2 true JP7007062B2 (en) 2022-02-10

Family

ID=69150455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018131720A Active JP7007062B2 (en) 2018-07-11 2018-07-11 Viewpoint photography device, viewpoint photography method and evaluation method

Country Status (1)

Country Link
JP (1) JP7007062B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315686A (en) 2002-04-23 2003-11-06 Pentax Corp Observation device
JP2004276733A (en) 2003-03-14 2004-10-07 Toyota Motor Corp On-vehicle camera mounting structure
WO2005124431A1 (en) 2004-06-18 2005-12-29 Pioneer Corporation Information display device and navigation device
US20120327230A1 (en) 2011-06-21 2012-12-27 Flir Systems, Inc. Vehicle-mounted camera stabilized passively by vibration isolators
WO2017130763A1 (en) 2016-01-27 2017-08-03 日本精機株式会社 Head-up display device
JP2018103883A (en) 2016-12-27 2018-07-05 矢崎総業株式会社 Driver imaging device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016020945A (en) * 2014-07-14 2016-02-04 日本精機株式会社 Head-up display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315686A (en) 2002-04-23 2003-11-06 Pentax Corp Observation device
JP2004276733A (en) 2003-03-14 2004-10-07 Toyota Motor Corp On-vehicle camera mounting structure
WO2005124431A1 (en) 2004-06-18 2005-12-29 Pioneer Corporation Information display device and navigation device
US20120327230A1 (en) 2011-06-21 2012-12-27 Flir Systems, Inc. Vehicle-mounted camera stabilized passively by vibration isolators
WO2017130763A1 (en) 2016-01-27 2017-08-03 日本精機株式会社 Head-up display device
JP2018103883A (en) 2016-12-27 2018-07-05 矢崎総業株式会社 Driver imaging device

Also Published As

Publication number Publication date
JP2020006890A (en) 2020-01-16

Similar Documents

Publication Publication Date Title
US10061992B2 (en) Image display system
US10953799B2 (en) Display system, electronic mirror system and movable-body apparatus equipped with the same
NL2008639C2 (en) Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
CN110308557B (en) Display system, electron mirror system, moving object, and display method
CN109477968A (en) Head-up display
US10591739B2 (en) Near-eye-display with rapid spherical image scanning
JP2018205446A (en) Display system, electronic mirror system and mobile body equipped with the same
JP2009278234A (en) Display system
JP7007062B2 (en) Viewpoint photography device, viewpoint photography method and evaluation method
JP2008191629A (en) Stereoscopic projection adapter
US20170010467A1 (en) Hmpd with near eye projection
US20150281674A1 (en) Stereo adapter and stereo imaging apparatus
JP2015059988A (en) Stereoscopic imaging device stereoscopic image generation method
JP2021100846A (en) Display system
KR100851576B1 (en) Optical device with triple lenses
KR101884868B1 (en) A vehicular blackbox for acquisition and recording images of blind spots using a reflector
JP6670036B2 (en) How to shoot a compact 3D image
CA2859102C (en) Orientation system for image recording devices
KR101509948B1 (en) Apparatus for acquiring super wide angle panorama image for vehicle
JP3420506B2 (en) 3D image input device
US20170048455A1 (en) Optic for enabling instantaneously 360° Degree Panoramic Video of the Surroundings
US20230314755A1 (en) Eyepiece for night vision devices capable of injecting a synthetic image with a single optical correction mechanism
US20240231036A1 (en) Eyepiece for night vision devices capable of injecting a synthetic image with a single optical correction mechanism
KR102603651B1 (en) Display module adjustable the position of the image and optic apparatus using the same
WO2024004297A1 (en) Head-up display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220105

R150 Certificate of patent or registration of utility model

Ref document number: 7007062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150