JP2021030888A - View point position determination device, view point position determination method, and view point position determination program - Google Patents
View point position determination device, view point position determination method, and view point position determination program Download PDFInfo
- Publication number
- JP2021030888A JP2021030888A JP2019153141A JP2019153141A JP2021030888A JP 2021030888 A JP2021030888 A JP 2021030888A JP 2019153141 A JP2019153141 A JP 2019153141A JP 2019153141 A JP2019153141 A JP 2019153141A JP 2021030888 A JP2021030888 A JP 2021030888A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint position
- vehicle
- driver
- viewpoint
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012545 processing Methods 0.000 claims abstract description 139
- 238000001514 detection method Methods 0.000 claims description 82
- 238000012937 correction Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 39
- 230000001133 acceleration Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 description 39
- 238000012544 monitoring process Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 229920003217 poly(methylsilsesquioxane) Polymers 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両のフロントウィンドシールド越しに視認される前景に表示画像を重畳表示する車両用表示装置における表示画像の表示制御に供される、車両の運転者の視点位置を、決定するように構成された視点位置決定装置に関する。また、本発明は、かかる視点位置を決定する、視点位置決定方法に関する。また、本発明は、かかる視点位置決定装置により実行される、視点位置決定プログラムに関する。 INDUSTRIAL APPLICABILITY The present invention determines the viewpoint position of a vehicle driver, which is used for display control of a display image in a vehicle display device that superimposes and displays a display image on the foreground that is visually recognized through the front windshield of the vehicle. The present invention relates to a configured viewpoint position determining device. The present invention also relates to a viewpoint position determining method for determining such a viewpoint position. The present invention also relates to a viewpoint position determining program executed by such a viewpoint position determining device.
特許文献１は、投影装置から投影する画像を、正確に、運転者が見ている実際の風景に重畳表示することができる車両用装置を提供する。かかる車両用装置は、画像生成部と、視点位置特定部と、重畳位置特定部と、画像変換部と、報知部とを備える。画像生成部は、運転者に報知する画像を、予め定められた基準座標系で生成する。視点位置特定部は、運転者の目の位置を検出する視点検出部で検出した運転者の目の位置に基づいて、車室内における運転者の目の位置を示す視点位置を特定する。重畳位置特定部は、生成した画像を運転者の視野に表示する際の表示位置を特定する。画像変換部は、生成した画像を運転者の視点位置を基準とした座標系に変換した画像である変換画像を生成する。報知部は、投影装置を用いて変換画像を運転者の視野に重なるように表示させることにより、運転者に情報を報知する。 Patent Document 1 provides a vehicle device capable of accurately superimposing an image projected from a projection device on an actual landscape seen by a driver. Such a vehicle device includes an image generation unit, a viewpoint position specifying unit, a superposed position specifying unit, an image conversion unit, and a notification unit. The image generation unit generates an image to be notified to the driver in a predetermined reference coordinate system. The viewpoint position specifying unit specifies the viewpoint position indicating the position of the driver's eyes in the vehicle interior based on the position of the driver's eyes detected by the viewpoint detecting unit that detects the position of the driver's eyes. The superimposition position specifying unit specifies a display position when displaying the generated image in the driver's field of view. The image conversion unit generates a converted image which is an image obtained by converting the generated image into a coordinate system based on the driver's viewpoint position. The notification unit notifies the driver of the information by displaying the converted image so as to overlap the driver's field of view using a projection device.
これにより、基準座標系において生成された画像は、運転者の視点位置を基準とした座標系における変換画像として変換され、その変換画像が運転者の視野に重なるように表示される。したがって、表示位置の位置ずれが生じることなく、運転者に報知する画像を運転者が見ている風景に重なるように表示することができる。 As a result, the image generated in the reference coordinate system is converted as a converted image in the coordinate system based on the driver's viewpoint position, and the converted image is displayed so as to overlap the driver's field of view. Therefore, the image notified to the driver can be displayed so as to overlap the scenery seen by the driver without causing a displacement of the display position.
この種の車両用表示装置において、目的の前景に表示画像を違和感なく重畳表示させるためには、重畳表示制御に供される、運転者における視点位置を、適切に決定することが重要である。本発明は、上記に例示した事情等に鑑みてなされたものである。すなわち、本発明は、例えば、重畳表示制御に供される、運転者における視点位置を、適切に決定することが可能な技術を提供する。 In this type of vehicle display device, in order to superimpose the display image on the target foreground without discomfort, it is important to appropriately determine the viewpoint position of the driver, which is used for the superimposition display control. The present invention has been made in view of the circumstances exemplified above. That is, the present invention provides, for example, a technique for appropriately determining the viewpoint position in the driver, which is used for superimposition display control.
・請求項１に記載の視点位置決定装置（２０）は、車両（１）の運転者（Ｐ）における視点位置（ＥＬ）を決定するように構成されている。前記視点位置は、前記車両のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における、前記表示画像の表示制御に供される。
かかる視点位置決定装置は、
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得する、運転者情報取得部（２５２）と、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、前記運転者情報取得部にて取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する、視点決定処理部（２５４）と、
を備えている。
・請求項１１に記載の視点位置決定装置（２０）は、車両（１）の運転者（Ｐ）における視点位置（ＥＬ）を決定するように構成されている。前記視点位置は、前記車両のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における、前記表示画像の表示制御に供される。
かかる視点位置決定装置は、
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得する、検出視点取得部（２５３）と、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正する、視点決定処理部（２５４）と、
を備え、
前記視点決定処理部は、前記車両に乗車している前記運転者における前記視点位置の前記検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する。
・請求項１６に記載の視点位置決定方法は、車両（１）のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における前記表示画像の表示制御に供される、前記車両の運転者（Ｐ）における視点位置（ＥＬ）を決定する方法であって、以下の処理を含む：
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得し、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する。
・請求項１７に記載の視点位置決定方法は、車両（１）のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における前記表示画像の表示制御に供される、前記車両の運転者（Ｐ）の視点位置（ＥＬ）を決定する方法であって、以下の処理を含む：
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得し、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正し、
前記検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する。
・請求項１８に記載の視点位置決定プログラムは、視点位置決定装置（２０）により実行されるプログラムである。前記視点位置決定装置は、車両（１）の運転者（Ｐ）における視点位置（ＥＬ）を決定するように構成されている。前記視点位置は、前記車両のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における、前記表示画像の表示制御に供される。
前記視点位置決定装置により実行される処理は、
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得する処理と、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する処理と、
を含む。
・請求項１９に記載の視点位置決定プログラムは、視点位置決定装置（２０）により実行されるプログラムである。前記視点位置決定装置は、車両（１）の運転者（Ｐ）における視点位置（ＥＬ）を決定するように構成されている。前記視点位置は、前記車両のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における、前記表示画像の表示制御に供される。
前記視点位置決定装置により実行される処理は、
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得する処理と、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正する処理と、
前記検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する処理と、
を含む。
The viewpoint position determining device (20) according to claim 1 is configured to determine the viewpoint position (EL) of the driver (P) of the vehicle (1). The viewpoint position is used for display control of the display image in the vehicle display device (192) that superimposes and displays the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle.
Such a viewpoint position determining device is
A driver information acquisition unit (252) that acquires driver information corresponding to a specific result of the driver who is in the vehicle, and a driver information acquisition unit (252).
Based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the driver information acquired by the driver information acquisition unit, the display image is controlled to be displayed. The viewpoint determination processing unit (254) that determines the viewpoint position, and
It has.
The viewpoint position determining device (20) according to
Such a viewpoint position determining device is
A detection viewpoint acquisition unit (253) that acquires a detection result of the viewpoint position of the driver in the vehicle, and a detection viewpoint acquisition unit (253).
Based on the detection result, the viewpoint determination processing unit (254) that corrects the viewpoint position used for display control of the display image, and
With
The viewpoint determination processing unit prohibits the driver who is in the vehicle from correcting the viewpoint position based on the detection result of the viewpoint position when the correction prohibition condition is satisfied.
The viewpoint position determination method according to
Acquire driver information corresponding to the specific result of the driver who is in the vehicle, and obtain driver information.
Based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the acquired driver information, the viewpoint position to be used for display control of the display image is determined.
The viewpoint position determination method according to
Obtaining the detection result of the viewpoint position by the driver who is in the vehicle,
Based on the detection result, the viewpoint position used for display control of the display image is corrected.
Correction of the viewpoint position based on the detection result is prohibited when the correction prohibition condition is satisfied.
The viewpoint position determination program according to
The process executed by the viewpoint position determining device is
A process of acquiring driver information corresponding to a specific result of the driver who is in the vehicle, and
A process of determining the viewpoint position to be used for display control of the display image based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the acquired driver information. When,
including.
The viewpoint position determination program according to
The process executed by the viewpoint position determining device is
The process of acquiring the detection result of the viewpoint position by the driver who is in the vehicle, and
Based on the detection result, the process of correcting the viewpoint position used for the display control of the display image and the process of correcting the viewpoint position.
A process of prohibiting the correction of the viewpoint position based on the detection result when the correction prohibition condition is satisfied, and
including.
なお、出願書類中の各欄において、各要素に括弧付きの参照符号が付されている場合がある。この場合、参照符号は、同要素と後述する実施形態に記載の具体的構成との対応関係の単なる一例を示すものである。よって、本発明は、参照符号の記載によって、何ら限定されるものではない。 In each column of the application documents, each element may have a reference code in parentheses. In this case, the reference numeral indicates only an example of the correspondence between the same element and the specific configuration described in the embodiment described later. Therefore, the present invention is not limited by the description of the reference numeral.
（実施形態）
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中ではなく、その後にまとめて説明する。
(Embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. If various modifications applicable to one embodiment are inserted in the middle of a series of explanations relating to the embodiment, the understanding of the embodiment may be hindered. Therefore, the modified examples will be described collectively afterwards, not in the middle of a series of explanations relating to the embodiment.
（車両）
図１を参照すると、車両１は、いわゆる四輪自動車であって、鉛直上方から車両１を見た平面視にて略矩形状の車体２を備えている。以下の説明の便宜上、車両１における「前」「後」「左」「右」「上」および「下」を、図１中にて矢印で示された通りに定義する。これらの方向概念は、前進走行中の車両１における運転席に搭乗する乗員である運転者Ｐを基準としたものである。前後方向は、車両全長方向と同義である。また、左右方向は、車幅方向と同義である。また、上下方向は、車高方向と同義である。車両全長方向は、車幅方向と直交し且つ車高方向と直交する方向である。車高方向は、車両１の車高を規定する方向であって、車両１を走行可能な状態で水平面に安定的に載置した場合の重力作用方向と平行な方向である。
(vehicle)
Referring to FIG. 1, the vehicle 1 is a so-called four-wheeled vehicle, and includes a vehicle body 2 having a substantially rectangular shape in a plan view of the vehicle 1 viewed from above vertically. For convenience of the following description, "front", "rear", "left", "right", "top" and "bottom" in the vehicle 1 are defined as indicated by arrows in FIG. These directional concepts are based on the driver P, who is a occupant in the driver's seat of the vehicle 1 traveling forward. The front-rear direction is synonymous with the vehicle overall length direction. Further, the left-right direction is synonymous with the vehicle width direction. In addition, the vertical direction is synonymous with the vehicle height direction. The vehicle overall length direction is a direction orthogonal to the vehicle width direction and orthogonal to the vehicle height direction. The vehicle height direction is a direction that defines the vehicle height of the vehicle 1, and is a direction parallel to the direction of gravity action when the vehicle 1 is stably placed on a horizontal plane in a traveling state.
車体２における、乗員が搭乗する内部空間である車室３は、前方をフロントウィンドシールド４によって覆われている。フロントウィンドシールド４は、透光性のガラスあるいは合成樹脂により板状に形成されている。フロントウィンドシールド４は、車幅方向と平行な視線で見た側方視にて、下端部よりも上端部の方が後方に位置するように傾斜配置されている。
The passenger compartment 3 in the vehicle body 2, which is an internal space on which the occupants board, is covered in front by the
図２は、前進走行中の車両１の運転者Ｐにおける視点ＥＰから、当該車両１の進行先の路面ＳＲをフロントウィンドシールド４越しに見た様子を示す。図２中、ＤＬは道路区画線、ＬＳは自車線、ＬＸは他車線を示す。自車線ＬＳは、車両１が現在走行中の車線である。他車線ＬＸは、自車線ＬＳとは異なる車線であり、典型的には幅員方向について自車線ＬＳに隣接する車線である。
FIG. 2 shows a state in which the road surface SR to which the vehicle 1 is traveling is viewed through the
図１および図２に示されているように、車室３内における、フロントウィンドシールド４の下方には、ダッシュボード５が配置されている。ダッシュボード５から運転者Ｐに向かって、ステアリングコラム６が延設されている。ステアリングコラム６には、ステアリングホイール７が取り付けられている。
As shown in FIGS. 1 and 2, a
（車載システム）
車両１には、車載システム１０が搭載されている。車載システム１０は、車載通信回線１０Ａおよびこの車載通信回線１０Ａを介して相互に接続された各ノードを含む車載ネットワークであって、車両１の運転時の各種制御およびこれに伴う各種表示動作等を実行可能に構成されている。車載システム１０は、ＣＡＮ（国際登録商標：国際登録番号１０４８２６２Ａ）等の所定の通信規格に準拠するように構成されている。ＣＡＮ（国際登録商標）はController Area Networkの略である。
(In-vehicle system)
The vehicle 1 is equipped with an in-
以下、図１〜図３を参照しつつ、車載システム１０の構成の詳細について説明する。なお、車載システム１０を搭載する車両１を「自車両」と称することがある。車載システム１０は、車両状態センサ１１と、外界状態センサ１２と、周辺監視センサ１３と、ロケータ１４と、ＤＣＭ１５と、セキュリティＥＣＵ１６と、運転支援ＥＣＵ１７とを備えている。ＤＣＭはData Communication Moduleの略である。ＥＣＵはElectronic Control Unitの略である。車両状態センサ１１、外界状態センサ１２、周辺監視センサ１３、ロケータ１４、およびＤＣＭ１５は、車載通信回線１０Ａと接続されている。セキュリティＥＣＵ１６および運転支援ＥＣＵ１７は、車載通信回線１０Ａに接続されたノードとして設けられている。
Hereinafter, the details of the configuration of the in-
また、車載システム１０は、ＤＳＭ１８と、表示装置１９と、表示制御装置２０とを備えている。ＤＳＭはDriver Status Monitorの略である。本実施形態においては、ＤＳＭ１８および表示装置１９は、表示制御装置２０と、車載通信回線１０Ａとは異なるサブ通信回線を介して情報通信可能に接続されている。表示制御装置２０は、車載通信回線１０Ａに接続されたノードとして設けられている。
Further, the in-
車両状態センサ１１は、自車両の運転状態に関連する諸量に対応する出力を発生するように設けられている。「運転状態に関連する諸量」は、例えば、アクセル操作量、ブレーキ操作量、シフトポジション、操舵角、等の、運転者Ｐによる運転操作状態に関連する諸量を含む。また、「運転状態に関連する諸量」は、例えば、車速、角速度、前後方向加速度、左右方向加速度、等の、自車両の挙動に関連する物理量を含む。さらに、車両状態センサ１１は、乗員の乗車状態に対応する出力を発生するように設けられている。すなわち、車両状態センサ１１は、車両制御に必要な周知のセンサ類における、外界状態センサ１２以外のものを、図示および説明の簡略化のために総称したものである。かかるセンサ類は、例えば、アクセル開度センサ、操舵角センサ、車輪速センサ、角速度センサ、加速度センサ、シフトポジションセンサ、着座センサ、ドア開閉センサ、等である。車両状態センサ１１は、車載通信回線１０Ａを介して、ロケータ１４等の各部に検出出力を提供可能に設けられている。
The
外界状態センサ１２は、自車両の周囲の自然環境に関連する諸量に対応する出力を発生するように設けられている。「自然環境に関連する諸量」は、例えば、外気温、降雨量、照度、等の物理量を含む。すなわち、外界状態センサ１２は、外気温センサ、雨滴センサ、照度センサ、等の周知のセンサ類を、図示および説明の簡略化のために総称したものである。外界状態センサ１２は、車載通信回線１０Ａを介して、運転支援ＥＣＵ１７等の各部に検出出力を提供可能に設けられている。
The
周辺監視センサ１３は、自車両の周囲の交通環境事象のうち、主として外界状態センサ１２により検知可能なもの以外を検知するように設けられている。具体的には、周辺監視センサ１３は、自車両の周囲の所定の検出範囲における、移動物体および静止物体を検出可能に構成されている。「移動物体」は、歩行者、サイクリスト、動物、および走行中の他車両を含む。「静止物体」は、路上落下物、ガードレール、縁石、駐停車車両、道路標識、道路標示に加えて、道路脇の構造物（例えば建造物等）を含む。本実施形態においては、周辺監視センサ１３は、移動物体および静止物体を検出するための構成として、フロントカメラ１３１とレーダセンサ１３２とを有している。
The
フロントカメラ１３１は、自車両の前方および前側方範囲の画像を撮影するように設けられている。本実施形態においては、フロントカメラ１３１は、デジタルカメラ装置であって、ＣＣＤあるいはＣＭＯＳ等のイメージセンサを備えている。ＣＣＤはCharge Coupled Deviceの略である。ＣＭＯＳはComplementary MOSの略である。
The
レーダセンサ１３２は、レーダ波を送受信するミリ波レーダセンサ、サブミリ波レーダセンサ、またはレーザレーダセンサであって、車体２の前面部に装着されている。レーダセンサ１３２は、反射点の位置および相対速度に対応する信号を出力するように構成されている。「反射点」は、自車両の周囲の物体の表面上における、レーダ波を反射したと推定される点である。「相対速度」は、反射点すなわちレーダ波を反射した物体の、自車両に対する相対速度である。
The
ロケータ１４は、いわゆる複合測位により、自車両の高精度な位置情報等を決定するように構成されている。具体的には、ロケータ１４は、ＧＮＳＳ受信器１４１と、慣性取得部１４２と、高精度地図データベース１４３と、ロケータＥＣＵ１４４とを有している。ＧＮＳＳはGlobal Navigation Satellite Systemの略である。「高精度な位置情報」とは、例えば、高度運転支援あるいは自動運転に利用可能な程度、具体的には位置情報誤差が１０ｃｍ未満となるような程度の精度を有する位置情報である。
The
ＧＮＳＳ受信器１４１は、複数の測位衛星すなわち人工衛星から送信された測位信号を受信するように設けられている。本実施形態においては、ＧＮＳＳ受信器１４１は、ＧＰＳ、ＱＺＳＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＩＲＮＳＳ、北斗衛星導航系統、等の衛星測位システムのうちの少なくとも１つにおける測位衛星からの測位信号を受信可能に構成されている。ＧＰＳはGlobal Positioning Systemの略である。ＱＺＳＳはQuasi-Zenith Satellite Systemの略である。ＧＬＯＮＡＳＳはGlobal Navigation Satellite Systemの略である。ＩＲＮＳＳはIndian Regional Navigation Satellite Systemの略である。
The
慣性取得部１４２は、自車両に作用する加速度および角速度を取得するように構成されている。本実施形態においては、慣性取得部１４２は、ロケータ１４における箱状の筐体内に内蔵された３軸ジャイロセンサおよび３軸加速度センサとして設けられている。
The
高精度地図データベース１４３は、高精度地図情報を書き換え可能に記憶するとともに電源遮断中にも記憶内容を保持するように、不揮発性リライタブルメモリを主体に構成されている。不揮発性リライタブルメモリは、例えば、ハードディスク、ＥＥＰＲＯＭ、フラッシュＲＯＭ、等である。ＥＥＰＲＯＭはElectronically Erasable and Programmable ＲＯＭの略である。ＲＯＭはRead Only Memoryの略である。高精度地図情報は、高精度地図データとも称され得る。高精度地図情報には、数メートル程度の位置情報誤差に対応する従来のカーナビゲーションシステムにて用いられていた地図情報よりも、高精度な地図情報が含まれている。具体的には、高精度地図データベース１４３には、ＡＤＡＳＩＳ規格等の所定の規格に準拠して、三次元道路形状情報、レーン数情報、規制情報、等の、高度運転支援あるいは自動運転に利用可能な情報が格納されている。ＡＤＡＳＩＳはAdvanced Driver Assistance Systems Interface Specificationの略である。
The high-
ロケータＥＣＵ１４４は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、等を備えた、いわゆる車載マイクロコンピュータとして構成されている。ＣＰＵはCentral Processing Unitの略である。ＲＡＭはRandom Access Memoryの略である。ロケータＥＣＵ１４４は、ＧＮＳＳ受信器１４１にて受信した測位信号、慣性取得部１４２にて取得した加速度および角速度、車両状態センサ１１から取得した車速、等に基づいて、自車両の位置および方角等を逐次決定するように構成されている。そして、ロケータ１４は、ロケータＥＣＵ１４４による位置および方角等の決定結果を、車載通信回線１０Ａを介して、運転支援ＥＣＵ１７および表示制御装置２０等の各部に提供可能に設けられている。
The
ＤＣＭ１５は、車載通信モジュールであって、ＬＴＥあるいは５Ｇ等の通信規格に準拠した無線通信により、自車両の周囲の基地局との間で情報通信可能に設けられている。ＬＴＥはLong Term Evolutionの略である。５Ｇは5th Generationの略である。具体的には、例えば、ＤＣＭ１５は、クラウド上のプローブサーバから最新の高精度地図情報を取得するように構成されている。また、ＤＣＭ１５は、取得した最新の高精度地図情報を、ロケータＥＣＵ１４４と連携することで、高精度地図データベース１４３に格納するようになっている。
The DCM15 is an in-vehicle communication module, and is provided so that information can be communicated with base stations around the own vehicle by wireless communication conforming to a communication standard such as LTE or 5G. LTE is an abbreviation for Long Term Evolution. 5G is an abbreviation for 5th Generation. Specifically, for example, the DCM15 is configured to acquire the latest high-precision map information from a probe server on the cloud. Further, the DCM15 stores the acquired latest high-precision map information in the high-
セキュリティＥＣＵ１６は、運転者情報の検出結果を、車載通信回線１０Ａを介して表示制御装置２０等の各部に提供可能に設けられている。運転者情報は、自車両に乗車している運転者Ｐの特定結果に対応する情報である。具体的には、セキュリティＥＣＵ１６は、運転者Ｐが所有するスマートキーを認証するとともに、認証結果に対応する運転者情報を表示制御装置２０等に出力するようになっている。
The
運転支援ＥＣＵ１７は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、等を備えた、いわゆる車載マイクロコンピュータとして構成されている。運転支援ＥＣＵ１７は、車両状態センサ１１、外界状態センサ１２、周辺監視センサ１３、およびロケータ１４から取得した信号および情報に基づいて、所定の運転支援動作を実行するように構成されている。「所定の運転支援動作」は、例えば、米国自動車技術会の規定する自動運転レベルにおける、レベル２以下の「部分的な自動走行制御動作」あるいは「高度運転支援動作」である。具体的には、運転支援ＥＣＵ１７は、例えば、先行車両との車間距離を一定に保ちつつ定速走行するためのＡＣＣ制御、走行中の車線からの逸脱を抑制するための車線維持制御、等を実行可能に構成されている。ＡＣＣはAdaptive Cruise Controlの略である。
The driving
ＤＳＭ１８は、運転者Ｐの顔を画像認識して運転者Ｐの状態を検出することで、ダッシュボード５等に設けられた不図示のスピーカ等を用いて脇見運転等に関する注意喚起あるいは警告を行うように構成されている。具体的には、ＤＳＭ１８は、車内カメラ１８１と、光源装置１８２と、これらを制御するＤＳＭ−ＥＣＵ１８３とを備えている。
The
車内カメラ１８１は、車室３内が暗くなっても安定して運転者Ｐを撮影することができるように、近赤外線カメラによって構成されている。すなわち、車内カメラ１８１は、近赤外ＬＥＤ等の近赤外光源である光源装置１８２により照らされた運転席を撮像するように設けられている。
The in-
ＤＳＭ−ＥＣＵ１８３は、車内カメラ１８１による撮影画像を解析することで、運転者Ｐにおける視点位置ＥＬおよび視線方向等を算出するように構成されている。視点位置ＥＬは、車室３内における視点ＥＰの三次元位置である。なお、視点ＥＰの検出結果に基づく視点位置ＥＬの算出結果を、以下単に「視点位置ＥＬの検出結果」と称することがある。さらに、ＤＳＭ１８は、ＤＳＭ−ＥＣＵ１８３における算出結果を、表示制御装置２０に提供可能に設けられている。
The DSM-
（車両用表示装置）
表示装置１９は、運転者Ｐに対して、自車両に関する各種情報を表示するように構成されている。具体的には、ダッシュボード５には、メータパネル１９１が設けられている。メータパネル１９１は、運転者Ｐに向けて配置されている。
(Vehicle display device)
The
メータパネル１９１は、車速、エンジン回転数、冷却水温、走行距離、等の、自車両の運転状態に関する情報を表示するとともに、外気温、現在時刻、等の補助的情報を表示可能に構成されている。具体的には、メータパネル１９１は、車両情報ディスプレイ１９１Ａを有している。車両情報ディスプレイ１９１Ａは、不図示のタコメータとスピードメータとの間の、メータパネル１９１の車幅方向における略中央部にて、各種情報を表示するようになっている。
The
また、車両１には、ヘッドアップディスプレイ装置１９２が搭載されている。以下、ヘッドアップディスプレイ装置１９２を、「ＨＵＤ装置１９２」と略称する。ＨＵＤはHead-Up Displayの略である。ＨＵＤ装置１９２は、フロントウィンドシールド４の下方にて、ダッシュボード５内に収容されている。本発明における車両用表示装置としてのＨＵＤ装置１９２は、フロントウィンドシールド４越しに視認される、路面ＳＲを含む前景に、表示画像Ｖｉを重畳表示可能に構成されている。
Further, the vehicle 1 is equipped with a head-up
ＨＵＤ装置１９２は、ＡＲ技術を用いて虚像である表示画像Ｖｉを形成することで、自車両の進行先の路面ＳＲを含む前景と併せて表示画像Ｖｉを運転者Ｐにより視認可能に表示するように設けられている。ＡＲはAugmented Realityの略である。すなわち、ＨＵＤ装置１９２は、表示画像Ｖｉを構成する表示画像光ＶＬをフロントウィンドシールド４における投影範囲ＰＡに投影して、表示画像光ＶＬのフロントウィンドシールド４による反射光を運転者Ｐに視認させることで、表示画像Ｖｉを表示するように構成されている。本実施形態においては、ＨＵＤ装置１９２は、図１に示されているように、俯角ＡＤが０度以上の正値となるように構成されている。俯角ＡＤは、図１にて、視点ＥＰを通る仮想水平線と視点ＥＰと投影範囲ＰＡの上端とを結ぶ仮想直線との間の角度である。俯角ＡＤは、視点ＥＰから投影範囲ＰＡの上端を見下ろす場合に正値となり、視点ＥＰから投影範囲ＰＡの上端を見上げる場合に負値となるものとする。また、ＨＵＤ装置１９２は、垂直画角ＡＶよりも水平画角を大きくすることで、投影範囲ＰＡが図２に示されているように横長な略長方形となるように構成されている。垂直画角ＡＶは、図１にて、視点ＥＰと投影範囲ＰＡの上端とを結ぶ仮想直線と、視点ＥＰと投影範囲ＰＡの下端とを結ぶ仮想直線との間の角度である。すなわち、垂直画角ＡＶは、視点ＥＰから表示画像Ｖｉを視認可能な上下方向における角度範囲であり、上下方向における視野角とも称され得る。
The
ＨＵＤ装置１９２は、プロジェクタ１９２Ａと拡大光学系１９２Ｂとを備えている。プロジェクタ１９２Ａは、表示制御装置２０により生成された表示画像信号に基づいて、表示画像光ＶＬを生成して拡大光学系１９２Ｂに向けて射出するように設けられている。拡大光学系１９２Ｂは、凹面鏡を含む複数の光学要素と、これらのアライメントを制御するアクチュエータとを備えている。拡大光学系１９２Ｂは、ＤＳＭ１８によって検出された視点ＥＰすなわち視点位置ＥＬに応じて上記のアライメントをアクチュエータにより制御することで、フロントウィンドシールド４に対する表示画像光ＶＬの投影状態を調整するように構成されている。
The
ＨＵＤ装置１９２は、表示画像Ｖｉとしての重畳コンテンツを表示可能に設けられている。「重畳コンテンツ」は、前景に含まれる特定の注目対象に対応付けあるいは関連付けされつつ、当該注目対象または重畳対象に重畳表示される表示画像コンテンツである。「注目対象」は、例えば、路面標示、道路標識、前方車両、歩行者、等の、運転中に注目すべきあるいは注意を払うべき対象物である。「重畳対象」は、典型的には、注目対象そのものである。但し、重畳対象と注目対象とは、部分的に重なったり、一致しなかったりすることがあり得る。
The
具体的には、例えば、図２に示されている区画線コンテンツＣＬは、重畳コンテンツである。区画線コンテンツＣＬは、主として自車線ＬＳに対応する道路区画線ＤＬに沿って表示される重畳コンテンツであって、道路区画線ＤＬに模した形状を有している。区画線コンテンツＣＬは、典型的には、対応する道路区画線ＤＬと視覚的に重なるように路面ＳＲに重畳表示される。この場合、「注目対象」および「重畳対象」は、ともに道路区画線ＤＬである。もっとも、区画線コンテンツＣＬは、図２に示されているように、対応する道路区画線ＤＬに対して、幅員方向にオフセット表示される場合があり得る。この場合、「注目対象」が道路区画線ＤＬであるのに対し、「重畳対象」は道路区画線ＤＬ近傍の路面ＳＲである。 Specifically, for example, the lane marking content CL shown in FIG. 2 is a superposed content. The lane marking content CL is superimposed content displayed mainly along the road lane marking DL corresponding to the own lane LS, and has a shape imitating the road lane marking DL. The lane marking content CL is typically superimposed and displayed on the road surface SR so as to visually overlap the corresponding road lane marking DL. In this case, both the "target of interest" and the "target of superimposition" are road marking lines DL. However, as shown in FIG. 2, the lane marking content CL may be offset in the width direction with respect to the corresponding road lane marking DL. In this case, the "target of interest" is the road lane DL, while the "superimposition target" is the road surface SR in the vicinity of the road lane DL.
ＨＵＤ装置１９２は、表示画像Ｖｉとしての非重畳コンテンツを表示可能に設けられている。「非重畳コンテンツ」は、前景に含まれる特定の注目対象には関連付けられず、且つ、特定の重畳対象に重畳表示されるものではない、表示画像コンテンツである。具体的には、例えば、図２に示されている、現在走行中の道路の法定最高速度を示す速度情報コンテンツＣＶは、非重畳コンテンツである。
The
すなわち、ＨＵＤ装置１９２は、重畳コンテンツおよび非重畳コンテンツを表示可能に構成されている。重畳コンテンツと非重畳コンテンツとは、以下の点で異なる。例えば、自車両および／または注目対象の移動により、注目対象の自車両に対する相対位置が変化する。このとき、重畳コンテンツの、投影範囲ＰＡ内における表示位置は、注目対象の自車両に対する相対位置の変化に追随して変化することがあり得る。これに対し、非重畳コンテンツの、投影範囲ＰＡ内における表示位置は、自車両の走行により現在位置が移動しても、通常は一定である。また、注目対象あるいは重畳対象と、重畳コンテンツと、視点ＥＰとは、これらが実質的に一直線上に位置するような相対位置関係となる。このような相対位置関係は、自車両の走行等により相対位置の変化が生じても、継続的に維持される。これに対し、非重畳コンテンツについては、そもそも注目対象あるいは重畳対象が規定されないため、このような相対位置関係は観念されない。また、重畳コンテンツの典型例として、区画線コンテンツＣＬのような、道路区画線ＤＬに対応する実線あるいは破線状の表示画像コンテンツが挙げられる。このようなコンテンツは、道路に沿って表示されるものであり、運転者Ｐから見て奥行き方向に延びるように表示される。これに対し、非重畳コンテンツの典型例として、車速表示コンテンツ、速度情報コンテンツＣＶ、等が挙げられる。このようなコンテンツは、必ずしも、道路に沿って表示されるものではなく、運転者Ｐから見て奥行き方向に延びるように表示されるものでもない。なお、自車両と注目対象あるいは重畳対象との位置関係によっては、非重畳コンテンツであっても、運転者Ｐから、重畳コンテンツに対応する注目対象あるいは重畳対象と重畳して視認されることがあり得る。しかしながら、このように、意図しない偶然により何らかの前景と重畳して視認されるような、非重畳コンテンツの表示は、重畳コンテンツにおける「重畳表示」とは異なる。
That is, the
（表示制御装置）
表示制御装置２０は、表示装置１９における表示動作を制御するように設けられている。すなわち、表示制御装置２０は、ＤＳＭ１８および表示装置１９を含むＨＭＩシステムの動作を制御するＨＣＵとして構成されている。ＨＭＩはHuman Machine Interfaceの略である。ＨＣＵはＨＭＩ Control Unitの略である。具体的には、表示制御装置２０は、処理部２０１、記憶部２０２、ＲＡＭ２０３、入出力インタフェース２０４、等を備えた、いわゆる車載マイクロコンピュータとして構成されている。
(Display control device)
The
処理部２０１は、ＣＰＵ等の演算コアを少なくとも一つ含む構成を有している。記憶部２０２は、ＲＯＭおよび不揮発性リライタブルメモリによって構成されている。記憶部２０２には、処理部２０１によって実行される種々のプログラム、例えば、表示制御プログラム等が格納されている。また、記憶部２０２には、プログラムの実行の際に用いられる各種のデータ、例えば、初期値、テーブル、マップ、等が、あらかじめ格納されている。ＲＡＭ２０３は、上記のプログラムの実行により後述する各機能部の機能を実現するための種々の処理を実行するために、処理部２０１によりアクセス可能に設けられている。
The
入出力インタフェース２０４は、表示制御装置２０と、セキュリティＥＣＵ１６、運転支援ＥＣＵ１７、ＤＳＭ１８、等の外部装置との間の、信号および情報の入出力を行うように設けられている。具体的には、入出力インタフェース２０４には、車載通信回線１０Ａが接続されている。また、入出力インタフェース２０４には、ＤＳＭ１８および表示装置１９との間の通信用のサブ通信回線が接続されている。
The input /
（機能構成）
表示制御装置２０は、メータパネル１９１における各種表示、および、ＨＵＤ装置１９２における重畳コンテンツおよび非重畳コンテンツの表示を制御するように構成されている。すなわち、表示制御装置２０は、図４に示されているような、マイクロコンピュータ上にて実現される各機能部を有している。具体的には、表示制御装置２０は、位置情報取得部２１１と、地図情報取得部２１２と、描画情報取得部２１３と、走行状況取得部２１４と、視点位置取得部２１５と、表示制御部２１６とを有している。以下、図１〜図４を参照しつつ、本実施形態における、表示制御装置２０の機能構成の詳細について説明する。
(Functional configuration)
The
位置情報取得部２１１は、自車両の現在位置を取得するように設けられている。すなわち、位置情報取得部２１１は、ロケータ１４にて複合測位により決定された、高精度な自車両の位置情報および方角情報を、ロケータ１４から取得するように構成されている。具体的には、位置情報取得部２１１は、ロケータＥＣＵ１４４による位置情報および方角情報の決定結果を、ロケータＥＣＵ１４４から車載通信回線１０Ａを介して取得するようになっている。
The position
地図情報取得部２１２は、高精度地図データベース１４３に格納された高精度地図情報を取得するように設けられている。具体的には、地図情報取得部２１２は、ロケータＥＣＵ１４４が高精度地図データベース１４３から読み出した高精度地図情報を、ロケータＥＣＵ１４４から車載通信回線１０Ａを介して取得するようになっている。
The map
描画情報取得部２１３は、ＨＵＤ装置１９２により表示すべき表示画像コンテンツの種類および表示態様に対応する描画情報を取得するように設けられている。具体的には、描画情報取得部２１３は、自車両の現在位置と高精度地図情報とに基づいて、現在位置における速度規制情報等の交通情報に対応する、表示すべき非重畳コンテンツの種類および表示態様を決定するようになっている。また、描画情報取得部２１３は、周辺監視センサ１３による移動物体および静止物体の検出結果に基づいて、表示すべき重畳コンテンツの種類および表示態様を決定するようになっている。「表示態様」は、例えば、色、輝度、パターン、点滅と非点滅との区別、点滅の場合の点滅間隔、等である。
The drawing
走行状況取得部２１４は、自車両の走行状況、すなわち、運転状態および走行環境を取得するように設けられている。具体的には、走行状況取得部２１４は、車両状態センサ１１により検出したシフトポジションおよび車速等の諸量を、車載通信回線１０Ａを介して取得するようになっている。また、走行状況取得部２１４は、外界状態センサ１２により検出した外気温、降雨量、等を、車載通信回線１０Ａを介して取得するようになっている。
The driving
（視点位置決定装置）
視点位置取得部２１５は、ＨＵＤ装置１９２における表示画像Ｖｉすなわち重畳コンテンツの表示制御に供される、視点位置ＥＬを取得するように設けられている。視点位置取得部２１５は、視点位置ＥＬの取得結果を、表示制御部２１６に提供するようになっている。表示制御部２１６に提供される視点位置ＥＬ、すなわち、重畳コンテンツの表示制御に供される視点位置ＥＬを、以下「表示制御用の視点位置ＥＬ」と略称する。表示制御部２１６は、位置情報取得部２１１〜視点位置取得部２１５による取得結果に基づいて、ＨＵＤ装置１９２の表示動作を制御するように設けられている。
(Viewpoint position determining device)
The viewpoint
本発明の視点位置決定装置に対応する視点位置取得部２１５は、図４に示されているような、マイクロコンピュータ上にて実現される各機能部を有している。具体的には、視点位置取得部２１５は、視点データベース２５１と、運転者情報取得部２５２と、検出視点取得部２５３と、視点決定処理部２５４と、記憶内容更新部２５５とを有している。
The viewpoint
視点データベース２５１は、視点位置ＥＬと運転者情報とを対応付けて記憶するように構成されている。具体的には、視点データベース２５１は、記憶部２０２を構成する不揮発性リライタブルメモリにおける所定の記憶領域として設けられている。視点データベース２５１は、セキュリティＥＣＵ１６により認証可能な運転者情報としての運転者ＩＤと、当該運転者ＩＤに対応する視点位置ＥＬとを、書き換え可能且つ不揮発的に記憶するようになっている。
The
運転者情報取得部２５２は、自車両に乗車している運転者Ｐの特定結果に対応する運転者情報を取得するように設けられている。具体的には、運転者情報取得部２５２は、セキュリティＥＣＵ１６による認証結果に含まれる運転者情報を、セキュリティＥＣＵ１６から車載通信回線１０Ａを介して取得するようになっている。
The driver
検出視点取得部２５３は、自車両に乗車している運転者Ｐにおける視点位置ＥＬおよび視線方向の検出結果を取得するように設けられている。具体的には、検出視点取得部２５３は、ＤＳＭ−ＥＣＵ１８３による視点位置ＥＬおよび視線方向の算出結果を、ＤＳＭ１８から車載通信回線１０Ａを介して取得するようになっている。
The detection
視点決定処理部２５４は、表示制御用の視点位置ＥＬを決定するように設けられている。具体的には、視点決定処理部２５４は、視点データベース２５１と、運転者情報取得部２５２にて取得した運転者情報とに基づいて、表示制御用の視点位置ＥＬの初期値を設定するようになっている。また、視点決定処理部２５４は、所定の補正条件成立中に、ＤＳＭ１８による視点ＥＰすなわち視点位置ＥＬの検出結果に基づいて、表示制御用の視点位置ＥＬを補正するようになっている。一方、視点決定処理部２５４は、所定の補正禁止条件成立中は、表示制御用の視点位置ＥＬの補正を禁止すなわち不実行とするようになっている。
The viewpoint
記憶内容更新部２５５は、視点決定処理部２５４による視点位置ＥＬの補正結果により、視点データベース２５１における視点位置ＥＬの記憶内容を更新するように設けられている。具体的には、記憶内容更新部２５５は、視点決定処理部２５４による視点位置ＥＬの補正が行われた場合、自車両に乗車している運転者Ｐが自車両の運転を終了する際に、最新の補正後の視点位置ＥＬにより視点データベース２５１の記憶内容を更新するようになっている。
The storage
（動作概要）
以下、本実施形態に係る装置の動作、および、この装置により実行される方法の概要について、本実施形態の構成により奏される効果とともに、図５〜図８に示されたフローチャートを用いて説明する。なお、図５〜図８において、「ステップ」を単に「Ｓ」と略記する。図５〜図８に示されたフローチャートは、上記の表示制御プログラムに含まれる。特に、図５、図７、および図８に示されたフローチャートは、本発明に係る視点位置決定プログラムに対応する。
(Outline of operation)
Hereinafter, the operation of the device according to the present embodiment and the outline of the method executed by the device will be described with reference to the effects produced by the configuration of the present embodiment and the flowcharts shown in FIGS. 5 to 8. To do. In addition, in FIGS. 5 to 8, "step" is simply abbreviated as "S". The flowcharts shown in FIGS. 5 to 8 are included in the above display control program. In particular, the flowcharts shown in FIGS. 5, 7, and 8 correspond to the viewpoint position determination program according to the present invention.
（視点位置初期設定）
ＨＵＤ装置１９２において、目的の前景に重畳コンテンツを違和感なく重畳表示させるためには、表示制御用の視点位置ＥＬを適切に設定することが重要である。この点、例えば、運転者Ｐが自車両に乗車してから運転開始までの間に、不図示のナビゲーションシステムにおける目的地の設定等の、運転外動作を行う場合がある。かかる運転外動作中は、視点位置ＥＬおよび視線方向が、運転状態のものとは一致せず、且つ比較的大きく変動する。このような運転外動作中における、ＤＳＭ−ＥＣＵ１８３による視点位置ＥＬの検出結果をそのまま用いて表示画像制御を行うと、運転者Ｐに違和感を与えるような表示状態となる可能性がある。一方、運転者Ｐが運転外動作を終了するまで表示制御用の視点位置ＥＬの決定を待機すると、運転開始直後から重畳コンテンツを表示させることが困難となる。
(Initial setting of viewpoint position)
In the
ここで、運転者情報は、運転者Ｐが自車両に乗車する際、具体的には、運転者Ｐが運転席に着座する前に、取得可能である。そこで、本実施形態においては、視点決定処理部２５４は、視点位置ＥＬと運転者情報とを対応付けて記憶する視点データベース２５１と、運転者情報取得部２５２にて取得した運転者情報とに基づいて、表示制御用の視点位置ＥＬを決定する。これにより、運転者Ｐに対応した視点位置ＥＬがあらかじめ視点データベース２５１に格納されていれば、運転外動作中か否かにかかわらず、運転開始時点で表示制御用の視点位置ＥＬを決定済みとすることができる。したがって、運転開始直後から重畳コンテンツを良好に表示させることが可能となる。なお、「運転開始時点」とは、例えば、運転者Ｐがシフトポジションを「Ｐ」から「Ｎ」以外の他の走行可能ポジションに変更した時点である。
Here, the driver information can be acquired when the driver P gets on the own vehicle, specifically, before the driver P sits in the driver's seat. Therefore, in the present embodiment, the viewpoint
運転者Ｐに対応した視点位置ＥＬがあらかじめ視点データベース２５１に格納されていない場合があり得る。この場合、視点データベース２５１と運転者情報取得部２５２にて取得した運転者情報とに基づいては、表示制御用の視点位置ＥＬを決定することができない。また、何らかの理由、例えば、スマートキーの電池切れ等により、運転者Ｐの認証に失敗する場合があり得る。この場合も、視点データベース２５１と運転者情報取得部２５２にて取得した運転者情報とに基づいては、表示制御用の視点位置ＥＬを決定することができない。
The viewpoint position EL corresponding to the driver P may not be stored in the
そこで、これらの場合、視点決定処理部２５４は、自車両に乗車している運転者Ｐにおける視点位置ＥＬの検出結果を、表示制御用の視点位置ＥＬとして決定する。あるいは、視点決定処理部２５４は、所定の視点位置ＥＬの既定値を、表示制御用の視点位置ＥＬとして決定する。
Therefore, in these cases, the viewpoint
表示制御装置２０は、運転者Ｐが自車両の運転席に着座し且つ運転席のドアが閉じられた状態で、自車両の不図示のイグニッションスイッチがオンされると、図５に示された視点位置初期設定ルーチンを起動する。かかるルーチンは、今回のトリップ開始時における、表示制御用の視点位置ＥＬの初期設定値を決定するルーチンである。「今回のトリップ」とは、今回のかかるルーチンの起動の契機となった上記のイグニッションスイッチのオン操作から、次にイグニッションスイッチがオフ操作されるまでの間の運転期間である。
The
かかるルーチンが起動されると、まず、処理部２０１は、ステップ５０１およびステップ５０２の処理を順に実行する。ステップ５０１にて、処理部２０１は、自車両に乗車している運転者Ｐの特定結果に対応する運転者情報を取得する。次に、ステップ５０２にて、処理部２０１は、運転者Ｐの特定が成功したか否かを判定する。すなわち、処理部２０１は、セキュリティＥＣＵ１６から運転者情報を取得できたか否かを判定する。
When such a routine is activated, first, the
運転者Ｐの特定が成功した場合（すなわちステップ５０２＝ＹＥＳ）、処理部２０１は、処理をステップ５０３に進行させる。ステップ５０３にて、処理部２０１は、今回特定された運転者Ｐに対応する、視点位置ＥＬの登録情報が、視点データベース２５１に格納されているか否かを判定する。
If the identification of the driver P is successful (that is, step 502 = YES), the
今回特定された運転者Ｐに対応する、視点位置ＥＬの登録情報が、視点データベース２５１に格納されている場合（すなわちステップ５０３＝ＹＥＳ）、処理部２０１は、処理をステップ５０４に進行させる。ステップ５０４にて、処理部２０１は、今回特定された運転者Ｐに対応する、視点位置ＥＬの登録情報を、視点データベース２５１から読み出す。そして、処理部２０１は、今回読み出した視点位置ＥＬの登録情報を、表示制御用の視点位置ＥＬの初期設定値として決定する。
When the registration information of the viewpoint position EL corresponding to the driver P identified this time is stored in the viewpoint database 251 (that is, step 503 = YES), the
運転者Ｐの特定が成功しなかった場合（すなわちステップ５０２＝ＮＯ）、処理部２０１は、ステップ５０５およびステップ５０６の処理を順に実行する。また、今回特定された運転者Ｐに対応する、視点位置ＥＬの登録情報が、視点データベース２５１に格納されていなかった場合（すなわちステップ５０３＝ＮＯ）、処理部２０１は、ステップ５０５およびステップ５０６の処理を順に実行する。
If the identification of the driver P is not successful (that is, step 502 = NO), the
ステップ５０５にて、処理部２０１は、ＤＳＭ−ＥＣＵ１８３による視点ＥＰすなわち視点位置ＥＬの検出結果を取得する。ステップ５０６にて、処理部２０１は、ＤＳＭ−ＥＣＵ１８３による視点ＥＰの検出が成功したか否かを判定する。すなわち、処理部２０１は、ＤＳＭ１８から視点位置ＥＬの検出結果を取得できたか否かを判定する。
In step 505, the
視点ＥＰの検出が成功した場合（すなわちステップ５０６＝ＹＥＳ）、処理部２０１は、処理をステップ５０７に進行させる。ステップ５０７にて、処理部２０１は、ＤＳＭ１８から取得した視点位置ＥＬの検出結果を、表示制御用の視点位置ＥＬの初期設定値として決定する。
If the detection of the viewpoint EP is successful (that is,
視点ＥＰの検出が成功しなかった場合（すなわちステップ５０６＝ＮＯ）、処理部２０１は、処理をステップ５０８に進行させる。ステップ５０８にて、処理部２０１は、視点位置ＥＬの既定値すなわち所定の既定位置を、表示制御用の視点位置ＥＬの初期設定値として決定する。既定値は、例えば、現在のシートポジションと、当該シートポジションにて運転席に乗車すると想定される標準的な運転者Ｐの体格とに基づいて、テーブルあるいはマップにより決定され得る。あるいは、既定値は、例えば、所定の基準体格から決定されたデフォルト値である。
If the detection of the viewpoint EP is unsuccessful (that is,
ステップ５０４、ステップ５０７、およびステップ５０８の処理の後、処理部２０１は、処理をステップ５０９に進行させる。ステップ５０９にて、処理部２０１は、ステップ５０４、ステップ５０７、またはステップ５０８にて決定された視点位置ＥＬの初期設定値に基づいて、拡大光学系１９２Ｂのアライメント調整制御を実行する。これにより、ＨＵＤ装置１９２による表示画像コンテンツの表示が可能となる。
After the processing of step 504, step 507, and step 508, the
（表示制御）
表示制御装置２０は、図５に示された視点位置初期設定ルーチンの終了後、所定時間（例えば１００ｍｓｅｃ）間隔で、図６に示されたＨＵＤ表示ルーチンを繰り返し起動する。かかるルーチンが起動されると、まず、ステップ６０１にて、処理部２０１は、所定のＨＵＤ表示条件が成立しているか否かを判定する。「ＨＵＤ表示条件」は、運転者Ｐが自車両の運転席に着座し且つ車体２に設けられた全ドアが閉じられた状態で、自車両の不図示のイグニッションスイッチがオンされていることを含む。
(Display control)
After the viewpoint position initialization routine shown in FIG. 5 is completed, the
ＨＵＤ表示条件が成立している場合（すなわちステップ６０１＝ＹＥＳ）、処理部２０１は、ステップ６０２〜ステップ６０５の処理を順に実行した後、本ルーチンを一旦終了する。ステップ６０２にて、処理部２０１は、描画情報を取得する。ステップ６０３にて、処理部２０１は、表示制御用の視点位置ＥＬを取得する。
When the HUD display condition is satisfied (that is, step 601 = YES), the
ステップ６０４にて、処理部２０１は、ステップ６０３にて取得した視点位置ＥＬに基づいて、表示画像光ＶＬを生成するための表示画像信号を生成する。すなわち、処理部２０１は、描画情報を今回取得した視点位置ＥＬを基準とした座標系に変換することで、重畳コンテンツが所定の重畳対象に重畳表示されるような表示画像情報を算出する。また、処理部２０１は、算出した表示画像情報に基づいて、プロジェクタ１９２Ａに出力するための表示画像信号を生成する。
In step 604, the
ステップ６０５にて、処理部２０１は、ステップ６０４にて生成した表示画像信号を、プロジェクタ１９２Ａに出力する。これにより、表示画像Ｖｉが表示される。なお、ステップ６０４およびステップ６０５の処理は、表示制御部２１６の動作に対応する。
In step 605, the
ＨＵＤ表示条件が成立していない場合（すなわちステップ６０１＝ＮＯ）、処理部２０１は、ステップ６０６の処理を順に実行した後、本ルーチンを一旦終了する。ステップ６０６にて、処理部２０１は、表示画像信号の出力を停止する。これにより、表示画像Ｖｉの表示が停止する。
When the HUD display condition is not satisfied (that is, step 601 = NO), the
（視点位置補正）
運転者Ｐの着座姿勢が、運転中に若干変化することがあり得る。例えば、運転中に、運転者Ｐの頭部が、運転席におけるヘッドレストから離れた状態とヘッドレストに密着した状態との間で変化することがあり得る。また、運転中に、運転者Ｐの頭部および／または胴体が、左右に若干傾くことがあり得る。すると、視点位置ＥＬが変動し得る。
(Viewpoint position correction)
The sitting posture of the driver P may change slightly during driving. For example, during driving, the head of the driver P may change between a state of being away from the headrest in the driver's seat and a state of being in close contact with the headrest. Also, during driving, the head and / or torso of driver P may be slightly tilted to the left or right. Then, the viewpoint position EL may fluctuate.
そこで、視点決定処理部２５４は、自車両に乗車している運転者Ｐにおける視点位置ＥＬの検出結果に基づいて、表示制御用の視点位置ＥＬを補正する。具体的には、視点決定処理部２５４は、表示制御用の視点位置ＥＬを、ＤＳＭ１８による視点位置ＥＬの検出結果により補正する。これにより、運転者Ｐに違和感を与えることを可及的に抑制することが可能となる。なお、このときの視点位置ＥＬの補正は、本実施形態においては、応答性の観点から、拡大光学系１９２Ｂのアライメント調整には反映させずに、表示画像情報算出の基準となる視点位置ＥＬに反映させる。
Therefore, the viewpoint
例えば、上記の通り、運転外動作中は、視点位置ＥＬおよび視線方向が、運転状態から比較的大きく変動し得る。また、運転中であっても、交差点あるいは踏切を通過する際の左右確認の際にも、視点位置ＥＬおよび視線方向が大きく変動し得る。バックミラーまたはサイドミラーによる自車両周囲の確認中、後退のための後方視認中、等も同様である。これらのような状況において、表示制御用の視点位置ＥＬを、ＤＳＭ１８による検出結果により補正すると、かえって運転者Ｐに違和感を与えてしまう場合があり得る。
For example, as described above, the viewpoint position EL and the line-of-sight direction may fluctuate relatively significantly from the driving state during the non-driving operation. Further, even during driving, the viewpoint position EL and the line-of-sight direction may fluctuate significantly when checking left and right when passing through an intersection or a railroad crossing. The same applies when checking the surroundings of the own vehicle with the rear-view mirror or the side mirror, while visually recognizing the rear for backward movement, and the like. In such a situation, if the viewpoint position EL for display control is corrected based on the detection result by the
そこで、視点決定処理部２５４は、自車両に乗車している運転者Ｐにおける視点位置ＥＬの検出結果に基づく視点位置ＥＬの補正を、補正禁止条件成立時に禁止する。すなわち、視点決定処理部２５４は、補正条件成立中に、ＤＳＭ１８による検出結果に基づいて、表示制御用の視点位置ＥＬを補正する。一方、視点決定処理部２５４は、補正禁止条件成立中は、表示制御用の視点位置ＥＬに対する、ＤＳＭ１８による検出結果に基づく補正を、禁止すなわち不実行とする。
Therefore, the viewpoint
補正条件は、ＨＵＤ表示条件が成立し、且つ、補正禁止条件が不成立であるという条件である。補正禁止条件は、運転外動作が生じやすい、運転開始前であることを含む。また、補正禁止条件は、視点決定処理部２５４により決定された最新の表示制御用の視点位置ＥＬと、ＤＳＭ１８による視点位置ＥＬの検出結果との差分が、閾値以上であることを含む。また、補正禁止条件は、運転者Ｐが、前景における所定範囲を視認中ではないことを含む。「所定範囲」は、例えば、投影範囲ＰＡに対応する範囲である。
The correction condition is a condition that the HUD display condition is satisfied and the correction prohibition condition is not satisfied. The correction prohibition condition includes that the operation outside the operation is likely to occur before the start of the operation. Further, the correction prohibition condition includes that the difference between the latest display control viewpoint position EL determined by the viewpoint
また、補正禁止条件は、自車両の運転状態が特定状態であることを含む。「特定状態」は、運転者Ｐの姿勢変動が発生しやすい運転状態であり、典型的には、カーブ走行中、右左折中、制動中、加減速中、発進時、停車時、等である。すなわち、「特定状態」は、例えば、操舵角、前後方向加速度、左右方向加速度、あるいはヨーレートが、閾値以上であることを含む。 In addition, the correction prohibition condition includes that the driving state of the own vehicle is a specific state. The "specific state" is a driving state in which the posture of the driver P is likely to fluctuate, and is typically a curve running, turning left or right, braking, accelerating or decelerating, starting, stopping, or the like. .. That is, the "specific state" includes, for example, that the steering angle, the front-rear direction acceleration, the left-right direction acceleration, or the yaw rate is equal to or higher than the threshold value.
本実施形態によれば、表示画像Ｖｉが視認可能な運転姿勢で運転者Ｐが通常の運転行動を行っていると想定される状況において、通常発生し得る視点位置ＥＬの変化に応じた緩やかな補正を行うことが可能となる。したがって、運転者Ｐに違和感を与えることを可及的に抑制することが可能となる。 According to the present embodiment, in a situation where it is assumed that the driver P is performing a normal driving behavior in a driving posture in which the displayed image Vi can be visually recognized, a gradual change according to a change in the viewpoint position EL that can normally occur. It is possible to make corrections. Therefore, it is possible to suppress giving a sense of discomfort to the driver P as much as possible.
図７は、表示制御用の視点位置ＥＬの補正処理の一例を示す。表示制御装置２０は、図７に示された視点位置補正ルーチンを、図６に示されたＨＵＤ表示ルーチンの起動直前に起動する。すなわち、表示制御装置２０は、かかる視点位置補正ルーチンを、図６に示されたＨＵＤ表示ルーチンと同一の所定時間（例えば１００ｍｓｅｃ）間隔で、繰り返し起動する。
FIG. 7 shows an example of the correction process of the viewpoint position EL for display control. The
かかるルーチンが起動されると、まず、ステップ７０１にて、処理部２０１は、現在のシフトポジションが走行可能ポジションであるか否かを判定する。「走行可能ポジション」は、自車両が０ｋｍ／ｈを超える車速で走行可能なシフトポジションであって、具体的には「Ｐ」以外且つ「Ｎ」以外のシフトポジションである。但し、例えば、自車両が、アイドリング状態で惰性走行する、いわゆる「コースティング」機能を有している場合があり得る。この場合、コースティング中のニュートラル状態も、「走行可能ポジション」に含まれる。
When such a routine is activated, first, in step 701, the
現在のシフトポジションが走行可能ポジションである場合（すなわちステップ７０１＝ＹＥＳ）、処理部２０１は、処理をステップ７０２に進行させる。一方、現在のシフトポジションが走行可能ポジションではない場合（すなわちステップ７０１＝ＮＯ）、処理部２０１は、ステップ７０２以降の処理をスキップして、本ルーチンを一旦終了する。
When the current shift position is a runnable position (that is, step 701 = YES), the
ステップ７０２にて、処理部２０１は、現在の自車両の車速が所定の車速閾値を超えるか否かを判定する。車速閾値は、例えば、０ｋｍ／ｈである。車速が車速閾値を超える場合（すなわちステップ７０２＝ＹＥＳ）、処理部２０１は、処理をステップ７０３に進行させる。一方、車速が車速閾値を超えない場合（すなわちステップ７０２＝ＮＯ）、処理部２０１は、ステップ７０３以降の処理をスキップして、本ルーチンを一旦終了する。
In step 702, the
ステップ７０３にて、処理部２０１は、ＤＳＭ−ＥＣＵ１８３による視点ＥＰすなわち視点位置ＥＬの検出結果を取得する。ステップ７０３の処理内容は、図５におけるステップ５０５の処理内容と同様である。その後、処理部２０１は、処理をステップ７０４に進行させる。
In step 703, the
ステップ７０４にて、処理部２０１は、ＤＳＭ−ＥＣＵ１８３による視点ＥＰの検出が成功したか否かを判定する。すなわち、処理部２０１は、ＤＳＭ１８から視点位置ＥＬの検出結果を取得できたか否かを判定する。ステップ７０４の処理内容は、図５におけるステップ５０６の処理内容と同様である。
In step 704, the
視点ＥＰの検出が成功した場合（すなわちステップ７０４＝ＹＥＳ）、処理部２０１は、処理をステップ７０５に進行させる。一方、視点ＥＰの検出が成功しなかった場合（すなわちステップ７０４＝ＮＯ）、処理部２０１は、ステップ７０５以降の処理をスキップして、本ルーチンを一旦終了する。
If the detection of the viewpoint EP is successful (that is, step 704 = YES), the
ステップ７０５にて、処理部２０１は、変動量ΔＥＬが変動閾値ΔＥＬｔｈ未満であるか否かを判定する。変動量ΔＥＬは、現在、すなわち、今回の視点位置補正ルーチン起動の直前の、表示制御用の視点位置ＥＬと、今回ステップ７０３にて取得された視点位置ＥＬとの差分である。すなわち、変動量ΔＥＬは、視点決定処理部２５４により決定された最新の表示制御用の視点位置ＥＬと、ＤＳＭ１８による最新の視点位置ＥＬの検出結果との差分である。
In step 705, the
変動量ΔＥＬが変動閾値ΔＥＬｔｈ未満である場合（すなわちステップ７０５＝ＹＥＳ）、処理部２０１は、処理をステップ７０６に進行させる。一方、変動量ΔＥＬが変動閾値ΔＥＬｔｈ以上である場合（すなわちステップ７０５＝ＮＯ）、処理部２０１は、ステップ７０６以降の処理をスキップして、本ルーチンを一旦終了する。
When the fluctuation amount ΔEL is less than the fluctuation threshold ΔELth (that is, step 705 = YES), the
ステップ７０６にて、処理部２０１は、運転者Ｐが前景における所定範囲を視認中であるか否かを判定する。運転者Ｐが前景における所定範囲を視認中である場合（すなわちステップ７０６＝ＹＥＳ）、処理部２０１は、処理をステップ７０７に進行させる。一方、運転者Ｐが前景における所定範囲を視認中ではない場合（すなわちステップ７０６＝ＮＯ）、処理部２０１は、ステップ７０７以降の処理をスキップして、本ルーチンを一旦終了する。
In step 706, the
ステップ７０７にて、処理部２０１は、操舵状態あるいは加減速状態を示すパラメータが閾値未満であるか否かを判定する。かかるパラメータは、例えば、操舵角、前後方向加速度、左右方向加速度、あるいはヨーレートである。
In
上記のパラメータが閾値未満である場合（すなわちステップ７０７＝ＹＥＳ）、処理部２０１は、処理をステップ７０８に進行させる。一方、上記のパラメータが閾値以上である場合（すなわちステップ７０７＝ＮＯ）、処理部２０１は、ステップ７０８の処理をスキップして、本ルーチンを一旦終了する。
If the above parameter is less than the threshold (ie, step 707 = YES), the
補正条件が成立する場合、処理がステップ７０８に進行する。ステップ７０８にて、処理部２０１は、ステップ７０３にて取得した、ＤＳＭ１８による視点位置ＥＬの検出結果に基づいて、表示制御用の視点位置ＥＬを補正する。これに対し、補正禁止条件が成立する場合、ステップ７０１、ステップ７０２、およびステップ７０４〜ステップ７０７のうちの、少なくとも１つが「ＹＥＳ」となり、ステップ７０８の処理がスキップされる。この場合、表示制御用の視点位置ＥＬの補正は行われない。
If the correction condition is satisfied, the process proceeds to step 708. In step 708, the
（データベース記憶内容更新）
図５に示されたルーチンの実行による視点位置ＥＬの初期設定値よりも、図７に示されたルーチンの実行による補正後の視点位置ＥＬの方が、実際の運転者Ｐの視点ＥＰの三次元位置に近い場合があり得る。
(Update database memory contents)
The corrected viewpoint position EL due to the execution of the routine shown in FIG. 7 is more than the initial setting value of the viewpoint position EL due to the execution of the routine shown in FIG. 5, and the third order of the viewpoint EP of the actual driver P. It may be close to the original position.
具体的には、例えば、視点位置ＥＬは、運転者Ｐの体格変化および服装変化によって、若干変化する。また、運転者Ｐに対応する視点位置ＥＬの、視点データベース２５１への最終格納日時から、今回の運転者Ｐによる自車両の運転日時までの間に、数か月以上の比較的長時間のブランクがある場合があり得る。かかるブランクの間に、運転者Ｐにて比較的大きな肥満あるいは痩身等の体格変化があると、初期設定値よりも今回の最新の補正後の値を用いた方が、より適切な重畳表示が可能となる。あるいは、夏季の薄着状態で登録された初期設定値よりも、冬季の厚着状態での今回の最新の補正後の値を用いた方が、より適切な重畳表示が可能となる。
Specifically, for example, the viewpoint position EL slightly changes due to a change in the physique and clothes of the driver P. Further, a relatively long blank of several months or more is performed between the last storage date and time of the viewpoint position EL corresponding to the driver P in the
そこで、記憶内容更新部２５５は、自車両に乗車している運転者Ｐにおける視点位置ＥＬの検出結果に基づく、表示制御用の視点位置ＥＬの補正結果により、視点データベース２５１における視点位置ＥＬの記憶内容を更新する。図８は、かかる更新処理に関するルーチンを示す。表示制御装置２０は、図８に示された視点位置格納ルーチンを、上記のイグニッションスイッチがオフされた時点で起動する。
Therefore, the storage
かかるルーチンが起動されると、まず、ステップ８０１にて、処理部２０１は、現在の運転者Ｐが既登録ユーザであるか否かを判定する。「既登録ユーザ」とは、運転者ＩＤが視点データベース２５１に登録済みであって運転者ＩＤと視点位置ＥＬとが対応付けられつつ格納済みである運転者Ｐである。今回のトリップ開始時にて、図５に示されたルーチンの実行の際に、ステップ５０３の判定が「ＹＥＳ」の場合、現在の運転者Ｐは既登録ユーザである。
When such a routine is activated, first, in step 801 the
現在の運転者Ｐが既登録ユーザである場合（すなわちステップ８０１＝ＹＥＳ）、処理部２０１は、処理をステップ８０２に進行させる。ステップ８０２にて、処理部２０１は、今回のトリップにて、図７に示されたルーチンにおけるステップ７０８の実行により、表示制御用の視点位置ＥＬの補正が行われたか否かを判定する。
When the current driver P is a registered user (that is, step 801 = YES), the
補正が行われた場合（すなわちステップ８０２＝ＹＥＳ）、処理部２０１は、ステップ８０３の処理を実行した後、本ルーチンを終了する。ステップ８０３にて、処理部２０１は、最新の視点位置ＥＬの補正結果、すなわち、最新の表示制御用の視点位置ＥＬを用いて、視点データベース２５１における視点位置ＥＬの記憶内容を更新する。一方、補正が行われなかった場合（すなわちステップ８０２＝ＮＯ）、処理部２０１は、ステップ８０３の処理をスキップして、本ルーチンを終了する。
When the correction is performed (that is, step 802 = YES), the
現在の運転者Ｐが既登録ユーザではない場合（すなわちステップ８０１＝ＮＯ）、処理部２０１は、処理をステップ８０４に進行させる。ステップ８０４にて、処理部２０１は、現在の運転者Ｐを新規登録するか否かを判定する。
When the current driver P is not a registered user (that is, step 801 = NO), the
新規登録する場合（すなわちステップ８０４＝ＹＥＳ）、処理部２０１は、ステップ８０５およびステップ８０６の処理を順に実行した後、本ルーチンを終了する。ステップ８０５にて、処理部２０１は、現在の運転者Ｐに対応する新規の運転者ＩＤを設定する。ステップ８０６にて、処理部２０１は、最新の視点位置ＥＬの決定結果を、ステップ８０５にて設定した新規の運転者ＩＤに対応付けつつ、視点データベース２５１に格納する。新規登録しない場合（すなわちステップ８０４＝ＮＯ）、処理部２０１は、ステップ８０５以降の処理をスキップして、本ルーチンを終了する。
In the case of new registration (that is, step 804 = YES), the
（まとめ）
このように、本実施形態によれば、表示制御用の視点位置ＥＬを、適切に決定することが可能となる。具体的には、例えば、運転開始直後から重畳コンテンツを良好に表示させることが可能となる。また、表示制御用の視点位置ＥＬを、適切なタイミングで補正することが可能となる。
(Summary)
As described above, according to the present embodiment, the viewpoint position EL for display control can be appropriately determined. Specifically, for example, it is possible to display the superimposed content satisfactorily immediately after the start of operation. Further, the viewpoint position EL for display control can be corrected at an appropriate timing.
（変形例）
本発明は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、相互に同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。
(Modification example)
The present invention is not limited to the above embodiment. Therefore, the above embodiment can be changed as appropriate. A typical modification will be described below. In the following description of the modified example, the differences from the above-described embodiment will be mainly described. Further, in the above-described embodiment and the modified example, the same reference numerals are given to the portions that are the same or equal to each other. Therefore, in the following description of the modified example, the description in the above embodiment may be appropriately incorporated with respect to the components having the same reference numerals as those in the above embodiment, unless there is a technical contradiction or a special additional explanation.
本発明は、上記実施形態にて示された具体的な装置構成に、何ら限定されるものではない。すなわち、例えば、車両１は、四輪自動車に限定されない。具体的には、車両１は、三輪自動車であってもよいし、貨物トラック等の六輪または八輪自動車でもよい。車両１の種類は、内燃機関のみを備えた自動車であってもよいし、内燃機関を備えない電気自動車または燃料電池車であってもよいし、いわゆるハイブリッド自動車であってもよい。車体２の形状および構造も、箱状すなわち平面視における略矩形状に限定されない。車両１の用途、ステアリングホイール７の位置、乗員数、等についても、特段の限定はない。
The present invention is not limited to the specific device configuration shown in the above embodiment. That is, for example, the vehicle 1 is not limited to a four-wheeled vehicle. Specifically, the vehicle 1 may be a three-wheeled vehicle, or a six-wheeled or eight-wheeled vehicle such as a freight truck. The type of the vehicle 1 may be an automobile having only an internal combustion engine, an electric vehicle or a fuel cell vehicle not having an internal combustion engine, or a so-called hybrid vehicle. The shape and structure of the vehicle body 2 are also not limited to a box shape, that is, a substantially rectangular shape in a plan view. There are no particular restrictions on the use of the vehicle 1, the position of the
車載システム１０を構成する通信規格としては、ＣＡＮ（国際登録商標）以外のもの、例えば、ＦｌｅｘＲａｙ（国際登録商標）等も採用され得る。また、車載システム１０を構成する通信規格は、一種類に限定されない。例えば、車載システム１０は、ＬＩＮ等の通信規格に準拠したサブネットワーク回線を有していてもよい。ＬＩＮはLocal Interconnect Networkの略である。かかるサブネットワーク回線は、上記のサブ通信回線として用いられ得る。
As the communication standard constituting the in-
車両状態センサ１１、外界状態センサ１２、および周辺監視センサ１３についても、上記の例示に限定されない。例えば、周辺監視センサ１３は、ソナーすなわち超音波センサを含んだ構成であってもよい。
The
ロケータ１４についても、上記の例示に限定されない。例えば、ロケータ１４は、ジャイロセンサおよび加速度センサを内蔵した構成ではなくてもよい。具体的には、慣性取得部１４２は、車両状態センサ１１としてロケータ１４の外部に設けられた角速度センサおよび加速度センサからの出力信号を受信するようになっていてもよい。
The
ＤＣＭ１５は、省略され得る。 DCM15 may be omitted.
運転者情報は、スマートキーの認証結果に限定されない。すなわち、例えば、運転者情報は、画像認識あるいは生体認識の結果であってもよい。具体的には、例えば、セキュリティＥＣＵ１６は、運転者Ｐの顔あるいは網膜パターンの画像認識による運転者Ｐの認証結果としての運転者情報を、車載通信回線１０Ａを介して表示制御装置２０等の各部に提供するように構成されていてもよい。
The driver information is not limited to the smart key authentication result. That is, for example, the driver information may be the result of image recognition or biometric recognition. Specifically, for example, the
セキュリティＥＣＵ１６に代えて、あるいはこれとともに、シートポジションメモリ機能を制御するパワーシートＥＣＵが設けられていてもよい。この場合、パワーシートＥＣＵは、不図示のシートポジション設定スイッチの操作状態に対応するシートポジション情報を、運転者情報として、車載通信回線１０Ａを介して表示制御装置２０等の各部に提供するように構成されていてもよい。かかる態様においては、設定されたシートポジションにて乗車可能な、標準的な体格の運転者Ｐにおける視点位置ＥＬが、初期設定値として用いられ得る。
A power seat ECU that controls the seat position memory function may be provided in place of or in combination with the
運転支援ＥＣＵ１７に代えて、あるいはこれとともに、自動運転ＥＣＵが設けられていてもよい。かかる自動運転ＥＣＵは、米国自動車技術会の規定する自動運転レベルにおける、レベル３以上の自動走行制御を可能にするように構成されている。
An automatic operation ECU may be provided in place of or in combination with the
ＤＳＭ１８は、車載通信回線１０Ａを介して、表示制御装置２０に接続されていてもよい。
The
ＨＵＤ装置１９２、特に、プロジェクタ１９２Ａ等の具体的な構造についても、特段の限定はない。すなわち、ＨＵＤ装置１９２は、車両１のフロントウィンドシールド４越しに視認される路面ＳＲに表示画像Ｖｉを重畳表示可能な構成であれば、いかなる構造のものでも、車載不可能等の技術的な矛盾がない限り、採用可能である。また、ＨＵＤ装置１９２による重畳表示可能な視野範囲である投影範囲ＰＡの位置、形状、大きさ等についても、特段の限定はない。すなわち、例えば、俯角ＡＤは、０または負の値であってもよい。あるいは、ＨＵＤ装置１９２は、フロントウィンドシールド４におけるほぼ全面にて前景との重畳表示が可能な、いわゆるウィンドシールドディスプレイ装置であってもよい。
The specific structure of the
上記実施形態において、表示制御装置２０は、ＣＰＵ等を備えていた。しかしながら、本発明は、かかる構成に限定されない。すなわち、例えば、表示制御装置２０は、ＧＰＵを備えていてもよい。ＧＰＵはGraphics Processing Unitの略である。あるいは、表示制御装置２０は、上記のような動作を可能に構成されたデジタル回路、例えばＡＳＩＣあるいはＦＰＧＡを備えた構成であってもよい。ＡＳＩＣはApplication Specific Integrated Circuitの略である。ＦＰＧＡはField Programmable Gate Arrayの略である。ＣＰＵとＡＳＩＣ等とは併存し得る。
In the above embodiment, the
本発明に係るプログラムは、ＤＣＭ１５等のＶ２Ｘ通信手段を介して、ダウンロードあるいはアップグレードされ得る。Ｖ２ＸはVehicle to Xの略である。あるいは、本発明に係るプログラムは、車両１の製造工場、整備工場、販売店、等に設けられた端末装置を介して、ダウンロードあるいはアップグレードされ得る。かかるプログラムの格納先は、メモリーカード、光学ディスク、磁気ディスク、等であってもよい。 The program according to the present invention can be downloaded or upgraded via a V2X communication means such as DCM15. V2X is an abbreviation for Vehicle to X. Alternatively, the program according to the present invention can be downloaded or upgraded via a terminal device provided in a manufacturing factory, a maintenance shop, a dealer, etc. of the vehicle 1. The storage destination of such a program may be a memory card, an optical disk, a magnetic disk, or the like.
このように、上記の各機能構成および方法は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、上記の各機能構成および方法は、これを実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。 Thus, each of the above functional configurations and methods is achieved by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. May be done. Alternatively, each of the above functional configurations and methods may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits. Alternatively, each of the above functional configurations and methods comprises a combination of a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers. Further, the computer program may be stored in a computer-readable non-transitional substantive storage medium as an instruction executed by the computer. That is, each of the above functional configurations and methods can be expressed as a computer program including a procedure for realizing the above, or as a non-transitional substantive storage medium that stores the program.
本発明は、上記実施形態にて示された具体的な機能構成および動作例に限定されない。例えば、位置情報取得部２１１は、ロケータ１４による複合測位結果と、フロントカメラ１３１による撮影画像の処理による道路区画線ＤＬの認識結果とに基づいて、自車両の現在位置を取得してもよい。あるいは、位置情報取得部２１１は、自車両の現在位置を運転支援ＥＣＵ１７から取得してもよい。
The present invention is not limited to the specific functional configuration and operation example shown in the above embodiment. For example, the position
視点データベース２５１は、表示制御装置２０の外部に設けられていてもよい。具体的には、例えば、視点データベース２５１は、ＤＳＭ１８に設けられていてもよい。あるいは、視点データベース２５１は、ＤＳＭ１８および表示制御装置２０からアクセス可能に、車載通信回線１０Ａあるいは車載通信回線１０Ａとは異なるサブ通信回線に接続されていてもよい。
The
上記実施形態において、検出視点取得部２５３は、ＤＳＭ−ＥＣＵ１８３による視点ＥＰの三次元位置の算出結果を、ＤＳＭ−ＥＣＵ１８３から車載通信回線１０Ａを介して取得した。すなわち、ＨＵＤ装置１９２による表示を実行する際の視点ＥＰを取得するために、運転者Ｐの状態を検知して注意喚起あるいは警告を行うためのＤＳＭ１８に設けられた車内カメラ１８１等の構成が流用されていた。しかしながら、本発明は、かかる態様に限定されない。
In the above embodiment, the detection
具体的には、例えば、車載システム１０にＤＳＭ１８が設けられない場合があり得る。この場合、ＨＵＤ装置１９２用の運転席撮影カメラが、車室３内に設けられ得る。また、この場合、視点ＥＰおよび視点位置ＥＬの検出は、表示制御装置２０における検出視点取得部２５３にて実行され得る。
Specifically, for example, the in-
図５〜図８のフローチャートも、適宜変更され得る。例えば、各ルーチンの起動条件は、上記の具体例から適宜変更され得る。ＨＵＤ表示条件についても同様である。 The flowcharts of FIGS. 5 to 8 can also be changed as appropriate. For example, the start conditions of each routine can be appropriately changed from the above specific example. The same applies to the HUD display conditions.
「閾値未満」は「閾値以下」に変更され得る。同様に、「閾値以上」と「閾値を超える」とは、相互に置換可能である。すなわち、「＜」と「≦」とは、相互に置換可能である。同様に、「＞」と「≧」とは、相互に置換可能である。各種の閾値についても、適宜変更可能である。 "Less than threshold" can be changed to "below threshold". Similarly, "above the threshold" and "exceed the threshold" are interchangeable. That is, "<" and "≦" can be replaced with each other. Similarly, ">" and "≧" can be replaced with each other. Various threshold values can be changed as appropriate.
ＡＲは、最広義には、実景に電子情報を重ね合わせて表示することを含む。このため、重畳コンテンツも非重畳コンテンツも、実景と併せて視認される限度において、最広義のＡＲコンテンツあるいはＡＲ表示物に含まれる。しかしながら、ＡＲコンテンツについて、重畳コンテンツを含む一方で非重畳コンテンツは含まない、狭義の解釈も可能である。この場合、非重畳コンテンツは、非ＡＲコンテンツあるいは非ＡＲ表示物と云い得る。 In the broadest sense, AR includes displaying electronic information superimposed on a real scene. Therefore, both the superposed content and the non-superimposed content are included in the AR content or the AR display object in the broadest sense as long as they can be visually recognized together with the actual scene. However, AR content can be interpreted in a narrow sense, including superimposed content but not non-superimposed content. In this case, the non-superimposed content can be said to be non-AR content or non-AR display object.
「取得」「算出」「推定」「検出」「検知」「決定」等の類似の表現とは、技術的に矛盾しない範囲内において、相互に適宜置換可能である。「検出」と「抽出」とも、技術的に矛盾しない範囲内において、適宜置換可能である。 Similar expressions such as "acquisition", "calculation", "estimation", "detection", "detection", and "determination" can be appropriately replaced with each other within a technically consistent range. Both "detection" and "extraction" can be appropriately replaced within a technically consistent range.
上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に本発明が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本発明が限定されることはない。 It goes without saying that the elements constituting the above-described embodiment are not necessarily essential except when it is clearly stated that they are essential and when they are clearly considered to be essential in principle. In addition, when numerical values such as the number, numerical value, quantity, and range of components are mentioned, unless it is clearly stated that they are indispensable, or when the number is clearly limited to a specific number in principle, the specification is specified. The present invention is not limited to the number of. Similarly, except when the shape, direction, positional relationship, etc. of the constituent elements are mentioned, when it is clearly stated that it is particularly essential, or when it is limited to a specific shape, direction, positional relationship, etc. in principle. The present invention is not limited to the shape, direction, positional relationship, and the like.
変形例も、上記の例示に限定されない。例えば、複数の実施形態が、技術的に矛盾しない限り、互いに組み合わされ得る。また、複数の変形例が、技術的に矛盾しない限り、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、技術的に矛盾しない限り、互いに組み合わされ得る。 Modifications are also not limited to the above examples. For example, multiple embodiments can be combined with each other as long as they are not technically inconsistent. Also, multiple variants can be combined with each other as long as they are not technically inconsistent. Further, all or part of the above embodiments and all or part of the modifications may be combined with each other as long as there is no technical conflict.
（方法およびプログラムに関する各観点）
上記実施形態および変形例によって示された本開示は、方法およびプログラムに関する以下の各観点を含む。なお、下記の各観点は、技術的に矛盾しない限り、互いに組み合わせて適用可能である。
(Each perspective on methods and programs)
The disclosure presented by the embodiments and variations described above includes the following perspectives on methods and programs. The following viewpoints can be applied in combination with each other as long as there is no technical contradiction.
第１の観点によれば、視点位置決定方法は、車両（１）のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における前記表示画像の表示制御に供される、前記車両の運転者（Ｐ）における視点位置（ＥＬ）を決定する方法であって、以下の処理を含む：
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得し、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、前記運転者情報取得部にて取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する。
また、視点位置決定プログラムは、車両（１）のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における前記表示画像の表示制御に供される、前記車両の運転者（Ｐ）における視点位置（ＥＬ）を決定するように構成された、視点位置決定装置（２０）により実行されるプログラムであって、
前記視点位置決定装置により実行される処理は、
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得する処理と、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、前記運転者情報取得部にて取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する処理と、
を含む。
According to the first aspect, the viewpoint position determining method is the method of determining the viewpoint position of the display image in the vehicle display device (192) for superimposing the display image on the foreground seen through the front windshield (4) of the vehicle (1). A method of determining a viewpoint position (EL) in the driver (P) of the vehicle, which is used for display control, and includes the following processing:
Acquire driver information corresponding to the specific result of the driver who is in the vehicle, and obtain driver information.
Based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the driver information acquired by the driver information acquisition unit, the display image is controlled to be displayed. The viewpoint position is determined.
Further, the viewpoint position determination program is used for display control of the display image in the vehicle display device (192) that superimposes and displays the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). , A program executed by the viewpoint position determining device (20) configured to determine the viewpoint position (EL) in the driver (P) of the vehicle.
The process executed by the viewpoint position determining device is
A process of acquiring driver information corresponding to a specific result of the driver who is in the vehicle, and
Based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the driver information acquired by the driver information acquisition unit, the display image is controlled to be displayed. And the process of determining the viewpoint position
including.
第２の観点によれば、前記視点位置を決定する処理は、前記視点データベースと取得した前記運転者情報とに基づいて前記表示画像の表示制御に供される前記視点位置を決定することができなかった場合、前記車両に乗車している前記運転者における前記視点位置の検出結果を、前記表示画像の表示制御に供される前記視点位置として決定する処理である。 According to the second viewpoint, the process of determining the viewpoint position can determine the viewpoint position to be used for display control of the display image based on the viewpoint database and the acquired driver information. If not, it is a process of determining the detection result of the viewpoint position by the driver who is in the vehicle as the viewpoint position to be used for display control of the display image.
第３の観点によれば、前記視点位置を決定する処理は、前記視点データベースと取得した前記運転者情報とに基づいて前記表示画像の表示制御に供される前記視点位置を決定することができなかった場合、所定の既定視点位置を、前記表示画像の表示制御に供される前記視点位置として決定する According to the third viewpoint, the process of determining the viewpoint position can determine the viewpoint position to be used for display control of the display image based on the viewpoint database and the acquired driver information. If not, a predetermined default viewpoint position is determined as the viewpoint position used for display control of the display image.
第４の観点は、前記車両に乗車している前記運転者における前記視点位置の検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正する処理を含む。 The fourth aspect includes a process of correcting the viewpoint position used for display control of the display image based on the detection result of the viewpoint position by the driver who is in the vehicle.
第５の観点は、前記車両に乗車している前記運転者における前記視点位置の検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する処理を含む。 The fifth aspect includes a process of prohibiting the correction of the viewpoint position based on the detection result of the viewpoint position by the driver in the vehicle when the correction prohibition condition is satisfied.
第６の観点によれば、前記補正禁止条件は、運転開始前であることを含む。 According to the sixth aspect, the correction prohibition condition includes that it is before the start of operation.
第７の観点によれば、前記補正禁止条件は、前記視点決定処理部により決定された最新の前記視点位置と、前記車両に乗車している前記運転者における前記視点位置の検出結果との差分が、閾値以上であることを含む。 According to the seventh aspect, the correction prohibition condition is the difference between the latest viewpoint position determined by the viewpoint determination processing unit and the detection result of the viewpoint position by the driver in the vehicle. Includes being greater than or equal to the threshold.
第８の観点によれば、前記補正禁止条件は、前記車両の運転状態が特定状態であることを含む。前記特定状態は、操舵角または加速度が閾値以上であることを含む。 According to the eighth aspect, the correction prohibition condition includes that the driving state of the vehicle is a specific state. The specific state includes that the steering angle or acceleration is equal to or greater than a threshold value.
第９の観点によれば、前記補正禁止条件は、前記車両に乗車している前記運転者が、前記前景における所定範囲を視認中ではないことを含む。 According to the ninth aspect, the correction prohibition condition includes that the driver in the vehicle is not visually recognizing a predetermined range in the foreground.
第１０の観点は、前記車両に乗車している前記運転者における前記視点位置の検出結果に基づく前記視点位置の補正結果により、前記視点データベースにおける前記視点位置の記憶内容を更新する処理を含む。 The tenth aspect includes a process of updating the stored contents of the viewpoint position in the viewpoint database by the correction result of the viewpoint position based on the detection result of the viewpoint position by the driver who is in the vehicle.
第１１の観点によれば、視点位置決定方法は、車両（１）のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における前記表示画像の表示制御に供される、前記車両の運転者（Ｐ）の視点位置（ＥＬ）を決定する方法であって、以下の処理を含む：
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得し、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正する。
また、視点位置決定プログラムは、車両（１）のフロントウィンドシールド（４）越しに視認される前景に表示画像を重畳表示する車両用表示装置（１９２）における前記表示画像の表示制御に供される、前記車両の運転者（Ｐ）における視点位置（ＥＬ）を決定するように構成された、視点位置決定装置（２０）により実行される、プログラムであって、
前記視点位置決定装置により実行される処理は、
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得する処理と、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正する処理と、
前記検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する、
を含む。
According to the eleventh viewpoint, the viewpoint position determination method is the method of determining the viewpoint position of the display image in the vehicle display device (192) that superimposes the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). A method of determining the viewpoint position (EL) of the driver (P) of the vehicle, which is used for display control, and includes the following processing:
Obtaining the detection result of the viewpoint position by the driver who is in the vehicle,
Based on the detection result, the viewpoint position used for display control of the display image is corrected.
Further, the viewpoint position determination program is used for display control of the display image in the vehicle display device (192) that superimposes and displays the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). , A program executed by a viewpoint position determining device (20) configured to determine a viewpoint position (EL) in the driver (P) of the vehicle.
The process executed by the viewpoint position determining device is
The process of acquiring the detection result of the viewpoint position by the driver who is in the vehicle, and
Based on the detection result, the process of correcting the viewpoint position used for the display control of the display image and the process of correcting the viewpoint position.
Correction of the viewpoint position based on the detection result is prohibited when the correction prohibition condition is satisfied.
including.
第１２の観点によれば、前記補正禁止条件は、運転開始前であることを含む。 According to the twelfth aspect, the correction prohibition condition includes that it is before the start of operation.
第１３の観点によれば、前記補正禁止条件は、前記視点決定処理部により決定された最新の前記視点位置と、前記車両に乗車している前記運転者における前記視点位置の検出結果との差分が、閾値以上であることを含む。 According to the thirteenth viewpoint, the correction prohibition condition is the difference between the latest viewpoint position determined by the viewpoint determination processing unit and the detection result of the viewpoint position by the driver in the vehicle. Includes being greater than or equal to the threshold.
第１４の観点によれば、前記補正禁止条件は、前記車両の運転状態が特定状態であることを含む。前記特定状態は、操舵角または加速度が閾値以上であることを含む。 According to the fourteenth aspect, the correction prohibition condition includes that the driving state of the vehicle is a specific state. The specific state includes that the steering angle or acceleration is equal to or greater than a threshold value.
第１５の観点によれば、前記補正禁止条件は、前記車両に乗車している前記運転者が、前記前景における所定範囲を視認中ではないことを含む。 According to the fifteenth aspect, the correction prohibition condition includes that the driver in the vehicle is not visually recognizing a predetermined range in the foreground.
１ 車両
４ フロントウィンドシールド
１９２ ヘッドアップディスプレイ装置（車両用表示装置）
２０ 表示制御装置（視点位置決定装置）
２１５ 視点位置取得部
２５１ 視点データベース
２５２ 運転者情報取得部
２５３ 検出視点取得部
２５４ 視点決定処理部
ＥＬ 視点位置
1
20 Display control device (viewpoint position determination device)
215 Viewpoint
Claims (19)
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得する、運転者情報取得部（２５２）と、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、前記運転者情報取得部にて取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する、視点決定処理部（２５４）と、
を備えた視点位置決定装置。 The driver (P) of the vehicle, which is used to control the display of the display image in the vehicle display device (192) that superimposes the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). ) Is a viewpoint position determining device (20) configured to determine the viewpoint position (EL).
A driver information acquisition unit (252) that acquires driver information corresponding to a specific result of the driver who is in the vehicle, and a driver information acquisition unit (252).
Based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the driver information acquired by the driver information acquisition unit, the display image is controlled to be displayed. The viewpoint determination processing unit (254) that determines the viewpoint position, and
A viewpoint position-fixing device equipped with.
請求項１に記載の視点位置決定装置。 The viewpoint determination processing unit could not determine the viewpoint position to be used for display control of the display image based on the viewpoint database and the driver information acquired by the driver information acquisition unit. In this case, the detection result of the viewpoint position by the driver who is in the vehicle is determined as the viewpoint position to be used for display control of the display image.
The viewpoint position determining device according to claim 1.
請求項１または２に記載の視点位置決定装置。 The viewpoint determination processing unit could not determine the viewpoint position to be used for display control of the display image based on the viewpoint database and the driver information acquired by the driver information acquisition unit. In this case, a predetermined default viewpoint position is determined as the viewpoint position used for display control of the display image.
The viewpoint position determining device according to claim 1 or 2.
請求項１〜３のいずれか１つに記載の視点位置決定装置。 The viewpoint determination processing unit corrects the viewpoint position used for display control of the display image based on the detection result of the viewpoint position by the driver in the vehicle.
The viewpoint position determining device according to any one of claims 1 to 3.
請求項４に記載の視点位置決定装置。 The viewpoint determination processing unit prohibits the correction of the viewpoint position based on the detection result of the viewpoint position by the driver in the vehicle when the correction prohibition condition is satisfied.
The viewpoint position determining device according to claim 4.
請求項５に記載の視点位置決定装置。 The correction prohibition condition includes that it is before the start of operation.
The viewpoint position determining device according to claim 5.
請求項５または６に記載の視点位置決定装置。 The correction prohibition condition is that the difference between the latest viewpoint position determined by the viewpoint determination processing unit and the detection result of the viewpoint position by the driver in the vehicle is equal to or more than a threshold value. Including,
The viewpoint position determining device according to claim 5 or 6.
前記特定状態は、操舵角または加速度が閾値以上であることを含む、
請求項５〜７のいずれか１つに記載の視点位置決定装置。 The correction prohibition condition includes that the driving state of the vehicle is a specific state.
The specific state includes that the steering angle or acceleration is equal to or greater than the threshold value.
The viewpoint position determining device according to any one of claims 5 to 7.
請求項５〜８のいずれか１つに記載の視点位置決定装置。 The correction prohibition condition includes that the driver in the vehicle is not visually recognizing a predetermined range in the foreground.
The viewpoint position determining device according to any one of claims 5 to 8.
請求項４〜９のいずれか１つに記載の視点位置決定装置。 A memory content update unit (255) that updates the stored content of the viewpoint position in the viewpoint database based on the correction result of the viewpoint position based on the detection result of the viewpoint position by the driver in the vehicle is further added. Prepared
The viewpoint position determining device according to any one of claims 4 to 9.
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得する、検出視点取得部（２５３）と、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正する、視点決定処理部（２５４）と、
を備え、
前記視点決定処理部は、前記車両に乗車している前記運転者における前記視点位置の前記検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する、
視点位置決定装置。 The driver (P) of the vehicle, which is used to control the display of the display image in the vehicle display device (192) that superimposes the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). ) Is a viewpoint position determining device (20) configured to determine the viewpoint position (EL).
A detection viewpoint acquisition unit (253) that acquires a detection result of the viewpoint position of the driver in the vehicle, and a detection viewpoint acquisition unit (253).
Based on the detection result, the viewpoint determination processing unit (254) that corrects the viewpoint position used for display control of the display image, and
With
The viewpoint determination processing unit prohibits the driver who is in the vehicle from correcting the viewpoint position based on the detection result of the viewpoint position when the correction prohibition condition is satisfied.
Viewpoint position determining device.
請求項１１に記載の視点位置決定装置。 The correction prohibition condition includes that it is before the start of operation.
The viewpoint position determining device according to claim 11.
請求項１１または１２に記載の視点位置決定装置。 The correction prohibition condition is that the difference between the latest viewpoint position determined by the viewpoint determination processing unit and the detection result of the viewpoint position by the driver in the vehicle is equal to or more than a threshold value. including,
The viewpoint position determining device according to claim 11 or 12.
前記特定状態は、操舵角または加速度が閾値以上であることを含む、
請求項１１〜１３のいずれか１つに記載の視点位置決定装置。 The correction prohibition condition includes that the driving state of the vehicle is a specific state.
The specific state includes that the steering angle or acceleration is equal to or greater than the threshold value.
The viewpoint position determining device according to any one of claims 11 to 13.
請求項１１〜１４のいずれか１つに記載の視点位置決定装置。 The correction prohibition condition includes that the driver in the vehicle is not visually recognizing a predetermined range in the foreground.
The viewpoint position determining device according to any one of claims 11 to 14.
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得し、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する、
視点位置決定方法。 The driver (P) of the vehicle, which is used to control the display of the display image in the vehicle display device (192) that superimposes the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). ) Is a viewpoint position determination method for determining the viewpoint position (EL).
Acquire driver information corresponding to the specific result of the driver who is in the vehicle, and obtain driver information.
Based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the acquired driver information, the viewpoint position to be used for display control of the display image is determined.
How to determine the viewpoint position.
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得し、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正し、
前記検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する、
視点位置決定方法。 The driver (P) of the vehicle, which is used to control the display of the display image in the vehicle display device (192) that superimposes and displays the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). ) Is a viewpoint position determination method for determining the viewpoint position (EL).
The detection result of the viewpoint position by the driver who is in the vehicle is acquired, and the detection result is obtained.
Based on the detection result, the viewpoint position used for display control of the display image is corrected.
Correction of the viewpoint position based on the detection result is prohibited when the correction prohibition condition is satisfied.
How to determine the viewpoint position.
前記視点位置決定装置により実行される処理は、
前記車両に乗車している前記運転者の特定結果に対応する運転者情報を取得する処理と、
前記視点位置と前記運転者情報とを対応付けて記憶する視点データベース（２５１）と、取得した前記運転者情報とに基づいて、前記表示画像の表示制御に供される前記視点位置を決定する処理と、
を含む視点位置決定プログラム。 The driver (P) of the vehicle used to control the display of the display image in the vehicle display device (192) that superimposes and displays the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). A viewpoint position determination program executed by a viewpoint position determination device (20) configured to determine the viewpoint position (EL) in the above.
The process executed by the viewpoint position determining device is
A process of acquiring driver information corresponding to a specific result of the driver who is in the vehicle, and
A process of determining the viewpoint position to be used for display control of the display image based on the viewpoint database (251) that stores the viewpoint position and the driver information in association with each other and the acquired driver information. When,
Viewpoint position-fixing program including.
前記視点位置決定装置により実行される処理は、
前記車両に乗車している前記運転者における前記視点位置の検出結果を取得する処理と、
前記検出結果に基づいて、前記表示画像の表示制御に供される前記視点位置を補正する処理と、
前記検出結果に基づく前記視点位置の補正を、補正禁止条件成立時に禁止する処理と、
を含む視点位置決定プログラム。 The driver (P) of the vehicle used to control the display of the display image in the vehicle display device (192) that superimposes and displays the display image on the foreground that is visually recognized through the front windshield (4) of the vehicle (1). A viewpoint position determination program executed by a viewpoint position determination device (20) configured to determine the viewpoint position (EL) in the above.
The process executed by the viewpoint position determining device is
The process of acquiring the detection result of the viewpoint position by the driver who is in the vehicle, and
Based on the detection result, the process of correcting the viewpoint position used for the display control of the display image and the process of correcting the viewpoint position.
A process of prohibiting the correction of the viewpoint position based on the detection result when the correction prohibition condition is satisfied, and
Viewpoint position-fixing program including.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019153141A JP7115443B2 (en) | 2019-08-23 | 2019-08-23 | Viewpoint Position Determination Device, Viewpoint Position Determination Method, and Viewpoint Position Determination Program |
| PCT/JP2020/029895 WO2021039317A1 (en) | 2019-08-23 | 2020-08-04 | Viewpoint position determination device, viewpoint position determination method, and viewpoint position determination program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019153141A JP7115443B2 (en) | 2019-08-23 | 2019-08-23 | Viewpoint Position Determination Device, Viewpoint Position Determination Method, and Viewpoint Position Determination Program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021030888A true JP2021030888A (en) | 2021-03-01 |
| JP7115443B2 JP7115443B2 (en) | 2022-08-09 |
Family
ID=74678474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019153141A Active JP7115443B2 (en) | 2019-08-23 | 2019-08-23 | Viewpoint Position Determination Device, Viewpoint Position Determination Method, and Viewpoint Position Determination Program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7115443B2 (en) |
| WO (1) | WO2021039317A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005096664A (en) * | 2003-09-26 | 2005-04-14 | Nippon Seiki Co Ltd | Display device for vehicle |
| JP2011073496A (en) * | 2009-09-29 | 2011-04-14 | Nippon Seiki Co Ltd | Onboard three-dimensional display device and onboard three-dimensional display method |
| JP2012040902A (en) * | 2010-08-16 | 2012-03-01 | Toyota Motor Corp | Viewpoint location computation device |
| JP2016014861A (en) * | 2014-06-09 | 2016-01-28 | 日本精機株式会社 | Head-up display device |
| JP2017185988A (en) * | 2016-04-01 | 2017-10-12 | 株式会社デンソー | Device for vehicle, program for vehicle, and filter design program |
| WO2018043513A1 (en) * | 2016-09-05 | 2018-03-08 | マクセル株式会社 | Image display device for vehicle |
-
2019
- 2019-08-23 JP JP2019153141A patent/JP7115443B2/en active Active
-
2020
- 2020-08-04 WO PCT/JP2020/029895 patent/WO2021039317A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005096664A (en) * | 2003-09-26 | 2005-04-14 | Nippon Seiki Co Ltd | Display device for vehicle |
| JP2011073496A (en) * | 2009-09-29 | 2011-04-14 | Nippon Seiki Co Ltd | Onboard three-dimensional display device and onboard three-dimensional display method |
| JP2012040902A (en) * | 2010-08-16 | 2012-03-01 | Toyota Motor Corp | Viewpoint location computation device |
| JP2016014861A (en) * | 2014-06-09 | 2016-01-28 | 日本精機株式会社 | Head-up display device |
| JP2017185988A (en) * | 2016-04-01 | 2017-10-12 | 株式会社デンソー | Device for vehicle, program for vehicle, and filter design program |
| WO2018043513A1 (en) * | 2016-09-05 | 2018-03-08 | マクセル株式会社 | Image display device for vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021039317A1 (en) | 2021-03-04 |
| JP7115443B2 (en) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11008016B2 (en) | Display system, display method, and storage medium | |
| WO2018100619A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
| JP6990248B2 (en) | Display control device, display control method and program | |
| EP3235690B1 (en) | Display device for vehicle | |
| CN111279689B (en) | Display system, display method, and storage medium | |
| WO2018087862A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
| JP6922425B2 (en) | Vehicle display control device and display control program | |
| WO2021145170A1 (en) | Driving control device and hmi control device | |
| JP2021026693A (en) | Display control apparatus, display control method, and display control program | |
| US20240149900A1 (en) | Hmi control device and storage medium thereof | |
| CN110462699B (en) | Display control device for vehicle and display unit for vehicle | |
| JP7243516B2 (en) | Display controller and display control program | |
| JP7375735B2 (en) | Operation control device and HMI control device, and operation control program and HMI control program | |
| WO2021020033A1 (en) | Display control device, display control method, and display control program | |
| CN112937567A (en) | Information presentation device for autonomous vehicle | |
| WO2021039317A1 (en) | Viewpoint position determination device, viewpoint position determination method, and viewpoint position determination program | |
| US20230001947A1 (en) | Information processing apparatus, vehicle, and information processing method | |
| US20220379727A1 (en) | Hmi control device and non-transitory computer readable storage medium | |
| JP2021059278A (en) | Display control device and information processing device | |
| US20220063650A1 (en) | Onboard display control device, onboard display device, display control method, and display control program | |
| JP2021039007A (en) | Display control device, display control method, and display control program | |
| JP6996542B2 (en) | Vehicle display control device and vehicle display unit | |
| JP7380418B2 (en) | Driving assistance devices and programs | |
| JP2022140026A (en) | Image processing device, image processing method and program | |
| US20240140417A1 (en) | Controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7115443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |