JP2021049987A - Information providing device, information providing method, and control program for providing information - Google Patents
Information providing device, information providing method, and control program for providing information Download PDFInfo
- Publication number
- JP2021049987A JP2021049987A JP2020211402A JP2020211402A JP2021049987A JP 2021049987 A JP2021049987 A JP 2021049987A JP 2020211402 A JP2020211402 A JP 2020211402A JP 2020211402 A JP2020211402 A JP 2020211402A JP 2021049987 A JP2021049987 A JP 2021049987A
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- information
- provided information
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000033001 locomotion Effects 0.000 claims description 24
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 230000008859 change Effects 0.000 description 49
- 238000013459 approach Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 9
- 210000000695 crystalline len Anatomy 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000004886 head movement Effects 0.000 description 5
- 230000004907 flux Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
Abstract
Description
本発明は、情報提供装置、情報提供方法及び情報提供用制御プログラムに関するものである。 The present invention relates to an information providing device, an information providing method, and an information providing control program.
この種の情報提供装置としては、運転者を乗せて移動する車両、船舶、航空機、産業用ロボットなどの移動体の運転者に対して情報を提供するための画像を表示するヘッドアップディスプレイ（ＨＵＤ）装置等を利用したものが知られている。 This type of information providing device is a head-up display (HUD) that displays an image for providing information to a driver of a moving object such as a vehicle, a ship, an aircraft, or an industrial robot that carries a driver. ) Those using devices are known.
特許文献１には、フロントガラス等（光透過部材）に画像光を投射し、フロントガラスを介して車両（移動体）の運転者が視認する前方風景に重ねて画像を表示させるＨＵＤ装置が開示されている。このＨＵＤ装置では、道路を模式的に表した道路画像の虚像を前方風景内の実際の道路に重ねて表示したり、その道路画像の虚像近傍に道路標識等を表した道路標識画像の虚像を表示したりする。
このようなＨＵＤ装置を用いて画像を表示することにより所定の運転者提供情報を運転者に提供する場合、すでに表示されている運転者提供情報よりも優先して運転者へ情報提供すべき情報（優先運転者提供情報）がある。例えば、予め設定された目的地までのルートを案内するためのルートナビゲーション画像（運転者提供情報画像）を表示するＨＵＤ装置では、先行車両が所定の要ブレーキ距離まで近づくなどブレーキ操作（緊急操作）をすべきことを運転者へ指示する緊急操作指示情報は、ルートナビゲーション画像よりも優先して運転者へ情報提供すべき優先運転者提供情報である。 When providing predetermined driver-provided information to a driver by displaying an image using such a HUD device, information to be provided to the driver in preference to the already displayed driver-provided information. (Information provided by priority drivers). For example, in a HUD device that displays a route navigation image (driver-provided information image) for guiding a route to a preset destination, a braking operation (emergency operation) such that the preceding vehicle approaches a predetermined braking distance is required. The emergency operation instruction information for instructing the driver to do the above is the priority driver-provided information that should be provided to the driver with priority over the route navigation image.
このような優先運転者提供情報を示す優先運転者提供情報画像は、運転者に迅速かつ明確に認識させる必要があることから、運転者が高い頻度で視認する箇所に表示させることが重要である。このような箇所には、一般に、通常の運転者提供情報の中でも比較的重要度の高い運転者提供情報の画像が表示されているので、その箇所に優先運転者提供情報画像を表示させる場合には、当該通常の運転者提供情報が表示できなくなる。このとき、当該通常の運転者提供情報を示す画像（通常運転者提供情報画像）を非表示にすると、優先運転者提供情報画像が表示されているときに重要な運転者提供情報を運転者が確認できず、運転者を困惑させる結果を招く。 Since it is necessary for the driver to quickly and clearly recognize such a priority driver-provided information image showing the priority driver-provided information, it is important to display it in a place where the driver frequently sees it. .. In general, an image of driver-provided information, which is relatively important among ordinary driver-provided information, is displayed in such a place. Therefore, when displaying a priority driver-provided information image in that place, Will not be able to display the normal driver-provided information. At this time, if the image showing the normal driver-provided information (normal driver-provided information image) is hidden, the driver can display important driver-provided information when the priority driver-provided information image is displayed. It cannot be confirmed, resulting in confusion for the driver.
上述した課題を解決するために、本発明は、移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリアに表示させるように、該光透過部材へ画像光を投射する画像光投射手段を備えた情報提供装置であって、所定の優先運転者提供情報表示条件に従って、通常運転者提供情報画像が表示される箇所に、該通常運転者提供情報画像に代えて、該通常運転者提供情報画像に係る通常の運転者提供情報よりも運転者への情報提供が優先される優先運転者提供情報を示す優先運転者提供情報画像を表示させるように、前記画像光投射手段を制御する表示制御手段を有し、前記表示制御手段は、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該箇所とは異なる箇所に表示させるように、前記画像光投射手段を制御することを特徴とする。 In order to solve the above-mentioned problems, the present invention presents a driver-provided information image showing the driver-provided information provided to the driver of the moving body, which is visually recognized by the driver via a light transmitting member in front of the moving body in the traveling direction. An information providing device provided with an image light projecting means for projecting image light onto the light transmitting member so as to be displayed in a predetermined display area of the above, and provided by a normal driver in accordance with a predetermined priority driver providing information display condition. In the place where the information image is displayed, the priority driver who gives priority to the provision of information to the driver over the information provided by the normal driver related to the information image provided by the normal driver instead of the information image provided by the normal driver. The display control means for controlling the image light projection means is provided so as to display the priority driver provided information image indicating the provided information, and the display control means causes the priority driver provided information image to be displayed at the location. It is characterized in that the image light projection means is controlled so that the information image provided by the normal driver is displayed at a place different from the place for at least a part of the period.
本発明によれば、通常運転者提供情報画像が表示されていた箇所に優先運転者提供情報画像を表示させる場合でも、当該通常の運転者提供情報を運転者へ提供することが可能となるという優れた効果が奏される。 According to the present invention, even when the priority driver-provided information image is displayed at the place where the normal driver-provided information image is displayed, the normal driver-provided information can be provided to the driver. Excellent effect is produced.
以下、本発明を、情報提供装置としての自動車用ヘッドアップディスプレイ（ＨＵＤ）装置を含んだ運転者情報提供システムに適用した一実施形態について説明する。
図１は、フロントガラス３０２越しに運転者３００から見る自車両３０１の前方風景に重ねて表示エリア７００に表示される虚像Ｇの一例を示す説明図である。
図２は、本実施形態における自動車用ＨＵＤ装置を搭載した自動車の構成を模式的に表した模式図である。
図３は、本実施形態における自動車用ＨＵＤ装置の内部構成を模式的に表した模式図である。
Hereinafter, an embodiment in which the present invention is applied to a driver information providing system including an automobile head-up display (HUD) device as an information providing device will be described.
FIG. 1 is an explanatory view showing an example of a virtual image G displayed in the
FIG. 2 is a schematic view schematically showing the configuration of an automobile equipped with the automobile HUD device according to the present embodiment.
FIG. 3 is a schematic view schematically showing the internal configuration of the automobile HUD device according to the present embodiment.
本実施形態における自動車用ＨＵＤ装置２００は、例えば、移動体としての走行体である自車両３０１のダッシュボード内に設置される。ダッシュボード内の自動車用ＨＵＤ装置２００から発せられる画像光である投射光Ｌが光透過部材としてのフロントガラス３０２で反射され、運転者３００に向かう。これにより、運転者３００は、後述するナビゲーション画像等のＨＵＤ表示画像を虚像として視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者に虚像を視認させるように構成してもよい。
The
本実施形態においては、運転者３００から虚像Ｇまでの距離が５ｍ以上となるように、自動車用ＨＵＤ装置２００の光学系等が構成されている。従来の一般的な自動車用ＨＵＤ装置は、運転者３００から虚像Ｇまでの距離が２ｍ程度であった。運転者３００は、通常、車両前方の無限遠点を注視しているか、数十ｍ先の先行車を注視している。このような遠方に焦点を合わせている運転者３００が２ｍ先の虚像Ｇを視認しようとする場合、焦点距離が大きく異なるので、眼球の水晶体を大きく動かす必要がある。そのため、虚像Ｇに焦点を合わせるまでの焦点調整時間が長くなり、虚像Ｇの内容を認識するまでに時間がかかるうえ、運転者３００の眼球が疲労しやすいという不具合が生じる。また、虚像Ｇの内容に運転者が気付きにくく、虚像Ｇによって情報を運転者へ適切に提供することが困難である。
In the present embodiment, the optical system of the
本実施形態のように虚像Ｇまでの距離が５ｍ以上であれば、従来よりも、眼球の水晶体を動かす量が減り、虚像Ｇへの焦点調整時間を短縮して虚像Ｇの内容を早期に認識できるようになり、また運転者３００の眼球の疲労を軽減することができる。更には、虚像Ｇの内容に運転者が気付きやすくなり、虚像Ｇによって情報を運転者へ適切に提供することが容易になる。
If the distance to the virtual image G is 5 m or more as in the present embodiment, the amount of movement of the crystalline lens of the eyeball is reduced, the focus adjustment time to the virtual image G is shortened, and the content of the virtual image G is recognized at an early stage. It becomes possible to reduce the eye fatigue of the
自動車用ＨＵＤ装置２００は、ＨＵＤ本体２３０内に、赤色、緑色、青色のレーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂと、各レーザー光源に対して設けられるコリメータレンズ２０２，２０３，２０４と、２つのダイクロイックミラー２０５，２０６と、光量調整部２０７と、光走査手段としての光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とから構成されている。本実施形態における光源ユニット２２０は、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂ、コリメータレンズ２０２，２０３，２０４、ダイクロイックミラー２０５，２０６が、光学ハウジングによってユニット化されている。
The
レーザー光源２０１Ｒ，２０１Ｇ，２０１ＢとしてはＬＤ（半導体レーザ素子）を利用することができる。赤色レーザー光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザー光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザー光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。
LDs (semiconductor laser elements) can be used as the
本実施形態の自動車用ＨＵＤ装置２００は、マイクロレンズアレイ２１０上に結像される中間像を自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂから発せられる各色レーザー光は、それぞれ、コリメータレンズ２０２，２０３，２０４で略平行光とされ、２つのダイクロイックミラー２０５，２０６により合成される。合成されたレーザー光は、光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって二次元走査される。光走査装置２０８で二次元走査された走査光Ｌ’は、自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、中間像を描画する。
The
なお、本実施形態では、中間像の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材として、マイクロレンズアレイ２１０を用いているが、他の光発散部材を用いてもよい。また、中間像Ｇ’の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。
In the present embodiment, the
ただし、大きな虚像Ｇを高い輝度で表示させるには、本実施形態のようにレーザー走査方式が好ましい。
また、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、虚像Ｇが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両３０１の前方風景の視認性が悪いというデメリットがある。これに対し、本実施形態のようにレーザー走査方式によれば、虚像Ｇの表示領域内の非画像部分については、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂを消灯させることにより当該非画像部分に光が照射されるのを完全に遮断することができる。よって、当該非画像部分を通じた自車両３０１の前方風景の視認性が自動車用ＨＵＤ装置２００から照射される光によって低下する事態を回避でき、前方風景の視認性が高いというメリットがある。
However, in order to display the large virtual image G with high brightness, the laser scanning method as in the present embodiment is preferable.
Further, in the method using a liquid crystal display (LCD) or a vacuum fluorescent display (VFD), a small amount of light is irradiated to the non-image portion in the display area where the virtual image G is displayed, and this is completely blocked. Is difficult. Therefore, there is a demerit that the visibility of the front scenery of the
更に、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、表示エリア７００内に表示されている各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御が必要になる。このように表示エリア７００内の一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザー走査方式が好適である。液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、表示エリア７００内に表示されている警告画像以外の画像についても輝度が高まってしまい、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという効果が十分に得られないからである。
Further, when the brightness of the warning image for giving a warning to the driver is gradually increased to increase the degree of warning, only the brightness of the warning image among the various images displayed in the
光走査装置２０８は、ＭＥＭＳ（Micro Electro Mechanical Systems）等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザー光を二次元走査（ラスタスキャン）する。ミラーの駆動制御は、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂの発光タイミングに同期して行われる。光走査装置２０８は、本実施形態の構成に限らず、例えば、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーからなるミラー系で構成してもよい。
The
図４は、本実施形態の自動車用ＨＵＤ装置２００における制御系のハードウェアブロック図である。
自動車用ＨＵＤ装置２００の制御系は、主に、ＦＰＧＡ２５１、ＣＰＵ２５２、ＲＯＭ２５３、ＲＡＭ２５４、Ｉ／Ｆ２５５、バスライン２５６、ＬＤドライバ２５７、ＭＥＭＳコントローラー２５８を備えている。ＦＰＧＡ２５１は、ＬＤドライバ２５７により、光源ユニット２２０のレーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂを動作制御し、ＭＥＭＳコントローラー２５８により、光走査装置２０８のＭＥＭＳ２０８ａを動作制御する。ＣＰＵ２５２は、自動車用ＨＵＤ装置２００の各機能を制御する。ＲＯＭ２５３は、ＣＰＵ２５２が自動車用ＨＵＤ装置２００の各機能を制御するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。Ｉ／Ｆ２５５は、外部コントローラー等と通信するためのインターフェイスであり、例えば、自車両３０１のＣＡＮ（Controller Area Network）を介して、後述の物体認識装置１００、車両ナビゲーション装置４００、各種センサ５００等に接続される。
FIG. 4 is a hardware block diagram of the control system in the
The control system of the
図５は、本実施形態における運転者情報提供システムの概略構成を示すブロック図である。
本実施形態においては、虚像Ｇによって運転者へ提供する運転者提供情報を取得する情報取得手段として、物体認識装置１００、車両ナビゲーション装置４００、センサ装置５００などが設けられている。本実施形態における自動車用ＨＵＤ装置２００は、主に、画像光投射手段としてのＨＵＤ本体２３０と、表示制御手段としての画像制御装置２５０とから構成される。本実施形態における情報取得手段は自車両３０１に搭載されているが、自車両３０１の外部に設置されている情報取得手段を用いて当該情報取得手段が取得した情報を通信手段を介して入力する構成であってもよい。
FIG. 5 is a block diagram showing a schematic configuration of the driver information providing system according to the present embodiment.
In the present embodiment, an
図６は、本実施形態における物体認識装置１００のハードウェア構成を示す説明図である。
本実施形態の物体認識装置１００は、自車両３０１の前方領域を撮像領域として撮像する撮像手段としてのステレオカメラ部１１０と、ステレオカメラ部１１０によって撮像した撮像画像データに基づいて撮像領域内に存在する所定の認識対象物を認識する画像処理を実行する画像処理手段としての情報処理部１２０とから構成されている。なお、ステレオカメラ部１１０に代えて、撮像手段としての単眼カメラと測距手段としてのレーザレーダ（ミリ波レーダ）とを組み合わせた構成を採用してもよい。
FIG. 6 is an explanatory diagram showing a hardware configuration of the
The
ステレオカメラ部１１０は、左目用となる第１のカメラ部１１０Ａと、右目用となる第２のカメラ部１１０Ｂとの、２台のカメラ部が平行に組みつけられて構成されている。各カメラ部１１０Ａ，１１０Ｂは、それぞれレンズ１１５、画像センサ１１６、センサコントローラ１１７を備えている。画像センサ１１６は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）で構成されるイメージセンサを用いることができる。センサコントローラ１１７は、画像センサ１１６の露光制御、画像読み出し制御、外部回路との通信および画像データの送信制御等を行う。ステレオカメラ部１１０は、自車両３０１のフロントガラス３０２のルームミラー付近に設置される。
The
情報処理部１２０は、データバスライン１２１、シリアルバスライン１２２、ＣＰＵ（Central Processing Unit）１２３、ＦＰＧＡ（Field-Programmable Gate Array）１２４、ＲＯＭ（Read Only Memory）１２５、ＲＡＭ（Random Access Memory）１２６、シリアルＩＦ（Interface）１２７、およびデータＩＦ１２８を有している。
The
ステレオカメラ部１１０は、データバスライン１２１およびシリアルバスライン１２２を介して情報処理部１２０と接続されている。ＣＰＵ１２３は、ステレオカメラ部１１０の各センサコントローラ１１７の制御、情報処理部１２０全体の動作、画像処理等を実行制御する。各カメラ部１１０Ａ，１１０Ｂの画像センサ１１６で撮像された撮像画像の輝度画像データは、データバスライン１２１を介して情報処理部１２０のＲＡＭ１２６に書き込まれる。ＣＰＵ１２３またはＦＰＧＡ１２４からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、および各種設定データ等は、シリアルバスライン１２２を介して送受信される。
The
ＦＰＧＡ１２４は、ＲＡＭ１２６に保存された画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って、視差画像を生成し、ＲＡＭ１８に再度書き込む。ＲＯＭ１２５には、車両や歩行者等の立体物、あるいは、路面上の白線等の車線境界線や路面側部に存在する縁石や中央分離帯などの所定の認識対象物を認識するための認識プログラムが記憶されている。認識プログラムは、画像処理プログラムの一例である。
The
ＣＰＵ１２３は、データＩＦ１２８を介して、例えば自車両３０１のＣＡＮを介して、車速、加速度、舵角、ヨーレート等のＣＡＮ情報を、センサ装置５００から取得する。そして、ＣＰＵ１２３は、ＲＯＭ１２５に記憶されている認識プログラムに従って、ＲＡＭ１２６に記憶されている輝度画像および視差画像を用いて画像処理を実行し、例えば先行車両３５０や車線境界線等の認識対象物の認識を行う。
The
認識対象物の認識結果データは、シリアルＩＦ１２７を介して、例えば、画像制御装置２５０、車両走行制御ユニット等の外部機器へ供給される。車両走行制御ユニットは、認識対象物の認識結果データを用いて、自車両３０１のブレーキ制御、速度制御、ステアリング制御などを行い、例えば、予め設定された車間距離を維持するように自車両３０１を先行車両に自動追尾させるクルーズコントロールや、前方の障害物との衝突を回避、軽減するための自動ブレーキ制御などを実現する。
The recognition result data of the recognition target object is supplied to an external device such as an
本実施形態における車両ナビゲーション装置４００は、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇに表示させるルートナビゲーション画像を生成するために必要な情報が出力され、この情報は画像制御装置２５０に入力される。例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向などの情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から画像制御装置２５０に入力されることで、画像制御装置２５０の制御の下、自動車用ＨＵＤ装置２００によって、走行レーン指示画像７１１、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３などのナビゲーション画像が、表示エリア７００の上段表示領域Ａや中段表示領域Ｂに表示される。
As the
また、図１に示した画像例では、表示エリア７００の下段表示領域Ｃに、道路の固有情報（道路名、制限速度等）を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置４００から画像制御装置２５０に入力される。画像制御装置２５０は、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を、自動車用ＨＵＤ装置２００によって表示エリア７００の下段表示領域Ｃに表示させる。
Further, in the image example shown in FIG. 1, an image showing unique information of the road (road name, speed limit, etc.) is displayed in the lower display area C of the
本実施形態におけるセンサ装置５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況などを示す各種情報を検出するための１又は２以上のセンサで構成されている。センサ装置５００からは、虚像Ｇとして表示させる画像を生成するために必要なセンシング情報が出力され、このセンシング情報は画像制御装置２５０に入力される。例えば、図１に示した画像例には、自車両３０１の車速を示す車速表示画像７０４（図１では「８３ｋｍ／ｈ」という文字画像）を、表示エリア７００の下段表示領域Ｃに表示させる。そのため、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ装置５００から画像制御装置２５０に入力され、画像制御装置２５０の制御の下、自動車用ＨＵＤ装置２００によって当該車速を示す文字画像が表示エリア７００の下段表示領域Ｃに表示される。
The
センサ装置５００は、自車両３０１の車速を検出するセンサ以外にも、例えば、自車両３０１の周囲（前方、側方、後方）に存在する他車両、歩行者、建造物（ガードレールや電柱等）との距離を検出するレーザーレーダー装置や撮像装置、自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ、運転者３００の運転動作（ブレーキ走査、アクセル開閉度等）を検出するためのセンサ、自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ、エンジンやバッテリー等の各種車載機器の状態を検出するセンサなどが挙げられる。このような情報をセンサ装置５００で検出して画像制御装置２５０へ送ることで、それらの情報を虚像Ｇとして自動車用ＨＵＤ装置２００により表示して運転者３００へ提供することができる。
In addition to the sensor that detects the vehicle speed of the
図７は、画像制御装置２５０の主要なハードウェアを示すハードウェアブロック図である。
画像制御装置２５０は、ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、入力用データＩＦ２５４、および出力用データＩＦ２５５が、データバスラインによって互いに接続されている。入力用データＩＦ２５４には、物体認識装置１００から出力される各種認識結果データ、センサ装置５００から出力されるセンシング情報、車両ナビゲーション装置４００から出力される各種情報などが入力される。出力用データＩＦ２５５からは、自動車用ＨＵＤ装置２００の制御信号等が出力される。ＣＰＵ２５１は、ＲＯＭ２５３等に記憶されている情報提供用制御プログラムなどの各種コンピュータプログラムを実行して、画像制御装置２５０に後述する各種制御や各種処理を行わせる。
FIG. 7 is a hardware block diagram showing the main hardware of the
In the
次に、自動車用ＨＵＤ装置２００によって表示される虚像Ｇについて説明する。
本実施形態における自動車用ＨＵＤ装置２００において、虚像Ｇによって運転者へ提供する運転者提供情報は、運転者にとって有用な情報であればどのような情報であってもよい。本実施形態では、運転者提供情報を受動情報と能動情報とに大別している。受動情報とは、自動車用ＨＵＤ装置２００の設定タイミングで運転者へ提供されるべき情報であり、例えば、情報が提供されるタイミングと情報の内容との間に一定の関係性をもつ情報が挙げられる。一方、能動情報とは、運転者の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低い又は無いような情報である。
Next, the virtual image G displayed by the
In the
受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報などが挙げられる。運転時の安全性に関わる情報としては、例えば、自車両３０１と先行車両３５０との車間距離情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（運転者に緊急操作を指示する緊急操作指示情報などの警告情報あるいは注意喚起情報等）などが挙げられる。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供されるものである。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報などが挙げられる。進路変更操作指示情報としては、具体的には、当該交差点等においていずれの進路をとるべきかの進路指定を行う進路指定情報（進路指定画像７２１）、その進路変更操作を行う交差点等までの残り距離情報（残り距離画像７２２）、当該交差点等の名称情報（交差点等名称画像７２３）などが挙げられる。
Examples of passive information include information related to safety during driving and route navigation information. Information related to safety during driving includes, for example, inter-vehicle distance information between the
能動情報としては、主に、運転者の希望するタイミングで運転者が取得する情報が挙げられ、そのため、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報などが挙げられる。道路の固有情報としては、例えば、その道路名情報（道路名表示画像７０１）、その道路の制限速度等の規制内容情報（制限速度表示画像７０２、追い越し禁止表示画像７０３）、その他当該道路に関わる情報として運転者にとって有用なものが挙げられる。
The active information mainly includes information acquired by the driver at a timing desired by the driver, and therefore is information that is continuously displayed for a long period of time or at all times. For example, unique information on the road on which the
本実施形態では、このようにして大別される受動情報と能動情報を、虚像Ｇを表示可能な表示エリア７００内のそれぞれ対応する表示領域に表示させる。具体的には、本実施形態では、表示エリア７００を上下方向に３つの表示領域に区分し、そのうちの上段表示領域Ａと中段表示領域Ｂには受動情報に対応する受動情報画像を表示し、下段表示領域Ｃには能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段表示領域Ａや中段表示領域Ｂに表示させてもよいが、その場合には上段表示領域Ａや中段表示領域Ｂに表示される受動情報画像の視認性を優先するように能動情報画像を表示する。
In the present embodiment, the passive information and the active information which are roughly classified in this way are displayed in the corresponding display areas in the
本実施形態の受動情報には、ルートナビゲーション情報等のように運転者３００への操作指示内容を示す操作指示情報が含まれる。このような操作指示情報を運転者へ提供する場合、通常、直近の操作指示内容を示す操作指示画像だけでなく、その後の操作指示内容を示す操作指示画像も併せて表示させることが、運転者の不安（その後はどのような操作を行うことになるのかが不明であることによる不安）を解消できる点で好ましい。図１に示す例においても、直近の交差点で走行すべき走行レーンを指示する走行レーン指示画像７１１と一緒に、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示画像７２１，７２２，７２３が表示されている。
The passive information of the present embodiment includes operation instruction information indicating the content of the operation instruction to the
このように、操作順序が異なる複数の操作指示画像、すなわち、走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３とを、表示エリア７００内に同時期に表示させる場合、各操作指示画像が示す操作指示内容の操作順序を運転者が迷ってしまうような事態をできるだけ回避することが望まれる。
In this way, when displaying a plurality of operation instruction images having different operation orders, that is, the traveling
そこで、本実施形態においては、操作順序が異なる複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示画像ほど、表示エリア７００内の上側に表示されるように画像表示制御を行っている。すなわち、走行レーン指示画像７１１よりも操作順序が後になる進路変更操作指示画像７２１，７２２，７２３を、当該走行レーン指示画像７１１よりも上側に表示させている。これにより、走行レーン指示画像７１１の操作指示内容と進路変更操作指示画像７２１，７２２，７２３の操作指示内容について、運転者が操作順序を迷ってしまうような事態を回避することができる。これは、次の理由による。
Therefore, in the present embodiment, the image display control is performed so that a plurality of operation instruction images having different operation orders are displayed on the upper side in the
運転中の運転者３００は、通常、進行する自車両３０１の前方に位置する物体は時間の経過により現在位置に向かって近づいてくるという距離の観念を持っている。一方、運転者３００は、未来の出来事は時間の経過により現在時刻に向かって近づいてくるという時間の観念も持っている。進行する自車両３０１の前方に存在する物体は、自車両３０１までの距離が近いほど自車両３０１の位置に到達するまでの時間が早く、自車両３０１までの距離が遠いほど自車両３０１の位置に到達までの時間が遅い。そのため、進行する自車両３０１から前方へ遠く離れた物体は、遠い未来の出来事との間で認知の親和性が高く、進行する自車両３０１の前方近くに位置する物体は、より近い未来の出来事との間で認知の親和性が高い。
The driving
この親和性を考慮し、進行する自車両３０１から前方へ遠く離れた物体が視認される位置に重なるように、遠い未来の操作指示画像（操作順序が後になる操作指示内容を示す操作指示画像、すなわち、進路変更操作指示画像７２１，７２２，７２３）を表示させ、進行する自車両３０１の前方近くに位置する物体が視認される位置に重なるように、より近い未来（現在を含む。）の操作指示画像（操作順序が先になる操作指示内容を示す操作指示画像、すなわち、走行レーン指示画像７１１）を表示させれば、これらの操作指示内容の操作順序を運転者に直感的に認知させることができる。
In consideration of this affinity, an operation instruction image in the distant future (an operation instruction image showing the operation instruction content whose operation order is later) so as to overlap the position where an object far ahead from the traveling
ここで、運転中の運転者３００は、上述したとおり、自車両前方の無限遠点を注視しているか、数十ｍ先を走行している先行車両３５０の背面を注視しているのが通常であり、その注視点は、おおよそ、フロントガラス３０２から見える前方風景の鉛直方向中央近辺である。本実施形態においては、操作順序が異なる走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３とが表示される表示エリア７００を、フロントガラス３０２から見える前方風景の下部に位置決めしている。よって、走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３とは、運転者３００の注視点よりも下側で、前方風景に重なるように表示されることになる。運転者３００の注視点よりも下側の前方風景部分は、自車両３０１から遠い地点の物体ほど上側で視認され、自車両３０１に近い地点の物体ほど下側で視認される。
Here, as described above, the
よって、本実施形態においては、走行レーン指示画像７１１よりも操作順序が後になる進路変更操作指示画像７２１，７２２，７２３を、当該走行レーン指示画像７１１よりも上側に表示させている。具体的には、進行する自車両３０１から前方へ遠く離れた物体の視認位置に重なる表示エリア７００の上段表示領域Ａに、操作順序が後になる進路変更操作指示画像７２１，７２２，７２３を表示させ、進行する自車両３０１の前方近くに位置する物体の視認位置に重なる表示エリア７００の中段表示領域Ｂに、操作順序が先になる走行レーン指示画像７１１を表示させている。これにより、上述した認知の親和性の高さから、これらの操作指示内容の操作順序を運転者に直感的に認知させることができ、運転者が操作順序を迷ってしまうような事態を回避することができる。
Therefore, in the present embodiment, the course change
なお、逆に、この認知の親和性を考慮せずに、例えば、走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３の表示位置を、本実施形態とは上下逆の位置にしたり、横並びにしたりすると、運転者は、上述した距離の観念及び時間の観念が邪魔して、その操作順序を直感的に認知することが困難となる。
On the contrary, without considering this cognitive affinity, for example, the display positions of the traveling
また、この認知の親和性を利用し、本実施形態では、操作順序が同じ操作指示内容に関わる複数の操作指示画像については横並びに配置するようにしている。具体的には、上段表示領域Ａに表示される３つの進路変更操作指示画像７２１，７２２，７２３については、いずれも、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報を示すものであるため、上段表示領域Ａ内に横並びで配置している。上述した距離の観念及び時間の観念によれば、同じ上下方向位置に横並びに配置された３つの進路変更操作指示画像７２１，７２２，７２３は、同じ時期の操作指示内容に関する情報であることうを直感的に認知しやすい。よって、進路変更操作指示画像７２１，７２２，７２３の情報を適切に認識することができる。
Further, utilizing this cognitive affinity, in the present embodiment, a plurality of operation instruction images related to operation instruction contents having the same operation order are arranged side by side. Specifically, for the three course change
また、本実施形態においては、表示エリア７００に表示される虚像Ｇとして、立体視を用いて表現された立体視画像を用いている。具体的には、表示エリア７００の中段表示領域Ｂに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現される遠近法画像を用いている。
Further, in the present embodiment, a stereoscopic image expressed by using stereoscopic vision is used as the virtual image G displayed in the
詳しくは、車間距離提示画像７１２を構成する５本の横線の長さを上側に向かうほど短くなるようにして、車間距離提示画像７１２を１つの消失点に向かうように透視図法により作図された遠近法画像としている。特に、本実施形態では、その消失点が運転者の注視点近傍に定まるように車間距離提示画像７１２が表示されることから、運転中の運転者３００に車間距離提示画像７１２の奥行き感を知覚させやすい。また、本実施形態では、更に、横線の太さが上側に向かうほど細くしたり、横線の輝度が上側に向かうほど低くなったりするようにした遠近法画像としている。これによって、運転中の運転者３００には、車間距離提示画像７１２の奥行き感を更に知覚させやすくなる。
Specifically, the lengths of the five horizontal lines constituting the inter-vehicle
このような立体視画像を利用して表示エリア７００に表示される虚像Ｇに奥行き感を出すことで、表示エリア７００に表示される画像の上下方向位置と前方風景内の物体までの距離との関連性を運転者が知覚しやすくなる。その結果、上述した認知の親和性がより得られやすくなり、表示エリア７００の中段表示領域Ｂに表示される走行レーン指示画像７１１の操作指示内容の方が、表示エリア７００の上段表示領域Ａに表示される進路変更操作指示画像７２１，７２２，７２３よりも先に操作すべき内容であることを、運転者は直感的に認識しやすくなる。
By giving a sense of depth to the virtual image G displayed in the
また、走行レーン指示画像７１１についても、車間距離提示画像７１２と同様、車間距離提示画像７１２の消失点と同様の地点が消失点となるように透視図法により作図されている。ただし、走行レーン指示画像７１１は、運転者へ操作指示内容を提供するという側面を有する。そのため、より奥行き感を出すことよりも、走行レーン指示画像７１１の操作指示内容がより明確に運転者へ提供されることを優先する場合には、例えば、走行レーン指示画像７１１を構成する３つの矢印画像を、その矢印の先端に向かうにつれて輝度が高くなるようにしてもよい。この場合、走行レーン指示画像７１１は上側に向かうほど輝度が低くなってしまうため、上側に向かうほど輝度を低くする方が奥行き感を出しやすいことから、奥行き感を高めることはできないが、矢印先端の輝度を高めることで、矢印の向きの視認性が高まり、走行レーン指示画像７１１の操作指示内容をより明確に運転者へ提供することが可能となる。なお、この場合であっても、走行レーン指示画像７１１が透視図法により作図されていることから、奥行き感が大きく損なわれるようなことはない。
Further, the traveling
また、本実施形態では、更に奥行き感を出すため、虚像Ｇを、運動視差により表現される運動視差画像としている。運動視差とは、運転者３００の目の位置（視点）が移動することによって生じる視差を意味する。運動視差による奥行き感は、運転者３００の目の位置が移動するときに、前方風景内における近い物体ほど大きく動き、遠い物体ほど動きが少ないように視認される動きのズレから、運転者３００が各物体までの距離（奥行き感）を知覚するものである。
Further, in the present embodiment, the virtual image G is a motion parallax image expressed by motion parallax in order to give a feeling of depth. The motion parallax means the parallax caused by the movement of the eye position (viewpoint) of the
本実施形態では、図２に示したように、運転者３００の目の位置（視点）を観測するための運転者カメラ１５０が自車両３０１のフロントガラス３０２のルームミラー付近に設置されている。運転者カメラ１５０の設置位置は、運転者３００の上下左右の動きを精度よく取得するため、運転席に座る運転者３００の正中線に近くであるのが好ましい。ただし、運転者３００の視界を遮らないように、例えば上方の位置に配置するのが好ましい。
In the present embodiment, as shown in FIG. 2, a
運転者カメラ１５０は、運転席に座る運転者３００が運転中に頭部を動かすことが想定される範囲を撮像領域として撮像するように設定されている単眼カメラであり、ステレオカメラ部１１０の各カメラ部１１０Ａ，１１０Ｂと同様、レンズ、画像センサ、センサコントローラ等から構成されている。運転者カメラ１５０として、ステレオカメラを用い、運転者の目の位置の前後方向位置も把握するようにしてもよい。
The
運転者カメラ１５０で撮像された撮像画像の輝度画像データは、画像制御装置２５０に入力される。画像制御装置２５０は、ＣＰＵ２５１がＲＯＭ２５３等に記憶されている情報提供用制御プログラムを実行することにより、運転者カメラ１５０からの輝度画像データに基づき、運転者３００の目の位置を認識する。本実施形態では、簡易的に、運転者カメラ１５０からの輝度画像データに基づいて運転者３００の頭部位置を認識し、その認識結果から運転者３００の目の位置を推定する。運転者３００の頭部位置の認識方法は、一般的な認識処理方法を広く採用することができる。
The luminance image data of the captured image captured by the
図８は、本実施形態における運動視差によって奥行き感を出した虚像Ｇの画像処理方法を説明するための説明図である。
図８に示すように、運転者３００の頭部がＤｄだけ移動した場合、運転者３００から近い距離Ｌａに位置する物体Ｏａの視認位置はＤａだけ移動し、運転者３００から遠い距離Ｌｂに位置する物体Ｏｂの視認位置はＤａよりも少ないＤｂだけ移動し、運転者３００から更に遠い距離Ｌｃに位置する物体Ｏｃの視認位置はＤｂよりも更に少ないＤｃだけ移動する。これらの物体Ｏａ，Ｏｂ，Ｏｃ間における視認位置の移動量Ｄａ，Ｄｂ，Ｄｃの違いにより、運転者３００は、物体Ｏａが距離Ｌａだけ離れた位置に存在し、物体Ｏｂが距離Ｌｂだけ離れた位置に存在し、物体Ｏｃが距離Ｌｃだけ離れた位置に存在することを知覚することができる。
FIG. 8 is an explanatory diagram for explaining an image processing method of a virtual image G that gives a sense of depth by motion parallax in the present embodiment.
As shown in FIG. 8, when the head of the
本実施形態における虚像Ｇは、運転者３００から距離５ｍの位置に表示されるものであり、虚像Ｇ上におけるいずれの画像部分も、運転者３００から距離５ｍの位置に表示される。本実施形態では、上述した運動視差を用いることによって、虚像Ｇ上における複数の画像部分を互いに異なる距離に表示されているかのように、運転者３００へ知覚させるものである。
The virtual image G in the present embodiment is displayed at a distance of 5 m from the
具体的には、画像制御装置２５０は、所定の時間間隔で、運転者カメラ１５０で撮像された撮像画像の輝度画像データに基づいて運転者３００の頭部位置を認識する。そして、画像制御装置２５０は、当該時間間隔の間に運転者３００の頭部が移動した運転者頭部移動量Ｄｄを算出する。このとき、距離５ｍに表示される虚像Ｇの視認位置は、Ｄａだけ移動することになる。
Specifically, the
本実施形態では、下段表示領域Ｃに表示される画像部分は、表示エリア７００内の表示位置が固定されている。そのため、下段表示領域Ｃに表示される画像部分の視認位置は、虚像Ｇの移動量と同じ移動量Ｄａだけ移動する。よって、下段表示領域Ｃに表示される画像部分は、距離Ｌａ（５ｍ）に表示されているように運転者３００に知覚されることになる。
In the present embodiment, the display position of the image portion displayed in the lower display area C is fixed in the
一方、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄに応じて、虚像Ｇの表示エリア７００のうちの中段表示領域Ｂに表示される画像部分については、表示エリア７００内を運転者の頭部移動方向とは逆方向へＤａ−Ｄｂだけ移動させる。これにより、中段表示領域Ｂに表示される画像部分については、運転者３００から見た視認位置が移動量Ｄｂだけ移動するものになる。その結果、中段表示領域Ｂに表示される画像部分は、距離Ｌｂに表示されているように運転者３００に知覚されることになる。
On the other hand, the
同様に、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄに応じて、虚像Ｇの表示エリア７００のうちの上段表示領域Ａに表示される画像部分については、表示エリア７００内を運転者の頭部移動方向とは逆方向へＤａ−Ｄｃだけ移動させる。これにより、上段表示領域Ａに表示される画像部分については、運転者３００から見た視認位置が移動量Ｄｃだけ移動するものになる。その結果、上段表示領域Ａに表示される画像部分は、距離Ｌｃに表示されているように運転者３００に知覚されることになる。
Similarly, the
以上のようにして、運転者頭部移動量Ｄｄに応じて上段表示領域Ａ及び中段表示領域Ｂに表示される画像部分の視認位置の移動量Ｄｂ，Ｄｃを制御しながら虚像Ｇを投影することにより、運転者３００は、下段表示領域Ｃの画像部分（道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等）よりも遠い位置に中段表示領域Ｂの画像部分（走行レーン指示画像７１１、車間距離提示画像７１２等）が表示され、中段表示領域Ｂの画像部分よりも更に遠い位置に上段表示領域Ａの画像部分（進路変更操作指示画像７２１，７２２，７２３等）が表示されているように知覚する。このように、同じ距離に表示される虚像Ｇ上の画像部分を、異なる距離に表示されているかのように運転者３００に知覚させることができるので、虚像Ｇの奥行き感を出すことができる。
As described above, the virtual image G is projected while controlling the movement amounts Db and Dc of the visual position of the image portion displayed in the upper display area A and the middle display area B according to the movement amount Dd of the driver's head. As a result, the
特に、本実施形態では、中段表示領域Ｂの画像部分を上下方向へ複数区分し、運転者頭部移動量Ｄｄに応じて区分ごとに移動量を異ならせることにより、中段表示領域Ｂ内の上側に位置する画像部分ほど遠くに表示されるように知覚させている。これにより、中段表示領域Ｂに表示される車間距離提示画像７１２及び走行レーン指示画像７１１について、遠近法による表現だけでなく、運動視差も利用する結果、更に奥行き間を出すことができる。
In particular, in the present embodiment, the image portion of the middle display area B is divided into a plurality of images in the vertical direction, and the movement amount is different for each division according to the driver's head movement amount Dd, so that the upper side in the middle display area B is divided. The image part located in is perceived to be displayed farther. As a result, the inter-vehicle
図９は、直近の交差点で進路変更する状況の画像例を示す説明図である。
直近の交差点で進路変更する状況になったら、図１に示す画像例から、図９に示すような画像例に切り替わる。すなわち、中段表示領域Ｂに表示されていた走行レーン指示画像７１１に代えて、図１に示す画像例で上段表示領域Ａに表示されていた進路指定画像７２１と同様の進路指定画像７１７を、中段表示領域Ｂに表示させる。これにより、運転者３００は、次の交差点や分岐点で中段表示領域Ｂに表示された進路指定画像７２１の操作指示内容に従って操作すればよいことを認識することができる。
FIG. 9 is an explanatory diagram showing an example of an image of a situation in which a course is changed at the nearest intersection.
When the course is changed at the nearest intersection, the image example shown in FIG. 1 is switched to the image example shown in FIG. That is, instead of the traveling
また、図９に示す画像例では、図１に示す画像例で上段表示領域Ａに表示されていた進路指定画像７２１の位置に、中段表示領域Ｂに表示される進路指定画像７１７に運転者３００の視線を誘導するための下向きマーク画像７２５を表示させる。これにより、運転者３００に、中段表示領域Ｂに表示される進路指定画像７１７を認識させやすくなる。
Further, in the image example shown in FIG. 9, the
次に、先行車両３５０との車間距離が狭まっていることを示す前車接近情報を運転者へ知らせるための車間距離提示画像７１２や先行車両画像７２４の表示制御について説明する。
本実施形態においては、前記物体認識装置１００や前記センサ装置５００によって先行車両３５０との車間距離を認識する。そして、画像制御装置２５０は、その認識結果データ（前方間隔情報）を受け取り、この認識結果データに基づいて、上段表示領域Ｂに表示される先行車両画像７２４や中段表示領域Ｂに表示される車間距離提示画像７１２の輝度、色彩、画像形状等を変更する画像表示制御を実行する。本実施形態では、車間距離提示画像７１２や先行車両画像７２４の変化によって、これを視認する運転者３００に対し、先行車両３５０との車間距離がどの程度狭まっているのかを知らせる。
Next, display control of the inter-vehicle
In the present embodiment, the
〔画像例１〕
図１０（ａ）〜（ｅ）は、先行車両３５０との車間距離に応じて前車接近情報を示す画像が変化する画像例（以下、本画像例を「画像例１」という。）を示す説明図である。
本画像例１において、先行車両３５０が認識されない場合、画像制御装置２５０は、図１０（ａ）に示すように、中段表示領域Ｂ内に、上側に向かうほど長さが短くかつ輝度が低くなる５本の横線からなる全体的に低輝度の車間距離提示画像７１２を表示させる。一方、上段表示領域Ａ内には、車両ナビゲーション装置４００から出力されるルートナビゲーション情報に従った進路変更操作指示画像７２１，７２２，７２３を表示させる。
[Image example 1]
10 (a) to 10 (e) show an image example (hereinafter, this image example is referred to as "image example 1") in which the image showing the approach information of the preceding vehicle changes according to the distance between the vehicle and the preceding vehicle 350. It is explanatory drawing.
In the first image example 1, when the preceding vehicle 350 is not recognized, the
また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲を超えるほど空いている場合には、画像制御装置２５０は、図１０（ｂ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２の輝度を高める表示制御を実施する。更に、本画像例１では、車間距離提示画像７１２の一番下の横線画像に代えて、線の太さを太くし、かつ、その両端を下方外側に向けて延伸させた自車両バンパー画像７１２ａに形状変更させる表示制御を実施する。この自車両バンパー画像は、自車両３０１のフロントバンパーを運転者３００に想起させるものである。
Further, when the preceding vehicle 350 is recognized and the distance between the preceding vehicle 350 and the preceding vehicle 350 exceeds a predetermined safe distance range, the
更に、図１０（ａ）の状況で上段表示領域Ａ内の進路指定画像７２１が表示されていた箇所には、図１０（ｂ）に示すように、車両背面を模した低輝度の先行車両画像７２４を表示させる。この先行車両画像７２４によって運転者３００へ提供される前車接近情報は、進路変更操作指示画像７２１，７２２，７２３によって運転者へ提供されるルートナビゲーション情報よりも運転者への情報提供が優先される優先運転者提供情報であり、運転者３００に対して迅速かつ明確に認識させる必要がある。そのため、運転者が運転中に注視している注視点に近い箇所、具体的には上段表示領域Ａ内の左右方向中央付近の箇所（以下「優先運転者提供情報表示箇所」という。）に、当該先行車両画像７２４を割り込み表示させることが望まれる。
Further, as shown in FIG. 10 (b), a low-brightness preceding vehicle image imitating the back surface of the vehicle is displayed at the place where the
ただし、この先行車両画像７２４が割り込み表示されない時期において、この優先運転者提供情報表示箇所（上段表示領域Ａ内の左右方向中央付近）には、図１０（ａ）に示すように、進路指定画像７２１が表示されている。そのため、この優先運転者提供情報表示箇所に先行車両画像７２４を割り込み表示させるためには、この優先運転者提供情報表示箇所に進路指定画像７２１を表示させることができなくなる。
However, at the time when the preceding
このとき、先行車両画像７２４を運転者３００に対して迅速かつ明確に認識させる点からすると、先行車両画像７２４以外の画像を極力減らすことが好ましいため、進路変更操作指示画像７２１，７２２，７２３を非表示にするという考え方もある。しかしながら、先行車両画像７２４を割り込み表示させている期間中に進路変更操作指示画像７２１，７２２，７２３を非表示にしてしまうと、その期間中は運転者が進路変更操作指示画像７２１，７２２，７２３によるルートナビゲーション情報の提供を受けることができず、次に進路変更（右折、左折、分岐等）すべき地点までの距離や次に進路変更する方向などを知ることができなくなる。そのため、運転者３００を困惑させる結果を招き、かえって運転者３００の安全な運転を阻害するおそれがある。
At this time, from the viewpoint of promptly and clearly recognizing the preceding
また、先行車両画像７２４を割り込み表示させている期間、優先運転者提供情報表示箇所（上段表示領域Ａ内の左右方向中央付近）に表示されていた進路指定画像７２１又は進路変更操作指示画像７２１，７２２，７２３のすべてを、優先運転者提供情報表示箇所から遠く離れた別の箇所、例えば、表示エリア７００の中段表示領域Ｂや下段表示領域Ｃなどの上段表示領域Ａとは異なる表示領域に表示させることも考えられる。この場合、先行車両画像７２４を割り込み表示させている期間中でも運転者は進路変更操作指示画像７２１，７２２，７２３によるルートナビゲーション情報の提供を受けることが可能である。しかしながら、先行車両画像７２４の割り込み表示の有無に応じて、進路変更操作指示画像７２１，７２２，７２３の表示位置が、上段表示領域Ａと中段表示領域Ｂや下段表示領域Ｃとの間で切り替わるようでは、進路変更操作指示画像７２１，７２２，７２３によるルートナビゲーション情報を取得したい運転者がすぐに進路変更操作指示画像７２１，７２２，７２３を見つけることができず、やはり運転者を困惑させる結果を招く。
Further, during the period when the preceding
特に、本実施形態では、虚像Ｇを表示可能な表示エリア７００内を上下方向に３つの表示領域に区分し、それぞれの表示領域に表示させる情報の種類を所定のルールに従って仕分けている。したがって、運転者３００は、通常、上段表示領域Ａに表示される進路変更操作指示画像７２１，７２２，７２３が上段表示領域Ａに表示されるべき種類のものであると認識している。そのため、運転者３００は、進路変更操作指示画像７２１，７２２，７２３によるルートナビゲーション情報を取得する際、上段表示領域Ａ内を優先して進路変更操作指示画像に探すことになる。よって、先行車両画像７２４の割り込み表示の有無に応じて、進路変更操作指示画像７２１，７２２，７２３の表示位置が別の表示領域に切り替わってしまうと、運転者は進路変更操作指示画像７２１，７２２，７２３を見つけにくい。
In particular, in the present embodiment, the
そこで、本実施形態においては、先行車両画像７２４を優先運転者提供情報表示箇所（上段表示領域Ａ内の左右方向中央付近）に割り込み表示させるとき、その優先運転者提供情報表示箇所に表示されていた進路指定画像７２１を当該先行車両画像７２４の近傍に表示させる。より詳しくは、図１０（ｂ）に示すように、同じ上段表示領域Ａ内における先行車両画像７２４の右側に隣接する箇所に進路指定画像７２１を表示させる。これにより、先行車両画像７２４を割り込み表示させている期間中でも運転者は進路指定画像７２１によるルートナビゲーション情報の提供を受けることが可能である。しかも、先行車両画像７２４の表示期間中も非表示期間中も、進路指定画像７２１の表示位置は同じ上段表示領域Ａ内である。そのため、先行車両画像７２４の表示期間中と非表示期間中との間で進路指定画像７２１の表示位置が近いので、進路指定画像７２１によるルートナビゲーション情報を取得したい運転者はすぐに進路指定画像７２１を見つけることができ、運転者を困惑させることはない。
Therefore, in the present embodiment, when the preceding
なお、本実施形態において、先行車両画像７２４を割り込み表示させる表示期間中に進路指定画像７２１が表示される箇所は、先行車両画像７２４の非表示期間中に交差点等名称画像７２３が表示される箇所である。そのため、先行車両画像７２４を割り込み表示させる表示期間には、当該箇所に進路指定画像７２１が表示される関係で、当該箇所に交差点等名称画像７２３を表示させることができない。このとき、交差点等名称画像７２３を非表示にしてもよいが、本実施形態では、同じ上段表示領域Ａ内の別の箇所に交差点等名称画像７２３を表示させている。詳しくは、図１０（ｂ）に示すように、同じ上段表示領域Ａ内における進路指定画像７２１の右側に隣接する箇所に交差点等名称画像７２３を表示させる。これにより、先行車両画像７２４を割り込み表示させている期間中でも運転者は交差点等名称画像７２３によるルートナビゲーション情報の提供も受けることが可能である。
In the present embodiment, the place where the
また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲内である場合、画像制御装置２５０は、図１０（ｃ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２の輝度と、上段表示領域Ａ内に表示されている先行車両画像７２４の輝度とを、図１０（ｂ）の場合よりも高める表示制御を実施する。更に、本画像例１では、下から２番目の横線画像を自車両バンパー画像７１２ａに変更する表示制御も実施する。これにより、図１０（ｂ）の場合よりも、自車両バンパー画像７１２ａが先行車両画像７２４に近づいた表現となり、運転者３００に対し、自車両３０１が図１０（ｂ）の場合よりも先行車両３５０に近づいたことを認識させることができる。
Further, when the preceding vehicle 350 is recognized and the inter-vehicle distance from the preceding vehicle 350 is within a predetermined safe distance range, the
また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲よりも近づいたが、所定の要ブレーキ距離よりは遠い場合、画像制御装置２５０は、図１０（ｄ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２の輝度と上段表示領域Ａ内に表示されている先行車両画像７２４の輝度とを、図１０（ｃ）の画像例よりも高める表示制御を実施する。更に、本画像例１では、下から３番目の横線画像を自車両バンパー画像７１２ａに変更する表示制御も実施する。これにより、図１０（ｃ）の場合よりも、自車両バンパー画像７１２ａが先行車両画像７２４に更に近づいた表現となり、運転者３００に対し、自車両３０１が図１０（ｃ）の場合よりも先行車両３５０に更に近づいたことを認識させることができる。
Further, when the preceding vehicle 350 is recognized and the inter-vehicle distance from the preceding vehicle 350 is closer than the predetermined safe distance range, but is farther than the predetermined braking distance, the
また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の要ブレーキ距離範囲内まで狭まった場合、画像制御装置２５０は、図１０（ｅ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２を、赤色の略台形状中に「ブレーキ！」の文字画像を描いたブレーキ警告画像７１４に変更する表示制御を実施する。このとき、上段表示領域Ａ内に表示されている先行車両画像７２４’の輝度を落としたり、画像塗りつぶしを止めたりして、先行車両画像７２４の視認性を低下させることにより、ブレーキ警告画像７１４がより目立つようにするのが好ましい。
Further, when the preceding vehicle 350 is recognized and the distance between the preceding vehicle 350 and the preceding vehicle 350 is narrowed within a predetermined braking distance required range, the
特に、本実施形態においては、ブレーキ警告画像７１４がより目立つようにして視認性を高めるべく、図１０（ｅ）に示すように、上段表示領域Ａ内に表示されていた進路変更操作指示画像７２１，７２２，７２３を非表示にしている。このように、図１０（ｂ）〜（ｄ）で先行車両画像７２４を割り込み表示させて前車接近情報を提供する際には非表示にしていなかった進路変更操作指示画像７２１，７２２，７２３を、図１０（ｅ）に示すように、より緊急度が高い前車接近情報をブレーキ警告画像７１４によって提供しようとするときには非表示にすることで、ブレーキ警告画像７１４がより目立つようになり、より緊急度が高い前車接近情報を、運転者に迅速かつ明確に認識させることが可能となる。
In particular, in the present embodiment, in order to make the
なお、上述した所定の安全距離や所定の要ブレーキ距離は、予め決められた固定距離であってもよいが、自車両３０１の車速等に応じて変動する距離であってもよい。
The predetermined safety distance and the predetermined braking distance required may be a predetermined fixed distance, but may be a distance that fluctuates according to the vehicle speed of the
〔画像例２〕
先行車両３５０との車間距離が狭くなったことを運転者３００に気付かせる表現方法としては、上述した画像例１に限らず、例えば、図１１（ａ）及び（ｂ）に示すような画像例（以下、本画像例を「画像例２」という。）が挙げられる。
[Image example 2]
The expression method for making the
本画像例２も、図１０（ａ）〜（ｅ）に示した画像例１と同様に、先行車両３５０との車間距離に応じて前車接近情報を示す画像が変化する画像例である。詳しくは、本画像例２の車間距離提示画像７１５は、上述した画像例１における車間距離提示画像７１２の５本の横線に代えて、消失点に向かうように透視図法により作図された台形画像を上下方向に４つに区分したものを用いている。そして、上述した画像例１では、先行車両３５０との距離が狭まるにつれて自車両バンパー画像７１２ａが先行車両画像７２４へ近づくように上方へ移動するのと同様、本画像例２では、先行車両３５０との距離が狭まるにつれて高輝度な台形区分７１５ａが先行車両画像７２４へ近づくように上方へ移動する。なお、図１１（ａ）の画像は、図１０（ｄ）に示す画像に対応しており、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲よりも近づいたが、所定の要ブレーキ距離よりは遠い場合の例である。
Similar to the image examples 1 shown in FIGS. 10A to 10E, this image example 2 is also an image example in which the image showing the approach information of the preceding vehicle changes according to the distance between the vehicle and the preceding vehicle 350. Specifically, the inter-vehicle
ここで、本画像例２では、先行車両３５０との車間距離が所定の要ブレーキ距離範囲内まで近づいた場合、画像制御装置２５０は、図１１（ｂ）に示すように、上段表示領域Ａと中段表示領域Ｂとをまたがったブレーキ警告画像７１６を表示させる。このブレーキ警告画像７１６は、上段表示領域Ａ内に表示される先行車両画像７２４を拡大した赤色の画像と本画像例２の車間距離提示画像７１５の全台形区分を赤色で表示した画像とを組み合わせたものである。しかも、本画像例２では、ブレーキ警告画像７１６をより目立たせるため、進路変更操作指示画像７２１，７２２，７２３のすべてを非表示にしている。
Here, in the second image example 2, when the inter-vehicle distance from the preceding vehicle 350 approaches within a predetermined braking distance required range, the
〔画像例３〕
また、自車両３０１が走行している道路の交通の禁止、制限、指定に関する情報のうち、特に運転者３００に提供することが好まれる情報を、警告画像として、中段表示領域Ｂに表示するようにしてもよい。例えば、図１２に示す画像例（以下、本画像例を「画像例３」という。）のように、自車両３０１が走行している道路が通学路である場合に、その旨を示す通学路警告画像７１８を中段表示領域Ｂに表示させる。具体的には、画像制御装置２５０は、車両ナビゲーション装置４００から出力される各種情報等から、自車両３０１が走行している道路の固有情報を取得し、取得した道路固有情報が中段表示領域Ｂに表示させる対象情報である場合には、その道路固有情報に対応する警告画像を中段表示領域Ｂに表示させる表示制御を行う。
[Image example 3]
Further, among the information on prohibition, restriction, and designation of traffic on the road on which the
中段表示領域Ｂは、上述したように、複数の操作指示内容のうち先に操作すべき操作指示内容を示す操作指示画像が表示される領域である。そのため、本画像例３のように、この中段表示領域Ｂに警告画像を表示させることで、運転者は、自車両３０１が現在走行している道路が当該警告画像による交通の禁止、制限、指定がなされていることを直感的に認識することができる。
As described above, the middle display area B is an area in which an operation instruction image indicating the operation instruction content to be operated first among the plurality of operation instruction contents is displayed. Therefore, by displaying the warning image in the middle display area B as in the third image example 3, the driver can prohibit, restrict, or specify the traffic on the road on which the
〔画像例４〕
また、自車両３０１の進行方向における横断歩道を渡ろうとしている人間を検出した場合、その警告画像を中段表示領域Ｂに表示するようにしてもよい。例えば、図１３に示す画像例（以下、本画像例を「画像例４」という。）のように、人型警告画像７１９を中段表示領域Ｂに表示させる。具体的には、画像制御装置２５０は、前記物体認識装置１００や前記センサ装置５００によって自車両前方の人間を認識する。そして、画像制御装置２５０は、その認識結果データを受け取り、この認識結果データに基づいて中段表示領域Ｂに人型警告画像７１９を表示させる表示制御を行う。なお、本画像例４では、上述した画像例３における通学路警告画像７１８も併せて表示されている例となっている。
[Image example 4]
Further, when a person trying to cross the pedestrian crossing in the traveling direction of the
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両３０１等の移動体の運転者３００に提供する運転者提供情報を示す運転者提供情報画像を、フロントガラス３０２等の光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリア７００に表示させるように、該光透過部材へ画像光を投射するＨＵＤ本体２３０等の画像光投射手段を備えた自動車用ＨＵＤ装置２００等の情報提供装置であって、先行車両３５０との車間距離が規定距離未満になるという条件等の所定の優先運転者提供情報表示条件に従って、進路指定画像７２１等の通常運転者提供情報画像が表示される優先運転者提供情報表示箇所等の箇所に、該通常運転者提供情報画像に代えて、該通常運転者提供情報画像に係るルートナビゲーション情報等の通常の運転者提供情報よりも運転者への情報提供が優先される前車接近情報等の優先運転者提供情報を示す先行車両画像７２４等の優先運転者提供情報画像を表示させるように、前記画像光投射手段を制御する画像制御装置２５０等の表示制御手段を有し、前記表示制御手段は、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該箇所とは異なる箇所に表示させるように、前記画像光投射手段を制御することを特徴とする。
これによれば、通常運転者提供情報画像が表示される箇所に優先運転者提供情報画像を表示（割り込み表示）させたときでも、運転者は当該通常運転者提供情報画像による通常の運転者提供情報の提供を受けることが可能である。
The above description is an example, and the effect peculiar to each of the following aspects is exhibited.
(Aspect A)
A predetermined driver-provided information image showing driver-provided information provided to the
According to this, even when the priority driver-provided information image is displayed (interrupted display) at the place where the normal driver-provided information image is displayed, the driver is provided by the normal driver by the normal driver-provided information image. It is possible to receive information.
（態様Ｂ）
前記態様Ａにおいて、前記表示制御手段は、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該優先運転者提供情報画像の近傍に表示させるように、前記画像光投射手段を制御することを特徴とする。
これによれば、優先運転者提供情報画像の表示期間中に通常運転者提供情報画像が表示される位置は優先運転者提供情報画像の非表示期間中に通常運転者提供情報画像が表示される位置の近傍であるので、運転者は通常運転者提供情報画像を見つけやすく、運転者を困惑させることは少ない。
(Aspect B)
In the aspect A, the display control means displays the priority driver-provided information image in the vicinity of the priority driver-provided information image for at least a part of the period during which the priority driver-provided information image is displayed at the location. It is characterized in that the image light projection means is controlled so as to be displayed.
According to this, the position where the normal driver-provided information image is displayed during the display period of the priority driver-provided information image is the position where the normal driver-provided information image is displayed during the non-display period of the priority driver-provided information image. Since it is near the position, the driver usually finds the information image provided by the driver easily and does not confuse the driver.
（態様Ｃ）
前記態様Ａ又はＢにおいて、前記通常運転者提供情報画像は、移動体の運転者への操作指示内容を示す進路変更操作指示画像７２１，７２２，７２３等の操作指示画像であることを特徴とする。
運転者への操作指示内容を示す操作指示画像は、優先運転者提供情報画像の表示期間中になって非表示になったり見つけにくくなったりすると、運転者を困惑させやすい。本態様によれば、このような操作指示画像は、優先運転者提供情報画像の表示期間中でも見つけやすい位置に表示されるので、運転者を困惑させる要因を有効に排除することができる。
(Aspect C)
In the aspect A or B, the information image provided by the normal driver is an operation instruction image such as a course change
If the operation instruction image showing the content of the operation instruction to the driver is hidden or difficult to find during the display period of the priority driver-provided information image, the driver is likely to be confused. According to this aspect, such an operation instruction image is displayed at a position that is easy to find even during the display period of the priority driver-provided information image, so that a factor that confuses the driver can be effectively eliminated.
（態様Ｄ）
前記態様Ｃにおいて、前記操作指示画像は、予め設定された目的地までの移動ルートを運転者へ案内するルートナビゲーション情報を示す進路変更操作指示画像７２１，７２２，７２３等のルートナビゲーション画像であることを特徴とする。
これによれば、ルートナビゲーション画像が優先運転者提供情報画像の表示期間中に非表示になったり見つけにくくなったりすることにより運転者が困惑するのを回避することができる。
(Aspect D)
In the aspect C, the operation instruction image is a route navigation image such as a route change
According to this, it is possible to prevent the driver from being confused because the route navigation image is hidden or difficult to find during the display period of the priority driver-provided information image.
（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記優先運転者提供情報画像は、運転者に緊急操作を指示する前車接近情報等の緊急操作指示情報を示す先行車両画像７２４等の緊急操作指示画像を含むことを特徴とする。
これによれば、緊急操作指示情報を運転者に提供する際にも、通常運転者提供情報画像が非表示になったり見つけにくくなったりすることにより運転者が困惑するのを回避することができる。
(Aspect E)
In any of the embodiments A to D, the priority driver-provided information image is an emergency operation instruction such as a preceding
According to this, even when the emergency operation instruction information is provided to the driver, it is possible to prevent the driver from being confused by hiding or making it difficult to find the information image provided by the driver. ..
（態様Ｆ）
前記態様Ｅにおいて、前記緊急操作指示画像は、前記緊急操作の緊急度が異なる複数の緊急操作指示画像を含み、前記表示制御手段は、前記複数の緊急操作指示画像のうち緊急度が低い図１０（ｂ）〜（ｄ）に示す先行車両画像７２４等の低緊急操作指示画像を前記箇所に表示させるときには、前記通常運転者提供情報画像を該低緊急操作指示画像の近傍に表示させるが、該複数の緊急操作指示画像のうち該低緊急操作指示画像よりも緊急度が高い図１０（ｅ）に示す先行車両画像７２４’及びブレーキ警告画像７１４等の高緊急操作指示画像を該箇所に表示させるときには、前記通常運転者提供情報画像を非表示にするように、前記画像光投射手段を制御することを特徴とする。
これによれば、高緊急操作指示画像を表示させるときには、通常運転者提供情報画像を非表示にすることで、運転者による高緊急操作指示画像の視認性を高め、より緊急度の高い緊急操作指示情報を迅速かつ適切に運転者へ提供することが可能となる。
(Aspect F)
In the aspect E, the emergency operation instruction image includes a plurality of emergency operation instruction images having different urgency levels of the emergency operation, and the display control means has a low urgency level among the plurality of emergency operation instruction images. When the low emergency operation instruction image such as the preceding
According to this, when displaying the high emergency operation instruction image, by hiding the information image provided by the normal driver, the visibility of the high emergency operation instruction image by the driver is improved, and the emergency operation with a higher degree of urgency is performed. It is possible to promptly and appropriately provide instruction information to the driver.
（態様Ｇ）
前記態様Ｆにおいて、前記高緊急操作指示画像は、前記低緊急操作指示画像よりも大きいことを特徴とする。
これによれば、画像例２に示したように、ブレーキ警告画像７１６等の高緊急操作指示画像が先行車両画像７２４等の低緊急操作指示画像よりも大きいので、運転者による高緊急操作指示画像の視認性を高め、より緊急度の高い緊急操作指示情報を迅速かつ適切に運転者へ提供することが可能となる。
(Aspect G)
In the F aspect, the high emergency operation instruction image is larger than the low emergency operation instruction image.
According to this, as shown in Image Example 2, since the high emergency operation instruction image such as the
（態様Ｈ）
前記態様Ｆ又はＧにおいて、前記高緊急操作指示画像は、前記低緊急操作指示画像よりも輝度が高いことを特徴とする。
これによれば、画像例２に示したように、ブレーキ警告画像７１６等の高緊急操作指示画像が先行車両画像７２４等の低緊急操作指示画像よりも輝度が高いので、運転者による高緊急操作指示画像の視認性を高め、より緊急度の高い緊急操作指示情報を迅速かつ適切に運転者へ提供することが可能となる。
(Aspect H)
In the aspect F or G, the high emergency operation instruction image is characterized in that the brightness is higher than that of the low emergency operation instruction image.
According to this, as shown in Image Example 2, the high emergency operation instruction image such as the
（態様Ｉ）
前記態様Ａ〜Ｈのいずれかの態様において、前記画像光投射手段は、投射する画像光によって前記通常運転者提供情報画像及び前記優先運転者提供情報画像を虚像Ｇとして前記所定の表示エリア内に表示させるものであり、運転者から前記虚像までの距離が５ｍ以上であることを特徴とする。
上述したように、運転者は遠方に焦点を合わせている運転することが多い。運転者から虚像Ｇまでの距離が５ｍ以上であれば、従来の一般的な距離である２ｍの場合よりも、眼球の水晶体を動かす量が減る。その結果、虚像Ｇへの焦点調整時間を短縮して虚像Ｇによる通常運転者提供情報画像や優先運転者提供情報画像により提供される情報を早期に認識できるようになり、また運転者の眼球の疲労を軽減することができる。
(Aspect I)
In any of the embodiments A to H, the image light projecting means uses the projected image light to display the normal driver-provided information image and the priority driver-provided information image as a virtual image G in the predetermined display area. It is to be displayed, and is characterized in that the distance from the driver to the virtual image is 5 m or more.
As mentioned above, drivers often drive with a focus on the distance. If the distance from the driver to the virtual image G is 5 m or more, the amount of movement of the crystalline lens of the eyeball is reduced as compared with the case of 2 m, which is a conventional general distance. As a result, the focus adjustment time to the virtual image G can be shortened so that the information provided by the normal driver-provided information image and the priority driver-provided information image by the virtual image G can be recognized at an early stage, and the driver's eyeball can be recognized. Fatigue can be reduced.
（態様Ｊ）
前記態様Ａ〜Ｉのいずれかの態様において、前記画像光投射手段は、画像光を照射する光源ユニット２２０等の光照射手段から照射した画像光を光走査装置２０８等の光走査手段により二次元走査して前記光透過部材へ投射することにより、前記所定の表示エリア内に前記通常運転者提供情報画像及び前記優先運転者提供情報画像を表示させるものであることを特徴とする。
上述したように、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式よりも、大きな虚像Ｇを高い輝度で表示させるのが容易である。また、本態様によれば、虚像Ｇの非画像部分については、光照射手段から画像光照射させないことにより、当該非画像部分の光を完全に無くすことが可能である。よって、当該非画像部分を通じた移動体前方風景の視認性が光照射手段から照射される光によって低下する事態を回避でき、前方風景の視認性が高い。
(Aspect J)
In any of the embodiments A to I, the image light projection means two-dimensionally emits image light emitted from a light irradiation means such as a
As described above, it is easier to display a large virtual image G with higher brightness than a method using a liquid crystal display (LCD) or a vacuum fluorescent display (VFD). Further, according to this aspect, it is possible to completely eliminate the light of the non-image portion of the virtual image G by not irradiating the non-image portion of the virtual image G with the image light from the light irradiation means. Therefore, it is possible to avoid a situation in which the visibility of the landscape in front of the moving object through the non-image portion is lowered by the light emitted from the light irradiating means, and the visibility of the landscape in front is high.
（態様Ｋ）
移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリアに表示させるように、該光透過部材へ画像光を投射することにより、該運転者提供情報を運転者へ提供する情報提供方法であって、所定の優先運転者提供情報表示条件に従って、通常運転者提供情報画像が表示される箇所に、該通常運転者提供情報画像に代えて、該通常運転者提供情報画像に係る通常の運転者提供情報よりも運転者への情報提供が優先される優先運転者提供情報を示す優先運転者提供情報画像を表示させる優先運転者提供情報画像表示工程を有し、前記優先運転者提供情報画像表示工程では、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該箇所とは異なる箇所に表示させることを特徴とする。
これによれば、通常運転者提供情報画像が表示されている箇所に優先運転者提供情報画像を表示（割り込み表示）させたときでも、運転者は当該通常運転者提供情報画像による通常の運転者提供情報の提供を受けることが可能である。
(Aspect K)
The light so as to display the driver-provided information image showing the driver-provided information provided to the driver of the moving body in a predetermined display area in front of the moving body traveling direction visually recognized by the driver via the light transmitting member. An information providing method for providing the driver-provided information to the driver by projecting image light onto the transmissive member, and the normal driver-provided information image is displayed according to a predetermined priority driver-provided information display condition. Priority driving indicating priority driver-provided information in which information provision to the driver is prioritized over normal driver-provided information related to the normal driver-provided information image instead of the normal driver-provided information image. It has a priority driver-provided information image display process for displaying the priority driver-provided information image, and in the priority driver-provided information image display step, at least a part of the period for displaying the priority driver-provided information image at the location. , The normal driver-provided information image is displayed in a place different from the place.
According to this, even when the priority driver-provided information image is displayed (interrupted display) in the place where the normal driver-provided information image is displayed, the driver is a normal driver based on the normal driver-provided information image. It is possible to receive the provided information.
（態様Ｌ）
移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリアに表示させるように、該光透過部材へ画像光を投射する画像光投射手段を備えた情報提供装置のコンピュータを機能させるための情報提供用制御プログラムであって、所定の優先運転者提供情報表示条件に従って、通常運転者提供情報画像が表示される箇所に、該通常運転者提供情報画像に代えて、該通常運転者提供情報画像に係る通常の運転者提供情報よりも運転者への情報提供が優先される優先運転者提供情報を示す優先運転者提供情報画像を表示させるように、前記画像光投射手段を制御する表示制御手段として、前記コンピュータを機能させるものであって、前記表示制御手段は、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該箇所とは異なる箇所に表示させるように、前記画像光投射手段を制御することを特徴とする。
これによれば、通常運転者提供情報画像が表示されている箇所に優先運転者提供情報画像を表示（割り込み表示）させたときでも、運転者は当該通常運転者提供情報画像による通常の運転者提供情報の提供を受けることが可能である。
(Aspect L)
The light so as to display the driver-provided information image showing the driver-provided information provided to the driver of the moving body in a predetermined display area in front of the moving body traveling direction visually recognized by the driver via the light transmitting member. A control program for providing information for operating a computer of an information providing device provided with an image light projecting means for projecting image light onto a transmitting member, and information provided by a normal driver according to a predetermined priority driver providing information display condition. Where the image is displayed, instead of the normal driver-provided information image, priority driver provision in which information provision to the driver is prioritized over normal driver-provided information related to the normal driver-provided information image. The computer is made to function as a display control means for controlling the image light projection means so as to display a priority driver-provided information image indicating information, and the display control means is the priority driver-provided information. It is characterized in that the image light projection means is controlled so that the information image provided by the normal driver is displayed at a location different from the location for at least a part of the period during which the image is displayed at the location.
According to this, even when the priority driver-provided information image is displayed (interrupted display) in the place where the normal driver-provided information image is displayed, the driver is a normal driver based on the normal driver-provided information image. It is possible to receive the provided information.
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。 This program can be distributed or obtained in a state of being recorded on a recording medium such as a CD-ROM. It is also distributed and obtained by carrying this program and distributing or receiving signals transmitted by a predetermined transmission device via a transmission medium such as a public telephone line, a leased line, or other communication network. Is possible. At the time of this distribution, at least a part of the computer program may be transmitted in the transmission medium. That is, it is not necessary that all the data constituting the computer program exist on the transmission medium at one time. The signal carrying this program is a computer data signal embodied on a predetermined carrier wave including a computer program. Further, the transmission method for transmitting a computer program from a predetermined transmission device includes a case where data constituting the program is continuously transmitted and a case where the data is transmitted intermittently.
１００ 物体認識装置
１１０ ステレオカメラ部
１２０ 情報処理部
１５０ 運転者カメラ
２００ 自動車用ＨＵＤ装置
２０１Ｒ，２０１Ｇ，２０１Ｂ レーザー光源
２０７ 光量調整部
２０８ 光走査装置
２０９ 自由曲面ミラー
２１０ マイクロレンズアレイ
２１１ 投射ミラー
２２０ 光源ユニット
２３０ ＨＵＤ本体
２５０ 画像制御装置
３００ 運転者
３０１ 自車両
３０２ フロントガラス
３５０ 先行車両
４００ 車両ナビゲーション装置
５００ センサ装置
７００ 表示エリア
７０１ 道路名表示画像
７０２ 制限速度表示画像
７０３ 追い越し禁止表示画像
７０４ 車速表示画像
７１１ 走行レーン指示画像
７１２，７１５ 車間距離提示画像
７１２ａ 自車両バンパー画像
７１４，７１６ ブレーキ警告画像
７１８ 通学路警告画像
７１９ 人型警告画像
７１７，７２１ 進路指定画像
７２２ 残り距離画像
７２３ 交差点等名称画像
７２４ 先行車両画像
７２５ 下向きマーク画像
Ａ 上段表示領域
Ｂ 中段表示領域
Ｃ 下段表示領域
Ｇ 虚像
100
Claims (12)
所定の優先運転者提供情報表示条件に従って、通常運転者提供情報画像が表示される箇所に、該通常運転者提供情報画像に代えて、該通常運転者提供情報画像に係る通常の運転者提供情報よりも運転者への情報提供が優先される優先運転者提供情報を示す優先運転者提供情報画像を表示させるように、前記画像光投射手段を制御する表示制御手段を有し、
前記表示制御手段は、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該箇所とは異なる箇所に表示させるように、前記画像光投射手段を制御することを特徴とする情報提供装置。 The light so as to display the driver-provided information image showing the driver-provided information provided to the driver of the moving body in a predetermined display area in front of the moving body traveling direction visually recognized by the driver via the light transmitting member. An information providing device provided with an image light projecting means for projecting image light onto a transmitting member.
In accordance with the predetermined priority driver-provided information display condition, the normal driver-provided information related to the normal driver-provided information image is replaced with the normal driver-provided information image at the place where the normal driver-provided information image is displayed. It has a display control means for controlling the image light projection means so as to display a priority driver-provided information image indicating priority driver-provided information in which information provision to the driver is prioritized.
The display control means displays the image light so that the normal driver-provided information image is displayed at a place different from the normal driver-provided information image for at least a part of the period during which the priority driver-provided information image is displayed at the place. An information providing device characterized by controlling a projection means.
前記表示制御手段は、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該優先運転者提供情報画像の近傍に表示させるように、前記画像光投射手段を制御することを特徴とする情報提供装置。 In the information providing device according to claim 1,
The display control means causes the priority driver-provided information image to be displayed in the vicinity of the priority driver-provided information image for at least a part of the period during which the priority driver-provided information image is displayed at the location. An information providing device characterized by controlling the image light projection means.
前記通常運転者提供情報画像は、移動体の運転者への操作指示内容を示す操作指示画像であることを特徴とする情報提供装置。 In the information providing device according to claim 1 or 2.
The information providing device provided by the normal driver is an operation instruction image showing the content of an operation instruction to the driver of a moving body.
前記操作指示画像は、予め設定された目的地までの移動ルートを運転者へ案内するルートナビゲーション情報を示すルートナビゲーション画像であることを特徴とする情報提供装置。 In the information providing device according to claim 3,
The operation instruction image is an information providing device, which is a route navigation image showing route navigation information for guiding a driver a movement route to a preset destination.
前記優先運転者提供情報画像は、運転者に緊急操作を指示する緊急操作指示情報を示す緊急操作指示画像を含むことを特徴とする情報提供装置。 In the information providing device according to any one of claims 1 to 4.
The priority driver-provided information image is an information providing device including an emergency operation instruction image showing emergency operation instruction information for instructing a driver to perform an emergency operation.
前記緊急操作指示画像は、前記緊急操作の緊急度が異なる複数の緊急操作指示画像を含み、
前記表示制御手段は、前記複数の緊急操作指示画像のうち緊急度が低い低緊急操作指示画像を前記箇所に表示させるときには、前記通常運転者提供情報画像を該低緊急操作指示画像の近傍に表示させるが、該複数の緊急操作指示画像のうち該低緊急操作指示画像よりも緊急度が高い高緊急操作指示画像を該箇所に表示させるときには、前記通常運転者提供情報画像を非表示にするように、前記画像光投射手段を制御することを特徴とする情報提供装置。 In the information providing device according to claim 5.
The emergency operation instruction image includes a plurality of emergency operation instruction images having different urgency levels of the emergency operation.
When the display control means displays the low emergency operation instruction image having a low degree of urgency among the plurality of emergency operation instruction images at the location, the display control means displays the normal driver-provided information image in the vicinity of the low emergency operation instruction image. However, when displaying a high emergency operation instruction image having a higher degree of urgency than the low emergency operation instruction image among the plurality of emergency operation instruction images, the normal driver-provided information image is hidden. In addition, an information providing device characterized by controlling the image light projection means.
前記高緊急操作指示画像は、前記低緊急操作指示画像よりも大きいことを特徴とする情報提供装置。 In the information providing device according to claim 6,
The information providing device, characterized in that the high emergency operation instruction image is larger than the low emergency operation instruction image.
前記高緊急操作指示画像は、前記低緊急操作指示画像よりも輝度が高いことを特徴とする情報提供装置。 In the information providing device according to claim 6 or 7.
The high emergency operation instruction image is an information providing device characterized in that the brightness is higher than that of the low emergency operation instruction image.
前記画像光投射手段は、投射する画像光によって前記通常運転者提供情報画像及び前記優先運転者提供情報画像を虚像として前記所定の表示エリア内に表示させるものであり、
運転者から前記虚像までの距離が５ｍ以上であることを特徴とする情報提供装置。 In the information providing device according to any one of claims 1 to 8.
The image light projection means displays the normal driver-provided information image and the priority driver-provided information image as virtual images in the predetermined display area by the projected image light.
An information providing device characterized in that the distance from the driver to the virtual image is 5 m or more.
前記画像光投射手段は、画像光を照射する光照射手段から照射した画像光を光走査手段により二次元走査して前記光透過部材へ投射することにより、前記所定の表示エリア内に前記通常運転者提供情報画像及び前記優先運転者提供情報画像を表示させるものであることを特徴とする情報提供装置。 In the information providing device according to any one of claims 1 to 9.
The image light projecting means performs the normal operation within the predetermined display area by two-dimensionally scanning the image light emitted from the light irradiating means for irradiating the image light with the light scanning means and projecting the image light onto the light transmitting member. An information providing device for displaying an information image provided by a person and the information image provided by a priority driver.
所定の優先運転者提供情報表示条件に従って、通常運転者提供情報画像が表示される箇所に、該通常運転者提供情報画像に代えて、該通常運転者提供情報画像に係る通常の運転者提供情報よりも運転者への情報提供が優先される優先運転者提供情報を示す優先運転者提供情報画像を表示させる優先運転者提供情報画像表示工程を有し、
前記優先運転者提供情報画像表示工程では、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該箇所とは異なる箇所に表示させることを特徴とする情報提供方法。 The light so as to display the driver-provided information image showing the driver-provided information provided to the driver of the moving body in a predetermined display area in front of the moving body traveling direction visually recognized by the driver via the light transmitting member. An information providing method for providing the driver-provided information to the driver by projecting image light onto the transmitting member.
In accordance with the predetermined priority driver-provided information display condition, the normal driver-provided information related to the normal driver-provided information image is replaced with the normal driver-provided information image at the place where the normal driver-provided information image is displayed. It has a priority driver-provided information image display process for displaying a priority driver-provided information image indicating priority driver-provided information in which information provision to the driver is prioritized.
In the priority driver-provided information image display step, the normal driver-provided information image is displayed at a location different from the location for at least a part of the period during which the priority driver-provided information image is displayed at the location. An information providing method characterized by.
所定の優先運転者提供情報表示条件に従って、通常運転者提供情報画像が表示される箇所に、該通常運転者提供情報画像に代えて、該通常運転者提供情報画像に係る通常の運転者提供情報よりも運転者への情報提供が優先される優先運転者提供情報を示す優先運転者提供情報画像を表示させるように、前記画像光投射手段を制御する表示制御手段として、前記コンピュータを機能させるものであって、前記表示制御手段は、前記優先運転者提供情報画像を前記箇所に表示させる期間の少なくとも一部の期間、前記通常運転者提供情報画像を該箇所とは異なる箇所に表示させるように、前記画像光投射手段を制御することを特徴とする情報提供用制御プログラム。 The light so as to display the driver-provided information image showing the driver-provided information provided to the driver of the moving body in a predetermined display area in front of the moving body traveling direction visually recognized by the driver via the light transmitting member. An information providing control program for operating a computer of an information providing device provided with an image light projecting means for projecting image light onto a transmitting member.
In accordance with the predetermined priority driver-provided information display condition, the normal driver-provided information related to the normal driver-provided information image is replaced with the normal driver-provided information image at the place where the normal driver-provided information image is displayed. A device that causes the computer to function as a display control means for controlling the image light projection means so as to display a priority driver-provided information image indicating priority driver-provided information in which information provision to the driver is prioritized. The display control means causes the normal driver-provided information image to be displayed at a place different from the normal driver-provided information image for at least a part of the period during which the priority driver-provided information image is displayed at the place. , An information providing control program characterized by controlling the image light projection means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020211402A JP7054483B2 (en) | 2020-12-21 | 2020-12-21 | Information providing device, information providing method and information providing control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020211402A JP7054483B2 (en) | 2020-12-21 | 2020-12-21 | Information providing device, information providing method and information providing control program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019172607A Division JP6814416B2 (en) | 2019-09-24 | 2019-09-24 | Information providing device, information providing method, and information providing control program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021049987A true JP2021049987A (en) | 2021-04-01 |
| JP2021049987A5 JP2021049987A5 (en) | 2021-10-14 |
| JP7054483B2 JP7054483B2 (en) | 2022-04-14 |
Family
ID=75156880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020211402A Active JP7054483B2 (en) | 2020-12-21 | 2020-12-21 | Information providing device, information providing method and information providing control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7054483B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04219900A (en) * | 1990-12-20 | 1992-08-10 | Mazda Motor Corp | Vehicle distance confirmation device |
| JPH1153699A (en) * | 1997-08-04 | 1999-02-26 | Hitachi Ltd | Inter-vehicle distance alarming device |
| JP2009137491A (en) * | 2007-12-07 | 2009-06-25 | Denso Corp | On-vehicle display device |
| JP2014151770A (en) * | 2013-02-08 | 2014-08-25 | Mazda Motor Corp | Vehicular information display device |
-
2020
- 2020-12-21 JP JP2020211402A patent/JP7054483B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04219900A (en) * | 1990-12-20 | 1992-08-10 | Mazda Motor Corp | Vehicle distance confirmation device |
| JPH1153699A (en) * | 1997-08-04 | 1999-02-26 | Hitachi Ltd | Inter-vehicle distance alarming device |
| JP2009137491A (en) * | 2007-12-07 | 2009-06-25 | Denso Corp | On-vehicle display device |
| JP2014151770A (en) * | 2013-02-08 | 2014-08-25 | Mazda Motor Corp | Vehicular information display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7054483B2 (en) | 2022-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11951834B2 (en) | Information provision device, information provision method, and recording medium storing information provision program for a vehicle display | |
| JP6485732B2 (en) | Information providing apparatus, information providing method, and information providing control program | |
| US10679496B2 (en) | Information providing apparatus | |
| EP3093194B1 (en) | Information provision device | |
| JP6658859B2 (en) | Information provision device | |
| JP6516151B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, AND INFORMATION PROVIDING CONTROL PROGRAM | |
| JP6504431B2 (en) | IMAGE DISPLAY DEVICE, MOBILE OBJECT, IMAGE DISPLAY METHOD, AND PROGRAM | |
| JP6876277B2 (en) | Control device, display device, display method and program | |
| JPWO2017138297A1 (en) | Image display apparatus and image display method | |
| JP2016107947A (en) | Information providing device, information providing method, and control program for providing information | |
| JP6512475B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, AND INFORMATION PROVIDING CONTROL PROGRAM | |
| JP6814416B2 (en) | Information providing device, information providing method, and information providing control program | |
| JP7054483B2 (en) | Information providing device, information providing method and information providing control program | |
| JP7037764B2 (en) | Travel route guidance device, mobile body, travel route guidance method and program | |
| JP2021105989A (en) | Onboard display device and program | |
| JP7385834B2 (en) | Image display method and image display device | |
| JP6726412B2 (en) | Image display device, moving body, image display method and program | |
| JP2021117703A (en) | In-vehicle display device and program | |
| JP2021117987A (en) | Image display device, image display method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210901 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220317 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7054483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |