JP6330908B2 - 車両用表示装置及び車両用表示方法 - Google Patents

車両用表示装置及び車両用表示方法 Download PDF

Info

Publication number
JP6330908B2
JP6330908B2 JP2016530727A JP2016530727A JP6330908B2 JP 6330908 B2 JP6330908 B2 JP 6330908B2 JP 2016530727 A JP2016530727 A JP 2016530727A JP 2016530727 A JP2016530727 A JP 2016530727A JP 6330908 B2 JP6330908 B2 JP 6330908B2
Authority
JP
Japan
Prior art keywords
display
vehicle
attention
mark
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016530727A
Other languages
English (en)
Other versions
JPWO2016002006A1 (ja
Inventor
則雄 小坂
則雄 小坂
山本　哲也
哲也 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2016002006A1 publication Critical patent/JPWO2016002006A1/ja
Application granted granted Critical
Publication of JP6330908B2 publication Critical patent/JP6330908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/27—Optical features of instruments using semi-transparent optical elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両のフロントガラス上に画像を表示する車両用表示装置及びその方法に関する。
従来では、ヘッドアップディスプレイ等の自車両のフロントガラス上に画像を表示する車両用表示装置として、特許文献１が開示されている。この特許文献１に開示された車両用表示装置では、注意喚起の対象となる先行車両に重畳するようにフロントガラス上にターゲットマークを表示していた。
特開２００５−６７５１４号公報
しかしながら、上述した従来の車両用表示装置では、ターゲットマークを強調表示する場合に、先行車両が自車両の遠くに位置する場合も近くに位置する場合も同じように強調表示を行っていた。したがって、運転者に対して注意喚起を行う必要のある注意対象物が自車両に近づいてきて大きさが変化した場合でも、運転者による注意対象物の認知度を向上させることができないという問題点があった。
そこで、本発明は、上述した実情に鑑みて提案されたものであり、注意対象物が自車両に近づき、その大きさが変化するのに応じて、運転者による注意対象物の認知度を向上させることのできる車両用表示装置及びその方法を提供することを目的とする。
上述した課題を解決するために、本発明の一態様に係る車両用表示装置及びその方法は、自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出し、注意対象物から自車両までの距離を算出する。そして、注意対象物について運転者に注意喚起を行う注意マークを、運転者から見て注意対象物に隣接させてフロントガラス上に重畳表示するための表示制御を実行し、注意マークを強調表示するときの強調度合を距離に応じて変化させる。
図１は、本発明の第１実施形態に係る車両用表示装置の構成を示すブロック図である。 図２は、本発明の第１実施形態に係る車両用表示装置による画像生成処理の処理手順を示すフローチャートである。 図３は、本発明の第１実施形態に係る車両用表示装置による注意マークの表示方法を説明するための図である。 図４は、本発明の第１実施形態に係る車両用表示装置による注意マークの表示の変調方法を説明するための図である。 図５は、本発明の第１実施形態に係る車両用表示装置による注意マークの表示の変調方法を説明するための図である。 図６は、本発明の第１実施形態に係る車両用表示装置による注意マークの表示の変調方法を説明するための図である。 図７は、本発明の第２実施形態に係る車両用表示装置による注意マークの表示サイズの変更方法を説明するための図である。
以下、本発明を適用した第１及び第２実施形態について図面を参照して説明する。
［第１実施形態］
［車両用表示装置の構成］
図１は本実施形態に係る車両用表示装置の構成を示すブロック図である。図１に示すように、本実施形態に係る車両用表示装置１は、注意対象物検出部３と、車両状態検出部５と、表示制御部７と、表示変調部９と、画像生成部１１とを備えている。また、表示制御部７は、座標変換部２１と、表示位置算出部２３と、表示サイズ算出部２５とを備えている。
ここで、本実施形態に係る車両用表示装置１は、自車両のフロントガラス上に画像を表示するヘッドアップディスプレイ（図示せず）の制御部として機能する。車両用表示装置１が制御するヘッドアップディスプレイは、映像を投影する投影部や映像を反射させるスクリーン及びフレネルミラー等を備えている。また、本実施形態に係る車両用表示装置１は、自車両に搭載されているセンサ類に接続されており、特に前方カメラ３１と、車間距離センサ３３と、舵角センサ３５と、車速センサ３７に接続されている。さらに、車両用表示装置１は、ヘッドアップディスプレイのＨＵＤ表示部３９に接続され、画像生成部１１で生成された画像をＨＵＤ表示部３９に出力することで自車両のフロントガラス上に画像を表示する。
注意対象物検出部３は、前方カメラ３１から取得した画像を解析し、自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出する。検出される注意対象物としては、歩行者や自転車、前方を走行している車両、駐停車している車両、その他の障害物等がある。また、前方を走行している車両を検出する場合には、車間距離センサ３３からの情報に基づいて注意対象物を検出してもよい。そして、注意対象物検出部３は、注意対象物の位置や相対距離、相対速度、大きさ等を検出する。尚、自車両がレーダーを搭載している場合には、これらの情報をレーダーで検出してもよい。
車両状態検出部５は、自車両に搭載されているセンサ類から自車両の走行状態を示すデータを取得する。例えば、車間距離センサ３３から前方を走行している車両との車間距離を取得し、舵角センサ３５から自車両の操舵角、車速センサ３７から自車両の車速を取得する。
表示制御部７は、運転者によって注意対象物が視認されているフロントガラス上の位置に隣接させて、注意マークを重畳表示するための制御を実行する。この注意マークは、運転者に対して注意対象物の注意喚起を行うために表示される画像である。
ここで、表示制御部７は、まず前方カメラ３１で撮像された画像から注意対象物の位置を示す３Ｄ座標を取得し、この３Ｄ座標をフロントガラス上の位置を示す２Ｄ座標に変換する。そして、この２Ｄ座標に基づいて注意マークを表示するフロントガラス上の表示位置を算出する。また、表示制御部７は、注意対象物の画像上の大きさに基づいてフロントガラス上に表示する注意マークの表示サイズを算出する。そして、表示制御部７は、算出した表示位置と表示サイズで注意マークをフロントガラス上に重畳表示するように制御する。具体的な処理は、表示制御部７を構成する座標変換部２１と表示位置算出部２３と表示サイズ算出部２５によって実行される。
座標変換部２１は、前方カメラ３１で取得した３Ｄ座標のデータを自車両のフロントガラス上の２Ｄ座標に変換する処理を行う。
表示位置算出部２３は、注意対象物のフロントガラス上の２Ｄ座標に基づいて、注意マークを表示するフロントガラス上の表示位置を算出する。この表示位置に注意マークを表示することにより、運転者からは注意マークがフロントガラス上で注意対象物に隣接して重畳表示されているように見える。
表示サイズ算出部２５は、前方カメラ３１で撮像された画像上の注意対象物の大きさに基づいて、フロントガラス上に表示する注意マークの表示サイズを算出する。
表示変調部９は、注意マークを強調表示するときの強調度合を、自車両と注意対象物との間の相対距離に応じて変化させる。特に、本実施形態では、相対距離に応じて注意マークの輝度や空間周波数、時間周波数を変化させる。
画像生成部１１は、上述した各部の処理結果に基づいて、自車両のフロントガラス上に表示するヘッドアップディスプレイの画像を生成する。
前方カメラ３１は、自車両前方の映像を撮像する撮像手段であり、ＣＣＤやＣＭＯＳ等の固体撮像素子によって構成される。
車間距離センサ３３は、ミリ波レーダーやＣＣＤイメージセンサ、赤外線センサ等を用いて自車両の前方を走行する先行車を検出し、自車両と先行車との間の車間距離を測定する。
舵角センサ３５は、ステアリングホイールの回転角から自車両の操舵角を検出する。
車速センサ３７は、車軸の回転数に応じたパルス信号から自車両の車速を検出する。
ＨＵＤ表示部３９は、実際に映像をフロントガラスに向けて投影するための装置であり、例えばヘッドアップディスプレイを構成する投影部である。
尚、車両用表示装置１は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成されている。そして、特定のプログラムを実行することにより、上述した注意対象物検出部３、車両状態検出部５、表示制御部７、表示変調部９及び画像生成部１１として動作する。
［画像生成処理の手順］
次に、本実施形態に係る車両用表示装置による画像生成処理の手順を図２のフローチャートを参照して説明する。
図２に示すように、まずステップＳ１０において、注意対象物検出部３は、前方カメラ３１から取得した画像を解析し、自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出する。
ステップＳ２０において、車両状態検出部５は、自車両に搭載されているセンサ類から自車両の走行状態を示すデータを取得する。特に、車両状態検出部５は、車間距離センサ３３から前方を走行している先行車との間の車間距離を取得するとともに、舵角センサ３５から自車両の操舵角、車速センサ３７から自車両の車速を取得する。また、自車両の位置をＧＰＳ等から取得してもよい。
ステップＳ３０において、注意対象物検出部３は、前方カメラ３１の画像を時系列に並べて注意対象物の位置の変化から自車両に対する注意対象物の相対速度を算出する。このとき自車両がレーダーを搭載している場合には、相対速度をレーダーで検出してもよい。また、注意対象物が前方を走行している車両である場合には、車間距離センサ３３からの情報に基づいて相対速度を算出してもよい。
ステップＳ４０において、注意対象物検出部３は、前方カメラ３１の画像を解析することで、自車両から注意対象物までの相対距離を算出する。また、このとき注意対象物の方向を求めて、自車両に対する注意対象物の相対位置を特定する。さらに、注意対象物検出部３は、注意対象物の画像上における大きさから注意対象物の大きさも算出する。尚、これらの情報は自車両がレーダーを搭載している場合にはレーダーで検出してもよい。また、注意対象物が前方を走行している車両である場合には、車間距離センサ３３からの情報に基づいて相対距離を算出してもよい。尚、注意対象物検出部３は、相対速度に応じて相対距離をリアルタイムで補正してもよい。
ステップＳ５０において、表示制御部７は、注意対象物に隣接させて注意マークを重畳表示するための表示位置を算出する。まず、座標変換部２１が、前方カメラ３１で取得した３Ｄ座標のデータを自車両のフロントガラス上の２Ｄ座標のデータに変換する。これにより、注意対象物の位置を示す３Ｄ座標が、フロントガラス上の位置を示す２Ｄ座標に変換される。
そして、表示位置算出部２３は、注意対象物のフロントガラス上の２Ｄ座標に基づいて、注意マークを表示するフロントガラス上の表示位置を算出する。
ここで、注意マークの表示位置の算出方法を、図３を参照して説明する。図３に示すように、注意対象物４１が歩行者である場合に、表示位置算出部２３は、前方カメラ３１の画像上において、注意対象物４１を囲む矩形状の枠４３を設定し、この枠４３の中心に基点４５を設定する。そして、表示位置算出部２３は、この基点４５から下方に所定距離だけ離れた位置を注意マーク４７の表示位置として算出する。こうして算出された表示位置に注意マーク４７を表示することにより、運転者からは注意マーク４７が注意対象物４１に隣接して重畳表示されているように見える。尚、図３では、注意マーク４７を楕円形状としているが、直線形状であってもよいし、三角形や星形、矢印等のその他の形状であってもよい。また、枠４３を注意マークとして用いてもよいし、表示位置を基点４５に設定してもよい。
さらに、表示位置算出部２３は、注意対象物が検出されてから注意マークを表示するまでの間に時間差がある場合には、注意マークの表示位置を補正してもよい。例えば、時間差の大きさに応じて、注意マークの表示位置を自車両に近い位置となるように補正する。このとき自車両の車速が速い場合には、注意マークの表示位置をより自車両に近い位置に補正する。
ステップＳ６０において、表示制御部７は、注意マークの表示サイズを算出する。表示制御部７の表示サイズ算出部２５は、注意対象物の画像上の大きさに基づいて、フロントガラス上に表示する注意マークの表示サイズを算出する。図３では、注意対象物４１の大きさを示す枠４３の横幅よりも若干大きくなるように注意マーク４７の表示サイズを設定しているが、枠４３の横幅と等しくなるように設定してもよいし、若干小さくなるように設定してもよい。
ステップＳ７０において、表示変調部９は、注意マークを強調表示するときの強調度合を相対距離に応じて変化させる。具体的に、表示変調部９は、注意対象物が自車両に接近して相対距離が小さくなるのに応じて、注意マークの輝度が高くなるように強調度合を変化させる。例えば、図４（ａ）に示すように、時刻Ｔ０において、注意対象物４１が自車両から遠くに位置して相対距離が大きい場合には注意マーク４７の輝度Ｂ０を低くする。その後、Δｔの時間が経過して時刻Ｔ１＝Ｔ０＋Δｔになると、図４（ｂ）に示すように注意対象物４１が自車両に接近して相対距離が小さくなる。この場合に、表示変調部９は、注意マーク４７の輝度を相対距離が小さくなるのに応じて高くなるように変化させて輝度Ｂ１（＞Ｂ０）に設定する。
このように相対距離が小さくなるのに応じて注意マークの輝度が高くなるように変化させることで、注意対象物が自車両に接近して注意喚起の必要性が高まるのに応じて、運転者による注意対象物の認知度を向上させることができる。一方、注意対象物が自車両から遠くに位置して、注意喚起する必要性が低いときには、注意マークの輝度を低く設定することで、運転者に与える煩わしさを低減することができる。
さらに、表示変調部９は、注意マークの輝度を変化させる代わりに空間周波数を変化させてもよい。具体的に、表示変調部９は、注意対象物が自車両に接近して相対距離が小さくなるのに応じて、注意マークの空間周波数が高くなるように変化させる。すなわち、相対距離が大きくて注意対象物が自車両から遠くに位置するときには注意マークをぼんやりと表示し、注意対象物が自車両に接近して相対距離が小さくなると、注意マークをくっきりと表示する。例えば、図５（ａ）に示すように、時刻Ｔ０では注意マーク４７の空間周波数Ｈ０を低く設定してぼんやりと表示する。そして、時刻Ｔ１＝Ｔ０＋Δｔになると、図５（ｂ）に示すように相対距離が小さくなるのに応じて、注意マーク４７の空間周波数が高くなるように変化させ、空間周波数をＨ１（＞Ｈ０）に設定する。これにより、注意対象物が自車両に接近して注意喚起する必要性が高まったときに、注意マークをくっきりと表示して運転者による注意対象物の認知度を向上させることができる。一方、注意対象物が自車両から遠くに位置して注意喚起する必要性が低いときには、注意マークをぼんやりと表示して運転者に与える煩わしさを低減することができる。
さらに、表示変調部９は、注意マークの時間周波数を変化させてもよい。具体的に、表示変調部９は、相対距離が小さくなるのに応じて注意マークの時間周波数が高くなるように変化させる。すなわち、注意対象物が自車両から遠くに位置して相対距離が大きいときには注意マークがゆっくりと点滅するように表示し、注意対象物が自車両に接近して相対距離が小さくなると、注意マークの点滅が早くなるように表示する。例えば、図６（ａ）に示すように、時刻Ｔ０では注意マーク４７の時間周波数ｆ０を低く設定してゆっくりと点滅させる。そして、時刻Ｔ１＝Ｔ０＋Δｔになると、図６（ｂ）に示すように相対距離が小さくなるのに応じて注意マーク４７の時間周波数が高くなるように変化させ、時間周波数をｆ１（＞ｆ０）に設定する。これにより、注意対象物が自車両に接近して注意喚起する必要性が高まったときに、注意マークを早く点滅させて運転者による注意対象物の認知度を向上させることができる。一方、注意対象物が自車両から遠くに位置して注意喚起する必要性が低いときには、注意マークをゆっくりと点滅させて運転者に与える煩わしさを低減することができる。
尚、注意マークの輝度、空間周波数、時間周波数のうちのいずれか１つを相対距離に応じて変化させてもよいが、いずれか２つを組み合わせて相対距離に応じて変化させてもよいし、すべてを相対距離に応じて変化させてもよい。
ステップＳ８０において、画像生成部１１は、上述した各処理で算出された表示位置、表示サイズ、強調表示となるように注意マークの画像を生成して、ＨＵＤ表示部３９に出力する。こうして本実施形態に係る画像生成処理を終了する。
この後、ＨＵＤ表示部３９によって、注意マークの画像がフロントガラス上に投影され、注意対象物に重畳するように注意マークの虚像が表示される。
［第１実施形態の効果］
以上詳細に説明したように、本実施形態に係る車両用表示装置１によれば、注意マークを強調表示するときの強調度合を相対距離に応じて変化させるので、注意対象物が自車両に接近して、その大きさが変化するのに応じて運転者による注意対象物の認知度を向上させることができる。
また、本実施形態に係る車両用表示装置１によれば、相対距離に応じて注意マークの輝度を変化させるので、注意対象物が自車両に接近して、その大きさが変化するのに応じて、運転者は注意対象物を容易に視認することができる。
さらに、本実施形態に係る車両用表示装置１によれば、相対距離に応じて注意マークの空間周波数を変化させるので、注意対象物が自車両に接近して、その大きさが変化するのに応じて、運転者は注意対象物をはっきりと視認することができる。
また、本実施形態に係る車両用表示装置１によれば、相対距離に応じて注意マークの時間周波数を変化させるので、注意対象物が自車両に接近して、その大きさが変化するのに応じて、運転者による注意対象物の認知度を向上させることができる。
さらに、本実施形態に係る車両用表示装置１によれば、注意対象物が検出されてから注意マークを表示するまでの時間差に応じて、注意マークの表示位置を補正するので、時間差に関係なく注意マークを適正な位置に表示することができる。
［第２実施形態］
次に、本発明の第２実施形態に係る車両用表示装置について図面を参照して説明する。ただし、本実施形態に係る車両用表示装置の構成は第１実施形態と同一なので、詳細な説明は省略する。
本実施形態では、注意マークの表示サイズを相対距離に応じて変化させるようにしたことが、第１実施形態と相違している。すなわち、図２に示すフローチャートのステップＳ６０において、表示制御部７が注意マークの表示サイズを算出する際に、相対距離に応じて注意マークの表示サイズを変化させる。ただし、図２のフローチャートのその他のステップについては、第１実施形態と同一の処理が実行されるので、詳細な説明は省略する。
ステップＳ６０において、表示制御部７の表示サイズ算出部２５は、上述した第１実施形態と同様に注意対象物の画像上の大きさに基づいて注意マークの表示サイズを算出する。そして、表示サイズ算出部２５は、算出した注意マークの表示サイズを相対距離に応じて変化させる。具体的に、表示サイズ算出部２５は、注意対象物が自車両に接近して相対距離が小さくなるのに応じて、注意マークの表示サイズが大きくなるように変化させる。例えば、図７（ａ）に示すように、時刻Ｔ０において注意対象物４１が自車両から遠くに位置して相対距離が大きい場合には、注意マーク４７の幅Ｌ０を小さくする。この幅Ｌ０は、注意対象物の大きさに基づいて算出された通常の表示サイズと同じか、あるいは小さくする。その後、Δｔの時間が経過して時刻Ｔ１＝Ｔ０＋Δｔになると、図７（ｂ）に示すように注意対象物４１が自車両に接近して相対距離が小さくなる。この場合に、表示サイズ算出部２５は、注意マーク４７の幅を相対距離が小さくなるのに応じて大きくなるように変化させて幅Ｌ１（＞Ｌ０）に設定する。この幅Ｌ１は、注意対象物の大きさに基づいて算出された通常の表示サイズよりも大きくする。これにより、注意対象物が自車両に接近して注意喚起する必要性が高まったときに、注意マークの表示サイズを大きくして運転者による注意対象物の認知度を向上させることができる。一方、注意対象物が自車両から遠くに位置して注意喚起する必要性が低いときには、注意マークの表示サイズを小さくして運転者に与える煩わしさを低減することができる。
尚、図７では、注意マークの横方向の幅を変化させる場合について例示したが、注意マークの縦方向の長さを変化させてもよいし、注意マーク全体の大きさを変化させてもよい。
［第２実施形態の効果］
以上詳細に説明したように、本実施形態に係る車両用表示装置１によれば、注意マークの表示サイズを相対距離に応じて変化させるので、注意対象物が自車両に接近して、その大きさが変化するのに応じて、運転者は注意対象物を容易に視認することができる。
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。
１ 車両用表示装置
３ 注意対象物検出部
５ 車両状態検出部
７ 表示制御部
９ 表示変調部
１１ 画像生成部
２１ 座標変換部
２３ 表示位置算出部
２５ 表示サイズ算出部
３１ 前方カメラ
３３ 車間距離センサ
３５ 舵角センサ
３７ 車速センサ
３９ ＨＵＤ表示部

Claims (6)

  1. 自車両のフロントガラス上に画像を表示する車両用表示装置であって、
    前記自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出し、前記注意対象物から前記自車両までの距離を算出する注意対象物検出部と、
    前記注意対象物検出部で検出された注意対象物について前記運転者に注意喚起を行う注意マークを、前記運転者から見て前記注意対象物に隣接させて前記フロントガラス上に重畳表示するための表示制御を実行する表示制御部と、
    前記表示制御部によって表示制御される注意マークを強調表示するときの強調度合を前記距離に応じて変化させる表示変調部とを備え、
    前記表示制御部は、前記注意マークの表示サイズを前記距離に応じて変化させ、前記注意対象物が検出されてから前記注意マークを表示するまでの時間差に応じて、前記注意マークの表示位置を補正することを特徴とする車両用表示装置。
  2. 前記表示変調部は、前記距離に応じて前記注意マークの輝度を変化させることを特徴とする請求項１に記載の車両用表示装置。
  3. 前記表示変調部は、前記距離に応じて前記注意マークの空間周波数を変化させることを特徴とする請求項１または２に記載の車両用表示装置。
  4. 前記表示変調部は、前記距離に応じて前記注意マークの時間周波数を変化させることを特徴とする請求項１〜３のいずれか１項に記載の車両用表示装置。
  5. 自車両のフロントガラス上に画像を表示する車両用表示装置の車両用表示方法であって、
    前記車両用表示装置は、
    前記自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出して前記注意対象物から前記自車両までの距離を算出し、
    前記注意対象物について前記運転者に注意喚起を行う注意マークを、前記運転者から見て前記注意対象物に隣接させて前記フロントガラス上に重畳表示するための表示制御を実行し、
    前記注意マークを強調表示するときの強調度合を前記距離に応じて変化させ、
    前記注意マークの表示サイズを前記距離に応じて変化させ、前記注意対象物が検出されてから前記注意マークを表示するまでの時間差に応じて、前記注意マークの表示位置を補正することを特徴とする車両用表示方法。
  6. 自車両のフロントガラス上に画像を表示する車両用表示装置であって、
    前記自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出し、前記注意対象物から前記自車両までの距離を算出する注意対象物検出部と、
    前記注意対象物検出部で検出された注意対象物について前記運転者に注意喚起を行う注意マークを、前記運転者から見て前記注意対象物に隣接させて前記フロントガラス上に重畳表示するための表示制御を実行する表示制御部と、
    前記表示制御部によって表示制御される注意マークを強調表示するときの強調度合を前記距離に応じて変化させる表示変調部とを備え、
    前記表示制御部は、前記注意対象物が検出されてから前記注意マークを表示するまでの時間差に応じて、前記注意マークの表示位置を補正することを特徴とする車両用表示装置。
JP2016530727A 2014-07-01 2014-07-01 車両用表示装置及び車両用表示方法 Active JP6330908B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/067545 WO2016002006A1 (ja) 2014-07-01 2014-07-01 車両用表示装置及び車両用表示方法

Publications (2)

Publication Number Publication Date
JPWO2016002006A1 JPWO2016002006A1 (ja) 2017-04-27
JP6330908B2 true JP6330908B2 (ja) 2018-05-30

Family

ID=55018606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016530727A Active JP6330908B2 (ja) 2014-07-01 2014-07-01 車両用表示装置及び車両用表示方法

Country Status (5)

Country Link
US (1) US20170134662A1 (ja)
EP (1) EP3153356B1 (ja)
JP (1) JP6330908B2 (ja)
CN (1) CN106660495B (ja)
WO (1) WO2016002006A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366611B2 (en) * 2015-10-22 2019-07-30 Nissan Motor Co., Ltd. Parking support information display method and parking support device
US20190031102A1 (en) * 2016-01-28 2019-01-31 Hon Hai Precision Industry Co., Ltd. Image display system for vehicle use and vehicle equipped with the image display system
WO2017138428A1 (ja) 2016-02-08 2017-08-17 株式会社リコー 情報表示装置
JP6390645B2 (ja) * 2016-03-07 2018-09-19 マツダ株式会社 車両周辺画像表示装置
CN105644444B (zh) * 2016-03-17 2018-02-06 京东方科技集团股份有限公司 一种车载显示***
JP6696331B2 (ja) * 2016-07-06 2020-05-20 富士ゼロックス株式会社 情報処理装置、画像形成システムおよびプログラム
KR101996417B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP6945933B2 (ja) * 2017-12-27 2021-10-06 アルパイン株式会社 表示システム
JP7077616B2 (ja) * 2017-12-28 2022-05-31 トヨタ自動車株式会社 表示制御装置および表示制御方法
GB2576060A (en) * 2018-07-31 2020-02-05 Continental Automotive Gmbh Head-Up Display System
CN109703556B (zh) * 2018-12-20 2021-01-26 斑马网络技术有限公司 驾驶辅助方法及设备
US11093767B1 (en) * 2019-03-25 2021-08-17 Amazon Technologies, Inc. Selecting interactive options based on dynamically determined spare attention capacity
CN115122910A (zh) * 2021-03-29 2022-09-30 本田技研工业株式会社 车辆用显示装置
US11590845B2 (en) * 2021-04-29 2023-02-28 Toyota Research Institute, Inc. Systems and methods for controlling a head-up display in a vehicle
CN114648982B (zh) * 2022-05-24 2022-07-26 四川大学 一种基于对比学习的管制员语音识别方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19826283B4 (de) * 1997-06-19 2008-10-16 Volkswagen Ag Verfahren zur Anzeige eines vor einem Kraftfahrzeug befindlichen Objektes, insbesondere eines vorausfahrenden Kraftfahrzeuges
JP2004310489A (ja) * 2003-04-08 2004-11-04 Nissan Motor Co Ltd 車両用注意喚起装置
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4311420B2 (ja) * 2006-08-11 2009-08-12 住友電気工業株式会社 接近移動体表示装置、システム及び方法
JP2010108264A (ja) * 2008-10-30 2010-05-13 Honda Motor Co Ltd 車両周辺監視装置
JP5052707B2 (ja) * 2010-06-15 2012-10-17 三菱電機株式会社 車両周辺監視装置
JP5601930B2 (ja) * 2010-08-09 2014-10-08 本田技研工業株式会社 車両用表示装置
JP2012148710A (ja) * 2011-01-20 2012-08-09 Toyota Motor Corp 画像表示装置
US9605971B2 (en) * 2011-06-17 2017-03-28 Robert Bosch Gmbh Method and device for assisting a driver in lane guidance of a vehicle on a roadway
US8692739B2 (en) * 2011-09-22 2014-04-08 GM Global Technology Operations LLC Dynamic information presentation on full windshield head-up display
JP2013235110A (ja) * 2012-05-08 2013-11-21 Nikon Corp オートフォーカス装置およびこれを有する顕微鏡
DE102012214903A1 (de) * 2012-08-22 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Head-up-Displays eines Fahrzeugs und Bildermittlungssystem für das Head-up-Display
CN103192785A (zh) * 2013-04-25 2013-07-10 夏春蕾 车辆四周立体空间全监控***
US10013951B2 (en) * 2014-03-13 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Display control device, display device, display control program, display control method, and recording medium
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置

Also Published As

Publication number Publication date
US20170134662A1 (en) 2017-05-11
CN106660495B (zh) 2020-02-18
EP3153356A1 (en) 2017-04-12
EP3153356A4 (en) 2017-10-04
WO2016002006A1 (ja) 2016-01-07
EP3153356B1 (en) 2018-09-19
JPWO2016002006A1 (ja) 2017-04-27
CN106660495A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
JP6330908B2 (ja) 車両用表示装置及び車両用表示方法
JP6278222B2 (ja) 車両用表示装置及び車両用表示方法
JP6443559B2 (ja) 車両用表示装置及び車両用表示方法
CA2912349C (en) Information processing device, approaching object notification method, and program
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
US20150062141A1 (en) Alert display device and alert display method
US20150070158A1 (en) Alert display device and alert display method
JP6307895B2 (ja) 車両用周辺監視装置
JP6562079B2 (ja) 車両用表示装置及び車両用表示方法
JP6379779B2 (ja) 車両用表示装置
JP5942979B2 (ja) 車両用情報表示装置及び車両用情報表示方法
JP7077616B2 (ja) 表示制御装置および表示制御方法
JP6379770B2 (ja) 車両用表示装置
JP2013207746A (ja) 車両の後側方撮影装置
JP5477394B2 (ja) 車両周辺監視装置
JP4584277B2 (ja) 表示装置
JP4598011B2 (ja) 車両用表示装置
JP6863728B2 (ja) 運転支援装置および運転支援方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20161216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R151 Written notification of patent or utility model registration

Ref document number: 6330908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151