JP6525345B2 - 車両の表示システム及び車両の表示システムの制御方法 - Google Patents

車両の表示システム及び車両の表示システムの制御方法 Download PDF

Info

Publication number
JP6525345B2
JP6525345B2 JP2017050346A JP2017050346A JP6525345B2 JP 6525345 B2 JP6525345 B2 JP 6525345B2 JP 2017050346 A JP2017050346 A JP 2017050346A JP 2017050346 A JP2017050346 A JP 2017050346A JP 6525345 B2 JP6525345 B2 JP 6525345B2
Authority
JP
Japan
Prior art keywords
vehicle
display
target person
authentication
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017050346A
Other languages
English (en)
Other versions
JP2018156174A (ja
Inventor
能英瑠 佐藤
能英瑠 佐藤
武史 鳥居
武史 鳥居
瑠一 澄川
瑠一 澄川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017050346A priority Critical patent/JP6525345B2/ja
Priority to CN201810139544.4A priority patent/CN108621939B/zh
Priority to DE102018103266.8A priority patent/DE102018103266A1/de
Priority to US15/898,259 priority patent/US10289904B2/en
Publication of JP2018156174A publication Critical patent/JP2018156174A/ja
Application granted granted Critical
Publication of JP6525345B2 publication Critical patent/JP6525345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741Instruments adapted for user detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、車両の表示システム及び車両の表示システムの制御方法に関する。
従来、例えば下記の特許文献1には、表示ガラスパネルの両面に画像を表示できるように、表示ガラスパネルの外側の面には、車両の周囲に知らせるためのメッセージが表示されることが記載されている。
特開2007−52719号公報
しかしながら、上記特許文献に記載された技術では、表示ガラスパネルの外側に表示されるメッセージが誰に向けて発したメッセージであるかを判別することは困難である
また、ドライバが車両を停車させ、待ち合わせ相手が到着するまでドライバが車両内で待機する状況を想定した場合、待ち合わせ場所に多くの車が存在すると、待ち合わせ相手が目的の車両を探し出すために時間がかかってしまう場合がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、車両に設けられた表示装置に車両外の特定の対象人物に向けた表示を行うことが可能な、新規かつ改良された車両の表示システム及び車両の表示システムの制御方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、車両に設けられた表示装置と、車両外に存在する対象人物を認証する認証部と、前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御する表示制御部と、車両外に存在する前記対象人物の画像情報を取得する画像情報取得部と、を備え、前記認証部は、前記画像情報が予め登録された登録情報と一致するか否かに応じて前記認証を行い、前記表示制御部は、前記画像情報が予め登録された前記登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御する、車両の表示システムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両に設けられた表示装置と、車両外に存在する対象人物を認証する認証部と、前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御する表示制御部と、前記対象人物が自車両に気付いたか否かを判定する判定部と、を備え、前記表示制御部は、前記対象人物が自車両に気付いたことが判定された場合は、前記対象人物に向けた表示が目立たなくなるように変更することを特徴とする、車両の表示システムが提供される。
前記認証部は、前記対象人物が保有する携帯端末の識別情報が予め登録された前記登録情報と一致するか否かに応じて前記認証を行い、前記表示制御部は、前記対象人物が保有する携帯端末の識別情報が予め登録された前記登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御するものであっても良い。
また、車両外に存在する前記対象人物の画像情報を取得する画像情報取得部を備え、前記認証部は、前記画像情報が予め登録された登録情報と一致するか否かに応じて前記認証を行い、前記表示制御部は、前記画像情報が予め登録された前記登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御するものであっても良い。
また、前記画像情報取得部は、周辺車両が取得した前記画像情報を外部のサーバを介して取得し、前記認証部は、前記サーバを介して取得した前記画像情報が予め登録された前記登録情報と一致するか否かに応じて前記認証を行うものであっても良い。
また、前記表示制御部は、前記対象人物から許可を得ている表示を行うように前記表示装置を制御するものであっても良い。
また、前記表示制御部は、前記対象人物が保有する携帯端末の表示と対応する表示を行うように前記表示装置を制御するものであっても良い。
また、上記課題を解決するために、本発明の別の観点によれば、車両に設けられた表示装置を有する車両の表示システムの制御方法であって、車両外に存在する対象人物を認証するステップと、前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御するステップと、車両外に存在する前記対象人物の画像情報を取得するステップと、を備え、前記認証するステップにおいて、前記画像情報が予め登録された登録情報と一致するか否かに応じて前記認証を行い、前記表示装置を制御するステップにおいて、前記画像情報が予め登録された登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御する、車両の表示システムの制御方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両に設けられた表示装置を有する車両の表示システムの制御方法であって、車両外に存在する対象人物を認証するステップと、前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御するステップと、前記対象人物が自車両に気付いたか否かを判定するステップと、を備え、前記表示装置を制御するステップにおいて、前記対象人物が自車両に気付いたことが判定された場合は、前記対象人物に向けた表示が目立たなくなるように変更する、車両の表示システムの制御方法が提供される。
本発明によれば、車両に設けられた表示装置に車両外の特定の対象人物に向けた表示を行うことが可能となる。
本発明の一実施形態に係る車両システムの構成を示す模式図である。 自発光中間膜を用いたHUD装置を示す模式図である。 待ち合わせ相手の顔領域に基づいて、顔が向いている角度等を算出する様子を示す模式図である。 認証部による認証が成功した場合に、HUD装置により車両のフロントガラスに画像が表示された状態を示す模式図である。 認証部による認証が成功した場合に、HUD装置により車両のフロントガラスに画像が表示された状態を示す模式図である。 認証部による認証が成功した場合に、HUD装置により車両のフロントガラスに画像が表示された状態を示す模式図である。 周辺車両を利用した認証を示す模式図である。 待ち合わせ相手が車両に気付いたか否かを判定する手法を示す模式図である。 本実施形態に係る車両システムで行われる処理を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1は、本発明の一実施形態に係る車両の表示システム1000の構成を示す模式図である。車両の表示システム1000は、基本的には自動車などの車両と、車両を利用する人に関わるシステムである。図1に示すように、車両の表示システム1000は、車両800に備えられた車外センサ100、操作入力部202、制御装置400及びHUD装置300、車両800のドライバと待ち合わせする待ち合わせ相手900が保有する携帯端末200、サーバ500、周辺車両600,700を有して構成されている。
車外センサ100は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ100がステレオカメラから構成される場合、ステレオカメラは、CCDセンサ、CMOSセンサ等の撮像素子を有する左右1対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置400へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。
操作入力部202は、例えばタッチパネル等から構成され、ドライバや同乗者の操作による操作情報が入力される。ドライバは、操作入力部202を操作することで、待ち合わせ相手の特徴を示す情報(服の色、身長など)を入力することができる。
HUD(Head−up Display)装置500は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像を表示する。HUDは虚像を表示する装置が一般的に知られているが、本実施形態では、実像を映し出す表示装置を用いる。HUD装置300は、実像を表示しているため、視野角がほぼ360°あり、車内外から表示を視認することが可能である。
HUD装置300として、より具体的には、図2に示すような自発光中間膜510を用いる装置を用いることができる。この場合、車両のフロントガラス、リアガラス等において、表裏の2枚のガラス520で挟むように自発光中間膜510を配置する。自発光中間膜510には発光材料が含まれており、車内に設置するプロジェクター530からレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、HUD装置300は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機EL素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、表示デバイスとして、HUD装置300以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やLED表示装置などを用いても良い。なお、以下では、表示装置として車両の窓部(ガラス)に表示を行うHUD装置500を例に挙げて説明するが、本発明に係る表示装置はこれに限定されるものではなく、車両の内部又は外部に設けられた表示装置の全ての態様を含む。例えば、本実施形態に係る表示装置は、車両外部の窓部以外(ボディーなど)に設けられていても良く、車両内部の窓部以外(インパネ、座席など)に設けられていても良い。また、車両の内部に設けられた表示装置と車両の外部に設けられた表示装置は一体であっても良いし、別体であっても良い。
車両800の制御装置400は、環境情報取得部(画像情報取得部)402と、環境状態判定部404と、認証部410と、HUD装置300を制御するHUD制御部420と、携帯端末200と通信を行う通信部430と、位置情報を取得する位置情報取得部(GPS)440と、携帯端末200の識別情報を認証するための登録情報、待ち合わせ相手の画像情報を認証するための登録画像情報などを記憶する記憶部450と、を有している。携帯端末200は、制御装置400の通信部430と通信を行う通信部210と、位置情報を取得する位置情報取得部(GPS)220と、表示部230と、を備えている。サーバ500は、例えばクラウド上に設けられ、制御装置400の通信部430または周辺車両600,700と通信を行う通信部510と、データベース520を有している。なお、制御装置400の各構成要素は、回路(ハードウェア)、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)によって構成されることができる。
環境情報取得部402は、車外センサ100を構成するステレオカメラの左右1組のカメラによって撮像した左右1組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部402は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部402は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置400は、人物、他車両、一時停止の標識、停止線、ETCゲートなどを認識することもできる。
また、環境情報取得部402は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。
車外センサ100がカメラから構成される場合、車外センサ100によって撮影された画像は、制御装置400に入力される。環境情報取得部(画像情報取得部)402は、入力画像からエッジ検出、顔検出等の画像処理技術を用いて待ち合わせ相手900の顔領域を取得し、顔領域に基づいて顔向きを取得する。環境状態判定部406は、顔向きに基づいて待ち合わせ相手900が車両800に気付いたか否かを判定する。
図3は、検出された待ち合わせ相手900の顔領域10に基づいて、顔が向いている角度等を算出する様子を示す模式図である。画像情報から得られる待ち合わせ相手900の顔領域10に基づいて、待ち合わせ相手900の顔向きが予め定めた領域を外れているか否かをモニタリングすることで、待ち合わせ相手900が車両800に気付いたか否かを判定することができる。なお、待ち合わせ相手900の顔領域10は、目、鼻、口など顔の各部位の特徴点の位置情報から設定できる。
図3の右下には、環境情報取得部402による検知結果20を示している。検知結果20には、縦軸に「顔の上下方向の角度」、横軸に「顔の左右方向の角度」を表示しており、×印30は検知された顔向きを示している。
このように、環境情報取得部402は、車外センサ100から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報を分析して車両外の環境情報を取得することができる。
例えば、ドライバが車両800を停車させ、待ち合わせ相手が到着するまでドライバが車両800内で待機する状況がある。このような状況では、待ち合わせ相手が目的の車両800を探し出すために時間がかかってしまう場合がある。特に、待ち合わせ相手がそのドライバの車両800を初めて見る場合、待ち合わせ相手が車両800を覚えていない場合などは、目的の車両800を探し出すまでに長時間を要してしまう。また、駅前などで待ち合わせする場合など、停車中の車両が数多く存在する場合も、待ち合わせ相手が目的の車両800を探し出すまでに長時間を要してしまう。更に、車両800の色が白や黒などであって、同じ色の車両が数多く存在する場合も、待ち合わせ相手が目的の車両800を探し出すまでに長時間を要してしまう。
本実施形態では、車両外にいる人物(待ち合わせ相手)を認証し、認証結果に応じてHUD装置300に車外表示を行う。より詳細には、認証の結果、認証が成功し、車両外にいる人物が予め登録している人物と合致する場合は、その人物に向けた特定のメッセージを車外表示する。これにより、待ち合わせ相手は、車両800のガラスを見ることで、目的の車両800を容易に、且つ短時間に探し出すことができる。
待ち合わせ相手の認証は、制御装置400の認証部410によって行われる。認証部410は、待ち合わせ相手の携帯端末200が送信する識別情報と、予め制御装置400側で登録している登録情報とを比較することによって、待ち合わせ相手の認証を行う。また、認証部410は、車外センサ100が取得した画像情報と、予め制御装置400側で登録している登録画像情報とを比較することによって、待ち合わせ相手の認証を行う。また、認証部410は、認証が成功した場合に、待ち合わせ相手の携帯端末200が自車両800の近くにあるか否かの判定をも行う。
図4〜図6は、認証部410による認証が成功した場合に、HUD装置300により車両800のフロントガラス810に画像540が表示された状態を示す模式図である。図4〜図6に示す車両800の図において、左側に示す図は車外から画像540を見た場合を示しており、右側に示す図は車内から画像540を見た場合を示している。
図4に示すように、認証が成功すると、待ち合わせ相手900から見易い位置に画像540が表示される。これにより、図5に示すように、待ち合わせ相手900は、画像540を見ることで、目的の車両800を容易に、且つ短時間に探し出すことができる。
事前に待ち合わせ相手900から苗字や愛称を表示する許可を得ている場合は、図4に示したように「Taro」などの愛称を表示することができる。また、待ち合わせ相手900とドライバとの間で取り決めをしておき、待ち合わせ相手900とドライバしか意味を認識できないような画像を表示しても良い。
図6は、画像540の位置、サイズを変更して、ドライバの視認性を優先した場合を示す模式図である。画像540をフロントガラス810の端に小さく表示することで、ドライバが座席に座って正面を見た場合の視認性を高めることができる。
図7は、周辺車両600,700を利用した認証を示す模式図である。周辺車両600,700は、車両800と同様に構成され、車外センサ100を備えている。周辺車両600,700の車外センサ100が取得した画像情報は、サーバ500へ送られ、サーバ500から車両800の制御装置400に送られ、環境情報取得部(画像情報取得部)402によって取得される。制御装置400の認証部410は、周辺車両600,700の車外センサ100が取得した画像情報と、予め制御装置400側で登録している登録画像情報とを比較することによって、待ち合わせ相手の認証を行う。周辺車両600,700を利用した認証を行うことで、車両800が直接的に待ち合わせ相手を認証できない場合であっても、待ち合わせ相手900の認証を確実に行うことができる。
例えば、待ち合わせ相手900が車両800から比較的離れている場合や、待ち合わせ相手900が車両800の車外センサ100の死角になる位置にいる場合など、車両800の車外センサ100が待ち合わせ相手の画像情報を取得できない場合がある。このような場合、周辺車両600,700の車外センサ100が取得した画像情報に基づいて認証を行うことが可能である。
待ち合わせ相手900が目的の車両800に気付いた場合は、車外表示の位置、サイズを変更し、画像540を目立たなくする。図8は、待ち合わせ相手900が車両800に気付いたか否かを判定する手法を示す模式図であって、上方から車両800及び待ち合わせ相手900を見た状態を示している。図8に示すように、車外センサ100により待ち合わせ相手900が検出され、待ち合わせ相手900の顔向きが検出されると、待ち合わせ相手の位置Wを始点とした顔向きを示す矢印A1が定まる。環境状態判定部406は、この矢印A1が車両800の方向を指していれば、待ち合わせ相手900が車両800に気付いたと判定することができる。
次に、図9のフローチャートに基づいて、本実施形態に係る車両の表示システム1000で行われる処理について説明する。先ず、ステップS10では、待ち合わせ相手、場所の設定等を行う。ここでは、ドライバが操作入力部202を操作して待ち合わせ相手900の特徴を示す情報を入力する。待ち合わせ相手900の特徴を示す情報は、一旦記憶部450に格納される。
次のステップS12では、制御装置400の通信部430が待ち合わせ相手の携帯端末200と通信を行い、認証部410が携帯端末200の識別情報に基づいて認証を行う。また、ステップS12では、携帯端末200の位置情報を取得し、携帯端末200の位置情報と、位置情報取得部440から得られる車両800の位置情報とを比較し、待ち合わせ相手の携帯端末200が自車両800の近くにあるか否かを判定する。
ステップS12の認証が成功し、待ち合わせ相手の携帯端末200が自車両800の近くにある場合は、ステップS14へ進む。ステップS14では、苗字や愛称を表示する許可を待ち合わせ相手900から得ているか否かを判定し、許可を得ている場合はステップS16へ進む。苗字や愛称を表示する許可を得ているか否かの情報は、記憶部450に予め格納されている。また、この情報は、ステップS10でドライバが入力しても良い。ステップS16では、車両800のドライバまたは待ち合わせ相手900の苗字や愛称など個人を特定できる情報を含んだ車外表示を行う。
一方、ステップS14において、苗字や愛称を表示する許可を待ち合わせ相手900から得ていない場合はステップS18へ進む。ステップS18では、待ち合わせ相手900の携帯端末200と連動した車外表示を行う。具体的には、ステップS18では、HUD装置300に所定のマークを表示するとともに、そのマークの情報を携帯端末200へ送信し、携帯端末200の表示部230に同じマークを表示させる。これにより、待ち合わせ相手900は、携帯端末200に表示されたマークとHUD装置300に表示されたマークを比較し、両者が一致する場合に、目的の車両800を発見することができる。
ステップS16,S18の後はステップS20へ進む。ステップS20では、図8で示した手法により待ち合わせ相手900が車外表示に気付いたか否かを判定し、待ち合わせ相手900が車外表示に気付いた場合はステップS22へ進む。ステップS22では、車外表示の位置、サイズを変更し、表示を目立たなくする。次のステップS24では、t3秒間だけ車外表示を継続した後、車外表示を消す。ステップS24の後は処理を終了する(END)。
ステップS20で待ち合わせ相手が車外表示に気付いていない場合は、ステップS25へ進む。ステップS25では、待ち合わせ相手の携帯端末200と通信を行い、携帯端末200に通知を行う。ここでは、待ち合わせ相手900に対し、停車中の車両のガラスを見ることを促すような通知を行う。ステップS25の後はステップS22へ進み、車外表示の位置、サイズを変更し、表示を目立たなくする。
また、ステップS12の認証が成功しなかった場合は、ステップS26へ進む。ステップS26では、認証部410が、車外センサ100の情報から得られる待ち合わせ相手900の画像情報と予め登録された登録画像情報とを比較し、待ち合わせ相手900の特徴に合致する人物が車両800の周辺にいるか否かを認証する。そして、待ち合わせ相手900の特徴に合致する人物が車両800の周辺にいる場合は、ステップS28へ進む。一方、待ち合わせ相手の特徴に合致する人物が車両800の周辺にいない場合は、ステップS30へ進む。
ステップS30では、周辺車両600,700の車外センサ100の情報から得られる画像情報から、待ち合わせ相手900の特徴に合致する人物がいるか否かを判定する。そして、周辺車両600,700の車外センサ100の情報から得られる画像情報から、待ち合わせ相手900の特徴に合致する人物がいる場合は、ステップS28へ進む。一方、周辺車両600,700の車外センサ100の情報から得られる画像情報から、待ち合わせ相手900の特徴に合致する人物がいない場合は、処理を終了する(END)。
ステップS28では、自車両800または周辺車両600,700で得られた画像情報から、待ち合わせ相手の特徴に合致する人物が周辺にいるため、苗字や愛称を表示する許可を待ち合わせ相手から得ているか否かを判定し、許可を得ている場合はステップS32へ進む。ステップS32では、車両800のドライバまたは待ち合わせ相手900の苗字や愛称など個人を特定できる情報を含んだ車外表示を行う。
一方、ステップS28において、苗字や愛称を表示する許可を待ち合わせ相手から得ていない場合はステップS34へ進む。ステップS34では、車両800のドライバと待ち合わせ相手が互いに認識できるマークを車外表示する。
ステップS32,S34の後はステップS36へ進む。ステップS36では、図8で示した手法により待ち合わせ相手が車外表示に気付いたか否かを判定し、待ち合わせ相手が車外表示に気付いた場合はステップS38へ進む。ステップS38では、車外表示の位置、サイズを変更し、表示を目立たなくする。
また、ステップS36で待ち合わせ相手が車外表示に気付いていない場合はステップS40へ進む。ステップS40では、t2秒間だけ車外表示を継続した後、車外表示の位置、サイズを変更し、表示を目立たなくする。ステップS38,S40の後はステップS24へ進み、t2秒間だけ車外表示を継続した後、車外表示を消す。ステップS24の後は処理を終了する(END)。
以上説明したように本実施形態によれば、車両外の待ち合わせ相手900の認証を行い、認証が成功した場合にHUD装置300による表示を行うようにした。これにより、待ち合わせ相手900は、目的の車両800を短時間で確実に発見することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
100 装置
402 環境情報取得部
404 環境情報判定部
410 認証部
420 HUD制御部
500 サーバ
600,700 周辺車両
800 車両

Claims (9)

  1. 車両に設けられた表示装置と、
    車両外に存在する対象人物を認証する認証部と、
    前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御する表示制御部と、
    車両外に存在する前記対象人物の画像情報を取得する画像情報取得部と、
    を備え
    前記認証部は、前記画像情報が予め登録された登録情報と一致するか否かに応じて前記認証を行い、
    前記表示制御部は、前記画像情報が予め登録された前記登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御することを特徴とする、車両の表示システム。
  2. 車両に設けられた表示装置と、
    車両外に存在する対象人物を認証する認証部と、
    前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御する表示制御部と、
    前記対象人物が自車両に気付いたか否かを判定する判定部と、
    を備え
    前記表示制御部は、前記対象人物が自車両に気付いたことが判定された場合は、前記対象人物に向けた表示が目立たなくなるように変更することを特徴とする、車両の表示システム。
  3. 前記認証部は、前記対象人物が保有する携帯端末の識別情報が予め登録された前記登録情報と一致するか否かに応じて前記認証を行い、
    前記表示制御部は、前記対象人物が保有する携帯端末の識別情報が予め登録された前記登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御することを特徴とする、請求項2に記載の車両の表示システム。
  4. 車両外に存在する前記対象人物の画像情報を取得する画像情報取得部を備え、
    前記認証部は、前記画像情報が予め登録された登録情報と一致するか否かに応じて前記認証を行い、
    前記表示制御部は、前記画像情報が予め登録された前記登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御することを特徴とする、請求項2に記載の車両の表示システム。
  5. 前記画像情報取得部は、周辺車両が取得した前記画像情報を外部のサーバを介して取得し、
    前記認証部は、前記サーバを介して取得した前記画像情報が予め登録された前記登録情報と一致するか否かに応じて前記認証を行うことを特徴とする、請求項1に記載の車両の表示システム。
  6. 前記表示制御部は、前記対象人物から許可を得ている表示を行うように前記表示装置を制御する、請求項1〜5のいずれかに記載の車両の表示システム。
  7. 前記表示制御部は、前記対象人物が保有する携帯端末の表示と対応する表示を行うように前記表示装置を制御することを特徴とする、請求項3に記載の車両の表示システム。
  8. 車両に設けられた表示装置を有する車両の表示システムの制御方法であって、
    車両外に存在する対象人物を認証するステップと、
    前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御するステップと、
    車両外に存在する前記対象人物の画像情報を取得するステップと、
    を備え
    前記認証するステップにおいて、前記画像情報が予め登録された登録情報と一致するか否かに応じて前記認証を行い、
    前記表示装置を制御するステップにおいて、前記画像情報が予め登録された登録情報と一致する場合に、前記対象人物に向けた表示を行うように前記表示装置を制御することを特徴とする、車両の表示システムの制御方法。
  9. 車両に設けられた表示装置を有する車両の表示システムの制御方法であって、
    車両外に存在する対象人物を認証するステップと、
    前記認証の結果に応じて、前記対象人物に向けた表示を行うように前記表示装置を制御するステップと、
    前記対象人物が自車両に気付いたか否かを判定するステップと、
    を備え、
    前記表示装置を制御するステップにおいて、前記対象人物が自車両に気付いたことが判定された場合は、前記対象人物に向けた表示が目立たなくなるように変更することを特徴とする、車両の表示システムの制御方法。
JP2017050346A 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法 Active JP6525345B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017050346A JP6525345B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法
CN201810139544.4A CN108621939B (zh) 2017-03-15 2018-02-11 车辆的显示***及车辆的显示***的控制方法
DE102018103266.8A DE102018103266A1 (de) 2017-03-15 2018-02-14 Fahrzeug-displaysystem und verfahren zur steuerung eines fahrzeug-displaysystems
US15/898,259 US10289904B2 (en) 2017-03-15 2018-02-16 Vehicle display system and method of controlling vehicle display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017050346A JP6525345B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Publications (2)

Publication Number Publication Date
JP2018156174A JP2018156174A (ja) 2018-10-04
JP6525345B2 true JP6525345B2 (ja) 2019-06-05

Family

ID=63372077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017050346A Active JP6525345B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Country Status (4)

Country Link
US (1) US10289904B2 (ja)
JP (1) JP6525345B2 (ja)
CN (1) CN108621939B (ja)
DE (1) DE102018103266A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137455A1 (ja) * 2018-12-28 2020-07-02 株式会社小糸製作所 車両用灯具
WO2020223016A1 (en) * 2019-05-02 2020-11-05 Tdisp Inc. Display system for transportation networks
JP7239013B2 (ja) * 2019-10-08 2023-03-14 日本電気株式会社 案内装置、案内方法、プログラム
JP7332535B2 (ja) * 2020-05-27 2023-08-23 本田技研工業株式会社 車両制御システム、サーバ、及び車両制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4740689B2 (ja) 2005-08-19 2011-08-03 エイディシーテクノロジー株式会社 車載用画像表示装置及び車載用装置
JP2007206934A (ja) * 2006-02-01 2007-08-16 Konica Minolta Holdings Inc 認証システム、認証制御装置およびプログラム
CN1971656A (zh) * 2006-12-21 2007-05-30 李毅 一种能对机动车和驾驶员进行可靠管理的电子检测***
DE102007012898A1 (de) * 2007-03-17 2008-09-18 Standard Micron Dipl. Ing. W. Schuh Gmbh Einrichtung zur Nutzung von Kraftfahrzeug (Kfz) bezogenen Daten, die durch automatische Auswertung derer Kfz Nummernschilder gewonnen wurden
KR20100053864A (ko) * 2008-11-13 2010-05-24 현대자동차주식회사 도어 아웃사이드 핸들 구조
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US9461992B2 (en) * 2013-01-09 2016-10-04 Chris Outwater Smartphone based identification, access control, testing, and evaluation
US9802553B2 (en) * 2013-08-12 2017-10-31 Nissan North America, Inc. Vehicle body structure
KR101586228B1 (ko) * 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
JP6343248B2 (ja) * 2015-04-13 2018-06-13 パナソニック株式会社 車載端末装置及びこれを備えた歩車間通信システム及び車両待ち合わせ方法
JP6332156B2 (ja) * 2015-06-17 2018-05-30 株式会社デンソー 位置情報共有システム、車載情報端末及びプログラム
US20170148216A1 (en) * 2015-11-25 2017-05-25 Continental Automotive Systems, Inc. Display system adjustable based on background
JP6895743B2 (ja) * 2016-12-12 2021-06-30 三菱電機株式会社 車載認証装置および車載認証方法

Also Published As

Publication number Publication date
JP2018156174A (ja) 2018-10-04
CN108621939A (zh) 2018-10-09
CN108621939B (zh) 2023-05-02
US10289904B2 (en) 2019-05-14
DE102018103266A1 (de) 2018-09-20
US20180268209A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6655036B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US10088899B2 (en) Eye gaze tracking utilizing surface normal identification
US10311735B2 (en) Vehicle display system and method of controlling vehicle display system
JP6525345B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
CN108621941B (zh) 车辆的显示***及车辆的显示***的控制方法
CN108621940B (zh) 车辆的显示***及车辆的显示***的控制方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US9823735B2 (en) Method for selecting an information source from a plurality of information sources for display on a display of smart glasses
US10227002B2 (en) Vehicle display system and method of controlling vehicle display system
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
TWI522257B (zh) 車用安全系統及其運作方法
US10604160B2 (en) Driver condition detection system
JP6791108B2 (ja) 顔位置検出装置
JP2009183473A (ja) 視線方向検出装置及び視線方向検出方法
JP2017097759A (ja) 視線方向検出装置、及び視線方向検出システム
KR20180102420A (ko) 차량의 디스플레이 시스템 및 이의 구동 방법
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
CN105323539A (zh) 车用安全***及其操作方法
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
JP6504382B2 (ja) 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置
WO2020179656A1 (ja) 運転者監視装置
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP6701942B2 (ja) ドライバ状態判定装置
US20230294706A1 (en) Systems and methods for eye gaze based alertness measurement

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190403

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190426

R150 Certificate of patent or registration of utility model

Ref document number: 6525345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250