JP5492962B2 - 視線誘導システム - Google Patents

視線誘導システム Download PDF

Info

Publication number
JP5492962B2
JP5492962B2 JP2012217938A JP2012217938A JP5492962B2 JP 5492962 B2 JP5492962 B2 JP 5492962B2 JP 2012217938 A JP2012217938 A JP 2012217938A JP 2012217938 A JP2012217938 A JP 2012217938A JP 5492962 B2 JP5492962 B2 JP 5492962B2
Authority
JP
Japan
Prior art keywords
line
display
vehicle
driver
virtual line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012217938A
Other languages
English (en)
Other versions
JP2014071019A (ja
Inventor
勇 長澤
典義 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP2012217938A priority Critical patent/JP5492962B2/ja
Priority to DE102013110332.4A priority patent/DE102013110332B4/de
Priority to CN201310433772.XA priority patent/CN103707811B/zh
Priority to US14/034,829 priority patent/US8970451B2/en
Publication of JP2014071019A publication Critical patent/JP2014071019A/ja
Application granted granted Critical
Publication of JP5492962B2 publication Critical patent/JP5492962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自動車などの車両の運転者の視線を誘導する視線誘導システムに関する。
現在、自動車などの車両では、運転者に目的地までの経路を示すカーナビゲーションシステムが汎用されている。カーナビゲーションシステムは、一般的に、ダッシュボードに設置されたディスプレイにて道案内を表示する。
特許文献1では、運転席から視認される現実の道路の上方に、案内経路をケーブル画像により表示する。
特許文献2では、3次元表示において、経路に対応するマークを、その経路に相当する道路上方の空中に描画する。
特許文献3では、案内地点と自車両との距離に応じて案内図形を変更する。
特表2008―501956号公報 特開2004―117294号公報 特開平9―34352号公報
しかしながら、上述した各種のカーナビゲーションシステムを用いたとしても、運転者の負担は大きい。
たとえば、カーナビゲーションシステムにおいて、案内経路は、一般的に運転席から視認される現実の道路と関連付けて表示されておらず、現実の道路と分離して表示される。この場合、運転者は、経路表示により経路を表示された経路により進路を認識し、認識した進路と現実の道路とを対応させ、その対応関係に基づいて現実の道路の中の進むべき道路を特定し、運転操作を実施する必要がある。経路が表示されてから、進むべき道路を特定して運転操作を実施するまでに時間がかかる。
また、車両の走行路上および周囲には、歩行者、自転車、他の車両、落下物などが存在する。運転者は、カーナビゲーションシステムの表示に基づいて経路を把握し、判断し、更に操作をしながら、これらの注意喚起が必要な車外物に対して注意を払い、避けて走行する必要がある。
このように、自動車などの車両では、運転者の負担を軽減する視線誘導システムが求められている。
運転者の負担を軽減するために、本発明では、進行方向及び車外物について、操舵入力信号に基づいて、必要と考えられるタイミングで視線誘導表示を行う。
本発明に係る視線誘導システムは、車両の運転者の前方に、フロントガラスに重なる映像を表示する映像表示部と、映像表示部に対して、視線誘導をするための仮想線の映像情報を出力する処理部と、操舵入力を検知する操舵入力検知部とを備え、処理部は、仮想線が、運転者の上側から、フロントガラス内に視認される車両の進路に沿って延び、仮想線の先端がフロントガラス内に視認される進路上の道路面と重なり、さらに仮想線と連動させて、車外物についての注意喚起表示を表示し、操舵入力検知部からの操舵入力信号に応じて、注意喚起表示を仮想線より目立たないように変更する映像情報を出力する。
好適には、処理部が、映像表示部の表示範囲内において、注意喚起表示を、車外物と仮想線をつなぐ線として表示する映像情報を出力する、とよい。
好適には、処理部が、仮想線を表示した状態のまま、仮想線から車外物へ対して延びるように、分岐して注意喚起表示を表示し、操舵入力検知部からの操舵入力信号に応じて、注意喚起表示を消す映像情報を出力する、とよい。
好適には、処理部が、仮想線を表示した状態のまま、仮想線から車外物へ対して延びるように注意喚起表示を表示し、操舵入力検知部からの操舵入力信号に応じて、注意喚起表示を薄く表示する映像情報を出力する、とよい。
好適には、映像表示部は、フロントガラスに映像を投影する映像投影部であり、処理部は、映像投影部に、運転者から見た仮想線が前記フロントガラスの上縁から道路面までに至るように表示する映像情報を出力する、とよい。
好適には、車両前方の運転者の視野範囲内を撮像するカメラと、カメラによって撮像された画像に基づき、車両前方における道路面を認識する道路面認識部とを備え、処理部は、認識された道路面に、仮想線の先端が重なる映像情報を出力する、とよい。
好適には、カメラはステレオカメラである、とよい。
本発明の視線誘導システムによれば、運転者の上側から、フロントガラス内に視認される進路上の道路に至る仮想線を、運転者の前方にフロントガラスと重ねて表示する。さらに、仮想線と連動させて、車外物についての注意喚起表示を表示する。
これにより、運転者の視線は、道路に誘導された状態から自然に、注意喚起対象物へ誘導され、誘導された視線で、注意喚起対象物を直視できる。運転者は、注意喚起表示と注意喚起対象物とを対応付けたり、その対応付けに基づいて表示に係る注意喚起対象物を特定したりすることなく、注意喚起対象物を即座に視認できる。さらに、ハンドル操作による操舵入力を検知し、運転者のハンドル操作によって注意喚起対象物に対して回避行動をしたと判断した場合に、注意喚起表示を目立たなく表示することで、フロントガラス上での表示を簡略にし、運転者の負担を軽減する。
本発明では、仮想線や注意喚起表示により運転者の視線を注意喚起対象物へ誘導し、また、操舵入力の検知に応じた表示の変更を行うことで、不要な誘導をしなくなり、運転者の負担を軽減できる。
本発明の実施形態に係る視線誘導システムの全体を示す図である。 本発明の実施形態に係る視線誘導システムのブロック構成図である。 本発明の実施形態に係る視線誘導システムの全体フローチャートである。 本発明の実施形態に係る視線誘導システムの視線誘導表示処理の一部フローチャートである。 本発明の実施形態に係る視線誘導システムの視線誘導表示処理の注意喚起表示に係るフローチャートである。 本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。 本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。 本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。 本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。 本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。 本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。
以下、本発明の実施形態を、図面に基づいて説明する。
図1は、本発明の実施形態を示している。図1に基づいて本発明の視線誘導システムについて説明する。
図1は、本発明の実施形態に係る視線誘導システムの全体を示す図である。視線誘導システム1は、地図情報データベース2と、GPS(Global Positioning System)アンテナ3と、運転者の前方に設置されたフロントガラス6と、映像表示部(映像投影部7)と、地図情報データベース2からの地図情報とGPSアンテナ3により取得されたGPS情報から所望の経路情報を出力する処理部10を備える。視線誘導システム1は、さらに、VICS(Vehicle Information and Communication System)やETC(Electronic Toll Collection System)などの高度道路交通システム通信用のアンテナ4を備え、交通情報の取得や、有料道路における支払などを行う。
車両後輪には車速センサ5が設けられ、検出された車速情報が処理部10へ入力される。車室内には2つのカメラから構成されるステレオカメラ8が設けられ、車外前方を撮像している。ステレオカメラ8は、その視差によって、車両の前方の物体や道路面までの距離を測定できるようになっている。さらに車室内には、運転者の視線を検知する視線検知部9、運転者が所望の目的地を設定するための操作部11、音声による目的地設定のためのマイク15、明るさを検知する照度センサ14などが設けられている。
運転者の操舵を検知する操舵入力検知部12と、運転者の制動を検知する制動入力検知部13からの情報も処理部10に入力される。さらに、運転者の視野範囲外、映像表示部の表示範囲外を検知・撮像するサイドカメラ19(図2を参照)が設けられている。
次に処理部10を中心として、処理部10に接続される各構成について説明する。図2は、本発明の実施形態に係る視線誘導システムのブロック構成図である。処理部10は、地図情報データベース2、GPSアンテナ3、アンテナ4、車速センサ5、映像投影部7、画像処理部17を介してステレオカメラ8およびサイドカメラ19、視線検知部9、操作部11、操舵入力検知部12、制動入力検知部13、照度センサ14、音声解析部16を介してマイク15、と接続される。
処理部10は、車速センサ5、視線検知部9などからの情報を受け取り、フロントガラス6に表示される仮想線Lの表示形状などの変更処理を行う。本実施形態の仮想線Lは、視線誘導対象物に至る視線誘導線または、車両の進行方向を示す進路誘導線として機能する。また、車内に設けられた操作部11からの情報、運転者によるハンドル操作を検知する操舵入力検知部12からの情報、運転者のブレーキ操作を検知する制動入力検知部13からの情報、照度センサ14によるフロントガラス6付近での照度情報、マイク15からの情報(音声解析部16によって音声解析された情報)も受け取る。
また、処理部10は、運転者によるハンドル操作を検知する操舵入力検知部12からの情報、運転者のブレーキ操作を検知する制動入力検知部13からの情報に応じて、仮想線Lの表示形状などを変更する。さらに、処理部10は、照度センサ14によるフロントガラス6付近での照度情報から、仮想線Lが運転者にとって見やすいように濃度や明るさなどを変更する。
なお、視線検知は、角膜からの反射光を撮影する赤外線カメラで行うことができる。また、カメラによって撮像された、被験者が決められた方向を見ているときの目や顔の画像サンプルを、事前に計測システムに登録し、顔の向きと目の向きの角度を計測して、それぞれの角度の和を算出することで視線方向を特定することもできる。
このとき、顔の向きは、画像中から人物の頭部全体と目や鼻などの顔器官の位置を検出し、目の向きは、画像中から目の領域全体と黒目の位置を検出し、これらの位置関係を眼球のモデルに当てはめることで顔正面方向からの角度として計測する。
次に、視線誘導システムのフローチャートおよび運転者が運転席から見たときの状態を含む視線誘導システムの動作状態の図を示しながら、詳細を説明する。図3は、本発明の実施形態に係る視線誘導システムの全体フローチャートである。
運転者は、車内に設けられた操作部11を操作することによって、目的地を指定する。また、運転者の声を検知するマイク15に目的地を言うことで、音声解析部16によって音声解析されて、目的地を指定することもできる(ステップST10)。
処理部10が、指定された目的地に応じて、経路処理を行う(ステップST11)。経路処理において、処理部10は、地図情報データベース2の地図情報とGPSアンテナ3により取得されたGPS情報から自車位置と自車方位を取得し、目的地までの所望の経路を算出する。経路および経路誘導に必要な地図情報はメモリ20に格納される。走行中などにGPS情報による自車位置が経路にないと判断された場合には、適時、経路を算出し、メモリ20内の情報は書き換えられる。
映像投影部7は、処理部10のメモリ20に格納された目的地までの経路および地図情報に基づいて処理された仮想線L、道路情報などをフロントガラス6に表示させる(ステップST12)。この視線誘導表示処理において、処理部10は、ステレオカメラ8から受信している道路面の情報や道路面および車外の物体までの距離に関する情報も利用している。
ステレオカメラ8で撮像された映像は、画像処理部17で処理され、さらに、路面認識部18で道路面が認識される。同時に画像処理部17は、ステレオカメラ8によって撮像された範囲内にある物体との相対的速度や距離を解析する。これにより、処理部10は、経路および地図情報だけなく、距離と道路面の情報も利用して、表示すべき情報を処理する。処理部10は、車両の速度に応じて、仮想線Lの表示形状を変えて、フロントガラス6に表示するような情報を映像投影部7に送る。
なお、本実施形態では、映像表示部として映像投影部7を用いたが、フロントガラスに透過性の有機ELシートを設け、このシートに直接表示させるようにしてもよい。この場合、処理部10は有機ELシートに映像情報を出力する。
次に、本発明に係る視線誘導システムの代表的な視線誘導表示処理を図4のフローチャートを用いて説明する。図4は、本発明の実施形態に係る視線誘導システムの視線誘導表示処理のフローチャートである。
ステップST12の視線誘導表示の処理において、路面認識部18が、ステレオカメラ8で撮像され、画像処理部17で処理された画像から道路面を認識し、この情報を処理部10へ送る。これにより道路面が認識される(ステップST13)。
次に、処理部10は、この認識された道路面に対して、メモリ20に格納された目的地までの経路および地図情報に基づいて処理された仮想線Lの先端を重ねて表示する映像情報を出力する(ステップST14)。仮想線Lの先端は、運転者から見ると、道路面上に接地されているように見えている。
これにより、運転者の前方に設けられたフロントガラスにおいて、実際の風景や道路に重ねて、仮想線Lが表示され、運転者の負担を軽減することができる。また、ガラスに表示することで、音声や音の補助指示がなくても、視線を誘導することができる。これは、線があると、端部を探す行動をする人間の習性を利用したものである。従って、走行状態の目線で、自然に進行方向の誘導が可能となり、運転者が意識することなく、走行環境に適した視線に誘導できる。なお、線で表示しているため、道路環境を隠す割合が小さく、進路誘導線と道路環境を一緒に目視可能である。
次に、図5および図6〜図8を参照して、視線誘導システムの視線誘導表示処理について詳細に説明をする。図5は、本発明の実施形態に係る視線誘導システムの視線誘導表示処理の注意喚起表示LAに係るフローチャートである。注意喚起表示LAは、視線誘導表示の一部として処理される。図6〜図8は、本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。動作状態の図において、手前側に運転者Aがおり、運転者Aの前方にはフロントガラス6と室内のミラー6Mがあり、運転者Aはフロントガラス6を挟んで車外の現実の像を見ている。
車外物が認識されず、または車外物が認識されても、注意喚起をするほどの車外物でなく、注意喚起が表示されない状況のときは、図6に示すように、車両の前方の道路面に重なるように、仮想線Lが運転者Aの前方のフロントガラスに表示されている。
処理部10が、ステレオカメラ8で撮像され、画像処理部17で処理された画像から車外物を認識する(ステップST15)。車外物が認識されない場合は(ステップST15でNO)、ステップST15を繰り返す。車外物が認識されると(ステップST15でYES)、当該車外物に対して注意喚起が必要か否かを判断する(ステップST16)。
認識された車外物に対して注意喚起が必要でないと判断されると(ステップST16でNO)、ステレオカメラ8で撮像され、画像処理部17で処理された画像内の別の車外物の認識を行う(再度、ステップST15,ステップST16へ)。
認識された車外物に対して注意喚起が必要であると判断されると(ステップST16でYES)、注意喚起表示LAが行われる(ステップST17)。処理部10は、仮想線Lの先端がフロントガラス内に視認される進路上の道路面と重なり、さらに仮想線Lと連動させて、車外物についての注意喚起表示LAを表示する映像情報を出力する。具体的には、処理部10が、車外物と仮想線Lをつなぐ線として注意喚起表示LAを行う映像情報を出力する。
図7で示すように、運転者Aが見るフロントガラス6には、仮想線Lが表示されたまま、注意喚起表示LAが表示される。図7では、車両が走行中の道路に向かって近づいている自転車Bを注意喚起するべき車外物として認識し、自転車Bと仮想線Lをつなぐ線として注意喚起表示LAを行っている。また、仮想線Lは表示した状態のまま、仮想線Lから自転車Bへ対して延びるように、分岐して注意喚起表示LAを行っている。これは、処理部10が画像処理部17で処理されて認識した車外物(自転車B)に対して、仮想線Lから分岐して延びる線(報知線)の映像情報を映像投影部7に送ることで表示される。
次に、操舵入力検知部12が運転者Aのハンドル操作(操舵入力)を検知し、処理部10へ操舵入力信号を送る。処理部10は、操舵入力信号と画像処理部17からの画像情報から、運転者Aが車外物(自転車B)を認識し、操舵による回避を行ったかを判断する(ステップST18)。運転者Aが車外物(自転車B)に対する回避を行っていない場合には(ステップST18でNO)、注意喚起表示LAをし続ける(ステップST17)。このとき、さらに注意喚起表示LAを強調するように表示してもよい。
運転者Aが車外物(自転車B)に対して回避を行った場合には(ステップST18でYES)、注意喚起表示LAを、仮想線Lより目立たないように変更する(ステップST19)。図8では、運転者Aが車外物(自転車B)をハンドル操作によって回避し、その後、注意喚起表示LAの縁が点線で表示されていることを示している。
次に本発明の実施形態における操舵入力に応じた注意喚起表示LAの他の実施例を説明する。図9〜11は、本発明の実施形態に係る視線誘導システムにおけるフロントガラスへの表示の一例を含む動作状態の図である。図9では、運転者Aが車外物(自転車B)をハンドル操作により回避した後に、注意喚起表示LAを仮想線Lよりも目立たなく表示させるため、注意喚起表示LAを仮想線Lよりも薄い表示で表示されていることを示している。
図10では、運転者Aが車外物(自転車B)をハンドル操作により回避した後に、注意喚起表示LAを仮想線Lよりも目立たなく表示させるため、注意喚起表示LAを白抜きの矢印の表示で表示されていることを示している。
図11では、運転者Aが車外物(自転車B)をハンドル操作により回避した後に、注意喚起表示LAを仮想線Lよりも目立たなく表示させるため、注意喚起表示LAを消去し、仮想線Lのみを表示していることを示している。
以上の実施形態では、仮想線や注意喚起表示LAを形状の例で説明したが、これに限らず、線の太さ、色、破線や一点鎖線などで表示したり、仮想線Lを走行環境や車両周囲の情報、視線状況の情報に応じて、リアルタイムで変更可能である。また、運転者が注視している端部のみの形状、色などを情報に応じて変えるようにしてもよい。
以上のように、処理部10は、映像投影部に、運転者Aから見た仮想線Lがフロントガラス6の上縁から道路面までに至るように、車速センサ5からの車速に応じて仮想線Lの表示を変更する映像情報を出力し、視線検知部9の検知情報に応じて、注意喚起表示LAを変更することで、運転者Aに対して、自然な視線誘導を行うことができ、運転者の負担を軽減できる。
以上のように、視線検知情報に基づく表示処理だけでなく、操舵や制動、トラクションによる走行環境についての情報や、ステレオカメラ8によって撮像された画像による車両周囲の情報に応じて、仮想線Lや注意喚起表示LAの表示形状や表示・非表示の判断を行ってもよい。走行環境としては、例えば、タイヤが滑りやすいアイスバーンの上を、車両が走っている場合には、車両速度が高くなくても、視線を遠い箇所にする方が安全であるため、仮想線Lの先端を通常よりも遠い箇所に視線を誘導するように表示する。また、夜の峠道などの場合は、コーナーの出口や次のコーナーの入口を仮想線Lの端部にすることで、車線のはみ出しや、車体のスピンを防ぐ。
<実施形態の構成及び効果>
本実施形態における視線誘導システムは、車両の運転者の前方に、フロントガラスに重なる映像を表示する映像表示部と、映像表示部に対して、視線誘導をするための仮想線の映像情報を出力する処理部と、操舵入力を検知する操舵入力検知部とを備え、処理部は、仮想線が、運転者の上側から、フロントガラス内に視認される車両の進路に沿って延び、仮想線の先端がフロントガラス内に視認される進路上の道路面と重なり、さらに仮想線と連動させて、車外物についての注意喚起表示を表示し、操舵入力検知部からの操舵入力信号に応じて、注意喚起表示を前記仮想線より目立たないように変更する映像情報を出力する。
上記のように構成したことで、運転者の視野中心をフロントガラス内に視認される進路上の道路面に誘導し、運転者に進路を自然に認識させることができる。さらに、運転者の視野中心をフロントガラス内に視認される注意喚起が必要な車外物に誘導し、かつ自然な視線誘導を行うことができ、また、運転者のハンドル操作による回避を検知し、注意喚起表示を目立たなく表示することで、フロントガラス上での表示を簡略にし、運転者の負担を軽減できる。注意喚起表示を操舵に応じて変更することにより、回避操作後の表示が目立たなくなり、適切なタイミングで表示をコントロールできる。
本実施形態における視線誘導システムは、処理部が、映像表示部の表示範囲内において、前記注意喚起表示を、車外物と前記仮想線をつなぐ線として表示する映像情報を出力する。
上記のように構成したことで、運転者の視線を車外物と仮想線をつなぐ線に沿って誘導し、かつ自然な視線誘導を行うことができるため、運転者の負担を軽減できる。
本実施形態における視線誘導システムは、処理部が、仮想線を表示した状態のまま、仮想線から車外物へ対して延びるように、分岐して注意喚起表示を表示し、操舵入力検知部からの操舵入力信号に応じて、注意喚起表示を消す映像情報を出力する。
上記のように構成したことで、運転者の視線を仮想線による進路から、注意喚起が必要な車外物に自然な視線誘導を行うことができ、また、運転者のハンドル操作による回避を検知し、注意喚起表示を消すことで、フロントガラス上での表示を簡略にし、運転者の負担を軽減できる。
本実施形態における視線誘導システムは、処理部が、仮想線を表示した状態のまま、仮想線から車外物へ対して延びるように注意喚起表示を表示し、操舵入力検知部からの操舵入力信号に応じて、注意喚起表示を薄く表示する映像情報を出力する。
上記のように構成したことで、運転者の視線を、注意喚起が必要な車外物に適切に誘導することができ、また、運転者のハンドル操作による回避を検知し、注意喚起表示を薄くして目立たなく表示することで、フロントガラス上での表示を簡略にし、運転者の注意喚起物を視認する負担を軽減できる。
本実施形態における視線誘導システムは、映像表示部は、フロントガラスに映像を投影する映像投影部であり、処理部は、映像投影部に、運転者から見た仮想線がフロントガラスの上縁から道路面までに至るように表示する映像情報を出力する。
上記のように構成したことで、運転者の視野中心を自然に誘導することができる。
本実施形態における視線誘導システムは、車両前方の運転者の視野範囲内を撮像するカメラと、カメラによって撮像された画像に基づき、車両前方における道路面を認識する道路面認識部とを備え、処理部は、認識された道路面に、仮想線の先端が重なる映像情報を出力する。
上記のように構成したことで、運転者の視野中心を正確に道路面に誘導することができ、より自然な視線誘導をすることができる。
本実施形態における視線誘導システムは、カメラがステレオカメラである。
上記のように構成したことで、より正確に道路面や前方車両までの距離などを認識でき、この情報に応じた表示制御が可能となる。
<定義等>
本発明の映像表示部とは、フロントガラスに映像を投影させる映像投影部や、処理部からの映像情報によって表示を行う透過性有機ELシートなどをいう。
本発明の仮想線Lとは、フロントウインドシールドなどのフロントガラス、リアガラス、サイドガラスに表示される線または点線などの視認可能な画像を表示、投影したものであり、運転者に対して視線の誘導が可能な表示であれば、どのような表示であってもよい。
1 視線誘導システム
2 地図情報データベース
3 GPSアンテナ
4 アンテナ
5 車速センサ(車速検知部)
6 フロントガラス
7 映像投影部
8 ステレオカメラ
9 視線検知部
10 処理部
11 操作部
12 操舵入力検知部
13 制動入力検知部
14 照度センサ
15 マイク
16 音声解析部
17 画像処理部
18 路面認識部
19 サイドカメラ
20 メモリ
L 仮想線
LA 注意喚起表示

Claims (7)

  1. 車両の運転者の前方に、フロントガラスに重なる映像を表示する映像表示部と、
    前記映像表示部に対して、視線誘導をするための仮想線の映像情報を出力する処理部と、
    操舵入力を検知する操舵入力検知部と、
    を備え、
    前記処理部は、
    前記仮想線が、前記運転者の上側から、前記フロントガラス内に視認される車両の進路に沿って延び、前記仮想線の先端が前記フロントガラス内に視認される進路上の道路面と重なり、さらに前記仮想線と連動させて、車外物についての注意喚起表示を表示し、
    前記操舵入力検知部からの操舵入力信号に応じて、前記注意喚起表示を前記仮想線より目立たないように変更する映像情報を出力する、
    ことを特徴とする視線誘導システム。
  2. 前記処理部は、前記映像表示部の表示範囲内において、前記注意喚起表示を、前記車外物と前記仮想線をつなぐ線として表示する映像情報を出力する、
    ことを特徴とする請求項1記載の視線誘導システム。
  3. 前記処理部は、前記仮想線を表示した状態のまま、前記仮想線から前記車外物へ対して延びるように、分岐して前記注意喚起表示を表示し、前記操舵入力検知部からの操舵入力信号に応じて、前記注意喚起表示を消す映像情報を出力する、
    ことを特徴とする請求項1または2のいずれか1項に記載の視線誘導システム。
  4. 前記処理部は、前記仮想線を表示した状態のまま、前記仮想線から前記車外物へ対して延びるように前記注意喚起表示を表示し、
    前記操舵入力検知部からの操舵入力信号に応じて、前記注意喚起表示を薄く表示する映像情報を出力する、
    ことを特徴とする請求項1または2のいずれか1項に記載の視線誘導システム。
  5. 前記映像表示部は、前記フロントガラスに映像を投影する映像投影部であり、
    前記処理部は、前記映像投影部に、運転者から見た前記仮想線が前記フロントガラスの上縁から道路面までに至るように表示する映像情報を出力する、
    ことを特徴とする請求項1〜4のいずれか1項に記載の視線誘導システム。
  6. 車両前方の運転者の視野範囲内を撮像するカメラと、
    前記カメラによって撮像された画像に基づき、車両前方における前記道路面を認識する道路面認識部と、
    を備え、
    前記処理部は、認識された前記道路面に、前記仮想線の先端が重なる映像情報を出力する、
    ことを特徴とする請求項1〜5のいずれか1項に記載の視線誘導システム。
  7. 前記カメラはステレオカメラである、
    ことを特徴とする請求項6記載の視線誘導システム。
JP2012217938A 2012-09-28 2012-09-28 視線誘導システム Active JP5492962B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012217938A JP5492962B2 (ja) 2012-09-28 2012-09-28 視線誘導システム
DE102013110332.4A DE102013110332B4 (de) 2012-09-28 2013-09-19 Visuelles leitsystem
CN201310433772.XA CN103707811B (zh) 2012-09-28 2013-09-23 视线引导***
US14/034,829 US8970451B2 (en) 2012-09-28 2013-09-24 Visual guidance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012217938A JP5492962B2 (ja) 2012-09-28 2012-09-28 視線誘導システム

Publications (2)

Publication Number Publication Date
JP2014071019A JP2014071019A (ja) 2014-04-21
JP5492962B2 true JP5492962B2 (ja) 2014-05-14

Family

ID=50384735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012217938A Active JP5492962B2 (ja) 2012-09-28 2012-09-28 視線誘導システム

Country Status (4)

Country Link
US (1) US8970451B2 (ja)
JP (1) JP5492962B2 (ja)
CN (1) CN103707811B (ja)
DE (1) DE102013110332B4 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5935636B2 (ja) * 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
JP6442827B2 (ja) * 2014-01-06 2018-12-26 富士通株式会社 情報提供装置、情報提供プログラム、情報提供方法、及び情報提供システム
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
KR101510050B1 (ko) * 2014-04-15 2015-04-07 현대자동차주식회사 차량 주행 제어 장치 및 방법
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
JP6476644B2 (ja) * 2014-08-11 2019-03-06 トヨタ自動車株式会社 認知補助装置
JP6746270B2 (ja) 2014-09-08 2020-08-26 株式会社小糸製作所 車両用表示システム
JP6191573B2 (ja) * 2014-09-29 2017-09-06 マツダ株式会社 車両の視界調整装置
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
US9633626B2 (en) * 2015-03-12 2017-04-25 Visteon Global Technologies, Inc. Adjusting an electronic display based on gaze tracking
JP6372402B2 (ja) 2015-03-16 2018-08-15 株式会社デンソー 画像生成装置
US9852547B2 (en) * 2015-03-23 2017-12-26 International Business Machines Corporation Path visualization for augmented reality display device based on received data and probabilistic analysis
US9475494B1 (en) 2015-05-08 2016-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle race track driving assistance
DE112016003357B4 (de) * 2015-08-26 2021-11-04 Fujifilm Corporation Anzeigevorrichtung vom Projektionstyp, Projektionsanzeigeverfahren und Projektions-Anzeigeprogramm
US10071748B2 (en) 2015-09-17 2018-09-11 Sony Corporation System and method for providing driving assistance to safely overtake a vehicle
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
CN105667400B (zh) * 2016-01-19 2018-09-21 奇瑞汽车股份有限公司 一种车辆右前盲区可视监测报警***
JP6504074B2 (ja) * 2016-02-16 2019-04-24 トヨタ自動車株式会社 車両用表示装置
JP6414096B2 (ja) * 2016-02-17 2018-10-31 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
DE112016006449B4 (de) * 2016-03-24 2020-11-05 Mitsubishi Electric Corporation Unterstützungsbild-Anzeigevorrichtung, Unterstützungsbild-Anzeigeverfahren und Unterstützungsbild-Anzeigeprogramm
CN108697934A (zh) * 2016-04-29 2018-10-23 奥瑞斯玛有限公司 与目标图像有关的引导信息
JP6569999B2 (ja) * 2016-09-14 2019-09-04 パナソニックIpマネジメント株式会社 表示装置
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
DE102016225639A1 (de) 2016-12-20 2018-07-05 Volkswagen Aktiengesellschaft Head-up-Display-Vorrichtung für ein Kraftfahrzeug, Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Head-up-Display-Vorrichtung
DE102017204161A1 (de) 2017-03-14 2018-09-20 Volkswagen Aktiengesellschaft Anwenderschnittstelle, Computerprogrammprodukt, Fortbewegungsmittel und Verfahren zum Anzeigen von Informationen in einem Fortbewegungsmittel
JP6555646B2 (ja) * 2017-03-30 2019-08-07 マツダ株式会社 車両運転支援システム
DE102017210219A1 (de) * 2017-06-20 2018-12-20 Audi Ag Verfahren zum Unterstützen eines Benutzers eines Kraftfahrzeugs beim Ausweichen eines Hindernisses, Fahrerassistenzeinrichtung, und Kraftfahrzeug
US10300789B2 (en) * 2017-07-25 2019-05-28 Denso International America, Inc. Vehicle heads-up display
JP7006235B2 (ja) * 2017-12-18 2022-01-24 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
JP7043845B2 (ja) * 2018-01-17 2022-03-30 トヨタ自動車株式会社 車両用表示連携制御装置
WO2019167285A1 (ja) * 2018-03-02 2019-09-06 三菱電機株式会社 運転支援装置及び運転支援方法
CN111886154A (zh) 2018-03-12 2020-11-03 三菱电机株式会社 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序
CN111936345B (zh) * 2018-04-11 2023-08-15 三菱电机株式会社 视线引导装置
CN108995621A (zh) * 2018-06-29 2018-12-14 铜陵祥意和贸易有限责任公司 智能汽车***
JP2018167834A (ja) * 2018-07-16 2018-11-01 株式会社デンソー 画像生成装置
US10933807B2 (en) * 2018-11-28 2021-03-02 International Business Machines Corporation Visual hazard avoidance through an on-road projection system for vehicles
US11840252B2 (en) * 2019-03-15 2023-12-12 Honda Motor Co., Ltd. Vehicle communications device and non-transitory computer-readable recording medium storing program
WO2021132553A1 (ja) * 2019-12-27 2021-07-01 日本精機株式会社 ナビゲーション装置、ナビゲーション装置の制御方法、ナビゲーション装置の制御プログラム
US11222215B1 (en) 2020-07-13 2022-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Identifying a specific object in a two-dimensional image of objects
JP2022086420A (ja) * 2020-11-30 2022-06-09 本田技研工業株式会社 表示方法、及びシステム
JP7381181B2 (ja) * 2021-11-05 2023-11-15 三菱ロジスネクスト株式会社 遠隔操作システム
US20230196761A1 (en) * 2021-12-21 2023-06-22 Cnh Industrial America Llc Systems and methods for agricultural operations
DE102022113245A1 (de) 2022-05-25 2023-11-30 Cariad Se Verfahren zum Betreiben einer Anzeigevorrichtung eines Kraftfahrzeugs, Steuereinrichtung, und Kraftfahrzeug

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3495149B2 (ja) 1995-07-24 2004-02-09 本田技研工業株式会社 カーナビゲーション用ヘッドアップ表示装置
JP4582279B2 (ja) * 2001-07-19 2010-11-17 三菱自動車工業株式会社 障害物情報呈示装置
JP2004117294A (ja) 2002-09-27 2004-04-15 Clarion Co Ltd ナビゲーション装置、方法及びプログラム
ATE552478T1 (de) 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
JP2006127055A (ja) * 2004-10-27 2006-05-18 Denso Corp 車両用情報提示装置
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP4534922B2 (ja) * 2005-09-16 2010-09-01 株式会社デンソー 仮想先行車画像表示システム
JP4847178B2 (ja) * 2006-03-30 2011-12-28 本田技研工業株式会社 車両用運転支援装置
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2008151752A (ja) * 2006-12-20 2008-07-03 Nissan Motor Co Ltd 経路案内表示装置及び経路案内方法
DE102008002026A1 (de) * 2008-05-28 2009-12-03 Robert Bosch Gmbh Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges
JP2009298360A (ja) * 2008-06-17 2009-12-24 Mazda Motor Corp 車両の運転支援装置
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
DE102009003220B4 (de) * 2009-05-19 2017-08-10 Robert Bosch Gmbh Verfahren zur Kollisionswarnung sowie Kollisionswarneinrichtung
WO2011036788A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 表示装置及び表示方法
US9406232B2 (en) * 2009-11-27 2016-08-02 Toyota Jidosha Kabushiki Kaisha Driving support apparatus and driving support method

Also Published As

Publication number Publication date
DE102013110332A1 (de) 2014-06-12
US8970451B2 (en) 2015-03-03
DE102013110332B4 (de) 2016-04-07
US20140092134A1 (en) 2014-04-03
JP2014071019A (ja) 2014-04-21
CN103707811B (zh) 2016-01-13
CN103707811A (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
JP5492962B2 (ja) 視線誘導システム
JP5622818B2 (ja) 視線誘導システム
US10924679B2 (en) Display device for vehicle and control method thereof
JP6387369B2 (ja) 走行制御装置
US9317759B2 (en) Driving assistance device and driving assistance method
JP6346614B2 (ja) 情報表示システム
KR102309316B1 (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
US7680592B2 (en) System and apparatus for drive assistance
WO2018146961A1 (ja) 車両用表示制御装置
JP5338273B2 (ja) 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
WO2015163205A1 (ja) 車両用表示システム
KR101979276B1 (ko) 차량용 사용자 인터페이스 장치 및 차량
US20170043720A1 (en) Camera system for displaying an area exterior to a vehicle
JP5855206B1 (ja) 車両用透過表示装置
CN105793909B (zh) 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
JP2019185218A (ja) 警報装置
JP6448714B2 (ja) 情報表示システム
JP4337130B2 (ja) 運転装置の制御装置
KR20150055183A (ko) 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
JP5492963B2 (ja) 視線誘導システム
JP5622819B2 (ja) 視線誘導システム
JP2013054496A (ja) 車両用表示装置
JP5586672B2 (ja) 視線誘導システム
JP5622820B2 (ja) 視線誘導システム
JP2016118859A (ja) 情報表示装置、制御方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

R150 Certificate of patent or registration of utility model

Ref document number: 5492962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250