JP2017194396A - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP2017194396A
JP2017194396A JP2016085769A JP2016085769A JP2017194396A JP 2017194396 A JP2017194396 A JP 2017194396A JP 2016085769 A JP2016085769 A JP 2016085769A JP 2016085769 A JP2016085769 A JP 2016085769A JP 2017194396 A JP2017194396 A JP 2017194396A
Authority
JP
Japan
Prior art keywords
vehicle
curve
display
road
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016085769A
Other languages
English (en)
Other versions
JP6542708B2 (ja
Inventor
広隆 齊藤
Hirotaka Saito
広隆 齊藤
淳也 関
Junya Seki
淳也 関
一文 鈴木
Kazufumi Suzuki
一文 鈴木
長田 勇輝
Isateru Osada
勇輝 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2016085769A priority Critical patent/JP6542708B2/ja
Priority to CN201710231703.9A priority patent/CN107303850B/zh
Priority to US15/487,369 priority patent/US10414432B2/en
Priority to DE102017108173.9A priority patent/DE102017108173A1/de
Publication of JP2017194396A publication Critical patent/JP2017194396A/ja
Application granted granted Critical
Publication of JP6542708B2 publication Critical patent/JP6542708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/001Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits the torque NOT being among the input parameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】自動運転時における乗員の監視負担を軽減可能な表示装置を提供する。
【解決手段】自車両前方の環境を認識する環境認識手段60と、環境認識手段の認識結果に基づいて自車両の目標走行ラインを設定する走行ライン設定手段と、自車両が前記目標走行ラインに沿って走行するよう制御する自動運転制御手段50とを有する車両に設けられる表示装置を、目標走行ラインに含まれる曲線を検出する曲線検出手段と、曲線が含まれる道路を、曲率が所定値以上である曲線が存在する可能性の大小に応じて複数段階に層別する道路状況層別手段と、曲線検出手段による曲線の検出に応じて道路状況層別手段によって層別された段階に相当する曲率を示す表示を表示する表示手段210とを備える構成とする。
【選択図】図3

Description

本発明は、自動車等の車両に設けられ自車両周辺の環境を画像表示する表示装置に関し、特に、自動運転時における乗員の監視負担を軽減可能なものに関する。
自動車等の車両において、自車両前方の状況を、各種の周辺認識手段によって認識し、車線形状や障害物等に関する情報を画像表示する表示装置が各種提案されている。
このような表示装置を用いると、乗員自らが目視により得られる以上の情報を得ることができ、乗員が運転者として運転する場合の運転支援としても、また、自動運転を行う車両において、乗員が自動運転制御の妥当性を監視するためにも有用である。
このような表示装置に関する従来技術として、例えば、特許文献1には、車両運転を支援するための表示を行う装置において、前方のカーブを走行する際の理想走行軌跡と、現在車速で前方のカーブを走行した場合の予測走行軌跡とを比較可能に表示するとともに、理想走行軌跡および予測走行軌跡を、予め記憶しておいたカーブ半径の大きさが異なる複数種類の軌跡形状パターンから選択することが記載されている。
特許第5177105号
自動運転を行う車両において、乗員が車両周囲の状況を監視するための表示装置において、車両の周辺認識状況を都度精緻に表示することは、乗員に対して都度認識を共用することになり、自動運転による乗員の負荷軽減という効果を減殺することになってしまう。
例えば高速道路や自動車専用道などの高規格道路を、ほぼ一定の車速で走行する車両においては、乗員にとって主要な関心事は自車両前方の曲線路を車両が正常に認識しているか否かであり、過度に緻密な情報は自動運転制御を信頼するうえで必ずしも必要ではない。
上述した問題に鑑み、本発明の課題は、自動運転時における乗員の監視負担を軽減可能な表示装置を提供することである。
本発明は、以下のような解決手段により、上述した課題を解決する。
請求項1に係る発明は、自車両前方の環境を認識する環境認識手段と、前記環境認識手段の認識結果に基づいて自車両の目標走行ラインを設定する走行ライン設定手段と、自車両が前記目標走行ラインに沿って走行するよう制御する自動運転制御手段とを有する車両に設けられる表示装置であって、前記目標走行ラインに含まれる曲線を検出する曲線検出手段と、前記曲線が含まれる道路を、曲率が所定値以上である曲線が存在する可能性の大小に応じて複数段階に層別する道路状況層別手段と、前記曲線検出手段による前記曲線の検出に応じて前記道路状況層別手段によって層別された段階に相当する曲率を示す表示を表示する表示手段とを備えることを特徴とする表示装置である。
これによれば、自車両が今後通過する曲線の緩急を、道路状況に応じて段階的に表示することによって、乗員の監視負担を軽減しつつ、車両が自車両前方の曲線路を正常に認識していることを示し、自動運転制御に対する信頼を維持することができる。
また、比較的大きな横方向加速度の発生が予見される曲率が大きい曲線の通過に先立ち、ユーザの注意を喚起することができる。
請求項2に係る発明は、前記表示手段は、前記曲率を示す表示とともに、前記曲線の方向を表示することを特徴とする請求項1に記載の表示装置である。
これによれば、曲線の緩急に加えて左右の方向を示すことにより、監視負担をほとんど増加させることなく、ユーザに自動運転制御が正常に機能していることをより確実に認識させることができる。
請求項3に係る発明は、前記道路状況層別手段は、高規格道路の通常走行時に相当する第1の道路状況と、高規格道路における分岐箇所、合流箇所の少なくとも一方に相当する第2の道路状況とを層別することを特徴とする請求項1又は請求項2に記載の表示装置である。
これによれば、道路状況を2段階に層別して曲線路の緩急の表示を切り替えることによって、簡単な構成により上述した効果を得ることができる。
以上説明したように、本発明によれば、自動運転時における乗員の監視負担を軽減可能な表示装置を提供することができる。
本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。 実施例の車両において車両周囲を認識するセンサ類の配置を示す模式図である。 実施例の表示装置の動作を示すフローチャートである。 実施例の表示装置における表示画像の一例を示す図である。 実施例の表示装置における表示画像の他の例を示す図である。
本発明は、自動運転時における乗員の監視負担を軽減可能な表示装置を提供する課題を、自動運転による曲線路通過に先立ち、例えば分岐路、合流路等のような急カーブが存在する可能性が高い属性の道路であるか否かを判別し、判別結果に応じて曲線の緩急を2パターンで表示することによって解決した。
以下、本発明を適用した表示装置の実施例について説明する。
図1は、本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。
実施例の表示装置は、例えば、自動運転機能を有する乗用車等の自動車である車両1に設けられ、ユーザ(例えば手動運転時のドライバ)等のユーザ等に対して、自車両周辺の障害物(他車両等)に関する情報等とともに、目標走行ライン等を画像表示するものである。
ユーザは、表示装置が提示する情報に基づいて、自車両前方の車線形状や障害物を監視するとともに、自動運転制御の実行時においては、自動運転制御により設定された目標走行ラインの妥当性を検証することができる。
図1に示すように、車両1は、エンジン制御ユニット10、トランスミッション制御ユニット20、挙動制御ユニット30、電動パワーステアリング(EPS)制御ユニット40、自動運転制御ユニット50、環境認識ユニット60、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120、画像生成ユニット200、ディスプレイ210等を備えている。
上述した各ユニットは、例えば、CPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス、及び、これらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばCAN通信システム等の車載LANシステムを介して相互に通信が可能となっている。
エンジン制御ユニット10は、車両1の走行用動力源であるエンジン及びその補機類を統括的に制御するものである。
エンジンとして、例えば、4ストロークガソリンエンジンが用いられる。
エンジン制御ユニット(ECU)10は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両1がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット10は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両1が自動運転を行う場合には、エンジン制御ユニット10は、自動運転制御ユニット50からの指令に応じてエンジンの出力を制御する。
トランスミッション制御ユニット(TCU)20は、エンジンの回転出力を変速するとともに、車両の前進、後退を切り替える図示しない変速機及び補機類を統括的に制御するものである。
車両1が自動運転を行う場合には、トランスミッション制御ユニット20は、自動運転制御ユニット50からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のCVTや、複数のプラネタリギヤセットを有するステップAT、DCT、AMT等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。
トランスミッション制御ユニット20には、前後進切替アクチュエータ21、レンジ検出センサ22等が接続されている。
前後進切替アクチュエータ21は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ21は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ22は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ(スイッチ)である。
挙動制御ユニット30は、左右前後輪にそれぞれ設けられた液圧式サービスブレーキのホイルシリンダ液圧を個別に制御することによって、アンダーステアやオーバステア等の車両挙動を抑制する挙動制御や、制動時のホイルロックを回復させるアンチロックブレーキ制御を行うものである。
挙動制御ユニット30には、ハイドロリックコントロールユニット(HCU)31、車速センサ32等が接続されている。
HCU31は、液圧式サービスブレーキの作動流体であるブレーキフルードを加圧する電動ポンプ、及び、各車輪のホイルシリンダに供給される液圧を個別に調節するバルブ等を有する。
車両1が自動運転を行う場合には、HCU31は、自動運転制御ユニット50からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ32は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度(車速)を算出することが可能である。
電動パワーステアリング(EPS)制御ユニット40は、ドライバによる操舵操作を電動モータによってアシストする電動パワーステアリング装置、及び、その補機類を統括的に制御するものである。
EPS制御ユニット40には、モータ41、舵角センサ42等が接続されている。
モータ41は、車両の操舵系にアシスト力を付与してドライバによる操舵操作をアシストし、あるいは、自動運転時に舵角を変更する電動アクチュエータである。
車両1が自動運転を行う場合には、モータ41は、自動運転制御ユニット50からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ42は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ42は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。
自動運転制御ユニット50は、自動運転モードが選択されている場合に、上述したエンジン制御ユニット10、トランスミッション制御ユニット20、挙動制御ユニット30、EPS制御ユニット40等に制御指令を出力し、車両を自動的に走行させる自動運転制御を実行するものである。
自動運転制御ユニット50は、本発明にいう自動運転制御手段、及び、走行ライン設定手段として機能する。
自動運転制御ユニット50は、自動運転モードが選択された時に、環境認識ユニット60から提供される自車両周辺の状況に関する情報、及び、図示しないドライバからの指令等に応じて、自車両が進行すべき目標走行ラインを設定し、車両の加速(発進)、減速(停止)、前後進切替、転舵などを自動的に行い、予め設定された目的地まで車両を自動的に走行させる自動運転を実行する。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。
自動運転制御ユニット50には、入出力装置51が接続されている。
入出力装置51は、自動運転制御ユニット50からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置51は、例えば、LCD等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。
環境認識ユニット60は、自車両周囲の情報を認識するものである。
環境認識ユニット60は、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120等からそれぞれ提供される情報に基づいて、自車両周辺の駐車車両、走行車両、建築物、地形、歩行者、サイクリスト等の障害物や、自車両が走行する道路の車線形状等を認識するものである。
ステレオカメラ制御ユニット70は、車両の周囲に複数組設けられるステレオカメラ71を制御するとともに、ステレオカメラ71から伝達される画像を画像処理するものである。
個々のステレオカメラ71は、例えば、レンズ等の撮像用光学系、CMOS等の固体撮像素子、駆動回路、及び、信号処理装置等からなるカメラユニットを、並列に例えば一対配列して構成されている。
ステレオカメラ制御ユニット70は、公知のステレオ画像処理技術を利用した画像処理結果に基づいて、ステレオカメラ71によって撮像された被写体の形状及び自車両に対する相対位置を認識する。
ステレオカメラ制御ユニット70は、例えば、自車両前方の車線両端部の白線を検出し、車線形状を認識することが可能である。
レーザスキャナ制御ユニット80は、レーザスキャナ81を制御するとともに、レーザスキャナ81の出力に基づいて車両周囲の車両や障害物等の各種物体を3D点群データとして認識するものである。
後側方レーダ制御ユニット90は、車両の左右側部にそれぞれ設けられる後側方レーダ91を制御するとともに、後側方レーダ91の出力に基づいて自車両後側方に存在する物体を検出するものである。
後側方レーダ91は、例えば、自車両の後側方から接近する他車両を検知可能となっている。
後側方レーダ91として、例えば、レーザレーダ、ミリ波レーダ等のレーダが用いられる。
図2は、実施例の車両において車両周囲を認識するセンサ類の配置を示す模式図である。
ステレオカメラ71は、車両1の前部、後部、左右側部にそれぞれ設けられている。
レーザスキャナ81は、車両1の周囲に実質的に死角が生じないよう分布して複数設けられている
後側方レーダ91は、例えば、車両1の車体左右側部に配置され、検知範囲を車両後方側かつ車幅方向外側に向けて配置されている。
ナビゲーション装置100は、例えばGPS受信機等の自車両位置測位手段、予め準備された地図データを蓄積したデータ蓄積手段、自車両の前後方向の方位を検出するジャイロセンサ等を有する。
地図データは、道路、交差点、インターチェンジ等の道路情報を車線レベルで有する。
道路情報は、3次元の車線形状データのほか、各車線(レーン)の右左折可否や、一時停止位置、制限速度等の走行上の制約となる情報も含む。
ナビゲーション装置100は、インストルメントパネルに組み込まれたディスプレイ101を有する。
ディスプレイ101は、ナビゲーション装置100がドライバに対して出力する各種情報が表示される画像表示装置である。
ディスプレイ101は、タッチパネルを有して構成され、ドライバからの各種操作入力が行われる入力部としても機能する。
路車間通信装置110は、所定の規格に準拠する通信システムによって、図示しない地上局と通信し、渋滞情報、交通信号機点灯状態、道路工事、事故現場、車線規制、天候、路面状況などに関する情報を取得するものである。
車車間通信装置120は、所定の規格に準拠する通信システムによって、図示しない他車両と通信し、他車両の位置、方位角、加速度、速度等の車両状態に関する情報や、車種、車両サイズ等の車両属性に関する情報を取得するものである。
画像生成ユニット200は、環境認識ユニット60から伝達される環境認識結果に基づいて、ディスプレイ210により表示される自車両周辺の環境に関する情報を含む画像(環境画像)を生成するものである。
画像生成ユニット200は、ディスプレイ210と協働して、本発明の表示装置を構成する。
ディスプレイ210は、車両の乗員と対向して配置された画像表示装置である。
ディスプレイ210は、例えば、インストルメントパネル等の内装部材に組み込まれたLCDを有する。
次に、実施例の表示装置における画像表示時の動作、及び、画面表示の例について説明する。
図3は、実施例の表示装置の動作を示すフローチャートである。
以下説明する動作は、車両1が例えば高速道路、自動車専用道などの高規格道路を、自動走行によって走行中に行われるものである。
以下、ステップ毎に順を追って説明する。
<ステップS01:目標走行ライン情報取得>
画像生成ユニット200は、自動運転制御ユニット50から現在自動運転制御において設定されている目標走行ラインに関する情報を取得する。
その後、ステップS02に進む。
<ステップS02:曲線路有無判断>
画像生成ユニット200は、ステップS01において取得した情報に基づいて、自車両が近い将来(例えば所定の時間閾値以内)に曲線路を通過する予定であるか否かを判別する。
曲線路通過が予定される場合はステップS03に進み、その他の場合は一連の処理を終了(リターン)する。
<ステップS03:自車両周辺環境認識>
環境認識ユニット60は、ステレオカメラ71等を用いて、自車両周辺の環境に関する情報を取得する。
このとき、環境認識ユニット60は、ステップS02において検出された曲線路が存在する道路が、例えば合流路又は分岐路を有するインターチェンジ、ジャンクション、サービスエリア、パーキングエリア等を含む特定区間(第2の道路状況)であるか、このような特定区間以外の通常区間(第1の道路状況)であるかに関する情報を取得する。
特定区間は、通常区間に対して、比較的曲率が大きい曲線路(急カーブ)の出現可能性が高いことを考慮して設定されている。
その後、ステップS04に進む。
<ステップS04:特定区間判断>
画像生成ユニット200は、環境認識ユニット60の認識結果に基づいて、自車両前方の曲線が通常区間に含まれるものか、特定区間に含まれるものかを判別する。
特定区間である場合はステップS06に進み、その他の場合はステップS05に進む。
<ステップS05:緩曲線表示出力>
画像生成ユニット200は、自車両及び自車両前方の道路形状(車線形状)を俯瞰した環境画像を生成する。
このような環境画像は、例えば、ディテールを省略して簡素化したコンピュータグラフィックスとして生成される。
画像生成ユニット200は、このような画像生成が可能なレンダリングエンジンを有する。
また、画像生成ユニット200は、環境画像の一部に重畳して、自車両前方に緩曲線が存在することを示す表示(緩曲線表示)を設ける。
画像生成ユニット200は、上述した画像をディスプレイ210に表示させ、一連の処理を終了(リターン)する。
<ステップS06:急曲線表示出力>
画像生成ユニット200は、ステップS05と実質的に同様の環境画像の一部に重畳して、自車両前方に急曲線が存在することを示す表示(急曲線表示)を設ける。
画像生成ユニット200は、上述した画像をディスプレイ210に表示させ、一連の処理を終了(リターン)する。
以下、実施例の表示装置における表示例について説明する。
図4は、実施例の表示装置における表示画像の一例を示す図である。
ディスプレイ210に表示される表示画像211は、自車両1、及び、道路Rの画像を含む。
道路Rは、右側車線LR、及び、左側車線LLの片側2車線を有する例えば高速道路等の高規格道路である。
自車両1は、左側車線LLに沿って走行している。
道路Rは、自車両1の前方において、比較的曲率の小さい穏やかな左カーブとなっている。
図4において、参考のため、自動運転制御において用いられる目標走行ラインL1を図示する。
実際には、ディスプレイ210には、目標走行ラインL1は表示されないようになっている。
図4に示す例においては、図3のステップS03において、通常区間(第1の道路状況)であると認識されることになる。
このため、表示画像211の一部には、緩曲線表示I1が設けられる。
緩曲線表示I1は、比較的穏やかに湾曲した矢印上の絵柄によって、左方向の緩曲線に沿って自車両1が走行することを示すものである。
図5は、実施例の表示装置における表示画像の他の例を示す図である。
図4と実質的に共通する箇所については同じ符号を付して説明を省略し、主に相違点について説明する。
図5においては、左側車線LLから左側へ分岐する分岐車線LDが設けられており、自車両1の目標走行ラインL2(これも実際には表示されない)は、分岐車線LDに流入し、分岐車線LDに沿って走行するよう設定されている。
分岐車線LDは、本線(車線LR,LL)よりも曲率が大きい左カーブとなっている。
図5に示す例においては、図3のステップS03において、通常区間に対して曲率が大きい曲線が存在する可能性が高い特定区間であると認識されることになる。
このため、表示画像211の一部には、急曲線表示I2が設けられる。
急曲線表示I2は、緩曲線表示I1よりも曲率が大きく湾曲した矢印上の絵柄によって、左方向の急曲線にそって自車両1が走行することを示すものである。
以上説明したように、実施例の表示装置によれば、以下の効果を得ることができる。
(1)自車両1が今後通過する曲線の緩急を、道路状況に応じて2段階に表示することによって、乗員の監視負担を軽減しつつ、車両1が自車両前方の曲線路を正常に認識していることを示し、自動運転制御に対する信頼を維持することができる。
(2)曲線の緩急に加えて左右の方向を示すことにより、監視負担をほとんど増加させることなく、ユーザに自動運転制御が正常に機能していることをより確実に認識させることができる。
(3)合流、分岐等の有無に応じて道路状況を2段階に層別して曲線路の緩急の表示を切り替えることによって、簡単な構成により上述した効果を得ることができる。
(変形例)
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)表示装置の構成や、車両の構成は、上述した実施例に限定されず適宜変更することが可能である。また、実施例において車両は乗用車であるが、本発明は貨物車等の商用車、トラック、バス、自動二輪車、その他各種特殊車両などにも適用することが可能である。
(2)実施例において、車両はエンジンを走行用動力源とするものであったが、本発明はこれに限らず、電動モータや、エンジンと電動モータとを組み合わせたハイブリッドシステムを走行用動力源として用いることも可能である。
(3)自車両周辺の環境認識を行うセンサの種類や配置は、上述した実施例には限定されず、適宜変更することが可能である。例えば、実施例におけるセンサ類と併用あるいは代用して、ミリ波レーザ、レーザレーダ、単眼カメラ、超音波ソナー等の各種センサを用いることが可能である。
(4)実施例においては、表示画像を俯瞰図(鳥瞰図)としているが、これに限らず、例えば平面図や、仮想ドライバ視点から見たドライバーズビューとすることも可能である。また、3D表示が可能なディスプレイを用いて、3D表示を行ってもよい。また、インストルメントパネルに設けたディスプレイによる表示に限らず、例えば、フロントガラスに像を投影するヘッドアップディスプレイによって表示してもよい。
(5)実施例においては、道路状況を例えば通常区間と特定区間との2段階に層別しているが、これに限らず3段階以上に層別し、対応する曲率を示す表示を行ってもよい。
1 車両 10 エンジン制御ユニット
20 トランスミッション制御ユニット 21 前後進切替アクチュエータ
22 レンジ検出センサ 30 挙動制御ユニット
31 ハイドロリックコントロールユニット(HCU)
32 車速センサ
40 電動パワーステアリング(EPS)制御ユニット
41 モータ 42 舵角センサ
50 自動運転制御ユニット 51 入出力装置
60 環境認識ユニット 70 カメラ制御ユニット
71 ステレオカメラ 80 レーザスキャナ制御ユニット
81 レーザスキャナ 90 後側方レーダ制御ユニット
91 後側方レーダ 100 ナビゲーション装置
101 ディスプレイ
110 路車間通信装置 120 車車間通信装置
200 画像生成ユニット 210 ディスプレイ
211 表示画像 R 道路
LR 右側走行車線 LL 左側走行車線
LD 分岐車線 I1 緩曲線表示
I2 急曲線表示 L1,L2 目標走行ライン

Claims (3)

  1. 自車両前方の環境を認識する環境認識手段と、
    前記環境認識手段の認識結果に基づいて自車両の目標走行ラインを設定する走行ライン設定手段と、
    自車両が前記目標走行ラインに沿って走行するよう制御する自動運転制御手段と
    を有する車両に設けられる表示装置であって、
    前記目標走行ラインに含まれる曲線を検出する曲線検出手段と、
    前記曲線が含まれる道路を、曲率が所定値以上である曲線が存在する可能性の大小に応じて複数段階に層別する道路状況層別手段と、
    前記曲線検出手段による前記曲線の検出に応じて前記道路状況層別手段によって層別された段階に相当する曲率を示す表示を表示する表示手段と
    を備えることを特徴とする表示装置。
  2. 前記表示手段は、前記曲率を示す表示とともに、前記曲線の方向を表示すること
    を特徴とする請求項1に記載の表示装置。
  3. 前記道路状況層別手段は、高規格道路の通常走行時に相当する第1の道路状況と、高規格道路における分岐箇所、合流箇所の少なくとも一方に相当する第2の道路状況とを層別すること
    を特徴とする請求項1又は請求項2に記載の表示装置。
JP2016085769A 2016-04-22 2016-04-22 表示装置 Active JP6542708B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016085769A JP6542708B2 (ja) 2016-04-22 2016-04-22 表示装置
CN201710231703.9A CN107303850B (zh) 2016-04-22 2017-04-11 显示装置
US15/487,369 US10414432B2 (en) 2016-04-22 2017-04-13 Vehicle display device
DE102017108173.9A DE102017108173A1 (de) 2016-04-22 2017-04-18 Fahrzeuganzeigevorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016085769A JP6542708B2 (ja) 2016-04-22 2016-04-22 表示装置

Publications (2)

Publication Number Publication Date
JP2017194396A true JP2017194396A (ja) 2017-10-26
JP6542708B2 JP6542708B2 (ja) 2019-07-10

Family

ID=60021089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016085769A Active JP6542708B2 (ja) 2016-04-22 2016-04-22 表示装置

Country Status (4)

Country Link
US (1) US10414432B2 (ja)
JP (1) JP6542708B2 (ja)
CN (1) CN107303850B (ja)
DE (1) DE102017108173A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111615721A (zh) * 2018-01-25 2020-09-01 华为技术有限公司 基于车辆与乘客之间进行识别的接送服务

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7027738B2 (ja) * 2017-09-06 2022-03-02 株式会社デンソー 運転支援装置
JP7086798B2 (ja) * 2018-09-12 2022-06-20 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6697522B2 (ja) * 2018-09-28 2020-05-20 株式会社Subaru 区画線認識装置
CN109263644B (zh) * 2018-09-28 2020-07-28 潍柴动力股份有限公司 一种目标识别方法及装置
JP7189008B2 (ja) * 2018-12-25 2022-12-13 Whill株式会社 電動モビリティ、表示装置、およびプログラム
DE102019202591A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
CN111959499B (zh) * 2019-05-20 2022-02-18 上海汽车集团股份有限公司 一种车辆控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189565A (ja) * 1996-01-11 1997-07-22 Yazaki Corp 車両用ナビゲーション装置
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置
JP2015087268A (ja) * 2013-10-31 2015-05-07 日産自動車株式会社 車両用走行案内装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5402120A (en) * 1993-08-18 1995-03-28 Zexel Corporation Navigation system
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JP3475123B2 (ja) * 1999-05-24 2003-12-08 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置および記憶媒体
US7257447B2 (en) * 2005-04-20 2007-08-14 Cardiac Pacemakers, Inc. Method and apparatus for indication-based programming of cardiac rhythm management devices
ES2426585T3 (es) * 2007-01-10 2013-10-24 Tomtom International B.V. Un dispositivo y método de navegación para utilizar un canal de mensajes de tráfico
US7774121B2 (en) * 2007-07-31 2010-08-10 Gm Global Technology Operations, Inc. Curve speed control system with adaptive map preview time and driving mode selection
JP5177105B2 (ja) 2009-09-24 2013-04-03 株式会社デンソー 運転支援表示装置
JPWO2013121891A1 (ja) * 2012-02-13 2015-05-11 スチールプランテック株式会社 ローラレベラおよび板材の矯正方法
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
EP2827594A1 (en) * 2013-07-17 2015-01-21 Harman Becker Automotive Systems GmbH Digital device, network and method for streaming audio or video data
KR101901962B1 (ko) * 2013-11-08 2018-11-07 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
US9243921B2 (en) * 2014-02-18 2016-01-26 Google Inc. Intuitive preview of upcoming navigational instructions
JP2016085769A (ja) 2014-10-23 2016-05-19 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム、並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189565A (ja) * 1996-01-11 1997-07-22 Yazaki Corp 車両用ナビゲーション装置
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置
JP2015087268A (ja) * 2013-10-31 2015-05-07 日産自動車株式会社 車両用走行案内装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111615721A (zh) * 2018-01-25 2020-09-01 华为技术有限公司 基于车辆与乘客之间进行识别的接送服务

Also Published As

Publication number Publication date
US10414432B2 (en) 2019-09-17
DE102017108173A1 (de) 2017-10-26
JP6542708B2 (ja) 2019-07-10
US20170305460A1 (en) 2017-10-26
CN107303850A (zh) 2017-10-31
CN107303850B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP6294905B2 (ja) 表示装置
JP6383376B2 (ja) 周辺リスク表示装置
CN107264399B (zh) 车辆周围监视装置
JP6688655B2 (ja) 車両状態監視装置
CN108058712B (zh) 车辆及其控制方法
JP6542708B2 (ja) 表示装置
JP6305456B2 (ja) 表示装置
JP6773433B2 (ja) 周辺リスク表示装置
JP6688656B2 (ja) 周辺リスク表示装置
JP7100421B2 (ja) 表示装置
CN110446645B (zh) 车辆控制装置
JP6757585B2 (ja) 表示装置
JP6744744B2 (ja) 表示装置
JP6757586B2 (ja) 異常報知装置
JP6889587B2 (ja) 画像表示装置
JP6667346B2 (ja) 周辺リスク表示装置
JP2018173717A (ja) 画像表示装置
JP2020201734A (ja) 車両制御装置
JP6633957B2 (ja) 周辺リスク表示装置
JP2017182566A (ja) 周辺リスク表示装置
JP6667347B2 (ja) 表示装置
JP7489415B2 (ja) 運転支援装置、運転支援方法、およびプログラム
JP6964060B2 (ja) 車両制御システム
JP6894744B2 (ja) 画像表示装置
JP2023164171A (ja) 運転支援装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190613

R150 Certificate of patent or registration of utility model

Ref document number: 6542708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250