JP6989418B2 - 車載システム - Google Patents

車載システム Download PDF

Info

Publication number
JP6989418B2
JP6989418B2 JP2018043903A JP2018043903A JP6989418B2 JP 6989418 B2 JP6989418 B2 JP 6989418B2 JP 2018043903 A JP2018043903 A JP 2018043903A JP 2018043903 A JP2018043903 A JP 2018043903A JP 6989418 B2 JP6989418 B2 JP 6989418B2
Authority
JP
Japan
Prior art keywords
vehicle
passerby
information
processing unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018043903A
Other languages
English (en)
Other versions
JP2019156087A (ja
Inventor
進一 岡本
賢太郎 大友
篤 石橋
悠 河原
正樹 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2018043903A priority Critical patent/JP6989418B2/ja
Priority to CN201980012914.0A priority patent/CN111712865B/zh
Priority to PCT/JP2019/002101 priority patent/WO2019176310A1/ja
Priority to DE112019001268.1T priority patent/DE112019001268T5/de
Publication of JP2019156087A publication Critical patent/JP2019156087A/ja
Priority to US16/988,803 priority patent/US20200372266A1/en
Application granted granted Critical
Publication of JP6989418B2 publication Critical patent/JP6989418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/545—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other traffic conditions, e.g. fog, heavy traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4047—Attentiveness, e.g. distracted by mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は、車載システムに関する。
従来の車両は、車両の周囲の歩行者に対して各種の報知を実行することにより、歩行者に対して与える不安感の軽減を図っている。例えば、特許文献１には、センサによって車両と人との位置関係を検知し、当該検知結果に基づき、車両周囲の人に向けて可動デバイスを回動させる車載装置が開示されている。
特開２０１５−１７４５４１号公報
従来の車両は、歩行者に対して与える不安感の軽減を図っているが、歩行者から車両側に意思を伝えるという点で改善の余地がある。
本発明は、上記の事情に鑑みてなされたものであって、車両と通行人との意思疎通を改善することができる車載システムを提供することを目的とする。
上記目的を達成するために、本発明に係る車載システムは、車両の前方を撮像した画像に基づいて通行人の視線情報を検出する検出部と、前記検出部が検出した前記通行人の視線情報に基づいて、前記車両の動作を決定する決定部と、前記決定部が決定した前記車両の動作に応じた処理を行う動作部と、を備え、前記決定部は、前記通行人の視線情報が前記車両に向かっている場合、前記通行人に道を譲る前記車両の動作を決定し、前記動作部は、前記通行人に道を譲ることを示す第１情報を前記通行人に対して出力する処理を行うものであり、前記通行人を撮像した画像に基づいて、前記動作部が出力させた前記第１情報を前記通行人が理解しているか否かを判定する第１判定部をさらに備え、前記決定部は、前記第１判定部によって前記通行人が前記第１情報を理解していると判定された場合、前記車両を停止させる動作を決定し、前記動作部は、前記車両を停止させる動作に応じた処理を行うことを特徴とする。
また、上記車載システムでは、前記通行人は、前記車両の前方を横断する可能性がある人物であるものとすることができる。
また、上記車載システムでは、前記通行人の視線が前記車両に向かっていない場合、前記通行人を撮像した画像に基づいて、前記通行人が道を譲る行動を行っているか否かを判定する第２判定部をさらに備え、前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていると判定された場合、前記車両を走行させる動作を決定し、前記動作部は、前記車両を走行させる動作に応じた処理を行うものとすることができる。
また、上記車載システムでは、前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていないと判定された場合、前記車両を停止または徐行する動作を決定し、前記動作部は、前記車両を停止または徐行する動作に応じた処理を行うものとすることができる。
本発明に係る車載システムは、通行人の視線情報に基づいて車両の動作を決定することができる。この結果、車載システムは、通行人の視線情報に基づいて、車両と通行人との意思疎通を改善することができる、という効果を奏する。
図１は、実施形態に係る車載システムの概略構成を表すブロック図である。 図２は、実施形態に係る車載システムが検出する通行人の一例を表す図である。 図３は、実施形態に係る車載システムの制御装置の制御の一例を表すフローチャート図である。 図４は、図３に示す第１処理の一例を表すフローチャート図である。 図５は、図３に示す第２処理の一例を表すフローチャート図である。 図６は、図３に示す第３処理の一例を表すフローチャート図である。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
図１に示す本実施形態の車載システム１は、車両Ｖに適用されたシステムである。車載システム１が適用される車両Ｖは、電気車両（ＥＶ（Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ））、ハイブリッド車両（ＨＥＶ（Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ））、プラグインハイブリッド車両（ＰＨＥＶ（Ｐｌｕｇ−ｉｎ Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ））、ガソリン車両、ディーゼル車両など、駆動源としてモータ又はエンジンを用いるいずれの車両であってもよい。また、当該車両Ｖの運転は、運転者による手動運転、半自動運転、完全自動運転等、いずれであってもよい。また、当該車両Ｖは、いわゆる個人が所有する自家用車、レンタカー、シェアリングカー、バス、タクシー、ライドシェアカーのいずれであってもよい。
以下の説明では、一例として、車両Ｖは、自動運転（半自動運転、完全自動運転）可能な車両であるものとして説明する。車載システム１は、車両Ｖにおいていわゆる自動運転を実現した上で、他車両の合図の意図を推測するものである。車載システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。以下、図１を参照して車載システム１の各構成について詳細に説明する。以下の説明において、車両Ｖを「自車両」と表記する場合がある。
なお、図１に図示する車載システム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、電線や光ファイバ等の配索材を介した有線による接続（例えば、光ファイバを介した光通信等も含む）、無線通信、非接触給電等の無線による接続のいずれであってもよい。
以下の説明では、車載システム１は、自動運転システムである場合の一例について説明する。
車載システム１は、車両Ｖにおいて自動運転を実現するシステムである。車載システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。具体的には、車載システム１は、走行系アクチュエータ１１と、検出装置１２と、表示装置１３と、外部表示装置１４と、制御装置１５とを備える。
走行系アクチュエータ１１は、車両Ｖを走行させるための種々の機器である。走行系アクチュエータ１１は、典型的には、走行用パワートレーン、操舵装置、制動装置等を含んで構成される。走行用パワートレーンは、車両Ｖを走行させる駆動装置である。操舵装置は、車両Ｖの操舵を行う装置である。制動装置は、車両Ｖの制動を行う装置である。
検出装置１２は、種々の情報を検出するものである。検出装置１２は、例えば、車両状態情報、周辺状況情報等を検出する。車両状態情報は、車両Ｖの走行状態を表す情報である。周辺状況情報は、車両Ｖの周辺状況を表す情報である。車両状態情報は、例えば、車両Ｖの車速情報、加速度（車両前後方向加速度、車両幅方向加速度、車両ロール方向加速度等）情報、操舵角情報、アクセルペダルの操作量（アクセル踏み込み量）情報、ブレーキペダルの操作量（ブレーキ踏み込み量）情報、シフトポジション情報、各部の電流値／電圧値情報、蓄電装置の蓄電量情報等を含んでいてもよい。周辺状況情報は、例えば、車両Ｖの周辺環境や車両Ｖの周辺の人物、他車両、障害物等の外部物体を撮像した周辺画像情報、外部物体の有無や当該外部物体との相対距離、相対速度、ＴＴＣ（Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）等を表す外部物体情報、車両Ｖが走行する車線の白線情報、車両Ｖが走行する走行路の交通情報、車両Ｖの現在位置情報（ＧＰＳ情報）等を含んでいてもよい。
図１に示す検出装置１２は、一例として、車両状態検出部１２ａ、通信モジュール１２ｂ、ＧＰＳ受信器１２ｃ、外部カメラ１２ｄ、外部レーダ／ソナー１２ｅを含んで構成されるものとして図示している。
車両状態検出部１２ａは、車速情報、加速度情報、操舵角情報、アクセルペダルの操作量情報、ブレーキペダルの操作量情報、シフトポジション情報、電流値／電圧値情報、蓄電量情報等を含む車両状態情報を検出する。車両状態検出部１２ａは、例えば、車速センサ、加速度センサ、操舵角センサ、アクセルセンサ、ブレーキセンサ、シフトポジションセンサ、電流／電圧計等の種々の検出器、センサによって構成される。車両状態検出部１２ａは、車両Ｖにおいて各部を制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の処理部自体を含んでいてもよい。
通信モジュール１２ｂは、他車両、路上機、クラウド機器、車両Ｖの外部の人物が所持する電子機器等、車両Ｖの外部機器との間で無線通信により相互に情報を送受信するものである。これにより、通信モジュール１２ｂは、例えば、周辺画像情報、外部物体情報、交通情報等を含む周辺状況情報を検出する。通信モジュール１２ｂは、例えば、広域無線、狭域無線等、種々の方式の無線通信により外部機器と通信する。ここで、広域無線の方式は、例えば、ラジオ（ＡＭ、ＦＭ）、ＴＶ（ＵＨＦ、４Ｋ、８Ｋ）、ＴＥＬ、ＧＰＳ、ＷｉＭＡＸ（登録商標）等である。また、狭域無線の方式は、例えば、ＥＴＣ／ＤＳＲＣ、ＶＩＣＳ（登録商標）、無線ＬＡＮ、ミリ波通信等である。
ＧＰＳ受信器１２ｃは、周辺状況情報として、車両Ｖの現在位置を表す現在位置情報を検出する。ＧＰＳ受信器１２ｃは、ＧＰＳ衛星から送信される電波を受信することで、現在位置情報として、車両ＶのＧＰＳ情報（緯度経度座標）を取得する。
外部カメラ１２ｄは、周辺状況情報として、周辺画像情報を構成する車両Ｖの周辺の画像や白線情報を構成する車両Ｖの走行路面の画像を撮像する。画像は、例えば、動画、静止画等を含む。外部カメラ１２ｄは、車両Ｖの前方の画像を撮像する。周辺状況情報は、例えば、車両Ｖが走行している車線及び対向車線を走行する前方の他車両を撮像可能な前方の画像を含む。周辺状況情報は、例えば、車両Ｖの前方の車線と当該車線に沿った歩道との画像を含む。周辺状況情報は、例えば、通行人の顔の位置、表情、視線、行動等を判別可能な画像を含む。通行人は、例えば、歩行者、自転車に乗る人、立ち止まっている人等を含む。
外部レーダ／ソナー１２ｅは、周辺状況情報として、赤外線、ミリ波、超音波等を用いて外部物体情報を検出する。外部物体情報は、例えば、歩道、道路等の通行人の情報を含む。
表示装置１３は、車両Ｖに設けられ、当該車両Ｖの運転者、搭乗者等から目視可能なものである。表示装置１３は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを含む。表示装置１３は、例えば、車両Ｖのコンビネーションメータ、ヘッドアップディスプレイ、テレビジョン等として用いられる。表示装置１３は、公知のナビゲーション装置であってもよい。
外部表示装置１４は、車両Ｖに設けられ、当該車両Ｖの外部の人物に対して各種情報を表示可能なものである。外部表示装置１４は、車両Ｖの外部の人物が目視可能なものである。外部表示装置１４は、例えば、外部の人物が目視可能に車両Ｖに設けられた上記の表示デバイスを含む。外部表示装置１４は、例えば、車両Ｖのウインドシールド、サイドドア等に各種情報を表示する表示装置を含む。本実施形態では、外部表示装置１４は、通行人に対して、例えば、画像、メッセージ等の情報を表示する。
制御装置１５は、車載システム１の各部を統括的に制御するものである。制御装置１５は、車両Ｖの全体を統括的に制御する電子制御ユニットによって兼用されてもよい。制御装置１５は、車両Ｖの走行を実現するための種々の演算処理を実行する。制御装置１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御装置１５は、走行系アクチュエータ１１、検出装置１２、表示装置１３、及び、外部表示装置１４が電気的に接続される。制御装置１５は、車両Ｖにおいて各部を制御するＥＣＵ（例えばボディＥＣＵ等）を介して走行系アクチュエータ１１、検出装置１２、表示装置１３、及び、外部表示装置１４が電気的に接続されてもよい。制御装置１５は、各種の検出信号や各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
具体的には、制御装置１５は、機能概念的に、インターフェース部１５Ａ、記憶部１５Ｂ、及び、処理部１５Ｃを含んで構成される。インターフェース部１５Ａ、記憶部１５Ｂ、及び、処理部１５Ｃは、電気的に接続されている各種機器との間で種々の情報を相互に授受することができる。
インターフェース部１５Ａは、走行系アクチュエータ１１、検出装置１２等の車載システム１の各部と種々の情報を送受信するためのインターフェースである。また、インターフェース部１５Ａは、表示装置１３及び外部表示装置１４と電気的に接続可能に構成される。インターフェース部１５Ａは、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。
記憶部１５Ｂは、自動運転系の記憶装置である。記憶部１５Ｂは、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ Ｖｏｌａｔｉｌｅ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部１５Ｂは、制御装置１５での各種処理に必要な条件や情報、制御装置１５で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部１５Ｂは、例えば、ＧＰＳ受信器１２ｃによって検出された現在位置情報に基づいて車両Ｖの現在位置を特定する際に参照する地図を表す地図情報、後述する通行人の行動を判定するために用いられる行動情報１５０等をデータベース化して記憶する。また、記憶部１５Ｂは、例えば、検出装置１２で検出された各種情報や後述する取得部１５Ｃ１によって取得された各種情報を一時的に記憶することもできる。記憶部１５Ｂは、処理部１５Ｃ等によってこれらの情報が必要に応じて読み出される。
処理部１５Ｃは、各種入力信号等に基づいて、記憶部１５Ｂに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する部分である。
より詳細には、処理部１５Ｃは、機能概念的に、取得部１５Ｃ１、第１検出部１５Ｃ２、第２検出部１５Ｃ３、決定部１５Ｃ４、走行制御部１５Ｃ５、出力制御部１５Ｃ６、第１判定部１５Ｃ７、及び、第２判定部１５Ｃ８を含んで構成される。
取得部１５Ｃ１は、車載システム１における各種処理に用いる種々の情報を取得する処理を実行可能な機能を有する部分である。取得部１５Ｃ１は、検出装置１２によって検出された車両状態情報、周辺状況情報等を取得する。例えば、取得部１５Ｃ１は、車両Ｖの前方の画像を含む周辺状況情報を取得する。取得部１５Ｃ１は、取得した各種情報を記憶部１５Ｂに格納することもできる。
第１検出部１５Ｃ２は、車両Ｖの前方を撮像した映像（画像）に基づいて、通行人を検出する処理を実行可能な機能を有する部分である。第１検出部１５Ｃ２は、車両Ｖの前方を横断する可能性がある通行人を検出する。車両Ｖの前方を横断する可能性がある通行人は、例えば、車両Ｖが走行している道路に向かって移動している人物、当該道路の路側で立ち止まっている人物等を含む。なお、第１検出部１５Ｃ２は、外部レーダ／ソナー１２ｅによって車両Ｖの前方の物体を検出した場合に、通行人の検出を行うように構成してもよい。
図２に示す一例では、車両Ｖは、道路Ｒを走行している。車両Ｖの前方の歩道Ｗには、２人の通行人Ｐ１，Ｐ２が歩行している。通行人Ｐ１は、車両Ｖの前方で道路Ｒに向かって歩道Ｗを歩行している。通行人Ｐ１の視線情報Ｅは、車両Ｖに向かっている。通行人Ｐ２は、車両Ｖの進行方向と同一の方向に向かって、歩道Ｗを歩行している。通行人Ｐ２の視線情報は、車両Ｖに向かっていない。ここで、視線情報Ｅとは、通行人Ｐ１，Ｐ２の視線の方向を識別可能な情報である。例えば、視線情報Ｅは、通行人の視線の方向を示す情報を含む。図２に示す場面では、車載システム１の外部カメラ１２ｄが車両Ｖの前方を撮像した画像には、通行人Ｐ１，Ｐ２が含まれる。第１検出部１５Ｃ２は、車両Ｖの前方を撮像した映像（画像）に基づいて、対象とすべき通行人として、道路Ｒに向かって歩行している通行人Ｐ１を対象の通行人として検出する。よって、第１検出部１５Ｃ２は、車両Ｖの前方に存在する複数の通行人のうち、注意が必要な通行人を検出することができる。
図１に戻り、第２検出部１５Ｃ３は、車両Ｖの前方を撮像した映像（画像）に基づいて、第１検出部１５Ｃ２が検出した通行人の視線情報を検出する処理を実行可能な機能を有する部分である。第２検出部１５Ｃ３は、例えば、画像から通行人の目頭、目尻、瞳等の目の周囲の特徴点を特定し、通行人の視線の方向を示す視線情報Ｅを検出する。第２検出部１５Ｃ３は、例えば、画像から顔、頭部等の向きを特定し、当該向きから通行人の視線の方向を示す視線情報Ｅを検出してもよい。
決定部１５Ｃ４は、第２検出部１５Ｃ３が検出した通行人の視線情報に基づいて、車両Ｖの動作を決定する処理を実行可能な機能を有する部分である。決定部１５Ｃ４は、例えば、種々の公知の人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術や深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術を用いて、車両Ｖの動作を決定する処理を実行可能に構成される。決定部１５Ｃ４は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人の視線情報と通行人の行動とを学習した結果に基づくアルゴリズム、データベース等を用いて、通行人の視線情報に応じた車両Ｖの動作を決定する。
例えば、決定部１５Ｃ４は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、通行人の視線情報Ｅに応じた車両Ｖの動作を決定する。行動情報１５０は、例えば、人工知能技術や深層学習技術を用いた様々な手法によって、通行人の視線情報Ｅと行動との関係等を学習した結果が反映された情報である。言い換えれば、行動情報１５０は、通行人の視線情報と行動とに応じた車両Ｖの動作を規定するために、人工知能技術や深層学習技術を用いた様々な手法を用いてデータベース化された情報である。なお、決定部１５Ｃ４が車両Ｖの動作を決定する一例については、後述する。
走行制御部１５Ｃ５は、決定部１５Ｃ４の決定結果に基づいて車両Ｖの走行を制御する処理を実行可能な機能を有する部分である。走行制御部１５Ｃ５は、動作部の一例である。走行制御部１５Ｃ５は、取得部１５Ｃ１によって取得された情報（車両状態情報、周辺状況情報等）に基づいて走行系アクチュエータ１１を制御し車両Ｖの走行に関わる種々の処理を実行する。走行制御部１５Ｃ５は、ＥＣＵ（例えばボディＥＣＵ等）を介して走行系アクチュエータ１１を制御してもよい。本実施形態の走行制御部１５Ｃ５は、車両Ｖの自動運転に関わる種々の処理を実行し車両Ｖを自動運転する。
走行制御部１５Ｃ５による車両Ｖの自動運転は、取得部１５Ｃ１によって取得された情報に基づいて、車両Ｖの運転者による運転操作に優先して、あるいは、運転者による運転操作によらずに自動で車両Ｖの挙動が制御される運転である。自動運転としては、運転者による運転操作をある程度介在させる半自動運転と、運転者による運転操作を介在させない完全自動運転とがある。半自動運転としては、例えば、車両姿勢安定制御（ＶＳＣ：Ｖｅｈｉｃｌｅ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、定速走行・車間距離制御（ＡＣＣ：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、車線維持支援（ＬＫＡ：Ｌａｎｅ Ｋｅｅｐｉｎｇ Ａｓｓｉｓｔ）等の運転が挙げられる。完全自動運転としては、例えば、自動で車両Ｖを目的地まで走行させる運転や複数の車両Ｖを自動で隊列走行させる運転等が挙げられる。完全自動運転の場合、車両Ｖに運転者自体が不在となる場合もありうる。そして、本実施形態の走行制御部１５Ｃ５は、決定部１５Ｃ４によって、通行人の視線情報に応じて車両Ｖの行動を、当該車両Ｖの走行に反映させた制御を行う。言い換えれば、走行制御部１５Ｃ５は、決定部１５Ｃ４による決定結果にも基づいて車両Ｖの自動運転を行う。
出力制御部１５Ｃ６は、通行人に対するメッセージ、画像等を示す情報を出力する処理を実行可能な機能を有する部分である。出力制御部１５Ｃ６は、動作部の一例である。出力制御部１５Ｃ６は、通行人に対する第１情報を、インターフェース部１５Ａを介して外部表示装置１４に表示させる。第１情報は、例えば、通行人に道を譲ることを示す情報を含む。出力制御部１５Ｃ６は、通行人に対するお礼を示す第２情報を、インターフェース部１５Ａを介して外部表示装置１４に表示させる。本実施形態では、出力制御部１５Ｃ６は、第１情報、第２情報等を外部表示装置１４に出力させる場合について説明するが、これに限定されない。出力制御部１５Ｃ６は、例えば、第１情報、第２情報等を、音声出力装置から出力させてもよい。
外部表示装置１４は、例えば、出力制御部１５Ｃ６から入力された情報を、車両Ｖの外部に向けて表示する。外部表示装置１４は、通行人に対して第１情報、第２情報等を表示することで、通行人と車両Ｖ側とのコミュニケーションを図ることができる。
第１判定部１５Ｃ７は、対象の通行人を撮像した画像に基づいて、出力制御部１５Ｃ６が出力させた第１情報を通行人が理解しているか否かを判定する処理を実行可能な機能を有する部分である。例えば、第１判定部１５Ｃ７は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、対象の通行人の表情、ジェスチャ等を画像から検出できた場合、第１情報を通行人が理解していると判定する。例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人（人物）が伝達されたことを理解した場合の表情、ジェスチャ等を学習した結果が反映された情報である。すなわち、第１判定部１５Ｃ７は、通行人に道を譲ることを対象の通行人に伝達できたか否かを判定することができる。この結果、決定部１５Ｃ４は、通行人に道を譲ることを対象の通行人に伝達できた場合に、車両Ｖを停止または徐行させる動作を決定することができる。なお、以下の説明では、車載システム１は、車両Ｖを停止する場合について説明するが、これに限定されない。例えば、車載システム１の決定部１５Ｃ４は、車両Ｖと通行人との距離が一定距離だけ離れているか否かをさらに判定し、一定距離だけ離れている場合に、車両Ｖを徐行させる動作を決定してもよい。
第２判定部１５Ｃ８は、対象の通行人の視線が車両に向かっていない場合、通行人を撮像した画像に基づいて、当該通行人が道を譲る行動を行っているか否かを判定する処理を実行可能な機能を有する部分である。例えば、第２判定部１５Ｃ８は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、対象の通行人の道を譲る行動を画像から検出できた場合、通行人が道を譲る行動を行っていると判定する。例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人が道を譲る場合の行動を学習した結果が反映された情報である。例えば、道を譲る行動は、通行人が手を前方に向けて伸ばしている状態を含む。また、例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人が道を譲らない場合の行動を学習した結果が反映された情報を含む。例えば、通行人がお礼の動作を行っている場合、通行人が立ち止まっていない場合、及び、通行人の重心が前に傾いている場合の少なくとも１つである場合、第２判定部１５Ｃ８は、通行人が道を譲る行動を行っていないと判定する。すなわち、第１判定部１５Ｃ７は、車両Ｖに視線を向けていない通行人が、道を譲る行動を行っているか否かを判定することができる。この結果、決定部１５Ｃ４は、通行人が道を譲っている場合に、車両Ｖを走行させる動作を決定することができる。
次に、図３のフローチャート図を参照して、制御装置１５の処理部１５Ｃの制御の一例を説明する。図３に示すフローチャート図は、車両Ｖの前方の通行人に応じた車載システム１の処理手順の一例を示す。図３に示す処理手順は、処理部１５Ｃがプログラムを実行することによって実現される。図３に示す処理手順は、処理部１５Ｃによって繰り返し実行される。例えば、図３に示す処理手順は、処理部１５Ｃによって数ｍｓないし数十ｍｓ毎の制御周期（クロック単位）で繰り返し実行される。
まず、車載システム１の制御装置１５の処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１１）。処理部１５Ｃは、取得した画像から車両Ｖの前方を横断する可能性がある通行人を検出する（ステップＳ１２）。例えば、処理部１５Ｃは、パターンマッチング等によって画像から通行人を検出する。そして、処理部１５Ｃは、例えば、道路に向かっている人物、道路の路側で立ち止まっている人物等を、横断する可能性がある通行人として検出する。処理部１５Ｃは、ステップＳ１２の処理を実行することにより、第１検出部１５Ｃ２として機能する。処理部１５Ｃは、通行人を検出したか否かを示す検出結果を記憶部１５Ｂに記憶すると、処理をステップＳ１３に進める。なお、検出結果は、通行人を検出した場合、当該通行人に関する情報を含む。
処理部１５Ｃは、記憶部１５Ｂの検出結果を参照して、通行人を検出したか否かを判定する（ステップＳ１３）。処理部１５Ｃは、通行人を検出していないと判定した場合（ステップＳ１３でＮｏ）、図３に示す処理手順を終了させる。処理部１５Ｃは、通行人を検出したと判定した場合（ステップＳ１３でＹｅｓ）、処理をステップＳ１４に進める。
処理部１５Ｃは、検出した通行人の視線情報を検出する（ステップＳ１４）。例えば、処理部１５Ｃは、車両Ｖの前方を撮像した画像に基づいて、対象の通行人の視線情報を検出する。処理部１５Ｃは、ステップＳ１４の処理を実行することにより、第２検出部１５Ｃ３として機能する。処理部１５Ｃは、検出した視線情報を記憶部１５Ｂに記憶すると、処理をステップＳ１５に進める。
処理部１５Ｃは、記憶部１５Ｂの視線情報を参照して、通行人の視線情報が車両Ｖに向かっているか否かを判定する（ステップＳ１５）。例えば、処理部１５Ｃは、予め定められた方向に向かう視線情報が少なくとも１つ存在する場合、通行人の視線情報が車両Ｖに向かっていると判定する。処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていると判定した場合（ステップＳ１５でＹｅｓ）、処理をステップＳ１６に進める。
処理部１５Ｃは、通行人に道を譲る車両Ｖの第１動作を決定する第１処理を実行する（ステップＳ１６）。第１処理は、通行人の視線情報が車両Ｖに向かっている場合に、対象の通行人に対応した処理を決定して実行するための処理である。例えば、第１処理は、対象の通行人に対して道を譲る意思を伝え、当該通行人の反応に応じた車両Ｖの第１動作を実行するための処理である。処理部１５Ｃは、ステップＳ１６の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第１処理の詳細については、後述する。処理部１５Ｃは、第１処理の実行が終了すると、図３に示す処理手順を終了させる。
処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていないと判定した場合（ステップＳ１５でＮｏ）、処理をステップＳ１７に進める。処理部１５Ｃは、画像に基づいて、通行人が道を譲る行動を行っているか否かを判定する（ステップＳ１７）。例えば、処理部１５Ｃは、対象の通行人の視線が車両に向かっていない場合の通行人を撮像した画像に基づいて、当該通行人の行動を特定する。処理部１５Ｃは、例えば、通行人が道を譲る行動、通行人がお礼を行う行動、通行人が立ち止まらない行動、及び、通行人の重心が前に移動する行動等を特定する。処理部１５Ｃは、通行人が道を譲る行動を特定した場合、通行人が道を譲る行動を行っていると判定する。例えば、処理部１５Ｃは、通行人がお礼を行う行動、通行人が立ち止まらない行動、及び、通行人の重心が前に移動する行動のいずれかの行動を特定した場合、通行人が道を譲る行動を行っていないと判定する。処理部１５Ｃは、ステップＳ１７の処理を実行することにより、第２判定部１５Ｃ８として機能する。処理部１５Ｃは、通行人が道を譲る行動を行っていないと判定した場合（ステップＳ１７でＮｏ）、処理をステップＳ１８に進める。
処理部１５Ｃは、通行人に道を譲る車両Ｖの第２動作を決定する第２処理を実行する（ステップＳ１８）。第２処理は、通行人の視線情報が車両Ｖに向かっていない場合に、対象の通行人に道を譲る処理を決定して実行するための処理である。例えば、第２処理は、車両Ｖを停止させ、当該通行人の行動に応じた車両Ｖの第２動作を実行するための処理である。処理部１５Ｃは、ステップＳ１８の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第２処理の詳細については、後述する。処理部１５Ｃは、第２処理の実行が終了すると、図３に示す処理手順を終了させる。
処理部１５Ｃは、通行人が道を譲る行動を行っていると判定した場合（ステップＳ１７でＹｅｓ）、処理をステップＳ１９に進める。
処理部１５Ｃは、通行人に対する車両Ｖの第３動作を決定する第３処理を実行する（ステップＳ１９）。第３処理は、通行人の視線情報が車両Ｖに向かっていない場合に、対象の通行人の行動に対応した車両Ｖの動作を実行するための処理である。例えば、第３処理は、対象の通行人の視線が車両に向かっていない場合に、通行人の視線情報を再度確認し、対象の通行人の視線情報と行動とに基づいて、車両Ｖの第３動作を実行するための処理である。処理部１５Ｃは、ステップＳ１９の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第３処理の詳細については、後述する。処理部１５Ｃは、第３処理の実行が終了すると、図３に示す処理手順を終了させる。
次に、図４のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第１処理の一例を説明する。図４に示すフローチャート図は、通行人に道を譲る車両Ｖの第１動作を決定する処理手順の一例を示す。図４に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１６の処理を実行することで、処理部１５Ｃによって実行される。処理部１５Ｃは、図４に示す処理手順を終了すると、図３に示す処理手順に復帰する。
処理部１５Ｃは、通行人に道を譲る動作を決定する（ステップＳ１０１）。処理部１５Ｃは、通行人に道を譲ることを示す第１情報を出力する（ステップＳ１０２）。例えば、処理部１５Ｃは、第１情報を外部表示装置１４に表示させる。この結果、車載システム１は、道を譲る表示として、例えば「お先にどうぞ」等の第１情報を通行人に対して表示する。例えば、処理部１５Ｃは、第１情報を音声出力装置から車両Ｖの外部に出力させてもよい。処理部１５Ｃは、ステップＳ１０２の処理を実行することにより、出力制御部１５Ｃ６として機能する。処理部１５Ｃは、第１情報を出力すると、処理をステップＳ１０３に進める。
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１０３）。処理部１５Ｃは、取得した画像に基づいて、通行人が第１情報を理解しているか否かを判定する（ステップＳ１０４）。例えば、処理部１５Ｃは、人工知能技術や深層学習技術を用いた様々な手法によって、対象の通行人の表情、ジェスチャ等を画像から抽出できた場合、通行人が第１情報を理解していると判定する。処理部１５Ｃは、ステップＳ１０４を実行することにより、第１判定部１５Ｃ７として機能する。
処理部１５Ｃは、ステップＳ１０４で対象の通行人が理解していないと判定した場合（ステップＳ１０４でＮｏ）、図４に示す処理手順を終了させる。すなわち、処理部１５Ｃは、対象の通行人が第１情報を理解していない場合、図３に示す処理手順を再度実行し、車両Ｖの動作を決定し直す。
また、処理部１５Ｃは、対象の通行人が第１情報を理解していると判定した場合（ステップＳ１０４でＹｅｓ）、処理をステップＳ１０５に進める。処理部１５Ｃは、車両を停止させる動作に応じた処理を実行する（ステップＳ１０５）。例えば、処理部１５Ｃは、車両Ｖを停止させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ１０５の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ１０６に進める。この結果、対象の通行人は、車両Ｖが停止すると、車両Ｖの前方の横断を開始することができる。
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１０６）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ１０７）。例えば、処理部１５Ｃは、取得した画像に基づいて対象の通行人の位置の変化を検出し、車両Ｖが走行する道路Ｒの一方側から他方側へ移動したことを検出できた場合に、対象の通行人が横断を終えたと判定する。
処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ１０７でＮｏ）、処理を既に説明したステップＳ１０６に戻す。すなわち、処理部１５Ｃは、ステップＳ１０６からステップＳ１０７の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。また、処理部１５Ｃは、対象の通行人が横断を開始しないことを検出した場合は、図４に示す処理手順を終了し、図３に示す処理手順を再度実行してもよい。
処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ１０７でＹｅｓ）、処理をステップＳ１０８に進める。処理部１５Ｃは、第１情報の出力を終了させる（ステップＳ１０８）。例えば、処理部１５Ｃは、第１情報の出力の停止を外部表示装置１４に要求する。処理部１５Ｃは、第１情報の出力を終了させると、処理をステップＳ１０９に進める。
処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ１０９）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ１０９の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図４に示す処理手順を終了させる。
以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっている場合、当該通行人に道を譲る動作を行う。よって、車載システム１は、通行人の視線情報に基づいて、通行人との意思疎通を図ることで、車両と通行人との意思疎通を改善することができる。例えば、車載システム１は、車両Ｖの前方を横断する可能性がある通行人の視線情報を確認することで、通行人が横断歩道のない道路を横断する場合であっても、安全性を向上させることができる。
車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっている場合、通行人に道を譲ることを示す第１情報を通行人に対して出力する。よって、車載システム１は、通行人に道を譲ることを伝えることで、車両と通行人との意思疎通及び安全性を向上させることができる。
車載システム１は、第１情報を通行人に対して出力した場合、当該通行人が第１情報を理解している場合に、車両Ｖを停止することにしたので、車両Ｖを無闇に停止させることを回避できる。よって、車載システム１は、利便性の低下を抑制して、車両と通行人との意思疎通を改善することができる。さらに、車載システム１は、通行人が第１情報を理解している場合に車両Ｖを停止すると、当該通行人の横断が終了するまで、車両Ｖの停止を維持することができる。
次に、図５のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第２処理の一例を説明する。図５に示すフローチャート図は、通行人に道を譲る車両Ｖの第２動作を決定する処理手順の一例を示す。図５に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１８の処理を実行することで、処理部１５Ｃによって実行される。すなわち、図５に示す処理手順は、視線情報が車両Ｖに向かっていない通行人が道を譲る行動を行っていない場合に実行される。処理部１５Ｃは、図５に示す処理手順を終了すると、図３に示す処理手順に復帰する。
処理部１５Ｃは、通行人が道を譲る行動を行っていないことから、車両Ｖを停止させる動作を決定する（ステップＳ２０１）。処理部１５Ｃは、車両Ｖを停止させる動作に応じた処理を実行する（ステップＳ２０２）。例えば、処理部１５Ｃは、走行している車両Ｖを停止させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ２０２の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ２０３に進める。
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ２０３）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ２０４）。処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ２０４でＮｏ）、処理を既に説明したステップＳ２０３に戻す。すなわち、処理部１５Ｃは、ステップＳ２０３からステップＳ２０４の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。
処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ２０４でＹｅｓ）、処理をステップＳ２０５に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ２０５）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ２０５の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図５に示す処理手順を終了させる。
以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっていない場合、かつ、通行人が道を譲る行動を行っていない場合、車両Ｖを停止させる動作を行う。よって、車載システム１は、通行人の視線情報と行動とに基づいて、車両Ｖを停止させる動作を決定することで、通行人との意思疎通を改善することができる。
車載システム１は、車両Ｖの前方で対象の通行人の視線情報が車両Ｖに向かっていない場合、車両Ｖを停止するようにしたので、例えば、車両Ｖに気付かずに道路を横断しようとしている通行人等に対する安全性を向上させることができる。
次に、図６のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第３処理の一例を説明する。図６に示すフローチャート図は、通行人に対する車両Ｖの第３動作を決定する処理手順の一例を示す。図６に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１９の処理を実行することで、処理部１５Ｃによって実行される。すなわち、図６に示す処理手順は、通行人が道を譲る行動を行っている場合に実行される。処理部１５Ｃは、図６に示す処理手順を終了すると、図３に示す処理手順に復帰する。
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３０１）。処理部１５Ｃは、取得した画像から対象の通行人の視線情報を検出する（ステップＳ３０２）。例えば、処理部１５Ｃは、車両Ｖの前方を撮像した画像に基づいて、対象の通行人の視線情報を検出する。処理部１５Ｃは、ステップＳ３０２の処理を実行することにより、第２検出部１５Ｃ３として機能する。処理部１５Ｃは、検出した視線情報を記憶部１５Ｂに記憶すると、処理をステップＳ３０３に進める。
処理部１５Ｃは、記憶部１５Ｂの視線情報を参照して、通行人の視線情報が車両Ｖに向かっているか否かを判定する（ステップＳ３０３）。すなわち、処理部１５Ｃは、視線情報が車両Ｖに向かっていないと判定した通行人の視線情報を再度確認する。例えば、通行人は、車両Ｖに視線情報が向かっていない状態から、車両Ｖに視線情報が向かう状態に変化した場合、車両Ｖに気付いて道路を横断しない傾向にある。処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていると判定した場合（ステップＳ３０３でＹｅｓ）、処理をステップＳ３０４に進める。
処理部１５Ｃは、通行人へのお礼を示す第２情報を出力する（ステップＳ３０４）。例えば、処理部１５Ｃは、第２情報を外部表示装置１４に表示させる。例えば、処理部１５Ｃは、第２情報を音声出力装置から車両Ｖの外部に出力してもよい。処理部１５Ｃは、ステップＳ３０４の処理を実行することにより、出力制御部１５Ｃ６として機能する。処理部１５Ｃは、第２情報を出力すると、処理をステップＳ３０５に進める。
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３０５）。処理部１５Ｃは、取得した画像に基づいて、第２情報の出力を終了するか否かを判定する（ステップＳ３０６）。例えば、処理部１５Ｃは、車両Ｖの前方の画像に基づいて、第２情報を理解した通行人の表情、ジェスチャ等を検出した場合に、第２情報の出力を終了すると判定する。例えば、処理部１５Ｃは、第２情報の表示を開始してから一定時間が経過した場合等に、第２情報の出力を終了すると判定してもよい。処理部１５Ｃは、第２情報の出力を終了しないと判定した場合（ステップＳ３０６でＮｏ）、処理を既に説明したステップＳ３０５に戻す。
処理部１５Ｃは、第２情報の出力を終了すると判定した場合（ステップＳ３０６でＹｅｓ）、処理をステップＳ３０７に進める。処理部１５Ｃは、第２情報の出力を終了させる（ステップＳ３０７）。例えば、処理部１５Ｃは、第２情報の出力の停止を外部表示装置１４に要求する。処理部１５Ｃは、第２情報の出力を終了させると、処理をステップＳ３０８に進める。
処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３０８）。例えば、処理部１５Ｃは、車両Ｖを走行させる、あるいは、車両Ｖの走行を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３０８の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
また、処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていないと判定した場合（ステップＳ３０３でＮｏ）、処理をステップＳ３０９に進める。処理部１５Ｃは、取得した画像に基づいて、通行人が道を横断しない行動であるか否かを判定する（ステップＳ３０９）。例えば、処理部１５Ｃは、通行人が移動していない場合、通行人が道を譲る行動をしている場合等に、通行人が道を横断しない行動であると判定する。
処理部１５Ｃは、通行人が道を横断しない行動であると判定した場合（ステップＳ３０９でＹｅｓ）、処理を既に説明したステップＳ３０８に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３０８）。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
処理部１５Ｃは、通行人が道を横断しない行動ではないと判定した場合（ステップＳ３０９でＮｏ）、すなわち、通行人が道を横断する行動である場合、処理をステップＳ３１０に進める。処理部１５Ｃは、車両Ｖを停止させる動作に応じた処理を実行する（ステップＳ３１０）。例えば、処理部１５Ｃは、走行している車両Ｖを停止させる、あるいは、車両Ｖの停止を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３１０の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ３１１に進める。
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３１１）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ３１２）。処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ３１２でＮｏ）、処理を既に説明したステップＳ３１１に戻す。すなわち、処理部１５Ｃは、ステップＳ３１１からステップＳ３１２の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。
処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ３１２でＹｅｓ）、処理をステップＳ３１３に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３１３）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる、あるいは、車両Ｖの走行を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３１３の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっていない場合、かつ、通行人が道を譲る行動を行っていない場合、通行人の視線情報および行動に応じた車両Ｖの動作を行う。よって、車載システム１は、通行人の視線情報が車両Ｖに向かっていない場合でも、通行人との意思疎通を図ることで、車両と通行人との意思疎通を改善することができる。
車載システム１は、車両Ｖの前方で対象の通行人の視線情報が車両Ｖに向かっていない場合、通行人が道を譲る行動を行っていると、車両Ｖを走行させる。よって、車載システム１は、視線情報が車両Ｖに向かっていなくても、通行人の視線情報を再度確認して車両Ｖの動作を決定することで、通行人との意思疎通をより一層改善し、事故の発生を抑制することができる。
なお、上述した本発明の実施形態に係る車載システム１は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。
上記の本実施形態では、車載システム１は、運転者がいない自動運転システムである場合について説明したが、これに限定されない。例えば、車載システム１は、運転者が運転する車両に搭載されてもよい。その場合、車載システム１は、通行人の視線情報に基づいて決定した車両Ｖの動作を示す情報を表示装置１３に表示してもよい。車載システム１は、通行人が横断する可能性があることを運転者に報知してもよい。この結果、車載システム１は、決定した車両Ｖの動作を運転者に認識させ、安全性を向上させることができる。
上記の車載システム１の第１検出部１５Ｃ２は、公知の人工知能技術や深層学習技術を用いて、車両Ｖの前方を撮像した画像から通行人を検出するものとすることができる。上記の車載システム１の第２検出部１５Ｃ３は、公知の人工知能技術や深層学習技術を用いて、第１検出部１５Ｃ２が検出した通行人の視線情報を画像から検出するものとすることができる。
以上で説明した制御装置１５は、各部が別体に構成され、当該各部が各種の電気信号を相互に授受可能に接続されることで構成されてもよく、一部の機能が他の制御装置によって実現されてもよい。また、以上で説明したプログラム、アプリケーション、各種データ等は、適宜、更新されてもよいし、車載システム１に対して任意のネットワークを介して接続されたサーバに記憶されていてもよい。以上で説明したプログラム、アプリケーション、各種データ等は、例えば、必要に応じてその全部又は一部をダウンロードすることも可能である。また、例えば、制御装置１５が備える処理機能については、その全部又は任意の一部を、例えば、ＣＰＵ等及び当該ＣＰＵ等にて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
１ 車載システム
１２ 検出装置
１２ａ 車両状態検出部
１２ｂ 通信モジュール
１２ｃ ＧＰＳ受信器
１２ｄ 外部カメラ
１２ｅ 外部レーダ／ソナー
１３ 表示装置
１４ 外部表示装置
１５ 制御装置
１５０ 行動情報
１５Ａ インターフェース部
１５Ｂ 記憶部
１５Ｃ 処理部
１５Ｃ１ 取得部
１５Ｃ２ 第１検出部
１５Ｃ３ 第２検出部（検出部）
１５Ｃ４ 決定部
１５Ｃ５ 走行制御部（動作部）
１５Ｃ６ 出力制御部（動作部）
１５Ｃ７ 第１判定部
１５Ｃ８ 第２判定部
Ｖ 車両

Claims (4)

  1. 車両の前方を撮像した画像に基づいて通行人の視線情報を検出する検出部と、
    前記検出部が検出した前記通行人の視線情報に基づいて、前記車両の動作を決定する決定部と、
    前記決定部が決定した前記車両の動作に応じた処理を行う動作部と、
    を備え、
    前記決定部は、前記通行人の視線情報が前記車両に向かっている場合、前記通行人に道を譲る前記車両の動作を決定し、
    前記動作部は、前記通行人に道を譲ることを示す第１情報を前記通行人に対して出力する処理を行うものであり、
    前記通行人を撮像した画像に基づいて、前記動作部が出力させた前記第１情報を前記通行人が理解しているか否かを判定する第１判定部をさらに備え、
    前記決定部は、前記第１判定部によって前記通行人が前記第１情報を理解していると判定された場合、前記車両を停止させる動作を決定し、
    前記動作部は、前記車両を停止させる動作に応じた処理を行う
    ことを特徴とする車載システム。
  2. 前記通行人は、前記車両の前方を横断する可能性がある人物である
    請求項１に記載の車載システム。
  3. 前記通行人の視線が前記車両に向かっていない場合、前記通行人を撮像した画像に基づいて、前記通行人が道を譲る行動を行っているか否かを判定する第２判定部をさらに備え、
    前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていると判定された場合、前記車両を走行させる動作を決定し、
    前記動作部は、前記車両を走行させる動作に応じた処理を行う
    請求項１または２に記載の車載システム。
  4. 前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていないと判定された場合、前記車両を停止または徐行する動作を決定し、
    前記動作部は、前記車両を停止または徐行する動作に応じた処理を行う
    請求項３に記載の車載システム。
JP2018043903A 2018-03-12 2018-03-12 車載システム Active JP6989418B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018043903A JP6989418B2 (ja) 2018-03-12 2018-03-12 車載システム
CN201980012914.0A CN111712865B (zh) 2018-03-12 2019-01-23 车载***
PCT/JP2019/002101 WO2019176310A1 (ja) 2018-03-12 2019-01-23 車載システム
DE112019001268.1T DE112019001268T5 (de) 2018-03-12 2019-01-23 Fahrzeuginternes system
US16/988,803 US20200372266A1 (en) 2018-03-12 2020-08-10 In-vehicle system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018043903A JP6989418B2 (ja) 2018-03-12 2018-03-12 車載システム

Publications (2)

Publication Number Publication Date
JP2019156087A JP2019156087A (ja) 2019-09-19
JP6989418B2 true JP6989418B2 (ja) 2022-01-05

Family

ID=67907637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018043903A Active JP6989418B2 (ja) 2018-03-12 2018-03-12 車載システム

Country Status (5)

Country Link
US (1) US20200372266A1 (ja)
JP (1) JP6989418B2 (ja)
CN (1) CN111712865B (ja)
DE (1) DE112019001268T5 (ja)
WO (1) WO2019176310A1 (ja)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052293A (ja) * 1999-08-11 2001-02-23 Hiisuto Kk 車両走行時の情報案内システム
JP4134891B2 (ja) * 2003-11-28 2008-08-20 株式会社デンソー 衝突可能性判定装置
JP2005322297A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp 情報記録装置及び方法、情報再生装置及び方法、並びにコンピュータプログラム
JP4443327B2 (ja) * 2004-07-01 2010-03-31 パイオニア株式会社 情報表示装置
US7924146B2 (en) * 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US9158979B2 (en) * 2011-10-18 2015-10-13 Honda Motor Co., Ltd. Vehicle vicinity monitoring device
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
KR101901962B1 (ko) * 2013-11-08 2018-11-07 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
JP6206668B2 (ja) * 2013-11-14 2017-10-04 マツダ株式会社 車両用歩行者検出装置
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
JP6397934B2 (ja) * 2014-12-19 2018-09-26 株式会社日立製作所 走行制御装置
CN107924195B (zh) * 2015-09-08 2020-11-10 苹果公司 意图识别
JP6261837B2 (ja) * 2016-01-18 2018-01-17 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援プログラム
US9969326B2 (en) * 2016-02-22 2018-05-15 Uber Technologies, Inc. Intention signaling for an autonomous vehicle
JP6313355B2 (ja) * 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ 車両周囲監視装置
JP2017207859A (ja) * 2016-05-17 2017-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6617651B2 (ja) * 2016-07-07 2019-12-11 株式会社デンソー 歩行者検出装置、歩行者検出方法
JP6680136B2 (ja) * 2016-08-08 2020-04-15 株式会社デンソー 車外表示処理装置及び車外表示システム
DE112016007376T5 (de) * 2016-10-25 2019-07-25 Mitsubishi Electric Corporation Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen
CN106627149B (zh) * 2016-11-25 2023-09-26 未来汽车科技（深圳）有限公司 一种汽车仪表盘及控制方法
KR102648812B1 (ko) * 2016-12-15 2024-03-19 현대자동차주식회사 차량 및 그의 보행자 감지 알림 방법
CN206287926U (zh) * 2016-12-27 2017-06-30 广州市联奥信息科技有限公司 具备情绪表达能力的交互行车装置

Also Published As

Publication number Publication date
DE112019001268T5 (de) 2020-12-03
CN111712865B (zh) 2022-05-03
US20200372266A1 (en) 2020-11-26
JP2019156087A (ja) 2019-09-19
WO2019176310A1 (ja) 2019-09-19
CN111712865A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
JP7456455B2 (ja) 運転支援システム、運転支援を提供するための方法、及び、運転支援装置
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
US10262629B2 (en) Display device
JP2019537530A (ja) 自律走行車の停車位置のプランニング
CN111183428A (zh) 识别自动驾驶车辆的分配的乘客
JP7005112B2 (ja) 表示システム、及び、車載システム
JP2019185211A (ja) 車両制御装置、車両制御方法、及びプログラム
JP6798906B2 (ja) 基地局装置及び通信システム
WO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
CN111830859A (zh) 车辆远程指示***
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
JP2018205965A (ja) 予測装置、車両、予測方法およびプログラム
CN112602124A (zh) 用于车辆调度***的通讯方法、车辆调度***以及通讯装置
CN109070799B (zh) 移动体周围显示方法及移动体周围显示装置
KR20220087429A (ko) 차량용 내비게이션의 영상 제공 방법
JP6989418B2 (ja) 車載システム
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN113044028A (zh) 自动驾驶车辆用信息提示装置
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2022113772A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2023090203A1 (ja) 自動運行装置、車両制御方法
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
US20230274316A1 (en) Information displaying apparatus, information displaying method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R150 Certificate of patent or registration of utility model

Ref document number: 6989418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350