JP6990137B2 - 車両制御装置 - Google Patents

車両制御装置 Download PDF

Info

Publication number
JP6990137B2
JP6990137B2 JP2018061448A JP2018061448A JP6990137B2 JP 6990137 B2 JP6990137 B2 JP 6990137B2 JP 2018061448 A JP2018061448 A JP 2018061448A JP 2018061448 A JP2018061448 A JP 2018061448A JP 6990137 B2 JP6990137 B2 JP 6990137B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
state
traffic light
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018061448A
Other languages
English (en)
Other versions
JP2019175051A (ja
Inventor
弘 三浦
真里奈 齊京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018061448A priority Critical patent/JP6990137B2/ja
Priority to US16/365,246 priority patent/US11073833B2/en
Priority to CN201910244534.1A priority patent/CN110320905B/zh
Publication of JP2019175051A publication Critical patent/JP2019175051A/ja
Application granted granted Critical
Publication of JP6990137B2 publication Critical patent/JP6990137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18159Traversing an intersection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Description

本発明は、自車両に設けられた複数のカメラが撮像した画像に基づき、自車両の走行制御を少なくとも部分的に自動で行う車両制御装置に関する。
従来から、自車両の走行制御を少なくとも部分的に自動で行う車両制御装置が知られている。例えば、交差点周辺の自車両を円滑に走行させるための運転支援技術が種々開発されている。
特許文献1には、右折用青矢灯の終了時に車両が交差点を右折する場合に、右折が完了しないと判定されるときには、右折を踏み止まるように車両に通知する旨が記載されている。
特開2013-149053号公報
ところで、自車両の走行制御を自動で行う場合、車両制御装置は、自車両に設けられた複数のカメラが撮像した画像に写り込んでいる信号機の情報(信号機情報)に基づき、走行制御を行う。しかしながら、例えば、交差点を左右折する際に、同じカメラで信号機を撮像し続けると、撮像した画像から信号機情報が見切れてしまう可能性がある。この結果、交差点での左右折時に、走行制御を自動で行うことが困難となる。特許文献1の技術では、このような場合に、自車両をどのように円滑に走行させるかについて、一切考慮されていない。
本発明は、上記した問題を解決するためになされたものであり、自車両の走行制御を行う場合、該走行制御に関わる信号機を撮像し続けることが可能な車両制御装置を提供することを目的とする。
本発明に係る車両制御装置は、自車両に設けられた複数のカメラが撮像した画像に基づき前記自車両の走行制御を少なくとも部分的に自動で行う車両制御装置であって、複数の前記カメラは、前記自車両の前方領域を少なくとも撮像する第1カメラと、前記前方領域に隣接する側方領域を少なくとも撮像する第2カメラとから構成され、前記車両制御装置は、前記第1カメラが撮像した画像の信号機情報に基づいて前記走行制御を行う第1状態と、前記第2カメラが撮像した画像の信号機情報に基づいて前記走行制御を行う第2状態とから構成され、前記自車両が直進する場合には、前記第1状態にて前記走行制御を行い、一方で、前記自車両の旋回動作中は、前記第1状態から前記第2状態に遷移可能である。
このように、前記自車両の旋回動作中、前記第1状態から前記第2状態に遷移することで、信号機を撮像し続けることが可能となる。これにより、前記自車両が旋回動作を行う場合でも、長時間撮像された画像の信号機情報に基づき、少なくとも前記自車両の加減速制御を含む前記走行制御を行うことが可能となる。
また、前記自車両が直進する場合(前記自車両が旋回動作を行わない場合)、前記第1状態に維持されるので、前記第1状態から前記第2状態に不用意に遷移することによる、前記第1カメラと前記第2カメラとの間での信号機の表示色等の信号機情報の誤検知の要因(例えば、前記第2カメラが撮像する側方領域が西日である場合)を低減させることができる。
この場合、前記車両制御装置は、前記信号機情報の示す信号機の信号周期、表示色、表示パターン、設置位置又は周辺環境に基づき、前記第1カメラ及び前記第2カメラが撮像した画像の前記信号機情報を、同一の前記信号機情報と判断した上で前記第1状態から前記第2状態に遷移すればよい。これにより、同一の前記信号機情報を確実に撮像し続けることが可能となる。
また、前記車両制御装置は、前記自車両が交差点を左右折する場合に、前記第1状態から前記第2状態に遷移可能である。これにより、前記自車両が前記交差点を直進する場合には、前記第1状態に維持される。この結果、前記自車両の走行動作に応じて、適切な走行制御を行うことが可能となる。
さらに、前記車両制御装置は、撮像領域が一部重複する前記第1カメラ及び前記第2カメラが撮像した画像に、同一の前記信号機情報が写り込んでいる場合に、一方の状態から他方の状態に遷移可能である。これにより、前記信号機情報が前記画像から見切れる事態を回避することができる。
さらにまた、前記車両制御装置は、前記自車両の旋回動作中、少なくとも、前記第1状態から、前記自車両の旋回方向に対する外周側に配置された前記第2カメラが撮像した画像の前記信号機情報に基づいて前記走行制御を行う前記第2状態に遷移可能である。これにより、前記信号機情報を見切ることなく、撮像し続けることが可能となる。
また、前記車両制御装置は、前記旋回方向に沿って複数の信号機が順に設置されている場合、前記自車両の旋回動作中、前記第1状態から前記第2状態に遷移し、その後、前記第2状態から前記第1状態に遷移してもよい。これにより、複数の前記信号機を順次撮像しつつ、前記走行制御を円滑に行うことが可能となる。
さらに、前記車両制御装置は、複数の信号機が設置されている場合、前記自車両の旋回動作中、前記第1状態から前記第2状態に遷移することで、前記旋回方向に存在する信号機を優先的に前記第2カメラに撮像させてもよい。これにより、前記信号機の撮像と、前記走行制御とを効率よく且つ円滑に行うことが可能となる。
本発明に係る車両制御装置によれば、自車両の走行制御を行う場合、該走行制御に関わる信号機を撮像し続けることが可能となる。
本発明の一実施形態における車両制御装置の構成を示すブロック図である。 自車両における外界センサの配置を図示した説明図である。 図1の車両制御装置の動作説明に供されるフローチャートである。 図3のステップS6の詳細を図示したフローチャートである。 図3のステップS7の詳細を図示したフローチャートである。 自車両が交差点内に進入する場合を示す図である。 図6の自車位置P0で2台のカメラが撮像した画像を示す図である。 図6の自車位置P1で2台のカメラが撮像した画像を示す図である。 図6の自車位置P2で2台のカメラが撮像した画像を示す図である。 図6の自車位置P3で2台のカメラが撮像した画像を示す図である。 図6の自車位置P4で2台のカメラが撮像した画像を示す図である。 図6の自車位置P5で2台のカメラが撮像した画像を示す図である。
以下、本発明に係る車両制御装置について好適な実施形態を挙げ、添付の図面を参照しながら説明する。
[1.車両制御装置10の構成]
<1.1 全体構成>
図1は、本発明の一実施形態に係る車両制御装置10の構成を示すブロック図である。車両制御装置10は、図2に示す車両12(以下、自車両12ともいう。)に組み込まれており、且つ、自動又は手動により自車両12の走行制御を行う。この「自動運転」は、自車両12の走行制御を全て自動で行う「完全自動運転」のみならず、走行制御を部分的に自動で行う「部分自動運転」を含む概念である。また、「走行制御」とは、少なくとも自車両12の加減速制御を含む自車両12の走行に関わる制御をいう。なお、以下の説明では、一例として、自車両12が右側走行を行う旨の取決めがなされている地域(例えば、米国)の道路を走行する車両である場合について説明する。
図1に示す車両制御装置10は、基本的には、入力系装置群14と、制御システム16と、出力系装置群18とから構成される。入力系装置群14及び出力系装置群18をなす各々の装置は、制御システム16に通信線を介して接続されている。
入力系装置群14は、外界センサ20と、通信装置22と、ナビゲーション装置24と、車両センサ26と、自動運転スイッチ28と、操作デバイス30に接続された操作検出センサ32とを備える。
出力系装置群18は、図示しない車輪を駆動する駆動力装置34と、当該車輪を操舵する操舵装置36と、当該車輪を制動する制動装置38と、視聴覚を通じてドライバに報知する報知装置40と、自車両12が左右折する方向を外部に報知する方向指示器42とを備える。
<1.2 入力系装置群14の具体的構成>
外界センサ20は、自車両12の外界状態を示す情報(以下、外界情報という。)を取得し、当該外界情報を制御システム16に出力する。外界センサ20は、具体的には、複数のカメラ44と、複数のレーダ46と、複数のLIDAR48(Light Detection and Ranging;光検出と測距/Laser Imaging Detection and Ranging;レーザ画像検出と測距)とを含んで構成される。
通信装置22は、路側機、他の車両、及び、サーバを含む外部装置と通信可能に構成されており、例えば、交通機器に関わる情報、他の車両に関わる情報、プローブ情報又は最新の地図情報50を送受信する。この地図情報50は、制御システム16に設けられた記憶装置52の所定メモリ領域内に、又は、ナビゲーション装置24に記憶される。
ナビゲーション装置24は、自車両12の現在位置を検出可能な衛星測位装置と、ユーザインタフェース(例えば、タッチパネル式のディスプレイ、スピーカ及びマイク)とを含んで構成される。ナビゲーション装置24は、自車両12の現在位置又はユーザによる指定位置に基づいて、指定した目的地までの経路を算出し、制御システム16に出力する。ナビゲーション装置24により算出された経路は、記憶装置52の所定メモリ領域内に、経路情報54として記憶される。
車両センサ26は、自車両12の走行速度(車速)を検出する速度センサ、加速度を検出する加速度センサ、横Gを検出する横Gセンサ、垂直軸回りの角速度を検出するヨーレートセンサ、向き・方位を検出する方位センサ、勾配を検出する勾配センサを含み、各々のセンサからの検出信号を制御システム16に出力する。これらの検出信号は、記憶装置52の所定メモリ領域内に、自車情報56として記憶される。
自動運転スイッチ28は、例えば、押しボタン式のハードウェアスイッチ、又は、ナビゲーション装置24を利用したソフトウェアスイッチから構成される。自動運転スイッチ28は、ドライバを含むユーザのマニュアル操作により、複数の運転モードを切り替え可能に構成される。
操作デバイス30は、アクセルペダル、ステアリングホイール、ブレーキペダル、シフトレバー、及び、方向指示レバーを含んで構成される。操作デバイス30には、ドライバによる操作の有無や操作量、操作位置を検出する操作検出センサ32が取り付けられている。
操作検出センサ32は、検出結果としてのアクセル踏込量(アクセル開度)、ステアリング操作量(操舵量)、ブレーキ踏込量、シフト位置、左右折方向等を、後述する制御システム16の走行制御部58に出力する。
<1.3 出力系装置群18の具体的構成>
駆動力装置34は、駆動力ECU(電子制御装置;Electronic Control Unit)と、エンジン・駆動モータを含む駆動源とから構成される。駆動力装置34は、走行制御部58から入力される走行制御値に従って自車両12の走行駆動力(トルク)を生成し、トランスミッションを介して、あるいは、直接的に車輪に伝達する。
操舵装置36は、EPS(電動パワーステアリングシステム)ECUと、EPS装置とから構成される。操舵装置36は、走行制御部58から入力される走行制御値に従って車輪(操舵輪)の向きを変更する。
制動装置38は、例えば、油圧式ブレーキを併用する電動サーボブレーキであって、ブレーキECUと、ブレーキアクチュエータとから構成される。制動装置38は、走行制御部58から入力される走行制御値に従って車輪を制動する。
報知装置40は、報知ECUと、表示装置と、音響装置とから構成される。報知装置40は、後述する制御システム16の報知制御部60から出力される報知指令に応じて、自動運転又は手動運転に関わる報知動作を行う。方向指示器42は、報知制御部60から出力される報知指令に応じて、自車両12の左右折に関わる報知動作を行う。
<1.4 制御システム16の構成>
制御システム16は、1つ又は複数のECUにより構成され、上記した記憶装置52、走行制御部58及び報知制御部60の他、各種機能実現部を備える。この実施形態において、機能実現部は、1つ又は複数のCPU(Central Processing Unit)が、非一過性の記憶装置52に記憶されているプログラムを実行することにより機能が実現されるソフトウエア機能部である。これに代わって、機能実現部は、FPGA(Field-Programmable Gate Array)等の集積回路からなるハードウエア機能部であってもよい。
制御システム16は、記憶装置52、走行制御部58及び報知制御部60の他、外界認識部62と、行動計画部64と、交差点対処部66とを含んで構成される。
外界認識部62は、入力系装置群14により入力された各種情報(例えば、外界センサ20からの外界情報)を用いて、自車両12の両側にあるレーンマーク(白線)を認識し、停止線・信号機の位置情報、又は、走行可能領域を含む「静的」な外界認識情報を生成する。また、外界認識部62は、入力された各種情報を用いて、駐停車車両等の障害物、人・他車両等の交通参加者、又は、信号機の灯色を含む「動的」な外界認識情報を生成する。
行動計画部64は、外界認識部62による認識結果に基づいて走行区間毎の行動計画(イベントの時系列)を作成し、必要に応じて行動計画を更新する。イベントの種類として、例えば、減速、加速、分岐、合流、交差点、レーンキープ、レーン変更、追い越しが挙げられる。ここで、「減速」又は「加速」は、自車両12を減速又は加速させるイベントである。「分岐」、「合流」又は「交差点」は、分岐地点、合流地点又は交差点にて、自車両12を円滑に走行させるイベントである。「レーン変更」は、自車両12の走行レーンを変更、例えば、進路変更させるイベントである。「追い越し」は、自車両12に前走車両を追い越させるイベントである。
また、「レーンキープ」は、走行レーンを逸脱しないように自車両12を走行させるイベントであり、走行態様との組み合わせによって細分化される。走行態様として、具体的には、定速走行、追従走行、減速走行、カーブ走行、又は、障害物回避走行が含まれる。
また、行動計画部64は、記憶装置52から読み出した地図情報50、経路情報54及び自車情報56を用いて、作成した行動計画に従う走行軌道(目標挙動の時系列)を生成する。この走行軌道は、具体的には、位置、姿勢角、速度、加速度、曲率、ヨーレート、操舵角をデータ単位とする時系列データセットである。
交差点対処部66は、外界認識部62又は行動計画部64からの各種情報を用いて、交差点の通過(直進又は左右折)に関わる対処を行う。そして、交差点対処部66は、上記した対処を行うための指令信号を行動計画部64又は報知制御部60に向けて出力する。この場合、交差点対処部66は、交差点検出部68、情報取得部70、信号機検出部72、信号機選択部74、信号機認識部78及び可能性判定部80として機能する。
走行制御部58は、行動計画部64により生成された走行軌道(目標挙動の時系列)に従って、少なくとも自車両12の加減速制御を含む、自車両12を走行制御するための各々の走行制御値を決定する。そして、走行制御部58は、得られた各々の走行制御値を、駆動力装置34、操舵装置36及び制動装置38に出力する。
報知制御部60は、行動計画部64により生成された走行軌道、及び、交差点対処部66からの指令に応じて、報知装置40又は方向指示器42を駆動制御する。以下、走行制御部58及び報知制御部60を総称して「運転制御部82」という場合がある。
<1.5 自車両12における外界センサ20の配置>
図2は、自車両12における外界センサ20の配置を模式的に図示した説明図である。
自車両12に配置されるカメラ44には、ルーフ前部に設けられた前方カメラ(第1カメラ)44aと、車体84の運転席側に配置された左前側方カメラ(第2カメラ)44bと、車体84の助手席側に配置された右前側方カメラ(第2カメラ)44cと、車体84の左後部座席側に配置された左後側方カメラ(第2カメラ)44dと、車体84の右後部座席側に配置された右後側方カメラ(第2カメラ)44eと、ルーフ後部に設けられた後方カメラ44fと、ルーフ前部に設けられた2台のステレオカメラである前方カメラ(第1カメラ)44gとがある。なお、以下の説明では、説明の便宜上、前方カメラ44a、44g、左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d、右後側方カメラ44e、及び、後方カメラ44fを、カメラ44a~44gと呼称する場合がある。
この場合、複数のカメラ44(44a~44g)は、自車両12が左右折の旋回動作を行う場合、該自車両12の旋回方向(左右折方向)に対する外周側に配置されるように、自車両12に設けられている。すなわち、自車両12が左折する場合(左方向に旋回動作する場合)、自車両12の左折方向に対する外周側(自車両12の右側)に、前方カメラ44a、右前側方カメラ44c、右後側方カメラ44e及び後方カメラ44fが順に配置されている。また、自車両12が右折する場合(右方向に旋回動作する場合)、自車両12の右折方向に対する外周側(自車両12の左側)に、前方カメラ44a、左前側方カメラ44b、左後側方カメラ44d及び後方カメラ44fが順に配置されている。
前方カメラ44aは、自車両12の前方の所定範囲内(撮像領域86a)を撮像し、撮像した画像を制御システム16に出力する。左前側方カメラ44bは、自車両12の左側方の所定範囲内(撮像領域86b)を撮像し、撮像した画像を制御システム16に出力する。右前側方カメラ44cは、自車両12の右側方の所定範囲内(撮像領域86c)を撮像し、撮像した画像を制御システム16に出力する。この場合、前方領域である撮像領域86aと左側方領域である撮像領域86bとは、一部領域が重複している。また、撮像領域86aと右側方領域である撮像領域86cとは、一部領域が重複している。
なお、図示はしないが、左後側方カメラ44d、右後側方カメラ44e、後方カメラ44f及び前方カメラ44gについても、カメラのレンズを向けている自車両12の外方の所定領域を、一部領域が重複するように撮像し、撮像した画像を制御システム16に出力する。
また、自車両12には、レーダ46及びLIDAR48も配置されている。レーダ46には、車体84の前方に配置された3つのレーダ46a~46cと、車体84の後方に配置された2つのレーダ46d、46eとがある。LIDAR48には、車体84の前方に配置された2つのLIDAR48a、48bと、車体84の後方に配置された3つのLIDAR48c~48eとがある。
[2.車両制御装置10の動作]
本実施形態における車両制御装置10は、以上のように構成される。続いて、交差点の左右折時における車両制御装置10の動作について、図3~図5のフローチャートを主に参照しながら説明する。ここでは、車両制御装置10を搭載した自車両12が自動運転により右側走行を行い、図6に示す交差点90内を左折する場合について説明する。
<2.1 交差点90の説明>
図6は、自車両12が交差点90内に進入しようとする状態を示す図である。自車両12は、破線矢印で示す走行予定経路92に沿って、第1道路94及び第2道路96が交差する交差点90を通過しようとする。第1道路94及び第2道路96の各々は、5車線からなる道路である。
すなわち、第1道路94は、車両が直進可能な2車線の第1走行レーン94aと、第1走行レーン94aに隣接し、且つ、自車両12を含む車両が左折可能な1車線の第1左折レーン94bと、第1走行レーン94aに対向し、且つ、対向車両98が直進可能な2車線の第1対向レーン94cと、第1対向レーン94cに隣接し、且つ、対向車両98が左折可能な1車線の第1左折レーン94dとを含み構成される。
この場合、自車両12から見て、交差点90の手前側では、第1走行レーン94a及び第1左折レーン94bの3車線の走行車線と、2車線の第1対向レーン94cとが、分離帯94eによって分離されている。また、交差点90の奥側(交差点90よりも車両の進行方向側)では、2車線の第1走行レーン94aと、第1対向レーン94c及び第1左折レーン94dの3車線の対向車線とが、分離帯94fによって分離されている。
つまり、第1道路94は、交差点90の手前側では、第1走行レーン94a、第1左折レーン94b及び第1対向レーン94cによって5車線の道路として構成され、交差点90の奥側では、第1走行レーン94a、第1対向レーン94c及び第1左折レーン94dによって5車線の道路として構成されている。
一方、第2道路96は、第1道路94と同様に、車両が直進可能な2車線の第2走行レーン96aと、第2走行レーン96aに隣接し、且つ、車両が左折可能な1車線の第2左折レーン96bと、第2走行レーン96aに対向し、且つ、車両が直進可能な2車線の第2対向レーン96cと、第2対向レーン96cに隣接し、且つ、車両が左折可能な1車線の第2左折レーン96dとを含み構成される。
この場合、自車両12から見て、交差点90の右側では、第2走行レーン96a及び第2左折レーン96bの3車線の走行車線と、2車線の第2対向レーン96cとが、分離帯96eによって分離されている。また、交差点90の左側では、2車線の第2走行レーン96aと、第2対向レーン96c及び第2左折レーン96dの3車線の対向車線とが、分離帯96fによって分離されている。
従って、第2道路96は、交差点90の右側では、第2走行レーン96a、第2左折レーン96b及び第2対向レーン96cによって5車線の道路として構成され、交差点90の左側では、第2走行レーン96a、第2対向レーン96c及び第2左折レーン96dによって5車線の道路として構成されている。
また、第1走行レーン94a及び第1左折レーン94bと、第1対向レーン94c及び第1左折レーン94dと、第2走行レーン96a及び第2左折レーン96bと、第2対向レーン96c及び第2左折レーン96dとには、交差点90の直前に、停止線100a~100dがそれぞれ設けられている。
分離帯94eの交差点90側、分離帯94fの交差点90側、及び、分離帯96fの交差点90側には、第1左折レーン94bを走行する自車両12を含む車両が左折する際の通過可否状態を現示する信号機102~106がそれぞれ設置されている。いずれの信号機102~106も縦型の信号機であり、自車両12が走行予定経路92に沿って交差点90を左折する際、信号機102~106が順に配置されているように視認(認識)される。
具体的に、分離帯94eの交差点90側に配置されている信号機102には、2つの表示部102a、102bが上下に配置されている。2つの表示部102a、102bは、第1左折レーン94bを走行する自車両12を含む車両と対向するように、信号機102に配置されている。下側の表示部102bは、青信号である青色(実際には緑色)の左向き矢印の灯火によって、進行可能状態の現示状態を表現する。また、上側の表示部102aは、赤信号である赤色の灯火によって進行不可状態の現示状態を表現する。ここで、「進行可能状態」は、自車両12を含む車両の進行を許可する状態であり、「進行不可状態」は、自車両12を含む車両の進行を禁止する状態である。
同様に、分離帯94fの交差点90側に配置されている信号機104には、第1左折レーン94bを走行する自車両12を含む車両と対向するように、2つの表示部104a、104bが上下に配置されている。下側の表示部104bは、青色の左向き矢印(青信号)の灯火によって、進行可能状態の現示状態を表現する。また、上側の表示部104aは、赤色(赤信号)の灯火によって進行不可状態の現示状態を表現する。
また、分離帯96fの交差点90側に配置されている信号機106には、交差点90内を左折する自車両12を含む車両と対向するように、2つの表示部106a、106bが上下に配置されている。下側の表示部106bは、青色の左向き矢印(青信号)の灯火によって、進行可能状態の現示状態を表現する。また、上側の表示部106aは、赤色(赤信号)の灯火によって進行不可状態の現示状態を表現する。
図6の例では、各信号機102~106は、青色の左向き矢印(表示部102b~106b)を点灯しており、進行可能状態(左折が可能な状態)を現示している。つまり、図6は、自車両12を含む車両が右側走行する旨の取決めがなされ、且つ、自車両12が交差点90内を左折する場合を示している。なお、自車両12を含む車両が左側走行する旨の取決めがなされている地域では、自車両12は、交差点90内を右折することに留意する。
図6では、説明の便宜上、第1左折レーン94bから交差点90内に進入して左折する車両(自車両12)に対応する信号機102~106のみを図示している。実際には、交差点90の周辺に、第1走行レーン94a、第1対向レーン94c、第1左折レーン94d、第2走行レーン96a、第2左折レーン96b、96d、及び、第2対向レーン96cに対応する信号機も、それぞれ設置されている。
また、自車両12が走行予定経路92に沿って交差点90を左折する場合、自車両12に搭載された複数のカメラ44(44a~44g)の各々が撮像した画像に、信号機102~106が写り込む場合がある。図7~図12は、一例として、自車両12が走行予定経路92上の自車位置P0~P5(自車両12の現在位置)にあるときに、前方カメラ44aと右前側方カメラ44cとが撮像した画像をそれぞれ図示している。これらの画像には、信号機102~106の画像情報(信号機情報)が写り込んでいる。なお、以下の説明では、これらの画像に写り込んでいる信号機102~106の画像情報を、説明の便宜上、信号機102~106と呼称する。また、図7~図12の画像の詳細については、後述する。
<2.2 図3~図5の動作の説明>
次に、図3~図5のフローチャートに示す車両制御装置10(図1参照)の動作について、自車両12(図2及び図6参照)が走行予定経路92上に沿って走行する状況(例えば、各自車位置P0~P5での状況)と対応させつつ説明する。なお、この動作説明では、各信号機102~106の下側の表示部102b~106bが、青色の左向き矢印(青信号)を灯火している状況下で、自車両12が交差点90を左折する場合について説明する。
先ず、自車両12が第1道路94(第1左折レーン94b)を走行している場合、図3のステップS1において、交差点対処部66(図1参照)は、記憶装置52に格納された直近の経路情報54、又は、外界認識部62により生成された「静的な」外界認識情報を用いて、自車両12が走行しようとする走行予定経路92(図6参照)を取得する。
ステップS2において、交差点検出部68は、ステップS1で取得された走行予定経路92と、行動計画部64により作成された行動計画(左右折イベント)を参照することで交差点90を検出する。前述のように、交差点90は、(1)走行予定経路92上にあり、(2)複数本のレーンが交差してなり、(3)自車両12が左折する予定であり、(4)現在の自車位置(例えば、自車位置P0)から所定の距離範囲内にあるか、又は、自車両12が所定の時間範囲内に到達し得る交差点である。
交差点90が検出されなかった場合(ステップS2:NO)、ステップS1に戻って、ステップS1、S2を順次繰り返す。一方、特定の交差点90が検出された場合(ステップS2:YES)、ステップS3に進む。
ステップS3において、交差点対処部66は、自車両12が、交差点90内で左折するか否かを判定する。自車両12が交差点90で左折しない場合、例えば、交差点90内を直進する場合(ステップS3:NO)、図3~図5の処理を終了する。これにより、車両制御装置10は、交差点90での左折動作(旋回動作)を実行せず、自車両12を直進走行させる。
一方、交差点90内を左折する場合(ステップS3:YES)、ステップS4に進む。従って、ステップS4以降の処理は、自車両12が走行予定経路92に沿って自動走行により交差点90内を左折するための車両制御装置10内の処理となる。以下に、車両制御装置10の処理について、自車位置P0~P5毎に具体的に説明する。なお、ステップS4以降の処理は、自車位置P0~P5に限定されることはなく、所定時間間隔で行われる。
また、車両制御装置10は、前方カメラ44a、44gが撮像した画像に写り込んでいる信号機102~106に基づいて、自車両12の走行制御を行う第1状態と、左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eが撮像した画像に写り込んでいる信号機102~106に基づいて、自車両12の走行制御を行う第2状態とで構成される。
後述するように、車両制御装置10では、自車両12が直進走行する場合、第1状態にて自車両12の走行制御を行い、一方で、自車両12の交差点90内での左右折中(旋回動作中)は、第1状態から第2状態に遷移して自車両12の走行制御を行うことが可能である。
なお、以下の説明では、一例として、第1状態では、前方カメラ44aが撮像した画像に基づいて自車両12の走行制御が行われ、一方で、第2状態では、右前側方カメラ44cが撮像した画像に基づいて自車両12の走行制御が行われる場合について説明する。
(2.2.1 自車位置P0付近での処理)
自車両12が走行予定経路92に沿って走行し、自車位置P0に到達している場合、ステップS4において、情報取得部70は、自車両12に搭載された複数のカメラ44(44a~44g)から、外方を撮像した画像を取得する。次に、信号機検出部72は、情報取得部70が取得した複数の画像に写り込んでいる全ての信号機を検出する。すなわち、信号機検出部72は、自車両12の自動走行の走行制御に関わる信号機(信号機102~106)を含めた、各画像に写り込んでいる全ての信号機を検出する。従って、ステップS4では、交差点90周辺に設けられた各信号機に限らず、交差点90外の信号機も検出する場合があることに留意する。
次に、信号機検出部72は、自車両12の進行方向の前方にある信号機を検出したか否かを判定する。図7は、自車両12が自車位置P0にある場合に、前方カメラ44aが撮像した画像(図7の左側の画像)と、右前側方カメラ44cが撮像した画像(図7の右側の画像)とを示す。図2及び図6に示すように、前方カメラ44aは、自車両12の前方の撮像領域86aを撮像しているため、図7の左側の画像には、前方の2つの信号機102、104が写り込んでいる。また、右前側方カメラ44cは、自車両12の右前方の撮像領域86cを撮像しているため、図7の右側の画像には、前方の信号機104の一部が写り込んでいる。すなわち、撮像領域86a、86cの一部が重複しているので、図7の2つの画像のいずれにも、信号機104が写り込んでいる。
この場合、信号機検出部72は、例えば、2つの画像に写り込んでいる信号機104の信号周期、表示色、表示パターン、設置位置又は周辺環境に基づいて、当該2つの画像に写り込んでいる信号機104を、同一の信号機104と判断する。
これらの処理を行うことで、信号機検出部72は、前方の2つの信号機102、104を検出したと判定し(ステップS4:YES)、ステップS5に進む。一方、ステップS4において、前方の信号機を検出できない場合(ステップS4:NO)、ステップS1に戻り、ステップS1~S4の処理が再度実行される。
ステップS5において、信号機選択部74は、信号機検出部72が複数の信号機を検出したか否かを判定する。信号機検出部72が複数の信号機を検出した場合(ステップS5:YES)、ステップS6に進む。一方、信号機検出部72が1つの信号機のみ検出した場合(ステップS5:NO)、ステップS7に進む。
この場合、信号機検出部72が2つの信号機102、104を検出しているので(ステップS5:YES)、信号機選択部74は、ステップS6に進み、2つの信号機102、104の中から1つの信号機を選択する。また、信号機認識部78は、選択した1つの信号機(認識対象信号機)を認識する。具体的に、ステップS6では、図4に示す処理が行われる。
図4のステップS61において、信号機選択部74は、2つの信号機102、104が写っている画像を撮像したカメラである前方カメラ44a及び右前側方カメラ44cを特定する。
ステップS62において、信号機選択部74は、認識担当カメラに信号機が写っているか否かを判定する。ここで、認識担当カメラとは、信号機認識部78で認識される信号機(認識対象信号機)が写り込んでいる画像を撮像したカメラをいう。通常、自車両12が直進走行することで、車両制御装置10が第1状態で自車両12の走行制御を行う場合も考慮して、前方カメラ44aが認識担当カメラとしてデフォルト設定(固定)されている。従って、信号機選択部74は、前方カメラ44aが撮像した画像(図7の左側の画像)に信号機102、104が写っているか否かを判定する。この場合、信号機選択部74は、肯定的な判定を行い(ステップS62:YES)、ステップS63に進む。
ステップS63において、信号機選択部74は、認識担当カメラ(前方カメラ44a)以外の他のカメラにも、信号機が写っているか否かを判定する。この場合、右前側方カメラ44cが撮像した画像(図7の右側の画像)に信号機104が写り込んでいるため、信号機選択部74は、肯定的な判定を行い(ステップS63:YES)、ステップS64に進む。
ステップS64において、信号機認識部78は、前方カメラ44aが撮像した画像に写り込んでいる信号機102、104が見切れる可能性があるか否かを判断する。この場合、自車両12が自車位置P0にあり、第1左折レーン94bで走行予定経路92上に沿って直進走行しているため、信号機認識部78は、信号機102、104を見切れる可能性はない、すなわち、第1状態を維持すべきと判定し(ステップS64:NO)、ステップS65に進む。
ステップS65において、信号機選択部74は、ステップS64での否定的な判定結果を受けて、2つの信号機102、104のうち、いずれか一方の信号機を認識対象信号機として選択する。この場合、信号機選択部74は、例えば、図7の左側の画像の中で相対的に大きく写り込んでいる信号機102を、認識対象信号機として選択する。すなわち、大きく写り込んでいる信号機を認識対象信号機として選択した方が、信号機認識部78において、認識対象信号機に対する認識処理を精度良く行うことができるためである。なお、図7では、認識担当カメラである前方カメラ44aが撮像した画像に写り込んでいる信号機102について、認識対象信号機として選択されたことを破線で図示している。
ステップS66において、信号機認識部78は、信号機選択部74が選択した信号機102を認識対象信号機として認識する。ステップS66の処理完了によってステップS6の処理が終了し、図3のステップS8に進む。
ステップS8において、交差点対処部66は、自車両12が交差点90に進入したか否かを判定する。この場合、自車両12は、自車位置P0にあるため、交差点90に進入していない(図6参照)。従って、交差点対処部66は、否定的な判定を行う(ステップS8:NO)。この結果、車両制御装置10は、ステップS5に戻り、ステップS5~S8の処理を再度実行する。
(2.2.2 自車位置P1付近での処理)
次に、自車両12が自車位置P1に到達した際、ステップS5において、信号機選択部74は、信号機検出部72が複数の信号機を検出したか否かを再度判定する。図8は、自車位置P1で前方カメラ44a及び右前側方カメラ44cがそれぞれ撮像した画像を示す。この場合も、図7と同様に、図8の左側の画像(前方カメラ44aが撮像した画像)には、2つの信号機102、104が写り込み、図8の右側の画像(右前側方カメラ44cが撮像した画像)には、1つの信号機104の一部が写り込んでいる。但し、左側の画像において、信号機102は、一部が欠落した状態で写り込んでいる。
信号機検出部72は、2つの信号機102、104を検出し(ステップS5:YES)、ステップS6に進む。信号機選択部74は、図4のステップS61において、信号機102、104が写っている画像を撮像した前方カメラ44a及び右前側方カメラ44cを特定し、ステップS62において、認識担当カメラ(前方カメラ44a)に信号機が写っているか否かを判定する。前方カメラ44aに信号機102、104が写り込んでいるため(ステップS62:YES)、信号機選択部74は、ステップS63に進む。右前側方カメラ44cが撮像した画像(図8の右側の画像)に信号機104が写り込んでいるので(ステップS63:YES)、信号機選択部74は、ステップS64に進む。
ステップS64において、信号機認識部78は、前方カメラ44aが撮像した画像に写り込んでいる信号機102、104が見切れる可能性があるか否かを判断する。この場合、自車位置P1から自車両12が直進しても、信号機104が見切れる可能性はないので(ステップS64:NO)、ステップS65に進む。なお、信号機認識部78は、自車両12の直進走行によって、当該画像に写り込んでいる信号機102が見切れる可能性があると判断してもよい。
これにより、ステップS65において、信号機選択部74は、ステップS64の判定結果を受け、信号機104を認識対象信号機として選択する。すなわち、図8の左側の画像において、信号機102は、大きく写り込んでいるが、見切れる可能性があるので、信号機認識部78で認識処理を精度良く行うことができない。図8では、認識対象信号機が信号機102から信号機104に切り替わったことを、破線で図示している。この結果、ステップS66において、信号機認識部78は、信号機選択部74が選択した信号機104を認識対象信号機として認識し、ステップS6の処理を終了する。
自車位置P1は、交差点90の手前の位置であるため、ステップS8において、交差点対処部66は、自車両12が交差点90に進入していないと判定する(ステップS8:NO)。この結果、車両制御装置10は、ステップS5に戻り、ステップS5~S8の処理を再度実行する。
(2.2.3 自車位置P2付近での処理)
次に、自車両12が停止線100a直前(交差点90手前)の自車位置P2に到達した場合、信号機選択部74は、ステップS5の判定処理を再度実行する。図9は、自車位置P2で前方カメラ44a及び右前側方カメラ44cがそれぞれ撮像した画像を示す。自車位置P2は、信号機102の設置位置よりも交差点90寄りの位置であるため、図9の左側の画像(前方カメラ44aが撮像した画像)及び右側の画像(右前側方カメラ44cが撮像した画像)には、1つの信号機104のみが写り込んでいる。
従って、信号機検出部72は、1つの信号機104のみ検出し(ステップS5:NO)は、ステップS7に進む。この場合、信号機検出部72は、図9の2つの画像に写り込んでいる信号機104の信号周期、表示色、表示パターン、設置位置又は周辺環境に基づき、当該信号機104を同一の信号機104と判断することが可能である。そして、ステップS7において、信号機認識部78は、1つの信号機(認識対象信号機)を認識する。ステップS7では、具体的に図5に示す処理が行われる。
図5のステップS71において、信号機認識部78は、認識担当カメラ(前方カメラ44a)が撮像した画像に信号機が写り込んでいるか否かを判定する。当該画像に信号機104が写り込んでいるので、信号機認識部78は、肯定的な判定を行い(ステップS71:YES)、ステップS72に進む。
ステップS72において、信号機認識部78は、前方カメラ44a以外の他のカメラにも、信号機が写っているか否かを判定する。右前側方カメラ44cが撮像した画像(図9の右側の画像)に信号機104が写り込んでいるため、信号機認識部78は、肯定的な判定を行い(ステップS72:YES)、ステップS73に進む。
ステップS73において、信号機認識部78は、前方カメラ44aが撮像した画像に写り込んでいる信号機104が見切れる可能性があるか否かを判断する。この場合、自車両12が自車位置P2にあり、停止線100aの手前で走行予定経路92上に沿って直進走行しているため、信号機認識部78は、信号機104を見切れる可能性はない、すなわち、第1状態を維持すべきと判定し(ステップS73:NO)、ステップS74に進む。
ステップS74において、信号機認識部78は、ステップS73の判定結果に基づき、図9の左側の画像に写り込んでいる信号機104を認識対象信号機として認識する。ステップS74の処理完了によってステップS7の処理が終了し、図3のステップS8に進む。なお、図9では、認識対象信号機が信号機104であることを、破線で図示している。
ステップS8において、交差点対処部66は、自車両12が自車位置P2にあり、交差点90に進入していないので、否定的な判定を行う(ステップS8:NO)。この結果、交差点対処部66は、ステップS5に戻り、ステップS5~S8の処理を再度実行する。
(2.2.4 自車位置P3付近での処理)
次に、自車両12が交差点90に進入し、走行予定経路92上を左折(旋回)し始めて自車位置P3に到達した場合、信号機選択部74は、ステップS5の判定処理を再度実行する。図10は、自車位置P3で前方カメラ44a及び右前側方カメラ44cがそれぞれ撮像した画像を示す。自車位置P3は、信号機104と対向するような位置であるため、図10の左側の画像(前方カメラ44aが撮像した画像)及び右側の画像(右前側方カメラ44cが撮像した画像)には、1つの信号機104のみが写り込んでいる。
従って、信号機検出部72は、1つの信号機104のみ検出し(ステップS5:NO)は、ステップS7に進む。図5のステップS71において、認識担当カメラ(前方カメラ44a)が撮像した画像に信号機104が写り込んでいるため(ステップS71:YES)、信号機認識部78は、ステップS72に進む。ステップS72において、右前側方カメラ44cが撮像した画像(図10の右側の画像)に信号機104が写り込んでいるため(ステップS72:YES)、信号機認識部78は、ステップS73に進む。
ステップS73において、信号機認識部78は、図10の左側の画像に写り込んだ信号機104が見切れる可能性があるか否かを判断する。この場合、自車両12が自車位置P3にあり、その後、走行予定経路92上に沿って、大きく旋回(左折)するため、信号機認識部78は、信号機104を見切れる可能性がある、すなわち、第1状態から第2状態に遷移する必要があると判定し(ステップS73:YES)、ステップS75に進む。
ステップS75において、信号機認識部78は、信号機104が写り込んでいる他のカメラである右前側方カメラ44cを認識担当カメラに切り替える。すなわち、車両制御装置10では、自車両12の左折中(旋回動作中)、第1状態から第2状態に遷移して、認識担当カメラを前方カメラ44aから右前側方カメラ44cに変更することにより、見切れる可能性のある信号機104の情報を用いて、信号機認識部78での認識処理の精度が低下することを回避することができる。このように、第1状態から第2状態に遷移して、認識担当カメラが切り替わった後(変更された後)、ステップS74に進む。
なお、図10では、認識対象カメラが前方カメラ44aから右前側方カメラ44cに切り替わることを破線の矢印で図示している。また、信号機認識部78は、認識担当カメラを切り替える際、信号機検出部72での検出結果(2つの画像に写り込んでいる信号機104が同一の信号機である旨の結果)を用いて、同一の認識対象信号機であることを判断した上で、第1状態から第2状態に遷移し、認識担当カメラを前方カメラ44aから右前側方カメラ44cに切り替える。
ステップS74において、信号機認識部78は、ステップS75の切替処理結果に基づき、切り替わった認識担当カメラである右前側方カメラ44cが撮像した画像(図10の右側の画像)に写り込んでいる信号機104を認識対象信号機として認識する。ステップS74の処理完了によってステップS7の処理が終了すると、図3のステップS8に進む。
なお、ステップS75後のステップS74では、右前側方カメラ44cが認識担当カメラとされているが、前方カメラ44aが撮像した画像中に信号機104が写り込んでいる場合、信号機認識部78は、引き続き、当該画像に写り込んでいる信号機104に対する認識処理を継続して行ってもよい。これにより、認識担当カメラの切り替え後、前方カメラ44aの画像を用いた自車両12の走行制御が行われないが、自車両12の左折動作(旋回動作)が中止された場合に、右前側方カメラ44cから前方カメラ44aに認識担当カメラを切り替えるときの処理負荷又は処理速度を小さくすることができる。
ステップS8において、交差点対処部66は、自車両12が自車位置P3にあり、交差点90に進入しているので(ステップS8:YES)、ステップS9に進む。ステップS9において、可能性判定部80は、対向車両98が交差点90に向かって走行しているか否かを判定する。対向車両98が交差点90に向かっている場合(ステップS9:YES)、ステップS10に進み、可能性判定部80は、対向車両98が交差点90に進入する可能性があるか否かを判定する。対向車両98が交差点90に進入する可能性がある場合(ステップS10:YES)、ステップS11において、可能性判定部80は、自車両12を一時停止させる必要があると判断する。これにより、運転制御部82は、自車両12を交差点90内で一時的に停止させる走行制御を行う。その後、ステップS5に戻り、ステップS5~S10の処理が再度行われる。
一方、ステップS9又はS10において否定的な判定結果となった場合(ステップS9又はS10:NO)、ステップS12において、可能性判定部80は、自車両12が左折可能と判断する。これにより、運転制御部82は、第2状態において、自車両12を交差点90内で左折させる走行制御を行う。その後、ステップS13において、交差点対処部66は、自車両12が交差点90を通り抜けたか否かを判定する。この場合、自車両12が自車位置P3にあるため、交差点対処部66は、自車両12が交差点90を通り抜けていないと判断する(ステップS13:NO)。その後、ステップS5に戻り、ステップS5~S13の処理が再度行われる。
(2.2.5 自車位置P4付近での処理)
次に、自車両12が交差点90内を左折して自車位置P4に到達した場合、信号機選択部74は、ステップS5の判定処理を再度実行する。図11は、自車位置P4で前方カメラ44a及び右前側方カメラ44cがそれぞれ撮像した画像を示す。この場合、図10の左側の画像(前方カメラ44aが撮像した画像)には、1つの信号機106が写り込み、一方で、右側の画像(右前側方カメラ44cが撮像した画像)には、1つの信号機104が写り込んでいる。
従って、信号機検出部72は、2つの信号機104、106を検出し(ステップS5:YES)は、ステップS6に進む。ステップS61(図4参照)において、信号機選択部74は、信号機104、106が写っている画像を撮像した前方カメラ44a及び右前側方カメラ44cを特定する。また、信号機選択部74は、認識担当カメラの右前側方カメラ44cに信号機104が写り込み(ステップS62:YES)、前方カメラ44aにも信号機106が写り込んでいると判定し(ステップS63:YES)、ステップS64に進む。
ステップS64において、信号機認識部78は、右前側方カメラ44cが撮像した画像に写り込んでいる信号機104が見切れる可能性がない、すなわち、第2状態を維持すべきと判断し(ステップS64:NO)、ステップS65に進む。ステップS65において、信号機選択部74は、ステップS64の判定結果を受け、信号機104を認識対象信号機として選択し、ステップS66において、信号機認識部78は、信号機選択部74が選択した信号機104を認識対象信号機として認識し、ステップS6の処理を終了する。
ステップS8において、交差点対処部66は、自車両12が自車位置P4にあり、交差点90に進入していると判断する(ステップS8:YES)。次のステップS9において、可能性判定部80は、自車位置P3の場合と同様に、対向車両98が交差点90に進入する可能性がある場合(ステップS9、S10:YES)、次のステップS11で自車両12の一時停止が必要と判断し、運転制御部82は、自車両12を交差点90内で一時的に停止させる走行制御を行う。その後、ステップS5に戻り、ステップS5~S10の処理が再度行われる。
一方、ステップS9又はS10で否定的な判定結果となった場合(ステップS9又はS10:NO)、ステップS12において、可能性判定部80は、自車両12が左折可能と判断し、運転制御部82は、自車両12を交差点90内で左折させる走行制御を行う。この場合、自車両12が自車位置P4にあるため、ステップS13において、交差点対処部66は、自車両12が交差点90を通り抜けていないと判断し(ステップS13:NO)、その後、ステップS5に戻り、ステップS5~S13の処理が再度行われる。
(2.2.6 自車位置P5付近での処理)
次に、自車両12が交差点90内を自車位置P5に到達した場合、信号機選択部74は、ステップS5の判定処理を再度実行する。図12は、自車位置P5で前方カメラ44a及び右前側方カメラ44cがそれぞれ撮像した画像を示す。自車位置P4の場合(図11参照)と同様に、図12の左側の画像(前方カメラ44aが撮像した画像)にも、1つの信号機106が写り込み、一方で、右側の画像(右前側方カメラ44cが撮像した画像)には、1つの信号機104が写り込んでいる。
従って、自車位置P5の場合は、「ステップS5:YES」→ステップS6のステップS61→「ステップS62:YES」→「ステップS63:YES」→ステップS64の順に処理が行われる。
但し、ステップS64において、信号機認識部78は、右前側方カメラ44cが撮像した画像に写り込んでいる信号機104が見切れる可能性がある、すなわち、第2状態から第1状態に遷移すべきと判断し(ステップS64:YES)、ステップS67に進む。ステップS67において、信号機認識部78は、信号機106が写り込んでいる他のカメラである前方カメラ44aを認識担当カメラに切り替える。すなわち、車両制御装置10では、自車両12の左折中(旋回動作中)、第2状態から第1状態に遷移し、認識担当カメラを右前側方カメラ44cから前方カメラ44aに変更することにより、見切れる可能性のある信号機104の情報を用いて、信号機認識部78での認識処理の精度が低下することを回避することができる。このように、第2状態から第1状態に遷移して、認識担当カメラが切り替わった後(変更された後)、ステップS65に進む。なお、図12では、認識対象カメラが右前側方カメラ44cから前方カメラ44aに切り替わることを破線の矢印で図示している。
ステップS65において、信号機認識部78は、ステップS67の切替処理結果を受けて、切り替わった認識担当カメラである前方カメラ44aが撮像した画像(図12の左側の画像)に写り込んでいる信号機106を認識対象信号機として認識する。ステップS65の処理完了によってステップS6の処理が終了すると、図3のステップS8に進む。
自車位置P5においても、ステップS8以降、自車位置P3、P4の場合と同様に、ステップS8~S12の処理が行われる。そして、自車両12が自車位置P5から交差点90を通り抜けた場合(ステップS13:YES)、図3~図5の処理が終了する。
<2.3 図3~図5の動作のまとめ>
このように、交差点90周辺には、自車両12の左折方向に沿って複数の信号機102~106が順に設置されている。そのため、図3~図5の動作において、交差点90内を自車両12が左折(旋回)する場合、車両制御装置10では、自車両12の左折中(旋回動作中)、第1状態から第2状態に遷移し、その後、第2状態から第1状態に遷移することで、自車両12の走行制御を円滑に行う。具体的に、信号機認識部78は、第1状態から第2状態に遷移するときには、図10のように、左折方向とは逆方向である右方向にあるカメラを認識担当カメラに切り替え(前方カメラ44a→右前側方カメラ44c)、その後、第2状態から第1状態に遷移するときには、図12のように、左折方向にあるカメラを認識担当カメラに切り替える(右前側方カメラ44c→前方カメラ44a)。また、自車両12の左折中(旋回動作中)、第1状態と第2状態との間で遷移する場合、信号機認識部78は、左折方向に存在する信号機を撮像するカメラを認識担当カメラに優先的に切り替えることで、認識担当カメラが撮像した左折方向に存在する信号機を認識対象信号機として優先的に認識する。
<2.4 変形例>
上記の説明では、前方カメラ44aと右前側方カメラ44cとを用いて右側走行の自車両12が交差点90内を左折する場合について説明した。図3~図5の動作では、前方カメラ44aに代えて、前方カメラ44gを用いることで、当該前方カメラ44gと、右前側方カメラ44cとを用いて、右側走行の自車両12が交差点90内を左折する場合にも適用可能である。
また、図3~図5の動作は、左側走行の自車両12が交差点90内を右折する場合にも適用可能である。この場合、前方カメラ44a又は前方カメラ44gと、交差点90内での自車両12の旋回方向(右折方向)とは逆方向(自車両12の左側)に配置されている左前側方カメラ44bとによって信号機を撮像し、撮像した信号機を認識すればよい。
また、右側走行の自車両12が交差点90内を左折する場合、前方カメラ44a→右前側方カメラ44c→右後側方カメラ44eの順に認識担当カメラを切り替え、その後、右後側方カメラ44e→右前側方カメラ44c→前方カメラ44aの順に認識担当カメラを切り替えることも可能である。一方、左側走行の自車両12が交差点90内を右折する場合、前方カメラ44a→左前側方カメラ44b→左後側方カメラ44dの順に認識担当カメラを切り替え、その後、左後側方カメラ44d→左前側方カメラ44b→前方カメラ44aの順に認識担当カメラを切り替えることも可能である。
また、図4のステップS62において、認識担当カメラが撮像した画像に信号機が写っていない場合(ステップS62:NO)、ステップS67に進み、信号機が写り込んでいる他のカメラを認識担当カメラに切り替えてもよい。
さらに、図4において破線で示すように、認識担当カメラに1つの信号機(認識対象信号機)しか写り込んでいない場合には、ステップS65の処理をスキップしてもよい。
さらにまた、図5のステップS71において、認識担当カメラが撮像した画像に信号機が写っていない場合(ステップS71:NO)、ステップS75に進み、信号機が写り込んでいる他のカメラを認識担当カメラに切り替えてもよい。
また、図5のステップS72において、認識担当カメラが撮像した画像に1つの信号機(認識対象信号機)が写り込んでいるが、一方で、他のカメラが撮像した画像に信号機が写っていない場合(ステップS72:NO)、ステップS74に進み、認識担当カメラが撮像した画像に写り込んでいる認識対象信号機を認識すればよい。
さらに、上記の説明では、主として、信号機102、104、106が見切れる可能性があるときに、信号機認識部78は、認識担当カメラを前方カメラ44aから右前側方カメラ44cに切り替え、又は、認識担当カメラを右前側方カメラ44cから前方カメラ44aに切り替える場合について説明した。信号機認識部78は、このようなオンオフ切替の手法に限定されることはなく、種々の手法を用いて、認識担当カメラを変更できればよい。例えば、信号機認識部78は、前方カメラ44a及び右前側方カメラ44cがそれぞれ撮像した画像に同一の信号機102、104、106が写り込んでいる場合、信号機102、104、106に対する認識比率に応じて、認識担当カメラを一方のカメラから他方のカメラに徐々に変更してもよい。すなわち、2つの画像中の同一の信号機102、104、106に対する認識比率が自車両12の走行に伴って10:0~0:10の範囲内で変化する場合、該認識比率の変化に応じて、認識担当カメラを徐々に変更してもよい。
さらにまた、上記の説明では、車両制御装置10の交差点対処部66が主体となって図3~図5の動作を行う場合について説明した。車両制御装置10は、上記の説明に限定されることはなく、自車両12が直進する場合、第1状態を維持して自車両12の走行制御を行い、一方で、自車両12の旋回動作中は、第1状態から第2状態に遷移して自車両12の走行制御を行うことが実現可能であれば、制御システム16内がどのように構成されていてもよい。
[3.車両制御装置10による効果]
以上のように、車両制御装置10は、自車両12に設けられた複数のカメラ44(44a~44g)が撮像した画像に基づき自車両12の走行制御を少なくとも部分的に自動で行う車両制御装置である。
この場合、複数のカメラ44は、自車両12の前方領域である撮像領域86aを少なくとも撮像する前方カメラ44a、44gと、撮像領域86aに隣接する側方領域(撮像領域86b、86c)を少なくとも撮像する左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eとを有する。
また、車両制御装置10は、前方カメラ44a、44gが撮像した画像に写り込んだ信号機102~106(信号機情報)に基づいて自車両12の走行制御を行う第1状態と、左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eが撮像した画像に写り込んだ信号機102~106(信号機情報)に基づいて自車両12の走行制御を行う第2状態とから構成される。
そして、車両制御装置10では、自車両12が直進する場合には、第1状態にて自車両12の走行制御を行い、一方で、自車両12の左右折中(旋回動作中)は、第1状態から第2状態に遷移可能である。
このように、自車両12の旋回動作中、第1状態から第2状態に遷移することで、信号機102~106を撮像し続けることが可能となる。これにより、自車両12が旋回動作を行う場合でも、長時間撮像された画像に写り込んだ信号機102~106に基づき、少なくとも自車両12の加減速制御を含む走行制御を行うことが可能となる。
また、自車両12が直進する場合(自車両12が旋回動作を行わない場合)、第1状態に維持されるので、第1状態から第2状態に不用意に遷移することによる、前方カメラ44a、44gと左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eとの間の信号機102~106の表示色等の該信号機102~106の誤検知の要因(例えば、左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d及び右後側方カメラ44eが撮像する側方領域(撮像領域86b、86c)が西日である場合)を低減させることができる。
また、車両制御装置10は、信号機102~106の信号周期、表示色、表示パターン、設置位置又は周辺環境に基づき、前方カメラ44a、44g、及び、左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eが撮像した画像にそれぞれ写り込んでいる信号機102~106を、同一の信号機102~106と判断した上で第1状態から第2状態に遷移すればよい。これにより、同一の信号機102~106を確実に撮像し続けることが可能となる。
さらに、車両制御装置10は、自車両12が交差点90を左右折する場合に、第1状態から第2状態に遷移可能である。これにより、自車両12が交差点90を直進する場合には、第1状態に維持される。この結果、自車両12の走行動作に応じて、適切な走行制御を行うことが可能となる。
さらにまた、車両制御装置10は、撮像領域86a~86cが一部重複する前方カメラ44a、44g、及び、左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eが撮像した画像に、同一の信号機102~106が写り込んでいる場合に、一方の状態から他方の状態に遷移可能である。これにより、信号機102~106が画像から見切れる事態を回避することができる。
また、車両制御装置10は、自車両12の旋回動作中、少なくとも、第1状態から、自車両12の旋回方向に対する外周側に配置された左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eが撮像した画像に写り込んでいる信号機102~106に基づいて自車両12の走行制御を行う第2状態に遷移可能である。これにより、信号機102~106を見切ることなく、撮像し続けることが可能となる。
さらに、車両制御装置10は、旋回方向に沿って複数の信号機102~106が順に設置されている場合、自車両12の旋回動作中、第1状態から第2状態に遷移し、その後、第2状態から第1状態に遷移してもよい。これにより、複数の信号機102~106を順次撮像しつつ、走行制御を円滑に行うことが可能となる。
さらにまた、車両制御装置10は、複数の信号機102~106が設置されている場合、自車両12の旋回動作中、第1状態から第2状態に遷移することで、旋回方向に存在する信号機102~106を優先的に左前側方カメラ44b、右前側方カメラ44c、左後側方カメラ44d又は右後側方カメラ44eに撮像させてもよい。これにより、信号機102~106の撮像と、走行制御とを効率よく且つ円滑に行うことが可能となる。
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
10…車両制御装置 12…自車両
44、44a~44g…カメラ 78…信号機認識部
82…運転制御部 102~106…信号機

Claims (7)

  1. 自車両に設けられた複数のカメラが撮像した画像に基づき、前記自車両の走行制御を少なくとも部分的に自動で行う車両制御装置であって、
    複数の前記カメラは、前記自車両の前方領域を少なくとも撮像する第1カメラと、前記前方領域に隣接する側方領域を少なくとも撮像する第2カメラとから構成され、
    前記車両制御装置は、
    前記第1カメラが撮像した画像の信号機情報に基づいて前記走行制御を行う第1状態と、前記第2カメラが撮像した画像の信号機情報に基づいて前記走行制御を行う第2状態とから構成され、
    前記自車両が直進する場合には、前記第1状態にて前記走行制御を行い、一方で、前記自車両の旋回動作中は、前記第1状態から前記第2状態に遷移可能であることを特徴とする車両制御装置。
  2. 請求項1に記載の車両制御装置において、
    前記車両制御装置は、前記信号機情報の示す信号機の信号周期、表示色、表示パターン、設置位置又は周辺環境に基づき、前記第1カメラ及び前記第2カメラが撮像した画像の前記信号機情報を、同一の前記信号機情報と判断した上で前記第1状態から前記第2状態に遷移することを特徴とする車両制御装置。
  3. 請求項1又は2に記載の車両制御装置において、
    前記車両制御装置は、前記自車両が交差点を左右折する場合に、前記第1状態から前記第2状態に遷移可能であることを特徴とする車両制御装置。
  4. 請求項1~3のいずれか1項に記載の車両制御装置において、
    前記車両制御装置は、撮像領域が一部重複する前記第1カメラ及び前記第2カメラが撮像した画像に、同一の前記信号機情報が写り込んでいる場合に、一方の状態から他方の状態に遷移可能であることを特徴とする車両制御装置。
  5. 請求項1~4のいずれか1項に記載の車両制御装置において、
    前記車両制御装置は、前記自車両の旋回動作中、少なくとも、前記第1状態から、前記自車両の旋回方向に対する外周側に配置された前記第2カメラが撮像した画像の前記信号機情報に基づいて前記走行制御を行う前記第2状態に遷移可能であることを特徴とする車両制御装置。
  6. 請求項5に記載の車両制御装置において、
    前記車両制御装置は、前記旋回方向に沿って複数の信号機が順に設置されている場合、前記自車両の旋回動作中、前記第1状態から前記第2状態に遷移し、その後、前記第2状態から前記第1状態に遷移することを特徴とする車両制御装置。
  7. 請求項1~6のいずれか1項に記載の車両制御装置において、
    前記車両制御装置は、複数の信号機が設置されている場合、前記自車両の旋回動作中、前記第1状態から前記第2状態に遷移することで、前記自車両の旋回方向に存在する信号機を優先的に前記第2カメラに撮像させることを特徴とする車両制御装置。
JP2018061448A 2018-03-28 2018-03-28 車両制御装置 Active JP6990137B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018061448A JP6990137B2 (ja) 2018-03-28 2018-03-28 車両制御装置
US16/365,246 US11073833B2 (en) 2018-03-28 2019-03-26 Vehicle control apparatus
CN201910244534.1A CN110320905B (zh) 2018-03-28 2019-03-28 车辆控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018061448A JP6990137B2 (ja) 2018-03-28 2018-03-28 車両制御装置

Publications (2)

Publication Number Publication Date
JP2019175051A JP2019175051A (ja) 2019-10-10
JP6990137B2 true JP6990137B2 (ja) 2022-01-12

Family

ID=68057004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018061448A Active JP6990137B2 (ja) 2018-03-28 2018-03-28 車両制御装置

Country Status (3)

Country Link
US (1) US11073833B2 (ja)
JP (1) JP6990137B2 (ja)
CN (1) CN110320905B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10926715B1 (en) * 2019-06-13 2021-02-23 Vidal M. Soler Vehicle camera system
JP2021123234A (ja) * 2020-02-05 2021-08-30 マツダ株式会社 車両用制御システム
WO2022222028A1 (en) * 2021-04-20 2022-10-27 Baidu.Com Times Technology (Beijing) Co., Ltd. Traffic light detection and classification for autonomous driving vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155319A (ja) 2004-11-30 2006-06-15 Equos Research Co Ltd 走行支援装置
JP2007288444A (ja) 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
WO2017009933A1 (ja) 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法
JP2017016279A (ja) 2015-06-30 2017-01-19 株式会社ゼンリン 運転支援装置、運転支援システム、コンピュータプログラム、データ構造

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
JP2013149053A (ja) 2012-01-19 2013-08-01 Mitsubishi Motors Corp 運転支援システム
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
CN204210382U (zh) * 2014-09-22 2015-03-18 东南(福建)汽车工业有限公司 一种汽车转向时的辅助影像***
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
KR102163317B1 (ko) * 2016-09-22 2020-10-08 엘지전자 주식회사 차량의 제어 방법
KR101778624B1 (ko) * 2017-05-16 2017-09-26 (주)텔미전자 자율주행용 서라운드 카메라 시스템
CN107696972A (zh) * 2017-10-20 2018-02-16 上海豫兴电子科技有限公司 应用于乘用车盲区智能辅助车载***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155319A (ja) 2004-11-30 2006-06-15 Equos Research Co Ltd 走行支援装置
JP2007288444A (ja) 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
JP2017016279A (ja) 2015-06-30 2017-01-19 株式会社ゼンリン 運転支援装置、運転支援システム、コンピュータプログラム、データ構造
WO2017009933A1 (ja) 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法

Also Published As

Publication number Publication date
CN110320905A (zh) 2019-10-11
JP2019175051A (ja) 2019-10-10
US11073833B2 (en) 2021-07-27
US20190302789A1 (en) 2019-10-03
CN110320905B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN110281930B (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
JP6650904B2 (ja) 車両制御装置
US20180129206A1 (en) Vehicle control device
JP7067067B2 (ja) 信号機認識装置、及び自動運転システム
JP7159600B2 (ja) 車両制御装置、インタフェース装置、およびコンピュータ
JP6947849B2 (ja) 車両制御装置
CN106062852A (zh) 与多个移动体的碰撞回避***
JP6817413B2 (ja) 車両制御装置
JP6729326B2 (ja) 自動運転装置
CN110276986B (zh) 车辆控制装置和车辆控制方法
JP7152165B2 (ja) 車両制御装置
JP2023101496A (ja) 車両制御装置、車両制御方法、車両制御プログラム
JP6880222B2 (ja) 車両制御装置
JP6600671B2 (ja) 車両制御装置
JP7064357B2 (ja) 車両制御装置
JP6985176B2 (ja) 車両制御装置
JP6990137B2 (ja) 車両制御装置
JP2019107996A (ja) 自動運転車両の走行制御装置
JP7156516B2 (ja) 車両の走行制御方法及び走行制御装置
CN110281925B (zh) 行驶控制装置、车辆以及行驶控制方法
JP7157780B2 (ja) 自動運転車用情報提示装置
JP7158368B2 (ja) 自動運転車用情報提示装置
JP7339332B2 (ja) 遠隔操作装置、遠隔操作方法及びプログラム
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
JP2019144690A (ja) 車両制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211203

R150 Certificate of patent or registration of utility model

Ref document number: 6990137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150