JP2022152694A - 車両制御装置、車両制御方法、及びプログラム - Google Patents
車両制御装置、車両制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2022152694A JP2022152694A JP2021055558A JP2021055558A JP2022152694A JP 2022152694 A JP2022152694 A JP 2022152694A JP 2021055558 A JP2021055558 A JP 2021055558A JP 2021055558 A JP2021055558 A JP 2021055558A JP 2022152694 A JP2022152694 A JP 2022152694A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- lane
- lane change
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000037007 arousal Effects 0.000 claims abstract description 16
- 230000001815 facial effect Effects 0.000 claims 1
- 230000009471 action Effects 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 206010062519 Poor quality sleep Diseases 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000036626 alertness Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Ophthalmology & Optometry (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
Abstract
【課題】運転者にとってより快適な車線変更を行うことができる車両制御装置、車両制御方法、及びプログラムを提供すること。【解決手段】実施形態の車両制御装置は、車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出する検出部と、前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させる運転制御部と、を備え、前記運転制御部は、前記検出部による検出結果に基づいて、前記車線変更の態様を変更する。【選択図】図1
Description
本発明は、車両制御装置、車両制御方法、及びプログラムに関する。
車線変更先の車線の幅に応じて、最大横加速度や最大横速度を減少させながら車線変更する技術が知られている(例えば、特許文献1参照)。
しかしながら、従来の技術では、運転者が正面を向いていないときでも車線変更が行われてしまい、運転者が車酔いしてしまう場合があった。更に、従来の技術では、運転者の覚醒度を考慮しながら車線変更を行うことについて検討されていなかった。
本発明の一態様は、このような事情を考慮してなされたものであり、運転者にとってより快適な車線変更を行うことができる車両制御装置、車両制御方法、及びプログラムを提供することを目的の一つとする。
この発明に係る車両制御装置、車両制御方法、及びプログラムは、以下の構成を採用した。
本発明の一態様(1)は、車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出する検出部と、前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させる運転制御部と、を備え、前記運転制御部は、前記検出部による検出結果に基づいて、前記車線変更の態様を変更する車両制御装置である。
(2)の態様は、上記(1)の態様の車両制御装置において、前記運転制御部は、前記検出部による検出結果に基づいて、前記車線変更が可能となった時点から所定時間が経過するまで、又は前記車線変更が可能となった時点から前記車両が所定距離走行するまでの期間内に、前記運転者が前記車両の前方を向いたか否かを判定し、前記期間内に前記運転者が前記車両の前方を向いたと判定した場合、前記車線変更を行うものである。
(3)の態様は、上記(2)の態様の車両制御装置において、前記運転制御部は、前記期間内に前記運転者が前記車両の前方を向いていないと判定した場合、出力部を用いて、前記運転者に前記車両の前方を向くように促す情報を出力するものである。
(4)の態様は、上記(1)から(3)のうちいずれか一つの態様の車両制御装置において、前記運転制御部は、前記検出部による検出結果に基づいて、前記車線変更が可能となった時点から第1所定時間が経過するまで、又は前記車線変更が可能となった時点から前記車両が第1所定距離走行するまでの第1期間内に、前記運転者が前記車両の前方を向いたか否かを判定し、前記第1期間内に前記運転者が前記車両の前方を向いたと判定した場合、前記車線変更を行い、前記第1期間内に前記運転者が前記車両の前方を向いていないと判定した場合、方向指示器を作動させるとともに、前記検出部による検出結果に基づいて、前記第1期間から第2所定時間が経過するまで、又は前記第1期間から前記車両が第2所定距離走行するまでの第2期間内に、前記運転者が前記車両の前方を向いたか否かを判定し、前記第2期間内に前記運転者が前記車両の前方を向いていないと判定した場合、出力部を用いて、前記運転者に前記車両の前方を向くように促す情報を出力するものである。
(5)の態様は、上記(1)から(4)のうちいずれか一つの態様の車両制御装置において、前記運転制御部は、前記検出部によって検出された前記覚醒度が閾値未満である場合、前記車線変更を制限するものである。
本発明の他の態様(6)は、車両に搭載されたコンピュータが、前記車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出し、前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させ、前記検出した結果に基づいて、前記車線変更の態様を変更する車両制御方法である。
本発明の他の態様(7)は、車両に搭載されたコンピュータに、前記車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出すること、前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させること、前記検出した結果に基づいて、前記車線変更の態様を変更すること、を実行させるためのプログラムである。
上記のいずれかの態様によれば、運転者にとってより快適な車線変更を行うことができる。
以下、図面を参照し、本発明の車両制御装置、車両制御方法、及びプログラムの実施形態について説明する。
[全体構成]
図1は、実施形態に係る車両制御装置を利用した車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両M)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
図1は、実施形態に係る車両制御装置を利用した車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両M)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、LIDAR(Light Detection and Ranging)14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、ドライバモニタカメラ70と、運転操作子80と、方向指示器90と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。自動運転制御装置100は、「車両制御装置」の一例である。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される車両の任意の箇所に取り付けられる。例えば、自車両Mの前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。自車両Mの後方を撮像する場合、カメラ10は、リアウィンドシールド上部等に取り付けられる。自車両Mの右側方または左側方を撮像する場合、カメラ10は、車体やドアミラーの右側面または左側面等に取り付けられる。カメラ10は、自車両Mの周辺を周期的に繰り返し撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
LIDAR14は、自車両Mの周辺に光(或いは光に近い波長の電磁波)を照射し、散乱光を測定する。LIDAR14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。LIDAR14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびLIDAR14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびLIDAR14の検出結果をそのまま自動運転制御装置100に出力してよい。車両システム1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、自車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、自車両Mの乗員(運転者を含む)に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。例えば、HMI30は、表示装置や、スイッチ、スピーカ、ブザー、タッチパネルなどを備えてもよい。例えば、乗員は、HMI30に対して、自車両Mの目的地を入力する。HMI30は「出力部」の一例である。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、角速度を検出するジャイロセンサ、自車両Mの向きを検出する方位センサ等を含む。ジャイロセンサには、例えば、鉛直軸回りの角速度を検出するヨーレートセンサが含まれてよい。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。
GNSS受信機51は、複数のGNSS衛星(人工衛星)の其々から電波を受信し、その受信した電波の信号に基づいて、自車両Mの位置を特定する。GNSS受信機51は、特定した自車両Mの位置を、経路決定部53に出力したり、自動運転制御装置100に直接的、又はMPU60を介して間接的に出力したりする。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。
ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。例えば、乗員は、HMI30に対して、自車両Mの目的地を入力することに代えて、或いは加えて、ナビHMI52に対して、自車両Mの目的地を入力してもよい。
経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、HM30やナビHMI52を用いて乗員が入力した目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。
第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。
ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、推奨車線決定部61は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めMPU60の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることでMPU60の記憶装置にインストールされてもよい。
推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
ドライバモニタカメラ70は、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。ドライバモニタカメラ70は、自車両Mの運転席に着座した乗員(つまり運転者)を正面から撮像可能な位置および向きで、自車両Mにおける任意の箇所に取り付けられる。例えば、ドライバモニタカメラ70は、自車両Mのインストルメントパネル上に取り付けられる。
運転操作子80は、例えば、ステアリングホイール82の他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられている。そのセンサの検出結果は、自動運転制御装置100に出力されたり、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力されたりする。
ステアリングホイール82は、必ずしも環状である必要は無く、異形ステアリングホイールやジョイスティック、ボタンなどの形態であってもよい。ステアリングホイール82には、ステアリング把持センサ84が取り付けられている。ステアリング把持センサ84は、静電容量センサなどである。ステアリング把持センサ84は、運転者がステアリングホイール82を把持している(力を加えられる状態で接していることをいう)か否かを検知し、その検知結果を表す信号を自動運転制御装置100に出力する。
方向指示器(ウィンカー又はターンランプともいう)90は、右左折の方向や進路変更の方向を周囲に示すランプである。方向指示器90は、方向指示器レバー92を備える。方向指示器レバー92は、例えば、ステアリングホイール82の近傍に取り付けらえれてよい。乗員が方向指示器レバー92を操作すると、方向指示器90が作動する。「作動」とは、方向指示器90として機能するランプ(ターンランプ)を点灯又は点滅させる動作をいう。
自動運転制御装置100は、例えば、第1制御部120と、第2制御部160と、記憶部180とを備える。第1制御部120と第2制御部160は、それぞれ、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置100のHDDやフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。
記憶部180は、例えば、HDD、フラッシュメモリ、EEPROM、ROM(、またはRAM等により実現される。記憶部180には、例えば、プロセッサによって読み出されて実行されるプログラムなどが格納される。
図2は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140と、モード制御部150とを備える。行動計画生成部140と第2制御部160を合わせたもの、又は行動計画生成部140とモード制御部150と第2制御部160を合わせたものは、「運転制御部」の一例である。
第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、自車両Mの周辺の状況或いは環境を認識する。例えば、認識部130は、カメラ10、レーダ装置12、およびLIDAR14から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺に存在する物体を認識する。認識部130により認識される物体は、例えば、自転車、オートバイク、四輪自動車、歩行者、道路標識、道路標示、区画線、電柱、ガードレール、落下物などを含む。また、認識部130は、物体の位置や、速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心など)を原点とした相対座標上の位置(すなわち自車両Mに対する相対位置)として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」には、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)が含まれてもよい。
更に、認識部130は、例えば、自車両Mが走行している車線(以下、自車線)や、その自車線に隣接した隣接車線などを認識する。例えば、認識部130は、MPU60から第2地図情報62を取得し、その取得した第2地図情報62に含まれる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10の画像から認識された自車両Mの周辺の道路区画線のパターンとを比較することで、区画線の間の空間を自車線や隣接車線として認識する。
認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレール等を含む走路境界(道路境界)を認識することで、自車線や隣接車線といった車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識してよい。
更に、認識部130は、自車線を認識する際に、自車線に対する自車両Mの相対位置や姿勢を認識する。認識部130は、例えば、自車両Mの基準点の車線中央からの乖離、および自車両Mの進行方向の車線中央の座標点を連ねた線に対してなす角度を、自車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、自車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置などを、自車線に対する自車両Mの相対位置として認識してもよい。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、自車両Mの周辺状況に対応できるように、後述のイベントにより規定された走行時の状態で自車両Mを自動的に(運転者の操作に依らずに)走行させる将来の目標軌道を生成する。
目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、自車両Mの周辺状況に対応するため、例外的に推奨車線とは異なる他の車線(例えば推奨車線に隣接した車線)上を自車両Mが走行するような目標軌道を生成してもよい。つまり、推奨車線以外の他車線の優先度は、推奨車線の優先度よりも相対的に低くなる。例えば、推奨車線の優先度は最も高くなり(優先度1)、その推奨車線に隣接した他車線(以下、隣接車線)の優先度は二番目に高くなり(優先度2)、更に隣接車線に隣接した他車線の優先度は三番目に高くなる(優先度3)。このように、行動計画生成部140は、原則的には優先度が最も高い推奨車線を自車両Mが走行するような目標軌道を生成しつつ、自車両Mの周辺状況によっては、例外的に推奨車線よりも優先度が低い他車線を自車両Mが走行するような目標軌道を生成する。
行動計画生成部140は、目標軌道を生成するにあたり、推奨車線が決定された経路上において自動運転(一部の運転支援も含む)のイベントを決定する。自動運転のイベントとは、自動運転(一部の運転支援)下において自車両Mがとるべき挙動の様、すなわち走行時の状態(又は走行時の態様)を規定した情報である。
自動運転のイベントには、例えば、定速走行イベント、低速追従走行イベント、車線変更イベント、追い越しイベントなどが含まれる。定速走行イベントは、自車両Mを一定の速度で同じ車線を走行させるイベントである。低速追従走行イベントは、自車両Mの前方の所定距離以内(例えば100[m]以内)に存在し、自車両Mに最も近い他車両(以下、前走車両と称する)に自車両Mを追従させるイベントである。「追従」とは、例えば、自車両Mと前走車両との相対距離(車間距離)を一定に維持させる走行状態であってもよいし、自車両Mと前走車両との相対距離を一定に維持させることに加えて、自車両Mを自車線の中央で走行させる走行状態であってもよい。車線変更イベントは、自車両Mを自車線から隣接車線へと車線変更させるイベントである。追い越しイベントは、自車両Mを一旦隣接車線に車線変更させて前走車両を隣接車線において追い越してから再び元の車線へと車線変更させるイベントである。
更に、自動運転のイベントには、分岐イベント、合流イベント、車線減少イベント、テイクオーバーイベントなどが含まれる。分岐イベントは、自車両Mが本線を走行しており、目的地がその本線から分岐した支線(以下、分岐車線)の延長線上に存在する場合に、分岐地点において自車両Mを本線から分岐車線に車線変更するよう誘導するイベントである。合流イベントは、自車両Mが本線に合流する支線(以下、合流車線)を走行しており、目的地が本線の延長線上に存在する場合に、合流地点において自車両Mを合流車線から本線に車線変更するよう誘導するイベントである。車線減少イベントは、車線数が途中で減少している経路を走行する際に、自車両Mを他車線に車線変更させるイベントである。テイクオーバーイベントは、自動運転モード(後述のモードA)を終了して運転支援モード(後述のモードB,C,D)又は手動運転モード(後述のモードE)に切り替えるイベントである。例えば、高速道路の料金所手前では区画線が途切れており、自車両Mの相対的な位置が認識できない場合がある。このような場合、料金所手前の区間に対してテイクオーバーイベントが決定(計画)される。
行動計画生成部140は、目的地までの経路上において、これら複数のイベントを順次決定し、自車両Mの周辺状況を考慮しながら、各イベントによって規定された状態で自車両Mを走行させるための目標軌道を生成する。
モード制御部150は、自車両Mの運転モードを、複数の運転モードのいずれかに決定する。複数の運転モードの其々は、互いに運転者に課されるタスクが異なる。モード制御部150は、例えば、運転者状態判定部152と、モード決定部154と、機器制御部156とを備える。これらの個別の機能については後述する。ドライバモニタカメラ70と運転者状態判定部152とを合わせたものは、「検出部」の一例である。
図3は、運転モードと自車両Mの制御状態、およびタスクの対応関係の一例を示す図である。自車両Mの運転モードには、例えば、モードAからモードEの5つのモードがある。制御状態、すなわち自車両Mの運転制御の自動化度合い(制御レベル)は、モードAが最も高く、次いでモードB、モードC、モードDの順に低くなり、モードEが最も低い。この逆に、運転者に課されるタスクは、モードAが最も軽度であり、次いでモードB、モードC、モードDの順に重度となり、モードEが最も重度である。なお、モードDおよびEでは自動運転でない制御状態となるため、自動運転制御装置100としては自動運転に係る制御を終了し、運転支援または手動運転に移行させるまでが責務である。以下、それぞれの運転モードの内容について例示する。
モードAでは、自動運転の状態となり、運転者には前方監視、ステアリングホイール82の把持(図ではステアリング把持)のいずれも課されない。但し、モードAであっても運転者は、自動運転制御装置100を中心としたシステムからの要求に応じて速やかに手動運転に移行できる体勢であることが要求される。なお、ここで言う自動運転とは、操舵、加減速のいずれも運転者の操作に依らずに制御されることをいう。前方とは、フロントウインドシールドを介して視認される自車両Mの進行方向の空間を意味する。モードAは、例えば、高速道路などの自動車専用道路において、所定速度(例えば50[km/h]程度)以下で自車両Mが走行しており、追従対象の前走車両が存在するなどの条件が満たされる場合に実行可能な運転モードであり、TJP(Traffic Jam Pilot)と称される場合もある。この条件が満たされなくなった場合、モード制御部150は、モードBに自車両Mの運転モードを変更する。
モードBでは、運転支援の状態となり、運転者には自車両Mの前方を監視するタスク(以下、前方監視)が課されるが、ステアリングホイール82を把持するタスクは課されない。モードCでは、運転支援の状態となり、運転者には前方監視のタスクと、ステアリングホイール82を把持するタスクが課される。モードDは、自車両Mの操舵と加減速のうち少なくとも一方に関して、ある程度の運転者による運転操作が必要な運転モードである。例えば、モードDでは、ACC(Adaptive Cruise Control)やLKAS(Lane Keeping Assist System)といった運転支援が行われる。モードEでは、操舵、加減速ともに運転者による運転操作が必要な手動運転の状態となる。モードD、モードEともに、当然ながら運転者には自車両Mの前方を監視するタスクが課される。
自動運転制御装置100(および運転支援装置(不図示))は、運転モードに応じた自動車線変更を実行する。自動車線変更には、システム要求による自動車線変更(1)と、運転者要求による自動車線変更(2)がある。自動車線変更(1)には、前走車両の速度が自車両の速度に比して基準以上に小さい場合に行われる、追い越しのための自動車線変更と、目的地に向けて進行するための自動車線変更(推奨車線が変更されたことによる自動車線変更)とがある。自動車線変更(2)は、速度や周辺車両との位置関係等に関する条件が満たされた場合において、運転者により方向指示器が操作された場合に、操作方向に向けて自車両Mを車線変更させるものである。
自動運転制御装置100は、モードAにおいて、自動車線変更(1)および(2)のいずれも実行しない。自動運転制御装置100は、モードBおよびCにおいて、自動車線変更(1)および(2)のいずれも実行する。運転支援装置(不図示)は、モードDにおいて、自動車線変更(1)は実行せず自動車線変更(2)を実行する。モードEにおいて、自動車線変更(1)および(2)のいずれも実行されない。
図2の説明に戻る。モード制御部150は、決定した運転モードに係るタスクが運転者により実行されない場合に、よりタスクが重度な運転モードに自車両Mの運転モードを変更する。
例えば、モードAにおいて運転者が、システムからの要求に応じて手動運転に移行できない体勢である場合(例えば許容エリア外の脇見を継続している場合や、運転困難となる予兆が検出された場合)、モード制御部150は、HMI30を用いて運転者に手動運転への移行を促し、運転者が応じなければ自車両Mを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。自動運転を停止した後は、自車両はモードDまたはEの状態になり、運転者の手動操作によって自車両Mを発進させることが可能となる。以下、「自動運転を停止」に関して同様である。モードBにおいて運転者が前方を監視していない場合、モード制御部150は、HMI30を用いて運転者に前方監視を促し、運転者が応じなければ自車両Mを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。モードCにおいて運転者が前方を監視していない場合、或いはステアリングホイール82を把持していない場合、モード制御部150は、HMI30を用いて運転者に前方監視を、および/またはステアリングホイール82を把持するように促し、運転者が応じなければ自車両Mを路肩に寄せて徐々に停止させ、自動運転を停止する、といった制御を行う。
運転者状態判定部152は、上記のモード変更のために、ドライバモニタカメラ70の画像とステアリング把持センサ84の検知信号とに基づいて、運転者がタスクをこなせる状態にあるのか否かを判定する。
例えば、運転者状態判定部152は、ドライバモニタカメラ70の画像を解析して運転者の姿勢を推定し、その推定した姿勢を基に、運転者が、システムからの要求に応じて手動運転に移行できる体勢であるか否かを判定する。
運転者状態判定部152は、ドライバモニタカメラ70の画像を解析して運転者の視線又は顔の向きを推定し、その推定した視線又は顔の向きを基に、運転者が自車両Mの前方を監視しているか否かを判定する。
例えば、運転者状態判定部152は、テンプレートマッチング等の手法を用いて、ドライバモニタカメラ70の画像から運転者の頭部と目の位置関係、目における基準点と動点の組み合わせ等を検出する。そして、運転者状態判定部152は、頭部に対する目の相対位置に基づいて顔の向きを推定する。また、運転者状態判定部152は、基準点に対する動点の位置に基づいて、運転者の視線の向きを推定する。例えば、基準点が目頭である場合、動点は虹彩となる。また、基準点が角膜反射領域である場合、動点は瞳孔となる。
運転者状態判定部152は、ドライバモニタカメラ70の画像を解析して運転者の覚醒度を判定する。運転者状態判定部152は、ステアリング把持センサ84の検知信号に基づいて運転者がステアリングホイール82を把持しているか否かを判定する。
モード決定部154は、運転者状態判定部152の判定結果に応じて自車両Mの運転モードを決定する。
機器制御部156は、モード決定部154によって決定された自車両Mの運転モードと、運転者状態判定部152による判定結果とに基づいて、HMI30や方向指示器90などを制御する。例えば、機器制御部156は、各運転モードに応じたタスクをこなすよう運転者に促す情報を、HMI30に出力させてよい。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[全体の処理フロー]
以下、フローチャートを用いて、実施形態の自動運転制御装置100による一連の処理の流れを説明する。図4は、実施形態の自動運転制御装置100による一連の処理の流れの一例を示すフローチャートである。
以下、フローチャートを用いて、実施形態の自動運転制御装置100による一連の処理の流れを説明する。図4は、実施形態の自動運転制御装置100による一連の処理の流れの一例を示すフローチャートである。
本フローチャートの処理は、例えば、モードA下において、目的地までの経路上において車線変更を伴うイベントが決定された区間に自車両Mが到達した場合、又はその区間に自車両Mが所定時間又は所定距離以内に到達することが予測される場合に、所定の周期で繰り返し実行されてよい。
車線変更を伴うイベントとは、上述したように、車線変更イベント、追い越しイベント、分岐イベント、合流イベント、車線減少イベントなどである。
まず、運転者状態判定部152は、車線変更を伴うイベントが目的地に至るまでに必要不可欠なイベントであるか否かを判定する(ステップS100)。
例えば、運転者状態判定部152は、車線変更を伴うイベントが、分岐イベント、合流イベント、又は車線減少イベントといった、道路構造に沿って車線変更しなければならないイベントである場合、それらイベントを必要不可欠なイベントであると判定する。
一方、運転者状態判定部152は、車線変更を伴うイベントが、車線変更イベントや追い越しイベントである場合、それらイベントを必要不可欠なイベントでないと判定する。
運転者状態判定部152は、車線変更を伴うイベントが必要不可欠なイベントでないと判定すると、更に、運転者が覚醒しており、かつ正面を向いているか否かを判定する(ステップS102)。
例えば、運転者状態判定部152は、ドライバモニタカメラ70の画像上における運転者の瞼の状態や目の開き具合に基づいて、運転者の覚醒度を算出する。運転者の瞼が、覚醒しているときの瞼よりも垂れていたり、目の開き度合が、覚醒しているときの開き度合いより小さかったり、まばたきの頻度が、覚醒しているときの頻度よりも多かったり、まばたきの合間に目を瞑っている時間が、覚醒しているときの時間よりも長かったりした場合、運転者の覚醒度は低くなる。運転者状態判定部152は、算出した覚醒度が閾値未満である場合、運転者が覚醒していないと判定し、算出した覚醒度が閾値以上である場合、運転者が覚醒していると判定する。
更に、運転者状態判定部152は、ドライバモニタカメラ70の画像から運転者の視線又は顔の向きを推定し、その推定した視線又は顔の向きに基づいて、運転者が正面を向いているか否か(つまり前方監視のタスクをこなしているか否か)を判定する。
運転者状態判定部152は、運転者が覚醒していない及び/又は正面を向いていない場合、ある起算点から、第1所定時間が経過したか否かを判定する(ステップS104)。起算点とは、例えば、目的地までの経路上において車線変更を伴うイベントが計画された区間に自車両Mが到達した時点であり、典型的には、追い越しなどのための車線変更が必要となった時点である。
運転者状態判定部152は、起算点から第1所定時間が経過していない場合、S102に処理を戻し、引き続き、運転者が覚醒しており、かつ正面を向いているか否かを判定する。
なお、運転者状態判定部152は、起算点から第1所定時間が経過したか否かを判定することに代えて、起算点から自車両Mが第1所定距離走行したか否かを判定してもよい。
起算点から第1所定時間が経過するまで、又は起算点から自車両Mが第1所定距離走行するまでの期間内に、運転者が覚醒し、かつ正面を向いた場合、機器制御部156は、HMI30を用いて、車線変更に対する承認操作を要求する(ステップS106)。
承認操作とは、自動運転制御装置100が自車両Mを自動的に車線変更させることに対して運転者が承認するという意思表示を行う操作であり、典型的には、方向指示器レバー92を操作することである。なお、承認操作は、方向指示器レバー92を操作することに代えて、或いは加えて、HMI30のタッチパネルやスイッチなどを操作することであってもよい。
例えば、機器制御部156は、HMI30の表示装置上に、方向指示器レバー92を操作するよう促す文章や画像を表示することで、運転者に承認操作を要求する。
運転者が承認操作を行うと、機器制御部156は方向指示器90を作動させる(ステップS108)。
次に、行動計画生成部140が車線変更を伴うイベントに基づいて目標軌道を生成し、第2制御部160が、その目標軌道に基づいて自車両Mの操舵及び速度を制御することで、自車両Mを車線変更させる(ステップS110)。
一方、S104の処理で、起算点から第1所定時間が経過した場合、又は起算点から自車両Mが第1所定距離走行した場合、機器制御部156は、承認操作なしで方向指示器90を作動させる(ステップS112)。つまり、起算点から第1所定時間が経過するまで、又は起算点から自車両Mが第1所定距離走行するまでの期間内に、運転者が覚醒しなかった及び/又は正面を向かなかった場合、機器制御部156は、承認操作なしで方向指示器90を作動させる。
次に、運転者状態判定部152は、運転者が正面を向いたか否かを判定する(ステップS114)。
運転者状態判定部152は、運転者が正面を向いていないと判定した場合、第1所定時間が経過した時点又は自車両Mが第1所定距離を走行した時点(以下、一次時点という)から、更に、第2所定時間が経過したか否かを判定する(ステップS116)。第2所定時間は、第1所定時間と同じであってもよいし、異なっていてもよい。
なお、運転者状態判定部152は、一次時点から第2所定時間が経過したか否かを判定することに代えて、一次時点から自車両Mが第2所定距離走行したか否かを判定してもよい。第2所定距離は、第1所定距離と同じであってもよいし、異なっていてもよい。
一次時点から第2所定時間が経過するまで、又は一次時点から自車両Mが第2所定距離走行するまでの期間内に、運転者が正面を向いた場合、S110に処理が進む。すなわち、行動計画生成部140が車線変更を伴うイベントに基づいて目標軌道を生成し、第2制御部160が、その目標軌道に基づいて自車両Mの操舵及び速度を制御することで、自車両Mを車線変更させる。
一方、一次時点から第2所定時間が経過するまで、又は一次時点から自車両Mが第2所定距離走行するまでの期間内に、依然として運転者が正面を向かなかった場合、機器制御部156は、HMI30を用いて、運転者に正面を向くように促す情報を出力する(ステップS118)。
次に、運転者状態判定部152は、運転者が正面を向いたか否かを判定する(ステップS120)。
正面を向くように促した後に運転者が正面を向いた場合、S110に処理が進む。すなわち、行動計画生成部140が車線変更を伴うイベントに基づいて目標軌道を生成し、第2制御部160が、その目標軌道に基づいて自車両Mの操舵及び速度を制御することで、自車両Mを車線変更させる。
一方、正面を向くように促した後に運転者が正面を向かなかった場合、第2制御部160は、車線変更を中止する(ステップS122)。これによって本フローチャートの処理が終了する。
[覚醒度に基づく処理フロー]
以下、フローチャートを用いて、運転者の覚醒度に基づく一連の処理の流れを説明する。図5は、運転者の覚醒度に基づく一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、所定の周期で繰り返し実行されてよい。
以下、フローチャートを用いて、運転者の覚醒度に基づく一連の処理の流れを説明する。図5は、運転者の覚醒度に基づく一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、所定の周期で繰り返し実行されてよい。
まず、運転者状態判定部152は、ドライバモニタカメラ70の画像上における運転者の瞼の状態や目の開き具合に基づいて、運転者の覚醒度を算出する(ステップS200)。
次に、行動計画生成部140は、運転者の覚醒度が閾値未満であるか否かを判定する(ステップS202)。
行動計画生成部140は、運転者の覚醒度が閾値未満である場合、すなわち運転者が寝ていると見做せる場合、運転者が起きないように、自車両Mの加速度(横加速度や縦加速度)に対して制限を設定する(ステップS204)。これによって、車線変更や加減速が制限される。
次に、機器制御部156は、運転者が起きないように、HMI30の音量や方向指示器90の音量を低下させる(ステップS206)。これによって本フローチャートの処理が終了する。
以上説明した実施形態によれば、自動運転制御装置100が、自車両Mの運転者の覚醒度、顔の向き、及び視線の向きのうち一部又は全部を検出し、それらの検出結果に基づいて、車線変更の態様を変更する。これによって、運転者にとってより快適な車線変更を行うことができる。
[ハードウェア構成]
図6は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM100-3、ブートプログラム等を格納するROM100-4、フラッシュメモリやHDD等の記憶装置100-5、ドライブ装置100-6等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)等によってRAM100-3に展開されて、CPU100-2によって実行される。これによって、第1制御部および第2制御部160のうち一部または全部が実現される。
図6は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM100-3、ブートプログラム等を格納するROM100-4、フラッシュメモリやHDD等の記憶装置100-5、ドライブ装置100-6等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)等によってRAM100-3に展開されて、CPU100-2によって実行される。これによって、第1制御部および第2制御部160のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを格納したメモリと、
プロセッサと、を備え、
前記プロセッサが前記プログラムを実行することにより、
車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出し、
前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させ、
前記検出した結果に基づいて、前記車線変更の態様を変更する、
ように構成されている、車両制御装置。
プログラムを格納したメモリと、
プロセッサと、を備え、
前記プロセッサが前記プログラムを実行することにより、
車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出し、
前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させ、
前記検出した結果に基づいて、前記車線変更の態様を変更する、
ように構成されている、車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…LIDAR、16…物体認識装置、20…通信装置、30…HMI、40…車両センサ、50…ナビゲーション装置、60…MPU、70…ドライバモニタカメラ、80…運転操作子、82…ステアリングホイール、84…ステアリング把持センサ、90…方向指示器、92…方向指示器レバー、100…自動運転制御装置、120…第1制御部、130…認識部、140…行動計画生成部、150…モード制御部、152…運転者状態判定部、154…モード決定部、156…機器制御部、160…第2制御部、162…取得部、164…速度制御部、166…操舵制御部、180…記憶部、M…自車両
Claims (7)
- 車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出する検出部と、
前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させる運転制御部と、を備え、
前記運転制御部は、前記検出部による検出結果に基づいて、前記車線変更の態様を変更する、
車両制御装置。 - 前記運転制御部は、
前記検出部による検出結果に基づいて、前記車線変更が可能となった時点から所定時間が経過するまで、又は前記車線変更が可能となった時点から前記車両が所定距離走行するまでの期間内に、前記運転者が前記車両の前方を向いたか否かを判定し、
前記期間内に前記運転者が前記車両の前方を向いたと判定した場合、前記車線変更を行う、
請求項1に記載の車両制御装置。 - 前記運転制御部は、前記期間内に前記運転者が前記車両の前方を向いていないと判定した場合、出力部を用いて、前記運転者に前記車両の前方を向くように促す情報を出力する、
請求項2に記載の車両制御装置。 - 前記運転制御部は、
前記検出部による検出結果に基づいて、前記車線変更が可能となった時点から第1所定時間が経過するまで、又は前記車線変更が可能となった時点から前記車両が第1所定距離走行するまでの第1期間内に、前記運転者が前記車両の前方を向いたか否かを判定し、
前記第1期間内に前記運転者が前記車両の前方を向いたと判定した場合、前記車線変更を行い、
前記第1期間内に前記運転者が前記車両の前方を向いていないと判定した場合、方向指示器を作動させるとともに、前記検出部による検出結果に基づいて、前記第1期間から第2所定時間が経過するまで、又は前記第1期間から前記車両が第2所定距離走行するまでの第2期間内に、前記運転者が前記車両の前方を向いたか否かを判定し、
前記第2期間内に前記運転者が前記車両の前方を向いていないと判定した場合、出力部を用いて、前記運転者に前記車両の前方を向くように促す情報を出力する、
請求項1から3のうちいずれか一項に記載の車両制御装置。 - 前記運転制御部は、前記検出部によって検出された前記覚醒度が閾値未満である場合、前記車線変更を制限する、
請求項1から4のうちいずれか一項に記載の車両制御装置。 - 車両に搭載されたコンピュータが、
前記車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出し、
前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させ、
前記検出した結果に基づいて、前記車線変更の態様を変更する、
車両制御方法。 - 車両に搭載されたコンピュータに、
前記車両の運転者の覚醒度、前記運転者の顔の向き、及び前記運転者の視線の向きのうち一部又は全部を検出すること、
前記車両の速度又は操舵のうち少なくとも一方を制御することで前記車両を車線変更させること、
前記検出した結果に基づいて、前記車線変更の態様を変更すること、
を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021055558A JP2022152694A (ja) | 2021-03-29 | 2021-03-29 | 車両制御装置、車両制御方法、及びプログラム |
CN202210183496.5A CN115140087A (zh) | 2021-03-29 | 2022-02-24 | 车辆控制装置、车辆控制方法及存储介质 |
US17/680,408 US20220306106A1 (en) | 2021-03-29 | 2022-02-25 | Vehicle control device, vehicle control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021055558A JP2022152694A (ja) | 2021-03-29 | 2021-03-29 | 車両制御装置、車両制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022152694A true JP2022152694A (ja) | 2022-10-12 |
Family
ID=83364269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021055558A Pending JP2022152694A (ja) | 2021-03-29 | 2021-03-29 | 車両制御装置、車両制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220306106A1 (ja) |
JP (1) | JP2022152694A (ja) |
CN (1) | CN115140087A (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2667796C2 (ru) * | 2014-03-26 | 2018-09-24 | Ниссан Мотор Ко., Лтд. | Устройство представления информации и способ представления информации |
JP6485057B2 (ja) * | 2015-01-19 | 2019-03-20 | アイシン精機株式会社 | 運転支援装置 |
JP6540663B2 (ja) * | 2016-11-18 | 2019-07-10 | トヨタ自動車株式会社 | 車両システム |
JP6900915B2 (ja) * | 2018-01-24 | 2021-07-07 | トヨタ自動車株式会社 | 自動運転システム |
EP3882883A4 (en) * | 2018-11-13 | 2021-12-29 | Sony Group Corporation | Information processing device, information processing method, and program |
CA3131961C (en) * | 2019-03-08 | 2023-12-19 | Waymo Llc | Signaling for turns for autonomous vehicles |
CN113841190A (zh) * | 2019-05-15 | 2021-12-24 | 日产自动车株式会社 | 驾驶辅助方法及驾驶辅助*** |
JP7393730B2 (ja) * | 2019-09-26 | 2023-12-07 | スズキ株式会社 | 車両の走行制御装置 |
JP7120260B2 (ja) * | 2020-01-30 | 2022-08-17 | トヨタ自動車株式会社 | 車両制御装置 |
KR102440255B1 (ko) * | 2020-08-14 | 2022-09-07 | 주식회사 에이치엘클레무브 | 운전자 보조 시스템 및 그 제어 방법 |
JP7272338B2 (ja) * | 2020-09-24 | 2023-05-12 | トヨタ自動車株式会社 | 自動運転システム |
-
2021
- 2021-03-29 JP JP2021055558A patent/JP2022152694A/ja active Pending
-
2022
- 2022-02-24 CN CN202210183496.5A patent/CN115140087A/zh active Pending
- 2022-02-25 US US17/680,408 patent/US20220306106A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220306106A1 (en) | 2022-09-29 |
CN115140087A (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6961791B2 (ja) | 車両制御システム、車両制御方法、およびプログラム | |
US11511738B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN110239549B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
WO2019130552A1 (ja) | 車両制御システム、車両制御方法、およびプログラム | |
US20210009148A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20220315053A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP6990675B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
US11801863B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP7194224B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7458459B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
US20220388533A1 (en) | Display method and system | |
JP2023030146A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP2024030413A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP2022152607A (ja) | 運転支援装置、運転支援方法、及びプログラム | |
JP2022152715A (ja) | 車両制御装置、車両制御方法、及びプログラム | |
JP2022152694A (ja) | 車両制御装置、車両制御方法、及びプログラム | |
US20220306094A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP7075550B1 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7425133B1 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7132447B1 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7398497B2 (ja) | 制御装置 | |
JP2022152697A (ja) | 車両制御装置、車両制御方法、及びプログラム | |
JP7329142B2 (ja) | 車両制御装置 | |
JP2022154532A (ja) | 運転支援装置、運転支援方法、及びプログラム | |
JP2023150506A (ja) | 車両制御装置、車両制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |