JP2022150583A - Wakeful state determination system - Google Patents

Abstract

To provide a technique capable of adjusting a degree of consumption of a battery in a portable terminal according to situations in a system for determining whether or not a driver is in a wakeful state using information acquired by the portable terminal.SOLUTION: A wakeful state determination system includes: a control device 10 for executing wakeful state determination processing for determining whether or not a driver of a vehicle VA is in a wakeful state; and a portable terminal 110 carried by the driver. The portable terminal acquires information used for the wakeful state determination processing in the portable terminal, and executes information transmission processing for transmitting the acquired information to the control device as terminal side information. The control device executes the wakeful state determination processing using the terminal side information. When a level of importance for monitoring the driver is lower than a predetermined level, the portable terminal executes the information transmission processing so that a degree of power consumption of a battery 304 becomes small as compared to when the level of importance is higher than the predetermined level.SELECTED DRAWING: Figure 1

Description

本開示は、運転者の覚醒状態を判定するシステムに関する。 The present disclosure relates to a system for determining a driver's arousal state.

従来から、車両の運転者の顔をカメラ（ドライバモニタカメラ）を用いて撮影して、カメラによって取得された画像データに基づいて運転者が覚醒状態であるかを判定する装置（以下、「従来装置」と称呼する。）が提案されている（例えば、特許文献１を参照。）。 Conventionally, a device (hereinafter referred to as "conventional device”) has been proposed (see, for example, Patent Document 1).

特開２０１４－１１５９８３号公報JP 2014-115983 A

更に、従来から、自動運転制御を実行するように構成された自動運転装置が提案されている。自動運転制御は、運転者による運転操作なしに、車両の速度及び操舵輪の舵角等を自動的に変更する制御である。自動運転制御のレベル（所謂、自動運転レベル）は、ＳＡＥ（Society of Automotive Engineers）によって、複数のレベル０～５に区分される。近年、レベル３の自動運転制御が実用化され始めている。レベル３は、特定の環境下において自動運転装置が全ての運転操作を実行するレベルであり、運転操作の交代要求（以下、単に「運転操作交代要求」と称呼する。）が発生した場合には運転者が運転操作を行うことが求められるレベルである。従って、レベル３の自動運転制御は、「条件付き自動運転制御」と称呼される場合がある。 Furthermore, conventionally, an automatic driving device configured to execute automatic driving control has been proposed. Automatic driving control is control that automatically changes the speed of the vehicle, the rudder angle of the steered wheels, etc., without the driver's driving operation. The level of automatic driving control (so-called automatic driving level) is divided into a plurality of levels 0 to 5 by SAE (Society of Automotive Engineers). In recent years, level 3 automatic driving control has begun to be put into practical use. Level 3 is a level at which the automatic driving device executes all driving operations under a specific environment. This is the level at which the driver is required to perform the driving operation. Therefore, automatic driving control of level 3 may be called "conditional automatic driving control."

レベル３においては、自動運転装置が自動運転制御を継続できない場合（運転操作交代要求が発生した場合）には、運転者が運転操作を引き継ぐ必要がある。従って、運転者が居眠り状態であることは許容されない。一方で、運転者が脇見していることは許容される。従って、自動運転装置がレベル３の自動運転制御を実行している間、運転者は、様々な行動（携帯端末の操作又は読書等）を行うことができる。 At level 3, when the automatic driving device cannot continue the automatic driving control (when a driving change request is generated), the driver needs to take over the driving operation. Therefore, it is not permissible for the driver to be asleep. On the other hand, it is permissible for the driver to look aside. Therefore, while the automatic driving device is executing level 3 automatic driving control, the driver can perform various actions (operating the mobile terminal, reading, etc.).

例えば、自動運転制御の実行中に運転者が携帯端末（例えば、スマートフォン）を操作すると仮定する。携帯端末は、通常、カメラを備えている。従って、携帯端末で取得された運転者の画像を用いて運転者が覚醒状態であるかを判定する構成も有効であると考えられる。そこで、本願の発明者は、携帯端末において取得された情報を用いて、運転者が覚醒状態であるかを判定するシステムを検討している。しかし、当該システムにおいては、携帯端末の処理負荷が大きくなり、携帯端末のバッテリの電力の残量が急激に減る可能性がある。 For example, assume that the driver operates a mobile terminal (for example, a smart phone) during execution of automatic driving control. A mobile terminal is usually equipped with a camera. Therefore, it is considered effective to use an image of the driver acquired by the portable terminal to determine whether the driver is in an awake state. Therefore, the inventors of the present application are studying a system that uses information acquired by a mobile terminal to determine whether the driver is in an awake state. However, in this system, the processing load on the mobile terminal increases, and there is a possibility that the remaining power of the battery of the mobile terminal will rapidly decrease.

本開示の目的の一つは、携帯端末において取得された情報を用いて運転者が覚醒状態であるかを判定するシステムにおいて、状況に応じて、携帯端末のバッテリの消費度合を調節することができる技術を提供することである。 One of the purposes of the present disclosure is to provide a system for determining whether a driver is in an awake state using information acquired by a mobile terminal, in which it is possible to adjust the degree of battery consumption of the mobile terminal according to the situation. It is to provide technology that can

１つ以上の実施形態における覚醒状態判定システムは、
車両（ＶＡ）の運転者（ＤＲ）が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置（１０）と、
前記運転者によって携帯され、バッテリ（３０４）を備える携帯端末（１１０）であって、前記覚醒状態判定処理に使用される情報を前記携帯端末において取得するとともに当該取得された情報を端末側情報として前記制御装置に送信する情報送信処理を実行する携帯端末と、
を備える。
前記制御装置は、前記端末側情報を用いて、前記覚醒状態判定処理を実行するように構成されている。
前記携帯端末は、前記運転者を監視する重要性のレベルが所定のレベルよりも低い場合、前記重要性のレベルが前記所定のレベルよりも高い場合に比べて前記バッテリの電力の消費度合が小さくなるように、前記情報送信処理を実行するように構成されている。 A wakefulness determination system in one or more embodiments comprises:
a control device (10) that executes an arousal state determination process for determining whether a driver (DR) of a vehicle (VA) is in an awake state;
A mobile terminal (110) carried by the driver and having a battery (304), wherein the mobile terminal acquires information used for the arousal state determination process and uses the acquired information as terminal-side information. a mobile terminal that executes information transmission processing to be transmitted to the control device;
Prepare.
The control device is configured to execute the arousal state determination process using the terminal-side information.
When the level of importance of monitoring the driver is lower than a predetermined level, the portable terminal consumes less electric power of the battery than when the level of importance is higher than the predetermined level. It is configured to execute the information transmission process as follows.

上記の構成によれば、運転者を監視する重要性が低い場合には、バッテリの電力の消費が抑えられる。従って、バッテリの電力の残量が急激に減るのを抑えることができる。 According to the above configuration, the power consumption of the battery is suppressed when the importance of monitoring the driver is low. Therefore, it is possible to prevent the remaining power of the battery from rapidly decreasing.

１つ以上の実施形態において、前記携帯端末は、前記バッテリの前記電力が早く無くなる可能性が高いと推定される場合、前記可能性が低いと推定される場合に比べて前記消費度合が小さくなるように、前記情報送信処理を実行するように構成されている。 In one or more embodiments, when the mobile terminal estimates that the power of the battery is likely to run out soon, the power consumption is reduced compared to when the likelihood is estimated to be low. is configured to execute the information transmission process as described above.

上記の構成によれば、携帯端末は、バッテリの電力が無くなるのを防ぎながら（或いはバッテリの電力が無くなるまでの時間を長くしながら）、情報送信処理を継続できる。従って、制御装置は、情報送信処理によって送信された端末側情報を用いて、覚醒状態判定処理を継続できる。 According to the above configuration, the mobile terminal can continue the information transmission process while preventing the battery from running out (or prolonging the time until the battery runs out). Therefore, the control device can continue the awakening state determination process using the terminal-side information transmitted by the information transmission process.

１つ以上の実施形態において、覚醒状態判定システムは、前記車両に搭載され、前記運転者を撮像する第１撮像部（７６）を更に備える。前記携帯端末は、前記運転者を撮像する第２撮像部（２０２）を備える。
前記制御装置は、
前記第１撮像部又は前記第２撮像部によって取得された画像に基づいて、前記運転者の覚醒度合を演算し、
前記覚醒度合に基づいて、前記重要性のレベルを判定する
ように構成されている。 In one or more embodiments, the arousal state determination system further includes a first imaging unit (76) mounted on the vehicle and imaging the driver. The mobile terminal includes a second imaging section (202) that captures an image of the driver.
The control device is
Based on the image acquired by the first imaging unit or the second imaging unit, calculating the degree of arousal of the driver,
The level of importance is determined based on the degree of arousal.

例えば、運転者が眠気を感じている場合、近い将来、運転者が居眠り状態に陥る可能性がある。このような状況においては、運転者を監視する重要性のレベルが高い。上記の構成によれば、制御装置は、覚醒度合に基づいて、運転者を監視する重要性のレベルを判定できる。 For example, if the driver feels drowsy, there is a possibility that the driver will fall asleep in the near future. In such situations, the level of importance of monitoring the driver is high. According to the above configuration, the control device can determine the level of importance of monitoring the driver based on the degree of wakefulness.

１つ以上の実施形態において、前記制御装置は、前記車両の運転操作を自動的に行う自動運転制御を実行するように構成されている。前記制御装置は、前記自動運転制御の実行中において、前記端末側情報を用いて、前記覚醒状態判定処理を実行するように構成されている。 In one or more embodiments, the control device is configured to perform autonomous driving control that automatically performs driving maneuvers of the vehicle. The control device is configured to execute the awakening state determination process using the terminal-side information during execution of the automatic operation control.

１つ以上の実施形態において、前記制御装置は、前記自動運転制御が終了するまでの予測時間（Ｔｆ）に基づいて、前記重要性のレベルを判定するように構成されている。 In one or more embodiments, the control device is configured to determine the level of importance based on a predicted time (Tf) until the automatic driving control ends.

例えば、自動運転制御が終了された場合、運転者が運転操作を引き継ぐ必要がある。運転者が居眠り状態であると、運転者が運転操作を引き継ぐことができない。従って、自動運転制御が終了されるまでの時間が短いと予測される場合、運転者を監視する重要性のレベルが高い。これに対し、自動運転制御が終了されるまでの時間が長いと予測される場合、自動運転制御により車両の運転操作が行われるので、運転者を監視する重要性のレベルが相対的に低い。このように、制御装置は、自動運転制御が終了するまでの予測時間に基づいて、運転者を監視する重要性のレベルを判定できる。 For example, when the automatic driving control is terminated, the driver needs to take over the driving operation. If the driver is asleep, the driver cannot take over the driving operation. Therefore, when it is predicted that the time until automatic driving control is terminated is short, the level of importance of monitoring the driver is high. On the other hand, when it is predicted that the time until the automatic driving control ends is long, the driving operation of the vehicle is performed by the automatic driving control, so the level of importance of monitoring the driver is relatively low. In this way, the control device can determine the level of importance of monitoring the driver based on the predicted time until automatic driving control ends.

１つ以上の実施形態において、前記携帯端末は、前記自動運転制御が終了される場合、
前記自動運転制御の再開の可能性が高いとき、前記情報送信処理を継続させ、
前記自動運転制御の再開の可能性が低いとき、前記情報送信処理を終了させる
ように構成されている。 In one or more embodiments, the mobile terminal, when the automatic operation control is terminated,
When the possibility of resuming the automatic operation control is high, continue the information transmission process,
When the possibility of restarting the automatic operation control is low, the information transmission process is terminated.

上記の構成によれば、自動運転制御の再開の可能性が高いとき、携帯端末が情報送信処理を継続させる。自動運転制御が再開されたときに、制御装置は、端末側情報を用いて、すぐに覚醒状態判定処理を再開できる。 According to said structure, a portable terminal continues an information transmission process when possibility of restart of automatic operation control is high. When the automatic driving control is restarted, the control device can immediately restart the awakening state determination process using the terminal-side information.

１つ以上の実施形態において、前記携帯端末は、前記自動運転制御の再開の可能性が高いとき、
前記情報送信処理の中で前記消費度合が小さい処理を継続させ、
前記情報送信処理の中で前記消費度合が大きい処理を終了させる
ように構成されている。 In one or more embodiments, when the mobile terminal is likely to resume the automatic operation control,
Continuing the process with a small consumption degree in the information transmission process,
It is configured to terminate the process with a large consumption degree in the information transmission process.

上記の構成によれば、携帯端末は、バッテリの電力の消費度合が大きい情報送信処理を終了させるので、バッテリの電力の残量が急激に減るのを抑えることができる。携帯端末は、バッテリの電力の消費度合が小さい情報送信処理を継続させるので、自動運転制御が再開されたときに、制御装置は、端末側情報を用いて、すぐに覚醒状態判定処理を再開できる。 According to the above configuration, the mobile terminal terminates information transmission processing that consumes a large amount of battery power, so it is possible to prevent a rapid decrease in remaining battery power. Since the mobile terminal continues the information transmission process that consumes a small amount of battery power, when the automatic operation control is resumed, the control device can immediately resume the arousal state determination process using the terminal-side information. .

一以上の実施形態において、上記の制御装置は、本明細書に記述される一以上の機能を実行するためにプログラムされたマイクロプロセッサにより実施されてもよい。一以上の実施形態において、上記の制御装置は、一以上のアプリケーションに特化された集積回路、即ち、ＡＳＩＣ等により構成されたハードウェアによって、全体的に或いは部分的に実施されてもよい。上記説明においては、後述する一以上の実施形態に対応する構成要素に対し、実施形態で用いた名称及び／又は符号を括弧書きで添えている。しかしながら、各構成要素は、前記名称及び／又は符号によって規定される実施形態に限定されるものではない。 In one or more embodiments, the controller described above may be implemented by a microprocessor programmed to perform one or more functions described herein. In one or more embodiments, the controller may be implemented in whole or in part by hardware such as one or more application-specific integrated circuits, ie, ASICs. In the above description, the names and/or symbols used in the embodiments are added in parentheses to constituent elements corresponding to one or more embodiments to be described later. However, each component is not limited to the embodiments defined by the names and/or symbols.

第１実施形態に係る覚醒状態判定システムの概略構成図である。1 is a schematic configuration diagram of an arousal state determination system according to a first embodiment; FIG. 第１実施形態に係る携帯端末の外観図である。1 is an external view of a mobile terminal according to a first embodiment; FIG. 第１実施形態に係る携帯端末の概略構成図である。1 is a schematic configuration diagram of a mobile terminal according to a first embodiment; FIG. 自動運転制御の実行中に運転者が携帯端末を操作する状況を示した図である。It is a figure showing the situation where a driver operates a personal digital assistant during execution of automatic operation control. 図４の状況において携帯端末のフロントカメラによって取得された画像の例である。5 is an example of an image acquired by the front camera of the mobile terminal in the situation of FIG. 4; 第１実施形態における自動運転装置（自動運転ＥＣＵ）及び携帯端末のシーケンス図である。2 is a sequence diagram of an automatic driving device (automatic driving ECU) and a mobile terminal in the first embodiment; FIG. 第１実施形態において図６のステップ６０７にて実行されるルーチンを示したフローチャートである。FIG. 7 is a flow chart showing a routine executed in step 607 of FIG. 6 in the first embodiment; FIG. 第２実施形態において図６のステップ６０７にて実行されるルーチンを示したフローチャートである。FIG. 7 is a flow chart showing a routine executed in step 607 of FIG. 6 in the second embodiment; FIG.

＜第１実施形態＞
図１に示したように、第１実施形態に係る覚醒状態判定システム（以下、「第１システム」と称呼される場合がある。）は、車両ＶＡに搭載（適用）された自動運転装置１００と、携帯端末１１０とを含む。 <First embodiment>
As shown in FIG. 1, an arousal state determination system (hereinafter sometimes referred to as "first system") according to the first embodiment includes an automatic driving device 100 mounted (applied) to a vehicle VA. , and the mobile terminal 110 .

（自動運転装置の構成）
自動運転装置１００は、自動運転ＥＣＵ１０、エンジンＥＣＵ２０、ブレーキＥＣＵ３０、ステアリングＥＣＵ４０、メータＥＣＵ５０、及び、ナビゲーションＥＣＵ６０を備えている。これらのＥＣＵは、ＣＡＮ（Controller Area Network）９０を介して互いにデータを送受信可能となるように接続されている。 (Configuration of automatic driving device)
The automatic driving device 100 includes an automatic driving ECU 10, an engine ECU 20, a brake ECU 30, a steering ECU 40, a meter ECU 50, and a navigation ECU 60. These ECUs are connected via a CAN (Controller Area Network) 90 so as to be able to exchange data with each other.

ＥＣＵは、エレクトロニックコントロールユニットの略称であり、マイクロコンピュータを主要構成部品として有する電子制御回路である。マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェース及び不揮発性メモリ等を含む。ＣＰＵはＲＯＭに格納されたインストラクション（ルーチン、プログラム）を実行することにより各種機能を実現する。例えば、自動運転ＥＣＵ１０は、ＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、インターフェース（Ｉ／Ｆ）１０ｄ及び不揮発性メモリ１０ｅ等を含むマイクロコンピュータを備える。 ECU is an abbreviation for electronic control unit, and is an electronic control circuit having a microcomputer as a main component. A microcomputer includes a CPU, ROM, RAM, interface, non-volatile memory, and the like. The CPU implements various functions by executing instructions (routines, programs) stored in the ROM. For example, the automatic driving ECU 10 includes a microcomputer including a CPU 10a, a ROM 10b, a RAM 10c, an interface (I/F) 10d, a nonvolatile memory 10e, and the like.

エンジンＥＣＵ２０は、エンジンアクチュエータ２１に接続されている。エンジンアクチュエータ２１は、内燃機関２２のスロットル弁の開度を変更するスロットル弁アクチュエータを含む。エンジンＥＣＵ２０は、エンジンアクチュエータ２１を駆動することによって、内燃機関２２が発生するトルクを変更することができる。内燃機関２２が発生するトルクは、トランスミッション２３及び駆動力伝達機構を介して駆動輪に伝達される。従って、エンジンＥＣＵ２０は、エンジンアクチュエータ２１を制御することによって、車両ＶＡの駆動力を制御することができる。 The engine ECU 20 is connected to the engine actuator 21 . The engine actuator 21 includes a throttle valve actuator that changes the opening of the throttle valve of the internal combustion engine 22 . The engine ECU 20 can change the torque generated by the internal combustion engine 22 by driving the engine actuator 21 . Torque generated by the internal combustion engine 22 is transmitted to the driving wheels via the transmission 23 and the driving force transmission mechanism. Therefore, the engine ECU 20 can control the driving force of the vehicle VA by controlling the engine actuator 21 .

なお、車両ＶＡが、ハイブリッド車両である場合、エンジンＥＣＵ２０は、駆動源としての「内燃機関及び電動機」の何れか一方又は両方によって発生する駆動力を制御することができる。更に、車両ＶＡが電気自動車である場合、エンジンＥＣＵ２０は、駆動源としての電動機によって発生する駆動力を制御することができる。 If the vehicle VA is a hybrid vehicle, the engine ECU 20 can control the driving force generated by one or both of the "internal combustion engine and electric motor" as the driving source. Furthermore, when the vehicle VA is an electric vehicle, the engine ECU 20 can control the driving force generated by the electric motor as the driving source.

ブレーキＥＣＵ３０は、ブレーキアクチュエータ３１に接続されている。ブレーキアクチュエータ３１は、公知の油圧回路を含む。油圧回路は、リザーバ、オイルポンプ及び種々の弁装置等を含む。ブレーキアクチュエータ３１は、ブレーキＥＣＵ３０からの指示に応じてホイールシリンダ３２に供給する油圧（即ち、制動圧）を調整する。制動圧に応じて車輪に発生する摩擦制動力が変化する。従って、ブレーキＥＣＵ３０は、ブレーキアクチュエータ３１を制御することによって、車両ＶＡの制動力を制御することができる。 The brake ECU 30 is connected to the brake actuator 31 . Brake actuator 31 includes a known hydraulic circuit. The hydraulic circuit includes a reservoir, an oil pump, various valve devices, and the like. The brake actuator 31 adjusts hydraulic pressure (that is, braking pressure) supplied to the wheel cylinder 32 according to instructions from the brake ECU 30 . The frictional braking force generated on the wheels changes according to the braking pressure. Therefore, the brake ECU 30 can control the braking force of the vehicle VA by controlling the brake actuator 31 .

ステアリングＥＣＵ４０は、アシストモータ（Ｍ）４１に接続されている。アシストモータ４１は、ステアリング機構４２に組み込まれている。ステアリング機構４２は、操舵ハンドルＳＷの回転操作により操舵輪を転舵するための機構である。ステアリング機構４２は、操舵ハンドルＳＷ、操舵ハンドルＳＷに連結されたステアリングシャフトＵＳ、及び、図示しない操舵用ギア機構等を含む。ステアリングＥＣＵ４０は、ステアリングシャフトＵＳに設けられた図示しない操舵トルクセンサによって、運転者が操舵ハンドルＳＷに入力した操舵トルクを検出し、この操舵トルクに基づいてアシストモータ４１を駆動する。ステアリングＥＣＵ４０は、このアシストモータ４１の駆動によってステアリング機構４２に操舵トルク（操舵アシストトルク）を付与し、これにより、運転者の操舵操作をアシストすることができる。 The steering ECU 40 is connected to an assist motor (M) 41 . The assist motor 41 is incorporated in the steering mechanism 42 . The steering mechanism 42 is a mechanism for turning the steered wheels by rotating the steering wheel SW. The steering mechanism 42 includes a steering wheel SW, a steering shaft US connected to the steering wheel SW, and a steering gear mechanism (not shown). The steering ECU 40 detects the steering torque input to the steering wheel SW by the driver using a steering torque sensor (not shown) provided on the steering shaft US, and drives the assist motor 41 based on this steering torque. The steering ECU 40 applies a steering torque (steering assist torque) to the steering mechanism 42 by driving the assist motor 41, thereby assisting the driver's steering operation.

加えて、ステアリングＥＣＵ４０は、以降で説明する自動運転制御の実行中に自動運転ＥＣＵ１０からの操舵指令（後述する自動操舵トルクを含む。）に従って、アシストモータ４１を駆動する。この自動操舵トルクは、上述した操舵アシストトルクとは異なり、運転者の操舵操作を必要とせずに、自動運転ＥＣＵ１０からの操舵指令によってステアリング機構４２に付与されるトルクを表す。自動操舵トルクにより、車両ＶＡの操舵輪の舵角が変更される。 In addition, the steering ECU 40 drives the assist motor 41 according to a steering command (including an automatic steering torque, which will be described later) from the automatic driving ECU 10 during execution of automatic driving control, which will be described later. Unlike the steering assist torque described above, the automatic steering torque represents torque applied to the steering mechanism 42 by a steering command from the automatic driving ECU 10 without requiring a steering operation by the driver. The steering angle of the steered wheels of the vehicle VA is changed by the automatic steering torque.

メータＥＣＵ５０は、報知装置５１に接続されている。報知装置５１は、ブザー及び表示装置を含む。表示装置は、例えば、運転席の正面に設けられたマルチインフォメーションディスプレイである。メータＥＣＵ５０は、自動運転ＥＣＵ１０からの指示に応じて、ブザーを鳴動させて運転者への注意喚起を行ったり、表示装置に注意喚起用のマーク（ウォーニングランプ）を表示したりすることができる。 The meter ECU 50 is connected to the notification device 51 . The notification device 51 includes a buzzer and a display device. The display device is, for example, a multi-information display provided in front of the driver's seat. In response to an instruction from the automatic driving ECU 10, the meter ECU 50 can sound a buzzer to alert the driver or display a mark (warning lamp) for alerting on the display device.

ナビゲーションＥＣＵ６０は、ＧＰＳ受信機６１及び地図記憶部６２に接続されている。ＧＰＳ受信機６１は、車両ＶＡが位置している場所の「緯度及び経度」を検出するためのＧＰＳ信号を受信する。地図記憶部６２は、地図情報を記憶している。地図情報は、道路情報を含む。道路情報は、道路の種別、道路の幅員及び道路の曲率等を含む。なお、本例において、道路の種別は、自動車専用道路（高速道路）及び一般道路の何れかである。ナビゲーションＥＣＵ６０は、車両ＶＡが位置している場所の緯度及び経度、並びに地図情報等に基づいて各種の演算処理を行い、図示しないタッチパネルに地図上での車両ＶＡの位置を表示させる。 A navigation ECU 60 is connected to a GPS receiver 61 and a map storage section 62 . The GPS receiver 61 receives GPS signals for detecting the "latitude and longitude" of where the vehicle VA is located. The map storage unit 62 stores map information. Map information includes road information. The road information includes road type, road width, road curvature, and the like. In this example, the type of road is either a motorway (highway) or a general road. The navigation ECU 60 performs various arithmetic processing based on the latitude and longitude of the location where the vehicle VA is located, map information, etc., and displays the position of the vehicle VA on the map on a touch panel (not shown).

車速センサ７１は、車両ＶＡの走行速度（車速）を検出し、車速ＳＰＤを表す信号を自動運転ＥＣＵ１０に出力するようになっている。 The vehicle speed sensor 71 detects the running speed (vehicle speed) of the vehicle VA and outputs a signal representing the vehicle speed SPD to the automatic driving ECU 10 .

加速度センサ７２は、車両ＶＡに生じる加速度に関する情報（以下、「第１加速度情報」と称呼する。）を取得し、当該第１加速度情報を表す信号を自動運転ＥＣＵ１０に出力する。第１加速度情報は、車両ＶＡの前後方向の加速度（前後加速度）である加速度ａｘ１と、車両ＶＡの横方向の加速度（横加速度）である加速度ａｙ１と、車両ＶＡの上下方向の加速度である加速度ａｚ１とを含む。 The acceleration sensor 72 acquires information about acceleration occurring in the vehicle VA (hereinafter referred to as “first acceleration information”) and outputs a signal representing the first acceleration information to the automatic driving ECU 10 . The first acceleration information includes an acceleration ax1 that is the longitudinal acceleration of the vehicle VA (longitudinal acceleration), an acceleration ay1 that is the lateral acceleration of the vehicle VA, and an acceleration that is the vertical acceleration of the vehicle VA. az1.

周囲センサ７３は、車両ＶＡの周囲の道路（車両ＶＡが走行している走行レーンを含む。）に関する情報、及び、道路に存在する立体物に関する情報を取得するようになっている。立体物は、例えば、歩行者、四輪車及び二輪車などの移動物、並びに、ガードレール及びフェンスなどの固定物を含む。以下、これらの立体物は、単に「物体」と称呼される。周囲センサ７３は、レーダセンサ７４及びカメラセンサ７５を備えている。 The surrounding sensor 73 acquires information about the road around the vehicle VA (including the lane in which the vehicle VA is traveling) and information about three-dimensional objects existing on the road. Three-dimensional objects include, for example, moving objects such as pedestrians, four-wheeled vehicles and two-wheeled vehicles, and fixed objects such as guardrails and fences. Hereinafter, these three-dimensional objects are simply referred to as "objects". Ambient sensors 73 include radar sensors 74 and camera sensors 75 .

レーダセンサ７４は、例えば、ミリ波帯の電波（以下、「ミリ波」と称呼する。）を少なくとも車両ＶＡの前方領域を含む周辺領域に放射し、放射範囲内に存在する物体によって反射されたミリ波（即ち、反射波）を受信する。そして、レーダセンサ７４は、物体の有無について判定するとともに、車両ＶＡと物体との相対関係を示す情報を演算する。車両ＶＡと物体との相対関係を示す情報は、車両ＶＡと物体との距離、車両ＶＡに対する物体の方位（又は位置）、及び、車両ＶＡと物体との相対速度等を含む。以降において、車両ＶＡと物体との相対関係を示す情報は、単に「物体情報」と称呼される。 The radar sensor 74 radiates, for example, millimeter-wave band radio waves (hereinafter referred to as “millimeter waves”) to a peripheral area including at least a front area of the vehicle VA, and is reflected by objects existing within the radiation range. It receives millimeter waves (that is, reflected waves). The radar sensor 74 determines the presence or absence of an object and calculates information indicating the relative relationship between the vehicle VA and the object. The information indicating the relative relationship between the vehicle VA and the object includes the distance between the vehicle VA and the object, the azimuth (or position) of the object with respect to the vehicle VA, the relative speed between the vehicle VA and the object, and the like. Hereinafter, the information indicating the relative relationship between the vehicle VA and the object will simply be referred to as "object information".

カメラセンサ７５は、車両ＶＡの前方の風景を撮影して画像データを取得する。カメラセンサ７５は、その画像データに基づいて、走行レーンを規定する左区画線及び右区画線（例えば、左白線及び右白線）を認識し、走行レーンの形状を示すパラメータ（例えば、曲率）、及び、車両ＶＡと走行レーンとの位置関係を示すパラメータ等を演算する。車両ＶＡと走行レーンとの位置関係を示すパラメータは、例えば、左区画線又は右区画線から車両ＶＡの車幅方向の中心位置までの距離である。カメラセンサ７５によって取得された情報は「車線情報」と称呼される。なお、カメラセンサ７５は、画像データに基づいて、物体の有無を判定し、物体情報を演算するように構成されてもよい。 The camera sensor 75 acquires image data by photographing the scenery in front of the vehicle VA. Based on the image data, the camera sensor 75 recognizes the left marking line and the right marking line (e.g., left white line and right white line) that define the driving lane, parameters indicating the shape of the driving lane (e.g., curvature), Then, parameters and the like indicating the positional relationship between the vehicle VA and the driving lane are calculated. The parameter indicating the positional relationship between the vehicle VA and the driving lane is, for example, the distance from the left lane marking or the right lane marking to the center position of the vehicle VA in the vehicle width direction. The information acquired by the camera sensor 75 is called "lane information". Note that the camera sensor 75 may be configured to determine the presence or absence of an object based on image data and to calculate object information.

周囲センサ７３は、「物体情報及び車線情報」を含む車両ＶＡの周辺状況に関する情報を「車両周辺情報」として自動運転ＥＣＵ１０に出力する。 The surrounding sensor 73 outputs information about the surrounding situation of the vehicle VA including "object information and lane information" to the automatic driving ECU 10 as "vehicle surrounding information".

ドライバモニタカメラ（第１撮像部）７６は、操舵ハンドルＳＷのコラムカバー（所謂、ステアリングコラムカバー）の上側に配置されている。ドライバモニタカメラ７６は、運転者を撮影して画像データを取得し、当該画像データを自動運転ＥＣＵ１０に出力する。ドライバモニタカメラ７６の位置及び向きは、運転者の顔の全体が撮影できるように、設定されている。以降において、ドライバモニタカメラ７６によって取得された画像データは、「第１画像」と称呼される。 A driver monitor camera (first imaging unit) 76 is arranged above a column cover (so-called steering column cover) of the steering wheel SW. The driver monitor camera 76 acquires image data by photographing the driver, and outputs the image data to the automatic driving ECU 10 . The position and orientation of the driver monitor camera 76 are set so that the entire face of the driver can be photographed. Hereinafter, the image data obtained by the driver monitor camera 76 will be referred to as "first image".

なお、ドライバモニタカメラ７６は、車両ＶＡ内において運転者の顔が撮影できる限り、他の位置に設定されてもよい。例えば、ドライバモニタカメラ７６は、ダッシュボード又はフロントガラスの近傍に設けられてもよい。 It should be noted that the driver monitor camera 76 may be set at other positions within the vehicle VA as long as the face of the driver can be photographed. For example, the driver monitor camera 76 may be located near the dashboard or windshield.

更に、自動運転ＥＣＵ１０は、通信ユニット８０に接続されている。通信ユニット８０は、図示しない「アンテナ部及び通信処理部」を備える。通信ユニット８０は、無線通信を通して携帯端末１１０と相互に情報を送信及び受信可能に構成されている。 Furthermore, the automatic driving ECU 10 is connected to the communication unit 80 . The communication unit 80 includes an "antenna section and communication processing section" (not shown). The communication unit 80 is configured to transmit and receive information to and from the mobile terminal 110 through wireless communication.

通信ユニット８０は、携帯端末１１０以外の装置と通信可能に構成されてもよい。通信ユニット８０は、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System）と通信して、ＶＩＣＳ（登録商標）から道路交通情報を受信してもよい。道路交通情報は、渋滞区間の情報、及び、通行止め区間の情報等を含む。 The communication unit 80 may be configured to communicate with devices other than the mobile terminal 110 . The communication unit 80 may communicate with VICS (registered trademark) (Vehicle Information and Communication System) and receive road traffic information from VICS (registered trademark). The road traffic information includes information on congested sections, information on closed sections, and the like.

自動運転スイッチ８１は、運転者により操作されるスイッチである。運転者は、自動運転スイッチ８１を操作することにより、後述する自動運転制御の作動状態を設定することができる。 The automatic operation switch 81 is a switch operated by the driver. By operating the automatic driving switch 81, the driver can set the operating state of the automatic driving control, which will be described later.

（自動運転制御の概要）
以降において、自動運転ＥＣＵ１０は、単に「ＥＣＵ１０」と称呼される。ＥＣＵ１０は、自動運転制御を実行するように構成されている。本例において、自動運転レベルは、レベル３である。自動運転制御は、速度制御及び操舵制御を含む。 (Outline of automatic driving control)
Hereinafter, the automatic driving ECU 10 is simply referred to as "ECU 10". The ECU 10 is configured to execute automatic driving control. In this example, the automatic driving level is level 3. Automatic driving control includes speed control and steering control.

速度制御の一例として、アダプティブ・クルーズ・コントロール（以下、単に「ＡＣＣ」と称呼する。）が挙げられる。ＡＣＣ自体は公知である（例えば、特開２０１４－１４８２９３号公報、特開２００６－３１５４９１号公報、及び、特許第４１７２４３４号明細書等を参照。）。 An example of speed control is adaptive cruise control (hereinafter simply referred to as "ACC"). ACC itself is known (see, for example, JP-A-2014-148293, JP-A-2006-315491, and Japanese Patent No. 4172434).

ＡＣＣは、定速走行制御と先行車追従制御の２種類の制御を含む。定速走行制御は、アクセルペダル及びブレーキペダルの操作を要することなく、車両ＶＡの走行速度を目標速度Ｖｓｅｔと一致させるように車両ＶＡの速度を調整する制御である。先行車追従制御は、アクセルペダル及びブレーキペダルの操作を要することなく、先行車（追従対象車両）と車両ＶＡとの車間距離を目標車間距離Ｄｓｅｔに維持しながら追従対象車両に対して車両ＶＡを追従させる制御である。追従対象車両は、車両ＶＡの前方領域であって車両ＶＡの直前を走行している車両である。 ACC includes two types of control: constant-speed running control and preceding vehicle following control. The constant-speed running control is control that adjusts the speed of the vehicle VA so that the running speed of the vehicle VA matches the target speed Vset without requiring the operation of the accelerator pedal and the brake pedal. The preceding vehicle follow-up control maintains the distance between the preceding vehicle (following target vehicle) and the vehicle VA at the target inter-vehicle distance Dset without requiring the operation of the accelerator pedal and the brake pedal. This is a follow-up control. The target vehicle to be followed is a vehicle that is in the area ahead of the vehicle VA and that is traveling just in front of the vehicle VA.

ＥＣＵ１０は、車両周辺情報に基づいて追従対象車両が存在しているか否かを判定する。ＥＣＵ１０は、追従対象車両が存在しないと判定した場合、定速走行制御を実行する。ＥＣＵ１０は、車速ＳＰＤが目標速度Ｖｓｅｔに一致するように、エンジンＥＣＵ２０を用いてエンジンアクチュエータ２１を制御して駆動力を制御するとともに、必要に応じてブレーキＥＣＵ３０を用いてブレーキアクチュエータ３１を制御して制動力を制御する。 The ECU 10 determines whether or not the vehicle to be followed exists based on the vehicle surrounding information. When the ECU 10 determines that there is no target vehicle to be followed, the ECU 10 executes constant speed travel control. The ECU 10 controls the driving force by controlling the engine actuator 21 using the engine ECU 20 so that the vehicle speed SPD matches the target speed Vset, and controls the brake actuator 31 using the brake ECU 30 as necessary. Control the braking force.

これに対し、ＥＣＵ１０は、追従対象車両が存在すると判定した場合、先行車追従制御を実行する。ＥＣＵ１０は、目標車間時間ｔｗに車速ＳＰＤを乗じることにより、目標車間距離Ｄｓｅｔを演算する。目標車間時間ｔｗは、図示しない車間時間スイッチを用いて設定される。ＥＣＵ１０は、車両ＶＡと追従対象車両との間の車間距離が目標車間距離Ｄｓｅｔに一致するように、エンジンＥＣＵ２０を用いてエンジンアクチュエータ２１を制御して駆動力を制御するとともに、必要に応じてブレーキＥＣＵ３０を用いてブレーキアクチュエータ３１を制御して制動力を制御する。 On the other hand, when the ECU 10 determines that there is a vehicle to be followed, the ECU 10 executes the preceding vehicle following control. The ECU 10 calculates the target inter-vehicle distance Dset by multiplying the target inter-vehicle time tw by the vehicle speed SPD. The target inter-vehicle time tw is set using an inter-vehicle time switch (not shown). The ECU 10 controls the driving force by controlling the engine actuator 21 using the engine ECU 20 so that the inter-vehicle distance between the vehicle VA and the target vehicle to be followed coincides with the target inter-vehicle distance Dset. The braking force is controlled by controlling the brake actuator 31 using the ECU 30 .

操舵制御の一例として、レーン・キーピング・アシスト・コントロール（以下、単に「ＬＫＡ」と称呼する。）が挙げられる。ＬＫＡ自体は公知である（例えば、特開２００８－１９５４０２号公報、特開２００９－１９０４６４号公報、特開２０１０－６２７９号公報、及び、特許第４３４９２１０号等を参照。）。 One example of steering control is lane keeping assist control (hereinafter simply referred to as "LKA"). LKA itself is known (see, for example, JP-A-2008-195402, JP-A-2009-190464, JP-A-2010-6279, and Japanese Patent No. 4349210).

ＬＫＡは、区画線又は先行車の走行軌跡（即ち、先行車軌跡）若しくはこれらの両方を活用して設定される目標走行ラインに沿って車両ＶＡが走行するように、自動操舵トルクをステアリング機構４２に付与して車両ＶＡの操舵輪の舵角を変化させる制御である。 LKA applies automatic steering torque to the steering mechanism 42 so that the vehicle VA travels along a target travel line set by utilizing the lane marking or the travel trajectory of the preceding vehicle (i.e., the trajectory of the preceding vehicle) or both of them. , to change the steering angle of the steered wheels of the vehicle VA.

ＥＣＵ１０は、車両周辺情報に基づいて目標走行ラインを設定する。目標走行ラインは、例えば、左区画線と右区画線との間の道路幅方向における中央位置を結ぶライン（即ち、車両ＶＡが走行しているレーンの中央ライン）、又は、先行車軌跡である。ＥＣＵ１０は、車両ＶＡを目標走行ラインに沿って走行させるための自動操舵トルクを演算する。ＥＣＵ１０は、アシストモータ４１により生じる実際のトルクが自動操舵トルクに一致するように、ステアリングＥＣＵ４０を用いてアシストモータ４１を制御する。これにより、車両ＶＡの操舵輪の舵角が変更される。 The ECU 10 sets the target travel line based on the vehicle surrounding information. The target travel line is, for example, a line connecting the center position in the road width direction between the left lane marking and the right lane marking (that is, the center line of the lane in which the vehicle VA is traveling), or the trajectory of the preceding vehicle. . The ECU 10 calculates an automatic steering torque for causing the vehicle VA to travel along the target travel line. The ECU 10 controls the assist motor 41 using the steering ECU 40 so that the actual torque generated by the assist motor 41 matches the automatic steering torque. As a result, the steering angle of the steered wheels of the vehicle VA is changed.

ＥＣＵ１０は、自動運転制御を特定の状況下において実行することができる。ＥＣＵ１０は、所定の自動運転実行条件が成立する場合、自動運転制御を実行する。例えば、自動運転実行条件は、以下の条件Ａ１乃至条件Ａ３の全てが成立したときに成立する。
（条件Ａ１）：車両ＶＡが自動車専用道路を走行している。
（条件Ａ２）：車速ＳＰＤが所定の速度閾値ＳＰＤｔｈ以下である。
（条件Ａ３）：運転者が自動運転スイッチ８１を押下して、自動運転制御の作動状態をオフ状態からオン状態へと設定した。 The ECU 10 can perform automatic driving control under specific circumstances. ECU10 performs automatic operation control, when a predetermined automatic operation execution condition is satisfied. For example, the automatic driving execution condition is met when all of the following conditions A1 to A3 are met.
(Condition A1): The vehicle VA is traveling on a motorway.
(Condition A2): The vehicle speed SPD is equal to or less than a predetermined speed threshold SPDth.
(Condition A3): The driver has pressed the automatic operation switch 81 to set the operating state of the automatic operation control from the OFF state to the ON state.

速度閾値ＳＰＤｔｈは比較的小さい値に設定されてもよい。この場合、自動運転実行条件が成立する状況は、車両ＶＡが渋滞区間を走行している状況を意味する。このような状況において、ＥＣＵ１０は、自動運転制御を実行してもよい。 Speed threshold SPDth may be set to a relatively small value. In this case, the situation in which the automatic driving execution condition is established means the situation in which the vehicle VA is traveling in a congested section. In such a situation, the ECU 10 may perform automatic driving control.

なお、自動運転実行条件は、上記の例に限定されず、他の条件であってもよい。地図記憶部６２に記憶されている道路情報は、レベル３の自動運転制御が可能な区間（以下、「自動運転区間」と称呼する。）を示す情報を含んでもよい。この場合、ＥＣＵ１０は、ナビゲーションＥＣＵ６０を介して道路情報を取得する。車両ＶＡが自動運転区間を走行している状況において運転者が自動運転スイッチ８１を押下した場合に、ＥＣＵ１０は、自動運転実行条件が成立したと判定してもよい。 Note that the automatic driving execution conditions are not limited to the above examples, and may be other conditions. The road information stored in the map storage unit 62 may include information indicating sections where level 3 automatic driving control is possible (hereinafter referred to as "automatic driving sections"). In this case, the ECU 10 acquires road information via the navigation ECU 60 . When the driver presses the automatic operation switch 81 while the vehicle VA is traveling in the automatic operation section, the ECU 10 may determine that the automatic operation execution condition is satisfied.

別の例において、ＥＣＵ１０は、通信ユニット８０を介して交通情報（渋滞区間の情報を含む。）を取得してもよい。この構成において、車両ＶＡが渋滞区間を走行している状況において運転者が自動運転スイッチ８１を押下した場合に、ＥＣＵ１０は、自動運転実行条件が成立したと判定してもよい。 In another example, the ECU 10 may acquire traffic information (including traffic congestion section information) via the communication unit 80 . In this configuration, when the driver presses the automatic operation switch 81 while the vehicle VA is traveling in a congested section, the ECU 10 may determine that the automatic operation execution condition is met.

ＥＣＵ１０は、所定の自動運転終了条件が成立する場合、自動運転制御を終了させる。例えば、自動運転終了条件は、以下の条件Ｂ１乃至条件Ｂ４のうちの少なくとも１つが成立したときに成立する。
（条件Ｂ１）：車両ＶＡが自動車専用道路の出口に到着した。
（条件Ｂ２）：車速ＳＰＤが速度閾値ＳＰＤｔｈよりも大きくなった。
（条件Ｂ３）：運転者が自動運転スイッチ８１を押下して、自動運転制御の作動状態をオン状態からオフ状態へと設定した。
（条件Ｂ４）：自動運転制御を継続することができない事象（例えば、システムエラー）が発生した。
なお、自動運転終了条件は、上記の例に限定されず、他の条件であってもよい。 The ECU 10 ends the automatic operation control when a predetermined automatic operation end condition is satisfied. For example, the automatic driving end condition is met when at least one of the following conditions B1 to B4 is met.
(Condition B1): The vehicle VA has arrived at the exit of the motorway.
(Condition B2): The vehicle speed SPD is greater than the speed threshold SPDth.
(Condition B3): The driver presses the automatic driving switch 81 to set the operating state of the automatic driving control from the ON state to the OFF state.
(Condition B4): An event (for example, a system error) has occurred in which automatic operation control cannot be continued.
Note that the conditions for terminating the automatic operation are not limited to the above examples, and may be other conditions.

（携帯端末の構成）
携帯端末１１０は、運転者によって携帯される装置であり、本例において、図２に示すスマートフォンである。携帯端末１１０は、運転者によって携帯される限り、他の装置（例えば、タブレット端末又はウェアラブル端末）であってもよい。 (Configuration of mobile terminal)
The mobile terminal 110 is a device carried by the driver, and in this example is the smart phone shown in FIG. The mobile terminal 110 may be another device (for example, a tablet terminal or a wearable terminal) as long as it is carried by the driver.

携帯端末１１０は、ディスプレイ２０１を備える。ディスプレイ２０１は、タッチパネル式のディスプレイであり、ディスプレイ２０１の表示面（操作面）に対するタッチ操作を検出することができる。 The mobile terminal 110 has a display 201 . The display 201 is a touch panel display, and can detect a touch operation on the display surface (operation surface) of the display 201 .

携帯端末１１０は、ディスプレイ２０１側の面にフロントカメラ（第２撮像部）２０２を備える。なお、携帯端末１１０は、ディスプレイ２０１と反対側の面（即ち、背面）にリアカメラを備えてもよい。 The mobile terminal 110 includes a front camera (second imaging unit) 202 on the display 201 side. The mobile terminal 110 may have a rear camera on the surface opposite to the display 201 (that is, the rear surface).

更に、携帯端末１１０は、その内部に加速度センサ２０３を備える。加速度センサ２０３は、携帯端末１１０に生じる加速度に関する情報（「第２加速度情報」と称呼する。）を取得する。第２加速度情報は、図２に示す「ｘ軸、ｙ軸及びｚ軸の方向」のそれぞれの方向における加速度についての情報を含む。ｘ軸は、携帯端末１１０の横方向に延びる座標軸である。ｙ軸は、携帯端末１１０の縦方向に延びる座標軸である。ｚ軸は、ディスプレイ２０１の面（操作面）に対して鉛直方向に延びる座標軸である。以降において、ｘ軸方向の加速度は「加速度ａｘ２」と称呼され、ｙ軸方向の加速度は「加速度ａｙ２」と称呼され、ｚ軸方向の加速度は「加速度ａｚ２」と称呼される。 Further, the mobile terminal 110 has an acceleration sensor 203 inside. The acceleration sensor 203 acquires information on acceleration occurring in the mobile terminal 110 (referred to as “second acceleration information”). The second acceleration information includes information about acceleration in each of the "x-axis, y-axis, and z-axis directions" shown in FIG. The x-axis is a coordinate axis extending in the lateral direction of mobile terminal 110 . A y-axis is a coordinate axis extending in the vertical direction of the mobile terminal 110 . The z-axis is a coordinate axis extending vertically with respect to the surface of the display 201 (operation surface). Hereinafter, the acceleration in the x-axis direction is called "acceleration ax2", the acceleration in the y-axis direction is called "acceleration ay2", and the acceleration in the z-axis direction is called "acceleration az2".

携帯端末１１０は、更に、第１音量ボタン２０４ａ及び第２音量ボタン２０４ｂ、並びに、ホームボタン２０５を備える。運転者が第１音量ボタン２０４ａを押下すると、携帯端末１１０の音量が大きくなり、運転者が第２音量ボタン２０４ｂを押下すると、携帯端末１１０の音量が小さくなる。ホームボタン２０５は、起動している様々なアプリケーションを一時的に閉じて、ディスプレイ２０１にホーム画面を表示させるためのボタンである。 The mobile terminal 110 further includes a first volume button 204 a and a second volume button 204 b and a home button 205 . When the driver presses the first volume button 204a, the volume of the mobile terminal 110 increases, and when the driver presses the second volume button 204b, the volume of the mobile terminal 110 decreases. A home button 205 is a button for temporarily closing various running applications and displaying a home screen on the display 201 .

図３に示すように、携帯端末１１０は、ＣＰＵ３０１、メモリ３０２、及び、不揮発性メモリ３０３を備える。ＣＰＵ３０１、メモリ３０２、不揮発性メモリ３０３、ディスプレイ２０１、フロントカメラ２０２及び加速度センサ２０３は、内部バス３１０を介して互いに接続されている。 As shown in FIG. 3 , mobile terminal 110 includes CPU 301 , memory 302 , and nonvolatile memory 303 . CPU 301 , memory 302 , nonvolatile memory 303 , display 201 , front camera 202 and acceleration sensor 203 are connected to each other via internal bus 310 .

ＣＰＵ３０１は、少なくとも１つのプロセッサ又は回路を含む。メモリ３０２は、例えば、ＲＡＭを含む。不揮発性メモリ３０３は、例えば、フラッシュメモリ及びＲＯＭを含む。ＣＰＵ３０１は、メモリ３０２をワークメモリとして用いて、不揮発性メモリ３０３に格納されているインストラクション（ルーチン、プログラム）を実行する。 CPU 301 includes at least one processor or circuit. Memory 302 includes, for example, RAM. Nonvolatile memory 303 includes, for example, flash memory and ROM. The CPU 301 uses the memory 302 as a work memory to execute instructions (routines, programs) stored in the nonvolatile memory 303 .

更に、携帯端末１１０は、バッテリ３０４を備える。携帯端末１１０の上記の構成要素は、バッテリ３０４から供給された電力を用いて作動する。 Additionally, the mobile terminal 110 includes a battery 304 . The above components of mobile terminal 110 operate using power supplied from battery 304 .

（覚醒状態判定処理の概要）
図４に示したように、ＥＣＵ１０が自動運転制御を実行している間、運転者ＤＲが携帯端末１１０を操作する場合がある。そこで、ＥＣＵ１０は、自動運転制御の実行中において、携帯端末１１０において取得された情報を用いて、運転者ＤＲが覚醒状態であるか否かを判定する。以降において、このような処理は、「覚醒状態判定処理」と称呼される。更に、携帯端末１１０において取得された情報は、「端末側情報」と称呼される。 (Overview of Arousal State Determination Processing)
As shown in FIG. 4, the driver DR may operate the mobile terminal 110 while the ECU 10 is executing the automatic driving control. Therefore, the ECU 10 uses information acquired by the mobile terminal 110 to determine whether or not the driver DR is in an awakening state during execution of the automatic driving control. Hereinafter, such processing will be referred to as “awakening state determination processing”. Further, the information acquired by the mobile terminal 110 is referred to as "terminal-side information".

上記の構成のために、図３に示すように、携帯端末１１０の不揮発性メモリ３０３は、監視アプリケーション３３０を格納している。監視アプリケーション３３０は、運転者ＤＲの状態を監視する（モニタリング）するためのプログラムである。 Due to the above configuration, the non-volatile memory 303 of the mobile terminal 110 stores the monitoring application 330 as shown in FIG. Monitoring application 330 is a program for monitoring the state of driver DR.

ＣＰＵ３０１は、監視アプリケーション３３０を実行して、覚醒状態判定処理に使用するための情報を取得するとともに、当該取得された情報を端末側情報として自動運転装置１００に送信する。以降において、このような処理は、単に「情報送信処理」と称呼される。 The CPU 301 executes the monitoring application 330 to acquire information to be used for the arousal state determination process, and transmits the acquired information to the automatic driving device 100 as terminal-side information. Hereinafter, such processing is simply referred to as "information transmission processing".

本例において、ＣＰＵ３０１は、以下のように情報送信処理を実行する。ＣＰＵ３０１は、フロントカメラ２０２から、運転者ＤＲの顔の画像（以下、「第２画像」と称呼する。）を取得する。図５は、フロントカメラ２０２によって取得された第２画像５００の例である。ＣＰＵ３０１は、第２画像５００を端末側情報として自動運転装置１００に送信する。 In this example, the CPU 301 executes information transmission processing as follows. CPU 301 acquires an image of driver DR's face (hereinafter referred to as a “second image”) from front camera 202 . FIG. 5 is an example of a second image 500 captured by the front camera 202. As shown in FIG. The CPU 301 transmits the second image 500 to the automatic driving device 100 as terminal-side information.

ＥＣＵ１０は、通信ユニット８０を介して端末側情報を受信する。ＥＣＵ１０は、第２画像５００に基づいて覚醒状態判定処理を実行する。具体的には、ＥＣＵ１０は、公知の手法に従って、運転者ＤＲの覚醒度合を判定する。本例において、覚醒度合は、第１度合、第２度合、及び、第３度合を含む。第１度合は、運転者ＤＲが覚醒状態であることを表す。第２度合は、運転者ＤＲが居眠り状態ではないが、運転者ＤＲが眠気を感じている状態であることを表す。第３度合は、運転者ＤＲが居眠り状態であることを表す。 The ECU 10 receives terminal-side information via the communication unit 80 . The ECU 10 executes wakefulness determination processing based on the second image 500 . Specifically, the ECU 10 determines the degree of wakefulness of the driver DR according to a known method. In this example, the awakening degree includes a first degree, a second degree, and a third degree. The first degree indicates that the driver DR is in an alert state. The second degree indicates that the driver DR is not asleep, but feels sleepy. The third degree indicates that the driver DR is dozing off.

例えば、覚醒度合は、閉眼率、まばたきの頻度、開眼の状態（上瞼と下瞼との間の距離）、眼球運動、及び、あくび行動の有無等のうちの少なくとも１つに基づいて判定される。以下、閉眼率について簡単に説明する。 For example, the degree of arousal is determined based on at least one of the eye closure rate, blink frequency, eye open state (distance between the upper and lower eyelids), eye movement, and presence or absence of yawning behavior. be. The closed-eye rate will be briefly described below.

ＥＣＵ１０は、第２画像５００を眼検出用の識別器に入力するか、又は、第２画像５００上でテンプレートマッチングを行うことにより、第２画像５００から運転者ＤＲの眼を抽出する。ＥＣＵ１０は、例えば、抽出された眼の部分の縦横比に基づいて、眼が閉じているかを判定する。ＥＣＵ１０は、所定時間内で眼が閉じている時間の割合を閉眼率として演算する。閉眼率が第１閾値以下である場合、ＥＣＵ１０は、運転者ＤＲの覚醒度合が第１度合であると判定する。閉眼率が第１閾値よりも大きく且つ第２閾値以下である場合、ＥＣＵ１０は、運転者ＤＲの覚醒度合が第２度合であると判定する。閉眼率が第２閾値よりも大きい場合、ＥＣＵ１０は、運転者ＤＲの覚醒度合が第３度合であると判定する。 The ECU 10 extracts the eyes of the driver DR from the second image 500 by inputting the second image 500 into an eye detection discriminator or by performing template matching on the second image 500 . The ECU 10 determines whether the eyes are closed, for example, based on the extracted aspect ratio of the eye portion. The ECU 10 calculates the proportion of time during which the eyes are closed within a predetermined period of time as an eye closure rate. When the closed-eye rate is equal to or less than the first threshold, the ECU 10 determines that the awakening degree of the driver DR is the first degree. When the eye closure rate is greater than the first threshold and equal to or less than the second threshold, the ECU 10 determines that the degree of wakefulness of the driver DR is the second degree. When the eye closure rate is greater than the second threshold, the ECU 10 determines that the degree of awakening of the driver DR is the third degree.

ＥＣＵ１０は、運転者ＤＲの覚醒度合が第３度合であると判定した場合、報知装置５１に所定の注意喚起処理を実行させる。具体的には、ＥＣＵ１０は、メータＥＣＵ５０を用いて、ブザーを鳴動させるとともに、表示装置にウォーニングランプを表示させる。 When the ECU 10 determines that the degree of wakefulness of the driver DR is the third degree, the ECU 10 causes the notification device 51 to execute a predetermined alerting process. Specifically, the ECU 10 uses the meter ECU 50 to sound a buzzer and display a warning lamp on the display device.

ＥＣＵ１０は、上記の注意喚起処理に加えて、以下の処理を実行してもよい。ＥＣＵ１０は、自動運転制御を継続できないと判定して、運転者ＤＲに対して運転操作交代要求を通知してもよい。更に、ＥＣＵ１０は、車両ＶＡを徐々に減速させて車両ＶＡを安全な位置（例えば、路肩又は非常駐車帯等）に停車させてもよい。 The ECU 10 may execute the following process in addition to the above attention calling process. The ECU 10 may determine that the automatic driving control cannot be continued, and notify the driver DR of the driving change request. Further, the ECU 10 may gradually decelerate the vehicle VA to stop the vehicle VA at a safe position (for example, the shoulder of the road or an emergency parking strip).

（作動の概要）
上記の構成においては、携帯端末１１０が情報送信処理を実行するので、携帯端末１１０の処理負荷が大きくなる。従って、バッテリ３０４の電力の残量が急激に減る可能性がある。そこで、第１システムは、状況に応じて、携帯端末１１０のバッテリ３０４の電力の消費度合を調節する。 (Outline of operation)
In the above configuration, mobile terminal 110 executes the information transmission process, so the processing load on mobile terminal 110 increases. Therefore, the remaining power of the battery 304 may decrease rapidly. Therefore, the first system adjusts the degree of power consumption of the battery 304 of the mobile terminal 110 according to the situation.

例えば、自動運転制御が終了された場合、運転者ＤＲが運転操作を引き継ぐ必要がある。運転者が居眠り状態であると、運転者ＤＲが運転操作を引き継ぐことができない。従って、自動運転制御が終了されるまでの時間が短いと予測される場合、運転者ＤＲを監視する重要性が高い。これに対し、自動運転制御が終了されるまでの時間が長いと予測される場合、自動運転制御により車両ＶＡの運転操作が行われるので、運転者ＤＲを監視する重要性が相対的に低い。 For example, when the automatic driving control is ended, the driver DR needs to take over the driving operation. If the driver is asleep, the driver DR cannot take over the driving operation. Therefore, when it is predicted that the time until the automatic driving control ends is short, it is highly important to monitor the driver DR. On the other hand, when it is predicted that the time until the automatic driving control ends is long, the driving operation of the vehicle VA is performed by the automatic driving control, so the importance of monitoring the driver DR is relatively low.

別の例において、運転者ＤＲが眠気を感じている場合、近い将来、運転者ＤＲが居眠り状態に陥る可能性がある。このような状況においては、運転者ＤＲを監視する重要性が高い。一方で、運転者ＤＲが覚醒状態である場合、運転者ＤＲを監視する重要性が相対的に低い。 In another example, if the driver DR feels drowsy, there is a possibility that the driver DR will fall asleep in the near future. Under such circumstances, it is very important to monitor the driver DR. On the other hand, when the driver DR is awake, the importance of monitoring the driver DR is relatively low.

上記を考慮して、ＥＣＵ１０は、第１条件が成立するか否かを判定する。本例において、第１条件は、運転者ＤＲを監視する重要性のレベルが所定のレベルよりも高いかを判定するための条件であり、以下の条件Ｃ１及び条件Ｃ２の少なくとも一方が成立したときに成立する。
（条件Ｃ１）：自動運転制御が終了するまでの予測時間Ｔｆが所定の時間閾値Ｔｔｈ以内である。
（条件Ｃ２）：運転者ＤＲの覚醒度合が第２度合又は第３度合である。 Considering the above, the ECU 10 determines whether or not the first condition is satisfied. In this example, the first condition is a condition for determining whether the level of importance of monitoring the driver DR is higher than a predetermined level, and when at least one of the following conditions C1 and C2 is satisfied to be established.
(Condition C1): The predicted time Tf until the automatic driving control ends is within a predetermined time threshold Tth.
(Condition C2): The degree of wakefulness of the driver DR is the second degree or the third degree.

例えば、ＥＣＵ１０は、車両ＶＡの現在の位置から自動車専用道路の出口までの距離に基づいて予測時間Ｔｆを演算し、これにより、条件Ｃ１が成立するかを判定する。これは、車両ＶＡが自動車専用道路の出口に到着すると、条件Ｂ１が成立する（即ち、自動運転制御が終了される）ためである。車両ＶＡが渋滞区間を走行している場合、ＥＣＵ１０は、車両ＶＡの現在の位置から渋滞区間の終端までの距離に基づいて予測時間Ｔｆを演算してもよい。これは、車両ＶＡが渋滞区間を抜けると、車速ＳＰＤが速度閾値ＳＰＤｔｈよりも大きくなり、これにより、条件Ｂ２が成立するためである。このように、ＥＣＵ１０は、予測時間Ｔｆに基づいて、運転者ＤＲを監視する重要性のレベルが所定のレベルよりも高いか又は低いかを判定できる。 For example, the ECU 10 calculates the predicted time Tf based on the distance from the current position of the vehicle VA to the exit of the motorway, and thereby determines whether the condition C1 is satisfied. This is because when the vehicle VA arrives at the exit of the motorway, the condition B1 is established (that is, the automatic driving control is terminated). When the vehicle VA is traveling in a congested section, the ECU 10 may calculate the predicted time Tf based on the distance from the current position of the vehicle VA to the end of the congested section. This is because the vehicle speed SPD becomes greater than the speed threshold SPDth when the vehicle VA exits the congested section, thereby satisfying the condition B2. Thus, the ECU 10 can determine whether the level of importance of monitoring the driver DR is higher or lower than a predetermined level, based on the predicted time Tf.

更に、ＥＣＵ１０は、第２画像５００に基づいて運転者ＤＲの覚醒度合を演算し、条件Ｃ２が成立するかを判定する。このように、ＥＣＵ１０は、運転者ＤＲの覚醒度合に基づいて、運転者ＤＲを監視する重要性のレベルが所定のレベルよりも高いか又は低いかを判定できる。 Further, the ECU 10 calculates the awakening degree of the driver DR based on the second image 500 and determines whether the condition C2 is satisfied. In this way, the ECU 10 can determine whether the level of importance of monitoring the driver DR is higher or lower than a predetermined level, based on the degree of awakening of the driver DR.

ＥＣＵ１０は、携帯端末１１０に、情報送信処理の内容を指示する処理指示信号を送信する。処理指示信号の内容は、第１条件が成立するかどうかに従って変更される。携帯端末１１０は、処理指示信号に従って、情報送信処理を実行する。 The ECU 10 transmits to the mobile terminal 110 a processing instruction signal that instructs the content of information transmission processing. The content of the processing instruction signal is changed according to whether the first condition is satisfied. Portable terminal 110 executes information transmission processing in accordance with the processing instruction signal.

第１条件が成立する場合、運転者ＤＲを監視する重要性のレベルが所定のレベルよりも高い。従って、携帯端末１１０は、情報送信処理として、第１処理を実行する。第１処理は、第１時間Ｔ１が経過するごとに、第２画像５００を取得して第２画像５００を端末側情報として自動運転装置１００に送信する処理である。第１時間Ｔ１は比較的短い時間に設定される。従って、第１条件が成立する場合、携帯端末１１０は、高頻度で端末側情報（第２画像５００）を自動運転装置１００に送信する。 When the first condition is satisfied, the level of importance of monitoring driver DR is higher than a predetermined level. Therefore, the mobile terminal 110 executes the first process as the information transmission process. The first process is a process of acquiring the second image 500 and transmitting the second image 500 as terminal-side information to the automatic driving device 100 every time the first time T1 elapses. The first time T1 is set to a relatively short time. Therefore, when the first condition is satisfied, the mobile terminal 110 frequently transmits the terminal-side information (second image 500) to the automatic driving device 100. FIG.

第１条件が成立しない場合、運転者ＤＲを監視する重要性のレベルが所定のレベルよりも低い。従って、携帯端末１１０は、情報送信処理として、第２処理を実行する。第２処理は、第２時間Ｔ２が経過するごとに、第２画像５００を取得して第２画像５００を端末側情報として自動運転装置１００に送信する処理である。第２時間Ｔ２は、第１時間Ｔ１に比べて長い。従って、第１条件が成立しない場合、携帯端末１１０は、第１条件が成立する場合に比べて低い頻度で端末側情報（第２画像５００）を自動運転装置１００に送信する。第２処理は、第１処理に比べて携帯端末１１０における処理負荷が小さい処理である。即ち、第２処理は、第１処理に比べてバッテリ３０４の電力の消費度合が小さい処理である。 If the first condition is not satisfied, the level of importance of monitoring the driver DR is lower than the predetermined level. Therefore, the mobile terminal 110 executes the second process as the information transmission process. The second process is a process of acquiring the second image 500 and transmitting the second image 500 to the automatic driving device 100 as terminal-side information every time the second time T2 elapses. The second time T2 is longer than the first time T1. Therefore, when the first condition is not satisfied, the mobile terminal 110 transmits the terminal-side information (second image 500) to the automatic driving device 100 at a lower frequency than when the first condition is satisfied. The second process is a process that imposes a smaller processing load on the mobile terminal 110 than the first process. That is, the second process is a process that consumes less power from the battery 304 than the first process.

このように、携帯端末１１０は、第１条件が成立しない（即ち、運転者ＤＲを監視する重要性が所定のレベルよりも低い）場合、第１条件が成立する（即ち、重要性のレベルが所定のレベルよりも高い）場合に比べてバッテリ３０４の電力の消費度合が小さくなるように、情報送信処理を実行する。 In this way, when the first condition is not satisfied (that is, the importance of monitoring the driver DR is lower than a predetermined level), the portable terminal 110 sets the first condition to be satisfied (that is, the importance level is The information transmission processing is executed so that the degree of power consumption of the battery 304 is smaller than in the case where the level is higher than the predetermined level.

（作動例）
図６を参照しながら、自動運転装置１００（具体的には、ＥＣＵ１０）及び携帯端末１１０の作動について具体的に説明する。 (Operation example)
The operation of the automatic driving device 100 (specifically, the ECU 10) and the mobile terminal 110 will be specifically described with reference to FIG.

運転者ＤＲが車両ＶＡに乗車すると、ＥＣＵ１０と携帯端末１１０との間の無線接続が確立する。例えば、Bluetooth（登録商標）のペアリングによって、ＥＣＵ１０と携帯端末１１０との間の無線接続が確立されてもよい。これにより、ＥＣＵ１０及び携帯端末１１０が、通信ユニット８０を介して通信を開始する（ステップ６０１）。 When the driver DR gets into the vehicle VA, wireless connection is established between the ECU 10 and the mobile terminal 110 . For example, a wireless connection between the ECU 10 and the mobile terminal 110 may be established by Bluetooth (registered trademark) pairing. As a result, the ECU 10 and the mobile terminal 110 start communicating via the communication unit 80 (step 601).

その後、運転者ＤＲが車両ＶＡを運転する。車両ＶＡが、速度閾値ＳＰＤｔｈ以下の車速ＳＰＤで自動車専用道路を走行している。この状況において、運転者ＤＲが自動運転スイッチ８１を押下する。ＥＣＵ１０は、自動運転実行条件が成立したと判定し、自動運転制御（レベル３）を開始する（ステップ６０２）。ＥＣＵ１０は、起動指示信号を携帯端末１１０に送信する（ステップ６０３）。起動指示信号は、監視アプリケーション３３０の起動を指示する信号である。 After that, the driver DR drives the vehicle VA. A vehicle VA is traveling on an expressway at a vehicle speed SPD equal to or lower than the speed threshold SPDth. In this situation, the driver DR presses the automatic operation switch 81 . The ECU 10 determines that the conditions for executing automatic driving are satisfied, and starts automatic driving control (level 3) (step 602). The ECU 10 transmits an activation instruction signal to the mobile terminal 110 (step 603). The activation instruction signal is a signal that instructs activation of the monitoring application 330 .

携帯端末１１０は、起動指示信号に応じて、承認画面をディスプレイ２０１に表示する（ステップ６０４）。承認画面は、監視アプリケーション３３０の起動を承認するための画面である。運転者ＤＲが承認画面にて所定の承認ボタンを押下すると、携帯端末１１０は、監視アプリケーション３３０を起動する（ステップ６０５）。携帯端末１１０は、初期情報をＥＣＵ１０に送信する（ステップ６０６）。初期情報は、監視アプリケーション３３０が開始されたことを通知する信号、及び、第２画像５００を含む。 Portable terminal 110 displays an approval screen on display 201 in response to the activation instruction signal (step 604). The approval screen is a screen for approving activation of the monitoring application 330 . When the driver DR presses a predetermined approval button on the approval screen, the mobile terminal 110 activates the monitoring application 330 (step 605). The portable terminal 110 transmits the initial information to the ECU 10 (step 606). The initial information includes a signal announcing that the monitoring application 330 has started and the second image 500 .

ＥＣＵ１０は、初期情報に含まれる第２画像５００を用いて、後述する図７のルーチンを実行して、情報送信処理の内容を決定する（ステップ６０７）。ＥＣＵ１０は、決定された情報送信処理の内容を指示する処理指示信号を携帯端末１１０に送信する（ステップ６０８）。携帯端末１１０は、処理指示信号に従って、情報送信処理を実行する（ステップ６０９）。携帯端末１１０は、端末側情報（本例において、第２画像５００）をＥＣＵ１０に送信する（ステップ６１０）。ＥＣＵ１０は、端末側情報に基づいて覚醒状態判定処理を実行する（ステップ６１１）。 Using the second image 500 included in the initial information, the ECU 10 executes the routine of FIG. 7, which will be described later, to determine the content of the information transmission process (step 607). The ECU 10 transmits to the portable terminal 110 a processing instruction signal that instructs the content of the determined information transmission processing (step 608). Portable terminal 110 executes information transmission processing according to the processing instruction signal (step 609). The mobile terminal 110 transmits terminal-side information (second image 500 in this example) to the ECU 10 (step 610). The ECU 10 executes wakefulness determination processing based on the terminal-side information (step 611).

ステップ６０７乃至ステップ６１１の処理は、自動運転制御が終了するまで繰り返し実行される。なお、これらの処理が繰り返し実行される場合、ＥＣＵ１０は、ステップ６０７の処理において、ステップ６１１で判定された運転者ＤＲの覚醒度合の情報を用いる。 The processing from step 607 to step 611 is repeatedly executed until the automatic driving control ends. It should be noted that when these processes are repeatedly executed, the ECU 10 uses the information on the degree of awakening of the driver DR determined in step 611 in the process of step 607 .

その後、上述した自動運転終了条件が成立する。ＥＣＵ１０は、自動運転制御を終了させる（ステップ６１２）。そして、ＥＣＵ１０は、終了指示信号を携帯端末１１０に送信する（ステップ６１３）。終了指示信号は、監視アプリケーション３３０の終了を指示する信号である。携帯端末１１０は、終了指示信号に応じて、監視アプリケーション３３０を終了させる（ステップ６１４）。 After that, the automatic operation end condition described above is satisfied. The ECU 10 ends the automatic driving control (step 612). Then, the ECU 10 transmits an end instruction signal to the portable terminal 110 (step 613). The termination instruction signal is a signal that instructs termination of the monitoring application 330 . Portable terminal 110 terminates monitoring application 330 in response to the termination instruction signal (step 614).

次に、図７を用いて、ＥＣＵ１０（具体的には、ＣＰＵ１０ａ）が図６のステップ６０７にて実行する処理について説明する。 Next, the processing executed by the ECU 10 (specifically, the CPU 10a) at step 607 in FIG. 6 will be described with reference to FIG.

ＥＣＵ１０は、図７のステップ７００から処理を開始してステップ７０１に進み、第１条件が成立するか否かを判定する。第１条件が成立する場合、ＥＣＵ１０は、ステップ７０１にて「Ｙｅｓ」と判定してステップ７０２に進み、第１処理を情報送信処理として決定する。その後、ＥＣＵ１０は、ステップ７９５に進み、本ルーチンを終了する。これにより、ＥＣＵ１０は、ステップ６０８にて、第１処理を携帯端末１１０に実行させるための処理指示信号を携帯端末１１０に送信する。 The ECU 10 starts processing from step 700 in FIG. 7, proceeds to step 701, and determines whether or not the first condition is satisfied. When the first condition is satisfied, the ECU 10 makes a "Yes" determination in step 701, proceeds to step 702, and determines the first process as the information transmission process. After that, the ECU 10 proceeds to step 795 and terminates this routine. Accordingly, at step 608, the ECU 10 transmits to the mobile terminal 110 a process instruction signal for causing the mobile terminal 110 to execute the first process.

これに対し、第１条件が成立しない場合、ＥＣＵ１０は、ステップ７０１にて「Ｎｏ」と判定してステップ７０３に進み、第２処理を情報送信処理として決定する。その後、ＥＣＵ１０は、ステップ７９５に進み、本ルーチンを終了する。これにより、ＥＣＵ１０は、ステップ６０８にて、第２処理を携帯端末１１０に実行させるための処理指示信号を携帯端末１１０に送信する。 On the other hand, if the first condition is not satisfied, the ECU 10 makes a "No" determination in step 701, proceeds to step 703, and determines the second process as the information transmission process. After that, the ECU 10 proceeds to step 795 and terminates this routine. Accordingly, at step 608, the ECU 10 transmits to the mobile terminal 110 a processing instruction signal for causing the mobile terminal 110 to execute the second process.

以上の構成を備える第１システムは、以下の効果を奏する。携帯端末１１０は、運転者ＤＲを監視する重要性のレベルに応じて、情報送信処理の内容を変更する。具体的には、携帯端末１１０は、運転者ＤＲを監視する重要性のレベルが所定のレベルよりも高い場合、第１処理を情報送信処理として実行する。これに対し、携帯端末１１０は、運転者ＤＲを監視する重要性のレベルが所定のレベルよりも低い場合、第２処理を情報送信処理として実行する。第２処理は、第１処理に比べてバッテリ３０４の電力の消費度合が小さい処理である。このように、運転者ＤＲを監視する重要性が低い場合には、バッテリ３０４の電力の消費が抑えられる。従って、バッテリ３０４の電力の残量が急激に減るのを抑えることができる。 The 1st system provided with the above composition has the following effects. The mobile terminal 110 changes the contents of the information transmission process according to the level of importance of monitoring the driver DR. Specifically, when the level of importance of monitoring driver DR is higher than a predetermined level, portable terminal 110 executes the first process as the information transmission process. On the other hand, when the level of importance of monitoring driver DR is lower than the predetermined level, portable terminal 110 executes the second process as the information transmission process. The second process is a process that consumes less power from the battery 304 than the first process. Thus, when the importance of monitoring driver DR is low, power consumption of battery 304 is suppressed. Therefore, it is possible to prevent the remaining power of the battery 304 from rapidly decreasing.

（第１システムの変形例１）
監視アプリケーション３３０は、操作情報を検出する機能を更に含んでもよい。操作情報は、携帯端末１１０上における運転者ＤＲによる操作に関する情報である。携帯端末１１０は、操作情報を端末側情報としてＥＣＵ１０に送信する。ＥＣＵ１０は、操作情報を用いて運転者ＤＲが覚醒状態であるか否かを判定してもよい。 (Modification 1 of the first system)
The monitoring application 330 may further include functionality for detecting operational information. The operation information is information on the operation by the driver DR on the mobile terminal 110 . The mobile terminal 110 transmits the operation information to the ECU 10 as terminal-side information. The ECU 10 may use the operation information to determine whether the driver DR is in an awake state.

具体的には、携帯端末１１０は、監視アプリケーション３３０を実行して、以下の第１操作乃至第３操作を検出する。更に、携帯端末１１０は、各操作が検出された時刻に関する情報を取得する。
（第１操作）：指をディスプレイ２０１に接触させた後に即座に指をディスプレイ２０１から離す操作（所謂、タップ操作）。
（第２操作）：指をディスプレイ２０１に接触させたまま指をディスプレイ２０１上で移動させる操作（所謂、スワイプ操作）。
（第３操作）：２本の指をディスプレイ２０１に接触させたまま、当該２本の指の間の間隔を変化させる操作（所謂、ピンチアウト操作又はピンチイン操作）。 Specifically, the mobile terminal 110 executes the monitoring application 330 and detects the following first to third operations. Furthermore, the mobile terminal 110 acquires information about the time when each operation was detected.
(First operation): An operation of touching the display 201 with the finger and immediately releasing the finger from the display 201 (so-called tap operation).
(Second operation): An operation of moving a finger on the display 201 while keeping the finger in contact with the display 201 (so-called swipe operation).
(Third operation): An operation of changing the distance between the two fingers while keeping the two fingers in contact with the display 201 (so-called pinch-out operation or pinch-in operation).

図６のステップ６０４にて運転者ＤＲが承認画面上で操作したにも関わらず、運転者ＤＲによる操作が一定期間検出されない場合、これは、運転者ＤＲが覚醒状態でない（即ち、運転者ＤＲが居眠り状態である）可能性が高い。これを考慮して、ＥＣＵ１０は、運転者ＤＲによる操作が検出されない期間に基づいて、運転者ＤＲが覚醒状態であるかを判定してもよい。 If the operation by the driver DR is not detected for a certain period of time even though the driver DR has operated on the approval screen in step 604 in FIG. is dozing off). Taking this into consideration, the ECU 10 may determine whether the driver DR is in an awake state based on a period during which no operation by the driver DR is detected.

具体的には、第１操作乃至第３操作の少なくとも１つが所定の期間閾値ｐｔｈ以内に検出される限り、ＥＣＵ１０は、運転者ＤＲが覚醒状態であると判定する。一方、第１操作乃至第３操作の何れもが検出されない期間が期間閾値ｐｔｈ以上になったとき、ＥＣＵ１０は、運転者ＤＲが覚醒状態でないと判定する。 Specifically, as long as at least one of the first to third operations is detected within a predetermined period threshold value pth, the ECU 10 determines that the driver DR is in an awakened state. On the other hand, when the period during which none of the first to third operations is detected is equal to or greater than the period threshold value pth, the ECU 10 determines that the driver DR is not in an awakened state.

このような構成において、第１処理は、第１時間Ｔ１が経過するごとに、操作情報を取得して当該操作情報を端末側情報として自動運転装置１００に送信する処理であってもよい。第２処理は、第２時間Ｔ２が経過するごとに、操作情報を取得して当該操作情報を端末側情報として自動運転装置１００に送信する処理であってもよい。この構成においても、第２処理は、第１処理に比べてバッテリ３０４の電力の消費度合が小さい処理である。 In such a configuration, the first process may be a process of acquiring operation information and transmitting the operation information to the automatic driving device 100 as terminal-side information every time the first time T1 elapses. The second process may be a process of acquiring operation information and transmitting the operation information to the automatic driving device 100 as terminal-side information every time the second time T2 elapses. Also in this configuration, the second process is a process that consumes less power of the battery 304 than the first process.

別の例において、第１処理は、第１時間Ｔ１が経過するごとに、第２画像５００を取得して第２画像５００を端末側情報として自動運転装置１００に送信する処理であってもよい。第２処理は、第１時間Ｔ１が経過するごとに、操作情報を取得して当該操作情報を端末側情報として自動運転装置１００に送信する処理であってもよい。同じ頻度で取得する場合において、操作情報を取得する処理は、画像を取得する処理に比べて携帯端末１１０における処理負荷が小さい処理である。この構成においても、第２処理は、第１処理に比べてバッテリ３０４の電力の消費度合が小さい処理である。 In another example, the first process may be a process of acquiring the second image 500 and transmitting the second image 500 as terminal-side information to the automatic driving device 100 every time the first time T1 elapses. . The second process may be a process of acquiring operation information and transmitting the operation information to the automatic driving device 100 as terminal-side information every time the first time T1 elapses. When the operation information is acquired at the same frequency, the process of acquiring the operation information is a process with a smaller processing load on the mobile terminal 110 than the process of acquiring the image. Also in this configuration, the second process is a process that consumes less power of the battery 304 than the first process.

携帯端末１１０は、第１操作乃至第３操作以外の操作に関する情報を端末側情報（操作情報）としてＥＣＵ１０に送信してもよい。携帯端末１１０は、第１音量ボタン２０４ａに対する操作、第２音量ボタン２０４ｂに対する操作及びホームボタン２０５に対する操作に関する情報を、端末側情報としてＥＣＵ１０に送信してもよい。 The mobile terminal 110 may transmit information related to operations other than the first to third operations to the ECU 10 as terminal-side information (operation information). The mobile terminal 110 may transmit information regarding the operation of the first volume button 204a, the operation of the second volume button 204b, and the operation of the home button 205 to the ECU 10 as terminal-side information.

（第１システムの変形例２）
携帯端末１１０は、第２加速度情報を端末側情報としてＥＣＵ１０に送信してもよい。運転者ＤＲが携帯端末１１０を動かしている場合、運転者ＤＲが覚醒状態である可能性が高い。これを考慮して、ＥＣＵ１０は、第２加速度情報を用いて、運転者ＤＲが覚醒状態であるかを判定してもよい。 (Modification 2 of the first system)
The mobile terminal 110 may transmit the second acceleration information to the ECU 10 as terminal-side information. When the driver DR is moving the mobile terminal 110, there is a high possibility that the driver DR is in an awake state. Taking this into consideration, the ECU 10 may use the second acceleration information to determine whether the driver DR is in an alert state.

第２加速度情報には、車両ＶＡの動き（揺れ及び振動等）によって生じる加速度成分が含まれる。これを考慮して、ＥＣＵ１０は、携帯端末１１０の座標系（図２に示すｘｙｚ座標系）での３つの加速度成分値を、車両ＶＡの座標系での３つの加速度成分値へと変換する。即ち、ＥＣＵ１０は、第２加速度情報（即ち、加速度ａｘ２、加速度ａｙ２及び加速度ａｚ２）を、車両ＶＡの前後方向における加速度ａｘ３、車両ＶＡの横方向における加速度ａｙ３、及び、車両ＶＡの上下方向における加速度ａｚ３へと変換する。第１加速度情報と上記変換された第２加速度情報（ａｘ３、ａｙ３及びａｚ３）との間に差が生じている場合、運転者ＤＲが携帯端末１１０を意図的に動かしていると判定できる。ＥＣＵ１０は、以下の条件Ｄ１乃至条件Ｄ３のうちの少なくとも１つが成立する場合、運転者ＤＲが覚醒状態であると判定する。
（条件Ｄ１）：｜ａｘ１－ａｘ３｜≧ａｘｔｈ
（条件Ｄ２）：｜ａｙ１－ａｙ３｜≧ａｙｔｈ
（条件Ｄ３）：｜ａｚ１－ａｚ３｜≧ａｚｔｈ
ここで、ａｘｔｈ、ａｙｔｈ及びａｚｔｈは、それぞれ、運転者ＤＲが携帯端末１１０を動かしているかを判定するための、予め定められた閾値である。 The second acceleration information includes an acceleration component caused by motion (shaking, vibration, etc.) of the vehicle VA. Taking this into consideration, the ECU 10 converts the three acceleration component values in the coordinate system of the portable terminal 110 (the xyz coordinate system shown in FIG. 2) into three acceleration component values in the coordinate system of the vehicle VA. That is, the ECU 10 converts the second acceleration information (that is, the acceleration ax2, the acceleration ay2, and the acceleration az2) into an acceleration ax3 in the longitudinal direction of the vehicle VA, an acceleration ay3 in the lateral direction of the vehicle VA, and an acceleration in the vertical direction of the vehicle VA. Convert to az3. If there is a difference between the first acceleration information and the converted second acceleration information (ax3, ay3 and az3), it can be determined that the driver DR is moving the mobile terminal 110 intentionally. The ECU 10 determines that the driver DR is in an awake state when at least one of the following conditions D1 to D3 is satisfied.
(Condition D1): |ax1-ax3|≧axth
(Condition D2): |ay1−ay3|≧ayth
(Condition D3): |az1-az3|≧azth
Here, axth, ayth, and azth are predetermined thresholds for determining whether the driver DR is moving the mobile terminal 110 .

一方で、条件Ｄ１乃至条件Ｄ３の何れも成立しない場合、ＥＣＵ１０は、運転者ＤＲが覚醒状態でないと判定する。 On the other hand, if none of the conditions D1 to D3 are satisfied, the ECU 10 determines that the driver DR is not in the wakeful state.

このような構成において、第１処理は、第１時間Ｔ１が経過するごとに、第２加速度情報を取得して当該第２加速度情報を端末側情報として自動運転装置１００に送信する処理であってもよい。第２処理は、第２時間Ｔ２が経過するごとに、第２加速度情報を取得して第２加速度情報を端末側情報として自動運転装置１００に送信する処理であってもよい。この構成においても、第２処理は、第１処理に比べてバッテリ３０４の電力の消費度合が小さい処理である。 In such a configuration, the first process is a process of acquiring second acceleration information and transmitting the second acceleration information to the automatic driving device 100 as terminal-side information every time the first time T1 elapses. good too. The second process may be a process of acquiring second acceleration information and transmitting the second acceleration information to the automatic driving device 100 as terminal-side information every time the second time T2 elapses. Also in this configuration, the second process is a process that consumes less power of the battery 304 than the first process.

（第１システムの変形例３）
端末側情報は、第２画像５００、操作情報及び第２加速度情報の中の少なくとも１つを含んでよい。従って、ＥＣＵ１０は、第２画像、操作情報及び第２加速度情報の中の少なくとも１つを用いて、運転者ＤＲが覚醒状態であるかを判定してもよい。第１処理は、第２画像５００、操作情報及び第２加速度情報の中の少なくとも１つを取得する処理であってもよい。第２処理は、第１処理に比べてバッテリ３０４の電力の消費度合が小さくなる処理である限り、第２画像５００、操作情報及び第２加速度情報の中の少なくとも１つを取得する処理であってもよい。 (Modification 3 of the first system)
The terminal-side information may include at least one of the second image 500, operation information, and second acceleration information. Therefore, the ECU 10 may use at least one of the second image, the operation information, and the second acceleration information to determine whether the driver DR is in an alert state. The first process may be a process of acquiring at least one of the second image 500, operation information, and second acceleration information. The second process is a process of acquiring at least one of the second image 500, the operation information, and the second acceleration information, as long as the second process consumes less power of the battery 304 than the first process. may

＜第２実施形態＞
次に、第２実施形態に係る覚醒状態判定システム（以下、「第２システム」と称呼される場合がある。）について説明する。本実施形態において、携帯端末１１０は、バッテリ３０４の電力が早く無くなる可能性があるかどうかに従って、情報送信処理の内容を変更する。 <Second embodiment>
Next, an arousal state determination system (hereinafter sometimes referred to as "second system") according to the second embodiment will be described. In this embodiment, the mobile terminal 110 changes the content of the information transmission process according to whether the power of the battery 304 is likely to run out soon.

例えば、バッテリ３０４の電力の残量が小さい状況において、携帯端末１１０が、処理負荷の大きい処理を情報送信処理として実行すると、バッテリ３０４の電力が早く無くなる可能性がある。これを考慮して、ＥＣＵ１０は、第２条件が成立するか否かを判定する。本例において、第２条件は、バッテリ３０４の電力が早く無くなる可能性が高いと推定されるときに成立する条件であり、以下の条件Ｅ１乃至条件Ｅ３の少なくとも１つが成立したときに成立する。
（条件Ｅ１）：バッテリ３０４の電力の残量が、所定の残量閾値Ｒａｔｈより小さい。
（条件Ｅ２）：バッテリ３０４の電力の残量の単一時間当たりの減少量の大きさ（絶対値）が、所定の変化量閾値Ｄａｔｈより大きい。
（条件Ｅ３）：携帯端末１１０の温度が、所定の温度閾値Ｔａｔｈより大きい。 For example, when the remaining power of the battery 304 is low, if the mobile terminal 110 executes a process with a large processing load as the information transmission process, the power of the battery 304 may run out quickly. Considering this, the ECU 10 determines whether or not the second condition is satisfied. In this example, the second condition is a condition that is met when it is estimated that the power of the battery 304 is likely to run out soon, and is met when at least one of the following conditions E1 to E3 is met.
(Condition E1): The remaining amount of electric power of the battery 304 is smaller than a predetermined remaining amount threshold value Rath.
(Condition E2): The magnitude (absolute value) of the amount of decrease in the remaining power of the battery 304 per unit time is greater than the predetermined variation threshold Dath.
(Condition E3): The temperature of the mobile terminal 110 is greater than a predetermined temperature threshold Tath.

携帯端末１１０は、第２条件が成立する（即ち、バッテリ３０４の電力が早く無くなる可能性が高いと推定される）場合、第２条件が成立しない（即ち、上記可能性が低いと推定される）場合に比べてバッテリ３０４の電力の消費度合が小さくなるように、情報送信処理を実行する。 If the second condition is satisfied (that is, it is estimated that the power of the battery 304 is likely to run out soon), the mobile terminal 110 does not satisfy the second condition (that is, it is estimated that the possibility is low). ), the information transmission process is executed so that the degree of power consumption of the battery 304 is smaller than in the case of .

（作動例）
次に、図８を用いて、ＥＣＵ１０（具体的には、ＣＰＵ１０ａ）が図６のステップ６０７にて実行する処理について説明する。ＥＣＵ１０は、ステップ６０７にて、図７のルーチンに代えて、図８のルーチンを実行するようになっている。なお、ＥＣＵ１０は、図示しないルーチンを実行することにより、携帯端末１１０から、バッテリ３０４の電力の残量に関する情報及び携帯端末１１０の温度の情報等を繰り返し取得するようになっている。 (Operation example)
Next, the processing executed by the ECU 10 (specifically, the CPU 10a) at step 607 in FIG. 6 will be described with reference to FIG. At step 607, the ECU 10 executes the routine of FIG. 8 instead of the routine of FIG. The ECU 10 repeatedly acquires information about the remaining power of the battery 304 and information about the temperature of the mobile terminal 110 from the mobile terminal 110 by executing a routine (not shown).

ＥＣＵ１０は、図８のステップ８００から処理を開始してステップ８０１に進み、上記条件Ｃ１が成立するか否かを判定する。いま、条件Ｃ１が成立すると仮定する。この場合、ＥＣＵ１０は、ステップ８０１にて「Ｙｅｓ」と判定してステップ８０２に進み、第２条件が成立するか否かを判定する。第２条件が成立しない場合、ＥＣＵ１０は、ステップ８０２にて「Ｎｏ」と判定してステップ８０４に進み、第１処理を情報送信処理として決定する。その後、ＥＣＵ１０は、ステップ８９５に進み、本ルーチンを終了する。これにより、ＥＣＵ１０は、ステップ６０８にて、第１処理を携帯端末１１０に実行させるための処理指示信号を携帯端末１１０に送信する。 The ECU 10 starts the process from step 800 in FIG. 8, proceeds to step 801, and determines whether or not the condition C1 is satisfied. Assume now that condition C1 holds. In this case, the ECU 10 makes a "Yes" determination in step 801, proceeds to step 802, and determines whether or not the second condition is satisfied. If the second condition is not satisfied, the ECU 10 makes a "No" determination in step 802, proceeds to step 804, and determines the first process as the information transmission process. After that, the ECU 10 proceeds to step 895 and ends this routine. Accordingly, in step 608, the ECU 10 transmits to the mobile terminal 110 a processing instruction signal for causing the mobile terminal 110 to execute the first process.

一方、第２条件が成立する場合、ＥＣＵ１０は、ステップ８０２にて「Ｙｅｓ」と判定してステップ８０３に進み、運転操作交代要求を運転者ＤＲに通知する。これは、自動運転制御が終了するまでの予測時間Ｔｆが短く、且つ、バッテリ３０４の電力が早く無くなる可能性が高い場合、できるだけ早く運転者ＤＲに運転操作を引き継いだ方が良いためである。その後、ＥＣＵ１０は、ステップ８９５に進み、本ルーチンを終了する。この場合、ＥＣＵ１０は、図６のルーチンにおいて、ステップ６０７からステップ６１２に直接進み、自動運転制御を終了させる。 On the other hand, if the second condition is satisfied, the ECU 10 makes a "Yes" determination in step 802, proceeds to step 803, and notifies the driver DR of a driving change request. This is because when the predicted time Tf until the automatic driving control ends is short and there is a high possibility that the power of the battery 304 will soon run out, it is better to hand over the driving operation to the driver DR as soon as possible. After that, the ECU 10 proceeds to step 895 and ends this routine. In this case, the ECU 10 directly proceeds from step 607 to step 612 in the routine of FIG. 6 to end the automatic driving control.

一方、ステップ８０１にて条件Ｃ１が成立しないと仮定する。この場合、ＥＣＵ１０は、ステップ８０１にて「Ｎｏ」と判定してステップ８１１に進み、上記条件Ｃ２が成立するか否かを判定する。条件Ｃ２が成立する場合、ステップ８１１にて「Ｙｅｓ」と判定してステップ８１２に進み、第２条件が成立するか否かを判定する。第２条件が成立しない場合、ＥＣＵ１０は、ステップ８１２にて「Ｎｏ」と判定してステップ８１４に進み、第１処理を情報送信処理として決定する。その後、ＥＣＵ１０は、ステップ８９５に進み、本ルーチンを終了する。これにより、ＥＣＵ１０は、ステップ６０８にて、第１処理を携帯端末１１０に実行させるための処理指示信号を携帯端末１１０に送信する。 On the other hand, it is assumed at step 801 that condition C1 is not satisfied. In this case, the ECU 10 makes a "No" determination in step 801, proceeds to step 811, and determines whether or not condition C2 is satisfied. If the condition C2 is satisfied, the determination in step 811 is "Yes" and the process proceeds to step 812 to determine whether or not the second condition is satisfied. If the second condition is not satisfied, the ECU 10 makes a "No" determination in step 812, proceeds to step 814, and determines the first process as the information transmission process. After that, the ECU 10 proceeds to step 895 and ends this routine. Accordingly, in step 608, the ECU 10 transmits to the mobile terminal 110 a processing instruction signal for causing the mobile terminal 110 to execute the first process.

これに対し、第２条件が成立する場合、ＥＣＵ１０は、ステップ８１２にて「Ｙｅｓ」と判定してステップ８１３に進み、第２処理を情報送信処理として決定する。その後、ＥＣＵ１０は、ステップ８９５に進み、本ルーチンを終了する。これにより、ＥＣＵ１０は、ステップ６０８にて、第２処理を携帯端末１１０に実行させるための処理指示信号を携帯端末１１０に送信する。 On the other hand, if the second condition is satisfied, the ECU 10 makes a "Yes" determination in step 812, proceeds to step 813, and determines the second process as the information transmission process. After that, the ECU 10 proceeds to step 895 and ends this routine. Accordingly, at step 608, the ECU 10 transmits to the mobile terminal 110 a processing instruction signal for causing the mobile terminal 110 to execute the second process.

ステップ８１１にて条件Ｃ２が成立しないと仮定する。この場合、ＥＣＵ１０は、ステップ８１１にて「Ｎｏ」と判定してステップ８２１に進み、第２条件が成立するか否かを判定する。第２条件が成立しない場合、ＥＣＵ１０は、ステップ８２１にて「Ｎｏ」と判定してステップ８２３に進み、第３処理を情報送信処理として決定する。その後、ＥＣＵ１０は、ステップ８９５に進み、本ルーチンを終了する。これにより、ＥＣＵ１０は、ステップ６０８にて、第３処理を携帯端末１１０に実行させるための処理指示信号を携帯端末１１０に送信する。本例において、第３処理は、第３時間Ｔ３が経過するごとに、第２画像５００を取得して第２画像５００を端末側情報として自動運転装置１００に送信する処理である。第３時間Ｔ３は、第２時間Ｔ２に比べて長い。従って、第３処理は、第２処理に比べて携帯端末１１０における処理負荷が小さい処理である。即ち、第３処理は、第２処理に比べてバッテリ３０４の電力の消費度合が小さい処理である。 Assume that condition C2 is not satisfied at step 811 . In this case, the ECU 10 determines "No" in step 811, proceeds to step 821, and determines whether or not the second condition is satisfied. If the second condition is not satisfied, the ECU 10 makes a "No" determination in step 821, proceeds to step 823, and determines the third process as the information transmission process. After that, the ECU 10 proceeds to step 895 and ends this routine. Accordingly, at step 608, the ECU 10 transmits to the mobile terminal 110 a process instruction signal for causing the mobile terminal 110 to execute the third process. In this example, the third process is a process of acquiring the second image 500 and transmitting the second image 500 as terminal-side information to the automatic driving device 100 every time the third time T3 elapses. The third time T3 is longer than the second time T2. Therefore, the third process is a process with a smaller processing load on the mobile terminal 110 than the second process. That is, the third process is a process that consumes less power from the battery 304 than the second process.

これに対し、第２条件が成立する場合、ＥＣＵ１０は、ステップ８２１にて「Ｙｅｓ」と判定してステップ８２２に進み、第４処理を情報送信処理として決定する。その後、ＥＣＵ１０は、ステップ８９５に進み、本ルーチンを終了する。これにより、ＥＣＵ１０は、ステップ６０８にて、第４処理を携帯端末１１０に実行させるための処理指示信号を携帯端末１１０に送信する。本例において、第４処理は、第４時間Ｔ４が経過するごとに、第２画像５００を取得して第２画像５００を端末側情報として自動運転装置１００に送信する処理である。第４時間Ｔ４は、第３時間Ｔ３に比べて長い。従って、第４処理は、第３処理に比べて携帯端末１１０における処理負荷が小さい処理である。即ち、第４処理は、第３処理に比べてバッテリ３０４の電力の消費度合が小さい処理である。 On the other hand, if the second condition is satisfied, the ECU 10 makes a "Yes" determination in step 821, proceeds to step 822, and determines the fourth process as the information transmission process. After that, the ECU 10 proceeds to step 895 and ends this routine. Accordingly, at step 608, the ECU 10 transmits to the mobile terminal 110 a process instruction signal for causing the mobile terminal 110 to execute the fourth process. In this example, the fourth process is a process of acquiring the second image 500 and transmitting the second image 500 to the automatic driving device 100 as terminal-side information every time the fourth time T4 elapses. The fourth time T4 is longer than the third time T3. Therefore, the fourth process is a process with a smaller processing load on the mobile terminal 110 than the third process. That is, the fourth process is a process that consumes less power from the battery 304 than the third process.

以上の構成を備える第２システムは、以下の効果を奏する。携帯端末１１０は、バッテリ３０４の電力が早く無くなる可能性があるかどうかに従って、情報送信処理の内容を変更する。具体的には、携帯端末１１０は、バッテリ３０４の電力が早く無くなる可能性が高いと推定される場合、当該可能性が低いと推定される場合に比べてバッテリ３０４の電力の消費度合が小さくなるように、情報送信処理を実行する。この構成によれば、携帯端末１１０は、バッテリ３０４の電力が無くなるのを防ぎながら（或いはバッテリ３０４の電力が無くなるまでの時間を長くしながら）、情報送信処理を継続できる。ＥＣＵ１０は、情報送信処理によって送信された端末側情報を用いて、覚醒状態判定処理を継続できる。 The second system having the above configuration has the following effects. The mobile terminal 110 changes the contents of the information transmission process according to whether the power of the battery 304 is likely to run out soon. Specifically, when it is estimated that the power of the battery 304 is likely to run out soon, the mobile terminal 110 consumes less power of the battery 304 than when the possibility is estimated to be low. As shown, the information transmission process is executed. According to this configuration, the mobile terminal 110 can continue the information transmission process while preventing the battery 304 from running out of power (or increasing the time until the battery 304 runs out of power). The ECU 10 can continue the arousal state determination process using the terminal-side information transmitted by the information transmission process.

（第２システムの変形例１）
ＥＣＵ１０は、第２条件が成立する場合、携帯端末１１０を充電することを促すメッセージを報知装置５１を用いて運転者ＤＲに対して通知してもよい。携帯端末１１０もまた、上記メッセージを運転者ＤＲに対して通知してもよい。 (Modification 1 of the second system)
When the second condition is satisfied, the ECU 10 may use the notification device 51 to notify the driver DR of a message prompting the mobile terminal 110 to be charged. The mobile terminal 110 may also notify the driver DR of the message.

（第２システムの変形例２）
第１実施形態と同様に、第１処理は、第２画像５００、操作情報及び第２加速度情報の中の少なくとも１つを取得する処理であってもよい。第２処理は、第１処理に比べてバッテリ３０４の電力の消費度合が小さくなる処理である限り、第２画像５００、操作情報及び第２加速度情報の中の少なくとも１つを取得する処理であってもよい。第３処理は、第２処理に比べてバッテリ３０４の電力の消費度合が小さくなる処理である限り、第２画像５００、操作情報及び第２加速度情報の中の少なくとも１つを取得する処理であってもよい。第４処理は、第３処理に比べてバッテリ３０４の電力の消費度合が小さくなる処理である限り、第２画像５００、操作情報及び第２加速度情報の中の少なくとも１つを取得する処理であってもよい。 (Modification 2 of the second system)
As in the first embodiment, the first process may be a process of acquiring at least one of the second image 500, operation information, and second acceleration information. The second process is a process of acquiring at least one of the second image 500, the operation information, and the second acceleration information, as long as the second process consumes less power of the battery 304 than the first process. may The third process is a process of acquiring at least one of the second image 500, the operation information, and the second acceleration information, as long as the process consumes less power of the battery 304 than the second process. may The fourth process is a process of acquiring at least one of the second image 500, the operation information, and the second acceleration information, as long as the process consumes less power of the battery 304 than the third process. may

（第２システムの変形例３）
ＥＣＵ１０は、第２条件が成立し且つ自動運転制御が長時間にわたって実行する可能性が高い場合、バッテリ３０４の電力の消費度合が最も小さくなる処理を情報送信処理として選択してもよい。 (Modification 3 of the second system)
The ECU 10 may select, as the information transmission process, the process in which the power consumption of the battery 304 is minimized when the second condition is satisfied and the automatic operation control is likely to be executed for a long period of time.

＜第３実施形態＞
次に、第３実施形態に係る覚醒状態判定システム（以下、「第３システム」と称呼される場合がある。）について説明する。本実施形態において、携帯端末１１０は、自動運転制御が終了される場合、自動運転制御の再開の可能性の高さに従って、監視アプリケーション３３０を継続させたり又は終了させたりする。 <Third Embodiment>
Next, an arousal state determination system (hereinafter sometimes referred to as a "third system") according to the third embodiment will be described. In this embodiment, the portable terminal 110 continues or terminates the monitoring application 330 according to the possibility of restarting the automatic operation control when the automatic operation control is terminated.

上述のように、図６のルーチンのステップ６１２にてＥＣＵ１０が自動運転制御を終了させると、携帯端末１１０はステップ６１４にて監視アプリケーション３３０を終了させる。このように、自動運転制御が実行されていない状況においては、バッテリ３０４の電力を減らさないという観点から、携帯端末１１０が監視アプリケーション３３０を終了させることが好ましい。 As described above, when the ECU 10 terminates the automatic driving control in step 612 of the routine of FIG. 6, the mobile terminal 110 terminates the monitoring application 330 in step 614. Thus, in a situation where automatic driving control is not being executed, it is preferable for the mobile terminal 110 to end the monitoring application 330 from the viewpoint of not reducing the power of the battery 304 .

しかし、自動運転制御が終了された後に比較的短い時間内に自動運転制御が再開される場合がある。このような例として、車両ＶＡが第１の渋滞区間を抜けた後に、車両ＶＡが第２の渋滞区間に比較的早く入ってしまう場合が挙げられる。別の例として、車両ＶＡが自動車専用道路を出た後に、比較的短い時間内に車両ＶＡが再び別の自動車専用道路に入る場合も挙げられる。これらの場合、図６のステップ６０３及びステップ６０４の処理が再び行われるので、運転者ＤＲが煩わしさを感じる。更に、監視アプリケーション３３０を再度起動するまでに時間がかかる。 However, the automatic operation control may be resumed within a relatively short time after the automatic operation control is ended. As such an example, there is a case where the vehicle VA enters the second congested section relatively early after the vehicle VA exits the first congested section. Another example is when vehicle VA exits a motorway and then re-enters another motorway within a relatively short time. In these cases, the processing of steps 603 and 604 in FIG. 6 is performed again, which annoys the driver DR. Furthermore, it takes time to restart the monitoring application 330 .

上記を考慮して、ＥＣＵ１０は、図６のステップ６１２にて、自動運転制御の再開の可能性を判定してもよい。ＥＣＵ１０は、自動運転制御の再開の可能性が低いと判定した場合、監視アプリケーション３３０を終了させる。これに対し、ＥＣＵ１０は、自動運転制御の再開の可能性が高いと判定した場合、監視アプリケーション３３０を継続させる。 Considering the above, the ECU 10 may determine the possibility of resuming the automatic driving control at step 612 in FIG. The ECU 10 terminates the monitoring application 330 when determining that the possibility of restarting the automatic operation control is low. On the other hand, the ECU 10 continues the monitoring application 330 when determining that the possibility of resuming the automatic operation control is high.

例えば、ＥＣＵ１０は、ナビゲーションＥＣＵ６０から車両ＶＡの目的地情報を取得してもよい。ＥＣＵ１０は、車両ＶＡの目的地情報に基づいて車両ＶＡが再び自動車専用道路に入ることを予定している場合、自動運転制御の再開の可能性が高いと判定する。 For example, the ECU 10 may acquire destination information of the vehicle VA from the navigation ECU 60 . Based on the destination information of the vehicle VA, the ECU 10 determines that the possibility of resuming the automatic driving control is high when the vehicle VA is planning to enter the motorway again.

例えば、ＥＣＵ１０は、通信ユニット８０を介して、ＶＩＣＳ（登録商標）から道路交通情報を受信してもよい。ＥＣＵ１０は、車両ＶＡが比較的短い時間内に再び渋滞区間に入る可能性が高い場合、自動運転制御の再開の可能性が高いと判定する。 For example, the ECU 10 may receive road traffic information from VICS (registered trademark) via the communication unit 80 . The ECU 10 determines that there is a high possibility that the automatic driving control will be restarted when the vehicle VA is likely to enter the congested section again within a relatively short period of time.

以上の構成を備える第３システムは、以下の効果を奏する。自動運転制御の再開の可能性が高いとき、運転者ＤＲが、情報送信処理を再開させるための操作（ステップ６０４の操作）を行う必要がない。運転者ＤＲが煩わしさを感じない。これにより、利便性が向上する。更に、自動運転制御が再開されたときに、ＥＣＵ１０は、端末側情報を用いて、すぐに覚醒状態判定処理を再開できる。 The third system having the above configuration has the following effects. When the possibility of restarting the automatic driving control is high, there is no need for the driver DR to perform the operation (operation of step 604) for restarting the information transmission process. The driver DR does not feel troublesome. This improves convenience. Furthermore, when the automatic driving control is restarted, the ECU 10 can immediately restart the awakening state determination process using the terminal-side information.

（第３システムの変形例１）
携帯端末１１０は、自動運転制御の再開の可能性が高いと判定したとき、監視アプリケーション３３０の稼働状態を変更してもよい。携帯端末１１０が、端末側情報として、第２画像５００、操作情報及び第２加速度情報を取得すると仮定する。携帯端末１１０は、自動運転制御の再開の可能性が高い場合、情報送信処理の中でバッテリ３０４の電力の消費度合が小さい処理を継続させ、情報送信処理の中でバッテリ３０４の電力の消費度合が大きい処理を終了させる。具体的には、携帯端末１１０は、操作情報及び第２加速度情報を取得する処理を継続させ、第２画像５００を取得する処理のみを終了させる。第２画像５００を取得する処理の負荷は、他の情報（操作情報及び第２加速度情報）を取得する処理の負荷に比べて大きい。従って、携帯端末１１０は、第２画像５００を取得する処理のみを終了させるので、バッテリ３０４の電力の残量が急激に減るのを抑えることができる。一方で、携帯端末１１０は、操作情報及び第２加速度情報を取得する処理を継続させるので、自動運転制御が再開されたときに、ＥＣＵ１０は、端末側情報（操作情報及び第２加速度情報）を用いて、すぐに覚醒状態判定処理を再開できる。更に、運転者ＤＲが、情報送信処理を再開させるための操作（ステップ６０４の操作）を行う必要がない。これにより、利便性が向上する。 (Modification 1 of the third system)
The mobile terminal 110 may change the operating state of the monitoring application 330 when determining that the possibility of restarting the automatic operation control is high. It is assumed that the mobile terminal 110 acquires the second image 500, operation information, and second acceleration information as terminal-side information. When the possibility of resuming the automatic operation control is high, the mobile terminal 110 continues the process in which the power consumption of the battery 304 is small in the information transmission process, and the power consumption level of the battery 304 in the information transmission process. Terminate the process with a large value. Specifically, the mobile terminal 110 continues the process of acquiring the operation information and the second acceleration information, and terminates only the process of acquiring the second image 500 . The processing load for acquiring the second image 500 is greater than the processing load for acquiring other information (operation information and second acceleration information). Therefore, since the mobile terminal 110 ends only the process of acquiring the second image 500, it is possible to prevent the remaining power of the battery 304 from rapidly decreasing. On the other hand, since the mobile terminal 110 continues the process of acquiring the operation information and the second acceleration information, when the automatic driving control is resumed, the ECU 10 acquires the terminal-side information (operation information and the second acceleration information). can be used to immediately restart the arousal state determination process. Furthermore, it is not necessary for the driver DR to perform an operation (operation of step 604) for resuming the information transmission process. This improves convenience.

（第３システムの変形例２）
携帯端末１１０は、自動運転制御の再開の可能性が高い場合、監視アプリケーション３３０を起動したままで、第２画像５００、操作情報及び第２加速度情報を取得する処理のみを停止させてもよい。バッテリ３０４の電力の残量の消費度合をより効果的に抑えることができる。 (Modification 2 of the third system)
When the possibility of restarting the automatic operation control is high, the mobile terminal 110 may stop only the process of acquiring the second image 500, the operation information, and the second acceleration information while the monitoring application 330 is activated. The degree of consumption of the remaining power of the battery 304 can be suppressed more effectively.

なお、本開示は上記実施形態に限定されることはなく、本開示の範囲内において種々の変形例を採用することができる。 The present disclosure is not limited to the above embodiments, and various modifications can be adopted within the scope of the present disclosure.

ＥＣＵ１０は、ドライバモニタカメラ７６によって取得された画像（即ち、第１画像）に基づいて条件Ｃ２が成立するか否かを判定してもよい。 The ECU 10 may determine whether or not the condition C2 is satisfied based on the image (that is, the first image) acquired by the driver monitor camera 76 .

携帯端末１１０が、図６のステップ６０７の処理を実行してもよい。この場合、携帯端末１１０は、ＥＣＵ１０から道路情報及び交通情報を取得する。 The mobile terminal 110 may execute the process of step 607 in FIG. In this case, the mobile terminal 110 acquires road information and traffic information from the ECU 10 .

自動運転ＥＣＵ１０と携帯端末１１０との間に他のＥＣＵが配置されてもよい。当該ＥＣＵが、運転者ＤＲが覚醒状態であるかを判定する処理を実行してもよい。 Another ECU may be arranged between the automatic driving ECU 10 and the mobile terminal 110 . The ECU may perform processing to determine whether the driver DR is in an awake state.

１０…自動運転ＥＣＵ、２０…エンジンＥＣＵ、３０…ブレーキＥＣＵ、４０…ステアリングＥＣＵ、５０…メータＥＣＵ、６０…ナビゲーションＥＣＵ、１００…自動運転装置、１１０…携帯端末。

DESCRIPTION OF SYMBOLS 10... Automatic driving ECU, 20... Engine ECU, 30... Brake ECU, 40... Steering ECU, 50... Meter ECU, 60... Navigation ECU, 100... Automatic driving apparatus, 110... Portable terminal.

Claims (7)

車両の運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置と、
前記運転者によって携帯され、バッテリを備える携帯端末であって、前記覚醒状態判定処理に使用される情報を前記携帯端末において取得するとともに当該取得された情報を端末側情報として前記制御装置に送信する情報送信処理を実行する携帯端末と、
を備え、
前記制御装置は、前記端末側情報を用いて、前記覚醒状態判定処理を実行するように構成され、
前記携帯端末は、
前記運転者を監視する重要性のレベルが所定のレベルよりも低い場合、
前記重要性のレベルが前記所定のレベルよりも高い場合に比べて前記バッテリの電力の消費度合が小さくなるように、前記情報送信処理を実行する
ように構成された、
覚醒状態判定システム。 a control device that executes an arousal state determination process for determining whether the driver of the vehicle is in an awake state;
A mobile terminal carried by the driver and equipped with a battery, wherein the mobile terminal acquires information used for the arousal state determination process and transmits the acquired information as terminal-side information to the control device. a mobile terminal that executes information transmission processing;
with
The control device is configured to execute the arousal state determination process using the terminal-side information,
The mobile terminal is
if the level of importance of monitoring the driver is lower than a predetermined level,
configured to execute the information transmission process so that the power consumption of the battery is smaller than when the level of importance is higher than the predetermined level,
Awakening state determination system. 請求項１に記載の覚醒状態判定システムにおいて、
前記携帯端末は、前記バッテリの前記電力が早く無くなる可能性が高いと推定される場合、
前記可能性が低いと推定される場合に比べて前記消費度合が小さくなるように、前記情報送信処理を実行する
ように構成された、
覚醒状態判定システム。 In the wakefulness determination system according to claim 1,
When the mobile terminal estimates that the power of the battery is likely to run out soon,
configured to execute the information transmission process so that the consumption degree is smaller than when the possibility is estimated to be low,
Awakening state determination system. 請求項１に記載の覚醒状態判定システムであって、
前記車両に搭載され、前記運転者を撮像する第１撮像部を更に備え、
前記携帯端末は、前記運転者を撮像する第２撮像部を備え、
前記制御装置は、
前記第１撮像部又は前記第２撮像部によって取得された画像に基づいて、前記運転者の覚醒度合を演算し、
前記覚醒度合に基づいて、前記重要性のレベルを判定する
ように構成された、
覚醒状態判定システム。 The arousal state determination system according to claim 1,
Further comprising a first imaging unit mounted on the vehicle for imaging the driver,
The mobile terminal includes a second imaging unit that images the driver,
The control device is
Based on the image acquired by the first imaging unit or the second imaging unit, calculating the degree of arousal of the driver,
configured to determine the level of importance based on the degree of arousal;
Awakening state determination system. 請求項１に記載の覚醒状態判定システムにおいて、
前記制御装置は、前記車両の運転操作を自動的に行う自動運転制御を実行するように構成され、
前記制御装置は、前記自動運転制御の実行中において、前記端末側情報を用いて、前記覚醒状態判定処理を実行するように構成された、
覚醒状態判定システム。 In the wakefulness determination system according to claim 1,
The control device is configured to perform automatic driving control that automatically performs driving operation of the vehicle,
The control device is configured to execute the arousal state determination process using the terminal-side information during execution of the automatic operation control,
Awakening state determination system. 請求項４に記載の覚醒状態判定システムにおいて、
前記制御装置は、前記自動運転制御が終了するまでの予測時間に基づいて、前記重要性のレベルを判定するように構成された、
覚醒状態判定システム。 In the arousal state determination system according to claim 4,
The control device is configured to determine the level of importance based on the predicted time until the automatic operation control ends.
Awakening state determination system. 請求項４に記載の覚醒状態判定システムにおいて、
前記携帯端末は、前記自動運転制御が終了される場合、
前記自動運転制御の再開の可能性が高いとき、前記情報送信処理を継続させ、
前記自動運転制御の再開の可能性が低いとき、前記情報送信処理を終了させる
ように構成された、
覚醒状態判定システム。 In the arousal state determination system according to claim 4,
When the mobile terminal terminates the automatic operation control,
When the possibility of resuming the automatic operation control is high, continue the information transmission process,
configured to end the information transmission process when the possibility of resuming the automatic operation control is low,
Awakening state determination system. 請求項６に記載の覚醒状態判定システムにおいて、
前記携帯端末は、前記自動運転制御の再開の可能性が高いとき、
前記情報送信処理の中で前記消費度合が小さい処理を継続させ、
前記情報送信処理の中で前記消費度合が大きい処理を終了させる
ように構成された、
覚醒状態判定システム。

In the arousal state determination system according to claim 6,
When the mobile terminal is likely to resume the automatic driving control,
Continuing the process with a small consumption degree in the information transmission process,
configured to end the process with a high consumption degree in the information transmission process;
Awakening state determination system.

Images