JP2020050077A - 車両の乗員監視装置、および乗員保護システム - Google Patents

車両の乗員監視装置、および乗員保護システム Download PDF

Info

Publication number
JP2020050077A
JP2020050077A JP2018180058A JP2018180058A JP2020050077A JP 2020050077 A JP2020050077 A JP 2020050077A JP 2018180058 A JP2018180058 A JP 2018180058A JP 2018180058 A JP2018180058 A JP 2018180058A JP 2020050077 A JP2020050077 A JP 2020050077A
Authority
JP
Japan
Prior art keywords
occupant
vehicle
imaging
collision
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018180058A
Other languages
English (en)
Inventor
中村 亮太
Ryota Nakamura
亮太 中村
淳平 時崎
Jumpei Tokizaki
淳平 時崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2018180058A priority Critical patent/JP2020050077A/ja
Priority to US16/439,952 priority patent/US11195035B2/en
Priority to CN201910562113.3A priority patent/CN110949303B/zh
Priority to DE102019122807.7A priority patent/DE102019122807A1/de
Publication of JP2020050077A publication Critical patent/JP2020050077A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Air Bags (AREA)
  • Studio Devices (AREA)

Abstract

【課題】車両において、乗員監視装置による撮像画像を用いて、衝突の際の乗員保護制御をさらに改善する。【解決手段】車両1に設けられたシート5に着座している乗員を監視する車両の乗員監視装置50は、シート5に着座している乗員へ向けて投光する投光デバイス54と、シート5に着座している乗員を撮像する撮像デバイス53と、投光デバイス54および撮像デバイス53を制御して、シート5に着座している乗員を撮像する処理部31と、を有する。撮像デバイス53は、車両1の衝突が予測される場合、車両1の衝突が予測されていない通常時の場合より高速に撮像する。【選択図】 図9

Description

本発明は、車両の乗員監視装置、および乗員保護システムに関する。
特許文献1、2は、車両に乗車している乗員を監視する乗員監視装置、を開示する。
特開平11−043009号公報 特開2015−140146号公報
ところで、衝突の際に乗員を撮像して乗員保護制御に活用することが考えられる。
しかしながら、車両の乗員監視装置は、一般的に、シートに着座している乗員の疲労度、居眠り、わき見などを検出して警告するために設けられている。
このため、車両の乗員監視装置は、シートに着座している乗員の上体を全体的に撮像し、その上体の動きなどにより乗員の状態を判断する。
また、車両の乗員監視装置は、数十ミリ秒から数百ミリ秒に1回程度の頻度で乗員を撮像すれば、十分に実用性が得られると考えられる。
しかしながら、乗員の上体を全体的に数十ミリ秒から数百ミリ秒に1回程度の頻度で撮像していたのでは、衝突の際において、乗員保護制御に対して十分に活用できるようにならない可能性がある。衝突の際の乗員保護制御においては、衝突検出から制御までの時間が短く、その短時間の間で処理が可能となるように即時性が要求される。
このように、車両では、乗員監視装置による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することが望まれている。
本発明に係る車両の乗員監視装置は、車両に設けられたシートに着座している乗員を監視する車両の乗員監視装置であって、前記シートに着座している乗員へ向けて投光する投光デバイスと、前記シートに着座している乗員を撮像する撮像デバイスと、前記投光デバイスおよび前記撮像デバイスを制御して、前記シートに着座している乗員を撮像する処理部と、を有し、前記撮像デバイスは、前記車両の衝突が予測される場合、前記車両の衝突が予測されていない通常時の場合より高速に撮像する。
好適には、前記処理部は、前記車両の衝突が予測される場合、前記車両の衝突が予測されていない通常の場合において実行している処理を停止して、前記撮像デバイスによる撮像画像について、シートに着座している乗員の頭部についての処理を実行する、とよい。
好適には、前記撮像デバイスは、シートに着座している乗員の上体を撮像する広域撮像状態と、シートに着座している乗員の頭部を撮像する狭域撮像状態と、で切り替え可能であり、前記処理部は、前記車両の衝突が予測されていない通常の場合、前記撮像デバイスによる撮像を、広域撮像状態とし、前記車両の衝突が予測される場合、前記撮像デバイスによる撮像を、狭域撮像状態に切り替える、とよい。
好適には、前記投光デバイスは、前記シートに着座している乗員の頭部へ向けて、非可視光を投光する、とよい。
本発明に係る車両の乗員保護システムは、上述したいずれかの車両の乗員監視装置と、前記乗員監視装置により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する乗員保護装置と、を有する。
好適には、前記乗員保護装置は、前記乗員監視装置により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、乗員保護制御を変更し、衝突が検出された場合、変更された乗員保護制御を実行する、とよい。
好適には、前記乗員保護装置は、前記乗員監視装置により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、エアバッグの展開開始タイミング、展開位置、展開向き、展開サイズ、展開速度、および展開時の硬さ、の中の少なくとも一つを変更する、とよい。
本発明において、車両の乗員監視装置は、車両に設けられたシートに着座している乗員を監視する。そして、シートに着座している乗員を撮像する撮像デバイスは、車両の衝突が予測される場合、車両の衝突が予測されていない通常時の場合より高速に撮像する。よって、たとえば処理部は、通常よりも短い時間間隔ごとに撮像される画像に基づいて、シートに着座している乗員の頭部の位置や挙動を、速やかにかつリアルタイムに特定することができる。
その結果、本発明では、撮像画像においてシートに着座した乗員の頭部の位置や挙動を、高速でリアルタイムに特定でき、乗員の頭部の位置や挙動を即時的に推定し得る。乗員保護装置は、車両の衝突が予測される場合には、衝突の際の制御に利用可能な程度に即時性が得られる高速での時間分解能によりリアルタイムに撮像された画像に基づいて、衝突の際の乗員の頭部の位置や動きを良好に予測でき、その位置や動きに対応するように乗員保護制御を実行可能になる。乗員監視装置を用いたことにより期待し得る良好な乗員保護制御を実行することが可能になる。このように、本発明では、乗員監視装置による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することが可能になる。
図1は、本発明の実施形態に係る自動車における乗員保護の説明図である。 図2は、図1の自動車での乗員についての左右方向への挙動の説明図である。 図3は、図1の自動車での乗員についての斜め前方向への挙動の説明図である。 図4は、図1の自動車に設けられる、乗員保護システムとしての車両制御システムの説明図である。 図5は、図1の自動車に設けられる乗員監視装置の説明図である。 図6は、図1の自動車に設けられる乗員保護装置の説明図である。 図7は、第一実施形態での、図5の監視制御部による通常時の処理を示すフローチャートである。 図8は、図3の運転支援装置の支援制御部の処理を示すフローチャートである。 図9は、図5の監視制御部による衝突予測時の処理を示すフローチャートである。 図10は、投光デバイスの点灯制御と、車内撮像デバイスの撮像制御との関係を示す説明図である。 図11は、図6の保護制御部による処理を示すフローチャートである。 図12は、本発明の第二実施形態に係る車内撮像デバイスによる乗員の撮像状態の説明図である。 図13は、第二実施形態での、図5の監視制御部による通常時の処理を示すフローチャートである。
以下、本発明の実施形態を、図面に基づいて説明する。
[第一実施形態]
図1は、本発明の実施形態に係る自動車1における乗員保護の説明図である。図1には、車外を撮像する車内撮像デバイス53が図示されている。
自動車1は、人が乗車して移動する自動車1の一例である。自動車1には、この他にもたとえば、大型車、二輪車、パーソナルモビリティ、自転車、鉄道車両、飛行機、ボート、などがある。
図1の自動車1は、車体2、車体2の前後に設けられる車輪3、車体2の乗員室4に設けられるシート5、シート5の前に設けられるダッシュボード6、ダッシュボード6から後へ突出して設けられるハンドル7、などを有する。
このような自動車1では、車体2の乗員室4に乗車した乗員は、シート5に着座する。また、乗員は、ハンドル7などを操作する。自動車1は、図示外のエンジンやモータの駆動力により、乗員の操作にしたがって走行する。
また、自動車1は、たとえば目的地が設定されることにより、目的地までの経路を案内したり、目的地まで経路をたどって自動走行したりする。
図2は、図1の自動車1での乗員についての左右方向への挙動の説明図である。
図2は、図1の自動車1を前から見た図であり、左右に並ぶ一対のシート5に、二人の乗員が乗車している。シート5に着座する乗員の上体は、自動車1のたとえば右左折の際にシート5の上で左右へ傾くことがある。
図3は、図1の自動車1での乗員についての斜め前方向への挙動の説明図である。
図3は、図1の自動車1を上から見た図であり、左右に並ぶ一対のシート5に、二人の乗員が乗車している。シート5に着座する乗員の上体は、自動車1のたとえば制動時などにおいて斜め前へ傾くことがある。
また、図1に示すように、シート5に着座する乗員の上体は、自動車1のたとえば制動時などにおいて前へ傾くことがある。
過大な加速度が作用しない場合には、これらの乗員の上体の挙動は、問題とならない。
しかしながら、たとえば衝突の際には、衝突時の過大な衝撃により、乗員の上体は、シート5から外へはみ出すように大きく傾くことになる。
このため、自動車1では、シート5に着座する乗員の上体を支持するために、図1に示すように、エアバック部材70や、シートベルト部材71といった乗員保護装置60が用いられる。
シートベルト部材71は、シート5に着座する乗員の前にかけ渡されるベルトを有する。シートベルト部材71は、衝突の際にベルトアクチュエータ63を動作させて、ベルトにテンションを加える。これにより、衝突の際に、シート5に着座する乗員の上体は、ベルトにより支えられ、それ以上にシート5からはみ出すように移動し難くなる。
エアバック部材70は、衝突の際にインフレータで発生させたガスによりエアバック64を展開する。図1では、エアバック64は、ハンドル7の後側、すなわちシート5に着座する乗員の上体の前正面で展開している。これにより、シート5から前へ倒れようとする乗員の上体は、エアバック64に当たる。エアバック64は、乗員の荷重により変形し、乗員の上体に作用している運動エネルギを吸収する。
これらの乗員保護装置60により、自動車1は、衝突の際にも乗員を保護することが可能になる。
ところで、自動車1の衝突の際に、乗員を撮像して乗員保護制御に活用することが考えられる。
しかしながら、自動車1の乗員監視装置50は、一般的に、シート5に着座している乗員の疲労度、居眠り、わき見などを検出して警告するために設けられている。
このため、自動車1の乗員監視装置50は、シート5に着座している乗員の上体を全体的に撮像し、その上体の動きなどにより乗員の状態を判断する。
また、自動車1の乗員監視装置50は、一般的の動画と同様に、数十ミリ秒から数百ミリ秒に1回程度の頻度で乗員を撮像すれば、十分に実用性が得られると考えられる。
しかしながら、乗員の上体を全体的に数十ミリ秒から数百ミリ秒に1回程度の頻度で撮像していたのでは、衝突の際において、乗員保護制御に対して十分に活用できるようにならない可能性がある。衝突の際の乗員保護制御においては、衝突検出から制御までの時間が短く、その短時間の間で処理が完了できるように即時性が要求される。
このように、自動車1では、乗員監視装置50による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することが望まれている。
図4は、図1の自動車1に設けられる、乗員保護システムとしての車両制御システム10の説明図である。
図4の車両制御システム10は、車速センサ11、加速度センサ12、表示デバイス13、操作デバイス14、スピーカデバイス15、車外撮像デバイス16、無線通信デバイス17、システムタイマ18、メモリデバイス19、ECU(Electronic Control Unit)20、およびこれらが接続される車内ネットワーク21、を有する。
車内ネットワーク21は、たとえばCAN(Controller Area Network)、LIN(Local Interconnect Network)に準拠した有線の通信ネットワークがある。車内ネットワーク21に接続される機器は、車体2の各部に分散して配置され、車内ネットワーク21を通じてデータを送受する。なお、車内ネットワーク21に接続される機器は、車内ネットワーク21を通じてデータを送受するためのCPU(Central Processing Unit)を個別に備えて、各々が装置として構成されてよい。
車速センサ11は、自動車1の車体2の移動などによる速度を検出して車内ネットワーク21へ出力する。
加速度センサ12は、自動車1の車体2に作用する加速度を検出して車内ネットワーク21へ出力する。なお、車体2に対する複数の方向からの衝撃入力を検出しようとする場合、加速度センサ12は自動車1に複数で設けられ、車体2の外周面の近くに分散して設けるとよい。
表示デバイス13は、車内ネットワーク21から表示データを取得し、表示データに基づく画像を表示する。
操作デバイス14は、乗員に操作されるために乗員室4などに設けられる。操作デバイス14は、たとえば、ハンドル7、シフトレバー、ブレーキペダル、を有する。
スピーカデバイス15は、車内ネットワーク21から音データを取得し、音データに基づく音を出力する。
車外撮像デバイス16は、自動車1の乗員室4などに設けられ、自動車1の周囲を撮像して画像データを車内ネットワーク21へ出力する。車外撮像デバイス16は、たとえば図1に示すように乗員室4の天井の近くにおいて前向きに設けられる。この場合、車外撮像デバイス16は、自動車1の前方を撮像する。
無線通信デバイス17は、車内ネットワーク21に接続されていない、たとえば自動車1の外に存在する他の車両、基地局、ビーコン装置などとの間で無線通信し、データを送受する。
システムタイマ18は、時間や時刻を計測する。システムタイマ18は、計測した時間や時刻を、車内ネットワーク21を通じて、車内ネットワーク21に接続される機器へ出力する。これにより、車内ネットワーク21に接続される複数の機器は、システムタイマ18のたとえば計測時刻により同期的に動作することができる。
メモリデバイス19は、ECU20が車両の制御に使用するプログラムおよびデータを記録する。メモリデバイス19は、たとえば半導体メモリ、ハードディスクデバイス、でよい。
ECU20は、たとえばワンチップマイクロコンピュータ装置などの、CPUを備えるコンピュータ装置である。ワンチップマイクロコンピュータ装置は、CPUとともに、システムタイマ18、メモリデバイス19、を内蔵してよい。ECU20は、メモリデバイス19に記録されているプログラムを読み込んで実行する。これにより、ECU20には、自動車1の全体の動作を制御する制御部、が実現される。なお、ECU20は、自動車1に複数で設けられてよい。この場合、複数のECU20は、互いに強調して動作することにより制御部として機能する。
図4には、ECU20に実現される制御部の機能として、乗員の監視制御部31、走行の支援制御部32、乗員などの保護制御部33、通信制御部34、空調制御部35、が図示されている。
通信制御部34は、無線通信デバイス17によるデータ通信を管理し、無線通信デバイス17とともに自動車1の無線通信装置を構成する。通信制御部34は、無線通信デバイス17を用いて、たとえば図示外の交通システムのサーバ装置、および交通システムに対応する他の車両との間で、自動車1の走行などを制御するためのデータを送受する。
空調制御部35は、自動車1の乗員室4などの空調を制御する。
走行の支援制御部32は、図3の車外撮像デバイス16および支援メモリ41とともに、自動車1の走行支援装置40を構成する。支援メモリ41は、たとえばメモリデバイス19の一部に設けられてよい。支援制御部32は、支援メモリ41の設定に基づいて、車外撮像デバイス16による車外の撮像画像から、自動車1の周囲に存在する他の車両、歩行者、自転車、外壁などの構造物を抽出し、抽出した各物体との距離および方向についての情報を生成する。支援制御部32は、抽出した物体および物体の進路と交差したり近接したりしないように自車の進路を生成し、その進路に沿って自車が走行するように自動車1の移動を制御する。その間に乗員によりたとえばハンドル7などの操作デバイス14が操作された場合、その操作デバイス14の操作による進路を補完した進路により走行するように自動車1の移動を支援する。
また、支援制御部32は、後述する図9の処理により、他の車両などとの衝突がさけられない可能性を判断し、その可能性が高い場合には、衝突を予測する。
図5は、図1の自動車1に設けられる乗員監視装置50の説明図である。
図5の乗員監視装置50は、図4の乗員の監視制御部31とともに、監視メモリ51、光学ユニット52、を有する。乗員監視装置50は、自動車1に設けられたシート5に着座している乗員を監視する。
光学ユニット52は、図5および図2に示すように、乗員室4のダッシュボード6の中央部分に後向きに設けられる。光学ユニット52は、車内撮像デバイス53、一対の投光デバイス54、を有する。
車内撮像デバイス53は、乗員室4のダッシュボード6の中央部分において、後向きに設けられる。車内撮像デバイス53は、図2の一点鎖線枠に示すように、乗員室4において車幅方向に並べて乗員ごとに設けられる左右一対のシート5に着座する二人の乗員の上体を全体的に撮像する。車内撮像デバイス53は、通常時は、一般的の動画と同様にたとえば30フレーム毎秒で撮像する。車内撮像デバイス53は、通常時において数十ミリ秒から数百ミリ秒に1回程度の頻度で乗員を撮像する。また、車内撮像デバイス53は、最大で通常時よりも高いたとえば120フレーム毎秒で撮像できるものでよい。
各投光デバイス54は、乗員室4のダッシュボード6の中央部分において、後向きに設けられる。各投光デバイス54は、図2の二点鎖線枠に示すように、各シート5に着座して車内撮像デバイス53により撮像される乗員の上体の全体に対して、たとえば赤外線などによる非可視光を投光する。投光デバイス54は、乗員の頭部の顔を撮像するために、シート5についての着座位置より前に設けられる。
監視メモリ51は、たとえばメモリデバイス19の一部に設けられてよい。監視メモリ51は、乗員を監視するための設定データ58などを記録する。
監視制御部31は、通常の走行中に、後述する図7に示すように、監視メモリ51の設定データ58に基づいて、投光デバイス54および車内撮像デバイス53を制御し、車内撮像デバイス53による車内の撮像画像から、シート5に着座している乗員の上体の位置および動きを判断し、その上体の位置および動きにより乗員の居眠り、わき見などを判断する。乗員が居眠り、わき見などをしている場合、監視制御部31は、表示デバイス13およびスピーカデバイス15を用いて、警告を出力する。監視制御部31は、撮像画像から、乗員の顔の向きや眼球の動きを判断し、それらに応じて居眠り、わき見などの警告を出力してもよい。
また、監視制御部31は、衝突が予測されている場合には、後述する図9の処理により衝突予想時の乗員を保護するための乗員監視制御を実行する。
図6は、図1の自動車1に設けられる乗員保護装置60の説明図である。
図6の乗員保護装置60は、図4の乗員などの保護制御部33とともに、保護メモリ61、複数のシートベルト62、複数のベルトアクチュエータ63、複数のエアバック64、複数のベース部材65、複数のエアバックアクチュエータ(ABアクチュエータ)66、複数のインフレータ67,68、を有する。
一組のシートベルト62、およびベルトアクチュエータ63は、一つのシートベルト部材71を構成する。
一組のエアバック64、ベース部材65、エアバックアクチュエータ66、第一インフレータ67、および第二インフレータ68は、一つのエアバック部材70を構成する。
すなわち、図6には、左右一対のシート5に対応するように、二組のシートベルト部材71と、二組のエアバック部材70と、が図示されている。
シートベルト62は、シート5に着座した乗員の腰部および上体の前に掛け渡されるベルトである。
ベルトアクチュエータ63は、シートベルト62に対して、可変可能なテンションを加える。テンションが加えられたシートベルト62は、乗員の腰部および上体をシート5に押し付けるように機能し得る。
エアバック64は、高圧ガスにより瞬時に展開する袋体である。
第一インフレータ67、および第二インフレータ68は、エアバック64に注入する高圧ガスを発生する。第一インフレータ67および第二インフレータ68をともに動作させる場合、エアバック64は、高い圧力で展開し得る。第一インフレータ67または第二インフレータ68を動作させる場合、エアバック64は、低い圧力で展開し得る。第一インフレータ67の動作開始タイミングと第二インフレータ68の動作開始タイミングとをずらすことにより、それらがそろっている場合とは異なる圧力変化でエアバック64を展開できる。
ベース部材65には、エアバック64が取り付けられ、エアバック64を折りたたんで収納する。なお、第一インフレータ67および第二インフレータ68も、ベース部材65に設けられてよい。
エアバックアクチュエータ66は、ベース部材65を駆動し、ベース部材65の位置または向きを調整する。ベース部材65がたとえば車幅方向、前後方向、上下方向へ移動可能に車体2に取り付けられている場合、エアバックアクチュエータ66は、ベース部材65をスライド駆動してその位置を調整する。
ベース部材65が取り付け位置において回転可能に設けられている場合、エアバックアクチュエータ66は、ベース部材65を回転駆動してその向きを調整する。
保護メモリ61は、たとえばメモリデバイス19の一部に設けられてよい。保護メモリ61は、乗員を保護するための設定データ69などを記録する。
乗員などの保護制御部33は、加速度センサ12、図1に示すようにエアバック部材70およびシートベルト部材71とともに、自動車1の乗員保護装置60を構成する。保護制御部33は、メモリデバイス19の設定に基づいて、加速度センサ12が衝突の衝撃に対応する閾値を超える加速度を検出したと判断すると、乗員などの保護制御を実行する。保護制御部33は、乗員を保護するために、エアバック部材70のエアバック64を展開し、シートベルト部材71のシートベルト62にテンションを加える。
また、保護制御部33は、自動車1の衝突が予測される場合、乗員監視装置50により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する。
図7は、第一実施形態での、図5の監視制御部31による通常時の処理を示すフローチャートである。
監視制御部31は、乗員が自動車1に乗ることにより図4の車両制御システム10の電源が投入された場合に、図7の処理を繰り返し実行する。
図7の通常の監視制御のステップST1において、監視制御部31は、乗員が乗車したか否かを判断する。監視制御部31は、乗員が乗車したと判断するまで、ステップST1の乗車判断を繰り返す。
乗員が乗車してシート5に着座すると、車内撮像デバイス53は、周期的に繰り返す撮像により、シート5に着座した乗員を撮像し始める。
ステップST2において、監視制御部31は、たとえば監視メモリ51に記憶されている乗員の設定データ58を用いて、車内撮像デバイス53により撮像される画像に映る乗員の顔を識別する。
ステップST3において、監視制御部31は、たとえば監視メモリ51に記憶されている乗員の設定データ58を用いて、識別した乗員に対応する設定処理を実行する。監視制御部31は、認識した乗員の識別番号または設定データを、車内ネットワーク21へ出力する。これにより、たとえば、操作デバイス14が認識された乗員がハンドル7などを過去の設定位置に調整したり、支援制御部32が認識された乗員の過去の運転履歴に対応する運転支援用の設定をしたり、保護制御部33が認識された乗員に対応する保護制御用の設定をしたり、空調装置が認識された乗員が過去にした設定により空調動作を開始したりする。
以上の乗車時の設定処理の後、支援制御部32は、乗員の監視を開始する。
ステップST4において、監視制御部31は、投光デバイス54を通常の投光制御により点灯させる。通常の投光では、監視制御部31は、投光デバイス54を、長期にわたって連続的に点灯可能な定常出力の明るさで、間欠的に点灯させる。投光デバイス54は、間欠的な点灯により、乗員の上体の全体に対して赤外線を広角に投光し始める。
ステップST5において、監視制御部31は、車内撮像デバイス53により、シート5に着座した乗員を撮像する。車内撮像デバイス53は、通常の撮像速度で、シート5に着座した乗員を撮像する。
ステップST6において、監視制御部31は、撮像画像に映る乗員の状態に基づいて、警告が必要であるか否かを判断する。監視制御部31は、撮像画像での乗員の上体の位置および動きなどを特定し、特定した上体の位置および動きなどにより乗員の居眠り、わき見などを判断する。そして、乗員が居眠り、わき見などをしていない場合、監視制御部31は、警告が不要であると判断し、処理をステップST8へ進める。乗員が居眠り、わき見などをしている場合、監視制御部31は、警告が必要であると判断し、処理をステップST7へ進める。
ステップST7において、監視制御部31は、乗員に対して注意喚起のための警告処理を実行する。監視制御部31は、たとえば表示デバイス13に警告を表示するとともに、スピーカデバイス15から警告音を出力する。
ステップST8において、監視制御部31は、乗員が降車したか否かを判断する。監視制御部31は、車内撮像デバイス53により撮像される画像に乗員が映らなくなると、乗員が降車したと判断する。乗員が降車していない場合、監視制御部31は、処理をステップST5へ戻す。監視制御部31は、降車していない乗員についての上述した監視を、次の車内撮像デバイス53の撮像画像に基づいて繰り返し実行する。乗員が降車した場合、監視制御部31は、図7の処理を終了する。
図8は、図3の運転支援装置の支援制御部32の処理を示すフローチャートである。
支援制御部32は、自動車1が走行または停車している期間において、図8の処理を繰り返し実行する。
図8の運転支援制御のステップST11において、支援制御部32は、自車および周辺情報を取得する。支援制御部32は、たとえば、車外撮像デバイス16の撮像画像、通信制御部34が交通システムから取得する他の車両の移動データ、車速センサ11の速度、加速度センサ12の加速度、支援制御部32による進路、経路情報などを取得する。
ステップST12において、支援制御部32は、自車の走行について取得した情報に基づいて、自車の進路を生成する。支援制御部32は、たとえば、自車の経路情報に基づいて直近の進路を生成する。
ステップST13において、支援制御部32は、他の車両などの他の移動体と自車との衝突可能性を判断する。支援制御部32は、たとえば、撮像画像または移動データから他の移動体の進路を生成し、自車の直近の進路との交差または近接を判断する。そして、自車の直近の進路と他の移動体の進路とが交差または近接する場合、支援制御部32は、衝突可能性ありと判断し、処理をステップST14へ進める。自車の直近の進路と他の移動体の進路とが交差または近接しない場合、支援制御部32は、衝突可能性なシート5判断し、処理をステップST15へ進める。
ステップST14において、支援制御部32は、ステップST12において生成した進路を、他の移動体の進路と交差したり近接したりし難くなるように更新する。支援制御部32は、たとえば進路の途中で加減速したり、停車したりするように、生成した進路を更新する。
ステップST15において、支援制御部32は、生成または更新された進路により、自車の走行を制御する。支援制御部32は、生成された進路より、更新された進路を優先する。自動運転により走行している場合、支援制御部32は、生成または更新された進路にしたがって走行するように、自車を走行させる。乗員がハンドル7などの操作デバイス14を操作する場合、支援制御部32は、操作量を生成または更新された進路により調整し、自車を走行させる。
ステップST16において、支援制御部32は、制御した走行での衝突についての回避可能性を判断する。支援制御部32は、車外撮像デバイス16の最新の撮像画像などの自車センサによる情報を取得し、他の移動体との衝突の回避可能性を判断する。自車は、通常は、ステップST14により回避するように更新された進路にしたがって自車が移動しているため、他の移動体との衝突は回避可能である。ただし、たとえば他の移動体が予想を超える動きをした場合には、更新された進路にしたがって自車が移動していたとしても、衝突してしまう可能性がある。支援制御部32は、たとえば撮像画像に映る他の移動体についての相対的な移動により、回避可能性を判断する。このようにステップST16における回避可能性の判断は、ステップST14における衝突可能性の予測判断よりも厳しい判断であり、衝突が実際に発生するか否かの可能性について判断するものである。回避可能性がない場合、支援制御部32は、処理をステップST17へ進める。回避可能性がある場合、支援制御部32は、処理をステップST18へ進める。
ステップST17において、支援制御部32は、車内ネットワーク21へ衝突予測を出力する。その後、支援制御部32は、図8の運転支援制御を終了する。
ステップST18において、支援制御部32は、車内ネットワーク21へ衝突予測解除を出力する。その後、支援制御部32は、図8の運転支援制御を終了する。
以上の処理により、支援制御部32は、衝突が実際に発生すると判断した場合に、ステップST17において衝突予測を出力する。衝突が実際に発生すると判断しない場合には、支援制御部32は、ステップST18において衝突予測解除を出力する。
図9は、図5の監視制御部31による衝突予測時の処理を示すフローチャートである。
監視制御部31は、ステップST17による衝突予測を受信した場合、図9の処理を実行する。監視制御部31は、ステップST17による衝突予測を新たに受信するたびに、図9の処理を繰り返し実行する。
監視制御部31は、図9の処理により、車内撮像デバイス53による撮像画像から、シート5に着座している乗員の頭部を撮像している部分を抽出し、抽出した部分画像についての画像処理を実行する。
図9の衝突予測時の処理のステップST21において、監視制御部31は、ステップST17で出力される衝突予測を取得する。
衝突予測を取得すると、監視制御部31は、衝突時の乗員を保護するための乗員監視制御を開始する。
ステップST22において、監視制御部31は、自動車1の衝突が予測されていない通常の場合において実行している他の通常処理を停止する。監視制御部31は、たとえば図7の処理などを停止する。これにより、監視制御部31は、図9の衝突予測時の処理のみを実行する単独モードで動作する。
ステップST23において、監視制御部31は、投光デバイス54による投光を切り替える。
具体的には、監視制御部31は、投光デバイス54を通常出力での間欠点灯から、最大出力での連続点灯へ切り替える。最大出力の点灯とは、投光デバイス54の最大能力での点灯をいい、発熱などの影響によって長期にわたって連続的に点灯することができなかったが、たとえば数分程度の短期的であれば連続的に点灯することができる程度に、高出力での点灯でよい。投光デバイスは、通常時の点滅における最大輝度よりも明るく連続的に光ることになる。
また、監視制御部31は、乗員の頭部へ照射する光量を増やすために、さらなる投光の切替制御を実行してよい。
たとえば、監視制御部31は、投光デバイス54を、それによる投光エリアが狭くなるように、シート5に着座した乗員の上体の全体に対して広角に投光する状態から、乗員の頭部の周囲へ挟角に投光する状態に切り替えてよい。
これらの乗員の頭部へ照射する光量を増やすための切替制御により、投光デバイス54は、自動車1の衝突が予測される場合には、車内撮像デバイス53により撮像される乗員の頭部へ向けて、通常時よりも投光エリアを絞った強い光を照射することができる。
また、投光デバイス54が連続的に点灯するため、投光デバイス54の光量は、車内撮像デバイス53の撮像と同期させるために制限されなくなる。
ステップST24において、監視制御部31は、車内撮像デバイス53の撮像動作を切り替えて、車内撮像デバイス53を、通常時よりも高いたとえば最大のフレームレートにより動作させる。車内撮像デバイス53は、自動車1の衝突が予測される場合、自動車1の衝突が予測されていない通常時の場合より高速に撮像する。
ステップST25において、監視制御部31は、車内撮像デバイス53の撮像画像から、連続した強い光が照射されている乗員の頭部の撮像範囲に相当する部分画像を切り出して抽出する。頭部の撮像範囲は、たとえばシート5の上部を基準として予め定められた範囲でよい。
ステップST26において、監視制御部31は、切り出した部分画像を用いて、頭部の位置および動きを特定する。
たとえば、監視制御部31は、切り出した部分画像における頭部の撮像位置により、乗員室4における頭部の位置を特定する。監視制御部31は、複数の部分画像の頭部の撮像位置の変化により、乗員室4における頭部の動きを特定する。監視制御部31は、特定した頭部の位置から特定した頭部の動き方向へ、特定した頭部の動き量に応じた速度で線形的に移動するとして、乗員室4における頭部の挙動を予測する。
ステップST27において、監視制御部31は、特定した頭部の挙動に基づく頭部の挙動情報を、車内ネットワーク21へ出力する。監視制御部31は、予測した乗員室4における頭部の挙動のデータを、挙動情報として、車内ネットワーク21へ出力する。
ステップST28において、監視制御部31は、衝突予測が解除されたか否かを判断する。
監視制御部31は、ステップST18で出力される衝突予測解除を取得していない場合、衝突予測が解除されていないと判断し、処理をステップST25へ戻す。監視制御部31は、衝突予測が解除されるまで、ステップST25からステップST28の処理を繰り返し、最新の頭部の部分画像に基づく挙動情報を、繰り返し出力する。
監視制御部31は、ステップST18で出力される衝突予測解除を取得すると、処理をステップST29へ進める。
ステップST29において、監視制御部31は、ステップST22で停止した通常処理を再開する。
ステップST30において、監視制御部31は、ステップST23で切り替えた投光デバイス54の投光状態を通常の投光状態へ戻す。投光デバイス54は、通常出力での間欠点灯を開始する。
ステップST31において、監視制御部31は、ステップST24で切り替えた車内撮像デバイス53の撮像動作を通常状態へ戻す。車内撮像デバイス53は、通常時のフレームレートによる動作を開始する。
その後、監視制御部31は、図9の衝突予測時の処理を終了する。これにより、監視制御部31は、図7の処理などを実行する通常モードで動作する。
図10は、投光デバイス54の点灯制御と、車内撮像デバイス53の撮像制御との関係を示す説明図である。
図10(A)は、通常時での対応関係を示す。図10(A)では、車内撮像デバイス53は、通常の撮像周期ごとに、撮像期間において画像を撮像する。投光デバイス54は、撮像周期ごとに、撮像期間の一部において間欠的に点灯する。この場合、投光デバイス54の点灯期間は、車内撮像デバイス53の撮像期間に含まれるため、乗員をはっきりと撮像するために有効に利用される。
図10(B)は、車内撮像デバイス53での高速撮像のために撮像周期を短くするとともに、それに対応するように投光デバイス54の間欠的な点灯周期を短くする比較例である。このように車内撮像デバイス53の撮像周期および撮像期間と比例するように、投光デバイス54の点灯周期および点灯期間を変化させた場合、車内撮像デバイス53は高速で撮像することができるが、撮像期間中の点灯期間が短くなり、乗員をはっきりと撮像することが難しい。通常時の場合よりも乗員が暗く撮像されてしまう可能性が高い。
図10(C)は、本実施形態のように、車内撮像デバイス53での高速撮像のために撮像周期を短くするとともに、投光デバイス54を連続点灯させる場合の例である。このように投光デバイス54を連続点灯させることにより、車内撮像デバイス53の短い撮像期間の全期間において、投光デバイス54は、乗員に対して投光することができる。車内撮像デバイス53は、撮像期間を短くしたとしても、乗員をはっきりと撮像することができる。
図11は、図6の保護制御部33による処理を示すフローチャートである。
乗員の保護制御部33は、ステップST17による衝突予測を受信した場合、図11の処理を実行する。保護制御部33は、ステップST17による衝突予測を新たに受信するたびに、図11の処理を繰り返し実行する。
図11の乗員保護処理のステップST41において、保護制御部33は、ステップST17で出力される衝突予測を取得したか否かを判断する。
衝突予測を取得していない場合、保護制御部33は、図11の乗員保護処理を終了する。
衝突予測を取得している場合、保護制御部33は、処理をステップST42に進める。
ステップST42において、保護制御部33は、ステップST24において出力される最新の挙動情報を取得する。
ステップST43において、保護制御部33は、取得した最新の挙動情報に基づいて、保護メモリ61の設定データ69を変更する。
保護制御部33は、たとえば、挙動情報に含まれる乗員の頭部の挙動予測に基づいて、ベルトアクチュエータ63の作動開始タイミング、第一インフレータ67の動作の有無の設定、第一インフレータ67の作動開始タイミング、第二インフレータ68の有無の設定、第二インフレータ68の作動開始タイミング、などについての設定データ69を更新する。
また、保護制御部33は、挙動情報に含まれる乗員の頭部の位置および挙動予測に基づいて、衝突の衝撃により乗員の頭部が倒れる方向においてエアバックが展開するように、エアバックアクチュエータ66によりベース部材65を駆動する。
これにより、保護制御部33は、乗員監視装置50により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、乗員保護制御の設定を変更することができる。保護制御部33は、乗員監視装置50により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、エアバック64の展開開始タイミング、展開位置、展開向き、展開サイズ、展開速度、および展開時の硬さ、についての設定を変更できる。
ステップST44において、保護制御部33は、衝突が予測されていることに基づく、衝突検出前の事前制御を実行する。
事前制御において、保護制御部33は、たとえば、ベルトアクチュエータ63を作動させてシートベルト62を引き込み、シートベルト62を乗員に密着させる。
ステップST45において、保護制御部33は、衝突を検出したか否かを判断する。保護制御部33は、たとえば、加速度センサ12により衝突の衝撃に対応する過大な加速度が検出されたか否かに基づいて、衝突を検出したか否かを判断する。
衝突を検出していない場合、保護制御部33は、ステップST46において、ステップST18による衝突予測が解除されたか否かを判断する。衝突予測が解除されている場合、保護制御部33は、図11の乗員保護処理を終了する。衝突予測が解除されていない場合、保護制御部33は、処理をステップST42に戻す。保護制御部33は、衝突の検出または衝突予測の解除のいずれかを判断するまで、ステップST42からステップST46までの処理を繰り返す。保護制御部33は、たとえば衝突の直前まで、乗員の頭部の挙動に応じて設定を変更し、事前制御を実行する。
衝突を検出している場合、保護制御部33は、ステップST47において、変更された設定において乗員保護制御を実行する。
衝突時制御において、保護制御部33は、設定に応じて、たとえばベルトアクチュエータ63によりシートベルト62にテンションを加える。保護制御部33は、設定に応じて、第一インフレータ67および第二インフレータ68を作動させる。これにより、エアバック64が展開する。衝突の際に乗員の運動エネルギは、シートベルト62およびエアバック64により吸収され得る。
以上のように、本実施形態において、自動車1の乗員監視装置50は、通常の走行中に、自動車1に設けられたシート5に着座している乗員を監視する。そして、シート5に着座している乗員を撮像する車内撮像デバイス53は、自動車1の衝突が予測される場合、乗員保護制御のために、自動車1の衝突が予測されていない通常時の場合より高速に撮像する。よって、本実施形態では、通常時よりも短い時間間隔ごとに撮像される画像に基づいて、シート5に着座している乗員の頭部の位置や挙動を、速やかにかつリアルタイムに特定することができる。
その結果、本実施形態では、撮像画像においてシート5に着座した乗員の頭部の位置や挙動を、高速でリアルタイムに特定でき、乗員の頭部の位置や挙動を即時的に推定し得る。乗員保護装置60は、自動車1の衝突が予測される場合には、衝突の際の制御に利用可能な程度に即時性が得られる高速での時間分解能によりリアルタイムに撮像された画像に基づいて、衝突の際の乗員の頭部の位置や動きを良好に予測でき、その位置や動きに対応するように乗員保護制御を実行可能になる。乗員監視装置50を用いたことにより期待し得る良好な乗員保護制御を実行することが可能になる。
このように、本実施形態では、乗員監視装置50による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することが可能になる。
本実施形態では、自動車1の衝突が予測される場合、自動車1の衝突が予測されていない通常の場合において実行している処理を停止して、車内撮像デバイス53による撮像画像について、シート5に着座している乗員の頭部を撮像している部分についての処理のみを実行する。よって、本実施形態では、衝突予測時には、他の処理により阻害されることなく、通常時よりも高速の撮像による多くの枚数の撮像画像を処理を実行することが可能になる。本実施形態では、自動車1の衝突が予測される場合において通常より多くの枚数で撮像される画像について、リアルタイム性を損なわないように、適切に処理することができる。
本実施形態では、投光デバイス54は、シート5に着座している乗員の頭部へ向けて、赤外線による非可視光を投光する。よって、頭部に対して集められた強い光が照射されたとしても、乗員による視認を妨げ難くできる。
本実施形態では、乗員保護装置60は、乗員監視装置50により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、乗員保護制御の設定を変更し、衝突が検出された場合、変更された設定において乗員保護制御を実行する。
乗員保護装置60は、たとえば、エアバック64の展開開始タイミング、展開位置、展開向き、展開サイズ、展開速度、および展開時の硬さ、についての設定を変更する。
これにより、本実施形態では、乗員監視装置50による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することができる。
[第二実施形態]
次に、本発明の第二実施形態に係る自動車1および車両制御システム10について説明する。以下の説明では、主に上述した実施形態との相違点について説明し、上述した実施形態と共通性を有する構成については同一の符号を付してその説明を省略する。
図12は、本発明の第二実施形態に係る車内撮像デバイスによる乗員の撮像状態の説明図である。
図12は、図5の車内撮像デバイス53による乗員への投光状態の説明図である。
図12に示すように、車内撮像デバイス53は、受光素子55、光学部材としてのレンズ56、レンズアクチュエータ57、を有する。
受光素子55は、たとえば赤外線を受光可能なCCDセンサ、CMOSセンサ、である。
レンズ56は、受光素子55の光軸方向において、光軸方向に沿って移動可能に設けられる。レンズ56は、シート5に着座している被写体としての乗員からの光を集めて、受光素子55に結像する。
レンズアクチュエータ57は、監視制御部31による制御により、レンズ56を、受光素子55の光軸方向に駆動する。
そして、図12(A)に示すように、レンズ56が受光素子55の近くの通常制御範囲内の位置にある場合、シート5に着座している乗員の上体の全体の光がレンズ56により集められて受光素子55に結像する。
また、図12(B)に示すように、レンズ56が発光素子55から離れた通常制御範囲外の位置にある場合、シート5に着座している乗員の頭部の光がレンズ56により集められて受光素子55に結像する。
このように、車内撮像デバイス53は、可変式の集光レンズを有し、図12(A)の広域での撮像状態と、図12(B)の挟域での撮像状態と、で切り替えることができる。
図13は、第二実施形態での、図5の監視制御部31による通常時の処理を示すフローチャートである。
図13において、図9と同様の処理を実施するステップには、図9と同様の符号を付して説明を省略する。
ステップST51において、監視制御部31は、車内撮像デバイス53の撮像動作を切り替える。
たとえば、監視制御部31は、車内撮像デバイス53を、通常時の図12(A)の広域での撮像状態から、図12(B)の挟域での撮像状態に切り替える。
また、監視制御部31は、車内撮像デバイス53を、通常時よりも高いたとえば最大のフレームレートにより動作させる。
これにより、自動車1の衝突が予測される場合、車内撮像デバイス53は、乗員の頭部を、自動車1の衝突が予測されていない通常時の場合より高速に撮像する。
その後、監視制御部31は、ステップST26において、監視制御部31は、切り出した部分画像を用いて、頭部の位置および動きを特定する。
このように、自動車1の衝突が予測される場合、車内撮像デバイス53による撮像は、狭域撮像状態に切り替わる。監視制御部31は、撮像画像において乗員の頭部が拡大して撮像されるため、図9のステップST25での部分画像の切出処理をすることなく、ステップST51の後にステップST26を実施できる。
自動車1の衝突が予測されなくなった後のステップST31において、監視制御部31は、ステップST51で切り替えた車内撮像デバイス53の撮像動作を通常状態へ戻す。車内撮像デバイス53は、通常時のフレームレートにより、広域の撮像動作を開始する。
その後、監視制御部31は、図13の衝突予測時の処理を終了する。これにより、監視制御部31は、図7の処理などを実行する通常モードで動作する。
以上のように、本実施形態では、自動車1の衝突が予測される場合、車内撮像デバイス53により撮像する範囲を、シート5に着座している乗員の上体を撮像する広域撮像状態から、乗員の頭部を撮像する狭域撮像状態に切り替える。これにより、車内撮像デバイス53は、乗員のたとえば上体の全体ではなく頭部のみを拡大して撮像する。よって、本実施形態では、撮像画像において大きく映る乗員の頭部により、頭部の位置や挙動を精度よく特定することができる。
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
たとえば上記実施形態では、乗員監視装置50は、車内ネットワーク21に接続されている。この他にもたとえば、乗員監視装置50は、無線通信デバイス17と通信可能であることにより、乗員保護装置60などとの間でデータを送受してよい。乗員監視装置50と無線通信デバイス17とは、たとえばIEEE802.1Xの規格に準拠した比較的短距離の通信方式によりデータを送受してよい。この場合、乗員監視装置50は、自動車1に対して取り外し可能に設けられてよい。自動車1に対して取り外し可能な乗員監視装置50は、マウンタにより乗員室4に位置決めして固定設置してよい。
1…自動車(車両)、4…乗員室、5…シート、6…ダッシュボード、7…ハンドル、10…車両制御システム(乗員保護システム)、12…加速度センサ、16…車外撮像デバイス、20…ECU、31…監視制御部、32…支援制御部、33…保護制御部、40…走行支援装置、50…乗員監視装置、52…光学ユニット、53…車内撮像デバイス、54…投光デバイス、55…受光素子、56…レンズ、57…レンズアクチュエータ、58…設定データ、60…乗員保護装置、69…設定データ、70…エアバック部材、71…シートベルト部材

Claims (7)

  1. 車両に設けられたシートに着座している乗員を監視する車両の乗員監視装置であって、
    前記シートに着座している乗員へ向けて投光する投光デバイスと、
    前記シートに着座している乗員を撮像する撮像デバイスと、
    前記投光デバイスおよび前記撮像デバイスを制御して、前記シートに着座している乗員を撮像する処理部と、
    を有し、
    前記撮像デバイスは、
    前記車両の衝突が予測される場合、前記車両の衝突が予測されていない通常時の場合より高速に撮像する、
    車両の乗員監視装置。
  2. 前記処理部は、
    前記車両の衝突が予測される場合、前記車両の衝突が予測されていない通常の場合において実行している処理を停止して、前記撮像デバイスによる撮像画像について、シートに着座している乗員の頭部についての処理を実行する、
    請求項1記載の、車両の乗員監視装置。
  3. 前記撮像デバイスは、シートに着座している乗員の上体を撮像する広域撮像状態と、シートに着座している乗員の頭部を撮像する狭域撮像状態と、で切り替え可能であり、
    前記処理部は、
    前記車両の衝突が予測されていない通常の場合、前記撮像デバイスによる撮像を、広域撮像状態とし、
    前記車両の衝突が予測される場合、前記撮像デバイスによる撮像を、狭域撮像状態に切り替える、
    請求項1記載の、車両の乗員監視装置。
  4. 前記投光デバイスは、前記シートに着座している乗員の頭部へ向けて、非可視光を投光する、
    請求項1から3のいずれか一項記載の、車両の乗員監視装置。
  5. 請求項1から4のいずれか一項記載の車両の乗員監視装置と、
    前記乗員監視装置により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する乗員保護装置と、
    を有する、車両の乗員保護システム。
  6. 前記乗員保護装置は、
    前記乗員監視装置により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、乗員保護制御を変更し、
    衝突が検出された場合、変更された乗員保護制御を実行する、
    請求項5記載の、車両の乗員保護システム。
  7. 前記乗員保護装置は、
    前記乗員監視装置により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、エアバッグの展開開始タイミング、展開位置、展開向き、展開サイズ、展開速度、および展開時の硬さ、の中の少なくとも一つを変更する、
    請求項5または6記載の、車両の乗員保護システム。

JP2018180058A 2018-09-26 2018-09-26 車両の乗員監視装置、および乗員保護システム Pending JP2020050077A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018180058A JP2020050077A (ja) 2018-09-26 2018-09-26 車両の乗員監視装置、および乗員保護システム
US16/439,952 US11195035B2 (en) 2018-09-26 2019-06-13 Occupant monitoring device for vehicle and occupant protection system for vehicle
CN201910562113.3A CN110949303B (zh) 2018-09-26 2019-06-26 车辆的乘员监视装置以及乘员保护***
DE102019122807.7A DE102019122807A1 (de) 2018-09-26 2019-08-26 Überwachungseinrichtung für fahrzeuginsassen und schutzsystem für fahrzeuginsassen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018180058A JP2020050077A (ja) 2018-09-26 2018-09-26 車両の乗員監視装置、および乗員保護システム

Publications (1)

Publication Number Publication Date
JP2020050077A true JP2020050077A (ja) 2020-04-02

Family

ID=69725124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018180058A Pending JP2020050077A (ja) 2018-09-26 2018-09-26 車両の乗員監視装置、および乗員保護システム

Country Status (4)

Country Link
US (1) US11195035B2 (ja)
JP (1) JP2020050077A (ja)
CN (1) CN110949303B (ja)
DE (1) DE102019122807A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6574224B2 (ja) * 2017-08-30 2019-09-11 本田技研工業株式会社 車両制御装置、車両、車両制御方法およびプログラム
JP7285155B2 (ja) * 2019-07-16 2023-06-01 株式会社Subaru 車両の乗員保護システム
US11945278B2 (en) 2021-06-24 2024-04-02 Ford Global Technologies, Llc Enhanced vehicle suspension

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004148881A (ja) * 2002-10-29 2004-05-27 Mitsubishi Electric Corp 乗員保護装置
JP2007168570A (ja) * 2005-12-21 2007-07-05 Toyota Motor Corp 車載カメラの制御装置
JP2007253748A (ja) * 2006-03-22 2007-10-04 Takata Corp 対象物検出システム、駆動装置、車両
JP2008049718A (ja) * 2006-08-22 2008-03-06 Toyota Motor Corp 車両用乗員保護装置
JP2010068471A (ja) * 2008-09-12 2010-03-25 Toyota Motor Corp 画像処理装置
JP2012194399A (ja) * 2011-03-16 2012-10-11 Olympus Imaging Corp カメラシステムおよびカメラシステムの制御プログラム
US20160229415A1 (en) * 2013-10-08 2016-08-11 Trw Automotive Gmbh Vehicle assistanty system and vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080234899A1 (en) * 1992-05-05 2008-09-25 Automotive Technologies International, Inc. Vehicular Occupant Sensing and Component Control Techniques
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
JPH1143009A (ja) 1996-07-13 1999-02-16 Automot Technol Internatl Inc パターン認識を利用した車両用光学式確認および監視システム
JP4427905B2 (ja) * 2001-01-24 2010-03-10 富士電機システムズ株式会社 ロボット監視システム
KR20020088239A (ko) * 2001-05-18 2002-11-27 백경일 자동차 충돌 순간을 자동으로 촬영할 수 있는 사진기
JP3849585B2 (ja) * 2002-06-10 2006-11-22 株式会社島津製作所 高速撮影装置
EP2743143B1 (en) * 2011-08-10 2015-09-30 Honda Motor Co., Ltd. Vehicle occupant detection device
CN103546693B (zh) * 2013-11-05 2016-11-09 重庆大学 机械传动***高频碰撞的超高速光电摄影***的触发方法
JP2015140146A (ja) 2014-01-30 2015-08-03 トヨタ自動車株式会社 車両制御装置、及び、車両制御システム
JP6565776B2 (ja) * 2016-04-13 2019-08-28 トヨタ自動車株式会社 乗員保護装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004148881A (ja) * 2002-10-29 2004-05-27 Mitsubishi Electric Corp 乗員保護装置
JP2007168570A (ja) * 2005-12-21 2007-07-05 Toyota Motor Corp 車載カメラの制御装置
JP2007253748A (ja) * 2006-03-22 2007-10-04 Takata Corp 対象物検出システム、駆動装置、車両
JP2008049718A (ja) * 2006-08-22 2008-03-06 Toyota Motor Corp 車両用乗員保護装置
JP2010068471A (ja) * 2008-09-12 2010-03-25 Toyota Motor Corp 画像処理装置
JP2012194399A (ja) * 2011-03-16 2012-10-11 Olympus Imaging Corp カメラシステムおよびカメラシステムの制御プログラム
US20160229415A1 (en) * 2013-10-08 2016-08-11 Trw Automotive Gmbh Vehicle assistanty system and vehicle

Also Published As

Publication number Publication date
US20200097744A1 (en) 2020-03-26
CN110949303A (zh) 2020-04-03
DE102019122807A1 (de) 2020-03-26
US11195035B2 (en) 2021-12-07
CN110949303B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
JP7185992B2 (ja) 車両の乗員監視装置、および乗員保護システム
JP7228982B2 (ja) 車両の乗員保護システム
CN110949303B (zh) 车辆的乘员监视装置以及乘员保护***
CN111660980A (zh) 车辆的乘员监控装置和交通***
US8036795B2 (en) Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same
JPH1115980A (ja) 自動車内の物体の存在を検知する装置
US8116528B2 (en) Illumination source for an image based occupant classification system and vehicle using same
JP2010018230A (ja) 乗員保護装置、作動条件変更方法
JP7285188B2 (ja) 車両の乗員監視装置、および車両の乗員保護システム
JP7222642B2 (ja) 車両の乗員監視装置、および乗員保護システム
JP2017200791A (ja) 乗員保護装置及び乗員保護方法
JP3785929B2 (ja) 乗員保護装置
JP2020142738A (ja) 乗員保護機能を有する車両
JP2012232619A (ja) 車両用ブレーキ制御装置及び制御方法
JP3732478B2 (ja) 乗員保護装置
JP2022129156A (ja) 車両の車内モニタリング装置
JP2022129155A (ja) 車両の車内マルチモニタリング装置
JP7285155B2 (ja) 車両の乗員保護システム
JP7278117B2 (ja) 車両の乗員監視装置、および交通システム
EP1488960B1 (en) System layout and trigger logic for active pedals
JP3562208B2 (ja) 助手席乗員保護装置
JP7245683B2 (ja) 乗員保護機能を有する車両
KR100552734B1 (ko) 자동차의 에어백 장치와 이의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230523