JP2020050077A - 車両の乗員監視装置、および乗員保護システム - Google Patents
車両の乗員監視装置、および乗員保護システム Download PDFInfo
- Publication number
- JP2020050077A JP2020050077A JP2018180058A JP2018180058A JP2020050077A JP 2020050077 A JP2020050077 A JP 2020050077A JP 2018180058 A JP2018180058 A JP 2018180058A JP 2018180058 A JP2018180058 A JP 2018180058A JP 2020050077 A JP2020050077 A JP 2020050077A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- vehicle
- imaging
- collision
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims abstract description 135
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 abstract description 84
- 210000003128 head Anatomy 0.000 description 50
- 230000006399 behavior Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
- B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Air Bags (AREA)
- Studio Devices (AREA)
Abstract
Description
しかしながら、車両の乗員監視装置は、一般的に、シートに着座している乗員の疲労度、居眠り、わき見などを検出して警告するために設けられている。
このため、車両の乗員監視装置は、シートに着座している乗員の上体を全体的に撮像し、その上体の動きなどにより乗員の状態を判断する。
また、車両の乗員監視装置は、数十ミリ秒から数百ミリ秒に1回程度の頻度で乗員を撮像すれば、十分に実用性が得られると考えられる。
しかしながら、乗員の上体を全体的に数十ミリ秒から数百ミリ秒に1回程度の頻度で撮像していたのでは、衝突の際において、乗員保護制御に対して十分に活用できるようにならない可能性がある。衝突の際の乗員保護制御においては、衝突検出から制御までの時間が短く、その短時間の間で処理が可能となるように即時性が要求される。
その結果、本発明では、撮像画像においてシートに着座した乗員の頭部の位置や挙動を、高速でリアルタイムに特定でき、乗員の頭部の位置や挙動を即時的に推定し得る。乗員保護装置は、車両の衝突が予測される場合には、衝突の際の制御に利用可能な程度に即時性が得られる高速での時間分解能によりリアルタイムに撮像された画像に基づいて、衝突の際の乗員の頭部の位置や動きを良好に予測でき、その位置や動きに対応するように乗員保護制御を実行可能になる。乗員監視装置を用いたことにより期待し得る良好な乗員保護制御を実行することが可能になる。このように、本発明では、乗員監視装置による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することが可能になる。
図1は、本発明の実施形態に係る自動車1における乗員保護の説明図である。図1には、車外を撮像する車内撮像デバイス53が図示されている。
自動車1は、人が乗車して移動する自動車1の一例である。自動車1には、この他にもたとえば、大型車、二輪車、パーソナルモビリティ、自転車、鉄道車両、飛行機、ボート、などがある。
図1の自動車1は、車体2、車体2の前後に設けられる車輪3、車体2の乗員室4に設けられるシート5、シート5の前に設けられるダッシュボード6、ダッシュボード6から後へ突出して設けられるハンドル7、などを有する。
このような自動車1では、車体2の乗員室4に乗車した乗員は、シート5に着座する。また、乗員は、ハンドル7などを操作する。自動車1は、図示外のエンジンやモータの駆動力により、乗員の操作にしたがって走行する。
また、自動車1は、たとえば目的地が設定されることにより、目的地までの経路を案内したり、目的地まで経路をたどって自動走行したりする。
図2は、図1の自動車1を前から見た図であり、左右に並ぶ一対のシート5に、二人の乗員が乗車している。シート5に着座する乗員の上体は、自動車1のたとえば右左折の際にシート5の上で左右へ傾くことがある。
図3は、図1の自動車1での乗員についての斜め前方向への挙動の説明図である。
図3は、図1の自動車1を上から見た図であり、左右に並ぶ一対のシート5に、二人の乗員が乗車している。シート5に着座する乗員の上体は、自動車1のたとえば制動時などにおいて斜め前へ傾くことがある。
また、図1に示すように、シート5に着座する乗員の上体は、自動車1のたとえば制動時などにおいて前へ傾くことがある。
過大な加速度が作用しない場合には、これらの乗員の上体の挙動は、問題とならない。
しかしながら、たとえば衝突の際には、衝突時の過大な衝撃により、乗員の上体は、シート5から外へはみ出すように大きく傾くことになる。
シートベルト部材71は、シート5に着座する乗員の前にかけ渡されるベルトを有する。シートベルト部材71は、衝突の際にベルトアクチュエータ63を動作させて、ベルトにテンションを加える。これにより、衝突の際に、シート5に着座する乗員の上体は、ベルトにより支えられ、それ以上にシート5からはみ出すように移動し難くなる。
エアバック部材70は、衝突の際にインフレータで発生させたガスによりエアバック64を展開する。図1では、エアバック64は、ハンドル7の後側、すなわちシート5に着座する乗員の上体の前正面で展開している。これにより、シート5から前へ倒れようとする乗員の上体は、エアバック64に当たる。エアバック64は、乗員の荷重により変形し、乗員の上体に作用している運動エネルギを吸収する。
これらの乗員保護装置60により、自動車1は、衝突の際にも乗員を保護することが可能になる。
しかしながら、自動車1の乗員監視装置50は、一般的に、シート5に着座している乗員の疲労度、居眠り、わき見などを検出して警告するために設けられている。
このため、自動車1の乗員監視装置50は、シート5に着座している乗員の上体を全体的に撮像し、その上体の動きなどにより乗員の状態を判断する。
また、自動車1の乗員監視装置50は、一般的の動画と同様に、数十ミリ秒から数百ミリ秒に1回程度の頻度で乗員を撮像すれば、十分に実用性が得られると考えられる。
しかしながら、乗員の上体を全体的に数十ミリ秒から数百ミリ秒に1回程度の頻度で撮像していたのでは、衝突の際において、乗員保護制御に対して十分に活用できるようにならない可能性がある。衝突の際の乗員保護制御においては、衝突検出から制御までの時間が短く、その短時間の間で処理が完了できるように即時性が要求される。
図4の車両制御システム10は、車速センサ11、加速度センサ12、表示デバイス13、操作デバイス14、スピーカデバイス15、車外撮像デバイス16、無線通信デバイス17、システムタイマ18、メモリデバイス19、ECU(Electronic Control Unit)20、およびこれらが接続される車内ネットワーク21、を有する。
加速度センサ12は、自動車1の車体2に作用する加速度を検出して車内ネットワーク21へ出力する。なお、車体2に対する複数の方向からの衝撃入力を検出しようとする場合、加速度センサ12は自動車1に複数で設けられ、車体2の外周面の近くに分散して設けるとよい。
表示デバイス13は、車内ネットワーク21から表示データを取得し、表示データに基づく画像を表示する。
操作デバイス14は、乗員に操作されるために乗員室4などに設けられる。操作デバイス14は、たとえば、ハンドル7、シフトレバー、ブレーキペダル、を有する。
スピーカデバイス15は、車内ネットワーク21から音データを取得し、音データに基づく音を出力する。
車外撮像デバイス16は、自動車1の乗員室4などに設けられ、自動車1の周囲を撮像して画像データを車内ネットワーク21へ出力する。車外撮像デバイス16は、たとえば図1に示すように乗員室4の天井の近くにおいて前向きに設けられる。この場合、車外撮像デバイス16は、自動車1の前方を撮像する。
無線通信デバイス17は、車内ネットワーク21に接続されていない、たとえば自動車1の外に存在する他の車両、基地局、ビーコン装置などとの間で無線通信し、データを送受する。
システムタイマ18は、時間や時刻を計測する。システムタイマ18は、計測した時間や時刻を、車内ネットワーク21を通じて、車内ネットワーク21に接続される機器へ出力する。これにより、車内ネットワーク21に接続される複数の機器は、システムタイマ18のたとえば計測時刻により同期的に動作することができる。
ECU20は、たとえばワンチップマイクロコンピュータ装置などの、CPUを備えるコンピュータ装置である。ワンチップマイクロコンピュータ装置は、CPUとともに、システムタイマ18、メモリデバイス19、を内蔵してよい。ECU20は、メモリデバイス19に記録されているプログラムを読み込んで実行する。これにより、ECU20には、自動車1の全体の動作を制御する制御部、が実現される。なお、ECU20は、自動車1に複数で設けられてよい。この場合、複数のECU20は、互いに強調して動作することにより制御部として機能する。
通信制御部34は、無線通信デバイス17によるデータ通信を管理し、無線通信デバイス17とともに自動車1の無線通信装置を構成する。通信制御部34は、無線通信デバイス17を用いて、たとえば図示外の交通システムのサーバ装置、および交通システムに対応する他の車両との間で、自動車1の走行などを制御するためのデータを送受する。
空調制御部35は、自動車1の乗員室4などの空調を制御する。
また、支援制御部32は、後述する図9の処理により、他の車両などとの衝突がさけられない可能性を判断し、その可能性が高い場合には、衝突を予測する。
図5の乗員監視装置50は、図4の乗員の監視制御部31とともに、監視メモリ51、光学ユニット52、を有する。乗員監視装置50は、自動車1に設けられたシート5に着座している乗員を監視する。
車内撮像デバイス53は、乗員室4のダッシュボード6の中央部分において、後向きに設けられる。車内撮像デバイス53は、図2の一点鎖線枠に示すように、乗員室4において車幅方向に並べて乗員ごとに設けられる左右一対のシート5に着座する二人の乗員の上体を全体的に撮像する。車内撮像デバイス53は、通常時は、一般的の動画と同様にたとえば30フレーム毎秒で撮像する。車内撮像デバイス53は、通常時において数十ミリ秒から数百ミリ秒に1回程度の頻度で乗員を撮像する。また、車内撮像デバイス53は、最大で通常時よりも高いたとえば120フレーム毎秒で撮像できるものでよい。
各投光デバイス54は、乗員室4のダッシュボード6の中央部分において、後向きに設けられる。各投光デバイス54は、図2の二点鎖線枠に示すように、各シート5に着座して車内撮像デバイス53により撮像される乗員の上体の全体に対して、たとえば赤外線などによる非可視光を投光する。投光デバイス54は、乗員の頭部の顔を撮像するために、シート5についての着座位置より前に設けられる。
監視メモリ51は、たとえばメモリデバイス19の一部に設けられてよい。監視メモリ51は、乗員を監視するための設定データ58などを記録する。
また、監視制御部31は、衝突が予測されている場合には、後述する図9の処理により衝突予想時の乗員を保護するための乗員監視制御を実行する。
図6の乗員保護装置60は、図4の乗員などの保護制御部33とともに、保護メモリ61、複数のシートベルト62、複数のベルトアクチュエータ63、複数のエアバック64、複数のベース部材65、複数のエアバックアクチュエータ(ABアクチュエータ)66、複数のインフレータ67,68、を有する。
一組のシートベルト62、およびベルトアクチュエータ63は、一つのシートベルト部材71を構成する。
一組のエアバック64、ベース部材65、エアバックアクチュエータ66、第一インフレータ67、および第二インフレータ68は、一つのエアバック部材70を構成する。
すなわち、図6には、左右一対のシート5に対応するように、二組のシートベルト部材71と、二組のエアバック部材70と、が図示されている。
ベルトアクチュエータ63は、シートベルト62に対して、可変可能なテンションを加える。テンションが加えられたシートベルト62は、乗員の腰部および上体をシート5に押し付けるように機能し得る。
エアバック64は、高圧ガスにより瞬時に展開する袋体である。
第一インフレータ67、および第二インフレータ68は、エアバック64に注入する高圧ガスを発生する。第一インフレータ67および第二インフレータ68をともに動作させる場合、エアバック64は、高い圧力で展開し得る。第一インフレータ67または第二インフレータ68を動作させる場合、エアバック64は、低い圧力で展開し得る。第一インフレータ67の動作開始タイミングと第二インフレータ68の動作開始タイミングとをずらすことにより、それらがそろっている場合とは異なる圧力変化でエアバック64を展開できる。
ベース部材65には、エアバック64が取り付けられ、エアバック64を折りたたんで収納する。なお、第一インフレータ67および第二インフレータ68も、ベース部材65に設けられてよい。
エアバックアクチュエータ66は、ベース部材65を駆動し、ベース部材65の位置または向きを調整する。ベース部材65がたとえば車幅方向、前後方向、上下方向へ移動可能に車体2に取り付けられている場合、エアバックアクチュエータ66は、ベース部材65をスライド駆動してその位置を調整する。
ベース部材65が取り付け位置において回転可能に設けられている場合、エアバックアクチュエータ66は、ベース部材65を回転駆動してその向きを調整する。
保護メモリ61は、たとえばメモリデバイス19の一部に設けられてよい。保護メモリ61は、乗員を保護するための設定データ69などを記録する。
また、保護制御部33は、自動車1の衝突が予測される場合、乗員監視装置50により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する。
監視制御部31は、乗員が自動車1に乗ることにより図4の車両制御システム10の電源が投入された場合に、図7の処理を繰り返し実行する。
乗員が乗車してシート5に着座すると、車内撮像デバイス53は、周期的に繰り返す撮像により、シート5に着座した乗員を撮像し始める。
ステップST2において、監視制御部31は、たとえば監視メモリ51に記憶されている乗員の設定データ58を用いて、車内撮像デバイス53により撮像される画像に映る乗員の顔を識別する。
ステップST3において、監視制御部31は、たとえば監視メモリ51に記憶されている乗員の設定データ58を用いて、識別した乗員に対応する設定処理を実行する。監視制御部31は、認識した乗員の識別番号または設定データを、車内ネットワーク21へ出力する。これにより、たとえば、操作デバイス14が認識された乗員がハンドル7などを過去の設定位置に調整したり、支援制御部32が認識された乗員の過去の運転履歴に対応する運転支援用の設定をしたり、保護制御部33が認識された乗員に対応する保護制御用の設定をしたり、空調装置が認識された乗員が過去にした設定により空調動作を開始したりする。
ステップST4において、監視制御部31は、投光デバイス54を通常の投光制御により点灯させる。通常の投光では、監視制御部31は、投光デバイス54を、長期にわたって連続的に点灯可能な定常出力の明るさで、間欠的に点灯させる。投光デバイス54は、間欠的な点灯により、乗員の上体の全体に対して赤外線を広角に投光し始める。
ステップST5において、監視制御部31は、車内撮像デバイス53により、シート5に着座した乗員を撮像する。車内撮像デバイス53は、通常の撮像速度で、シート5に着座した乗員を撮像する。
ステップST6において、監視制御部31は、撮像画像に映る乗員の状態に基づいて、警告が必要であるか否かを判断する。監視制御部31は、撮像画像での乗員の上体の位置および動きなどを特定し、特定した上体の位置および動きなどにより乗員の居眠り、わき見などを判断する。そして、乗員が居眠り、わき見などをしていない場合、監視制御部31は、警告が不要であると判断し、処理をステップST8へ進める。乗員が居眠り、わき見などをしている場合、監視制御部31は、警告が必要であると判断し、処理をステップST7へ進める。
ステップST7において、監視制御部31は、乗員に対して注意喚起のための警告処理を実行する。監視制御部31は、たとえば表示デバイス13に警告を表示するとともに、スピーカデバイス15から警告音を出力する。
ステップST8において、監視制御部31は、乗員が降車したか否かを判断する。監視制御部31は、車内撮像デバイス53により撮像される画像に乗員が映らなくなると、乗員が降車したと判断する。乗員が降車していない場合、監視制御部31は、処理をステップST5へ戻す。監視制御部31は、降車していない乗員についての上述した監視を、次の車内撮像デバイス53の撮像画像に基づいて繰り返し実行する。乗員が降車した場合、監視制御部31は、図7の処理を終了する。
支援制御部32は、自動車1が走行または停車している期間において、図8の処理を繰り返し実行する。
ステップST12において、支援制御部32は、自車の走行について取得した情報に基づいて、自車の進路を生成する。支援制御部32は、たとえば、自車の経路情報に基づいて直近の進路を生成する。
ステップST13において、支援制御部32は、他の車両などの他の移動体と自車との衝突可能性を判断する。支援制御部32は、たとえば、撮像画像または移動データから他の移動体の進路を生成し、自車の直近の進路との交差または近接を判断する。そして、自車の直近の進路と他の移動体の進路とが交差または近接する場合、支援制御部32は、衝突可能性ありと判断し、処理をステップST14へ進める。自車の直近の進路と他の移動体の進路とが交差または近接しない場合、支援制御部32は、衝突可能性なシート5判断し、処理をステップST15へ進める。
ステップST14において、支援制御部32は、ステップST12において生成した進路を、他の移動体の進路と交差したり近接したりし難くなるように更新する。支援制御部32は、たとえば進路の途中で加減速したり、停車したりするように、生成した進路を更新する。
ステップST16において、支援制御部32は、制御した走行での衝突についての回避可能性を判断する。支援制御部32は、車外撮像デバイス16の最新の撮像画像などの自車センサによる情報を取得し、他の移動体との衝突の回避可能性を判断する。自車は、通常は、ステップST14により回避するように更新された進路にしたがって自車が移動しているため、他の移動体との衝突は回避可能である。ただし、たとえば他の移動体が予想を超える動きをした場合には、更新された進路にしたがって自車が移動していたとしても、衝突してしまう可能性がある。支援制御部32は、たとえば撮像画像に映る他の移動体についての相対的な移動により、回避可能性を判断する。このようにステップST16における回避可能性の判断は、ステップST14における衝突可能性の予測判断よりも厳しい判断であり、衝突が実際に発生するか否かの可能性について判断するものである。回避可能性がない場合、支援制御部32は、処理をステップST17へ進める。回避可能性がある場合、支援制御部32は、処理をステップST18へ進める。
ステップST17において、支援制御部32は、車内ネットワーク21へ衝突予測を出力する。その後、支援制御部32は、図8の運転支援制御を終了する。
ステップST18において、支援制御部32は、車内ネットワーク21へ衝突予測解除を出力する。その後、支援制御部32は、図8の運転支援制御を終了する。
以上の処理により、支援制御部32は、衝突が実際に発生すると判断した場合に、ステップST17において衝突予測を出力する。衝突が実際に発生すると判断しない場合には、支援制御部32は、ステップST18において衝突予測解除を出力する。
監視制御部31は、ステップST17による衝突予測を受信した場合、図9の処理を実行する。監視制御部31は、ステップST17による衝突予測を新たに受信するたびに、図9の処理を繰り返し実行する。
監視制御部31は、図9の処理により、車内撮像デバイス53による撮像画像から、シート5に着座している乗員の頭部を撮像している部分を抽出し、抽出した部分画像についての画像処理を実行する。
衝突予測を取得すると、監視制御部31は、衝突時の乗員を保護するための乗員監視制御を開始する。
具体的には、監視制御部31は、投光デバイス54を通常出力での間欠点灯から、最大出力での連続点灯へ切り替える。最大出力の点灯とは、投光デバイス54の最大能力での点灯をいい、発熱などの影響によって長期にわたって連続的に点灯することができなかったが、たとえば数分程度の短期的であれば連続的に点灯することができる程度に、高出力での点灯でよい。投光デバイスは、通常時の点滅における最大輝度よりも明るく連続的に光ることになる。
また、監視制御部31は、乗員の頭部へ照射する光量を増やすために、さらなる投光の切替制御を実行してよい。
たとえば、監視制御部31は、投光デバイス54を、それによる投光エリアが狭くなるように、シート5に着座した乗員の上体の全体に対して広角に投光する状態から、乗員の頭部の周囲へ挟角に投光する状態に切り替えてよい。
これらの乗員の頭部へ照射する光量を増やすための切替制御により、投光デバイス54は、自動車1の衝突が予測される場合には、車内撮像デバイス53により撮像される乗員の頭部へ向けて、通常時よりも投光エリアを絞った強い光を照射することができる。
また、投光デバイス54が連続的に点灯するため、投光デバイス54の光量は、車内撮像デバイス53の撮像と同期させるために制限されなくなる。
たとえば、監視制御部31は、切り出した部分画像における頭部の撮像位置により、乗員室4における頭部の位置を特定する。監視制御部31は、複数の部分画像の頭部の撮像位置の変化により、乗員室4における頭部の動きを特定する。監視制御部31は、特定した頭部の位置から特定した頭部の動き方向へ、特定した頭部の動き量に応じた速度で線形的に移動するとして、乗員室4における頭部の挙動を予測する。
監視制御部31は、ステップST18で出力される衝突予測解除を取得していない場合、衝突予測が解除されていないと判断し、処理をステップST25へ戻す。監視制御部31は、衝突予測が解除されるまで、ステップST25からステップST28の処理を繰り返し、最新の頭部の部分画像に基づく挙動情報を、繰り返し出力する。
監視制御部31は、ステップST18で出力される衝突予測解除を取得すると、処理をステップST29へ進める。
ステップST30において、監視制御部31は、ステップST23で切り替えた投光デバイス54の投光状態を通常の投光状態へ戻す。投光デバイス54は、通常出力での間欠点灯を開始する。
ステップST31において、監視制御部31は、ステップST24で切り替えた車内撮像デバイス53の撮像動作を通常状態へ戻す。車内撮像デバイス53は、通常時のフレームレートによる動作を開始する。
その後、監視制御部31は、図9の衝突予測時の処理を終了する。これにより、監視制御部31は、図7の処理などを実行する通常モードで動作する。
図10(A)は、通常時での対応関係を示す。図10(A)では、車内撮像デバイス53は、通常の撮像周期ごとに、撮像期間において画像を撮像する。投光デバイス54は、撮像周期ごとに、撮像期間の一部において間欠的に点灯する。この場合、投光デバイス54の点灯期間は、車内撮像デバイス53の撮像期間に含まれるため、乗員をはっきりと撮像するために有効に利用される。
図10(B)は、車内撮像デバイス53での高速撮像のために撮像周期を短くするとともに、それに対応するように投光デバイス54の間欠的な点灯周期を短くする比較例である。このように車内撮像デバイス53の撮像周期および撮像期間と比例するように、投光デバイス54の点灯周期および点灯期間を変化させた場合、車内撮像デバイス53は高速で撮像することができるが、撮像期間中の点灯期間が短くなり、乗員をはっきりと撮像することが難しい。通常時の場合よりも乗員が暗く撮像されてしまう可能性が高い。
図10(C)は、本実施形態のように、車内撮像デバイス53での高速撮像のために撮像周期を短くするとともに、投光デバイス54を連続点灯させる場合の例である。このように投光デバイス54を連続点灯させることにより、車内撮像デバイス53の短い撮像期間の全期間において、投光デバイス54は、乗員に対して投光することができる。車内撮像デバイス53は、撮像期間を短くしたとしても、乗員をはっきりと撮像することができる。
乗員の保護制御部33は、ステップST17による衝突予測を受信した場合、図11の処理を実行する。保護制御部33は、ステップST17による衝突予測を新たに受信するたびに、図11の処理を繰り返し実行する。
衝突予測を取得していない場合、保護制御部33は、図11の乗員保護処理を終了する。
衝突予測を取得している場合、保護制御部33は、処理をステップST42に進める。
保護制御部33は、たとえば、挙動情報に含まれる乗員の頭部の挙動予測に基づいて、ベルトアクチュエータ63の作動開始タイミング、第一インフレータ67の動作の有無の設定、第一インフレータ67の作動開始タイミング、第二インフレータ68の有無の設定、第二インフレータ68の作動開始タイミング、などについての設定データ69を更新する。
また、保護制御部33は、挙動情報に含まれる乗員の頭部の位置および挙動予測に基づいて、衝突の衝撃により乗員の頭部が倒れる方向においてエアバックが展開するように、エアバックアクチュエータ66によりベース部材65を駆動する。
これにより、保護制御部33は、乗員監視装置50により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、乗員保護制御の設定を変更することができる。保護制御部33は、乗員監視装置50により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、エアバック64の展開開始タイミング、展開位置、展開向き、展開サイズ、展開速度、および展開時の硬さ、についての設定を変更できる。
事前制御において、保護制御部33は、たとえば、ベルトアクチュエータ63を作動させてシートベルト62を引き込み、シートベルト62を乗員に密着させる。
衝突を検出していない場合、保護制御部33は、ステップST46において、ステップST18による衝突予測が解除されたか否かを判断する。衝突予測が解除されている場合、保護制御部33は、図11の乗員保護処理を終了する。衝突予測が解除されていない場合、保護制御部33は、処理をステップST42に戻す。保護制御部33は、衝突の検出または衝突予測の解除のいずれかを判断するまで、ステップST42からステップST46までの処理を繰り返す。保護制御部33は、たとえば衝突の直前まで、乗員の頭部の挙動に応じて設定を変更し、事前制御を実行する。
衝突を検出している場合、保護制御部33は、ステップST47において、変更された設定において乗員保護制御を実行する。
衝突時制御において、保護制御部33は、設定に応じて、たとえばベルトアクチュエータ63によりシートベルト62にテンションを加える。保護制御部33は、設定に応じて、第一インフレータ67および第二インフレータ68を作動させる。これにより、エアバック64が展開する。衝突の際に乗員の運動エネルギは、シートベルト62およびエアバック64により吸収され得る。
その結果、本実施形態では、撮像画像においてシート5に着座した乗員の頭部の位置や挙動を、高速でリアルタイムに特定でき、乗員の頭部の位置や挙動を即時的に推定し得る。乗員保護装置60は、自動車1の衝突が予測される場合には、衝突の際の制御に利用可能な程度に即時性が得られる高速での時間分解能によりリアルタイムに撮像された画像に基づいて、衝突の際の乗員の頭部の位置や動きを良好に予測でき、その位置や動きに対応するように乗員保護制御を実行可能になる。乗員監視装置50を用いたことにより期待し得る良好な乗員保護制御を実行することが可能になる。
このように、本実施形態では、乗員監視装置50による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することが可能になる。
乗員保護装置60は、たとえば、エアバック64の展開開始タイミング、展開位置、展開向き、展開サイズ、展開速度、および展開時の硬さ、についての設定を変更する。
これにより、本実施形態では、乗員監視装置50による撮像画像に基づいて、衝突の際の乗員保護制御をさらに改善することができる。
次に、本発明の第二実施形態に係る自動車1および車両制御システム10について説明する。以下の説明では、主に上述した実施形態との相違点について説明し、上述した実施形態と共通性を有する構成については同一の符号を付してその説明を省略する。
図12は、図5の車内撮像デバイス53による乗員への投光状態の説明図である。
図12に示すように、車内撮像デバイス53は、受光素子55、光学部材としてのレンズ56、レンズアクチュエータ57、を有する。
レンズ56は、受光素子55の光軸方向において、光軸方向に沿って移動可能に設けられる。レンズ56は、シート5に着座している被写体としての乗員からの光を集めて、受光素子55に結像する。
レンズアクチュエータ57は、監視制御部31による制御により、レンズ56を、受光素子55の光軸方向に駆動する。
そして、図12(A)に示すように、レンズ56が受光素子55の近くの通常制御範囲内の位置にある場合、シート5に着座している乗員の上体の全体の光がレンズ56により集められて受光素子55に結像する。
また、図12(B)に示すように、レンズ56が発光素子55から離れた通常制御範囲外の位置にある場合、シート5に着座している乗員の頭部の光がレンズ56により集められて受光素子55に結像する。
このように、車内撮像デバイス53は、可変式の集光レンズを有し、図12(A)の広域での撮像状態と、図12(B)の挟域での撮像状態と、で切り替えることができる。
図13において、図9と同様の処理を実施するステップには、図9と同様の符号を付して説明を省略する。
たとえば、監視制御部31は、車内撮像デバイス53を、通常時の図12(A)の広域での撮像状態から、図12(B)の挟域での撮像状態に切り替える。
また、監視制御部31は、車内撮像デバイス53を、通常時よりも高いたとえば最大のフレームレートにより動作させる。
これにより、自動車1の衝突が予測される場合、車内撮像デバイス53は、乗員の頭部を、自動車1の衝突が予測されていない通常時の場合より高速に撮像する。
その後、監視制御部31は、ステップST26において、監視制御部31は、切り出した部分画像を用いて、頭部の位置および動きを特定する。
このように、自動車1の衝突が予測される場合、車内撮像デバイス53による撮像は、狭域撮像状態に切り替わる。監視制御部31は、撮像画像において乗員の頭部が拡大して撮像されるため、図9のステップST25での部分画像の切出処理をすることなく、ステップST51の後にステップST26を実施できる。
その後、監視制御部31は、図13の衝突予測時の処理を終了する。これにより、監視制御部31は、図7の処理などを実行する通常モードで動作する。
Claims (7)
- 車両に設けられたシートに着座している乗員を監視する車両の乗員監視装置であって、
前記シートに着座している乗員へ向けて投光する投光デバイスと、
前記シートに着座している乗員を撮像する撮像デバイスと、
前記投光デバイスおよび前記撮像デバイスを制御して、前記シートに着座している乗員を撮像する処理部と、
を有し、
前記撮像デバイスは、
前記車両の衝突が予測される場合、前記車両の衝突が予測されていない通常時の場合より高速に撮像する、
車両の乗員監視装置。
- 前記処理部は、
前記車両の衝突が予測される場合、前記車両の衝突が予測されていない通常の場合において実行している処理を停止して、前記撮像デバイスによる撮像画像について、シートに着座している乗員の頭部についての処理を実行する、
請求項1記載の、車両の乗員監視装置。
- 前記撮像デバイスは、シートに着座している乗員の上体を撮像する広域撮像状態と、シートに着座している乗員の頭部を撮像する狭域撮像状態と、で切り替え可能であり、
前記処理部は、
前記車両の衝突が予測されていない通常の場合、前記撮像デバイスによる撮像を、広域撮像状態とし、
前記車両の衝突が予測される場合、前記撮像デバイスによる撮像を、狭域撮像状態に切り替える、
請求項1記載の、車両の乗員監視装置。
- 前記投光デバイスは、前記シートに着座している乗員の頭部へ向けて、非可視光を投光する、
請求項1から3のいずれか一項記載の、車両の乗員監視装置。
- 請求項1から4のいずれか一項記載の車両の乗員監視装置と、
前記乗員監視装置により撮像された乗員の撮像画像に基づいて乗員保護制御を実行する乗員保護装置と、
を有する、車両の乗員保護システム。
- 前記乗員保護装置は、
前記乗員監視装置により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、乗員保護制御を変更し、
衝突が検出された場合、変更された乗員保護制御を実行する、
請求項5記載の、車両の乗員保護システム。
- 前記乗員保護装置は、
前記乗員監視装置により撮像された乗員の撮像画像に基づく頭部の位置または挙動に基づいて、エアバッグの展開開始タイミング、展開位置、展開向き、展開サイズ、展開速度、および展開時の硬さ、の中の少なくとも一つを変更する、
請求項5または6記載の、車両の乗員保護システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018180058A JP2020050077A (ja) | 2018-09-26 | 2018-09-26 | 車両の乗員監視装置、および乗員保護システム |
US16/439,952 US11195035B2 (en) | 2018-09-26 | 2019-06-13 | Occupant monitoring device for vehicle and occupant protection system for vehicle |
CN201910562113.3A CN110949303B (zh) | 2018-09-26 | 2019-06-26 | 车辆的乘员监视装置以及乘员保护*** |
DE102019122807.7A DE102019122807A1 (de) | 2018-09-26 | 2019-08-26 | Überwachungseinrichtung für fahrzeuginsassen und schutzsystem für fahrzeuginsassen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018180058A JP2020050077A (ja) | 2018-09-26 | 2018-09-26 | 車両の乗員監視装置、および乗員保護システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020050077A true JP2020050077A (ja) | 2020-04-02 |
Family
ID=69725124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018180058A Pending JP2020050077A (ja) | 2018-09-26 | 2018-09-26 | 車両の乗員監視装置、および乗員保護システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11195035B2 (ja) |
JP (1) | JP2020050077A (ja) |
CN (1) | CN110949303B (ja) |
DE (1) | DE102019122807A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6574224B2 (ja) * | 2017-08-30 | 2019-09-11 | 本田技研工業株式会社 | 車両制御装置、車両、車両制御方法およびプログラム |
JP7285155B2 (ja) * | 2019-07-16 | 2023-06-01 | 株式会社Subaru | 車両の乗員保護システム |
US11945278B2 (en) | 2021-06-24 | 2024-04-02 | Ford Global Technologies, Llc | Enhanced vehicle suspension |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004148881A (ja) * | 2002-10-29 | 2004-05-27 | Mitsubishi Electric Corp | 乗員保護装置 |
JP2007168570A (ja) * | 2005-12-21 | 2007-07-05 | Toyota Motor Corp | 車載カメラの制御装置 |
JP2007253748A (ja) * | 2006-03-22 | 2007-10-04 | Takata Corp | 対象物検出システム、駆動装置、車両 |
JP2008049718A (ja) * | 2006-08-22 | 2008-03-06 | Toyota Motor Corp | 車両用乗員保護装置 |
JP2010068471A (ja) * | 2008-09-12 | 2010-03-25 | Toyota Motor Corp | 画像処理装置 |
JP2012194399A (ja) * | 2011-03-16 | 2012-10-11 | Olympus Imaging Corp | カメラシステムおよびカメラシステムの制御プログラム |
US20160229415A1 (en) * | 2013-10-08 | 2016-08-11 | Trw Automotive Gmbh | Vehicle assistanty system and vehicle |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080234899A1 (en) * | 1992-05-05 | 2008-09-25 | Automotive Technologies International, Inc. | Vehicular Occupant Sensing and Component Control Techniques |
US7738678B2 (en) * | 1995-06-07 | 2010-06-15 | Automotive Technologies International, Inc. | Light modulation techniques for imaging objects in or around a vehicle |
JPH1143009A (ja) | 1996-07-13 | 1999-02-16 | Automot Technol Internatl Inc | パターン認識を利用した車両用光学式確認および監視システム |
JP4427905B2 (ja) * | 2001-01-24 | 2010-03-10 | 富士電機システムズ株式会社 | ロボット監視システム |
KR20020088239A (ko) * | 2001-05-18 | 2002-11-27 | 백경일 | 자동차 충돌 순간을 자동으로 촬영할 수 있는 사진기 |
JP3849585B2 (ja) * | 2002-06-10 | 2006-11-22 | 株式会社島津製作所 | 高速撮影装置 |
EP2743143B1 (en) * | 2011-08-10 | 2015-09-30 | Honda Motor Co., Ltd. | Vehicle occupant detection device |
CN103546693B (zh) * | 2013-11-05 | 2016-11-09 | 重庆大学 | 机械传动***高频碰撞的超高速光电摄影***的触发方法 |
JP2015140146A (ja) | 2014-01-30 | 2015-08-03 | トヨタ自動車株式会社 | 車両制御装置、及び、車両制御システム |
JP6565776B2 (ja) * | 2016-04-13 | 2019-08-28 | トヨタ自動車株式会社 | 乗員保護装置 |
-
2018
- 2018-09-26 JP JP2018180058A patent/JP2020050077A/ja active Pending
-
2019
- 2019-06-13 US US16/439,952 patent/US11195035B2/en active Active
- 2019-06-26 CN CN201910562113.3A patent/CN110949303B/zh active Active
- 2019-08-26 DE DE102019122807.7A patent/DE102019122807A1/de not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004148881A (ja) * | 2002-10-29 | 2004-05-27 | Mitsubishi Electric Corp | 乗員保護装置 |
JP2007168570A (ja) * | 2005-12-21 | 2007-07-05 | Toyota Motor Corp | 車載カメラの制御装置 |
JP2007253748A (ja) * | 2006-03-22 | 2007-10-04 | Takata Corp | 対象物検出システム、駆動装置、車両 |
JP2008049718A (ja) * | 2006-08-22 | 2008-03-06 | Toyota Motor Corp | 車両用乗員保護装置 |
JP2010068471A (ja) * | 2008-09-12 | 2010-03-25 | Toyota Motor Corp | 画像処理装置 |
JP2012194399A (ja) * | 2011-03-16 | 2012-10-11 | Olympus Imaging Corp | カメラシステムおよびカメラシステムの制御プログラム |
US20160229415A1 (en) * | 2013-10-08 | 2016-08-11 | Trw Automotive Gmbh | Vehicle assistanty system and vehicle |
Also Published As
Publication number | Publication date |
---|---|
US20200097744A1 (en) | 2020-03-26 |
CN110949303A (zh) | 2020-04-03 |
DE102019122807A1 (de) | 2020-03-26 |
US11195035B2 (en) | 2021-12-07 |
CN110949303B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7185992B2 (ja) | 車両の乗員監視装置、および乗員保護システム | |
JP7228982B2 (ja) | 車両の乗員保護システム | |
CN110949303B (zh) | 车辆的乘员监视装置以及乘员保护*** | |
CN111660980A (zh) | 车辆的乘员监控装置和交通*** | |
US8036795B2 (en) | Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same | |
JPH1115980A (ja) | 自動車内の物体の存在を検知する装置 | |
US8116528B2 (en) | Illumination source for an image based occupant classification system and vehicle using same | |
JP2010018230A (ja) | 乗員保護装置、作動条件変更方法 | |
JP7285188B2 (ja) | 車両の乗員監視装置、および車両の乗員保護システム | |
JP7222642B2 (ja) | 車両の乗員監視装置、および乗員保護システム | |
JP2017200791A (ja) | 乗員保護装置及び乗員保護方法 | |
JP3785929B2 (ja) | 乗員保護装置 | |
JP2020142738A (ja) | 乗員保護機能を有する車両 | |
JP2012232619A (ja) | 車両用ブレーキ制御装置及び制御方法 | |
JP3732478B2 (ja) | 乗員保護装置 | |
JP2022129156A (ja) | 車両の車内モニタリング装置 | |
JP2022129155A (ja) | 車両の車内マルチモニタリング装置 | |
JP7285155B2 (ja) | 車両の乗員保護システム | |
JP7278117B2 (ja) | 車両の乗員監視装置、および交通システム | |
EP1488960B1 (en) | System layout and trigger logic for active pedals | |
JP3562208B2 (ja) | 助手席乗員保護装置 | |
JP7245683B2 (ja) | 乗員保護機能を有する車両 | |
KR100552734B1 (ko) | 자동차의 에어백 장치와 이의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220929 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230310 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230523 |