JP3751467B2

JP3751467B2 - In-vehicle device control apparatus and method

Info

Publication number: JP3751467B2
Application number: JP08801399A
Authority: JP
Inventors: 美和子土井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-03-30
Filing date: 1999-03-30
Publication date: 2006-03-01
Anticipated expiration: 2019-03-30
Also published as: JP2000280858A

Description

【０００１】
【発明の属する技術分野】
本発明は距離画像にもとづいて車載機器の制御を行う車載ユーザの動きを認識・処理する車載機器制御装置および方法に関する。
【０００２】
【従来の技術】
自動車などの車両の運転者は運転のために両手を使っているので、ナビゲーション・システムなどの車載機器の操作ができないという問題がある。このため、音声認識を使って音声により、操作をする方法も考えられている。しかし、運転中は通行車のエンジン音などの雑音が多く認識が難しいという問題がある。あるいは、運転者が他の同乗者と話している声なのか、機器を操作するために発せられている声なのかが識別できないという問題がある。
【０００３】
一方、衝突時の被害を減らすために、衝突時にエアバッグを膨張させる方策がとられている。しかし、助手席に乗っている同乗者が妊婦や幼児である場合には、膨らんだエアバッグにより押しつぶされる不都合があるために、衝突時といえども膨らまさない方策を講じる必要がある。あるいは、衝突時に、人がエアバッグの直近にいるときには、エアバッグを膨らませると、顔に大きな衝撃を与え、傷害を与える可能性があるために、直近に人がいないことを確認する必要がある。
【０００４】
このような不具合を解消するために、赤外線による距離センサが使われている。しかし、現状の距離センサでは、例えばハエが距離センサを横切っても、人間が横切っても同じ距離に物体があると認識できるだけである。このため、ハエと人間を識別する必要があるという要求がある。
【０００５】
従来、ＣＣＤカメラなどを用いて撮像した画像を解析して、人間の身体の位置などを認識する方法がある。この方法では、ＣＣＤカメラなどの撮像装置を用いて撮影している。その画像から人間を抽出する場合では、例えば、顔や手の色が肌色なので、それ以外の背景などの余計な部分を取り除き、障害物となる物体など認識したい対象のみを切り出すという前処理を行う。そして、前処理後の画像を用いることで、物体の形状などを認識する。
【０００６】
まず、この認識対象の切り出しという前処理部分について説明する。従来の手法では、カメラで撮影した画像から、取得したい対象物の部分のみを切り出す作業として、対象物と、それ以外の部分の何らかの相違点を手がかりとして対象物の切り出しが行われていた。この手掛かりとして、色相の変化を利用する方法、差分画像を利用する方法などが用いられている。色を使って切り出す場合、色相差の大きな部分を抜き出し、細線化などの処理を行い、エッジを抽出する。人間を対象にする場合には、顔や手の部分の肌色に注目し、その色相部分のみを抽出しようとするものである。
【０００７】
しかし、色相差を用いる方法は、照明の色や角度などにより、肌色といっても変化し、また、背景の色相が肌色に近いと、人間の肌色と識別するのが難しいなどの問題があり、定常的に切り出すことは困難である。また、照明が全くない状態では、撮像画像は全部暗くなってしまうので、人間でも暗闇で撮影した写真から物体を判別することは難しい。
【０００８】
あるいは、ビデオ画像のフレーム間の動きベクトルを算出し、動いている物体を解析する方式もある。この場合、動いている物体が少ない内は問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間で動きベクトルを算出の負荷が増し、算出が追いつかなくなる。
【０００９】
特にエアバッグを膨らませるのは衝突時であるので、瞬時（１秒間より短時間）での判断が必要である。しかし、従来の画像処理では、撮像自体が１秒間に３０枚であり、その認識処理には、１枚あたり数秒以上かかるので、衝突時などの緊急時の判断処理を行うことはできなかった。
【００１０】
また、近傍にあるものがハエなのか、人間なのかを見分けるには、その体積を求める必要がある。体積を算出するには、３次元情報が必要となるが、従来のカメラを使った場合は、２台のカメラを使い、三角測量の方法を用いないと、距離などの３次元情報を取得することはできなかった。しかし、カメラが２台になるということは、パソコンなどのコンピュータのＣＰＵにかかる負担が２倍になるので、事故発生時などの瞬時の判断はますます困難となる。
【００１１】
このような問題を解決するために、たとえば、特開平１０−１７７４４９号公報に示されているような距離画像取得装置を用いて、ユーザの手や体のジェスチャをリアルタイムで取得する技術が発明されている。
【００１２】
特開平１０−１７７４４９号公報で開示されている距離画像取得装置を用いれば、パソコン本体のＣＰＵに負荷をかけることなく、物体を背景から切り出すことができる。
【００１３】
【発明が解決しようとする課題】
このように従来の方法では、両手を使う、両足も使うなど、処理すべき対象が増えると、それに応じて画像処理プログラムを作成し直す必要があり、大変手間がかかった。また、手はぐらぐら動いているために、安定した動作の抽出が難しかった。
【００１４】
【課題を解決するための手段】
以上の課題を解決するために、本願発明は、車両の座席についている者の距離画像を取得するための距離画像取得手段と、前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像取得手段によって取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、前記判定手段による定常時判定と非定常時判定とに基づいて、車載機器の制御を行うための車載機器制御手段とを具備することを特徴とする。
【００１５】
また、車両の衝突を検知するための衝突検知手段と、前記衝突検知手段によって車両の衝突が検知された場合に、膨張するエアバッグとを有する車載機器制御装置であって、車両の座席についている者の距離画像を取得するための距離画像取得手段と、前記衝突検知手段によって車両の衝突が検知された場合に、前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像取得手段によって取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、前記判定手段による定常時判定と非定常時判定とに基づいて、前記エアバッグの膨張を制御するための膨張制御手段とを具備することを特徴とする。
【００１６】
更に、前記距離画像取得手段によって取得された距離画像から運転者の頭の動き周期を認識する認識手段と、前記認識手段の認識結果により運転者が居眠りしているとされた場合に、運転者に警報を発する警告手段とを具備することを特徴とする。
【００１７】
【発明の実施の形態】
［第１の実施例］
図１に取得した助手席の同乗者の距離画像に対応して、エアバッグ膨張の制御を行う第１の実施例の概略構成図を示す。
【００１８】
図２に示すような距離画像取得部６と、定常時において、同乗者の特定などをおこなうための解釈規則を記憶する定常時解釈記憶部４と、衝突時などの災害時のための解釈を記憶する非常時解釈記憶部５と、これらの解釈記憶部に記憶された規則を利用して、距離画像取得部６が取得した距離画像の処理と解釈を行う画像処理部２と、衝突を検知する衝突検知部７と、衝突時に膨張し、同乗者を障害から守るエアバッグ８と、衝突検知部７から知らされた衝突と、画像処理部２の結果にもとづいてエアバッグ８の膨張を制御するエアバッグ膨張制御部１と、これらを制御する情報管理部３から構成さる。
【００１９】
図２は、特開平１０−１７７４４９号公報に示されているような距離画像取得部６の概略図である。中央の円の部分がレンズであり、周囲に並ぶ小さな円は例えば、赤外などの光を照射するＬＥＤにあたる。ＬＥＤから照射された光が物体に反射され、レンズにより集光され、レンズの後部にあるエリアセンサで受光される。
【００２０】
距離画像取得部６１は、中央の円の部分がレンズであり、周囲に並ぶ小さな円形の発光部６１１は例えば、赤外光などの光を照射するＬＥＤにあたる。タイミング信号生成部６１４の信号に従い、ＬＥＤから照射された光が物体に反射され、レンズにより集光され、レンズの後部にあるエリアセンサ（受光部６１２）で受光される。受光した光は、反射光抽出部６１３によって、画像として取得される。このように取得された画像は例えば、図３のような形式になっている。
【００２１】
図３（ａ）は取得した画像データの一部（２５６×２５６の一部の８×８）を示したものである。この例では、行列中のセルの値は、取得した反射光の強さを８ビット（２５６階調）で示したものである。２５５の値があるセルは、画像取得部１に最も接近した状態、０の値があるセルは、画像取得部１から遠くにあり、反射光が画像取得部１にまで到達しないことを示している。図３（ｂ）は取得した画像データ全体を３次元的に示したものである。この例では、人間の手を取得したデータを示している。
【００２２】
画像処理部２は、図３（ａ）のような形式で距離画像取得部６で取得された距離画像を受け取り、エッジ切り出し、重心抽出、面積算出など種々の画像処理を行う。
【００２３】
ここで、（ｉ，ｊ）の画素値をＰijとし、生成する輪郭情報の画素をＲijとすると、
Ｒij＝２５５（If（Pij−Pi-1j）＞α＆（Pij−Pij-1）＞α＆（Pij−Pi+1j）＞α＆（Pij−Pij+1）＞α）
Ｒij＝０（上記以外）
とすることにより、図４のような輪郭情報を得ることができる。
【００２４】
以下、図５をもとに第１の実施例における処理の流れを示す図である。まず、助手席に座っているのが、子供なのか、大人なのか、あるいは妊産婦なのかを見分けるために、距離画像取得部６により、定常状態での撮像を行う（ステップＳ５０１）。得られた図３のような距離画像を画像処理部２に送る。
【００２５】
画像処理部２は、図６に示すような撮像画像のフィルタリング、２次元、３次元での重心、面積、体積、ＦＦＴ（高速フーリエ解析）、パターンマッチングなどの汎用的な画像処理機能の他に、撮像画像や解析結果の高速表示をおこなうことのできるＳＤＫ（ソフトウェア開発キット）を有している。
【００２６】
例えば、このＳＤＫのパターンマッチング機能を使うと、図７に示すように、あらかじめ取得した画像をパターン画像として登録し、撮像画像とパターン画像との比較を行うときに、比較すべき切り出し領域を正規化し、さらに、その重心位置をあわせた比較を行うことができる。
【００２７】
あるいは、図８に示すように、ＳＤＫのオプティカルフロー機能とベクトル高速表示機能を使うと、撮像画像に対して、オプティカルフローをリアルタイムに表示することが可能である。図８の例は、右側が最新の撮像画像、左側がそれより一つ前に撮像した画像である。左側の撮像画像に対して、右側の撮像画像のオプティカルフローを検出して、右側の撮像画像に矢印を使って、重ねて表示している。例えば、親指に注目すると、左側の画像より、右側の画像の親指の方が、下向きになっている。これが、右側の親指からのびている矢印（オプティカルフロー）として、コンピュータに識別されているわけである。
【００２８】
以上のような処理を行う画像処理部２において、画像処理を行った結果と、定常時解釈規則記憶部４に記憶された規則とを参照し、定常時の状態を解釈する（ステップＳ５０２）。
【００２９】
定常時解釈規則記憶部４には、例えば、図９のような形式で定常時に取得した画像を解釈するのに、使用される規則が記憶されている。助手席に座っているのが、子供や妊婦である場合には、衝突事故時でもエアバッグを膨張しないことが必要なので、ここでは、子供か、妊婦かを見分けるための規則が記憶されている。
【００３０】
また、子供や妊婦でなくても、顔の向きによっては、不用意にエアバッグを膨張させると、窒息させるおそれがあるので、顔の向きなどを識別する規則が格納されている。
【００３１】
例えば、規則１は、助手席に座っているのが、子供か大人かを見分ける規則の１つである。この場合には、子供は頭の大きさが大人とほとんど変わらないため、身長（ここでは、座っていることを想定しているので、座高）に対する割合が大きいことを利用している。つまり、座高値ｂに対する頭長値ｈがある一定値（ここではα）より大きければ、子供、小さければ、大人としている。座高値ｂや頭長値ｈは取得した画像より、画像処理部２において、輪郭を抽出し、そこより求めることができる。
【００３２】
規則２は、助手席に座っているのが、妊婦かどうかを見分けるための規則である。妊婦の場合には、腹部と顔の奥行き方向をみて、腹部がでっぱているかどうかを見る。それが、（上半身最近値ｚｂ−頭部最近値ｚｈ）である。つまり上半身の最近値（腹部の奥行き）ｚｂと頭部の最近値ｚｈを比較する。この値だけは、単に肥満との差が見分けにくいので、上半身の体幅ｗで正規化をし、この値がある一定値（ここではβ）を越えているかどうかにより判定を行っている。
【００３３】
ステップＳ５０３では、衝突検知部７より衝突検知が通知されたかどうか、つまり衝突したかどうかを確認している。衝突していなければ、ステップＳ５０１に戻り、定常時撮像を継続する。
【００３４】
衝突した場合には、非定常時撮像を行う（ステップＳ５０４）。このステップは場合によっては、その直前の定常時撮像（ステップＳ５０１）で撮像された画像を使えるので、その場合には、このＳ５０４の処理を省略できる。
【００３５】
撮像後、画像処理部２において、非定常時解釈規則記憶部５に記憶された非定常時解釈規則をもとに解釈を行う（ステップＳ５０５）。
【００３６】
図１０は、非定常時解釈規則記憶部５に記憶された非定常時解釈規則の一例を示すものである。
【００３７】
エアバッグ膨張時にエアバッグに非常に近いところに人間がいると、膨張するエアバッグと人間が激しくぶつかり、その反動により大きな障害を受ける可能性がある。このような状況を防ぐための規則が規則１である。危険領域と見なすような非常に近い場所に人間がいるかどうかを判別するには、従来の赤外センサなどによる距離センサで十分である。
【００３８】
しかし、実際には、従来の距離センサでは、近いところにあるものが人間か、ハエのような昆虫かを識別することができない。このため、従来の距離センサでは、ハエが遮っただけで、危険領域に人間がいるとみなしてエアバッグが膨らまないことになる。このような問題を解決するために、規則１では、危険領域に物体があるか「最近距離ｚ＜δ」の式で判別するとともに、その物体の体積が人間と見なせるほど十分大きいかを次の式「体積ｖ＞ε」で判別し、両者が真のとき、危険範囲内に人間がいるという結果をだすようになっている。ここで、δ，εは所定の閾値である。
【００３９】
ただし、身体が前方に倒れたりしていると、体積が精確に計測できないおそれがある。このような問題点を解決するために、規則２では、危険範囲内で前屈した物体があるかどうかを判別している。また、規則３と規則４は顔がどこを向いているかを見分けるための規則である。
【００４０】
次にエアバッグ膨張制御部１は、ステップＳ５０２とＳ５０４の結果をもとに、エアバッグ８を膨らませるかどうかの制御を行う。ステップＳ５０２で、妊婦、子供と判定されているときには、エアバッグを膨張させないよう制御する。また、ステップＳ５０２では、妊婦あるいは子供と判断されていないが、ステップＳ５０４で、危険範囲内に人間、あるいは前屈していると判定されているときには、エアバッグを膨らませないよう制御する。
【００４１】
あるいは、妊婦、子供と判定されているが、衝撃の度合いがひどい場合、ステップＳ５０４で横を向いていて、窒息する危険性がなく、ステップＳ５０４で危険範囲内にいないこと、前屈していないことが確認されているときに、エアバッグを顔に当たらない方向に膨張させるよう制御する。
【００４２】
［第１の発明の効果］
以上のように本発明によれば、同乗者とエアバッグまでの距離値、同乗者の体積値を使って、助手席の同乗者の状態を判別して、エアバッグの膨張を制御させることができるので、衝突時でのエアバッグ膨張による危険性を大きく減らすことができるので、その効果は大きい。
【００４３】
［第２の実施例］
図１１は第２の実施例の概略構成図である。第１の実施例では、助手席の同乗者の状態を検知しているが、第２の実施例では、取得した画像にもとづいて、運転者と同乗者双方の状態を検知して、車載機器の制御を行うものである。
【００４４】
第２の実施例の構成は、第１の実施例の構成に運転者操作解釈部９とカーナビ制御部１０を追加したものである。
【００４５】
距離画像取得部６は、高解像度になっていて、例えば、図１２に示すように、左半面は運転者、右半面は同乗者（左ハンドル車では逆）を取得するようになっている。あるいは、距離画像取得部６は周期的に角度をかえ、運転者と同乗者の画像を交互に取得するようになっていてもよい。
【００４６】
情報管理部３は、同乗者の画像に関しては、第１の実施例と同様の処理を行い、また、運転者の画像に関しては、運転者操作解釈部９を起動し、その結果、カーナビなどの車載機器の操作制御部１０が操作制御を行うように、管理を行う。
【００４７】
あるいは、運転者操作解釈部９では、運転者の頭の動きの周期を認識し、一定周期で動く時間がある一定時間を越えたら、居眠りをしている危険性があるので、その認識結果をカーナビ制御部１０に送る。カーナビ制御部１０より警報を発する等して、運転者に注意を促すなどの対策を実施することもできる。
【００４８】
【発明の効果】
以上、本発明によれば、１台の画像取得部を用いるだけで、同乗者、運転者双方に対応した処理を行うことができるので、大きな低コスト化につながる。
【図面の簡単な説明】
【図１】第１の実施例の概略構成図
【図２】第１の実施例の距離画像取得部の概要の一例
【図３】は第１の実施例の画像取得部が取得した画像形式の一例
【図４】第１の実施例の画像処理部の処理結果の一例
【図５】第１の実施例の処理の流れ図
【図６】第１の実施例中の画像処理部内の処理機能の一例
【図７】第１の実施例中の画像処理部の処理結果の一例
【図８】第１の実施例中の画像処理部の処理結果の一例
【図９】第１の実施例中の定常時規則記憶部の記憶の一例
【図１０】第１の実施例中の非定常時規則記憶部の記憶の一例
【図１１】第２の実施例の概略構成図
【図１２】第２の実施例中の画像取得部が取得した画像一例
【符号の説明】
１…エアバッグ膨張制御部
２…画像処理部
３…情報管理部
４…定常時解釈記憶部
５…非常時解釈記憶部
６…距離画像取得部
７…衝突検知部
８…エアバッグ
９…運転者操作解釈部
１０…カーナビ制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle-mounted device control apparatus and method for recognizing and processing the movement of a vehicle-mounted user who controls a vehicle-mounted device based on a distance image.
[0002]
[Prior art]
Since a driver of a vehicle such as an automobile uses both hands for driving, there is a problem that an in-vehicle device such as a navigation system cannot be operated. For this reason, a method of operating by voice using voice recognition is also considered. However, there is a problem that it is difficult to recognize while driving because there is a lot of noise such as engine sound of a passing car. Alternatively, there is a problem that it is impossible to identify whether the driver is talking to other passengers or is being emitted to operate the device.
[0003]
On the other hand, in order to reduce the damage at the time of a collision, measures are taken to inflate the airbag at the time of the collision. However, when the passenger in the passenger seat is a pregnant woman or an infant, there is a disadvantage that the passenger is crushed by the inflated airbag. Or, when a person is in the immediate vicinity of the airbag at the time of a collision, it is necessary to make sure that there is no person in the immediate vicinity because inflating the airbag may cause a big impact on the face and cause injury. is there.
[0004]
In order to eliminate such problems, infrared distance sensors are used. However, the current distance sensor can only recognize that an object is at the same distance even if a fly crosses the distance sensor or a human crosses. For this reason, there is a need to distinguish between flies and humans.
[0005]
Conventionally, there is a method of recognizing the position of a human body by analyzing an image captured using a CCD camera or the like. In this method, photographing is performed using an imaging device such as a CCD camera. In the case of extracting a human from the image, for example, since the color of the face or hand is a skin color, a preprocessing is performed such that an extra portion such as the background is removed and only an object to be recognized such as an obstacle is cut out. . Then, the shape of the object is recognized by using the preprocessed image.
[0006]
First, the pre-processing part of extracting the recognition target will be described. In the conventional technique, as an operation of cutting out only a portion of the target object to be acquired from an image photographed by a camera, the target object is cut out by using some difference between the target object and other parts as a clue. As a clue, a method using a change in hue, a method using a difference image, and the like are used. When cutting out using colors, a portion with a large hue difference is extracted, and processing such as thinning is performed to extract edges. When targeting humans, attention is paid to the skin color of the face and hand parts, and only the hue part is extracted.
[0007]
However, the method of using the hue difference changes depending on the color and angle of illumination, even if it is called skin color, and if the background hue is close to skin color, it is difficult to distinguish it from human skin color. It is difficult to cut out regularly. In addition, in the state where there is no illumination, the entire captured image becomes dark, and it is difficult for a human to discriminate an object from a photograph taken in the dark.
[0008]
Alternatively, there is a method of calculating a motion vector between frames of a video image and analyzing a moving object. In this case, there is no problem as long as there are few moving objects, but if there are many moving objects, the number of motion vectors suddenly increases, the load of calculating motion vectors between frames increases, and the calculation cannot catch up.
[0009]
In particular, since the airbag is inflated at the time of a collision, it is necessary to make an instantaneous determination (shorter than 1 second). However, in the conventional image processing, imaging itself is 30 images per second, and the recognition processing takes several seconds or more per image. Therefore, it is not possible to perform emergency judgment processing such as a collision.
[0010]
In addition, in order to distinguish whether a nearby object is a fly or a human, it is necessary to determine its volume. To calculate the volume, 3D information is required, but when using conventional cameras, 3D information such as distance is acquired unless two cameras are used and the triangulation method is used. I couldn't. However, the fact that there are two cameras doubles the burden on the CPU of a computer such as a personal computer, making instant determination at the time of an accident more difficult.
[0011]
In order to solve such a problem, for example, a technique for acquiring a user's hand or body gesture in real time using a distance image acquisition device as disclosed in Japanese Patent Application Laid-Open No. 10-177449 has been invented. ing.
[0012]
By using the distance image acquisition device disclosed in Japanese Patent Laid-Open No. 10-177449, an object can be cut out from the background without imposing a load on the CPU of the personal computer body.
[0013]
[Problems to be solved by the invention]
As described above, in the conventional method, if the number of objects to be processed increases, such as using both hands and both feet, it is necessary to recreate the image processing program accordingly, which is very troublesome. In addition, since the hands are moving, it is difficult to extract stable movements.
[0014]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides distance image acquisition means for acquiring a distance image of a person on a vehicle seat, and a constant image stored in advance from the distance image acquired by the distance image acquisition means. Steady state determination for identifying a person who is seated based on a regular interpretation rule, and a posture of a person who is seated based on a non-steady state interpretation rule stored in advance from a distance image acquired by the distance image acquisition means A non-stationary time determination unit for determining the vehicle state, and a vehicle-mounted device control unit for controlling the vehicle-mounted device based on the steady-state determination and the non-stationary time determination by the determination unit. And
[0015]
An on-vehicle device control apparatus having a collision detection means for detecting a vehicle collision and an airbag that inflates when a collision of the vehicle is detected by the collision detection means. A distance image acquisition means for acquiring a distance image of a person, and a steady-state interpretation rule stored in advance from the distance image acquired by the distance image acquisition means when a collision of a vehicle is detected by the collision detection means And determining the posture of the person who is seated based on the pre-stored interpretation rules for the non-steady time from the distance image acquired by the distance image acquisition means. Determining means for performing unsteady time determination, and inflation control means for controlling inflation of the airbag based on steady state determination and unsteady time determination by the determining means Characterized by including the.
[0016]
Further, when the driver recognizes that the driver's head movement cycle is recognized from the distance image acquired by the distance image acquiring unit, and the driver is asleep due to the recognition result of the recognition unit, the driver And a warning means for issuing an alarm .
[0017]
DETAILED DESCRIPTION OF THE INVENTION
[First embodiment]
FIG. 1 shows a schematic configuration diagram of the first embodiment for controlling the airbag inflation corresponding to the distance image of the passenger in the passenger seat acquired in FIG.
[0018]
A distance image acquisition unit 6 as shown in FIG. 2, a steady-state interpretation storage unit 4 that stores interpretation rules for identifying passengers in a steady state, and interpretation for disasters such as a collision. The emergency interpretation storage unit 5 to be stored, the image processing unit 2 for processing and interpreting the distance image acquired by the distance image acquisition unit 6 using the rules stored in these interpretation storage units, and the collision detection The collision detection unit 7 that is inflated at the time of collision and protects the passenger from obstacles, the collision notified from the collision detection unit 7, and the expansion of the airbag 8 based on the result of the image processing unit 2 The air bag inflation control unit 1 and the information management unit 3 for controlling them are configured.
[0019]
FIG. 2 is a schematic diagram of the distance image acquisition unit 6 as disclosed in JP-A-10-177449. The central circle portion is a lens, and the small circles arranged in the periphery correspond to, for example, an LED that emits light such as infrared light. The light emitted from the LED is reflected by the object, collected by the lens, and received by the area sensor at the rear of the lens.
[0020]
In the distance image acquisition unit 61, a central circular portion is a lens, and a small circular light emitting unit 611 arranged in the periphery corresponds to, for example, an LED that emits light such as infrared light. According to the signal from the timing signal generation unit 614, the light emitted from the LED is reflected by the object, collected by the lens, and received by the area sensor (light receiving unit 612) at the rear of the lens. The received light is acquired as an image by the reflected light extraction unit 613. The image acquired in this way has a format as shown in FIG. 3, for example.
[0021]
FIG. 3A shows a part of the acquired image data (a part of 256 × 256, 8 × 8). In this example, the value of the cell in the matrix indicates the intensity of the acquired reflected light in 8 bits (256 gradations). A cell with a value of 255 indicates the state closest to the image acquisition unit 1, a cell with a value of 0 indicates that the cell is far from the image acquisition unit 1, and the reflected light does not reach the image acquisition unit 1. Yes. FIG. 3B shows the entire acquired image data three-dimensionally. In this example, data obtained from a human hand is shown.
[0022]
The image processing unit 2 receives the distance image acquired by the distance image acquisition unit 6 in the format shown in FIG. 3A, and performs various image processing such as edge cutout, centroid extraction, and area calculation.
[0023]
Here, if the pixel value of (i, j) is Pij and the pixel of the contour information to be generated is Rij,
Rij = 255 (If (Pij−Pi−1j)> α &(Pij−Pij−1)> α & (Pij−Pi + 1j)> α & (Pij−Pij + 1)> α)
Rij = 0 (other than above)
By doing so, contour information as shown in FIG. 4 can be obtained.
[0024]
FIG. 6 is a diagram showing the flow of processing in the first embodiment based on FIG. First, in order to determine whether the passenger seat is a child, an adult, or a pregnant woman, the distance image acquisition unit 6 performs imaging in a steady state (step S501). The obtained distance image as shown in FIG. 3 is sent to the image processing unit 2.
[0025]
In addition to general-purpose image processing functions such as filtering of captured images as shown in FIG. 6, 2D, 3D centroid, area, volume, FFT (Fast Fourier Analysis), pattern matching, etc. In addition, it has an SDK (software development kit) that can display captured images and analysis results at high speed.
[0026]
For example, when this SDK pattern matching function is used, as shown in FIG. 7, when an image acquired in advance is registered as a pattern image and the captured image and the pattern image are compared, the cutout region to be compared is normalized. In addition, the comparison can be performed by combining the positions of the center of gravity.
[0027]
Alternatively, as shown in FIG. 8, when the optical flow function and the vector high-speed display function of the SDK are used, it is possible to display the optical flow on the captured image in real time. In the example of FIG. 8, the right side is the latest captured image, and the left side is an image captured immediately before. The optical flow of the right captured image is detected with respect to the left captured image, and the right captured image is displayed using an arrow. For example, when attention is paid to the thumb, the thumb of the right image is facing downward rather than the left image. This is identified to the computer as an arrow (optical flow) extending from the right thumb.
[0028]
The image processing unit 2 that performs the above processing refers to the result of the image processing and the rules stored in the steady-state interpretation rule storage unit 4 to interpret the steady-state state (step S502).
[0029]
The regular interpretation rule storage unit 4 stores, for example, a rule used to interpret an image acquired in a steady state in a format as shown in FIG. If the child sitting in the passenger seat is a child or a pregnant woman, it is necessary not to inflate the airbag even in the event of a collision, so the rules for distinguishing between a child and a pregnant woman are remembered here .
[0030]
Moreover, even if it is not a child or a pregnant woman, depending on the orientation of the face, if the airbag is inadvertently inflated, there is a risk of suffocation, so rules for identifying the orientation of the face are stored.
[0031]
For example, rule 1 is one of the rules for distinguishing whether a child sitting in a passenger seat is a child or an adult. In this case, since the size of the head of the child is almost the same as that of the adult, it is used that the ratio to the height (here, sitting height is assumed because sitting is assumed). That is, if the head length value h with respect to the sitting height value b is larger than a certain value (α in this case), it is a child, and if it is small, it is an adult. The sitting height value b and the head length value h can be obtained from the acquired image by extracting the contour in the image processing unit 2.
[0032]
Rule 2 is a rule for discriminating whether the person sitting in the passenger seat is a pregnant woman. For pregnant women, look at the depth of the abdomen and face to see if the abdomen is protruding. That is (upper body latest value zb−head latest value zh). That is, the latest value (abdominal depth) zb of the upper body and the latest value zh of the head are compared. Because only this value is difficult to distinguish from obesity, normalization is performed with the body width w of the upper body, and determination is made based on whether this value exceeds a certain value (in this case, β).
[0033]
In step S503, it is confirmed whether or not collision detection is notified from the collision detection unit 7, that is, whether or not a collision has occurred. If there is no collision, the process returns to step S501, and imaging at normal time is continued.
[0034]
If there is a collision, non-stationary imaging is performed (step S504). In some cases, this step can use the image picked up in the normal shooting immediately before that (step S501), and in this case, the processing in step S504 can be omitted.
[0035]
After imaging, the image processing unit 2 performs interpretation based on the non-stationary time interpretation rule storage unit 5 (step S505).
[0036]
FIG. 10 shows an example of the non-stationary time interpretation rule stored in the non-stationary time interpretation rule storage unit 5.
[0037]
If a person is very close to the air bag when the air bag is inflated, the inflating air bag and the person may collide violently, and the reaction may cause a major obstacle. The rule for preventing such a situation is rule 1. A distance sensor such as a conventional infrared sensor is sufficient to determine whether or not there is a person in a very close place that can be regarded as a dangerous area.
[0038]
However, in practice, a conventional distance sensor cannot identify whether a nearby object is a human or an insect such as a fly. For this reason, in the conventional distance sensor, the air bag does not inflate because it is considered that a person is in the dangerous area only by blocking the fly. In order to solve such a problem, according to Rule 1, whether there is an object in the dangerous region is determined by the expression “nearest distance z <δ”, and whether the volume of the object is sufficiently large to be regarded as a human being is as follows. It is discriminated by the expression “volume v> ε”, and when both are true, the result is that there is a person in the danger range. Here, δ and ε are predetermined threshold values.
[0039]
However, if the body falls forward, the volume may not be measured accurately. In order to solve such a problem, Rule 2 determines whether there is an object bent forward within the danger range. Rules 3 and 4 are rules for distinguishing where the face is facing.
[0040]
Next, the airbag inflation control unit 1 controls whether or not the airbag 8 is inflated based on the results of steps S502 and S504. If it is determined in step S502 that the patient is a pregnant woman or a child, control is performed so that the airbag is not inflated. In step S502, it is not determined that the patient is a pregnant woman or a child. However, if it is determined in step S504 that the person is in the danger range or is bent forward, control is performed so that the airbag is not inflated.
[0041]
Or, if it is determined to be a pregnant woman or a child, but the degree of impact is severe, there is no risk of suffocating in step S504, and it is not within the danger range in step S504, and is not bent forward. When the air bag is confirmed, the air bag is controlled to be inflated in a direction not to hit the face.
[0042]
[Effect of the first invention]
As described above, according to the present invention, it is possible to determine the state of the passenger in the passenger seat using the distance value between the passenger and the airbag and the volume value of the passenger, and to control the inflation of the airbag. Since this can be done, the risk of air bag expansion during a collision can be greatly reduced, so the effect is great.
[0043]
[Second Embodiment]
FIG. 11 is a schematic configuration diagram of the second embodiment. In the first embodiment, the state of the passenger in the passenger seat is detected, but in the second embodiment, the state of both the driver and the passenger is detected based on the acquired image, and the in-vehicle device The control is performed.
[0044]
The configuration of the second embodiment is obtained by adding a driver operation interpretation unit 9 and a car navigation control unit 10 to the configuration of the first embodiment.
[0045]
The distance image acquisition unit 6 has a high resolution. For example, as shown in FIG. 12, the left half surface acquires a driver and the right half surface acquires a passenger (the reverse in a left-hand drive vehicle). Or the distance image acquisition part 6 changes an angle periodically, and you may acquire a driver and a passenger's image by turns.
[0046]
The information management unit 3 performs the same processing as that of the first embodiment for the passenger image, and activates the driver operation interpretation unit 9 for the driver image. Management is performed so that the operation control unit 10 of the in-vehicle device performs operation control.
[0047]
Alternatively, the driver operation interpretation unit 9 recognizes the cycle of the driver's head movement, and if the time for moving in a certain cycle exceeds a certain time, there is a risk of falling asleep. This is sent to the car navigation control unit 10. It is also possible to take measures such as issuing an alarm from the car navigation control unit 10 to call the driver's attention.
[0048]
【The invention's effect】
As described above, according to the present invention, the processing corresponding to both the passenger and the driver can be performed only by using one image acquisition unit, which leads to a large cost reduction.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a first embodiment. FIG. 2 is an example of an overview of a distance image acquisition unit of the first embodiment. FIG. 3 is an image format acquired by an image acquisition unit of the first embodiment. FIG. 4 is an example of a processing result of the image processing unit of the first embodiment. FIG. 5 is a flowchart of processing of the first embodiment. FIG. 6 is a processing function in the image processing unit of the first embodiment. FIG. 7 shows an example of the processing result of the image processing unit in the first embodiment. FIG. 8 shows an example of the processing result of the image processing unit in the first embodiment. FIG. 10 shows an example of storage of the non-stationary rule storage unit in the first embodiment. FIG. 11 shows a schematic configuration diagram of the second embodiment. An example of an image acquired by the image acquisition unit in the embodiment
DESCRIPTION OF SYMBOLS 1 ... Airbag inflation control part 2 ... Image processing part 3 ... Information management part 4 ... Steady time interpretation memory | storage part 5 ... Emergency time interpretation memory | storage part 6 ... Distance image acquisition part 7 ... Collision detection part 8 ... Air bag 9 ... Driver Operation interpretation unit 10 ... Car navigation control unit

Claims

車両の座席についている者の距離画像を取得するための距離画像取得手段と、
前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、
前記判定手段による定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように車載機器の制御を行うための車載機器制御手段とを具備することを特徴とする車載機器制御装置。Distance image acquisition means for acquiring a distance image of a person on the seat of the vehicle;
A stationary time determination that identifies a person on the seat based on a steady-state interpretation rule stored in advance from the distance image acquired by the distance image acquisition means, and an unsteady-time interpretation rule stored in advance from the distance image. A determination means for performing a non-stationary determination to determine the posture of a person who is originally seated;
Vehicle-mounted device control means for controlling the vehicle-mounted device based on the person identified by the determination at the stationary time and the posture determined by the non-stationary determination , so that the person on the seat is not dangerous An in-vehicle device control device comprising:

車両の衝突を検知するための衝突検知手段と、
前記衝突検知手段によって車両の衝突が検知された場合に、膨張するエアバッグとを有する車載機器制御装置であって、
車両の座席についている者の距離画像を取得するための距離画像取得手段と、
前記衝突検知手段によって車両の衝突が検知された場合に、前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、
前記判定手段による定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように前記エアバッグの膨張を制御するための膨張制御手段とを具備することを特徴とする車載機器制御装置。A collision detection means for detecting a vehicle collision;
When a collision of a vehicle is detected by the collision detection means, an in-vehicle device control device having an airbag that inflates,
Distance image acquisition means for acquiring a distance image of a person on the seat of the vehicle;
A steady-state determination that identifies a person in the seat based on a steady-state interpretation rule stored in advance from a distance image acquired by the distance image acquisition unit when a collision of a vehicle is detected by the collision detection unit; Determination means for performing non-stationary time determination for determining a posture of a person on the seat based on a non-stationary time interpretation rule stored in advance from the distance image;
Inflation control means for controlling inflation of the airbag so that there is no danger to the person on the seat based on the person identified by the determination at the stationary time by the determination means and the posture determined by the determination at the non-stationary time. An in-vehicle device control device comprising:

前記判定手段は、前記距離画像取得手段によって定常時に取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記衝突検知手段によって車両の衝突が検知された非定常時に前記距離画像取得手段によって取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行うことを特徴とする請求項２記載の車載機器制御装置。 The determination means determines a person in the seat based on a steady-state interpretation rule stored in advance from a distance image acquired by the distance image acquisition means at the normal time, and determines whether a vehicle is in the vehicle by the collision detection means. Performing a non-stationary time determination for determining the posture of a person on the seat based on a pre-stored non-stationary time interpretation rule from a distance image acquired by the distance image acquiring means at the time of a non-steady state when a collision is detected. The in-vehicle device control device according to claim 2.

前記距離画像取得手段は、対象物に光を照射する照射手段と、前記照射手段により照射した光が該対象物により反射された反射光を受光する受光手段とを具備し、前記反射光の強度から距離画像取得することを特徴とする請求項１乃至請求項３のいずれか１項記載の車載機器制御装置。The distance image acquisition means includes an irradiating means for irradiating the object with light, and a light receiving means for receiving the reflected light reflected by the object with the light irradiated by the irradiating means, and the intensity of the reflected light The in-vehicle device control device according to any one of claims 1 to 3, wherein a distance image is acquired from the vehicle.

更に、前記距離画像取得手段によって取得された距離画像から運転者の頭の動き周期を認識する認識手段と、
前記認識手段の認識結果により運転者が居眠りしているとされた場合に、運転者に警報を発する警告手段とを具備することを特徴とする請求項１乃至請求項４のいずれか１項記載の車載機器制御装置。A recognition unit for recognizing a movement cycle of the driver's head from the range image acquired by the range image acquisition unit;
When the driver by the recognition result of the recognition means is to be asleep, any one of claims 1 to claim 4, characterized by comprising a warning means for issuing an alarm to the driver In-vehicle equipment control device.

車両の座席についている者の距離画像を取得し、
取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行い、
この定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように車載機器の制御を行うことを特徴とする車載機器制御方法。Get a distance image of the person in the vehicle seat,
Seating based on the steady-state determination that identifies the person on the seat based on the pre-stored steady-state interpretation rules from the acquired distance image and the non-steady-state interpretation rules pre-stored from the acquired distance image Perform non-steady-state determination to determine the posture of the person
A vehicle-mounted device control method characterized in that the vehicle-mounted device is controlled based on the person specified in the stationary time determination and the posture determined in the non-stationary time determination so that there is no danger to the person in the seat .

車両の衝突を検知し、車両の衝突が検知された場合に、エアバッグの動作を制御する車載機器制御方法であって、
車両の座席についている者の距離画像を取得し、
車両の衝突が検知された場合に、取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行い、
この定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように前記エアバッグの膨張を制御することを特徴とする車載機器制御方法。An in-vehicle device control method for detecting the collision of a vehicle and controlling the operation of the airbag when a vehicle collision is detected,
Get a distance image of the person in the vehicle seat,
When a collision of a vehicle is detected, a steady-state determination that identifies a person on the seat based on a steady-state interpretation rule stored in advance from the acquired distance image, and stored in advance from the acquired distance image Based on the non-stationary interpretation rules, perform the non-stationary judgment to determine the posture of the person in the seat,
In-vehicle device control for controlling inflation of the airbag based on the person specified in the stationary time determination and the posture determined in the non-stationary time determination so that there is no danger to the person in the seat Method.

定常時に取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、車両の衝突が検知された非定常時に取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行うことを特徴とする請求項７記載の車載機器制御方法。 Predetermined from the distance image acquired at the time of steady state and the distance image acquired at the time of non-steady state when a vehicle collision is detected 8. The in-vehicle device control method according to claim 7, wherein non-steady state determination is performed to determine a posture of a person on the seat based on the non-steady-state interpretation rule.

対象物に光を照射し、照射した光が該対象物により反射された反射光を受光し、この反射光の強度から距離画像取得することを特徴とする請求項６乃至請求項８のいずれか１項記載の車載機器制御方法。9. The object according to claim 6, wherein the object is irradiated with light, the reflected light is reflected by the object, and a distance image is acquired from the intensity of the reflected light . vehicle equipment control method according (1).

更に、取得された距離画像から運転者の頭の動き周期を認識し、
この認識結果により運転者が居眠りしているとされた場合に、運転者に警報を発することを特徴とする請求項６乃至請求項８のいずれか１項記載の車載機器制御方法。Furthermore, the movement period of the driver's head is recognized from the acquired distance image,
The vehicle-mounted device control method according to any one of claims 6 to 8, wherein an alarm is issued to the driver when the driver is determined to fall asleep according to the recognition result.