JP2014032542A - 画像処理装置及び、当該画像処理装置を用いた車両制御システム - Google Patents

画像処理装置及び、当該画像処理装置を用いた車両制御システム Download PDF

Info

Publication number
JP2014032542A
JP2014032542A JP2012172960A JP2012172960A JP2014032542A JP 2014032542 A JP2014032542 A JP 2014032542A JP 2012172960 A JP2012172960 A JP 2012172960A JP 2012172960 A JP2012172960 A JP 2012172960A JP 2014032542 A JP2014032542 A JP 2014032542A
Authority
JP
Japan
Prior art keywords
image processing
area
weight
processing apparatus
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012172960A
Other languages
English (en)
Other versions
JP5870871B2 (ja
Inventor
Ei Sakai
映 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012172960A priority Critical patent/JP5870871B2/ja
Publication of JP2014032542A publication Critical patent/JP2014032542A/ja
Application granted granted Critical
Publication of JP5870871B2 publication Critical patent/JP5870871B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 画像内の対象物を適切に検出することが可能な画像処理装置を提供する。
【解決手段】 基準領域検出手段が、画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する(S120)。探索領域設定手段は、基準領域検出手段にて検出された基準領域に一部が隠れる探索領域を設定し(S130)、重複矩形を算出する。ウェイト設定手段は、探索領域設定手段にて設定される探索領域における各パーツの基準位置を基に、基準領域との関係から、各パーツのウェイトを設定する(S140)。これにより、スコア算出手段は、ウェイト設定手段にて設定されるウェイトを加味して各パーツをスコア化し、各パーツのスコアを足し合わせて探索領域のスコアを算出する(S150)。そして、対象物検出手段によって、スコア算出手段にて算出される探索領域のスコアに基づき、対象物が検出される(S160)。
【選択図】図3

Description

本発明は、車載カメラの画像内から歩行者等の対象物を検出する技術に関する。
従来、車両走行の障害となる物体との衝突回避等を目的として、車載カメラの画像内から歩行者を検出する技術が提案されている。例えば、車載カメラの画像内から判別対象となる物体を検出し、その物体に対して歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法を適用し、歩行者を検出する技術が提案されている。
ところが、歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法では、歩行者の輪郭パターンに類似した例えば樹木などの物体を歩行者として検出する虞があり、歩行者の検出精度が低下してしまうことがある。
この課題を解決するための手法として、歩行者を構成する所定部位に関する判定を行い、各所定部位の判定出力値の総和が閾値を上回っているか否かで歩行者を判定する技術が提案されている(例えば、特許文献1参照)。例えば、頭、胴体、手、足という所定部位に関する判定を行い、各所定部位の判定出力値の総和を基に検出するという具合である。
特開2008−21034号公報
しかしながら、上記特許文献1に記載の技術には、歩行者の後ろにいる歩行者や、物陰に隠れた歩行者を精度よく検出できないという課題がある。すなわち、歩行者の頭、胴体、手、足などの所定部位のいくつかが画像内に写らない場合、その所定部位の判定出力値が小さくなることにより、判定出力値の総和が小さくなる。そのため、判定出力値の総和を基に歩行者を検出した場合、歩行者が検出されないことが懸念される。
なお、ここに挙げた課題は、歩行者に限られるものではなく、画像内の対象物を検出する場合にも同様に生じるものである。
本発明は、上述した課題を解決するためになされたものであり、その目的は、画像内の対象物を適切に検出することが可能な画像処理装置及び、当該画像処理装置を用いた車両制御システムを提供することにある。
上記目的を達成するためになされた請求項1に記載の画像処理装置(10)は、車両に搭載される撮像装置(32)からの画像に基づいて対象物を検出する。
この画像処理装置では、パーツモデル記憶部(61)に、対象物の各部位であるパーツを検出してスコア化するためのパーツモデルが記憶されている。パーツモデルは、例えば対象物が歩行者であれば、頭部に対応する頭部パーツモデル、腕部に対応する腕部パーツモデル、腰部に対応する腰部パーツモデル、脚部に対応する脚部パーツモデルなどとして用意される。また例えば対象物が車両であれば、タイヤに対応するタイヤパーツモデル、テールライトに対応するテールライトパーツモデル、窓に対応する窓パーツモデルなどとして用意される。
ここで特に、基準領域検出手段(51a)が、画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する。基準領域の形状は特に限定されないが、例えば矩形領域とすることが考えられる。また、探索領域設定手段(51b)は、基準領域検出手段にて検出された基準領域に一部が隠れる探索領域を設定する。探索領域も、例えば矩形領域とすることが考えられる。
ウェイト設定手段(51c)は、探索領域設定手段にて設定される探索領域における各パーツの基準位置を基に、基準領域との関係から、各パーツのウェイトを設定する。これにより、スコア算出手段(51d)は、ウェイト設定手段にて設定されるウェイトを加味して各パーツをスコア化し、各パーツのスコアを足し合わせて探索領域のスコアを算出する。そして、対象物検出手段(51e)によって、スコア算出手段にて算出される探索領域のスコアに基づき、対象物が検出される。
つまり、対象物の各部位であるパーツをスコア化する際、当該パーツが画像内で検出される基準領域に隠れているか否かによってウェイトを設定し、重み付けを変えるのである。このようにすれば、画像内の対象物を適切に検出することができる。
車両制御システムの概略構成を示すブロック図である。 衝突危険度判定テーブルを例示する説明図である。 対象物検出処理を示すフローチャートである。 基準領域と探索矩形との重複及び当該重複部分におけるパーツとの重なりを示す説明図である。
以下、本発明の一実施形態を図面に基づいて説明する。以下、対象物として歩行者を
想定して説明する。
本実施形態の車両制御システムは、画像処理装置10および車両制御装置20を中心に構成されている。画像処理装置10には、測距装置31および撮像装置32が接続されている。また、車両制御装置20には、スピーカ41、ブレーキ42およびステアリング43が接続されている。
画像処理装置10および車両制御装置20は、いわゆるコンピュータとして構成されている。これにより、画像処理装置10では、撮像装置32からの画像に基づき歩行者を検出し、測距装置31による距離情報に基づき、衝突危険度を判定する。これに対し、車両制御装置20は、画像処理装置10から出力される衝突危険度に応じて、スピーカ41による報知を行ったり、緊急度合が大きい場合には、ブレーキ42およびステアリング43による回避制御を行ったりする。
次に、各部の構成について具体的に説明する。
測距装置31は、レーザレーダなどとして具現化される。もちろん、ミリ波レーダなどの別の構成を用いてもよい。この測距装置31により、車両前方の物体までの距離を検知することが可能となる。
撮像装置32は、単眼カメラなどとして具現化される。この撮像装置32により、車両前方が撮像される。画像処理装置10では、上述したように、この画像に基づいて歩行者を検出する。
スピーカ41は、音声出力のための構成である。歩行者との衝突危険度が大きくなると、このスピーカ41を介して「前方に歩行者がいます」や「注意してください」などの音声が出力される。
ブレーキ42は、ブレーキの駆動装置を含み、車両制御装置20からの信号によって、車両を減速させる。また、ステアリング43は、EPS(Electric Power Steering )装置を含み、車両制御装置20からの信号によって運転者の操舵をアシストする。このような車両制御が行われるのは、歩行者との衝突危険度がさらに大きくなった場合であり、緊急性の大きい場合である。
画像処理装置10は、制御部50および記憶部60を有している。制御部50は、いわゆるマイコン(マイクロコンピュータ)として具現化される。制御部50は、対象物検出部51および衝突危険度判定部52を具備する。また、記憶部60は、例えばROMなどとして具現化される。もちろん、ROM以外のフラッシュメモリやHDDなどを用いてもよい。記憶部60は、パーツモデル記憶部61および衝突危険度判定テーブル記憶部62を具備している。
ここで対象物検出部51は、撮像装置32から出力される画像内の歩行者を検出する。具体的には後述するが、手前に存在する基準物の基準領域を特定し、次に、当該基準領域に隠れている歩行者を検出する。
衝突危険度判定部52は、歩行者が検出された後、当該歩行者までの距離が測距装置31にて分かるため、当該歩行者との距離に応じて衝突危険度を判定する。また、検出された歩行者の確からしさがスコアとして算出されるため、当該歩行者のスコアに応じて衝突危険度を判定する。この衝突危険度は、車両制御装置20へ出力される。
パーツモデル記憶部61には、パーツモデルが記憶されている。パーツモデルは、歩行者の各パーツをモデル化したものである。本実施形態では、頭部、腕部、腰部、および、脚部をパーツとして用意する。以下では、これらのパーツに対応するパーツモデルを「頭部パーツモデル」、「腕部パーツモデル」、「腰部パーツモデル」および「脚部パーツモデル」として適宜区別する。なお、パーツモデルは、例えば、輪郭情報等の各パーツの特徴を表現する特徴ベクトルである。
衝突危険度判定テーブル記憶部62には、衝突危険度判定テーブルが記憶されている。この衝突危険度判定テーブルは、図2に示すように、歩行者までの距離(D)及び歩行者のスコア(S)と衝突危険度及び車両制御情報とを対応付けるテーブルである。衝突危険度判定部52は、この衝突危険度判定テーブルを参照することで、衝突危険度を判定する。例えば図2の例では、歩行者までの距離(D)又はスコア(S)の少なくともいずれか一方の条件成立によって危険度が判定される。具体的には、距離Dが「D≦D1」の場合、又は、スコアSが「S≦S1」の場合は、危険度「レベル1」と判定され、車両制御は「警報処理」と判定される。また、距離Dが「D1<D≦D2」の場合、又は、スコアSが「S1<S≦S2」の場合は、危険度「レベル2」と判定され、車両制御は「ブレーキ制御」と判定される。さらにまた、距離Dが「D>D2」の場合、又は、スコアSが「S>S2」の場合は、危険度「レベル3」と判定され、車両制御は「ステア制御」と判定される。
車両制御装置20は、報知制御部70および車両制御部80を有している。いずれもいわゆるマイコンとして具現化される。報知制御部70は、スピーカ41を介した報知を行うための構成であり、衝突の危険度が大きくなると、まずはスピーカ41を介した報知が行われる。車両制御部80は、ブレーキ42およびステアリング43を介した車両制御を行うための構成であり、衝突の危険度がさらに大きくなった場合に衝突回避制御が行われる。
具体的に、衝突危険度判定部52は、図2の衝突危険度判定テーブルで危険度「レベル1」と判定した場合は車両制御「警報処理」を実現するため、報知制御部70へ信号出力を行う。これにより、報知制御部70によるスピーカ41を介した報知が行われる。また、衝突危険度判定部52は、図2の衝突危険度判定テーブルで危険度「レベル2」と判定した場合は車両制御「ブレーキ制御」を実現するため、車両制御部80へ信号出力を行う。これにより、車両制御部80によるブレーキ42を介した減速制御が行われる。さらにまた、衝突危険度判定部52は、図2の衝突危険度判定テーブルで危険度「レベル3」と判定した場合は車両制御「ステア制御」を実現するため、車両制御部80へ信号出力を行う。これにより、車両制御部80によるステアリング43を介した回避制御が行われる。
なお、本実施形態は、対象物検出部51の機能としての対象物検出処理に特徴を有する。そこで、以下では、この対象物検出処理の詳細を説明する。対象物検出処理は、所定時間間隔で繰り返し実行される。
図3に示すように、最初のS110では、画像入力を行う。この処理は、撮像装置32から出力される画像を入力するものである。
続くS120では、画像内の基準領域を検出する。この処理は、撮像装置32からの画像内で基準物を示す矩形範囲を検出するものである。基準物とは、画像の手前側に写っている立体物である。基準物には、歩行者だけでなく車両などが含まれることとしてもよい。具体的な検出方法としては既存の技術を用いる。例えば、歩行者の各パーツをモデル化したパーツモデルがパーツモデル記憶部61に記憶されることは上述したが、当該パーツモデルによって画像をスキャンすることで手前の歩行者を抽出するという具合である。
次のS130では、探索矩形との重複矩形を算出する。探索矩形は、S120で検出される基準領域に対し一部が重なるように、適当な大きさで取られる矩形である。例えば図4(a)に示すように、基準領域Rが画像内に検出された場合、その周辺に探索矩形T1,T2が設定されるという具合である。基準領域Rの周辺には複数の探索矩形が設定されるのであるが、すべての探索矩形に対し同様の処理が行われるため、探索矩形T1を例に挙げて説明する。ここで算出される重複矩形は、図4(b)にハッチングを施して示すように、基準領域Rと探索矩形T1との重複矩形Cとなる。
続くS140では、各パーツのウェイトを決定する。探索矩形に対しては、各パーツの基準位置が設定される。これについて説明する。
探索矩形が歩行者を示すものである場合、頭部パーツ、腕部パーツ、腰部パーツ、および、脚部パーツが含まれる。そこで、パーツモデル記憶部61に記憶された「頭部パーツモデル」、「腕部パーツモデル」、「腰部パーツモデル」および「脚部パーツモデル」を用い、これらパーツモデルとの一致度によって、探索矩形内部の各パーツを後にスコア化する(S150)。
このとき、探索矩形内部の各パーツの基準位置を基に、各パーツのウェイトを決定する。このウェイトによって、各パーツをスコア化する際、各パーツに重み付けをするのである。各パーツの基準位置とは、探索矩形に対して設定される位置であり、統計的に算出されるものである。例えば図4(c)に示すように、6つのパーツP1,P2,P3,P4,P5,P6が探索矩形T1に対し設定されているものとする。
ここで、6つのパーツP1〜P6のうちパーツP1,P3,P4,P6は、少なくともその一部が基準領域Rの陰になっている。すなわち、重複矩形Cと重なる部分が存在する。そこで、重複矩形Cと重なるパーツP1,P3,P4,P6を「隠れありパーツ」ということにする。それ以外のパーツ、すなわち重複矩形Cと重ならないパーツP2,P5を「隠れなしパーツ」ということにする。
ウェイト決定については、種々の手法を採用可能である。ここでは、図4(c)にハッチングを施して示した「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目する。例えば隠れありパーツP6を見ると、隠れあり面積がPa6であり、隠れなし面積がPn6となっている。

このとき、本実施形態では、隠れありパーツPkのウェイトWakを、次の式1で算出する。

Wak=(Pkの隠れなし面積(Pnk))/(パーツPkの面積) … 式1

具体的に、P6の場合、Wa6=Pn6/(Pn6+Pa6)となる。
また、隠れなしパーツのウェイトWnを次の式2で算出する。

Wn=(パーツの総面積)/(隠れなしパーツの総面積) … 式2

なお、隠れありパーツのウェイトWakはパーツPkごとに算出される。また、隠れなしパーツのウェイトWnは、パーツに関係なく一律に算出される。
次のS150では、ウェイトを加味して各パーツのスコアを足しこむ。図4(c)の例では、各パーツP1〜P6のスコアS1〜S6を算出し、隠れありパーツP1,P3,P4,P6に対しては上記式1で算出したWakを乗じ、隠れなしパーツP2,P5に対しては上記式2で算出したWnを乗じて足し合わせる。
続くS160では、閾値処理により歩行者を検出する。すなわち、ウェイトを加味した各パーツのスコアの総和として探索矩形のスコアが算出されるため、当該スコアが閾値を越えている場合に、歩行者であると判断する。
以上詳述したように本実施形態では、パーツモデル記憶部61に、対象物の各部位であるパーツを検出してスコア化するためのパーツモデルが記憶されている。本実施形態では、パーツモデルは、歩行者の各部位に対応するものであり、頭部に対応する頭部パーツモデル、腕部に対応する腕部パーツモデル、腰部に対応する腰部パーツモデル、脚部に対応する脚部パーツモデルとして用意される。
このとき本実施形態では、基準領域検出手段51aが、画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する(図3中のS120)。探索領域設定手段51bは、基準領域検出手段51aにて検出された基準領域に一部が隠れる探索領域を設定し(S130)、重複矩形を算出する。ウェイト設定手段51cは、探索領域設定手段51bにて設定される探索領域における各パーツの基準位置を基に、基準領域との関係から、各パーツのウェイトを設定する(S140)。これにより、スコア算出手段51dは、ウェイト設定手段51cにて設定されるウェイトを加味して各パーツをスコア化し、各パーツのスコアを足し合わせて探索領域のスコアを算出する(S150)。そして、対象物検出手段51eによって、スコア算出手段51dにて算出される探索領域のスコアに基づき、対象物としての歩行者が検出される(S160)。
つまり、対象物の各部位であるパーツをスコア化する際、当該パーツが画像内で検出される基準領域に隠れているか否かによってウェイトを設定し、重み付けを変えるのである。このようにすれば、画像内の対象物を適切に検出することができる。
また、本実施形態では、「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目し、隠れありパーツPkのウェイトWakを、上記式1で算出する。具体的にP6の場合、Wa6=Pn6/(Pn6+Pa6)となる。また、隠れなしパーツのウェイトWnを上記式2で算出する。すなわち、ウェイト設定手段51cは、基準領域に少なくとも一部が重なるパーツである隠れありパーツの面積に基づき、ウェイトを設定する。ここで「隠れありパーツの面積に基づき」とは、パーツの総面積が分かるため「隠れなしパーツの面積に基づく」場合を含む。これにより、基準領域に隠されている面積が大きくなればなるほどパーツのウェイトが大きく設定されるため、画像内の対象物を適切に検出することができる。
特に、隠れありパーツのウェイトWakはパーツPkごとに算出される。すなわち、ウェイト設定手段51cは、隠れありパーツの面積における重なり面積に基づき、ウェイトを設定する。これにより、実際の重なり面積でウェイトが設定されるため、詳細なウェイト設定をすることができる。
さらにまた、本実施形態では、探索矩形が歩行者を示す場合の距離(D)又はスコア(S)を用い、衝突危険度判定テーブル記憶部62に記憶された衝突危険度判定テーブルに基づき、衝突危険度を判定する。すなわち、対象物検出手段にて検出された対象物の位置、サイズ、スコア、及び、対象物までの距離の少なくとも一つに基づき、衝突危険度を判定する。これにより、衝突危険度の判定が妥当なものとなる。
衝突危険度判定部52にて判定される衝突危険度に応じ、車両制御装置20の報知制御部70によるスピーカ41を介した運転者への報知、および、車両制御部80によるブレーキ42、ステアリング43を介した衝突回避制御が行われる。すなわち、本実施形態の車両制御システムでは、車両制御装置20が、衝突危険度判定部52にて判定された衝突危険度に基づき、運転者への報知を行う報知制御部70及び衝突回避制御を行う車両制御部(80)を有している。これにより、より安全性の高い運転支援が実現される。
以上、本発明は、上述した実施形態に何ら限定されるものではなく、その技術的範囲を逸脱しない限り、種々なる形態で実施可能である。
(イ)上記実施形態では、「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目し、ウェイトを設定していた(図3中のS140)。
これに対し、「隠れありパーツ」の数に着目してウェイトを設定するようにしてもよい。もちろん、パーツの総数が分かっているため「隠れなしパーツ」の数に着目してウェイトを設定するようにしてもよい。一例として、隠れありパーツのウェイトをZaとし、隠れなしパーツのウェイトをZnとして、次の式3,4でウェイトを設定することが考えられる。

Za=(隠れなしパーツの数)/(パーツの総数) … 式3

Zn=(パーツの総数)/(隠れなしパーツの数) … 式4

この場合、S140の処理を修正すればよい。
すなわち、ウェイト設定手段51cは、基準領域に少なくとも一部が重なるパーツである隠れありパーツの数に基づき、ウェイトを設定することとしてもよい。ここで「隠れありパーツの数に基づき」とは、パーツの総数が分かるため「隠れなしパーツの数に基づく」場合を含む。このようにすれば、上記実施形態と同様、基準領域に隠されているパーツ数が大きくなればなるほどパーツのウェイトが大きく設定されるため、画像内の対象物を適切に検出することができる。
(ロ)上記実施形態では、「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目し、ウェイトを設定していた(図3中のS140)。
これに対し、「隠れありパーツ」が存在することで探索領域のスコアが不当に小さくなるようなことがなく、探索領域のスコアが「隠れありパーツ」の影響を受けないようなアルゴリズムでスコアを算出するようにしてもよい。例えば、隠れありパーツのスコアがマイナスにならないようにウェイトを「0」にするという具合である。また例えば、隠れありパーツのスコアは予め決められた標準値を用いるという具合である。この場合、S140の処理を修正すればよい。すなわち、ウェイト設定手段51cは、基準領域に少なくとも一部が重なるパーツである隠れありパーツのスコアが探索領域のスコアに影響しないようウェイトを設定することとしてもよい。
このようにすれば、基準領域に隠されているパーツが探索領域のスコアに影響しないため、画像内の対象物を適切に検出することができる。
(ハ)上記実施形態では探索矩形における各パーツのウェイトを設定していたが、さらに、基準領域の信頼度を算出し、この信頼度を用いてパーツをスコア化してもよい。例えば、基準領域のスコアを「0」〜「1」に正規化したものを信頼度Cとし、上記隠れありパーツのウェイトWakを補正して、新たなウェイトWak’を次の式5で算出する。

Wak’=max(0,Wak−C) … 式5

同様に、隠れなしパーツのウェイトWnを補正して、新たなウェイトWn’を次の式6で算出する。

Wn’=Wn+C … 式6

すなわち、基準領域検出手段51aは、基準領域を検出するとともに、当該基準領域の信頼度を算出し、スコア算出手段51dは、信頼度を加味して各パーツをスコア化し探索領域のスコアを算出することとしてもよい。このようにすれば、各パーツのスコアがさらに妥当なものとなる。
なお、ここでは、信頼度を用いて新たなウェイトを求めているが、すなわちS140の処理を修正するのであるが、スコアを足し込む際に信頼度を用いてもよい。すなわちS150の処理を修正してもよい。
(ニ)上記実施形態では、測距装置31から出力される歩行者までの距離(D)又は歩行者のスコア(S)に基づき、衝突危険性を判定していた。このような距離(D)、スコア(S)の他、探索領域の位置及びサイズの少なくとも一つを用いて、衝突危険性を判定するようにしてもよい。
(ホ)上記実施形態では、歩行者までの距離を測距装置31にて測定していたが、測距装置31に代え、撮像装置32からの画像情報を基に距離を測定してもよい。すなわち、測距装置31を省略した構成としてもよい。もちろん、測距装置31を備えることで、精度の高い測定が可能となる。
10…画像処理装置、20…車両制御装置、31…測距装置、32…撮像装置、41…スピーカ、42…ブレーキ、43…ステアリング、50…制御部、51…対象物検出部、51a…基準領域検出手段、51b…探索領域検出手段、51c…ウェイト設定手段、51d…スコア算出手段、51e…対象物検出手段、52…衝突危険度判定部、60…記憶部、61…パーツモデル記憶部、62…衝突危険度判定テーブル記憶部、70…報知制御部、80…車両制御部

Claims (10)

  1. 車両に搭載される撮像装置(32)からの画像に基づいて対象物を検出する画像処理装置(10)であって、
    前記対象物の各部位であるパーツを検出してスコア化するためのパーツモデルを記憶するパーツモデル記憶部(61)と、
    前記画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する基準領域検出手段(51a)と、
    前記基準領域検出手段にて検出された前記基準領域に一部が隠れる探索領域を設定する探索領域設定手段(51b)と、
    前記探索領域設定手段にて設定される前記探索領域における前記各パーツの基準位置を基に、前記基準領域との関係から、前記各パーツのウェイトを設定するウェイト設定手段(51c)と、
    前記ウェイト設定手段にて設定される前記ウェイトを加味して前記各パーツをスコア化し、前記各パーツのスコアを足し合わせて前記探索領域のスコアを算出するスコア算出手段(51d)と、
    前記スコア算出手段にて算出される前記探索領域のスコアに基づき、前記対象物を検出する対象物検出手段(51e)と、
    を備えていることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記対象物は、歩行者であること
    を特徴とする画像処理装置。
  3. 請求項1又は2に記載の画像処理装置において、
    前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツのスコアが前記探索領域のスコアに影響しないよう前記ウェイトを設定すること(S140)
    を特徴とする画像処理装置。
  4. 請求項1又は2に記載の画像処理装置において、
    前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツの数に基づき、前記ウェイトを設定すること(S140)
    を特徴とする画像処理装置。
  5. 請求項1又は2に記載の画像処理装置において、
    前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツの面積に基づき、前記ウェイトを設定すること(S140)
    を特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置において、
    前記ウェイト設定手段は、前記隠れありパーツの面積における重なり面積に基づき、前記ウェイトを設定すること(S140)
    を特徴とする画像処理装置。
  7. 請求項1〜6の何れか一項に記載の画像処理装置において、
    前記基準領域検出手段は、前記基準領域を検出するとともに、当該基準領域の信頼度を算出し、
    前記スコア算出手段は、前記信頼度を加味して前記各パーツをスコア化し前記探索領域のスコアを算出すること
    を特徴とする画像処理装置。
  8. 請求項1〜7の何れか一項に記載の画像処理装置において、
    前記対象物検出手段にて検出された前記対象物の位置、サイズ、スコア、及び、前記対象物までの距離の少なくとも一つに基づき、衝突危険度を判定する衝突危険度判定部(52)をさらに備えていること
    を特徴とする画像処理装置。
  9. 請求項8に記載の画像処理装置と、
    前記衝突危険度判定部にて判定された前記衝突危険度に基づき、運転者への報知を行う報知制御部(70)を有する車両制御装置(20)と、
    を備えていることを特徴とする車両制御システム。
  10. 請求項8に記載の画像処理装置と、
    前記衝突危険度判定手段にて判定された前記衝突危険度に基づき、衝突回避制御を行う車両制御部(80)を有する車両制御装置(20)と、
    を備えていることを特徴とする車両制御システム。
JP2012172960A 2012-08-03 2012-08-03 画像処理装置及び、当該画像処理装置を用いた車両制御システム Expired - Fee Related JP5870871B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012172960A JP5870871B2 (ja) 2012-08-03 2012-08-03 画像処理装置及び、当該画像処理装置を用いた車両制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012172960A JP5870871B2 (ja) 2012-08-03 2012-08-03 画像処理装置及び、当該画像処理装置を用いた車両制御システム

Publications (2)

Publication Number Publication Date
JP2014032542A true JP2014032542A (ja) 2014-02-20
JP5870871B2 JP5870871B2 (ja) 2016-03-01

Family

ID=50282319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012172960A Expired - Fee Related JP5870871B2 (ja) 2012-08-03 2012-08-03 画像処理装置及び、当該画像処理装置を用いた車両制御システム

Country Status (1)

Country Link
JP (1) JP5870871B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016095808A (ja) * 2014-11-17 2016-05-26 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP2016130966A (ja) * 2015-01-14 2016-07-21 株式会社デンソーアイティーラボラトリ 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
WO2017158958A1 (ja) * 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR20190032387A (ko) 2016-08-03 2019-03-27 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2010218246A (ja) * 2009-03-17 2010-09-30 Toyota Motor Corp 物体識別装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2010218246A (ja) * 2009-03-17 2010-09-30 Toyota Motor Corp 物体識別装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016095808A (ja) * 2014-11-17 2016-05-26 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP2016130966A (ja) * 2015-01-14 2016-07-21 株式会社デンソーアイティーラボラトリ 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
WO2017158958A1 (ja) * 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10937181B2 (en) 2016-03-15 2021-03-02 Ricoh Company, Ltd. Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium
KR20190032387A (ko) 2016-08-03 2019-03-27 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템
KR20210134066A (ko) 2016-08-03 2021-11-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템
US11699068B2 (en) 2016-08-03 2023-07-11 Semiconductor Energy Laboratory Co., Ltd. Imaging device, imaging module, electronic device, and imaging system
KR20230133409A (ko) 2016-08-03 2023-09-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템

Also Published As

Publication number Publication date
JP5870871B2 (ja) 2016-03-01

Similar Documents

Publication Publication Date Title
CN105702088B (zh) 警报装置
JP5379543B2 (ja) 自動車の外界認識装置
CN104662592B (zh) 用于运行车辆的驾驶员辅助***的方法
JP6284644B2 (ja) 自動二輪車のための情報提供装置及びプログラム
CN107848459A (zh) 汽车接近警告***
JP5870871B2 (ja) 画像処理装置及び、当該画像処理装置を用いた車両制御システム
CN109583416B (zh) 伪车道线识别方法及***
JP2007333486A (ja) 車両用障害物検知装置
JP2008021035A (ja) 画像認識装置、画像認識方法および車両制御装置
JP2010093610A (ja) 自動車の外界認識装置及び外界認識方法
EP2557550A1 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device
US20180326905A1 (en) On-vehicle apparatus, alert output method, and computer readable medium
KR20140049136A (ko) 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템
JP2012103969A (ja) 運転支援装置
JP5780249B2 (ja) 画像処理装置及び、当該画像処理装置を用いた車両制御システム
JP5362770B2 (ja) 運転支援装置
KR102669061B1 (ko) 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템
KR20150051551A (ko) 풍속 측정 기반의 제동장치 및 그 제어방법
JP2017162178A (ja) 判定装置、判定方法、および判定プログラム
KR102035922B1 (ko) 전방 차량 위험도 예측 방법 및 장치
JP2009151566A (ja) 車両用表示装置
JP2015141553A (ja) 危険回避制御装置、危険回避制御方法およびプログラム
WO2019127310A1 (zh) 车辆控制方法、车辆控制设备及车辆
US11948461B2 (en) Information processing device, information processing method, and program
US20200257897A1 (en) Recognition apparatus, recognition method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151228

R151 Written notification of patent or utility model registration

Ref document number: 5870871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees