JP2014032542A - 画像処理装置及び、当該画像処理装置を用いた車両制御システム - Google Patents
画像処理装置及び、当該画像処理装置を用いた車両制御システム Download PDFInfo
- Publication number
- JP2014032542A JP2014032542A JP2012172960A JP2012172960A JP2014032542A JP 2014032542 A JP2014032542 A JP 2014032542A JP 2012172960 A JP2012172960 A JP 2012172960A JP 2012172960 A JP2012172960 A JP 2012172960A JP 2014032542 A JP2014032542 A JP 2014032542A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- area
- weight
- processing apparatus
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 基準領域検出手段が、画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する(S120)。探索領域設定手段は、基準領域検出手段にて検出された基準領域に一部が隠れる探索領域を設定し(S130)、重複矩形を算出する。ウェイト設定手段は、探索領域設定手段にて設定される探索領域における各パーツの基準位置を基に、基準領域との関係から、各パーツのウェイトを設定する(S140)。これにより、スコア算出手段は、ウェイト設定手段にて設定されるウェイトを加味して各パーツをスコア化し、各パーツのスコアを足し合わせて探索領域のスコアを算出する(S150)。そして、対象物検出手段によって、スコア算出手段にて算出される探索領域のスコアに基づき、対象物が検出される(S160)。
【選択図】図3
Description
本発明は、上述した課題を解決するためになされたものであり、その目的は、画像内の対象物を適切に検出することが可能な画像処理装置及び、当該画像処理装置を用いた車両制御システムを提供することにある。
この画像処理装置では、パーツモデル記憶部(61)に、対象物の各部位であるパーツを検出してスコア化するためのパーツモデルが記憶されている。パーツモデルは、例えば対象物が歩行者であれば、頭部に対応する頭部パーツモデル、腕部に対応する腕部パーツモデル、腰部に対応する腰部パーツモデル、脚部に対応する脚部パーツモデルなどとして用意される。また例えば対象物が車両であれば、タイヤに対応するタイヤパーツモデル、テールライトに対応するテールライトパーツモデル、窓に対応する窓パーツモデルなどとして用意される。
想定して説明する。
本実施形態の車両制御システムは、画像処理装置10および車両制御装置20を中心に構成されている。画像処理装置10には、測距装置31および撮像装置32が接続されている。また、車両制御装置20には、スピーカ41、ブレーキ42およびステアリング43が接続されている。
測距装置31は、レーザレーダなどとして具現化される。もちろん、ミリ波レーダなどの別の構成を用いてもよい。この測距装置31により、車両前方の物体までの距離を検知することが可能となる。
続くS120では、画像内の基準領域を検出する。この処理は、撮像装置32からの画像内で基準物を示す矩形範囲を検出するものである。基準物とは、画像の手前側に写っている立体物である。基準物には、歩行者だけでなく車両などが含まれることとしてもよい。具体的な検出方法としては既存の技術を用いる。例えば、歩行者の各パーツをモデル化したパーツモデルがパーツモデル記憶部61に記憶されることは上述したが、当該パーツモデルによって画像をスキャンすることで手前の歩行者を抽出するという具合である。
探索矩形が歩行者を示すものである場合、頭部パーツ、腕部パーツ、腰部パーツ、および、脚部パーツが含まれる。そこで、パーツモデル記憶部61に記憶された「頭部パーツモデル」、「腕部パーツモデル」、「腰部パーツモデル」および「脚部パーツモデル」を用い、これらパーツモデルとの一致度によって、探索矩形内部の各パーツを後にスコア化する(S150)。
このとき、本実施形態では、隠れありパーツPkのウェイトWakを、次の式1で算出する。
Wak=(Pkの隠れなし面積(Pnk))/(パーツPkの面積) … 式1
具体的に、P6の場合、Wa6=Pn6/(Pn6+Pa6)となる。
Wn=(パーツの総面積)/(隠れなしパーツの総面積) … 式2
なお、隠れありパーツのウェイトWakはパーツPkごとに算出される。また、隠れなしパーツのウェイトWnは、パーツに関係なく一律に算出される。
(イ)上記実施形態では、「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目し、ウェイトを設定していた(図3中のS140)。
Za=(隠れなしパーツの数)/(パーツの総数) … 式3
Zn=(パーツの総数)/(隠れなしパーツの数) … 式4
この場合、S140の処理を修正すればよい。
これに対し、「隠れありパーツ」が存在することで探索領域のスコアが不当に小さくなるようなことがなく、探索領域のスコアが「隠れありパーツ」の影響を受けないようなアルゴリズムでスコアを算出するようにしてもよい。例えば、隠れありパーツのスコアがマイナスにならないようにウェイトを「0」にするという具合である。また例えば、隠れありパーツのスコアは予め決められた標準値を用いるという具合である。この場合、S140の処理を修正すればよい。すなわち、ウェイト設定手段51cは、基準領域に少なくとも一部が重なるパーツである隠れありパーツのスコアが探索領域のスコアに影響しないようウェイトを設定することとしてもよい。
このようにすれば、基準領域に隠されているパーツが探索領域のスコアに影響しないため、画像内の対象物を適切に検出することができる。
Wak’=max(0,Wak−C) … 式5
同様に、隠れなしパーツのウェイトWnを補正して、新たなウェイトWn’を次の式6で算出する。
Wn’=Wn+C … 式6
すなわち、基準領域検出手段51aは、基準領域を検出するとともに、当該基準領域の信頼度を算出し、スコア算出手段51dは、信頼度を加味して各パーツをスコア化し探索領域のスコアを算出することとしてもよい。このようにすれば、各パーツのスコアがさらに妥当なものとなる。
Claims (10)
- 車両に搭載される撮像装置(32)からの画像に基づいて対象物を検出する画像処理装置(10)であって、
前記対象物の各部位であるパーツを検出してスコア化するためのパーツモデルを記憶するパーツモデル記憶部(61)と、
前記画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する基準領域検出手段(51a)と、
前記基準領域検出手段にて検出された前記基準領域に一部が隠れる探索領域を設定する探索領域設定手段(51b)と、
前記探索領域設定手段にて設定される前記探索領域における前記各パーツの基準位置を基に、前記基準領域との関係から、前記各パーツのウェイトを設定するウェイト設定手段(51c)と、
前記ウェイト設定手段にて設定される前記ウェイトを加味して前記各パーツをスコア化し、前記各パーツのスコアを足し合わせて前記探索領域のスコアを算出するスコア算出手段(51d)と、
前記スコア算出手段にて算出される前記探索領域のスコアに基づき、前記対象物を検出する対象物検出手段(51e)と、
を備えていることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記対象物は、歩行者であること
を特徴とする画像処理装置。 - 請求項1又は2に記載の画像処理装置において、
前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツのスコアが前記探索領域のスコアに影響しないよう前記ウェイトを設定すること(S140)
を特徴とする画像処理装置。 - 請求項1又は2に記載の画像処理装置において、
前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツの数に基づき、前記ウェイトを設定すること(S140)
を特徴とする画像処理装置。 - 請求項1又は2に記載の画像処理装置において、
前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツの面積に基づき、前記ウェイトを設定すること(S140)
を特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記ウェイト設定手段は、前記隠れありパーツの面積における重なり面積に基づき、前記ウェイトを設定すること(S140)
を特徴とする画像処理装置。 - 請求項1〜6の何れか一項に記載の画像処理装置において、
前記基準領域検出手段は、前記基準領域を検出するとともに、当該基準領域の信頼度を算出し、
前記スコア算出手段は、前記信頼度を加味して前記各パーツをスコア化し前記探索領域のスコアを算出すること
を特徴とする画像処理装置。 - 請求項1〜7の何れか一項に記載の画像処理装置において、
前記対象物検出手段にて検出された前記対象物の位置、サイズ、スコア、及び、前記対象物までの距離の少なくとも一つに基づき、衝突危険度を判定する衝突危険度判定部(52)をさらに備えていること
を特徴とする画像処理装置。 - 請求項8に記載の画像処理装置と、
前記衝突危険度判定部にて判定された前記衝突危険度に基づき、運転者への報知を行う報知制御部(70)を有する車両制御装置(20)と、
を備えていることを特徴とする車両制御システム。 - 請求項8に記載の画像処理装置と、
前記衝突危険度判定手段にて判定された前記衝突危険度に基づき、衝突回避制御を行う車両制御部(80)を有する車両制御装置(20)と、
を備えていることを特徴とする車両制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172960A JP5870871B2 (ja) | 2012-08-03 | 2012-08-03 | 画像処理装置及び、当該画像処理装置を用いた車両制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172960A JP5870871B2 (ja) | 2012-08-03 | 2012-08-03 | 画像処理装置及び、当該画像処理装置を用いた車両制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014032542A true JP2014032542A (ja) | 2014-02-20 |
JP5870871B2 JP5870871B2 (ja) | 2016-03-01 |
Family
ID=50282319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012172960A Expired - Fee Related JP5870871B2 (ja) | 2012-08-03 | 2012-08-03 | 画像処理装置及び、当該画像処理装置を用いた車両制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5870871B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095808A (ja) * | 2014-11-17 | 2016-05-26 | キヤノン株式会社 | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム |
JP2016130966A (ja) * | 2015-01-14 | 2016-07-21 | 株式会社デンソーアイティーラボラトリ | 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム |
WO2017158958A1 (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
KR20190032387A (ko) | 2016-08-03 | 2019-03-27 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008021034A (ja) * | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置 |
JP2010218246A (ja) * | 2009-03-17 | 2010-09-30 | Toyota Motor Corp | 物体識別装置 |
-
2012
- 2012-08-03 JP JP2012172960A patent/JP5870871B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008021034A (ja) * | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置 |
JP2010218246A (ja) * | 2009-03-17 | 2010-09-30 | Toyota Motor Corp | 物体識別装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095808A (ja) * | 2014-11-17 | 2016-05-26 | キヤノン株式会社 | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム |
JP2016130966A (ja) * | 2015-01-14 | 2016-07-21 | 株式会社デンソーアイティーラボラトリ | 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム |
WO2017158958A1 (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
US10937181B2 (en) | 2016-03-15 | 2021-03-02 | Ricoh Company, Ltd. | Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium |
KR20190032387A (ko) | 2016-08-03 | 2019-03-27 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템 |
KR20210134066A (ko) | 2016-08-03 | 2021-11-08 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템 |
US11699068B2 (en) | 2016-08-03 | 2023-07-11 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device, imaging module, electronic device, and imaging system |
KR20230133409A (ko) | 2016-08-03 | 2023-09-19 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP5870871B2 (ja) | 2016-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105702088B (zh) | 警报装置 | |
JP5379543B2 (ja) | 自動車の外界認識装置 | |
CN104662592B (zh) | 用于运行车辆的驾驶员辅助***的方法 | |
JP6284644B2 (ja) | 自動二輪車のための情報提供装置及びプログラム | |
CN107848459A (zh) | 汽车接近警告*** | |
JP5870871B2 (ja) | 画像処理装置及び、当該画像処理装置を用いた車両制御システム | |
CN109583416B (zh) | 伪车道线识别方法及*** | |
JP2007333486A (ja) | 車両用障害物検知装置 | |
JP2008021035A (ja) | 画像認識装置、画像認識方法および車両制御装置 | |
JP2010093610A (ja) | 自動車の外界認識装置及び外界認識方法 | |
EP2557550A1 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device | |
US20180326905A1 (en) | On-vehicle apparatus, alert output method, and computer readable medium | |
KR20140049136A (ko) | 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템 | |
JP2012103969A (ja) | 運転支援装置 | |
JP5780249B2 (ja) | 画像処理装置及び、当該画像処理装置を用いた車両制御システム | |
JP5362770B2 (ja) | 運転支援装置 | |
KR102669061B1 (ko) | 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 | |
KR20150051551A (ko) | 풍속 측정 기반의 제동장치 및 그 제어방법 | |
JP2017162178A (ja) | 判定装置、判定方法、および判定プログラム | |
KR102035922B1 (ko) | 전방 차량 위험도 예측 방법 및 장치 | |
JP2009151566A (ja) | 車両用表示装置 | |
JP2015141553A (ja) | 危険回避制御装置、危険回避制御方法およびプログラム | |
WO2019127310A1 (zh) | 车辆控制方法、车辆控制设备及车辆 | |
US11948461B2 (en) | Information processing device, information processing method, and program | |
US20200257897A1 (en) | Recognition apparatus, recognition method, and non-transitory computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5870871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |