JP4248570B2 - 画像処理装置並びに視界支援装置及び方法 - Google Patents
画像処理装置並びに視界支援装置及び方法 Download PDFInfo
- Publication number
- JP4248570B2 JP4248570B2 JP2006224429A JP2006224429A JP4248570B2 JP 4248570 B2 JP4248570 B2 JP 4248570B2 JP 2006224429 A JP2006224429 A JP 2006224429A JP 2006224429 A JP2006224429 A JP 2006224429A JP 4248570 B2 JP4248570 B2 JP 4248570B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- bird
- eye view
- camera
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 41
- 238000000034 method Methods 0.000 title description 27
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 173
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 136
- 230000000007 visual effect Effects 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000791900 Selene vomer Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
まず、1台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
世界座標系系Xw Yw Zwにおける座標を(xw ,yw ,zw )と表記する。xw 、yw 及びzwは、夫々、世界座標系系Xw Yw Zwにおける、Xw軸成分、Yw軸成分及びZw軸成分である。
二次元地面座標系Xw Zw における座標を(xw ,zw )と表記する。xw及びzwは、夫々、二次元地面座標系Xw Zwにおける、XW軸成分及びZW軸成分であり、それらは世界座標系系Xw Yw ZwにおけるXW軸成分及びZW軸成分と一致する。
撮像面Sの座標系XbuYbuにおける座標を(xbu,ybu)と表記する。xbu及びybuは、夫々、撮像面Sの座標系XbuYbuにおける、Xbu軸成分及びYbu軸成分である。
本実施形態において、車両100へのカメラの設置状況を表す平面図は上述の図16と同じであるので、重複する図示を割愛する。図3及び図4は、車両100を左斜め前方から見た図である。
カメラ1Bの視野12Bには、カメラ1Bの設置位置を基準とした、車両100の後方の所定範囲内に位置する立体物及び車両100の後方の地面が含まれる。
カメラ1Lの視野12Lには、カメラ1Lの設置位置を基準とした、車両100の左方の所定範囲内に位置する立体物及び車両100の左方の地面が含まれる。
カメラ1Rの視野12Rには、カメラ1Lの設置位置を基準とした、車両100の右方の所定範囲内に位置する立体物及び車両100の右方の地面が含まれる。
図8に、本実施形態に係る視界支援装置(車両周辺視界支援装置)の全体構成図を示す。本実施形態に係る視界支援装置は、上述の如く車両100に取り付けられるカメラ1F、1B、1L及び1Rと、それらの各カメラにて得られる撮像画像から全周鳥瞰図画像を生成する画像処理部2と、画像処理部2によって生成された全周鳥瞰図画像を表示する表示部3と、を備える。全周鳥瞰図画像は、基本的には、図18に示すものと同様である。但し、本実施形態では、上述の共通領域における合成手法に特徴がある。
「WF1×(15+12)+WF2×(18+5)+WF3×(2+0)」にて表され、
上述の如く“WF1=1、WF2=2、WF3=3”とした場合、「1×(15+12)+2×(18+5)+3×(2+0)=79」となる。
一方、左横カメラ1Lに関する重み評価値は、
「WL1×(15+12)+WL2×(18+5)+WL3×(2+0)」にて表され、
上述の如く“WL1=2、WL2=3、WL3=2”とした場合、「2×(15+12)+3×(18+5)+2×(2+0)=127」となる。
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の重み値は、各カメラの設置位置や各カメラが設置される車両の形状などに応じて適宜変更される。
共通領域CFLを3つの領域AR1〜AR3に分割する例を示したが、分割する領域の数は3以外であっても良い。また、カメラ1Fと1L(鳥瞰図画像10Fと10L)との間で、共通領域CFLの領域の分割の仕方が同じである場合を例示したが、異なるカメラ間で該分割の仕方が異なっていても構わない。
また、図8の画像処理部2は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理部2にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
画像処理部2は、各カメラの撮像画像の夫々を、視点変換によって鳥瞰図画像に変換する視点変換手段と、その変換によって得られた各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する画像合成手段と、を備えている。合成鳥瞰図画像として、上述の実施形態では全周鳥瞰図画像を例示している。
上述の実施形態では、車両100としてトラックを例示しているが、本発明は、車両の種類を問わず、普通乗用車などに対しても適用可能である。
2 画像処理部
3 表示部
10F、10B、10L、10R 鳥瞰図画像
12F、12B、12L、12R 視野
13 共通視野
14 立体物
CFL 共通領域
100 車両
113 差分画像
123 差分領域
Claims (5)
- n台の撮像装置(nは2以上の整数)によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、
得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、
前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、
前記画像合成手段は、合成の際に複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することにより、前記共通領域内における、前記複数の鳥瞰図画像間の差分領域を特定し、
前記複数の鳥瞰図画像の夫々に対して、前記共通領域の画像の各画素位置に対応する重み値が設定され、
前記複数の鳥瞰図画像間で、設定される前記重み値の一部又は全部は異なり、
前記画像合成手段は、前記複数の鳥瞰図画像の夫々に関して、前記差分領域に含まれる画素に対応する前記重み値を合算して合算値を算出し、
各合算値に基づいて前記複数の鳥瞰図画像から1つの鳥瞰図画像を採用画像として選択し、
前記合成鳥瞰図画像内の前記共通領域の画像として、前記採用画像内の前記共通領域の画像を採用することを特徴とする画像処理装置。 - 前記画像合成手段は、前記複数の鳥瞰図画像間で前記合算値を比較することにより、前記採用画像を選択することを特徴とする請求項1に記載の画像処理装置。
- 前記n台の撮像装置は、車両に設置され且つ車両周辺を撮像し、
前記画像合成手段は、各合算値に加えて前記車両の運転状態にも基づいて、前記採用画像を選択することを特徴とする請求項1に記載の画像処理装置。 - 前記重み値は、前記複数の鳥瞰図画像に対応する複数の撮像装置の設置位置に基づいて設定されることを特徴とする請求項1〜3の何れかに記載の画像処理装置。
- 請求項1〜4の何れかに記載の画像処理装置と、
前記n台の撮像装置、及び、前記表示装置、の内の少なくとも一方と、
を備えたことを特徴とする視界支援装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006224429A JP4248570B2 (ja) | 2006-08-21 | 2006-08-21 | 画像処理装置並びに視界支援装置及び方法 |
US11/842,685 US7728879B2 (en) | 2006-08-21 | 2007-08-21 | Image processor and visual field support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006224429A JP4248570B2 (ja) | 2006-08-21 | 2006-08-21 | 画像処理装置並びに視界支援装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008048345A JP2008048345A (ja) | 2008-02-28 |
JP4248570B2 true JP4248570B2 (ja) | 2009-04-02 |
Family
ID=39181613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006224429A Expired - Fee Related JP4248570B2 (ja) | 2006-08-21 | 2006-08-21 | 画像処理装置並びに視界支援装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4248570B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5166111B2 (ja) * | 2008-05-15 | 2013-03-21 | アルパイン株式会社 | 車両周辺監視装置 |
JP4972036B2 (ja) * | 2008-05-30 | 2012-07-11 | 三洋電機株式会社 | 画像処理装置 |
JP2010041530A (ja) | 2008-08-07 | 2010-02-18 | Sanyo Electric Co Ltd | 操縦支援装置 |
JP5071739B2 (ja) * | 2008-12-18 | 2012-11-14 | アイシン精機株式会社 | 表示装置 |
KR101266734B1 (ko) | 2008-12-18 | 2013-05-28 | 아이신세이끼가부시끼가이샤 | 표시장치 |
JP5071738B2 (ja) * | 2008-12-18 | 2012-11-14 | アイシン精機株式会社 | 表示装置 |
JP5299101B2 (ja) * | 2009-06-11 | 2013-09-25 | コニカミノルタ株式会社 | 周辺表示装置 |
DE102009036200A1 (de) * | 2009-08-05 | 2010-05-06 | Daimler Ag | Verfahren zur Überwachung einer Umgebung eines Fahrzeugs |
TWI392366B (zh) | 2009-12-31 | 2013-04-01 | Ind Tech Res Inst | 全周鳥瞰影像距離介面產生方法與系統 |
JP5546321B2 (ja) * | 2010-04-02 | 2014-07-09 | アルパイン株式会社 | 複数カメラ画像使用車外表示装置 |
JP5752631B2 (ja) * | 2012-03-27 | 2015-07-22 | 住友重機械工業株式会社 | 画像生成方法、画像生成装置、及び操作支援システム |
KR101371893B1 (ko) * | 2012-07-05 | 2014-03-07 | 현대자동차주식회사 | 차량 주변의 영상을 이용한 입체물 검출 장치 및 방법 |
JP6355298B2 (ja) * | 2013-05-30 | 2018-07-11 | 住友重機械工業株式会社 | 画像生成装置及びショベル |
GB2556797B (en) | 2015-11-06 | 2018-10-24 | Mitsubishi Electric Corp | Image processing apparatus, image processing method, and image processing program |
DE102016124747A1 (de) | 2016-12-19 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Erkennen eines erhabenen Objekts anhand perspektivischer Bilder |
-
2006
- 2006-08-21 JP JP2006224429A patent/JP4248570B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008048345A (ja) | 2008-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP4315968B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
US7728879B2 (en) | Image processor and visual field support device | |
JP4934308B2 (ja) | 運転支援システム | |
JP5953824B2 (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
JP4596978B2 (ja) | 運転支援システム | |
JP5422902B2 (ja) | 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法 | |
JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
JP4583883B2 (ja) | 車両用周囲状況表示装置 | |
US20140114534A1 (en) | Dynamic rearview mirror display features | |
KR20020033816A (ko) | 감시시스템 | |
JP2008271308A (ja) | 画像処理装置及び方法並びに車両 | |
JP2009060499A (ja) | 運転支援システム及び連結車両 | |
JP2005311868A (ja) | 車両周辺視認装置 | |
JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
JP7263731B2 (ja) | 画像処理装置 | |
JP2009105660A (ja) | 車載用撮像装置 | |
US11601621B2 (en) | Vehicular display system | |
JP2021013072A (ja) | 画像処理装置および画像処理方法 | |
JP5067136B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
JP2013137698A (ja) | 俯瞰画像提示装置 | |
JP2011015353A (ja) | 車両用画像表示装置 | |
JP4945315B2 (ja) | 運転支援システム及び車両 | |
JP5091882B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP4706896B2 (ja) | 広角画像の補正方法及び車両の周辺監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4248570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
LAPS | Cancellation because of no payment of annual fees |