JP2011013929A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2011013929A JP2011013929A JP2009157472A JP2009157472A JP2011013929A JP 2011013929 A JP2011013929 A JP 2011013929A JP 2009157472 A JP2009157472 A JP 2009157472A JP 2009157472 A JP2009157472 A JP 2009157472A JP 2011013929 A JP2011013929 A JP 2011013929A
- Authority
- JP
- Japan
- Prior art keywords
- bird
- bev
- image
- images
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 30
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 146
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 146
- 235000019557 luminance Nutrition 0.000 claims abstract description 116
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 46
- 230000007717 exclusion Effects 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 239000007787 solid Substances 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 23
- 230000006399 behavior Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 101000685663 Homo sapiens Sodium/nucleoside cotransporter 1 Proteins 0.000 description 3
- 101000821827 Homo sapiens Sodium/nucleoside cotransporter 2 Proteins 0.000 description 3
- 102100023116 Sodium/nucleoside cotransporter 1 Human genes 0.000 description 3
- 102100021541 Sodium/nucleoside cotransporter 2 Human genes 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 101000822028 Homo sapiens Solute carrier family 28 member 3 Proteins 0.000 description 2
- 102100021470 Solute carrier family 28 member 3 Human genes 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
【構成】車両100に設けられたカメラCM_0〜CM_3は、共通視野CVW_0〜CVW_3を部分的に有する姿勢で路面を斜めから捉える。CPUは、このようなカメラCM_0〜CM_3から出力された被写界像P_0〜P_3を、路面を上方から眺めた状態を表す鳥瞰画像BEV_0〜BEV_3に変換する。CPUはまた、共通視野CVW_0〜CVW_3に存在する立体物を表す画像の位置を、鳥瞰画像BEV_0〜BEV_3の各々から排除位置として検出し、排除位置の画像を鳥瞰画像BEV_0〜BEV_3から共通的に排除する。CPUはさらに、排除処理の後に残った複数の画像間の輝度および/または色度の相違が抑制される態様で、鳥瞰画像BEV_0〜BEV_3を合成する。
【効果】合成された鳥瞰画像の品質を向上させることができる。
【選択図】図4
【効果】合成された鳥瞰画像の品質を向上させることができる。
【選択図】図4
Description
この発明は、画像処理装置に関し、特に、共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラの各々から出力された被写界像を鳥瞰画像に変換する、画像処理装置に関する。
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、共通視野を部分的に有する2つのカメラ画像の輝度値が圧縮部で圧縮される。また、共通視野を表す部分画像の輝度差は、輝度差分析部によって求められる。シフト部は、注目する2つのカメラ画像の少なくとも一方の輝度値を、輝度差分析部で求められた輝度差が解消されるようにシフトさせる。シフトされた輝度値は、全画素の輝度値が絶対白レベルと絶対黒レベルとの間に収まるように、伸張部によって伸張される。これによって、共通視野における輝度レベルの差が抑制されるとともに、補正後の輝度レベルが絶対白レベルから絶対黒レベルまでの範囲に収められる。
しかし、輝度レベルを補正するにあたって、立体物が共通視野に存在するか否かが考慮されることはない。このため、背景技術では、合成画像の品質に限界がある。
それゆえに、この発明の主たる目的は、合成画像の品質を向上させることができる、画像処理装置を提供することである。
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラ(CM_0~CM_3)から出力された複数の被写界像を基準面に対する複数の鳥瞰画像に変換する変換手段(S3)、共通視野に存在する立体物を表す画像の位置を変換手段によって変換された複数の鳥瞰画像の各々から排除位置として検出する第1検出手段(S23~S25, S39~S41)、変換手段によって変換された複数の鳥瞰画像から排除位置の画像を共通的に排除する排除手段(S27, S33)、および変換手段によって変換された複数の鳥瞰画像を排除手段の排除処理の後に残った複数の画像間の輝度および/または色度の相違が抑制される態様で合成する合成手段(S7~S11)を備える。
好ましくは、排除位置は複数の鳥瞰画像間の輝度差および/または色度差が第1基準を上回る画素の位置に相当する。
好ましくは、共通視野に対応して表われた鮮鋭画像の位置を排除位置として検出する第2検出手段(S23, S31, S39~S41)がさらに備えられる。
さらに好ましくは、画像の鮮鋭度に関連する第2基準を複数のカメラの各々から出力された被写界像の輝度を参照して調整する調整手段(S29)がさらに備えられ、第2検出手段は第2基準を参照して検出処理を実行する。
好ましくは、合成手段は、排除手段の排除処理の後に残った複数の画像の間の輝度および/または色度の相違を共通視野に対応して検出する検出手段(S53~S59, S65, S81~S87, S93, S111~S121, S141~S151)、および複数の鳥瞰画像の輝度および/または色度を検出手段によって検出された相違に基づいて調整する調整手段(S69~S79, S97~S107, S123~S139, S153~S169)を含む。
さらに好ましくは、調整手段は排除手段の排除処理の後に残った複数の画像の画素数を参照して輝度の調整範囲を定義する定義手段(S67, S95)を含む。
この発明によれば、複数のカメラは共通視野を部分的に有する姿勢で斜めから基準面を捉えるため、共通視野に現れた立体物の姿勢は複数のカメラにそれぞれ対応する複数の鳥瞰画像の間で相違する。共通視野に現れた立体物の位置はこのような複数の鳥瞰画像の各々から検出され、検出された位置の画像は複数の鳥瞰画像から共通的に排除される。複数の鳥瞰画像の合成処理は、このような排除処理の後に残った複数の画像間の輝度および/または色の相違が抑制される態様で実行される。これによって、合成された鳥瞰画像の品質を向上させることができる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
[基本的構成]
図1を参照して、この発明の画像処理装置は、基本的に次のように構成される。変換手段2は、共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラ1,1,…から出力された複数の被写界像を、基準面に対する複数の鳥瞰画像に変換する。第1検出手段3は、共通視野に存在する立体物を表す画像の位置を、変換手段2によって変換された複数の鳥瞰画像の各々から排除位置として検出する。排除手段4は、変換手段2によって変換された複数の鳥瞰画像から排除位置の画像を共通的に排除する。合成手段5は、変換手段2によって変換された複数の鳥瞰画像を、排除手段4の排除処理の後に残った複数の画像間の輝度および/または色度の相違が抑制される態様で合成する。
複数のカメラ1,1,…は共通視野を部分的に有する姿勢で斜めから基準面を捉えるため、共通視野に現れた立体物の姿勢は複数のカメラ1,1,…にそれぞれ対応する複数の鳥瞰画像の間で相違する。共通視野に現れた立体物の位置はこのような複数の鳥瞰画像の各々から検出され、検出された位置の画像は複数の鳥瞰画像から共通的に排除される。複数の鳥瞰画像の合成処理は、このような排除処理の後に残った複数の画像間の輝度および/または色の相違が抑制される態様で実行される。これによって、合成された鳥瞰画像の品質を向上させることができる。
[実施例]
[実施例]
図2に示すこの実施例の操縦支援装置10は、4個のカメラCM_0〜CM_3を含む。カメラCM_0〜CM_3はそれぞれ、被写界像P_0〜P_3を1/30秒毎に出力する。出力された被写界像P_0〜P_3は、画像処理回路12に与えられる。
図3を参照して、カメラCM_0は、カメラCM_0の光軸が車両100の前方斜め下向きに延びる姿勢で、車両100の前上側部に設置される。カメラCM_1は、カメラCM_1の光軸が車両100の右方斜め下向きに延びる姿勢で、車両100の右上側部に設置される。カメラCM_2は、カメラCM_2の光軸が車両100の後方斜め下向きに延びる姿勢で、車両100の後上側部に設置される。カメラCM_3は、カメラCM_3の光軸が車両100の左方斜め下向きに延びる姿勢で、車両100の左上側部に設置される。車両100の周辺の被写界は、このようなカメラCM_0〜CM_3によって、路面に斜めに交差する方向から捉えられる。
図4に示すように、カメラCM_0は車両100の前方向を捉える視野VW_0を有し、カメラCM_1は車両100の右方向を捉える視野VW_1を有し、カメラCM_2は車両100の後方向を捉える視野VW_2を有し、そしてカメラCM_3は車両100の左方向を捉える視野VW_3を有する。なお、視野VW_0およびVW_1は共通視野CVW_0を有し、視野VW_1およびVW_2は共通視野CVW_1を有し、視野VW_2およびVW_3は共通視野CVW_2を有し、そして視野VW_3およびVW_0は共通視野CVW_3を有する。
図2に戻って、画像処理回路12に設けられたCPU12pは、カメラCM_0から出力された被写界像P_0に基づいて鳥瞰画像BEV_0を生成し、カメラCM_1から出力された被写界像P_1に基づいて鳥瞰画像BEV_1を生成する。CPU12pはまた、カメラC_2から出力された被写界像P_2に基づいて鳥瞰画像BEV_2を生成し、カメラC_3から出力された被写界像P_3に基づいて鳥瞰画像BEV_3を生成する。
図5から分かるように、鳥瞰画像BEV_0は視野VW_0を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像BEV_1は視野VW_1を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像BEV_2は視野VW_2を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像BEV_3は視野VW_3を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。生成された鳥瞰画像BEV_0〜BEV_3は、メモリ12mに保持される。
CPU12pは続いて、図4に示す再現ブロックBLKに対応する切り出し線CT_0〜CT_3を鳥瞰画像BEV_0〜BEV_3上で定義し、定義された切り出し線CT_0〜CT_3よりも内側に存在する一部の画像を合成して全周鳥瞰画像を作成する。作成された全周鳥瞰画像の中央には、車両100の上部を模した車両画像GL1が貼り付けられる。これによって、図6に示す運転支援画像が完成する。
図6によれば、重複エリアDP_0が共通視野CVW_0に対応して形成され、重複エリアDP_1が共通視野CVW_1に対応して形成される。また、重複エリアDP_2が共通視野CVW_2に対応して形成され、重複エリアDP_3が共通視野CVW_3に対応して形成される。作成された運転支援画像は、表示装置14のモニタ画面に表示される。表示装置14は運転席に設置され、ドライバはモニタ画面を参照しながら車両100を操縦する。
鳥瞰画像BEV_0〜BEV_3は、カメラCM_0〜CM_3の設定の誤差などに起因する輝度差および/または色度差を有する。そこで、この実施例では、全周鳥瞰画像を作成する前に、鳥瞰画像BEV_0〜BEV_3の輝度および/または色度を以下に述べる要領で補正するようにしている。
参照エリアの位置的な制限
参照エリアの位置的な制限
車両100の周囲には、再現ブロックBLKの広がりよりも小さい広がりを有する評価エリアEVAが、図7に示す要領で定義される。鳥瞰画像BEV_0〜BEV_3は、評価エリアEVAに対応して図8に示すように再現される。また、重複エリアDP_0〜DP_3のうち評価エリアEVAに属する一部のエリアは、部分重複エリアPDP_0〜PDP_3と定義される。
輝度および/または色度補正のために参照される画素の選別
輝度および/または色度補正のために参照される画素の選別
鳥瞰画像BEV_0〜BEV_3は路面を基準とする鳥瞰変換によって作成されるため、たとえば部分重複エリアPDP_0に立体物OBJが存在すれば、この立体物OBJの姿勢は図9(A)〜図9(B)に示すように鳥瞰画像BEV_0およびBEV_1の間で相違する。本手法では、隣接するカメラに写る同一物体の同一箇所の輝度差を比較することで輝度や彩度、色の補正を行うことを主眼としているので、このような立体物を表す画像は、輝度および/または色度補正の精度を低下させるおそれがある。また、画像内の輝度変化が激しい部分や、ハレーション等によって極端に高い輝度を有する部分、低照度によって極端に低い輝度を有する部分なども、輝度および/または色度補正の精度を低下させるおそれがある。
このような補正精度の低下を引き起こすおそれのある画素は、以下の要領で検出され、かつ参照画素から排除される。
(1)立体物を表す画素の検出と排除
(1)立体物を表す画素の検出と排除
2つの鳥瞰画像BEV_jおよびBEV_j+1(j:0〜3)の間の色度差が閾値Cthを上回るか否かが、部分重複エリアPDP_i(i:0〜3)の座標(x,y)に存在する2つの画素に注目して判別される。
図10に示すように、部分重複エリアPDP_0については鳥瞰画像BEV_0およびBEV_1の間の色度差が閾値Cthと比較され、部分重複エリアPDP_1については鳥瞰画像BEV_1およびBEV_2の間の色度差が閾値Cthと比較される。また、部分重複エリアPDP_2については鳥瞰画像BEV_2およびBEV_3の間の色度差が閾値Cthと比較され、部分重複エリアPDP_3については鳥瞰画像BEV_3およびBEV_0の間の色度差が閾値Cthと比較される。
具体的には、数1が満足されるか否かが判別される。数1において、“Uijxy”および“Vijxy”はそれぞれ、部分重複エリアPDP_iの座標(x,y)に存在する鳥瞰画像BEV_jのU系色度およびV系色度を表す。また、“Ui(j+1)xy”および“Vi(j+1)xy”はそれぞれ、部分重複エリアPDP_iの座標(x,y)に存在する鳥瞰画像BEV_j+1のU系色度およびV系色度を表す。
座標(x,y)に存在する2画素の色度差が大きければ、この2画素の少なくとも一方は立体物を表す画素である可能性が高い。このため、色度差が閾値Cthを上回る2画素は、鳥瞰画像BEV_jおよびBEV_j+1からそれぞれ排除される。排除された後の鳥瞰画像BEV_jおよびBEV_j+1の形状は、図9(A)および図9(B)に示すように互いに一致する。
(2)鮮鋭度が高い画素(画像内の輝度変化が激しい部分)の排除
(2)鮮鋭度が高い画素(画像内の輝度変化が激しい部分)の排除
鳥瞰画像BEV_jの平坦度および鳥瞰画像BEV_j+1の鮮鋭度の和が閾値Ythを上回るか否かが、部分重複エリアPDP_i(i:0〜3)の座標(x,y)に存在する2つの画素に注目して判別される。
図11に示すように、部分重複エリアPDP_0については鳥瞰画像BEV_0の鮮鋭度および鳥瞰画像BEV_1の鮮鋭度の和が閾値Ythと比較され、部分重複エリアPDP_1については鳥瞰画像BEV_1の鮮鋭度および鳥瞰画像BEV_2の鮮鋭度の和が閾値Ythと比較される。また、部分重複エリアPDP_2については鳥瞰画像BEV_2の鮮鋭度および鳥瞰画像BEV_2の鮮鋭度の和が閾値Ythと比較され、部分重複エリアPDP_3については鳥瞰画像BEV_3の鮮鋭度および鳥瞰画像BEV_0の鮮鋭度の和が閾値Ythと比較される。
具体的には、数2が満足されるか否かが判別される。数2において、“Yijxy”は部分重複エリアPDP_iの座標(x,y)に存在する鳥瞰画像BEV_jの輝度を表し、“Yi(j+1)xy”は部分重複エリアPDP_iの座標(x,y)に存在する鳥瞰画像BEV_j+1の輝度を表す。
数2を満足する2画素は、鮮鋭度の高い画素であるとして、鳥瞰画像BEV_jおよびBEV_j+1からそれぞれ排除される。
これによって、図12に示す網掛け部分の輝度を有する画素が鳥瞰画像BEV_jおよびBEV_j+1から排除される。図示は省略するが、上述と同様、排除された後の鳥瞰画像BEV_jおよびBEV_j+1の形状は互いに一致する。
なお、本実施例では説明を簡単にするため、“Yijxy”は部分重複エリアPDP_iの座標(x,y)に存在する鳥瞰画像BEV_jの輝度を表すとしている。ハードウェアの実装によっては、本実施例のようにカメラ毎に鳥瞰画像に変換したものを一旦メモリに蓄えずに現画像から直接全周鳥瞰画像を生成する場合がある。
この場合、数2における“Yijxy”は部分重複エリアPDP_iの座標(x,y)に存在する鳥瞰画像BEV_jの輝度を表すが、Yijxyの周辺画素値Yij(x+m)(y+n)は現画像内におけるYijxyの周辺画素であってもよい。要は、Yijxy近辺の輝度変動の激しい部分を除外できればよい。
(3)高輝度画素と低輝度画素の排除
(3)高輝度画素と低輝度画素の排除
鳥瞰画像BEV_jを形成する各画素の輝度が、閾値S_lowおよびS_highの各々と比較される。閾値S_lowを下回る輝度を有する画素または閾値S_highを上回る輝度を有する画素(図12にハッチングで示す範囲に属する画素)が検出されると、この検出画素が鳥瞰画像BEV_jから排除されるとともに、この検出画素に共通する画素が鳥瞰画像BEV_j+1から排除される。図示は省略するが、上述と同様、排除された後の鳥瞰画像BEV_jおよびBEV_j+1の形状は互いに一致する。
総輝度の算出
総輝度の算出
鳥瞰画像BEV_jのうち重複エリアPDP_iに属する一部の画像の総輝度は、上述の画素選別処理(排除処理)の後に残った画素を対象とする数5の演算によって、“SUM_Yij”として算出される。
基準輝度ゲインの算出
図13を参照して、再現ブロックBLKのうち車両100の前方に対応する短辺の右側をエッジEDG_FRと定義し、再現ブロックBLKのうち車両100の後方に対応する短辺の右側をエッジEDG_BRと定義する。また、再現ブロックBLKのうち車両100の前方に対応する短辺の左側をエッジEDG_FLと定義し、再現ブロックBLKのうち車両100の後方に対応する短辺の右側をエッジEDG_FLと定義する。
さらに、エッジEDG_FRにおける基準輝度ゲインを“Gy_FR”と定義し、エッジEDG_BRにおける基準輝度ゲインを“Gy_BR”と定義する。また、エッジEDG_FLにおける基準輝度ゲインを“Gy_FL”と定義し、エッジEDG_BLにおける基準輝度ゲインを“Gy_BL”と定義する。すると、ゲインGy_FR〜Gy_BLは、数6に従って算出される。
数6によれば、基準輝度ゲインGy_FRは総輝度SUM_Y00およびSUM_Y01の相違に対応する大きさを示し、基準輝度ゲインGy_BRは総輝度SUM_Y12およびSUM_Y11の相違に対応する大きさを示す。また、基準輝度ゲインGy_FLは総輝度SUM_Y30およびSUM_Y33の相違に対応する大きさを示し、基準輝度ゲインGy_BLは総輝度SUM_Y22およびSUM_Y23の相違に対応する大きさを示す。
目標輝度ゲインの算出
目標輝度ゲインの算出
車両100の右側を表す鳥瞰画像BEV_1の各画素に付与する目標輝度ゲインを“Gy_R”と定義し、車両100の左側を表す鳥瞰画像BEV_3の各画素に付与する目標輝度ゲインを“Gy_L”と定義する。すると、目標輝度ゲインGy_Rは基準輝度ゲインGy_FRおよびGy_BRと注目画素の位置とを参照した線形補間によって算出され、目標輝度ゲインGy_LはゲインGy_FLおよびGy_BLと注目画素の位置とを参照した線形補間によって算出する。具体的には、目標輝度ゲインGy_Rは数7に従って算出され、目標輝度ゲインGy_Lは数8に従って算出される。
車両100の右側に対応する目標輝度ゲインGy_Rと車両100の左側に対応する目標輝度ゲインGy_Lとを別々算出することで、車両100の右側を別の車両が通過し、車両の左側に単調な模様の路面があるような場合に、ゲインの大きさの信頼性が確保される。
目標輝度ゲインの大きさの制限
目標輝度ゲインの大きさの制限
目標輝度ゲインの大きさが“1”から著しく外れる場合、その大きさが誤りであれば、全周鳥瞰画像の品質が大きく低下する。このような現象を回避するために、目標輝度ゲインを付与された画素の輝度レベル(補正輝度レベル)の上限および下限が図14に示す範囲に収まるように、目標輝度ゲインの大きさが制限される。
ただし、画素選別処理の後に残った画素の数が小さければ、重複エリアPDP_iに立体物が存在する可能性が高い。このような状態では、算出した目標輝度ゲインが正しいとは言い難く、目標輝度ゲインの大きさを抑制する方がより好ましいと言える。また、車両100周辺状況の変動量は車両100が移動速度の増大に伴って増大し、目標輝度ゲインを参照した輝度補正の精度もまた車両100の移動速度の増大に伴って低下する。
そこで、補正輝度レベルの上限および下限は、画素選別処理の後に残った画素の数と速度センサ18によって検知された車両100の移動速度とに基づいて適応的に調整される。つまり、目標輝度ゲインの大きさは、画素選別処理の後に残った画素の数の低減および/または車両100の移動速度の増大に伴って“1”に近づく。
平均色度の算出
平均色度の算出
鳥瞰画像BEV_jのうち重複エリアPDP_iに属する一部の画像のU系総色度は、上述の画素選別処理の後に残った画素を対象とする数9の演算によって、“SUM_Uij”として算出される。同様に、鳥瞰画像BEV_jのうち重複エリアPDP_iに属する一部の画像のV系総色度は、上述の画素選別処理の後に残った画素を対象とする数10の演算によって、“SUM_Vij”として算出される。
さらに、鳥瞰画像BEV_jのうち重複エリアPDP_iに属する一部の画像のU系平均色度は、数11の演算によって“AVE_Uij”として算出される。同様に、鳥瞰画像BEV_jのうち重複エリアPDP_iに属する一部の画像のV系平均色度は、数12の演算によって“AVE_Uij”として算出される。なお、“CNTi”は、重複エリアPDP_iにおける画素選別処理の後に残った画素の数に相当する。
基準オフセットの算出
図15を参照して、エッジEDG_FRにおけるU系基準オフセットを“OFSTu_FR”と定義し、エッジEDG_BRにおけるU系基準オフセットを“OFSTu_BR”と定義する。また、エッジEDG_FLにおけるU系基準オフセットを“OFSTu_FL”と定義し、エッジEDG_BLにおけるU系基準オフセットを“OFSTu_BL”と定義する。すると、U系基準オフセットOFSTu_FR〜OFSTu_BLは、数13に従って算出される。
数13によれば、U系基準オフセットOFSTu_FRはU系平均色度AVE_U00およびAVE_U01の相違に対応する大きさを示し、U系基準オフセットOFSTu_BRはU系平均色度AVE_U12およびAVE_U11の相違に対応する大きさを示す。また、U系基準オフセットOFSTu_FLはU系平均色度AVE_U30およびAVE_U33の相違に対応する大きさを示し、U系基準オフセットOFSTu_BLはU系平均色度AVE_U22およびAVE_U23の相違に対応する大きさを示す。
同様に、エッジEDG_FRにおけるV系基準オフセットを“OFSTv_FR”と定義し、エッジEDG_BRにおけるV系基準オフセットを“OFSTv_BR”と定義する。また、エッジEDG_FLにおけるV系基準オフセットを“OFSTv_FL”と定義し、エッジEDG_BLにおけるV系基準オフセットを“OFSTv_BL”と定義する。すると、V系基準オフセットOFSTv_FR〜OFSTv_BLは、数14に従って算出される。
数14によれば、V系基準オフセットOFSTv_FRはV系平均色度AVE_V00およびAVE_V01の相違に対応する大きさを示し、V系基準オフセットOFSTv_BRはV系平均色度AVE_V12およびAVE_V11の相違に対応する大きさを示す。また、V系基準オフセットOFSTv_FLはV系平均色度AVE_V30およびAVE_V33の相違に対応する大きさを示し、V系基準オフセットOFSTv_BLはV系平均色度AVE_V22およびAVE_V23の相違に対応する大きさを示す。
目標オフセットの算出
目標オフセットの算出
車両100の右側を表す鳥瞰画像BEV_1の各画素に付与するU系目標オフセットおよびV系目標オフセットをそれぞれ“OFSTu_R”および“OFSTv_R”と定義する。すると、U系目標オフセット“OFSTu_R”はU系基準オフセットOFSTu_FRおよびOFSTu_BRと注目画素の位置とを参照した線形補間によって算出され、V系目標オフセット“OFSTv_R”はV系基準オフセットOFSTv_FRおよびOFSTv_BRと注目画素の位置とを参照した線形補間によって算出される。具体的には、U系目標オフセットOFSTu_Rは数15に従って算出され、V系目標オフセットOFSTv_Rは数16に従って算出される。
同様に、車両100の左側を表す鳥瞰画像BEV_3の各画素に付与するU系目標オフセットおよびV系目標オフセットをそれぞれ“OFSTu_L”および“OFSTv_L”と定義する。すると、U系目標オフセット“OFSTu_L”はU系基準オフセットOFSTu_FLおよびOFSTu_BLと注目画素の位置とを参照した線形補間によって算出され、V系目標オフセット“OFSTv_L”はV系基準オフセットOFSTv_FLおよびOFSTv_BLと注目画素の位置とを参照した線形補間によって算出される。具体的には、U系目標オフセットOFSTu_Lは数17に従って算出され、V系目標オフセットOFSTv_Lは数18に従って算出される。
色ゲインの算出
色に対するゲイン補正は、色オフセット補正を行った画像に対して、彩度を変更する形で行う。カメラCM_0〜CM_3の間の露光量の相違に起因する彩度の相違を補正するためには、好ましくは彩度ゲインは輝度ゲインと同一にする必要がある。しかし、輝度ゲインは非線形であるため、単純に彩度ゲインを輝度ゲインに合せるのでは、隣接画素との間でU系色度の大小関係またはV系色度の大小関係が逆転する場合が発生し易くなる。また、U系色度またはV系色度が飽和する場合が出てくる。そこで、U系色度およびV系色度に付与する色ゲイン(彩度ゲイン)は輝度ゲインのK倍(K:たとえば0.3)とし、飽和はクリッピングによって解消する。
図6に示す運転支援画像は、このような輝度補正および/または色度補正が完了した後に作成される。このとき、重複エリアDP_0については、鳥瞰画像BEV_0の重み付け量が“0”に設定され、鳥瞰画像BEV_1の重み付け量が“1”に設定される。また、重複エリアDP_1については、鳥瞰画像BEV_1の重み付け量が“1”に設定され、鳥瞰画像BEV_2の重み付け量が“0”に設定される。
さらに、重複エリアDP_2については、鳥瞰画像BEV_2の重み付け量が“0”に設定され、鳥瞰画像BEV_3の重み付け量が“1”に設定される。また、重複エリアDP_4については、鳥瞰画像BEV_3の重み付け量が“1”に設定され、鳥瞰画像BEV_0の重み付け量が“0”に設定される。
CPU12pは、具体的には、図16〜図26に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ16に記憶される。
図16を参照して、ステップS1では内部同期のための垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されるとステップS3に進み、メモリ12mに格納された被写界像P_0〜P_3を鳥瞰画像BEV_0〜BEV_3に変換する。続いて、ステップS5で画素選別処理を実行し、ステップS7で輝度補正処理を実行し、そしてステップS9で色度補正処理を実行する。ステップS9の処理が完了すると、ステップS11で全周鳥瞰画像を作成し、その後にステップS1に戻る。
ステップS5の画素選別処理は、図17〜図18に示すサブルーチンに従って実行される。まずステップS21で変数iを“0”に設定し、ステップS23で部分重複エリアPDP_iの先頭画素を指定する。ステップS25では、上述した数1が満足されるか否かを判別する。判別結果がNOであればそのままステップS29に進む一方、判別結果がYESであればステップS27の処理を経てステップS29に進む。ステップS27では、鳥瞰画像BEV_jおよびBEV_j+1の両方から指定画素を排除する。
ステップS29では、数3および数4を参照して閾値Ythを算出し、ステップS31では数2が満足されるか否かを判別する。判別結果がNOであればそのままステップS35に進む一方、判別結果がYESであればステップS33でステップS27と同様の排除処理を実行してからステップS35に進む。
ステップS35では、鳥瞰画像BEV_j上の指定画素の輝度が既定の輝度範囲(S_low〜S_highの範囲)から外れるか否かを判別する。判別結果がNOであればそのままステップS39に進む一方、判別結果がYESであればステップS37でステップS27と同様の排除処理を実行してからステップS39に進む。
ステップS39では指定画像が重複エリアPDP_iの末尾画素であるか否かを判別し、ステップS43では変数iが“3”であるか否かを判別する。ステップS39でNOであれば、ステップS41で重複エリアPDP_iの次画素を指定し、その後にステップS25に戻る。ステップS39でYESでかつステップS41でNOであれば、ステップS45で変数iおよびjをインクリメントし、その後にステップS23に戻る。なお、変数iおよびjはいずれも“0”〜“3”の間で循環する数値を示し、変数jが“3”を示すとき、変数“j+1”は“0”を示す。ステップS39およびS43のいずれもYESであれば、上階層のルーチンに復帰する。
図16に示すステップS7の輝度補正処理は、図19〜図22に示すサブルーチンに従って実行される。
まずステップS51で、速度センサ18の出力に基づいて車両100の移動速度を“SPD”として検出する。ステップS53では鳥瞰画像BEV_0から部分重複エリアPDP_0に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y00”として算出する。ステップS55では鳥瞰画像BEV_1から部分重複エリアPDP_0に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y01”として算出する。
ステップS57では鳥瞰画像BEV_1から部分重複エリアPDP_1に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y11”として算出する。ステップS59では鳥瞰画像BEV_2から部分重複エリアPDP_1に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y12”として算出する。
なお、総輝度“SUM_Y00”,“SUM_Y01”,“SUM_Y11”,“SUM_Y12”はいずれも、上述のステップS27,S33およびS37の排除処理の後に残った画素の輝度の総和に相当し、上述の数5を参照して算出される。
ステップS61では、部分重複エリアPDP_0に対する排除処理の後に残った画素の数を“CNT1”として検出する。また、ステップS63では、部分重複エリアPDP_1に対する排除処理の後に残った画素の数を“CNT2”として検出する。
ステップS65では、エッジEGD_FRに対応する基準輝度ゲインGy_FRとエッジEGD_BRに対応する基準輝度ゲインGy_BRとを、数6を参照して算出する。ステップS67では、移動速度SPDと画素数CNT0およびCNT1とに基づいて、図14に示す補正輝度レベルの上限および下限(輝度補正範囲)を決定する。輝度補正範囲は、移動速度SPDが増大するほど、或いは画素数CNT0および/またはCNT1が減少するほど、狭くなる。
ステップS67の処理が完了すると、ステップS69で鳥瞰画像BEV_1の先頭画素を指定する。ステップS71では、指定画素に対応する目標輝度ゲインGy_Rを数7に従って算出する。ステップS73では、算出された目標輝度ゲインGy_RをステップS67で決定された輝度補正範囲を参照して補正する。ステップS75では、補正されたゲインGy_R’を指定画素の輝度に付与する。ステップS77では指定画素が鳥瞰画像BEV_1の末尾画素であるか否かを判別する。判別結果がNOであれば、ステップS79で鳥瞰画像BEV_1の次画素を指定し、その後にステップS71に戻る。判別結果がYESであれば、ステップS81に進む。
ステップS81では鳥瞰画像BEV_2から部分重複エリアPDP_2に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y22”として算出する。ステップS83では鳥瞰画像BEV_3から部分重複エリアPDP_2に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y23”として算出する。
ステップS85では鳥瞰画像BEV_0から部分重複エリアPDP_3に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y30”として算出する。ステップS87では鳥瞰画像BEV_3から部分重複エリアPDP_3に対応する一部の画像を特定し、特定された画像の総輝度を“SUM_Y33”として算出する。
上述と同様、総輝度“SUM_Y22”,“SUM_Y23”,“SUM_Y30”,“SUM_Y33”も、ステップS27,S33およびS37の排除処理の後に残った画素の輝度の総和に相当し、上述の数5を参照して算出される。
ステップS89では、部分重複エリアPDP_2に対する排除処理の後に残った画素の数を“CNT2”として検出する。また、ステップS91では、部分重複エリアPDP_3に対する排除処理の後に残った画素の数を“CNT3”として検出する。
ステップS93では、エッジEGD_FLに対応する基準輝度ゲインGy_FLとエッジEGD_BLに対応する基準輝度ゲインGy_BLとを、数6を参照して算出する。ステップS95では、移動速度SPDと画素数CNT2およびCNT3とに基づいて輝度補正範囲を決定する。
ステップS95の処理が完了すると、ステップS97で鳥瞰画像BEV_3の先頭画素を指定する。ステップS99では、指定画素に対応する目標輝度ゲインGy_Lを数8に従って算出する。ステップS101では、算出された目標輝度ゲインGy_LをステップS95で決定された輝度補正範囲を参照して補正する。ステップS103では、補正されたゲインGy_L’を指定画素の輝度に付与する。ステップS105では指定画素が鳥瞰画像BEV_3の末尾画素であるか否かを判別する。判別結果がNOであれば、ステップS107で鳥瞰画像BEV_3の次画素を指定し、その後にステップS99に戻る。判別結果がYESであれば、上階層のルーチンに復帰する。
図16に示すステップS9の色度補正処理は、図23〜図26に示すサブルーチンに従って実行される。
ステップS111では、鳥瞰画像BEV_0から部分重複エリアPDP_0に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U00”および“AVE_V00”として算出する。ステップS113では、鳥瞰画像BEV_1から部分重複エリアPDP_0に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U01”および“AVE_V01”として算出する。
ステップS115では、鳥瞰画像BEV_1から部分重複エリアPDP_1に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U11”および“AVE_V11”として算出する。ステップS117では、鳥瞰画像BEV_2から部分重複エリアPDP_1に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U12”および“AVE_V12”として算出する。
なお、U系平均色度“SUM_U00”,“SUM_U01”,“SUM_U11”,“SUM_U12”はいずれも、上述のステップS27,S33およびS37の排除処理の後に残った画素を形成するU成分の平均値に相当し、上述の数9および数11を参照して算出される。
同様に、V系平均色度“SUM_V00”,“SUM_V01”,“SUM_V11”,“SUM_V12”はいずれも、上述のステップS27,S33およびS37の排除処理の後に残った画素を形成するV成分の平均値に相当し、上述の数10および数12を参照して算出される。
ステップS119では、エッジEGD_FRに対応するU系基準オフセットOFSTu_FRとエッジEGD_BRに対応するU系基準オフセットOFSTu_BRとを、数13を参照して算出する。ステップS121では、エッジEGD_FRに対応するV系基準オフセットOFSTv_FRとエッジEGD_BRに対応するV系基準オフセットOFSTv_BRとを、数14を参照して算出する。
ステップS123では、鳥瞰画像BEV_1の先頭画素を指定する。ステップS125では指定画素に対応するU系目標オフセットOFSTu_Rを数15を参照して算出し、ステップS127では指定画素に対応するV系目標オフセットOFSTv_Rを数16を参照して算出する。ステップS129では算出されたU系目標オフセットOFSTu_Rを指定画素のU系色度に付加し、ステップS131では算出されたV系目標オフセットOFSTv_Rを指定画素のV系色度に付加する。
ステップS133ではUオフセットOFSTu_Rが付加されたU系色度にゲインGu_Rを付与し、ステップS135ではVオフセットOFSTy_Rが付加されたV系色度にゲインGv_Rを付与する。ここで、ゲインGu_RおよびGv_Rの各々は、同じ画素に付与されたゲインGy_RのK倍に相当する。
ステップS137では、指定画素が鳥瞰画像BEV_1の末尾画素であるか否かを判別する。判別結果がNOであれば、ステップS139で鳥瞰画像BEV_1の次画素を指定し、その後にステップS125に戻る。これに対して、判別結果がYESであれば、ステップS141に進む。
ステップS141では、鳥瞰画像BEV_2から部分重複エリアPDP_2に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U22”および“AVE_V22”として算出する。ステップS143では、鳥瞰画像BEV_3から部分重複エリアPDP_2に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U23”および“AVE_V23”として算出する。
ステップS145では、鳥瞰画像BEV_0から部分重複エリアPDP_3に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U30”および“AVE_V30”として算出する。ステップS147では、鳥瞰画像BEV_3から部分重複エリアPDP_3に対応する一部の画像を特定し、特定された画像のU系平均色度およびV系平均色度を“AVE_U33”および“AVE_V33”として算出する。
なお、U系平均色度“SUM_U22”,“SUM_U23”,“SUM_U30”,“SUM_U33”はいずれも、上述のステップS27,S33およびS37の排除処理の後に残った画素を形成するU成分の平均値に相当し、上述の数9および数11を参照して算出される。
同様に、V系平均色度“SUM_V22”,“SUM_V23”,“SUM_V30”,“SUM_V33”はいずれも、上述のステップS27,S33およびS37の排除処理の後に残った画素を形成するV成分の平均値に相当し、上述の数10および数12を参照して算出される。
ステップS149では、エッジEGD_FLに対応するU系基準オフセットOFSTu_FLとエッジEGD_BLに対応するU系基準オフセットOFSTu_BLとを、数13を参照して算出する。ステップS151では、エッジEGD_FLに対応するV系基準オフセットOFSTv_FLとエッジEGD_BLに対応するV系基準オフセットOFSTv_BLとを、数14を参照して算出する。
ステップS153では、鳥瞰画像BEV_3の先頭画素を指定する。ステップS155では指定画素に対応するU系目標オフセットOFSTu_Lを数17を参照して算出し、ステップS157では指定画素に対応するV系目標オフセットOFSTv_Lを数18を参照して算出する。ステップS159では算出されたU系目標オフセットOFSTu_Lを指定画素のU系色度に付加し、ステップS161では算出されたV系目標オフセットOFSTv_Lを指定画素のV系色度に付加する。
ステップS163ではU系目標オフセットOFSTu_Lが付加されたU系色度にゲインGu_Lを付与し、ステップS165ではV系目標オフセットOFSTy_Lが付加されたV系色度にゲインGv_Lを付与する。ここで、ゲインGu_LおよびGv_Lの各々は、同じ画素に付与されたゲインGy_LのK倍に相当する。
ステップS177では、指定画素が鳥瞰画像BEV_3の末尾画素であるか否かを判別する。判別結果がNOであれば、ステップS169で鳥瞰画像BEV_3の次画素を指定し、その後にステップS155に戻る。これに対して、判別結果がYESであれば、上位階層のルーチンに復帰する。
以上の説明から分かるように、車両100に設けられたカメラCM_0〜CM_3は、共通視野CVW_0〜CVW_3を部分的に有する姿勢で路面を斜めから捉える。CPU12pは、このようなカメラCM_0〜CM_3から出力された被写界像P_0〜P_3を、路面を上方から眺めた状態を表す鳥瞰画像BEV_0〜BEV_3に変換する(S3)。CPU12pはまた、共通視野CVW_0〜CVW_3に存在する立体物を表す画像の位置を、鳥瞰画像BEV_0〜BEV_3の各々から排除位置として検出し(S23~S25, S39~S41)、排除位置の画像を鳥瞰画像BEV_0〜BEV_3から共通的に排除する(S27, S33)。CPU12pはさらに、排除処理の後に残った複数の画像間の輝度および/または色度の相違が抑制される態様で、鳥瞰画像BEV_0〜BEV_3を合成する(S7~S11)。
カメラCM_0〜CM_3は共通視野CVW_0〜CVW_3を部分的に有する姿勢で斜めから基準面を捉えるため、共通視野CVW_0〜CVW_3に現れた立体物の姿勢はカメラCM_0〜CM_3にそれぞれ対応する鳥瞰画像BEV_0〜BEV_3の間で相違する。共通視野CVW_0〜CVW_3に現れた立体物の位置はこのような鳥瞰画像BEV_0〜BEV_3の各々から検出され、検出された位置の画像は鳥瞰画像BEV_0〜BEV_3から共通的に排除される。鳥瞰画像BEV_0〜BEV_3の合成処理は、このような排除処理の後に残った複数の画像間の輝度および/または色の相違が抑制される態様で実行される。これによって、合成された鳥瞰画像の品質を向上させることができる。
なお、この実施例では、色オフセット補正の後に色に対するゲイン補正を行うようにしている。しかし、色オフセット補正の前に色に対するゲイン補正を行うようにしてもよい。
また、本実施例では、車用の全周鳥瞰表示を例に説明したが、本手法は、路面等の基準面に対する鳥瞰変換(視点変換)を行うマルチカメラシステムにおいても適応可能である。
10 …操縦支援装置
CM_0〜CM_3 …カメラ
12 …画像処理回路
12m …メモリ
12p …CPU
14 …表示装置
16 …フラッシュメモリ
18 …速度センサ
100 …車両
CM_0〜CM_3 …カメラ
12 …画像処理回路
12m …メモリ
12p …CPU
14 …表示装置
16 …フラッシュメモリ
18 …速度センサ
100 …車両
Claims (6)
- 共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラから出力された複数の被写界像を前記基準面に対する複数の鳥瞰画像に変換する変換手段、
前記共通視野に存在する立体物を表す画像の位置を前記変換手段によって変換された複数の鳥瞰画像の各々から排除位置として検出する第1検出手段、
前記変換手段によって変換された複数の鳥瞰画像から前記排除位置の画像を共通的に排除する排除手段、および
前記変換手段によって変換された複数の鳥瞰画像を前記排除手段の排除処理の後に残った複数の画像間の輝度および/または色度の相違が抑制される態様で合成する合成手段を備える、画像処理装置。 - 前記排除位置は前記複数の鳥瞰画像間の輝度差および/または色度差が第1基準を上回る画素の位置に相当する、請求項1記載の画像処理装置。
- 前記共通視野に対応して表われた鮮鋭画像の位置を前記排除位置として検出する第2検出手段をさらに備える、請求項1または2記載の画像処理装置。
- 画像の鮮鋭度に関連する第2基準を前記複数のカメラの各々から出力された被写界像の輝度を参照して調整する調整手段をさらに備え、
前記第2検出手段は前記第2基準を参照して検出処理を実行する、請求項3記載の画像処理装置。 - 前記合成手段は、前記排除手段の排除処理の後に残った複数の画像の間の輝度および/または色度の相違を前記共通視野に対応して検出する検出手段、および前記複数の鳥瞰画像の輝度および/または色度を前記検出手段によって検出された相違に基づいて調整する調整手段を含む、請求項1ないし4のいずれかに記載の画像処理装置。
- 前記調整手段は前記排除手段の排除処理の後に残った複数の画像の画素数を参照して前記輝度の調整範囲を定義する定義手段を含む、請求項5記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009157472A JP2011013929A (ja) | 2009-07-02 | 2009-07-02 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009157472A JP2011013929A (ja) | 2009-07-02 | 2009-07-02 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011013929A true JP2011013929A (ja) | 2011-01-20 |
Family
ID=43592739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009157472A Withdrawn JP2011013929A (ja) | 2009-07-02 | 2009-07-02 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011013929A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016091371A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体 |
CN109040517A (zh) * | 2017-06-09 | 2018-12-18 | 爱信精机株式会社 | 图像处理装置 |
JP2019004449A (ja) * | 2017-06-09 | 2019-01-10 | アイシン精機株式会社 | 画像処理装置 |
WO2019073589A1 (ja) * | 2017-10-13 | 2019-04-18 | 三菱電機株式会社 | 画像合成装置および画像合成方法 |
-
2009
- 2009-07-02 JP JP2009157472A patent/JP2011013929A/ja not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016091371A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体 |
CN109040517A (zh) * | 2017-06-09 | 2018-12-18 | 爱信精机株式会社 | 图像处理装置 |
JP2018206323A (ja) * | 2017-06-09 | 2018-12-27 | アイシン精機株式会社 | 画像処理装置 |
JP2019004449A (ja) * | 2017-06-09 | 2019-01-10 | アイシン精機株式会社 | 画像処理装置 |
JP7013287B2 (ja) | 2017-06-09 | 2022-01-31 | 株式会社アイシン | 画像処理装置 |
WO2019073589A1 (ja) * | 2017-10-13 | 2019-04-18 | 三菱電機株式会社 | 画像合成装置および画像合成方法 |
CN111194549A (zh) * | 2017-10-13 | 2020-05-22 | 三菱电机株式会社 | 图像合成装置和图像合成方法 |
JPWO2019073589A1 (ja) * | 2017-10-13 | 2020-08-13 | 三菱電機株式会社 | 画像合成装置および画像合成方法 |
US11006087B2 (en) | 2017-10-13 | 2021-05-11 | Mitsubishi Electric Corporation | Image synthesizing device and image synthesizing method |
CN111194549B (zh) * | 2017-10-13 | 2022-01-28 | 三菱电机株式会社 | 图像合成装置和图像合成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101609491B1 (ko) | 화상 합성 장치, 화상 합성 방법 및 기록 매체 | |
JP4839183B2 (ja) | 画像処理装置 | |
JP4717863B2 (ja) | 複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャート | |
US20140085473A1 (en) | In-vehicle camera apparatus | |
JP5767485B2 (ja) | 画像処理装置及び制御方法 | |
JP5888117B2 (ja) | 物体検出装置 | |
JP4681432B2 (ja) | 車載周辺画像表示装置 | |
EP3249605A1 (en) | Inverse tone mapping method and corresponding device | |
JPWO2017159312A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
KR101428169B1 (ko) | 후방 카메라의 영상 왜곡 보정 장치 및 방법 | |
WO2013032008A1 (ja) | 画像処理装置、プログラム | |
KR20120130798A (ko) | 차량 어라운드 뷰 영상 생성 방법 | |
CN105744248A (zh) | 摄像方法 | |
CN103108122B (zh) | 图像合成装置和图像记录方法 | |
KR101239740B1 (ko) | 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 | |
US9747664B2 (en) | Image processing apparatus | |
JP2007028088A (ja) | 撮像装置及び画像処理方法 | |
KR100956228B1 (ko) | 왜곡 영상 보정 기능을 갖는 영상처리 장치 | |
JP2011013929A (ja) | 画像処理装置 | |
CN112640413B (zh) | 用于显示周围环境的模型的方法、控制设备和车辆 | |
US9342895B2 (en) | Device and method for detecting a plant against a background using photographs with different levels of brightness | |
JP5633733B2 (ja) | 暗領域ノイズ補正装置 | |
US9807302B1 (en) | Offset rolling shutter camera model, and applications thereof | |
JP4359662B2 (ja) | カラー画像の露出補正方法 | |
JP2009289185A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120904 |