JP2007323587A - 車載カメラの画像合成装置および画像合成方法 - Google Patents
車載カメラの画像合成装置および画像合成方法 Download PDFInfo
- Publication number
- JP2007323587A JP2007323587A JP2006156273A JP2006156273A JP2007323587A JP 2007323587 A JP2007323587 A JP 2007323587A JP 2006156273 A JP2006156273 A JP 2006156273A JP 2006156273 A JP2006156273 A JP 2006156273A JP 2007323587 A JP2007323587 A JP 2007323587A
- Authority
- JP
- Japan
- Prior art keywords
- camera image
- camera
- image
- gain
- correction gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像合成装置は画像メモリと画像読み出し制御部と初期ゲイン算出部と補正ゲイン算出部と画像補正部と画像合成部からなる。初期ゲイン算出部は各カメラの画像重複領域における画素の平均値を算出し、隣接したカメラ画像の色調を揃えるゲインを算出する。補正ゲイン算出部は周囲のカメラ画像との色調を揃え、両側で隣接したカメラ画像の補正ゲイン値の差を小さくする。画像補正部はカメラ画像内で両側の補正ゲイン値をなだらかに変化させる。画像合成部は色調の揃った視認しやすい合成画像を合成する。
【選択図】図1
Description
図8は5台のカメラを搭載した車両の例で、カメラA20〜カメラE24の5台を搭載し、車両の後部に取り付けたカメラC22が車両の真後ろを監視し、車両の左サイドの前後に取り付けたカメラD23、カメラE24が車両の左サイド斜め後方を監視し、車両の右サイド前後に取り付けたカメラA20、カメラB21が車両の右サイド斜め後方を監視するようになっている。最近では、前方、左側方、右側方、後方などのように多数のカメラを搭載し車両の全周囲を監視できるようにしたものがある。
特許文献1に記載のものはカメラ画像を合成するための手法に関する技術で、カメラが3台以上ある場合、全カメラの画素データの平均値に最も近いカメラを基準画像とし、この基準画像に隣接するカメラ画像の明るさや色合いを順に合わせるように補正処理を行うというものである。
特許文献2に記載のものは複数の隣接するカメラ画像と画質を合わせるために画像両端で異なるパラメータを直線またはなだらかな曲線に沿って画像内で変化させるパラメータをカメラに対し制御するものである。
また、特許文献2に記載のものにおいては、両端で隣接する画像と画質を合わせるパラメータを画像内で変化させても両端のパラメータ値が大きく異なる際にはその画像内での明るさや色合いに大きな傾きを持ってしまい不自然となることがあるという問題がある。また、この手法はカメラに対してパラメータ値を詳細に制御するものであり、外部からの制御が可能な特殊なカメラや制御データ用の配線が必要となるが、車載用途の撮像装置ではコストや車両重量の点から、可能な限り単純な構成で配線も少ないことが重視される。そのため汎用のカメラを用い、入力された撮像画像に対して補正を行うことで見やすい合成画像を生成できることが望ましい。
この構成により、複数のカメラから入力された画像における明るさや色合いの差異が小さくなるように補正され、補正後の画像が合成されるので、撮像の視点が変換されて各画像が合成されても、重複した撮像範囲における合成画像の繋ぎ目が目立たず、かつ全てのカメラ画像の明るさや色合いが近づいた自然な合成画像が得られる。
この構成により、互いに隣接したカメラ画像における明るさや色合いを揃えるための初期ゲインの値が得られる。
この構成により、互いに隣接したカメラ画像における明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、2つの重複部を持つカメラ画像において、2つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、互いに隣接したカメラ画像の明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、2つの重複部における2つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、2つの重複部を持つカメラ画像においても、カメラ画像内でゲインをなだらかに変化させることができ、明るさや色合いの傾きを目立たなくすることが可能となる。
この構成により、複数のカメラから入力された画像における明るさや色合いの差異が小さくなるように補正され、補正後の画像が合成されるので、撮像の視点が変換されて各画像が合成されても、重複した撮像範囲における合成画像の繋ぎ目が目立たず、かつ全てのカメラ画像の明るさや色合いが近づいた自然な合成画像が得られる。
この構成により、互いに隣接したカメラ画像における明るさや色合いを揃えるための初期ゲインの値が得られる。
この構成により、互いに隣接したカメラ画像における明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、2つの重複部を持つカメラ画像において、2つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、互いに隣接したカメラ画像の明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、2つの重複部における2つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この構成により、2つの重複部を持つカメラ画像においても、カメラ画像内でゲインをなだらかに変化させることができ、明るさや色合いの傾きを目立たなくすることが可能となる。
本発明に係る画像合成方法は、本発明に係る画像合成装置により実施することができ、この画像合成装置の説明を通じてその詳細をも明らかにする。
本発明に係る画像合成方法における初期ゲイン算出ステップは、本発明に係る画像合成装置における初期ゲイン算出部により好適に行うことができ、本発明に係る画像合成方法における補正ゲイン算出ステップは、本発明に係る画像合成装置における補正ゲイン算出部により好適に行うことができ、本発明に係る画像合成方法における画像補正ステップは、本発明に係る画像合成装置における画像補正部により好適に行うことができる。
本発明に係る車載カメラの画像合成装置の第1の実施の形態を図1に示す。図1において、車載カメラの画像合成装置100は画像メモリ101と、画像読み出し制御部102と、初期ゲイン算出部103と、補正ゲイン算出部104と、画像補正部105と、画像合成部106とを有している。
本発明に係る車載カメラの画像合成装置においては、車両に設置された複数のカメラが撮像した複数のカメラ画像を入手し、その複数のカメラ画像に基づいて画像を合成するようになっている。この複数のカメラの撮像範囲は各々広く設定されており、例えば、図2に示すように、車両40の左側にカメラ50と51が設置された場合、カメラ50の撮像範囲は50a、カメラ51の撮像範囲は51aのように各々広く設定され、重複した撮像範囲52を有している。
画像メモリ101は、例えば、図1に示すカメラ0〜4の5台のカメラが車両の周囲を撮像し出力したカメラ画像を格納するようになっている。
初期ゲイン算出部103は、画像メモリ101から出力される画像データが入力されるようになっている。また、初期ゲイン算出部103は、入力された画像データにおける各画素データに付されているフラグデータを参照し、画素データのカメラ番号と、何番のカメラ画像と重複する画素データであるかを判別し、その画素値を用いて各カメラ画像の各重複部毎に画素値の平均値を算出するようになっている。
第2平均値は、算出された第1平均値1と第1平均値2とを掛け合わせて平方根を算出することで、重複部302において隣接するカメラ1とカメラ2との画像間の画素平均値の相乗平均値として算出されるようになっている。
重複部302における画素平均値の相乗平均値を、第1平均値1で割った値を初期ゲイン1とし、第1平均値2で割った値を初期ゲイン2として出力するようになっている。
例えば、図3において、カメラ1が撮像した画像とカメラ2が撮像した画像との明るさや色合いを揃えるための初期ゲインを算出する際には、カメラ1の重複部302にあたる画素値の第1平均値1、カメラ2の重複部302にあたる画素値のと第1平均値2をそれぞれ算出し、算出した第1平均値1をAve1_12、第1平均値2をAve2_12とすると、次式(1)および(2)に示すように、これら画素値の第1平均値1と第1平均値2の相乗平均値に、Ave1_12、Ave2_12が一致するようなゲインが、重複部302におけるカメラ1の画像の初期ゲインIg1_12、カメラ2の画像の初期ゲインIg2_12として求められる。
重複部302におけるカメラ1の画像の初期ゲインIg1_12およびカメラ2の画像の初期ゲインIg2_12においては、光の3原色である赤緑青(RGB)のそれぞれについて初期ゲインを算出するようになっている。
このような処理により、2つの重複部を持つカメラ画像において、2つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
この補正により、2つの重複部を持つカメラ画像においても、カメラ画像内でゲインをなだらかに変化させることができ、明るさや色合いの傾きが目立たなくなる。
具体的には、補正ゲイン算出部104で算出された補正ゲインを用いて、画像メモリ101から読み出された画素に応じたゲインを乗じる。補正ゲイン算出部104では1つのカメラ画像に対する2つの補正ゲインの差がある閾値未満となるまで算出を繰り返しているので2つのゲインは近い値を持つことができる。よって、この2つの補正ゲインの値を用いて、そのカメラ画像の中で画像の端からの距離による加重平均によって各画素のゲインを決定し明るさや色合いをなだらかに変化させる。本第1の実施の形態においては、差を小さくした2つの補正ゲインを用いた加重平均であると、初期ゲインをそのまま用いた加重平均に比べて、明るさや色合いの傾きは小さくなり、違和感の少ない合成画像を得ることができる。
画像合成部106は、画像補正部105にて補正ゲインを乗じられた画素を入力し、隣接するカメラ画像の重複部の画素を合成して図9に示す合成画像35のような上方から下方を見下ろすように視点変換された画像を作成し、表示装置107に出力するようになっている。
表示装置107は、例えば、液晶からなる表示画面を備えた表示部で構成され、画像合成部106により合成され、自車両およびその周囲を上方から見た画像として表示するようになっている。
まず、図1に示すように、カメラ0〜カメラ4が撮像した画像は、画像メモリ101にそれぞれ格納される。格納された画像データは画像読み出し制御部102によって、合成画像における画素の位置情報、各々のカメラ番号のフラグデータ、重複部を判別するフラグデータが付与されて、順次初期ゲイン算出部103に入力され、重複部301〜305における各カメラの画像データについて明るさや色合いを揃えるための初期ゲインが算出される。初期ゲインが算出されると、補正ゲイン算出部に算出された初期ゲインが入力され、初期ゲインに基づいて補正ゲインが算出される。この補正ゲインが算出されると、さらに新たな補正ゲインが算出され、所定の閾値未満となるまで新たな補正ゲインの算出が繰り返される。所望の補正ゲインが算出されると、画像補正部105に算出された補正ゲインが入力され、この補正ゲインに基づいて重複した撮像領域からの距離に応じた加重平均によって各画素のゲインが決定される。各画素のゲインが決定されると、画像合成部106に、各画素のゲインが入力され、隣接するカメラ画像の重複部の画素が合成され、表示装置107に重複部の画像および各カメラ画像が出力され、表示画面に図9に示すような合成画像として表示される。
次に、本発明に係る車載カメラの画像合成装置の第2の実施の形態について説明する。
本第2の実施の形態においては、図5に示すように、5台の図示しないカメラ0〜カメラ4を車両40の側方と後方に設置し側方と後方を撮像し、車両40の前方部を撮像しない未撮像範囲を有するよう構成されている。また、本第2の実施の形態では、車載カメラの画像合成装置の構成は、図1に示す第1の実施の形態と同様に構成されており、各構成部分の説明は省略する。
本第2の実施の形態においては、第1カメラ画像は第2カメラ画像以外の第3カメラ画像と隣接するが、第2カメラ画像は第1カメラ画像以外のカメラ画像とは隣接しない場合、例えば、図5に示すように、第1カメラ画像としてのカメラ1は第2カメラ画像としてのカメラ0と第3カメラ画像としてのカメラ2と隣接するが、第2カメラ画像としてのカメラ0は第1カメラとしてのカメラ1の画像以外の画像とは隣接しない未撮像範囲505を有するよう構成されている。
この算出により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、2つの重複部における2つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。
そこで、本第2の実施の形態においては、重複部が1つしかないカメラに対してはその重複部における初期ゲインおよび補正ゲインの値をそのカメラ画像におけるもう1つの初期ゲインおよび補正ゲインとみなすことで初期ゲインおよび補正ゲインの比を1とする。
これにより第1の実施の形態と同様に補正係数の算出を行うことができ、補正ゲインを算出することが可能となる。
本第2の実施の形態における、画像合成処理は、本第1の実施の形態における、画像合成処理と同様に行われその作用も本第1の実施の形態における画像合成処理の作用と同様に行われる。
この第2の実施の形態においては、車両40の周囲の一部を重複しながら撮像する場合においても隣接したカメラ画像の明るさや色合いを揃え、かつ合成画像全体の明るさや色合いを平均的に保つことができる。なお、第2の実施の形態はカメラの個数に限定されるものではなく、カメラを複数個用いて車両周囲の一部を重複しながら撮像していれば、上記のようにカメラが5個の場合と同様の処理が適用可能である。
次に、本発明に係る車載カメラの画像合成装置の第3の実施の形態について説明する。
本第3の実施の形態においては、図6に示すように、4台の図示しないカメラ0〜カメラ3を車両40に設置し、車両40の全周囲を撮像できるよう構成されている。また、本第3の実施の形態では、車載カメラの画像合成装置は、図1に示す第1の実施の形態と同様に構成されており、各構成部分の説明は省略する。
ここで、補正ゲインの算出方法については第1の実施の形態と同様であるが、本第3の実施の形態においては、全ての重複部601、重複部602、重複部603、重複部604における補正ゲインの算出は1度のみで、第1の実施の形態と同様の効果を得ることができる。
さらに、カメラ1の画像における2つの補正ゲイン値は、a×b×c×d=1の関係を用いると、次式(27)〜(28)に示すように等しい値となる。
本第3の実施の形態における、画像合成処理は、本第1の実施の形態における、画像合成処理と同様に行われ、その作用も本第1の実施の形態における画像合成処理の作用と同様に行われる。
この第3の実施の形態のように、4台のカメラ0〜3で全周囲を重複しながら撮像する場合には、第1の実施の形態とは異なり、1度の補正ゲインの計算で各々のカメラ画像が持つ2つの補正ゲインの値は等しくなり、その補正ゲイン値を用いて各カメラ画像を補正することで、各々のカメラ画像は両側にて隣接するカメラ画像との明るさや色合いを揃えることができる。よって全てのカメラ画像の明るさや色合いを揃えることができるため、画像補正部105において加重平均によってゲインを変化させる処理は必要なく、回路規模の削減や処理時間の短縮が可能である。
21 カメラB
22 カメラC
23 カメラD
24 カメラE
30 カメラAの画像
31 カメラBの画像
32 カメラCの画像
33 カメラDの画像
34 カメラEの画像
35 合成画像
40 車両
50、51 カメラ
50a カメラ50の撮像範囲
51a カメラ51の撮像範囲
52 カメラ50と51の撮像重複範囲
100 カメラの画像合成装置
101 画像メモリ
102 画像読み出し制御部
103 初期ゲイン算出部
104 補正ゲイン算出部
105 画像補正部
106 画像合成部
107 表示装置
210 第1の実施の形態におけるカメラ0の撮像範囲
211 第1の実施の形態におけるカメラ1の撮像範囲
212 第1の実施の形態におけるカメラ2の撮像範囲
213 第1の実施の形態におけるカメラ3の撮像範囲
214 第1の実施の形態におけるカメラ4の撮像範囲
301 第1の実施の形態におけるカメラ0とカメラ1の重複部
302 第1の実施の形態におけるカメラ1とカメラ2の重複部
303 第1の実施の形態におけるカメラ2とカメラ3の重複部
304 第1の実施の形態におけるカメラ3とカメラ4の重複部
305 第1の実施の形態におけるカメラ4とカメラ0の重複部
LEV400 第1の実施の形態におけるカメラ0の画像の画素レベル
LEV401 第1の実施の形態におけるカメラ1の画像の画素レベル
LEV402 第1の実施の形態におけるカメラ2の画像の画素レベル
LEV403 第1の実施の形態におけるカメラ3の画像の画素レベル
LEV404 第1の実施の形態におけるカメラ4の画像の画素レベル
501 第2の実施の形態におけるカメラ0とカメラ1の重複部
502 第2の実施の形態におけるカメラ1とカメラ2の重複部
503 第2の実施の形態におけるカメラ2とカメラ3の重複部
504 第2の実施の形態におけるカメラ3とカメラ4の重複部
510 第2の実施の形態における重複部を1つだけ持つカメラ0の撮像範囲
511 第2の実施の形態におけるカメラ1の撮像範囲
512 第2の実施の形態におけるカメラ2の撮像範囲
513 第2の実施の形態におけるカメラ3の撮像範囲
514 第2の実施の形態における重複部を1つだけ持つカメラ4の撮像範囲
601 第3の実施の形態におけるカメラ0とカメラ1の重複部
602 第3の実施の形態におけるカメラ1とカメラ2の重複部
603 第3の実施の形態におけるカメラ2とカメラ3の重複部
604 第3の実施の形態におけるカメラ3とカメラ0の重複部
610 第3の実施の形態におけるカメラ0の撮像範囲
611 第3の実施の形態におけるカメラ1の撮像範囲
612 第3の実施の形態におけるカメラ2の撮像範囲
613 第6の実施の形態におけるカメラ3の撮像範囲
LEV700 第3の実施の形態におけるカメラ0の画像の画素レベル
LEV701 第3の実施の形態におけるカメラ1の画像の画素レベル
LEV702 第3の実施の形態におけるカメラ2の画像の画素レベル
LEV703 第3の実施の形態におけるカメラ3の画像の画素レベル
Claims (14)
- 車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成装置において、
前記複数のカメラが撮像した複数のカメラ画像の内、隣接したカメラ画像が重複した画像重複領域における明るさおよび色合いの少なくともいずれかからなる色調を揃えるための初期ゲインを算出する初期ゲイン算出部と、
前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出部と、
前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正部とを有し、
前記画像補正部で補正した補正画像を合成することを特徴とする車載カメラの画像合成装置。 - 前記初期ゲイン算出部が、第1カメラ画像と隣接した第2カメラ画像とが重複した第1第2カメラ画像重複領域における第1カメラ画像データの前記色調の第1平均値および第2カメラ画像データの前記色調の第1平均値を算出し、
前記第1第2カメラ画像重複領域における前記第1カメラ画像データの前記色調の第1平均値と、前記第2カメラ画像データの前記色調の第1平均値との平均値である第2平均値を算出し、
隣接した前記第1カメラ画像および前記第2カメラ画像の各々について、前記色調の第1平均値が、前記第2平均値に一致するようなゲインを、隣接する前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲインおよび前記第2カメラ画像の初期ゲインとして算出し、
さらに、前記第1平均値の算出、前記第2平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項1に記載の車載カメラの画像合成装置。 - 前記補正ゲイン算出部が、前記第1カメラ画像が前記第2カメラ画像以外の第3カメラ画像と隣接し、かつ、前記第2カメラ画像が前記第1カメラ画像以外の第4カメラ画像と隣接する場合、前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲインと、前記第1カメラ画像と前記第3カメラ画像とが重複した第1第3カメラ画像重複領域における前記第1カメラ画像の初期ゲインの、前記第1カメラ画像に対する2つの初期ゲインの比、および、前記第1第2カメラ画像重複領域における前記第2カメラ画像の初期ゲインと、前記第2カメラ画像と前記第4カメラ画像とが重複した第2第4カメラ画像重複領域における前記第2カメラ画像の初期ゲインの、前記第2カメラ画像に対する2つの初期ゲインの比を算出し、
前記第1カメラ画像に対する初期ゲインの比と、前記第2カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲイン、および、前記第2カメラ画像の初期ゲインの各々に乗じた値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲイン、および、前記第2カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項1に記載の車載カメラの画像合成装置。 - 前記補正ゲイン算出部が、前記第1カメラ画像が前記第2カメラ画像以外の前記第3カメラ画像と隣接し、かつ、前記第2カメラ画像が前記第1カメラ画像以外の前記第4カメラ画像と隣接する場合、前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の補正ゲインの、前記第1カメラ画像に対する2つの補正ゲインの比、および、前記第1第2カメラ画像重複領域における前記第2カメラ画像の補正ゲインと、前記第2第4カメラ画像重複領域における前記第2カメラ画像の補正ゲインの、前記第2カメラ画像に対する2つの補正ゲインの比を算出し、
前記第1カメラ画像に対する補正ゲインの比と、前記第2カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲイン、および、前記第2カメラ画像の補正ゲインの各々に乗じた値を、前記第1第2カメラ画像重複領域における前記第1カメラ画像の新たな補正ゲイン、および、前記第2カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ2つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項3に記載の車載カメラの画像合成装置。 - 前記補正ゲイン算出部が、前記第1カメラ画像は前記第2カメラ画像以外の前記第3カメラ画像と隣接するが、前記第2カメラ画像は前記第1カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第1カメラ画像においては、前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の初期ゲインの、前記第1カメラ画像に対する2つの初期ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第2カメラ画像においては、初期ゲインの比の値を1とみなし、前記第1カメラ画像に対する初期ゲインの比と、前記第2カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲイン、および、前記第2カメラ画像の初期ゲインの各々に乗じた値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲイン、および、前記第2カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項1に記載の車載カメラの画像合成装置。 - 前記補正ゲイン算出部が、前記第1カメラ画像は前記第2カメラ画像以外の前記第3カメラ画像と隣接するが、前記第2カメラ画像は前記第1カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第1カメラ画像においては、前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の補正ゲインの、前記第1カメラ画像に対する2つの補正ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第2カメラ画像においては、補正ゲインの比の値を1とみなし、前記第1カメラ画像に対する補正ゲインの比と、前記第2カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像補正ゲイン、および、前記第2カメラ画像の補正ゲインの各々に乗じた値を、前記第1第2カメラ画像重複領域における前記第1カメラ画像の新たな補正ゲイン、および、前記第2カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ2つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項5に記載の車載カメラの画像合成装置。 - 前記画像補正部が、前記自車両の周囲を撮像する前記第1カメラ画像において、前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の補正ゲインの、前記第1カメラ画像に対する2つの補正ゲインの値が異なる際、前記2つの補正ゲインの値を2つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項1に記載の車載カメラの画像合成装置。
- 車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成方法において、
前記複数のカメラが撮像した複数のカメラ画像の内、隣接したカメラ画像が重複した画像重複領域における前記色調を揃えるための初期ゲインを算出する初期ゲイン算出ステップと、
前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出ステップと、
前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正ステップとを有し、
前記画像補正ステップで補正した補正画像を合成することを特徴とする車載カメラの画像合成方法。 - 前記初期ゲイン算出ステップが、第1カメラ画像と隣接した第2カメラ画像とが重複した第1第2カメラ画像重複領域における第1カメラ画像データの前記色調の第1平均値および第2カメラ画像データの前記色調の第1平均値を算出し、
前記第1第2カメラ画像重複領域における前記第1カメラ画像データの前記色調の第1平均値と、前記第2カメラ画像データの前記色調の第1平均値との平均値である第2平均値を算出し、
隣接した前記第1カメラ画像および前記第2カメラ画像の各々について、前記色調の第1平均値が、前記第2平均値に一致するようなゲインを、隣接する前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲインおよび前記第2カメラ画像の初期ゲインとして算出し、
さらに、前記第1平均値の算出、前記第2平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項8に記載の車載カメラの画像合成方法。 - 前記補正ゲイン算出ステップが、前記第1カメラ画像が前記第2カメラ画像以外の第3カメラ画像と隣接し、かつ、前記第2カメラ画像が前記第1カメラ画像以外の第4カメラ画像と隣接する場合、前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲインと、前記第1カメラ画像と前記第3カメラ画像とが重複した第1第3カメラ画像重複領域における前記第1カメラ画像の初期ゲインの、前記第1カメラ画像に対する2つの初期ゲインの比、および、前記第1第2カメラ画像重複領域における前記第2カメラ画像の初期ゲインと、前記第2カメラ画像と前記第4カメラ画像とが重複した第2第4カメラ画像重複領域における前記第2カメラ画像の初期ゲインの、前記第2カメラ画像に対する2つの初期ゲインの比を算出し、
前記第1カメラ画像に対する初期ゲインの比と、前記第2カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲイン、および、前記第2カメラ画像の初期ゲインの各々に乗じた値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲイン、および、前記第2カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項8に記載の車載カメラの画像合成方法。 - 前記補正ゲイン算出ステップが、前記第1カメラ画像が前記第2カメラ画像以外の前記第3カメラ画像と隣接し、かつ、前記第2カメラ画像が前記第1カメラ画像以外の前記第4カメラ画像と隣接する場合、前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の補正ゲインの、前記第1カメラ画像に対する2つの補正ゲインの比、および、前記第1第2カメラ画像重複領域における前記第2カメラ画像の補正ゲインと、前記第2第4カメラ画像重複領域における前記第2カメラ画像の補正ゲインの、前記第2カメラ画像に対する2つの補正ゲインの比を算出し、
前記第1カメラ画像に対する補正ゲインの比と、前記第2カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲイン、および、前記第2カメラ画像の補正ゲインの各々に乗じた値を、前記第1第2カメラ画像重複領域における前記第1カメラ画像の新たな補正ゲイン、および、前記第2カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ2つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項10に記載の車載カメラの画像合成方法。 - 前記補正ゲイン算出ステップが、前記第1カメラ画像は前記第2カメラ画像以外の前記第3カメラ画像と隣接するが、前記第2カメラ画像は前記第1カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第1カメラ画像においては、前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の初期ゲインの、前記第1カメラ画像に対する2つの初期ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第2カメラ画像においては、初期ゲインの比の値を1とみなし、前記第1カメラ画像に対する初期ゲインの比と、前記第2カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の初期ゲイン、および、前記第2カメラ画像の初期ゲインの各々に乗じた値を前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲイン、および、前記第2カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項8に記載の車載カメラの画像合成方法。 - 前記補正ゲイン算出ステップが、前記第1カメラ画像は前記第2カメラ画像以外の前記第3カメラ画像と隣接するが、前記第2カメラ画像は前記第1カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第1カメラ画像においては、前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の補正ゲインの、前記第1カメラ画像に対する2つの補正ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第2カメラ画像においては、補正ゲインの比の値を1とみなし、前記第1カメラ画像に対する補正ゲインの比と、前記第2カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第1第2カメラ画像重複領域における前記第1カメラ画像補正ゲイン、および、前記第2カメラ画像の補正ゲインの各々に乗じた値を、前記第1第2カメラ画像重複領域における前記第1カメラ画像の新たな補正ゲイン、および、前記第2カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ2つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項12に記載の車載カメラの画像合成方法。 - 前記画像補正ステップが、前記自車両の周囲を撮像する前記第1カメラ画像において、前記第1第2カメラ画像重複領域における前記第1カメラ画像の補正ゲインと、前記第1第3カメラ画像重複領域における前記第1カメラ画像の補正ゲインの、前記第1カメラ画像に対する2つの補正ゲインの値が異なる際、前記2つの補正ゲインの値を2つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項8に記載の車載カメラの画像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156273A JP4739122B2 (ja) | 2006-06-05 | 2006-06-05 | 車載カメラの画像合成装置および画像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156273A JP4739122B2 (ja) | 2006-06-05 | 2006-06-05 | 車載カメラの画像合成装置および画像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007323587A true JP2007323587A (ja) | 2007-12-13 |
JP4739122B2 JP4739122B2 (ja) | 2011-08-03 |
Family
ID=38856316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006156273A Expired - Fee Related JP4739122B2 (ja) | 2006-06-05 | 2006-06-05 | 車載カメラの画像合成装置および画像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4739122B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011095026A1 (zh) * | 2010-02-02 | 2011-08-11 | 华为终端有限公司 | 摄像方法及*** |
JP2011254190A (ja) * | 2010-06-01 | 2011-12-15 | Clarion Co Ltd | 車両用周囲監視装置 |
KR101241012B1 (ko) | 2011-06-27 | 2013-03-11 | 현대자동차일본기술연구소 | 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법 |
EP2846532A1 (en) | 2013-09-06 | 2015-03-11 | Application Solutions (Electronics and Vision) Limited | System, device and method for displaying a harmonised combined image |
JP2015122110A (ja) * | 2010-02-04 | 2015-07-02 | マイクロソフト コーポレーション | 高ダイナミック・レンジ画像の発生およびレンダリング |
US20150360612A1 (en) * | 2014-06-13 | 2015-12-17 | Hyundai Mobis Co., Ltd. | Around view monitoring apparatus and method thereof |
JP2016091371A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体 |
WO2016104504A1 (ja) * | 2014-12-25 | 2016-06-30 | 株式会社デンソー | 画像処理システム及び画像処理装置 |
CN105981367A (zh) * | 2014-02-11 | 2016-09-28 | 罗伯特·博世有限公司 | 对来自多摄像机***的视频的亮度和颜色匹配 |
EP3076655A4 (en) * | 2013-11-27 | 2017-07-12 | Kyocera Corporation | Imaging settings changing device, imaging system, and imaging settings changing method |
JP2018042237A (ja) * | 2016-08-31 | 2018-03-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR101909392B1 (ko) * | 2017-08-24 | 2018-10-17 | 주식회사 켐트로닉스 | 서라운드 뷰 모니터링 시스템 |
US10375337B2 (en) | 2015-09-25 | 2019-08-06 | Samsung Electronics Co., Ltd. | Method controlling image sensor parameters |
CN111937378A (zh) * | 2018-04-03 | 2020-11-13 | 爱信精机株式会社 | 图像处理装置 |
WO2022036539A1 (zh) * | 2020-08-18 | 2022-02-24 | 华为技术有限公司 | 一种多相机色彩一致性校正方法和装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101847825B1 (ko) * | 2012-05-24 | 2018-04-12 | 현대모비스 주식회사 | 어라운드뷰 시스템 및 그의 카메라 영상 밝기 보정 방법 |
JP6467787B2 (ja) | 2014-05-27 | 2019-02-13 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法およびプログラム |
CN109040613B (zh) | 2017-06-09 | 2022-03-25 | 株式会社爱信 | 图像处理装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
JP2001352552A (ja) * | 2000-06-07 | 2001-12-21 | Matsushita Electric Ind Co Ltd | 映像信号処理装置及び映像信号処理方法 |
JP2002324235A (ja) * | 2001-04-24 | 2002-11-08 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成表示方法及びその装置 |
JP2004139219A (ja) * | 2002-10-16 | 2004-05-13 | Seiko Instruments Inc | 画像処理方法および画像処理装置 |
-
2006
- 2006-06-05 JP JP2006156273A patent/JP4739122B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
JP2001352552A (ja) * | 2000-06-07 | 2001-12-21 | Matsushita Electric Ind Co Ltd | 映像信号処理装置及び映像信号処理方法 |
JP2002324235A (ja) * | 2001-04-24 | 2002-11-08 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成表示方法及びその装置 |
JP2004139219A (ja) * | 2002-10-16 | 2004-05-13 | Seiko Instruments Inc | 画像処理方法および画像処理装置 |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011095026A1 (zh) * | 2010-02-02 | 2011-08-11 | 华为终端有限公司 | 摄像方法及*** |
JP2015122110A (ja) * | 2010-02-04 | 2015-07-02 | マイクロソフト コーポレーション | 高ダイナミック・レンジ画像の発生およびレンダリング |
US9978130B2 (en) | 2010-02-04 | 2018-05-22 | Microsoft Technology Licensing, Llc | High dynamic range image generation and rendering |
JP2011254190A (ja) * | 2010-06-01 | 2011-12-15 | Clarion Co Ltd | 車両用周囲監視装置 |
KR101241012B1 (ko) | 2011-06-27 | 2013-03-11 | 현대자동차일본기술연구소 | 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법 |
EP2846532A1 (en) | 2013-09-06 | 2015-03-11 | Application Solutions (Electronics and Vision) Limited | System, device and method for displaying a harmonised combined image |
US9214034B2 (en) | 2013-09-06 | 2015-12-15 | Application Solutions (Electronics and Vision) Ltd. | System, device and method for displaying a harmonized combined image |
EP3076655A4 (en) * | 2013-11-27 | 2017-07-12 | Kyocera Corporation | Imaging settings changing device, imaging system, and imaging settings changing method |
US10455159B2 (en) | 2013-11-27 | 2019-10-22 | Kyocera Corporation | Imaging setting changing apparatus, imaging system, and imaging setting changing method |
US10166921B2 (en) | 2014-02-11 | 2019-01-01 | Robert Bosch Gmbh | Brightness and color matching video from multiple-camera system |
CN105981367A (zh) * | 2014-02-11 | 2016-09-28 | 罗伯特·博世有限公司 | 对来自多摄像机***的视频的亮度和颜色匹配 |
US20150360612A1 (en) * | 2014-06-13 | 2015-12-17 | Hyundai Mobis Co., Ltd. | Around view monitoring apparatus and method thereof |
US9669761B2 (en) * | 2014-06-13 | 2017-06-06 | Hyundai Mobis Co., Ltd. | Around view monitoring apparatus and method thereof |
JP2016091371A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体 |
CN107113402A (zh) * | 2014-12-25 | 2017-08-29 | 株式会社电装 | 图像处理***以及图像处理装置 |
CN107113402B (zh) * | 2014-12-25 | 2019-10-25 | 株式会社电装 | 图像处理***以及图像处理装置 |
JP2016123021A (ja) * | 2014-12-25 | 2016-07-07 | 株式会社デンソー | 画像処理システム及び画像処理装置 |
WO2016104504A1 (ja) * | 2014-12-25 | 2016-06-30 | 株式会社デンソー | 画像処理システム及び画像処理装置 |
US10375337B2 (en) | 2015-09-25 | 2019-08-06 | Samsung Electronics Co., Ltd. | Method controlling image sensor parameters |
US10868993B2 (en) | 2015-09-25 | 2020-12-15 | Samsung Electronics Co., Ltd. | Method controlling image sensor parameters |
US11184570B2 (en) | 2015-09-25 | 2021-11-23 | Samsung Electronics Co., Ltd. | Method controlling image sensor parameters |
US11699218B2 (en) | 2015-09-25 | 2023-07-11 | Samsung Electronics Co., Ltd. | Method controlling image sensor parameters |
JP2018042237A (ja) * | 2016-08-31 | 2018-03-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR101909392B1 (ko) * | 2017-08-24 | 2018-10-17 | 주식회사 켐트로닉스 | 서라운드 뷰 모니터링 시스템 |
CN111937378A (zh) * | 2018-04-03 | 2020-11-13 | 爱信精机株式会社 | 图像处理装置 |
WO2022036539A1 (zh) * | 2020-08-18 | 2022-02-24 | 华为技术有限公司 | 一种多相机色彩一致性校正方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4739122B2 (ja) | 2011-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4739122B2 (ja) | 車載カメラの画像合成装置および画像合成方法 | |
US11303806B2 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
US7139412B2 (en) | Image synthesis display method and apparatus for vehicle camera | |
US9247217B2 (en) | Vehicle periphery monitoring device and vehicle periphery image display method | |
US8018490B2 (en) | Vehicle surrounding image display device | |
JP4874280B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
US20120050309A1 (en) | Display control apparatus and display control method | |
JP2007141098A (ja) | 画像処理装置及び画像処理方法 | |
JP2011105306A (ja) | 車両用表示装置 | |
KR20100081964A (ko) | 주변 영상 생성 방법 및 장치 | |
JP5020792B2 (ja) | 合成画像生成装置および合成画像生成方法 | |
JP3961969B2 (ja) | 車両周辺画像処理システム | |
US7995107B2 (en) | Enhancement of images | |
JP2007072750A (ja) | 合成画像生成装置及び合成画像生成方法 | |
JP4633023B2 (ja) | ユーザインタフェース装置 | |
JP2008199505A (ja) | 映像監視装置 | |
KR20170139816A (ko) | 실시간 영상 합성 방법 | |
CN109906602B (zh) | 图像匹配方法及装置 | |
JP4783227B2 (ja) | 画像合成装置および画像合成方法 | |
JP2007323495A (ja) | 画像合成装置 | |
US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
JP7113348B2 (ja) | 車両周辺表示システム、表示制御装置およびコンピュータプログラム | |
JP5280940B2 (ja) | 特定色検出回路 | |
JP4846627B2 (ja) | 表示制御装置 | |
JP2005219583A (ja) | 前方視界の視認性向上方法、及び車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110328 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |