JP3695377B2 - 画像合成装置および画像合成方法 - Google Patents
画像合成装置および画像合成方法 Download PDFInfo
- Publication number
- JP3695377B2 JP3695377B2 JP2001304830A JP2001304830A JP3695377B2 JP 3695377 B2 JP3695377 B2 JP 3695377B2 JP 2001304830 A JP2001304830 A JP 2001304830A JP 2001304830 A JP2001304830 A JP 2001304830A JP 3695377 B2 JP3695377 B2 JP 3695377B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- point
- image
- color
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は複数のカメラで撮像された複数の画像を合成して一つの画像にする技術に関し、例えば車両の周囲を撮像した画像から他車両の接近等を検出する装置などに応用される技術である。
【0002】
【従来の技術】
複数の電子式カメラ(例えばCCDカメラ)で撮影された画像は、カメラの個体差や撮影する位置などによって、同じ部分の画像を撮影しても必ずしも色や輝度が一致するとは限らない。したがって複数のカメラで撮像した画像を合成して一つの画像にする場合には、合成部位(継ぎ目)については特別な処理を行う必要がある。従来において、合成部位の濃淡差を目立たなくする技術として特開平11−55682号公報に記載の技術がある。上記従来技術では、両方のカメラで撮影されている重複部位の色や輝度については、両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせることで、合成部位を目立たなくしている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、カメラの向きや位置を考慮せずに、単純に両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせたりするため、合成部位の映像の色や輝度が、必ずしも正確に表現されないという問題があった。
【0004】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、複数のカメラで撮影された合成画像の色や輝度を正確に表現することのできる画像合成装置および画像合成方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、本発明においては、複数のカメラで撮像された部位について、より正確に色や輝度を撮影していると判断されるカメラの画像を採用することで合成画像の色や輝度を正確に表現するように構成している。
まず、請求項1〜請求項6は、画像合成装置に関する発明である。
【0006】
請求項1においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラnとの距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。そして上記の関数f ( Ln)は各カメラと注目点との距離Lnの逆数の2乗に比例するものである。
【0007】
また、請求項2においては、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0008】
また、請求項3においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αnを用いた関数f(αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0009】
また、請求項4においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラnとの距離Lnと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αnと、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0010】
また、請求項5においては、請求項1乃至請求項4の何れかに記載の画像合成装置において、画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成するように構成している。
請求項6は、請求項5の内容をさらに限定したものであり、前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と前記仮想カメラの画素との対応を、前記仮想カメラの位置と向きに応じて設定し、前記注目点と前記複数のカメラの画素との対応を、前記複数のカメラの位置と向きに応じて設定し、前記複数のカメラの各画素について求められた色と輝度に基づいて設定された注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成するように構成している。
【0011】
また、請求項7〜請求項12は画像合成方法についての発明であり、その内容は請求項7は請求項1に、請求項8は請求項2に、請求項9は請求項3に、請求項10は請求項4に、請求項11は請求項5に、請求項12は請求項6に、それぞれ対応している。
【0013】
【発明の効果】
請求項1によれば、注目点とカメラとの距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【0014】
請求項2によれば、注目点の存在する撮像対象面(基準面)に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる、という効果がある。
【0015】
請求項3によれば、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnを用いた関数f(αn)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【0016】
請求項4によれば、注目点とカメラnとの距離Lnと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnと、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【0017】
請求項5および請求項6によれば、仮想カメラを演算処理上で設定し、各画素について求められた色と輝度を、仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することができるので、請求項1〜請求項4に記載の発明を容易に実施することが出来る。
【0018】
また、請求項7〜請求項12に記載の発明においては、請求項1〜請求項6の対応する請求項と同様の効果が得られる。
【0019】
【発明の実施の形態】
図1は、本発明を車両用の接近警報装置に応用した場合の一実施例を示すブロック図である。
図1において、1は車両の前方を撮像するカメラ(例えばCCDカメラ等の電子式カメラ)、2は車両の右側方を撮像するカメラ、3は画像合成装置、4は接近警報装置、5は車両である。
【0020】
カメラ1は車両前方を撮像し、カメラ2は車両右側方を撮像する。
画像合成装置3は、上記二つのカメラの画像信号を入力し、それらを合成して車両の前方から右側方までの広い範囲、つまり自車両の前方を走行中の車両や右側の追越し車線を走行している他の車両を含む画像を作成する。
接近警報装置4は、上記の画像から、自車両に接近する可能性のある車両、例えば前方を走行中の車両や追越し車線を走行中の他車両を検出し、それらの車両が自車両に過剰接近するおそれがある場合に警報を発して運転者に注意を促す。
【0021】
本発明は、上記のごとき複数のカメラの画像を合成する場合に、画像が重複する範囲における画像処理を巧みに行う技術に関するものであり、図1の画像合成装置3の内容についての発明である。
なお、本発明は画像合成技術についての発明であり、図1の例のような接近警報装置に限らず多方面に応用可能である。例えば車両用の場合に、図1のようにカメラを車両の左右方向にそれぞれ設けるだけではなく、車両の上下方向にそれぞれ設けてもよい。また、車両用に限らず他の一般的な用途にも応用可能である。例えばビルの屋上に設置された東西南北撮影用の4個のカメラの画像を合成するような用途にも適用可能である。
【0022】
以下、本発明の画像合成方法に関して5つの実施例について説明する。
(実施例1)
図2は、本発明の合成方法におけるxyz座標空間上のカメラの配置を示す図である。図2において、101と102は実際のカメラ(例えばCCD等を用いた電子式カメラ)、103は合成画像を作成するための仮想カメラ(演算処理において仮想されたカメラ)である。ここでは説明の簡略化のために、カメラモデルとしては一般的なピンホールカメラを用いる。カメラ位置を示す代表点はピンホールカメラのピンホールの位置とし、ピンホールカメラの投影面の中心から垂直に伸ばした直線上にピンホールがあり、カメラの向きは、投影面の中心からピンホールヘのベクトルと同じ方向とする。実在のカメラ101、102および仮想カメラ103ともにこのカメラモデルを用いて説明する。もちろん、カメラモデルは実際のカメラを正確に表現する、もっと複雑なものを用いてもよい。
【0023】
まず、仮想カメラ103を図示の位置に設置したと仮定し、仮想カメラ103の任意の画素Vに注目すると、画素Vの投影面上の位置と仮想カメラ103の向きから、画素Vに入射する光線の方向を計算することができる。したがって、仮想カメラ103の位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。これをベクトル104(黒太線の矢印)とする。本実施例でのカメラモデルでは、ベクトル104の始点は仮想カメラ103の位置となる。
【0024】
ここで基準面を設定する。基準面は撮像対象となる注目点が存在する面である。本実施例ではxy平面全体を基準面として設定する。なお、基準面は複数の有限/無限面積の平面の組み合わせで設定してもよい。
次に、ベクトル104をベクトルの向きに延長した半直線と基準面との交点105(注目点)を求める。基準面が複数ある場合は、最初に交差する基準面を用いる。
上記の結果、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0025】
次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0026】
交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0027】
交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0028】
交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮像していないカメラを除去した後、図3に示すように、カメラnと交点105の距離Ln(カメラ101の場合は距離201、カメラ102の場合は距離202とする)を各カメラに関して求め、もっとも距離Lnの値が小さいカメラを選択する。ただし、距離Lnが0となったカメラは計算から除外する。上記のように、距離Lnの値が最も小さいカメラ、つまり交点105までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。
このとき、距離Lnが等しいカメラが複数存在した場合には、カメラ設置位置が、より高い位置にあるカメラを決定する。距離Lnも高さも等しい場合には、条件的に同等なので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【0029】
次に、選択したカメラのどの画素に交点105が映っているかを計算し、その計算で求まった画素の色および輝度を、画素Vの色および輝度とする。
なお、図2、図3は実際のカメラが2台の場合を例示しているが、カメラが3台以上ある場合も同様の方法で処理出来る。
【0030】
上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。
【0031】
なお、カメラ101、102と仮想カメラ103の位置、基準面の設定などの変更がない限り、画素と画素の対応関係は変わらないので、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はテーブルを参照して計算量を減らすように構成してもよい。
また、上記のごとき本発明を具体化する場合には、演算装置としてコンピュータを用い、上記のごとき画像処理を行うソフトウエアを用意すれば容易に実現することが出来る。
上記のように、距離Lnの値が最も小さいカメラ、つまり注目点(交点105)までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。したがって色や輝度の精度がよい合成画像が得られる。
【0032】
(実施例2)
実施例2においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。
まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0033】
次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0034】
交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0035】
交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0036】
交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮像していないカメラを除去した後、図3に示すように、カメラnと交点105の距離Ln(カメラ101の場合、距離201、カメラ102の場合、距離202)を各カメラに関して求める。距離Lnが0となったカメラは計算から除外する。
【0037】
次に、距離Lnを用いた関数f(Ln)を用いて、各カメラの画素の強度Snを算出する。関数f(Ln)の例としては、各画素が撮像する範囲はカメラと撮像対象の距離の2乗に比例して大きくなるので、近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、
f(Ln)=1/Ln2 …(数1)
で表すことが考えられる。この(数1)式を用いた場合、たとえば距離201と距離202の比率が2:1の場合には、色の適用比率は、0.25:1となる。
【0038】
次に、各カメラのどの画素に交点105が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Snに比例してブレンディングし、画素Vの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが3台以上ある場合も同様の手法を用いて計算できる。
【0039】
上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
上記のように、実施例2は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1と異なっており、その他は同様である。
【0040】
実施例2においては、注目点とカメラとの距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【0041】
(実施例3)
実施例3においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。
まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0042】
次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0043】
交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0044】
交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0045】
交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮像していないカメラを除去した後、図4に示すように、カメラnと交点105を結ぶ線分と基準面との成す角度αn(カメラ101の場合は角度301、カメラ102の場合は角度302とする)を各カメラに関して求め、角度αnの値が90度に最も近いカメラを選択する。上記のように、角度αnの値が90度に最も近いカメラ、つまり撮像面を垂直方向に近い角度から撮像するカメラは、単位画素に相当する撮像面の面積が最も小さく、かつ、影の影響も少ないので、色や輝度の精度がよい画像が得られる。
【0046】
このとき、角度αnが等しいカメラが複数存在した場合には、実施例1のようにカメラnと交点105の距離Lnがより短いカメラを選択する。角度αnも距離Lnも等しい場合には、条件が同じなので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【0047】
次に、選択したカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。カメラが3台以上ある場合も同様の手法を用いて計算できる。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【0048】
上記のように、実施例3は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1や実施例2と異なっており、その他は同様である。
【0049】
実施例3においては、注目点の存在する撮像対象面(基準面)に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる。
【0050】
(実施例4)
実施例4においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。
まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0051】
次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0052】
交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0053】
交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0054】
交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮影していないカメラを除外したあとで、図4でカメラnと交点105を結ぶ線分と、基準面とのなす角度αnを各カメラに関して求める。
【0055】
次に、角度αn(カメラ101の場合は角度301、カメラ102の場合は角度302とする)を用いた関数f(αn)を用いて、各カメラの画素の強度Snを算出する。
関数f(αn)の例としては、各画素が撮像する範囲は、角度αn(0〜90度)が0に近いほど大きくなるので、角度αnが90度に近いカメラの方がより詳細な範囲に対しての色と輝度を取得していると判断されるので、
f(αn)=sin αn …(数2)
で表すことが考えられる(詳細後述)。この(数2)式の場合、たとえば角度301が90度、角度302が30度の場合には、色の混合比率は1:0.5となる。
【0056】
次に、各カメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、強度Snに比例してブレンディングし、画素Vの色および輝度とする。適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。
【0057】
上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。カメラが3台以上ある場合も同様の手法を用いて計算できる。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【0058】
上記のように、実施例4は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1〜実施例3と異なっており、その他は同様である。
【0059】
実施例4においては、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnを用いた関数f(αn)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【0060】
(実施例5)
実施例5においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。
まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0061】
次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0062】
交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0063】
交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0064】
交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮影していないカメラを除外したあとで、図4に示すように、カメラnと交点105を結ぶ線分と、基準面とのなす角度αn(カメラ101の場合は角度301、カメラ102の場合は角度302とする)とし、図3に示すように、カメラnと交点105の距離Ln(カメラ101の場合は距離201、カメラ102の場合は距離202とする)を各カメラに関して求める。距離Lnが0となったカメラは計算から除外する。
【0065】
次に、距離Lnと角度αnを用いた関数f(Ln,αn)を用いて、各カメラの画素の強度Snを算出する。
関数f(Ln,αn)の例としては、各画素が撮像する範囲は、カメラと撮像対象の距離の2乗に比例して大きくなり、また、各画素が撮像する範囲は、角度αn(0〜90度)が0に近いほど大きくなるので、距離Lnが近く、角度αnが90度に近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、
f(Ln,αn)=sin αn/Ln2 …(数3)
で表すことが考えられる。この(数3)式の場合、たとえば距離201と距離202の比率が3:1、角度301が90度、角度302が30度の場合には、色の混合比率は、2:9となる。
【0066】
次に、各カメラのどの画素に交点105が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Snに比例してブレンディングし、画素Vの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが3台以上ある場合も同様の手法を用いて計算できる。
【0067】
上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【0068】
上記のように、実施例5は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1〜実施例4と異なっており、その他は同様である。
【0069】
実施例5においては、注目点とカメラnとの距離Lnと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnと、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【0070】
ここで、前記(数1)〜(数3)式について説明する。
図5および図6は(数2)式を説明するための図であり、図5は斜視図、図6(a)は側面図、図6(b)はθ=90度の場合における側面図である。
カメラのCCD画素面110における画素Vとピンホール111と撮像範囲V’(ピンホールを介して画素Vが撮像する範囲)との位置関係は、図5に示すごときものとする。この場合、基準面はxy平面である。
【0071】
撮像範囲V’(斜線で囲んだ部分)の面積Sは、ピンホール111とxy平面上の点C(画素Vの中心点に対応する点)との距離L(図6のL参照)と、画素Vの中心と点Cとを結んだ直線とxy平面との成す角度θと、に応じて変化する。なお、CCD画素面110とピンホール111との位置関係は一定とする。
【0072】
上記の角度θと面積Sとの関係を、図6(b)に示したθ=90度の場合における面積S1を基準として示せば、下記(数4)式で近似できる。
S=S1(1/sinθ) …(数4)
ただし、θ≫α αは図6に示す角度
また、面積Sは距離Lに対しては、その2乗に比例する。
S=kL2 …(数5)
ただし、kは定数
前記のように、単位画素Vが撮像する面積V’の小さい方が色と輝度の精度が高いと考えられるので、(数1)式に示した関数においては、(数5)式の逆数で、
f(Ln)=1/Ln2
とし、(数2)式に示した関数においては、(数4)式の逆数で、
f(αn)=sin αn
とし、(数3)式に示した関数においては、(数4)式と(数5)式を組み合わせた式の逆数で、
f(Ln,αn)=sin αn/Ln2
としている。
【図面の簡単な説明】
【図1】本発明を車両用の接近警報装置に適用した場合の一実施例を示すブロック図。
【図2】本発明の合成方法におけるxyz座標空間上のカメラの配置を示す図。
【図3】本発明の合成方法におけるxyz座標空間上のカメラの配置を示す図であり、カメラと交点との距離を示す図。
【図4】本発明の合成方法におけるxyz座標空間上のカメラの配置を示す図であり、カメラと交点とを結ぶ直線と基準面との角度を示す図。
【図5】(数2)式を説明するため斜視図。
【図6】(数2)式を説明するため図であり、(a)は側面図、(b)はθ=90度の場合における側面図。
【符号の説明】
101…実在のカメラA
102…実在のカメラB
103…仮想カメラ
104…仮想カメラの画素Vに入射する光の来た方向
105…ベクトル104とxy平面との交点
110…CCD画素面
111…ピンホール
201…カメラ101と交点105との距離
202…カメラ102と交点105との距離
301…カメラ101と交点105とxy平面がなす角度
302…カメラ102と交点105とxy平面がなす角度
Claims (12)
- 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成し、かつ、前記関数f ( Ln)は、各カメラと注目点との距離Lnの逆数の2乗に比例することを特徴とする画像合成装置。 - 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。 - 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)を用いた関数f(αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。 - 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)と、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。 - 請求項1乃至請求項4の何れかに記載の画像合成装置において、
前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成装置。 - 請求項1乃至請求項5の何れかに記載の画像合成装置において、
前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と前記仮想カメラの画素との対応を、前記仮想カメラの位置と向きに応じて設定し、前記注目点と前記複数のカメラの画素との対応を、前記複数のカメラの位置と向きに応じて設定し、前記複数のカメラの各画素について求められた色と輝度に基づいて設定された注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成装置。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成し、かつ、前記関数f ( Ln)は、各カメラと注目点との距離Lnの逆数の2乗に比例することを特徴とする画像合成方法。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)を用いた関数f(αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)と、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。 - 請求項7乃至請求項10の何れかに記載の画像合成方法において、
合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成方法。 - 請求項7乃至請求項11の何れかに記載の画像合成方法において、
合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と前記仮想カメラの画素との対応を、前記仮想カメラの位置と向きに応じて設定し、前記注目点と前記複数のカメラの画素との対応を、前記複数のカメラの位置と向きに応じて設定し、前記複数のカメラの各画素について求められた色と輝度に基づいて設定された注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001304830A JP3695377B2 (ja) | 2001-10-01 | 2001-10-01 | 画像合成装置および画像合成方法 |
US10/231,154 US7123748B2 (en) | 2001-10-01 | 2002-08-30 | Image synthesizing device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001304830A JP3695377B2 (ja) | 2001-10-01 | 2001-10-01 | 画像合成装置および画像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003111074A JP2003111074A (ja) | 2003-04-11 |
JP3695377B2 true JP3695377B2 (ja) | 2005-09-14 |
Family
ID=19124701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001304830A Expired - Lifetime JP3695377B2 (ja) | 2001-10-01 | 2001-10-01 | 画像合成装置および画像合成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7123748B2 (ja) |
JP (1) | JP3695377B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
JP2005333565A (ja) * | 2004-05-21 | 2005-12-02 | Auto Network Gijutsu Kenkyusho:Kk | 監視装置 |
JP4956915B2 (ja) | 2005-05-20 | 2012-06-20 | 日産自動車株式会社 | 映像表示装置及び映像表示方法 |
JP2006341641A (ja) | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
FR2891934B1 (fr) * | 2005-10-12 | 2008-01-18 | Valeo Electronique Sys Liaison | Dispositif de traitement de donnees video pour un vehicule automobile |
US20070229850A1 (en) * | 2006-04-04 | 2007-10-04 | Boxternal Logics, Llc | System and method for three-dimensional image capture |
US20090087013A1 (en) * | 2007-09-28 | 2009-04-02 | Zoom Information Systems (The Mainz Group Ll) | Ray mapping |
JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
JP2010033296A (ja) * | 2008-07-28 | 2010-02-12 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP5239991B2 (ja) * | 2009-03-25 | 2013-07-17 | 富士通株式会社 | 画像処理装置、及び画像処理システム |
US11206358B1 (en) * | 2012-11-29 | 2021-12-21 | Altia Systems Inc | Autoexposure control for multi-imager system synchronized to a single imager |
JP6582557B2 (ja) * | 2015-05-28 | 2019-10-02 | 株式会社ソシオネクスト | 描画装置、描画方法および描画プログラム |
CN105245785A (zh) * | 2015-08-10 | 2016-01-13 | 深圳市达程科技开发有限公司 | 一种汽车全景摄像头的亮度平衡调解方法 |
JP6974978B2 (ja) * | 2016-08-31 | 2021-12-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3560447B2 (ja) * | 1997-07-28 | 2004-09-02 | シャープ株式会社 | 画像処理装置 |
JPH1155682A (ja) | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | デジタルカメラ |
JPH1185984A (ja) | 1997-09-02 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体 |
US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
US6750873B1 (en) * | 2000-06-27 | 2004-06-15 | International Business Machines Corporation | High quality texture reconstruction from multiple scans |
JP4474743B2 (ja) * | 2000-07-03 | 2010-06-09 | ソニー株式会社 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 |
JP3269056B2 (ja) * | 2000-07-04 | 2002-03-25 | 松下電器産業株式会社 | 監視システム |
US7266219B2 (en) * | 2000-07-19 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring system |
-
2001
- 2001-10-01 JP JP2001304830A patent/JP3695377B2/ja not_active Expired - Lifetime
-
2002
- 2002-08-30 US US10/231,154 patent/US7123748B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2003111074A (ja) | 2003-04-11 |
US7123748B2 (en) | 2006-10-17 |
US20030063774A1 (en) | 2003-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3695377B2 (ja) | 画像合成装置および画像合成方法 | |
US9225942B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
CN109948398B (zh) | 全景泊车的图像处理方法及全景泊车装置 | |
KR101625997B1 (ko) | 작업기계용 주변감시장치 | |
JP4828779B2 (ja) | 高速デジタルパンチルトズームビデオ | |
EP2437494B1 (en) | Device for monitoring area around vehicle | |
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
CN108765496A (zh) | 一种多视点汽车环视辅助驾驶***及方法 | |
CN112102413B (zh) | 一种基于虚车道线的车载相机自动标定方法 | |
US20100149333A1 (en) | Obstacle sensing apparatus | |
US20070085901A1 (en) | Vehicle drive assistant system | |
JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
JP2003281505A (ja) | 車両用画像処理装置 | |
CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
CN112233188B (zh) | 一种激光雷达和全景相机的数据融合***的标定方法 | |
JP3960092B2 (ja) | 車両用画像処理装置 | |
JP2008048345A (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP4830380B2 (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
JP2007049276A (ja) | 車載パノラマカメラシステム | |
JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
CN111815752B (zh) | 图像处理方法、装置和电子设备 | |
JP4008686B2 (ja) | テクスチャ編集装置、テクスチャ編集システムおよび方法 | |
JP5338374B2 (ja) | 車両用表示装置及び車両用表示方法 | |
JP2002222488A (ja) | 交通監視装置 | |
DE102013220013A1 (de) | Abbildungsflächenmodellierung für die Kameramodellierung und für die Synthese virtueller Ansichten |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050318 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3695377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 9 |