JP4745147B2

JP4745147B2 - 撮像装置

Info

Publication number: JP4745147B2
Application number: JP2006172983A
Authority: JP
Inventors: 聡司柳田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-06-22
Filing date: 2006-06-22
Publication date: 2011-08-10
Anticipated expiration: 2026-06-22
Also published as: JP2008005244A

Description

本発明は、撮像装置に係り、特に、スミアの発生による画質の劣化を防止する撮像装置に関する。

従来、デジタルカメラなどの撮像装置において、ＣＣＤエリアセンサによって被写体像を撮像したときに、逆光などにより高輝度な部分を有する画像が撮像される場合には、ＣＣＤエリアセンサにスミアが発生し、画像に白い帯状の線が入るため、画質が劣化してしまう。

このスミア対策方法として、撮像光を分岐して二つの撮像素子を持ち、二つの撮像素子を互いに９０度回転した方向に走査させて、双方の画像データからスミア発生部分を検出して、スミアの発生部分の画像データを他方のスミアの無い画像データに置き換えるビデオカメラが知られている（特許文献１）。
特開２００４−１１２１９０号公報

しかしながら、上記の特許文献１に記載の技術では、スミア発生部分の画像処理を行うために計算量が大きくなってしまい、また、撮像光を分岐して二つに分割することで光量が減少するため高画質な画像が得られない、という問題がある。

本発明は上記問題点を解決するためになされたものであり、少ない計算量で、スミアの発生による画質の劣化を防止することができる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、電荷結合素子で構成され、被写体像を撮像する第１の撮像手段と、スミアを発生させない撮像素子で構成され、被写体像を撮像する第２の撮像手段と、前記第１の撮像手段が撮像したときに、前記第１の撮像手段によって撮像された画像の予め定められた領域の画像データと前記第２の撮像手段によって撮像された画像の前記予め定められた領域の画像データとのパターンマッチング処理を行い、前記パターンマッチング処理の結果に基づいて、前記電荷結合素子にスミアが発生したか否かを判定する判定手段と、前記判定手段によって、スミアが発生しなかったと判定された場合に、前記第１の撮像手段によって撮像された画像を選択し、スミアが発生したと判定された場合に、前記第２の撮像手段によって撮像された画像を選択する選択手段とを含んで構成されている。

本発明の撮像装置によれば、第１の撮像手段によって被写体像を撮像すると共に、第２の撮像手段によって被写体像を撮像する。そして、判定手段によって、第１の撮像手段が撮像したときに、第１の撮像手段によって撮像された画像の予め定められた領域の画像データと第２の撮像手段によって撮像された画像の予め定められた領域の画像データとのパターンマッチング処理を行い、パターンマッチング処理の結果に基づいて、電荷結合素子にスミアが発生したか否かを判定し、判定手段によって、スミアが発生しなかったと判定された場合に、選択手段によって、第１の撮像手段によって撮像された画像を選択し、スミアが発生したと判定された場合に、選択手段によって、第２の撮像手段によって撮像された画像を選択する。

従って、電荷結合素子にスミアが発生した場合には、スミアが発生しない撮像素子によって撮像された画像を選択するだけで済むため、少ない計算量で、スミアの発生による画質の劣化を常に防止することができる。

上記の第２の撮像手段の撮像素子は、スミアが発生しない状態の電荷結合素子より撮像した画像の画質が低いことを特徴とすることができる。これにより、撮像した画像にスミアが発生しない場合には、画質が高い画像として、電荷結合素子より撮像した画像を選択することができる。

上記の判定手段は、第１の撮像手段によって撮像された画像の予め定められた領域の画像データと第２の撮像手段によって撮像された画像の予め定められた領域の画像データとのパターンマッチング処理を行い、パターンマッチング処理の結果に基づいて、電荷結合素子にスミアが発生したか否かを判定する。これによって、パターンマッチング処理の結果に基づいて、スミアの発生を判定するため、高精度にスミアの発生を検出することができる。

上記の判定手段のパターンマッチング処理を、ステレオマッチングとすることができる。これにより、ステレオマッチングの結果を用いて、高精度にスミアの発生を検出することができる。

また、上記の判定手段を、第１の撮像手段が撮像したときに、第１の撮像手段によって撮像された画像の予め定められた領域と第２の撮像手段によって撮像された画像の予め定められた領域とにおいて対応する部分の輝度値の差分を算出し、算出された輝度値の差分が所定値以上のとき、スミアが発生したと判定するように構成してもよい。これにより、輝度値の差分を算出して、スミアの発生を判定するため、少ない計算量で、スミアを検出することができる。

上記の予め定められた領域を、第１の撮像手段及び第２の撮像手段によって撮像された画像の部分領域とすることができる。これにより、パターンマッチング処理や輝度値差分の算出を行う領域は小さくなるため、少ない計算量で、スミアを検出することができる。

また、上記の第１の撮像手段及び第２の撮像手段の各々は、自装置における位置及び撮像方向の少なくとも一方を調整可能とすることができる。これにより、第１の撮像手段及び第２の撮像手段の各々によって撮像した画像における被写体の位置が同じになるように調整することができるため、スミア発生の検出精度を向上させることができる。

上記の撮像装置は、選択手段によって選択された画像を出力する出力手段を更に含むことができる。これにより、スミアの発生により画質が劣化していない画像を常に出力することができる。

また、上記の撮像装置は、選択手段によって選択された画像を記憶する記憶手段を更に含むことができる。これにより、スミアの発生により画質が劣化していない画像を常に記憶することができる。

本発明に係る撮像装置によれば、電荷結合素子にスミアが発生した場合には、スミアが発生しない撮像素子によって撮像された画像を選択するだけで済むため、少ない計算量で、スミアの発生による画質の劣化を常に防止することができる、という効果が得られる。

以下、本発明の実施の形態について詳細に説明する。なお、複眼となっているデジタルカメラに本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る複眼カメラシステム１０は、２つの撮像部を有する複眼カメラ１２と、複眼カメラ１２によって撮像された画像データを出力するための出力装置１４とから構成されている。

複眼カメラ１２は、電荷結合素子（以下、「ＣＣＤエリアセンサ」という。）４２を備え、被写体像を撮像して画像データを生成するＣＣＤ撮像部１６と、スミアが発生しない状態のＣＣＤエリアセンサ４２より撮像した画像の画質が低く、かつ、スミアを発生させないＣＭＯＳイメージセンサ４４で構成され、被写体を撮像して画像データを生成するＣＭＯＳ撮像部１８とを備えている。また、複眼カメラ１２には、ＣＣＤ撮像部１６によって生成されたＣＣＤ画像データを記憶するための左画像メモリ２０と、ＣＭＯＳ撮像部１８によって生成されたＣＭＯＳ画像データを記憶するための右画像メモリ２２と、カメラの出力画像として採用する画像データを記憶するための、例えば、可搬型のスマートメディア（ＳｍａｒｔＭｅｄｉａ（登録商標））で構成されるメモリカード２４とが設けられている。

また、複眼カメラ１２には、複眼カメラ１２全体を制御するための制御部２６と、出力装置１４と接続するための入出力インタフェース２８と、ユーザが複眼カメラ１２を操作するための操作部４０とが設けられている。また、制御部２６に設けられたメモリ（図示省略）には、後述する撮像処理ルーチンを実行するためのプログラムが予め記憶されている。

上記のＣＣＤ撮像部１６、ＣＭＯＳ撮像部１８、左画像メモリ２０、右画像メモリ２２、メモリカード２４、制御部２６、入出力インタフェース２８、及び操作部４０は、バス３０によって相互に接続されている。

ＣＣＤ撮像部１６は、レンズを含む複数のレンズからなるレンズユニットを含んで構成された光学ユニット４６を備えており、また、光学ユニット４６の光軸後方に配設されたＣＣＤエリアセンサ４２と、入力されたアナログ信号に対して各種のアナログ信号処理を行なうアナログ信号処理部４８とが設けられている。

また、ＣＣＤ撮像部１６には、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）５０と、このデジタルデータに対して各種のデジタル信号処理を行うためのデジタル信号処理回路（以下、「ＤＳＰ」という。）５２とが設けられている。

ＣＣＤエリアセンサ４２の出力端はアナログ信号処理部４８の入力端に、アナログ信号処理部４８の出力端はＡＤＣ５０の入力端に、ＡＤＣ５０の出力端はＤＳＰ５２の入力端に、各々接続されている。従って、ＣＣＤエリアセンサ４２から出力された被写体像を示すアナログ信号はアナログ信号処理部４８によって所定のアナログ信号処理が施され、ＡＤＣ５０によってデジタル画像データに変換された後に、ＤＳＰ５２によって各種のデジタル信号処理が施され、ＣＣＤ画像データが生成される。

また、ＣＣＤ撮像部１６は、ＣＣＤエリアセンサ４２を駆動させるためのタイミング信号を生成してＣＣＤエリアセンサ４２に供給するタイミングジェネレータ（図示省略）を備えており、ＣＣＤエリアセンサ４２の駆動は制御部２６によりタイミングジェネレータを介して制御される。

また、ＣＭＯＳ撮像部１８は、ＣＣＤ撮像部１６とほぼ同様な構成となっており、光学ユニット５６、ＣＭＯＳイメージセンサ４４、アナログ信号処理部５８、ＡＤＣ６０、及びＤＳＰ６２を備えている。

出力装置１４は、ＬＣＤ（図示省略）及びハードディスク（図示省略）を備えており、複眼カメラ１２によって撮像された画像をＬＣＤに表示することができ、また、複眼カメラ１２によって撮像された画像の画像データをハードディスクに記憶することができる。

図２に示すように、複眼カメラ１２の前面は、ジャバラ３６によって構成され、複眼カメラ１２の上面には、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々に対して設けられた２つの回転軸３２と、回転軸３２をスライドさせて、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々を移動可能とするためのスライド溝３４とが設けられている。

図３（Ａ）〜（Ｃ）に示すように、回転軸３２を回転させると、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々が回転するため、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々の撮像方向が調整可能であり、図３（Ｂ）に示すように、回転軸３２をスライド溝３４に沿ってスライドさせると、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々が平行移動するため、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々の位置が調整可能となっている。

次に、第１の実施の形態に係る複眼カメラシステム１０の動作について説明する。まず、図４に示すように、複眼カメラ１２において、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々に対応する回転軸３２をユーザが操作して、被写***置に合わせて、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々の位置及び撮像方向を調整する。

例えば、被写***置が複眼カメラ１２に近い場合には、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の撮像方向がお互いに内側方向に向くように回転軸３２を回転させ輻輳角（カメラの光軸のなす角）を調整する、又は、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々の撮像方向が交わる位置が、複眼カメラ１２側に近くなるように、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の回転軸３２をスライド溝３４に沿って平行移動させて、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の位置を近づける。また、被写***置が複眼カメラ１２に遠い場合には、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の撮像方向の輻輳角が小さくなるように回転軸３２を回転させ、又は、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々の撮像方向が交わる位置が、複眼カメラ１２側から遠くなるように、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の回転軸３２をスライド溝３４に沿って平行移動させて、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の位置を遠ざける。

そして、複眼カメラ１２の電源をオンすると、図５に示す撮像処理ルーチンが制御部２６によって実行される。まず、ステップ１００において、撮像開始するか否かを判定し、ユーザが操作部４０を操作して、撮像開始を指示すると、ステップ１００からステップ１０２へ進み、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々に対して、撮像指示を出力し、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々において、被写体像を撮像し、ＣＣＤ画像データ及びＣＭＯＳ画像データを生成する。

そして、ステップ１０４では、ＣＣＤ撮像部１６で生成されたＣＣＤ画像データを取得して、左画像メモリ２０に格納し、次のステップ１０６では、ＣＭＯＳ撮像部１８で生成されたＣＭＯＳ画像データを取得して、右画像メモリ２２に格納する。

ステップ１０８では、左画像メモリ２０からＣＣＤ画像データが表すＣＣＤ画像における予め定められた監視領域のＣＣＤ部分画像データを読み込み、ステップ１１０では、右画像メモリ２２からＣＭＯＳ画像データが表すＣＭＯＳ画像における予め定められた監視領域のＣＭＯＳ部分画像データを読み込み、ステップ１１２において、ＣＣＤ部分画像データ及びＣＭＯＳ部分画像データのパターンマッチング処理を行い、パターンマッチング処理の結果から、ＣＣＤ部分画像データ及びＣＭＯＳ部分画像データの誤差を検出する誤差検出処理を行う。ここで、監視領域は、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々によって撮像されたＣＣＤ画像及びＣＭＯＳ画像の部分領域であり、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８によって撮像されたＣＣＤ画像及びＣＭＯＳ画像の各々において、同じ位置の領域となっている。

そして、ステップ１１４において、ステップ１１２で検出された誤差がしきい値未満であるか否かを判定する。しきい値として、ＣＣＤエリアセンサ４２にスミアが発生している場合に得られる誤差を実験的に求めておき、求められた値を予め設定しておけばよい。ここで、検出された誤差がしきい値未満である場合には、スミアが発生していないと判断し、ステップ１１６において、画質の点で有利なＣＣＤエリアセンサ４２によって撮像されたＣＣＤ画像を出力画像として選択して、左画像メモリ２０からＣＣＤ画像データを読み込んで、メモリカード２４に書き込むと共に、出力装置１４へ出力し、撮像処理ルーチンを終了する。一方、検出された誤差がしきい値以上である場合には、スミアが発生していると判断し、ステップ１１８において、スミアが発生しないＣＭＯＳイメージセンサ４４によって撮像されたＣＭＯＳ画像を出力画像として選択して、右画像メモリ２２からＣＭＯＳ画像データを読み込んで、メモリカード２４に書き込むと共に、出力装置１４へ出力し、撮像処理ルーチンを終了する。

そして、出力装置１４では、入力されたＣＣＤ画像データ及びＣＭＯＳ画像データの何れか一方をハードディスクに記憶すると共に、ＣＣＤ画像データ及びＣＭＯＳ画像データの何れか一方に基づいて、撮像された画像をＬＣＤに表示する。

以上説明したように、第１の実施の形態に係る複眼カメラシステムによれば、ＣＣＤエリアセンサにスミアが発生した場合には、スミア発生部分の画像補正を行わずに、スミアが発生しないＣＭＯＳイメージセンサによって撮像されたＣＭＯＳ画像を選択するだけで済むため、少ない計算量で、スミアの発生による画質の劣化を常に防止することができる。

また、パターンマッチング処理の結果に基づいて、スミアの発生の有無を判定するため、高精度にスミアの発生を検出することができる。

また、画像の部分領域である監視領域のみに対してパターンマッチング処理を行うため、少ない計算量で、スミアを検出することができる。

また、ＣＣＤ撮像部及びＣＭＯＳ撮像部の各々によって撮像した画像における被写体の位置が同じになるように、ＣＣＤ撮像部及びＣＭＯＳ撮像部の各々の位置や撮像方向を調整することができるため、スミア発生の検出精度を向上させることができる。

なお、上記の実施の形態では、スミアが発生しない撮像素子として、ＣＭＯＳイメージセンサを用いた場合を例に説明したが、スミアが発生しない撮像素子として、有機撮像デバイスとしての有機ＣＭＯＳ、νＭＡＩＣＯＶＩＣＯＮ（ニューマイコビコン）、及びＨＡＲＰ（Ｈｉｇｈ−ｇａｉｎＡｖａｌａｎｃｈｅＲｕｓｈｉｎｇａｍｏｒｐｈｏｕｓＰｈｏｔｏｃｏｎｄｕｃｔｏｒ）の何れかを用いてもよい。

次に、第２の実施の形態に係る複眼カメラシステムについて説明する。なお、第２の実施の形態に係る複眼カメラシステムの構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第２の実施の形態では、パターンマッチング処理としてステレオマッチングを行う点と、２つの監視領域において、ＣＣＤ画像データとＣＭＯＳ画像データとを比較する点とが第１の実施の形態と異なっている。

図６に示すように、ＣＣＤ画像データが示すＣＣＤ画像と、ＣＭＯＳ画像データが示すＣＭＯＳ画像とにおいて、それぞれ同じ位置の領域を監視領域１及び監視領域２として予め設定している。監視領域１、２は、矩形状の領域であり、垂直方向に発生する特性を持つスミアが検出されるように、監視領域１、２の長手方向は水平方向となっている。また、画像の左上を原点とし、水平方向の位置をｘ座標として定義し、垂直方向の位置をｙ座標として定義しており、監視領域１、２のみについて、ステレオマッチングを行ってスミアを判定する。

次に第２の実施の形態に係る撮像処理ルーチンについて図７を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、撮像開始するか否かを判定し、撮像開始が指示されると、ステップ１０２において、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々に対して、撮像指示を出力し、ＣＣＤ撮像部１６及びＣＭＯＳ撮像部１８の各々において、被写体像を撮像し、そして、ステップ１０４では、ＣＣＤ撮像部１６で生成されたＣＣＤ画像データを取得して、左画像メモリ２０に格納し、次のステップ１０６では、ＣＭＯＳ撮像部１８で生成されたＣＭＯＳ画像データを取得して、右画像メモリ２２に格納する。

次のステップ２００では、左画像メモリ２０からＣＣＤ画像データが表すＣＣＤ画像における監視領域１のＣＣＤ部分画像データを読み込み、ステップ２０２では、右画像メモリ２２からＣＭＯＳ画像データが表すＣＭＯＳ画像における監視領域１のＣＭＯＳ部分画像データを読み込み、ステップ２０４において、ＣＣＤ部分画像データ及びＣＭＯＳ部分画像データのステレオマッチングを行う。

ステレオマッチングでは、ＣＣＤ部分画像データが示すＣＣＤ画像の小領域画像（監視領域１内の小領域画像）とＣＭＯＳ部分画像データが示すＣＭＯＳ画像の小領域画像（監視領域１内の小領域画像）との相関値を算出し、ＣＣＤ部分画像データが示すＣＣＤ画像の小領域画像と一致する小領域画像が、ＣＭＯＳ部分画像データが示すＣＭＯＳ画像の中から検索されるまで、ＣＭＯＳ部分画像データが示すＣＭＯＳ画像の小領域画像を変更しながら、相関値を算出し、相関値に基づいて、一致する小領域画像であるか否かを判定する。また、ＣＣＤ部分画像データが示すＣＣＤ画像の小領域画像と一致する小領域画像が検索されると、ＣＣＤ部分画像データが示すＣＣＤ画像の小領域画像を次の小領域画像に移動し、次の小領域画像と一致する小領域画像をＣＭＯＳ部分画像データが示すＣＭＯＳ画像の中から検索する。例えば検索には、ＣＭＯＳ画像のエピポーラ線上もしくは、エピポーラ線を含む周辺領域について検索する方法がある。ここで使用するエピポーラ線方程式は、予め求めておけばよい。

また、ＣＣＤ部分画像データが示す画像の小領域画像について、ＣＭＯＳ部分画像データが示すＣＭＯＳ画像のどの小領域画像とも相関がとれず、一致する小領域画像を、ＣＭＯＳ部分画像データが示すＣＭＯＳ画像の中から検索できなかった場合には、マッチングエラーとなる。

そして、ステップ２０６では、ステップ２０４のステレオマッチングでマッチングエラーが検出されたか否かを判定し、マッチングエラーが検出されなかった場合には、ステップ１１６へ移行するが、スミアの発生などによってＣＣＤ画像の一部が、ＣＭＯＳ画像のどの部分とも一致せずに、マッチングエラーが検出された場合には、ステップ２０８において、左画像メモリ２０からＣＣＤ画像データが表すＣＣＤ画像における監視領域２のＣＣＤ部分画像データを読み込み、ステップ２１０では、右画像メモリ２２からＣＭＯＳ画像データが表すＣＭＯＳ画像における監視領域２のＣＭＯＳ部分画像データを読み込み、ステップ２１２において、ステップ２０４と同様に、ＣＣＤ部分画像データ及びＣＭＯＳ部分画像データのステレオマッチングを行う。

そして、ステップ２１４では、ステップ２０４と同様に、ステップ２１２のステレオマッチングでマッチングエラーが検出されたか否かを判定し、マッチングエラーが検出されなかった場合には、ステップ１１６へ移行するが、マッチングエラーが検出された場合には、ステップ２１６において、ステップ２０４のステレオマッチングにおけるマッチングエラーの検出位置のｘ座標と、ステップ２１２のステレオマッチングにおけるマッチングエラーの検出位置のｘ座標とが同じであるか否かを判定する。

ＣＣＤエリアセンサ４２にスミアが発生し、ＣＣＤエリアセンサ４２によって撮像されたＣＣＤ画像に、図６に示すように、垂直方向に白い帯状の線が入っている場合には、マッチングエラーの検出位置のｘ座標が、監視領域１及び監視領域２で同じになるため、上記のステップ２１６において、マッチングエラーの検出位置のｘ座標が同じになると判定されると、ステップ１１８へ移行し、ＣＭＯＳイメージセンサ４４によって撮像されたＣＭＯＳ画像を出力画像として選択して、右画像メモリ２２からＣＭＯＳ画像データを読み込んで、メモリカード２４に書き込むと共に、出力装置１４へ出力し、撮像処理ルーチンを終了する。一方、マッチングエラーの検出位置のｘ座標が異なる場合には、スミアが発生しておらず、単なるゴミが撮像された場合や、違うものが撮像された場合であると判断されるため、ステップ１１６へ移行する。ステップ１１６では、スミアが発生していないため、ＣＣＤエリアセンサ４２によって撮像されたＣＣＤ画像を出力画像として選択して、左画像メモリ２０からＣＣＤ画像データを読み込んで、メモリカード２４に書き込むと共に、出力装置１４へ出力し、撮像処理ルーチンを終了する。

以上説明したように、第２の実施の形態に係る複眼カメラステムによれば、ステレオマッチングの結果を用いて、高精度にスミアの発生を検出することができる。

また、２つの監視領域におけるマッチングエラーの検出位置に基づいて、スミアが発生したか否かを判定するため、スミアの発生の誤検出を防止することができる。

次に、第３の実施の形態に係る複眼カメラシステムについて説明する。なお、第３の実施の形態に係る複眼カメラシステムの構成は、第１の実施の形態及び第２の実施の形態と同様であるため、同一符号を付して説明を省略する。

第３の実施の形態では、ＣＣＤエリアセンサによって撮像されたＣＣＤ画像と、ＣＭＯＳイメージセンサによって撮像されたＣＭＯＳ画像との輝度値を比較することにより、スミアの発生を判定する点が第２の実施の形態と異なっている。

図８に示すように、ＣＣＤ画像データが示すＣＣＤ画像と、ＣＭＯＳ画像データが示すＣＭＯＳ画像とにおいて、第２の実施の形態と同様に、それぞれ同じ位置の領域を監視領域１、２として予め設定しており、監視領域１、２のみについて、輝度値を比較してスミアの発生を判定する。

次に第３の実施の形態に係る撮像処理ルーチンについて図９を用いて説明する。なお、第１の実施の形態及び第２の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

次のステップ２００では、左画像メモリ２０からＣＣＤ画像データが表すＣＣＤ画像における監視領域１のＣＣＤ部分画像データを読み込み、ステップ２０２では、右画像メモリ２２からＣＭＯＳ画像データが表すＣＭＯＳ画像における監視領域１のＣＭＯＳ部分画像データを読み込み、ステップ３００において、ＣＣＤ部分画像データ及びＣＭＯＳ部分画像データによって、監視領域１の輝度値比較を行う。

輝度値比較では、ＣＣＤ部分画像データが示すＣＣＤ画像の小領域画像（監視領域１内の小領域画像）とＣＭＯＳ部分画像データが示すＣＭＯＳ画像の同じ位置の小領域画像（監視領域１内の対応する部分の小領域画像）との輝度値差分を算出し、監視領域１内の全ての小領域画像に対して、輝度値差分を算出する。なお、小領域画像の大きさは、ＣＣＤ撮像部１６とＣＭＯＳ撮像部１８との距離や複眼カメラ１２と被写体との距離に基づいて、ＣＣＤ撮像部１６とＣＭＯＳ撮像部１８とで撮像した画像のずれを実験的に求め、このずれを許容するような大きさを予め求めておけばよい。

そして、ステップ３０２では、ステップ３００の輝度値比較において算出された輝度値差分のうち、しきい値以上の輝度値差分があるか否かを判定し、全ての小領域画像において、輝度値差分がしきい値未満である場合には、ＣＣＤ画像の監視領域１にスミアによる高輝度部分がないと判断し、ステップ１１６へ移行する。一方、ある小領域画像において、輝度値差分がしきい値以上となる場合には、ＣＣＤ画像の監視領域１に、スミアの発生やゴミが撮像されることによる高輝度部分があるため、ステップ２０８へ移行する。なお、しきい値として、スミアが発生した場合における、スミアによるＣＣＤ画像の高輝度部分と、ＣＭＯＳ画像の対応する部分との輝度値差分を、予め実験的に求めておけばよい。

そして、ステップ２０８において、左画像メモリ２０からＣＣＤ画像データが表すＣＣＤ画像における監視領域２のＣＣＤ部分画像データを読み込み、ステップ２１０では、右画像メモリ２２からＣＭＯＳ画像データが表すＣＭＯＳ画像における監視領域２のＣＭＯＳ部分画像データを読み込み、ステップ３０４において、ステップ３００と同様に、ＣＣＤ部分画像データ及びＣＭＯＳ部分画像データによって、監視領域２の輝度値比較を行う。

そして、ステップ３０６では、ステップ３０２と同様に、ステップ３００の輝度値比較において算出された輝度値差分のうち、しきい値以上の輝度値差分があるか否かを判定し、全ての小領域画像において、輝度値差分がしきい値未満である場合には、ステップ１１６へ移行するが、ある小領域画像において、輝度値差分がしきい値以上となる場合には、ステップ３０８において、ステップ３００の輝度値比較におけるしきい値以上の輝度値差分となる位置のｘ座標と、ステップ３０４の輝度値比較におけるしきい値以上の輝度値差分となる位置のｘ座標とが同じであるか否かを判定する。

ＣＣＤエリアセンサ４２にスミアが発生し、ＣＣＤエリアセンサ４２によって撮像されたＣＣＤ画像に、図８に示すように、垂直方向に白い帯状の線が入っている場合には、しきい値以上の輝度値差分発生位置のｘ座標が、監視領域１及び監視領域２で同じになるため、上記のステップ３０８において、しきい値以上の輝度値差分発生位置のｘ座標が同じになると判定されると、ステップ１１８へ移行し、ＣＭＯＳイメージセンサ４４で撮像されたＣＭＯＳ画像を出力画像として選択して、右画像メモリ２２からＣＭＯＳ画像データを読み込んで、メモリカード２４に書き込むと共に、出力装置１４へ出力し、撮像処理ルーチンを終了する。一方、しきい値以上の輝度値差分発生位置のｘ座標が異なる場合には、ステップ１１６へ移行する。ステップ１１６では、スミアが発生していないため、ＣＣＤエリアセンサ４２で撮像されたＣＣＤ画像を出力画像として選択して、左画像メモリ２０からＣＣＤ画像データを読み込んで、メモリカード２４に書き込むと共に、出力装置１４へ出力し、撮像処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る複眼カメラシステムによれば、輝度値の差分を算出して、スミアの発生を判定するため、少ない計算量で、スミアを検出することができる。

本発明の第１の実施の形態に係る複眼カメラシステムの主要構成を示すブロック図である。本発明の第１の実施の形態に係る複眼カメラシステムを示す概略図である。（Ａ）は本発明の第１の実施の形態に係る複眼カメラを示す正面図、（Ｂ）は複眼カメラを示す上面図、（Ｃ）は複眼カメラを示す側面図である。本発明の第１の実施の形態に係る複眼カメラのＣＣＤ撮像部及びＣＭＯＳ撮像部の位置及び撮像方向を調整する場合のイメージ図である。本発明の第１の実施の形態に係る複眼カメラの撮像処理ルーチンの内容を示すフローチャートである。本発明の第２の実施の形態に係る複眼カメラにおけるステレオマッチングの様子を示すイメージ図である。本発明の第２の実施の形態に係る複眼カメラの撮像処理ルーチンの内容を示すフローチャートである。本発明の第３の実施の形態に係る複眼カメラにおける輝度値比較の様子を示すイメージ図である。本発明の第３の実施の形態に係る複眼カメラの撮像処理ルーチンの内容を示すフローチャートである。

符号の説明

１０複眼カメラシステム
１２複眼カメラ
１４出力装置
１６ＣＣＤ撮像部
１８ＣＭＯＳ撮像部
２０左画像メモリ
２２右画像メモリ
２４メモリカード
２６制御部
３２回転軸
３４スライド溝
４２ＣＣＤエリアセンサ
４４ＣＭＯＳイメージセンサ

Claims

電荷結合素子で構成され、被写体像を撮像する第１の撮像手段と、
スミアを発生させない撮像素子で構成され、被写体像を撮像する第２の撮像手段と、
前記第１の撮像手段が撮像したときに、前記第１の撮像手段によって撮像された画像の予め定められた領域の画像データと前記第２の撮像手段によって撮像された画像の前記予め定められた領域の画像データとのパターンマッチング処理を行い、前記パターンマッチング処理の結果に基づいて、前記電荷結合素子にスミアが発生したか否かを判定する判定手段と、
前記判定手段によって、スミアが発生しなかったと判定された場合に、前記第１の撮像手段によって撮像された画像を選択し、スミアが発生したと判定された場合に、前記第２の撮像手段によって撮像された画像を選択する選択手段と、
を含む撮像装置。
前記第２の撮像手段の撮像素子は、スミアが発生しない状態の前記電荷結合素子より撮像した画像の画質が低いことを特徴とする請求項１記載の撮像装置。
前記判定手段のパターンマッチング処理は、ステレオマッチングである請求項１又は２記載の撮像装置。
電荷結合素子で構成され、被写体像を撮像する第１の撮像手段と、
スミアを発生させない撮像素子で構成され、被写体像を撮像する第２の撮像手段と、
前記第１の撮像手段が撮像したときに、前記第１の撮像手段によって撮像された画像の予め定められた領域と前記第２の撮像手段によって撮像された画像の前記予め定められた領域とにおいて対応する部分の輝度値の差分を算出し、前記算出された輝度値の差分が所定値以上のとき、前記電荷結合素子にスミアが発生したと判定する判定手段と、
前記判定手段によって、スミアが発生しなかったと判定された場合に、前記第１の撮像手段によって撮像された画像を選択し、スミアが発生したと判定された場合に、前記第２の撮像手段によって撮像された画像を選択する選択手段と、
を含む撮像装置。
前記第２の撮像手段の撮像素子は、スミアが発生しない状態の前記電荷結合素子より撮像した画像の画質が低いことを特徴とする請求項４記載の撮像装置。
前記予め定められた領域は、前記第１の撮像手段及び第２の撮像手段によって撮像された画像の部分領域である請求項１〜請求項５の何れか１項記載の撮像装置。
前記第１の撮像手段及び前記第２の撮像手段の各々は、自装置における位置及び撮像方向の少なくとも一方が調整可能となっている請求項１〜請求項６の何れか１項記載の撮像装置。
前記選択手段によって選択された画像を出力する出力手段を更に含む請求項１〜請求項７の何れか１項記載の撮像装置。
前記選択手段によって選択された画像を記憶する記憶手段を更に含む請求項１〜請求項８の何れか１項記載の撮像装置。