JP2008054206A - ゴースト検出装置およびその関連技術 - Google Patents
ゴースト検出装置およびその関連技術 Download PDFInfo
- Publication number
- JP2008054206A JP2008054206A JP2006230740A JP2006230740A JP2008054206A JP 2008054206 A JP2008054206 A JP 2008054206A JP 2006230740 A JP2006230740 A JP 2006230740A JP 2006230740 A JP2006230740 A JP 2006230740A JP 2008054206 A JP2008054206 A JP 2008054206A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ghost
- circuit
- detection
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】太陽などの明るい光源に起因して生じるゴーストを防止するために、レンズ表面に反射防止膜をコーティングしたり、レンズ構成物を黒く塗装したり、レンズ間の距離を十分にとりレンズ表面への侵入を防止する従来技術では、近年のカメラの小型化、撮像光学系の小型化の要請からレンズ間距離を十分に確保することが難しく、また反射防止膜コーティングや塗装はカメラコストを上昇させる。
【解決手段】フォーカスレンズ5を介して撮像素子6でとらえた画像について、撮像素子に対するフォーカスレンズの合焦位置でのフォーカス画像と合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路16と、差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路17と、フォーカスレンズ駆動回路10を制御するとともに、差分処理回路およびゴースト検出回路を制御するゴースト検出制御回路15を備える。
【選択図】図1
【解決手段】フォーカスレンズ5を介して撮像素子6でとらえた画像について、撮像素子に対するフォーカスレンズの合焦位置でのフォーカス画像と合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路16と、差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路17と、フォーカスレンズ駆動回路10を制御するとともに、差分処理回路およびゴースト検出回路を制御するゴースト検出制御回路15を備える。
【選択図】図1
Description
本発明は、デジタルスチルカメラやムービーカメラなどの撮像装置の撮像光学系で生じるゴーストを電気的に検出するゴースト検出装置に関する。また、撮像装置、ゴースト検出用または撮像装置用の半導体集積回路に関する。
デジタルスチルカメラやムービーカメラなどの撮像装置は、一般に複数のレンズやプリズムから構成された撮像光学系をもっている。被写体に太陽や電球などの明るい光源が含まれている場合、図20(a),(b)に示すように、その光源の光がレンズ表面や撮像光学系の構造物(ねじ、鏡筒、絞りなど)や撮像素子の表面で反射し、その反射光の像が撮像素子上に結像することがある。この現象は、一般にゴーストと呼ばれる(図21参照)。通常、太陽などの光源を中心に絞りの形状のゴーストが発生したり、構造物の反射がゴーストとなる場合が多い。特に被写体の暗い部分で発生するゴーストは目立ち、非常に見苦しい像となってしまう。
このようなゴーストを防止するために、レンズ表面に反射防止膜をコーティングしたり、レンズの構造物を黒く塗装したり、レンズ間距離を十分にとること等により、レンズ表面への反射光の侵入を防止することが従来から行なわれている。しかし、近年、カメラの小型化、撮像光学系の小型化が進み、レンズ間距離を十分に確保することが難しくなっている。また反射防止膜のコーティングや黒の塗装はカメラの価格を上昇させる。
この問題を解決するために電子的にフレアを除去する電子式フレア補正装置が考案されている(例えば、特許文献1参照)。フレアはゴーストに類似の現象であるが、ゴーストが像を結ぶのに対して、フレアは像を結ばない。特許文献1においては、あらかじめ画面内の強い光源に対して発生する基準フレアを記憶しておき、光源検出手段を用いて光源を検出した後、記憶した基準フレアから予測フレアを生成し、それを元画像から減算することでフレアを補正している。しかし、特許文献1の技術をゴースト補正に適用するとしても、ゴーストが発生する条件は多種多様であり、予測ゴーストが正確に実際のゴーストに一致する訳ではなく、精度の高い補正は困難である。
特許第3372209号公報(第2−4頁、第1−8図)
上述のように、撮像光学系で発生するゴーストを撮像光学系のみで防止することは、小型化や低廉化の観点から支障を伴うものとなる。また、従来の電子式のゴースト補正技術では、ゴーストを正確に検出することができない。
本発明は、このような事情に鑑みて創作したものであり、被写体内の強い光で発生するゴーストを正確に検出できるゴースト検出装置を提供することを目的としている。また、撮像光学系の小型化や低廉化を妨げることなく、ゴースト補正を高精度に実現できる撮像装置を提供することを目的としている。
一般的なゴーストの特性として、次のものが挙げられる。
(1)構造物によるゴーストは、フォーカスレンズを移動させると移動し、場合によっては消失する。
(2)特に絞りによるゴースト(絞りゴースト)は、画面内に太陽等の高輝度な光源(主光源)がある場合に発生し、ズームレンズを広角(wide)方向に移動させると、主光源に向かって接近するように移動し、さらには主光源に含まれ消失する場合もある。
(3)画面内に主光源がある場合に発生する絞りゴーストは、画面から主光源がなくなると同時に消失する。
(4)主光源がない場合は、絞りゴーストを含め構造物ゴーストは発生しない。
フォーカスレンズやズームレンズや雲台(三脚上の回転変位機構)等を駆動すると、撮像画面内で画像が動くことになるが、この動きが被写体とゴーストとで異なる。この相違を利用してゴーストの検出を行う。
本発明によるゴースト検出装置は、
フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理手段と、
前記差分処理手段による差分処理画像からゴーストを検出するゴースト検出手段と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理手段および前記ゴースト検出手段を制御するゴースト検出制御手段とを備えたものである。
フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理手段と、
前記差分処理手段による差分処理画像からゴーストを検出するゴースト検出手段と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理手段および前記ゴースト検出手段を制御するゴースト検出制御手段とを備えたものである。
上記構成のゴースト検出装置に対応するゴースト検出用半導体集積回路は、
フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路と、
前記差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理回路および前記ゴースト検出回路を制御するゴースト検出制御回路とを備えたものである。
フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路と、
前記差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理回路および前記ゴースト検出回路を制御するゴースト検出制御回路とを備えたものである。
上記の構成においては、ゴースト検出制御手段は、フォーカスレンズ駆動回路を制御して、フォーカスレンズを合焦位置に移動させ、合焦位置での画像をフォーカス画像として取り込むとともに、フォーカスレンズを合焦位置から変位させた位置での画像をデフォーカス画像として取り込む。さらに、ゴースト検出制御手段は差分処理手段を制御してフォーカス画像とデフォーカス画像との差分をとり、その結果の差分処理画像をゴースト検出手段に渡す。ゴースト検出手段は、受け取った差分処理画像について上記の特性を踏まえてゴースト検出を行い、その結果をゴースト検出制御手段に通知する。ゴースト検出の通知を受けたゴースト検出制御手段は、差分処理手段による差分処理画像をゴースト像として捕捉する。
この発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とデフォーカス画像の差分をとり、その差分処理画像からゴースト検出を行うので、従来の電子式ゴースト検出装置よりもゴーストの検出精度が高いものとなる。
上記構成において、前記ゴースト検出手段は、画像領域をブロック分割し、個々のブロックでの前記差分処理画像に基づいて前記ゴーストの検出を行うように構成されているという態様がある。
また、上記構成において、前記ゴースト検出手段は、前記差分処理画像について個々のブロックにおいて所定の閾値以上となる画素差分値の画素数が所定の画素数閾値以上の場合に、そのブロックにゴーストありと判断するという態様がある。
画像領域を複数のブロックに分割して、ブロック単位でゴースト有無を判定することにより、ゴースト検出の精度を上げることができる。その際に、個々のブロックで画素差分値が閾値以上かを判断し、閾値以上の画素差分値をもつ画素がどれくらい多いのかを判定する。そのような閾値以上の画素差分値の画素数が画素数閾値以上であれば、そのブロックにゴーストありと判断する。こうすることにより、高いゴースト検出精度をもたせることができる。
また、本発明によるゴースト検出装置は、
ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正手段によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出手段、前記倍率補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの方向と前記主光源検出手段による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御手段とを備えたものである。
ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正手段によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出手段、前記倍率補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの方向と前記主光源検出手段による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御手段とを備えたものである。
上記構成のゴースト検出装置に対応するゴースト検出用半導体集積回路は、
ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正回路によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出回路、前記倍率補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの方向と前記主光源検出回路による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御回路とを備えたものである。
ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正回路によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出回路、前記倍率補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの方向と前記主光源検出回路による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御回路とを備えたものである。
上記の構成においては、主光源検出手段が合焦位置でのフォーカス画像に主光源が含まれていないと判断したときはゴーストなしと決定でき、ゴーストなしの検出を高速に実現する。フォーカス画像に主光源が含まれているときには、ズームレンズを移動させたときの変位画像をとり、フォーカス画像との比較を行う上での規格化のために倍率補正手段は変位画像の像倍率を調整して、像倍率を変位画像とフォーカス画像とで同じにする。その上で、動きベクトル検出手段はフォーカス画像と変位画像との相関関係から両画像間の動きベクトルを求める。さらに、ゴースト検出制御手段は主光源の位置と動きベクトルとの相関関係から絞りゴーストの有無を判定する。
この発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像と変位画像で主光源を検出し、両者の比較から動きベクトルを求め、主光源の位置と動きベクトルとの相関関係で絞りゴーストを検出するので、従来の電子式ゴースト補正装置よりもゴーストの検出精度が高いものとなる。
上記の構成における前記動きベクトル検出手段については、ブロックマッチング法により前記動きベクトルを検出するように構成されているという態様がある。また上記の構成における前記ゴースト検出制御手段については、前記ズームレンズを移動させた場合に前記動きベクトルが発生し、かつ前記動きベクトルの方向が前記主光源に向かっている場合に対象となる動領域をゴーストと判定するように構成されているという態様がある。このようにすることにより、ゴースト判定の精度を高めることができる。
また、本発明によるゴースト検出装置は、
フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正手段によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出手段、前記位置補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの大きさと前記主光源検出手段による前記主光源の有無とからゴーストを検出するゴースト検出制御手段とを備えたものである。
フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正手段によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出手段、前記位置補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの大きさと前記主光源検出手段による前記主光源の有無とからゴーストを検出するゴースト検出制御手段とを備えたものである。
上記構成のゴースト検出装置に対応するゴースト検出用半導体集積回路は、
フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正回路によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出回路、前記位置補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの大きさと前記主光源検出回路による前記主光源の有無とからゴーストを検出するゴースト検出制御回路とを備えたものである。
フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正回路によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出回路、前記位置補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの大きさと前記主光源検出回路による前記主光源の有無とからゴーストを検出するゴースト検出制御回路とを備えたものである。
上記の構成においては、主光源検出手段が合焦位置でのフォーカス画像に主光源が含まれているときに、雲台を変位させ、そのときの変位画像をとり、フォーカス画像との比較を行う上での規格化のために位置補正手段は変位画像の位置を補正して、変位画像とフォーカス画像とで位置合わせを行う。その上で、動きベクトル検出手段はフォーカス画像と変位画像との相関関係から両画像間の動きベクトルを求める。さらに、ゴースト検出制御手段は主光源の位置と動きベクトルとの相関関係から絞りゴーストの有無を判定する。
この発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像と変位画像で主光源を検出し、両者の比較から動きベクトルを求め、主光源の位置と動きベクトルとの相関関係で絞りゴーストを検出するので、従来の電子式ゴースト補正装置よりもゴーストの検出精度が高いものとなる。
また、上記のいずれかのゴースト検出装置において、さらに、ゴーストありと判断した場合にゴースト検出を外部に通知するゴースト発生通知手段を備えるという態様がある。これにより、警報器(LEDや電子ブザーなど)を介してゴースト検出をユーザに知らせることができる。
また、本発明による撮像装置は、上記のいずれかのゴースト検出装置と、前記ゴースト検出制御手段によって制御され、前記ゴースト検出装置がゴースト検出したときに前記フォーカス画像から前記ゴースト検出装置が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正手段とを備えたものである。
また、本発明による撮像装置用半導体集積回路は、上記のいずれかのゴースト検出用半導体集積回路と、前記ゴースト検出制御回路によって制御され、前記ゴースト検出用半導体集積回路がゴースト検出したときに前記フォーカス画像から前記ゴースト検出用半導体集積回路が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正回路とを備えたものである。
本発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とデフォーカス画像または変位画像との差分をとり、その差分処理画像からゴーストを検出するので、従来の電子式ゴースト検出装置よりもゴーストの検出精度が高いものとなる。
そして、ゴースト補正においてレンズ間距離を短縮化したり反射防止膜をコーティングするのではなく、電子的にゴースト補正を行うので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。
以下、本発明にかかわるゴースト検出装置を備えた撮像装置の実施の形態について図面に基づいて詳細に説明する。
(実施の形態1)
本発明の実施の形態1は、ゴースト検出を行うのにフォーカスレンズの動作を利用するものである。
本発明の実施の形態1は、ゴースト検出を行うのにフォーカスレンズの動作を利用するものである。
図1は本発明の実施の形態1における撮像装置の構成を示すブロック図である。図1において、1は被写体、2はズームレンズ、3は絞り、4は手ぶれ補正レンズ、5はフォーカスレンズ、6は撮像素子(イメージセンサ)、7は増幅器、8は信号処理回路、9はAF(オートフォーカス)回路、10はフォーカスレンズ駆動回路、11は絞り制御回路、12は撮像素子駆動回路、13はズームレンズ駆動回路、14は手ぶれ補正レンズ駆動回路、15はゴースト検出制御回路、16は差分処理回路、17はゴースト検出回路、18はゴースト発生通知回路、30はフレームメモリ管理回路、40はフレームメモリである。
被写体1からの光は、ズームレンズ2、絞り3、手ぶれ補正レンズ4、フォーカスレンズ5を通して撮像素子6の光電変換面に結像する。撮像素子6の出力は増幅器7を介して絞り制御回路11と撮像素子駆動回路12に入力されるとともに、信号処理回路8に入力される。適正なレベルの増幅器出力が得られるように、増幅器7の出力に応じて、絞り制御回路11は絞り3を制御し、撮像素子駆動回路12は撮像素子6の露出時間を制御するように機能し、適切な露光状態を得るように構成されている。
ゴースト検出制御回路15は、ゴースト検出およびゴースト補正の処理に際して、信号処理回路8、AF回路9、差分処理回路16、ゴースト検出回路17、ゴースト発生通知回路18およびゴースト補正回路50を制御するように構成されている。
信号処理回路8は、撮像素子6からの画像データ(RGBまたは補色)を増幅器7を介して入力し、輝度(Y)と色差信号(Cr,Cb)に変換する。また信号処理回路8は、ゴースト検出制御回路15からの画像データ取得の指令を受けると、その指令を受けた直後の1フレーム分の画像データをフレームメモリ管理回路30を介してフレームメモリ40に格納するように構成されている。画像データ取得のタイミングは、撮像素子駆動回路12の垂直同期信号等から判定するようになっている。
AF回路9は、信号処理回路8が処理した画像データの輝度成分等から周波数特性等を検出し、入力画像がユーザ指定の画面内被写体に合焦しているかを判定し、合焦していない場合は、フォーカスレンズ駆動回路12を制御してフォーカスレンズ5を移動させながら合焦判定を行い、フォーカスレンズ5を合焦位置に移動させる。その処理は、カメラのシャッタ半押し状態や押下状態などの外部トリガ信号等により開始される。
フォーカスレンズ駆動回路10は、ゴースト検出制御回路15からAF回路9を介してフォーカスレンズ5についての移動の方向(望遠(tele)側または広角(wide)側)と移動量を指示する情報を受け、フォーカスレンズ5を移動させる機能を有している。フォーカスレンズ5を移動させて停止する位置は、レンズ構成により図2のように離散的に存在している。
ズームレンズ駆動回路13は、ゴースト検出制御回路15からAF回路9を介してズームレンズ2についての移動の方向(tele側またはwide側)と移動量を指示する情報を受け、ズームレンズ2を移動させる機能を有している。ズームレンズ2を移動させて停止する位置は、レンズ駆動部の構成により図3のように離散的に存在している。
ゴースト検出制御回路15は、フォーカスレンズ5の合焦位置での画像であるフォーカス画像を取得すべくAF回路9および信号処理回路8を制御する。また、フォーカスレンズ5を合焦位置からずらせた非合焦位置での画像であるデフォーカス画像を取得すべくAF回路9および信号処理回路8を制御する。
フレームメモリ管理回路30は、1フレーム分のフォーカス画像およびデフォーカス画像の画像データのそれぞれをフレームメモリ40のフォーカス画像領域aおよびデフォーカス画像領域bに格納する機能を有している。
差分処理回路16は、ゴースト検出制御回路15からの指令により、フレームメモリ40のフォーカス画像領域aから読み出したフォーカス画像とデフォーカス画像領域bから読み出したデフォーカス画像について、同一座標位置の各画素値の差分処理を行い、その差分結果を差分処理画像としてフレームメモリ管理回路30を介して差分処理画像領域cに格納する機能を有している。
ゴースト検出回路17は、差分処理画像領域cから差分処理画像を読み出し、差分処理画像をブロック単位に領域分割し、そのブロック単位で画素差分値が所定の閾値を超えることとなる画素の数を検出し、その画素数が所定の画素数閾値以上であるブロックを検出し、そのブロックの位置情報をゴースト検出制御回路15に送出する機能を有している。ゴースト検出制御回路15は、ゴースト検出回路17からのゴースト検出の通知があったときは、差分処理回路16における差分処理画像をゴースト像として捕捉し、そのゴースト像の画像データをゴースト補正回路50に渡すようになっている。ゴースト補正回路50は、元のフォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う機能を有している。
次に、上記のように構成された本実施の形態の撮像装置の動作の概要を図4を用いて説明する。動作の要点を述べると、フォーカス画像とデフォーカス画像の差分をとり、得られた差分処理画像を判定画像としてゴースト像の有無判定を行い、ゴースト像があると判断したときには、フォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う。
すなわち、ゴースト検出制御回路15は、AF回路9の制御を介してフォーカスレンズ駆動回路10を制御し、フォーカスレンズ5を合焦位置まで移動させる。フォーカスレンズ5の合焦位置での1フレーム分の出力画像が撮像素子6によって取得され、これがフォーカス画像として信号処理回路8を介してフレームメモリ40内のフォーカス画像領域aに格納される。次いで、フォーカスレンズ5を合焦位置からずらせるために、ゴースト検出制御回路15はフォーカスレンズ移動回路10を制御し、非合焦位置でのデフォーカス画像をデフォーカス画像領域bに格納する。さらに、差分処理回路16を制御して、フォーカス画像領域aから読み出したフォーカス画像とデフォーカス画像領域bから読み出したデフォーカス画像において、同一座標位置の各画素値の差分処理を行い、その差分結果を差分処理画像として差分処理画像領域cに格納する。さらに、ゴースト検出回路17を制御し、差分処理画像領域cから差分処理画像を読み出し、差分処理画像をブロック単位に領域分割し、そのブロック単位で画素差分値が所定の閾値を超えることとなる画素の数を検出し、その画素数が所定の画素数閾値以上であるブロックを検出し、そのブロックでの差分処理画像をゴースト像とする。そして、ゴースト補正回路50は、元のフォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う。ゴースト発生通知回路18は、出力端子を介して外部の警報器(LEDや電子ブザーなど)を動作させ、ユーザにゴースト検出を知らせる。
より詳しい動作は次のとおりである。これを図5の処理手順例を表したフローチャートに従って説明する。
まず、AF回路9がシャッタ半押し等による外部トリガ信号を受けると(S1)、AF回路9はフォーカスレンズ5についての移動の方向(tele側またはwide側)と移動量を指示する情報をフォーカスレンズ駆動回路10に与える(S2)。これにより、フォーカスレンズ駆動回路10はフォーカスレンズ5を合焦位置に向けて移動させる(S3)。そして、フォーカスレンズ5の合焦位置の検出処理を行う(S4)。フォーカスレンズ5の合焦位置の検出処理が終了し、合焦位置へのフォーカスレンズ5の移動が完了すると(S4)、ゴースト検出制御回路15は信号処理回路8を制御し(S5)、信号処理回路8はその直後の1フレーム分の撮像素子6からの画像データをフォーカス画像としてフレームメモリ管理回路30を介してフレームメモリ40内のフォーカス画像領域aに格納する(S6)。この格納を終えると、フレームメモリ管理回路30はその旨をゴースト検出制御回路15に通知する。この通知を受けたゴースト検出制御回路15はフォーカスレンズ移動回路10に対して、デフォーカス画像を取得するための移動方向(tele側またはwide側)と移動量の情報を送信する(S7)。フォーカスレンズ駆動回路10が受信した移動量分のフォーカスレンズ5の移動を完了すると(S8〜S9)、その旨をゴースト検出制御回路15に通知する。すると、ゴースト検出制御回路15は信号処理回路8を制御し(S10)、信号処理回路8はその直後の1フレーム分の撮像素子6からの画像データをデフォーカス画像としてフレームメモリ管理回路30を介してデフォーカス画像領域bに格納する(S11)。この格納を終えると、フレームメモリ管理回路30はその旨をゴースト検出制御回路15に通知する。
続いて、ゴースト検出制御回路15は差分処理回路16を起動し(S12)、差分処理回路16はフレームメモリ管理回路30を制御する。フレームメモリ管理回路30はフォーカス画像領域a内のフォーカス画像とデフォーカス画像領域b内のデフォーカス画像を読み出し、各画像の同一座標位置の各画素同士に対して差分処理を行う(S13)。その差分結果の差分処理画像は、フレームメモリ管理回路30を介して差分処理画像領域cに格納される(S14)。この差分処理画像に表れる像がフォーカス画像から消失した像になる。
差分処理の終了後、ゴースト検出制御回路15はゴースト検出回路17を起動し、ゴースト検出回路17はフレームメモリ管理回路30を介して差分処理画像領域c内の差分処理画像を読み出し、差分処理画像をブロック単位に領域分割し、そのブロック単位で画素差分値が所定の閾値を超えることとなる画素の数を検出し、その画素数が所定の画素数閾値以上であるブロックを検出する(S15〜S16)。その画素数閾値を超えるブロックが存在しない場合は、ゴースト検出回路17は合焦位置において構成物ゴーストが存在しないと判断し、処理を終了する(S19)。画素数閾値を超えるブロックが存在するときは、そのブロックでのフォーカス画像とデフォーカス画像の差分をとり(S17)、その画素差分値が所定の閾値以下かを判断し(S18)、以下であれば合焦位置において構成物ゴーストが存在しないと判断し、処理を終了する(S19)。しかし、以下でなければ、ゴースト検出回路17ゴーストありと判断し、ゴーストありと判断したブロックの位置のデータをゴースト検出制御回路15に送信する(S20)。なお、このあと、ゴースト検出制御回路15は、ゴースト発生通知回路18を介して外部の警報器を動作させる。また、差分処理画像をゴースト像としてゴースト補正回路50に出力し、ゴースト補正回路50は元のフォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う。
本実施の形態によれば、被写体内で強い光が生じている場合に、従来技術のように常に決まった一定の補正を行うのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とデフォーカス画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。
(実施の形態2)
本発明の実施の形態2は、現フレーム画像と前フレーム画像との差分から動きベクトルを捕捉し、フレーム更新したときの動きベクトルの変化からゴースト検出を行うものである。
本発明の実施の形態2は、現フレーム画像と前フレーム画像との差分から動きベクトルを捕捉し、フレーム更新したときの動きベクトルの変化からゴースト検出を行うものである。
図6は本発明の実施の形態2における撮像装置の構成を示すブロック図である。図6において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。19は主光源検出回路、20は輪郭画像生成回路、21は倍率補正回路、22は動きベクトル検出回路、23は最大値検出回路である。また、フレームメモリ40において、dは前フレーム画像領域、eは現フレーム画像領域、fは現フレーム倍率補正画像領域、gは前フレーム輪郭画像領域、hは現フレーム輪郭画像領域、iは最大値画像領域、jは差分画像領域である。その他の構成については、実施の形態1と同様であるので、説明を省略する。
フレームメモリ管理回路30は、フレームメモリ40に対してメモリ領域の確保と画像データの入出力処理を行う。すなわち、フレームメモリ管理回路30は、信号処理回路8からのAF回路9の処理によるフォーカスレンズ5の合焦位置でのフォーカス画像(先頭フレーム画像)をフレームメモリ40に格納する。また、ズームレンズ2を移動した位置での画像(現フレーム画像および前フレーム画像)を格納する。さらに、輪郭画像生成回路20による前フレームおよび現フレームの輪郭画像、倍率補正回路21による現フレームの倍率補正画像、差分処理回路16による差分処理画像を格納する。
輪郭画像生成回路20は、入力画像に対し輪郭成分検出のためのフィルタ処理を施し、検出した輪郭成分データをフレームメモリ40に格納する。
倍率補正回路21は、現フレーム画像を前フレーム画像の倍率と同等にするために補間処理等を用いて拡大処理を行う。ズームレンズ2をwide側へシフトさせるときは、現フレーム画像は前フレーム画像に比べて画像が縮小する。例えば、前フレーム画像の倍率が4倍で現フレーム画像の倍率が2倍である場合、現フレーム画像内の被写体は前フレーム画像の同一被写体に比べ像が1/2倍になっている。そこで、現フレームについて補間処理を用いて2倍の拡大処理を行う。出力画像はフレームメモリ40の倍率補正画像領域fに格納する。
主光源検出回路19は、信号処理回路8から出力される各フレーム画像に対しての入力画像からゴーストの原因となる強い光源(主光源)の有無検出を行うとともに、主光源がある場合には、その位置・明るさ・色の情報を取得する。
動きベクトル検出回路22は、フレームメモリ40内の現フレーム輪郭画像と前フレーム輪郭画像を利用し、前フレーム輪郭画像に対しブロック分割を施し、そのブロック毎に現フレーム輪郭画像のどこの部分に類似しているかを検出し、その現フレームの類似位置と前フレームブロックのずれを動きベクトルとして検出する。類似の判定には、一般的なマッチング法のように、前フレームブロックと現フレーム画像の差分値が最小となる位置を探索するものを用いてもよい。ただし、処理対象画像は倍率補正が施された画像であるため、前フレームと現フレームの画像サイズが異なるが、各フレーム位置関係は各画像の中央が一致しているものとして処理を行う。また、現フレームの主光源位置方向に向かう動きベクトルの有無の検出を行う。
差分処理回路16はゴースト検出制御回路15によって制御され、フレームメモリ40内の現フレーム画像と前フレーム画像の同一座標にある画素同士に対して差分処理を行う。
ゴースト検出制御回路15は、信号処理回路8、AF回路9、ズームレンズ駆動回路13、差分処理回路16、ゴースト発生通知回路18、主光源検出回路19、輪郭画像生成回路20、倍率補正回路21、動きベクトル検出回路22、最大値検出回路23およびゴースト補正回路50を制御する。
次に、上記のように構成された本実施の形態の撮像装置の動作の概要を図7、図8を用いて説明する。
フォーカスレンズ5の合焦状態で取得した1フレーム分の画像を前フレーム画像として前フレーム画像領域dに格納する。主光源検出回路19により前フレーム画像における主光源の有無とその位置を検出する。主光源がないと判断した場合は、ゴーストは存在しないとして、ゴースト検出の処理を停止する。前フレーム画像での主光源なし検出のみでゴーストなしの判定が容易に行われる。一方、前フレーム画像内に主光源が存在すると判断した場合は、輪郭画像生成回路20によって前フレーム画像の輪郭強調を行い、輪郭成分データを前フレーム輪郭画像領域gに格納する。
次いで、ズームレンズ2をwide側へ所定量だけ移動させ、停止した位置で取得した1フレーム分の画像を現フレーム画像として現フレーム画像領域eに格納する。そして、倍率補正回路21によって現フレーム画像を前フレーム画像と同等の倍率に拡大し、その倍率補正画像を倍率補正画像領域fに格納する。そして、輪郭画像生成回路20によって倍率補正画像の輪郭強調を行い、輪郭成分データを現フレーム輪郭画像領域hに格納する。
続いて、動きベクトル検出回路22によってブロック単位で前フレーム輪郭画像と現フレーム輪郭画像の比較を行い、両者のずれを動きベクトルとして検出する。そして、主光源検出回路19によって現フレーム画像における主光源の有無や位置を検出する。主光源がないと判断した場合は、wide側の絞りゴーストは存在しないとし、処理を停止する。主光源があるときは、主光源に向かう方向の動きベクトルを抽出する。これはブロック単位で行う。次いで、現フレーム画像を前フレーム画像として更新し、その上で、ズームレンズ2をwide側へ所定量だけ移動した上での上記した一連の処理を、主光源に向かう方向の動きベクトルが存在しなくなるまで繰り返す。つまり、主光源に向かう方向の動きベクトルをトレースする。
主光源に向かう方向の動きベクトルが存在しなくなったとき、ゴーストがなくなるに至ったものとする。移動像の消失検出は以下のように行う。最大値検出回路23により現フレーム輪郭画像上の移動像注目範囲と、前フレーム輪郭画像上の移動像注目範囲を動きベクトルだけずらした範囲とを読み出し(図8参照)、同一座標の画素値を比較し、大きい値を最大値画像領域iに格納する。さらに、差分処理回路16によって最大値画像領域i内の画素データとその最大値画像領域i内に格納されているデータの範囲に対応する前フレーム輪郭画像領域g内の画素データに対して差分処理を行い、差分値が閾値上の画素数をカウントする。上記対象のすべての画素に対し差分処理が終了すると、差分処理回路16は差分値が閾値以上だった画素数をゴースト検出制御回路15に送信する。閾値より小さかった場合は、移動像の消失つまりゴーストがないと判定する。画素数が所定の閾値以上の場合は、移動像注目範囲の中心と主光源位置との距離を演算し、ある所定の値以下か否かの判定処理に移行する。このように、移動像の消失確認を行うことによってゴーストの検出精度を高めることができる。上記処理により、フォーカス画像内にレンズ内の絞りによるゴーストが発生しているか否かの検出を行うことができる。ゴーストが存在しているときは、主光源の輝度値とゴーストの輝度値との合算で最大値が大きくなる。したがって、最大値との差分が大きくなればゴーストの可能性が高くなり、差分が閾値以下であればゴーストなしとする。また、主光源に向かう方向の動きベクトルがなくなった状態で、距離が小さいということはゴーストの可能性が高くなり、距離が大きいということであればゴーストなしとする。
本実施の形態によれば、ズームレンズ2を駆動することにより絞りゴーストの検出を行うので、従来の電子式ゴースト補正装置より精度の高い絞りゴースト検出を行うことができる。
より詳しい動作は次のとおりである。これを図9および図10のフローチャートに従って説明する。
まず、AF回路9が外部トリガ信号を受けると(S21)、AF回路9はフォーカスレンズ5についての移動の方向と移動量を指示する情報をフォーカスレンズ駆動回路10に与える(S22)。これにより、フォーカスレンズ駆動回路10はフォーカスレンズ5を合焦位置に向けて移動させる(S23)。そして、フォーカスレンズ5の合焦位置の検出処理を行う(S24)。フォーカスレンズ5の合焦位置の検出処理が終了し、合焦位置へのフォーカスレンズ5の移動が完了すると(S24)、ゴースト検出制御回路15は信号処理回路8を制御し(S25)、信号処理回路8はその直後の1フレーム分の撮像素子6からの画像をフォーカス画像として前フレーム画像領域dに格納する(S26)。次いで、ゴースト検出制御回路15は主光源検出回路19を制御して前フレーム画像を読み出し、主光源の有無とその位置を検出する(S27〜S29)。主光源が存在しないときはゴーストが存在しないと判定し、ゴースト検出処理を停止する(S66)。このとき、ゴースト検出制御回路15はゴースト発生通知回路18に対しゴーストの有無情報を送信し、ゴースト発生通知回路18はカメラ操作ユーザや、ゴースト補正回路50に対してゴースト位置検出処理の終了とフォーカス画像内にゴーストが存在しないことを通知する。この処理により、フォーカス画像内の主光源の有無検出のみで容易にゴーストが存在しないことの判定を行うことができる。
一方、前フレーム画像内に主光源が存在すると判断した場合は、ゴースト検出制御回路15は輪郭画像生成回路20を制御して前フレーム画像に対して輪郭強調成分の検出処理を行い(S30)、得られた輪郭成分データを前フレーム輪郭画像領域gに格納する(S31)。
続いて、ゴースト検出制御回路15はズームレンズ駆動回路13に対して移動方向(wide側)と移動量の情報を送信する(S32)。ズームレンズ駆動回路13が受信した移動量分のズームレンズ2の移動を完了すると(S33〜S34)、ゴースト検出制御回路15は信号処理回路8を制御し(S35)、信号処理回路8はその直後の1フレーム分の撮像素子6からの画像を現フレーム画像として現フレーム画像領域eに格納する(S36)。この格納を終えると、ゴースト検出制御回路15は倍率補正回路21を制御し(S37)、倍率補正回路21は現フレーム画像を読み出し、前フレーム画像と同等の倍率に拡大した画像を生成するために補間処理を行い(S38)、補間処理を行った画像を倍率補正画像領域fに格納する(S39)。
次いで、ゴースト検出制御回路15は輪郭画像生成回路20を制御し、倍率補正画像領域fから画像を読み出し、輪郭強調成分の検出処理を行い(S40)、得られた輪郭成分データを現フレーム輪郭画像領域hに格納する(S41)。
次いで、ゴースト検出制御回路15は動きベクトル検出回路22を制御し、動きベクトル検出回路22は前フレーム輪郭画像領域gをブロック単位に領域分割し、分割された各ブロックが現フレーム輪郭画像のどの箇所に類似するかの探索処理を行い、前フレーム輪郭画像のブロック位置と現フレーム輪郭画像の類似位置とのずれを、前フレーム輪郭画像のブロックの位置を探索始点とする動きベクトルとして検出する(S43)。そして、前フレーム輪郭画像内のすべてのブロックに対して動きベクトルと探索始点を検出し終えると(S44)、ゴースト検出制御回路15は主光源検出回路19を制御し(S45)、現フレーム画像から主光源の有無や位置を検出し、その情報を格納する(S46)。
主光源検出回路19が主光源は存在しないと判断した場合は(S47)、ゴースト検出制御回路15はwide側の絞りゴーストは存在しないと判定し、ゴースト検出処理を停止する(S67)。
一方、主光源検出回路19が主光源は存在すると判断した場合は、ゴースト検出制御回路15は主光源検出回路19から主光源の位置を取得し、動きベクトル検出回路22に格納されている各ブロックの動きベクトルの方向と探索始点から主光源位置へ向かう方向とを比較する(S48)。
方向が一致していると判定された各ブロックに対して移動像番号を付与し、前フレーム輪郭画像のブロックと類似すると判定された現フレーム輪郭画像上の位置座標と範囲が対応する現フレーム画像上の位置座標と範囲を演算し、その演算結果を移動像注目範囲情報として記録するとともに(S49)、前フレーム画像のブロック位置座標を移動元ブロックとして記録する(S50〜S51)。すべてのブロックに対して移動像注目範囲情報の記録処理が終了すると(S52)、ゴースト検出制御回路15はフレームメモリ管理回路30に対し領域交換の処理を行わせ、現フレーム画像領域eを前フレーム画像領域dとして交換する(S53)。
次いで、ゴースト検出制御回路15はステップS30に制御を戻し、移動像注目範囲の動きベクトルの方向と探索始点から主光源位置へ向かう方向とが一致しないと判定されるまで上記のS30〜S47の処理を繰り返す。
移動像注目範囲の動きベクトルの方向と探索始点から主光源位置へ向かう方向とが一致しない移動像注目範囲があった場合には、ステップS54以下の移動像消失の確認へと処理を進める。なお、ここで、移動像消失の確認について、ステップS60以下から始めて前フレーム画像の移動像注目範囲の中心と主光源位置との距離を演算し、この距離が所定値以下か否かを判定するのでもよい。ただし、ここでは、絞りゴーストの検出精度を高めるために以下の移動像消失の確認へと処理を進める。
ゴースト検出制御回路15は最大値検出回路23を制御し(S54)、最大値検出回路23は現フレーム輪郭画像上の移動像注目範囲と前フレーム輪郭画像上の移動像注目範囲を動きベクトル分ずらした範囲とを読み出し(図8参照)、同一座標の画素値を比較し、大きい値を選択して最大値画像とし(S55)、最大値画像領域iに格納する(S56)。どちらかの領域しか画素値が存在しない場合は、存在する画素値を採用する。両フレームの輪郭画像画素データが存在しない場合は、処理を行わず、結果を出力しない。
次いで、ゴースト検出制御回路15は差分処理回路16を制御し、差分処理回路16は最大値画像領域i内の現フレーム画素データとそのデータ範囲に対応する前フレーム輪郭画像領域g内の画素データとの差分処理を行い、差分値が閾値上の画素数をカウントする(S57)。上記対象のすべての画素に対し差分処理が終了すると(S58)、差分処理回路16はゴースト検出制御回路15に対して差分値が閾値以上となった画素の画素数を送信する。ゴースト検出制御回路15は差分値が閾値以上となった画素の画素数を画素数閾値以上あるかを判断し(S59)、画素数閾値より小さかった場合は、移動像消失がないと判定し(S63)、ゴースト検出制御回路15内に記録されている移動像番号に関連する情報の削除処理に移行する(S64)。
一方、差分値が閾値以上となった画素の画素数が画素数閾値以上の場合は(S59)、移動像注目範囲の中心と主光源位置との距離を演算し、所定値以下か否かの判定処理に移行する(S60)。すなわち、ゴースト検出制御回路15は主光源検出回路19にある主光源座標と、前フレーム上の移動像注目範囲の中心座標を演算し、それぞれの座標を基に前フレーム画像の移動像注目範囲の中心と主光源位置との距離を演算し、その距離が所定値以下か否かを判定する(S60)。距離が所定値以下の場合は、ゴースト発生通知回路18に移動元ブロックとゴースト検知信号を出力する(S61)。距離が所定値より大きい場合は、移動像番号の移動像注目範囲にゴーストは存在しないと判断し(S63)、ゴースト検出制御回路15内に記録されている移動像番号に関連する情報(図11)を削除する(S64)。
上記の処理をゴースト検出制御回路15内に格納している移動像番号が存在しなくなるまで繰り返す(S65)。移動像番号が残っているときは、ステップS48に処理を戻し、移動像注目範囲の動きベクトルの方向と探索始点から主光源位置へ向かう方向とが一致しないと判定した他の移動像注目範囲に対し、ステップS54〜S64の処理を繰り返す。
以上のように本実施の形態によれば、フォーカス画像内に絞り3によるゴーストが発生しているか否かの検出を、ズームレンズ2のwide側への移動に伴う移動像の消失確認を通じて行っている。すなわち、従来技術のように常に決まった一定の補正を行うのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とズーム移動の画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。
(実施の形態3)
上述の実施の形態2がズームレンズ2の移動方向をwide側に設定しているのに対して、本発明の実施の形態3はズームレンズ2の移動方向をtele側に設定するものである。本実施の形態の撮像装置の構成は、実施の形態2の場合の図6の構成と同様である。
上述の実施の形態2がズームレンズ2の移動方向をwide側に設定しているのに対して、本発明の実施の形態3はズームレンズ2の移動方向をtele側に設定するものである。本実施の形態の撮像装置の構成は、実施の形態2の場合の図6の構成と同様である。
図12、図13は本実施の形態の動作の概要を示す。図14、図15は本実施の形態の動作を示すフローチャートである。
ステップT21からステップT47までは実施の形態2の場合の図9のステップS21からステップS47までと同じである。ただし、ステップT32〜T34において、ズームレンズ駆動回路13によりズームレンズ2を移動する方向はtele側である。また、ステップT38において、倍率補正回路21が現フレーム画像に対して行う補間処理は縮小処理となっている(図12参照)。
主光源検出回路19が主光源は存在すると判定した場合において(T47)、ゴースト検出制御回路15は主光源検出回路19から主光源の位置を取得し、動きベクトル検出回路22における各ブロックの動きベクトルの大きさを演算し(T48)、動きベクトルの大きさが所定の閾値以上であるブロックに対して移動像番号を付与し、前フレーム輪郭画像のブロックと類似する現フレーム輪郭画像上の位置座標と範囲が対応する現フレーム画像上の位置座標と範囲を演算し、その演算結果を移動像注目範囲情報として記録するとともに(T49)、前フレーム画像のブロック位置座標を移動元ブロックとして記録する(T50〜T51)。すべてのブロックに対して移動像注目範囲情報の記録処理が終了すると(T52)、ゴースト検出制御回路15はフレームメモリ管理回路30に対し領域交換の処理を行わせ、現フレーム画像領域eを前フレーム画像領域dとして交換する(T53)。
次いで、ゴースト検出制御回路15はステップT30に制御を戻し、主光源検出回路19が現フレーム画像に対して主光源が存在しないと判定するまで、上記のT30〜T47の処理を繰り返す。
動きベクトルの大きさが所定の閾値以上でない場合は(T48)、絞りゴーストがないと判定し(T54)、ゴースト検出制御回路15内に記録されている移動像番号に関連する情報の削除処理に移行し(T55)、ステップT52に戻る。
主光源検出回路19が現フレーム画像に対して主光源が存在しないと判定した場合は、ステップT74以下の移動像消失の確認へと処理を進める。ステップT74〜T88は、実施の形態2の場合の図10のステップS54〜S68と同様である。すなわち、最大値検出回路23による処理からゴースト検出制御回路15内に記録されている移動像番号に関連する情報(図13(b))の削除を行う処理までを行う。ただし、実施の形態2でのステップS60の前フレーム画像の移動像注目範囲の中心と主光源位置との距離を演算は行わない。
移動像注目範囲の動きベクトルの大きさが所定の閾値以上あると判定した他の移動像注目範囲に対し、上記と同様の最大値検出回路23の処理を行う。
上記の処理をゴースト検出制御回路15内に格納している移動像番号が存在しなくなるまで繰り返す。
以上のように本実施の形態によれば、フォーカス画像内に絞り3によるゴーストが発生しているか否かの検出をズームレンズ2のtele側への移動に伴う移動像の消失確認を通じて行っている。すなわち、従来技術のように常に決まった一定の補正を行うのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とズーム移動の画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。
(実施の形態4)
本発明の実施の形態4の特徴は、雲台を制御することにある。
本発明の実施の形態4の特徴は、雲台を制御することにある。
図17は本発明の実施の形態4における撮像装置の構成を示すブロック図である。図17において、実施の形態2の図6におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。24は位置補正回路、25は雲台駆動回路、26は撮影方向調整用の雲台(三脚上の回転変位機構)である。雲台駆動回路25は、ゴースト検出制御回路15から回転角度と回転方向の情報を受け、雲台26を回転させるように構成されている。位置補正回路24は、現フレーム画像を前フレーム画像の位置(座標)と同等にするために平行移動処理を用いて位置補正を行うものである。例えば、前フレーム画像と現フレーム画像の位置が雲台26の回転角度θに対して画像の内容が所定の方向にa画素ずれる場合は、現フレーム画像内の被写体は前フレーム画像の同一被写体に比べ像が所定の方向にa画素ずれているため、平行移動処理を用いてその所定方向と逆方向にa画素分移動させる。出力画像はフレームメモリ40の現フレーム位置補正画像領域f′に格納する。雲台駆動回路25、位置補正回路24はゴースト検出制御回路15によって制御されるように構成されている。その他の構成については、実施の形態2と同様であるので、説明を省略する。
次に、上記のように構成された本実施の形態の撮像装置の動作を図17の動作概要図および図18、図19のフローチャートを用いて説明する。
ステップP21からステップP88のうち、ステップP32〜P34とステップP37〜P39を除いて、実施の形態3の場合の図14、図15のステップT21からステップT88までと同じである。
ステップP32において、ゴースト検出制御回路15は雲台駆動回路25に対して回転方向と回転量の情報を送信する。雲台駆動回路25が受信した情報分の雲台26の回転を完了すると(P33〜P34)、ゴースト検出制御回路15は信号処理回路8を制御し、信号処理回路8はその直後の1フレーム分の画像データをフレームメモリ管理回路30を介してフレームメモリ40内の現フレーム画像領域eに格納する(P36)。次いで、ゴースト検出制御回路15は位置補正回路24を制御し、位置補正回路24は現フレーム画像領域eから現フレーム画像を読み出し、前フレーム画像と同等の位置に平行移動した画像を生成するために補正処理を行い(P38。図17参照)、補間処理を行った画像を現フレーム位置補正画像領域f′に格納する。以降の処理は実施の形態3の場合と同様であるので説明を省略する。
本実施の形態によれば、雲台26の制御を通じてゴースト検出を行うもので、実施の形態3の場合と同様に、適応的・動的にフォーカス画像と変位画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。また、雲台26の制御を行うので、検出した主光源の位置と画面の端までの距離が最小である方向に移動することにより、処理時間の短縮に貢献することができる。
本発明は、デジタルスチルカメラやムービーカメラなどの撮像装置において、ゴースト検出ならびにゴースト補正を高精度に行う技術として有用である。
1 被写体
2 ズームレンズ
3 絞り
4 手ぶれ補正レンズ
5 フォーカスレンズ
6 撮像素子(イメージセンサ)
7 増幅器
8 信号処理回路
9 AF(オートフォーカス)回路
10 フォーカスレンズ駆動回路
11 絞り制御回路
12 撮像素子駆動回路
13 ズームレンズ駆動回路
14 手ぶれ補正レンズ駆動回路
15 ゴースト検出制御回路
16 差分処理回路
17 ゴースト検出回路
18 ゴースト発生通知回路
19 主光源検出回路
20 輪郭画像生成回路
21 倍率補正回路
22 動きベクトル検出回路
23 最大値検出回路
24 位置補正回路
25 雲台駆動回路
26 撮影方向調整用の雲台
30 フレームメモリ管理回路
40 フレームメモリ
a フォーカス画像領域
b デフォーカス画像領域
c 差分処理画像領域
d 前フレーム画像領域
e 現フレーム画像領域
f 現フレーム倍率補正画像領域
f′ 現フレーム位置補正画像領域
g 前フレーム輪郭画像領域
h 現フレーム輪郭画像領域
i 最大値画像領域
j 差分画像領域
2 ズームレンズ
3 絞り
4 手ぶれ補正レンズ
5 フォーカスレンズ
6 撮像素子(イメージセンサ)
7 増幅器
8 信号処理回路
9 AF(オートフォーカス)回路
10 フォーカスレンズ駆動回路
11 絞り制御回路
12 撮像素子駆動回路
13 ズームレンズ駆動回路
14 手ぶれ補正レンズ駆動回路
15 ゴースト検出制御回路
16 差分処理回路
17 ゴースト検出回路
18 ゴースト発生通知回路
19 主光源検出回路
20 輪郭画像生成回路
21 倍率補正回路
22 動きベクトル検出回路
23 最大値検出回路
24 位置補正回路
25 雲台駆動回路
26 撮影方向調整用の雲台
30 フレームメモリ管理回路
40 フレームメモリ
a フォーカス画像領域
b デフォーカス画像領域
c 差分処理画像領域
d 前フレーム画像領域
e 現フレーム画像領域
f 現フレーム倍率補正画像領域
f′ 現フレーム位置補正画像領域
g 前フレーム輪郭画像領域
h 現フレーム輪郭画像領域
i 最大値画像領域
j 差分画像領域
Claims (13)
- フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理手段と、
前記差分処理手段による差分処理画像からゴーストを検出するゴースト検出手段と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理手段および前記ゴースト検出手段を制御するゴースト検出制御手段とを備えたゴースト検出装置。 - 前記ゴースト検出手段は、画像領域をブロック分割し、個々のブロックでの前記差分処理画像に基づいて前記ゴーストの検出を行うように構成されている請求項1に記載のゴースト検出装置。
- 前記ゴースト検出手段は、前記差分処理画像について個々のブロックにおいて所定の閾値以上となる画素差分値の画素数が所定の画素数閾値以上の場合に、そのブロックにゴーストありと判断する請求項2に記載のゴースト検出装置。
- ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正手段によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出手段、前記倍率補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの方向と前記主光源検出手段による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御手段とを備えたゴースト検出装置。 - 前記動きベクトル検出手段は、ブロックマッチング法により前記動きベクトルを検出する請求項4記載のゴースト検出装置。
- 前記ゴースト検出制御手段は、前記ズームレンズを移動させた場合に前記動きベクトルが発生し、かつ前記動きベクトルの方向が前記主光源に向かっている場合に対象となる動領域をゴーストと判定する請求項4または請求項5に記載のゴースト検出装置。
- フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正手段によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出手段、前記位置補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの大きさと前記主光源検出手段による前記主光源の有無とからゴーストを検出するゴースト検出制御手段とを備えたゴースト検出装置。 - さらに、ゴーストありと判断した場合にゴースト検出を外部に通知するゴースト発生通知手段を備えた請求項1から請求項7までのいずれかに記載のゴースト検出装置。
- フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路と、
前記差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理回路および前記ゴースト検出回路を制御するゴースト検出制御回路とを備えたゴースト検出用半導体集積回路。 - ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正回路によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出回路、前記倍率補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの方向と前記主光源検出回路による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御回路とを備えたゴースト検出用半導体集積回路。 - フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正回路によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出回路、前記位置補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの大きさと前記主光源検出回路による前記主光源の有無とからゴーストを検出するゴースト検出制御回路とを備えたゴースト検出用半導体集積回路。 - 請求項1から請求項8までのいずれかに記載のゴースト検出装置と、
前記ゴースト検出制御手段によって制御され、前記ゴースト検出装置がゴースト検出したときに前記フォーカス画像から前記ゴースト検出装置が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正手段とを備えた撮像装置。 - 請求項9から請求項11までのいずれかに記載のゴースト検出用半導体集積回路と、
前記ゴースト検出制御回路によって制御され、前記ゴースト検出用半導体集積回路がゴースト検出したときに前記フォーカス画像から前記ゴースト検出用半導体集積回路が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正回路とを備えた撮像装置用半導体集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006230740A JP2008054206A (ja) | 2006-08-28 | 2006-08-28 | ゴースト検出装置およびその関連技術 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006230740A JP2008054206A (ja) | 2006-08-28 | 2006-08-28 | ゴースト検出装置およびその関連技術 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008054206A true JP2008054206A (ja) | 2008-03-06 |
Family
ID=39237786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006230740A Pending JP2008054206A (ja) | 2006-08-28 | 2006-08-28 | ゴースト検出装置およびその関連技術 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008054206A (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012165087A1 (ja) * | 2011-06-01 | 2012-12-06 | 富士フイルム株式会社 | 撮像装置及びゴースト補正方法 |
WO2013031349A1 (ja) | 2011-08-30 | 2013-03-07 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
JP5240585B2 (ja) * | 2007-09-21 | 2013-07-17 | コニカミノルタアドバンストレイヤー株式会社 | 撮像方法及び撮像装置 |
US8971410B2 (en) | 2010-06-18 | 2015-03-03 | Samsung Electronics Co., Ltd. | Method, apparatus and computer-readable medium processing frames obtained by multiple exposures |
US9020281B2 (en) | 2010-03-01 | 2015-04-28 | Konika Minolta Advanced Layers, Inc. | Ghost detection device and imaging device using the same, ghost detection method and ghost removal method |
EP2934005A1 (en) | 2014-04-18 | 2015-10-21 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, image processing program, and storage medium |
US9363491B2 (en) | 2013-03-05 | 2016-06-07 | Fujifilm Corporation | Imaging device, image processing device, image processing method and program |
US9684954B2 (en) | 2013-12-11 | 2017-06-20 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium |
CN107659771A (zh) * | 2011-07-22 | 2018-02-02 | 株式会社尼康 | 摄像装置 |
US10063829B2 (en) | 2014-04-18 | 2018-08-28 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
US10097806B2 (en) | 2015-03-02 | 2018-10-09 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, non-transitory computer-readable storage medium for improving quality of image |
US10116923B2 (en) | 2015-03-02 | 2018-10-30 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of image |
JP2019152910A (ja) * | 2018-02-28 | 2019-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10460430B2 (en) | 2016-09-23 | 2019-10-29 | Canon Kabushiki Kaisha | Image processing apparatus and method for detecting and reducing an unnecessary light component in an image based on multiple viewpoints |
CN110661940A (zh) * | 2018-06-29 | 2020-01-07 | 半导体元件工业有限责任公司 | 具有深度检测的成像***及操作该成像***的方法 |
WO2023106010A1 (ja) * | 2021-12-10 | 2023-06-15 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器 |
-
2006
- 2006-08-28 JP JP2006230740A patent/JP2008054206A/ja active Pending
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5240585B2 (ja) * | 2007-09-21 | 2013-07-17 | コニカミノルタアドバンストレイヤー株式会社 | 撮像方法及び撮像装置 |
US9020281B2 (en) | 2010-03-01 | 2015-04-28 | Konika Minolta Advanced Layers, Inc. | Ghost detection device and imaging device using the same, ghost detection method and ghost removal method |
US8971410B2 (en) | 2010-06-18 | 2015-03-03 | Samsung Electronics Co., Ltd. | Method, apparatus and computer-readable medium processing frames obtained by multiple exposures |
WO2012165087A1 (ja) * | 2011-06-01 | 2012-12-06 | 富士フイルム株式会社 | 撮像装置及びゴースト補正方法 |
CN107659771A (zh) * | 2011-07-22 | 2018-02-02 | 株式会社尼康 | 摄像装置 |
WO2013031349A1 (ja) | 2011-08-30 | 2013-03-07 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
EP2753062A1 (en) * | 2011-08-30 | 2014-07-09 | Fujifilm Corporation | Imaging device and imaging method |
EP2753062A4 (en) * | 2011-08-30 | 2015-02-11 | Fujifilm Corp | IMAGING DEVICE AND IMAGING METHOD |
US9185389B2 (en) | 2011-08-30 | 2015-11-10 | Fujifilm Corporation | Imaging device and imaging method |
US9363491B2 (en) | 2013-03-05 | 2016-06-07 | Fujifilm Corporation | Imaging device, image processing device, image processing method and program |
US9684954B2 (en) | 2013-12-11 | 2017-06-20 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium |
US10049439B2 (en) | 2013-12-11 | 2018-08-14 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium |
EP2934005A1 (en) | 2014-04-18 | 2015-10-21 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, image processing program, and storage medium |
US9894343B2 (en) | 2014-04-18 | 2018-02-13 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
US10063829B2 (en) | 2014-04-18 | 2018-08-28 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
US10097806B2 (en) | 2015-03-02 | 2018-10-09 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, non-transitory computer-readable storage medium for improving quality of image |
US10116923B2 (en) | 2015-03-02 | 2018-10-30 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of image |
US10460430B2 (en) | 2016-09-23 | 2019-10-29 | Canon Kabushiki Kaisha | Image processing apparatus and method for detecting and reducing an unnecessary light component in an image based on multiple viewpoints |
JP2019152910A (ja) * | 2018-02-28 | 2019-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7030562B2 (ja) | 2018-02-28 | 2022-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN110661940A (zh) * | 2018-06-29 | 2020-01-07 | 半导体元件工业有限责任公司 | 具有深度检测的成像***及操作该成像***的方法 |
WO2023106010A1 (ja) * | 2021-12-10 | 2023-06-15 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008054206A (ja) | ゴースト検出装置およびその関連技術 | |
TWI432870B (zh) | 影像處理系統及自動對焦方法 | |
US8254773B2 (en) | Image tracking apparatus and tracking evaluation method | |
US20120268613A1 (en) | Image capturing apparatus and control method thereof | |
JP3823921B2 (ja) | 撮像装置 | |
US8848096B2 (en) | Image-pickup apparatus and control method therefor | |
JP2009133903A (ja) | 撮像装置およびその撮像方法 | |
JP2002258147A (ja) | 撮像装置、焦点調整方法および記憶媒体 | |
JP2015216485A (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2016142925A (ja) | 撮像装置およびその制御方法、プログラム、記憶媒体 | |
JP2006017960A (ja) | 撮像方法及び撮像装置 | |
CN110022433A (zh) | 摄像设备、镜头设备及其控制方法 | |
JP7009142B2 (ja) | 撮像装置および画像処理方法 | |
JP2006091915A (ja) | 撮像装置 | |
JP2007178577A (ja) | 光学装置 | |
JP6529387B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2011217311A (ja) | 撮像装置および撮像装置の制御方法 | |
US20110164867A1 (en) | Digital photographing apparatus and method that apply high-speed multi-autofocusing (af) | |
JP5964772B2 (ja) | レンズ情報登録システム,レンズ情報登録システムに用いられるレンズ情報サーバおよびカメラ本体 | |
JP2016142999A (ja) | 撮像装置及びその制御方法 | |
JP2016142924A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2009092961A (ja) | 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム | |
JP4985155B2 (ja) | 焦点調節装置および撮像装置 | |
JP2014142497A (ja) | 撮像装置及びその制御方法 | |
JP2007264250A (ja) | 撮影装置及びプログラム |