JP4759488B2

JP4759488B2 - 撮像装置

Info

Publication number: JP4759488B2
Application number: JP2006282289A
Authority: JP
Inventors: 紗央里法田; 正明松岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-10-17
Filing date: 2006-10-17
Publication date: 2011-08-31
Anticipated expiration: 2026-10-17
Also published as: JP2008103797A

Description

本発明は、撮像画像を表示する表示手段を制御する機能を有する撮像装置に関するものである。

近年のデジタルカメラなどの電子カメラに使用される撮像素子の画素数は、数百万画素から１０００万画素を超えるサイズになっている。一方、電子カメラに設けられている表示装置である液晶モニターの画素数は数十万画素にしかすぎない。

このように画素数の少ない液晶モニターを見ながらマニュアルフォーカスで撮影する場合、液晶モニターの画素数が少ないためにピント状態を十分に確認することができない。このため、撮影画像をパソコン上で表示したり、プリンタで印画したりして初めてピントの合っていないことが判る場合がある。

上記の点に鑑み、特許文献１では以下のような対策が開示されている。電子ビューファインダを見ながらマニュアルフォーカスを行う際に、その画面上において撮像画像を表示すると同時に、フォーカス領域に対応する画像部分を拡大表示させるというものである。
特開２００１−２５１５４０号公報

しかしながら、拡大表示されたフォーカス領域は解像度の劣化が伴うため、ユーザーは撮像画像のピント状態を確実に認識できないという問題点があった。

（発明の目的）
本発明の目的は、撮像手段により撮像された第１の画像の一部の解像度を第１の画像より向上させて表示させることのできる撮像装置を提供しようとするものである。

上記目的を達成するために、本発明の一の側面は、撮像手段により撮像された第１の画像および該第１の画像の一部領域に対応する第２の画像を表示手段に表示させる撮像装置において、前記第１の画像の一部領域を切り出す切り出し手段と、前記第１の画像のコントラストを検出する合焦状態検出手段と、前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する第２の画像から複数画像を合成して前記第１の画像より解像度の高い第３の画像を作成する超解像処理手段と、前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する画像に対して拡大処理を行い第４の画像を作成する変倍処理手段と、前記合焦状態検出手段により検出されるコントラストが第１の場合には前記第４の画像を前記表示手段に表示させるとともに、前記合焦状態検出手段により検出されるコントラストが第１の場合よりも高い第２の場合には前記第３の画像を前記表示手段に表示させる制御手段とを有する撮像装置とするものである。
また、他の側面は、撮像手段により撮像された第１の画像に対応する画像を表示手段に表示させる撮像装置において、前記第１の画像の一部領域を切り出す切り出し手段と、前記第１の画像における被写体の動きを検出する動き検出手段と、前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する第２の画像から複数画像を合成して前記第１の画像より解像度の高い第３の画像を作成する超解像処理手段と、前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する画像に対して拡大処理を行い第４の画像を作成する変倍処理手段と、前記動き検出手段により検出される被写体の動きが第１の場合には前記第４の画像を前記表示手段に表示させるとともに、前記動き検出手段により検出される動きが第１の場合よりも小さい第２の場合には前記第３の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置とするものである。

本発明によれば、撮像手段により撮像された第１の画像の一部の解像度を第１の画像より向上させて表示させることができる撮像装置とするものである。

本発明を実施するための最良の形態は、以下の実施例に示す通りである。

図１は本発明の実施例１に係る撮像装置のシステム構成を示す図である。図１において、１０１は撮像用のレンズ、１０２はレンズ１０１を駆動して合焦を行うフォーカス駆動回路、１０３は絞り、１０４は絞り１０３を駆動する絞り駆動回路、１０５は光信号を光電変換する撮像素子である。１０６はアナログ信号をデジタル信号に変換するＡ／Ｄ回路、１０７は補間処理や色変換処理などの画像処理を行う信号処理回路、１０８及び１２７は画像データの縮小や拡大を行う変倍回路である。１０９は合焦の程度を検出する合焦状態検出回路、１１０は被写体の動きベクトルを検知する動きベクトル検出回路、１１２はカメラ本体に付属している各種スイッチである。

１１５はシステムの時系列的な制御を行うシステム制御回路であり、このシステム制御回路１１５は図示していない他の回路についても制御を行う。１１６は画像データから一部の画像を切り出す切り出し回路、１１７は切り出し回路１１６により切り出された画像の超解像処理を行う超解像回路である。１２３はＤＲＡＭ、１１８はＤＲＡＭ１２３と各回路のバスアービトレーション（バス調停）を行うメモリ制御回路、１１９は画像データをＪＰＥＧ圧縮方式などの圧縮方式で圧縮及び伸長するための圧縮伸長回路である。１２０は圧縮伸長回路１１９で圧縮された画像データを記録する脱着可能なメモリカード、１２４はメモリカード１２０とのインターフェースを行うＩ／Ｆ回路である。１２２は画像データを表示する液晶モニター（以下、ＬＣＤ）、１２１はＬＣＤ１２２で画像データを再生するための再生回路である。

次に、図１を用いて、実施例１におけるマニュアルフォーカス（ＭＦ）アシスト機能について説明する。なお、以下に示されるセンサや画像のサイズ、及び変倍率などの数値は一例を示したものであり、これに限定されるものではない。

レンズ１０１を介して入射された光信号は、絞り１０３にて適切に露出された状態で、画素数１６００×１２００のサイズの撮像素子１０５において電気信号に変換される。そして、垂直方向に間引かれて１６００×３００のサイズで読み出される。その後、Ａ／Ｄ回路１０６でアナログ信号からデジタル信号に変換され、信号処理回路１０７において補間処理や色変換処理などが施され、輝度色差信号に変換される。画像処理後のサイズは１６００×３００である。

上記信号処理回路１０７からの画像データは変倍回路１０８及び切り出し回路１１６へ送られる。変倍回路１０８では、画像データが６４０×２４０になるように画像データの縮小処理が行われ、メモリ制御回路１１８に送られる。この時の画像データは、図３（ａ）に示す全体画像３０１に相当する。

同時に、図３（ｂ）に示すアシスト表示領域画像３０２が以下の処理により生成される。切り出し回路１１６において、焦点位置を明瞭に表示するためのアシスト表示領域（フォーカス領域）が画像データから１６０×６０のサイズにて切り出し処理される。切り出されたアシスト表示領域の画像データは変倍回路１２７に送られるか、または、メモリ制御回路１１８を介してＤＲＡＭ１２３に一時格納される。そして、再びメモリ制御回路１１８を介して超解像回路１１７に送られる。

変倍回路１２７へ送られた場合、画像データのサイズは水平垂直に２倍に拡大処理された３２０×１２０になり、全体画像３０１の１／４のサイズである図３（ｂ）に示す拡大後のアシスト表示領域画像３０２となる。そして、メモリ制御回路１１８に送られ、ＤＲＡＭ１２３に一時格納される。

一方、切り出し回路１１６からメモリ制御回路１１８、ＤＲＡＭ１２３を介して超解像回路１１７へ送られた場合、４フレーム以上のアシスト表示領域の画像データを用いて超解像処理が施され、水平垂直に２倍された３２０×１２０となる。そして、図３（ｂ）に示す超解像後のアシスト表示領域画像３０２となり、メモリ制御回路１１８に送られ、ＤＲＡＭ１２３に一時格納される。

ここで、図４を用いて超解像回路１１７における超解像処理の一例を説明する。

図１の切り出し回路１１６において、図４に示す１６０×６０のサイズに切り出された、互いに連続するフレームである画像１、画像２、画像３、画像４の４枚がメモリ制御回路１１８を介してそれぞれＤＲＡＭ１２３に一時格納される。そして、まず画像１及び画像２がＤＲＡＭ１２３からメモリ制御回路１１８を介して超解像回路１１７に読み出される。そして、超解像回路１１７において、画像１を基準とした画像２のずれ量が求められる。画像１と画像２がずれている様子を図５に示す。図５の（Ａ−１）におけるＡ（Ａ１〜Ａ４）が画像１、（Ｂ−１）におけるＢ（Ｂ１〜Ｂ４）が画像２であるとする。

図５の（Ａ−２），（Ｂ−２）に示すように、Ａの画素及びＢの画素の前後左右に１画素ずつ黒データ、つまり０値の画素Ｋを入れる。ＡとＢの画素が水平方向にずれ量Ｈ、垂直方向にずれ量Ｖだけずれているとき、二つを重ねると、図５の（ＡＢ−３）に示す状態になる。なお、ずれ量Ｈ及びＶは１以下の数値とする。画素Ｋの値を画素Ｂから以下のように算出する。

例１として、ずれ量Ｈ＝０．５、ずれ量Ｖ＝０．５とした時、Ｋ３，Ｋ６，Ｋ９，Ｋ１２の画素データを、Ｋ３＝Ｂ１といったように、それぞれＢ１〜Ｂ４の画素データで表すことができる。この時、Ｋ１及びＫ２、Ｋ４及びＫ５、Ｋ７及びＫ８、Ｋ１０及びＫ１１の値は算出しない。

例２として、ずれ量Ｈ＝０．３、ずれ量Ｖ＝０とした時、Ａの画素の右側、すなわちＫ１，Ｋ４，Ｋ７，Ｋ１０の値をそれぞれ下記の式により算出する。

Ｋ１＝（０．５＋Ｈ）×Ｂ１＋（０．５−Ｈ）×Ｂ２
＝０．８×Ｂ１＋０．２×Ｂ２
この時、Ｋ２及びＫ３、Ｋ５及びＫ６、Ｋ８及びＫ９、Ｋ１１及びＫ１２の値は算出しない。

例３として、ずれ量Ｈ＝０．３、ずれ量Ｖ＝０．３とした時、Ｋ３，Ｋ６，Ｋ９，Ｋ１２の値をそれぞれ下記の式により算出する。

Ｋ３＝（０．５＋Ｖ）×｛（０．５＋Ｈ）×Ｂ１＋（０．５−Ｈ）×Ｂ２｝＋
（０．５−Ｖ）×｛（０．５＋Ｈ）×Ｂ３＋（０．５−Ｈ）×Ｂ４｝
＝０．８^２×Ｂ１＋０．８×０．２×（Ｂ２＋Ｂ３）＋０．２^２×Ｂ４
この時、Ｋ１及びＫ２、Ｋ４及びＫ５、Ｋ７及びＫ８、Ｋ１０及びＫ１１の値は算出しない。

上記のような方法を用いて、図４における画像１及び画像２から合成画像１を生成する。このとき、合成画像１のサイズは、３２０×１２０となる。合成画像１をＤＲＡＭ１２３に一時格納する。

次に、ＤＲＡＭ１２３から合成画像１及び画像３を読み出す。この時、図５の（Ａ−１），（Ｂ−１）におけるＡが合成画像１、Ｂが画像３であるとし、（Ａ−２）においてはＫ１乃至Ｋ３のうち１画素が算出されている状態であるとする。合成画像１は画像３に比べて画素数が２倍であるが、画像３についても図５の（Ｂ−２）に示すようにＢの画素の前後左右に１画素ずつ黒データを入れる。合成画像１の残りの画素Ｋの位置に画像３の画素データをもとに上記と同様の方法で算出を行う。画像３のずれ量によっては、画素Ｂの位置が画素Ａに近い場合や、合成画像１を生成する際に算出された画素Ｋの位置に近い場合においては、画素Ｂより算出された画素データと既存の画素データを足して正規化する。そのため、残りの画素Ｋを埋めることができない。このようにして生成された合成画像２をＤＲＡＭ１２３に一時格納する。

次に、ＤＲＡＭ１２３から合成画像２及び画像４を読み出し、上記と同様の方法で合成して超解像画像１を生成する。超解像画像１において画素データを算出できなかった画素Ｋについては、超解像画像１の周りの画素を用いて補間する。超解像画像１をＤＲＡＭ１２３に一時格納する。超解像画像１のサイズは、図４に示すように３２０×１２０となる。

超解像画像１の次のフレームとなる超解像画像２（図示せず）を生成するためには、基準となる画像を画像２として、画像２と画像３のずれ量、画像２と画像４のずれ量、画像２と画像５のずれ量を求め、同様に超解像処理を行うことで３２０×１２０の超解像画像２を生成する。以降、続けて同様の超解像処理を行う。

なお、超解像画像２を生成する際において、超解像画像１のデータを使用せず、新たに画像２乃至画像５より超解像処理を行う。超解像画像１のデータを使用すると、古いデータが残ってしまうため、電子ビューファインダ（以下、ＥＶＦ）での表示を続けると残像になって見えてしまうためである。

図１のＤＲＡＭ１２３に一時格納された、６４０×２４０に変倍された全体画像３０１、及び、超解像処理または拡大処理により３２０×１２０のサイズになったアシスト表示領域画像３０２は、メモリ制御回路１１８を介して再生回路１２１に読み出される。

手ぶれ検出は動きベクトル検出回路１１０において行われ、前後のフレームを比較し、図７（ａ）に示すように画像の分割ブロックの動きベクトルがそれぞれほぼ同等であれば、手ぶれが生じていると判定される。さらに図７（ｂ）に示すように、手ぶれによって被写体が有効画素６０１内で何画素分移動したかを動きベクトルの大きさから検出する。この検出結果を再生回路１２１に送り、再生回路１２１において、６４０×２４０程度の表示能力のＬＣＤ１２２に表示させる。このために、全体画像３０１の読み出し開始画素６０３の位置を検出結果による画素だけ移動させることにより、ＬＣＤ表示領域６０２において被写体を同じ位置に表示させる。

さらに全体画像３０１の真中をアシスト表示領域画像３０２で置換することにより、ＬＣＤ１２２において、図３（ｃ）のように、全体画像３０１に超解像画像または拡大画像を重ねて表示させる。超解像画像または拡大画像は全体画像３０１に比べて２倍の大きさで手ぶれが生じる。そのため、再生回路１２１において、図６（ｂ）に示す、超解像画像または拡大画像の読み出し開始画素６０３の位置を２倍の大きさで移動し、手ぶれ補正を行う。

このとき、レリーズボタンが押されると、撮像素子１０５において有効画素１６００×１２００のデータが読み出される。そして、信号処理回路１０７及び変倍回路１０８において所望の画像処理が行われ、メモリ制御回路１１８を介してＤＲＡＭ１２３に一時記録される。その後、ＤＲＡＭ１２３から圧縮伸長回路１１９へ撮像画像が読み出され、圧縮伸長回路１１９においてＪＰＥＧ圧縮され、メモリカード１２０に記録される。

次に、図２のフローチャートを用いて、実施例１における主要部分の動作について説明する。

ステップ２０１にてカメラが起動すると、まずステップ２０２において、マニュアルフォーカス（ＭＦ）で撮影を行う設定になっているか否かを判定する。マニュアルフォーカスであればステップ２０３へ進み、ここではマニュアルフォーカス（ＭＦ）アシスト機能がＯＮになっているか否かを判定する。その結果、ＯＮになっていればステップ２０４へ進み、合焦状態検出回路１０９が図８の分割枠７０２毎に焦点評価値を積分する。そして、最も焦点評価値の高い分割率をアシスト表示領域として切り出し回路１１６が１６０×６０のサイズで切り出す。画像のコントラストに対応する焦点評価値を検出するための分割枠は、切り出すサイズと同程度が望ましい。

図２に戻り、次のステップ２０５においては、図１の合焦状態検出回路１０９が、アシスト表示領域内の画像の焦点評価値をある程度合焦しているか否かの判定レベルとなる予め設定されている閾値と比較する。その結果、閾値を超えていたらステップ２１６へ進む。このように焦点評価値が閾値以上であるとステップ２０６にて、動きベクトル検出回路１１０により被写体の動きを検出する。そして、図９に示すように、部分的に動きベクトルの大きさ及び方向が異なっている場合には、被写体が動いていると判定する。被写体が静止状態または動きが小さい状態であればステップ２０６へ進み、図１の切り出し回路１１６で１６０×６０のサイズに切り出されたアシスト表示領域の画像を超解像回路１１７にて超解像処理し、図３（ｂ）に示すような３２０×１２０の超解像画像を生成する。

上記ステップ２０５において焦点評価値が閾値以上であると判定し、次のステップ２１６において、被写体が著しく動いている状態であればステップ２０７へ進む。ステップ２０７においては、切り出し回路１１６で１６０×６０のサイズに切り出されたアシスト表示領域の画像を変倍回路１２７において３２０×１２０のサイズになるよう拡大処理を行う。そして、図３（ｂ）に示すような拡大画像をアシスト表示領域画像３０２として生成する。

また、ステップ２０５において合焦評価値が閾値未満であると判定するとステップ２０７へ進み、切り出し回路１１６で１６０×６０のサイズに切り出し処理を行う。そして、アシスト表示領域の画像を生成し、変倍回路１２７において３２０×１２０のサイズになるよう拡大処理を行い、図３（ｂ）に示すような拡大画像をアシスト表示領域画像３０２として生成する。

上記ステップ２０６及び２０７においては、超解像画像または拡大画像をメモリ制御回路１１８を介してＤＲＡＭ１２３に一時格納する。同時に、変倍回路１０８において６４０×２４０のサイズに変倍された図３（ａ）の全体画像３０１を、メモリ制御回路１１８を介してＤＲＡＭ１２３に一時格納する。再生回路１２１はメモリ制御回路１１８を介して全体画像３０１及び超解像画像または拡大画像を読み出し、再生回路１２１において全体画像３０１の真中をアシスト表示領域画像３０２で置換する。このことにより、ＬＣＤ１２２において、図３（ｃ）のように、全体画像３０１に超解像画像または拡大画像が重ねて表示される。

上記ステップ２０５のような切り換えを行うことで、ピントが合っていない状態から次第にピントが合ってくると、アシスト表示領域の画像を通常の画素が粗くなる拡大処理から解像度の良い超解像処理に切り換えた瞬間において、合焦状態を認識しやすくなる。

また、アシスト表示領域の画像を超解像処理する際においても、拡大処理した時よりも解像度の良い状態でマニュアルフォーカスが行えるため、よりピントを合わせ易くなる。

再び図２に戻り、ステップ２０８においては、上記ステップ２０４でのアシスト表示領域の表示位置がユーザーにとって所望の合焦位置でなかった場合に、ユーザーが図１における十字キーなどのスイッチ１１２を操作することで、アシスト表示領域を移動させ、変更することができる。この時の合焦位置の移動範囲について、図６を用いて説明する。

図６（ａ）に示すように、有効画素の上下左右の端まで有効とする。図６（ａ）の全体画像の左下に示した枠の部分を合焦させたい領域（フォーカス領域）としたとき、アシスト表示領域としてこの領域を切り出して超解像処理を行う。

図６（ｂ）において、アシスト表示領域であるフレーム１、フレーム２およびフレーム３は、時間ｔづつずれた隣り合うフレームである。フレーム１を基準とし、フレーム２及びフレーム３を利用してフレーム１の構図について超解像処理を行う。黒い二重枠で示した切り出し領域５０１は、切り出し回路１１６において切り出された領域を示している。点線の枠で示した超解像領域５０２は、超解像処理を行うために必要である領域を示している。

フレーム２は、フレーム１に対してカメラが右上方向に手ぶれし、切り出し領域５０１が右上にずれた時について示しており、欠損箇所１で示すフレーム１の構図における左側と下側の領域の画像データが欠損している。

また、フレーム３は、フレーム１に対してカメラが左下方向に手ぶれし、切り出し領域５０１が左下にずれた時について示しており、欠損箇所２で示すフレーム１の構図における上側と右側の領域の画像データが欠損している。そのため、欠損箇所１及び欠損箇所２の画素データはフレーム１などの別のフレームから同じ領域の画素データをコピーして補うことで、画像の端の部分においてもアシスト表示を可能としている。また、切り出すサイズを１６０×６０よりも少し大きい領域とすることも有効である。

再び図２に戻り、次のステップ２０９においては、ユーザーにより図３（ｃ）のような状態でＥＶＦ表示されたＬＣＤ１２２を見ながらマニュアルフォーカスが行われる。そして、次のステップ２１１において、ユーザーにより撮影が行われる。このステップ２１１の撮影終了後は、ステップ２０１のカメラを起動した直後の状態に戻る。

また、上記ステップ２０２において、マニュアルフォーカスではなく、オートフォーカスの設定である場合はステップ２１０へ進み、ここでは自動合焦動作を行い、次のステップ２１１にて、ユーザーにより撮影が行われる。

また、上記ステップ２０３において、ＭＦアシストがＯＦＦの設定である場合、ＬＣＤ１２２のＥＶＦ表示が図３（ａ）に示すような全体画像３０１が表示され、ステップ２０９において、ユーザーによりマニュアルフォーカスが行われ、次のステップ２１１において、ユーザーにより撮影が行われる。

以上の実施例１によれば、ＬＣＤ１２２画面上に表示されたＥＶＦ表示を見ながらマニュアルフォーカスを行う際に、撮像画像のアシスト表示領域（フォーカス領域）を超解像処理するようにしている。これにより、１画素未満のような小さな被写体を明瞭に表示することができ、合焦したか否かの判定を容易なものにすることができる。

図１０は本発明の実施例２に係わる撮像装置のシステム構成を示す図であり、図１と同じ部分は同一符号を付し、その説明は省略する。

上記実施例１においては、手ぶれ補正は、再生回路１２１においてＬＣＤ表示開始位置をずらすことで行っていた。これに対し、本発明の実施例２においては、信号処理回路１０７の直後であり、超解像処理の前において、手ぶれ補正を行う場合の構成について説明する。

レンズ１０１を介して入射された光信号は、絞り１０３にて適切に露出された状態で画素数１６００×１２００のサイズの撮像素子１０５において電気信号に変換される。そして、垂直方向に間引かれて１６００×３００のサイズで読み出される。そして、Ａ／Ｄ回路１０６でアナログ信号からデジタル信号に変換され、信号処理回路１０７において補間処理や色変換処理などが施される。画像処理後のサイズは１６００×３００である。

画像処理された画像データは、信号処理回路１０７から手ぶれ補正回路１２６へ送られる。手ぶれ補正回路１２６において行われる手ぶれ検出方法の一例を説明する。

手ぶれ補正回路１２６において、ある時刻のフレームをフレームメモリ１２５に置き、次のフレームと画像マッチングを行う。そして、検出されたずれ量に応じて、次のフレームをフレームメモリ１２５へ置く開始画素を移動させる。フレームメモリ１２５へ置く開始画素の移動量は画素単位であり、手ぶれ補正後における前後のフレーム間のずれ量は１画素未満である。手ぶれ補正回路１２６から手ぶれ補正された画像データは変倍回路１０８及び切り出し回路１１６へ送られる。

変倍回路１０８においては、６４０×２４０のサイズに画像データの縮小処理を行い、縮小された画像データをメモリ制御回路１１８を介してＤＲＡＭに一時格納する。この時の画像データは、図３（ａ）に示す全体画像３０１に相当する。同時に、図３（ｂ）に示すアシスト表示領域画像３０２を以下の処理により生成する。

切り出し回路１１６において、焦点位置を明瞭に表示するためのアシスト表示領域を画像データから１６０×６０のサイズにて切り出し処理を行う。切り出されたアシスト表示領域の画像データは変倍回路１２７に送られるか、またはメモリ制御回路１１８を介してＤＲＡＭ１２３に一時格納される。そして、再びメモリ制御回路１１８を介して超解像回路１１７に送られる。

切り出し回路１１６から変倍回路１２７へ送られた場合、画像データのサイズは水平垂直に２倍に拡大処理された３２０×１２０になり、全体画像３０１の１／４のサイズである図３（ｂ）に示す拡大後のアシスト表示領域画像３０２となり、メモリ制御回路１１８に送られ、ＤＲＡＭ１２３に一時格納される。

一方、切り出し回路１１６から超解像回路１１７へ送られた場合、前後のフレームにおけるずれ量が１画素未満である４フレーム以上のアシスト表示領域の画像データを用いて超解像処理が施される。サイズは水平垂直に２倍された３２０×１２０となり、図３（ｂ）に示す超解像後のアシスト表示領域画像３０２となり、メモリ制御回路１１８に送られＤＲＡＭ１２３に一時格納される。

ＤＲＡＭ１２３に一時格納された、６４０×２４０に変倍された全体画像３０１、及び、超解像処理または拡大処理により３２０×１２０のサイズになったアシスト表示領域画像３０２は、メモリ制御回路１１８を介して再生回路１２１に読み出される。再生回路１２１においては、全体画像３０１の真中をアシスト表示領域画像３０２で置換することによって、６４０×２４０程度の表示能力のＬＣＤ１２２において図３（ｃ）に示すような全体画像３０１の上にアシスト表示領域画像３０２を重ねる形で表示する。

このとき、レリーズボタンが押されると、撮像素子１０５において有効画素１６００×１２００のデータが読み出され、信号処理回路１０７及び変倍回路１０８において所望の画像処理が行われる。そして、手ぶれ補正回路１２６において手ぶれ補正された画像データは、メモリ制御回路１１８を介してＤＲＡＭ１２３に一時記録され、ＤＲＡＭ１２３から圧縮伸長回路１１９へ読み出され、圧縮伸長回路１１９においてＪＰＥＧ圧縮され、メモリカード１２０に記録される。

以上の実施例２によれば、ＬＣＤ１２２画面上に表示されたＥＶＦ表示を見ながらマニュアルフォーカスを行う際に、撮像画像のアシスト表示領域を超解像処理するようにしている。これにより、１画素未満のような小さな被写体を明瞭に表示することができ、合焦したか否かの判断を容易なものにすることができる。

以上説明した実施例１及び２では、撮影に十分な明るさのある場所や被写体を撮影した場合であり、超解像処理で複数のフレームを合成した際にフレームの枚数分を正規化する方法を示している。しかし、被写体や場所が暗くなるような撮影の場合においては、超解像処理で複数のフレームを合成した際に、正規化せず、加算して表示ゲインを上げた状態でＬＣＤにＥＶＦ表示するようにしてもよい。これにより、暗い被写体が明るくなり、マニュアルフォーカスを容易に行うことができるようになる。

本発明の実施例１に係わる撮像装置のシステム構成を示す図である。本発明の実施例１に係わる撮像装置の主要部分の動作を示すフローチャートである。本発明の実施例１においてＬＣＤでＥＶＦ表示させた状態を説明する図である。本発明の実施例１において超解像処理の一例を示す図である。図４での超解像度処理における合成画像の生成例を説明する図である。本発明の実施例１においてアシスト表示領域の有効範囲について説明する図である。本発明の実施例１において手ぶれ補正の一例を説明する図である本発明の実施例１においてＡＦ領域分割システムを説明する図である。本発明の実施例１において被写体が動いている時の動きベクトルの様子を示す図である。本発明の実施例２に係わる撮像装置のシステム構成を示す図である。

符号の説明

１０１レンズ
１０２フォーカス駆動回路
１０３絞り
１０４絞り駆動回路
１０５撮像素子
１０７信号処理回路
１０８変倍回路
１０９合焦状態検出回路
１１０動きベクトル検出回路
１１５システム制御回路
１１６切り出し回路
１１７超解像回路
１１８メモリ制御回路
１２０メモリカード
１２１再生回路
１２２ＬＣＤ
１２３ＤＲＡＭ
１２５フレームメモリ
１２６手ぶれ補正回路
１２７変倍回路

Claims

撮像手段により撮像された第１の画像に対応する画像を表示手段に表示させる撮像装置において、
前記第１の画像の一部領域を切り出す切り出し手段と、
前記第１の画像のコントラストを検出する合焦状態検出手段と、
前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する第２の画像から複数画像を合成して前記第１の画像より解像度の高い第３の画像を作成する超解像処理手段と、
前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する画像に対して拡大処理を行い第４の画像を作成する変倍処理手段と、
前記合焦状態検出手段により検出されるコントラストが第１の場合には前記第４の画像を前記表示手段に表示させるとともに、前記合焦状態検出手段により検出されるコントラストが第１の場合よりも高い第２の場合には前記第３の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置。
前記第２の画像は、マニュアルフォーカスの際のフォーカス領域の画像であることを特徴とする請求項１に記載の撮像装置。
撮像手段により撮像された第１の画像に対応する画像を表示手段に表示させる撮像装置において、
前記第１の画像の一部領域を切り出す切り出し手段と、
前記第１の画像における被写体の動きを検出する動き検出手段と、
前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する第２の画像から複数画像を合成して前記第１の画像より解像度の高い第３の画像を作成する超解像処理手段と、
前記切り出し手段にて切り出された前記第１の画像の一部領域に対応する画像に対して拡大処理を行い第４の画像を作成する変倍処理手段と、
前記動き検出手段により検出される被写体の動きが第１の場合には前記第４の画像を前記表示手段に表示させるとともに、前記動き検出手段により検出される動きが第１の場合よりも小さい第２の場合には前記第３の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置。
前記超解像処理手段により連続する複数のフレーム画像を合成処理する際に、手ぶれによって欠損した領域の画素データを、該欠損した領域の画素データを有する他のフレーム画像の画素データによって補うことを特徴とする請求項１ないし３のいずれかに記載の撮像装置。
前記連続する複数のフレーム画像を加算することによって表示感度を増加させることを特徴とする請求項１ないし４のいずれかに記載の撮像装置。
前記制御手段は、前記第１の画像とともに、前記第３の画像または第４の画像を前記表示手段に表示させることを特徴とする請求項１ないし５のいずれかに記載の撮像装置。