JP4997745B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置、及びその撮像方法に関するものである。

従来、撮影した画像を画像データとして記録媒体に記録する電子カメラ装置においては、通常のアスペクト比（３：４）と異なる、例えば通常よりも横長のワイドアスペクト比（９：１６等）の画像を記録する場合、撮像素子から出力された通常のアスペクト比の画像データにおける上下の余剰部分を削除することによりワイドアスペクト比の画像データを生成して記録する方法が知られている（例えば下記特許文献１参照）。
特開平７−３０７８８号公報

しかしながら、上記方法によりワイドアスペクト比の画像を得るとき、必要とする画像の画素数（画像サイズ）が撮像素子の有効画素数よりもかなり少ない場合には、撮像素子から出力された画像データの上下の余剰部分をカットするだけでは必要とする画素数を得には不十分である。そのため、上記場合には、余剰部分をカットするだけでなく、画像データに対して画素間引き（単純間引き）を行う必要があり、結果的に偽色の発生などの画像劣化が不可避的に生じてしまうという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、必要とするアスペクト比の画像が取得できるだけでなく、必要とする画像サイズが小さい場合であっても、撮像時に得られる画素情報を有効に利用した質の高い画像を得ることが可能となる撮像装置及び撮像方法と、それらの実現に使用されるプログラムを提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、被写体画像を撮像する撮像素子とその撮像素子からの画像データから動画ファイルを作成する動画処理手段を備えた撮像装置において、前記動画ファイルのアスペクト比を設定する動画設定手段と、前記動画処理手段の処理能力に基づく総画素数と前記アスペクト比から動画処理可能な最大の縦横画像サイズを算出し、縦と横の両方がその縦横画像サイズ以上でかつそれに近い縦横画像サイズとなる整数倍の加算数を算出する加算数算出手段と、前記撮像素子から、前記被写体画像の画像データを前記加算数に応じて画素加算して読み出す読出し手段と、この読出し手段により読み出された画像データに基づく画像から、当該画像の縦及び横の辺に沿う前記縦横画像サイズに対する余剰部分を削除することにより、動画を構成する前記アスペクト比かつ前記縦横画像サイズの画像を生成する画像生成手段とを備えたものとした。

かかる構成においては、被写体画像の画像データが、画素加算により縮小されかつ有効画素のほぼ全て乃至は全ての画素情報が反映された状態で撮像素子から読み出され、その画像データに基づく画像における所定の辺に沿う所定幅の余剰部分が削除されることによって、所定のアスペクト比の画像が生成される。したがって、撮像素子から読み出した画像データに基づく画像から削除する余剰部分の調整によって必要とするアスペクト比の画像が生成できるとともに、必要とする画像サイズが小さい場合であっても、撮像時に得られた全画素情報から破棄される分の情報量を最小限に止めることができる。
また、撮像素子からの画像データ読み出し時の画素加算数を、高画質を維持しつつ必要とする画像サイズに適した画素加算数とすることができ、それによっても撮像時に得られた全画素情報から破棄される分の情報量を最小限に止めることができる。
さらに、撮像した画像を記録する際の処理効率を向上させることができる。

また、請求項２の発明にあっては、前記画像生成手段は、前記読出し手段により読み出された画像データに基づく画像から、当該画像の上下及び／又は左右における所定幅の余剰部分を削除することにより、動画を構成する前記アスペクト比の画像を生成するものとした。

また、請求項３の発明にあっては、被写体画像を撮像する撮像素子とその撮像素子からの画像データから動画ファイルを作成する動画処理手段を備えた撮像装置の撮像方法において、前記動画ファイルのアスペクト比を設定する動画設定工程と、前記動画処理手段の処理能力に基づく総画素数と前記アスペクト比から動画処理可能な最大の縦横画像サイズを算出し、縦と横の両方がその縦横画像サイズ以上でかつそれに近い縦横画像サイズとなる整数倍の加算数を算出する工程と、前記撮像素子から、前記被写体画像の画像データを前記加算数に応じて画素加算して読み出す工程と、読み出した画像データに基づく画像から、当該画像の縦及び横の辺に沿う前記縦横画像サイズに対する余剰部分を削除することにより、動画を構成する前記アスペクト比かつ前記縦横画像サイズの画像を生成する工程とを含む方法とした。

かかる方法においては、被写体画像の画像データが、画素加算により縮小されかつ有効画素のほぼ全て乃至は全ての画素情報が反映された状態で撮像素子から読み出され、その画像データに基づく画像における所定の辺に沿う所定幅の余剰部分が削除されることによって、所定のアスペクト比の画像が生成される。したがって、撮像素子から読み出した画像データに基づく画像から削除する余剰部分の調整によって必要とするアスペクト比の画像が生成できるとともに、必要とする画像サイズが小さい場合であっても、撮像時に得られた全画素情報から破棄される分の情報量を最小限に止めることができる。
また、撮像素子からの画像データ読み出し時の画素加算数を、高画質を維持しつつ必要とする画像サイズに適した画素加算数とすることができ、それによっても撮像時に得られた全画素情報から破棄される分の情報量を最小限に止めることができる。
さらに、撮像した画像を記録する際の処理効率を向上させることができる。

また、請求項４の発明にあっては、被写体画像を撮像する撮像素子とその撮像素子からの画像データから動画ファイルを作成する動画処理手段を備えた撮像装置が有するコンピュータに、前記動画ファイルのアスペクト比を設定するための処理と、前記動画処理手段の処理能力に基づく総画素数と前記アスペクト比から動画処理可能な最大の縦横画像サイズを算出し、縦と横の両方がその縦横画像サイズ以上でかつそれに近い縦横画像サイズとなる整数倍の加算数を算出する処理と、前記撮像素子から、前記被写体画像の画像データを、前記加算数に応じて画素加算して読み出すための処理と、読み出した画像データに基づく画像から、当該画像の縦及び横の辺に沿う前記縦横画像サイズに対する余剰部分を削除することにより、動画を構成する前記アスペクト比かつ前記縦横画像サイズの画像を生成するための処理とを実行させるプログラムとした。

以上のように本発明においては、撮像素子からの画像データ読み出し時の画素加算数を、高画質を維持しつつ必要とする画像サイズに適した画素加算数とすることができ、それによって撮像時に得られた全画素情報から破棄される分の情報量も最小限に止めることができる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラのブロック図である。このデジタルカメラは、静止画撮影機能と動画撮影機能とを有するものであり、以下の構成を備えている。

すなわちデジタルカメラは、カメラ本体１と、カメラ本体１に着脱可能な記録メディア２０から構成されており、カメラ本体１にはズームレンズやフォーカスレンズからなる光学系２、及び撮像手段であるＣＣＤ３が配置されている。ＣＣＤ３はタイミングジェネレータ７から送られる水平及び垂直駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。なお、本実施の形態では、タイミングジェネレータ７がＣＰＵ１３と共に本発明の読出し手段として機能する。

ＣＣＤ３の出力信号はＣＤＳ回路４で相関二重サンプリング及びゲイン調整を行われ、Ａ／Ｄ変換回路５でデジタル信号に変換される。Ａ／Ｄ変換された撮像信号はＤＳＰ部６に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路でＹＵＶ変換によって輝度（Ｙ）信号及び色差（ＵＶ）信号に変換される。なお、ＤＳＰ部６ではオートアイリス、オートホワイトバランス、輪郭強調などの画品質向上のための処理も行われる。

ＤＳＰ部６で変換されたＹＵＶデータは、１フレーム分のデータが順次内蔵メモリ１４（例えばＳＤＲＡＭ）に格納される。内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは、ＣＰＵ１３により後述するサイズ調整が行われた後、表示コントローラ１１へ送られ、そこでビデオ信号に変換されてＬＣＤ（液晶表示器）１２によりスルー画像、すなわち動画像として表示される。

また、デジタルカメラは、本発明の圧縮手段であるＪＰＥＧ圧縮伸長ブロック８とＭＰＥＧ圧縮伸長ブロック９とを有しており、記録モードでの静止画撮影時に内蔵メモリ１４に格納された１フレームの分ＹＵＶデータは必要に応じて後述するサイズ調整処理が行われた後、ＪＰＥＧ圧縮伸長ブロック８でＪＰＥＧ方式等でデータ圧縮後コード化され、内蔵メモリ１４内でファイル化された後、メディアコントローラ１０を介して記録メディア２０（記録手段）に静止画データ（静止画ファイル）として記録される。

また、記録モードでの動画撮影時に内蔵メモリ１４に格納された１フレームの分ＹＵＶデータは、ＣＰＵ１３により後述するサイズ調整が行われるとともに、順次ＭＰＥＧ圧縮伸長ブロック９へ送られ、ＭＰＥＧ方式のコーデックによりデータ圧縮した後コード化され、メディアコントローラ１０を介してフレームデータとして記録メディア２０に順次書き込まれる。つまりストリーム記録される。そして、最終的には動画ファイルとして記録メディア２０に記録される。なお、動画撮影時のフレームレートはタイミングジェネレータ７で作成されるタイミング信号によって決まり、コード化されるデータの圧縮率はＭＰＥＧ圧縮伸長ブロック９内の量子化テーブル値によって決定される。また、本実施の形態において、ＭＰＥＧ圧縮伸長ブロック９で処理可能な最大画素数はＶＧＡ画像（４８０×６４０）に相当する画素数（約３０万画素）である。

一方、再生モードにおいて、前記ＪＰＥＧ圧縮伸長ブロック８は、記録メディア２０から読み出された静止画像の圧縮データを伸張し、静止画データとして内蔵メモリ１４に展開する。また、ＭＰＥＧ圧縮伸長ブロック９は、記録メディア２０から読み出された動画像の圧縮データを伸張し、動画データとして内蔵メモリ１４に展開する。そして、展開された画像は表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ１２により再生画像として表示される。なお、ＬＣＤ１２にはスルー画像や再生画像だけでなく、必要に応じてデジタルカメラにおける各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。また、ＬＣＤ１２の解像度は、縦５４０画素、横７２０である。

音声処理ブロック１５は、動画撮影時においてカメラ本体１に内蔵されたマイク１６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ１４へ送る。内蔵メモリ１４に送られたオーディオデータは動画像のフレームデータと共にストリームデータとして記録メディア２０に順次書き込まれる。また、音声処理ブロック１５は、動画再生時には、内蔵メモリ１４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ１７から音声出力させる。

キー入力ブロック１８は、電源キー、モード切替キー、静止画撮影時の撮影指示に用いられるシャッターキー、動画撮影時における録画開始／終了の指示に用いられる録画指示キー、各種の設定画面を表示させるためのＭＥＮＵキー、設定画面による設定操作に用いられるセットキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＣＰＵ１３に出力する。

以上の各ブロックはＣＰＵ１３によって制御されており、ＣＰＵ１３が各ブロックの制御に必要とされるプログラムや各種データはＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ１９に記憶されている。なお、プログラムメモリ１９には、ユーザーにより設定、又は変更されたシステムや各機能に関する他の設定データも記憶されている。そして、ＣＰＵ１３は上記プログラム及びキー入力信号に基づき動作することにより本発明の画像生成手段、読出し制御手段として機能する。

また、プログラムメモリ１９には、後述する記録モードでの動作に際して使用される図２に示した設定情報１００が記録されている。図示したように設定情報１００は、記録画像サイズと、各サイズに対応するＣＣＤ駆動モード、すなわち前記ＣＣＤ３から画素信号（ベイヤデータ）を読み出す際の駆動モードと、上下及び／又は左右の余剰部分のカット幅とを示す情報ある。

本実施の形態においては、前記ＣＣＤ３のアスペクト比が３：４で且つ有効画素数が約１５５万画素であり、設定可能な記録画像サイズは、静止画撮影では通常の（ＣＣＤ３のアスペクト比と同じ）アスペクト比、すなわち縦横比（３：４）の「１，０８０×１，４４０」を最大とした複数種類と、縦横比が横長（９：１６）の「８１０×１４４０」を最大とした複数種類であり、「高・中・低」の解像度レベル毎に２種類の縦横比が存在する。また、動画撮影では縦横比が通常（３：４）の「４８０×６４０」と、縦横比が横長（９：１６）の「４０５×７２０」の２種類である。

また、ＣＣＤ駆動モードは通常モード（非画素加算）と画素加算モードとの２種類であり、通常モードは、ＣＣＤ３から一般的なフレーム読み出しによって全画素の信号電荷をそのまま読み出す駆動モードであり、画素加算モードは、ＣＣＤ３から、縦方向と横方向とに各々２画素の加算（４画素加算）を行って画素信号を読み出す駆動モードである。

ここで、画素加算モード（以下、４画素加算モードという。）による画像信号の読み出し方法について説明する。図３は、その原理を示す前記ＣＣＤ３の模式図である。すなわちＣＣＤ３は、画素を構成する多数の感光用ＣＣＤ（図でＲ，Ｇ，Ｂ）と、水平方向に並んだ感光機能を有していないＣＣＤからなるホールド蓄積部ＨＯＬＤ、及び水平転送部６１と、感光用ＣＣＤの信号電荷を垂直転送する図示しない垂直転送部と、出力回路６２とを備えている。

本実施の形態における４画素加算モードは図示したように１フレーム分の信号電荷を４／８ライン２フィールドで読み出すモードであり、第１フィールドでは、垂直方向奇数番目のラインの（１５，１３，１１，・・・）の信号電荷のみを垂直転送し、その際、ホールド蓄積部ＨＯＬＤを用いて１ライン分の信号電荷を１ライン分の転送時間だけ一時的に保持することにより、互いに隣り合う奇数ラインの信号電荷を加算、つまり同色の２画素分の信号電荷を垂直加算して水平転送部６１へ転送すると同時に、水平転送部６１において垂直加算された信号電荷が２画素分転送されたタイミングで、次に垂直加算された信号電荷を水平方向に２画素分ずれた状態で加算（水平加算）する。しかる後、同色の画素配列（Ｒ，Ｇ，Ｒ，Ｇ，・・・）からなる２ライン分の信号電荷が垂直加算され、かつ同一ラインに１画素おきに存在する同色の２画素分の信号電荷が水平加算された奇数ラインの信号を読み出し、以後、全ての奇数ラインの信号電荷を順に読み出す。

同様に、第２フィールドでは、垂直方向偶数番目のライン（１６，１４，１２，・・・）について第１フィールドと同様の垂直加算と水平加算を行い、奇数ラインと異なる同色の画素配列（Ｇ，Ｂ，Ｇ，Ｂ，・・・）からなる２ライン分の信号電荷を垂直加算し、かつ同一ラインに１画素おきに存在する同色の２画素分の信号電荷が水平加算された偶数ラインの信号を読み出し、以後、全ての偶数ラインの信号電荷を順に読み出す。

図４は、上記のように読み出される撮像信号からなるベイヤーデータを示す概念図であり、図示したように４画素加算モードでは、縦方向および横方向の画素数がそれぞれ２分の１であるが、全画素の画素情報が反映されたベイヤーデータが得られることとなる。なお、図４は、前述した垂直加算および水平加算により得られる画素（Ｒ，Ｇ，Ｂ）と、得られない画素との位置関係を示したものであり、撮影時には、得られる画素（Ｒ，Ｇ，Ｂ）のみからなるベイヤーデータが取得される。また、図に示した４画素加算後のＲ，Ｇ，Ｂの画素位置は加算される元の４画素の重心となる。

次に、以上の構成からなるデジタルカメラの本発明に係る動作について説明する。図５及び図６は、ユーザのモード切替キー操作により記録（撮影）モードが設定されたときＣＰＵ１３が実行する処理の内容を示したフローチャートである。

図５に示したように、記録モードにおいてＣＰＵ１３は、まず、記録モードで記録する記録画像（静止画像又は動画像）の縦横比と、静止画像についての記録画像サイズとを設定する（ステップＳ１）。ここでは、例えば前記プログラムメモリ１９の所定領域に他の設定データと共に記録されている内容であって、前回の記録モードの終了時点に設定されていた内容を初期値として設定する。なお、動画像の記録画像サイズについては、設定可能なサイズが各縦横比において１種類しかないため一義的に縦横比に応じてサイズが決まる。

次に、ＣＣＤ３の駆動モードとして４画素加算モードを設定した後（ステップＳ２）、所定のスルーレート（例えば２５フレーム／秒）によるスルー画像の撮像を開始し（ステップＳ３）、４画素加算モードによる撮像データの読み出しを行う（ステップＳ４）。ここで、そのとき設定されている縦横比が「３：４」であったときには（ステップＳ５で「３：４」）、読み出した撮像データ（ベイヤーデータ）から生成したＹＵＶ変換後の撮像画像、すなわち縦横サイズが「５４０×７２０」の撮像画像について、その上辺側及び下辺側における余剰部分である３０画素幅の端画像と、左辺側及び右辺側における４０画素幅の端画像をそれぞれカットするサイズ調整を行う（ステップＳ６）。しかる後、サイズ調整後の画像、すなわち縦横サイズが「４８０×６４０」の画像をスルー画像としてＬＣＤ１２に表示させる（ステップＳ８）。なお、この場合におけるスルー画像表示は全画面表示であり、「４８０×６４０」の画像を「５４０×７２０」の画像に拡大して表示に供されるものとする。但し、ステップＳ６のサイズ調整を行わないようにすれば拡大する必要が無くなる。

これに対し、そのとき設定されている縦横比が「９：１６」であったときには（ステップＳ５で「９：１６」）、読み出した撮像データ（ベイヤーデータ）から生成したＹＵＶ変換後の前述した縦横サイズの画像について、その上辺側の６８画素幅の端画像をカットし、かつ下辺側の６７画素幅の端画像をカットするサイズ調整を行う（ステップＳ７）。しかる後、サイズ調整後の画像、すなわち縦横サイズが「４０５×７２０」の画像をスルー画像としてＬＣＤ１２に表示させる（ステップＳ８）。なお、この場合におけるスルー画像表示では、カットした端画像に相当する上下の表示領域を黒で塗りつぶす。

図７は、ＣＣＤ３の有効画素領域（ａ）と、前述した４画素加算モードで読み出される撮像データ（ベイヤーデータ）（ｂ）と、前述したステップＳ７のサイズ調整後における画像（ｃ）とにおける縦方向及び横方向の画素数の関係を示した図であり、図７（ｃ）に斜線で示した部分が、最終的にカットされる端画像である。

以後、ユーザーによる縦横比の変更操作や、静止画像についての記録画像サイズの変更操作や、シャッターキーや録画指示キーの操作（ステップＳ９，Ｓ１１，Ｓ１３，Ｓ１４が全てＮＯ）、ステップＳ３へ戻り、前述した一連の処理によるスルー画像表示を繰り返す。

また、上記のようにスルー画像を表示している間においては、ユーザーが所定のキー操作によって記録画像の縦横比と、静止画像についての記録画像サイズを前述した解像度レベルの指定によって変更できるようになっており、ユーザーによって縦横比の変更操作があった場合には（ステップＳ９でＹＥＳ）、その時点で縦横比の設定を変更する（ステップＳ１０）。また、静止画像についての記録画像サイズの変更操作があれば（ステップＳ１１でＹＥＳ）、その時点で静止画像についての記録画像サイズの設定内容を、指定された解像度レベルに応じて変更する（ステップＳ１２）。つまり例えば縦横比が「３：４」に設定されている場合には、記録画像サイズを「１，０８０×１，４４０」、「５４０×７２０」、「４８０×６４０」のいずれかに変更する。

また、スルー画像を表示している間に、シャッターキーが押された場合には（ステップＳ１３でＹＥＳ）、図６でステップＳ２３以降の静止画撮影処理に移行し、録画指示キーが押された場合には（ステップＳ１４でＹＥＳ）、図６でステップＳ１５以降の動画撮影処理に移行する。まず、動画撮影処理について説明すると、その場合には、まずＣＣＤ３による撮像間隔を所定のフレームレート（例えば３０フレーム／秒）に変更するとともに、変更後のフレームレートに応じたタイミングによる撮像を開始する（ステップＳ１５）。

そして、スルー画像表示中と同様に４画素加算モードによる撮像データの読み出しを行うとともに、読み出した撮像データ（ベイヤーデータ）をＹＵＶ変換する（ステップＳ１６）。引き続き、その時点で設定されている縦横比を確認し、縦横比「３:４」（記録画像サイズが「４８０×６４０」）が設定されている場合には（ステップＳ１７で「３：４」）、ＹＵＶ変換後の撮像画像の上下左右の余剰部分、つまり上辺側及び下辺側における３０画素幅の端画像をそれぞれカットし、かつ左辺側及び右辺側における４０画素幅の端画像をそれぞれカットして「４８０×６４０」のサイズのフレームデータを生成する（ステップＳ１８）。また、縦横比「９:１６」（記録画像サイズが「４０５×７２０」）が設定されている場合には（ステップＳ１７で「９：１６」）、ＹＵＶ変換後の撮像画像の上下の余剰部分、つまり上辺側の６８画素幅の端画像、及び下辺側の６７画素幅の端画像をそれぞれカットして、図７の（ｃ）に示した「４０５×７２０」のサイズのフレームデータを生成する（ステップＳ１９）。しかる後、上記のように生成したカット後のフレームデータをＭＰＥＧ圧縮伸長ブロック９において圧縮し、それを記録メディア２０にストリーム記録する（ステップＳ２０）。

以後、ユーザーの録画指示キー操作による撮影終了指示があるまで（ステップＳ２１でＮＯ）、前述したステップＳ１５〜Ｓ２０の処理を繰り返し、撮影終了指示があったら、その時点で所定の管理データを作成し、それを先にストリーム記録しておいてフレームデータに付加して動画ファイルを完成し（ステップＳ２２）、それにより動画記録を終了する。

一方、シャッターキー操作に応じた静止画撮影処理においては、まずＡＥ制御により決定した所定時間の露光を開始するとともに（ステップＳ２３）、ＣＣＤ３の駆動モードを、設定されている記録画像サイズに対応するモード（通常モード又は４画素加算モード）に設定する（ステップＳ２３）。つまり記録画像サイズが「１，０８０×１，４４０」〜「５４０×９６０」であれば通常モードに設定し、「５４０×７２０」〜「５４０×７２０」であれば４画素加算モードに設定する。引き続き、所定時間の露光が終了したら（ステップＳ２５でＹＥＳ）、設定した駆動モードによる撮像データの読み出しを行うとともに、読み出した撮像データ（ベイヤーデータ）をＹＵＶ変換する（ステップＳ２６）。

そして、そのとき設定されている記録画像サイズと対応して設定データ１００（図２）に示されている上下及び左右のカット幅が全て”０”であって、ＹＵＶ変換後の画像データについて端画像のカットが不要である場合には（ステップＳ２７でＮＯ）、それを静止画データとしてＪＰＥＧ圧縮伸長ブロック８において圧縮するとともに、圧縮後のデータを記録メディア２０に記録し（ステップＳ２９）、それにより静止画撮影を終了する。

また、上記と異なりＹＵＶ変換後の画像データについて端画像のカットが必要である場合には（ステップＳ２７でＹＥＳ）、記録画像サイズと対応して設定データ１００（図２）に示されている幅だけ、ＹＵＶ変換後の画像データ上下又は上下左右をカットしてサイズ調整を行う（ステップＳ２８）。例えば記録画像サイズが「８１０×１，４４０」であれば、上辺側と下辺側における１３５画素幅の端画像をそれぞれカットする。また、記録画像サイズが「４８０×６４０」であれば、上辺側及び下辺側における３０画素幅の端画像をそれぞれカットし、かつ左辺側及び右辺側における４０画素幅の端画像をそれぞれカットする。

しかる後、サイズ調整後の画像データを静止画データとしてＪＰＥＧ圧縮伸長ブロック８において圧縮するとともに、圧縮後のデータを記録メディア２０に記録し（ステップＳ２９）、それにより静止画撮影を終了する。

以上のように本実施の形態においては、静止画撮影時や動画撮影時には、ＣＣＤ３の駆動モードを４画素加算モードに設定するとともに、撮像した画像の上下又は上下左右から所定幅の余剰部分をカットすることにより、ＣＣＤ３の有効画素数よりも少ない画素数の画像や、縦横比が異なる画像を得ることができる。つまり、画像データのサイズを画素加算によって予め記録画像サイズに適したサイズに縮小した後、必要に応じて撮像した画像の上下又は上下左右から余剰部分をカットすることによって、必要な縦横比及び記録画像サイズを確保する。

そのため、記録画像サイズが「４８０×６４０」や「４０５×７２０」といったように、撮像した画像の上下又は上下左右の余剰部分をカットする場合であっても、撮像時に得られた全画素情報から破棄される分の情報量を最小限に止めることができる。同時に、ＣＣＤ３から読み出した画像データに対して余剰部分のカットと、画素間引き（単純間引き）とを行う場合における、偽色の発生などの画像劣化が生じることもない。これにより、単に必要とする縦横比の画像が取得できるだけでなく、必要とする画像サイズが小さい場合であっても、撮像時に得られる画素情報を有効に利用した質の高い画像を得ることができる。

また、本実施の形態においては、静止画像や動画像の撮影待機状態でスルー画像を表示する際においても、ＣＣＤ３の駆動モードを４画素加算モードに設定するとともに、撮像した画像の上下又は上下左右から所定幅の余剰部分をカットすることにより、必要な画像サイズ、及び縦横比の画像を得るため、スルー画像についても質の高い画像を得ることができる。

また、本実施の形態では、ＣＣＤ３から画像データを画素加算して読み出すときの画素加算数が４画素であって、動画撮影時において、撮像した画像の上下又は上下左右から余剰部分をカットする以前の画素数（５４０×７２０＝３８８，８００画素）が、前記ＭＰＥＧ圧縮伸長ブロック９で処理可能な最大画素数（４８０×６４０＝３０７，２００画素）以上で、かつそれに近い画素数となる画素加算数である。言い換えると、ＭＰＥＧ圧縮伸長ブロック９が、生成される動画像の画素数に応じたデータ処理能力を備えている。そのため、動画撮影時におけるフレームデータの生成、圧縮、記録といった一連のデータ処理を極めて効率よく行うことができる。

なお、本実施の形態では、デジタルカメラが、静止画撮影時の撮影指示に用いるシャッターキーとは別に、動画撮影時における録画開始／終了の指示に用いる録画指示キーを備えている場合について説明したが、これに限らず、デジタルカメラは、記録モードとして静止画撮影モードと動画撮影モードとを個別に有し、シャッターキーによって静止画撮影時の撮影指示と、動画撮影時における録画開始／終了の指示との双方を行うことができる構成であっても構わない。その場合においても、静止画撮影又は動画撮影のいずれかの記録モードでスルー画像を表示するときには、本実施の形態と同様に、ＣＣＤ３の駆動モードを４画素加算モードに設定するとともに、撮像した画像の上下又は上下左右から所定幅の余剰部分をカットすることにより、ＬＣＤ１２の解像度に応じた必要とするサイズの表示画像を生成すれば、スルー画像についても質の高い画像を得ることができる。

また、本実施の形態においては、画像の縦横比として、通常の縦横比（３：４）の他に、横長の縦横比（９：１６）が設定できるものについて説明したが、それ以外の横長の縦横比（例えば「９：１８」）を設定できるようにしてもよい。また、縦横比は横長である必要はなく、例えば縦長の縦横比（４：３等）を設定できるようにしてもよく、その場合には、画像データのサイズを画素加算によって予め記録画像サイズに適したサイズに縮小した後、その画像の左右における余剰部分をカットすればよい。また、通常の縦横比の他に複数種類の縦横比を選択的に設定できるようにしたり、通常の縦横比と異なる縦横比のみを選択的に設定できるようにしてもよい。さらに、縦横比は予め決められている縦横比のみとしても構わない。

また、本実施の形態においては、ＣＣＤ３の有効画素数が約１５５万画素であり、静止画撮影時に記録可能な最大の記録画像サイズが「１，０８０×１，４４０」であるともに、画素加算モードが、ＣＣＤ３から、縦方向と横方向とに各々２画素の加算（４画素加算）を行って画素信号を読み出す４画素加算モードであるものについて説明したが、ＣＣＤ３の有効画素数や画素加算モードで加算する画素数は、これ以外であっても構わない。また、画素加算モードで加算する画素数は、４画素（縦２×横２）以外、例えば縦又は横方向のみの２画素や、４画素（縦２×横２）以上であってもよく、さらに、加算画素数の異なる複数の画素加算モードを設けるようにしてもよい（但し、ＣＣＤ３は複数種の画素加算モードに対応可能な構造を有している必要がある。）。

特に、ＣＣＤ３の有効画素数が１０００万画素等のように、本実施の形態よりも高画素である場合には、加算する画素数が４画素（縦２×横２）以上の画素加算モード、例えば加算する画素数が２５画素（縦５×横５）である２５画素加算モードを設けるとよい。その場合、２５画素加算モードにおける具体的な画像信号の読み出し方法については、水平方向及び垂直方向にそれぞれ隣接する同色の２５画素の信号電荷を加算し、それを当該色の１画素分の信号電荷として読み出すことができるものであれば、任意の方法を採用することができる。

上記２５画素加算モードにおける画像信号の読み出し方法としては、例えばＣＣＤ３の有効画素領域内において水平及び垂直方向に５画素置きに並んだ画素の信号電荷として、その画素を中心として互いに隣接する同色の２５画素分の信号電荷を加算した信号電荷を読み出す方法がある。図８は、その概略を示した図４に対応する概念図であって、ＣＣＤ３の有効画素領域内（図では、有効画素領域の左上を含む部分）におけるベイヤー配列をなす各色（図でＲ，Ｇｒ，Ｇｂ，Ｂ）の画素と、２５画素加算モードによって電荷信号（加算された電荷信号）が読み出される画素、つまりベイヤーデータを構成する画素（図に太枠で示した画素）との位置関係を示した図である。なお、同図において「Ｇｒ」で示した画素はＲ色の画素が配置された行のＧ色の画素、同様に「Ｇｂ」で示した画素はＲ色の画素が配置された行のＧ色の画素である。

上記の読み出し方法をより具体的に述べると、Ｇｒ画素については、（１，１）〜（９，９）等の画素領域を加算対象として、その領域内に配置されている全てのＧｒ画素の信号電荷を加算し、加算後の信号電荷を、その領域の中心（５，５）等のＧｒ画素の信号電荷として読み出す。同様にＲ画素については、（６，１）〜（１４，９）等の画素領域を加算対象として、その領域内に配置されている全てのＲ画素の信号電荷を加算し、加算後の信号電荷を、その領域の中心（１０，５）等のＲ画素の信号電荷として読み出す。また、Ｂ画素については、（１，６）〜（９，１４）等の画素領域を加算対象として、その領域内に配置されている全てのＢ画素の信号電荷を加算し、加算後の信号電荷を、その領域の中心（１０，５）等のＢ画素の信号電荷として読み出す。また、Ｇｂ画素については、（６，６）〜（１４，１４）等の画素領域を加算対象として、その領域内に配置されている全てのＧｂ画素の信号電荷を加算し、加算後の信号電荷を、その領域の中心（１０，１０）等のＧｂ画素の信号電荷として読み出す。

つまり、Ｒ，Ｇｒ，Ｇｂ，Ｂの各色について加算対象とする画素領域を、各々の領域の中心間の距離が５画素となるように色毎にずらすことにより、有効画素領域内において水平及び垂直方向に等間隔に並んだ画素の信号電荷からなり、縦方向および横方向の画素数がそれぞれ５分の１であるが、周縁部のごく一部の画素（図８に示したものでは、２行目及び４行目の画素と２列目及び４列目の画素）を除くほぼ全画素の画素情報が反映された撮像信号を読み出す方法である。

なお、２５画素加算モードでの画像信号の読み出し方法については、上述した方法に限らず、例えばＲ，Ｇｒ，Ｇｂ，Ｂの色毎の加算対象とする画素領域を可能な限り一致させることにより、図４に示した４画素加算の場合と同様に、互いに接するＲ，Ｇｒ，Ｇｂ，Ｂの各画素の信号電荷（加算後の信号電荷）からなる撮像信号を読み出す方法であってもよい。

そして、ＣＣＤ３として、例えば有効画素数が約１０００万画素であって、静止画撮影時に記録可能な最大の記録画像サイズが３：４の「２，７００×３，６００」のものを使用し、画素加算モードとして、前述した４画素加算モードと２５画素加算モードの２種類を設ける場合にあっては、以下のようにすることができる。

すなわちプログラムメモリ１９等に、図２に示した設定情報１００に代えて、図９に示したような設定情報２００を記憶しておく。なお、図示した例は、静止画像については、ユーザーが解像度レベルとして「高・中１・中２・低」の４レベルが設定可能である場合の例である。そして、記録モードでは、例えば図５及び図６に示した内容とほぼ同様内容の処理をＣＰＵ１３に行わせ、その際、ステップＳ４（図５）ではＣＣＤ３の駆動モードとして２５画素加算モードを設定させる。また、ステップＳ１４（図５）の直後に、ＣＣＤ３の駆動モードを設定情報２００に従い記録画像サイズに応じたモードに設定させた後、ステップＳ１５以降の動画撮影処理（図６）を行わせるとともに、ステップＳ２４においてもＣＣＤ３の駆動モードを設定情報２００に従い記録画像サイズに応じたモードに設定させるものとする。

係る変形例においても、静止画撮影時や動画撮影時においては、ＣＣＤ３の駆動モードを画素加算モード（４画素加算モード又は２５画素加算モード）に設定するとともに、撮像した画像の上下、又は上下左右からカットする余剰部分のカット幅を変更することにより、必要な記録画像サイズを確保することができる。したがって、先に説明した実施の形態と同様、単に必要とする縦横比の画像が取得できるだけでなく、必要とする画像サイズが小さい場合であっても、撮像時に得られる画素情報を有効に利用した質の高い画像を得ることができる。また、スルー画像についても質の高い画像を得ることができる。

また、動画撮影時のＣＣＤ３の駆動モードを２５画素加算モードとするため、ＣＣＤ３の有効画素数が約１０００万画素で、静止画撮影で記録可能な最大の記録画像サイズが「２，７００×３，６００」であっても、撮像した画像の上下又は上下左右から余剰部分をカットする以前の画素数を、前記ＭＰＥＧ圧縮伸長ブロック９で処理可能な最大画素数以上で、かつそれに近い画素数となる画素加算数とすることにより、動画撮影時におけるフレームデータの生成、圧縮、記録といった一連のデータ処理を極めて効率よく行うことができる。

また、以上の説明においては、本発明を静止画撮影機能と動画撮影機能とを有するデジタルカメラに適用した場合について説明したが、これに限らず本発明はデジタルビデオカメラ、カメラ付き携帯電話、カメラ付きＰＤＡ等の他の撮像装置にも適用することができる。また、静止画撮影機能のみ、あるいは動画撮影機能のみを有するもの（スルー画像の表示機能の有無は問わない。）にも適用することができる。

本発明に係るデジタルカメラのブロック図である。 記録モードでの動作に際して使用される設定情報を示す概念図である。 画素加算モードによる画像信号の読み出し方法の原理を示すＣＣＤの模式図である。 画素加算モードにより読み出される撮像信号からなるベイヤーデータを示した概念図である。 記録モードにおけるＣＰＵの処理内容を示すフローチャートである。 図５に続くフローチャートである。 ＣＣＤの有効画素領域（ａ）と、画素加算モードで読み出される撮像データ（ｂ）と、フレームデータ（ｃ）とにおける縦横方向の画素数の関係を示した図である。 ２５画素加算モードにより読み出される撮像信号からなるベイヤーデータの一例を示した概念図である。 変形例を示す図２に対応した設定情報の概念図である。

符号の説明

１ カメラ本体
３ ＣＣＤ
６ ＤＳＰ部
７ タイミングジェネレータ
８ ＪＰＥＧ圧縮伸長ブロック
９ ＭＰＥＧ圧縮伸長ブロック
１１ 表示コントローラ
１２ ＬＣＤ
１３ ＣＰＵ
１４ 内蔵メモリ
１９ プログラムメモリ
２０ 記録メディア
１００ 設定情報
２００ 設定情報

Claims (4)

1. 被写体画像を撮像する撮像素子とその撮像素子からの画像データから動画ファイルを作成する動画処理手段を備えた撮像装置において、
   前記動画ファイルのアスペクト比を設定する動画設定手段と、
   前記動画処理手段の処理能力に基づく総画素数と前記アスペクト比から動画処理可能な最大の縦横画像サイズを算出し、縦と横の両方がその縦横画像サイズ以上でかつそれに近い縦横画像サイズとなる整数倍の加算数を算出する加算数算出手段と、
   前記撮像素子から、前記被写体画像の画像データを前記加算数に応じて画素加算して読み出す読出し手段と、
   この読出し手段により読み出された画像データに基づく画像から、当該画像の縦及び横の辺に沿う前記縦横画像サイズに対する余剰部分を削除することにより、動画を構成する前記アスペクト比かつ前記縦横画像サイズの画像を生成する画像生成手段と
   を備えたことを特徴とする撮像装置。
2. 前記画像生成手段は、前記読出し手段により読み出された画像データに基づく画像から、当該画像の上下及び／又は左右における所定幅の余剰部分を削除することにより、動画を構成する前記アスペクト比の画像を生成することを特徴とする請求項１記載の撮像装置。
3. 被写体画像を撮像する撮像素子とその撮像素子からの画像データから動画ファイルを作成する動画処理手段を備えた撮像装置の撮像方法において、
   前記動画ファイルのアスペクト比を設定する動画設定工程と、
   前記動画処理手段の処理能力に基づく総画素数と前記アスペクト比から動画処理可能な最大の縦横画像サイズを算出し、縦と横の両方がその縦横画像サイズ以上でかつそれに近い縦横画像サイズとなる整数倍の加算数を算出する工程と、
   前記撮像素子から、前記被写体画像の画像データを前記加算数に応じて画素加算して読み出す工程と、
   読み出した画像データに基づく画像から、当該画像の縦及び横の辺に沿う前記縦横画像サイズに対する余剰部分を削除することにより、動画を構成する前記アスペクト比かつ前記縦横画像サイズの画像を生成する工程と
   を含むことを特徴とする撮像方法。
4. 被写体画像を撮像する撮像素子とその撮像素子からの画像データから動画ファイルを作成する動画処理手段を備えた撮像装置が有するコンピュータに、
   前記動画ファイルのアスペクト比を設定するための処理と、
   前記動画処理手段の処理能力に基づく総画素数と前記アスペクト比から動画処理可能な最大の縦横画像サイズを算出し、縦と横の両方がその縦横画像サイズ以上でかつそれに近い縦横画像サイズとなる整数倍の加算数を算出する処理と、
   前記撮像素子から、前記被写体画像の画像データを、前記加算数に応じて画素加算して読み出すための処理と、
   読み出した画像データに基づく画像から、当該画像の縦及び横の辺に沿う前記縦横画像サイズに対する余剰部分を削除することにより、動画を構成する前記アスペクト比かつ前記縦横画像サイズの画像を生成するための処理と
   を実行させるプログラム。

Images