JP2007267177A - 撮像装置 - Google Patents

Abstract

【課題】家庭用ＤＶＣに超解像度の撮像素子が入ってくる将来、ビデオカメラの撮影時において、被写体を見失わないようにする電子ズームによるフレーミング補助機能は、フルショットの画像を常に記録する必要があり、バス幅不足等の処理性能の限界の問題と、電子ズームによる解像度低下の問題とが生じてしまう。
【解決手段】撮像センサのランダムアクセス性を利用して、撮像素子を間引いて読み出すフルショット映像と、撮像素子の一部分だけ読み出すアップショット映像の両方を切り替えて読み出し、撮像センサ部のフルショット映像・アップショット映像を交互に切替えを制御する。
フルショット画像を表示しつつ、アップショット画像を記録することより、将来撮像素子が超高解像度になった場合にも撮影可能エリアと共にその周囲の状況をファインダに表示可能であり、周囲を含めた構図を考慮した撮影フレーミングの補助を解像度低下させることなく実現できる。
【選択図】図９

Description

本発明は、映像を記録する際にユーザにどの部分を撮像しているか直感的に把握させるためのインタフェースを提供する撮像装置に関するものである。

デジタルビデオカメラ等の撮像装置を用いて被写体を撮影する際に、ユーザが被写体を見失わないことが望ましい。そこで、ユーザが直接のぞき見るファインダ等の表示部分に広い範囲の映像を映出しつつ、撮像した映像を光ディスク等の記録媒体へ記録するときは被写体付近の領域を記録する機能が有用である。

このような機能を提供する撮像装置として、特許文献１記載のビデオカメラがある。

同文献に記載されたビデオカメラでは、同文献図７Ａに示すように、まずＣＣＤ撮像素子により撮像された１画面分のデータが画像メモリに蓄えられる。画像メモリに蓄積された１画面分の画像データは、電子ズームにより任意の倍率で拡大することができ、拡大された画像データと拡大されていない１画面分の画像データとを選択的に出力することができる。ファインダには拡大されていない広い画角の画像を映出しつつ、記録する映像としては、被写体付近の映像を用いて記録することができる。このように、電子ズーム時に被写体が画面から外れた場合には、拡大されていない画面をファインダに表示することで、ユーザが簡単に被写体を探すことができる。
特開平１１−２８９４８６号公報

しかしながら、上述の文献に記載の撮像装置では以下の課題を有する。

まず、上述の装置では、電子ズームを用いて拡大映像を生成する。この電子ズームは画像処理により実現されるものであり、機械的にレンズを調整する光学ズームに比して任意の（高倍率の）ズーム可能である一方で、一旦メモリに蓄積された画像データを基としてズーム画像を生成するために、記録される画像データは本来撮像素子が出力できる画像データの画素密度よりも小さいものになってしまう。

次に、上述の装置では、前述の電子ズーム処理を行うために、撮像された画像を一旦全画面分のデータとして画像メモリに蓄積する。この全画面分の画像データを画像メモリに蓄積する処理は、撮像装置が高解像度化された場合に実現が困難な処理となる。現在、撮像装置としてＨＤ画質撮影が可能なＤＶＣが商品化されるなどますます高解像度化が進んでいるが、この高解像度化は撮像装置が保持する撮像素子数の向上によるものである。ここで、撮像装置が保持する撮像素子をフルに使い各々が高解像度である画像データを、所定の速度（例えば３０フレーム／秒）の動画として記録することは、たとえ各々の撮像素子のアクセス時間が短くなったとしても、撮像装置内の処理のいずれか（センサ出力時間、映像信号を転送するバス幅等）の原因から不可能となる。

そこで、本発明は、これらの課題を同時に解決するものであり、将来撮像装置が超高解像度になった場合にもその解像度を適切に活かしつつ、ユーザのフレーミング補助インタフェースを提供可能な画像処理装置を提供することを目的とする。

本発明では、静止画撮影においては有効画素数Ｎの画素信号を出力することができ、かつ、動画撮影においては前記有効画素数Ｎの画素信号を所定のフレームレートで記録することができない撮像装置において、前記有効画素数Ｎの撮像素子を有する撮像センサ部と、前記有効画素数Ｎより少ない画素数Ｎ１の第１画像データを前記撮像センサ部においてサンプリング処理により第１のレートで読み出し、前記有効画素数Ｎより少ない画素数Ｎ２の第２画像データを前記撮像センサ部において切り出し処理により第２のレートで読み出すよう制御するカメラ制御部と、前記第１のレートで読み出された前記第１画像データを連続して表示する表示部と、前記第２のレートで読み出された前記第２画像データを符号化して記録媒体に書き込む記録部と、を備える。

本発明によれば、映像を動画として記録処理しきれない程度に多数の撮像素子を有する撮像装置であっても、撮像装置の処理能力を適切に表示と記録機能とに配分し、広角なフルショット映像を表示部に表示しつつ高密度なアップショット映像を記録し続けることができ、ユーザインタフェースに優れた撮像装置を提供することができる。

また、更に被写体検出部を設ける場合は、表示領域の内側の撮影可能エリアに被写体を含めつづけることが可能であり、動く被写体の自動フレーミングによる安定した撮影が可能である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態１における撮像装置の機能ブロック図である。

デジタルビデオカメラ９９は本発明の対象となる撮像装置である。この撮像装置は、レンズ１０１等の光学系と、光学系からの入力を光電変換する撮像センサ部２００と、撮像センサ部の電気出力をアナログ／デジタル変換するアナログ信号処理部３００と、撮像タイミング等のカメラ全体の制御するカメラ制御部４００と、ファインダ等に表示する表示部と、第２画像データを記録媒体に記録する画像記録部とを含み構成される。

図１において、カメラ制御部４００は、デジタルビデオカメラ９９の撮影動作を集中制御するものである。具体的にはタイミングジェネレータ１０３、ズーム・フォーカス・絞りモータドライバ１０２を制御して撮影を行わせ、アナログ信号処理部３００、デジタル信号処理部５００を制御して、後述する第１画像データ及び第２画像データを作成し、それの画像データを記録させたり、表示部に表示させたりするための制御を行う。

タイミングジェネレータ１０３は撮像センサ部２００の撮影動作を制御するものである。タイミングジェネレータ１０３は、カメラ制御部４００からの撮影制御信号に基づいて所定のタイミングパルスを生成して撮像センサ部２００に出力し、例えば１／６０秒毎にフレーム画像を取り込み、順次アナログ信号処理部３００に出力させる。

ズーム・フォーカス・絞りモータドライバ部１０２はレンズ１０１や絞り１００の制御を行うものである。レンズ１０１はカメラ制御部４００からの制御信号に基づいて、モータの駆動動作を制御される。絞り１００はカメラ制御部から入力される絞り値に基づいて開口量を設定される。

撮像センサ部２００は、多数の画素を有しており、最大でＮ個（有効画素数Ｎ）の画素信号を出力することが可能なセンサである。又、Ｎ個より少ない画素数の画素信号出力を、任意の画素単位或いは所定のパターンの単位でサンプリング処理あるいは切り出し処理により取得することができるものである。この撮像センサ２００には、例えば、ＣＭＯＳセンサ（ＣＭＯＳセンサにおける撮像素子単位の出力を任意に得るための周辺回路を含む。以下同じ。）が適用できる。本実施の形態では、撮像センサ部２００は、ＣＭＯＳセンサ部を有し、タイミングジェネレータ１０３からの信号に同期してランダムアクセスのシフトレジスタ２０２が動作し、このシフトレジスタ２０２による走査を制御するデコーダ部２０３により全画素に直接ランダムアクセスできる構成であり、前述の任意の画素範囲の画素信号の出力指定が可能となる。このように、撮像センサ部２００は、ＣＭＯＳセンサ部２０１の上記ランダムアクセス性を生かし、任意の画素範囲の信号を読み出す。

尚、撮像センサ部が撮像素子にランダムアクセスするための構成の例として、特開２００１−４５３８３号公報記載によれば撮像素子をブロック分割し、デコーダ部はそのブロックを選択し、シフトレジスタ部による選択ブロック内の各選択ラインとを用いて任意の画素単位で走査開始、終了するものがあげられる。なお、撮像素子に対するランダムアクセス方法はこれにとらわれることなく、撮像素子の出力として全有効素子出力の中から、任意の１つ、１部、又は全部の素子の出力を画素出力として利用できるものであれば、将来ＣＭＯＳセンサ以外の素子によって適用される他のセンサであっても良い。

アナログ信号処理部３００は、撮像センサ部２００から出力される光電信号に所定の信号処理を施した後、デジタル信号に変換して画像データを出力するものである。光電信号は、アナログ信号処理部３００内部のＣＤＳ回路３０１により光電信号に含まれるリセット雑音を低減し、ＡＧＣ回路３０２により読み出し電圧を制御され、Ａ／Ｄ変換回路３０３でデジタル信号の画像データに変換される。尚、アナログ信号処理部３００は、前述の撮像センサ部と実装上分離している必要はなく、撮像センサ部２００に組み込まれて１つのセンサやＬＳＩを構成するものであっても良い。

デジタル信号処理部５００は、アナログ信号処理部３００の出力するデジタル画像データ（図１中Ｐｉｃ１、Ｐｉｃ２）に対して、何らかの輝度・色・サイズ補正を行ない、各々図１中のＰｉｃ１ａ、Ｐｉｃ２ａを出力する。デジタル信号処理部５００は、撮像センサ部２００の読み出しに同期して画像メモリ５０１に一旦書き込まれ、以後その画像メモリ５０１をアクセスすることでデジタル信号処理部５００の各処理が行われる。

デジタル信号処理部が行う処理としては、例えば、画素補間、ホワイトバランス調整、ガンマ補正、等の一般的な画像信号処理がある。尚、記録のための符号化等を行うとしても良い。

表示部６００は、デジタル信号処理部５００の出力である画素信号Ｐｉｃ１ａを連続的に入力しこれをファインダ等に表示するものである。

記録部７００は、デジタル信号処理部５００の出力である画素信号Ｐｉｃ２ａを連続的に入力し、符号化処理し、記録メディア（ＤＶＤ、ＨＤＤ、半導体メモリ、ＳＤカード等）に記録する。

図２は、撮像装置９９の動作を示すフローチャートである。

ステップ１〜４はフルショット撮影モードの動作であり、メディアに記録される映像（画像）より広角であって、かつ、全撮像素子が取得できる範囲と同じ範囲（画角）の画像である第１の画像データ（以下、フルショット画像データ）を取得する。

まず、ステップ１で、カメラ制御部からの制御信号を撮像センサ部のデコーダ部に送り、撮像センサ部を第１の画像データを出力するモード（以下、フルショット撮影モード）にセットする。

次に、ステップ２で、撮像センサのＣＭＯＳセンサ部によりフルショット映像を撮像素子の間引き操作で読み出す。

次に、ステップ３で、アナログ信号処理部でアナログ信号をデジタル信号に変換する。

次に、ステップ４で、デジタル信号処理部が画像信号Ｐｉｃ１を読み込み、前述の処理をした後、表示部へ送る。

このように、フルショット画像データを取得するためのステップ１〜４までの処理を１単位の処理とし、この処理を所定の時間内（例として１／６０秒内）に行う。

ここで、フルショット撮影モードでは、フルショット画像データを間引き操作により取得する。従って、全部の撮像素子数を使った場合に取得できる画像の範囲と同じ範囲（画角）の画像でありながら、かつ、有効画素数Ｎより少ない画素数Ｎ１の画素データを取得できる。このため、前述した撮像装置の処理性能（画素データの出力にかかる時間等）の限界により、全部の撮像素子（有効画素数Ｎ）の画素データを取得するのにかかる時間が１／６０秒以内に終わらない場合（有効画素数Ｎの画像をフレームレート６０ｆｐｓで処理できない場合）であっても、間引き処理された画素数Ｎ１の画像であれば所定の時間（１／６０秒）以内に処理することができる。

ステップ５〜８は、アップショット撮影モードの動作であり、前述したフルショット画像データより狭角であって、かつ、撮像素子の一部が取得できる範囲の画像である第２の画像データ（以下、アップショット画像データ）を取得する。

まず、ステップ５で、カメラ制御部からの制御信号を撮像センサ部のデコーダ部に送り、撮像センサ部を第２の画像データを撮影するモード（以下、アップショット撮影モード）にセットする。

次に、ステップ６で、撮像センサのＣＭＯＳセンサ部でアップショット映像を撮像素子の中央切り出しで読み出す（ステップ６）。

次に、ステップ７で、ステップ３と同様にアナログ信号処理部でアナログ信号をデジタル信号に変換する。

最後に、ステップ８で、デジタル信号処理部が画像信号Ｐｉｃ２を読み込み、前述の処理をした後、表示部へ送る。

このように、アップショット画像データを取得するためのステップ５〜８までの処理を１単位とし、この処理を所定の時間内（例として１／６０秒内）に行う。

ここで、アップショット撮影モードでは、アップショット画像データを切り出し操作により取得する。従って、撮像装置が有する撮像素子の密度と同じ密度でありながら、かつ、有効画素数Ｎより少ない画素数Ｎ２の画素データを取得できる。このため、撮像装置の処理性能の限界により、全部の撮像素子（有効画素数Ｎ）の画素データを取得するのにかかる時間が１／６０秒以内に終わらない場合（有効画素数Ｎの画像をフレームレート６０ｆｐｓで処理できない場合）であっても、切り出し処理された画素数Ｎ２の画像であれば所定の時間（１／６０秒）以内に処理することができる。

以上のように、ステップ１〜ステップ４の処理を６０分の１秒内に行い、次に、ステップ５〜ステップ８の処理を６０分の１秒内に行うようにカメラ制御部が制御することで、周期として３０分の１秒（以内）にフルショットの画像データ取得とアップショットの画像データを取得することができる。

これらのステップを所定の割合で繰り返し動作させることで、広角なフルショット映像を３０ｆｐｓのフレームレートでファインダに表示しながら、画素出力の密度が低下しない被写体周辺のアップショット映像を３０ｆｐｓのフレームレートで記録可能となる。

尚、上述の説明では、ステップ１〜ステップ４の処理と、ステップ５〜ステップ８までの処理とを、連続して繰り返し交互に行うことを示したが、ステップ１〜ステップ４までの処理を１回行い、続いてステップ５〜ステップ８までの処理を２回行う、といったように任意の割合で交互に行ってもよい。この場合、ステップ１〜４の処理を繰り返す回数をＫ１とし画素数Ｎ１の第１画像データを出力するためにまでの処理にかかる時間をｔ１秒として、ステップ５〜８の処理を繰り返す回数をＫ２とし画素数Ｎ２の第２画像データを出力するためにかかる時間をｔ２秒とすると、フルショット画像のフレームレートは、Ｋ１／（ｔ１×Ｋ１＋ｔ２×Ｋ２）ｆｐｓとなり、アップショット画像のフレームレートは、Ｋ２／（ｔ１×Ｋ１＋ｔ２×Ｋ２）ｆｐｓとなる。ここでＫ２をＫ１に比べて大きくすることで、表示領域にフルショット画像を記録しながら、記録領域には表示領域よりフレームレートの高いなめらかな画像（映像）を記録することができる。

上述のフルショット画像とアップショット画像とを交互に出力するように全体を制御するカメラ制御部及び撮像センサ部の構成について詳述する。

図３は、カメラ制御部４００及び撮像センサ部２００の要部を示す機能ブロック図である。

フルショット映像パターン記憶部４０２とアップショット映像パターン記憶部４０３には、撮像センサ部２００が読み込む撮像素子を使うパターンが記憶されている。

図４は、パターン記憶部が保持するパターンを説明するための模式図である。

まず、図４（ａ）は、撮像装置が有する撮像素子の画素数を例示した図である。撮像装置９９は、多数の画素を有し高解像度の画像データを取得することができることを前提とするが、ここでは撮像素子（有効画素数Ｎ）の例として、ＣＭＯＳセンサの撮像素子が横８画素、縦８画素の合計６４画素であると仮定して説明する。

有効画素数Ｎが撮像装置の処理性能に対して多い場合、Ｎ個全ての画素データを記録又は表示することができなくなる。

そこで、本実施の形態では、撮像センサの撮像素子からの出力を間引いて（サンプリングして）読み出す。図４（ｂ）は、間引き処理が行う間引き間隔の例として、フルショット映像パターン記憶部４０２にて保存するパターンの模式図である。黒丸が使用する画素を示す。

撮像素子のサイズＮ＝６４画素に対し画像転送バス幅が１６画素と小さな場合、フルショット映像を表示するときに、Ｎより小さい画素数である画像転送バス幅の最大１６画素を間引いて用いることで画角を変えることのないフルショットが撮影可能である。

次に、図４（ｃ）は、切り出し処理が行う切り出し領域の例として、アップショット映像パターン記憶部４０３にて保存パターンの模式図である。電子ズームは取り出した出力を切り出してアップショット映像を出力するため、画像転送バス幅（１６画素）より更に小さな解像度になるのに対し、本手法は直接撮像素子をアクセスするため、画像転送バス幅最大（１６画素）でアップショット映像を出力する事ができる。なお、例では撮像素子の中央をもって読み出す領域としたが、読み出す撮像素子は中央である必要はなく、Ｎより小さい画素数からなる連続領域の出力を取得できればよい。

尚、また、撮像素子の一部を切り出したアップショット領域であっても最大転送バス幅を超える場合には、フルショット映像同様、アップショット画像を切り出しつつさらに間引いて読み出すとしても良い。具体的には、１６×１６画素の撮像素子で画像転送バス幅１６画素の場合、図４（ｅ）の様に切り出しされるのに対し、図４（ｆ）の様に切り出しパターンの内部をさらに間引いたパターンを用いる。図４（ｅ）に対し図４（ｃ）はどちらも画像転送バス幅最大（１６画素）を使っているが、図４（ｅ）の画素間密度最大のアップショットを最大アップショット領域とする。応用例の詳しくは図７にて後述する。

読み出しパターン選択部４０１は、フルショット映像パターン記憶部４０２とアップショット映像パターン記憶部４０３とを所定の割合で交互に選択し、選択した方の情報を信号として映像センサ部２００のデコーダ部２０３に出力する。これにより撮像センサ部での撮像素子読み出しはフルショット映像とアップショット映像が交互に行われる。

アップショット映像をリアルタイムで記録し、フルショット映像をリアルタイムでファインダに表示するためには通常のフレームレートの倍、例えば３０フレームとした時には６０フレームで読み出しパターン選択部４０１から撮像センサ部へ信号を送り、読み出しを行うことになる。

図５に読み出しパターン選択部４０１により表示・記録される映像例を示す。図５（ａ）は全撮像素子の半分の記録サイズの場合である。この時ファインダ表示されるのはフルショット領域を間引いて縮小した映像にアップショットのエリアを示す枠を描画したものであり（図５（ｂ））、記録される領域は図５（ａ）内側の矩形内部の映像となる。

図６は、記録される画像の解像度を基に本手法の効果について説明する図である。

本願は、将来、撮像素子数が大幅に増加し全撮像素子分の画像データを所望のフレームレートｆで記録する処理が間に合わない場合を想定している。図６は、前述の場合であって、撮像素子数（有効画素数Ｎ）の半分サイズ（Ｎ／２）であれば、フレームレートｆで記録できるときを想定している。

図６（ａ）の手法は、解像度Ｎの１画面分のデータであるフルショット画像をＮ個の撮像素子から１／２に間引いて取得し、取得されたフルショット画像を一旦メモリへ蓄積し、このメモリに取得された１／２の解像度のフルショット画像をさらに電子ズームにより拡大して記録映像を作成する方法である。

この方法により記録されるアップショット映像の解像度（画素数）は、フルショット画像を作成する時点で１／２（画素数Ｎ／２）となり、更にその1／２の領域の画像を切り出して取得するため、画素数Ｎ／４の画像が作成される。従って記録領域には低解像度（画素数Ｎ／４）の映像が保存される。

次に、図６（ｂ）は、本手法の１つ目の変形（パターンＡ）を示している。この変形による装置では、アップショット画像を切り出し処理により撮像素子から直接読み出す。ここでアップショット画像は画素数はＮ／２であるが、撮像素子の配置密度と同じ密度で被写体周辺の画像を読み出す。従って、被写体周辺では画素数Ｎ／２の画素密度が高いアップショット映像を記録領域として記録できる。

又、アップショット画像を記録すると同時に、別にフルショット画像を1／２間引き処理により撮像素子と同じ画角（広角）で読み出す。従って、フルショット画像を表示部に表示しつづけることができる。

また、図６（ｃ）は本手法の２つ目の変形（パターンＢ）を示している。この変形による装置では、アップショット映像とフルショット映像を同時に読み出す構成である。この構成では、アップショット領域の撮像素子と共に、フルショット映像からアップショット領域を除いた領域を間引いた撮像素子を同時に読み出す。図４を用いて説明すると、図４（ｄ）のようにアップショット領域は間引きなし、それ以外の領域は間引いた撮像素子で読み出しを行う。記録領域にはアップショット領域のみを保存し、ファインダ表示時にはアップショット領域のみをデジタル信号処理部において間引き処理を行った後表示を行うことで実現可能である。このようなフルショット映像パターン記憶部４０２とアップショット映像パターン記憶部４０３を合成したパターンをアップショット映像パターン記憶部４０３に記憶することで、通常のフレームレートで撮影を行うことができる。但しこの時画像転送バス幅が通常以上必要となり、図６の場合、アップショット領域を除いた領域を面積１／２に間引いたアップショット領域に対して１／２サイズだけフレームバッファの追加が必要になる。

このように、本発明によれば、全有効画素数からなる画像データを動画としてはスムースに記録できない程度に撮像素子数を有する撮像装置であっても、撮像装置全体の処理能力を適切に配分することができる。具体的には、１秒あたりの処理画素数を抑えるために、サンプリング処理による広角な画像（映像）を表示部に活用し、かつ、切り出し処理による高密度な画像（映像）を記録する。従って、フルショット映像をファインダ等に表示しつつ、アップショット映像を記録し続けることができ、ユーザインタフェースに優れた撮像装置を提供することができる。

また、フルショット映像はアップショット映像に対して画角が広い映像であるため、ユーザは構図を考えつつカメラを構える事が可能となりユーザインタフェースに優れ、かつ撮像装置全体の処理性能を満たすように動作することができる。

また、予め記憶された形状データを利用することでこの構成において、フルショット映像とアップショット映像を読み込む情報を事前に用意、選択する事で高速に切替が可能になり、切替による遅延の発生防止が実現できる。

また、常にフルショット映像の中央がアップショット映像の撮影可能範囲とする場合は、カメラを向ける方向と撮影方向が一致して直感的な撮影が実現できる。

尚、表示部では、アップショット領域を示す矩形を表示する構成としても良い。図７は、表示部以降の処理によりファインダに表示される映像を示す図である。図７（ａ）が最大アップショットであるとすると、この最大アップショット領域を基準として記録領域をズームダウンするに従い、アップショット領域の矩形枠が次第に大きくなるように表示される。図４（ｅ）図４（ｆ）がその関係であり、切り出し領域が広がればその分内部が間引かれてトータルで画像転送バス幅を超えない最大画素を使う。さらに、最大アップショット領域を基準として記憶領域をさらにズームアップしようとした時、記録する画素が不足するため拡大表示して記録する。つまり最大アップショット領域のサイズを基準として、ズームアップすると拡大して記録され、ズームダウンすると画像転送バス幅の範囲内に収まるように切り出し領域内部が間引きされて記録する。

このような構成とすることで、光学ズームとも電子ズームとも異なる撮像画素を直接制御する新しいズームを実現し、画像転送バス幅を最大に使いながら高画質のズームが可能となる効果を有する。

（実施の形態１の変形例）
図８は、表示形式の変形例を示す。図７ではファインダ全体にフルショット映像を写していた通常方法であるのに対し、図８は画面中央にアップショット領域を表示し、アップショット領域はズーム倍率を変えても変化せずに撮影される構図が変化するものである。この表示方法であると、撮影時にズームした場合に直感的にズームを実感でき、かつ周囲のフルショット領域の構図を見ながらズーム倍率を調整することが記録解像度を落とすことなしに可能である。例えば、図８（ｄ）記憶領域＝ファインダ表示領域の場合、右上に何が写っているのかズームダウンするまで不明であるが、図８（ｃ）のように周囲に記録されないがファインダで表示可能なフルショット領域をもつと、周囲に存在するオブジェクトが確認可能であり、そのオブジェクトが画角に入るように、又は、画角に入らないようにズーム倍率を調整する補助となる。かつ記録した時の図８（ｄ）の解像度の低下がない。

この場合ではアップショット領域に対するファインダ表示領域のサイズ比が固定となり、ズーム倍率が変わるに従いファインダ表示領域の表示に必要なフルショット領域が変動する。ズーム倍率が高いほどフルショット映像を全て表示する必要がないため、転送バス幅の削減にもつながる。

（実施の形態２）
本発明の実施の形態２を説明する。本形態の撮像装置は、実施の形態１同様図１に示す機能ブロックと図２に示すフローチャートに基づいた撮像装置であって、ランダムアクセスが可能な撮像素子（例えばＣＭＯＳセンサ）を用い、通常３０フレームの倍のフレームレートでフルショット映像とアップショット映像を任意の割合で交互に読み取る撮像装置である。従って各部について実施の形態１の説明と重複する部分については説明を省略する。

本実施形態の撮像装置は、図１におけるカメラ制御部４００が被写体を検出し、この被写体領域を常にアップショット映像含むように構図を修正する点に特徴を有する。以下、この特徴点につき詳述する。

図９は、カメラ制御部４００及び撮像センサ部２００、アナログ信号処理部３００の要部の動作を説明するための機能ブロック図である。

フルショット映像パターン記憶部４０２、アップショット映像パターン記憶部、並びに、読み出しパターン選択部４０１は実施の形態１と同様であるため説明は省略する。

被写体検出部４０５は、被写体（例えば顔領域）を検出するものである。顔検出する手法としては、特開２００５−７１３４４「画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体」に記載された発明が利用できる。記載された発明では、具体的には、顔の内部情報を保持する顔内部テンプレートと顔輪郭情報を持つ顔外部テンプレートを別々に保持し、顔とのマッチングをする際にアフィン変換・合成してマッチング、顔検出する。これにより顔外部情報と顔内部情報の位置関係や傾きにバリエーションが生まれ、顔向きに強い顔検出となる。詳しい説明はこの発明に譲る。

なお、被写体検出部の対象は顔領域にとらわれず、頭部、人物、オブジェクトや、注目するエリア、空間であってもかまわない。また検出する手法もこの方法に限定するものではなく、どのような手法であってもかまわない。

構図補正部４０４は、被写体検出部４０５の出力である被写体領域を受け取り、これを含むようなアップショット領域を再構築し、アップショット映像パターン記憶部を更新する。構図補正部４０４の動作を図９のブロック図における全体動作と図１０の図例をもちいて具体的に示す。例えば、図１０（ａ）のようにアップショットの撮影領域に対して被写体が左に寄っている場合、まず読み出しパターン選択部４０１によりフルショット映像を撮影するための制御信号が撮像センサ部２００のデコーダ部２０３に送られ、撮像素子を間引いたフルショット映像が読み出され、アナログ信号処理部３００に渡される。アナログ信号処理部３００のＡ／Ｄ変換回路３０３でデジタル信号に変換され、このデジタル信号がカメラ制御部４００の被写体検出部４０５に渡されて被写***置・サイズを検出する。図１０（ｂ）に描画された枠のように顔位置・顔サイズが出力され、この被写体領域情報が構図補正部４０４に入力される。構図補正部４０４では受け取った被写体領域とアップショット映像パターン記憶部４０３のアップショット領域とを比較して、被写体領域がアップショット領域に含まれるようアップショット領域を修正した上で、アップショット映像パターン記憶部４０３を更新する。例えば、図１０（ｃ）では、被写体がアップショット領域の中央に来るように構図補正部４０４が修正したため、ファインダ中央にあったアップショット領域が被写体に合わせて左へと移動している。このようにすると、ファインダ表示範囲において常に被写体がアップショット領域に含まれる形でアップショット領域が更新される事となる。図８の例図に対し、被写体検出部４０５と構図補正部４０４が構成に入った場合のファインダ表示と記録を図１１に示す。常に被写体中心で記録されているのが分かる。

なお、構図補正部４０４における被写体領域とアップショット領域の比較によるアップショット領域の修正は、被写体領域を中央に配置することによらない。被写体検出部４０５の出力に向きがある場合、例えば、顔向きが分かる場合、顔の向いている方を広くあけた形でアップショット領域を修正してもかまわない。

さらに、被写体検出部４０５で出力された被写体領域の大きさに合わせてアップショット領域サイズを変更してもかまわない。たとえば、常に顔の大きさが一定になるようにアップショット領域を変えることで、人が遠くから歩いてくる場合等、顔サイズが変動する場合でも顔の表情を常に大きく表示し続ける事も可能である。図１２に（ａ）（ｂ）（ｃ）とカメラに近づいてくる場合でもアップショット領域に対する顔の比率が変わっていない例を示す。このような顔サイズに追従する場合においても、解像度を落とさず、光学ズームを使わずにズームする事が可能である。このようにする事で被写体を常に中央にアップで表示して安定した撮影が可能なため、手ぶれに対する補正としても効果がある。

（その他変形例）
なお、本発明を上記実施の形態及び変形例に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各機能のうち、撮像センサ部を除く諸機能は、具体的にはマイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムとして構成できる。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素のうち、撮像センサ部を除く構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明にかかる画像処理装置は、ムービーにおいてユーザの撮影カメラワーク補助・支援等として有用である。

本発明の撮像装置全体の機能ブロック図 同撮像装置のフローチャート 本発明の実施の形態１における撮像装置の主要機能ブロック図 （ａ）撮像素子の例示図（ｂ）同撮像素子の例示図（間引き読み出し）（ｃ）同撮像素子の例示図（中央部分読み出し）（ｄ）同撮像素子の例示図（（ｂ）（ｃ）のＯＲパターン）（ｅ）撮像素子の例示図（１６×１６画素で転送バス幅１６での切り出し例）（ｆ）同撮像素子の例示図（（ｅ）の画素で切り出しと間引きのＡＮＤパターン） （ａ）アップショット領域とフルショット領域の関係図（ｂ）ファインダ表示の例示図（ｃ）記録領域の例示図 （ａ）従来フレーミング補助のファインダ表示と記録領域の例示図（ｂ）ファインダ表示と記録領域の例示図（本発明パターンＡ）（ｃ）ファインダ表示と記録領域の例示図（本発明パターンＢ） （ａ）ズーム時のファインダ表示形式の例示図（最大アップショット撮影）（ｂ）ズーム時のファインダ表示形式の例示図（（ａ）より引きの構図）（ｃ）ズーム時のファインダ表示形式の例示図（（ｂ）より引きの構図） （ａ）ズームダウン時におけるファインダ表示領域の例示図（ｂ）ズームダウン時における記憶領域の例示図（ｃ）初期ズーム時におけるファインダ表示領域の例示図（ｄ）初期ズーム時における記憶領域の例示図（ｅ）ズームアップ時におけるファインダ表示領域の例示図（ｆ）ズームアップ時における記憶領域の例示図 本発明の実施の形態２における撮像装置の主要機能ブロック図 実施の形態２の効果を示すための例示図（ａ）例示のための構図（ｂ）被写体検出部による検出結果の表示図（ｃ）構図補正部によるアップショット領域修正後の図 被写***置に合わせたフレーミング例示図（ａ）ズームダウン時におけるファインダ表示領域の例示図（ｂ）ズームダウン時における記憶領域の例示図（ｃ）初期ズーム時におけるファインダ表示領域の例示図（ｄ）初期ズーム時における記憶領域の例示図（ｅ）ズームアップ時におけるファインダ表示領域の例示図（ｆ）ズームアップ時における記憶領域の例示図 被写***置／サイズに合わせたフレーミング例示図（ａ）遠距離時におけるファインダ表示領域の例示図（ｂ）遠距離時における記憶領域の例示図（ｃ）中距離時におけるファインダ表示領域の例示図（ｄ）中距離時における記憶領域の例示図（ｅ）近距離時におけるファインダ表示領域の例示図（ｆ）近距離時における記憶領域の例示図

符号の説明

９９ カメラ本体
１００ 絞り
１０１ レンズ
１０２ ズーム・フォーカス・絞りモータドライバ部
１０３ タイミングジェネレータ部
２００ 撮像センサ部
２０１ ＣＭＯＳセンサ部
２０２ シフトレジスタ部
２０３ デコーダ部
３００ アナログ信号処理部
３０１ ＣＤＳ回路
３０２ ＡＧＣ回路
３０３ Ａ／Ｄ変換回路
４００ カメラ制御部
４０１ 読み出しパターン選択部
４０２ フルショット映像パターン記憶部
４０３ アップショット映像パターン記憶部
４０４ 構図補正部
４０５ 被写体検出部
５００ デジタル信号処理部
５０１ 画像メモリ
６００ 表示部
７００ 記録部

Claims (8)

1. 静止画撮影においては有効画素数Ｎの画素信号を出力することができ、かつ、
   動画撮影においては前記有効画素数Ｎの画素信号を所定のフレームレートで記録することができない撮像装置において、
   前記有効画素数Ｎの撮像素子を有する撮像センサ部と、
   前記有効画素数Ｎより少ない画素数Ｎ１の第１画像データを前記撮像センサ部においてサンプリング処理により第１のレートで読み出し、前記有効画素数Ｎより少ない画素数Ｎ２の第２画像データを前記撮像センサ部において切り出し処理により第２のレートで読み出すよう制御するカメラ制御部と、
   前記第１のレートで読み出された前記第１画像データを連続して表示する表示部と、
   前記第２のレートで読み出された前記第２画像データを符号化して記録媒体に書き込む記録部と、
   を備えた撮像装置。
2. 前記第１画像データからなる映像は、前記第２画像データからなる映像より広角の映像であることを特徴とする請求項１記載の撮像装置。
3. 前記制御部は、
   前記第１画像データの読み出しと前記第２画像データの読み出しとを、所定の割合で交互に行うように制御することを、特徴とする請求項１記載の撮像装置。
4. 前記所定の割合は、前記第１画像データの読み出しの回数に対して、前記第２画像データの読み出しの回数の方が多い割合であること、を特徴とする請求項３記載の撮像装置。
5. 前記センサ制御部のサンプリング処理又は切り出し処理は、予め記憶された読み出しパターンを用いることを特徴とする、
   請求項１記載の撮像装置。
6. 前記センサ制御部の切り出し処理は、前記撮像センサ部が撮像する範囲の中心部を含むことを特徴とする、
   請求項１記載の撮像装置。
7. 更に、被写体領域を検出する被写体検出部と、を含み、
   前記センサ制御部は、前記被写体検出部より出力した被写体領域情報に基づいて第２の画像データを読み出す
   こと、
   を特徴とする請求項１記載の撮像装置。
8. 更に、前記有効画素数Ｎより少ない画素数Ｎ２の第２画像データを前記撮像センサ部において切り出し処理する領域を基準として、これより小さな領域を取り出す場合、拡大して記録媒体に書き込み、これより大きな領域を取り出す場合、切り出し処理すると共にその領域を間引いて取り出すことを特徴とする請求項１記載の撮像装置。

Images