JP2007135102A - 撮像装置 - Google Patents

Abstract

【課題】動画像と静止画像とを同時に画像処理する際に、動画像のフレームレートの低減を回避できるようにする。
【解決手段】撮像素子２により得られた画像信号に係る画像データの画像サイズを縮小する縮小部５０３と、縮小された画像データを一時的に記憶するラインメモリ５０４と、静止画処理領域と動画処理領域とを具備しており、画像データを画像処理する画像処理部７と、動画撮像中に外部からの制御指示に応じて撮像素子２により得られた静止画用のフレーム画像信号に係る静止画像データを記憶する全画素メモリ５０１と、画像処理部７の静止画処理領域及び動画処理領域に対して、それぞれ、全画素メモリ５０１に記憶された静止画像データと、ラインメモリ５０４に記憶された画像データのうちの動画像データとを、水平ライン単位で選択して入力させる選択部５０５とを有するようにする。
【選択図】図２

Description

本発明は、被写体における画像を撮像し、当該画像データを処理する撮像装置に関するものである。

従来、下記の特許文献１に示すように、静止画用と動画用の複数の映像処理ブロックを有し、静止画像用ブロックでは、１フレーム期間、又は１フィールド期間で画面分割されたエリア部分を順次処理して数フレームで１枚の静止画を構成するようにした撮像装置がある。

また、下記の特許文献２に示すように、動画と静止画を別モードで読み出す撮像素子において、動画記録中に静止画連写コマンドを受け付けた際には、静止画読み出しに切り換えて所定のフレーム数のみ静止画を連写し、動画１枚と静止画１枚分を繰り返し処理する撮像装置がある。この撮像装置では、当該処理時に動画データのフレームレートを落とすように構成されている。

特開２００１−３２６８９６号公報 特開２００３−１５８６５３号公報

しかしながら、特許文献１では、静止画用と動画用の複数の画像処理ブロックを有する構成のために、ＬＳＩのチップ面積が増大して撮像装置が大規模になってしまうことや、動画像と静止画像とを同時並行して画像処理を行なっているために、撮像装置の消費電力が増大してしまうという問題がある。

また、特許文献２では、動画記録中に静止画をキャプチャーする際に、動画像のフレームレートが落ちてしまうという問題がある。

本発明は上述の問題点にかんがみてなされたものであり、動画像と静止画像とを同時に画像処理する際に、動画像のフレームレートの低減を回避できるようにすることを目的とする。

本発明の撮像装置は、被写体における画像を画像信号として撮像する撮像手段と、前記撮像手段により得られた画像信号に係る画像データの画像サイズを縮小する画像縮小手段と、前記画像縮小手段により縮小された画像データを一時的に記憶する縮小画像データ記憶手段と、静止画処理領域と動画処理領域とを具備しており、前記画像データを画像処理する画像処理手段と、前記画像処理手段により画像処理された画像データを圧縮処理する圧縮処理手段と、動画撮像中に外部からの制御指示に応じて前記撮像手段により得られた静止画用のフレーム画像信号に係る静止画像データを記憶する静止画像データ記憶手段と、前記画像処理手段の前記静止画処理領域及び前記動画処理領域に対して、それぞれ、前記静止画像データ記憶手段に記憶された前記静止画像データと、前記縮小画像データ記憶手段に記憶された画像データのうちの動画像データとを、水平ライン単位で選択して入力させる選択手段とを有する。

また、本発明の撮像装置は、被写体における画像を画像信号として撮像する撮像手段と、前記撮像手段により得られた画像信号に係る画像データの画像サイズを縮小する画像縮小手段と、前記画像縮小手段により縮小された画像データを一時的に記憶する縮小画像データ記憶手段と、静止画処理領域と動画処理領域とを具備しており、前記画像データを画像処理する画像処理手段と、前記画像処理手段により画像処理された画像データを圧縮処理する圧縮処理手段と、前記撮像手段により得られた静止画像信号に係る静止画像データを一時的に記憶する静止画像データ記憶手段と、前記画像処理手段の前記静止画処理領域及び前記動画処理領域に対して、それぞれ、前記静止画像データ記憶手段に記憶された前記静止画像データと、前記縮小画像データ記憶手段に記憶された画像データのうちの動画像データとを、水平ライン単位で選択して入力させる選択手段とを有する。

本発明のよれば、動画像と静止画像とを同時に画像処理する際に、動画像のフレームレートの低減を回避することができる。更に、動画像のフレームレートを落とさずに、動画像より大画面の静止画像の記録を実現することが可能となるとともに、回路規模の縮小及びチップ面積の削減を図ることが可能となる。

また、静止画像データ記憶手段から画像処理手段に静止画像データを入力する速度、及び縮小画像データ記憶手段から画像処理手段に画像データを入力する速度、並びに、画像処理手段の処理速度を任意の速度に変更する駆動周波数可変手段を更に有するようにしたので、許容範囲内で当該各速度を上昇させることにより、静止画処理速度の向上を実現可能になり、静止画の連続撮影の性能を向上させることができる。

また、静止画像データ記憶手段に静止画像データを複数画面分記憶することにより、その複数画面分の静止画の連続記録が可能となり、静止画の連続撮影の性能を向上させることができる。

また、画像縮小手段により複数種類の縮小画像を生成することができ、且つ、その縮小画像の種類数だけ縮小画像データ記憶手段と、画像処理手段内に動画処理領域を設けることにより、複数の動画像を同時に出力することが可能になるとともに、動画像のフレームレートを落とさずに、動画より大画面の静止画記録と圧縮を実現することが可能となる。

以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。

（第１の実施形態）
本発明における第１の実施形態を、図１〜図５を用いて説明する。
図１は、第１の実施形態に係る撮像装置の概略構成を示すブロック図である。

まず、図１の撮像装置１００において１は、光学レンズと、シャッタ制御やズーム制御、フォーカス制御等を行う各種のモータ制御部とを含むレンズモジュールである。図１の撮像装置１００において２は、レンズモジュール１を介して入射した光を電気信号（画像信号）に変換して被写体の画像を撮像する撮像素子である。ここで、本実施形態に撮像素子２としては、特に限定はないが、例えば、ＣＣＤやＣＭＯＳセンサを適用することが可能である。また、この撮像素子２による読み出し方式としては、常時全画素読出し方式や動画／静止画チャンネル切替え読み出し方式、或いは、固定出力動画／静止画読出し画素数可変方式などの様々な方式で行うことが可能である。

図１の撮像装置１００において３は、撮像素子２から出力されたアナログの画像信号に対して、ゲイン調整を行ったり、所定の量子化ビットに対応してデジタル変換を行ったりするアナログフロントエンド（以下、これを「ＡＦＥ」と称する）である。図１の撮像装置１００において４は、撮像素子２及びＡＦＥ３の駆動タイミングを制御するタイミングジェネレータ（以下、これを「ＴＧ」と称する）である。ここで、例えば、レンズモジュール１、撮像素子２及びＡＦＥ３から、被写体における画像を画像信号として撮像する「撮像手段」が構成される。

図１の撮像装置１００において５は、ＡＦＥ３から出力された画像信号を動画像用信号と静止画像用信号とに振り分けるとともに、当該画像信号に対して縮小処理やバッファリング処理等を行って画像データを生成する動画・静止画処理部である。また、動画・静止画処理部５には、ラインメモリや全画素データを格納するメモリ領域を備えている。

図１の撮像装置１００において６は、後述する画像処理部７や圧縮処理部１０で処理された画像データを記憶するための画像データ記憶手段の機能と、後述するＣＰＵ９が動作を行う際のワークメモリの機能を兼備するＲＡＭである。本実施形態では、これらの機能をＲＡＭ６を用いて行うようにしているが、アクセス速度が十分に問題無いレベルのメモリであれば、他のメモリを適用することも可能である。

図１の撮像装置１００において７は、動画・静止画処理部５で処理された動画像データ及び静止画像データに対して現像処理を行う画像処理部である。図１の撮像装置１００において８は、後述するＣＰＵ９が動作を行う際のプログラムを格納するＲＯＭである。ここで、本実施形態では、Ｆｌａｓｈ−ＲＯＭを示すが、これは一例であり、アクセス速度が十分に問題ないレベルのメモリであれば、他のメモリを適用することも可能である。

図１の撮像装置１００において９は、撮像装置１００を統括的に制御するＣＰＵである。図１の撮像装置１００において１０は、画像処理部７により画像処理された画像データを所定のフォーマットに応じて圧縮処理する圧縮処理部である。ここで、所定のフォーマットとしては、ＪＰＥＧやＭＰＥＧ等の規格に準拠したフォーマットを適用するため、特に限定はしないが、本実施形態ではＪＰＥＧによる圧縮処理で説明する。

図１の撮像装置１００において１１は、圧縮処理部１０で圧縮された動画像データ及び静止画像データを後述のストレージ部１３に記録するか、或いは後述のネットワーク通信部１２からネットワーク上に出力するかを切り替える出力切替部である。

図１の撮像装置１００において１２は、外部のネットワークからの通信コマンドの通信や、各処理部で処理された動画像データ及び静止画像データを外部へ配信或いは通信するためのネットワーク通信部である。図１の撮像装置１００において１３は、撮像装置１００内に動画像データ、静止画像データを記憶するために設けられたストレージ部である。なお、本実施形態では、ストレージ部１３としているが、その他、データの書き込み可能な不揮発性メモリ、メディア、ハードディスク等のデータを記憶できるもの全般を示し、撮像装置１００に着脱可能なものでもよい。

図１の撮像装置１００において１４は、外部からのリモコン制御コマンドを受け付けるリモコン受信部である。図１の撮像装置１００において１５は、ユーザが外部から直接操作することが可能なキー入力部である。また、近年、チップシュリンクが進んでおり、図１において、動画・静止画処理部５、画像処理部７、圧縮処理部１０、ＣＰＵ９、出力切替部１１及びネットワーク通信部１２が１つのチップとして構成してもよく、さらには、ＲＯＭ８及びＲＡＭ６等も１チップ化して構成してもよい。

次に、動画・静止画処理部５の詳細なブロック構成について説明する。
図２は、第１の実施形態に係る撮像装置の動画・静止画処理部５の詳細構成を示すブロック図である。なお、図１に示した撮像装置１００の各構成部と同様の構成については、同じ符号を付している。

図２の撮像素子２は、動画像を構成する１フレーム時間内で全画素読み出し可能で、かつ１００万画素以上の高精細な撮像素子である。本実施形態においては、１秒間に横１７２８ドット、縦１２４０ラインの画素を約３０回出力し、その中で横１６００ドット、縦１２００ラインを有効とする、約２００万画素の撮像素子を例に挙げて説明する。なお、本文中に記載されるフレームとは、撮像素子２が１画面分の画像信号を出力するのに要する期間を表す。

図２のＡＦＥ３は、撮像素子２に対応するものである。図２のＴＧ４は、撮像素子２に対応するタイミングジェネレータである。図２の画像処理部７は、後述の選択部５０５から出力される動画像データ／静止画像データを入力し、最適な画像処理を行うものである。

図２の動画・静止画処理部５において５０１は、撮像素子２から出力され、ＡＦＥ３でデジタル化された１画面あたりの画像信号を画像データとして、後述の記録制御部５０２による制御により蓄積する全画素メモリである。ただし、全画素メモリの容量は、１画面に限定することではなく、２画面ないしは３画面分持つことも可能である。

図２の動画・静止画処理部５において５０２は、ＣＰＵ９の制御部９０１からの制御信号に基づいて、前記１画面あたりの画像信号を静止画像データとして全画素メモリ５０１に記憶する記録制御部である。さらに、記録制御部５０２は、全画素メモリ５０１に記憶した１フレーム分の画像データを所定の単位に分割して選択部５０５に出力する制御を行う。

図２の動画・静止画処理部５において５０３は、動画用の画像データ（動画像データ）の画像サイズを縮小する縮小部である。図２の動画・静止画処理部５において５０４は、縮小部５０３により縮小された動画用の画像データ（動画像データ）を一時記憶し、画像処理部７の要求するタイミングで記憶した画像データを出力するラインメモリ（縮小画像データ記憶手段）である。本実施形態では、縮小画像データ記憶手段としてラインメモリを適用して説明を行うが、非同期ＦＩＦＯメモリや、デュアルポートＲＡＭ、アクセス速度が十分問題ないレベルの記憶媒体等を適用することも可能である。

図２の動画・静止画処理部５において５０４は、ＣＰＵ９の制御部９０１からの制御信号に基づいて、画像処理部７に出力する画像データを、記録制御部５０２から出力される静止画像データにするか、ラインメモリ５０４から出力される動画像データにするかを選択する選択部である。具体的に、選択部５０５は、画像処理部７の静止画処理領域及び動画処理領域に対して、それぞれ、全画素メモリ５０１に記憶された静止画像データと、ラインメモリ５０４に記憶された画像データのうちの動画像データとを、水平ライン単位で出力するようにする。

図２のＣＰＵ９において９０１は、図４に示すＶＤ信号４０１やＨＤ信号４０４、ラインメモリ５０４の状態を監視しながら、動画処理と静止画処理のタイミングを切り替える制御信号を出力する制御部である。図２のＣＰＵ９において９０２は、後述のＣＬＫ９０３の周波数を逓倍し高速周波数に設定するＰＬＬ（駆動周波数可変手段）である。このＰＬＬ９０２では、ＣＰＵ９（制御部９０１）からの指示により、画像処理部７の駆動周波数や各ラインメモリのデータ出力周波数等を可変にすることが可能である。図２のＣＰＵ９において９０３は、撮像装置１００の動作に必要なクロックを生成する発振器（以下、「ＣＬＫ」と称する）である。

次に、画像処理部７の詳細なブロック構成について説明する。
図３は、第１の実施形態に係る撮像装置の画像処理部７の詳細構成を示すブロック図である。なお、図３には、フィルタリング処理や画像サイズ変更処理、圧縮処理等で使用されるラインメモリ構成を示している。また、圧縮処理部１０についても、図３に示すブロック構成図で構成されていてもよい。

図３において選択部５０５は、動画・静止画処理部５に設けられており、入力された静止画像データと動画像データとを、画像処理部７に設けられている静止画処理領域７１０及び動画処理領域７２０のどちらの処理領域に出力するのかを選択する。

静止画処理領域７１０において７１１〜７１３は、フィルタリング処理や画像サイズ変更処理の際に構成される第１〜第３静止画用ラインメモリである。静止画処理領域７１０において７１４は、各静止画用ラインメモリ７１１〜７１３にシリーズに接続され、本実施形態においては、３×３のマトリクス処理を行うためのである。

動画処理領域７２０において７２１〜７２３は、フィルタリング処理や画像サイズ変更処理の際に構成される第１〜第３動画用ラインメモリである。動画処理領域７２０において７２４は、各動画用ラインメモリ７２１〜７２３にシリーズに接続され、本実施形態においては、３×３のマトリクス処理を行うためのレジスタ群である。

本実施形態では、各画像処理領域にラインメモリを構成しているが、例えば、シフトレジスタや同期ＦＩＦＯメモリ、デュアルポートＲＡＭ、アクセス速度が十分問題ないレベルの記憶媒体等であってもよい。また、本実施形態では、ラインメモリを３段で構成している形態であるが、フィルタリング処理や縮小処理、圧縮処理等の要件次第では、４段、５段、８段等で構成されていてもよい。

画像処理部７において７３０は、後述の演算処理部７４０がフィルタリング処理や縮小処理、圧縮処理を行う際に、静止画用レジスタ群７１４を参照するか動画用レジスタ群７２４を参照するかを選択する演算データ選択部である。画像処理部７において７４０は、フィルタリング処理や縮小処理、圧縮処理におけるマトリクス演算を行う演算処理部である。

次に、第１の実施形態に係る撮像装置の動作について説明する。
図４は、第１の実施形態に係る撮像装置の動作を示すタイミングチャートである。

図４において４００は、操作者がシャッタＳＷを押下し撮影を行った際に、ＣＰＵ９がキー入力部１５からのシャッタＳＷ信号入力により静止画撮影モードへの移行を判断し、画像処理部７やＴＧ４、ＡＦＥ３等に対し、次の垂直同期信号（以下、垂直同期を「ＶＤ」と称し、この垂直同期信号を「ＶＤ信号」と称する）４０１の変化から静止画処理を実行させるための指示タイミングである。

図４において４０１は、前述したＶＤ信号である。図４において４０２は、記録制御部５０２が１フレーム分の画像信号を静止画像データとして全画素メモリ５０１に記憶するタイミングを表している。図４において４０３は、画像処理部７がどのＶＤ期間で静止画処理を行っているか動画処理を行っているかを表している。

図４において４０４は、水平同期信号（以下、水平同期を「ＨＤ」と称し、この垂直同期信号を「ＨＤ信号」と称する）である。図４において４０５は、撮像素子２が１つのＨＤ期間に画像信号を出力するタイミングとそのデータ量を表している。撮像素子２からの画像信号の出力は、水平ライン単位で行われ、本実施形態においては、１７２８ドット分の画像信号が連続して出力される。図４において４０６は、縮小部５０３へ画像データが入力され縮小処理が行われる期間と、縮小部５０３で縮小された画像データがラインメモリ５０４に入力される期間を表している。

図４において４０８は、ラインメモリ５０４に記憶された縮小処理された画像データを選択部５０５に対して出力するタイミングを表している。図４において４０９は、記録制御部５０２が全画素メモリ５０１に記録した１フレーム分の画像データを１水平ライン単位で読み出し、選択部５０５に対して出力するタイミングを表している。図４において４１０は、制御部９０１が記録制御部５０２や縮小部５０３、選択部５０５、画像処理部７に対して、動画処理を行うか静止画処理を行うかの切替え指示を行うタイミングを表している。図４において４１１は、画像処理部７が実際に動画処理を行っているのか静止画処理を行っているかのタイミングを表している。

図１、図２、図３、図４及び図５を用いて、本実施形態に係る撮像装置の動作と、画像撮影からネットワークに画像データを出力するまでの流れを説明する。

図５は、第１の実施形態に係る撮像装置の制御方法示すフローチャートである。
まず、操作者がキー入力部１５の操作によって撮影モードを選択すると、ＣＰＵ９はこれを検知し（ステップＳ５０１／ＹＥＳ）、続いて、ＣＰＵ９は、カメラの画像処理に係る処理系に対してイニシャル処理を行う（ステップＳ５０２）。

具体的に、このイニシャル処理では、ＣＰＵ９の制御部９０１から、まず動画像処理を行うための指示と、ネットワーク通信部１２に対して画像データの出力を行うように、各処理部と出力切替部１１に対して指示を行う。この指示により、縮小部５０３及びラインメモリ５０４は、動画像データの出力に備えて動作を開始する。また、選択部５０５は、画像処理部７に対して、ラインメモリ５０４からの動画像データを出力するように切り替える。また、ＰＬＬ９０２は、動画像データ出力用の駆動クロックを各処理部に供給し、選択部５０５及び演算データ選択部７３０は、各動画用ラインメモリ７２１〜７２３に動画像データが流れるように切り替える。また、ＶＤ信号４０１やＨＤ信号４０４も画像処理部７から出力が開始される。ただし、この時点で記録制御部５０２は、全画素メモリ５０１への静止画像データの記録は行われない。

上述したイニシャル処理が行われた後、撮像素子２は、１秒間に約３０回、横１７２８ドット、縦１２４０ラインの画素信号の出力４０５を開始する（ステップＳ５０３）。この撮像素子２から出力される画素信号は、水平ライン単位で動画像データとして縮小部５０３に入力される。この縮小部５０３では、４水平ライン単位で４分の１加算縮小処理４０６が行われ、順次ラインメモリ５０４に出力４０６される。なお、本実施形態における縮小処理では４ライン４分の１加算縮小で説明するが、４ライン４分の１加算縮小に限定することはなく、撮像素子２のカラーフィルタ配列や縮小率等を鑑みて、最適なライン数で適切な縮小処理が行われる。

また、本実施形態においては、縦横夫々２分の１されるため、データ量的に見れば撮像素子２の２水平ライン（１７２８ドット×２ライン）出力に対して、縮小部５０３は、１水平ライン（８６４ドット×１ライン）出力となる。そして、１フレームあたりのデータ量は、横８６４ドット、縦６２０ラインの動画用画素データに縮小される。

制御部９０１は、ＨＤ信号４０４をカウントし、４水平ライン毎にラインメモリ５０４に対し、撮像素子２の画像信号出力クロックと同じ周波数で、記憶された動画像データを出力するように指示４１０する。指示を受けたラインメモリ５０４は、指定されたタイミングで動画像データ（横８６４ドット×２ライン分）を出力４０８し、この出力データを受けた画像処理部７は、動画用の各種演算処理を行う。その際、選択部５０５は、各動画用ラインメモリ７２１〜７２３に対して動画像データを流すように設定され、演算処理部７４０も演算データ選択部７３０によって、各動画用ラインメモリ７２１〜７２３から出力されるデータに対し演算処理を行うように設定される。さらに、画像処理部７では、ＣＰＵ９から指示された画像サイズ（例えば、ＶＧＡサイズやＱＶＧＡサイズやＣＩＦサイズ等等）に縮小処理し、圧縮処理部１０に対して出力する。圧縮処理部１０は、所定の圧縮率で画像データを圧縮し、１フレーム分の圧縮画像データを一度ＲＡＭ６に蓄積する。

そして、ＣＰＵ９は、１フレーム分の圧縮画像データの蓄積を検出し、ＲＡＭ６に蓄積された１フレーム分の圧縮画像データを通信経路にあわせたパケットに分割し、ネットワーク通信部１２からネットワーク網に対して出力を行う（ステップＳ５０４）。

続いて、ＣＰＵ９は、この動画出力状態から、キー入力部１５からキー入力があったか否かを判断する（ステップＳ５０５）。この判断の結果、キー入力部１５からキー入力がない場合には、画像処理部７は、自動露出補正（以下、これを「ＡＥ」と称する）処理や自動色温度補正（以下、これを「ＡＷＢ」と称する）処理を行う（ステップＳ５０６）。その後、ステップＳ５０５に戻る。

一方、ステップＳ５０５での判断の結果、キー入力部１５からキー入力があった場合には、続いて、ＣＰＵ９は、そのキー入力がどのような種類なのかを判断する（ステップＳ５０７）。

ステップＳ５０７での判断の結果、キー入力の種類がパラメータ変更指示であった場合、ＣＰＵ９及び画像処理部７は、指示されたモードの画像処理方式に変更する（ステップＳ５０８）。その後、ステップＳ５０５に戻る。

ステップＳ５０７での判断の結果、キー入力の種類がカメラ機能停止の指示（例えば、ＯＦＦ処理）であった場合、ＣＰＵ９は、カメラ機能に係る各処理部の動作の停止処理を行う（ステップＳ５０９）。その後、当該フローチャートにおける処理が終了する。

ステップＳ５０７での判断の結果、キー入力の種類がシャッタＳＷの入力がなされて動画出力中の静止画撮影指示であった場合、ＣＰＵ９の制御部９０１は、記録制御部５０２、選択部５０５及び画像処理部７に対して静止画撮影を指示する。そして、制御部９０１は、動画＆静止画の同時処理を行うために、静止画データの入力機能をアクティブにする（ステップＳ５１０）。

静止画撮影指示を受けた記録制御部５０２は、次のＶＤ信号４０１により、１フレーム分の画像信号を静止画データとして全画素メモリ５０１に記録する。制御部９０１は、さらに、次のＶＤ信号４０１のタイミングを検出し、記録制御部５０２に対し、制御切替え指示４１０を行い、４水平ライン期間中の１水平ライン期間に行われる動画処理以外の期間に、３水平ライン単位で静止画像データを選択部５０５に対し出力させる。この時の１水平ライン単位の静止画像データの出力は、撮像素子２の画像信号の出力クロックと同じ周波数である。

記録制御部５０２からの静止画像データの出力を受けた選択部５０５は、制御部９０１からの制御切替え指示４１０に従い、画像処理部７に対して、動画像データの出力の合間に、静止画像データを出力する。この時、画像処理部７内部では、選択部５０５により、分割された静止画像データが各静止画用ラインメモリ７１１〜７１３に入力されるとともに、動画像データが各動画用ラインメモリ７２１〜７２３に入力される。演算データ選択部７３０も同様に、制御切替え指示４１０に従って、静止画用演算データと動画用演算データとを切替えて演算処理部７４０に出力することが可能になる。

制御切替え指示４１０に基づいて、画像処理部７で一連の画像処理が実行された後、静止画像データは、圧縮処理部１０に入力される。圧縮処理部１０内でも、制御切替え指示４１０に従い、静止画像圧縮処理と動画像圧縮処理とが時分割で行われ、圧縮された画像データは逐次ＲＡＭ６に記録される。１フレーム分の静止画の圧縮処理が完了した場合、続いて、ＣＰＵ９は、出力切替部１１を切り替え、動画像データはネットワーク通信部１２に、静止画像データはストレージ部１３に出力する（ステップＳ５１１）。その後、ステップＳ５０５に戻る。

この一連の動画＆静止画同時処理（ステップＳ５１０）により、動画１フレーム分の全画素データを記録した次の２フレーム期間で、静止画像処理が完了４０３し、再度、通常の動画処理モードに復帰する。

なお、本実施形態では、動画像データのラインメモリ５０４からの読出しと、静止画像データの記録制御部５０２による読出しとを、「撮像素子２による画素信号の出力クロックと同じ周波数で出力する」ということで説明したが、この読出し速度をそれよりも早い周波数にすることで、２フレーム期間かかっていた１フレームあたりの静止画像の処理期間を、１フレーム期間に短縮することが可能になる。これは、「撮像素子２による画像信号の出力クロックと同じ周波数」で処理した場合、図４の４０８に図に示されているように、４水平ライン期間あたり、３水平ライン分の画像処理しかできないため、どうしても１フレーム内では静止画処理が終了しないことになり、もし、読出し速度を「撮像素子２による画像信号の出力クロックと同じ周波数」の３分の４倍以上にした場合、１フレーム期間以内で静止画処理が完了することになるからである。

以上、本発明の第１の実施形態に係る撮像装置を実現することにより、第１の効果として、動画像撮像中に静止画像をキャプチャーしたい時に、動画像のフレームレートを低減させることなく、ネットワーク上へ配信或いは記録が可能となる。また、第２の効果として、動画像サイズより大きいサイズの静止画像のキャプチャーを同時に実現することが可能となる。また、第３の効果として、全画素メモリ５０１を複数フレーム分持つことにより、動画撮像中の連写撮影もメモリ範囲内で高速化できる。また、第４の効果として、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、前記制御の実現が可能となる。

（第２の実施形態）
第１の実施形態では、静止画撮影において、全画素メモリ５０１に撮像素子２から出力される画像信号を画像データとしてすべて記録する方法について説明したが、水平ライン単位で画像信号の管理を行うことで、全画素メモリ５０１よりも少ないメモリ量で同様の効果を上げることが可能になる。

本発明における第１の実施形態を、図１、図５〜７を用いて説明する。
第２の実施形態に係る撮像装置の概略構成を示すブロック図は、図１に示す動画・静止画処理部５に対して、図６に示す動画・静止画処理部２５を適用する以外は、図１に示すものと同様である。また、第２の実施形態に係る撮像装置の制御方法示すフローチャートも図５に示すものと同様である。

図６は、第２の実施形態に係る撮像装置の動画・静止画処理部２５の詳細構成を示すブロック図である。なお、図１に示した撮像装置１００の各構成部と同様の構成については、同じ符号を付している。

図６において、撮像素子２、ＡＦＥ３、ＴＧ４、縮小部５０３、ラインメモリ５０４、選択部５０５、画像処理部７、ＰＬＬ９０２及びＣＬＫ９０３は、第１の実施形態と同じである。

図６において５２１は、撮像素子２から出力され、ＡＦＥ３でデジタル化された１画面あたりの画像信号を画像データとして一時的に記憶するラインメモリであり、動画処理用のラインメモリ５０４と区別するために、第２の実施形態においては、ラインメモリＳとする。なお、本実施形態ではラインメモリとして説明を行うが、これは非同期ＦＩＦＯメモリや、デュアルポートＲＡＭ、アクセス速度が十分問題ないレベルの記憶素子等であっても適用可能である。また、第２の実施形態における制御部９０１は、第１の実施形態においては動画処理の空いた間隔に静止画処理を割り込ませる制御を行うものだったのに対して、静止画処理の空いた間隔に動画処理を割り込ませるための制御を行う。

また、記録制御部５０２は、ＣＰＵ９の制御部９０１からの制御信号に基づいて、前記１画面あたりの画像信号を静止画像データとしてラインメモリＳ５２１に記録する。

次に、第２の実施形態に係る撮像装置の動作について説明する。
図７は、第２の実施形態に係る撮像装置の動作を示すタイミングチャートである。

図７において４００は、静止画像撮影の指示タイミングである。図７において４０１は、ＶＤ信号である。図７において４０３は、画像処理部７がどのＶＤ期間で静止画処理を行っているか動画処理を行っているかを表している。

図７において４０４は、ＨＤ信号である。図７において４０５は、撮像素子２が１つのＨＤ期間に画像信号を出力するタイミングとそのデータ量を表している。図７において４２１は、制御部９０１の制御によりラインメモリＳ５２１から出力される静止画像データの出力タイミングである。図７において４０６は、縮小部５０３へ画像データが入力され縮小処理が行われる期間と、縮小部５０３で縮小された画像データがラインメモリ５０４に入力される期間を表している。

図７において４２２は、ラインメモリ５０４の出力タイミングであり、通常の動画処理時におけるラインメモリ５０４の出力タイミングは第１の実施形態と同じ制御になるが、第２の実施形態における動画＆静止画同時処理（ステップＳ５１０）になった場合、制御部９０１は、静止画像データを出力するラインメモリＳ５２１の出力の完了を監視し、ラインメモリＳ５２１の出力完了後にラインメモリ５０４を出力させるという制御に切替わる。図７において制御部９０１の切り替え指示タイミング４１０及び画像処理部７の動作状態４１１については、第１の実施形態と同じである。なお、第２の実施形態において、撮像素子２のデータ出力タイミング４０５は、ラインメモリＳ５２１への静止画像データの入力タイミングをも表している。

次に、図１、図５、図６及び図７を用いて、第２の実施形態における撮像装置の制御方法を説明する。
カメラ部の起動から、静止画撮影の指示までは、第１の実施形態と同じであり、静止画撮影がＣＰＵ９から指示され、動画＆静止画同時処理（ステップＳ５１０）が開始された場合、制御部９０１からの指示により記録制御部５０２は、次のＶＤ信号４０１から、撮像素子２が出力するすべての画像信号を画像データとしてラインメモリＳ５２１への記録を開始する。

そして、制御部９０１は、１水平ライン分の画像データがラインメモリＳ５２１に記憶されたことを確認した後、撮像素子２の画像信号の出力クロックの２倍程度の周波数で出力（４２１）させる。制御部９０１は、画像処理部７もラインメモリＳ５２１と同様に撮像素子２の画像信号の出力クロックの２倍程度の周波数で動作させることにより、早い周波数の画像データの入力に対処できるようになる。この高速処理によって実現される画像処理部７での処理の空白期間に対して、制御部９０１は、制御切替え信号４１０を変化させ、ラインメモリ５０４に記憶されている動画像データとして８６４ドット×２ライン分を１つの単位とし、撮像素子２の画像信号の出力クロックの２倍程度の周波数で画像処理部７に対して出力させる。この後、第１の実施形態と同様に、制御切替え信号４１０の変化に応じて画像処理部７や圧縮処理部１０は、動画と静止画の処理を切替えることにより、図５のステップＳ５１０の動画＆静止画同時処理が実現する。

以上説明したように、第１の実施形態においては、静止画用の全画素用メモリ５０１を持ち、動画処理の空いた間隔に静止画処理を行うようにしていたが、第２の実施形態においては、静止画用のメモリとして１水平ライン程度の少ないラインメモリＳ５２１を持ち、静止画処理の空いた間隔に動画処理を行うこととしている。したがって、第１の実施形態の撮影装置と比較して、少ないメモリ量で同様の効果を奏することができる。

（第３の実施形態）
第２の実施形態においては、ラインメモリの読出し速度を高速化し、静止画処理の空いた間隔に動画処理を行うようにしていたが、縮小部５０３においては、１つの画像サイズの画像データを出力する機能について説明を行った。しかしながら、複数種類の動画出力を要求された場合、複数種類の縮小画像を出力できる縮小部と、その出力に対応したラインメモリ及び画像処理部を用いれば、その要求にこたえることが可能になる。第３の実施形態に係る撮像装置の概略構成を示すブロック図は、図１に示す動画・静止画処理部５に対して図８に示す動画・静止画処理部３５を適用し、図１に示す画像処理部７に対して図９に示す画像処理部３７を適用するする以外は、図１に示すものと同様である。

本発明における第３の実施形態を、図８及び図９を用いて説明する。

図８は、第３の実施形態に係る撮像装置の動画・静止画処理部３５の詳細構成を示すブロック図である。なお、図６に示した撮像装置の各構成部と同様の構成については、同じ符号を付している。

図８において５３１は、１つの入力画像データから、複数の縮小画像データを生成可能な縮小部である。図８において５３２は、ラインメモリ５０４に出力される縮小画像データサイズと異なる画像サイズの縮小画像データを記憶するラインメモリＤである。

図９は、第３の実施形態に係る撮像装置の画像処理部３７の詳細構成を示すブロック図である。なお、図９には、フィルタリング処理や画像サイズ変更処理、圧縮処理等で使用されるラインメモリ構成を示している。また、圧縮処理部１０についても、図９に示すブロック構成図で構成されていてもよい。

次に、図９において５０５は、制御部９０１からの制御信号により、静止画用ラインメモリと２種類の動画用ラインメモリに選択的に画像データを供給する動画・静止画処理部３５の選択部である。図９において選択部５０５は、入力された静止画像データと動画像データとを、画像処理部３７に設けられている静止画処理領域７１０及び動画処理領域７２５のどちらの処理領域に出力するのかを選択する。

静止画処理領域７１０において７１１〜７１３は、フィルタリング処理や画像サイズ変更処理の際に構成される第１〜第３静止画用ラインメモリである。静止画処理領域７１０において７１４は、各静止画用ラインメモリ７１１〜７１３にシリーズに接続され、本実施形態においては、３×３のマトリクス処理を行うためのレジスタ群である。

動画処理領域７２５において７２１〜７２３は、フィルタリング処理や画像サイズ変更処理の際に構成される第１〜第３動画用ラインメモリである。動画処理領域７２０において７２４は、各動画用ラインメモリ７２１〜７２３にシリーズに接続され、本実施形態においては、３×３のマトリクス処理を行うためのレジスタ群である。また、動画処理領域７２５において７２６〜７２８は、フィルタリング処理や画像サイズ変更処理の際に構成される第４〜第６動画用ラインメモリである。動画処理領域７２５において７２９は、各動画用ラインメモリ７２６〜７２８にシリーズに接続され、本実施形態においては、３×３のマトリクス処理を行うためのレジスタ群である。

画像処理部３７において７３１は、演算処理部７４０がフィルタリング処理や縮小処理、圧縮処理を行う際に、静止画用レジスタ群７１４を参照するか、動画用レジスタ群７２４を参照するか、或いは動画用レジスタ群７２９を参照するかを選択する演算データ選択部である。画像処理部３７において７４０は、フィルタリング処理や縮小処理、圧縮処理におけるマトリクス演算を行う演算処理部である。

次に、図８及び図９を用いて、第３の実施形態における撮像装置の制御方法を説明する。
撮像素子２から出力された画像信号を動画像データとして入力した縮小部５３１は、動画として必要とされる２つの画像サイズ（例えば、ＶＧＡとＱＶＧＡ）に合わせた画像データを作成し、夫々ラインメモリ５０４とラインメモリＤ５３２に入力する。動画出力だけの状態においては、制御部９０１は、選択部５０５に対して、ラインメモリ５０４とラインメモリＤ５３２に記憶された画像データを交互に所定の水平ラインずつ出力するように指示する。

２種類の動画像データが入力された選択部５０５は、制御部９０１から指示される動画像データの切替えタイミングにより、入力された動画像データをどちらの動画用ラインメモリに供給するかを判断し、夫々供給を開始する。同様に演算データ選択部７３１も、制御部９０１から指示される動画像データの切替えタイミングにより演算処理部７４０に供給するデータを切り替えることで、２つの動画像データの画像処理が実現される。

次に、静止画撮影が指示された場合において、静止画処理に関しては第２の実施形態と同様であるが、第２の実施形態においては４２１に図示されるように、ＨＤ期間毎に静止画処理期間の空いた間隔が存在するため、この部分に前記サイズの異なる動画像の処理を割り当てることになる。

以上説明したように、第２の実施形態に対して、複数種類の画像圧縮が可能な縮小部５３１とその種類に対応するラインメモリＤ５３２及びその種類に対応した画像処理部３７のラインメモリを具備するようにすることにより、１つの画像データからサイズの異なる複数の動画像データを同時に供給することが可能になる。

（第４の実施形態）
第１及び第２の実施形態において、全画素読出しを行う撮像素子を例にあげて説明を行ったが、撮像素子２として異なる読出し方式ものを適用する場合においても、同様の効果を奏することが可能である。

本発明の第４の実施形態を示す図として、図１、図４、図５及び図１０がある。
図１０は、第４の実施形態に係る撮像装置の動画・静止画処理部４５の詳細構成を示すブロック図である。なお、図１０において、第１〜第３の実施形態に係る撮像装置の構成部と同様の構成については、同じ符号を付している。

本実施形態の撮像素子２は、動画に対応した動画用読み出しチャンネルと静止画読み出しに対応した静止画用読み出しチャンネルを有するものである。動画用読み出しチャンネルは、全画素データの内の動画サイズに対応した画素間引、或いは画素加算されたデータ読み出し可能なチャンネルであり、静止画用読み出しチャンネルは動画像を構成する１フレーム時間内で全画素分のデータが読み出し可能なチャンネルである。本実施形態においては、静止画読出し時には、静止画読み出しチャンネルにより、１フレームあたり横１７２８ドット、縦１２４０ラインの画素を出力し、その中で横１６００ドット、縦１２００ラインを有効とし、動画読出し時には、動画読出しチャンネルにより、１フレームあたり横８６４ドット、縦６２０ラインの画素を出力し、その中で横８００ドット、縦６００ラインを有効とする、約２００万画素の撮像素子を例にあげて説明する。また、動画読出しと静止画読出しは、その期間が重ならないため、動画用読出しチャンネルと静止画用読出しチャンネルとは共有することも可能である。

本実施形態のＡＦＥ３は、撮像素子２に対応したアナログフロントエンドである。本実施形態のＴＧ４は、撮像素子２に対応したタイミングジェネレータである。

図１０の動画・静止画処理部４５において５４１は、撮像素子２から出力され、ＡＦＥ３でデジタル化された画像信号に基づく画像データを、動画読み出し期間の場合はラインメモリＤ５３２に、静止画読出し時には記録制御部５０２と縮小部５０３に対して切り替えて出力する切替部である。ラインメモリ５０４は、縮小部５０３から出力される縮小画像データを一時的に記憶する。ラインメモリＤ５３２は、切替部５４１から出力される動画読出し時の画像データを一時的に記憶する。

次に、図４及び図１０を用いて、第４の実施形態に係る撮像装置の動作について説明する。
第４の実施形態における動画処理は、撮像素子２の動画用読出しチャンネルから読み出された画像信号が切替部５４１により画像データとしてラインメモリＤ５３２に入力される。第１、第２の実施形態と異なり、既に加算縮小された形式で撮像素子２が画像信号を出力するため、この部分における縮小処理の必要はない。制御部９０１は、このラインメモリＤ５３２に記憶された画像データを、順次画像処理部７の供給し、画像処理部７において画像処理を行う。これ以降の処理は、第１の実施形態と同様である。

次に、第４の実施形態における動画＆静止画同時処理（図５のステップＳ５１０）について説明する。
静止画撮影において、ＣＰＵ９からの指示を受けた撮像素子２は、静止画読み出しチャネルによる画像信号の出力を開始する。同様に、ＡＦＥ３とＴＧ４もこの画像信号の出力にあわせて動作モードを切り替える。

静止画撮影モードになった撮像素子２は、１ＶＤ期間内に全画素における画像信号を出力する。この状態は、第１の実施形態で説明した全画素読出しの出力形式と同様である。切替部５４１は、ＣＰＵ９からの指示により、この１フレーム期間内の全画素における画像信号を記録制御部５０２と縮小部５０３に供給する。この全画素における画像信号が入力された後の静止画処理に関しては、第１の実施形態と同様であるが、第１の実施形態と異なる点は、動画＆静止画同時処理（ステップＳ５１０）が２つのＶＤ期間で行われた場合、最初のＶＤ期間における処理は、第１の実施形態と同じであるが、それ以降のＶＤ期間における画像データの供給は、ラインメモリＤ５０４によって行われる点である。なお、この点に関しても、第１の実施形態に記載されている通り、制御部９０１が各処理部の動作周波数を向上させることにより、１ＶＤ期間内で動画＆静止画同時処理が終了することは明白である。

以上、第４の実施形態で説明したように、静止画読出しチャンネルと動画読出しチャンネルにより、それぞれ画像信号が出力されるタイプの撮像素子においても、第１の実施形態と同様の効果をあけることが可能である。

（第５の実施形態）
第４の実施形態では、静止画撮影において、全画素メモリ５０１に撮像素子２から出力される画像信号に基づく画像データをすべて記録する方法について説明したが、水平ライン単位で画像データの管理を行うことで、全画素メモリ５０１よりも少ないメモリ量で同様の効果を上げることが可能になる。

本発明の第５の実施形態を示す図として、図１、図５、図７及び図１１がある。
図１１は、第５の実施形態に係る撮像装置の動画・静止画処理部５５の詳細構成を示すブロック図である。なお、図１１において、第１〜第４の実施形態に係る撮像装置の構成部と同様の構成については、同じ符号を付している。

本実施形態の動画・静止画処理部５５において５５１は、撮像素子２から出力され、ＡＦＥ３でデジタル化された画像信号に基づく画像データを、動画読み出し期間の場合はラインメモリＳＤ５５２に、静止画読出し時にはラインメモリＳＤ５５２と縮小部５０３に対して切り替えて出力する切替部である。ラインメモリＳＤ５５２は、動画読出し期間においては切替部５５１から出力される動画像データを一時的に記憶し、静止画読出し期間においては切替部５５１から出力される静止画像データを一時的に記憶するものである。

次に、図７及び図１２を用いて、第５の実施形態に係る撮像装置の動作を説明する。
第５の実施形態における動画処理は、撮像素子２の動画用読出しチャンネルから読み出された画像信号が、切替部５５１により画像データとしてラインメモリＳＤ５５２に入力される。第１、第２の実施形態と異なり、既に加算縮小された形式で撮像素子２が画像信号を出力するため、この部分における縮小処理の必要はない。制御部９０１は、このラインメモリＳＤ５５２に記憶された画像データを、順次画像処理部７に供給し、画像処理部７において画像処理を行う。これ以降の処理は、第２の実施形態と同様である。

次に、第５の実施形態における動画＆静止画同時処理（ステップＳ５１０）について説明する。
静止画撮影において、ＣＰＵ９からの指示を受けた撮像素子２は、静止画読み出しチャネルによる静止画データの出力を開始する。同様に、ＡＦＥ３とＴＧ４も静止画データの出力にあわせて動作モードを切り替える。静止画撮影モードになった撮像素子２は、１ＶＤ期間内に全画素における画像信号を出力する。この状態は、第１の実施形態で説明した全画素読出しの出力形式と同様である。切替部５５１は、ＣＰＵ９からの指示により、この１フレーム期間内の全画素における画像信号に基づく画像データを、ラインメモリＳＤ５５２と縮小部５０３に供給する。この全画素における画像データが入力された後の静止画処理に関しては、第２の実施形態と同様である。

以上、第５の実施形態で説明したように、静止画読出しチャンネルと動画読出しチャンネルにより、それぞれのチャンネルの画像信号が出力されるタイプの撮像素子２においても、静止画用のメモリとして１水平ライン程度の少ないラインメモリを持ち、静止画処理の空いた間隔に動画処理を行うことで、第２の実施形態と同様の効果を奏することが可能となる。

（第６の実施形態）
第１及び第２の実施形態において、全画素読出しを行う撮像素子を例にあげて説明したが、撮像素子２として従来のＣＣＤを使用した場合においても、同様の効果を上げることが可能である。

本発明の第６の実施形態を表す図として、図１、図１２及び図１３がある。
図１２は、第６の実施形態に係る撮像装置の動画・静止画処理部６５の詳細構成を示すブロック図である。なお、図１２において、第１〜第５の実施形態に係る撮像装置の構成部と同様の構成については、同じ符号を付している。

本実施形態の撮像素子２は、インターライン方式のインターレス読出しのＣＣＤで構成されており、動画読出し時には全画素における画像信号のうちの動画サイズに対応した画素間引或いは画素加算された画像信号を１秒間に約３０回出力し、静止画読出し時には１ＶＤ期間の露光期間の後に、複数ＶＤ期間にわたって静止画像における画像信号を出力するものである。なお、この静止画像における画像信号の読出し時には、メカシャッタ１６をクローズして、多重露光を防ぐ必要がある。

本実施形態においては、撮像素子２として、静止画読出し時には１フレームあたり横１７２８ドット、縦１２４０ラインの画素の画像信号を出力し、その中で横１６００ドット、縦１２００ラインを有効とし、動画読出し時には１フレームあたり横８６４ドット、縦６２０ラインの画素の画像信号を出力し、その中で横８００ドット、縦６００ラインを有効とする約２００万画素のものを例にあげて説明する。

本実施形態のＡＦＥ３は、撮像素子２に対応したアナログフロントエンドである。本実施形態のＴＧ４は、撮像素子２に対応したタイミングジェネレータである。

図１２の動画・静止画処理部６５において５４１は、撮像素子２から出力され、ＡＦＥ３でデジタル化された画像信号に基づく画像データを、動画読み出し期間の場合はラインメモリＣ５６２に、静止画読出し時には記録・読出制御部５６１と縮小部５０３に対して切り替えて出力する切替部である。ラインメモリ５０４は、縮小部５０３から出力される縮小画像データを一時的に記憶する。ラインメモリＣ５６２は、切替部５４１から出力される動画読出し時の画像データを一時的に記憶する。図１２において１は、光学レンズと、シャッタ制御やズーム制御、フォーカス制御等を行う各種のモータ制御部とを含むレンズモジュールである。図１２において１６は、静止画データの読出し時に、撮像素子２に対する外光入射を遮断するメカシャッタである。

次に、第６の実施形態に係る撮像装置の動作について説明する。
図１３は、第６の実施形態に係る撮像装置の動作を示すタイミングチャートである。

図１３において４００は、静止画像撮影の指示タイミングである。図１３において４０１は、ＶＤ信号である。図１３において４０３は、画像処理部７がどのＶＤ期間で静止画処理を行っているか動画処理を行っているかを表している。

図１３において４０４は、ＨＤ信号である。図１３において４０５は、撮像素子２が１つのＨＤ期間に画像信号を出力するタイミングとそのデータ量を表している。図１３において４１０は、制御部９０１による切替え指示タイミングである。図１３において４１１は、画像処理部７の動作状態を示している。

図１３において４６１は、動画・静止画読出し時におけるメカシャッタ１６の動作タイミングである。図１３において４６２は、ＶＤ期間単位における撮像素子２の出力状態を表している。図１３において４６３は、ＶＤ期間単位における記録・読出制御部５６１の動作状態を表している。図１３において４６４は、制御部９０１の制御によりラインメモリ５６２から出力される動画像データの出力タイミングである。図１３において４６５は、制御部９０１の制御により記録・読出制御部５６１から出力される静止画像データの出力タイミングである。なお、第６の実施形態において、４０５で示す撮像素子２のデータ出力タイミングは、切替部５４１、記録・読出制御部５６１及び縮小部５０３への静止画像データの入力タイミングをも表している。

図１２及び図１３を用いて、第６の実施形態における撮像装置の制御方法を説明する。
第６の実施形態における動画処理は、ＣＰＵ９からの指示を受けた撮像素子２が動画モードになることにより出力される画像信号が、切替部５４１によりラインメモリＣ５６２に画像データとして入力される。第４の実施形態と同様に、既に加算縮小された形式で撮像素子２が画像信号を出力するため、この部分における縮小処理の必要はない。選択部５０５は、制御部９０１による制御信号に基づき、ラインメモリＣ５６２に記憶された画像データを順次画像処理部７に供給し、画像処理部７において画像処理を行う。これ以降の処理は、第１の実施形態と同様である。

次に、第６の実施形態における動画＆静止画同時処理（ステップＳ５１０）について説明する。
静止画撮影において、ＣＰＵ９からの指示を受けた撮像素子２は、静止画出力に備えて、４６２に示す１ＶＤ期間の露光期間に入る。露光期間の終了後、ＣＰＵ９は、メカシャッタ１６をクローズし、撮像素子２、ＡＦＥ３及びＴＧ４に対し、全画素における画像信号の出力を指示する。なお、４０３に示すように、前記露光期間と、前半の２分の１全画素読出し期間における動画像データの生成は行われないため、その直前の動画像データを再度利用する等の方式によって、動画像データの欠落を防ぐ必要がある。

静止画撮影モードになった撮像素子２は、２ＶＤ期間にわたって全画素における画像信号を出力する。撮像素子２は、前半の２分の１全画素読出し期間においては奇数ラインの画像信号を出力し、後半の２分の１全画素読出し期間においては偶数ラインの画像信号を出力する。

切替部５４１は、ＣＰＵ９からの指示により、この２フレーム期間内の全画素における画像信号を、記録・読出制御部５６１と縮小部５０３に供給する。しかしながら、撮像素子２が前半のＶＤ期間において、奇数ラインの画像信号しか出力しないため、動画像データを生成できない。これは、通常、ＣＣＤを用いたシステムにおいては当然のことであり、動画像データは４６２で示す静止画読出し期間が完了した後でないと出力できなかったが、第６の実施形態においては、４６２で示す前半の奇数ライン読出し期間における画像信号を全画素メモリ５０１に記憶しておき、後半の偶数ライン読出し期間において、前半の奇数ラインに係る画像データを記録・読出制御部５６１から、後半の偶数ラインに係る画像データを切替部５４１から、交互に縮小部５０３に入力することによって、縮小動画像を生成することが可能になる。

記録・読出制御部５６１は、この動画データ生成期間において、動画像データを生成するために記憶された奇数ラインの画像データを出力するだけでなく、切替部５４１から出力される偶数ラインの画像データを全画素メモリ５０１に記録する。この一連の動作により、静止画読出し期間中に１つの動画データが作成され、且つ１画面分の画像信号に基づく画像データが全画素メモリ５０１内に記憶される。この後は、１水平ラインずつ交互にラインメモリＣ５６２の出力と、記録・読出制御部５６１の出力を処理するのは、第１の実施形態と同じである。

以上、第６の実施形態で説明したように、撮像素子２として通常のインターレス読出しを行うＣＣＤを使用した場合においても、本実施形態における特徴的な構成をとることにより、動画の欠落期間を短縮することが可能なシステムを提供することが可能になる。

（第７の実施形態）
第６の実施形態では、撮像素子２として通常ＣＣＤを使用した静止画撮影において、全画素メモリ５０１に撮像素子２から出力される画像信号をすべて記録する方法について説明したが、水平ライン単位で画像信号の管理を行うことにより、全画素メモリ５０１よりも少ないメモリ量で同様の効果を奏することが可能になる。

本発明の第７の実施形態を示す図として、図１、図１４及び図１５がある。
図１４は、第７の実施形態に係る撮像装置の動画・静止画処理部７５の詳細構成を示すブロック図である。なお、図１４において、第１〜第６の実施形態に係る撮像装置の構成部と同様の構成については、同じ符号を付している。

撮像素子２は、インターライン方式プログレッシブ読出しのＣＣＤである。この撮像素子２は、動画読出し時には全画素における画像信号のうちの動画サイズに対応した画素間引或いは画素加算された画像信号を１秒間に約３０回出力し、静止画読出し時には１ＶＤ期間の露光期間の後に、複数ＶＤ期間にわたって静止画像における画像信号を出力するものである。なお、この静止画像における画像信号の読出し時には、メカシャッタ１６をクローズして、多重露光を防ぐ必要がある。本実施形態においては、撮像素子２として、静止画読出し時には１フレームあたり横１７２８ドット、縦１２４０ラインの画像信号を出力し、その中で横１６００ドット、縦１２００ラインを有効とし、動画読出し時には１フレームあたり横８６４ドット、縦６２０ラインの画像信号を出力し、その中で横８００ドット、縦６００ラインを有効とする約２００万画素のものを例にあげて説明する。

本実施形態のＡＦＥ３は、撮像素子２に対応したアナログフロントエンドである。本実施形態のＴＧ４は、撮像素子２に対応したタイミングジェネレータである。

図１４の動画・静止画処理部７５において５４１は、撮像素子２から出力され、ＡＦＥ３でデジタル化された画像信号に基づく画像データを、動画読み出し期間の場合はラインメモリＣ５６２に、静止画読出し時にはラインメモリＣＤ５７１と縮小部５０３に対し切替え出力する切替部である。ラインメモリＣＤ５７１は、切替部５４１から出力される静止画読出し時の画像データを一時的に記憶する。

次に、第７の実施形態に係る撮像装置の動作について説明する。
図１５は、第７の実施形態に係る撮像装置の動作を示すタイミングチャートである。

図１５において４００は、静止画像撮影の指示タイミングである。図１５において４０１は、ＶＤ信号である。図１５において４０３は、画像処理部７がどのＶＤ期間で静止画処理を行っているか動画処理を行っているかを表している。

図１５において４０４は、ＨＤ信号である。図１５において４０５は、撮像素子２が１つのＨＤ期間に画像信号を出力するタイミングとそのデータ量を表している。図１５において４１０は、制御部９０１による切替え指示タイミングである。図１５において４１１は、画像処理部７の動作状態を示している。

図１５において４６１は、動画・静止画読出し時におけるメカシャッタ１６の動作タイミングである。図１５において４６２は、ＶＤ期間単位における撮像素子２の出力状態を表している。

図１５において４７１は、画像処理部７の動作状態を示している。図１５において４７２は、制御部９０１による制御により、ラインメモリＣＤ５７１から出力される静止画像データの出力タイミングである。図１５において４７３は、制御部９０１による制御により、ラインメモリ５０４から出力される動画像データの出力タイミングである。

図１４及び図１５を用いて、第７の実施形態における撮像装置の制御方法を説明する。
第７の実施形態における動画処理は、ＣＰＵ９からの指示を受けた撮像素子２が動画モードになることにより出力される画像信号が、切替部５４１によりラインメモリＣ５６２に画像データとして入力される。第４の実施形態と同様に、既に加算縮小された形式で撮像素子２が画像信号を出力するため、この部分における縮小処理の必要はない。選択部５０５は、制御部９０１による制御信号に基づき、ラインメモリＣ５６２に記憶された画像データを順次画像処理部７に供給し、画像処理部７において画像処理を行う。これ以降の処理は、第１の実施形態と同様である。

次に、第７の実施形態における動画＆静止画同時処理（ステップＳ５１０）について説明する。
静止画撮影において、ＣＰＵ９からの指示を受けた撮像素子２は、静止画出力に備えて、４６２に示す１ＶＤ期間の露光期間に入る。露光期間の終了後、ＣＰＵ９は、メカシャッタ１６をクローズし、撮像素子２、ＡＦＥ３及びＴＧ４に対し、全画素における画像信号の出力を指示する。なお、４０３に示すように、前記露光期間と、前半の２分の１全画素読出し期間における動画像データの生成は行われないため、その直前の動画像データを再度利用する等の方式によって、動画像データの欠落を防ぐ必要がある。

静止画撮影モードになった撮像素子２は、２ＶＤ期間にわたって全画素における画像信号を出力する。このプログレッシブ方式の撮像素子２は、第６の実施形態で説明した撮像素子とは異なり、順番に各ラインにおける画像信号を出力する。そこで、４０３に示す動画＆静止画処理期間において、切替部５４１は、ＣＰＵ９からの指示により、この２フレーム期間内の全画素における画像信号を、ラインメモリＣＤ５７１と縮小部５０３に画像データとして供給する。

全画素における画像データの供給を受けたラインメモリＣＤ５７１は、制御部９０１による指示により、４７２に示すように、書き込みクロックの２倍の周波数で出力を開始し、その隙間に対して、縮小部５０３によって縮小された画像データを記憶しているラインメモリ５０４から画像データを出力させる。この処理によって、後半の全画素読出し期間に、全画素における画像信号に基づく動画像データの生成が可能になる。

以上、第７の実施形態で説明したように、撮像素子２として通常のプログレッシブ読出しＣＣＤを使用した場合においても、本実施形態における特徴的な構成をとることにより、動画の欠落期間を短縮することが可能なシステムを提供することが可能になる。

前述した本発明の各実施形態に係る撮像装置を構成する図１〜３、６、８〜１２及び１４の各手段、並びに撮像装置の制御方法を示した図５の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。

また、コンピュータが供給されたプログラムを実行することにより本発明の各実施形態に係る撮像装置の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して本発明の各実施形態に係る撮像装置の機能が実現される場合や、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて本発明の各実施形態に係る撮像装置の機能が実現される場合も、かかるプログラムは本発明に含まれる。

第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 第１の実施形態に係る撮像装置の動画・静止画処理部の詳細構成を示すブロック図である。 第１の実施形態に係る撮像装置の画像処理部の詳細構成を示すブロック図である。 第１の実施形態に係る撮像装置の動作を示すタイミングチャートである。 第１の実施形態に係る撮像装置の制御方法示すフローチャートである。 第２の実施形態に係る撮像装置の動画・静止画処理部の詳細構成を示すブロック図である。 第２の実施形態に係る撮像装置の動作を示すタイミングチャートである。 第３の実施形態に係る撮像装置の動画・静止画処理部の詳細構成を示すブロック図である。 第３の実施形態に係る撮像装置の画像処理部の詳細構成を示すブロック図である。 第４の実施形態に係る撮像装置の動画・静止画処理部の詳細構成を示すブロック図である。 第５の実施形態に係る撮像装置の動画・静止画処理部の詳細構成を示すブロック図である。 第６の実施形態に係る撮像装置の動画・静止画処理部の詳細構成を示すブロック図である。 第６の実施形態に係る撮像装置の動作を示すタイミングチャートである。 第７の実施形態に係る撮像装置の動画・静止画処理部の詳細構成を示すブロック図である。 第７の実施形態に係る撮像装置の動作を示すタイミングチャートである。

符号の説明

１ レンズモジュール
２ 撮像素子
３ ＡＦＥ（アナログフロントエンド）
４ ＴＧ（タイミングジェネレータ）
５、２５、３５、４５、５５、６５、７５ 動画・静止画処理部
５０１ 全画素メモリ
５０２ 記録制御部
５０３、５３１ 縮小部
５０４ ラインメモリ
５０５ 選択部
５２１ ラインメモリＳ
５３２ ラインメモリＤ
５４１、５５１ 切替部
５５２ ラインメモリＳＤ
５６１ 記録・読出制御部
５６２ ラインメモリＣ
５７１ ラインメモリＣＤ
６ ＲＡＭ
７ 画像処理部
７１０ 静止画処理領域
７１１〜７１３ 静止画用ラインメモリ
７１４ 静止画用レジスタ群
７２０、７２５ 動画処理領域
７２１〜７２３、７２６〜７２８ 動画用ラインメモリ
７２４、７２９ 動画用レジスタ群
７３０、７３１ 演算データ選択部
７４０ 演算処理部
８ ＲＯＭ
９ ＣＰＵ
９０１ 制御部
９０２ ＰＬＬ（駆動周波数可変手段）
９０３ ＣＬＫ
１０ 圧縮処理部
１１ 出力切替部
１２ ネットワーク通信部
１３ ストレージ部
１４ リモコン受信部
１５ キー入力部
１６ メカシャッタ
１００ 撮像装置

Claims (9)

1. 被写体における画像を画像信号として撮像する撮像手段と、
   前記撮像手段により得られた画像信号に係る画像データの画像サイズを縮小する画像縮小手段と、
   前記画像縮小手段により縮小された画像データを一時的に記憶する縮小画像データ記憶手段と、
   静止画処理領域と動画処理領域とを具備しており、前記画像データを画像処理する画像処理手段と、
   前記画像処理手段により画像処理された画像データを圧縮処理する圧縮処理手段と、
   動画撮像中に外部からの制御指示に応じて前記撮像手段により得られた静止画用のフレーム画像信号に係る静止画像データを記憶する静止画像データ記憶手段と、
   前記画像処理手段の前記静止画処理領域及び前記動画処理領域に対して、それぞれ、前記静止画像データ記憶手段に記憶された前記静止画像データと、前記縮小画像データ記憶手段に記憶された画像データのうちの動画像データとを、水平ライン単位で選択して入力させる選択手段と
   を有することを特徴とする撮像装置。
2. 前記静止画像データ記憶手段から前記画像処理手段に前記静止画像データを入力する速度、及び前記縮小画像データ記憶手段から前記画像処理手段に画像データを入力する速度、並びに、前記画像処理手段の処理速度を任意の速度に変更する駆動周波数可変手段を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記圧縮処理手段は、前記静止画像データと、前記動画像データとを同時に圧縮処理することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記静止画像データ記憶手段は、前記静止画像データを複数画面分記憶できることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 被写体における画像を画像信号として撮像する撮像手段と、
   前記撮像手段により得られた画像信号に係る画像データの画像サイズを縮小する画像縮小手段と、
   前記画像縮小手段により縮小された画像データを一時的に記憶する縮小画像データ記憶手段と、
   静止画処理領域と動画処理領域とを具備しており、前記画像データを画像処理する画像処理手段と、
   前記画像処理手段により画像処理された画像データを圧縮処理する圧縮処理手段と、
   前記撮像手段により得られた静止画像信号に係る静止画像データを一時的に記憶する静止画像データ記憶手段と、
   前記画像処理手段の前記静止画処理領域及び前記動画処理領域に対して、それぞれ、前記静止画像データ記憶手段に記憶された前記静止画像データと、前記縮小画像データ記憶手段に記憶された画像データのうちの動画像データとを、水平ライン単位で選択して入力させる選択手段と
   を有することを特徴とする撮像装置。
6. 前記画像縮小手段は、複数の解像度の画像データの生成を行うものであり、
   前記縮小画像データ記憶手段及び前記画像処理手段の前記動画処理領域は、当該解像度に応じた数設けられていることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記撮像手段は、動画像を構成する１フレーム期間内で全画素読み出し可能な撮像素子であることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記撮像手段は、動画像に対応した動画読み出しモードと静止画像に対応した静止画読み出しモードの複数のモードから構成される撮像素子であることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記撮像手段は、前記静止画読み出しモードにおいて、動画像を構成する１フレーム期間内で全画素読み出し可能な撮像素子であることを特徴とする請求項８に記載の撮像装置。

Images