JP7324039B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関する。

近年、動画撮影中に静止画を撮影することが可能なデジタルカメラが製品化されている。このようなデジタルカメラでは、動画撮影中に静止画撮影を行うと、動画ファイルと静止画ファイルが分けて記録される。

動画の一般的な記録サイズはフルＨＤ（ＦＨＤ）と呼ばれるサイズが多く、静止画の記録も動画に合わせたＦＨＤサイズで記録を行えば、静止画は動画から切り出すことで記録できる。しかし、ＦＨＤサイズは撮像素子からの画像信号を間引いたサイズであるため、本来の静止画よりも画質が劣化した写真になってしまう。そこで、動画撮影中に静止画の撮影を行う場合には、静止画撮影のタイミングで動画撮影を停止し、静止画用の高画質の駆動に切り替える処理を行い、静止画を撮影する。そして静止画撮影終了後に動画撮影を再開する。

しかしながら、この処理では動画撮影の途中で動画撮影を停止する処理が入ることになるため、記録される動画ファイルのつながりが一部途切れるという問題が発生する。この問題を解決するため、撮像素子から動画サイズの画像信号と、静止画サイズの画像信号を同時に出力する技術が提案されている。また、特許文献１には、撮像素子内で画像信号を圧縮する処理を行うことが開示されている。

特開２００６－２５２７０号公報

特許文献１に記載の技術を用いた場合、撮像素子から出力された画像信号を処理する撮像信号処理回路において、圧縮された画像信号をデコード（伸張）するためのデコード回路が必要となる。さらに、上記したような動画サイズの画像信号と静止画サイズの画像信号を同時に撮像素子から出力可能な構成にした場合には、撮像信号処理回路でも２個のデコード回路が必要となるため回路規模が大きくなるという問題が発生する。

また、撮像信号処理回路にデコード回路が１つしか存在しない場合には、撮像素子からの動画と静止画の出力を同時に受け取ることができず、動画記録中に静止画撮影を行うと動画が中断する問題が依然として発生する。

本発明は上述した課題に鑑みてなされたものであり、その目的は、信号処理回路が備えるデコード回路の構成にかかわらず、動画記録を中断することなく静止画撮影を行うことが出来る撮像装置を提供することである。

本発明に係わる撮像装置は、被写体からの光を光電変換する複数の画素と、前記複数の画素から第１の画像信号を読み出す第１の読み出し動作と、前記第１の画像信号よりも画素数が多い第２の画像信号を読み出す第２の読み出し動作とを行うことが可能な読み出し手段と、前記読み出し手段により読み出された第１の画像信号を圧縮して第１の圧縮画像信号を生成するとともに、前記読み出し手段により読み出された前記第２の画像信号を圧縮して第２の圧縮画像信号を生成する圧縮手段と、を有する撮像素子と、前記撮像素子から出力された前記第１の圧縮画像信号と第２の圧縮画像信号とをデコードするデコード手段と、前記デコード手段が前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード手段に転送するように制御する制御手段と、を備え、前記制御手段は、前記第１の画像信号に基づく動画像の記録が終了した後に、前記第１の画像信号に基づく新たな動画像の記録開始が指示された場合、前記デコード手段が前記第２の圧縮画像信号をデコードしている間は、前記新たな動画像の記録を禁止することを特徴とする。

本発明によれば、信号処理回路が備えるデコード回路の構成にかかわらず、動画記録を中断することなく静止画撮影を行うことが出来る撮像装置を提供することが可能となる。

第１の実施形態の撮像装置における撮像素子の構成を示す図。 第１の実施形態における画素及びカラムＡＤＣブロックの構成例を示す図。 第１の実施形態における撮像素子の画素配列を示す図。 第１の実施形態の撮像装置の構成を示すブロック図。 第４の実施形態における撮像素子と撮像信号処理回路の接続状態を示す図。 第１の実施形態における撮像素子と撮像信号処理回路の接続状態を示す図。 第１の実施形態における撮像素子の制御タイミングを示す図。 第１の実施形態における撮像信号処理回路のタイミング図。 第１の実施形態における撮像信号処理回路のタイミング図。 第１の実施形態における撮像装置の動作を示すフローチャート図。 第１の実施形態における撮像信号処理回路のタイミング図。 第１の実施形態における撮像装置の動作を示すフローチャート。 第２の実施形態における撮像素子の制御タイミングを示す図。 第２の実施形態における撮像装置の動作を示すフローチャート。 第３の実施形態における撮像素子の制御タイミングを示す図。 第３の実施形態における撮像装置の動作を示すフローチャート。 第４の実施形態における圧縮回路とデコード回路の組み合わせを示す図。 第３の実施形態における撮像装置の動作を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態における撮像素子１００の構成を示すブロック図、図１（ｂ）は、撮像素子１００の外観を示す概略図である。図１（ｂ）に示すように、撮像素子１００は、第１の半導体チップ１０（撮像層）及び第２の半導体チップ１１（回路層）から形成され、第２の半導体チップ１１上に第１の半導体チップ１０が積層されている。

第１の半導体チップ１０には、マトリックス状に配列された複数の画素１０１からなる画素部が、光の入射側、つまり、光学像の受光側に配置される。第１の半導体チップ１０上にマトリクス状に配列された画素１０１は、水平方向（行方向）に行単位で、転送信号線１０３、リセット信号線１０４、及び行選択信号線１０５に接続されている。一方、垂直方向（列方向）には、列出力線１０２ａまたは１０２ｂに接続されている。列出力線１０２ａに接続された画素１０１を第１の画素群、列出力線１０２ｂに接続された画素１０１を第２の画素群とする。

第２の半導体チップ１１上には、各列に設けられたカラムＡＤＣブロック１１１ａ及び１１１ｂと、行走査回路１１２、列走査回路１１３ａ及び１１３ｂ、タイミング制御回路１１４等の画素駆動回路が形成されている。更に、切り替えスイッチ１１６、フレームメモリ１２０、素子内演算部１２３、リサイズ変換部１１９、圧縮回路１１７、パラレル／シリアル変換部（以下、Ｐ／Ｓ変換部）１１８も形成されている。

このように、第１の半導体チップ１０に画素１０１を形成し、第２の半導体チップ１１に画素駆動回路やメモリ回路、演算回路等を形成することで、撮像素子１００の撮像層と回路層とで製造プロセスを分けることができる。その結果、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。

撮像素子１００の画素１０１は、行走査回路１１２から、転送信号線１０３、リセット信号線１０４、行選択信号線１０５を介して制御信号により電荷の蓄積及び読み出しが制御される。そして、行走査回路１１２により選択された行の画素１０１から信号が読み出される。本実施形態では、出力チャンネルとして、２系統の出力チャンネルを有する。第１の出力チャンネルは、カラムＡＤＣブロック１１１ａ、列走査回路１１３ｂ、信号線１１５ａから構成され、第２の出力チャンネルは、カラムＡＤＣブロック１１１ｂ、列走査回路１１３ａ、信号線１１５ａから構成される。これにより、２行分の画素１０１から、信号を並行して読み出すことができる。

第１の画素群の画素１０１から読み出された信号は、各列の列出力線１０２ａを介して、第１の出力チャンネルのカラムＡＤＣブロック１１１ａに送られてＡＤ変換される。また、第２の画素群の画素１０１から読み出された信号は、各列の列出力線１０２ｂを介して、第２の出力チャンネルのカラムＡＤＣブロック１１１ｂに送られてＡＤ変換される。その後、列走査回路１１３ａまたは１１３ｂにより読み出す列が順次選択されて、ＡＤ変換された画像信号が信号線１１５ａまたは１１５ｂを介して切り替えスイッチ１１６に出力される。なお、第１及び第２の出力チャンネルの内、いずれか一方の出力チャンネルを用いて、１行おきに画素１０１から信号を読み出すことも可能である。

タイミング制御回路１１４は、全体制御演算部３０９からの制御に基づいて、行走査回路１１２、カラムＡＤＣブロック１１１ａ，１１１ｂ、列走査回路１１３ａ，１１３ｂにタイミング信号を送る。

切り替スイッチ１１６は、信号線１１５ａ，１１５ｂから出力される画像信号を順次フレームメモリ１２０へ選択的に出力するためのスイッチである。フレームメモリ１２０は出力された画像信号を画像データとして一時的に記憶する。

素子内演算部１２３は、駆動モードに応じて画像データのリサイズ処理や圧縮処理の演算を行う。リサイズ変換部１１９は、素子内演算部１２３にて算出された結果を基にフレームメモリ１２０に保存された画像データを必要な画角にリサイズして圧縮回路１１７に出力する。

圧縮回路１１７ではウェーブレット変換方式等の圧縮方式を用いて画像信号の圧縮動作を行う（圧縮画像信号の生成）。また、圧縮するかしないかの切り替え、圧縮率の変換などを行うことが可能である。なお、圧縮方式としては、ウェーブレット変換方式に限定されるものではない。圧縮を行った場合に、ビット精度が低下するため、画質を劣化させることがあるが、ノイズなどの不要な成分も除去されるため、ノイズが減少することもある。

なお、リサイズや圧縮の処理が不要な場合には、切り替スイッチ１１６から直接Ｐ／Ｓ変換部１１８への転送が行われる。Ｐ／Ｓ変換部１１８は、画像データにパラレル・シリアル変換を行って、撮像素子１００の外部にある撮像信号処理回路３０７へと送る。

撮像素子１００と撮像信号処理回路３０７の間は複数のレーンで接続されており、駆動モードに応じて、異なる画素の信号や同一の画素の信号がメインストリーム１２１とサブストリーム１２２とに振り分けられて、或いはメインストリーム１２１のみから出力される。このように撮像素子１００から２系統の画像信号の出力を並行して行うマルチストリーム駆動により、撮像素子１００から画像信号を高速に出力することができる。

また、撮像素子１００の読み出し駆動方式として、画素数を削減せずに全画素の画素信号を読み出す駆動、垂直方向の画素数を１／３や１／５に間引くことで画素数を削減する読み出し駆動、水平方向の複数の画素信号を加算することで画素数を削減する読み出し駆動、垂直間引き水平加算駆動などを選択することが可能である。また、全画素を読み出す駆動と、１／３垂直間引き水平加算駆動を同時に出力するマルチストリーム駆動を選択することも可能である。

本実施形態においては、例えば静止画撮影の読み出しでは全画素読み出し駆動を、静止画撮影前の待機中の動画像信号の読み出しでは１／５垂直間引き水平加算駆動を実行する。また、例えば動画記録中に静止画撮影を行う場合には、全画素読み出し駆動で撮像素子１００を駆動して静止画像信号を出力するとともに、１／３垂直間引き水平加算駆動で撮像素子１００を駆動して動画像信号を出力するマルチストリーム駆動を実行する。すなわち、いずれの場合においても、動画像信号の全画素数よりも静止画像信号の全画素数の方が多いことになる。

図２は、本実施形態における撮像素子１００の１つの画素１０１の構成及び、１つのカラムＡＤＣブロック１１１の詳細を示した図である。図１及び図２を用いて、本発明の実施形態における撮像素子１００の動作の概略を説明する。なお、カラムＡＤＣブロック１１１ａとカラムＡＤＣブロック１１１ｂは同じ構成を有するため、図２では、カラムＡＤＣブロック１１１と記載している。

図２において、画素１０１に含まれるフォトダイオード（ＰＤ）２０１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。転送トランジスタ２０２は、ＰＤ２０１のカソードと増幅トランジスタ２０４のゲートとの間に接続され、ゲートに転送信号線１０３を介して転送パルスφＴＲＳが与えられることによってオン状態となる。増幅トランジスタ２０４のゲートと電気的に繋がったノードは、フローティングディフュージョン（ＦＤ）部２０６を構成する。転送パルスφＴＲＳにより転送トランジスタ２０２がオン状態となることによって、ＰＤ２０１で光電変換された光電荷が、ＦＤ部２０６に転送される。

リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートにリセット信号線１０４を介してリセットパルスφＲＳＴが与えられることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への光電荷の転送に先立って、リセットトランジスタ２０３をオン状態とすることにより、ＦＤ部２０６の電荷を画素電源Ｖｄｄにリセットする。

増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続される。また、選択トランジスタ２０５は、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続され、ゲートに行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによって、オン状態となる。
選択トランジスタ２０５がオン状態の間に、まず、リセットトランジスタ２０３によって リセットした後のＦＤ部２０６の電位をリセットレベルとして列出力線１０２に出力する。さらに、転送トランジスタ２０２をオン状態とすることによって、光電荷を転送した後のＦＤ部２０６の電位を信号レベルとして列出力線１０２に出力する。本実施形態ではトランジスタ２０２～２０５として、ＮチャネルのＭＯＳトランジスタを用いている。

なお、画素１０１の構成は、上記構成に限られるものでは無く、例えば、選択トランジスタ２０５を、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。また、上述した４つのトランジスタ構成のものに限られるものではなく、例えば、増幅トランジスタ２０４と選択トランジスタ２０５を兼用した３トランジスタ構成のものであっても良い。

画素１０１から列出力線１０２を介して出力される信号は、カラムＡＤＣブロック１１１に伝送される。カラムＡＤＣブロック１１１は、比較器２１１、アップダウンカウンタ（Ｕ／Ｄ ＣＮＴ）２１２、メモリ２１３、ＤＡコンバータ（ＤＡＣ）２１４を有する。

比較器２１１は、一対の入力端子の一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。ＤＡＣ２１４は、タイミング制御回路１１４から入力される基準信号に基づいて信号レベルが時間の経過とともにランプ状に変化するランプ信号を出力する。そして比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される信号のレベルとを比較する。タイミング制御回路１１４は、全体制御演算部３０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。

比較器２１１は、例えば、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較器２１１に接続され、例えば比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。

このカウント処理により、各画素１０１の出力信号はデジタル値に変換される。なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。

メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。なお、カラムＡＤＣブロック１１１では、画素１０１のリセットレベルに対応したカウント値をカウントした後、所定の撮像時間後の信号レベルに対応したカウント値をカウントし、これらの差分値をメモリ２１３に記憶させてもよい。その後、メモリ２１３に記憶されたカウント値は、画像信号として、列走査回路１１３からの信号に同期して、信号線１１５ａまたは信号線１１５ｂを介して切り替スイッチ１１６に伝送される。

なお、カラムＡＤＣブロック１１１は上述した構成に限られるものでは無く、公知のカラムＡＤＣを用いても良いことは言うまでも無い。

図３は、本実施形態における撮像素子１００の画素配列を模式的に示した図である。カラーフィルタにはベイヤー配列が適用され、奇数行の画素には、左から順に赤（Ｒ）と緑（Ｇｒ）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に緑（Ｇｂ）と青（Ｂ）のカラーフィルタが交互に設けられる。また、オンチップマイクロレンズ２０１がカラーフィルタ２０２の上に形成されている。

図４は、本実施形態における図１乃至図３で説明した撮像素子を用いた撮像装置３００の構成を示したブロック図である。

図４において、撮像装置３００は、レンズ３０１、レンズ駆動部３０２、メカニカルシャッタ３０３（以下、メカシャッタ）、絞り３０４、シャッタ・絞り駆動部３０５、撮像素子１００、デコード回路３１６を内蔵する撮像信号処理回路３０７を備える。

また、撮像装置３００は、第１のメモリ部３０８、全体制御演算部３０９、記録媒体制御インターフェース部（以下、記録媒体制御Ｉ／Ｆ部）３１０、表示部３１１、記録媒体３１２、外部インターフェース部（以下、外部Ｉ／Ｆ部）３１３を備える。撮像装置３００は、さらに、第２のメモリ部３１４、操作部３１５を備える。

レンズ３０１を通過した被写体からの反射光は、絞り３０４により適切な光量に調整され、撮像素子１００の撮像面上に被写体像として結像される。撮像素子１００の撮像面に結像された被写体像は、画素１０１により光電変換され、さらにゲイン調整、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換が行われ、Ｒ，Ｇｒ，Ｇｂ，Ｂの信号として撮像信号処理回路３０７に送られる。

撮像素子１００で圧縮された画像信号は、撮像信号処理回路３０７内のデコード回路３１６でデコード処理される。また、撮像信号処理回路３０７では、撮像した画像信号を用いて所定の演算処理が行われ、得られた演算結果に基づいて全体制御演算部３０９が露光制御、自動焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出制御）処理、ＥＦ（フラッシュ自動調光発光制御）処理が行われる。

さらに、撮像信号処理回路３０７では、撮像された画像信号を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行われる。また、ノイズを軽減するローパスフィルタ処理やシェーディング処理などの各種の撮像信号処理、さらに各種の補正、画像信号の圧縮等が行われる。

レンズ３０１は、レンズ駆動部３０２によってズーム、フォーカス等が駆動制御される。メカシャッタ３０３、絞り３０４はシャッタ・絞り駆動部３０５によって駆動制御される。全体制御演算部３０９は撮像装置３００全体の制御と各種演算を行う。

第１のメモリ部３０８は、画像信号を一時的に記憶する。記録媒体制御インターフェース部３１０では、記録媒体への画像信号の記録または読み出しを行う。表示部３１１は、画像信号の表示を行う。記録媒体３１２は、半導体メモリ等の着脱可能な記録媒体であり、画像信号の記録または読み出しを行う。

外部インターフェース部３１３は、外部コンピュータ等と通信を行うためのインターフェースである。第２のメモリ部３１４は、全体制御演算部３０９での演算結果を記憶する。操作部３１５によりユーザーは撮像装置３００の駆動条件を設定でき、この情報は全体制御演算部３０９に送られ、撮像装置３００全体の制御が行われる。操作部３１５には、ユーザーが撮像装置の設定を行うメニューボタンや撮影した画像を確認するための再生ボタンなどの操作部材が含まれる。

図６は、本実施形態における撮像素子１００と撮像信号処理回路３０７の接続の状態を示す図である。図６に示すように、本実施形態の撮像信号処理回路３０７はデコード回路を１個のみ備える。

撮像素子１００は、動画像信号と静止画像信号を同時に出力する。このとき、動画像信号は第１の圧縮回路１１７Ａで圧縮され、静止画像信号は第２の圧縮回路１１７Ｂで圧縮され、撮像信号処理回路３０７へ転送される。

撮像信号処理回路３０７では、動画像信号はデコード回路３１６でデコード処理される。また、静止画像信号は撮像信号処理回路３０７を経由して第１のメモリ部３０８に一時保存される。

図７は、本実施形態における撮像素子１００の制御タイミング図である。撮像素子１００は、６０ｆｐｓ（フレーム／秒）で動画像信号を撮像信号処理回路３０７へ転送する。一方、静止画像信号については、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、静止画撮影開始と判断された場合に、全体制御演算部３０９が撮像素子１００の静止画像信号の転送を許可する。

また、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、静止画撮影終了と判断された場合に、全体制御演算部３０９が撮像素子１００の静止画像信号の転送を禁止する。この結果、撮像素子１００は常に動画像信号と静止画像信号を同時に出力するのではなく、静止画像信号が必要となった場合のみ同時に出力するように制御することが可能となる。

図８は、本実施形態における撮像信号処理回路３０７において静止画像信号をデコードするタイミングを示す図である。

撮像信号処理回路３０７では、第１のメモリ部３０８に一時保存された静止画像信号を、動画像信号が転送されていないブランキング期間にデコード回路３１６でデコードする。デコード処理の完了後に、撮像信号処理回路３０７で静止画像を作成し、記録媒体３１２に記録して、第１のメモリ部３０８を開放する。

次に、撮影モードについて説明する。ユーザーは、操作部３１５を用いて撮影モードを設定することが可能である。撮影モードとしては、オートモードや動画記録モードを備えている。

オートモードは、カメラの各種パラメータが、計測された評価値に基づいて撮像信号処理回路３０７に組み込まれたプログラムにより自動的に決定される静止画撮影モードである。

動画記録モードは、カメラの各種パラメータが、計測された評価値に基づいて撮像信号処理回路３０７に組み込まれたプログラムにより動画記録に適した値になるように決定されるモードである。

なお、動画記録はオートモードでも可能であるが、動画記録開始前後で撮像素子１００の読み出し方法が異なるため、撮像素子１００からの画像信号の転送を一度中断する必要がある。

図９は、本実施形態におけるオートモード時の動画記録と静止画記録のタイミングを示した図である。図９はまた、撮像素子１００の第１及び第２の圧縮回路１１７Ａ，１１７Ｂと撮像信号処理回路のデコード回路３１６の使用状況も示している。

動画記録開始前までは撮像素子１００は１／５間引き駆動で動作しており、第１及び第２の圧縮回路１１７Ａ，１１７Ｂとデコード回路３１６は未使用状態である。この後、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、動画記録開始と判断された場合に撮像素子１００はマルチストリーム駆動に切り替えられる。この場合は、第１の圧縮回路１１７Ａとデコード回路３１６は動画像信号の圧縮とデコードに使用される。

動画記録中の動作は図８を用いて説明したタイミング制御と同じであり、静止画撮影が行われた場合のみ、第２の圧縮回路１１７Ｂが使用される。このとき静止画像信号は第１のメモリ部３０８に保存される。そして、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、動画記録終了と判断された場合には動画記録開始前と同じ状態となる。

このとき、第１のメモリ部３０８に静止画像信号がまだ残っている場合には、第１のメモリ部３０８に保存された静止画像信号をデコード回路３１６でデコードする。デコード処理完了後に、撮像信号処理回路３０７で静止画像を作成して記録媒体３１２に記録し、第１のメモリ部３０８を開放する。第１のメモリ部３０８が解放されるまでの期間は、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取っても、動画記録開始を行わないように動画記録禁止期間を設定する。

図１０は、図９の制御を示すフローチャートである。本実施形態では、オートモード時の動画記録待機中の撮像素子１００は１／５間引き駆動で動作する。Ｓ９０１では、ユーザーにより動画記録の開始が指示されたか否かが全体制御演算部３０９で判断される。

Ｓ９０１において動画記録の開始が指示されたと判断された場合、Ｓ９０２に進み、動画記録の開始が指示されていないと判断された場合、Ｓ９０１を繰り返す。Ｓ９０２では、撮像素子１００がマルチストリーム駆動に切り替えられる。Ｓ９０３では、動画のエンコードが開始される。

Ｓ９０４では、第１のメモリ部３０８に信号が存在するか否かが判断される。第１のメモリ部３０８に信号が存在する場合、Ｓ９０５に進み、信号が存在しない場合、Ｓ９０９に進む。

Ｓ９０５では、第１のメモリ部３０８の信号のデコード処理を開始する。Ｓ９０６では、動画像信号でデコード回路３１６を使用するか否かを判断し、動画像信号でデコード回路３１６を使用する時間帯であれば、Ｓ９０７に進み、そうでなければ、第１のメモリ部３０８の信号のデコード処理を継続する。Ｓ９０７では、第１のメモリ部３０８の信号のデコード処理を終了し、Ｓ９１０では、動画像信号のデコード処理を行う。

一方、Ｓ９０９では、動画像信号でデコード回路３１６を使用するか否かを判断し、動画像信号でデコード回路３１６を使用する時間帯であれば、Ｓ９１０に進み、そうでなければ、Ｓ９０４の判断に戻る。

Ｓ９１０で動画像信号をデコードした後、Ｓ９１１では、静止画撮影の開始が指示されたか否かが全体制御演算部３０９で判断される。Ｓ９１１で静止画撮影の開始が指示されていないと判断された場合は、Ｓ９１２に進み、指示されていると判断された場合は、Ｓ９１３に進む。

Ｓ９１２では、動画記録を終了するか否かが判断される。動画記録を終了する場合は、Ｓ９１６へ進み、終了しない場合は、Ｓ９０４へ戻る。

一方、Ｓ９１３では、静止画像信号を撮像信号処理回路３０７へ転送し、Ｓ９１４では、転送された静止画像信号を第１のメモリ部３０８へ保存する。Ｓ９１５では、静止画像信号の転送を禁止し、Ｓ９１２へ進む。

Ｓ９１６では、動画のエンコードを終了し、Ｓ９１７では、撮像素子１００を１／５間引き駆動に切り替える。Ｓ９１８では、第１のメモリ部３０８に信号が存在するか否かが判断される。

Ｓ９１８において、第１のメモリ部３０８に信号が存在しないと判断された場合は、Ｓ９２２に進み、存在すると判断された場合は、Ｓ９１９に進む。

Ｓ９１９では、動画記録を禁止し、Ｓ９２０では、第１のメモリ部３０８の信号をデコードする。Ｓ９２１では、動画記録禁止を解除し、Ｓ９２２へ進む。

Ｓ９２２では、操作部３１５でメニューボタンや再生ボタンなどの操作部材が押されたか否かが判断される。押されている場合、Ｓ９２３に進み、押されていなければ、Ｓ９０１へ戻る。Ｓ９２３では、１／５間引き駆動を終了し、シーケンスを終了する。

図１１は、本実施形態における動画モード時の動画記録と静止画記録のタイミングを示した図である。図１１はまた、撮像素子１００の第１及び第２の圧縮回路１１７Ａ，１１７Ｂと撮像信号処理回路３０７のデコード回路３１６の使用状況も示している。

図９のオートモード時とは異なり、動画記録開始前から撮像素子１００はマルチストリーム駆動である。この場合は第１の圧縮回路１１７Ａとデコード回路３１６は動画像信号の圧縮とデコードに使用される。

この後、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、動画記録開始と判断された場合でも撮像素子１００は駆動切り替えを行わず、動画記録が開始される。

動画記録中の動作は、図８を用いて説明したタイミング制御と同じであり、静止画撮影が行われた場合のみ、第２の圧縮回路１１７Ｂが使用される。このとき静止画像信号は第１のメモリ部３０８に保存される。そして、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、動画記録終了と判断され、且つ第１のメモリ部３０８に静止画像信号がまだ残っている場合には、第１のメモリ部３０８に保存された静止画像信号をデコード回路３１６でデコード処理する。

このとき、動画記録開始前と同じ状態には戻らず、静止画像信号をデコード回路３１６でデコードできるようにするために、一旦１／５間引き駆動に切り替える。デコード処理完了後に、撮像素子１００を動画記録開始前と同じ状態に戻し、撮像信号処理回路３０７で静止画像を作成し記録媒体３１２に記録する。そして、第１のメモリ部３０８を開放する。第１のメモリ部３０８が解放されるまでの期間は、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９で受け取っても、動画記録開始を行わないように動画記録禁止期間とする。

図１２は、図１１の制御を示すフローチャートである。本実施形態では、動画モード時の動画記録待機中の撮像素子１００はマルチストリーム駆動で動作し、Ｓ１１０１では、動画記録の開始が指示されたか否かを全体制御演算部３０９が判断する。Ｓ１１０１で動画の記録開始が指示された場合は、Ｓ１１０２に進み、指示されていないと判断された場合、Ｓ１１０１を常に監視している状態となる。Ｓ１１０２では、動画のエンコードが開始される。

Ｓ１１０３では、第１のメモリ部３０８に信号が存在するか否かが判断される。第１のメモリ部３０８に信号が存在する場合、Ｓ１１０４に進み、存在しない場合、Ｓ１１０８に進む。Ｓ１１０４では、第１のメモリ部３０８の信号のデコードを開始する。

Ｓ１１０５では、動画像信号でデコード回路３１６を使用するか否かを判断する。動画像信号でデコード回路３１６を使用すると判断された場合、Ｓ１１０６に進み、使用しないと判断された場合、第１のメモリ部３０８のデコードを続ける。Ｓ１１０６では、第１のメモリ部３０８の信号のデコードを終了し、Ｓ１１０７では、動画像信号をデコードする。

一方、Ｓ１１０８では、動画像信号でデコード回路３１６を使用するか否かを判断する。動画像信号でデコード回路３１６を使用すると判断された場合、Ｓ１１０７へ進み、使用しないと判断された場合、Ｓ１１０３へ戻る。

Ｓ１１０７で動画像信号をデコードした後、Ｓ１１０９では、静止画撮影の開始が指示されたか否かを全体制御演算部３０９が判断する。Ｓ１１０９において、静止画撮影の開始が指示されていないと判断された場合、Ｓ１１１０に進み、指示されていると判断された場合、Ｓ１１１１に進む。

Ｓ１１１１では、静止画像信号を撮像信号処理回路３０７へ転送し、Ｓ１１１２では、静止画像信号を第１のメモリ部３０８へ保存する。Ｓ１１１３では、静止画の転送を禁止し、Ｓ１１１０へ進む。

Ｓ１１１０では、動画記録を終了するか否かを判断し、動画記録を終了する場合、Ｓ１１１４へ進み、動画記録を終了しない場合、Ｓ１１０３へ戻る。

Ｓ１１１４では、動画のエンコードを終了し、Ｓ１１１５では、第１のメモリ部３０８に信号が存在するか否かを判断する。Ｓ１１１５において、第１のメモリ部３０８に信号が存在しないと判断された場合、Ｓ１１２１に進み、存在すると判断された場合、Ｓ１１６に進む。

Ｓ１１１６では、撮像素子１００を１／５間引き駆動に切り替える。Ｓ１１１７では、動画記録を禁止し、Ｓ１１１８では、第１のメモリ部３０８の信号をデコードする。Ｓ１１１９では、動画記録禁止を解除し、Ｓ１１２０では、撮像素子１００をマルチストリーム駆動に切り替える。

Ｓ１１２１では、操作部３１５でメニューや再生などの操作部材が押されたか否かが判断される。押されている場合、マルチストリーム駆動を終了し、シーケンスを終了する。押されていなければ、Ｓ１１０１へ戻る。

以上説明したように、上記の第１の実施形態によれば、撮像信号処理回路３０７のデコード回路が１つの場合でも、動画サイズの圧縮された画像信号と静止画サイズの圧縮された画像信号を処理することが可能となり、動画記録を中断することなく静止画撮影を行うことが可能となる。

（第２の実施形態）
第１の実施形態では撮像素子１００から圧縮された動画像信号と静止画像信号が同時に転送される場合に、撮像信号処理回路３０７と第１のメモリ部３０８にそれぞれ供給する構成となっていた。これに対して第２の実施形態では、撮像信号処理回路３０７のデコード回路が１つの場合に、撮像素子１００側で対処する制御について説明する。なお、第２の実施形態における撮像装置の構成は、第１の実施形態と同じであるため、その説明を省略する。

図１３は、第２の実施形態における撮像素子１００の制御タイミング図である。撮像素子１００は６０ｆｐｓ（フレーム／秒）で動作するが、動画像信号を２フレームに一回撮像信号処理回路３０７へ転送する。

一方、静止画像信号については、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、静止画撮影開始と判断された場合に、全体制御演算部３０９が撮像素子１００の静止画像信号の転送を許可する。このとき、静止画像信号を動画像信号が転送されていないフレームで転送するようにする。

また、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、静止画撮影終了と判断された場合に、全体制御演算部３０９が撮像素子１００の静止画像信号の転送を禁止する。

図１４は、第２の実施形態における制御動作を示すフローチャートである。

Ｓ１３０１では、マルチストリーム駆動のＳＴＡＲＴ前に、撮像素子１００が動画像信号を２ＶＤ（垂直同期期間）に１回転送する（１フレームおきに転送する）設定とする。

Ｓ１３０２では、マルチストリーム駆動を開始し、Ｓ１３０３では、静止画記録の開始が指示されたか否かを判断する。

Ｓ１３０３で静止画記録の開始が指示されている場合には、Ｓ１３０４に進み、指示されていない場合には、Ｓ１３０６に進む。

Ｓ１３０４では、動画像信号の転送中か否かを判断し、転送中でない場合はＳ１３０５に進み、転送中の場合は、動画像信号の転送の完了を待つ。
Ｓ１３０５では、静止画の転送を行い、Ｓ１３０６へ進む。

Ｓ１３０６では、マルチストリーム駆動終了の判定を行う。マルチストリーム駆動の終了か否かは、操作部３１５でメニューや再生などの操作部材が押されたか否かにより判断する。

Ｓ１３０６でマルチストリーム駆動を終了すると判断された場合は、Ｓ１３０７に進み、マルチストリーム駆動を終了しないと判断された場合は、Ｓ１３０３へ戻る。

Ｓ１３０７では、マルチストリーム駆動を停止し、シーケンスを終了する。

以上説明したように、第２の実施形態によれば、撮像信号処理回路３０７のデコード回路が１つの場合でも、動画サイズの圧縮された画像信号と静止画サイズの圧縮された画像信号を処理することが可能となる。これにより、動画記録を中断することなく静止画撮影を行うことが可能となる。

（第３の実施形態）
この第３の実施形態では、第２の実施形態と同様に、撮像信号処理回路３０７のデコード回路が１つの場合に、撮像素子１００側で対処する制御について説明する。なお、第３の実施形態における撮像装置の構成は、第１の実施形態と同じであるため、その説明を省略する。

図１５は、第３の実施形態における撮像素子１００の制御タイミング図である。撮像素子１００は６０ｆｐｓ（フレーム／秒）で動作し、毎フレーム撮像信号処理回路３０７へ転送する。

一方、静止画像信号については、ユーザーによる操作部３１５の操作に基づく指示を全体制御演算部３０９が受け取り、静止画撮影開始と判断された場合に、全体制御演算部３０９が撮像素子１００の静止画像信号の転送を許可すると同時に動画像信号の転送を禁止する。そして、静止画像信号の転送が完了すると同時に動画像信号の転送を開始し、静止画像信号の転送を禁止する。動画像信号の転送が禁止されたフレームの動画記録は、前のフレームの動画像信号を用いるようにする。

図１６は、第３の実施形態における制御動作を示すフローチャートである。

Ｓ１５０１では、マルチストリーム駆動のＳＴＡＲＴ前に、撮像素子１００が動画像信号と静止画像信号の転送を同時に行わない設定とする。

Ｓ１５０２では、マルチストリーム駆動を開始し、Ｓ１５０３では、静止画記録の開始が指示されたか否かを判断する。Ｓ１５０３で静止画記録の開始が指示されている場合には、Ｓ１５０４に進み、指示されていない場合には、Ｓ１５０６に進む。

Ｓ１５０４では、動画像信号の転送中か否かを判断する。動画像信号の転送中でなければ、Ｓ１５０５に進み、転送中の場合、動画像信号の転送の完了を待つ。

Ｓ１５０５では、次のＶＤ（垂直同期信号）における動画像信号の転送を停止し、静止画転送のみを行い、Ｓ１５０６へ進む。

Ｓ１５０６では、マルチストリーム駆動終了の判定を行う。マルチストリーム駆動の終了か否かは、操作部３１５でメニューや再生などの操作部材が押されたか否かにより判断する。

Ｓ１５０６でマルチストリーム駆動を終了すると判断された場合は、Ｓ１５０７に進み、終了しないと判断された場合は、Ｓ１５０３に戻る。

Ｓ１５０７では、マルチストリーム駆動を停止し、シーケンスを終了する。

以上説明したように、第３の実施形態によれば、撮像信号処理回路３０７のデコード回路が１つの場合でも、動画サイズの圧縮された画像信号と静止画サイズの圧縮された画像信号を処理することが可能となる。これにより、動画記録を中断することなく静止画撮影を行うことが可能となる。

（第４の実施形態）
第２及び第３の実施形態では、撮像信号処理回路３０７のデコード回路が１つの場合に、撮像素子１００側で対応する方法について説明した。この第３の実施形態では、撮像素子１００が２個の圧縮回路を有し、撮像信号処理回路３０７が２個のデコード回路を有する場合に、それらを選択的に使用する制御について説明する。なお、第３の実施形態の撮像装置の構成は第１の実施形態と同じであるため、その説明を省略する。

図５は、本実施形態における撮像素子１００と従来の撮像信号処理回路３０７の接続の状態を示す図である。撮像素子１００は、第１の圧縮回路１１７Ａと第２の圧縮回路を備えている。また、撮像信号処理回路３０７は、第１のデコード回路３１６Ａと第２のデコード回路３１６Ｂを備えている。

図１７は、撮像素子１００が使用する圧縮回路の個数と、撮像信号処理回路３０７が使用するデコード回路の個数の組み合わせを示した図である。組み合わせに応じて、第１の実施形態、第２の実施形態、あるいは第３の実施形態の対応方法を選択することが可能である。

図１７（ａ）は、撮像素子１００が２個の圧縮回路１１７Ａ，１１７Ｂを使用し、撮像信号処理回路３０７が２個のデコード回路３１６Ａ，３１６Ｂを使用する場合の概略図である。この場合、撮像素子１００は動画像信号と静止画像信号を同時出力し、撮像信号処理回路３０７も同時にデコード処理を行うことが可能である。

図１７（ｂ）は、撮像素子１００が２個の圧縮回路１１７Ａ，１１７Ｂを使用し、撮像信号処理回路３０７が１個のデコード回路３１６を使用する場合の概略図である。この場合、第１の実施形態の第１のメモリ部３０８に静止画像信号を一時保存する方法か、第２の実施形態の方法、もしくは第３の実施形態の方法が採用される。

図１７（ｃ）は、撮像素子１００が１個の圧縮回路１１７を使用し、撮像信号処理回路３０７が２個のデコード回路３１６Ａ，３１６Ｂを使用する場合の概略図である。この場合、第２の実施形態の方法、もしくは第３の実施形態の方法が採用される。

図１７（ｄ）は、撮像素子１００が１個の圧縮回路を使用し、撮像信号処理回路３０７が１個のデコード回路３１６を使用する場合の概略図である。この場合、第２の実施形態の方法、もしくは第３の実施形態の方法が採用される。

なお、撮像素子１００の圧縮回路と、撮像信号処理回路３０７のデコード回路は可能な限り動作させない方が撮像装置の消費電力を削減するために有利である。そのために、ユーザーは、撮影条件に応じて、図１７の（ａ）、（ｂ）、（ｃ）、（ｄ）のどの組み合わせを選択するかを操作部３１５を用いて切り替えることが可能である。

具体的には、例えば撮像信号処理回路３０７においてＡＥ（自動露出制御）で決められた露光時間が１／６０秒より短い場合には、図１７（ａ）の２個の圧縮回路、２個のデコード回路を用いる方法を選択する。そして、露光時間が１／６０秒より長い場合には毎フレームの画像信号の転送が行われなくなるため、図１７（ｂ）、（ｃ）、（ｄ）のどれかの方法を選択する。なお、図１７（ｄ）の方法を用いると、電力削減効果が大きい。

図１８は露光時間によって回路の使用方法を変更する動作を示すフローチャートである。Ｓ１７０１では、マルチストリーム駆動で動作している状態で、撮像信号処理回路３０７が露光時間を設定し、全体制御演算部３０９により露光時間の長さの判断が行われる。

Ｓ１７０１で露光時間が１／６０秒より短い場合、Ｓ１７０２に進み、１／６０秒以上の場合、Ｓ１７０３に進む。

Ｓ１７０２では、圧縮回路２個、デコード回路２個の図１７（ａ）の方法を使用する。
Ｓ１７０３では、圧縮回路１個、デコード回路１個の図１７（ｄ）の方法を使用する。
Ｓ１７０４では、マルチストリーム駆動終了の判定を行う。マルチストリーム駆動の終了は、操作部３１５でメニューや再生などの操作部材が押されたか否かにより判断する。Ｓ１７０４でマルチストリーム駆動を終了すると判断された場合、Ｓ１７０５に進み、マルチストリーム駆動を終了しないと判断された場合、Ｓ１７０１に戻る。

Ｓ１７０５では、マルチストリーム駆動を停止し、シーケンスを終了する。

以上説明したように、第４の実施形態によれば、電力を削減しながら動画サイズの圧縮された画像信号と静止画サイズの圧縮された画像信号を処理することが可能となり、動画記録を中断することなく静止画撮影を行うことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像素子、３０１：レンズ、３０２：レンズ駆動部、３０３：メカシャッタ、３０４：絞り、３０５：シャッタ・絞り駆動部、３０７：撮像信号処理回路、３０８：第１のメモリ部、３０９：全体制御演算部、３１０：記録媒体制御Ｉ／Ｆ部、３１１：表示部、３１２：記録媒体、３１３：外部Ｉ／Ｆ部、３１４：第２のメモリ部、３１５：操作部、３１６：デコード回路

Claims (15)

1. 被写体からの光を光電変換する複数の画素と、前記複数の画素から第１の画像信号を読み出す第１の読み出し動作と、前記第１の画像信号よりも画素数が多い第２の画像信号を読み出す第２の読み出し動作とを行うことが可能な読み出し手段と、前記読み出し手段により読み出された第１の画像信号を圧縮して第１の圧縮画像信号を生成するとともに、前記読み出し手段により読み出された前記第２の画像信号を圧縮して第２の圧縮画像信号を生成する圧縮手段と、を有する撮像素子と、
   前記撮像素子から出力された前記第１の圧縮画像信号と第２の圧縮画像信号とをデコードするデコード手段と、
   前記デコード手段が前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード手段に転送するように制御する制御手段と、
   を備え、
   前記制御手段は、前記第１の画像信号に基づく動画像の記録が終了した後に、前記第１の画像信号に基づく新たな動画像の記録開始が指示された場合、前記デコード手段が前記第２の圧縮画像信号をデコードしている間は、前記新たな動画像の記録を禁止することを特徴とする撮像装置。
2. 前記第２の圧縮画像信号を記憶する記憶手段をさらに備え、前記制御手段は、前記デコード手段が前記第１の圧縮画像信号をデコードしていない期間に、前記記憶手段に記憶された第２の圧縮画像信号を前記デコード手段に転送するように、前記記憶手段を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記圧縮手段は、前記第１の圧縮画像信号と前記第２の圧縮画像信号を同時に出力し、前記制御手段は、前記第１の圧縮画像信号を前記デコード手段に転送し、前記第２の圧縮画像信号を前記記憶手段に記憶させることを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記第１の画像信号の垂直同期期間に、前記第２の圧縮画像信号を前記記憶手段から読み出し、前記デコード手段にデコードさせることを特徴とする請求項２または３に記載の撮像装置。
5. 前記制御手段は、前記デコード手段が前記第２の圧縮画像信号をデコードしている場合に、前記第１の画像信号の読み出しを禁止することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記第１の画像信号の撮像が行われている途中でユーザーにより前記第２の画像信号の撮像が指示された場合に、前記第２の画像信号を前記撮像素子から読み出させることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記デコード手段が前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード手段に転送するように、前記読み出し手段を制御することを特徴とする請求項１に記載の撮像装置。
8. 前記読み出し手段は、前記第１の画像信号を１フレームおきに読み出し、前記圧縮手段は、前記第１の画像信号が読み出されないフレームで読み出された第２の画像信号に基づく第２の圧縮画像信号を前記デコード手段に転送することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記読み出し手段が前記第２の画像信号を読み出している間は、前記第１の画像信号の読み出しを禁止することを特徴とする請求項７に記載の撮像装置。
10. 前記圧縮手段は２つの圧縮回路を有するとともに、前記デコード手段は２つのデコード回路を有し、前記制御手段は、前記圧縮手段で使用する圧縮回路の数と、前記デコード手段で使用するデコード回路の数とを、撮影条件に応じて切り替えることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記制御手段は、前記撮像素子の露光時間の長さに応じて、前記圧縮手段で使用する圧縮回路の数と、前記デコード手段で使用するデコード回路の数とを切り替えることを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の画像信号は動画像信号であり、前記第２の画像信号は静止画像信号であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 被写体からの光を光電変換する複数の画素を有する撮像素子を備える撮像装置を制御する方法であって、
    前記複数の画素から第１の画像信号を読み出す第１の読み出し工程と、
    前記複数の画素から前記第１の画像信号よりも画素数が多い第２の画像信号を読み出す第２の読み出し工程と、
    前記第１の読み出し工程により読み出された第１の画像信号を圧縮して第１の圧縮画像信号を生成するとともに、前記第２の読み出し工程により読み出された第２の画像信号を圧縮して第２の圧縮画像信号を生成する圧縮工程と、
    前記第１の圧縮画像信号と第２の圧縮画像信号とをデコードするデコード工程と、
    前記デコード工程において前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード工程に転送するように制御する制御工程と、
    を有し、
    前記制御工程では、前記第１の画像信号に基づく動画像の記録が終了した後に、前記第１の画像信号に基づく新たな動画像の記録開始が指示された場合、前記デコード工程が前記第２の圧縮画像信号をデコードしている間は、前記新たな動画像の記録を禁止することを特徴とする撮像装置の制御方法。
14. 被写体からの光を光電変換する複数の画素と、前記複数の画素から第１の画像信号を読み出す第１の読み出し動作と、前記第１の画像信号よりも画素数が多い第２の画像信号を読み出す第２の読み出し動作とを行うことが可能な読み出し手段と、前記読み出し手段により読み出された第１の画像信号を圧縮して第１の圧縮画像信号を生成するとともに、前記読み出し手段により読み出された前記第２の画像信号を圧縮して第２の圧縮画像信号を生成する圧縮手段と、を有する撮像素子と、
    前記撮像素子から出力された前記第１の圧縮画像信号と第２の圧縮画像信号とをデコードするデコード手段と、
    前記デコード手段が前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード手段に転送するように制御する制御手段と、
    を備え、
    前記制御手段は、前記デコード手段が前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード手段に転送するように、前記読み出し手段を制御し、前記読み出し手段は、前記第１の画像信号を１フレームおきに読み出し、前記圧縮手段は、前記第１の画像信号が読み出されないフレームで読み出された第２の画像信号に基づく第２の圧縮画像信号を前記デコード手段に転送することを特徴とする撮像装置。
15. 被写体からの光を光電変換する複数の画素を有する撮像素子を備える撮像装置を制御する方法であって、
    前記複数の画素から第１の画像信号を読み出す第１の読み出し工程と、
    前記複数の画素から前記第１の画像信号よりも画素数が多い第２の画像信号を読み出す第２の読み出し工程と、
    前記第１の読み出し工程により読み出された第１の画像信号を圧縮して第１の圧縮画像信号を生成するとともに、前記第２の読み出し工程により読み出された第２の画像信号を圧縮して第２の圧縮画像信号を生成する圧縮工程と、
    前記第１の圧縮画像信号と第２の圧縮画像信号とをデコードするデコード工程と、
    前記デコード工程において前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード工程に転送するように制御する制御工程と、
    を有し、
    前記制御工程では、前記デコード工程が前記第１の圧縮画像信号をデコードしていない期間に、前記第２の圧縮画像信号を前記デコード工程に転送するように、前記読み出し工程を制御し、前記読み出し工程は、前記第１の画像信号を１フレームおきに読み出し、前記圧縮工程は、前記第１の画像信号が読み出されないフレームで読み出された第２の画像信号に基づく第２の圧縮画像信号を前記デコード工程に転送することを特徴とする撮像装置の制御方法。

Images