JP4775648B2

JP4775648B2 - 撮像装置、制御方法、およびプログラム

Info

Publication number: JP4775648B2
Application number: JP2006221995A
Authority: JP
Inventors: 謙一坂井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-08-16
Filing date: 2006-08-16
Publication date: 2011-09-21
Anticipated expiration: 2026-08-16
Also published as: JP2008048173A

Description

本発明は、撮像装置、制御方法、およびプログラムに関し、特に、動画の記録中に静止画の記録を行うことが可能な撮像装置において、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができるようにした撮像装置、制御方法、およびプログラムに関する。

近年販売されているデジタルスチルカメラには、一般的に、静止画の撮影機能の他に動画の撮影機能も設けられている。特許文献１には、記録する動画の符号量を抑えることができるようにする技術が記載されている。
特開２０００−１３８９４０号公報

動画を記録する前に行われる圧縮処理は比較的処理量の多い処理であり、また、圧縮処理に使うメモリへのアクセスも頻繁に行われるため、動画を記録するだけならまだしも、同時に静止画のキャプチャをも行おうとした場合、用いられるメモリが同じメモリであるときには、動画の圧縮処理のためのメモリへのアクセスと、静止画をキャプチャするためのメモリへのアクセスが重なり、確保しておく必要のあるメモリ帯域が大きくなってしまう。

例えば、動画の記録中に、動画の解像度よりも高い解像度の静止画を記録しようとした場合、動画の記録用の画像とは別に、それより高い解像度の画像を静止画の記録用の画像としてメモリにキャプチャしておく必要がある。

このことは、デジタルスチルカメラだけでなく、静止画の撮影機能が搭載されたビデオカメラにおいて動画の記録中に静止画の記録を行うときも同様である。

本発明はこのような状況に鑑みてなされたものであり、動画の記録中に静止画の記録を行うことが可能な撮像装置において、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができるようにするものである。

本発明の一側面の撮像装置は、動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、前記イメージャから出力された画像の解像度変換を行う変換手段と、前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と、動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である、前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる制御手段とを備える。

前記動画記録用のデータである画像は、前記静止画記録用のデータである画像より解像度の低い画像であるようにすることができる。

前記制御手段には、前記圧縮手段による圧縮処理を、前記静止画記録用のデータを前記メモリに記録させ終わるまで中断させることができる。

前記制御手段には、さらに、静止画の記録が指示された時までに前記圧縮手段により圧縮され、前記メモリに記録されている圧縮済みの動画のデータを前記メモリから他の記録媒体に転送することも中断させることができる。

前記制御手段には、静止画の記録が指示されることに応じて前記静止画記録用のデータを前記メモリに記録させ終わってから、圧縮処理の対象になるデータとして前記メモリに記録されている前記動画記録用のデータと前記圧縮手段により圧縮処理の対象にされている前記動画記録用のデータの関係が圧縮処理を中断させる前と同じ関係になるまでの間、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせることができる。

前記制御手段には、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせている間、次の静止画の記録を禁止させることができる。

本発明の一側面の制御方法は、動画の記録中に静止画の記録が指示された時、メモリに対するアクセスを伴う処理である、圧縮手段による圧縮処理と、イメージャから出力された静止画記録用のデータを記録させる処理と、変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせるステップを含む。
本発明の一側面のプログラムは、動画の記録中に静止画の記録が指示された時、メモリに対するアクセスを伴う処理である、圧縮手段による圧縮処理と、イメージャから出力された静止画記録用のデータを記録させる処理と、変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせるステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、動画の記録中に静止画の記録が指示された時、メモリに対するアクセスを伴う処理である、圧縮手段による圧縮処理と、イメージャから出力された静止画記録用のデータを記録させる処理と、変換手段による解像度変換によって得られた動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理が中断され、前記イメージャから出力された静止画記録用のデータを記録させる処理が行われ、前記変換手段による解像度変換によって得られた動画記録用のデータを記録させる処理が継続して行われる。

本発明の一側面によれば、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができる。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置１の構成例を示すブロック図である。

撮像装置１は例えばデジタルビデオカメラであり、動画の記録中であっても、イメージャにより取り込まれた同じ画像を元に、動画の記録と、動画の解像度よりも高い解像度の静止画の記録を行うことができるようになされている。

図１に示されるように、撮像装置１は、例えば、イメージャ１１、信号処理チップ１２、DRAM(Dynamic Random Access Memory)１３、記録メディア１４から構成される。図１に示される構成の他に、レンズ、バッテリなども撮像装置１には設けられる。

イメージャ１１は、レンズを介して入射する被写体からの光を受光して光電変換を行い、受光量に応じたアナログの画像信号に対してA/D(Analog/Digital)変換を施してから、デジタル信号の画像データを信号処理チップ１２に出力する。イメージャ１１は、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子と、A/D変換を行う回路などにより構成される。A/D変換を行う回路などはイメージャ１１の後段にイメージャ１１とは別に設けられるようにしてもよい。

信号処理チップ１２は、CPU(Central Processing Unit)２１、前処理部２２、カメラ信号処理部２３、動画圧縮処理部２４、記録メディアI/F２５、内部バス２６、およびメモリコントローラ２７より構成され、イメージャ１１からの出力であるRAWデータに対して各種の処理を施し、処理を施すことによって得られた動画や静止画を記録メディア１４に記録させる。信号処理チップ１２による処理には、適宜、DRAM１３が用いられる。

記録メディア１４は、テープ、DVD(Digital Versatile Disc)、メモリカードなどの、撮像装置１に対して着脱式の記録媒体であったり、ハードディスクなどの撮像装置１に内蔵される固定式の記録媒体である。

信号処理チップ１２のCPU２１は、あらかじめ用意されるプログラムを実行し、前処理部２２、カメラ信号処理部２３、動画圧縮処理部２４、記録メディアI/F２５を制御する。

前処理部２２は、CPU２１による制御に従って、イメージャ１１から供給されたRAWデータに対して前処理を施す。例えば、ノイズリダクション処理、ホワイトバランス調整処理、ガンマ補正処理などが前処理として行われる。前処理部２２により前処理が施されたRAWデータは、そのデータが動画の記録に用いるデータである場合には内部バス２６を介してカメラ信号処理部２３に出力され、静止画の記録が指示されたときに得られたデータである場合には、静止画記録用のデータとして、内部バス２６を介してメモリコントローラ２７に出力される。

カメラ信号処理部２３は、前処理部２２から内部バス２６を介して供給されたRAWデータに対してカメラ信号処理を施す。例えば、輝度信号、色差信号を生成する色差分離マトリックス処理や、解像度を動画の記録フォーマットに応じた解像度に変換する解像度変換処理などがカメラ信号処理として行われる。例えば、撮像装置１において記録される動画の解像度は、静止画の解像度よりも低いものとされる。カメラ信号処理部２３によりカメラ信号処理が施されることによって得られた色差データは、動画記録用のデータとして、内部バス２６を介してメモリコントローラ２７に出力される。

このように、撮像装置１においては、イメージャ１１により取り込まれた画像の解像度を落とした画像が動画記録用のデータとして用いられ、解像度を落としていない、イメージャ１１により取り込まれたそのままの画像が静止画記録用のデータとして用いられる。

動画圧縮処理部２４は、カメラ信号処理部２３によりカメラ信号処理が施され、DRAM１３に記録された色差データを内部バス２６、メモリコントローラ２７を介して読み出し、読み出した色差データを対象として、MPEG(Moving Picture Experts Group)1，MPEG2，MPEG4，H.264，JPEG(Joint Photographic Expert Group)2000などのフォーマットに応じた圧縮処理を行う。

動きベクトルの検出やウェーブレット変換などよりなる圧縮処理はDRAM１３を用いて行われ、圧縮処理によって得られた圧縮済みの動画のデータはDRAM１３に記録される。従って、動画圧縮処理部２４により圧縮処理が行われている間、DRAM１３に対するアクセスが動画圧縮処理部２４により頻繁に行われることになる。DRAM１３に記録された圧縮済みの動画のデータは、所定のタイミングで内部バス２６を介して記録メディアI/F２５に転送される。

記録メディアI/F２５は、内部バス２６を介して供給された圧縮済みの動画のデータを記録メディア１４に記録させる。記録メディアI/F２５に対しては、例えば、動画の記録中に供給される圧縮済みの動画のデータの他に、DRAM１３からメモリコントローラ２７により読み出され、所定の信号処理が施された静止画のデータが供給される。静止画記録用のデータとしてDRAM１３に記録されたRAWデータに対しては、例えば、JPEGなどの圧縮処理がCPU２１により施される。

メモリコントローラ２７は、内部バス２６を介して供給されたデータをDRAM１３に記録させるとともに、内部バス２６を介して接続される各部からのアクセスに応じてDRAM１３からデータを読み出し、各部に出力する。

このような構成を有する撮像装置１においては、DRAM１３へのアクセスを伴う処理として、動画の記録中には、動画記録用のデータである色差データをDRAM１３に記録させるカメラ信号処理部２３の処理と、色差データを圧縮する動画圧縮処理部２４の処理が少なくとも行われるが、動画の記録中に静止画の記録が指示された時には、その指示がされた時にイメージャ１１により取り込まれた静止画記録用のデータとしてのRAWデータをDRAM１３に記録させるまでの間（静止画のキャプチャが行われるまでの間）、動画圧縮処理部２４による圧縮処理は中断され、静止画のキャプチャと、色差データをDRAM１３に記録させるカメラ信号処理部２３の処理が優先的に行われるようになされている。

ここで、動画の記録中のデータの流れ、静止画の記録だけが指示されたときのデータの流れ、および、動画の記録中に静止画の記録が指示されたときのデータの流れについてそれぞれ説明する。

図２は、動画の記録中のデータの流れの例を示す図である。説明の便宜上、音声データの流れは省略している。

動画の記録中、イメージャ１１から出力されたRAWデータは、矢印Ａ₁に示されるように前処理部２２に出力され、前処理が施される。前処理が施されたRAWデータは矢印Ａ₂に示されるように内部バス２６を介してカメラ信号処理部２３に出力され、カメラ信号処理が施される。

カメラ信号処理が施されることによって得られた色差データは、矢印Ａ₃に示されるように、内部バス２６、メモリコントローラ２７を介してDRAM１３に出力され、動画記録用のデータとして記録される。

動画記録用のデータである色差データがDRAM１３に記録された時、矢印Ａ₄に示されるように、DRAM１３に対するアクセスが動画圧縮処理部２４により複数回行われ、色差データを対象とした圧縮処理が行われる。動画圧縮処理部２４による圧縮処理によって得られ、DRAM１３に記録された圧縮済みの動画のデータは、所定のタイミングで、矢印Ａ₅に示されるように、メモリコントローラ２７、内部バス２６を介して記録メディアI/F２５に転送され、記録メディアI/F２５により記録メディア１４に記録される。

図３は、静止画の記録だけが指示されたときのデータの流れの例を示す図である。

静止画の記録が指示された時、その時にイメージャ１１により取り込まれ、イメージャ１１から出力されたRAWデータは、矢印Ａ₁₁に示されるように、前処理部２２に出力され、前処理部２２において前処理が施された後、内部バス２６、コントローラ２６を介してDRAM１３に出力されて、静止画記録用のデータとして記録される。

DRAM１３に記録されたRAWデータは、所定のタイミングで読み出され、圧縮処理などがCPU２１により施された後、記録メディアI/F２５に転送され、記録メディアI/F２５により記録メディア１４に記録される。

イメージャ１１からのRAWデータの読み出しが所定の周波数のクロックに同期して行われることから、このように、RAWデータをDRAM１３に記録させる静止画のキャプチャはリアルタイム処理となるが、DRAM１３に一度記録されたRAWデータに対して圧縮処理などを施し、静止画を記録メディア１４に記録させる処理は、リアルタイム処理として行う必要のない処理であり、静止画のキャプチャ後、所定のタイミングで行われる。

なお、イメージャ１１から出力されたRAWデータに前処理、カメラ信号処理を施し、得られた色差データをDRAM１３に記録させる動画の記録中の処理も、イメージャ１１からRAWデータが出力されてくる毎に行う必要のあるリアルタイム処理となる。一方、DRAM１３に記録された色差データを対象とした圧縮処理は、リアルタイム処理として行う必要のない処理となる。

図４は、動画の記録中に静止画の記録が指示されたときのデータの流れの例を示す図である。

動画の記録中に静止画の記録が指示された時、撮像装置１内におけるデータの流れは、図２に示されるものから図４に示されるものに切り換えられる。すなわち、図４に示されるように、動画圧縮処理部２４によりそれまで行われていた動画の圧縮処理は中断される。図４には、図２の矢印Ａ₄に対応するDRAM１３−動画圧縮処理部２４間の矢印は示されていない。

また、静止画の記録が指示された時にイメージャ１１により取り込まれたRAWデータは、矢印Ａ₂₁に示されるように、前処理部２２において前処理が施された後、内部バス２６、コントローラ２６を介してDRAM１３に出力され、静止画記録用のデータとして記録される。前処理部２２から出力されたデータは静止画記録用のデータとしてDRAM１３に出力されるとともに、分岐され、矢印Ａ₂₂に示されるように、内部バス２６を介してカメラ信号処理部２３にも出力される。

カメラ信号処理部２３に出力されたRAWデータに対してはカメラ信号処理が施され、カメラ信号処理が施されることによって得られた色差データは、矢印Ａ₂₃に示されるように、内部バス２６、メモリコントローラ２７を介してDRAM１３に出力され、動画記録用のデータとして記録される。静止画のキャプチャによって動画の記録が途切れてしまうのを防ぐために、動画圧縮処理部２４による圧縮処理は中断されたとしても、イメージャ１１から出力されたRAWデータから得られた色差データをDRAM１３に記録させることは続けられる。

例えば、DRAM１３には複数のバンクが形成されており、カメラ信号処理部２３により生成された色差データを記録するためのバンクと、動画圧縮処理部２４が圧縮処理に用い、圧縮済みの動画のデータを記録するバンクは異なるバンクとして用意される。これにより、動画圧縮処理部２４による圧縮処理が再開されたとしても、圧縮が施される前の色差データが圧縮済みの動画のデータによって上書きされてしまうことが防止される。

中断前の圧縮処理により得られ、記録メディア１４に転送されずにDRAM１３に残っていた圧縮済みの動画のデータは、それを仮にDRAM１３から読み出し、記録メディア１４に転送したとしても、データ量が比較的少なく、非圧縮のデータを読み出し／書き込みする場合に較べてDRAM１３のメモリ帯域を使わないで済むことから、矢印Ａ₂₄に示されるように、矢印Ａ₂₁で表される静止画のキャプチャや、矢印Ａ₂₃で表される色差データをDRAM１３に記録させる処理と並行して記録メディア１４に転送される。

静止画のキャプチャが終了した時、データの流れは図２に示されるものとなり、動画圧縮処理部２４による圧縮処理は、その時までにDRAM１３に記録されている色差データを対象として再開される。

図５は、動画の記録中に静止画の記録が指示された場合でも中断することなく、動画圧縮処理部２４による圧縮処理が続けられたときのデータの流れの例を示す図である。

静止画の記録が指示されることに応じて圧縮処理を中断するとしたとき、図４に示されるように、DRAM１３に対するアクセスは矢印Ａ₂₁，Ａ₂₃，Ａ₂₄で表されるアクセスだけであるのに対し、静止画の記録が指示された場合でも圧縮処理を中断しないとしたとき、図５に示されるように、DRAM１３に対するアクセスは矢印Ａ₃₁，Ａ₃₃，Ａ₃₄，Ａ₃₅で表されるアクセスとなり、動画圧縮処理部２４による分だけ、DRAM１３に対するアクセスが多く行われる。

このように、動画の記録中に静止画の記録が指示された場合にはリアルタイム処理を優先的に行い、リアルタイム処理として行う必要のない圧縮処理を中断することにより、DRAM１３に対するアクセスが同時に集中して行われることを抑えることができる。従って、静止画の記録が指示された場合でも圧縮処理を中断しないときに較べて、帯域の狭いメモリをDRAM１３として用いることが可能となる。

具体的には、カメラ信号処理の結果である色差データをDRAM１３に記録させるのに１００MByte/s、圧縮処理中のデータの読み出し／書き込みに５００MByte/s、静止画のキャプチャに４００MByte/sのメモリ帯域が必要な場合、圧縮済みの動画のデータをDRAM１３から記録メディア１４に転送することを考慮しないとすると、図５に示されるように、動画の記録中に静止画の記録が指示された場合でも圧縮処理を中断せずにそれらの処理を同時に行うには１０００MByte/sのメモリ帯域がDRAM１３の最大の帯域として求められることになるが、図４に示されるように、静止画の記録が指示されることに応じて圧縮処理を中断することにより、色差データをDRAM１３に記録させるのに必要な１００MByte/sと、圧縮処理に必要な５００MByte/sをあわせた６００MByte/sの、動画の記録だけを行うのに必要な分のメモリ帯域だけDRAM１３に確保されていればよく、より狭い帯域しかないメモリをDRAM１３として用いることが可能となる。

また、１回の読み出し／書き込みのデータ量を固定として、読み出し／書き込みのタイミングを規定するクロックの周波数を上げることによって必要なメモリ帯域を確保しようとする場合、求められる最大の帯域を抑えることができることにより、クロックの周波数を上げる必要がなくなり、撮像装置１全体の消費電力を抑えることもできる。

さらに、例えば、圧縮処理の性能をわずか１％だけ向上させておくことにより、１００フレームを取り込む毎に１枚、すなわち、およそ４秒に１枚の静止画のキャプチャが可能となり、実用上も問題がない。ここで、１％だけ向上させる圧縮処理の性能の基準とは、１フレームの時間を固定として、１００フレームの動画処理に１００フレームの時間がかかるようなエンジン性能のことであり、それを１％だけ向上させておくとは、１００フレームの動画の圧縮処理を９９フレーム分の時間で処理することができる性能にしてくことである。

以上のように、静止画の記録が指示されることに応じて圧縮処理を中断する場合、DRAM１３には、圧縮処理が再開されるまでにイメージャ１１により取り込まれ、カメラ信号処理部２３により生成された色差データが全て記録されることになることから、再開後の一定期間、圧縮処理は、中断前よりも速い速度で行われる。

図６は、圧縮処理の速度の例を示す図である。図６において、横軸は時間軸を表す。

内側に数字が示される１つの四角はイメージャ１１により取り込まれ、処理の対象になる１フレームの画像を表す。図６の上段のフレーム１乃至１０は、カメラ信号処理部２３によりカメラ信号処理の対象とされるフレームを表し、その下の段のフレーム１乃至９は、動画圧縮処理部２４により圧縮処理の対象とされるフレームを表す。

すなわち、図６の例においては、カメラ信号処理が行われることによってフレーム１の色差データがDRAM１３に記録され、続けて、フレーム２がカメラ信号処理の対象とされる時刻ｔ₁から時刻ｔ₂の間に、その１フレーム前のフレーム１を対象とした圧縮処理が行われる。

同様に、カメラ信号処理が行われることによってフレーム２の色差データがDRAM１３に記録され、続けて、フレーム３がカメラ信号処理の対象とされる時刻ｔ₃から時刻ｔ₄の間に、その１フレーム前のフレーム２を対象とした圧縮処理が行われる。また、カメラ信号処理が行われることによってフレーム３の色差データがDRAM１３に記録され、続けて、フレーム４がカメラ信号処理の対象とされる時刻ｔ₅から時刻ｔ₆の間に、その１フレーム前のフレーム３を対象とした圧縮処理が行われる。

このように、図６は、静止画のキャプチャにより中断される前の通常時の圧縮処理が、カメラ信号処理の対象になっているフレームの１フレーム前のフレームを対象として行われる場合の例を示している。

例えば、図６に示されるように、フレーム５がカメラ信号処理の対象になったのと同じ時刻である時刻ｔ₇に静止画の記録が指示されたとき、その直前に色差データがDRAM１３に記録されたフレーム４の圧縮処理は中断される。圧縮処理の中断は、静止画のキャプチャが終わるまで続けられ、時刻ｔ₈において再開されたとき、時刻ｔ₈から時刻ｔ₉の間においては、中断される直前に色差データがDRAM１３に記録されたフレーム４を対象とした圧縮処理が行われる。フレーム４を対象とした圧縮処理が行われている時刻ｔ₈から時刻ｔ₉の間にはフレーム６を対象としたカメラ信号処理が行われているから、この例においては、静止画のキャプチャが１回行われる毎に、１フレーム分だけ、通常時と較べて圧縮処理に遅延が生じることになる。

再開後、圧縮処理は通常時と較べて速い速度で行われ、図６の例においては、時刻ｔ₉から時刻ｔ₁₀の間にフレーム５を対象とした圧縮処理が行われ、時刻ｔ₁₀から時刻ｔ₁₁の間にフレーム６を対象とした圧縮処理が行われている。また、時刻ｔ₁₁から時刻ｔ₁₂の間にフレーム７を対象とした圧縮処理が行われている。時刻ｔ₉−ｔ₁₀，ｔ₁₀−ｔ₁₁，ｔ₁₁−ｔ₁₂間の時間は、中断前に１フレームを圧縮するのにかかっていた時刻ｔ₁−ｔ₃間の時間などと較べて短い。

フレーム７を対象とした圧縮処理が終了し、圧縮処理の状態が、カメラ信号処理の対象になっているフレームより１フレームだけ前のフレームを対象として行うことができるような通常時の状態に追いついたとき、それ以降、再度、圧縮処理は通常時と同じ速度で行われる。

図６の例においては、フレーム９を対象としたカメラ信号処理が行われている時刻ｔ₁₃から時刻ｔ₁₄の間には、その１フレーム前のフレーム８を対象とした圧縮処理が行われ、フレーム１０を対象としたカメラ信号処理が行われている時刻ｔ₁₅から時刻ｔ₁₆の間には、その１フレーム前のフレーム９を対象とした圧縮処理が行われている。圧縮処理に要する撮像装置１の負担を考慮して、例えば、通常時の状態に圧縮処理の状態が追いつくまで、次の静止画のキャプチャは禁止される。

このように、再開後、圧縮処理が通常時と較べて速い速度で行われるようにすることにより、いわば圧縮処理待ちの状態の動画記録用のデータがDRAM１３に記録され続けることを防ぐことができる。

次に、図７のフローチャートを参照して、圧縮処理を制御するCPU２１の処理について説明する。

この処理は例えば動画の記録中に行われる。動画の記録中、図２を参照して説明したように、カメラ信号処理部２３により生成された色差データがDRAM１３に記録されるとともに、DRAM１３に記録された色差データを対象として、順次、動画圧縮処理部２４により圧縮処理が行われる。圧縮済みの動画のデータは記録メディアI/F２５に転送され、記録メディアI/F２５により記録メディア１４に記録される。

ステップＳ１において、CPU２１は、静止画のキャプチャを許可できるか否かを判定する。ここでは、上述したように、直前に行われた静止画のキャプチャによって、圧縮処理の状態が通常時の状態に追いついておらず、速い速度で処理を行っている状態にあるとき、次の静止画のキャプチャは禁止され、一方、圧縮処理の状態が通常時の状態にあるとき、静止画のキャプチャは許可される。

CPU２１は、ステップＳ１において、静止画のキャプチャを許可できると判定した場合、ステップＳ２に進み、次に、ユーザにより静止画の撮影が指示され、キャプチャの要求があったか否かを判定する。

ステップＳ２において、CPU２１は、キャプチャの要求があったと判定した場合、ステップＳ３に進み、動画圧縮処理部２４を制御し、圧縮処理を停止させる。

ステップＳ４において、CPU２１は、前処理部２２を制御し、前処理を施したRAWデータをDRAM１３に出力させることによって静止画のキャプチャを行わせる。また、CPU２１は、次の静止画のキャプチャを禁止する状態とする。その後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。

一方、CPU２１は、ステップＳ１において、圧縮処理の状態が通常時の状態に追いついていないことから、静止画のキャプチャを許可することができないと判定した場合、または、ステップＳ２において、キャプチャの要求がないと判定した場合、ステップＳ５に進む。

ステップＳ５において、CPU２１は、動画圧縮処理部２４を制御し、DRAM１３に記録されている色差データを対象とした圧縮処理を行わせる。例えば、CPU２１は、圧縮処理が再開された後であり、静止画のキャプチャを禁止している場合、通常時よりも速い速度で圧縮処理を行わせ、静止画のキャプチャを禁止していない場合、通常時と同じ速度で圧縮処理を行わせる。

ステップＳ６において、CPU２１は、圧縮処理の状態が通常時の状態に追いついているか否かを判定し、追いついていないと判定した場合、ステップＳ７に進み、静止画のキャプチャを禁止する。

一方、ステップＳ６において、CPU２１は、圧縮処理の状態が通常時の状態に追いついていると判定した場合、ステップＳ８に進み、静止画のキャプチャを許可する。

ステップＳ７またはステップＳ８において静止画のキャプチャの許可／不許可が選択された後、処理はステップＳ１に戻り、動画の記録が終了されるまでの間、ステップＳ１以降の処理が続けられる。

以上の処理により、動画の記録中に静止画をキャプチャするときのDRAM１３へのアクセスを緩和し、DRAM１３に確保しておく必要のある最大のメモリ帯域を軽減させることができる。また、クロックの周波数を抑えることができ、消費電力を減らすことも可能となる。

なお、以上においては、動画記録中に１枚の静止画をキャプチャする場合について説明したが、DRAM１３の容量に余裕があれば、静止画のキャプチャが可能になるまでの間隔を短縮させたり、キャプチャ可能な枚数を増加させることもできる。また、圧縮処理の性能を高めることによっても、静止画のキャプチャが可能になるまでの間隔を短縮させることができる。

また、以上においては、図４を参照して説明したように、中断前の圧縮処理により得られ、記録メディア１４に転送されずにDRAM１３に残っていた圧縮済みの動画のデータは、データ量が比較的少ないことから、静止画のキャプチャや、色差データをDRAM１３に記録させる処理と並行して記録メディア１４に転送されるとしたが、この圧縮済みの動画のデータを記録メディア１４に転送する処理さえも、静止画のキャプチャが行われている間は中断されるようにしてもよい。これにより、静止画のキャプチャが行われている間でも圧縮済みの動画のデータが記録メディア１４に転送される場合に較べて、DRAM１３に必要なメモリ帯域をさらに抑えることができる。

以上においては、撮像装置１はデジタルビデオカメラである場合について説明したが、動画の撮影機能と静止画の撮影機能を有する機器であれば、デジタルスチルカメラ、携帯電話機などの各種の機器に上述した機能は適用することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。

CPU(Central Processing Unit)１０１は、ROM(Read Only Memory)１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。

CPU１０１にはまた、バス１０４を介して入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。

入出力インターフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インターフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。動画の記録中のデータの流れの例を示す図である。静止画の記録だけが指示されたときのデータの流れの例を示す図である。動画の記録中に静止画の記録が指示されたときのデータの流れの例を示す図である。動画の記録中に静止画の記録が指示された場合でも圧縮処理が続けられたときのデータの流れの例を示す図である。圧縮処理の速度の例を示す図である。圧縮処理を制御する処理について説明するフローチャートである。パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１撮像装置，１１イメージャ，１２信号処理チップ，１３ DRAM，１４記録メディア，２１ CPU，２３カメラ信号処理部，２４動画圧縮処理部

Claims

動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、
前記イメージャから出力された画像の解像度変換を行う変換手段と、
前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と、
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である、前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる制御手段と
を備える撮像装置。
前記動画記録用のデータである画像は、前記静止画記録用のデータである画像より解像度の低い画像である
請求項１に記載の撮像装置。
前記制御手段は、前記圧縮手段による圧縮処理を、前記静止画記録用のデータを前記メモリに記録させ終わるまで中断させる
請求項２に記載の撮像装置。
前記制御手段は、さらに、静止画の記録が指示された時までに前記圧縮手段により圧縮され、前記メモリに記録されている圧縮済みの動画のデータを前記メモリから他の記録媒体に転送することも中断させる
請求項３に記載の撮像装置。
前記制御手段は、静止画の記録が指示されることに応じて前記静止画記録用のデータを前記メモリに記録させ終わってから、圧縮処理の対象になるデータとして前記メモリに記録されている前記動画記録用のデータと前記圧縮手段により圧縮処理の対象にされている前記動画記録用のデータの関係が圧縮処理を中断させる前と同じ関係になるまでの間、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせる
請求項４に記載の撮像装置。
前記制御手段は、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせている間、次の静止画の記録を禁止させる
請求項５に記載の撮像装置。
動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、
前記イメージャから出力された画像の解像度変換を行う変換手段と、
前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と
を有する撮像装置の制御方法において、
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である、前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる
ステップを含む制御方法。
動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、
前記イメージャから出力された画像の解像度変換を行う変換手段と、
前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と
を有する撮像装置の制御をコンピュータに実行させるプログラムにおいて、
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である、前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる
ステップを含むプログラム。