JP3902824B2

JP3902824B2 - 画像処理装置及び方法

Info

Publication number: JP3902824B2
Application number: JP00154097A
Authority: JP
Inventors: 正猛加藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-01-08
Filing date: 1997-01-08
Publication date: 2007-04-11
Anticipated expiration: 2017-01-08
Also published as: JPH10200859A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法に関し、より具体的には、動画像とその動画像中の所望の静止画像を記録媒体に記録する画像処理装置及び方法に関する。
【０００２】
【従来の技術】
銀塩フィルムの代わりに半導体メモリ、磁気ディスク及び光磁気ディスク等を記録媒体として撮影画像をディジタル記録する電子スチル・カメラが、研究及び商品化されている。記録媒体がランダムアクセス可能であれば、記録順とは異なる順序で再生でき、任意の記録画像を即座に再生できる。ディジタル記録ではまた、ダビングによっても画質が劣化しない、時間軸上のスケーラビリティを活用しやすいなどの利点がある。しかし、ディジタル記録は、アナログ記録に比べて、記録データ量が膨大になるという欠点がある。
【０００３】
記録データ量を削減する手段として、情報圧縮技術が有益であり、静止画のＪＰＥＧ方式の他にも、動画のＭＰＥＧ方式など、種々の方式が提案されている。ＪＰＥＧ方式では、８×８画素単位で空間座標系での値を周波数座標上の値に直交変換（ＤＣＴ変換）し、その変換係数を量子化し、ハフマン符号化方式等で可変長符号とする。これにより、データ量はほぼ１／１０以上に圧縮される。可逆符号化ではないので、入力信号を忠実に再現することはできないが、通常の画質レベルでは問題とはならない。圧縮情報を復元するには、圧縮のときと逆の過程をたどることになる。
【０００４】
静止画の単独撮影では、画質が優先され、画像を取り込んだ後の後処理（圧縮処理と記録媒体への記録処理）に多少時間がかかったとしても許容できた。しかし、高速の連写の場合には、連写の時間間隔が後処理に要する時間で制限されるので、圧縮処理及び記録処理に要する時間を短縮するか、いずれかの部分を並列動作させて画像取り込みの待ち時間を短縮するかしなければならない。
【０００５】
また、短時間の動画を記録しようとすると、画面の動きを滑らかにするには、３０フレーム／秒（又は６０フィールド／秒）程度のフレームレートを確保しなければならない。このためにも、後処理に要する時間を短縮する必要があり、勿論、記録媒体の記録容量を増大し、画像圧縮率を高める必要がある。とくに圧縮と記録をリアルタイムに行なおうとすると、構成が複雑化し、記録媒体も高速書き込み可能な媒体を使用しなければならない。これに対し、画像情報を高速書き込み可能な第１の半導体メモリを介して低速書き込みの大容量の第２の半導体メモリに転送する構成の電子スチルカメラが提案されている（例えば、平成１年特許出願公開第１０７８４号公報及び平成５年特許出願公開第４９０００号公報）。
【０００６】
動画像の周知の圧縮技術であるＭＰＥＧ方式では、各画面の圧縮に時間軸方向の圧縮を加味して圧縮率を高めている。例えば、基準となる画面（開始フレーム（又はフィールド。以下、同じ。）の前後のフレームは、動きがあったとしても、基準画面との相関が高い（類似した画素情報が得られる）はずなので、同一の画素番地で基準画像値からの差分を求めて、これを符号化すれば圧縮効果は高くなる。さらに、ある画素ブロック単位で比較フレームの比較対象とブロックマッチングを行なうことで、動き量に応じた量だけ横画素方向及び縦ライン方向にシフトさせて差分をとることにおり、更に、圧縮効果が高くなる。
【０００７】
このような動画圧縮処理を行なえば、より高い圧縮率を達成できるが、装置の構成が複雑化し、高価なものになってしまう。
【０００８】
ランダムアクセス性については、先にも述べたが、動画の再生時に任意のフレームを指定して再生できるはずである。動画像圧縮記録時にフレーム間圧縮を行なっていると、再生表示しようとするフレームがフレーム間圧縮によらないイントラ画像である場合には、そのフレームの情報のみで再生表示できるが、フレーム間圧縮画像である場合には、そのフレーム単体では伸長不可能であり、基準となる前又はのフレームの画像情報が必要となる。さらには、任意のフレームを動画像より高精細な画質で出力（再生表示又はプリントアウト）することはできない。
【０００９】
静止画像に比較して動画像の画質要求が一般的に低い点に注目すれば、フレーム間圧縮は、人間の視覚上のメカニズムを巧妙に利用した高能率な圧縮符号化方式であり、実用上、非常に有効である。但し、上述のように、任意の１フレームを再生出力すると、鑑賞又はプリントアウトに充分耐えうる良質の画質は望めない。
【００１０】
【発明が解決しようとする課題】
例えば、動画記録中でも、所望のフレームについて動画処理とは別に静止画処理を実行することも考えられる。具体的には、動画撮影開始終了のトリガー釦とは別に、静止画撮影用レリーズスイッチを設け、連続撮影中にも、静止画撮影用レリーズスイッチを押し込み操作することで、その間の取り込み画像を静止画処理させる。
【００１１】
その動作を、図３、図４及び図５を参照して具体的に説明する。図３〜図５は、一連の画像の時間軸上の流れの模式図を示す。図３は、撮影画像の時間軸上の流れを示す模式図である。ＮＴＳＣ方式では、７２０×４８０画素程度の画像をインターレースして６０フィールド／秒で取り込む。サンプリング周波数は、輝度信号が１３．５ＭＨｚ、色差信号Ｒ−Ｙ、Ｂ−Ｙがそれぞれ６．７５ＭＨｚであり、色差信号のサンプリング周波数を１／２に間引いて４：１：１コンポーネント信号にした後、情報圧縮する。ＴＶに表示する以外にもパーソナルコンピュータにとりこんで種々の用途に用いる場合もあり、その時は、上記の画素数及びフレームレートまでは必要としない場合がある。例えば、３２０×２４０画素、３０フレーム／秒でも十分な場合もある。しかし、この程度の動画像でも、無圧縮では８ビット取り込みで、１８Ｍｂｐｓの転送レートを必要とする。
【００１２】
４：１：１コンポーネント信号を各フレームにつき１／１０程度にＪＰＥＧ方式で圧縮した場合で、１フレームあたりの映像情報は約１２Ｋバイトの容量となる。これでも、１秒間では０．４Ｍバイト、１分間で２１Ｍバイト強のデータ量になり、記録できる画像数（又は時間）を多く（又は長く）できない。もっとも、この状態では各フレームがフレーム内圧縮画像（イントラ画像）であるから、単独フレームのみで伸長表示が可能である。即ち、ランダム再生が容易である。記録媒体としては、半導体メモリ、磁気ディスク、光ディスク、ハードディスク等、数多くあるが、現時点で高速書き込み可能、小型、大容量及び安価というすべての条件を満足するものはない。
【００１３】
ＭＰＥＧ方式ように、高圧縮した状態で記録媒体に書き込むようにすれば、記録媒体に対する転送レートも低下するし、記録時間も飛躍的に増大する。図４はＭＰＥＧ圧縮の場合の画像情報の時系列を示す。図３に示す一連の画像情報を動画処理用フレーム・メモリに一時格納し、動画像圧縮伸長回路がリアルタイムに時間軸方向のフレーム間相関をとって、圧縮する。
【００１４】
図４では、動画撮影中のある１０フレームだけを取り出して示している。フレーム上にあてられた番号は、圧縮の処理順を示すフレーム番号である。
【００１５】
第１フレームはイントラ画像と呼ばれ、すべてのブロック情報はフレーム内で情報圧縮される。図３のフレーム（ａ）と同一であると考えれば良い。図３のフレーム（ｂ），（ｃ）は、フレーム・メモリに一時格納され、まずフレーム（ｄ）が圧縮される。フレーム（ｄ）は、第１フレームを参照フレーム又は基準フレームとして差分符号化される。この時、ブロック単位ごとに動き成分が少なければ単なる差分値でも良いが、必要なら動きベクトルから動き補償を行なって圧縮符号化しても良い。
【００１６】
第３及び第４フレームは、図３のフレーム（ｂ），（ｃ）を、第１及び第２フレームの双方向からの予測の下でフレーム相関圧縮される。図中、矢印は、フレーム間圧縮の参照関係を示す。
【００１７】
図３の場合はいわば静止画の連続であるが、モーションＪＰＥＧ方式で圧縮して記録する場合、記録容量を考慮すると、解像度を３２０×２４０画素程度にしなければならず、静止画として表示又はプリントアウトするには、画質的に充分とは言いがたい。今、フレーム（ｅ）がユーザの意図した静止画フレームだとすると、これに相当する図４の第６フレームはイントラ画像ではないので、これを再生しようとしても、このフレームのみでは伸長できない。
【００１８】
そこで、動画記録中に静止画記録要求のあったフレーム（例えば、フレーム（ｅ））については、図５に示すように、より高い解像度、例えば６４０×４８０画素で静止画として、即ち単独フレームで情報圧縮する方法が考えられる。
【００１９】
しかし、動画の画素サイズの４倍の情報量となるので、圧縮処理に多くの時間を要する。動画の圧縮処理能力が最大限で秒間３０フレーム処理とすれば、静止画の割り込みによって、単純には４倍の情報量を１／３０秒の間で処理すべきところを、４／３０秒、即ち動画４フレーム分の時間を費すこととなる。従って、割り込み同時処理では、図５に点線で示すように、高精細静止画に続く動画が３フレーム分欠落してしまう。
【００２０】
即ち、動画処理中に高精細静止画処理を割り込ませるだけでは、高精細静止画処理が高精細故に圧縮処理に時間がかかるので、動画のフレームレートが落ちる等の所謂コマ落ちが発生してしまう。当然ながら、高精細な静止画を動画のフレームレート内で高速処理できればよいが、撮像装置の構成が複雑になると同時に、動画撮影中の動画圧縮処理で圧縮処理能力を最大限には活用していないことになり、無駄が多い。
【００２１】
本発明は、このような問題点を解決する画像処理装置及び方法を提示することを目的とする。
【００２２】
【課題を解決するための手段】
本発明に係る画像処理装置は、入力された動画像データを圧縮処理する第１の圧縮手段と、前記動画像データ中の所望の１フレームの画像データを静止画像データとして一時格納するためのメモリと、前記メモリに格納された静止画データを圧縮処理する第２の圧縮手段と、前記第１の圧縮手段から得られた動画像データと、前記第２の圧縮手段から得られた静止画データとを記録媒体に記録する記録手段とを備え、前記第２の圧縮手段は、前記第１の圧縮手段による圧縮処理と並列に、かつ、前記第１の圧縮手段による動画像データの圧縮処理を阻害しない時間範囲内で、圧縮処理を行うことを特徴とする。
本発明に係る画像処理方法は、入力された動画像データを圧縮処理する第１の圧縮ステップと、前記動画像データ中の所望の１フレームの画像データを静止画データとしてメモリに一時格納するステップと、前記メモリに格納された静止画データを圧縮処理する第２の圧縮ステップと、前記第１の圧縮ステップで得られた動画像データと、前記第２の圧縮ステップで得られた静止画データとを記録媒体に記録する記録ステップとを備え、前記第２の圧縮ステップは、前記第１の圧縮ステップによる圧縮処理と並列に、かつ、前記第１の圧縮ステップによる動画像データの圧縮処理を阻害しない時間範囲内で、圧縮処理を行うことを特徴とする。
【００２３】
これにより、動画記録をコマ落ちさせずに、所望のフレームを静止画として記録できる。
【００２４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００２５】
図１は、本発明の一実施例の概略構成ブロック図を示す。１０はＣＣＤ撮像素子、１２は撮像素子１０のアナログ出力をディジタル信号に変換するＡ／Ｄ変換器、１４は、Ａ／Ｄ変換器１２の出力データを輝度データと色差データに分離してコンポーネント信号を生成するディジタル信号処理回路である。Ａ／Ｄ変換器１２及びディジタル信号処理回路１４からなる部分をカメラ信号処理回路１６と呼ぶことにする。
【００２６】
１８は、フレーム・メモリ２０を利用して画像信号を動画像圧縮伸長処理する動画像圧縮伸長回路、２２は、フレーム・メモリ２４を利用して画像情報を静止画像圧縮伸長処理する静止画像圧縮伸長回路である。
【００２７】
２６は全体を制御するシステム制御回路、２８は撮影画像情報を記録する最終的な記録媒体、３０は記録媒体２８をシステム制御回路２６に接続するインターフェースである。３２は電子ビューファインダ（又は光学式ファインダ）、３２は映像／音声の外部出力端子である。
【００２８】
３６は、連続撮影用トリガー３８及び静止画撮影要求用レリーズ４０を具備する操作キー、４２は撮影コマ数及び記録メモリの残量等を表示する表示器、４４は電源回路である。
【００２９】
図１に示す実施例の基本動作を説明する。連続撮影用トリガー３８により連続撮影が指示されると、カメラ信号処理回路１６の出力画像は、動画用フレーム・メモリ２０に一時記憶され、動画像圧縮伸長回路１８によりモーションＪＰＥＧ方式で圧縮されて、記録媒体２８に記録される。
【００３０】
連続撮影中に静止画用レリーズ４０が操作されると（即ち、静止が撮影要求が入力されると）、システム制御回路２６は、動画像圧縮伸長回路１８による動画像圧縮と記録媒体２８への記録を続行しながら、該当するフレームの画像情報をフレーム・メモリ２４に格納すると共に、静止画撮影フラグを記録媒体２８に書き込む。そして、連続撮影終了と共に、システム制御回路２６は、静止画用フレーム・メモリ２４から画像情報を読み出し、静止画像圧縮伸長回路２２により静止画圧縮して、記録媒体２８の、動画記録領域とは別の領域に記録する。動画に比べれば、リアルタイム性は必要とされないので、静止画像圧縮伸長回路２２の静止画圧縮に多少時間がかかってもよい。
【００３１】
本実施例では、記録媒体２８は例えば、カードタイプのフラッシュメモリであるが、これに限らず、ハードディスク、光ディスク、、光磁気ディスク、及び磁気ディスクメモリ等であってもよい。
【００３２】
再生時には、記録媒体２８から動画像情報を読み出し、順次、動画像圧縮伸長回路１８により伸長する。途中、静止画フレーム撮影フラグを検知した時は、記録媒体２８の別領域に記録されている高精細静止画データを読み出し、静止画像圧縮伸長回路２２により伸長する。
【００３３】
図３、図４及び図５を参照して、本実施例の特徴的な動作を具体的に説明する。図３はいわば、カメラ信号処理回路１６から出力される画像の時間軸上の流れを示す模式図と見ることが出来る。動画像圧縮伸長回路１８は、図３に示す一連の画像情報を動画処理用フレーム・メモリ２０に一時格納し、リアルタイムに時間軸方向のフレーム間相関をとって、圧縮する。
【００３４】
本実施例では、動画記録中に静止画記録要求のあったフレーム（例えば、フレーム（ｅ））については、４倍の情報量の高精細静止画を、一旦、フレーム・メモリ２４にそのままで格納し又は、短時間で済む前処理程度で格納し、動画のリアルタイム圧縮を優先処理させる。動画撮影を終了した後、フレーム・メモリ２４から静止画データを読み出し、静止画像圧縮伸長回路２２により圧縮して記録媒体２８の静止画記録領域に書き込む。フレーム・メモリ２４は、静止画を複数枚分、格納できることが望ましい。
【００３５】
さらに望ましくは、動画記録中に、フレーム・メモリ２４から静止画データをゆっくり読みだし、動画のリアルタイム圧縮処理を阻害しない時間範囲内で同一の記録媒体２８又は別の記録媒体に記録するようにすれば、フレーム・メモリ２４に新たな静止画フレームを取り込む余裕ができる。これにより、フレーム・メモリ２４を節約できる。
【００３６】
図２は、本発明の変更実施例の概略構成ブロック図を示す。図１と同じ構成要素には同じ符号を付してある。動画像圧縮伸長回路１８に代わる動画像圧縮伸長回路５０は、ＤＣＴ回路５０ａ、量子化回路５０ｂ、可変長符号化回路５０ｃ、逆ＤＣＴ回路５０ｄ、逆量子化回路５０ｅ、可変長復号化回路５０ｆ及び動き補償回路５０ｇからなる。また、静止画像圧縮伸長回路２２に代わる静止画像圧縮伸長回路５２は、ＤＣＴ回路５２ａ、量子化回路５２ｂ、可変長符号化回路５２ｃ、逆ＤＣＴ回路５２ｄ、逆量子化回路５２ｅ及び可変長復号化回路５２ｆからなり、２つのフレーム・メモリ５４ａ，５４ｂを利用する。本実施例には、２つの記録媒体５６，５８があり、記録媒体５６は磁気テープからなり、記録媒体５８は、高速に書き込みできる半導体メモリ、例えば、フラッシュ・メモリからなる。６０は、動画像圧縮伸長回路５０、静止画像圧縮伸長回路５２並びに記録媒体５６，５８への書込み及び読み出しを総合的に制御する大規模ゲートアレイＣＰＵ、６２はＣＰＵ５０と記録媒体５６，５８を接続するインターフェースである。
【００３７】
動画像圧縮伸長回路５０は、カメラ信号処理回路１６からの６４０×４８０画素の画像データを、動画像用フレーム・メモリ２０を利用して、画素変換、間引き及びＤＣＴ処理等を行ない、さらに動き補償回路５２ｇによる動きベクトルを用いてフレーム間相関圧縮する。圧縮画像データは、磁気テープからなる記録媒体５６に記録される。
【００３８】
動画撮影中の静止画記録は、以下のように行なわれる。静止画レリーズ１６により指定されたフレームの画像データは、静止画用フレーム・メモリ５４ａに６４０×４８０画素の解像度のまま取り込まれる。動画撮影中に更に別の静止画フレームを取り込む場合には、その静止画は、第２のフレーム・メモリ５４ｂに格納される。静止画圧縮伸長回路５２は静止画用フレーム・メモリ５４ａ，５４ｂに格納される静止画を圧縮する。圧縮された画像データは、記録媒体５８に記録される。
【００３９】
本実施例では、静止画圧縮伸長回路５２をＣＰＵ６０とは別に設けることで、ＣＰＵ６０の負荷を減らすことができ、静止画像の圧縮処理を高速に実行できる。勿論、ＣＰＵ６０の処理能力にもよるが、動画像圧縮伸長回路５０及び静止画像圧縮伸長回路５２の機能をソフトウエアによっても実現できることはいうまでもない。
【００４０】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、動画像の質と量に適した形式で、圧縮記録を簡易化し、かつ、動画撮影中の任意のフレームを、動画をコマ落ちさせずに高精細に記録できる。
【００４１】
さらに再生表示の時には、動画データ中の静止画フレームフラグと静止画データとをリンクすることで、静止画像からの動画シーンの頭出し、または逆に、動画シーン中からの高精細静止画プリント等が容易に行なえる。
【図面の簡単な説明】
【図１】本発明の第１実施例の概略構成ブロック図である。
【図２】本発明の第２実施例の概略構成ブロック図である。
【図３】カメラ信号処理回路１６から出力される画像情報を時系列で示す模式図である。
【図４】動画像圧縮される画像情報を時系列で示す模式図である。
【図５】連続撮影中で静止画要求があった場合の、従来例の圧縮結果を時系列で示す模式図である。
【符号の説明】
１０：ＣＣＤ撮像素子
１２：Ａ／Ｄ変換器
１４：ディジタル信号処理回路
１６：カメラ信号処理回路
１８：動画像圧縮伸長回路
２０：動画像圧縮用フレーム・メモリ
２２：静止画像圧縮伸長回路
２４：静止画圧縮用フレーム・メモリ
２６：システム制御回路
２８：記録媒体
３０：インターフェース
３２：電子ビューファインダ（又は光学式ファインダ）
３４：映像／音声の外部出力端子
３６：操作キー
３８：連続撮影用トリガー
４０：静止画撮影要求用レリーズ
４２：表示器
４４：電源回路
５０：動画像圧縮伸長回路
５０ａ：ＤＣＴ回路
５０ｂ：量子化回路
５０ｃ：可変長符号化回路
５０ｄ：逆ＤＣＴ回路
５０ｅ：逆量子化回路
５０ｆ：可変長復号化回路
５０ｇ：動き補償回路
５２：静止画像圧縮伸長回路
５２ａ：ＤＣＴ回路
５２ｂ：量子化回路
５２ｃ：可変長符号化回路
５２ｄ：逆ＤＣＴ回路
５２ｅ：逆量子化回路
５２ｆ：可変長復号化回路
５４ａ，５４ｂ：フレーム・メモリ
５６，５８：記録媒体
６０：大規模ゲートアレイＣＰＵ
６２：インターフェース

Claims

入力された動画像データを圧縮処理する第１の圧縮手段と、
前記動画像データ中の所望の１フレームの画像データを静止画像データとして一時格納するためのメモリと、
前記メモリに格納された静止画データを圧縮処理する第２の圧縮手段と、
前記第１の圧縮手段から得られた動画像データと、前記第２の圧縮手段から得られた静止画データとを記録媒体に記録する記録手段
とを備え、
前記第２の圧縮手段は、前記第１の圧縮手段による圧縮処理と並列に、かつ、前記第１の圧縮手段による動画像データの圧縮処理を阻害しない時間範囲内で、圧縮処理を行うことを特徴とする画像処理装置。
前記静止画像は、前記動画像データに比較して高精細画像である請求項１に記載の画像処理装置。
前記記録媒体が、動画像を記録する第１記録媒体と、静止画像を記録する第２記録媒体からなる請求項１に記載の画像処理装置。
入力された動画像データを圧縮処理する第１の圧縮ステップと、
前記動画像データ中の所望の１フレームの画像データを静止画データとしてメモリに一時格納するステップと、
前記メモリに格納された静止画データを圧縮処理する第２の圧縮ステップと、
前記第１の圧縮ステップで得られた動画像データと、前記第２の圧縮ステップで得られた静止画データとを記録媒体に記録する記録ステップ
とを備え、
前記第２の圧縮ステップは、前記第１の圧縮ステップによる圧縮処理と並列に、かつ、前記第１の圧縮ステップによる動画像データの圧縮処理を阻害しない時間範囲内で、圧縮処理を行うことを特徴とする画像処理方法。
前記静止画像は、前記動画像データに比較して高精細画像である請求項４に記載の画像処理方法。
前記記録媒体が、動画像を記録する第１記録媒体と、静止画像を記録する第２記録媒体からなる請求項４に記載の画像処理方法。