JP2004166224A - 画像生成装置及びその方法 - Google Patents

Abstract

【課題】高解像度あるいは高速取り込み（フレームレート）といった撮影画像の特性を生かした動画像データを生成する。
【解決手段】所定の時間間隔で被写体を撮像して撮像データを生成するカメラ部と、撮像データを前記時間間隔に基づく画像レートからなる動画像データとして符号化する符号化部を有し、前記符号化部から出力される符号化後の動画データについて、カメラ部における撮像画素数と前記画像レートに応じて動画データの出力形態を切り替えて、最適な動画ストリームを出力する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、変更可能なフレームレートで動画像を取り込み圧縮符号化した画像を得る画像生成装置及びその方法に関する技術である。
【０００２】
【従来の技術】
従来、画像を撮像して記録再生できる装置として、デジタルスチルカメラやデジタルビデオカメラがある。近年の撮像素子は高度な製造技術によって高画素化が進み、それを用いるデジタルスチルカメラのみならずデジタルビデオカメラにおいても撮影画像の高画質（高解像度）化が高まっている。
【０００３】
上記のようなカメラで高解像度な画像を生成するときには、画像のデータ量が多いため、撮像能力、画像圧縮能力や記録能力等に多大な影響を受けることになるが、処理時間や処理データ量に制限を設けることで、各装置やそのモードに応じた最適な設定を行っている。
【０００４】
たとえばデジタルビデオカメラにおいて、動画を記録するモードではその出力先としてＴＶモニターを想定し、ＮＴＳＣの４８０×７２０画素またはＰＡＬの５７６×７２０画素（正方画素６４０×４８０画素ＶＧＡ相当）の撮像データを３０フレーム／秒で記録処理する一方、静止画を記録するモードでは１２３万画素（正方画素１２８０×９６０画素ＳＸＶＧＡ相当）の撮像データの記録処理を行っている装置がある。また、デジタルスチルカメラにおいては、普及機として３００万画素（２０４８×１５３６画素ＱＸＧＡ相当）以上の静止画記録を実現し、また、２フレーム／秒程度の連続撮影を実現している装置がある。
【０００５】
一方、ユーザの立場からすると、デジタルビデオカメラに関して高画素指向以外に高速度撮影の指向も存在する。例えば動画撮影中であってもフレームレートを高速側に変更したいといったニーズが挙げられる。だが、このような高速化は各処理回路の負荷を増大させるのみならず、フレームレートを変更して記録した動画像を再生する際に、再生装置あるいは表示装置で対応できなくなる事態が懸念されるので、製品化においてはそういった課題を解決する必要がある。そこで、カメラ等に接続されたホストコンピュータからの制御によって、異なるフレームレートでの動画記録を可能にした動画撮像システムが考えられている（例えば、特許文献１参照。）。
【０００６】
【特許文献１】
特開平７−２９８１１２号公報（第３−４頁、第３図）
【０００７】
【発明が解決しようとする課題】
しかしながら、一般的に高画素の撮像素子を具備したデジタルビデオカメラやデジタルスチルカメラであっても、撮影モードやユーザ設定に応じた画像サイズに従って一意的に決定される画素範囲に固定して画像を撮像及び記録する限りであり、特に動画に関しては高解像度な撮像画像を任意に得ることは難しかった。
【０００８】
また、動画のフレームレートに関しては、ＴＶモニタ等の方式にあわせた既定のフレームレートで記録するか、もしくは、上記特許文献１の様にホストコンピュータからの制御によってフレームレートを設定できる程度であり、ビデオカメラを操作するユーザに変更の自由度があるとはいえなかった。
【０００９】
このように、これまでの技術ではあらかじめ設定された画像サイズに従って撮像画像の解像度が決定され、さらに撮像素子の読出し時間、画像圧縮部の処理時間、及び記録部等のデータ転送レート等によって扱う秒間フレーム数等が一意的に決定してしまうので、カメラ側で解像度とフレームレートを自由に選択できないシステムになっていた。
【００１０】
本発明は上記の如き問題点を解決して、自由な解像度またはフレームレートで画像を生成する画像生成装置及びその方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【００１２】
本発明の画像生成装置は、所定の時間間隔で被写体を撮像して撮像データを生成する撮像手段と、前記撮像データを前記時間間隔に基づく画像レートからなる動画像データとして符号化する符号化手段と、符号化された前記動画像データを出力する出力手段と、前記撮像手段によって撮像される前記撮像データの画素数と前記画像レートとに応じて、前記出力手段を制御する制御手段とを具備することを特徴とする。
【００１３】
また、本発明の画像生成方法は、所定の時間間隔で被写体を撮像して撮像データを生成する撮像工程と、前記撮像データを前記時間間隔に基づく画像レートからなる動画像データとして符号化する符号化工程と、符号化された前記動画像データを出力する出力工程と、前記撮像工程によって撮像される前記撮像データの画素数と前記画像レートとに応じて、前記出力工程を制御する制御工程とを有することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１５】
本発明の画像生成装置の一例として、図１にデジタルビデオカメラ１００の全体システムのブロック図を示す。
【００１６】
図１において、１は光情報を電気信号に変換する撮像素子、２は撮像素子１から画像信号を読み出す読出し処理部、３は読み出された画像信号をゲイン補正した上でデジタルデータに変換するＡＧＣ・Ａ／Ｄ部、４は読み出されたデジタルデータに対してγ補正等の補正処理を行い輝度色差形態（Ｙ，Ｃｒ，Ｃｂ）の画像データに変換する補正変換部、５は補正変換部４で処理された画像データに演算を施して画像効果を付加する効果混合部、６は３〜５の各部における処理データを一時保存する為のＲＡＭ等で構成されたワークメモリ、１０は１〜６の各部および後述するＲＯＭ７の各ブロックから構成されるカメラ部を表す。なお、７はカメラ部１０における画像の処理能力（撮像能力）に関する情報を記憶しているＲＯＭである。
【００１７】
また、３０は入力した画像データに対して圧縮・符号化処理を施す符号化処理部、３１は符号化処理部３０が処理の過程でデータの一時保存のため用いるＲＡＭ等で構成されたワークメモリである。なお、符号化処理部３０は画像の圧縮フォーマットであるＪＰＥＧ２０００方式（Ｍｏｔｉｏｎ−ＪＰＥＧ２０００を含む）を用いて画像の圧縮・符号化を行うものとする。また、４０は符号化処理部３０、ワークメモリ３１及び後述するＲＯＭ３２の各ブロックから構成される符号化部を表す。なお、３２は符号化処理部３０における画像の符号化能力に関する情報を記憶しているＲＯＭである。
【００１８】
さらに、５０は符号化処理部３０で圧縮・符号化処理された圧縮画像データを出力する出力部、５１は出力部５０から出力された圧縮画像データを記録する記録部、５２は出力部５０から出力された圧縮画像データと、その他の必要な制御情報などを外部に入出力するための外部入出力端子である。外部入出力端子５２には外部の記録装置、モニタ、ＰＣ（パーソナルコンピュータ）、サーバー等が接続される。５３は記録部５１の状態或いは外部入出力端子に接続された外部の記録装置等の状態を検出する状態検出部である。
【００１９】
６０はデジタルビデオカメラ１００の各部を制御するマイクロコンピュータ等から成る制御部であり、６１は各種指示入力を行うための操作部である。制御部６０は操作部６１から入力されたユーザ命令や、各ＲＯＭからの情報、或いは状態検出部５３からの情報等に従って、各部の動作を適切に制御する。
【００２０】
引き続き、図１のデジタルビデオカメラ１００の動作について詳細に説明する。まず、生成される画像データの処理の流れを、図１を用いて説明する。
【００２１】
はじめに、被写体の画像をレンズ（不図示）を介して撮像素子１に集光し、電気信号に変換する。このときすべての撮像素子（センサー）からの入力が画素毎に電気信号へと変換される。次にこの電気信号に対して、制御部６０からの画素数（Ｐ）と読出し時間（Ｔ）を指定する制御信号に従って読出し処理部２で読み出し、画像信号として生成する。
【００２２】
次に、画像信号にＡＧＣ・Ａ／Ｄ部３でゲイン調整、デジタルデータ変換を行う。変換されたデジタルデータは一旦ワークメモリ６に記憶される。
【００２３】
所定のデータ量（例えば１フレーム画像分のデータ量）がワークメモリ６に蓄積されたならば、補正変換部４でワークメモリ６に蓄積したデジタルデータの補正・変換処理を開始する。補正変換部４は、ワークメモリ６からデジタルデータを逐次読み出して光電圧変換の補正（γ補正）を施し、さらに輝度色差（ＹＣｂＣｒ）形態への画像データ変換を行い、読出し処理部２の読み出し時間に基づくタイミングで出力する。デジタルデータは補正変換部４で変換された後、随時ワークメモリ６に一時記憶される。
【００２４】
効果混合部５は、補正変換部４からの出力タイミングに基づいて動作を開始する。効果混合部５は、ワークメモリ６から取り込んだ画像データ（ＹＣｂＣｒデータ）に対して、デジタル的な演算を施して画像データの見栄えをより良くする部位である。効果混合部５は、補正変換部４での処理が完了したらワークメモリ６よりＹＣｂＣｒデータを読出して、ＹＣｒＣｂの割合を変えて画像全体をセピア色にするデジタルエフェクト処理を行ったり、前画像と合成してシーンチェンジ部にワイプ効果を出すような演算処理を行ったりした後、画像データを符号化部４０へ送出する。なお、効果混合部５の処理はユーザの選択や設定に従って、任意に実行するものであってよい。効果混合部５の処理が実行されない場合は、補正変換部４で処理済の画像データをワークメモリ６から読み出して、効果混合部５での処理を素通りして、符号化部４０へ送出する。
【００２５】
符号化部４０内の符号化処理部３０は、制御部６０から送られる解像度とフレーム処理時間を指定する制御情報に従って、受信した画像データを圧縮・符号化する。処理過程で発生する中間コードは、ワークメモリ３１で一時記憶されるが、最終的な圧縮・符号化された画像データは出力部５０に送られ、記録部５１で記録されるか、または外部入出力端子５２から外部装置へと送出される。
【００２６】
また、状態検出部５３は記録部５１の記録状態或いは外部入出力端子５２に接続された外部装置の受信／記録状態を検出し、監視するブロックである。検出した状態信号は随時制御部６０へ送られ、各部の制御に用いられる。
【００２７】
次に、本発明の特徴的な動作について、以下に説明する。
【００２８】
まず、本実施の形態のデジタルビデオカメラ１００では、操作部６１を用いて、撮影モードとして“解像度優先モード”あるいは“高速取込優先モード”が設定できる。ユーザが解像度優先モードまたは高速取込優先モードを指示すると、操作部６１から制御部６０へ指示情報が伝達される。
【００２９】
そうすると、制御部６０は、カメラ部１０に関する能力情報を記憶するＲＯＭ７からカメラ部１０の性能を読みとる。ここでいうカメラ部１０の性能とは、読出し可能な最大画素数（Ｐｍａｘ）とそのときの読出し時間（Ｔｍａｘ）、及び高速読出し時の読出し時間（Ｔｍｉｎ）とそのとき読み出せる画素数（Ｐｍｉｎ）の情報によって表される。
【００３０】
ここで、撮像素子１としてＣＭＯＳセンサーを用いた場合の画像データの読出し方法について、図２、図３を用いて説明する。
【００３１】
図２は撮像素子における画素の配列をイメージした図、図３は、図１のカメラ部１０の構成の一部を詳細に示したカメラ部１０´のブロック図である。まず、図３のブロック図を用いて画像データの読み出しかたを説明する。
【００３２】
カメラ部１０´の構成は、撮像素子としてのＣＭＯＳセンサー１´、読出し処理部２の詳細な構成として読出し部１１、加算部１２、アドレス発生部１５、ＡＧＣ・Ａ／Ｄ部３の詳細な構成としてＡＧＣ部１３、Ａ／Ｄ部１４、制御部６０の詳細な構成として、画素指定部１６、読出しレート指定部１７、及びその他の制御系からなる制御部６０´、さらに補正変換部４を有している。
【００３３】
図３のカメラ部１０´の動作について説明する。
【００３４】
制御部６０´の制御によって画素指定部１６で画素数の指定が行われるときは、アドレス発生部１５に対して、読み出す画素を指定するための情報を送る。
【００３５】
ここで、仮に読み出し可能な最大画素数で読み出す指定があった場合、アドレス発生部１５は読出し部１１に対して、ＣＭＯＳセンサー１´のすべての画素から順次電気信号を読み出すようなアドレスを発生させる。このときは、図２において、Ｐｉ，ｊ、Ｐｉ，ｊ＋１、・・・、Ｐｉ＋１，ｊ、Ｐｉ＋１，ｊ＋１、・・・のように全画素の信号を順次読み出す形になる。これは、画素をすべて読み出すので、一画面の読み出しに最大時間Ｔｍａｘを要することになる。
【００３６】
また、仮に最大時の１／４の画素数で読み出す指定があった場合、アドレス発生部１５は読出し部１１に対して、ＣＭＯＳセンサー１´の画素を４画素単位で読み出すようなアドレスを発生させる。このときは、図２において、隣接する４画素から１画素を読み出すように、Ｐｉ，ｊ、Ｐｉ，ｊ＋１、Ｐｉ＋１，ｊ、Ｐｉ＋１，ｊ＋１に対して定められたルールに従って一つの信号を読み出す（例えばＰｉ，ｊ、Ｐｉ，ｊ＋１、Ｐｉ＋１，ｊ、Ｐｉ＋１，ｊ＋１のうち、Ｐｉ，ｊのみ読み出す）こととなる。すなわち、一画面分の全画素を４画素単位で読み出されるので、読み出し時間はＴｍａｘ／４程度の時間で読み出すことが可能になる。
【００３７】
このように、読出し部１１は指定された画素数に基づいて電気信号の読出しを行い、読み出された電気信号は加算部１２で加算され、ＡＧＣ部１３でゲイン調整され、Ａ／Ｄ変換部１４でデジタルデータに変換される。ここで、加算部１２にて電気信号に加算処理が行われているので、ハーフバンドのローパスフィルターをかけたことと等価になり、間引きサンプリングによる折り返し歪みの影響を除去している。
【００３８】
ここで、先に述べたように、読出す画素数（Ｐ）が少なければ一画面の読出し時間（Ｔ）が短くなるので、制御部６０の制御によって、読出しレート指定部１７によるレート指定値も変更される。つまり、読出しレート指定部１７は現在の一画面の読出し時間と等しいタイミング信号を発生させるのである。この信号を受けて、Ａ／Ｄ変換部１４は処理を行い、かつ後段の補正変換部４へ処理の開始タイミングを通知する。
【００３９】
このように、画素数（Ｐ）と読出し時間（レート）（Ｔ）は、おおよそ、
Ｐ×Ｔ＝Ｃｏｎｓｔ・・・・・・（１）
の関係にあるので、ユーザの設定により、ＰあるいはＴが決まれば、撮像素子の最大能力から、対となるＴあるいはＰが決定される。
【００４０】
例えば、１５０万画素撮像素子の場合の画素数（Ｐ）とレート（Ｔ）を、図９を用いて説明すると、通常の動画（ＶＧＡサイズ）では、３０フレーム毎秒のレートであるが、上記のように４画素まとめ読みをすると、画素数が１／４になるので、１２０フレーム毎秒の速度で、読み出すことが可能となる。逆に、ＶＧＡの２倍の画素数となる撮像素子であったならば、最大画素１３０万画素（ＳＸＶＧＡ）の画像を７．５フレーム毎秒の速度で読み出すことが可能となる。
【００４１】
このように、ＣＭＯＳセンサーには、最大読出し画素（Ｐｍａｘ）と最大読出し時間（Ｔｍａｘ）が性能として存在し、ユーザがどちらを選ぶか、あるいはその中間を選択するかは、任意なシステムになっている。
【００４２】
次に撮像素子１がＣＣＤの場合についての読出し方法について図４（ａ）、（ｂ）及び図５（ａ）、（ｂ）を用いて説明する。
【００４３】
図４（ａ）において、通常の画像全体の読出し動作について説明する。
【００４４】
ＣＣＤ撮像素子に蓄積された電荷は、タイミングジェネレータ（ＴＧ）２２が発生するタイミングで、撮像素子面であるＣＣＤ受光部２０を垂直に転送される。垂直に転送された電荷は、ライン単位で、水平転送部２１によってＡＧＣ・Ａ／Ｄ部３に転送される。このように、ＣＣＤの場合、全画素を垂直に転送した後、水平に転送するシステムをとっている。なお、この例ではＣＣＤ受光部２０全体が読出しエリアとなっている。
【００４５】
図５の（ａ）にタイミングジェネレータ２２が生成する垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）、画素読込み信号（ＰＤ）とそれの基準信号となるクロック（Ｃｌｋ）、３ＣｌｋでＡ／Ｄ読込み可能なＡ／Ｄ変換の動作信号、Ａ／Ｄ変換データを読込むタイミング（ＲＤ）とを、時系列的に示した。
【００４６】
図４（ａ）に示すように、受光部２０の画素（ｍ×ｎ）データは、図５（ａ）のＶＤとＨＤに同期したＰＤのタイミングでＡ／Ｄ変換されるＤａｔａをＲＤのタイミングで読み込んでいる。なお、図７（ａ）には、全画面１０２のデータがＶＤのタイミングで読み込まれているイメージを示している。
【００４７】
次に、ＣＣＤ撮像素子における異なる解像度（画素数）のデータ読出しについて図４（ｂ）を用いて説明する。図４（ｂ）において、ＣＣＤ受光部２０のうち、画素指定部１６で指定された画素数からなるエリアを読出しエリア（ｍ´×ｎ´）２３としたとき、この読出しエリア２３のデータをどの様に読み出すかを以下に説明する。なお、時系列的な処理のタイミングは、図５（ｂ）に示している。
【００４８】
図４（ｂ）において、まず、垂直転送については、読出しエリア２３より下の部分（垂直画素方向にして、ｋライン分）をＣｌｋに同期して高速で飛び越す（図５（ｂ）のＰＤの１，２，…，ｋ）。そして、読出しエリア２３を含むラインデータ（ｋ＋１）を水平転送部２１でＡＧＣ・Ａ／Ｄ部３へ転送するときは、始めのｊ画素分は高速で飛び越し（図５（ｂ）のＣｌｋの１，２，…，ｊ）、読出しエリア２３内のＪ＋１〜Ｊ＋ｎ´画素はＣｌｋに同期して、Ａ／Ｄ変換処理を行う（図５（ｂ）のＰＤの１，２，…，ｎ´）。残りのｉ画素分は、ｊ画素と同様に高速に飛び越す（図５（ｂ）のＣｌｋの１，…，ｉ）。この動作を、ｍ´ライン分繰り返し（図５（ｂ）のＰＤのｎ´＋１，ｎ´＋２，…，ｍ´ｎ´とＣｌｋの１，…，ｉ）、残ったｈライン分の垂直転送は、ｋラインのときと同様に高速で飛び越す（図５（ｂ）のＰＤの１，２，…，ｈ）。なお、図７（ｂ）には、前述の処理により、全画面１０２のデータのうち読み出した一部の画素エリア１０１が、全画素取込タイミングより短いＶＤのタイミングで読み込まれているイメージを示している。
【００４９】
以上、ＣＣＤ撮像素子の場合、間引き読出しではなく部分読出しを行うので、サンプリングによる折り返し歪はない。一方、高速に飛び越し処理する部分は、多少のオーバーヘッドの処理時間が必要となる。しかしながら、ＣＣＤ撮像素子でも、有効な読出しエリア２３以外の画素データを高速転送することで、読出し画素数（Ｐ＝ｎ×ｍ）が少なければ、一画面の読出し時間（Ｔ）は速くなるので、ＣＭＯＳ撮像素子と同様に、（１）式は成立する。
【００５０】
また、ＣＣＤ撮像素子による部分読出しは、ＣＭＯＳの４倍ずつの解像度切替えと違って、切り出す画素（ｎ×ｍ）は比較的自由に設定できるのも特徴である。従って、図９に示したような画素数を比較的任意に選択することが可能なカメラシステムが構築できる。
【００５１】
以上のことから、撮像素子がＣＭＯＳであれ、ＣＣＤであれ、画素数とレートを相補する関係で、ユーザは撮影モードを選択することができる。また、撮像素子の最大能力で画像読出しを実現している。
【００５２】
次に、以上のようにして撮像素子から読み出された画像データを図１における符号化部４０で圧縮・符号化する構成について、図６を用いて具体的に説明する。
【００５３】
図６において、符号化部４０の詳細な構成として、ワークメモリ３１、ディスクリート・ウェーブレット変換回路（ＤＷＴ）３３、量子化回路（Ｑ）３４、エントロピー符号化回路（ＥＢＣＯＴ）３５、コードストリーム生成回路（Ｓｔｒｍ Ｇｅｎ）３６、パケット制御回路（Ｐｃｋｔ Ｃｎｔｌ）３７を示す。なお、上記３３〜３７は先述した符号化処理部３０を構成する処理ブロックである。
【００５４】
まずは、既に説明した、ユーザが設定した解像度優先モードか高速取込優先モードかに応じて、制御部６０が決定した画素数（Ｐ）と読み出し時間（Ｔ）に基づいて動作するように、符号化部４０におけるフレーム処理時間と処理画素数を設定する。
【００５５】
本実施の形態では、カメラ部１０の性能つまり、最大取込画素数（Ｐｍａｘ）と最短フレーム読出し時間（Ｔｍｉｎ）を処理できる符号化部４０を想定している。つまり、符号化部４０はカメラ部１０の性能により一意的に（１）式で設定される画素数（Ｐ）とフレーム読出し時間（Ｔ）のフレーム画像を、リアルタイムに処理できるワークメモリ３１の大きさと各ブロックにおける演算処理能力とを備えた構成である。
【００５６】
ＤＷＴ３３では、入力した画像データを、設定された画素数と処理時間でサブバンド符号化する。ここで用いるＪＰＥＧ２０００方式のＤＷＴによれば、水平方向、垂直方向の２次元にＬとＨ成分にサブバンド符号化され、ＬＬ，ＬＨ，ＨＬ，ＨＨのサブバンド係数に変換される。次にこの成分のうちＬＬ成分について、再度二次元ＤＷＴを施し、２ＬＬ，２ＬＨ，２ＨＬ，２ＨＨを得る。さらに２ＬＬ成分について再度二次元ＤＷＴを施すような再帰処理を所定回数続けると、重要なデータはＬＬ成分に集中し、ＨＨ成分にはノイズ成分が集中する。この特性を生かして、量子化回路（Ｑ）３４で適応的に量子化すると、画像データを圧縮することができる。
【００５７】
図８に、２次元ＤＷＴを３回続けた場合のサブバンド係数と、画像イメージの関係を概念的に示す。このように、ＪＰＥＧ２０００のＤＷＴでは、画像データを再帰符号化するため、解像度に関して符号化されたデータが解像度のスケーラビリティ−の構成で符号化される。具体的には、
全画像＞１ＬＬ＞２ＬＬ＞．…＞ｎＬＬ
ただし、
（ｎ−１）ＬＬ＝ｎＬＬ＋ｎＨＬ＋ｎＬＨ＋ｎＨＨ
のように、４倍ずつの画素数（解像度）の小さな符号化データを生成する。
【００５８】
次に、このＤＷＴの中間コードに対して、エントロピー符号化回路（ＥＢＣＯＴ）３５で、さらに中間コード画像データを圧縮する。エントロピー符号化については、ここでは、詳しく述べないが、基本的には量子化したデータを近隣画素ブロック（コードブロック）単位で、ビットプレーンに分解し、各ビットプレーンの２値データを、コンテキストモデルをもとに算術符号化する。この各ビットプレーンで符号化されたデータは、符号化順序の最適化を行うことにより、符号伝送の途中段階の再生画質向上機能をもたらすことができる。つまり、各コードブロックの符号化データを伝送途中の再生画質と相関をもつレイヤー層に区分するのである。
【００５９】
このようにして符号化されたデータは、コードブロックのレイヤー層にまで細かく区分されるが、これら符号化データを所定の指標をもとにパケットにまとめることで、コードストリームを生成することになる。その指標とは、同じような場所における同じような画質の符号化データをパケットにまとめることである。このようなコードストリームのパケット生成をコードストリーム生成回路（Ｓｔｒｍ Ｇｅｎ）３６で行う。
【００６０】
さらに、ＪＰＥＧ２０００方式をもちいれば、このコードストリームのパケットの並べ方によって、いくつかの特有な機能を実現できる。例えば、レイヤーの高い順（ＳＮの良い順）にパケットを優先的に並べると、逐次復号されるコードストリームは、ざらざら画像（ＳＮが悪い画像）から徐々に滑らかな画像（ＳＮが良い画像）になって復号される。また、パケットを、先に説明したＤＷＴのサブバンドの階層順に優先的に並べると、逐次復号されるコードストリームは、ぼやけた画像（解像度が悪い画像）から徐々にはっきりした画像（解像度がよい画像）になって復号される。このようなスケーラビリティ機能を、それぞれＳＮスケーラビリティ、解像度スケーラビリティと称す。
【００６１】
本実施の形態においては、制御部６０による画素数とレートの設定に応じて、上記スケーラビリティをコードストリーム生成回路３６で切り替える。具体的には、動画のフレームレートが毎秒３０フレーム以下の高解像度（高画素）画像の場合は、ＳＮスケーラビリティにコードストリームのパケットを並べ、毎秒３０フレームを超える高速画像の場合は、解像度スケーラビリティにパケットを並べて、パケット制御回路（Ｐｃｋｔ Ｃｎｔｌ）３７へ出力する。
【００６２】
パケット制御回路（Ｐｃｋｔ Ｃｎｔｌ）３７は、上記のとおり生成されたコードストリームを後段の出力部５０へ出力する前に、そのコードストリームの形態を制御する回路である。パケット制御回路３７は、通常は生成されたコードストリームをそのままの形態で出力すれば良いのだが、制御部６０から記録状態に応じた制御情報が出されたときはそれに従う。その構成を以下に説明する。
【００６３】
本実施の形態のデジタルビデオカメラ１００は、図１に記した構成のとおり、記録部５１または外部入出力端子５２に接続された外部装置の、記録状態または受信状態を検出・監視するための状態検出部５３と、そこで検出された状態情報に応じて各部の動作を制御する制御部６０とを備えている。例えば、記録部５１がＢｕｓｙの場合は、上記符号化部４０で生成されたコードストリームを出力部５０から出力しても、記録できない。そこで、記録状態検出部５３は、記録部５１のＢｕｓｙ状態を検出したら制御部６０にその旨を情報として伝える。制御部６０はこのような状態情報を受信すると、パケット制御回路３７（Ｐｃｋｔ Ｃｎｔｌ）で、フレーム単位でコードストリームのパケット伝送を打ち切り、所定のフレーム画像終了手順を踏むよう制御する。つまり、記録部５１がＢｕｓｙの場合は、各フレームの符号化データを全部出力しないで、先頭から所定数のパケットのみ出力し、所定数以上のパケットの転送は中止するよう制御する。
【００６４】
同様に記録部５１に限らず、外部入出力端子５２に接続された外部の記録装置や、表示装置に対しても同様の制御が実現できる。記録状態検出部５３が外部入出力端子５２を介して、外部装置の受信や記録状態等のステータスをコマンド通信によって入手することによって、その状態情報を制御部６０に出力すれば、制御部６０は外部装置の状況に応じたパケット制御回路３７の出力制御が可能である。
【００６５】
本実施の形態では、パケット順序にＪＰＥＧ２０００のスケーラビリティ機能を設定しているので、各フレームの符号化データが途中で打ち切られても、それなりの画像の復号は可能となる。具体的には、高画質低レート動画はＳＮスケーラビリティなので途中で打ち切られても、最適な画質を復元することが可能となり、画像の画質劣化を最小限に抑えることができる。一方、低画素高レート動画は解像度スケーラビリティなので、途中で打ち切られても全体画像を一様に復元することは可能となり、予測し辛い被写体の高速な動きを捕らえることができる。
【００６６】
なお、本実施の形態では、上記パケット伝送の打ち切りを含めて、記録部５１にコードストリームを記録した後のファイル化処理に必要なヘッダー情報（ＭｏｔｉｏｎＪＰＥＧ２０００ファイルフォーマットのヘッダー情報等）を制御部６０は内部の記憶領域で記憶保持しておき、ストリーム記録終了後、記録部５１に対して前記ヘッダー情報を転送し、ファイルフォーマットを生成して記録を終了する。外部の記録装置へ出力するときも同様である。
【００６７】
なお、本実施の形態では、記録部５１に対するファイルフォーマット生成を、一連の動画記録が終了してから生成することを述べたが、ＭｏｔｉｏｎＪＰＥＧ２０００のｍｏｏｆＢｏｘ機能を利用して、所定時間毎にファイルヘッダーを書き込むことも可能である。
【００６８】
以上は、カメラ部１０の性能つまり、最大読出し画素数（Ｐｍａｘ）と最短フレーム読出し時間（Ｔｍｉｎ）を処理できる符号化部４０を想定した場合の処理であるが、次に、その他の場合の処理について説明する。
【００６９】
ここでは、カメラ部１０の性能に比べて、符号化部４０の性能が劣る場合の処理について述べる。具体的には、カメラ部１０の性能により一意的に（１）式で設定される画素数（Ｐ）とフレーム読出し時間（Ｔ）のフレーム画像をリアルタイムに処理できるワークメモリ３１の大きさや演算処理能力を有しない符号化部４０を想定した場合である。
【００７０】
図１を用いて、上述の場合の動作を説明する。
【００７１】
まず、ユーザが解像度優先モードか高速取込優先モードかを設定すると、制御部６０がこの情報を受け取り、制御部６０は、ＲＯＭ７からカメラ部１０の性能情報（Ｐｍａｘ，Ｔｍｉｎ）を読み出す。さらに、ＲＯＭ３２から符号化部４０の符号化性能情報（Ｐ´ｍａｘ，Ｔ´ｍｉｎ）を読み出す。符号化性能情報とは、符号化部４０内の各ブロックの処理速度やワークメモリ３１の容量等から表される。
【００７２】
ここで、ユーザから指定された撮影モードが解像度優先モードであれば、
Ｐ＝Ｍｉｎ（Ｐｍａｘ，Ｐ´ｍａｘ）・・・・・・（２）
のＰを選択する。つまり、符号化部４０とカメラ部１０の両方で処理可能な画素数で最も大きい値を選択することになる。そして、Ｔは（１）式から算出して、画素数とレートの設定をカメラ部１０および符号化部４０に設定する。以降の動作は、上述した各ブロックの動作と同じになる。
【００７３】
一方、ユーザが高速取込優先モードを選択した時は、処理レートとして
Ｔ＝Ｍａｘ（Ｔｍｉｎ，Ｔ´ｍｉｎ）・・・・・・（３）
のＴを選択する。つまり、符号化部４０とカメラ部１０の両方で処理可能なレートで最も短い値を選択することになる。そして、Ｐは（１）式から算出して、画素数とレートの設定をカメラ部１０および符号化部４０に設定する。以降の動作は、上述した各ブロックの動作と同じになる。
【００７４】
このように、本実施の形態では、カメラ部１０と符号化部４０の処理能力を別々にＲＯＭで記憶保持しているため、交換可能なその他のカメラ部があれば、同様の方法で性能比較し、システムとして最大の能力を発揮することが可能となる。
【００７５】
また、本実施の形態では、カメラ部１０が部分読出し等に対応しているので、ユーザにより撮影モードの選択が可能なシステムになっているが、部分読出しに対応しないその他の高画素カメラ部と前述の符号化部４０が合体する場合は、自動的に解像度優先モードでコードストリームが生成され、逆に、低画素だが高速読込み可能なカメラ部と前述の符号化部４０が合体した場合は、自動的に高速取込優先モードでコードストリームを生成すれば、ユーザが選択することなくシステムとして最適なモードでコードストリームを生成することができる。
【００７６】
ここで、上述した動作を図１０のフローチャートで説明する。すなわち図１０はデジタルビデオカメラ１００の動作フローである。
【００７７】
図１０において、まず始めにカメラ部１０が全画素からＰ画素だけ部分読出しができ、かつ１フレーム（Ｐ画素）の読出し時間（Ｔ）も切り替えられるかどうを、制御部６０が判断する（ステップ１０００）。
【００７８】
ステップ１０００において“可変”の場合、すなわち読出し画素数（Ｐ）やフレームレート（Ｔ）が切り替えられる場合は、ＲＯＭ７からカメラ性能情報（Ｐｍａｘ，Ｔｍｉｎ）を読み出すとともに、ＲＯＭ３２から符号化性能情報（Ｐ´ｍａｘ，Ｔ´ｍｉｎ）を読み出す（ステップ１０１０）。
【００７９】
次に、操作部６１を用いてユーザによって指定された撮影モードが、多画素による解像度優先モードであるか高速取込優先モードであるかを、制御部６０が判断する（ステップ１０２０）。
【００８０】
ここで、“解像度優先モード”ならば、カメラ部１０と符号化部４０の両方で処理できる最大の画素数を（２）式から決定し、その画素数（Ｐ）に応じたレート（Ｔ）を（１）式をより算出する（ステップ１０３０）。
【００８１】
一方、“高速取込優先モード”ならば、カメラ部１０と符号化部４０の両方で処理できる最小の処理時間を（３）式から決定し、その処理時間（Ｔ）に応じた画素数（Ｐ）を（１）式より算出する（ステップ１０３２）。
【００８２】
次に、このように制御部６０で決定されたＰ、Ｔをカメラ部１０および符号化部４０に設定する（ステップ１０４０）。
【００８３】
以上は、Ｐ、Ｔが可変なカメラ部の場合の処理であるが、ステップ１０００で“固定”のとき、すなわちＰ、Ｔのどちらか一方が固定なカメラ部１０の場合は、制御部６０はカメラ部１０の性能を検出する（ステップ１００２）。つまり、カメラ部１０の取込画素数と処理時間を検出して、自動的にＰ、Ｔを決定する。
【００８４】
この場合、ユーザから撮影モードを指定する処理はなく、制御部６０が一意的に高解像度モードか高速取込モードかを自動的に判別するようなパラメータを設定することになる。具体的には、後述する符号化部４０の解像度・高速取込モードで切り替るポスト処理の判断基準となるＴを決定し、カメラ部１０が解像度優先と制御部６０が判断したなら、Ｔを１／３０以上に設定し、低画素だが高速に読取れるカメラ部１０と判断したなら、Ｔを１／３０より短く設定する。これが、後処理の切替えの自動化をもたらしている。
【００８５】
次に、カメラ部１０から自動設定されたＰ、Ｔに基づき、制御部６０は符号化部４０への設定を行い（ステップ１００４）、カメラ部１０の設定処理は終了する。
【００８６】
このように、カメラ性能の可変・固定により多少Ｐ、Ｔの設定処理は変わるが、上述の様に設定にされたカメラ部１０では、所定のＰ、Ｔでカメラ部によりフレーム画像の読出しをして、符号化部４０で画像圧縮処理を行う（ステップ１０５０）。
【００８７】
ここで、画像圧縮処理の最終工程であるパケットの並び替えについては、制御部６０の判断により以下の切替えが発生する。まず、フレーム処理時間Ｔを判定する（ステップ１０６０）。ステップ１０６０で、“Ｎｏ”のとき、すなわちＴが１／３０秒以上と判断したら、ＪＰＥＧ２０００のパケット並びをＳＮスケーラビリティになるようにコードストリームを生成する（ステップ１０７０）。一方、ステップ１０６０で“Ｙｅｓ”のとき、すなわちＴが１／３０より小さいと判断したら、ＪＰＥＧ２０００のパケット並びを解像度スケーラビリティになるようにコードストリームを生成する（ステップ１０７２）。
【００８８】
次に、このような工程で生成されたコードストリームを受信して記録する記録部５１或いは外部入出力端子５２に接続された外部装置の状態を、状態検出部５３からの状態検出情報に応じて、制御部６０が判断する（ステップ１０８０）。具体的には、“ｂｕｓｙ”状態か否かを判断するわけだが、その例としては記録動作が間に合っているか否かとか、伝送路が混雑しているか否かとか、種々の受信可否の状態が考えられるが、本発明の画像生成装置と記録部５１とを搭載したデジタルビデオカメラ（或いはデジタルスチルカメラ）を例にした場合、記録部５１が記録レートに間に合っているか否かを検出することが重要となる。
【００８９】
ここで、ステップ１０８０において“Ｎｏｒｍａｌ”のとき、すなわち記録部５１の受信・記録状態が通常であれば、そのままコードストリームを出力しつづけ（ステップ１０９０）、そのフレームが終了するまで（ステップ１１００）受信状態の監視を続け、ステップ１０８０から繰り返す。
【００９０】
一方、ステップ１０８０において、受信・記録状態が“Ｂｕｓｙ”の場合は、コードストリームの出力を次のフレームのコードストリームが出力されるまで、一旦停止する（ステップ１０９２）。そして、新しいフレームが開始されると、カメラ部１０の処理の終了が検出しない限り（ステップ１１１０）、再び、コードストリーム生成の切替え動作をステップ１０５０から繰り返す。
【００９１】
ステップ１１１０として、カメラ部１０の処理が終了と検出されれば、制御部６０はヘッダー情報等を転送して記録動作を完了し、ファイルフォーマットを生成する処理を行って（ステップ１１２０）、本フローは終了となる。
【００９２】
以上が図１０のフローチャートの説明である。
【００９３】
このように、解像度優先モードと高速取込モードで、カメラ部１０及び符号化部４０の処理を切り替えることにより、解像度優先モードはそれに対応するような高画質を可能な限り維持するようなコードストリームを生成することができ、高速取込モードはそれに対応するように瞬時の動きを全体的に可能な限り把握できるようなコードストリームを生成することができる。
【００９４】
なお、本実施の形態では、コードストリームの出力先として記録部５１をメインに説明してきたが、外部入出力端子５２を例にしても同様の構成で実現でき、また外部入出力端子５２に接続された機器がインターネットのようなネットワークの場合であっても、ＴＣＰ／ＩＰプロトコルによりネットワークの混雑状態を検出して、コードストリームの出力を制御したりして、同様の効果が得られる。
【００９５】
また、本実施の形態の画像生成装置を構成するカメラ部１０と符号化部４０が記録部５１とデジタルビデオカメラやデジタルスチルカメラの如く一体型装置で構成されていても、また、カメラ部１０と符号化部４０及び記録部５１がすべて、または一部が別装置によって構成されても本発明は同様に実現できる。
【００９６】
なお、記録部５１は、Ｂｌｕ−ｒａｙやＤＶＤなどのディスク状記録媒体、ＳＤカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク、磁気テープ等の記録媒体とその記録装置を含む。また再生機能を有していても構わない。
【００９７】
また、本発明の目的は、前述した本発明の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００９８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９９】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティング・システム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
【発明の効果】
以上説明したように本発明によれば、画像フレーム処理の間隔と画像フレームの画素数に応じてストリーム出力を切り替えることで、高解像度あるいは、高速取り込みといった画像の特性を生かした動画ストリームを生成することができる。
【図面の簡単な説明】
【図１】本発明の画像生成装置の一形態であるデジタルビデオカメラ１００のブロック図である。
【図２】ＣＭＯＳ撮像素子の読出しに関する説明図である。
【図３】本発明を適用したカメラ部１０´を説明する為のブロック図である。
【図４】（ａ）、（ｂ）は、ＣＣＤ撮像素子の読出しに関する説明図である。
【図５】（ａ）、（ｂ）は、ＣＣＤ撮像素子の読出しのタイミングチャートである。
【図６】本発明を適用した符号化部４０を説明する為のブロック図である。
【図７】（ａ）、（ｂ）は、画素数とフレーム処理時間の関係を説明する為の図である。
【図８】ＪＰＥＧ２０００のサブバンドの説明図である。
【図９】画素数とフレーム処理時間の関係を表す図である。
【図１０】ビデオカメラ１００の動作を説明するフローチャートである。
【符号の説明】
１ 撮像素子
２ 読出し部
３ ＡＧＣ・Ａ/Ｄ部
４ 補正・変換部
５ 効果混合部
６ ワークメモリ
７ ＲＯＭ
１０ カメラ部
３０ 符号化処理部
３１ ワークメモリ
３２ ＲＯＭ
４０ 符号化部
５０ 出力部
５１ 記録部
５２ 外部入出力端子
５３ 状態検出部
６０ マイコン制御部
６１ 操作部
１００ デジタルビデオカメラ

Claims (15)

1. 所定の時間間隔で被写体を撮像して撮像データを生成する撮像手段と、
   前記撮像データを前記時間間隔に基づく画像レートからなる動画像データとして符号化する符号化手段と、
   符号化された前記動画像データを出力する出力手段と、
   前記撮像手段によって撮像される前記撮像データの画素数と前記画像レートとに応じて、前記出力手段を制御する制御手段とを具備することを特徴とする画像生成装置。
2. 請求項１において、さらに前記出力手段から出力される前記動画像データを受信する受信装置の状態を検出する検出手段を具備し、前記制御手段は前記検出手段で検出された前記受信装置の状態に基づく状態情報に応じて前記出力手段を制御することを特徴とする画像生成装置。
3. 請求項２において、前記制御手段は前記出力手段における前記動画像データの出力を開始または停止するよう制御することを特徴とする画像生成装置。
4. 請求項２において、前記制御手段は前記出力手段における前記動画像データの出力を動画像の一画面毎に制御することを特徴とする画像生成装置。
5. 請求項２において、前記検出手段は前記受信装置の受信状態を検出することを特徴とする画像生成装置。
6. 請求項２において、前記受信装置は記録装置であって、前記検出手段は前記記録装置の記録状態を検出することを特徴とする画像生成装置。
7. 請求項１において、前記撮像手段は撮像する画素範囲を選択して読み出す読出し手段を具備し、前記読出し手段によって選択されている画素範囲内の画素数に応じて、前記時間間隔と前記符号化手段における前記画像レートを設定することを特徴とする画像生成装置。
8. 請求項１において、前記制御手段は前記撮像手段によって撮像される前記撮像データの画素数と前記画像レートとに応じて、前記出力手段における前記動画像データの出力形態を切り替えることを特徴とする画像生成装置。
9. 請求項８において、前記符号化手段はサブバンド符号化方式を用いて符号化する構成であって、前記出力手段は前記動画像データの出力形態として少なくとも１種類のスケーラビリティを選択可能であることを特徴とする画像生成装置。
10. 請求項９において、前記出力手段は前記動画像データの出力形態として解像度スケーラビリティまたはＳＮスケーラビリティを選択可能であることを特徴とする画像生成装置。
11. 請求項１において、さらに前記撮像手段の撮像能力に関わる情報を記憶する第１の記憶手段と、前記符号化手段の符号化能力に関わる情報を記憶する第２の記憶手段と、前記第１及び第２の記憶手段に記憶された各情報のうち少なくとも一方を用いて前記撮像手段と前記符号化手段の設定を行う設定手段とを具備することを特徴とする画像生成装置。
12. 所定の時間間隔で被写体を撮像して撮像データを生成する撮像工程と、
    前記撮像データを前記時間間隔に基づく画像レートからなる動画像データとして符号化する符号化工程と、
    符号化された前記動画像データを出力する出力工程と、
    前記撮像工程によって撮像される前記撮像データの画素数と前記画像レートとに応じて、前記出力工程を制御する制御工程とを有することを特徴とする画像生成方法。
13. 請求項１２において、さらに前記出力工程にて出力される前記動画像データを受信する受信装置の状態を検出する検出工程を有し、前記制御工程は前記検出工程で検出された前記受信装置の状態に基づく状態情報に応じて前記出力工程を制御することを特徴とする画像生成方法。
14. 請求項１２において、さらに前記撮像工程において撮像する画素範囲を選択して読み出す読出し工程を有し、前記読出し工程によって選択されている画素範囲内の画素数に応じて、前記時間間隔と前記符号化工程における前記画像レートを設定することを特徴とする画像生成方法。
15. 請求項１２において、前記制御工程は前記撮像工程によって撮像される前記撮像データの画素数と前記画像レートとに応じて、前記出力工程における前記動画像データの出力形態を切り替えることを特徴とする画像生成方法。

Images