JP4280613B2

JP4280613B2 - 動画像再生装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体

Info

Publication number: JP4280613B2
Application number: JP2003409359A
Authority: JP
Inventors: 裕樹岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-12-08
Filing date: 2003-12-08
Publication date: 2009-06-17
Anticipated expiration: 2023-12-08
Also published as: JP2005175623A

Description

本発明はデジタル動画像データの再生技術に関するものである。

MotionJPEGやMPEGといった動画像を符号化する方式が確立されている。また、メーカーはこれらの符号化方式を利用して、デジタルカメラやデジタルビデオカメラ等の撮像装置、並びに動画ビューアー，DVDレコーダーを開発し、実用化されており、パーソナルコンピュータ（以下、ＰＣ）やＤＶＤプレヤーでは簡単に再生することが可能となってきている。

また、近年規格化された符号化方式にＪＰＥＧ２０００方式がある。そしてその仕様の一つに、高解像度な動画を扱えるＭｏｔｉｏｎ−ＪＰＥＧ２０００方式があり、次世代の動画像圧縮符号化方式として注目されている（非特許文献１）。

一方、ユーザーが動画像を扱う機会が増すにつれて、ユーザの要求はますます増加してきている。これに応えるため、メーカーで様々な付加価値を有する製品を提供するようになった。

例えば、デジタルカメラやデジタルビデオカメラのベンダーは、ユーザーが撮像した映像をその場で確認してもらうために、液晶のディスプレイを付けている。ここで映し出される映像は通常再生画像だけでなく、特殊再生画像，拡大縮小画像等々がある。そのため、ユーザーは撮像した映像を様々な方法で鑑賞することができ、デジカメ，カムコーダー上でも十分取得した映像を楽しめる。
ISO/IEC-15444-1：JPEG2000規格書 part-３

動画像を再生する場合、その高速再生する場合がある。例えば２倍速再生について考察すると、それには二種類の処理が考えられる。

１つは、通常再生速度が３０ｆｐｓ（フレーム／秒）である場合、２倍速では６０ｆｐｓで再生する処理である。もう一つは、２フレーム中１フレームのみを再生する処理することである。

前者の場合、復号処理に係る負担は通常速度の実質的に２倍になり、ハードウェアで実現する場合にはクロックを高速化する、或いは回路規模を大きなものとするため消費電力が増え、ソフトウェアではその速度に追従できる十分なＣＰＵが必要になる。後者の場合、フレームが間引きされることになり、動画像とした場合、ぎこちない再生となってしまう。

本発明はかかる問題点に鑑みなされたものであり、通常再生速度で再生する能力があれば、その能力の範囲内で、且つ、スムースな動画像再生する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の動画像再生装置は以下の構成を備える。すなわち、
圧縮符号化された動画像データを再生する動画像再生装置であって、
前記圧縮符号化された動画像データに含まれるフレームの全域或いは一部の領域の符号化データを復号する復号手段と、
前記復号して得られた画像を表示出力する表示出力手段と、
動画像の再生速度を設定する再生速度設定手段と、
該再生速度設定手段で設定された再生速度に応じて再生すべきフレーム中の領域を決定し、決定した領域を復号対象として前記復号手段に設定する設定手段と、
前記再生速度設定手段で設定された再生速度が通常再生速度を越える高速再生速度の場合に、前記領域の位置を前記復号手段に設定する領域位置設定手段とを備え、
前記領域位置設定手段は、ユーザが操作可能な指示部による指示に応じて前記領域を移動させる領域移動手段を含むことを特徴とする。

本発明によれば、再生速度に応じてフレーム中の復号する領域が設定されるので、復号処理に要する負荷が再生速度に応じて増減せず、無理のない負荷の範囲で、且つ、スムースな動画像を再生することが可能となる。

以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の動画像再生装置が使用される再生システムの一例を示す概略図であり、１はパーソナルコンピュータなどの汎用の情報処理装置（以下「ＰＣ」という）、２はＤＶＤ−ＲＯＭ等の記憶媒体からデータを読み出すドライブである。本第１の実施形態では、ＰＣ１が備え付けられたＨＤＤやＤＶＤ−ＲＯＭなどのメディアに記録されている動画像符号化データを読み出して復号し、ディスプレイに再生画像を表示する。なお、本第１の実施形態におけるＰＣ１は、所定サイズの画像の符号化データの全データを最大３０ｆｐｓ（フレーム／秒）で復号する処理能力を有する場合について説明する。また、ディスプレイの表示周波数（垂直同期信号周波数）は６０Ｈｚ以上であるものとするが、これは一般的なものでもある。更に、本第１の実施形態の再生システムは、通常再生を３０ｆｐｓにより行うものとする。

上記再生システムにおいて２倍速再生を行う場合、ＰＣ１の処理能力が問題となり、６０ｆｐｓで各フレーム符号化データの全データを復号して２倍速再生を実現することはできない。また、１フレームおきにスキップしながら復号対象のフレーム符号化データを選択し、３０ｆｐｓで選択した（つまり１フレームおきに）フレームを復号することにより２倍速再生を行うことは、ＰＣ１の処理能力上可能であるものの、この再生方法では、再生される動画像がスキップによってぎこちないという問題点がある。

そこで、本実施形態では、ＰＣ１が滑らかな再生画像を表示するために、２倍速再生では各画像の１／２の面積に相当するデータを復号して実質的に６０ｆｐｓとなるように表示する。

また、表示領域を小さくすることで、ユーザーの興味の対象（ROI）が表示領域から外れることも考えられる。そのような場合を考慮し、本実施の形態では、ユーザーが表示領域を自由に移動させられる。以下にその方法について説明する。

まず、本実施形態を実施可能とする動画像符号化データを生成する動画像符号化装置について説明し、その後で、本実施形態が適用する動画像再生装置について説明することとする。また、以下の説明において、音声データの再生方法は本発明の本質から外れるので、本明細書では音声の符号化方法と再生方法の詳細には触れない。

＜動画像符号化装置＞
図２は本実施形態における動画像符号化装置２００の構成を示すブロック図であり、図２のフレームデータ符号化部２０２の構成を図３に示す。また、動画像符号化装置２００の処理のフローチャートを図４に示す。以下、各構成をその動作処理内容とも説明する。

まず、画像データと音声データが、画像データ取得部２０１と音声データ取得部２０３から入力される（ステップＳ４０１）。この画像データ取得部２０１と音声データ取得部２０３には、例えばデジタルビデオカメラ、デジタルスチルカメラ、スキャナ等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。更に、画像データ取得部２０１と音声データ取得部２０３はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。図５は、画像データ取得部２０１及び音声データ取得部２０３から得られる画像データ及び音声データの概念を、時間に対応して示した図である。

ステップＳ４０２において、画像データ取得部２０１から取得した画像データは、フレームデータ毎（図５（ａ）のフレーム毎のデータ）に、フレームデータ符号化部２０２に入力される。フレームデータ符号化部２０２に入力されたフレームデータは、圧縮処理されてフレーム符号化データとなる。また、生成された複数のフレーム符号化データは、順次、データ統合部２０５に入力される。

一方、音声データ取得部２０３から取得された音声データは、音声データ符号化部２０４に入力され、後述の処理により符号化が行われ、音声符号化データとなる（ステップＳ４０２）。

生成された音声符号化データは、データ統合部２０５に入力される。なお、以下の説明において音声データの符号化方法については触れないが、音声データの符号化方法として、例えば、MP3(MPEG Audio Layer III)やAAC(Advance Audio Coding)等が考えられるがこれに限るものではない。また、符号化を行わなくてもよい。

データ統合部２０５に音声符号化データとフレーム符号化データが入力されると、図５（ｂ）に示すように、フレーム符号化データと音声符号化データを所定の規則に基づいて並べる。図５（ｂ）に示す例では、４フレーム分のフレーム符号化データ毎に、これらのフレームに対応する音声符号化データを挿入している。さらに、図６に示すように、ヘッダ等の復号に必要となるデータが所定の個所に挿入されて、動画像符号化データが生成される（ステップＳ４０３）。

その後、生成された動画像符号化データは、動画像符号化データ出力部２０６から外部へ出力される（ステップＳ４０４）。この動画像符号化データ出力部２０６としては、例えば、公衆の電話回線、Ｂｌｕｅｔｏｏｔｈ等の無線回線、ＬＡＮ、ＵＳＢやＩＥＥＥ１３９４などの有線回線等のインターフェースを用いることができる。また、動画像符号化装置２００が例えばＰＣ１等の他の装置の内部に構成されている場合には、その装置の内部メモリに出力するインターフェースであっても良い。

次に、フレームデータ符号化部２０２におけるフレームデータの符号化処理について、図３に示すフレームデータ符号部２０２の構成および図７のフローチャートを参照して説明する。

以下の説明では、符号化対象となるフレームデータが８ビットのモノクロフレームデータであるものとして説明をする。しかしながら、フレームデータの形態はこれに限るものではなく、各画素４ビット、１０ビット、１２ビットと言った具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。

まず、画像データ取得部２０１からフレームデータ入力部３０１へ、符号化対象となる画像のフレームデータがラスタースキャン順に入力され、タイル分割部３０２に出力される。

タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像を図８に示すようなＮ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するために、本第１の実施形態ではラスタースキャン順にタイル番号0, 1, 2, ...,N-1を割り振る。以下、各タイルを表すデータをタイルデータと呼ぶ。なお、図８では画像を横（水平方向）を８つ、縦（垂直方向）を６つの計４８枚のタイルに分割した例を示しているが、分割タイル数は適宜変更可能であることは言うまでもない。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。離散ウェーブレット変換部３０３以降の処理においては、タイルデータ毎に符号化される。

ステップＳ５０２において、フレームデータ符号化部２０２が処理しているタイルを認識するためのカウンタをｉ＝０に設定する。

離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１フレーム画像のフレームデータ中の１つのタイルデータにおける複数の画素（参照画素）のデータ（以下、「参照画素データ」）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。

ここで、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。

Y(2n) = X(2n)+floor{ (Y(2n-1)+Y(2n+1)+2)/4 }
Y(2n+1) = X(2n+1)-floor{ (X(2n)+X(2n+2))/2 } …（１）
Y(2n),Y(2n+1)は離散ウェーブレット変換係数列であり、Y(2n)は低周波サブバンド、Y(2n+1)は高周波サブバンドである。また、上記変換式（１）においてfloor{X}はXを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図９である。

上記変換式（１）は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図１０（ａ）に示す様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様にして４つのサブバンドに分け（図１０（ｂ））、その中のＬＬサブバンドを更に４つのサブバンドに分ける（図１０（ｃ））。このようにして合計１０のサブバンドを作る。１０個のサブバンドそれぞれを、図１０（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶ。ここで、各サブバンドの名称における数字は、それぞれのサブバンドのレベルを示す。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２、レベル３のサブバンドは、ＨＬ３，ＨＨ３，ＬＨ３である。なおＬＬサブバンドは、レベル０のサブバンドである。ＬＬサブバンドは一つしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。なお、図１０ではウェーブレット変換を３回の例を示したが、この回数に制限はない。

１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。

係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとすると、量子化後の係数値Ｑ（Ｘ）は次式（２）によって求めるものとする。

Q(X)=floor{(X/q)+0.5} …（２）
本第１の実施形態における各周波数成分と量子化ステップとの対応テーブルを図１１に示す。同図に示すように、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。

エントロピー符号化部３０６は、入力された係数量子化値をエントロピー符号化する（ステップＳ５０５）。ここでは、まず、図１２に示すように、入力された係数量子化値の集まりである各サブバンドが矩形（「コードブロック」と呼ぶ。）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。１つのコードブロック内の個々の係数は複数ビットで表現されるので、１つのコードブロックに着目した場合の全係数の最上位から最初に有意なビット位置を求め、各係数のそのビット位置で構成されるビットプレーンを生成し、それ以下のビット位置のプレーンも同様に生成する。すなわち、コードブロックを図１３に示すようにビットプレーンに分割する。その上で、各ビットプレーンにおける各ビットは、図１４に示すように所定分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。

なお、エントロピー符号化は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、更にそのコードブロックのあるビットプレーンに注目すると、図１４に示す３種類のパスを上から順に符号化するようになっている。

エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。

タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてタイル符号化データを生成する（ステップＳ５０６）。以下にレイヤーの構成に関する説明を行う。

タイル符号化データ生成部３０７は、図１５に示すように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。図１５は５枚のレイヤーを生成する場合を示している。なお、任意のコードブロックからコーディングパスを取得する際には、図１６に示すように、常にそのコードブロックにおいて最上位に存在するコーディングパスから順に選択する。その後、タイル符号化データ生成部３０７は、図１７に示すように、生成したレイヤーを上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、各サブバンドやコードブロックの先頭を示す情報や符号長の情報、圧縮に使用した様々なパラメータ等が格納される。また、適宜、符号化データの間に補助的情報（例えば、コードブロックの符号長）を挿入してもよい。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。

次に、ステップＳ５０７で符号化すべきタイルデータが残っているかどうかをカウンタｉの値とタイル番号とを比較することにより判断する。符号化すべきタイルデータが残っている場合（つまりｉ＜Ｎ−１）は、ステップＳ５０８でカウンタｉを１増やし、ステップＳ５０３に戻って次のタイルに対してステップＳ５０７までの処理を繰り返す。符号化すべきタイルデータが残っていない場合（つまりｉ＝Ｎ−１）は、ステップＳ５０９に進む。

フレーム符号化データ生成部３０８では、図１７に示すようなタイル符号化データを、図１８に示すように所定の順番（例えば、タイル番号順）に並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０９）。このヘッダには、入力画像やタイルの縦横のサイズ、各タイルの先頭の位置を示す情報，圧縮に使用した様々なパラメータ等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９からデータ統合部２０５に出力される。

＜動画像再生装置＞
図１９は本実施形態における動画像再生装置１０００（図１におけるＰＣ１の機能ブロック図でもある）の構成を示すブロック図であり、図１９におけるフレームデータ復号部２００３の構成を図２０に、この動画像再生装置１０００における処理のフローチャートを図２１に示す。以下、これらの図を参照して復号再生処理を説明する。

まず、動画像再生装置１０００がユーザーから通常再生指示部２００７または高速再生指示部２００８を介して通常再生もしくは高速再生の指示を受けると（ステップＳ２２０１）、動画像符号化データ取得部２００１は、蓄積部２００９から動画像符号化データを読み出し、分離部２００２へ送信する（ステップＳ２２０２）。なお、通常再生指示部２００７や高速再生指示部２００８（実施形態では２倍速）は、表示デバイス上にＧＵＩボタンとして表示され、ポインティングデバイス等に連動するカーソルをいずれかに移動して押下指示することで行われるものとするが、物理的なボタンやスイッチ、或いはキーボード等でも構わないし、その指示形態は問わない。

動画像符号化データを受け取った分離部２００２は、該動画像符号化データをフレーム符号化データと音声符号化データに分離する（ステップＳ２２０３）。ここで生成されたフレーム符号化データはフレームデータ復号部２００３へ、音声符号化データは音声データ復号部２００５へ出力される。また、フレームデータ復号部２００３には、フレーム符号化データと共に、ユーザーから指定された再生方法（通常再生／高速再生）の情報に基づき、制御部２０１０が再生すべきタイル位置を示す情報がセットされる。なお、音声データの再生方法は本発明の主旨から外れるので、以下の記述において音声符号化データの説明は省略する。

分離された動画像符号化データの復号処理の開始にあたり、まず、ユーザーから指定された再生方法を判断する（ステップＳ２２０４）。ユーザーから通常再生が指示されている場合、制御部２０１０はフレーム全域（全タイル）を復号するようにフレームデータ復号部２００３に設定する。従って、フレームデータ復号部２００３は、フレーム符号化データの全域を復号し、フレームデータを生成する（ステップＳ２２０５）。また、音声データ復号部２００５は音声符号化データを復号し、復号音声データを生成する（ステップＳ２２０５）。

一方、ユーザーから指示された再生方法が通常再生以外のとき（すなわち高速再生が指示された場合）、制御部２０１０は、フレームデータ復号部２００３に対し、１フレームのタイル数の実質的に１／２の個数で、矩形の領域を構成するタイル群について復号するべく、復号対象のタイル群の位置情報を設定する。フレームデータ復号部２００３は、入力した符号化データのうち、設定されたタイルのデータについてのみ復号処理を行い、それ以外は無視することで、フレーム符号化データを高速復号し、復号フレームデータを生成する（ステップＳ２２０７）。なお、高速再生時には音声符号化データの復号は行わない。

ステップＳ２２０５で生成された復号フレームデータ及び復号音声データ、並びにステップＳ２２０７で高速復号された復号フレームデータは、復号フレーム出力部２００４または復号音声出力部２００６から表示デバイスへ出力される（ステップＳ２２０６，Ｓ２２０８）。

次に図１９のフレームデータ復号部２００３で行う処理について、図２０にフレームデータ復号部２００３の詳細な構成を示し、図２２のフローチャートを参照して説明する。

フレーム符号化データ入力部２１０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部２１０２に出力される。復号対象タイル決定部２１０２は、再生方法が通常再生であれば図２３（ａ）に示すフレーム中の全てのタイルを復号対象タイルと決定する（ステップＳ２５０１）。また、再生方法が高速再生であれば、図２３（ｂ）に示すように、高速再生指示を受けた時点でのフレームの全域を表示したのち、同図の太線で示されるフレーム中の一部のタイル群を、高速再生におけるデフォルトの復号対象タイルと決定する（ステップＳ２５０１）。

なお、高速再生する領域サイズは、フレーム全域の面積の半分の領域とし、復号処理にかかるフレームデータ復号部２００３の負荷は通常再生時と実質的に同じにした。ただし、復号処理は、タイル単位に行うことになるので、元々のフレームの面積をＳ０としたとき、高速再生時の復号する領域の面積Ｓ１は、タイルの整数倍であって、Ｓ０／２を越えない最大サイズとなる。

さらに、高速再生中、ユーザーが領域指定部により表示領域の位置変更を指示した場合、図２５の太線で示すように、その指定された領域のタイルを復号対象タイルと決定する（ステップＳ２５０１）。このとき、再生すべき領域が決定されるので、制御部２０１０は設定された領域に含まれるタイルを特定する情報をフレームデータ復号部２００３に設定することになる。なお、このとき、再生する領域位置の変更（領域移動）があったとき、フレーム全域を一度再生し、画面全体を更新した上で、領域を設定することが望ましい。また、再生する領域の移動はタイルサイズになる。また、領域指定部として、ポインティングデバイス等に連動するカーソルを移動させることで行うものとするが、カーソルキーなどでも構わない。更に、この復号すべきタイルの決定には、メインヘッダやタイルヘッダにある情報を利用する。なお、高速再生時の図２３（ｂ）では、縦６横８の全４８タイルの内、内側にある縦４横６の２４タイルを処理の対象としているがこれに限るものではなく、処理部の速度に応じて、処理可能な数の任意のタイルを選択すれば良い。また、高速再生中に通常再生にした場合には、フレーム全域を３０ｆｐｓにて再生することになるし、通常再生から高速再生に切り換わった場合にはデフォルトの位置にする、或いは、前回の高速再生時の位置にする等を行う。

また、ここで決定される復号対象のタイルの枚数をＭとし、各復号対象であるタイルを識別するために、各復号対象タイルに対して番号0〜M-1を割り振る。この番号の割り振り方は、図２４に示すように、左上に存在するタイルから右に向かって、さらに上から下に向かって番号が増えるようにする。

復号対象タイルを決定した後、フレームデータ復号部２０２が処理しているタイルを認識するためのカウンタをi=0に設定する（ステップＳ２５０２）。

次に、復号対象であるタイル符号化データは、エントロピー復号部２１０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ２５０３）。そして復元された量子化値は逆量子化部２１０４に出力される。逆量子化部２１０４は入力した量子化値を逆量子化することにより、離散ウェーブレット変換係数を復元して後続の逆離散ウェーブレット変換部２１０５に出力する（ステップＳ２５０４）。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。逆離散ウェーブレット変換部２１０５では、以下に記述する式に基づいて、逆離散ウェーブレット変換を行う（ステップＳ２５０５）。
X(2n)=Y(2n)-floor{(Y(2n-1)+Y(2n+1)+2)/4}
X(2n+1)=Y(2n+1)+floor{(X(2n)+X(2n+2))/2}
ここで、低周波サブバンドの離散ウェーブレット変換係数をY(2n)、高周波サブバンドの離散ウェーブレット変換係数をY(2n+1)とする。また、ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部２１０６に出力される（ステップＳ２５０６）。

次に、ステップＳ２５０７で復号対象タイルが残っているかどうかをカウンタｉとタイル番号とを比較することにより判断する。復号化すべきタイルが残っている場合（つまりｉ＜Ｍ−１）は、ステップＳ２５０８でカウンタｉを１増やし、ステップＳ２５０３に戻って次のタイルに対してステップＳ２５０７までの処理を繰り返す。一方、ステップＳ２５０７で復号すべきタイルが残っていない場合（つまりｉ＝Ｍ−１）は、ステップＳ２５０９に進む。

復号フレームデータ出力部２１０６は、復号タイルデータをi=0,...,M-1の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部２００４に出力する。（ステップＳ２５０８）。

以上、本第１の実施形態によれば、高速再生時に各フレームの一部を再生することで、ＰＣの処理性能を超えることなく、滑らかな再生画像を表示することが可能となる。また、ユーザーが表示領域を自由に移動させられるので、ＲＯＩが表示領域から外れた場合でも、滑らかな高速再生画像を十分に楽しめる。

なお、上記第１の実施形態においては、高速再生時には各フレームのブロックの内、半分の数のブロックを各フレームで再生することにより、通常再生時の２倍の速度で再生する場合について説明したが、本発明はこれに限るものではない。

すなわち、１／２倍速、等速、２倍速、３倍速、４倍速…の指示入力（ボタン）を用意し、等速以下の再生速度の場合にはフレーム全域を再生する。そして、等速を越える２倍速や、３倍速が指定された場合、各フレームの１／３のタイル数、１／４のタイル数を復号対象とし、３倍速、４倍速で滑らかに画像を再生することが可能である。このように、任意の割合のブロック数の画像を再生することで、所望の倍率で再生を行うようにすることができる。

また、ＰＣ等の表示装置の垂直同期信号は高くてもせいぜい１００Ｈｚ程度である。一方、復号画像の表示は、実際にはビデオメモリへの書き込みにより行っている。すなわち、ビデオメモリへのフレーム画像の書き込みが３０フレーム／ｓで書き込みを行えば、結果的に人間は３０ｆｐｓの動画として認識するし、６０ｆｐｓで書き込めば６０ｆｐｓとして認識する。従って、仮に表示装置の垂直同期信号の周波数が１００Ｈｚであり、４倍速再生（１２０ｆｐｓ）が指示されると、表示デバイスの能力を越えるものとなり、２０ｆｐｓ分は無駄になる。よって、高速再生には上限を設け、それ以上の高速再生は行わないようにすることが望まれる。

また、実施形態では、２倍速の場合に１フレームの１／２の面積の領域、３倍速の場合には１フレームの１／３の面積の領域を復号するものとして説明したが、装置の処理能力を事前に検証し、その結果に基づいて復号する領域を決定してもよい。例えば、ソフトウェアで実現する場合、ＣＰＵが４０ｆｐｓで再生できる能力があれば、２倍速度では１／２の面積よりも大きい面積を再生することもできよう。

＜第２の実施形態＞
次に、第２の実施形態について説明する。

第１の実施形態においては、各フレームの一部を再生することで、ＰＣの処理能力を超えることなく、滑らかな再生画像を表示し、さらに表示領域を自由に移動させる方法を示した。

この第１の実施形態で示した表示領域の移動は先に説明したようにタイル単位である。従って、この移動がとびとびの位置での移動となり、ユーザにぎこちない印象を与えかねない。

そこで、第２の本実施形態においては、高速再生時の復号単位をタイルとせずコードブロックとすることで、表示領域の移動が滑らかな高速再生方法を実現する。以下にその具体的方法を示す。なお、このような表示を可能とする動画像符号化データは、第１の実施形態における動画像符号化装置により生成されたものを用いることが可能である。従って、本第２の実施形態の説明においては、動画像符号化装置の構成及び処理動作についての説明は省略する。

＜動画像再生装置＞
本第２の実施形態における動画像再生装置の構成は図１９に示すものと同様である。また、通常再生時と高速再生が指示された場合の処理は、第１の実施の形態における処理と同様である。ただ、ユーザーから表示領域の移動の指示が行われた場合、第１の実施の形態とことなる処理が行われる。

例えば、図２５のように、ユーザーから太線の領域の表示を指示された場合、動画像再生装置はタイル単位で復号すべきタイル（以下、Ａタイプのタイル）と、コードブロック単位で復号すべきタイル（以下Ｂタイプのタイル）を分類する。その上で、動画像再生装置はＡタイプのタイルの復号については、第１の実施の形態と同様な手法で復号する。一方、動画像再生装置がＢタイプのタイルを復号する場合、当該タイルのタイルヘッダ内の情報や補助的情報を利用してコードブロックの先頭にアクセスし、該当コードブロックを復号する。これにより、コードブロック単位の復号を実現する。なお、制御部２０１０としては、タイル番号並びにタイル内のコードブロックの番号を設定することになる。

上記の通り本第２の実施形態によれば、高速再生中、タイル単位ではなくコードブロック単位で表示領域が移動するので、第１の実施の形態で示した方法より、滑らかな表示領域の移動が可能となる。

＜第３の実施形態＞
次に、第３の実施形態について説明する。

第２の実施形態においては、各フレームの一部を再生することで、ＰＣの処理能力を超えることなく、滑らかな再生画像を表示し、さらに表示領域を滑らかに移動させる方法を示した。

この第２の実施形態で示した表示領域の移動はコードブロック単位であり、タイルより十分に小さなものであるものの、それでも、表示領域の移動はぎこちなさが現れる可能性たある。

そこで本第３の実施の形態では、図２７で示されているように、動画像再生装置は高速再生する表示領域を包含するコードブロックを復号する。その上で、動画像再生装置は、表示領域内のピクセルをディスプレイに表示する。また、このような再生方法は再生装置の負荷を増やすので、図２７に示されているように、移動方向とは逆の方向の領域を低画質で表示する。ここで低画質化させる領域として移動方向とは逆方向の領域を選んだ理由は、一般的にユーザーの注目は移動方向の領域にあり、移動方向とは反対方向の領域にはないと考えられることである。以下にその具体的方法を示す。なお、このような表示を可能とする動画像符号化データは、第１の実施形態における動画像符号化装置により生成されたものを用いることが可能である。従って、本第２の実施形態の説明においては、動画像符号化装置の構成及び処理動作についての説明は省略する。

＜動画像再生装置＞
本第３の実施形態における動画像再生装置の構成は図１９に示すものと同様である。また、通常再生時と高速再生が指示された場合の処理は、第１の実施の形態における処理と同様である。また、表示領域が移動していて、かつ表示領域がコードブロック境界に接している場合、動画像再生装置が行う処理は第２の実施形態における処理と同様である。ただ、図２６のように、表示領域がコードブロックに接していない場合、以下のように処理を実施する。

もし、図２７のように表示領域が移動している場合（移動中）、移動方向とは反対方向の領域のコードブロックは上位レイヤー（例えば、レイヤー０，１，２）のみを復号する。こうすることで、復号対象の領域が増えることによる処理量の増大を防ぐことができる。

上記の通り本第３の実施形態によれば、高速再生中、表示領域を包含するコードブロックを復号することで、表示領域のピクセル単位での移動を可能とした。また、この復号方法による処理の増大を、ユーザーの非注目領域を低画質で復号することにより解決した。

＜他の実施形態＞
なお、上記第１〜第３の実施形態では、フレームデータの系列変換に離散ウェーブレット変換を使用したが、本発明はこれに限定されるわけではなく、例えば系列変換に離散コサイン変換等を使用しても構わない。

また、実施形態では、ＰＣに適用する例を説明したが、デジタルビデオカメラやデジタルカメラ等における動画像再生に適用しても良いので、上記実施形態で本発明が限定されるものではない。

上記第１〜第３の実施形態では、タイル，コードブロックを復号の単位としたが、本発明はそれに限られない。例えば、符号化の際に、原画像上で対応するコードブロックを集めることで得られるデータ（プリシンクト）を復号の単位としても構わない。

また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、リーダ、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器（例えば、複写機、デジタルカメラなど）からなる装置の一部に適用してもよい。

また、図１９に示される各構成要素は、それぞれがコンピュータプログラムによって実現可能であるので、本発明はコンピュータプログラムをその範疇する。また、通常、コンピュータプログラムはそれを記憶したＣＤＲＯＭ等のコンピュータ可読記憶媒体を、コンピュータにセットし、システムにコピー、或いは、インストールすることで実行可能になるわけであるから、本発明はかかるコンピュータ可読記憶媒体をもその範疇とするのは明らかである。

本発明の動画像再生装置が使用されるシステムの一形態を示す概略外観図である。本発明の第１の実施形態における動画像符号化装置の概略構成を示すブロック図である。本発明の第１の実施形態におけるフレームデータ符号化部の概略構成を示すブロック図である。本発明の第１の実施形態における動画像符号化装置が行う動画像データの符号化処理のフローチャートである。動画像符号化データ構成の説明図である。動画像符号化データ構成の説明図である。本発明の第１の実施形態におけるフレームデータ符号化部が行うフレームデータの符号化処理のフローチャートである。タイル分割の説明図である。１次元離散ウェーブレット変換の説明図である。各ウェーブレット変換段階におけるサブバンドの分解図である。量子化ステップのテーブルを示す図である。コードブロック分割の説明図である。ビットプレーン分割の説明図である。コーディングパスの説明図である。レイヤー生成の説明図である。レイヤー生成の説明図である。タイル符号化データの構成の説明図である。フレーム符号化データの構成の説明図である。本発明の第１の実施形態における動画像再生装置の概略構成を示すブロック図である。本発明の第１の実施形態におけるフレームデータ復号部の概略構成を示すブロック図である。本発明の第１の実施形態における動画像再生装置が行う動画像データの復号処理のフローチャートである。本発明の第１の実施形態におけるフレームデータ復号部が行うフレームデータの復号処理のフローチャートである。本発明の第１の実施形態における復号対象タイル符号化データの決定に関する説明図である。タイル符号化データに関する識別番号の割り振りの説明図である。表示領域の移動の説明図であるコードブロック境界に接していない表示領域の説明図である。表示領域の一部を低画質で表示する方法の説明図である。

Claims

圧縮符号化された動画像データを再生する動画像再生装置であって、
前記圧縮符号化された動画像データに含まれるフレームの全域或いは一部の領域の符号化データを復号する復号手段と、
前記復号して得られた画像を表示出力する表示出力手段と、
動画像の再生速度を設定する再生速度設定手段と、
該再生速度設定手段で設定された再生速度に応じて再生すべきフレーム中の領域を決定し、決定した領域を復号対象として前記復号手段に設定する設定手段と、
前記再生速度設定手段で設定された再生速度が通常再生速度を越える高速再生速度の場合に、前記領域の位置を前記復号手段に設定する領域位置設定手段とを備え、
前記領域位置設定手段は、ユーザが操作可能な指示部による指示に応じて前記領域を移動させる領域移動手段を含むことを特徴とする動画像再生装置。
前記設定手段は、前記再生速度設定手段で設定された再生速度が前記通常再生速度の場合にはフレーム全域を復号対象として前記復号手段に設定し、前記再生速度設定手段で設定された再生速度が前記高速再生速度の場合には、前記高速再生速度と前記通常再生速度の比率に応じた部分領域を復号対象として前記復号手段に設定する
ことを特徴とする請求項１に記載の動画像再生装置。
前記領域移動手段は、符号化単位であるタイルのサイズ単位で前記領域を移動することを特徴とする請求項１に記載の動画像再生装置。
前記領域移動手段は、符号化単位であるタイルに含まれるコードブロックサイズ単位で前記領域を移動することを特徴とする請求項１に記載の動画像再生装置。
前記領域移動手段は、画素単位で前記領域を移動するものであって、
前記復号手段は、前記領域移動手段によって画素単位で前記領域が移動された場合に、前記領域の移動方向に対して逆方向となる少なくとも領域境界部では、前記領域内の前記境界部以外よりも低い画質の画像となるように復号処理を行うことを特徴とする請求項１に記載の動画像再生装置。
圧縮符号化された動画像データを再生する動画像再生装置の制御方法であって、
復号手段が、前記圧縮符号化された動画像データに含まれるフレームの全域或いは一部の領域の符号化データを復号する復号工程と、
表示出力手段が、復号して得られた画像を表示出力する表示出力工程と、
再生速度設定手段が、動画像の再生速度を設定する再生速度設定工程と、
設定手段が、該再生速度設定工程で設定された再生速度に応じて再生すべきフレーム中の領域を決定し、決定した領域を復号対象として前記復号手段に設定する設定工程と、
領域位置設定手段が、前記再生速度設定工程で設定された再生速度が通常再生速度を越える高速再生速度の場合に、前記領域の位置を前記復号手段に設定する領域位置設定工程とを備え、
前記領域位置設定工程は、ユーザが操作可能な指示部による指示に応じて前記領域を移動させる領域移動工程を含むことを特徴とする動画像再生装置の制御方法。
コンピュータに読込ませ実行させることで、圧縮符号化された動画像データを再生する動画像再生装置として機能させるコンピュータプログラムであって、
前記圧縮符号化された動画像データに含まれるフレームの全域或いは一部の領域の符号化データを復号する復号手段と、
前記復号して得られた画像を表示出力する表示出力手段と、
動画像の再生速度を設定する再生速度設定手段と、
該再生速度設定手段で設定された再生速度に応じて再生すべきフレーム中の領域を決定し、決定した領域を復号対象として前記復号手段に設定する設定手段と、
前記再生速度設定手段で設定された再生速度が通常再生速度を越える高速再生速度の場合に、前記領域の位置を前記復号手段に設定する領域位置設定手段として機能させ、
前記領域位置設定手段は、ユーザが操作可能な指示部による指示に応じて前記領域を移動させる領域移動手段を含む
ことを特徴とするコンピュータプログラム。
請求項７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。