JP6468847B2 - 画像復号装置、画像復号方法、及びプログラム - Google Patents

Description

本発明は画像復号装置、画像復号方法、及びプログラムに関し、特に時間階層符号化を用いた画像復号技術に関する。

動画像の伝送や蓄積・再生を行うために、画像データの圧縮符号化（以下、符号化）に関する技術が用いられる。動画像の符号化技術として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４）やＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）等が知られている。

このような動画像の符号化技術では、動画像を低品質のものから高品質のものに階層的に符号化するスケーラブル映像符号化が拡張仕様として採用されている。スケーラブル映像符号化は、階層化される情報の種類の観点から、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）スケーラビリティに分類される場合がある。ここで、時間スケーラビリティとは、時間的な規模（スケール）の変化、即ち画像符号化においては単位時間ごとのフレーム数（フレームレート）に対応して、階層化する技術である。そして、階層構造であるデータの一部を切り出すことでフレームレートを調整することができる。即ち、複数のフレームレートを実現可能な動画像を作成することで、ネットワーク送信や再生（復号）処理といった、環境により異なる制限事項を考慮してフレームレートを柔軟に切り替えることができる。

上述した時間スケーラビリティに対応した階層符号化を実現するため、動画像の各フレームに、時間的な階層における各階層を識別するための情報を表す時間階層識別子（Ｔｅｍｐｏｒａｌ ＩＤ）を設けて符号化することが規定されている。各階層のフレームは、設定されたＴｅｍｐｏｒａｌ ＩＤの値、及び設定されたＴｅｍｐｏｒａｌ ＩＤの値より小さい値のフレームを参照して再生可能な構成となっている。そして、このＴｅｍｐｏｒａｌ ＩＤに基づいて、時間的な階層を選択し、再生（復号及び表示）を行う。

また、上述した動画像の符号化技術に関し、映像の画面全体を一様なフレームレートで符号化するのではなく、特定領域のフレームレートを向上させ、非特定領域のみフレームレートを抑えるように符号化する技術が提案されている（特許文献１）。特許文献１では、複数の監視カメラから入力される映像を圧縮する場合に、各監視カメラの画像の重要度に応じて監視カメラ毎のフレームレートを設定し、設定されたフレームレートの映像データとなるような映像圧縮手段を用いることが記載されている。

特開２００８−１６７１０１号公報

しかしながら、上述した従来技術では、フレームレートを低下させて符号化された非特定領域において、受信装置で復号・再生する場合にフレームレートの制御が制限されてしまうことがある。例えば、符号化時に非特定領域となった領域は、受信装置側において符号化時のフレームレートより高いフレームレートでの復号・再生ができない。即ち、従来技術では、復号・再生時に所望のフレームレートを取得できない場合がある。以上のことから、復号時に適切なフレームレートで動画像を復号することが可能である画像復号装置を提供することを課題とする。

上述の課題を解決するため、本発明の画像復号装置は、以下の構成を有する。即ち、画像における部分的な領域である注目領域の大きさに関する情報を取得するサイズ取得手段と、前記サイズ取得手段によって取得された前記注目領域の大きさに関する情報に基づいて、前記注目領域のためのフレームレートを決定する決定手段と、前記決定手段によって決定されたフレームレートに従って、前記画像における部分的な領域である前記注目領域に対応する符号化データを取得してその注目領域に対応する符号化データを復号する復号手段とを有する。

本発明により、画像復号装置において適切なフレームレートで、時間階層符号化された動画像を復号することが可能になる。

実施形態１に係る画像復号装置の構成を示すブロック図 実施形態１に係るレート算出部１０７の構成を示すブロック図 画像復号装置に入力される符号データの一例を表す図 画像復号装置の処理能力に関する、復号対象のタイルのタイル数とフレームレートとの関係の一例を表す図 フレームのタイル分割と注目領域の一例を表す図 実施形態１における復号処理を示すフローチャート 実施形態２に係る画像復号装置の構成を示すブロック図 実施形態２に係るレート算出部７０７の構成を示すブロック図 画像復号装置の処理能力に関する、復号対象のタイルのタイル数とフレームレートの関係の一例を表す図 実施形態２における復号処理を示すフローチャート 実施形態２に係る画像復号装置の他の構成を示すブロック図 実施形態３に係る画像復号装置の構成を示すブロック図 実施形態３に係るレート算出部１２０７の構成を示すブロック図 実施形態３における復号処理を示すフローチャート 画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図。

以下、添付の図面を参照して、本発明をその実施形態の一例に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

以下の実施形態において、画像復号装置は、動画像を時間階層符号化（時間スケーラビリティに対応した階層符号化）を行って生成された符号データ（ビットストリーム）を入力する。ここで、時間階層符号化は、Ｈ．２６４及びＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）で用いることができる方式である。そして、時間階層符号化は、動画像を複数のフレームレート（ピクチャレート）で表現し、フレームレートを選択することができる機能である。尚、以下の実施形態において画像復号装置に入力される符号データは、ＨＥＶＣを用いて符号化されたデータであるとする。

そして、上述した時間階層符号化を実現するため、動画像の各フレームに、時間的な階層における各階層を識別するための情報を表す時間階層レベル（Ｔｅｍｐｏｒａｌ ＩＤ、時間階層識別子）を設けて符号化することが規定されている。各階層のフレームは、設定された時間階層レベルの値、及び設定された時間階層レベルの値より小さい値のフレームを参照して再生可能な構成となっている。そして、この時間階層レベルに基づいて、時間的な階層を選択し、再生（復号及び表示）を行う。

また、ＨＥＶＣを用いた符号化・復号処理では、１フレーム（ピクチャ）を矩形に分割したタイル単位で符号化・復号を行うことが可能である。また、ＨＥＶＣでは、シーケンス単位で、動画像の連続するフレームから一部分のタイルのみを独立に符号化・復号を行えるタイル（以下では独立復号タイルと称する）が定義されている。そして、フレーム内の１以上のタイルから構成される独立復号タイル（独立復号タイル群）をｔｅｍｐｏｒａｌ＿ｍｏｔｉｏｎ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ（以下、ＴＭＣＴＳと略す）と称する。そして、ＨＥＶＣでは、ＴＭＣＴＳと相対的に等しい位置のタイルのみをフレーム間予測の対象とし、ＴＭＣＴＳと相対的に異なる位置のタイルを用いた（参照した）予測を行わないことで、符号化・復号の独立性を確保することができる。尚、ＴＭＣＴＳに含まれるタイルの位置に関する情報は、符号データのヘッダ部分におけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージに挿入することができる。

（実施形態１）
以下、本実施形態に係る画像復号装置について、図面を用いて説明する。まず、本実施形態における画像復号装置の構成について図１を用いて説明する。図１は、本実施形態の画像復号装置１０の構成を示すブロック図である。

図１において、入力部１０１は、動画像を時間階層符号化して生成された符号データを、後段の各処理部に入力する。バッファ１０２は、入力部１０１から出力入力された、時間階層符号化された符号データを、タイル単位で格納する。タイル復号部１０３は、バッファ１０２から出力された符号データをタイル単位で復号し、復号された画像（復号画像）を再生する。尚、本実施形態においてタイル復号部１０３は、単位時間（１秒間）以内に１フレーム（ピクチャ）以上復号可能な処理能力（復号能力）を持つものとする。しかしながら、復号能力はこれに限定されず、所定時間内に復号可能なフレーム数を示すものであれば構わない。表示制御部１０９は、タイル復号部１０３で復号された復号画像を表示部１１０に表示するよう制御する。表示部１１０は、表示制御部１０９によって制御された表示を行う。ヘッダ復号部１０４は、入力部１０１から出力された符号データのヘッダ部を復号し、復号して得られた情報を後段の処理部に出力する。能力取得部１０５は、タイル復号部１０３の復号処理の能力（性能）を示す能力情報を取得する。尚、能力情報とは、ＣＰＵの負荷を示す情報やメモリの容量を示す情報等を示す。

領域設定部１０６は、画像におけるユーザによって指示された指示領域及び／又は検知部（不図示）によって検知された特徴領域等の注目領域を設定する。例えば、領域設定部１０６は、表示部１１０にタッチパネルを設け、ユーザがタッチパネルに注目したい領域の位置や大きさを指示することにより、注目領域を設定することができる。また、領域設定部１０６が設定した注目領域を示す情報を表示制御部１０９へ出力し、表示制御部１０９が表示部１１０に注目領域を示す表示をするよう制御しても構わない。また、領域設定部１０６は、画像復号装置１０によって画像が復号されている途中で、ユーザによって注目領域の設定又は変更が指示された場合や検知部（不図示）によって特徴領域が検知された場合に、レート算出部１０７に領域設定要求を伝える。ここで、本実施形態において領域設定要求は、ユーザによる指示に関する情報または検知に関する情報のうち少なくとも一つを含む。また、領域設定部１０６は、注目領域の設定状況に関する注目領域情報をレート算出部１０７に送る。ここで、注目領域情報は、注目領域の数に関する情報、注目領域の位置に関する情報、及び注目領域の大きさに関する情報のうち少なくとも一つの情報を含む。

レート算出部１０７は、動画像の１フレーム（ピクチャ）全体を表示する場合（全体表示の場合）のフレームレート、及び１フレーム内の注目領域を表示する場合（部分表示の場合）のフレームレートを算出する。レート算出部１０７は領域設定部１０６から領域設定要求、及び注目領域情報を取得する。また、レート算出部１０７は、能力取得部１０５からタイル復号部１０３の能力情報を取得し、入力部１０１から時間階層レベルに関する符号データを取得する。そして、レート算出部１０７は、領域設定部１０６、能力取得部１０５、及びヘッダ復号部１０４から取得した上述の情報のうち少なくともいずれかに基づいて、表示対象の動画像のフレームレートを算出する。復号タイル決定部１０８は、レート算出部１０７によって算出されたフレームレートを示す情報に基づいて、バッファ１０２に格納されている符号データの中から、復号する時間階層レベル及びタイルを選択する。

次に、図２を用いてレート算出部１０７の構成の詳細を説明する。端子２０１は、前述の能力取得部１０５からタイル復号部１０３の復号処理の能力を示す能力情報を入力する。端子２０２は、ヘッダ復号部１０４から画像に関する情報、時間階層に関する情報、及びタイルに関する情報を入力する。尚、本実施形態において画像に関する情報はフレームのサイズ等の画像の特性に関する情報を示し、時間階層に関する情報は時間階層の数、及び／又は各時間階層レベルのフレームレートに関する情報を示す。また、本実施形態においてタイルに関する情報はタイルの分割数、分割位置、独立復号タイルの数及び／又はフレーム内の独立復号タイルの数等の情報を示す。端子２０３は、領域設定部１０６から注目領域情報を入力する。レベル取得部２０４は、端子２０２から画像に関する情報、時間階層に関する情報、及びタイルに関する情報を入力し、各時間階層レベルのフレームレートを取得（算出）する。タイル決定部２０５は、端子２０３から注目領域情報を入力し、端子２０２からタイルに関する情報を入力する。そして、タイル決定部２０５は、動画像を全体表示で表示する場合、又は注目領域に基づく部分表示で表示する場合について、復号する対象となるタイルを決定し、決定した復号対象のタイルに関する情報をカウンタ２０６へ出力する。

カウンタ２０６は、タイル決定部２０５によって決定された復号対象のタイルの数をカウントする。そして、カウンタ２０６は、カウントした結果に基づくカウント情報をレート決定部２０７に出力する。レート決定部２０７は、端子２０１から入力した能力情報、及びカウンタ２０６から入力したカウント情報に基づいて、表示部１１０に表示（出力）する場合の復号済みの動画像のフレームレートを算出する。そして、レート決定部２０７は、決定したフレームレートに関する情報をレベル選択部２０８に出力する。レベル選択部２０８は、レート決定部２０７から入力したフレームレートに基づいて、表示部１１０に出力される復号済みの画像（復号画像）の時間階層レベルを選択（決定）する。端子２０９は、タイル決定部２０５で決定された復号に必要なタイルの情報、レベル選択部２０８で選択された時間階層レベルに関する情報を復号タイル決定部１０８及びタイル復号部１０３へ出力する。ここで、復号に必要なタイルの情報とは、復号対象のタイルの数、及び位置に関する情報を示す。

次に、本実施形態における画像復号装置１０による復号処理の動作について図６を用いて説明する。図６は、本実施形態に係る画像復号装置１０の復号処理動作を表すフローチャートである。画像復号装置１０は、符号データを入力すると復号処理を開始する。

ステップＳ６００において入力部１０１は、画像復号装置１０に入力された符号データを順次取得し、取得した符号データをヘッダに対応する符号データ（以下、ヘッダデータ）と画像の各タイルに対応する符号データ（タイルデータ）とに分離する。そして、入力部１０１は、ヘッダデータをヘッダ復号部１０４に入力し、タイルデータをバッファ１０２に入力する。

ここで、入力部１０１に入力される符号データの例を図３に示す。尚、本実施形態では、図３に示すように符号化方式としてＨＥＶＣを用いて符号化された符号データを例にとって説明するが、これに限定されない。また、図３に示す符号データは時間階層レベルが３である場合の符号データであるが、時間階層レベルに限定されない。

図３（ａ）は符号データの全体を示す図であり、左側が符号データの先頭となる。図３（ｂ）は図３（ａ）に示すヘッダデータに含まれるＶＰＳ（ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ）を示す図である。図３（ｃ）は図３（ａ）に示すヘッダデータに含まれるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を示す図である。図３（ｄ）は図３（ａ）に示すヘッダデータに含まれるＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を示す図である。図３（ｅ）は図３（ａ）に示すヘッダデータに含まれるＴＭＣＴＳ＿ＳＥＩ（ｔｅｍｐｏｒａｌ＿ｍｏｔｉｏｎ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ＿Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）を示す図である。

次に、ステップＳ６０１においてヘッダ復号部１０４は、入力部１０１から入力されたヘッダデータのうちＶＰＳを復号する。ここで、図３（ｂ）に示すように、ＶＰＳには、先頭にＮＡＬユニットのヘッダ部分であるｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒが含まれ、その後にＶＰＳの符号データが含まれる。特に、ＶＰＳの符号データの中には、ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号が含まれている。このｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号の値は符号データの時間階層レベルの数を表す。例えば、時間階層レベルの数が１，２，３，・・・の場合はｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号の値は０，１，２，・・・である。本実施形態では時間階層レベルの数は３であるので、ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号の値を２とする。さらにＶＰＳは、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓを含む。ｈｒｄ＿ｐａｒａｍｅｔｅｒｓにはｆｉｘｅｄ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ符号が含まれている。そして、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ符号の示す値が１であれば、時間階層毎のフレームの時間間隔が一定であることを示し、値が０であれば可変であることを示す。そして、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ符号の値が１である場合、ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１符号の値は時間階層毎のフレームの時間間隔を表す。

次に、ステップＳ６０２においてヘッダ復号部１０４は、入力部１０１から入力されたヘッダデータのうちＳＰＳを復号する。ここで、図３（ｃ）に示すように、ＳＰＳには先頭にＮＡＬユニットのヘッダ部であるｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒが含まれる。さらにＳＰＳには、ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒの後にｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ及びｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号が含まれる。尚、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号の値は、シーケンス内での時間階層レベルの数を表す。本実施形態において、シーケンス内での時間階層レベルの数は３であるので、ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１符号の値を２とする。

ステップＳ６０３においてヘッダ復号部１０４は、入力部１０１から入力されたヘッダデータのうちＰＰＳを復号する。図３（ｄ）に示すようにＰＰＳには、先頭にＮＡＬユニットのヘッダ部であるｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒが含まれ、後にｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、及びタイルに関する情報が含まる。ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ符号の値は、画像復号装置１０に入力された符号データがタイル単位で符号化されたデータであるか否かを表す。ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ符号の値が１であれば入力された符号データはタイル単位での符号化されたデータであり、０であれば符号データはタイル単位で符号化されたデータではないものとする。本実施形態では、ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ符号の値が１である（即ち、符号データはタイル単位で符号化されたデータである）ものとする。さらにＰＰＳには、ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１符号、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１符号、ｃｏｌｕｍｎ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１符号、及びｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１符号が含まれる。ここで、ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１符号の値は画像の水平方向の分割数を表し、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１符号の値は垂直方向のタイルの分割数を表す。ｃｏｌｕｍｎ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１符号の値は各タイルの水平方向の大きさを表し、ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１符号の値は各タイルの垂直方向の大きさを表す。

次に、ステップＳ６０４においてヘッダ復号部１０４は、入力部から入力されたヘッダデータのうちＴＭＣＴＳ＿ＳＥＩを復号する。ここで、図３（ｅ）に示すように、ＴＭＣＴＳ＿ＳＥＩには先頭にはＮＡＬユニットのヘッダ部であるｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒが含まれ、続いてｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１符号が含まれる。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１符号の値には、入力部１０１に入力された符号データのタイルのうち、１つ又は複数の独立復号タイルからなる独立復号タイル群の数が表されている。ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１符号の後、各独立復号タイルに関する情報を含む符号データが続く。ｔｍｃｔｓ＿ｉｄは各独立復号タイル群を示す。さらに、ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１符号の値は各独立復号タイル群に含まれる独立復号タイルの数を表す。尚、本実施形態において、入力部１０１に入力されるタイルデータに対応する全てのタイルは、独立復号タイル群である。即ち、本実施形態において１フレーム内の各独立復号タイル群は、１つずつの独立復号タイルで構成されることになる。尚、これに限定されず、１つの独立復号タイル群に複数の独立復号タイルが含まれていても構わないし、１フレーム全体が独立復号タイルで構成されていなくても構わない。また、続くｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ符号の値、及びｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ符号の値は、独立復号タイル群に含まれるタイルの位置を表す。

上述した各ステップＳ６０１〜６０４においてヘッダ復号部１０４によって復号されたヘッダデータは、必要に応じて後段の各処理部に入力される。特に、復号されたデータのうち時間階層レベルに関する情報及び独立復号タイルに関する情報は、レート算出部１０７及び復号タイル決定部１０８に入力される。

次に、ステップＳ６０５において、能力取得部１０５はタイル復号部１０３の復号処理の能力に関する能力情報を取得する。例えば、本実施形態において能力情報には、ＣＰＵの能力情報として、単位時間内にタイル復号部１０３によって復号できるタイル数を示す情報が含まれる。尚、本実施形態における画像復号装置１０に入力される符号データの各タイルのサイズは一定で、各タイルのサイズに関する情報は、画像復号装置１０と不図示の画像符号化装置とで事前に共有されているものとする。但し、これに限定されず、能力情報は単位時間内に復号できる画素数、領域のサイズ、データのサイズを示す情報を含んでいても構わない。また、入力される符号データの各タイルのサイズは一定でなくても構わない。

ここで、図５（ａ）に１フレーム（ピクチャ）のタイル分割の様子を表す。図５（ａ）に示すように本実施形態において１フレームは、水平方向に８タイル、垂直方向に６タイルに分割されているものとし、各タイルの大きさは全て等しいとする。本実施形態では、図５（ａ）に示すように１フレーム（ピクチャ）の左上のタイルから右下のタイルまで番号を付与する。また、説明のために、本実施形態において画像復号装置１０のタイル復号部１０３は、１秒あたり７２個のタイルを復号可能な処理能力を有するものとする。尚、画像復号装置１０の処理能力の算出方法、及び処理能力の高さはこれに限定されない。

次に、ステップＳ６０６においてレート算出部１０７は、領域設定部１０６から領域設定要求を取得したか否かを判定し、要求があると判定した場合にステップＳ６０７の処理へ進み、要求がないと判定した場合にステップＳ６１１の処理へ進む。

まず、ステップＳ６０６においてレート算出部１０７が、領域設定部１０６から領域設定要求を取得していない（ステップＳ６０６のＮＯ）と判定し、ステップＳ６１１の処理に進む場合について説明する。尚、画像復号装置１０は、入力部１０１に入力された符号データのうち、シーケンスの先頭のフレームの符号データ（タイルデータ）を復号するものとする。また、先頭のフレームの符号データを復号する前の時点では、表示部１１０に復号画像が表示されておらず、ユーザによる注目領域の指定がまだ行われていないものとする。即ち、領域設定部１０６は領域設定要求を取得しておらず、注目領域の数は０である。

ステップＳ６１１においてタイル決定部２０５は、注目領域が既に設定済みであるか否かを判定し、画像復号装置１０は、設定済みでなければステップＳ６１２の処理へ進み、設定済みであればステップＳ６１３の処理へ進む。前述したように、本実施形態では先頭のフレームでは注目領域が設定されていないので、画像復号装置１０はステップＳ６１２の処理に進む。このように、領域設定部１０６が領域設定要求を取得しておらず、タイル決定部２０５が注目領域を設定済みでない場合、画像復号装置１０は入力された符号データを復号して全体表示を行うためにステップＳ６１２に進む。

ステップＳ６１２においてタイル決定部２０５は、フレームの全体のタイルを、復号対象のタイルとして決定する。そして、タイル決定部２０５は、復号対象のタイルに関する情報を、端子２０９から後段の処理部へ出力する。本実施形態において、１フレームには図５（ａ）に示すようにタイル番号００からタイル番号５７までの４８個のタイルがふくまれている。即ち、ステップＳ６１２にてタイル決定部２０５は、復号対象のタイルがタイル番号００からタイル番号５７までであることを示す情報と、復号対象のタイルの数が４８個であることを示す情報とを復号対象のタイルに関する情報として後段の処理部へ出力する。

さらに、ステップＳ６１２でレート決定部２０７は、タイル決定部２０５によって決定された復号対象のタイルの数と、端子２０１から入力したタイル復号部１０３の処理能力に関する能力情報とに基づいて、表示対象の動画像のフレームレートを決定する。さらに、ステップＳ６１２においてレベル選択部２０８は、レート決定部２０７によって決定されたフレームレートと、レベル取得部２０４によって取得された各時間階層レベルのフレームレートとに基づいて、復号画像の時間階層レベルを選択する。

以下に、ステップＳ６１２における表示対象の動画像のフレームレートの決定処理と、復号画像の時間階層レベルの選択処理について、詳細を説明する。

まず、表示対象の動画像のフレームレートの決定処理について説明する。タイル決定部２０５は、本実施形態の図５（ａ）に示すタイル分割された１フレームのピクチャの例において、ピクチャの左上のタイル（タイル番号００）から、ピクチャの右下のタイル（タイル番号５７）までを復号するものとする。そしてカウンタ２０６は、タイル決定部２０５によって決定された復号対象のタイルの数をカウントし、カウントした結果に基づくカウント情報をレート決定部２０７に出力する。本実施形態では、図５（ａ）に示すように復号対象のタイルの数は４８である。そしてレート決定部２０７は、端子２０１から入力した能力情報と、カウンタ２０６から入力したカウント情報とに基づいて、表示対象の動画像のフレームレートを算出（決定）する。ここで、本実施形態におけるタイル復号部１０３の復号処理の能力に基づく、復号対象のタイルの数とフレームレートとの関係を図４（ａ）に示す。尚、本実施形態において、先頭のフレームにおける復号対象のタイルの数は４８であるので、フレームレートは７２／４８＝１．５フレーム／秒となる。そして、レート決定部２０７は、このように能力情報とカウント情報とに基づいて決定された、表示対象の動画像のフレームレートに関する情報をレベル選択部２０８に出力する。

次に、復号画像の時間階層レベルの選択処理について説明する。レベル取得部２０４は、端子２０２を介して、ヘッダ復号部１０４で復号された画像に関する情報、時間階層に関する情報、及びタイルに関する情報を取得し、これらの情報に基づいて各時間階層レベルのフレームレートを算出（取得）する。

レベル取得部２０４は、算出した各時間階層レベルのフレームレートをレベル選択部２０８へ出力する。レベル選択部２０８は、レベル取得部２０４から入力された各時間階層レベルのフレームレートと、レート決定部２０７から入力された表示対象の動画像のフレームレートとに基づいて、復号画像の時間階層レベルを選択（決定）する。ここで、本実施形態においてレベル選択部２０８は、レベル取得部２０４で取得された各時間階層レベルのフレームレートのうち、レート決定部２０７で決定されたフレームレート以下であって、且つ、最大のフレームレートである時間階層レベルを選択する。そして、レート決定部２０７は、選択した復号画像の時間階層レベルに関する情報を、端子２０９を介して後段の処理部へ出力する。

具体的に本実施形態では、時間階層レベル０，１，２のフレームを復号した場合、各時間階層レベルのフレームの時間間隔は２５００Ｔｉｃｋである。尚、１Ｔｉｃｋは、１秒を３００００で分割した単位である。即ち、各フレームの時間間隔は１／１２秒である。そして、時間階層レベル２まで（時間階層レベル０，１，２）を復号した場合のフレームレートは１２フレーム／秒である。また、時間階層レベル１まで（時間階層レベル０，１）を復号した場合のフレームレートは、時間階層レベル２の半分のフレームレートである６フレーム／秒で表示が行われることになる。また、時間階層レベル０のフレームレートは、本実施形態では１フレーム／秒とする。さらに、前述のフレームレートの決定処理で説明したように、本実施形態においてレート決定部２０７で決定されるフレームレートは１．５フレーム／秒である。このため、レベル選択部２０８は、フレームレートが１フレーム／秒である時間階層レベル０のみを、復号画像の時間階層レベルとして選択する。

上述したように、本実施形態のステップＳ６１２においてタイル決定部２０５は、表示対象の動画像のフレームレートを決定し、レベル選択部２０８は復号画像の時間階層レベルを選択する。さらに、ステップＳ６１２にてタイル決定部２０５及びレベル選択部２０８は、決定したフレームレートに関する情報及び選択した時間階層レベルに関する情報を、端子２０９を介して後段の処理部（復号タイル決定部１０８とタイル復号部１０３）に出力する。

次に、ステップ６１３で復号タイル決定部１０８は、レベル選択部２０８により選択された時間階層レベルに関する情報と、タイル決定部２０５により決定された復号対象のタイルに関する情報とに基づいて、復号対象の符号データをタイル順に読み出す。即ち、復号タイル決定部１０８は、復号対象の符号データ（復号に必要なタイルの符号データ）をタイル順に読み出すように、バッファ１０２の、各タイルの格納位置を指定する。そして、バッファ１０２は指定された格納位置からタイルの符号データを読み出し、タイル復号部１０３に出力する。

ステップＳ６１４においてタイル復号部１０３は、バッファ１０２から入力された復号対象の符号データを復号する。さらに、タイル復号部１０３は、レート算出部１０７のタイル決定部２０５から端子２０９を介して出力された、復号対象のタイルに関する情報に基づいて、復号画像を再構成する。

ステップＳ６１５においてタイル復号部１０３は、復号対象のタイルの全てを復号したか否かを判定する。そして、全ての復号対象のタイルを復号したと判定した場合（ステップＳ６１５のＹＥＳ）はステップＳ６１６へ進み、そうでないと判定した場合（ステップＳ６１５のＮＯ）はステップＳ６１３に戻り、続くタイルの符号データの読み出し及び復号処理を行う。

ステップＳ６１６において表示制御部１０９は、ステップＳ６１０で決定されたフレームレートで、ステップＳ６１４で復号された復号画像を表示部１１０へ出力するよう制御する。表示部１１０は、タイル復号部１０３によって再構成された復号画像を表示する。尚、表示部１１０における画像を表示可能な表示画面のサイズよりも、タイル復号部１０３によって復号された復号画像のサイズが大きい場合には、表示部１１０は復号画像を適宜縮小して表示する。

ステップＳ６１７にてタイル復号部１０３は、レート算出部１０７のレベル選択部２０８によって選択された時間階層レベルに対応する全てのフレームを復号したか否かを判定し、全てを復号したと判定した場合に画像復号装置１０による復号処理を終了する。一方、タイル復号部１０３が、レベル選択部２０８によって選択された時間階層レベルに対応する全てのフレームを復号し終わっていないと判定した場合に、ステップＳ６０６の処理に戻る。

以上、ステップＳ６０６でレート算出部１０７が領域設定要求を取得していないと判定（ステップＳ６０６のＮＯ）し、且つ、ステップＳ６１１でタイル決定部２０５が注目領域は設定済みでないと判定（ステップＳ６１１のＮＯ）した場合について説明した。このような場合、画像復号装置１０は上述したように、入力された符号データを復号して１フレームの全体のタイルを表示する。

次に、ステップＳ６１１においてタイル決定部２０５が、注目領域は設定済みである（ステップＳ６１１のＹＥＳ）と判定した場合、画像復号装置１０はステップＳ６１３の処理へ進む。例えば、復号対象のフレームと当該復号対象のフレームとにおいて注目領域の変更などが無い場合に、ステップＳ６１１においてタイル決定部２０５は注目領域が既に設定済みであると判定し、ステップＳ６１３の処理へ進む。ステップＳ６１３以降は、上述した処理と同様であるため説明を省略する。尚、ステップ６１３における処理は、既に設定された注目領域の数、位置、及び大きさに関する情報（注目領域情報）に基づいて行われる。

ここで、図５（ｂ）及び（ｃ）を用いて、領域５０２の位置が図５（ｂ）の位置から図５（ｃ）の位置へ移動する場合について説明する。例えば、ユーザが領域の移動を指定するか、検知部（不図示）がオブジェクト検出等を行うことによって、領域５０２の位置、サイズが変化する場合がある。この場合、領域５０２の移動に基づいて、領域設定部１０６によって設定される注目領域が更新され、領域設定部１０６は後段の処理部へ領域設定要求及び注目領域情報を出力する。そして、領域設定部１０６によって出力された領域設定要求及び注目領域情報に基づいて、後段の各処理部は復号対象のタイル、フレームレート、復号する時間階層レベル等を決定する処理を行い、変更された注目領域の部分表示を実現する。

このように、領域設定要求が無い場合に、画像復号装置１０は上述の処理のように、注目領域が設定済みか否かに基づいて、部分表示又は全体表示で動画像を表示することができる。

次に、ステップＳ６０６においてレート算出部１０７が、領域設定部１０６から領域設定要求を取得した（ステップＳ６０６のＹＥＳ）と判定し、ステップＳ６０７の処理へ進む場合について説明する。本実施形態において領域設定部１０６は、ユーザが、表示部１１０に全体表示された動画像を参照して指定した領域を、注目領域として設定する。例えば、表示部１１０をタッチパネルで構成し、ユーザがタッチパネルにおいて注目する領域の位置や大きさを指で囲んで示し、その囲まれた部分の外接矩形を注目領域としてもよい。尚、領域設定部１０６による注目領域の設定方法はこれに限定されない。例えば、領域設定部１０６は、検知部（不図示）によって検知された特徴領域を取得し、取得した特徴領域を注目領域として設定しても構わない。また、領域設定部１０６は、１つ以上の注目領域を設定しても構わない。また、ユーザによる注目領域の指定方法についても上記に限定されない。

ここで、注目領域について図５（ｂ）を用いて具体例を説明する。図５（ｂ）において、各領域５０１、５０２、５０３、５０４は、ユーザによって指定された注目領域を表す。また、各領域の左上の座標をそれぞれ注目領域の位置とし、各領域の外接矩形の大きさをそれぞれ注目領域のサイズとする。まず、本実施形態では、領域５０１のみが注目領域として設定された場合について説明する。ユーザが領域５０１を指定すると、領域設定部１０６はユーザが指定した領域５０１を注目領域として設定し、領域設定要求、及び注目領域情報を後段のレート算出部１０７へ出力する。ここで、本実施形態において領域設定部１０６は、注目領域情報として、注目領域の数が１つであることを示す情報、領域５０１の位置に関する情報、及び領域５０１のサイズに関する情報をレート算出部１０７に入力する。

次に、ステップＳ６０７においてレート算出部１０７のタイル決定部２０５は、領域設定部１０６から端子２０３を介して取得した注目領域情報に基づいて、全体表示が要求されたか否かを判定する。即ち、本実施形態においてタイル決定部２０５は、取得した注目領域情報に含まれる情報のうち、注目領域の数に関する情報に基づいて注目領域が設定されたか否かを判定する。また、本実施形態においてタイル決定部２０５は、注目領域の数に関する情報に基づいて、全体表示が要求されたか否かを判定する。例えば、タイル決定部２０５は、注目領域の数が１以上である場合に注目領域が設定されたと判定し、注目領域の数が１フレームに含まれるタイルの数ト等しい場合に全体表示が要求されたと判定する。

そして、ステップＳ６０７において、全体表示が要求されたと判定された場合（ステップＳ６０７のＹＥＳ）、画像復号装置１０は前述したステップＳ６１２の処理へ進むため、説明を省略する。一方、ステップＳ６０７において、部分表示が要求されたと判定した場合（ステップＳ６０７のＮＯ）、画像復号装置１０はステップＳ６０８の処理に進む。ここでは、図５（ｂ）に示す領域５０１が注目領域として設定されており、タイル決定部２０５は部分表示が要求されたと判定するため、ステップＳ６０８の処理へ進む。

ステップＳ６０８においてタイル決定部２０５は、端子２０３を介して領域設定部１０６から注目領域情報を取得し、取得した注目領域情報に基づいて復号対象のタイルを決定する。そして、タイル決定部２０５は、決定した復号対象のタイルに関する情報をカウンタ２０６及び端子２０９を介して後段の処理部へ出力する。ここで、本実施形態における注目領域である図５（ｂ）に示す領域５０１は、図５（ａ）に示す各タイルのうち、タイル番号１１、１２、２１、２２のタイルに含まれる。即ち、注目領域に対応するタイル番号が１１、１２、２１、２２であるため、ステップＳ６０８においてタイル決定部２０５は、これらのタイル番号１１、１２、２１、２２を示す情報をカウンタ２０６及び端子２０９へ出力する。

ステップＳ６０９においてカウンタ２０６は、ステップＳ６０８においてタイル決定部２０５によって決定された復号対象のタイルの数をカウントする。即ち、本実施形態においてカウンタ２０６は、タイル決定部２０５から出力された復号対象のタイルに関する情報に基づいて、復号対象のタイルの数をカウントし、カウントした結果に基づくカウント情報をレート決定部２０７へ出力する。ここでは、カウンタ２０６は、タイル決定部２０５から復号対象のタイルのタイル番号１１、１２、２１、２２を示す情報を取得するため、復号対象のタイルの数は４となる。そしてカウンタ２０６は、復号対象のタイルの数が４であることを示す情報をレート決定部２０７に出力する。

ステップＳ６１０においてレート決定部２０７は、部分表示における注目領域のフレームレートを決定し、決定したフレームレートをレベル選択部２０８に出力する。即ち、本実施形態においてレート決定部２０７は、カウンタ２０６から出力された復号対象のタイルの数を示すカウント情報と、端子２０１から入力した能力情報とに基づいて、部分表示における表示対象の動画像のフレームレートを決定する。ここでは、ステップＳ６０９でカウンタ２０６によってカウントされた復号対象のタイルの数は４であり、ステップＳ６０５で能力取得部１０５によって取得された能力情報は、画像復号装置１０が１秒あたり７２タイルを復号可能であることを示す。これらの情報に基づいてレート決定部２０７は部分領域における注目領域のフレームレートを７２／４＝１８フレーム／秒に決定する。

さらに、ステップＳ６１０においてレベル選択部２０８は、レート決定部２０７によって決定されたフレームレートと、レベル取得部２０４によって取得された各時間階層レベルのフレームレートとに基づいて、復号画像の時間階層レベルを選択する。そして、レベル選択部２０８は、選択した復号画像の時間階層レベルに関する情報を、端子２０９を介して後段の処理部へ出力する。尚、復号画像の時間階層レベルの選択処理は、上述のステップＳ６１２と同様であるため、説明を省略する。また、ここでは、レート決定部２０７によって決定された表示対象の動画像のフレームレートが１８フレーム／秒である。そして、各時間階層レベルのフレームレートは、時間階層レベル２までが１２フレーム／秒、時間階層レベル１までが６フレーム／秒、時間階層レベル０が１フレーム／秒である。即ち、１８フレーム／秒（表示対象の動画像のフレームレート）以下であって最大のフレームレートは、時間階層レベル２の１２フレーム／秒である。以上のことから、レベル選択部２０８は、復号画像のフレームレートを１２フレーム／秒とし、復号対象の時間階層レベルとして時間階層レベル０，１，２の全てを選択する。

以下、ステップＳ６１２の処理の後はステップＳ６１３の処理へ進む。ステップＳ６１３移行の処理については動画像を全体表示する場合と同様であるため説明を省略し、具体例のみについて記す。

ステップ６１３において、レベル選択部２０８により選択された時間階層レベルは０，１，２の全てであり、タイル決定部２０５により決定された復号対象のタイルはタイル番号１１、１２、２１、２２のタイルである。以上のことから、バッファ１０２は、タイル番号１１、１２、２１、２２の各タイルの符号データを読み出し、タイル復号部１０３に出力する。

ステップＳ６１４においてタイル復号部１０３は、バッファ１０２から入力されたタイル番号１１、１２、２１、２２の各タイルの符号データを復号し、タイル決定部２０５から出力された、復号対象のタイルに関する情報に基づいて、復号画像を再構成する。

ステップＳ６１５においてタイル復号部１０３は、復号対象のタイルであるタイル番号１１、１２、２１、２２のタイルの全てを復号したか否かを判定する。全てのタイルを復号した場合にはステップＳ６１６に進み、そうでなければステップＳ６１３に戻り、続くタイルの符号データの読み出し及び復号処理を行う。そして、復号対象のタイルの全ての復号処理を完了し（ステップＳ６１５のＹＥＳ）、選択された時間階層レベルのフレームの全ての復号処理を完了（ステップＳ６１７のＹＥＳ）した場合に、画像復号装置１０による部分表示のための復号処理を終了する。

このように、領域設定要求が有った場合に、画像復号装置１０は上述の処理のように、全体表示が要求されているか否かに基づいて、部分表示又は全体表示で動画像を表示することができる。次に、注目領域が設定されて部分表示で動画像が表示された後に、全体表示に変更した場合の処理について説明する。例えば、ユーザが表示部１１０のタッチパネルにおいて、注目領域を解除し、全体表示を行うように指示することにより、部分表示から全体表示に変更する処理を開始することができる。尚、部分表示から全体表示に変更する指示方法については限定されない。即ち、表示部１１０の画面上に全体表示に切り替えるためのアイコンを表示し、ユーザが当該アイコンを選択・指示することにより、部分表示から全体表示に変更するように画像復号装置１０を制御しても構わない。また、ユーザが表示部１１０の画面上で動画像の表示を拡大させることを指示することにより、部分表示から全体表示に変更するように画像復号装置１０を制御しても構わない。

部分表示から全体表示へ表示モードの変更が指示された場合、領域設定部１０６は領域設定要求及び注目領域情報を後段の処理部へ出力する。尚、注目領域情報には、注目領域の数に関する情報、注目領域の位置に関する情報、及び注目領域の大きさに関する情報のうち少なくとも一つの情報が含まれる。本実施形態において領域設定部１０６は、部分表示から全体表示へ変更された場合に、注目領域情報として注目領域の数が０であることを示す情報を後段の処理部に出力する。

そして、ステップＳ６０６においてレート算出部１０７は、領域設定要求を取得したと判定するため（ステップＳ６０６のＹＥＳ）、ステップＳ６０７の処理へ進む。ステップＳ６０７においてレート算出部１０７のタイル決定部２０５は、領域設定要求で全体表示が要求されたか否かを判定する。ここでは、注目領域の数が０であるため、タイル決定部２０５は全体表示が要求されたものと判定し（ステップＳ６０７のＹＥＳ）、ステップＳ６１２の処理へ進む。ステップＳ６１２においてタイル決定部２０５は、１フレーム（ピクチャ）全体のタイル（タイル番号００からタイル番号５７までの４８個のタイル）を復号対象のタイルとして決定する。ステップＳ６１２以降は、前述した全体表示を行う場合の処理と同様であるため、説明を省略する。

このように、部分表示から全体表示に変更された場合に、画像復号装置１０は上述の処理によって全体表示を実現することができる。

以上の構成と動作により、本実施形態において画像復号装置は、適切なフレームレートで、時間階層符号化された動画像を復号することが可能になる。

また、本実施形態において画像復号装置は、フレーム全体を表示する全体表示又は注目領域を表示する部分表示のいずれかを、画像復号装置の処理能力に基づいて最適に決定することができる。

尚、本実施形態の部分表示における例では、領域５０１のみを注目領域として説明したが、注目領域として複数の領域が選択された場合も同様に処理を行う。例えば、図５（ｂ）において、領域５０１と領域５０２とが注目領域として選択された場合、注目領域情報に含まれる注目領域の数に関する情報は、注目領域の数が２であることを示す。尚、注目領域情報には、領域５０１と領域５０２の位置及びサイズに関する情報が含まれていても構わない。そして領域設定部１０６は注目領域情報を、端子２０３を介してレート算出部１０７のタイル決定部２０５へ出力する。タイル決定部２０５は、領域５０１に対応するタイル（タイル番号１１、１２、２１、２２のタイル）及び領域５０２に対応するタイル（タイル番号１４、１５、１６、２４、２５、２６のタイル）を復号対象のタイルとして決定する。カウンタ２０６は、タイル決定部２０５によって決定された復号対象のタイルをカウントし、カウントした結果に関する情報（タイル数は１０個）を後段のレート決定部２０７へ出力する。さらに、レート決定部２０７は、フレームレートを７２／１０＝７．２フレーム／秒に決定し、レベル選択部２０８は、フレームレートが６フレーム／秒及び１フレーム／秒である時間階層レベル０及び１を復号画像の時間階層レベルとして選択する。

また、図５（ｂ）における領域５０１、領域５０２、領域５０３、領域５０４が注目領域として設定された場合、注目領域情報に含まれる注目領域の数に関する情報は、注目領域の数が４であることを示す。尚、注目領域情報には、領域５０１、領域５０２、領域５０３、及び領域５０４の、位置及びサイズに関する情報が含まれていても構わない。そして領域設定部１０６は注目領域情報を、端子２０３を介してレート算出部１０７のタイル決定部２０５へ出力する。タイル決定部２０５は、タイル番号１１、１２、２１、２２、１４、１５、１６、２４、２５、２６、３２、４２、３４、３５、３６、３７、４４、４５、４６、４７、５４、５５、５６、５７のタイルを復号対象のタイルとして決定する。即ち、カウンタ２０６によるカウント結果（復号対象のタイルの数）は２１である。さらに、レート決定部２０７による決定結果（フレームレート）は７２／２１＝３．４１フレーム／秒である。レベル選択部２０８は、レート決定部２０７によって決定されたフレームレート（３．４１フレーム／秒）と、各時間階層レベルに対応するフレームレートとを比較する。そして、レベル選択部２０８は、決定されたフレームレート以下であって最大のフレームレートであるという条件を満たす時間階層レベルを、復号画像の時間階層レベルとして決定する。ここでは、時間階層レベル２までが１２フレーム／秒、時間階層レベル１までが６フレーム／秒、時間階層レベル０が１フレーム／秒であるため、決定されたフレームレート以下であって最大のフレームレートは時間階層レベル０の１フレーム／秒である。即ち、レベル選択部２０８による選択結果（復号画像の時間階層レベル）は時間階層レベル０のみである。

尚、本実施形態では全てのタイルが独立復号タイルであるとして説明を行ったが、これに限定されない。独立復号タイルは高いフレームレートで復号し、それ以外のタイルとの合成を行えばよい。例えば、注目領域として領域５０４のみが選択された場合であって、且つ、独立復号タイルがタイル番号３６、４６、５６のタイルのみであった場合を例にとって説明する。この時、独立復号タイルではないタイル（タイル番号３４、３５、４４、４５、５４、５５のタイル）は、他の時間のフレームにおいて復号対象のタイルに対応するタイル以外の領域を参照するため、フレーム全体の復号が必要である。このため、少なくとも時間階層レベルが０のタイルの復号が必要である。即ち、時間階層レベル０のフレームレートは１フレーム／秒であることから、独立復号タイル以外のタイルに関しては４８タイル／秒の復号処理が必要になる。そして、画像復号装置１０のタイル復号部１０３の処理能力は７２タイル／秒であることから、７２−４８＝２４タイル／秒の処理能力が残っている。そして、独立復号タイルはタイル番号３６、４６、５６の３つのタイルであるので、これらの独立復号タイルは２４タイル／秒の処理能力によって、２４÷３＝８フレーム／秒の復号が可能になる。そして、画像復号装置１０は、１フレーム／秒で復号された独立復号タイル以外のタイルと、８フレーム／秒で復号された独立復号タイルのそれぞれの復号画像を合成し、表示部１１０に表示する。即ち、表示部１１０に表示される注目領域に関する動画像は、注目領域である領域５０４のうちの独立復号タイル（タイル番号３６、４６、５６）に対応する位置の画像のみを８フレーム／秒で再生され、それ以外の画像は１フレーム／秒で再生される。

尚、本実施形態では１フレーム内におけるタイルのサイズは一定で、事前に復号側とタイルのサイズに関して不図示の符号化側とで共有されているとして説明を行ったがこれに限定されない。即ち、フレーム内のタイルのサイズは全て一定でなくても構わない。例えば共有されるべきタイルのサイズを標準的なタイルのサイズとして処理能力を取得した後に、ヘッダ復号部１０４で復号されたタイルの実際のサイズと比較して、処理できるタイル数を変更しても構わない。図４（ｂ）は図４（ａ）よりもタイルのサイズが大きくなった場合のタイル数とフレームレートの関係図を表す。同様にタイルサイズがフレームの中で一定でない場合にも、サイズの平均値を標準的なタイルのサイズとして算出し、それ以外のサイズのタイルに関してはその大きさ比で復号に必要とされる処理能力を換算すればよい。

尚、タイルの符号データの復号開始時点では復号画像が表示されず、注目領域の設定がまだ行われていないものとして説明を行ったがこれに限定されない。固定カメラで画面内の位置が変わらない場合であれば、復号対象のシーケンスより前の、復号済みのシーケンスの画像を表示したり、固定カメラによる撮影対象の領域（画面）を表す簡単なイラスト等を表示したりことで、注目領域の指定を復号前に行ってもよい。

尚、図６のステップＳ６０６においてタイル決定部２０５は、領域設定要求に基づいて注目領域の設定の有無を判定したが、これに限定されない。例えば、タイル決定部２０５は、注目領域情報に基づいて、注目領域の位置がフレーム（ピクチャ）の原点（左上端の位置）であり、サイズがピクチャのサイズと等しければ注目領域が設定されていないと判定してももちろん構わない。また、注目領域の更新についても、タイル決定部２０５は、領域設定要求が無い場合に前のフレームの注目領域情報と復号対象のフレームの注目領域情報とを比較し、各情報に変化があった場合に領域設定要求があったと判断してももちろん構わない。

尚、本実施形態においてフレームの時間間隔は１／秒、時間階層レベルの数は３として説明した。また、各時間階層レベルのフレームレートに関して、時間階層レベル２まで（時間階層レベル０，１，２）は１２フレーム／秒、時間階層レベル１まで（時間階層レベル０，１）は６フレーム／秒、時間階層レベル０は１フレーム／秒として説明した。しかしながら、フレームの時間間隔、各時間階層レベルのフレームレート、及び時間階層レベルの数は上述のものに限定されない。

尚、表示制御部１０９は、ヘッダデータに含まれるＴＭＣＴＳ＿ＳＥＩを復号して得られた独立復号タイルに関する情報に基づいて、フレーム内における独立復号タイルの位置、及び／又はサイズに関する情報を、表示部１１０に表示するよう制御しても構わない。これにより、ユーザは表示部１１０に表示された独立復号タイルの位置及び／又はサイズに関する情報に基づいて、注目領域を容易に設定することができる
（実施形態２）
本実施形態では、ユーザによって指定されたフレームレートに基づいて、復号・再生（表示）する際のフレームレートを設定することが可能な画像復号装置１０について説明する。以下、本実施形態に係る画像復号装置について、図面を用いて説明する。まず、本実施形態における画像復号装置の構成について図７を用いて説明する。図７は、本実施形態の画像復号装置１０の構成を示すブロック図である。図７において、実施形態１の図１に示す画像復号装置１０の各処理部と同じ機能を有する処理部については同じ番号を付し、説明を省略する。

レート取得部７０１は、ユーザによって指定されたフレームレートに関する情報を取得する。例えば、表示部１１０にタッチパネルを設け、ユーザが動画像を復号・再生する場合の所望のフレームレート（所定のフレームレート）を、タッチパネルを用いて指定することができる。そしてレート取得部７０１は、タッチパネルでユーザによって指定されたフレームレートを取得することができる。

尚、タッチパネルを用いたフレームレートの指示方法としては、種々の方法を用いることができる。例えば、タッチパネルをユーザが指で所定時間内に複数回タップすることにより、既に表示されている動画像のフレームレートよりフレームレートを上げることを指示するようにしてもよい。また、タッチパネルをユーザが前記所定時間より短い時間内に複数回タップすることにより、フレームレートを下げることを指示するようにしてもよい。また、特定の時間内にユーザによってタップされた回数が多いほどフレームレートを上げることを指示するようにしても構わない。また、表示部１１０の表示画面にフレームレートを上げるか下げるかを選択可能なアイコンを表示させて、ユーザがアイコンをタッチする等して指示するようにしても構わない。また、ユーザが所望のフレームレートの値に関する情報を表示部１１０等に設けたレート入力部（不図示）に入力し、レート取得部７０１がレート入力部（不図示）に入力されたフレームレートの値に関する情報を取得するようにしても構わない。尚、上述したタッチパネル及びレート入力部（不図示）は、表示部１１０に設けられるものに限られず、画像復号装置１０内部の他の処理部として設けても構わないし、画像復号装置１０外部に設けても構わない。

レート算出部７０７は、実施形態１の図１に示すレート算出部１０７とは、レート取得部７０１によって取得されたフレームレートを用いて、表示する動画像のフレームレートを算出する点が異なる。また、復号タイル決定部７０８は、実施形態１の図１に示す復号タイル決定部１０８とは、全体復号レベルをレート算出部７０７から入力する点が異なる。尚、全体復号レベルについての詳細は後述する。

また、本実施形態において画像復号装置１０のタイル復号部１０３は、１秒あたり３６０タイルの復号が可能な処理能力を有するものとする。また、画像復号装置１０の入力部１０１に入力される符号データのタイル分割は実施形態１と同様であり、１フレームのタイル分割の様子は図５（ａ）に示す。

次に、図８を用いてレート算出部７０７の構成の詳細を説明する。図８において、実施形態１の図２に示すレート算出部１０７の各処理部と同じ機能を有する処理部については同じ番号を付し、説明を省略する。

全体復号レベル設定部８０１は、１フレーム全体を復号することが可能な時間階層レベルである全体復号レベルを算出する。端子８１０は、図７のレート取得部７０１から、ユーザによる所望のフレームレートを入力する。領域レート決定部８０７は、全体復号レベル設定部８０１で設定された全体復号レベルに基づいて注目領域のフレームレートを決定する点が実施形態１の図２に示すレート決定部２０７とは異なる。レベル選択部８０８は、端子８１０を介してレート取得部７０１からユーザによる所望のフレームレートを入力する点が実施形態１の図２に示すレベル選択部２０８とは異なる。端子８０９は、全体復号レベル設定部８０１で設定された全体復号レベルを出力する点が実施形態１の図２に示す端子２０９とは異なる。

次に、本実施形態における画像復号装置１０による復号処理の動作について、図１０を用いて説明する。図１０は、本実施形態に係る画像復号装置１０の復号処理動作を表すフローチャートである。図１０において、実施形態１の図６に示すフローチャートのステップと同じ機能を有するステップについては同じ番号を付し、説明を省略する。

また、本実施形態において入力部１０１に入力される符号データは実施形態１と同様に図３に示す符号データであり、符号データの時間階層レベル数は３である。また、本実施形態において、時間階層レベル２まで復号した場合のフレームレートが１２フレーム／秒、時間階層レベル１まで復号した場合のフレームレートが６フレーム／秒である点は、実施形態１と同じである。一方、本実施形態において時間階層レベル０のみを復号した場合のフレームレートが３フレーム／秒である点が実施形態１とは異なる。尚、これらの、符号データの時間階層レベル数及び各時間階層レベルのフレームレートに関する情報は、ヘッダデータを復号した結果からも算出できるが、ユーザから入力されたデータを扱うＳＥＩを用いて記述してももちろん構わない。また、本実施形態において、タイル復号部１０３の処理能力は３６０タイル／秒であり、実施形態１とは異なる。

ステップＳ１００１において、レート算出部７０７の全体復号レベル設定部８０１は、ヘッダ復号部１０４から端子２０２介して入力した情報に基づいて、１フレーム全体を復号することが可能な時間階層レベル（全体復号レベルと称す）を算出する。ここで、全体復号レベル設定部８０１は、時間階層に関する情報（各時間階層レベルのフレームレートに関する情報）、タイルに関する情報（フレーム内のタイルの数に関する情報）、及び能力情報に基づいて、全体復号レベルを算出する。本実施形態において１フレームは図５（ａ）に示すように４８タイルで構成されており、タイル復号部１０３の処理能力は３６０タイル／秒であることから、１フレーム全体を復号する場合のフレームレートは３６０／４８＝７．５フレーム／秒である。そして、各時間階層レベルのフレームレートはそれぞれ１２フレーム／秒（時間階層レベル０，１，２）、６フレーム／秒（時間階層レベル０，１）、３フレーム／秒（時間階層レベル０）であることから、時間階層レベル２までの復号を行えない。このため、全体復号レベル設定部８０１は、フレームレートが６フレーム／秒である時間階層レベル１を全体復号レベルとして設定する。そして、ステップＳ１００１において全体復号レベル設定部８０１は、設定した全体復号レベルをレベル選択部８０８及び端子８０９等の後段の処理部へ出力する。

ここで、全体復号レベル設定部８０１による全体復号レベルの設定処理について、図９に詳細を示す。図９（ａ）は、タイル復号部１０３の処理能力に基づく、復号対象のタイルの数とフレームレートとの関係の全体を表す図である。また、図９（ｂ）は、図９（ａ）の原点の付近を切り出した図であり、図９（ｂ）の右側の曲線Ｃ１は図９（ａ）の一部を表す。１フレームのタイル数は４８であるので、タイル復号部１０３が復号可能なフレームレートは７．５フレーム／秒であることが図９（ｂ）からわかる。また、図９（ｂ）の右側の曲線Ｃ１より下の座標（領域）に示されるフレームレートでは、本実施形態におけるタイル復号部１０３によって復号可能である。一方、当該曲線Ｃ１より上の座標に示されるフレームレートでは、タイル復号部１０３の処理能力により復号できない。

例えば、時間階層レベルが１までの場合、フレームレートは６フレーム／秒であり、図９（ｂ）において○で表される座標となる。また、時間階層レベルが０の場合、フレームレートは３フレーム／秒であり、△で表される座標となる。これら、時間階層レベル１まで及び時間階層レベル０のフレームレートを示す○及び△は、それぞれ曲線Ｃ１の下にあるため、各フレームレートで復号が可能なことが分かる。一方、時間階層レベルが２までの場合、フレームレートは１２フレーム／秒であり、×で表される座標となる。この、時間階層レベル２までのフレームレートを示す×は、曲線Ｃ１の上にあるため、当該フレームレートで復号が不可能なことが分かる。

次に、ステップＳ１００２においてレート取得部７０１は、ユーザによって指定された所望のフレームレートに関する情報を取得する。また、レート取得部７０１はユーザによって所望のフレームレートを指定された場合に、レート指定要求及び所望のフレームレートに関する情報を後段の処理部へ出力する。尚、本実施形態においてユーザによって所望のフレームレートが指定されていない場合、画像復号装置１０は時間階層レベル０のフレームレートで復号・表示することとする。説明のために、最初（復号処理を開始する前）には所望のフレームレートが設定されていなかったものとして説明する。

ステップＳ１００３においてレート算出部７０７は、レート取得部７０１からレート指定要求を取得したか否かを判定する。レート算出部７０７は、レート指定要求を取得していない場合（ステップＳ１００３のＮＯ）、レート取得部７０１によりフレームレートが設定されなかったと判断し、ステップＳ１０１２の処理へ進む。一方、レート算出部７０７は、レート指定要求を取得した場合（ステップＳ１００３のＹＥＳ）、レート取得部７０１によりフレームレートが設定されたと判断し、ステップＳ１００４の処理へ進む。

まず、ステップＳ１００３においてレート算出部７０７が、レート取得部７０１からレート指定要求を取得していないと判定した場合（ステップＳ１００３のＮＯ）について説明する。この場合、ステップＳ１０１２において復号タイル決定部７０８は、次の処理を行う。即ち、ステップＳ１０１２にて復号タイル決定部７０８は、ステップＳ１００１にてレート算出部７０７の全体復号レベル設定部８０１によって設定された全体復号レベルと、復号タイル決定部７０８によって算出された復号対象の時間階層レベルとを比較する。そして、復号タイル決定部７０８は、全体復号レベルが復号対象の時間階層レベルよりも高い場合、復号対象の時間階層レベルまでの各時間階層レベルのタイルの全てを復号対象のタイルとして選択する。さらに、復号タイル決定部７０８は、選択した復号対象のタイルの符号データを、バッファ１０２から読み出し、タイル復号部１０３へ出力する。ここでは、全体復号レベルは時間階層レベル１であり、復号対象の時間階層レベルは０であるため、復号タイル決定部７０８は全体復号レベルが復号対象の時間階層レベルよりも高い。したがって、復号タイル決定部７０８は、復号対象の時間階層レベル０のタイルの全てを復号対象のタイルとして選択する。

そして、ステップ１０１２の処理の後、本実施形態において画像復号装置１０はステップＳ６１４の処理へ進む。ここではステップＳ６１４以降の処理において画像復号装置１０は、復号対象の時間階層レベル０の全てのタイルの符号データを復号・表示する。尚、ステップＳ６１４以降は、実施形態１の図６で説明した処理と同様であるため、説明を省略する。

次に、ステップＳ１００３においてレート算出部７０７が、レート取得部７０１からレート指定要求を取得したと判定した場合（ステップＳ１００３のＹＥＳ）について、ステップＳ１００４以降の処理を説明する。

まず、レート取得部７０１が、ユーザによってフレームレートを上げるように指定された場合について説明する。上述したように、フレームレートを指定する前の、復号処理開始時のフレームレートは時間階層レベル０のフレームレート（３フレーム／秒）である。ここでは、画像復号装置１０は、フレームレートを３フレーム／秒から６フレーム／秒に上げるようユーザから指示されたものとする。

まず、ステップＳ１００４においてレベル選択部８０８は、所望のフレームレートに基づく時間階層レベルが全体復号レベルより上（大きい、高い）か否かを判定する。即ち、レベル選択部８０８は、端子８１０を介してレート取得部７０１から入力された所望のフレームレートに基づいて、全体復号レベル設定部８０１によって設定された全体復号レベルよりも上の時間階層レベルのフレームの復号が必要か否かを判定する。ここで、本実施形態においてレベル選択部８０８は、所望のフレームレートが全体復号レベルに対応するフレームレート以下である場合に、全体復号レベルよりも上の時間階層レベルの復号が必要でないと判定する。そしてレベル選択部８０８は、全体復号レベルよりも上の時間階層レベルの復号が必要であると判定した場合（ステップＳ１００４のＹＥＳ）にはステップＳ１００５の処理へ進む。一方、レベル選択部８０８は、所望のフレームレートが全体復号レベルに対応するフレームレートより大きい場合に、全体復号レベルよりも上の時間階層レベルの復号が必要であると判定する。そして、全体復号レベルより上の時間階層レベルの復号が必要でないと判定した場合（ステップＳ１００４のＮＯ）にはステップＳ１０１０の処理へ進む。ここでは、所望のフレームレート（６フレーム／秒）は全体復号レベルの復号で再現できるフレームレート（７．５フレーム／秒）以下なのでステップＳ１０１０の処理へ進む。

ステップＳ１０１０においてレベル選択部８０８は、所望のフレームレートに対応する時間階層レベルが全体復号レベル以下であるので、復号対象の時間階層レベルを所望のフレームレートに対応する時間階層レベルに変更する。即ち、復号対象の時間階層レベルは、所望のフレームレートを設定されていない場合における時間階層レベル０から、所望のフレームレートに対応する時間階層レベル１に変更される。そして、ステップＳ１０１２以降の処理において画像復号装置１０は、変更された復号対象の時間階層レベル１まで（時間階層レベル０，１）の全てのタイルの符号データを復号・表示する。

次に、レート取得部７０１が、ユーザによってフレームレートをさらに上げるように指定された場合について説明する。ここでは、画像復号装置１０は、フレームレートを６フレーム／秒から９フレーム／秒に上げるようユーザから指示されたものとする。この場合、所望のフレームレートである９フレーム／秒は、図９（ｂ）の★で示される座標である。★は右側の曲線Ｃ１より上にあるため、画像復号装置１０は、タイル復号部１０３の処理能力では、１フレーム全体のフレームレートを所望のフレームレートまで向上させることはできない。

このような場合、ステップＳ１００４においてレベル選択部８０８は、レート取得部７０１によって取得された所望のフレームレートが、全体復号レベル設定部８０１によって設定された全体復号レベルに対応するフレームレート以下であると判定する。即ち、ステップＳ１００４においてレベル選択部８０８は、全体復号レベルよりも上の時間階層レベルの復号が必要であると判定する（ステップＳ１００４のＹＥＳ）。そして、本実施形態において画像復号装置１０は、領域レート決定部８０７によって決定される注目領域のフレームレートに基づいて復号処理を行うため、ステップＳ１００５以降の処理を行う。

ステップＳ１００５において表示制御部１０９は、フレーム全体に対してフレームレートを向上させることが不可能であることを示す情報を表示部１１０に出力し、注目領域の設定をユーザに要請するための通知を行う。即ち、ユーザは表示部１１０に出力された上記の情報を取得し、注目領域を指定する必要があることを認識できる。

ステップＳ１００６において領域設定部１０６は、ユーザによって指定された領域を注目領域として設定する。そして領域設定部１０６は、設定された注目領域に関する注目領域情報を、端子２０３を経由してレート算出部７０７のタイル決定部２０５に出力する。

ステップＳ１００７においてタイル決定部２０５は、実施形態１のステップＳ６０８と同様に、取得した注目領域情報に基づいて、注目領域の復号画像を構成するのに必要な復号対象のタイルを決定する。そして、タイル決定部２０５は、決定した復号対象のタイルに関する情報をカウンタ２０６及び端子８０９へ出力する。

ステップＳ１００８においてカウンタ２０６は、実施形態１のステップＳ６０９と同様に、タイル決定部２０５によって決定された復号対象のタイルに関する情報に基づいて、復号対象のタイルの数をカウントする。そしてカウンタ２０６は、カウントした結果であるタイルの数に関する情報を、領域レート決定部８０７に出力する。

ステップＳ１００９において領域レート決定部８０７は、注目領域のフレームレートを決定する。領域レート決定部８０７は、端子２０１を介して能力取得部１０５から取得されたタイル復号部１０３の処理能力と、全体復号レベルに対応するフレームを復号するのに必要な処理能力とに基づいて、注目領域に対応するタイルのフレームレートを決定する。また、ステップＳ１００９においてレベル選択部８０８は、領域レート決定部８０７によって決定された注目領域のフレームレートに基づいて、注目領域の時間階層レベルを選択する。そして、ステップＳ１００９の処理の後、画像復号装置１０はステップＳ１０１２の処理へ進む。

具体的に、本実施形態において領域レート決定部８０７は、タイル復号部１０３の処理能力から、全体復号レベルに対応するフレームを復号するのに必要な処理能力を差し引いた処理能力で、注目領域に対応するタイルを復号する。ここで、図９（ｂ）を用いて領域レート決定部８０７による注目領域のフレームレートの決定処理について詳細を説明する。図９（ｂ）の左の曲線Ｃ２は、本実施形態において処理能力から全体復号レベルに対応するフレームを復号するのに必要な処理能力を差し引いた処理能力を表す。本実施形態において、タイル復号部１０３の処理能力は３６０タイル／秒であり、全体復号レベルのフレームの復号に必要な処理能力は２８８タイル／秒である。したがって、注目領域のタイルの復号に充てられる処理能力は７２タイル／秒となる。ここで注目領域として図５の領域５０２が選択されたとする。領域５０２の復号に必要なタイルはタイル番号１４、１５、１６、２４、２５、２６のタイルであり、注目領域のタイル数は６である。タイル数が６の場合、左側の曲線Ｃ２と交差する位置は１２フレーム／秒であり、右側の曲線Ｃ１を超えていない。したがって、ステップＳ１００９において領域レート決定部８０７は、注目領域のフレームレートとして１２フレーム／秒を選択する。そして、注目領域のフレームレートに対応する時間階層レベルは２であることから、レベル選択部８０８は、注目領域のタイルは時間階層レベル０，１，２を復号するものとし、それ以外の領域のタイルは時間階層レベル０，１を復号するものとする。

ステップＳ１０１２において復号タイル決定部７０８は、ステップＳ１００１にて全体復号レベル設定部８０１によって設定された全体復号レベルと、ステップＳ１００９にてレベル選択部８０８によって算出された復号する時間階層レベルとを比較する。ここでは、注目領域における復号する時間階層レベル（時間階層レベル２）が全体復号レベル（時間階層レベル１）よりも高い。即ち、復号タイル決定部７０８は、注目領域のタイルを算出された時間階層レベル（時間階層レベル２）で復号し、それ以外の領域のタイルを全体復号レベル（時間階層レベル１）で復号するように、バッファ１０２から必要なタイルの符号データを読み出す。ここでは、復号タイル決定部７０８は、注目領域のタイル（タイル番号１４、１５、１６、２４、２５、２６のタイル）は時間階層レベル２までを選択し、それ以外の領域のタイルは時間階層レベル１までを選択する。

そして、ステップＳ１０１２の処理の後、本実施形態において画像復号装置１０はステップＳ６１４の処理へ進み、ステップＳ６１４以降の処理においてステップＳ１０１２で読み出されたタイルの符号データを復号・表示する。ここでは、画像復号装置１０は、注目領域については算出された時間階層レベルまで（時間階層レベル０，１，２）を１２フレーム／秒で復号し、所望のフレームレートである９フレーム／秒で表示部１１０に表示するよう制御する。尚、本実施形態において画像復号装置１０は、１２フレーム／秒で復号した後、ダウンサンプリングして９フレーム／秒で表示部１１０に表示するよう制御する。また、画像復号装置１０は、注目領域以外については全体復号レベルまで（時間階層レベル０，１）を復号し、全体復号レベルに対応するフレームレート（６フレーム／秒）で表示部１１０に表示するよう制御する。尚、画像復号装置１０は、注目領域について、所望のフレームレートより高いフレームレートで復号可能な場合に、復号したフレームレートで表示部１１０に表示しても構わない。即ち、注目領域について時間階層レベル２までを復号した場合であって、所望のフレームレートが９フレーム／秒である場合に、所望のフレームレートより高い時間階層レベル２に対応したフレームレートで表示部１１０に表示するよう制御しても構わない。

また、レート取得部７０１が、ユーザによってフレームレートを下げるように指示された場合も、画像復号装置１０はフレームレートを上げるように指示された場合と同様の処理を行う。即ち、ステップＳ１００３においてレート算出部７０７は、レート取得部７０１がレート指定要求を取得したとして、ステップＳ１００４の処理に進む。ステップＳ１００４においてレベル選択部８０８は、レート取得部７０１によって取得された所望のフレームレートに基づく時間階層レベルが、全体復号レベルより上か否かを判定する。ここで、フレームレートを下げるよう指示された場合でも、所望のフレームレートに対応する時間階層レベルが全体復号レベルより高ければステップＳ１００５へ進み、上述と同様にステップＳ１００５以降の処理を行う。一方、所望のフレームレートに対応する時間階層レベルが全体復号レベル以下であればステップＳ１０１０へ進み、画像復号装置１０は復号対象の時間階層レベルを所望のフレームレートを実現する時間階層レベルに変更し、ステップＳ１０１０以降の処理を行う。尚、ステップＳ１０１０において画像復号装置１０は、所望のフレームレートに対応する時間階層レベルが全体復号レベル以下であれば、復号対象の時間階層レベルを全体復号レベルに設定しても構わない。

以上の構成と動作により、本実施形態において画像復号装置は、適切なフレームレートで、時間階層符号化された動画像を復号することが可能になる。

また、本実施形態において画像復号装置は、フレーム全体を表示する全体表示又は注目領域を表示する部分表示のいずれかを、画像復号装置の処理能力に基づいて最適に決定することができる。

また、本実施形態において画像復号装置は、全体復号レベルを設定することによって、フレーム全体を処理能力を超えない範囲でなるべく高いフレームレートで再生しつつ、注目領域のみをさらに高いフレームレートで好適に再生することができる。即ち、画像復号装置は、処理能力を超えない範囲で、動画像全体を適切な（所望の）フレームレートで再生し、注目したい部分は最大のフレームレートで再生することができる。

尚、画像復号装置１０は、注目領域の設定を要請するための通知を行う際に、注目領域の候補に関する情報を通知（表示）するようにしてもよい。図１１に、注目領域の候補に関する情報の通知を実現する画像復号装置のブロック図を示す。図１１において、図７に示す画像復号装置１０の各処理部と同じ機能を有する処理部については同じ番号を付し、説明を省略する。候補設定部１１０１は、ヘッダデータに含まれるＴＭＣＴＳ＿ＳＥＩを復号して独立復号タイルに関する情報を取得し、フレーム内における独立復号タイルの位置、サイズに関する情報を、注目領域の候補に関する情報として領域設定部１１０６に入力する。領域設定部１１０６は、候補設定部１１０１から出力された注目領域の候補に関する情報を表示制御部１０９に出力し、表示制御部１０９が表示部１１０に注目領域の候補に関する情報を表示する。

これにより、ユーザは表示部１１０に表示された注目領域の候補に関する情報を参照して、注目領域を容易に選択することができる。また、フレームの一部の領域のみが独立復号タイルで構成されている場合、画像復号装置１０は、注目領域の候補を、当該独立復号タイルに対応する領域としてもよい。また、画像復号装置１０は、注目領域の候補に関する情報を、レート取得部７０１によって取得された所望のフレームレートで復号・表示が可能な領域のサイズ及び／又は位置を示す情報に基づいて、表示部１１０に表示するよう制御してもよい。これにより、ユーザは所望のフレームレートで復号・表示が可能な領域に基づいて、注目領域を容易に選択することができる。

また、画像復号装置１０は、画像符号化装置（不図示）によって各領域に設定された優先度に基づいて、注目領域の候補に関する情報を通知（表示）するようにしてもよい。例えば、画像符号化装置（不図示）がタイル単位で優先度を設定した場合、画像復号装置１０は設定された優先度に応じて、レート取得部７０１によって取得された所望のフレームレートでの復号・表示が可能な領域のサイズ及び／又は位置を決定する。そして、画像復号装置１０は、決定した復号・表示が可能な領域のサイズ及び／又は位置を示す情報に基づいて、注目領域の候補に関する情報を表示部１１０に表示するよう制御してもよい。ここで、画像符号化装置は、例えば、図３（ｅ）のＴＭＣＴＳ＿ＳＥＩにおいて、ｔｍｃｔｓ＿ｉｄ符号の値の大きさを優先度に基づいて付与することで、優先度に関する情報を符号に含めることが可能である。また、画像符号化装置は、ＴＭＣＴＳ＿ＳＥＩ以外の、ユーザによって設定された情報（ユーザデータ）を扱うＳＥＩ等（例えばｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ）を用いて、優先度に関する情報を符号として挿入しても構わない。そして、上述の注目領域の候補の通知方法と同様に、図１１に示す候補設定部１１０１は、ＴＭＣＴＳ＿ＳＥＩを復号して優先度に関する情報を取得し、画像復号装置１０は、取得した優先度に関する情報を表示部１１０に表示するよう制御する。これにより、ユーザは予め符号化側で設定された優先度を参照して、注目領域を容易に選択することができる。

尚、本実施形態において画像復号装置１０は、所望のフレームレートに対応する時間階層レベルが全体復号レベルを超えた場合に注目領域の設定を行う構成としたが、これに限定されない。即ち、画像復号装置１０は、所望のフレームレートに対応する時間階層レベルが全体復号レベル以下の場合であっても、注目領域の設定を行っても構わない。また、画像復号装置１０は、注目領域の設定を行った後に、所望のフレームレートに対応する時間階層レベルと全体復号レベルとの比較を行う構成でも構わない。即ち、画像復号装置１０は、設定された注目領域のフレームレートを所望のフレームレート以上に決定し、その他の領域のフレームレートを注目領域のフレームレートと能力情報とに基づいて決定しても構わない。例えば、所望のフレームレートが６フレーム／秒（時間階層レベル１に対応）であり、全体復号レベルが時間階層レベル２である場合に、注目領域のフレームレートを１２フレーム／秒に決定し、その他の領域のフレームレートを３フレーム／秒に決定してもよい。また、設定された注目領域を表示するために復号する必要があるタイルの数に基づいて、注目領域のフレームレート及びその他の領域のフレームレートを決定しても構わない。例えば、注目領域の復号に必要なタイルの数が所定の値より多い場合に、画像復号装置１０は、全体復号レベルをステップＳ１００１で決定された時間階層レベルより下げて復号・表示するようにしても構わない。

（実施形態３）
本実施形態では、注目領域を所望のフレームレートで復号するのに必要な処理能力と、タイル復号部１０３の処理能力とに基づいて、注目領域を再度設定可能な画像復号装置１０について説明する。以下、本実施形態に係る画像復号装置について、図面を用いて説明する。まず、本実施形態における画像復号装置の構成について図１２を用いて説明する。図１２は、本実施形態の画像復号装置１０の構成を示すブロック図である。図１２において、実施形態１の図１又は実施形態２の図７に示す画像復号装置１０の各処理部と同じ機能を有する処理部については同じ番号を付し、説明を省略する。

領域設定部１２０６は、注目領域を設定する。そして、領域設定部１２０６は、図１の領域設定部１０６とは、レート算出部１２０７から出力される領域変更要求に基づいて注目領域の候補を設定する機能を有する点が異なる。また、レート算出部１２０７は、動画像の１フレーム全体を表示する場合（全体表示の場合）のフレームレート、及び１フレーム内の注目領域を表示する場合（部分表示の場合）のフレームレートを算出する。そして、レート算出部１２０７は、図１のレート算出部１０７とはユーザが設定した注目領域のフレームレートを実現するために、注目領域を変更するよう要求する領域変更要求を領域設定部１２０６に出力する点が異なる。

また、本実施形態において画像復号装置１０のタイル復号部１０３は、実施形態１と同様に、１秒あたり７２タイルの復号が可能な処理能力を有するものとする。また、画像復号装置１０の入力部１０１に入力される符号データも実施形態１の図３に示す符号データと同様であり、符号データのタイル分割も実施形態１の図５（ａ）に示すタイル分割と同様である。また、本実施形態において入力部１０１に入力される符号データの時間階層レベル数は、実施形態１及び実施形態２と同様に３である。また、本実施形態において、時間階層レベル２まで復号した場合のフレームレートは１２フレーム／秒、時間階層レベル１まで復号した場合のフレームレートは６フレーム／秒であり、実施形態１及び実施形態２と同様である。また、時間階層レベル０のみを復号した場合のフレームレートは１フレーム／秒であり、実施形態１と同様である。

次に、図１３を用いてレート算出部１２０７の構成の詳細を説明する。図１３において、実施形態１の図２のレート算出部１０７の各処理部と同じ機能を有する処理部については同じ番号を付し、説明を省略する。レート決定部１３０７は、実施形態１のレート決定部２０７とは設定された復号するタイルに関してタイル復号部１０３の処理能力が不足している場合に、復号するタイルの変更を要求（指示）する点が異なる。また、端子１３１０はレート取得部７０１から所望のフレームレートに関する情報を入力する。

次に、本実施形態における画像復号装置１０による復号処理の動作について、図１４を用いて説明する。図１４は、本実施形態に係る画像復号装置１０の復号処理動作を表すフローチャートである。図１４において、実施形態１の図６又は実施形態２の図１０のフローチャートのステップと同じ機能を有するステップについては同じ番号を付し、説明を省略する。尚、本実施形態においてユーザによって所望のフレームレートが指定されていない場合、画像復号装置１０は時間階層レベル０のフレームレートで復号・表示することとする。説明のために、最初（復号処理を開始する前）には所望のフレームレートは設定されていないものとする。

ステップＳ１００３においてレート算出部１２０７は、実施形態２の図１０に示すステップＳ１００３と同様に、レート取得部７０１からレート指定要求を取得したか否かを判定する。そして、レート算出部１２０７は、レート指定要求を取得していない場合（ステップＳ１００３のＮＯ）、レート取得部７０１によりフレームレートが設定されなかったと判断し、ステップＳ６１２の処理に進む。尚、ステップＳ６１２以降の処理は、実施形態１の図６に示すステップＳ６１２以降の処理と同様であるため、説明を省略する。一方、レート算出部１２０７は、レート指定要求を取得した場合（ステップＳ１００３のＹＥＳ）、レート取得部７０１によりフレームレートが設定されたと判定し、ステップＳ１４０４の処理へ進む。

以下、ステップＳ１００３においてレート算出部１２０７が、レート取得部７０１からレート指定要求を取得したと判定した場合（ステップＳ１００３のＹＥＳ）について、ステップＳ１４０４以降の処理を説明する。

ステップＳ１４０４においてレート算出部１２０７は、復号対象のタイルを復号する場合に必要な処理能力を算出し、算出した必要な処理能力と、タイル復号部１０３の処理能力とを比較する。そして、タイル復号部１０３の処理能力が不足しているか否か（タイル復号部１０３の処理能力が必要な処理能力より低いか否か）を判定し、不足している場合（ステップＳ１４０４のＹＥＳ）に、画像復号装置１０はステップＳ１００５へ進む。一方、充足している場合（ステップＳ１４０４のＮＯ）に、画像復号装置１０はステップＳ６１３へ進む。

まず、ステップＳ１４０４においてタイル復号部１０３の処理能力が不足していると判定された場合（ステップＳ１４０４のＹＥＳ）について説明する。この場合、ステップＳ１００５以降の処理を行う。各ステップＳ１００５〜１００９については、実施形態２の図１０に示す各ステップＳ１００５〜１００９の処理と同様であるため、説明を省略する。そして、本実施形態において画像復号装置１０は、ステップＳ１００９の処理の後、ステップＳ１４１０の処理に進む。

ステップＳ１４１０においてレート算出部１２０７は、ステップＳ１００７で決定された復号対象のタイルを、ステップＳ１００９で決定されたフレームレートで注目領域を復号するのに必要な処理能力を算出する。そして、レート算出部１２０７は、必要な処理能力と、タイル復号部１０３の処理能力とを比較し、タイル復号部１０３の処理能力が充足しているか否か（タイル復号部１０３の処理能力が必要な処理能力以上であるか否か）を変定する。タイル復号部１０３の処理能力が充足していると判定された場合（ステップＳ１４１０のＹＥＳ）に、画像復号装置１０はステップＳ６１３へ進む。一方、不足していると判定された場合（ステップＳ１４１０のＮＯ）に、画像復号装置１０はステップＳ１４１１の処理へ進む。

ステップＳ１４１１において画像復号装置１０は、注目領域の候補を決定する処理を行う。ステップＳ１４１１の処理の後、画像復号装置１０はステップＳ１００５の処理へ戻り、注目領域を再度設定する処理を行う。このように、ステップＳ１４１１において注目領域候補の設定を行うことで、ユーザは注目領域を再度設定する際に注目領域候補を参照し、容易に設定することができる。

以下、図１４において、具体例を説明する。まず、レート取得部７０１が、ユーザによってフレームレートを上げるように指定された場合について説明する。上述したように、フレームレートを指定する前の、復号処理開始時のフレームレートは時間階層レベル０のフレームレート（１フレーム／秒）である。ここでは、画像復号装置１０は、フレームレートを１フレーム／秒から時間階層レベル１のフレームレート（６フレーム／秒）に上げるようユーザから指示されたものとする。

ここでは、タイル決定部２０５によって、フレームの全てのタイルを復号対象のタイルとして決定されるため、カウンタ２０６によるタイル数のカウント結果は、４８個である。レート決定部１３０７は、カウンタ２０６でカウントされたタイル（４８タイル）を、レート取得部７０１で取得された所望のフレームレート（６フレーム／秒）で復号する場合に、４８×６＝２８８タイル／秒の処理能力が必要であるという情報を取得する。また、本実施形態においてタイル復号部１０３の処理能力は７２タイル／秒である。以上のことから、ステップＳ１４０４においてレート決定部１３０７は、タイル復号部１０３の処理能力が不足すると判定し（ステップＳ１４０４のＹＥＳ）、ステップＳ１００５に進む。

各ステップＳ１００５〜１００９の処理は、図１０のステップＳ１００５〜１００９と同様である。ここでは、ステップＳ１００６において領域設定部１０６は、図５に示す領域５０１、領域５０２、領域５０３を注目領域として設定し、設定された注目領域に関する注目領域情報を、端子２０３を経由してタイル決定部２０５に出力する。そして、ステップＳ１００７においてタイル決定部２０５は、復号対象のタイルをタイル番号１１、１２、２１、２２、１４、１５、１６、２４、２５、２６、３２、４２のタイルに決定する。ステップＳ１００８においてカウンタ２０６は、復号対象のタイルの数をカウントし、タイルの数（１２個）に関する情報を、レート決定部１３０７に出力する。ステップＳ１００９においてレート決定部１３０７は、注目領域のフレームレートを所望のフレームレート（６フレーム／秒）に決定し、決定された注目領域のフレームレートに基づいて、注目領域の時間階層レベル（時間階層レベル１）を決定する。

そして、ステップＳ１４１０にてレート決定部１３０７は、次の処理を行う。即ち、レート決定部１３０７は、カウンタ２０６から出力されたタイルの数に関する情報（１２タイル／フレーム）、及び、レート取得部７０１によって取得された所望のフレームレートに関する情報（６フレーム／秒）を端子１３１０を介して取得する。そして、レート決定部１３０７は、タイルの数（１２タイル／フレーム）と、所望のフレームレート（６フレーム／秒）とに基づいて、注目領域を所望のフレームレートで復号するために必要な処理能力を１２×６＝７２タイル／秒であると決定する。即ち、ステップＳ１４１０においてレート決定部１３０７は、必要な処理能力が７２タイル／秒であるのに対し、タイル復号部１０３の処理能力が７２タイル／秒であることから、タイル復号部１０３の処理能力が十分であると判定し、ステップＳ６１３に進む。さらに、ステップＳ６１３以降の処理において画像復号装置１０は、注目領域に対応するタイルを時間階層レベル１まで復号し、所望のフレームレート（６フレーム／秒）で表示部１１０に表示するよう制御する。

次に、レート取得部７０１が、ユーザによってフレームレートをさらに上げるように指定された場合について説明する。ここでは、画像復号装置１０は、フレームレートを６フレーム／秒から時間階層レベル２のフレームレート（１２フレーム／秒）に上げるようユーザから指示されたものとする。

ここでは、上述のステップＳ１００８６において、カウンタ２０６によるタイル数のカウント結果は１２個である。レート決定部１３０７は、カウンタ２０６でカウントされたタイル（１２タイル）を、レート取得部７０１で取得された所望のフレームレート（１２フレーム／秒）で復号する場合に、１２×１２＝１４４タイル／秒の処理能力が必要であるという情報を取得する。また、本実施形態においてタイル復号部１０３の処理能力は７２タイル／秒である。以上のことから、ステップＳ１４０４においてレート決定部１３０７は、タイル復号部１０３の処理能力が不足すると判定し（ステップＳ１４０４のＹＥＳ）、ステップＳ１００５に進む。

各ステップＳ１００５〜１００９の処理は、図１０のステップＳ１００５〜Ｓ１００９と同様である。ここでは、ステップＳ１００６において領域設定部１０６は、図５に示す領域５０２のみを注目領域として設定し、設定された注目領域に関する注目領域情報を、端子２０３を経由してタイル決定部２０５に出力する。そして、ステップＳ１００７においてタイル決定部２０５は、復号対象のタイルをタイル番号１４、１５、１６、２４、２５、２６のタイルに決定する。ステップＳ１００８においてカウンタ２０６は、復号対象のタイルの数をカウントし、タイルの数（６個）に関する情報を、レート決定部１３０７に出力する。ステップＳ１００９においてレート決定部１３０７は、注目領域のフレームレートを所望のフレームレート（１２フレーム／秒）に決定し、決定された注目領域のフレームレートに基づいて、注目領域の時間階層レベル（時間階層レベル２）を決定する。

そして、ステップＳ１４１０にてレート決定部１３０７は、カウンタ２０６から出力されたタイルの数に関する情報（６タイル／フレーム）、及び、レート取得部７０１によって取得された所望のフレームレートに関する情報（１２フレーム／秒）を取得する。そして、レート決定部１３０７は、タイルの数（６タイル／フレーム）と、所望のフレームレート（１２フレーム／秒）とに基づいて、注目領域を所望のフレームレートで復号するために必要な処理能力を６×１２＝７２タイル／秒であると決定する。即ち、ステップＳ１４１０においてレート決定部１３０７は、必要な処理能力が７２タイル／秒であるのに対し、タイル復号部１０３の処理能力が７２タイル／秒であることから、タイル復号部１０３の処理能力が十分であると判定し、ステップＳ６１３に進む。さらに、ステップＳ６１３以降の処理において画像復号装置１０は、注目領域に対応するタイルを時間階層レベル２まで復号し、所望のフレームレート（１２フレーム／秒）で表示部１１０に表示するよう制御する。

尚、ステップＳ１００６において、ユーザによって指定された注目領域が６個以上のタイルに跨る場合、必要な処理能力がタイル復号部１０３の処理能力（７２タイル／秒）を超えてしまう。このような場合、ステップＳ１４１０において、タイル復号部１０３の処理能力が不足している（ステップＳ１４１０のＮＯ）と判定されるため、画像復号装置１０はステップＳ１４１１へ進む。ステップＳ１４１１において表示制御部１０９は、６個分のタイルの領域を示す情報を表示部１１０に表示するよう制御する。ステップＳ１４１１の処理を行う前では、ステップＳ１００５において所望のフレームレートで動画像を復号・表示できないことが通知された場合であっても、復号・表示できる領域のサイズの目安がわからず、注目領域を狭めて設定することが困難である。しかしながら、画像復号装置１０がステップＳ１４１１の処理を行うことにより、ユーザは所望のフレームレートで動画像を復号・表示することが可能な注目領域のサイズを視認することができる。

また、ステップＳ１４１１において領域設定部１２０６は、ステップＳ１００６で取得された注目領域に跨るタイルのうち、注目領域にかかる（含まれる）領域が所定の大きさより小さいタイルを、注目領域の候補から省略する処理を行っても構わない。ここでは、領域５０１、領域５０２、領域５０３に対応するタイルのうち、タイル番号１１、１２、１４、１６、２４、２６のタイルは、注目領域にかかる領域が所定の大きさ（例えば１タイルの１／２のサイズ）より小さい。このため、ステップＳ１４１１において領域設定部１２０６は、上述した注目領域にかかる領域が小さいタイルを省略し、タイル番号１２、２２、１５、２５、３２、４２のタイルのみを注目領域の候補として設定しても構わない。

また、ステップＳ１４１１において表示制御部１０９は、フレーム内のタイルの境界線を表示部１１０に表示するよう制御しても構わない。このように、タイルの境界線を表示することにより、ユーザはフレーム内のタイルの境界線を視認することができ、タイル単位で注目領域を設定することが容易になる。

以上の構成と動作により、本実施形態において画像復号装置は、適切なフレームレートで、時間階層符号化された動画像を復号することが可能になる。

また、本実施形態において画像復号装置は、フレーム全体を表示する全体表示又は注目領域を表示する部分表示のいずれかを、画像復号装置の処理能力に基づいて最適に決定することができる。

また、本実施形態において画像復号装置は、注目領域を所望のフレームレートで復号するのに必要な処理能力が、画像復号装置の処理能力を超えた場合に、注目領域を再設定することができる。また、再設定において処理能力に基づく領域及び／又はタイルの境界線を表示することにより、ユーザにとって注目領域を再設定し易くすることができる。また、再設定において注目領域とタイルとの重なりに基づいて注目領域の候補を設定することにより、処理能力を超えない範囲での復号・表示処理を行い易くすることができる。

尚、本実施形態では選択した注目領域の全て同じフレームレートで復号する場合について説明したが、これに限定されない。例えば、注目領域ごとに異なるフレームレートを設定できるようにしてももちろん構わない。

（実施形態４）
図１、図２、図７、図８、図１１、図１２、及び図１３に示した各処理部は、ハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。以下、図１５を用いて本実施形態について説明する。図１５は、上記各実施形態に係る画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像復号装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１５０１は、図１、図２、図７、図８、図１１、図１２、及び図１３に示した各処理部として機能することになる。

ＲＡＭ１５０２は、外部記憶装置１５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１５０２は、例えば、画像メモリ（ピクチャメモリ）として割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１５０１に対して入力することができる。出力部１５０５は、ＣＰＵ１５０１による処理結果を出力する。また出力部１５０５は例えば液晶ディスプレイで構成され、ＣＰＵ１５０１による処理結果を表示する。

外部記憶装置１５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１５０６には、ＯＳ（オペレーティングシステム）や、図１５に示した各部の機能をＣＰＵ１５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜、ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。Ｉ／Ｆ１５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１５０７を介して様々な情報を取得したり、送出したりすることができる。１５０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１５０１が中心となってその制御を行う。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 画像復号装置
１０１ 入力部
１０２ バッファ
１０３ タイル復号部
１０４ ヘッダ復号部
１０５ 能力取得部
１０６ 領域設定部
１０７ レート算出部
１０８ 復号タイル決定部
１０９ 表示制御部
１１０ 表示部

Claims (9)

1. 画像における部分的な領域である注目領域の大きさに関する情報を取得するサイズ取得手段と、
   前記サイズ取得手段によって取得された前記注目領域の大きさに関する情報に基づいて、前記注目領域のためのフレームレートを決定する決定手段と、
   前記決定手段によって決定されたフレームレートに従って、前記画像における部分的な領域である前記注目領域に対応する符号化データを取得してその注目領域に対応する符号化データを復号する復号手段と
   を有することを特徴とする画像復号装置。
2. 前記画像復号装置によって復号される符号化データは、１以上の画像を含む動画像を複数の時間階層を用いて階層符号化した符号データであり、
   前記階層符号化における前記複数の時間階層に対応する、前記動画像のフレームレートに関する情報を取得するフレームレート情報取得手段を更に有し、
   前記決定手段は、前記フレームレート情報取得手段によって取得された前記各階層に対応するフレームレートに関する情報と、前記サイズ取得手段によって取得された前記注目領域の大きさに関する情報とに基づいて、前記注目領域のフレームレートを決定する
   ことを特徴とする請求項１記載の画像復号装置。
3. 前記サイズ取得手段は、前記注目領域の大きさに関する情報として、前記注目領域に含まれるタイルの数を取得する
   ことを特徴とする請求項１に記載の画像復号装置。
4. 前記画像復号装置が単位時間内に処理可能なタイルの数を取得する第３の取得手段を有し、
   前記サイズ取得手段は、前記注目領域の大きさに関する情報として、前記注目領域に含まれるタイルの数を取得し、
   前記決定手段は、前記フレームレート情報取得手段によって取得された前記複数の時間階層に対応するフレームレートのうち、前記注目領域に含まれるタイルの数と前記画像復号装置が単位時間内に処理可能なタイル数とから算出されたフレームレート以下のフレームレートを、前記注目領域のフレームレートとして決定する
   ことを特徴とする請求項２に記載の画像復号装置。
5. 前記復号手段は、前記決定手段によって決定されたフレームレートに対応する時間階層に基づいて、前記注目領域を復号する
   ことを特徴とする請求項２に記載の画像復号装置。
6. 前記決定手段は、前記フレームレート情報取得手段によって取得された前記複数の階層に対応するフレームレートのいずれかを、前記復号され得る画像の全体を表示する全体表示又は前記注目領域を表示する部分表示におけるフレームレートとして決定する
   ことを特徴とする請求項２に記載の画像復号装置。
7. 前記決定手段は、前記注目領域が指定されていない場合に、前記全体表示におけるフレームレートを決定し、前記注目領域が指定されている場合であって、前記復号され得る画像の全体ではない一部の領域が前記注目領域として指定されている場合に、前記部分表示におけるフレームレートを決定する
   ことを特徴とする請求項６に記載の画像復号装置。
8. 画像における部分的な領域である注目領域の大きさに関する情報を取得するサイズ取得工程と、
   前記サイズ取得工程において取得された前記注目領域の大きさに関する情報に基づいて、前記注目領域のためのフレームレートを決定する決定工程と、
   前記決定工程において決定されたフレームレートに従って、前記画像における部分的な領域である前記注目領域に対応する符号化データを取得してその注目領域に対応する符号化データを復号する復号工程と、
   を有することを特徴とする画像復号方法。
9. コンピュータを、
   画像における部分的な領域である注目領域の大きさに関する情報を取得するサイズ取得手段、
   前記サイズ取得手段によって取得された前記注目領域の大きさに関する情報に基づいて、前記注目領域のためのフレームレートを決定する決定手段、
   前記決定手段によって決定されたフレームレートに従って、前記画像における部分的な領域である前記注目領域に対応する符号化データを取得してその注目領域に対応する符号化データを復号する復号手段、
   として機能させることを特徴とするプログラム。

Images