JP4936869B2

JP4936869B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4936869B2
Application number: JP2006334249A
Authority: JP
Inventors: 高剛小; 直浩野々垣
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-12-12
Filing date: 2006-12-12
Publication date: 2012-05-23
Anticipated expiration: 2026-12-12
Also published as: JP2008146438A; US20080297522A1; US8373711B2

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、効率的な並列処理を可能とする画像処理装置及び画像処理方法に関する。

従来、画像処理及び音声処理のための複数のプロセッサを含むＡＶ向けマルチコアシステムでは、予め処理内容を割り当てられた複数のプロセッサのパイプライン処理により処理効率を向上させていた。しかし、近年、取り扱われるメディア処理方式の多様化に伴い、複数のプロセッサのそれぞれに予め処理内容を割り当てることで、かえって処理効率の低下を招いていた。

これに対して、特許文献１の画像処理装置のように、複数のプロセッサが予め割り当てられた処理を行うのではなく、プロセスキューに登録された順番にセグメント（所定のサイズに分割された画像データ）に対する処理を選択的に行うものがある。特許文献１の画像処理装置のプロセッサは、１つのセグメントに対する処理を完了させた後に、他のプロセッサによる処理が完了した他のセグメントに対する処理を行うことができるので、パイプライン処理よりも処理効率を向上させることができるものである。しかし、特許文献１のプロセッサは、プロセスキューに登録された順番に従って処理を行うので、プロセスキューに登録された複数の処理と他の処理との間に依存関係がある場合には、他の処理が完了するまでプロセスキューに登録された処理を行うことができなかった。その結果、複数のプロセッサの並列性を有効に利用することができないという問題があった。

以上のことから、従来の画像処理装置では、複数のプロセッサを効率的に動作させて画像処理を行うことができず、複数のプロセッサの並列性を有効に利用することはできなかった。
特開２００５−１８９９７５号公報

本発明は、複数のプロセッサを効率的に動作させて画像処理を行う画像処理装置及び画像処理方法を提供することを目的とする。

本発明の第１の態様によれば、複数の画像処理命令を記憶可能な記憶部と、画像処理の対象となる画像データブロック毎に、該画像データブロックの画像処理と他の処理との間の依存関係を示す依存情報を作成する依存情報作成手段と、前記依存情報に基づいて実行可能な画像処理を判定し、該実行可能な画像処理の画像処理命令を前記記憶部に書き込む依存関係解決手段と、前記記憶部に記憶された画像処理命令を読み出し、該画像処理命令に基づいて画像データブロックに対する画像処理を行う複数の画像処理手段と、を備えたことを特徴とする画像処理装置が提供される。

本発明の第２の態様によれば、画像データブロック毎に複数の画像処理を並列に行う画像処理方法であって、処理対象となる画像データブロック毎に、該画像データブロックの画像処理と他の処理との間の依存関係を示す依存情報を作成し、前記依存情報を記憶部に書き込み、前記記憶部に書き込まれた依存情報に基づいて、実行可能な画像処理を判定し、実行可能な画像処理であると判定された画像処理の画像処理命令を前記記憶部に書き込み、前記記憶部に書き込まれた画像処理命令に基づいて画像処理を行うことを特徴とする画像処理方法が提供される。

本発明によれば、複数のプロセッサを効率的に動作させて画像処理を行うことができ、ひいては、複数のプロセッサの並列性を有効に利用することができる。

以下、図面を参照して本発明の実施例について説明する。なお、以下の実施例は、本発明の実施の一形態であって、本発明の範囲は以下の実施例に限られるものではない。

図１は、本発明の実施例に係る画像処理装置の構成を示すブロック図である。

本発明の実施例に係る画像処理装置は、ビットストリームに符号化された画像データを入力データとし、所定の出力装置（例えば、液晶ディスプレイ）に表示可能なデコード画像データを出力するデコーダとしての機能を有し、構文解析手段１０１、画像処理手段１０２ａ〜ｄ及び記憶部１０３を備え、それぞれがバス（又はインターコネクト）１０４を介して接続されるものである。

記憶部１０３は、画像処理命令１０３ａ、依存情報１０３ｂ、ＨＯＳＴタスクプログラム１０３ｃ、ＰＥタスクプログラム１０３ｄ、画像処理プログラム１０３ｅ、構文解析プログラム１０３ｆ、依存情報作成プログラム１０３ｇ及び依存関係解決プログラム１０３ｈを記憶するものである。

画像処理命令１０３ａは、どの画像処理を行うべきか（すなわち、どの画像処理プログラム１０３ｅを起動すべきか）についての命令であり、キュー構造のデータ列として書き込まれる。本発明の実施例では、実行可能な（他の画像処理との依存関係が解決された）画像処理命令１０３ａが記憶部１０３に記憶される。

依存情報１０３ｂは、依存情報作成処理（図４を参照）において作成される情報であって、ある画像処理について、構文解析処理又は他の画像処理との間の依存関係の解決状況(ある画像処理に必要な入力データが構文解析処理又は他の画像処理の出力データとして出力されたか否か)を含む依存情報フィールド（図８を参照）をマクロブロック毎に備えたものである。

図８は、本発明の実施例に係る依存情報フィールドの一例を示す図表である。図８に示される依存情報フィールドは、「画像処理」、「実行完了情報」及び「有効／無効」という３項目を含む。「画像処理」には、１つのマクロブロックに対して行われる画像処理が設定される。「実行完了情報」には、依存関係のある処理（構文解析処理又は画像処理）と依存関係のあるマクロブロックの位置が設定される。また、後述するように、依存関係のある処理が実行済みであるか否かも設定される。ある画像処理について、列方向の全ての処理に「実行済」が設定された場合は、その画像処理が実行可能になったことを意味する。「有効／無効」には、画像処理の有効／無効が設定される。「無効」が設定されている間は、その画像処理が実行可能になることはない。

すなわち、図８に示される依存情報フィールドは、直行変換処理及び動き補償処理が対象となるマクロブロックに対する構文解析処理に依存することを示し、残差加算処理が対象となるマクロブロックに対する直行変換処理及び動き補償処理に依存することを示し、画面内予測処理が対象となるマクロブロックに対する直行変換処理、及び左・上・左上・右上のマクロブロックに対する画面内予測処理に依存することを示し、ＤＢＦ処理が対象となるマクロブロックの残差加算処理及び画面内予測処理、並びに左・上のマクロブロックに対するＤＢＦ処理に依存することを示す。

ＨＯＳＴタスクプログラム１０３ｃは、画像処理の実行依頼をするＨＯＳＴタスク処理（図３を参照）を行うためのプログラムモジュールであって、構文解析手段１０１により起動されるものである。

ＰＥタスクプログラム１０３ｄは、ＨＯＳＴタスク処理において行われた画像処理の実行依頼を受け取って画像処理を実行するとともに、他の画像処理の実行依頼をするＰＥタスク処理（図６を参照）を行うためのプログラムモジュールであって、各画像処理手段１０２ａ〜ｄにより起動されるものである。

画像処理プログラム１０３ｅは、画像処理命令１０３ａに対応する画像処理（図２（ｂ）〜（ｆ）を参照）を行うためのプログラムモジュールであって、各画像処理手段１０２ａ〜ｄにより起動されるものである。

構文解析プログラム１０３ｆは、構文解析処理（図２（ａ）を参照）を行うためのプログラムモジュールであって、構文解析手段１０１により起動されるものである。

依存情報作成プログラム１０３ｇは、依存情報作成処理を行うためのプログラムモジュールであって、ＨＯＳＴタスク処理において呼び出されるものである。

依存解決プログラム１０３ｈは、依存解決処理（１）、（２）（図５、７を参照）を行うためのプログラムモジュールであって、ＨＯＳＴタスク処理又はＰＥタスク処理において呼び出されるものである。

本発明に係る画像処理装置のデコーダ機能の一例として、Ｈ．２６４デコーダがある。Ｈ．２６４デコーダでは、構文解析処理の一例として、Ｈ．２６４／ＡＶＣＳｙｎｔａｘ解析処理があり、画像処理の一例として、画面内予測処理、直交変換処理、動き補償処理、残差加算処理、デブロッキングフィルタ（ＤＢＦ）処理等がある。Ｈ．２６４のデコード処理は、マクロブロックと呼ばれるブロック単位でデコード処理が行われる。このマクロブロック毎に、画面内予測処理を行う「画面内予測、Ｉ」、又は動き補償処理を行う「画面間予測、Ｐ」のいずれかをストリームで指定されるパラメータに基づいて選択し、それぞれの処理フローに従ってデコード処理を行う。

図２（ａ）〜（ｆ）は、本発明の実施例に係る画像処理装置における処理の入出力データを示す概略図である。

図２（ａ）に示されるように、構文解析処理では、符号化画像ストリームを入力データとし、後述する構文解析処理を行い、直行変換処理で使用する係数行列（Ｃｏｅｆｆ）を出力データとする。また、画面内予測モードが選択された場合には予測モードを出力データとし、画面間予測モードが選択された場合にはＢＳ値（ＤＢＦ処理の動作モード）及び動きベクトルを出力データとする。

図２（ｂ）に示されるように、直交変換処理では、マクロブロックのＣｏｅｆｆを入力データとし、直交変換及び逆量子化を行い、残差ブロックを出力データとする。

図２（ｃ）に示されるように、動き補償処理では、動きベクトルを入力データとし、参照画像に基づいて動き補償を行い、予測画像を出力データとする。

図２（ｄ）に示されるように、残差加算処理では、残差ブロック及び予測画像を入力データとし、両者の画素同士を加算し、デコード画像を出力データとする。

図２（ｅ）に示されるように、画面内予測処理では、画面内予測モード、近傍（例えば、左、上、右上、左上）のマクロブロックのデコード画像を入力データとし、画面内予測を行い、対象となるマクロブロックのデコード画像を出力データとする。なお、近傍のマクロブロックの数又は方向は任意に定められる。

図２（ｆ）に示されるように、ＤＢＦ処理では、デコード画像及び近傍のマクロブロックのＤＢＦ済みのデコード画像を入力データとし、ＤＢＦをかけ、対象となるマクロブロックのＤＢＦ済みのデコード画像を出力データとする。

図３は、本発明の実施例に係るＨＯＳＴタスク処理における構文解析手段の処理手順を示すフローチャートである。構文解析手段１０１は、ＨＯＳＴタスクプログラム１０３ｃを起動することによりＨＯＳＴタスク処理を行う。

はじめに、記憶部１０３に記憶された構文解析プログラム１０３ｆを起動し、構文解析処理を行い、図８に示されるマクロブロック毎の依存情報フィールドを作成する（Ｓ３０１）。続いて、依存情報作成プログラム１０３ｇを起動し、図４に示される依存情報作成処理を行う（Ｓ３０２）。続いて、依存関係解決処理プログラム１０３ｈを起動し、図５に示される依存関係解決処理（１）を行う（Ｓ３０３）。

図４は、本発明の実施例に係る依存情報作成処理における構文解析手段１０１の処理手順を示すフローチャートである。構文解析手段１０１は、依存情報作成プログラム１０３ｇを起動することにより依存情報作成処理を行う。

はじめに、記憶部１０３の依存情報１０３ｂをロックする（Ｓ４０１）。Ｓ４０１は、依存情報作成処理及び後述する依存関係解決処理（１）の実行中に、構文解析手段１０１と並列して動作可能な画像処理手段１０２ａ〜ｄにより依存情報１０３ｂが参照されることを防ぐために行われる。続いて、構文解析処理（図３のＳ３０１）の結果及びマクロブロックの位置に応じて依存情報フィールドの「有効／無効」を設定する（Ｓ４０２）。続いて、「実行完了情報」の「構文解析処理」に「実行済」を設定する（Ｓ４０３）。続いて、構文解析処理の出力データ及びマクロブロックの位置に基づいて「実行完了情報」の不要な画像処理に「実行済」を設定する（Ｓ４０４）。Ｓ４０２〜Ｓ４０４は、依存情報作成プログラム１０３のアルゴリズムに基づいて行われる。続いて、Ｓ４０１〜４０４が完了した依存情報フィールドを依存情報１０３ｂとして記憶部１０３に書き込む（Ｓ４０５）。Ｓ４０１〜Ｓ４０５は、全てのマクロブロックについて完了するまで繰り返される（Ｓ４０６）。

図５は、本発明の実施例に係る依存関係解決処理（１）における構文解析手段１０１の処理手順を示すフローチャートである。構文解析手段１０１は、依存関係解決プログラム１０３ｈを起動することにより依存関係解決処理（１）を行う。

はじめに、記憶部１０３から依存情報１０３ｂを読み出し、依存情報フィールドを参照する（Ｓ５０１）。続いて、「有効／無効」にいずれが設定されたかを判断する（Ｓ５０２）。

「無効」が設定された画像処理については（Ｓ５０２−Ａ：無効）、実行不可能と判断する（Ｓ５０３）。

一方、「有効」が設定された画像処理については（Ｓ５０２−Ｂ：有効）、「実行完了情報」の全てが「実行済」であるか否かを判断する（Ｓ５０４）。

全てが「実行済」である画像処理については実行可能と判断する（Ｓ５０４−Ｙｅｓ、Ｓ５０５）。続いて、記憶部１０３の画像処理命令１０３ａをロックする（Ｓ５０６）。Ｓ５０６は、依存関係解決処理の実行中に画像処理手段１０２ａ〜ｄによる画像処理命令１０３ａの読み出し及び書き込みを防ぐために行われる。続いて、画像処理命令１０３ａを記憶部１０３に書き込み、その旨を他の画像処理手段１０２ａ〜ｄに通知する（Ｓ５０７）。続いて、記憶部１０３の画像処理命令１０３ａをアンロックする（Ｓ５０８）。

他方、全てが「実行済」でない画像処理については実行不可能と判断する（Ｓ５０４−Ｎｏ、Ｓ５０３）。

依存情報フィールドに含まれる全ての画像処理についてＳ５０２〜Ｓ５０８を繰り返す（Ｓ５０９）。また、全てのマクロブロックについてＳ５０１〜Ｓ５０９を繰り返し、完了した場合には（Ｓ５１０−Ｙｅｓ）、記憶部１０３の依存情報１０３ｂが記憶される領域をアンロックし、依存解決処理（１）を終了する（Ｓ５１１）。

図６は、本発明の実施例に係るＰＥタスク処理における画像処理手段１０２ａ〜ｄの処理手順を示すフローチャートである。画像処理手段１０２ａ〜ｄは、それぞれ、ＰＥタスクプログラム１０３ｄを起動することによりＰＥタスク処理を行う。なお、画像処理手段１０２ａ〜ｄは、それぞれが並列してＰＥタスクプログラム１０３ｄを起動することができる。

はじめに、記憶部１０３に画像処理命令１０３ａが存在する場合は（Ｓ６０１−Ｙｅｓ）、記憶部１０３の画像処理命令１０３ａをロックする（Ｓ６０２）。Ｓ６０２は、ＰＥタスク処理の実行中に他の画像処理手段（例えば、画像処理手段１０２ａによりＰＥタスクが実行されている場合は、画像処理手段１０２ｂ〜ｄ）による画像処理命令１０３ａの読み出し及び書き込みを防ぐために行われる。続いて、画像処理命令１０３ａを読み出す（Ｓ６０３）。続いて、記憶部１０３の画像処理命令１０３ａをアンロックする（Ｓ６０４）。続いて、Ｓ６０３において読み出された画像処理命令１０３ａに対応する画像処理プログラム１０３ｅを起動し、画像処理を行う（Ｓ６０５）。画像処理が完了した後、後述する依存関係解決処理（２）を行う（Ｓ６０６）。

一方、画像処理命令１０３ａが存在しない場合は（Ｓ６０１−Ｎｏ）、待機状態に移行する（Ｓ６０７）。その後、画像処理命令１０３ａが書き込まれるまで待機状態を維持し（Ｓ６０８−Ｎｏ）、画像処理命令１０３ａが書き込まれた後（Ｓ６０６−Ｙｅｓ）、待機状態から復帰する（Ｓ６０９）。その後は、Ｓ６０２〜Ｓ６０６を行う。

図７は、本発明の実施例に係る依存関係解決処理（２）における画像処理手段１０２ａ〜ｄの処理手順を示すフローチャートである。画像処理手段１０２ａ〜ｄは、依存関係解決プログラム１０３ｈを起動することにより依存関係解決処理（２）を行う。

はじめに、記憶部１０３の依存情報１０３ｂをロックする（Ｓ７０１）。Ｓ７０１は、依存関係解決処理（２）の実行中に構文解析手段１０１又は他の画像処理手段（例えば、画像処理手段１０２ａにより依存関係解決処理（２）が実行されている場合は、画像処理手段１０２ｂ〜ｄ）による依存情報１０３ｂの読み出し及び書き込みを防ぐために行われる。続いて、画像処理対象のマクロブロックの依存情報１０３ｂを読み出し、依存情報フィールドを参照する（Ｓ７０２）。続いて、記憶部１０３の依存情報１０３ｂをアンロックする（Ｓ７０３）。

続いて、Ｓ６０３において実行された画像処理に対応する「実行完了情報」の「画像処理」に「実行済」を設定する（Ｓ７０４）。ここで、Ｓ７０１において読み出した依存情報１０３ｂだけでなく、他のマクロブロックの依存情報１０３ｂの依存情報フィールドに含まれる「実行完了情報」の「画像処理」にも「実行済」を設定する。この設定は、画像処理対象のマクロブロックに対して行った画像処理に依存関係のある全てのマクロブロックについて行われる。Ｓ７０４は、依存関係解決プログラム１０３ｈのアルゴリズムに基づいて行われる。続いて、「有効／無効」にいずれが設定されたかを判断する（Ｓ７０５）。

「無効」が設定された画像処理については（Ｓ７０５−Ａ：無効）、実行不可能と判断する（Ｓ７０６）。

一方、「有効」が設定された画像処理については（Ｓ７０５−Ｂ：有効）、依存情報フィールドを列方向に見て、「実行完了情報」の全てが「実行済」であるか否かを判断する（Ｓ７０７）。

全てが「実行済」である画像処理については実行可能と判断する（Ｓ７０７−Ｙｅｓ、Ｓ７０８）。続いて、記憶部１０３の画像処理命令１０３ａをロックする（Ｓ７０９）。Ｓ７０９は、依存関係解決処理（２）の実行中に他の画像処理手段（例えば、画像処理手段１０２ａにより依存関係解決処理（２）が実行されている場合は、画像処理手段１０２ｂ〜ｄ）による画像処理命令１０３ａの読み出し及び書き込みを防ぐために行われる。続いて、画像処理命令を記憶部１０３に書き込む（Ｓ７１０）。続いて、記憶部１０３の画像処理命令１０３ａをアンロックする（Ｓ７１１）。

一方、全てが「実行済」でない画像処理については実行不可能と判断する（Ｓ７０７−Ｎｏ、Ｓ７０６）。

１つの依存情報フィールドに含まれる全ての画像処理についてＳ７０５〜Ｓ７１１を繰り返し、全ての画像処理について完了した場合に依存解決処理（２）を終了する（Ｓ７１２−Ｙｅｓ）。

本発明の実施例によれば、複数の画像処理の間の依存関係及び依存関係のある画像処理の実行完了情報を含む依存情報１０３ｂに基づいて画像処理命令１０３ａを記憶部１０３に書き込むので、実行可能な画像処理命令１０３ａのみが記憶部に書き込まれることになる。換言すると、画像処理を実行中でない画像処理手段１０２ａ〜ｄは、直ちに記憶部１０３の画像処理命令１０３ａを実行できることになる。その結果、効率的な並列処理を行うことができる。

また、動画像符号化ストリーム等のヘッダ情報に基づいて、マクロブロック毎の画像処理単位で「実行完了情報」を管理するので、マクロブロック内の画像処理間に存在する並列性を最大限に利用し、画像処理手段１０２ａ〜ｄのそれぞれに特定の処理を固定的に割り当てる必要が無い。その結果、効率的な並列処理を行うことができる。

また、マクロブロック毎に画像処理の「有効／無効」を設定するので、マクロブロック間で異なる画像処理手順を実行することができる。

また、画像処理命令１０３ａが存在しない場合には、画像処理手段１０２ａ〜ｄが待機状態に移行することにより、画像処理装置の消費電力を低減することができる。

本発明の実施例に係る画像処理装置の構成を示すブロック図である。（ａ）〜（ｆ）は、本発明の実施例に係る画像処理装置における処理の入出力データを示す概略図である。本発明の実施例に係るＨＯＳＴタスク処理における構文解析手段の処理手順を示すフローチャートである。本発明の実施例に係る依存情報作成処理における構文解析手段１０１の処理手順を示すフローチャートである。本発明の実施例に係る依存関係解決処理（１）における構文解析手段１０１の処理手順を示すフローチャートである。本発明の実施例に係るＰＥタスク処理における画像処理手段１０２ａ〜ｄの処理手順を示すフローチャートである。本発明の実施例に係る依存関係解決処理（２）における画像処理手段１０２ａ〜ｄの処理手順を示すフローチャートである。本発明の実施例に係る依存情報フィールドの一例を示す図表である。

符号の説明

１０１構文解析手段
１０２ａ〜ｄ画像処理手段
１０３記憶部

Claims

第１画像処理を実行する第１画像処理手段と、
前記第１画像処理の実行前に実行されるべき第２画像処理を実行する第２画像処理手段と、
複数の画像処理命令を記憶可能な記憶部と、
前記第１画像処理の対象となる画像データブロック毎に、前記第１画像処理の種類に対応付けられた前記第２画像処理が実行済みであるか否かを示す実行完了情報を含む依存情報を作成する依存情報作成手段と、
前記第１画像処理を実行するときに、前記実行完了情報において、実行済みであることを示す前記第２画像処理の実行後に実行されるべき第１画像処理を実行可能と判定し、実行可能と判定された第１画像処理の画像処理命令を、前記記憶部に書き込む依存関係解決手段と、を備え、
前記第１画像処理手段は、前記記憶部に記憶された前記第１画像処理の画像処理命令に基づいて、前記画像データブロックに対して前記第１画像処理を行うことを特徴とする画像処理装置。
前記依存情報作成手段は、前記第１画像処理の種類に対応付けられた、前記第１画像処理の有効又は無効を示す情報をさらに含む依存情報を作成し、
前記依存関係解決手段は、実行可能と判定され、且つ、有効を示す情報に対応付けられた前記第１画像処理の画像処理命令を、前記記憶部に書き込む、請求項１に記載の画像処理装置。
前記依存関係解決手段は、前記第１画像処理を実行した後に、実行された第１画像処理の実行後に実行されるべき画像処理に対応付けられた前記実行完了情報を更新する、請求項１又は２に記載の画像処理装置。
前記画像処理手段は、前記記憶部に画像処理命令が記憶されていない場合に待機状態に移行する、請求項１乃至３の何れかに記載の画像処理装置。
前記画像処理手段は、待機状態である間に前記画像処理命令が前記記憶部に記憶された場合に、該待機状態を解除する、請求項４に記載の画像処理装置。
第１画像処理を実行する第１画像処理手段と、前記第１画像処理の実行前に実行されるべき第２画像処理を実行する第２画像処理手段と、複数の画像処理命令を記憶可能な記憶部と、を用いて、画像データブロック毎に複数の画像処理を並列に行う画像処理方法であって、
前記第１画像処理の対象となる画像データブロック毎に、前記第１画像処理の種類に対応付けられた、前記第１画像処理の実行前に実行されるべき第２画像処理が実行済みであるか否かを示す実行完了情報を含む依存情報を作成し、
前記第１画像処理を実行するときに、前記実行完了情報において、実行済みであることを示す前記第２画像処理の実行後に実行されるべき第１画像処理を実行可能と判定し、
実行可能と判定された第１画像処理の画像処理命令を、前記記憶部に書き込み、
前記記憶部に書き込まれた前記第１画像処理の画像処理命令に基づいて、前記画像データブロックに対して前記第１画像処理を行う、ことを特徴とする画像処理方法。