JP2007110409A - 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム - Google Patents
画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP2007110409A JP2007110409A JP2005298968A JP2005298968A JP2007110409A JP 2007110409 A JP2007110409 A JP 2007110409A JP 2005298968 A JP2005298968 A JP 2005298968A JP 2005298968 A JP2005298968 A JP 2005298968A JP 2007110409 A JP2007110409 A JP 2007110409A
- Authority
- JP
- Japan
- Prior art keywords
- calculation
- pixel
- correlation value
- image processing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 減算方向の決定にかかる処理時間を短縮し、しかもイントラ予測を使って符号化された画像データの圧縮率低下を抑える。
【解決手段】 画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する符号化演算部204、演算の演算方向を決定する演算方向決定部205を備える。演算方向決定部205は、一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出部201a、201b、算出された相関値がより強い相関性を示す画素の配列方向を選択する相関値比較部202、選択された配列方向に基づいて演算方向を決定する予測モード決定部203を備える。
【選択図】 図2
【解決手段】 画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する符号化演算部204、演算の演算方向を決定する演算方向決定部205を備える。演算方向決定部205は、一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出部201a、201b、算出された相関値がより強い相関性を示す画素の配列方向を選択する相関値比較部202、選択された配列方向に基づいて演算方向を決定する予測モード決定部203を備える。
【選択図】 図2
Description
本発明は、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムに係り、特に動画像を符号化するための画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムに関する。
現在、動画像を符号化する方式の一つに、H.264がある。H.264には、1フレームの内部で予測画像を生成する、イントラ予測と呼ばれる処理がある。イントラ予測は、所定の数の画素で構成される画素ブロックごとに行われ、画像データ全体は、縦、横方向に配置される複数の画素ブロックによって構成される。イントラ予測では、画像データにおいて隣接して配置され、かつ先に符号化または復号化の処理がされた画素ブロックの画素の値をつかって未処理の画素ブロックを符号化または復号化する。
画素ブロックは、16×16、8×8、4×4というように、同数の画素を縦、横方向配置して構成される。イントラ予測方式で画像データを符号化する場合、符号化の対象となる画素ブロックにおいて配置される画素の例えば縦、または横といった一の配置方向を定め、この方向に沿って先に符号化された他の画素ブロックに含まれる画素の画素値から順次画素値を減算する。減算された値は、さらにDCT(離散コサイン変換)処理された後、エントロピ符号化される。
なお、上記した処理において、複数の配置方向のうち配置方向に沿って減算の結果得られる予測誤差値の総和が最も小さい方向が、減算の方向に沿う配置方向(演算方向)に設定される。このような従来技術としては、例えば、特許文献1に記載された発明が挙げられる。
なお、各画素の予測誤差値の総和が最も小さくなる方向が減算方向に設定される理由は、予測誤差値の総和が小さいほど符号化後のデータ量が小さくなるためである。
なお、各画素の予測誤差値の総和が最も小さくなる方向が減算方向に設定される理由は、予測誤差値の総和が小さいほど符号化後のデータ量が小さくなるためである。
図7は、4×4の画素ブロックがとり得る9種類の減算方向を具体的に説明するための図である。方向が異なる9種類の減算処理は、いずれも予測モードと呼ばれ、減算方向によって予測モード0から予測モード8までの識別子が付されている。
図7(a)〜(i)のいずれにおいても、黒丸で示す画素1は、既に符号化されている画素ブロックの画素であって、白丸で示す画素2は、符号化の対象となる画素ブロックに含まれる画素である。また、図中に示した矢線は、各々の予測モードの減算方向を示す。イントラ予測における符号化では、図示した矢線が示す方向に沿って矢線の始端と重なる画素1の画素値から、同一の矢線と重なる複数の画素2の画素値の各々を順次減算する。
図7(a)〜(i)のいずれにおいても、黒丸で示す画素1は、既に符号化されている画素ブロックの画素であって、白丸で示す画素2は、符号化の対象となる画素ブロックに含まれる画素である。また、図中に示した矢線は、各々の予測モードの減算方向を示す。イントラ予測における符号化では、図示した矢線が示す方向に沿って矢線の始端と重なる画素1の画素値から、同一の矢線と重なる複数の画素2の画素値の各々を順次減算する。
なお、図7(c)に示した予測モード2では、閉曲線a1、a2で囲んだ画素1の値の平均を、各々予測誤差値として採用する。このため、図*(c)には矢線の図示がされていない。
特許文献1等に記載された従来技術は、1つの画素ブロックについて9種類の予測モードで予測誤差値を算出し、算出された予測誤差値の総和を算出する。そして、9種類の予測モード間で総和を比較し、予測モード0〜8のうちの最小の総和を得る予測モードで画素値を減算した結果を後段の処理部に送っている。
特開2005−184241号公報
特許文献1等に記載された従来技術は、1つの画素ブロックについて9種類の予測モードで予測誤差値を算出し、算出された予測誤差値の総和を算出する。そして、9種類の予測モード間で総和を比較し、予測モード0〜8のうちの最小の総和を得る予測モードで画素値を減算した結果を後段の処理部に送っている。
近年、画像処理装置にはいっそうの高速処理が要求されるので、従来のイントラ予測を使った符号化の技術は、より短時間のうちに減算方向を決定し、高速に画像データを符号化することが望まれている。しかしながら、上記した従来技術は、イントラ予測の規格である9種類の予測モードの全てを使って予測誤差値を算出し、算出された予測誤差値の総和を比較して減算方向を決定している。このため、符号化後にデータ量が最小になる減算方向を正確に判定できる一方で、処理時間については考慮されていない。
本発明は、このような点に鑑みてなされたものであって、減算方向の決定にかかる処理時間を短縮することによって符号化にかかる処理の時間を短縮でき、しかもイントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能な画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
以上の課題を解決するため、本発明の画像処理装置は、所定の数の画素で構成される画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、前記演算方向決定手段は、一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出手段と、前記相関値算出手段によって算出された相関値がより強い相関性を示す画素の配列方向を選択する配列方向選択手段と、を備え、前記配列方向選択手段によって選択された配列方向に基づいて演算方向を決定することを特徴とする。
このため、複数の演算方向から強い相関性が得られる演算方向を予め絞ることができる。したがって、複数の演算方向の全てについて演算してみて演算方向を決定する必要がなく、演算方向の決定にかかる演算量を低減することによって処理時間を短縮し、符号化にかかる処理の時間を短縮することができる。
このため、複数の演算方向から予め相関性が強い演算方向を絞ることができる。このため、複数の演算方向の全てについて演算してみて演算方向を決定する必要がなく、演算方向の決定にかかる演算量を低減することによって処理時間を短縮し、符号化にかかる処理の時間を短縮することができる。
このため、複数の演算方向から予め相関性が強い演算方向を絞ることができる。このため、複数の演算方向の全てについて演算してみて演算方向を決定する必要がなく、演算方向の決定にかかる演算量を低減することによって処理時間を短縮し、符号化にかかる処理の時間を短縮することができる。
また、画像データは、比較的狭い範囲では画素値の相関が比較的大きい傾向がある。このため、1つの画素ブロックの2方向の相関性から画素ブロック全体の相関性の傾向を推定できる。このため、本発明は、2方向のうち強い相関性を示す方向に基づいて演算方向を決定することにより、符号化率が高い演算方向を選択できる。このため、イントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能になる。
また、本発明の画像処理装置は、前記相関値算出手段が、第1画素ブロックに含まれる第1画素と、第1画素ブロックと隣接する第2画素ブロックに含まれて、かつ第1画素と隣接する第2画素との相関値を、第1画素の少なくとも2つの配列方向について算出することを特徴とする。
このような発明によれば、演算方向の決定に使用される相関値の算出を互いに隣接する画素間のみで実行することができる。すなわち、本来、画像信号は距離とともに相関が減少することが知られている。このため、本発明は、第1画素ブロックに含まれる第1画素と第1画素ブロックに隣接する第2画素ブロックに含まれて、かつ第1画素と隣接する第2画素との相関を用いることにより、第2画素ブロックに含まれるその他の第2画素と第1画素を比較するよりも、第1画素ブロックと第2画素ブロック間の相関値を適正に算出することができる。
このような発明によれば、演算方向の決定に使用される相関値の算出を互いに隣接する画素間のみで実行することができる。すなわち、本来、画像信号は距離とともに相関が減少することが知られている。このため、本発明は、第1画素ブロックに含まれる第1画素と第1画素ブロックに隣接する第2画素ブロックに含まれて、かつ第1画素と隣接する第2画素との相関を用いることにより、第2画素ブロックに含まれるその他の第2画素と第1画素を比較するよりも、第1画素ブロックと第2画素ブロック間の相関値を適正に算出することができる。
また、本発明の画像処理装置は、前記相関値算出手段が、一の画素ブロックに含まれて、かつ一方向に配列された画素同士の相関値を画素ブロックの少なくとも2つの配列方向について算出することを特徴とする。
このような発明によれば、演算方向決定の演算のために他の画素ブロックの画素値を保存しておくためのメモリやレジスタをなくすことができる。このため、装置構成を小規模化することができる。
このような発明によれば、演算方向決定の演算のために他の画素ブロックの画素値を保存しておくためのメモリやレジスタをなくすことができる。このため、装置構成を小規模化することができる。
また、本発明の画像処理装置は、前記演算方向決定手段が、前記配列方向選択手段によって選択された配列方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、該候補から前記演算手段によって実行される演算の演算方向を決定することを特徴とする。
このような発明によれば、選択された配列方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、この候補から前記演算手段によって実行される演算の演算方向を決定することができる。
このような発明によれば、選択された配列方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、この候補から前記演算手段によって実行される演算の演算方向を決定することができる。
このため、選択された配列方向のみならず配列方向に傾向が似た方向に沿う演算候補の中から符号化のための演算に使用される演算方向を決定することができるので、より符号化率が高い演算方向を選択することができる。
また、本発明の画像処理装置は、前記演算方向決定手段が、演算方向の前記候補に沿って画素ブロックに含まれる画素の値を演算し、演算によって得られる複数の結果のうちの最も少ないデータ量を示す結果を得る候補を演算方向に決定することを特徴とする。
また、本発明の画像処理装置は、前記演算方向決定手段が、演算方向の前記候補に沿って画素ブロックに含まれる画素の値を演算し、演算によって得られる複数の結果のうちの最も少ないデータ量を示す結果を得る候補を演算方向に決定することを特徴とする。
このような発明によれば、実際に演算して最も少ないデータ量を示す演算方向を決定することができるので、符号化率が最も高い候補を正確に演算方向に決定することができる。
また、本発明の画像処理装置は、前記演算方向決定手段が、演算方向の前記候補のうち、演算方向を特定するために必要なデータ量が最も少ない候補を演算方向に決定することを特徴とする。
また、本発明の画像処理装置は、前記演算方向決定手段が、演算方向の前記候補のうち、演算方向を特定するために必要なデータ量が最も少ない候補を演算方向に決定することを特徴とする。
このような発明によれば、符号化されたデータなかりでなく符号化されたデータに付されるデータ量をも低減することができる。
また、本発明の画像処理方法をコンピュータに実行させるためのプログラムは、所定の数の画素で構成される画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する画像処理方法をコンピュータに実行させるためのプログラムであって、一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出ステップと、前記相関値算出ステップにおいて算出された相関値がより強い相関性を示す画素の配列方向を選択する配列方向選択ステップと、配列方向選択ステップにおいて選択された配列方向に基づいて演算方向を決定する演算方向決定ステップと、を含むことを特徴とする。
また、本発明の画像処理方法をコンピュータに実行させるためのプログラムは、所定の数の画素で構成される画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する画像処理方法をコンピュータに実行させるためのプログラムであって、一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出ステップと、前記相関値算出ステップにおいて算出された相関値がより強い相関性を示す画素の配列方向を選択する配列方向選択ステップと、配列方向選択ステップにおいて選択された配列方向に基づいて演算方向を決定する演算方向決定ステップと、を含むことを特徴とする。
このような発明によれば、一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出することができる。また、相関値算出ステップにおいて算出された相関値がより強い相関性を示す画素の配列方向を選択し、選択された配列方向に基づいて演算方向を決定することができる。そして、選択された配列方向に基づいて演算方向を決定することができる。
このため、複数の演算方向から強い相関性が得られる演算方向を予め絞ることができる。したがって、複数の演算方向の全てについて演算してみて演算方向を決定する必要がなく、演算方向の決定にかかる演算量を低減することによって処理時間を短縮し、符号化にかかる処理の時間を短縮することができる。
以下、図を参照して本発明にかかる画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムの一実施の形態を説明する。
図1は、実施形態1、実施形態2の画像処理装置のH.264/AVC(Advanced video coding)符号器の基本的な構成を説明するための図である。図示した構成は、ビデオ等の動画像の画像データを所定の数の画素(画素ブロック)ごとに符号化すると共に、フレーム全体を符号化する構成である。このため、図1の符号器は、画像データをDCT(Discrete Cosine Transform)変換及び量子化するDCT・量子化部102、量子化された画像データを符号化するエントロピ符号化部103を備えている。また、量子化された画像データを量子化及びDCT変換以前の状態に戻す逆量子化部(逆DCTも行う)105、ノイズを解消するためのデブロックフィルタ105、画像データを1フレーム分蓄積するフレームメモリ106、蓄積された画像データのフレーム間の動きを予測して補償するインター予測部107、画素ブロックごとに予測誤差値を算出するイントラ予測部101を備えている。
図1は、実施形態1、実施形態2の画像処理装置のH.264/AVC(Advanced video coding)符号器の基本的な構成を説明するための図である。図示した構成は、ビデオ等の動画像の画像データを所定の数の画素(画素ブロック)ごとに符号化すると共に、フレーム全体を符号化する構成である。このため、図1の符号器は、画像データをDCT(Discrete Cosine Transform)変換及び量子化するDCT・量子化部102、量子化された画像データを符号化するエントロピ符号化部103を備えている。また、量子化された画像データを量子化及びDCT変換以前の状態に戻す逆量子化部(逆DCTも行う)105、ノイズを解消するためのデブロックフィルタ105、画像データを1フレーム分蓄積するフレームメモリ106、蓄積された画像データのフレーム間の動きを予測して補償するインター予測部107、画素ブロックごとに予測誤差値を算出するイントラ予測部101を備えている。
イントラ予測部101は、本実施形態1、実施形態2の画像処理装置の要部をなす構成であって、ソフトウェアの処理によってイントラ予測の予測モードを決定し、決定した予測モードによってイントラ予測を行うものである。
(実施形態1)
図2は、実施形態1のイントラ予測部101において予測モードを決定する機能の機能ブロック図である。図示したイントラ予測部101は、所定の数の画素で構成される画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する符号化演算部204を備えている。
(実施形態1)
図2は、実施形態1のイントラ予測部101において予測モードを決定する機能の機能ブロック図である。図示したイントラ予測部101は、所定の数の画素で構成される画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する符号化演算部204を備えている。
また、イントラ予測部101は、符号化演算部204によって実行される演算の演算方向を決定する演算方向決定部205を備えている。演算方向決定部205は、一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出部201a、201b、算出された相関値を比較して、より強い相関性を示す画素の配列方向を選択する相関値比較部202、相関値比較部202によって選択された配列方向に基づいて演算方向を決定する予測モード決定部203を備えている。
実施形態1のイントラ予測部101は、相関値算出部201a、201bを備えている。相関値算出部201a、201bは、各々1つの配列方向についてのみ画素の相関値を算出する。実施形態1では、相関値算出部201aと201bとによって画素の2つの配列方向について相関値を算出することができる。
また、実施形態1の相関値算出部201a、201bは、画素ブロックのうちの第1画素ブロックに含まれる第1画素と、第1画素ブロックと隣接する第2画素に含まれて、かつ第1画素と隣接する第2画素との相関値を算出する。相関値比較部202は、相関値算出部201a、201bによって算出された相関値のうちからより強い相関性を示す画素の配列方向を選択する。予測モード決定部203は、選択された配列方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、この候補から符号化演算部204によって実行される演算の演算方向を決定する。
また、実施形態1の相関値算出部201a、201bは、画素ブロックのうちの第1画素ブロックに含まれる第1画素と、第1画素ブロックと隣接する第2画素に含まれて、かつ第1画素と隣接する第2画素との相関値を算出する。相関値比較部202は、相関値算出部201a、201bによって算出された相関値のうちからより強い相関性を示す画素の配列方向を選択する。予測モード決定部203は、選択された配列方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、この候補から符号化演算部204によって実行される演算の演算方向を決定する。
図3(a)、(b)は、上記した演算方向決定部205によってなされる処理を説明するための図である。図中に白丸で示した画素301は、画素ブロックのうち符号化の対象となる注目画素ブロック(第1画素ブロック)に含まれる画素であって、図3(a)は、相関値算出部201a、201bの処理を説明するための図である。また、(b)は、予測モード決定部203の処理を説明するための図である。
図3(a)中に黒丸で示した画素302は、注目画素ブロックと隣接する隣接画素ブロック(第2画素ブロック)に含まれて、かつ画素301と隣接する画素である。
相関値算出部201aは、画素301のうちの矢線Aに沿って一方向に配列された画素と、この画素と隣接する画素302との相関値(dp)を算出する。また、相関値算出部201bは、画素301のうちの矢線Bに沿って一方向に配列された画素と、この画素と隣接する画素302との相関値(dv)を算出する。相関値の算出は、例えば、互いに隣接する一対の画素301の画素値と画素302の画素値との差分をとり、合計4つの差分値を加算することによって行われる。このようにして算出された相関値は値がより小さいほうが強い相関を示す。
相関値算出部201aは、画素301のうちの矢線Aに沿って一方向に配列された画素と、この画素と隣接する画素302との相関値(dp)を算出する。また、相関値算出部201bは、画素301のうちの矢線Bに沿って一方向に配列された画素と、この画素と隣接する画素302との相関値(dv)を算出する。相関値の算出は、例えば、互いに隣接する一対の画素301の画素値と画素302の画素値との差分をとり、合計4つの差分値を加算することによって行われる。このようにして算出された相関値は値がより小さいほうが強い相関を示す。
相関値比較部202は、相関値dpと相関値dvとのうち値がより小さい方を選択し、選択された相関値を得た方向を示すデータd1を予測モード決定部203に送る。実施形態1においてデータd1が示す方向は、矢線Aに沿う方向(A方向)または矢線Bに沿う方向(B方向)である。予測モード決定部203は、データd1が横方向を示す場合、横方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、この候補から符号化演算部204によって実行される演算の演算方向を決定する。また、データd1が縦方向を示す場合、縦方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、この候補から符号化演算部204によって実行される演算の演算方向を決定する。
図3(b)は、演算方向の候補を説明するための図である。図3(b)に示すように、演算方向は、予め図示する9方向に設定されていて、各方向は矢線に付された0〜8の数字によって識別される(以降、矢線0、矢線1…矢線8と記す)。演算方向を以降予測モードと記し、矢線0、矢線1…矢線8で表される各演算方向を、以降、予測モード0、予測モード1…予測モード8と記す。ただし、予測モード2は、隣接画素ブロックの画素間の平均をとって予測誤差値とするモードであって、矢線が図示できない。
A方向は、図3(b)に示した予測モード1と一致する。このため、データd1がA方向を示す場合、予測モード決定部203は、予測モード0を含む複数の予測モード、すなわち予測モード2、予測モード8、予測モード1、予測モード6、予測モード4、予測モード5の中の複数の予測モードを演算方向の候補に設定し、データd1がB方向を示す場合1を含む複数の予測モード、すなわち予測モード3、予測モード7、予測モード0、予測モード5、予測モード4、予測モード2の中の複数の予測モードを演算方向の候補に設定する。
予測モード決定部203は、設定された候補を示すデータd2を予測モード決定部203に送り、予測モード決定部203は、候補のうちの1つの予測モードを決定し、符号化演算部204に送る。
予測モード決定部203は、例えば、候補となった予測モードによって隣接画素ブロックの画素302と注目画素ブロックの画素301の値を演算し、演算によって得られる複数の結果のうちの最も少ないデータ量を示す結果を得る候補を予測モードに決定する。なお、実施形態1では、互いに隣接する一対の画素302と画素301との差分をとる。さらに、A方向に並んだ4つの画素301を使って得られた差分の総和(総和A)をとり、また、B方向に並んだ4つの画素301を使って得られた差分の総和をとる(総和B)。そして、総和Aと総和Bとでより小さい値が得られる予測モードを注目画素を符号化する予測モードに決定する。このようにした場合、実施形態1は、予測モードの候補のうちから最も高い圧縮率が得られる予測モードを選択することができる。
予測モード決定部203は、例えば、候補となった予測モードによって隣接画素ブロックの画素302と注目画素ブロックの画素301の値を演算し、演算によって得られる複数の結果のうちの最も少ないデータ量を示す結果を得る候補を予測モードに決定する。なお、実施形態1では、互いに隣接する一対の画素302と画素301との差分をとる。さらに、A方向に並んだ4つの画素301を使って得られた差分の総和(総和A)をとり、また、B方向に並んだ4つの画素301を使って得られた差分の総和をとる(総和B)。そして、総和Aと総和Bとでより小さい値が得られる予測モードを注目画素を符号化する予測モードに決定する。このようにした場合、実施形態1は、予測モードの候補のうちから最も高い圧縮率が得られる予測モードを選択することができる。
また、予測モード決定部203は、例えば、候補となった予測モードのうち、0、1、2…8といった演算方向を特定するために必要なデータ量が最も少ない予測モードを注目画素を符号化する予測モードに決定することができる。このようにした場合、実施形態1は、符号化された画像データを復号するのに必要なデータの圧縮率をより高めることができる。
符号化演算部204は、演算候補となった予測モードによって注目画素ブロックに含まれる画素の値から隣接画素ブロックの画素の値を減算して予測誤差信号を生成する。生成された予測誤差信号は、DCT量子化部102及びエントロピ符号化部103によって量子化、符号化される。
図4は、符号化演算部204による予測誤差信号の生成について説明するための図である。図4(a)は、画像全体におけるサブブロックを示し、サブブロックは任意のフレームに属する注目画素ブロック401である。(b)は、注目画素ブロック401と隣接画素ブロック402とを示している。注目画素ブロック401の画素401aは今回符号化の対象となっている画素であって、隣接画素ブロック402の画素402aはすでに符号化済みの画素である。
図4は、符号化演算部204による予測誤差信号の生成について説明するための図である。図4(a)は、画像全体におけるサブブロックを示し、サブブロックは任意のフレームに属する注目画素ブロック401である。(b)は、注目画素ブロック401と隣接画素ブロック402とを示している。注目画素ブロック401の画素401aは今回符号化の対象となっている画素であって、隣接画素ブロック402の画素402aはすでに符号化済みの画素である。
画素401aをXSB(i,j)、
画素402aをYSB(i,j)とすると、
予測信号ρ(i,j)は、YSB(i,0)と表される(ただし0≦i,j≦3)。
また、予測誤差信号は、上記した画素401aと予測信号ρ(i,j)とを使って次のように表される。
予測誤差信号e(i,j)=XSB(i,j)−ρ(i,j)
生成された予測誤差信号e(i,j)は、DCT量子化部102を経てエントロピ符号化部103に送られ、符号化される。
画素402aをYSB(i,j)とすると、
予測信号ρ(i,j)は、YSB(i,0)と表される(ただし0≦i,j≦3)。
また、予測誤差信号は、上記した画素401aと予測信号ρ(i,j)とを使って次のように表される。
予測誤差信号e(i,j)=XSB(i,j)−ρ(i,j)
生成された予測誤差信号e(i,j)は、DCT量子化部102を経てエントロピ符号化部103に送られ、符号化される。
図5は、以上述べた実施形態1の画像処理装置で行われる画像処理方法をコンピュータに実行させるためのプログラムを説明するためのフローであって、演算方向決定部205によって実行されるものである。相関値算出部201a、201bは、隣接画素ブロックにあって注目画素ブロックの画素と隣接する画素(境界画素)の値を取得する(ステップS501)。なお、実施形態1では、相関値算出部201aが図3(b)に示したA方向に配列された境界画素の画素値を取得し、相関値算出部201bが図3(b)に示したB方向に配列された境界画素の画素値を取得する。
次に、相関値算出部201aは、A方向に配列された境界画素と境界画素に隣接する注目画素とを使って演算し、両者の相関値を算出する(ステップS502)。また、相関値算出部201bは、B方向に配列された境界画素と境界画素に隣接する注目画素との相関値を算出する(ステップS503)。相関値比較部202は、ステップ502で算出された相関値とステップ503で算出された相関値とを比較し、A方向の相関値がB方向の相関値より大きいか否か判断する(ステップS504)。ステップS504の判断の結果、A方向の相関値がB方向の相関値より大きい場合(ステップS504:Yes)、B方向の相関がA方向の相関より強いとし、B方向を示すデータd1を予測モード決定部203に送る(ステップS505)。
予測モード決定部203は、データd1を受け取り、予測モード2、予測モード3、予測モード7、予測モード0、予測モード5、予測モード4の予測モードを使って隣接画素ブロックの画素の値と注目画素ブロックの画素の値との差分をとり、差分の総和を6個算出する。そして、総和のうちの最も少ない値を得た予測モードを注目画素を符号化する予測モードに決定する(ステップS506)。
一方、ステップS504の判断の結果、A方向の相関値がB方向の相関値より小さい場合(ステップS504:No)、A方向の相関がB方向の相関より強いとし、A方向を示すデータd1を予測モード決定部203に送る(ステップS507)。
予測モード決定部203は、データd1を受け取り、予測モード8、予測モード1、予測モード6、予測モード4、予測モード5、予測モード2の予測モードを使って隣接画素ブロックの画素の値と注目画素ブロックの画素の値との差分をとり、差分の総和を6個算出する。そして、総和のうちの最も少ない値を得た予測モードを注目画素を符号化する予測モードに決定する(ステップS506)。
予測モード決定部203は、データd1を受け取り、予測モード8、予測モード1、予測モード6、予測モード4、予測モード5、予測モード2の予測モードを使って隣接画素ブロックの画素の値と注目画素ブロックの画素の値との差分をとり、差分の総和を6個算出する。そして、総和のうちの最も少ない値を得た予測モードを注目画素を符号化する予測モードに決定する(ステップS506)。
以上述べた実施形態1によれば、複数の予測モードから強い相関性が得られる予測モードを予め絞ることができる。したがって、複数の予測モードの全てについて演算してみて符号化に使用される予測モードを決定する必要がなく、予測モードの決定にかかる演算量を低減することによって処理時間を短縮し、符号化にかかる処理の時間を短縮することができる。
(実施形態2)
次に、本発明の実施形態2について説明する。なお、実施形態2の画像処理装置は、実施形態1の画像処理装置と同様の構成を有している。このため、実施形態2の画像処理装置の構成の図示を省くものとする。
(実施形態2)
次に、本発明の実施形態2について説明する。なお、実施形態2の画像処理装置は、実施形態1の画像処理装置と同様の構成を有している。このため、実施形態2の画像処理装置の構成の図示を省くものとする。
実施形態2の画像処理装置は、相関値算出部201a、相関値算出部201bが、一の画素ブロックに含まれて、かつ一方向に配列された画素同士の相関値を画素ブロックの少なくとも2つの配列方向について算出するものである。
図6(a)、(b)は、このような実施形態2の画像処理装置の演算方向決定部205によって実行されるによってなされる処理を説明するための図である。相関値算出部201aは、図6(a)に示した画素301のうちのA方向に配列された画素301a同士の相関値を算出する。また、相関値算出部201bは、図6(a)に示した画素301のうちのB方向に配列された画素301a同士の相関値を算出する。相関値算出部201a、相関値算出部201bによって算出された相関値は、相関値比較部202に送られ、相関値比較部202は、受け取った相関値のうちより小さい相関値を得た方向Aまたは方向Bを示すデータを予測モード決定部203に送る。
図6(a)、(b)は、このような実施形態2の画像処理装置の演算方向決定部205によって実行されるによってなされる処理を説明するための図である。相関値算出部201aは、図6(a)に示した画素301のうちのA方向に配列された画素301a同士の相関値を算出する。また、相関値算出部201bは、図6(a)に示した画素301のうちのB方向に配列された画素301a同士の相関値を算出する。相関値算出部201a、相関値算出部201bによって算出された相関値は、相関値比較部202に送られ、相関値比較部202は、受け取った相関値のうちより小さい相関値を得た方向Aまたは方向Bを示すデータを予測モード決定部203に送る。
予測モード決定部203は、データがA方向を示す場合、予測モード0を含む複数の予測モード、すなわち予測モード2、予測モード8、予測モード1、予測モード6、予測モード4、予測モード5を演算方向の候補に設定する。また、B方向は、図3(b)に示した予測モード0と一致する。このため、データがB方向を示す場合、予測モード決定部203は、予測モード1を含む複数の予測モード、すなわち予測モード3、予測モード7、予測モード0、予測モード5、予測モード4、予測モード2を演算方向の候補に設定する。
また、予測モード決定部203は、設定された全ての予測モードで画素間の相関値を算出し、相関性が最も強いと判断された予測モードを符号化演算部204に送る。符号化演算部204は、予測モード決定部203によって相関性が最も強いと判断された予測モードで予測誤差信号を生成する。
なお、実施形態2では、一方向に配列された画素間の相関値を、例えば次のようにして算出することができる。すなわち、相関値算出部201aは、例えばA方向に配列された複数の画素の画素値から各々所定の画素(例えば列の端部に位置する画素)の画素値を減算して減算値を得る。そして得られた減算値の総和をとってA方向の相関値とすることができる。
なお、実施形態2では、一方向に配列された画素間の相関値を、例えば次のようにして算出することができる。すなわち、相関値算出部201aは、例えばA方向に配列された複数の画素の画素値から各々所定の画素(例えば列の端部に位置する画素)の画素値を減算して減算値を得る。そして得られた減算値の総和をとってA方向の相関値とすることができる。
また、相関値算出部201bは、例えばB方向に配列された複数の画素の画素値から各々所定の画素(例えば列の端部に位置する画素)の画素値を減算して減算値を得る。そして得られた減算値の総和をとってB方向の相関値とすることができる。
また、相関値算出部201aは、例えばA方向において互いに隣接して配列された一対の画素の画素値の差分をとり、差分値の総和をA方向の相関値とすることができる。相関値算出部201bは、例えばB方向において互いに隣接して配列された一対の画素の画素値の差分をとり、差分値の総和をB方向の相関値とすることができる。
また、相関値算出部201aは、例えばA方向において互いに隣接して配列された一対の画素の画素値の差分をとり、差分値の総和をA方向の相関値とすることができる。相関値算出部201bは、例えばB方向において互いに隣接して配列された一対の画素の画素値の差分をとり、差分値の総和をB方向の相関値とすることができる。
相関値比較部202は、上記した方法等によって算出されたA方向の相関値とB方向の相関値を比較する。そして、値がより小さい相関値を得る方向を選択する。
以上述べた実施形態2は、前記した実施形態1によって得られる効果に加え、予測モードの決定にあたって他の画素ブロックに含まれる画素を使用することがなく、演算のために画素値を保存しておくメモリやレジスタが不要になる。このため、装置構成を小規模化することが可能になる。
以上述べた実施形態2は、前記した実施形態1によって得られる効果に加え、予測モードの決定にあたって他の画素ブロックに含まれる画素を使用することがなく、演算のために画素値を保存しておくメモリやレジスタが不要になる。このため、装置構成を小規模化することが可能になる。
101 イントラ予測部、102 DCT・量子化部、103 エントロピ符号化部
105 デブロックフィルタ、106 フレームメモリ、107 インター予測部
201a,201b 相関値算出部、202 相関値比較部、203 予測モード決定部
204 符号化演算部、205 演算方向決定部
105 デブロックフィルタ、106 フレームメモリ、107 インター予測部
201a,201b 相関値算出部、202 相関値比較部、203 予測モード決定部
204 符号化演算部、205 演算方向決定部
Claims (7)
- 所定の数の画素で構成される画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、
前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、
前記演算方向決定手段は、
一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出手段と、
前記相関値算出手段によって算出された相関値がより強い相関性を示す画素の配列方向を選択する配列方向選択手段と、を備え、
前記配列方向選択手段によって選択された配列方向に基づいて演算方向を決定することを特徴とする画像処理装置。 - 前記相関値算出手段は、第1画素ブロックに含まれる第1画素と、第1画素ブロックと隣接する第2画素ブロックに含まれて、かつ第1画素と隣接する第2画素との相関値を、第1画素の少なくとも2つの配列方向について算出することを特徴とする請求項1に記載の画像処理装置。
- 前記相関値算出手段は、一の画素ブロックに含まれて、かつ一方向に配列された画素同士の相関値を画素ブロックの少なくとも2つの配列方向について算出することを特徴とする請求項1に記載の画像処理装置。
- 前記演算方向決定手段は、前記配列方向選択手段によって選択された配列方向を含む複数の方向に沿う演算方向から複数の演算方向の候補を決定し、該候補から前記演算手段によって実行される演算の演算方向を決定することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記演算方向決定手段は、演算方向の前記候補に沿って画素ブロックに含まれる画素の値を演算し、演算によって得られる複数の結果のうちの最も少ないデータ量を示す結果を得る候補を演算方向に決定することを特徴とする請求項4に記載の画像処理装置。
- 前記演算方向決定手段は、演算方向の前記候補のうち、演算方向を特定するために必要なデータ量が最も少ない候補を演算方向に決定することを特徴とする請求項4に記載の画像処理装置。
- 所定の数の画素で構成される画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する画像処理方法をコンピュータに実行させるためのプログラムであって、
一の画素ブロックにおいて一方向に配列された画素に関する相関値を、少なくとも2つの配列方向について算出する相関値算出ステップと、
前記相関値算出ステップにおいて算出された相関値がより強い相関性を示す画素の配列方向を選択する配列方向選択ステップと、
配列方向選択ステップにおいて選択された配列方向に基づいて演算方向を決定する演算方向決定ステップと、
を含むことを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005298968A JP2007110409A (ja) | 2005-10-13 | 2005-10-13 | 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005298968A JP2007110409A (ja) | 2005-10-13 | 2005-10-13 | 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007110409A true JP2007110409A (ja) | 2007-04-26 |
Family
ID=38035907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005298968A Pending JP2007110409A (ja) | 2005-10-13 | 2005-10-13 | 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007110409A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009037828A1 (ja) * | 2007-09-21 | 2009-03-26 | Panasonic Corporation | 画像符号化装置および画像復号化装置 |
WO2009037726A1 (ja) * | 2007-09-18 | 2009-03-26 | Fujitsu Limited | 動画像符号化装置および動画像復号装置 |
JP2010251953A (ja) * | 2009-04-14 | 2010-11-04 | Sony Corp | 画像符号化装置と画像符号化方法およびコンピュータ・プログラム |
WO2014038330A1 (ja) * | 2012-09-06 | 2014-03-13 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
-
2005
- 2005-10-13 JP JP2005298968A patent/JP2007110409A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009037726A1 (ja) * | 2007-09-18 | 2009-03-26 | Fujitsu Limited | 動画像符号化装置および動画像復号装置 |
US8428131B2 (en) | 2007-09-18 | 2013-04-23 | Fujitsu Limited | Video encoder and decoder using region based coding and decoding techniques with sequential refresh |
WO2009037828A1 (ja) * | 2007-09-21 | 2009-03-26 | Panasonic Corporation | 画像符号化装置および画像復号化装置 |
JP5261376B2 (ja) * | 2007-09-21 | 2013-08-14 | パナソニック株式会社 | 画像符号化装置および画像復号化装置 |
JP2010251953A (ja) * | 2009-04-14 | 2010-11-04 | Sony Corp | 画像符号化装置と画像符号化方法およびコンピュータ・プログラム |
WO2014038330A1 (ja) * | 2012-09-06 | 2014-03-13 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9699458B2 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
CN110741640B (zh) | 用于视频代码化中的运动补偿预测的光流估计 | |
AU2015213340B2 (en) | Video decoder, video encoder, video decoding method, and video encoding method | |
JP4724061B2 (ja) | 動画像符号化装置 | |
JP5306485B2 (ja) | 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム | |
JP5367097B2 (ja) | 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム | |
JPWO2011099468A1 (ja) | 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム | |
JP5237814B2 (ja) | ビデオ圧縮における適応的動きベクトルサンプリングのための多段リンク方法 | |
JP2007214641A (ja) | 符号化装置、復号化装置、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム | |
JP2007104117A (ja) | 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム | |
JP2007110409A (ja) | 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム | |
JP5407974B2 (ja) | 動画像符号化装置及び動きベクトル検出方法 | |
TWI493942B (zh) | 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式 | |
JP5281597B2 (ja) | 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム | |
JP2009194474A (ja) | 動画像符号化装置 | |
JP2007228101A (ja) | 動画像符号化装置 | |
JP2012120108A (ja) | 補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラム | |
JP2012175155A (ja) | 動画像符号化装置 | |
JP2010166275A (ja) | 画像符号化装置 | |
JP5268666B2 (ja) | 画像符号化装置 | |
EA043315B1 (ru) | Декодирование потоков битов | |
JP2007288473A (ja) | 符号化装置、画像処理装置 | |
JP2010278797A (ja) | 画像符号化装置 | |
JP2013183345A (ja) | 映像符号化装置及び映像符号化方法 | |
JP2007288674A (ja) | 符号化装置、復号化装置、画像処理装置。 |