JP4774265B2 - 画像符号化装置 - Google Patents

画像符号化装置 Download PDF

Info

Publication number
JP4774265B2
JP4774265B2 JP2005289051A JP2005289051A JP4774265B2 JP 4774265 B2 JP4774265 B2 JP 4774265B2 JP 2005289051 A JP2005289051 A JP 2005289051A JP 2005289051 A JP2005289051 A JP 2005289051A JP 4774265 B2 JP4774265 B2 JP 4774265B2
Authority
JP
Japan
Prior art keywords
edge
block
edge block
image
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005289051A
Other languages
English (en)
Other versions
JP2007104133A (ja
Inventor
美和 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005289051A priority Critical patent/JP4774265B2/ja
Priority to US11/359,588 priority patent/US7873226B2/en
Publication of JP2007104133A publication Critical patent/JP2007104133A/ja
Application granted granted Critical
Publication of JP4774265B2 publication Critical patent/JP4774265B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Description

本発明は、画像符号化の分野に関する。
画像符号化の分野では、画像中の物体のエッジ(エッジ部)を検出し、この検出結果(エ
ッジ情報)に基づいて画像符号化制御を実行する幾つかの技術が、既に提案されている(例えば、特許文献1〜5参照)。
画像中の複雑な(変化の大きい)部分の境界をなすエッジと平坦な(変化の少ない)部分の境界をなすエッジとでは、平坦な部分の境界をなすエッジの方が画質の劣化が目立ち易いという問題がある。このようなエッジを検出し、精度の高い画質改善処理を施すことで、画質の劣化を回避することが望まれている。
特許文献1〜5に開示されるような、例えば、画素値の差分の判定によってエッジを検出する方法では、画素単位での細かなエッジ(例えば、物体の模様)までが検出されてしまい、画像改善処理を行うには適していなかった。
即ち、微細なエッジは、人の目(視覚)に与える影響が少ないため、画像改善処理を実行しても、その効果は低い。一方で、画像符号化では、符号化後のデータ(情報)量が予め決められるため、検出エッジ数が多いと、1つのエッジに対して割当可能な画質改善のためのデータ(情報)量が小さくなり、充分な画質改善処理を行うことができないおそれがあった。
なお、エッジ検出方法としては、上記した特許文献1〜5に開示された技術以外にも、画像認識分野で適用される技術が存在する。しかし、画像認識分野のエッジ検出方法は、総じて処理が複雑及び膨大であるため、実時間での動作が要求される画像符号化分野への適用は困難であった。
特開平9−167240号公報 特開2001−14476号公報 特開平9−120458号公報 特開2003−230147号公報 特開平8−194824号公報
本発明の目的は、実時間動作を要求される画像符号化処理において効率向上を図ることができる技術を提供することである。
また、本発明の他の目的は、適正な画質改善処理を実行することが可能な技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明は、入力画像を複数画素からなるブロックに分割し、エッジを含むブロックとしてのエッジブロック候補を検出する検出手段と、
前記エッジブロック候補から、前記画像の符号化処理において実行される画質改善処理
を要しないと認められるエッジブロック候補を除外し、残りのエッジブロック候補を前記画質改善処理対象のエッジブロックとして抽出する抽出手段と、
を含む画像符号化装置である。
本発明によると、エッジブロック候補から画質改善処理を要しない候補が除外され、残りの候補がエッジブロックとして抽出される。これによって、画質改善処理対象のエッジブロック数を削減できるので、画質改善処理における工数を減らすことができる。加えて、ブロック単位でのエッジ最適化処理であるので、効率的な画像符号化処理を実行することができる。また、エッジブロック数が削減されることにより、残りのエッジブロック候補に対し、画質改善のための充分な情報量を割り当てることができる。よって、適正な画質改善処理を実行することができる。
また、本発明は、複数のブロックからなる画像について、エッジを含むブロックとしてのエッジブロックを検出する検出手段と、
前記検出されたエッジブロックに対し、前記画像の符号化処理においてエッジブロックを対象として実行される画質改善処理の優先度を付与する付与手段と、
を含む画像符号化装置である。
本発明によれば、優先度に応じた画質改善処理が画像符号化処理において実行される。このとき、優先度に応じた画質を得るための画質改善処理がエッジブロックに対して実行される。即ち、限られた条件の中で、優先度に従って、画質改善処理に強弱を付けることができる。これによって、適正な画質改善処理を図ることができる。
また、本発明は、上記した特徴を有する画像符号化方法、プログラム、該プログラムを記録した記録媒体として特定することができる。
本発明によれば、実時間動作を要求される画像符号化処理において画質改善処理の効率向上を図ることができる。
また、本発明によれば、適正な画質改善処理を実行することができる。
以下、図面を参照して本発明の実施形態を説明する。実施形態の構成は例示であり、本発明は、実施形態の構成に限定されない。
〔本発明の概要〕
最初に、本発明の概要を説明する。複数のブロックに分割された画像について、ブロック単位で符号化処理を行う画像符号化装置がある。画像符号化装置について従来適用されているエッジ検出方法(例えば、特許文献1〜5)では、エッジを含むブロック(エッジブ
ロック)が過剰に検出される傾向があった。これは、例えば、画像中の物体の有する模様
が微細なエッジとして判定(検出)されてしまうためである。
このような問題に対し、エッジを含むか否かの判定閾値を調整することによって、エッジブロックの検出数を減らすことが考えられる。しかしながら、閾値調整では、画像符号化に有意なエッジブロックが残らない場合があった。
図1は、従来技術の問題点を例示する図である。図1には、模様を有する台形の物体が画像中に含まれている。このような画像に対し、従来技術に係るエッジ検出方法が適用されると、物体が有する模様(網掛け)のために、例えば、ブロック1とブロック2との双方
がエッジブロックとして検出される。
この場合、物体の輪郭が通過するブロック1のみが有意なエッジブロックとして検出され、ブロック2がエッジブロックとして検出されないことが所望される。通常、エッジブロックは、画質改善処理の対象となる。画像符号化で使用できる総データ(情報)量は限られるので、画質改善対象の数は、少ない方が好ましい。また、模様のような細かいエッジは、劣化しても目立たず、人に与える影響は少ない。即ち、ブロック2に対する画質改善処理を行っても、その視覚的効果は低い。一方、ブロック1に交わる輪郭線の劣化は、人によって目立った画質劣化と認識される。従って、ブロック1のみがエッジブロックとして検出されることが望まれる。
しかしながら、図1に示す例では、ブロック1及びブロック2がエッジブロックであるとの判定結果を導く判定要素において、各ブロック1及び2に含まれる模様が大きなウェイトを占めている。即ち、判定要素がブロック1とブロック2とで似通っている。このようなケースにおいて閾値調整を行うと、ブロック1及び2の双方がエッジブロックとして検出されず、ともに画質改善処理の対象とならない結果を招いていた。
そこで、本発明は、画像符号化に有意と認められる(画質改善処理を実行すべき)エッジブロックを検出するために、特許文献1〜5に示されたようなエッジ検出方法を用いてエッジブロックを検出し(第一エッジ検出処理)、第一エッジ検出処理結果を用いて、第二エッジ検出処理を行う。即ち、第一エッジ検出処理によって検出されたエッジブロックをエッジブロック候補として規定し、エッジブロック候補から、画像符号化に有意なエッジブロックを抽出する。
言い換えれば、本発明は、第一エッジ検出処理で検出されるエッジブロックから、画質改善を行う必要がない(画質改善の効果が低い)と認められるエッジブロックを除外する。このように、本発明は、多段階でエッジ判定を行うことで適正なエッジブロックのみを抽出する。
図2は、本発明に係る画像符号化処理の概要説明図である。図2において、画像符号化対象の原画像に対し、最初に、狭義の第一エッジ検出処理(エッジ画素検出処理)が実行される(ST1)。第一エッジ検出処理として、上述したように、特許文献1〜5に示されるような従来技術を適用することができる。
次に、第一エッジ検出処理の結果に従ったエッジブロック候補決定処理が行われる(S
T2)。即ち、原画像が分割された所定数のブロックのそれぞれについて、各ブロックが
エッジブロック候補か否かの判定が、第一エッジ検出処理の結果に従って実行される。第一エッジ検出処理(ST1)は、画素単位で行われ、所定閾値以上のエッジ画素を含むブロックが、エッジブロック候補として決定される。
次に、エッジブロック候補マップの生成及び格納処理が実行される(ST3)。即ち、エッジブロック候補決定処理の結果に従って、原画に応じた各ブロックに割り当てられたフラグがオン(候補である)/オフ(候補でない)されたマップ(エッジブロック候補マップ)が生成され、所定の記憶領域に格納される。
以上説明した第一エッジ検出処理(エッジ画素検出処理:ST1),エッジブロック候補決定処理(ST2),及びエッジブロック候補マップの生成及び格納処理(ST3)が、広義の第一エッジ検出処理(第一エッジブロック検出処理)を構成する。
次に、第二エッジ検出処理が実行される(ST4)。即ち、エッジブロック候補の各ブロ
ックを対象として、対象ブロックが有意な(画質改善処理対象となるべき)エッジを含むか否かを判定し、有意なエッジを含むエッジブロック候補をエッジブロックとして決定する。このとき、有意なエッジを含まない(画質改善を図る必要のない)エッジブロック候補が除外される。
次に、第二エッジ検出結果マップの生成及び格納処理が実行される(ST5)。即ち、第二エッジ検出処理の結果に従って、原画像に応じた各ブロックに割り当てられたフラグがオン(エッジブロックである)/オフ(エッジブロックでない)されたマップ(第二エッジ検
出結果マップ)が生成され、所定の記憶領域に格納される。
以上説明した第二エッジ検出処理(ST4)及び第二エッジ検出結果マップの生成及び格納処理(ST5)が、広義の第二エッジ検出処理(第二エッジブロック検出処理)を構成する。
最後に、第二エッジ検出結果マップに示される情報(エッジ情報)を用いた画像符号化処理が実行される(ST6)。
図3は、図2に示した処理における第二エッジ検出処理の詳細を示すフローチャートである。図3において、最初に、広義の第一エッジ検出処理として、原画像に対する第一エッジ検出処理(エッジ画素検出処理)が実行されるとともに、エッジブロック候補の決定処理が実行される(S01:ST1,ST2)。
次に、エッジブロック候補マップの作成及び格納処理が実行される(S02:ST3)。次に、第二エッジ検出処理(第二エッジブロック検出処理)として、以下に示すステップS03〜S08の処理が実行される。
第二エッジ検出処理が開始されると、エッジブロック候補マップが読み出され、エッジブロック候補マップ中のブロックの1つ(対象ブロック)が特定され、対象ブロックがエッジブロック候補か否かが判定される(S03)。
このとき、対象ブロックがエッジブロック候補でなければ(S03;NO)、第二エッジ検出結果マップ中の、対応するブロックのフラグ(エッジブロックフラグ)がオフにされ(
S07)、処理がステップS08に進む。
これに対し、対象ブロックがエッジブロック候補である場合(S03;YES)には、エッジブロック判定処理が実行される(S04)。即ち、対象ブロックが有意なエッジを含むか否かが判定される(S05)。
このとき、対象ブロックが有意なエッジを含む場合には、対象ブロックはエッジブロックと決定され(S05;YES)、第二エッジ検出結果マップ中の対応するエッジブロックフラグがオンにされる(S06)。その後、処理がステップS08に進む。
これに対し、対象ブロックが有意なエッジを含まない場合には、対象ブロックはエッジブロックでないと決定され(S05;NO)、対応するエッジブロックフラグがオフにされる(S07)。その後、処理がステップS08に進む。
ステップS08では、対象ブロックが最終ブロックか否かが判定される。対象ブロックが最終ブロックでない場合(S08;NO)には、残りのブロックについてステップS03〜S07の処理を実行するために、処理がステップS03に戻る。一方、対象ブロックが最終ブロックである場合(S08;YES)には、第二エッジ検出結果マップを所定の記憶
領域に格納し、第二エッジ検出処理を終了する。
その後、第二エッジ検出結果マップに基づくエッジ情報を用いた画像符号化処理が実行される。このとき、エッジブロック数は、第二エッジ検出処理で画質改善の不要なエッジブロック候補が除去されることで減少している。従って、エッジブロック数の減少による符号化処理の省力化(効率化)を図ることができる。
また、エッジブロック数が減少することは、各エッジブロックに対して画質改善のために供給される情報(画像情報)量が増加することを意味する。これによって、適正な画質改善処理を図ることができる。
このとき、エッジブロック間で画質改善処理に対する優先度を設定し、優先度に応じて各エッジブロックに割り当てる情報量(画像情報量)を制御することができる。これによって、効率的な画質改善処理を実行することができる。或いは、優先度が高い順で画質改善処理を実行するようにすることもできる。
〔実施形態〕
上記した概要に基づく本発明の実施形態について説明する。
〈装置構成〉
図4は、画像符号化装置として機能可能な情報処理装置の構成例(画像符号化装置の構
成例)を示す図である。図4において、情報処理装置10は、バスBを介して相互に接続
されたCPU(Central Processing Unit:プロセッサ)1,メインメモリ(MM:例えばRAM(Random Access Memory))2,外部記憶装置(例えばハードディスク)3,入出力イン
タフェース(I/F)4,及び通信インタフェース(通信I/F)5を有する。
外部記憶装置3には、CPU1によって実行される、情報処理装置10が画像符号化装置として機能するためのプログラムや、プログラムの実行時に使用されるデータが格納されている。特に、外部記憶装置3は、図2に示したような、エッジブロック候補マップ(
第1マップ)の記憶領域31と、第二エッジ検出結果マップ(第2マップ)の記憶領域32
とを有している。
CPU1は、外部記憶装置3に格納されたプログラムをMM2にロードして実行する。これによって、図2に示したような、第一エッジ検出処理(ST1),エッジブロック候補決定処理(ST2),エッジブロック候補マップ生成及び格納処理(ST3),第二エッジ検出処理(ST4),第二エッジ検出結果マップ生成及び格納処理(ST5),及び画像符号化処理が実現される。
画像符号化処理として、例えば、MPEG−1,MPEG−2,H.264,MPEG−4のような、動画像の符号化規格に従った圧縮符号化処理が実行され、原画像が圧縮符号化された動画像データを含む動画像ファイルが生成される。生成された動画像(画像)ファイルは、外部記憶装置3に格納される。
I/F4は、例えば、カメラのような、画像や動画像の入力装置と接続される。I/F4を通じて入力される画像データや動画データは、外部記憶装置3に蓄積され、CPU1による画像符号化の対象データ(原画データ)として取り扱われる。また、I/F4は、ディスプレイのような画像や動画像の出力装置と接続され、CPU1によって生成された動画像ファイルに基づく動画を出力装置に表示させることができる。
通信I/F5は、例えば、インターネットのようなネットワークを介して通信機器(例
えば、サーバ,端末装置)と接続される。CPU1によって生成される動画像ファイル(ダウンロード用ファイル,ストリーム配信形式ファイル)は、通信I/F5からネットワー
クを介して送信先へ送信される。
以上のような構成により、情報処理装置10は、カメラで撮影された動画像をネットワークを介してリアルタイム配信することができる。
なお、図4に示した構成の代わりに、図2に示した処理の一部又は全部が、ハードウェアロジック,又はハードウェアロジックとソフトウェア処理との組み合わせで実現される構成を適用することもできる。
図4に示した構成において、CPU1が、本発明に係る検出手段(検出部),抽出手段(
抽出部),付与手段(付与部),制御手段(制御部,画像符号化部,画質改善処理部)として
機能することができる。
〈画像符号化処理〉
次に、情報処理装置10(画像符号化装置)による画像符号化処理(方法)について説明する。画像符号化処理は、図2に示したような、エッジブロック検出処理を含み、エッジブロック検出処理は、上述した第一及び第二エッジブロック検出処理を含む。また、画像符号化処理は、エッジブロックを対象とした画質改善処理を含む。
《第一エッジブロック検出処理》
[第一エッジ検出処理(エッジ画素検出処理)]
次に、情報処理装置10で実行される第一エッジ検出処理(エッジ画素検出処理)について説明する。図5(A)は、第一エッジ検出処理において定義される対象画素と、対象画素の周辺画素(近傍画素)を説明する図であり、図5(B)は、CPU1によって実行される第一エッジ検出処理の例を示すフローチャートである。本実施形態では、第一エッジ検出処理として、画素差分を用いたエッジ検出処理が適用される。
図5(A)には、符号化対象ピクチャ(原画像)を構成する9個の画素が示されている。第一エッジ検出処理では、画素がエッジを構成するエッジ画素か否かが画素単位で判定される。図5(A)に示す例では、画素4が判定対象の画素(対象画素)である場合、画素4の隣接画素に相当する画素0〜3及び5〜8が、対象画素の周辺画素として定義される。図5(B)は、画素4を対象画素とした場合における処理が示されている。
図5(B)において、CPU1は、処理を開始すると、周辺画素を示す値iを零に設定するとともに、画素値の差分の絶対値d(iの画素値−対象画素(画素4)の画素値)の合計値dsumの値を零に設定する(S001)。
次に、CPU1は、画素0と画素4との差分の絶対値dを求め(S002)、求めた絶対値dを、現在のdsumの値に加算する(S003)。次に、CPU1は、現在のiの値が8か否かを判定する(S004)。i=8でなければ(S004;NO)、CPU1は、現在の値iに1を加算し(S005)、処理をステップS002に戻す。
このようなステップS002〜S005のループ処理によって、画素4に対する周辺画素との差分の合計値dsumが算出される。その後、ステップS004にて、i=8であると判定されると(S004;YES)、CPU1は、dsumの値が所定の閾値(閾値1)を上回るか否かを判定する(S006)。
このとき、dsumの値が閾値1を上回る場合には(S006;YES)、CPU1は、
対象画素(画素4)に対するエッジ画素フラグをオンに設定し(S007)、そうでなければ(S006;NO)、エッジ画素フラグをオフに設定する(S008)。その後、CPU1は、対象画素に対する第一エッジ検出処理を終了する。
ここに、CPU1がアクセス可能な記憶領域(例えば、外部記憶装置3)上には、原画像の各画素がエッジ画素か否かを示すためのマップ(エッジ画素マップ)が用意されており、マップ中の各画素に対応する領域には、各画素がエッジ画素か否かを示すエッジ画素フラグ(例:オン(エッジ画素である)/オフ(エッジ画素でない))が用意されている。CPU1は、ステップS007及びS008において、ステップS006の判定結果に基づき、エッジ画素フラグをオン/オフする。
CPU1は、例えば、原画像を構成する全ての画素を対象画素として、上述した第一エッジ検出処理(S001〜S008)を実行する。これによって、原画中のエッジ画素の分布を示すエッジ画素マップが生成される。
[エッジブロック候補決定処理]
次に、情報処理装置10で実行されるエッジブロック候補決定処理について説明する。図6は、情報処理装置10のCPU1によって実行されるエッジブロック候補決定処理の例を示すフローチャートである。
図6に示すエッジブロック候補決定処理は、原画像が分割されたブロック毎に実行される。本発明において、ブロックは、1以上の画素の集合体と定義できる。ブロックを構成する画素数は、1以上の任意の数を選択することができる。
図6において、CPU1は、処理を開始すると、対象ブロックに含まれる画素の1つを特定する値i,及びエッジ画素数を示す値dcutをそれぞれ零に設定する(S101)。
次に、CPU1は、エッジ画素マップを参照し、現在のiの値に対応する画素のエッジ画素フラグがオンか否かを判定する(S102)。このとき、エッジ画素がオフであれば(
S102;NO)、CPU1は、処理をステップS104に進める。これに対し、エッジ
画素フラグがオンであれば(S102;YES)、CPU1は、現在のdcutの値に1を加算し(S103)、処理をステップS104に進める。
ステップS104では、CPU1は、現在のiの値が対象ブロック内の最終画素を示すか否かを判定する。このとき、iの値が最終画素を示さない場合には(S104;NO)、CPU1は、iの値に1を加算し(S105)、処理をステップS102に戻す。このようなステップS102〜S105のループ処理によって、対象ブロック内に含まれるエッジ画素数が計上される。
その後、ステップS104にて、最終画素を示すiの値が検出された場合(S104;
YES)には、CPU1は、dcutの値が所定の閾値(閾値2)を上回るか否かを判定す
る(S106)。このとき、dcutの値が閾値2を上回る場合には(S106;YES)、CPU1は、対象ブロックに対するエッジブロック候補フラグをオンにする(S107)。これに対し、dcutの値が閾値2未満である場合には(S106;NO)、CPU1は、エッジブロック候補フラグをオフにする(S108)。その後、CPU1は、対象ブロックに対するエッジブロック候補決定処理を終了する。
ここに、外部記憶装置3の記憶領域31には、エッジブロック候補マップが格納されている。エッジブロック候補マップは、ブロック毎にエッジブロック候補フラグを有している。CPU1は、エッジブロック候補マップを読み出し、ステップS106の判断結果に
従って、対象ブロックのエッジブロック候補フラグをオン/オフする。
CPU1は、例えば、原画像に対応する全てのブロックを対象ブロックとして、上述したエッジブロック候補決定処理(S101〜S108)を実行する。これによって、エッジブロック候補マップは、エッジブロック候補として決定されたブロックに対応するエッジブロック候補フラグのみがオンにされた状態となる。このようなエッジブロック候補マップは、記憶領域31に格納される。
《第二エッジブロック検出処理》
[第二エッジ検出処理]
次に、情報処理装置10で実行される第二エッジ検出処理について説明する。第二エッジ検出処理では、第一エッジ検出処理に基づいて作成されたエッジブロック候補マップを用いて、エッジブロック候補から、符号化(画質改善)に有意なエッジブロックが抽出される。
画質改善を行うべきエッジは、画像中の平坦部に接するエッジである。例えば、図7は、画像中の平坦な部分と複雑な部分とを示す例であり、競技場のトラックを人が行進する様子が示されている。図7に示す画像は、映像情報メディア学会テストチャートである。
この画像中において、観客席の部分は、複雑であって、この部分のエッジが多少劣化しても、その劣化は人の目において目立たない。一方、競技場のフィールドとトラックとを隔てるライン部分は、フィールドが平坦であるので、このライン部分のエッジの劣化は、人の目において画質が劣化しているという認識を引き起こす。
このことは、画質改善を行うべきエッジブロックとして検出が要求されるブロックの周辺ブロック(近傍ブロック:例えば、図7におけるフィールド部分のブロック)の多くは、エッジブロック候補決定処理(ST2:図6)においてエッジブロック候補に決定されないことを意味する。従って、対象ブロックの近傍ブロックに対するエッジブロック候補の分布状況を調べれば、対象ブロックが平坦部に接するエッジを含むブロックか否かを判定することができる。
このため、第二エッジ検出処理では、エッジブロックか否かの判定に、対象ブロックの近傍ブロックのエッジ判定結果(エッジブロック候補決定処理結果)を使用する。図8(A)は、第二エッジ検出処理における対象ブロックと近傍ブロックとの定義例を示す図であり、図8(B)は、図8(A)に示した定義に従って実行される第二エッジ検出処理の例を示すフローチャートである。
図8(A)に示す例では、網掛け部分のブロックが対象ブロックXとして決定されるとき、この対象ブロックXに隣接する隣接ブロック1〜8が、近傍ブロックとして定義されている。但し、近傍ブロックは、隣接ブロックに隣接するブロックを含むこともできる。また、隣接ブロックから任意に選択される1以上のブロックが近傍ブロックとして定義されるようにすることもできる。
なお、図8(A)では、8方向に隣接ブロックを有するブロックが対象ブロックである例を示した。もし、ブロック1が、画像のコーナーを構成するブロックである場合、隣接ブロックは、ブロック2,X及び4の3つとなる。また、画像が、図8(A)に示すような9
つのブロックに分割されている場合、ブロック4のような、画像の端部をなすブロックの隣接ブロックは、ブロック1,2,X,7及び6の5つとなる。
図8(B)は、ブロックXが対象ブロックである場合の、第二エッジ検出処理を示してい
る。第二エッジ検出処理は、CPU1(図4)によって実行される。CPU1は、処理を開始すると、記憶領域31からエッジブロック候補マップを読み出すとともに、記憶領域32から第二エッジ検出結果マップ(初期状態)を読み出す。
CPU1は、最初に、近傍ブロックを示す値iを“1”(ブロック1を示す)に設定するとともに、エッジブロック候補である近傍ブロックの数を示す値cntを零に設定する(
S201)。
次に、CPU1は、エッジブロック候補マップを参照し、ブロックiがエッジブロック候補か否かを判定する(S202)。このとき、ブロックiがエッジブロック候補であれば(S202;YES)、CPU1は、処理をステップS204に進める。これに対し、ブロックiがエッジブロック候補でなければ(S202;NO)、CPU1は、cntの値に1を加算し(S203)、処理をステップS204に進める。
ステップS204では、CPU1は、現在のiの値が最終ブロック(この例ではブロッ
ク8)を示すか否かを判定する。このとき、i=8でなければ(S204;NO)、CPU
1は、iの値に1を加算し(S205)、処理をステップS202に戻す。CPU1は、ステップS202〜S205のループ処理によって、各近傍ブロックがエッジブロック候補か否かを判定し、エッジブロック候補でない近傍ブロックの数を計数する。
その後、ステップS204にて、iの値が最終ブロック(i=8)を示す値であると判定されると(S204;YES)、CPU1は、cntの値(エッジブロック候補でない近傍
ブロックの数)が所定の閾値を下回っているか否かを判定する(S206)。
cnt値が閾値を下回る場合(S206;YES)には、CPU1は、対象ブロックがエッジブロックでないと判定し、第二エッジ検出結果マップの対応するブロックのエッジブロックフラグをオフにする(S207)。その後、CPU1は、対象ブロックに対する第二エッジ検出処理を終了する。
これに対し、cnt値が閾値以上の場合(S206;NO)には、CPU1は、対象ブロックがエッジブロックであると判定し、対応するエッジブロックフラグをオンにする(S
208)。その後、CPU1は、対象ブロックに対する第二エッジ検出処理を終了する。
CPU1は、図8(B)に示すような第二エッジ検出処理(S201〜S208)を、エッジブロック候補マップ中の全てのブロックを対象として実行する。これによって、エッジブロック候補から、エッジブロック候補である近傍ブロックの数が閾値を下回る対象ブロックが、エッジブロックとして抽出される。そして、画像中におけるエッジブロックの分布を示す第二エッジ検出結果マップが、記憶領域32に格納される。その後、CPU1は、このマップに基づくエッジ情報を基づく符号化処理を行い、画像符号化結果(符号化画
像)を含む動画像ファイルを生成する。
[画像符号化処理]
CPU1は、画像符号化処理において、第二エッジ検出結果マップから得られるマップ情報に基づいて、原画像の圧縮符号化を行う。ここに、画像の圧縮符号化によって得られる符号化画像のデータサイズは予め決められている。一方、符号化画像を構成する各ブロックが持つデータ量(データサイズの配分量)は、任意に決定することができる。
符号化画像の各ブロックが持つ情報量は、各ブロックに対応する原画像データの圧縮率によって決まる。圧縮率が低い程、原画像から削減される情報量は減少する。例えば、或るブロックに対する圧縮率が他のブロックよりも低い場合、その或るブロックの圧縮によ
る情報削減量は、他のブロックよりも少なくなる。従って、圧縮符号化の結果において、或るブロックは、他のブロックよりも多い情報量を持つことになる。ブロックの情報量が多い程、そのブロック中の画像は、原画像に近い画質を持つことになる。
従って、CPU1は、原画像の圧縮符号化処理において、圧縮符号化後の各ブロックが持つ情報量(符号化画像が持つことが可能な最大情報量の配分量)を決定し、圧縮の結果として得られる情報量が配分量になるような圧縮率で、各ブロックに対する圧縮符号化処理を実行する。このような情報量(圧縮率)の決定に係る処理が、エッジブロックを対象とした画質改善処理に相当する。
このとき、CPU1は、エッジブロックに対する情報量がエッジブロックでないブロック(非エッジブロック)よりも多くなるように、情報量の配分を決定する。即ち、CPU1は、エッジブロックに対し、非エッジブロックよりも低い圧縮率で圧縮符号化が行われるように、圧縮符号化制御を行う。
ここで、第二エッジ検出処理の結果からは、画質改善の効果の低いエッジブロック候補が除外されている。このことは、除外されたエッジブロック候補に割り当てる情報量を削減して良いことを意味する。削減量は、画質改善を要するエッジブロックに割り当てることができる。従って、エッジブロックに対する画質改善の効率化が図られる。
〈具体例〉
次に、上述した情報処理装置10による画像符号化方法(エッジブロック検出方法)を用いた具体例について説明する。
《具体例1》
画像符号化処理において画質改善を行なうにあたり、限られた条件(例えば、符号化画
像の最大データサイズ)がある。このため、画質改善効果が高いと認められるエッジブロ
ックのみを画質改善対象とすることが望まれることがある。
そこで、上述したように、第二エッジ検出処理(図8)では、判定対象ブロックの近傍ブロックであって、エッジブロック候補でないブロックの数が閾値未満の時に対象ブロックをエッジブロックでないと判定する。これによって、検出されるエッジブロックを画像符号化用に最適化することができる。
例えば、エッジブロック候補でない近傍ブロックが1以下である場合に対象ブロックがエッジブロックではないと判定されるように、図8(B)に示す処理中の閾値を調整する(
閾値=2に設定する)。
図9(A)は、具体例1に係る第二エッジ検出処理の対象となる画像(エッジブロック候
補マップ)の例を示す図であり、図9(B)は、図9(A)に示された画像に対して図8に示
す第二エッジ検出処理(閾値=2)が実行された結果を示す図である。
図9(A)には、物体Yを中心とした4行4列のブロックからなる画像(マップ)の一部が示されている。図9(A)において、“e”の文字が記されたブロックは、エッジブロック候補であることを示す。但し、図9中の端部に位置する各ブロック(1又は4行に属する
ブロック,及びA又はD列に属するブロック)の図示しない隣接ブロックは、平坦部分(エッジブロック候補でないブロック)である。図9(B)において、“E”の文字が記された
ブロックは、エッジブロックとして抽出されたブロックを示す。
図9(A)に示された画像(エッジブロック候補マップ)に対して、第二エッジ検出処理が
実行されると、図9(B)に示すように、エッジブロック候補でない近傍ブロックの数が1以下であるブロック(「除外対象ブロック」と称する)が、エッジブロックから除外される。即ち、除外対象ブロック以外のエッジブロック候補が、エッジブロックとして抽出される。
図9(B)の例では、除外対象ブロックに相当するブロック2−C,3−B及び3−Cが除外され、残りのエッジブロック候補が、エッジブロックとして検出されている。このようにして、画質改善の効果が低いと認められるエッジブロック候補が除外される。
これによって、CPU1は、除外対象ブロックに割り当てなければならなかった画質改善のための情報量を、除外対象ブロックと異なるエッジブロックに割り当てることができる。従って、CPU1は、面積の大きい平坦部に接するエッジを含むエッジブロックに対して、多くの情報量を割り当てて、好適な画質改善処理を図ることができる。
《具体例2》
画像符号化において水しぶきや小さな物体の集まりなどはエッジ部として取り扱われる。しかし、これらは、画質評価において画質劣化が目立たないことが多い。これに鑑み、細かなエッジが集まっている箇所を含むブロックが、エッジブロックとして検出されないことが望まれる。
そこで、図8(B)に示す第二エッジ検出処理において、対象ブロックの近傍ブロックが全てエッジブロック候補である場合には、エッジブロックでないと判定されるように、閾値を調整する(閾値=1とする)。
図10(A)は、具体例2に係る第二エッジ検出処理の対象となる画像(エッジブロック
候補マップ)の例を示す図であり、図10(B)は、図10(A)に示された画像に対して図
8(B)に示す第二エッジ検出処理(閾値=1)が実行された結果を示す図である。図10(
A)及び(B)の画像は、映像情報メディア学会テストチャートの一部である。
図10(A)には、水しぶきが表された4行4列のブロックからなる画像が示されている。図10(A)において、“e”の文字が記されたブロックは、エッジブロック候補であることを示す。図10(B)において、“E”の文字が記されたブロックは、エッジブロックであることを示す。
図10(A)に示された画像(エッジブロック候補マップ)に対して、第二エッジ検出処理(図8(B))が実行されると、図10(B)に示すように、エッジブロック候補でない近傍ブロックの数が1未満であるエッジブロック候補(除外対象ブロック)が除外されるとともに、除外対象ブロック以外のエッジブロック候補が、エッジブロックとして抽出される。
図10(B)の例では、除外対象ブロックに相当するブロック2−C,3−B及び3−Cが除外されている。このような処理によって、微細なエッジの集まりを含むブロックがエッジブロックとされることが抑止される。これによって、画質改善処理を行うべきエッジブロックに割り当てられる画質改善のための情報量を増やすことができ、適正な画質改善及び符号化を図ることができる。
〈優先度付与処理〉
次に、上述した第二エッジ検出処理の変形例に相当する優先度付与処理について説明する。優先度付与処理は、エッジブロック候補マップの生成が終了した後に、第二エッジ検出処理の代わりに実行される。
エッジの画質劣化は、エッジが接する平坦部分の面積が大きい程目立つ傾向がある。例えば、或る原画像が、図11(A)及び図11(B)に示す部分をそれぞれ有すると仮定する。図11(A)及び(B)において、白抜き部分が平坦部分を示し、網掛けが施された部分がエッジを有する物体を示す。この場合、図11(A)に示されるエッジが接する平坦部分の面積は、図11(B)に示される平坦部分の面積より大きい。従って、図11(A)及び(B)の一方のみに画像改善処理が実行される場合には、図11(A)を選択することが、高い画質改善効果を得る観点で好ましい。
情報処理装置10のCPU1は、エッジブロック候補マップに示される各エッジブロック候補に対して、画質改善優先度を設定する。即ち、図11(A)の各エッジブロックに対し、図11(B)に示す部分の各エッジブロックよりも高い画質改善優先度を付与することができる。画質改善優先度は、各エッジブロックのエッジブロック候補でない近傍ブロックの数に応じて決定することができる。
図12は、情報処理装置10のCPU1によって実行される優先度付与処理の例を示すフローチャートである。図12において、閾値1と閾値2との関係は、閾値1>閾値2であり、優先度1,2及び3の関係は、優先度1>優先度2>優先度3である。また、図1
2に示す処理は、例えば、エッジブロック候補マップの作成が完了した時点で開始される。
CPU1は、処理を開始すると、エッジブロック候補マップから対象エッジブロック候補となるエッジブロック候補の一つを特定する。
CPU1は、対象エッジブロック候補に関して、図8(B)に示したS201〜S205の処理と同じ処理を行い、エッジブロック候補でない近傍ブロックの数(cnt値)を得る。続いて、CPU1は、cnt値が所定の閾値1以上か否かを判定する(S301)。
このとき、cnt値が閾値1以上である場合には(S301;YES)、CPU1は、このエッジブロック候補に優先度1を設定(付与)し(S302)、対象エッジブロック候補に対する優先度付与処理を終了する。
これに対し、cnt値が閾値1未満である場合には(S301;NO)、CPU1は、対象エッジブロック候補のcnt値が、所定の閾値2以上か否かを判定する(S303)。このとき、cnt値が閾値2以上である場合には(S303;YES)、CPU1は、このエッジブロック候補に優先度2を設定(付与)し(S304)、対象エッジブロック候補に対する優先度付与処理を終了する。
これに対し、cnt値が閾値2未満である場合には(S303;NO)、CPU1は、このエッジブロック候補に優先度3を設定(付与)し(S305)、対象エッジブロック候補に対する優先度付与処理を終了する。
CPU1は、上述したS301〜S305の処理を、エッジブロック候補マップで示される全てのエッジブロックについて実行する。このようにして、各エッジブロック候補には、その近傍ブロックに関するエッジブロック候補の検出状況に応じた画質改善優先度が付与される。
上記した処理において、エッジブロック候補マップに基づき、第二エッジ検出結果マップの代わりの画質改善優先度マップが作成される。画質改善優先度マップは、エッジブロック候補と、エッジブロック候補に対して付与された優先度とを示す。画質改善優先度マップは、必要に応じて、外部記憶装置3に格納される。
CPU1は、画質改善優先度マップを用いて画像符号化処理を行う。各エッジブロック候補は、画像符号化処理において、エッジブロックとして取り扱われる。このとき、CPU1は、画質改善優先度に依存した画質改善処理を実行することができる。
《具体例》
図13(A)は、優先度付与処理の対象の画像例(エッジブロック候補マップ)を示す図であり、図13(B)は、図13(A)に示した画像に対する優先度付与処理の結果を示す説明図である。
図13(A)には、優先度付与処理対象の画像(エッジブロック候補マップ)の例として、物体Yを中心とした4行4列のブロックからなる画像(マップ)の一部が示されている。但し、図13中の端部に位置する各ブロック(1又は4行に属するブロック,及びA又はD
列に属するブロック)の図示しない隣接ブロックは、平坦部分(エッジブロック候補でないブロック)である。
図13(A)では、当該画像の一部に対し、第一エッジブロック検出処理の結果として、ブロック1−A及び1−Bを除く全てのブロックが、エッジブロック候補として検出されている(エッジブロック候補上には“e”の文字が記されている)。
一方、図13(B)では、エッジブロック候補として検出された各ブロック上に、図12に示す優先度付与処理に従って付与された優先度を示す数字が示されている。ブロック2−Aなどに示された数字(1)は、優先度1を示し、ブロック2−Bなどに示された数字(
2)は優先度2を示し、ブロック3−Bなどに示された数字(3)は優先度3を示す。また
、優先度付与の結果は、図12に示す処理において、閾値1として“3”が設定され、且つ閾値2として“1”が設定された場合の結果を示す。
即ち、図13(B)において、最も外側に位置する各ブロック(1又は4行に属する各ブ
ロック,A又はD列に属する各ブロック)は、3以上のエッジブロック候補でない近傍ブ
ロックを有するので、優先度1が設定されている。これに対し、ブロック2−B及び2−Cは、3未満1以上のエッジブロック候補でない近傍ブロックを有するので、優先度2が設定されている。また、ブロック3−B及び3−Cは、エッジブロック候補でない近傍ブロックを有しないので、優先度3が設定されている。
CPU1は、このような優先度に従った画質改善処理を行う。即ち、CPU1は、優先度に従って、画質改善に強弱を付ける。即ち、各エッジブロックに割り当てられる情報量(圧縮率)に差を設ける。図12及び図13に示す例では、優先度が高い程、画質が高くなるように画質改善処理が実行される。例えば、CPU1は、優先度1に対しては、エッジが最大限にきれいになるように画質改善を行い、優先度2及び3に対しては、優先度1よりも低い程度で画質改善が行われる(但し、優先度2>優先度3)。
《変形例》
なお、画質改善優先度の数は、図12の例に示した3に限られず、2以上の任意の数から選択することができる。
また、優先度付与処理の結果、所定の優先度(例えば、最も低い優先度(図12では優先度3))を有するエッジブロック候補を、画質改善対象のエッジブロックから除外することができる。例えば、画質改善優先度マップ中の、該当するエッジブロック候補に対する記述を、エッジブロック候補でないブロックと同一の記述に改める。これによって、当該エッジブロック候補は、画像符号化処理において、エッジブロックとして取り扱われること
がない。従って、第二エッジ検出処理と同様の効果を得ることが可能となる。
また、図8(B)に示した処理を通じて第二エッジ検出結果マップが作成された後に、図12に示す処理が実行されるようにしても良い。即ち、エッジブロックに対する優先度付与処理が実行されるようにしても良い。
〔適用例〕
次に、上述した実施形態の構成を利用した適用例を説明する。図14は、画像符号化の対象となる原画像を示す図であり、図15は、第一エッジブロック検出処理によるエッジブロックの検出結果(エッジブロック候補マップ)を示す図であり、図16は、第二エッジブロック検出処理によるエッジブロックの検出結果(第二エッジ検出結果マップ)を示す図である。なお、図14に示す原画像は、映像情報メディア学会テストチャートである。
図15及び図16に示される点は、エッジブロックを示す。図15に示される検出結果は、第一エッジブロック検出処理として、図5及び図6に示した処理を通じて得られたものである。
図15と図16とを比較すればわかるように、第二エッジブロック検出処理によって、画質改善不要と認められるエッジブロックが大幅に削減(除外)されている。第一エッジブロック検出処理によるエッジブロックの検出数は3613であるのに対し、第二エッジブロック検出処理によるエッジブロックの検出数は686であった。
このように、本発明によれば、エッジブロックの検出数を削減して、適正なエッジの画質改善処理を含む画像符号化処理を実行することができる。
〔実施形態の作用効果〕
本実施形態によると、第一エッジブロック検出処理に続く第二エッジブロック検出処理において、第一エッジブロック検出処理で検出されたエッジブロック候補から、符号化に有意な(画質改善を行うべき)エッジブロックが抽出される。即ち、画質改善効果が低いと認められるブロックがエッジブロックの検出結果から除外される。これによって、符号化(画質改善)対象のエッジブロック数を減らすことができ、符号化(画質改善)処理を効率的に実行することができる。
このとき、エッジブロックとして検出されなかったエッジブロック候補のブロックに割り当てられる筈であった情報量を、エッジブロックに割り当てることができる。これによって、適正なエッジブロックの画質改善処理を図ることができる。
また、本実施形態によると、優先度付与処理によって、エッジブロックに画質改善優先度が付与され、この優先度に応じた画質改善処理が実行される。これによって、各エッジブロックに対する画質改善処理の負荷(CPU時間,情報量)を、適正に配分することができ、効率的な画質改善処理を実行することができる。
このように、本実施形態によれば、画像符号化で画質の劣化が目立つ物体のエッジ部を、実時間動作の画像符号化装置(通信用等)でも搭載可能な簡単な処理で、符号化効率の観点でより的確に検出する技術が実現される。即ち、実施形態で説明した第二エッジブロック検出処理や優先度付与処理は、第一エッジブロック検出処理結果を用いた簡易な処理であり、これらに要求される処理時間は短い。よって、これらの処理を導入することによる影響は少ない。
〔その他〕
上述した実施形態は、以下の発明を開示する。以下に開示する発明は、必要に応じて適宜組み合わせることができる。
(付記1)
複数のブロックからなる画像について、エッジを含むブロックとしてのエッジブロック候補を検出する検出手段と、
前記エッジブロック候補から、前記画像の符号化処理において実行される画質改善処理を要しないと認められるエッジブロック候補を除外し、残りのエッジブロック候補を前記画質改善処理対象のエッジブロックとして抽出する抽出手段と、
を含む画像符号化装置。(1)
(付記2)
前記抽出手段は、エッジブロック候補の近傍ブロックに対するエッジブロック検出結果を用いて、エッジブロック候補を除外するかを判定する
付記1記載の画像符号化装置。
(付記3)
前記抽出手段は、前記エッジブロック候補の近傍ブロックであって、エッジブロック候補として検出されなかった近傍ブロックの数が所定の閾値未満である場合に、このエッジブロック候補を除外する
付記1又は2記載の画像符号化装置。
(付記4)
前記抽出手段は、前記抽出されたエッジブロックに対して、画質改善処理の優先度を付与する
付記1〜3のいずれかに記載の画像符号化装置。
(付記5)
複数のブロックからなる画像について、エッジを含むブロックとしてのエッジブロックを検出する検出手段と、
前記検出されたエッジブロックに対し、前記画像の符号化処理においてエッジブロックを対象として実行される画質改善処理の優先度を付与する付与手段と、
を含む画像符号化装置。(2)
(付記6)
前記付与手段は、エッジブロックの近傍ブロックに対する前記検出手段のエッジブロック検出結果に応じた優先度をエッジブロックに付与する
付記5記載の画像符号化装置。
(付記7)
前記付与手段は、エッジブロックの近傍ブロックであって、前記検出手段でエッジブロックとして検出されなかった近傍ブロックの数に応じた優先度を、エッジブロックに付与する
付記6記載の画像符号化装置。
(付記8)
前記優先度に応じた画質を得るための画質改善処理が実行される
付記5〜7のいずれかに記載の画像符号化装置。
(付記9)
所定の優先度を有するエッジブロックが、前記画質改善処理対象のエッジブロックから除外される
付記5〜8のいずれかに記載の画像符号化装置。
(付記10)
複数のブロックからなる画像について、エッジを含むブロックとしてのエッジブロック候補を検出し、
前記エッジブロック候補から、前記画像の符号化処理において実行される画質改善処理を要しないと認められるエッジブロック候補を除外し、残りのエッジブロック候補を前記画質改善処理対象のエッジブロックとして抽出する、
ことを含む画像符号化方法。(3)
(付記11)
前記エッジブロックの抽出において、前記エッジブロック候補の近傍ブロックであって、エッジブロック候補として検出されなかった近傍ブロックの数が所定の閾値未満である場合に、このエッジブロック候補を除外する
付記10記載の画像符号化方法。
(付記12)
複数のブロックからなる画像について、エッジを含むブロックとしてのエッジブロックを検出し、
前記検出されたエッジブロックに対し、前記画像の符号化処理においてエッジブロックを対象として実行される画質改善処理の優先度を付与する、
ことを含む画像符号化方法。(4)
(付記13)
エッジブロックの近傍ブロックであって、前記エッジブロック検出でエッジブロックとして検出されなかった近傍ブロックの数に応じた優先度を、エッジブロックに付与する
付記12記載の画像符号化方法。
(付記14)
前記優先度に応じた画質を得るための画質改善処理が実行される
付記12又は13記載の画像符号化方法。
(付記15)
所定の優先度を有するエッジブロックが、前記画質改善処理対象のエッジブロックから除外される
付記12〜14のいずれかに記載の画像符号化方法。
(付記16)
情報処理装置に、
複数のブロックからなる画像について、エッジを含むブロックとしてのエッジブロック候補を検出するステップと、
前記エッジブロック候補から、前記画像の符号化処理において実行される画質改善処理を要しないと認められるエッジブロック候補を除外し、残りのエッジブロック候補を前記画質改善処理対象のエッジブロックとして抽出するステップと、
を実行させるプログラム,又は該プログラムを記録した記録媒体。(5)
(付記17)
前記抽出するステップにおいて、前記エッジブロック候補の近傍ブロックであって、エッジブロック候補として検出されなかった近傍ブロックの数が所定の閾値未満である場合に、このエッジブロック候補を除外する
付記16記載のプログラム,又は該プログラムを記録した記録媒体。
(付記18)
情報処理装置に、
複数のブロックからなる画像について、エッジを含むブロックとしてのエッジブロックを検出するステップと、
前記検出されたエッジブロックに対し、前記画像の符号化処理においてエッジブロックを対象として実行される画質改善処理の優先度を付与するステップと、
を実行させるプログラム,又は該プログラムを記録した記録媒体。
(付記19)
エッジブロックの近傍ブロックであって、前記エッジブロック検出でエッジブロックとして検出されなかった近傍ブロックの数に応じた優先度を、エッジブロックに付与する
付記18記載のプログラム,又は該プログラムを記録した記録媒体。
(付記20)
所定の優先度を有するエッジブロックが、前記画質改善処理対象のエッジブロックから除外される
付記18又は19記載のプログラム,又は該プログラムを記録した記録媒体。
従来技術の問題点を例示する図である。 本発明に係る画像符号化処理の概要説明図である。 図2に示した処理における第二エッジ検出処理の詳細を示すフローチャートである。 画像符号化装置として機能可能な情報処理装置の構成例(画像符号化装置の構成例)を示す図である。 図5(A)は、第一エッジ検出処理において定義される対象画素と、対象画素の近傍画素を説明する図であり、図5(B)は、第一エッジ検出処理の例を示すフローチャートである。 エッジブロック候補決定処理の例を示すフローチャートである。 画像中の平坦な部分と複雑な部分とを示す例を示す図である。 図8(A)は、第二エッジ検出処理における対象ブロックと近傍ブロックとの定義例を示す図であり、図8(B)は、図8(A)に示した定義に従って実行される第二エッジ検出処理の例を示すフローチャートである。 図9(A)は、具体例1に係る第二エッジ検出処理の対象となる画像の例を示す図であり、図9(B)は、図9(A)に示された画像に対して図8に示す第二エッジ検出処理(閾値=2)が実行された結果を示す図である。 図10(A)は、具体例2に係る第二エッジ検出処理の対象となる画像の例を示す図であり、図10(B)は、図10(A)に示された画像に対して図8(B)に示す第二エッジ検出処理(閾値=1)が実行された結果を示す図である。 図11(A)及び(B)は、画像中のエッジが接する平坦部分の説明図である。 優先度付与処理の例を示すフローチャートである。 図13(A)は、優先度付与処理の対象の画像例を示す図であり、図13(B)は、図13(A)に示した画像に対する優先度付与処理の結果を示す説明図である。 画像符号化の対象となる原画像を示す図である。 図14に示した原画像に対して実行された第一エッジブロック検出処理によるエッジブロックの検出結果(エッジブロック候補マップ)を示す図である。 図14に示した原画像に対して実行された第二エッジブロック検出処理によるエッジブロックの検出結果(第二エッジ検出結果マップ)を示す図である。
符号の説明
1・・・CPU
2・・・メインメモリ
3・・・外部記憶装置
10・・・情報処理装置

Claims (3)

  1. 入力画像を複数画素からなるブロックに分割し、エッジを含むブロックとしてのエッジブロック候補を検出する検出手段と、
    前記エッジブロック候補から、前記画像の符号化処理において実行される画質改善処理を要しないと認められるエッジブロック候補を除外し、残りのエッジブロック候補を前記画質改善処理対象のエッジブロックとして抽出する抽出手段と、
    前記抽出手段により抽出されたエッジブロックに対して、該エッジブロックの近傍ブロックであって、前記検出手段によりエッジブロック候補として検出されなかった近傍ブロックの数が多いほど、画質が高くなる画質改善処理が実行されるよう改善処理の高い優先度を付与する付与手段と、
    を含む画像符号化装置。
  2. 画像符号化装置が、
    入力画像を複数画素からなるブロックに分割し、エッジを含むブロックとしてのエッジブロック候補を検出し、
    前記エッジブロック候補から、前記画像の符号化処理において実行される画質改善処理を要しないと認められるエッジブロック候補を除外し、残りのエッジブロック候補を前記画質改善処理対象のエッジブロックとして抽出し、
    前記抽出されたエッジブロックに対して、該エッジブロックの近傍ブロックであって、前記エッジブロック候補として検出されなかった近傍ブロックの数が多いほど、画質が高くなる画質改善処理が実行されるよう改善処理の高い優先度を付与する、
    ことを含む画像符号化方法。
  3. 情報処理装置に、
    入力画像を複数画素からなるブロックに分割し、エッジを含むブロックとしてのエッジブロック候補を検出するステップと、
    前記エッジブロック候補から、前記画像の符号化処理において実行される画質改善処理を要しないと認められるエッジブロック候補を除外し、残りのエッジブロック候補を前記画質改善処理対象のエッジブロックとして抽出するステップと、
    前記抽出されたエッジブロックに対して、該エッジブロックの近傍ブロックであって、
    前記エッジブロック候補として検出されなかった近傍ブロックの数が多いほど、画質が高くなる画質改善処理が実行されるよう改善処理の高い優先度を付与するステップと、を実行させるためのプログラム。
JP2005289051A 2005-09-30 2005-09-30 画像符号化装置 Expired - Fee Related JP4774265B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005289051A JP4774265B2 (ja) 2005-09-30 2005-09-30 画像符号化装置
US11/359,588 US7873226B2 (en) 2005-09-30 2006-02-23 Image encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005289051A JP4774265B2 (ja) 2005-09-30 2005-09-30 画像符号化装置

Publications (2)

Publication Number Publication Date
JP2007104133A JP2007104133A (ja) 2007-04-19
JP4774265B2 true JP4774265B2 (ja) 2011-09-14

Family

ID=37902009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005289051A Expired - Fee Related JP4774265B2 (ja) 2005-09-30 2005-09-30 画像符号化装置

Country Status (2)

Country Link
US (1) US7873226B2 (ja)
JP (1) JP4774265B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021039A1 (ja) * 2008-08-21 2010-02-25 パイオニア株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
JP5290915B2 (ja) * 2009-09-03 2013-09-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP2348487A3 (en) * 2010-01-22 2017-09-13 Samsung Electronics Co., Ltd. Method and apparatus for creating animation message
JP5518224B2 (ja) * 2013-03-04 2014-06-11 キヤノン株式会社 符号化装置、符号化方法及びプログラム
KR102087986B1 (ko) * 2013-10-04 2020-03-11 삼성전자주식회사 이미지 데이터를 처리하는 방법 및 장치
US10410081B2 (en) * 2014-12-23 2019-09-10 Intel Corporation Method and apparatus for a high throughput rasterizer

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157743A (en) * 1987-10-28 1992-10-20 Canon Kabushiki Kaisha Image information coding apparatus
JP2646921B2 (ja) 1991-11-15 1997-08-27 日本ビクター株式会社 適応量子化装置
JPH0638189A (ja) * 1992-07-15 1994-02-10 Matsushita Electric Ind Co Ltd 画像符号化方法
JP3066278B2 (ja) 1995-01-18 2000-07-17 三洋電機株式会社 画像符号化装置及び画像復号化装置
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
JPH09120458A (ja) 1995-10-26 1997-05-06 Sanyo Electric Co Ltd 画像符号化方法
JPH09167240A (ja) 1995-12-15 1997-06-24 Sony Corp ディジタル画像信号処理装置および方法
JP3903360B2 (ja) 1999-06-28 2007-04-11 パイオニア株式会社 エッジ検出方法及びエッジ検出装置並びに画像符号化装置
JP2003230147A (ja) 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 映像信号符号化装置およびその方法
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4189467B2 (ja) * 2004-05-27 2008-12-03 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置

Also Published As

Publication number Publication date
US20070076965A1 (en) 2007-04-05
JP2007104133A (ja) 2007-04-19
US7873226B2 (en) 2011-01-18

Similar Documents

Publication Publication Date Title
JP4774265B2 (ja) 画像符号化装置
CN106412720B (zh) 视频水印去除的方法和装置
JP5214246B2 (ja) フィルム粒度シミュレーションのためのブロック平均決定方法
JP5478047B2 (ja) 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム
CN112913237A (zh) 使用深度神经网络的人工智能编码和人工智能解码方法和设备
US20130169834A1 (en) Photo extraction from video
CN109767408B (zh) 图像处理方法、装置、存储介质及计算机设备
JP6226578B2 (ja) 画像符号化装置、画像符号化方法及びプログラム
WO2008018331A1 (en) Method, apparatus and integrated circuit capable of reducing image ringing noise
CN102754440B (zh) 图像编码方法、图像编码装置以及摄像***
JP7383128B2 (ja) 画像処理装置
JP2011091510A (ja) 画像処理装置およびその制御方法
TW201016012A (en) Systems and methods for improving the quality of compressed video signals by smoothing block artifacts
CN106060544A (zh) 一种图像编码方法、相关设备及***
JP5029543B2 (ja) 符号化装置および符号化プログラム
CN110378860A (zh) 修复视频的方法、装置、计算机设备和存储介质
JP2004023288A (ja) 動画像符号化のための前処理方式
CN110691246A (zh) 视频编码方法、装置及电子设备
US20210160516A1 (en) Data rate control method, computer system, and device
JP7265316B2 (ja) 画像処理装置及び画像処理方法
JP2007512750A (ja) ビデオ信号における局所的な画像空間−時間細部の検出
JP2007334457A (ja) 画像処理装置及び画像処理方法
JP2008109247A (ja) ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダ
JP2004048219A (ja) 電子透かし情報の挿入方法
JP2002208006A (ja) 画像ノイズ減少方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110627

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees