JP4816328B2 - 画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置 - Google Patents

画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置 Download PDF

Info

Publication number
JP4816328B2
JP4816328B2 JP2006227554A JP2006227554A JP4816328B2 JP 4816328 B2 JP4816328 B2 JP 4816328B2 JP 2006227554 A JP2006227554 A JP 2006227554A JP 2006227554 A JP2006227554 A JP 2006227554A JP 4816328 B2 JP4816328 B2 JP 4816328B2
Authority
JP
Japan
Prior art keywords
pixel
value
image
pixel value
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006227554A
Other languages
English (en)
Other versions
JP2008054002A (ja
Inventor
俊一 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2006227554A priority Critical patent/JP4816328B2/ja
Priority to US11/826,299 priority patent/US8014620B2/en
Publication of JP2008054002A publication Critical patent/JP2008054002A/ja
Application granted granted Critical
Publication of JP4816328B2 publication Critical patent/JP4816328B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置に関する。
ITU−T勧告 T.44に示されるようなミクストラスタコンテント(MRC、Mixed Raster Content)方式の画像圧縮方式がある。
これは、文字や線画部などを含んだ画像をJPEG等の変換符号化で圧縮すると、文字や線画部の歪が大きくなるという問題を解消する方式である。
MRCでは、入力画像から、文字や線画部を抽出する。また、抽出した文字や線画部の色データを抽出する。さらに、入力画像から上記の文字や線画部を除去する。文字や線画部は2値データとして、MH,MMR,JBIG等の2値データ圧縮方式で符号化される。色データは、JPEG等の多値画像圧縮方式で符号化される。さらに、入力画像から上記の文字や線画部を除去した後のバックグラウンド画像は、JPEG等の多値画像圧縮方式で符号化される。
このようなマルチプレーンの圧縮を行うことにより、高い圧縮率の場合であっても、文字や線画部の画像品質を高く保つことが可能となる。図63は、ITU−T勧告T.44から引用した図である。Foreground631が色データである。Mask632が文字線画部の情報、Background633が入力画像から上記の文字や線画部を除去した後のバックグラウンド画像である。
あるいは、上記のようなMRCフォーマットではなくて、文字や線画部を圧縮する場合に、文字や線画部を色ごとに違う2値データとすることも可能である。
例えば、入力画像から黒の文字や線画部を抜き出して2値データを作成する。また、入力画像から赤の文字や線画部を抜き出して2値データを作成する。さらに、入力画像から、上記黒や赤の文字や線画部を除去した多値画像データを作成する。黒の文字や線画部を抜き出して作成した2値データは2値データ圧縮方式で圧縮される。また、この画像の色は黒であるという情報を別途付与する。同様に、赤の文字や線画部を抜き出して作成した2値データは2値データ圧縮方式で圧縮される。また、この画像の色は赤であるという情報を別途付与する。さらに、入力画像から上記の文字や線画部を除去した後のバックグラウンド画像は、JPEG等の多値画像圧縮方式で符号化される。
図64に示されるように、赤色で描画された文字(「ABC」、赤文字6411)と、黒色で描画された文字(「DEF」、黒文字6412)と、非文字線画部(家が描かれたの画像部分、家画像6413)からなる入力画像641が存在する場合、ABCのみを抽出した2値画像642と、DEFのみを抽出した2値画像643と、残りの部分である多値画像644とに分割し、それぞれの画像を独立に符号化する。また、ABCを抽出した2値画像642の色が赤であり、DEFを抽出した2値画像643の色が黒であるという情報を別途付与する。
以上のようにバックグラウンド画像を作成する場合、単純に文字や線画部を除去しただけでは、高周波成分が発生し、JPEG等の変換符号化に適さない画像となってしまう。抜き出した文字や線画部を穴埋めすることによって、圧縮効率を上げることが可能となる。穴埋め画素値は、復号時に文字線画部で上書きされてしまうため、任意である。そのため、様々な穴埋め方式が提案されている。
これらに関連する技術として、例えば、特許文献1から特許文献9では、文字線画部の周囲画素の平均値で穴埋めする方法が述べられている。
また、例えば、特許文献10、特許文献11では、バックグラウンド画像に平滑化フィルタをかけて穴埋めする方法が述べられている。
また、例えば、特許文献12、特許文献13、特許文献14では、最も近い非文字線画部の画素値で穴埋めする方法が述べられている。
あるいは、例えば、特許文献15では、ブロック毎にブロック内の抽出画素以外の中央値や最頻値を用いるという例が示されている。
さらに、例えば、特許文献16では、平均値や最も近い非文字線画部の画素値で穴埋めした後で平滑化フィルタをかける手法が述べられている。
特許第2611012号公報 特許第3083336号公報 特開2002−77633号公報 特開2002−369011号公報 特開2003−18412号公報 特開2003−18413号公報 特開2003−219187号公報 特開2003−244447号公報 特開2004−260327号公報 特許第2910000号公報 特許第2720926号公報 特開平11−32206号公報 特開2005−20227号公報 特開2006−19957号公報 特許第3122481号公報 特許第3231800号公報
本発明は、このような背景技術の状況の中でなされたもので、画像の一部分を消去したような場合に、圧縮率がよくならない場合があることを課題とし、画像の一部分を消去したような場合に、安定した圧縮率を得ることができるようにした画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置を提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
[1] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理システム。
[2] 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
ことを特徴とする[1]に記載の画像処理システム。
[3] 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
ことを特徴とする[1]に記載の画像処理システム。
[4] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段
を具備することを特徴とする画像処理システム。
[5] 前記画素値変更手段は逐次的に画素値を変更する
ことを特徴とする[2]に記載の画像処理システム。
[6] 前記第1の画素値変更手段は逐次的に画素値を変更する
ことを特徴とする[4]に記載の画像処理システム。
[7] 前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を0となるような方向に変更する
ことを特徴とする[1]、[2]、[3]または[5]に記載の画像処理システム。
[8] 前記第1の画素値変更手段または前記第2の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を0となるような方向に変更する
ことを特徴とする[4]または[6]に記載の画像処理システム。
[9] 前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を0以上の値となるように変更する
ことを特徴とする[1]、[2]、[3]または[5]に記載の画像処理システム。
[10] 前記第1の画素値変更手段または前記第2の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を0以上の値となるように変更する
ことを特徴とする[4]または[6]に記載の画像処理システム。
[11] 前記画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
ことを特徴とする[1]、[2]、[3]、[5]、[7]または[9]に記載の画像処理システム。
[12] 前記第1の画素値変更手段または前記第2の画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
ことを特徴とする[4]、[6]、[8]または[10]に記載の画像処理システム。
[13] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に画像圧縮手段が行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
[14] 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
ことを特徴とする[13]に記載の画像圧縮システム。
[15] 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
ことを特徴とする[13]に記載の画像圧縮システム。
[16] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段と、
前記第1の画素値変更手段または前記第2の画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
[17] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
[18] 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
ことを特徴とする[17]に記載の画像編集システム。
[19] 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
ことを特徴とする[17]に記載の画像編集システム。
[20] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段と、
前記第1の画素値変更手段または前記第2の画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記第1の画素値変更手段または前記第2の画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
[21] コンピュータに、
画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第2の画素が含まれている場合は、本画素値変更機能による処理の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更機能
を実現させることを特徴とする画像処理プログラム。
[22] 前記画素値変更機能は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
ことを特徴とする[21]に記載の画像処理プログラム。
[23] 前記画素値変更機能は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
ことを特徴とする[21]に記載の画像処理プログラム。
[24] コンピュータに、
画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第2の画素が含まれている場合は、第2の画素値変更機能による処理の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更機能による処理の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更機能
を実現させることを特徴とする画像処理プログラム。
[25] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含み、該第1の画素が2画素連続しており、該第2の画素が5画素連続した縦縞模様の画像を入力し、
前記第2の画素を変更した画像を可逆符号化による圧縮をした場合に、その圧縮方式に合わせたフィルタリング処理を行うことによって、圧縮結果のビットレートが3.2未満となる
ことを特徴とする画像処理システム。
[26] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理装置。
[27] 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
ことを特徴とする[26]に記載の画像処理装置。
[28] 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
ことを特徴とする[26]に記載の画像処理装置。
[29] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段
を具備することを特徴とする画像処理装置。
請求項1にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
請求項2にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項3にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項4にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項5にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項2に記載の画像処理システムによる効果に加えて、逐次的に処理を行うことができる。つまり、処理を直列的に行い、繰り返し、前段階に戻る等の処理を行う必要がない。これによって、より高速な処理とすることができるようになる。
請求項6にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項4に記載の画像処理システムによる効果に加えて、逐次的に処理を行うことができる。つまり、処理を直列的に行い、繰り返し、前段階に戻る等の処理を行う必要がない。これによって、より高速な処理とすることができるようになる。
請求項7にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項1、2、3または5に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
請求項8にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項4または6に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
請求項9にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項1、2、3または5に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
請求項10にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項4または6に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
請求項11にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項1、2、3、5、7または9に記載の画像処理システムによる効果に加えて、画素値の変更処理の順番によっては画素の値を変更できない画素を少なくすることができるようになる。
請求項12にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項4、6、8または10に記載の画像処理システムによる効果に加えて、画素値の変更処理の順番によっては画素の値を変更できない画素を少なくすることができるようになる。
請求項13にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
請求項14にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項15にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項16にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項17にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、画質的に安定した画像を得ることができるようになる。
請求項18にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、画質的に安定した画像を得ることができるようになる。
請求項19にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、画質的に安定した画像を得ることができるようになる。
請求項20にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、画質的に安定した画像を得ることができるようになる。
請求項21にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
請求項22にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項23にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項24にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項25にかかる画像処理システムによれば、本構成を有していない場合に比較して、画素値を変更しない第1の画素および画素値を変更する第2の画素を含み、該第1の画素が2画素連続しており、該第2の画素が5画素連続した縦縞模様の画像に対しても、第2の画素を変更した画像を可逆符号化による圧縮をした場合に、そのビットレートが3.2未満となる。
請求項26にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
請求項27にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項28にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
請求項29にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が0となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
まず、本実施の形態の理解を容易にするために、基本的な考え方を説明する。
従来の各手法は、滑らかで、エッジのない画像であれば、JPEG等の変換符号化に有利であろうという予測の下で穴埋めを行っている。しかしながらこれらの穴埋め方法を用いて圧縮効率が上がる保証はない。
そこで、本実施の形態では、文字線画部を除いたバックグラウンド画像の穴埋めを、後段の圧縮方式に合わせて、効率的に行うものである。
また、ある領域で画素値の平均値等を取得して穴埋め画素値を算出する従来例では、非穴埋め画素値の探索が予め必要であり、穴埋めを逐次的に行うことができないということになる。つまり、膨大なデータ量である画像に対して、穴埋めを逐次的に行うことができないと、処理量が増大して、処理時間が長くかかるということになる。
本実施の形態は、例えば、穴埋めを逐次的に行って、かつ、穴埋め時の画素値ギャップを発生させることのないものを提供するものである。また、実際に用いる場合には、本実施の形態は、例えば、入力画像から、文字や線画部を抜き出して、2値画像符号化プレーンと、多値画像符号化プレーンに分離して画像符号化を行う方式において、文字や線画部を抜き出した部分の穴埋めを行うものに関するものである。
以下、図面に基づき本発明の好適な実施の形態を説明する。
1. モジュール構成図
図1は、一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、装置、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。
本実施の形態は、図1に示すように、画像入力モジュール11、第1の画素/第2の画素識別情報入力モジュール12、領域分割モジュール13、第2の画素識別モジュール14、画素値変更モジュール15、圧縮モジュール16、圧縮画像記憶モジュール17、画像編集モジュール18、出力モジュール19を有している。
画像入力モジュール11は、領域分割モジュール13と接続しており、画像を入力する。ここで、画像とは、2値画像、多値画像(カラー画像)等を問わず、また1枚の画像であってもよく、複数枚の画像であってもよい。
第1の画素/第2の画素識別情報入力モジュール12は、領域分割モジュール13と接続しており、画像入力モジュール11によって入力する画像と対応しており、その画像内のそれぞれの画素を、画素値を変更しない第1の画素又は画素値を変更する第2の画素として識別するための情報を入力する。具体的には、第1の画素は自然画等に該当し、第2の画素は文字/図形等に該当する。そして、識別するための情報は、画像入力モジュール11によって入力した画像を、第1の画素、第2の画素に分離するための情報である。
領域分割モジュール13は、画像入力モジュール11、第1の画素/第2の画素識別情報入力モジュール12、第2の画素識別モジュール14と接続しており、画像入力モジュール11によって入力した画像を領域に分割する。分割した領域を第1の画素/第2の画素識別情報入力モジュール12によって入力した識別情報とともに、第2の画素識別モジュール14へ渡す。具体的には、ブロック(矩形)等に分割する。以下、ブロックに分割する例を主に説明する。
第2の画素識別モジュール14は、領域分割モジュール13、画素値変更モジュール15と接続しており、領域分割モジュール13によって分割された画像(第1の画素および第2の画素を含む画像)から第2の画素を識別する。その識別結果を画素値変更モジュール15へ渡す。
画素値変更モジュール15は、第2の画素識別モジュール14と接続しており、圧縮モジュール16または画像編集モジュール18とも接続している。領域分割モジュール13によって分割した領域内に第2の画素識別モジュール14によって識別した第2の画素が含まれている場合は、フィルタリング処理によって所定の値となるように第2の画素の値を変更する。フィルタリング処理によって所定の値となるように第2の画素の値を変更するとは、例えばハイ(High)パスフィルタ(広域通過フィルタ)によるフィルタリング処理後の値が0となるような方向に第2の画素の値を変更すること、ハイパスフィルタによるフィルタリング処理後の電力値が最小となるような方向に第2の画素の値を変更すること等である。「0となるような方向」とは、0を含み、0と近似の値となるものである。「電力値が最小となるような方向」とは、電力値としてその場合における最小値を含み、その最小値と近似の値となるものである。また、電力値が最小となるような方向に第2の画素の値を変更する処理は、領域分割モジュール13によって分割した領域内に第2の画素識別モジュール14によって識別した第2の画素が所定数以上連続して含まれている場合に行う。
さらに、画素値変更モジュール15による処理は、例えば、逐次的に画素値を変更するものである。具体的には、変更処理が終了した画素を元にして次の画素の値を変更することを行うものである。
また、画素値変更モジュール15によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、フィルタ係数を0となるような方向に変更する。または、フィルタ係数を0以上の値となるように変更する。
また、画素値変更モジュール15による画素値の変更の順番を、画像内において複数の異なる方向から行うようにしてもよい。具体的には、ラスタスキャンの起点を左上端、右下端、方向を横方向、縦方向等にする。より具体的には後述する。
より詳細に画像入力モジュール11から画素値変更モジュール15を説明する。
本実施の形態への入力は、画像入力モジュール11によって入力される画像と第1の画素/第2の画素識別情報入力モジュール12によって入力される識別情報である。以下、この識別情報として、穴埋め情報を主に例示して説明する。
穴埋め情報は、例えば、抽出された文字線画部を1とし、その他の部分を0とする2値データである。この2値データの大きさは、入力画像に等しい。本実施の形態は、穴埋め情報が1である部分の画素値を適切に設定すること(つまり、穴埋めを行うこと)を行う。これによって、穴埋め画像を含めた画像の圧縮率を安定的に高める等ができる。
まず、領域分割モジュール13によって穴埋め画素を含む領域が抽出される。以下、領域として、画素ブロック(矩形)を主に例示して説明する。次に、第2の画素識別モジュール14によってその画素ブロック内に穴埋め画素があるか否かが判断され、その画素ブロック内に穴埋め画素があるならば、画素値変更モジュール15によって画素ブロック内の穴埋め画素値が算出される。
上記の画素ブロックの大きさや位置は、様々なものがある。また、穴埋め画素値算出の方法も様々なものがある。
(1)JPEG圧縮を行う場合は、JPEGと同じ8×8の画素ブロックを抽出する。
(1−1)さらに、DCT係数のゼロランが続くような穴埋め画素値を算出する。なお、この算出処理は、フィルタリング処理後の値が0となるような方向に穴埋め画素の値を変更する処理の1つの例示である。
(1−2)あるいは、DCT係数のノルムが最小となるような穴埋め画素値を算出する。なお、この算出処理は、フィルタリング処理後の電力値が最小となるような方向に穴埋め画素の値を変更する処理の1つの例示である。
(2)JPEG2000圧縮を行う場合は、以下の何れかの方法とする。
(2−1)ラスタスキャン順に1画素ごとに穴埋めを行う。画素ブロックサイズは、ハイパスフィルタサイズとする。ハイパスフィルタ出力値が0となるような穴埋め画素値とする。なお、この算出処理は、フィルタリング処理後の値が0となるような方向に穴埋め画素の値を変更する処理の1つの例示である。
(2−2)最初の穴埋め画素を左上端として所定の大きさの画素ブロック(所定領域1)を抽出し、そのブロック内のハイパスフィルタ出力の電力値を最小とするように、画素ブロック内の画素値を決定する。なお、この算出処理は、フィルタリング処理後の電力値が最小となるような方向に穴埋め画素の値を変更する処理の1つの例示である。
(2−3)最初の穴埋め画素を左上端として所定の大きさの画素ブロック(所定領域2)を抽出し、その中に非穴埋め画素が存在しない場合は、1画素ごとにハイパスフィルタ出力値が0となるような穴埋め画素値を算出する。非穴埋め画素が存在する場合は、所定領域1のハイパスフィルタ出力の電力値を最小とするように、所定領域1内の画素値を決定する。
圧縮モジュール16は、画素値変更モジュール15、圧縮画像記憶モジュール17と接続しており、画素値変更モジュール15によって変更した画素を含む画像を圧縮する。
圧縮画像記憶モジュール17は、圧縮モジュール16と接続しており、圧縮モジュール16によって圧縮した画像を記憶するものである。
画像編集モジュール18は、画素値変更モジュール15、出力モジュール19と接続しており、画素値変更モジュール15によって変更した画素を含む画像を編集する。
出力モジュール19は、画像編集モジュール18と接続しており、画像編集モジュール18によって編集した画像を出力するものであり、具体的にはディスプレイ、プリンタ等である。
2. 基本的な考え方
画素値変更モジュール15による処理の基本的な考え方の理解を容易にするために説明する。その基本的な考え方は、圧縮率を高めるためのものであり、以下の3つである。
(考え方1)
値がゼロである変換係数の数ができるだけ多くなるような画素値とする。
(考え方2)
変換係数出力値の電力値をできるだけ小さくすればよい。
(考え方3)
上記(考え方1)と(考え方2)の組み合わせである。
3. 考え方1をJPEGに適用する場合
JPEGに適用する場合は、ジグザグスキャン順のDCT係数のゼロラン長が長くなるように穴埋め画素値を設定する。
3.1. 2次元DCTに適用する場合
ここでは、8×8の画素ブロックを64次元の画素値ベクトルxとして考える。DCT変換は、「64次元の画素値ベクトルxを、64×64のDCT行列Dを用いて64次元の変換係数ベクトルcを求める変換」として考えることができる。この関係は数1のように書くことができる。
Figure 0004816328
例えば、8×8ブロックの画素位置を(i,j)、2次元周波数を(u,v)、変換係数をSvu、画素値をsjiとする。ただし、(i,j)、および(u,v)は、(列番号、行番号)を示しているものとする。8×8DCT順変換は、数2のようになる。
Figure 0004816328
逆変換は、数3のようになる。
Figure 0004816328
ただし、数4のような条件とする。
Figure 0004816328
さらに、ベクトルx内の要素が、(i,j),(i,j),...,(i63,j63)の順で並んでおり、ベクトルc内の要素が、(u,v),(u,v),...,(u63,v63)の順で並んでいるとすると、行列Dのt行s列の要素Dtsは、数5のように求めることができる。
Figure 0004816328
同様に、D−1の要素D−1 tsは、数6のように求めることができる。
Figure 0004816328
ここで、(u,v),(u,v),...,(u63,v63)の順は、低周波成分から高周波成分へのジグザグ順であるとする。また、64個の画像ブロック中で、穴埋めを行わない画素をA画素、穴埋めを行う画素をB画素と呼ぶこととする。(i,j),(i,j),...,(i63,j63)の順は、最初にA画素が並んで、最後にB画素が並ぶような順序であるとする。
以下、一般的な記述を行うため、ベクトルxの次元をNとする。主にN=64である。
今、A画素の個数がN−b個、B画素の個数がb個とする。ここでは、穴埋め画素であるB画素の画素値を求めたい。そこで、数1を、b個のB画素の画素値を未知数とした連立方程式と考える。
ここで、数1はN元の連立方程式であるため、N個以下の未知数とすればよい。DCT係数はゼロであるほうが通常は圧縮率が高くなるため、ここでは、b個のDCT係数を全て0とする。
上記のようにすると、数1は数7のようになる。
Figure 0004816328
ベクトルxは、既知の非穴埋め画素を示すベクトル、ベクトルxは、未知の穴埋め画素を示すベクトル、ベクトルcはジグザグスキャン順に低周波成分から、N−b個のDCT係数である。
数7は、未知数N個のN元一次方程式であるので、未知ベクトルxを求めることができる。
3.2. 1次元DCTに適用する場合
同様の考え方を1次元DCTに適用することも可能である。
ここでは、横方向のDCT係数の高周波成分をゼロとするような穴埋め画素値を求めるとする。
まず画像を1行×8列のブロックに分割する。
上記分割でできた画素ブロックを列ベクトルxで表す。
ベクトルxのDCT係数を列ベクトルcとする。
ここでは、8×8のDCT変換行列Dを考える。行列Dのt行s列の要素Dtsは、数8のように求めることができる。
Figure 0004816328
このような行列Dとベクトルxに関して、前節と全く同様な処理を行えばよい。
4. 考え方2をJPEGに適用する場合
DCT係数のノルムを最小とするようなベクトルxを求める(数9参照)。
Figure 0004816328
5. 補足
上記で、DCT係数のゼロランの長さやノルムを計測する場合、量子化後のベクトルのゼロランの長さやノルムを計測してもよい。
6. 考え方1、考え方2をJPEG2000に適用する場合
JPEG2000では可逆圧縮も可能である。そのため、可逆圧縮率を高めるような穴埋め手法を採用することもできる。以下、穴埋めを行わない画素をA画素、穴埋めを行う画素をB画素と呼ぶこととする。
一般的には、穴埋め画素値をp(x,y)として、DWT(離散ウェーブレット変換)の高周波成分の電力値を最も小さくするようなp(x,y)の値を採用することが最適であると考えられる。例えば高周波成分の電力値和を穴埋め画素p(x,y)で偏微分した結果を0とするようなp(x、y)を求めればよい。ただし、この方法は、穴埋め画素数が多いときの計算量が膨大になるため、現実的ではない。また、電力最小規範(考え方2に対応する)は可逆圧縮率向上には必ずしも直結しない。そこで、本実施の形態では以下のような方策を採る。
(1)穴埋め画素領域を限定し、局所的な電力最小規範を用いて、限定された領域の画素を穴埋めする。これによって、処理負荷軽減を図る。
(2)さらに、可逆圧縮率を高めるため、できるだけハイパスフィルタによるフィルタリング処理の出力が0となるような穴埋め画素値を採用する。
6.1. 理想的な穴埋め
実施の形態を詳細に説明する前に、理想的な穴埋めに関して説明しておく。
以下、画素値をp(x,y)とする。ただし、xは行を表すインデクス、yは列を表すインデクスであるとする。また、穴埋めを行わない画素をA画素、穴埋めを行う画素をB画素と呼ぶこととする。さらに、位置(x,y)がB画素であるような(x,y)の集合をUとする。
さて、DWT(離散ウェーブレット変換)を行うことによって、入力画像は、1HH,1HL,1LH,2HH,2HL,2LH,...xLLの複数周波数領域に分割される。図2は、2段階のDWTを行った例である。つまり、1HH,1HL,1LH,2HH,2HL,2LH,2LLの複数周波数領域に分割される。
各周波数領域の値は、入力画素値のフィルタ出力である。よって各周波数領域の値は、p(x,y)の関数となる。ここでJPEG2000の圧縮率を高めるためには、各周波数帯の電力値和をできるだけ小さくすればよい。そこで、以下(数10)のような評価関数を定義する。
Figure 0004816328
ただし、Eを、周波数帯cの電力値和、wは、各周波数帯の重み付け係数であるとする。cは各周波数帯1HH,1HL,1LH1,2HH,2HL,2LH,...xLLにつけた番号である。wは、一般的には、高周波成分に対して大きな値となる。また、HLやLHよりもHHに対して大きな値となる。
ここで、上記Etotal(数10)の値をできるだけ小さくするようなp(x,y)を求めればよい。すなわち、数11の連立方程式を解けばよい。
Figure 0004816328
数11の方程式は、|U|元連立方程式となる(ただし、B画素の数=|U|)。よって、B画素の数が大きな時には、数11を解くことが非現実的となる。
さらに、上記のように電力値和を小さくする場合、非可逆圧縮としては最適化が図れるが、可逆圧縮としては必ずしも最適ではないことが問題である。可逆圧縮的には、小電力値のデータが多く存在するより、電力値自体は大きくても同一画素値が連続するほうが望ましい場合がある。
6.2. 基本的な考え方の説明
以上をふまえて、以下に示す二つの規範(考え方1、考え方2)を用いた穴埋め画素算出方式、およびハイブリッド法(考え方3)を説明する。
(1)出力値0規範(考え方1に対応する)
JPEG2000の変換方式であるDWTは、入力画像をロー(Low)パスフィルタとハイパスフィルタを用いて二つの画像に分離する。ハイパスフィルタの出力を0とすることができれば、(特に可逆の)圧縮率を上げることができる。
(2)局所電力最小規範(考え方2に対応する)
電力値最小化処理を画像全体ではなく、局所的に行うことによって、処理負荷を軽減できる。
(3)ハイブリッド法(考え方3に対応する)
上記、「出力値0規範」と「局所電力最小規範」双方の利点を組み合わせた方式である。
以下、まず、提案方式の基本的な考え方を説明する。
6.3. 定義
以下の説明の準備を行う。
6.3.1. 入力画素値
1次元で考察する場合の、入力画素値をp(x)とする。2次元の場合はp(x,y)とする。
また、穴埋めを行わない画素(既に穴埋めを終えた画素も含む)をA画素、穴埋めを行う画素をB画素と呼ぶこととする。
6.3.2. 1次元フィルタ
1次元ハイパスフィルタのタップ長をN、係数をh(i)、ただし、i=0,1,2,...,N−1とする。
次に、p(j)がフィルタの右端入力となるようなハイパスフィルタの出力をHとする。すなわち、数12のようになる。
Figure 0004816328
また、以下、位置jのハイパスフィルタのことをHとして示す場合もある。
6.3.3. 2次元フィルタ
JPEG2000におけるフィルタは1次元で定義されている。1次元のフィルタを縦横2回掛けることで2次元フィルタを実現している。説明の都合上、この縦横分離型の2次元フィルタを、非分離型の2次元フィルタとして考える。
ここで、縦横別フィルタを掛けるとする(同じであってもよい)。また、1次元フィルタをh(i), i=0,1,2,...,N−1 および、h(i), i=0, 1, 2,...,N−1とする。これを数13のようにベクトル表示する。
Figure 0004816328
非分離型の2次元フィルタカーネルK(N×N行列)は、数14で算出できる。
Figure 0004816328
以下、フィルタカーネルK内の要素をK(i,j),i=0,1,2,...,N−1,j=0,1,2,...,N−1で参照する。
また、画素(i,j)が右下端入力となるようなフィルタ出力をHijとする。Hijは、数15のように表せる。
Figure 0004816328
また、以下、位置(i,j)のフィルタのことをHijとして示す場合もある。
さらに、1以上のxに対し、入力画像をそのまま入力して、xHH,xHL,xLH,xLLの出力を得る2次元FIRフィルタも定義することができる。これまで述べた第1段目のフィルタの係数を畳み込んで作成するタップ数の大きなフィルタとなる。以下、上記2段目以降の出力を得る場合にはこの2次元フィルタを用いればよい。
6.4. 出力値0規範
出力値0規範を用いた穴埋め画素値算出方法を述べる。
本規範では、ラスタ順に、ハイパスフィルタ出力を0にすることを目的とした穴埋め画素値決定処理を行う。
6.4.1. 1次元の場合
今、p(x)がB画素であり、p(x)を穴埋めするとする(図3参照)。ラスタスキャン順(図3では左から右へ、そして右端に来たら下のラインの左端へ)に穴埋めを行うため、p(x)の左、および、上の画素は全てA画素であると仮定してよい。
ここで、p(x)は、p(x)が右端の入力とするハイパスフィルタの出力が0となるように定める。すなわち、数16のようにすればよい。
Figure 0004816328
p(x)は、数17のように求めることができる。
Figure 0004816328
6.4.2. 2次元の場合
p(x,y)がB画素であり、p(x,y)を穴埋めするとする。ラスタスキャン順に穴埋めを行うため、p(x,y)の左、および、上の画素は全てA画素であると仮定してよい。1次元の場合と同様、数18の中で示した未知数はp(x,y)のみであるため、p(x,y)を算出することができる。
Figure 0004816328
6.4.3. 複数周波数帯域に適用する場合
DWTでは、入力画像を最終的に複数の周波数帯域に分割する。出力値0規範は、複数周波数帯域には適用しにくい。全ての複数周波数帯域の値を0とするp(x,y)を求めることができないからである。
そこで、一つだけの周波数帯域の値を0とする方策が妥当である。例えば、1HHだけに注目して、1HHの値を0とするようにする。
6.5. 出力値0規範の問題点
以上のように左側の画素値だけを見て穴埋め画素値を決定する「出力値0規範」では、以下に示す問題が生じる。
まず、図4のような状況を考える。すなわち、B画素がp(x)からX画素連続するとする。
出力値0規範では、p(x)の右側の画素値は一切計算に用いない。つまり、p(x+1)〜p(x+X−1)は無視して画素値を算出する。ここでXが大きな値の時は問題が少ない。極端な例としてB画素が画像の端まで連続する場合には、出力値0規範を用いて(制御可能な)全てのハイパスフィルタ出力値を0とすることができる。ところが、Xが小さな値の時が問題である。例えばX=1の場合を考える(図5参照)。
ここで、p(x−1)とp(x+1)の画素値差が大きな場合を考える。p(x)の値は左だけを見て算出するため、p(x−1)に近い値となる。そのため、p(x)とp(x+1)の間で画素値ギャップが発生し、圧縮性能を劣化させる虞がある。
6.6. 局所的電力最小規範
そこで、電力最小規範に基づく穴埋め画素値算出を局所的に行うことによって、演算量の削減と、連続的な画素値決定を図る。本規範では、複数の穴埋め画素値を同時に決定するため前節のように、急激に画素値が変化するような問題点が発生しにくい。
6.6.1. 1次元の場合
まずは1次元の場合に関して説明する。
図6のように、画素p(x)を最左画素とするL画素領域(領域Lx)を考える。局所的電力最小規範では、領域Lx、すなわち、p(x)〜p(x+L−1)のL画素の値を電力最小規範で決定する。
次に、NタップのフィルタHが1画素でも領域[Lx∩U](すなわち、領域Lxかつ、B画素である画素の集合)にかかるようなjの集合をVxとする。領域Vxの範囲は最大で、j=x〜x+L+N−2となる。さらに、フィルタH(ただし、j∈Vx)の入力画素の存在範囲を領域Wxとする。領域Wxの範囲は、最大でj=x−N+1〜x+L+N−2となる(図7参照)。
以上の条件で、電力最小規範を用いて、p(x)〜p(x+L−1)の画素値を決定する。Hの電力値和が最も小さくなるようにp(x)〜p(x+L−1)を設定すればよい。まず、H ただし、j∈Vxの2乗和をExとする。例えば、p(x)〜p(x+L−1)がB画素である場合、数19のようにできる。
Figure 0004816328
Exは、p(x) ただし、x∈[U∩Wx]の関数である(ただし、Uは、B画素であるxの集合)。よって、6.1節と同様に、数20の連立方程式を解くことによって、p(x)を求めることができる。
Figure 0004816328
上記数20の方程式を用いて解けるのは、領域Wxの画素値p(x−N+1)〜p(x+L+N−2)であるが、実際に穴埋め画素値として採用するのは、領域Lxの画素値p(x), p(x+1), ..., p(x+L−1)のみである。これは、領域Wx−Lxの画素値p(x−N+1)〜 p(x−1)、および、 p(x+L)〜 p(x+L−2)の画素値に対しては、Wxの外側のA画素も用いて穴埋め画素値を算出したほうがよいためである。
画像全体で電力値最小化を行う場合は、x∈Uであったが、本アルゴリズムでは、x∈[U∩Wx]とすることによって、演算量を減少させることができる。また、領域Lx内で段階的に画素値を変化させることができるため、出力値0規範のような画素値ギャップが生じにくい。
6.6.2. 2次元の場合
2次元フィルタの場合も同様に考えることができる。図8を用いて説明する。
(1)2次元領域Lxy内のB画素を穴埋めしたい。領域Lxyの形状は任意である。
(2)2次元フィルタKを用いたときの出力値の局所電力値を最小化したい。
(3)フィルタHijの入力が1画素でも領域LxyかつB画素である画素にかかるような位置(i,j)の集合をVxyとする。
(4)フィルタHijの存在位置(i,j)∈Vxyの条件下で、フィルタHijの入力画素(x,y)の存在範囲をWxyとする。
領域Wxyは、最大で領域Lxyを左右にそれぞれN−1画素拡張し、上下にN−1画素拡張したものとなる。
以上のような条件下で、数21で示す変数Exyを最小化するLxy内の画素値p(x,y)(ただし、(x,y)∈U)を求めればよい。
Figure 0004816328
すなわち、数22を解けばよい。
Figure 0004816328
さらに、上記数22の方程式を解いた結果、p(x,y)、ただし、(x,y)∈[U∩Lxy]のみを採用する。
数10のように、各周波数帯ごとに設定した重みwを用いて、数23の最小化を行ってもよい。Exycは、周波数帯cの領域Lxyに関するExyである。
Figure 0004816328
6.6.3. 補足
集合Vxyの定義を、「フィルタHijの入力が1画素でも領域LxyかつB画素である画素にかかるような位置(i,j)の集合」としたが、もっと単純に、「フィルタHijの入力が1画素でも領域Lxyである画素にかかるような位置(i,j)の集合」としてもよい。
1次元の場合も同様である。
集合Vxの定義を、「フィルタHの入力が1画素でも領域Lxにかかるような位置jの集合」としてもよい。
6.6.4. サブサンプリングを行う場合
ここで、DWTのようにサブサンプリングを行いながらフィルタリングをする場合に関して考察しておく。
これまでは、電力値を数19あるいは数21のように定義した。ところが、DWTでは、2:1のサブサンプリングを行う。そのため、より正確には電力値Exの数19は、数24内のいずれかの式を用いる。
Figure 0004816328
jが奇数となるか、偶数となるかは、DWTを適用するときのフィルタリング位相によって決定される。すなわちサブサンプリング位相が分かっている場合には、上式の何れかを用いて最適化を行ったほうがよい。
さらに、より一般的に、2次元で、n段のDWTを行った場合の周波数帯域nHH、nHL、nLHに関するExyを示す。この場合のサブサンプリングレートは2:1であるため、サブサンプリング位相は、2のmoduloとなる。数21は以下の数25のように変更される。
Figure 0004816328
ただし、このようにサブサンプリングを行う場合、連立方程式の条件が足りず、解が不定となる場合がある。そのような場合、サブサンプリングを行わない処理の結果を用いる、解が不定とならなくなるまで近接A画素から画素値をコピーする、あるいは、複数の未知数の値を同じにして未知数の数を減少させる、などすればよい。
6.7. 局所的電力最小規範の問題点
局所的電力最小規範を用いると、領域Lx内の画素値を段階的に変化させることになる。この方式を用いれば、非可逆符号化の圧縮率を向上させることができる。しかしながら、電力最小規範では、エントロピ自体を減少させるわけではないため、可逆圧縮率としては出力0規範のほうが高い可能性がある。
以上が局所的電力最小規範の問題点である。
6.8. ハイブリッド方式
そこで、出力0規範と、局所的電力最小規範の組み合わせを考える。
6.5節で説明したように、画素p(x)からB画素がある程度以上連続する場合には出力0規範の問題点は小さい。可逆符号化でも非可逆符号化のいずれに対しても、効果は高い。なぜなら、ハイパスフィルタ出力0が連続すれば、結果的に電力値も小さくなるためである。
そこで、基本的には、ラスタスキャン順で、かつ、出力0規範を用いた穴埋めを行うことにする。ただし、出力0規範の適用範囲を限定する。
まず図9に示す領域Mxを考える。すなわち、p(x)を左端として、p(x)を含んでM画素の領域を領域Mxとする。
次に、以下のように、出力0規範と、局所的電力最小規範を切り替える。
・領域Mx内にA画素が存在していないときは、出力0規範を用いてp(x)を算出する。
・領域Mx内にA画素が存在しているときは、局所的電力最小規範を用いて、領域Lx内の画素値を算出する。
・次に算出する画素値p(x)は、ラスタ順に検索して発見した最初のB画素である。
上記のように切り替えを行うことによって、できるだけ出力値を0としながら、かつ、非可逆符号化にも適した穴埋め値算出が可能となる。
上記では、1次元の場合のハイブリッド方式を説明したが、2次元においても同様に記述することができる。以下、一般的なアルゴリズムを記載する。
まず、p(x,y)の右および下方向に領域Mxyを定義しておく。
(1) ラスタ順に次の穴埋め画素(B画素)を検索する。
(2) 最初に検索されたB画素をp(x,y)とする。
(3) 領域Mxyを評価する。
(3−1) 領域Mxy内にA画素が存在しない場合、出力値0規範でp(x,y)の穴埋め値を算出する。
(3−2) 領域Mxy内にA画素が存在する場合、p(x,y)を含む領域Lxyの穴埋めを局所電力最小規範を用いて穴埋めする。
(4) (1)に戻る。
7. フィルタ係数の限定
以上述べてきたフィルタリング手法(出力値0規範、および、局所電力最小規範)において、フィルタ係数が負の値となる場合がある。フィルタ係数が負の場合、出力値が不安定となる可能性がある。そこで、フィルタ係数が負の場合には、フィルタ係数をゼロとすることも可能である。
一部のフィルタ係数をゼロとした場合、フィルタ係数の和が1となるように全フィルタ係数を正規化すればよい。
8. 穴埋め方式具体例
以上をふまえて、JPEG2000の場合の穴埋めアルゴリズムを具体的に説明する。
8.1. 領域の例
以下に各領域(領域Mxy、領域Lxy、領域Vxy、領域Wxy)の例を示す。
8.1.1. 領域Mxy
図10に示すように領域Mxyを定義する。領域Mxyにはp(x,y)も含まれる。図10に示すように、領域Mxyは、p(x,y)、M、Mによって定まる。
8.1.2. 領域Lxy
図11に示すように領域Lxyを定義する。領域Lxyにはp(x,y)も含まれる。図11に示すように、領域Lxyは、p(x,y)、L、Lによって定まる。ここでは、ラスタ順に穴埋めを行うため、左および上の画素は既に穴埋め済みである。そのため、穴埋め候補位置を図11のようにp(x,y)の右および下の画素に限定している。
8.1.3. 領域Vxy
フィルタカーネルKの右下位置を(i,j)とする。フィルタカーネルKが1画素でもB画素の領域Lxyにかかるような(i,j)の範囲を領域Vxyとする。
領域Vxyの最大範囲を図12に示す。つまり、図12に示すように、領域Vxyは、p(x,y)、L、N、L、Nによって定まる。
8.1.4. 領域Wxy
フィルタHij(ただし、(i,j)∈Vxy) の入力画素の存在範囲を領域Wxyとする。
領域Wxyの最大範囲を図13に示す。つまり、図13に示すように、領域Wxyは、p(x,y)、N、L、N、N、Lによって定まる。
8.2. 端点処理方法
画像端では、フィルタ入力位置が画像の外に出てしまう場合がある。その場合には、JPEG2000と同様の端点処理を行う。すなわち、画像の外側の画素値は、画像の内側の画素を鏡像変換して得る。
図14において、白画素(ABCDEFG)は、画像内の画素値である。フィルタ入力が白画素の外側に出たとき、例えば、左側に出たとき、フィルタ入力を、「A」を中心とした鏡像である(GFEDCB)のように拡張する。右側に出たときは、「G」を中心とした鏡像であるフィルタ入力を、(FEDCBA)のように拡張する。
ただし、出力値0規範の場合、左および上の画素値は全てA画素であることを仮定している。そのため、画像の外側の画素もA画素となるように設定する必要がある。そこで、一つの方法として、以下の方式を採用することにする。
(1)領域Mxy内にA画素が存在しない場合であっても、端点処理の結果、Hxyの入力画素内にB画素が存在する場合には、局所電力最小化規範による穴埋め画素値算出を行う。ただし、この場合のLxyは、p(x,y)1画素のみの領域とする。
(2)上記演算に使用する画素が全てB画素の場合、p(x,y)の値が不定となる。この場合には、p(x,y)として、以下に示す何れかの値を採用する。
(2−1)入力画像をラスタスキャンした時に、最初に発見されるA画素の画素値
(2−2)固定値(0、128など)
(2−3)B画素のまま保持しておく。画像1面分のスキャンの終了後に他のスキャン順で穴埋めを行う(8.3節「複数スキャン方向の利用」参照)。
8.3. 複数スキャン方向の利用
図15に示すような4種類のラスタスキャン方向を用いてもよい。
つまり、図15(A)の方向1は、左上端の画素を起点とし、右方向へスキャンし、右端へ来たら下のラインの左端へ移り、これを繰り返す。
つまり、図15(B)の方向2は、右下端の画素を起点とし、左方向へスキャンし、左端へ来たら上のラインの右端へ移り、これを繰り返す。
つまり、図15(C)の方向3は、左上端の画素を起点とし、下方向へスキャンし、下端へ来たら右のラインの上端へ移り、これを繰り返す。
つまり、図15(D)の方向4は、右下端の画素を起点とし、上方向へスキャンし、上端へ来たら左のラインの下端へ移り、これを繰り返す。
(1)方法その1(方向1で穴埋めできない画素を他の方向で穴埋めする方法)
(1−1)スキャン方向1で穴埋めを行う。
(1−2)方向1で穴埋め済みの画像を方向2で穴埋めする。
(1−3)方向2で穴埋め済みの画像を方向3で穴埋めする。
(1−4)方向3で穴埋め済みの画像を方向4で穴埋めする。
(2)方法その2(複数種のスキャン方向で独立に穴埋めをして、最後に平均値を取得する方法)
(2−1)スキャン方向1〜4で穴埋めを行う。
(2−2)穴埋め可能であった方向の結果の平均値を用いて最終的な出力値を作成する。
8.4. その他の例
以上は、画像の左上から右下へラスタスキャンして穴埋めする方式を述べた。この方式ではラスタスキャン方向に依存して出力画素値が異なってしまうことが問題である。そこで、複数のラスタスキャン方向を考慮する方式を考える。
ラスタスキャン方向には、図16に示すように8通りがある。つまり、(1)左上端の画素を起点として右方向へ、(2)左上端の画素を起点として下方向へ、(3)右上端の画素を起点として左方向へ、(4)右上端の画素を起点として下方向へ、(5)左下端の画素を起点として右方向へ、(6)左下端の画素を起点として上方向へ、(7)右下端の画素を起点として左方向へ、(8)左下端の画素を起点として上方向へ、である。
これらの8通りのラスタスキャン方向の中から、S個の方向を抽出して、穴埋め画素値p(x,y)を算出する(ラスタスキャン方向に番号s (s=1,2,...)を付与する)。p(x,y)の平均値を最終的な穴埋め画素値とすればよい。つまり、数26により計算する。
Figure 0004816328
なお、S個の方向を抽出する場合の数は、2−1通りある。
9. さらに具体的な数値例(JPEG2000の場合)
さらに、DWTのハイパス(リバーシブル)フィルタを例に採って、1次元の場合の穴埋めを実際に行う場合の計算例を示す。
JPEG2000のDWTのハイパス(リバーシブル)フィルタは、
h=(−1/2, 1, −1/2)、 N=3
である。
今、p(x)を穴埋め画素として、
Mx領域 = p(x)〜p(x+2)
Lx領域 = p(x)〜p(x+1)
とする。
以下、具体例である各ケースでφと記述された画素はA画素でもB画素でも構わないdon’t careの画素であるとする。
9.1. ケース1 通常処理
まずは、p(x)の左側の画素が全てA画素である場合を考える。
9.1.1. ケース1−1
出力値0規範を用いる。
図17のような画素配置である場合を対象とする。
数27より、数28を求めることによって、p(x)の値を求めることができる。
Figure 0004816328
Figure 0004816328
9.1.2. ケース1−2
以下、ケース1−5まで局所的電力最小化規範を用いる。
図18のような画素配置である場合を対象とする。
図18より、数29となる。
Figure 0004816328
Eは、数30で表される。
Figure 0004816328
Eの最小化の条件は、数31となる。
Figure 0004816328
この数31を解くと、数32となる。これによって、p(x)、p(x+1)の値を求めることができる。
Figure 0004816328
9.1.3. ケース1−3
図19のような画素配置である場合を対象とする。
Eは、数29のHを用いて、数33となる。
Figure 0004816328
今回、未知数はp(x),p(x+1),p(x+3)の3個となる。Eを最小化するのは、数34で表される。
Figure 0004816328
そして、Lxの範囲はp(x),p(x+1)であるから、数35のみを採用する。
Figure 0004816328
9.1.4. ケース1−4
図20のような画素配置である場合を対象とする。
図20より、数36となる。
Figure 0004816328
Eは、数37で表される。
Figure 0004816328
Eの最小化するp(x)は、数38となる。これによって、p(x)の値を求めることができる。
Figure 0004816328
9.1.5. ケース1−5
図21のような画素配置である場合を対象とする。
数36のHを用いると、Eは、数39で表すことができる。
Figure 0004816328
Eを最小化するのは、数40で表せる。
Figure 0004816328
Lx=p(x)〜p(x+1)であるから、数41のみを採用する。
Figure 0004816328
9.2. ケース2 端点例外処理その1
p(x−1)が画像端点の場合。
画像端より左の画素には、画素値を鏡像でコピーして、電力最小規範で画素値を求める。
9.2.1. ケース2−1
図22(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図22(B)に示す。
図22より、数42となる。
Figure 0004816328
Eは、数43で表すことができる。
Figure 0004816328
Lx=p(x)として、E最小化の条件は、数44となる。
Figure 0004816328
図23(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図23(B)に示す。
図23より、数45となる。
Figure 0004816328
Eは、数46で表すことができる。
Figure 0004816328
このため、E最小化の条件は、数47のようになる。
Figure 0004816328
図24(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図24(B)に示す。
Eの式は前節と同様となる。E最小化の条件は、数48のようになる。
Figure 0004816328
図25(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図25(B)に示す。
図25より、数49となる。
Figure 0004816328
Eは、数50で表すことができる。
Figure 0004816328
Eを最小化するp(x)は、数51で表すことができる。
Figure 0004816328
図26(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図26(B)に示す。
Eの式は数50と同じであり、Eを最小化するp(x)は、数52となる。
Figure 0004816328
9.3. ケース3 端点例外処理その2
p(x)が画像端点の場合。
9.3.1. ケース3−1
図27のような画素配置である場合を対象とする。
この場合は、画素値を特定できない。理想的には、8.3節方法その1で述べた方法を採用すべきである。しかし、処理負荷が大きいため、ここでは、p(x)=0とする。
図28(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図28(B)に示す。
図28より、数53となる。
Figure 0004816328
Eは、数54で表すことができる。
Figure 0004816328
Eの最小化の条件は、数55で表すことができる。
Figure 0004816328
図29(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図29(B)に示す。
Eの式は前節と同様となる。この場合はE=0となる条件が存在しており、数56のようになる。
Figure 0004816328
図30(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図30(B)に示す。
図30より、数57となる。
Figure 0004816328
Eは、数58で表すことができる。
Figure 0004816328
Eを最小化するp(x)は、数59で表すことができる。
Figure 0004816328
図31(A)のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図31(B)に示す。
Eの式は前節と同様となる。この場合はE=0となる条件が存在しており、数60のようになる。
Figure 0004816328
9.4. サブサンプリングを考慮する場合
次に、サブサンプリング位相を考慮する場合に関して示す。
9.4.1. ケース1−2−1
図32のような画素配置である場合を対象とする。すなわち、図32の矢印がフィルタの右端となるような位相のサブサンプリングが行われるとする。
フィルタ右端が図32の矢印の場合(p(x−1)、p(x+1)、p(x+3))、数29のHを用いると、数61のようになる。
Figure 0004816328
この数61を用いて、数62を得る。
Figure 0004816328
9.4.2. ケース1−2−2
図33のような画素配置である場合を対象とする。
フィルタ右端が図33の矢印の場合(p(x−2)、p(x)、p(x+2))、数29のHを用いると、数63のようになる。
Figure 0004816328
この数63を用いて、数64を得る。
Figure 0004816328
9.4.3. ケース1−3−1
図34のような画素配置である場合を対象とする。
フィルタ右端が図34の矢印の場合(p(x−1)、p(x+1)、p(x+3))、数29のHを用いると、数65のようになる。
Figure 0004816328
この場合、解が不定となる。そこで、ここでは、p(x+1)=p(x+2)と決めることによって、数66を得る。
Figure 0004816328
ちなみにp(x)=p(x+1)とした場合は、数67のようになる。
Figure 0004816328
9.4.4. ケース1−3−2
図35のような画素配置である場合を対象とする。
フィルタ右端が図35の矢印の場合(p(x−2)、p(x)、p(x+2))、数29のHを用いると、数68のようになる。
Figure 0004816328
この場合は、数69を得る。
Figure 0004816328
9.4.5. ケース1−4−1
図36のような画素配置である場合を対象とする。
フィルタ右端が図36の矢印の場合(p(x−1)、p(x+1))、数36のHを用いると、数70とすればよい。
Figure 0004816328
よって、p(x)は、数71によって求められる。
Figure 0004816328
9.4.6. ケース1−4−2
図37のような画素配置である場合を対象とする。
フィルタ右端が図37の矢印の場合(p(x−2)、p(x)、p(x+2))、数36のHを用いると、数72となる。
Figure 0004816328
このEを最小化するp(x)は、数73となる。
Figure 0004816328
9.4.7. ケース1−5−1
図38のような画素配置である場合を対象とする。
フィルタ右端が図38の矢印の場合(p(x−1)、p(x+1))、数36のHを用いると、数74とすればよい。よって、結果は数71と同じとなる。
Figure 0004816328
9.4.8. ケース1−5−2
図39のような画素配置である場合を対象とする。
フィルタ右端が図39の矢印の場合(p(x−2)、p(x)、p(x+2))、数36のHを用いると、数75となる。
Figure 0004816328
このとき、E=0となる解が存在しており、数76となる。
Figure 0004816328
9.4.9. ケース2−2−1
図40のような画素配置である場合を対象とする。
フィルタ右端が図40の矢印の場合(p(x−1)、p(x+1)、p(x+3))、数45のHを用いると、数77となる。
Figure 0004816328
このとき、p(x)、p(x+1)は、数78となる。
Figure 0004816328
9.4.10. ケース2−2−2
図41のような画素配置である場合を対象とする。
フィルタ右端が図41の矢印の場合(p(x)、p(x)、p(x+2))、数45のHを用いると、数79となる。
Figure 0004816328
このとき、p(x)、p(x+1)は、数80となる。
Figure 0004816328
9.4.11. ケース2−3−1
図42のような画素配置である場合を対象とする。
解は9.4.3節ケース1−3−1と同じとなる。
9.4.12. ケース2−3−2
図43のような画素配置である場合を対象とする。
フィルタ右端が図43の矢印の場合(p(x)、p(x)、p(x+2))、数45のHを用いると、数81となる。
Figure 0004816328
このとき、E=0となる解が存在しており、数82となる。
Figure 0004816328
9.4.13. ケース2−4−1
図44のような画素配置である場合を対象とする。
解は9.4.5節ケース1−4−1と同じとなる。
9.4.14. ケース2−4−2
図45のような画素配置である場合を対象とする。
フィルタ右端が図45の矢印の場合(p(x)、p(x)、p(x+2))、数49のHを用いると、数83となる。
Figure 0004816328
このEを最小化するp(x)は、数84となる。
Figure 0004816328
9.4.15. ケース2−5−1
図46のような画素配置である場合を対象とする。
解は9.4.5節ケース1−4−1と同じとなる。
9.4.16. ケース2−5−2
図47のような画素配置である場合を対象とする。
フィルタ右端が図47の矢印の場合(p(x)、p(x)、p(x+2))、数49のHを用いると、数85となる。
Figure 0004816328
このEを最小化するp(x)は、数86となる。
Figure 0004816328
9.4.17. ケース3−2−1
図48のような画素配置である場合を対象とする。
フィルタ右端が図48の矢印の場合(p(x+1)、p(x+1)、p(x+3))、数49のHを用いると、数87となる。
Figure 0004816328
E=0となる解が存在しており、数88となる。
Figure 0004816328
9.4.18. ケース3−2−2
図49のような画素配置である場合を対象とする。
フィルタ右端が図49の矢印の場合(p(x+2)、p(x)、p(x+2))、数49のHを用いると、数89となる。
Figure 0004816328
このとき、解は不定となる。p(x)=p(x+1)としたときのE=0となる解を採用する。つまり、数90となる。
Figure 0004816328
9.4.19. ケース3−3−1
図50のような画素配置である場合を対象とする。
フィルタ右端が図50の矢印の場合(p(x+1)、p(x+1)、p(x+3))、数49のHを用いると、数91となる。
Figure 0004816328
このとき、解は不定となる。p(x)=p(x+3)としたときのE=0となる解を採用する。つまり、数92となる。
Figure 0004816328
9.4.20. ケース3−3−2
図51のような画素配置である場合を対象とする。
解は9.4.18節ケース3−2−2と同じとなる。
9.4.21. ケース3−4−1
図52のような画素配置である場合を対象とする。
この場合、数93とすればよい。
Figure 0004816328
9.4.22. ケース3−4−2
図53のような画素配置である場合を対象とする。
この場合、数94とすればよい。
Figure 0004816328
9.4.23. ケース3−5−1
図54のような画素配置である場合を対象とする。
この場合、数95とすればよい。
Figure 0004816328
9.4.24. ケース3−5−2
図55のような画素配置である場合を対象とする。
解は不定となるため、p(x)=p(x+2)として、数96とすればよい。
Figure 0004816328
10. 効果確認実験
上記穴埋め方式の効果を確認する実験を行った。
10.1. 実験内容
擬似的な文字として、縦の縞模様を考慮した。以下の文字パターンを考える。
・横方向にA画素が2画素連続し、B画素がN画素続く。これを繰り返す。
上記の値Nとして、1〜5を用いた。
上述の画像(N=1〜5)を、前節のケース1−1,ケース1−2,ケース1−4を用いて穴埋めする。ケースの切り替え方式は、「6.8節ハイブリッド方式」を用いる。
ただしここでは、「7節フィルタ係数の限定」に示された手法を用いて、フィルタ係数を全て正の値に限定した。
比較する従来方式は、以下とした。
従来例1 横方向に最も近いA画素値で穴埋めする。
従来例2 左側で最も近いA画素値と、右側で最も近いA画素値の平均値で穴埋めする。
従来例3 従来例2に加えて、さらに低域通過フィルタをかける。フィルタカーネルは、(1/4,2/4,1/4)とする。
本実施の形態、従来例1、従来例2、従来例3に関して、下記、可逆符号化実験と非可逆符号化実験を行う。
(1)可逆符号化実験
可逆符号量を調べる。
(2)非可逆符号化実験
符号量とPSNR[dB](Peak Signal−to−Noise Ratio、ピーク信号対雑音比)の関係を調べる。ただし、PSNRは、有効画素領域(A画素領域)についてのみ算出する。
PSNRは、穴埋め画像を原画像とした場合のPSNRとの差分で示す。つまり、方式xで穴埋めした画像を圧縮したときのPSNRをPSNRxとする。原画像を圧縮した時のPSNRをPSNRorgとする。以下に示すPSNRは、PSNRx−PSNRorg[dB]である。
圧縮方式として、JPEG2000を用いた。
10.2. 実験結果
10.2.1. 可逆符号化実験
図56に可逆符号化を行ったときのビットレート(Bitrate[bit/pixel])を示す。
図56に示されるように、本実施の形態のビットレートは安定して小さい(最良ではないのはN=4の時のみである)。つまり、高い圧縮効果を得ることができることが示されている。
10.2.2. 非可逆符号化実験
図57から図61に、非可逆符号化実験の結果を示す。図57はN=1の場合を示しており、図58はN=2の場合を示しており、図59はN=3の場合を示しており、図60はN=4の場合を示しており、図61はN=5の場合を示している。なお、「7節フィルタ係数の限定」に示された手法を用いた結果、図57のN=1の場合は、本実施の形態と従来例2、従来例3の処理は同一となる。
本実施の形態の圧縮性能が安定してよいことが分かる。従来例3と比較して、本実施の形態の性能が悪くなるのはN=3の場合のみである。また、N=3の場合も、従来例3との差はわずかである。
さらに、特筆すべきである点は、本実施の形態は1パスの逐次処理のみで処理可能であるという点である。従来例1〜3全てでは、右のA画素の位置および値を知らなければ穴埋め画素値を算出することができない。すなわち、従来例は2パスの処理とならざるを得ない。それに対して、本実施の形態は右のA画素の位置が遠い場合にはA画素の位置や値を知らなくても穴埋め画素値を算出できる。そのため、本実施の形態は、1パスで処理可能であり、処理時間やメモリ消費量の点で有利である。
図62を参照して、実施の形態の画像処理システムのハードウェア構成例について説明する。図62に示す構成は、例えばパーソナルコンピュータ(PC)などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部417と、プリンタなどのデータ出力部418を備えたハード構成例を示している。
CPU(Central Processing Unit)401は、上述の実施の形態において説明した各種のモジュール、すなわち、領域分割モジュール13、第2の画素識別モジュール14、画素値変更モジュール15、圧縮モジュール16、画像編集モジュール18等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
ROM(Read Only Memory)402は、CPU401が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)403は、CPU401の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス404により相互に接続されている。
ホストバス404は、ブリッジ405を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス406に接続されている。
キーボード408、マウス等のポインティングデバイス409は、操作者により操作される入力デバイスである。ディスプレイ410は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、各種情報をテキストやイメージ情報として表示する。
HDD(Hard Disk Drive)411は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU401によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された画像や圧縮処理された画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ412は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体413に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース407、外部バス406、ブリッジ405、およびホストバス404を介して接続されているRAM403に供給する。リムーバブル記録媒体413も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート414は、外部接続機器415を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート414は、インタフェース407、および外部バス406、ブリッジ405、ホストバス404等を介してCPU401等に接続されている。通信部416は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部417は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部418は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図62に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図62に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えばASIC等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図62に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している)などに組み込まれていてもよい。また、実施の形態のプログラムはソフトウェア製品として実現され得る。
なお、前記の実施の形態から、以下のような発明を把握することも可能である。
[A] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段
を具備し、
前記画素値変更手段によって画素の値を変更する際に、フィルタ係数に負の値が含まれている場合は、該フィルタ係数を0となるような方向に変更し、該フィルタ係数の和が1となるようにフィルタ係数を正規化する
ことを特徴とする画像処理システム。
[B] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段
を具備し、
前記画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行い、その平均値に第2の画素の値を変更する
ことを特徴とする画像処理システム。
[C] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段
を具備し、
前記領域分割手段により分割する領域は矩形であり、
前記フィルタリング処理は、離散コサイン変換である
ことを特徴とする画像処理システム。
[D] 離散コサイン変換後の画像部分内のゼロラン長が長くなるように無効位置の画像の画素値を決定するようにした
ことを特徴とする[C]に記載の画像処理システム。
[E] 離散コサイン変換後の画像部分のノルムが小さくなるように無効位置の画像の画素値を決定するようにした
ことを特徴とする[C]に記載の画像処理システム。
[F] 離散コサイン変換は、2次元の対象に行うようにした
ことを特徴とする[C]に記載の画像処理システム。
[G] 離散コサイン変換は、1次元の対象に行うようにした
ことを特徴とする[C]に記載の画像処理システム。
[H] 離散コサイン変換は、JPEGで用いられるサイズ(つまり、8×8)とした
ことを特徴とする[C]に記載の画像処理システム。
[I] 離散コサイン変換後に量子化を行うようにした
ことを特徴とする[C]に記載の画像処理システム。
[J] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、フィルタリング処理によって出力値0となるような方向に該第2の画素の値を変更する画素値変更手段
を具備し、
前記領域分割手段によって分割する領域は、第2の画素を1画素だけ含むラインであり、その領域の長さは、JPEG2000のハイパスフィルタサイズとする
ことを特徴とする画像処理システム。
[K] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、局所的なフィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する画素値変更手段
を具備し、
前記領域分割手段によって分割する領域は、所定の長さのラインである
ことを特徴とする画像処理システム。
[L] 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段
を具備し、
第2の画素が所定の数以上連続する場合には、前記第1の画素値変更手段による処理を行い、それ以外の場合には、第2の画素値変更手段による処理を行う
ことを特徴とする画像処理システム。
[M] フィルタ係数を正の値に限定する
ことを特徴とする[J]、[K]または[L]に記載の画像処理システム。
[N] 前記画素値変更手段による処理の順番は、複数のラスタスキャンである
ことを特徴とする[J]、[K]または[L]に記載の画像処理システム。
これによって、一つのラスタスキャンで穴埋めできない場合も対処することができるようになる。
[O] 前記画素値変更手段による処理の順番は、複数のラスタスキャンであり、その平均値を出力値とする
ことを特徴とする[J]、[K]または[L]に記載の画像処理システム。
[P] 前記領域分割手段によって分割する領域は2次元の領域であり、
前記ハイパスフィルタは2次元のフィルタである
ことを特徴とする[J]、[K]または[L]に記載の画像処理システム。
なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去および書換可能な読出し専用メモリ(EEPROM)、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
本実施の形態の構成例についての概念的なモジュール構成図である。 2段階のDWT処理を行った例を説明する図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 2次元領域の例を示した説明図である。 画素配置の一例を示した説明図である。 領域の一例を示した説明図である。 領域の一例を示した説明図である。 領域の一例を示した説明図である。 領域の一例を示した説明図である。 端点処理の一例を示した説明図である。 ラスタスキャンの方向の例を示した説明図である。 ラスタスキャンの方向の例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 画素配置の一例を示した説明図である。 実験結果を示したグラフである。 実験結果を示したグラフである。 実験結果を示したグラフである。 実験結果を示したグラフである。 実験結果を示したグラフである。 実験結果を示したグラフである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。 従来例を示す説明図である。 従来例を示す説明図である。
符号の説明
11…画像入力モジュール
12…第1の画素/第2の画素識別情報入力モジュール
13…領域分割モジュール
14…第2の画素識別モジュール
15…画素値変更モジュール
16…圧縮モジュール
17…圧縮画像記憶モジュール
18…画像編集モジュール
19…出力モジュール

Claims (29)

  1. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
    前記画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段
    を具備することを特徴とする画像処理システム。
  2. 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項1に記載の画像処理システム。
  3. 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項1に記載の画像処理システム。
  4. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
    前記画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段
    を具備することを特徴とする画像処理システム。
  5. 前記画素値変更手段は逐次的に画素値を変更する
    ことを特徴とする請求項2に記載の画像処理システム。
  6. 前記第1の画素値変更手段は逐次的に画素値を変更する
    ことを特徴とする請求項4に記載の画像処理システム。
  7. 前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を0となるような方向に変更する
    ことを特徴とする請求項1、2、3または5に記載の画像処理システム。
  8. 前記第1の画素値変更手段または前記第2の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を0となるような方向に変更する
    ことを特徴とする請求項4または6に記載の画像処理システム。
  9. 前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を0以上の値となるように変更する
    ことを特徴とする請求項1、2、3または5に記載の画像処理システム。
  10. 前記第1の画素値変更手段または前記第2の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を0以上の値となるように変更する
    ことを特徴とする請求項4または6に記載の画像処理システム。
  11. 前記画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
    ことを特徴とする請求項1、2、3、5、7または9に記載の画像処理システム。
  12. 前記第1の画素値変更手段または前記第2の画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
    ことを特徴とする請求項4、6、8または10に記載の画像処理システム。
  13. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
    前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に画像圧縮手段が行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段と、
    前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
    を具備することを特徴とする画像圧縮システム。
  14. 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項13に記載の画像圧縮システム。
  15. 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項13に記載の画像圧縮システム。
  16. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
    前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段と、
    前記第1の画素値変更手段または前記第2の画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
    を具備することを特徴とする画像圧縮システム。
  17. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
    前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段と、
    前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
    前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
    を具備することを特徴とする画像編集システム。
  18. 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項17に記載の画像編集システム。
  19. 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項17に記載の画像編集システム。
  20. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像から前記第2の画素を識別する識別手段と、
    前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段と、
    前記第1の画素値変更手段または前記第2の画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
    前記第1の画素値変更手段または前記第2の画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
    を具備することを特徴とする画像編集システム。
  21. コンピュータに、
    画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別機能と、
    前記画像を領域に分割する領域分割機能と、
    前記領域分割機能によって分割した領域内に前記識別機能によって識別した第2の画素が含まれている場合は、本画素値変更機能による処理の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更機能
    を実現させることを特徴とする画像処理プログラム。
  22. 前記画素値変更機能は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項21に記載の画像処理プログラム。
  23. 前記画素値変更機能は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項21に記載の画像処理プログラム。
  24. コンピュータに、
    画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別機能と、
    前記画像を領域に分割する領域分割機能と、
    前記領域分割機能によって分割した領域内に前記識別機能によって識別した第2の画素が含まれている場合は、第2の画素値変更機能による処理の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更機能と、
    前記領域分割機能によって分割した領域内に前記識別機能によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更機能による処理の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更機能
    を実現させることを特徴とする画像処理プログラム。
  25. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含み、該第1の画素が2画素連続しており、該第2の画素が5画素連続した縦縞模様の画像を入力し、
    前記第2の画素を変更した画像を可逆符号化による圧縮をした場合に、その圧縮方式に合わせたフィルタリング処理を行うことによって、圧縮結果のビットレートが3.2未満となる
    ことを特徴とする画像処理システム。
  26. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
    前記画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、本画素値変更手段の後に行う圧縮方式に合わせたフィルタリング処理によって所定の値となるように該第2の画素の値を変更する画素値変更手段
    を具備することを特徴とする画像処理装置。
  27. 前記画素値変更手段は、フィルタリング処理後の値が0となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項26に記載の画像処理装置。
  28. 前記画素値変更手段は、フィルタリング処理後の電力値が最小となるような方向に前記第2の画素の値を変更する
    ことを特徴とする請求項26に記載の画像処理装置。
  29. 画素値を変更しない第1の画素および画素値を変更する第2の画素を含む画像から該第2の画素を識別する識別手段と、
    前記画像を領域に分割する領域分割手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が含まれている場合は、第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の値が0となるような方向に該第2の画素の値を変更する第1の画素値変更手段と、
    前記領域分割手段によって分割した領域内に前記識別手段によって識別した第2の画素が所定数以上連続して含まれている場合は、本第2の画素値変更手段の後に行う圧縮方式に合わせて、フィルタリング処理後の電力値が最小となるような方向に該第2の画素の値を変更する第2の画素値変更手段
    を具備することを特徴とする画像処理装置。
JP2006227554A 2006-08-24 2006-08-24 画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置 Expired - Fee Related JP4816328B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006227554A JP4816328B2 (ja) 2006-08-24 2006-08-24 画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置
US11/826,299 US8014620B2 (en) 2006-08-24 2007-07-13 Image processing system, image compression system, image editing system, computer readable medium, computer data signal and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006227554A JP4816328B2 (ja) 2006-08-24 2006-08-24 画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置

Publications (2)

Publication Number Publication Date
JP2008054002A JP2008054002A (ja) 2008-03-06
JP4816328B2 true JP4816328B2 (ja) 2011-11-16

Family

ID=39113510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006227554A Expired - Fee Related JP4816328B2 (ja) 2006-08-24 2006-08-24 画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置

Country Status (2)

Country Link
US (1) US8014620B2 (ja)
JP (1) JP4816328B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303540B (zh) * 2015-05-20 2019-02-12 浙江大华技术股份有限公司 一种图像压缩方法及其装置
US10121072B1 (en) * 2016-12-30 2018-11-06 Intuit Inc. Unsupervised removal of text from form images

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611012B2 (ja) 1989-09-19 1997-05-21 日本電信電話株式会社 文字分離符号化方法
JP3231800B2 (ja) 1991-04-26 2001-11-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP3122481B2 (ja) 1991-04-26 2001-01-09 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP3083336B2 (ja) 1991-04-26 2000-09-04 キヤノン株式会社 画像処理装置およびその方法
US5818970A (en) * 1991-04-26 1998-10-06 Canon Kabushiki Kaisha Image encoding apparatus
US5345317A (en) * 1991-12-19 1994-09-06 Kokusai Denshin Denwa Kabushiki Kaisha High efficiency coding method for still natural images mingled with bi-level images
JP2910000B2 (ja) 1991-12-19 1999-06-23 国際電信電話 株式会社 2値画像混在静止自然画像の符号化方法
JP2933457B2 (ja) * 1993-02-18 1999-08-16 日本電気株式会社 ウェーブレット変換符号化方法
JP2720926B2 (ja) 1993-10-26 1998-03-04 富士ゼロックス株式会社 画像符号化装置
JPH07135569A (ja) * 1993-11-12 1995-05-23 Murata Mach Ltd ファクシミリ装置
JPH0984003A (ja) * 1995-09-08 1997-03-28 Kokusai Electric Co Ltd 画像データ通信方法及び画像データ通信装置
EP0817499A3 (en) * 1996-06-28 2002-05-22 Matsushita Electric Industrial Co., Ltd. Image coding method using extrapolated pixels in insignificant areas of blocks
JPH1132206A (ja) 1997-07-10 1999-02-02 Fuji Xerox Co Ltd 画像処理装置
JP3660182B2 (ja) * 1999-12-03 2005-06-15 株式会社リコー 画像処理装置
US6724945B1 (en) * 2000-05-24 2004-04-20 Hewlett-Packard Development Company, L.P. Correcting defect pixels in a digital image
JP4693289B2 (ja) 2001-07-03 2011-06-01 キヤノン株式会社 画像圧縮装置及び画像圧縮方法並びにプログラムコード、記憶媒体
US7133565B2 (en) * 2000-08-25 2006-11-07 Canon Kabushiki Kaisha Image processing apparatus and method
JP2003018412A (ja) 2001-07-03 2003-01-17 Canon Inc 画像圧縮装置及び画像圧縮方法並びにプログラムコード、記憶媒体
JP4366003B2 (ja) 2000-08-25 2009-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP2002262114A (ja) * 2001-02-27 2002-09-13 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002369011A (ja) 2001-06-06 2002-12-20 Canon Inc 画像処理装置、画像処理方法及び画像処理プログラム
JP4132766B2 (ja) * 2001-10-03 2008-08-13 株式会社リコー 画像処理装置および方法
JP2003169221A (ja) * 2001-11-29 2003-06-13 Ricoh Co Ltd カラー画像形成装置およびカラー画像処理方法
US6862371B2 (en) * 2001-12-31 2005-03-01 Hewlett-Packard Development Company, L.P. Method of compressing images of arbitrarily shaped objects
JP2003219187A (ja) 2002-01-23 2003-07-31 Canon Inc 画像処理方法及び画像処理装置
JP2003244447A (ja) 2002-02-15 2003-08-29 Canon Inc 画像処理装置及び画像処理方法
JP4047192B2 (ja) * 2003-02-24 2008-02-13 キヤノン株式会社 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム
JP2005020227A (ja) 2003-06-25 2005-01-20 Pfu Ltd 画像圧縮装置
JP2006019957A (ja) 2004-06-30 2006-01-19 Kyocera Mita Corp 画像処理装置及び画像処理プログラム
JP2006093880A (ja) * 2004-09-21 2006-04-06 Canon Inc 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치

Also Published As

Publication number Publication date
US8014620B2 (en) 2011-09-06
US20080050028A1 (en) 2008-02-28
JP2008054002A (ja) 2008-03-06

Similar Documents

Publication Publication Date Title
EP3354030B1 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
JP4773678B2 (ja) 文書システム
KR100422939B1 (ko) 화상 부호화장치, 화상 복호화장치, 화상 부호화방법,화상 복호화방법 및 매체
JP2005515727A (ja) 複合文書の圧縮のためのコーダに整合したレイヤ分離および補間
JP4045913B2 (ja) 画像符号化装置、画像符号化方法、および画像処理装置
US10708601B2 (en) Methods and apparatuses for encoding and decoding superpixel borders
US8295618B2 (en) Image processing apparatus, image processing method, and computer program product
KR20100016272A (ko) Pixon 방법을 사용한 이미지 압축 및 압축 해제
US20080226185A1 (en) Methods and devices for coding and decoding multidimensional digital signals
JP4816328B2 (ja) 画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置
Tanaka et al. Adaptive directional wavelet transform based on directional prefiltering
Zheng et al. A novel gray image representation using overlapping rectangular NAM and extended shading approach
JP4726040B2 (ja) 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体
KR100950417B1 (ko) 방향성 필터링 기반 웨이블렛 변환에서 문맥 모델링 방법및 웨이블렛 코딩 장치와 이를 위한 기록 매체
JP4083670B2 (ja) 画像符号化装置及び画像符号化方法
Gupta et al. A study and evaluation of transform domain based image fusion techniques for visual sensor networks
JP2003204439A (ja) 画像符号化装置及び画像符号化方法
JP4070846B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP3887639B2 (ja) 信号処理装置
JP4247088B2 (ja) ノンインターレース画像の処理装置及び処理方法
JP5412901B2 (ja) 復号化装置、画像処理装置、復号化方法及びプログラム
JP4047207B2 (ja) 画像符号化装置、画像符号化方法及びプログラム
Subramanyan et al. Analysis of Adaptive, Entropy and Wavelet based Coding Techniques-A Survey
Zhang et al. Optical image compression based on adaptive directional prediction discrete wavelet transform
TW202420815A (zh) 使用神經網路進行圖像區域的並行處理-解碼、後濾波和rdoq

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4816328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees