JP3967453B2 - 画像符号化方法および画像符号化装置 - Google Patents
画像符号化方法および画像符号化装置 Download PDFInfo
- Publication number
- JP3967453B2 JP3967453B2 JP07431898A JP7431898A JP3967453B2 JP 3967453 B2 JP3967453 B2 JP 3967453B2 JP 07431898 A JP07431898 A JP 07431898A JP 7431898 A JP7431898 A JP 7431898A JP 3967453 B2 JP3967453 B2 JP 3967453B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- noise
- block
- value
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、撮像素子から得られる画像データを符号化して圧縮する画像符号化のための方法及び装置に関するものである。
【０００２】
【従来の技術】
図２２は例えば特開平６−５４３０８号公報に示されている従来の画像信号圧縮符号化装置のブロック図である。図２２において入力された画像信号は直交変換部３７において離散コサイン変換(ＤＣＴ)を用いて周波数成分への変換が行われた後、ノイズ除去部３８に入力される。ノイズ除去部３８では画像信号に含まれるノイズを周波数成分の特性を用いて除去し、ノイズ除去後のＤＣＴ係数がビット割り当て部３９と量子化部４０に入力される。量子化部４０ではビット割り当て部３９から出力される量子化ビット数にしたがってＤＣＴ係数の量子化が行われる。量子化されたＤＣＴ係数は符号化部４１において符号化され、符号化信号として出力される。
【０００３】
【発明が解決しようとする課題】
従来のこの種の装置は以上のように構成されていた。ところで、静止画撮像装置において連写機能等の高速な画像記録を実現するためには撮像素子からの画像データを圧縮し、データサイズを小さくすることでデータ転送や記録速度を短縮する手法が有効である。このような撮像装置で用いる画像符号化法では一定レートで画像データを転送する必要があるため、符号データ長が固定である必要がある。また、撮像素子から画像データを符号化するため、画質劣化が最小限に抑えられている必要がある。
【０００４】
しかしながら、撮像素子からの画像データにはノイズが含まれるため、符号化処理において適切な量子化レベルを得るためにはノイズを除去する必要がある。例えば特開平６−５４３０８号公報に示されている画像信号圧縮符号化装置では符号化処理においてノイズ除去処理が行われるが周波数成分を用いてノイズ除去を行っているため、ノイズ除去後のビット割り当てによっては復号化画像においてモスキートノイズ等の画質劣化が生じる場合があった。また、連写機能等の高速な画像記録を行うためにはより簡易で高速な画像符号化処理及びノイズ除去処理が必要であった。
【０００５】
この発明は上記のような課題を解決するためになされたものであり、画像符号化処理においてノイズ除去処理を行う符号化処理をより簡易で高速なアルゴリズムで実現すると同時に、視覚的な画質劣化が少ない復号化画像を得ることができる画像符号化のための方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的に鑑み、この発明は、撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割するブロック分割工程と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出工程と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出工程と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化工程と、Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値から、パターンマトリクスを用いた畳み込み積分値の絶対値を算出し、得られた絶対値の大きさに基づきノイズを検出するノイズ検出工程と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去工程と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化工程と、を備えたことを特徴とする画像符号化方法にある。
また、撮像素子から得られた画像データをＭ×Ｎ ( Ｍ、Ｎは自然数 ) のブロックに分割するブロック分割工程と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出工程と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出工程と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化工程と、ブロック内の各量子化レベルに含まれる画素数をカウントした結果としきい値との関係によりノイズを検出するノイズ検出工程と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去工程と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化工程と、を備えたことを特徴とする画像符号化方法にある。
【０００８】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定するしきい値判定ステップ、からなることを特徴とする画像符号化方法にある。
【０００９】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１０】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１１】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１２】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１３】
またこの発明は、上記ブロック符号化工程が、ノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算する第２信号レベル範囲算出ステップ、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出する第２量子化レベル算出ステップ、得られた量子化レベルから当該ブロック内の各画素値を量子化した後符号化する符号化ステップ、からなることを特徴とする画像符号化方法にある。
【００１５】
またこの発明は、撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割するブロック分割手段と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出手段と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出手段と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化手段と、Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値から、パターンマトリクスを用いた畳み込み積分値の絶対値を算出し、得られた絶対値の大きさに基づきノイズを検出するノイズ検出手段と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去手段と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化手段と、を備えたことを特徴とする画像符号化装置にある。
また、撮像素子から得られた画像データをＭ×Ｎ ( Ｍ、Ｎは自然数 ) のブロックに分割するブロック分割手段と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出手段と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出手段と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化手段と、ブロック内の各量子化レベルに含まれる画素数をカウントした結果としきい値との関係によりノイズを検出するノイズ検出手段と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去手段と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化手段と、を備えたことを特徴とする画像符号化装置にある。
【００１６】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定するしきい値判定部、からなることを特徴とする画像符号化装置にある。
【００１７】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００１８】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００１９】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００２０】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００２１】
またこの発明は、上記ブロック符号化手段が、ノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算する第２信号レベル範囲算出部、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出する第２量子化レベル算出部、得られた量子化レベルから当該ブロック内の各画素値を量子化した後符号化する符号化部、からなることを特徴とする画像符号化装置にある。
【００２３】
【発明の実施の形態】
実施の形態１．
図１はこの発明の一実施の形態における画像符号化方法の処理フローを表す図である。また図２はこの実施の形態における画像符号化装置の構成を示すブロック図である。図２の各機能ブロックには図１のうちの受け持つ処理の符号が付されている。なおこの発明による装置は基本的にプログラムに従って処理を行うコンピュータによって構成され、これは以下の実施の形態でも同様である。
【００２４】
図２において画像符号化装置は、ブロック分割手段１、信号レベル範囲算出手段(１、２)、量子化レベル算出手段(４、５、６)、量子化手段７ａ、ノイズ検出手段７ｂ、ノイズ除去手段８、ブロック符号化手段９からなる。
【００２５】
この実施の形態では図１のステップ１において画像データを図３に示すように４×４のブロックに分割する。次に図１のステップ２において分割された各ブロックを１つずつ読み出し、各ブロック毎に処理を行う。各ブロックの処理では図１のステップ３に示すように、まず、ブロックに含まれる画素の画素値に関する最大値Ｌｍａｘと最小値Ｌｍｉｎを算出する。次に、得られたＬｍａｘ及びＬｍｉｎからＰ１及びＰ２を図１のステップ４において算出する。ここでＰ１及びＰ２の算出は式(１)、(２)を用いて行われる。
【００２６】
Ｐ１＝(Ｌｍａｘ＋３Ｌｍｉｎ)／４ (１)
Ｐ２＝(３Ｌｍａｘ＋Ｌｍｉｎ)／４ (２)
【００２７】
次に、得られたＰ１及びＰ２を用いて図１のステップ５に示すようにＱ１及びＱ４を算出する。ここでＱ１はブロック内でＰ１より小さい画素値をもつ画素の画素値の平均値であり、Ｑ４はブロック内でＰ２より大きい画素値をもつ画素の画素値の平均値である。
【００２８】
次に、図１のステップ６において、得られたＱ１及びＱ４からＬａ及びＬｄを算出する。ここでＬａはブロック内の画素値の代表値であり、式(３)を用いて算出する。また、Ｌｄはブロック内の画素値の範囲であり、式(４)を用いて算出する。
【００２９】
Ｌａ＝(Ｑ１＋Ｑ４)／２ (３)
Ｌｄ＝Ｑ４−Ｑ１ (４)
【００３０】
次に、図１のステップ７において画像中に含まれるノイズの検出を行う。ノイズの検出は次のように行う。まず、Ｐ１、Ｌａ、Ｐ２をしきい値としてブロック内の各画素の量子化値を算出する。例えば、注目画素の画素値がＰ２より大きい場合には注目画素の量子化値を(Ｌｍａｘ＋Ｐ２)／２に、注目画素の画素値がＬａより大きくＰ２以下である場合には注目画素の量子化値を(Ｐ２＋Ｌａ)／２にする。また、注目画素の画素値がＰ１より大きくＬａ以下である場合には注目画素の量子化値を(Ｌａ＋Ｐ１)／２に、注目画素の画素値がＰ１以下である場合には注目画素の量子化値を(Ｐ１＋Ｌｍｉｎ)／２にする。
【００３１】
次に、図４に示すようなパターンマトリクスを用いて、量子化後の画素値に図４のマトリクスとの畳み込み積分値の絶対値を算出する。なお、図４のパターンマトリクスは注目画素を中心にしたものである。次に、得られた絶対値が所定のしきい値以上である場合は当該画素をノイズと判定する。ここでしきい値の値は画像中に含まれるノイズレベルによって決まる値であり、一般に撮像素子によって異なる。
【００３２】
図１のステップ７においてノイズとして判定された画素に関しては図１のステップ８においてノイズ除去処理(ノイズ補正処理)を行う。ノイズ除去処理は当該画素の近傍画素に関する平均値で当該画素の画素値を置き換えることで行う。この実施の形態において参照する近傍画素は図５に示すようなものを用いる。図５では注目画素がマトリクスの中央にあり、網がけされている画素が参照する近傍画素になる。また、この実施の形態の図４及び図５における近傍画素の参照においてブロックの境界を越えて参照する場合は、必要な画素データを適宜読み出して画素値の参照を行う。例えば、４ラインのラインバッファを用いて処理を行うことによってマトリクスの左右画素を容易にブロックの境界を越えた参照ができる。上下画素に関してもラインバッファを用いた同様な方法を用いて容易にブロックの境界を越えて参照できる。なお、画像の境界を越えたデータ参照が起こる場合には、画像の境界を越えた位置のデータを０にする等の例外処理を行えばよい。
【００３３】
次に、図１のステップ９において各画素の量子化値から対応する符号を各画素に割り当てることによってブロックの符号化を行う。この実施の形態ではＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて量子化を行っているので、各画素の量子化値に対応する符号は２ビットでよい。例えば、注目画素の画素値がＰ２より大きい場合には注目画素の符号を２進数で１１に、注目画素の画素値がＬａより大きくＰ２以下である場合には注目画素の符号を２進数で１０にする。また、注目画素の画素値がＰ１より大きくＬａ以下である場合には注目画素の符号を２進数で０１に、注目画素の画素値がＰ１以下である場合には注目画素の符号を００にする。
【００３４】
次に、図１のステップ１０において画像中に未処理のブロックがあるかどうかを調べ、未処理のブロックがある場合には未処理のブロックに関して図１のステップ２から処理を行う。上記のような処理を行うことによって各ブロックのノイズ除去処理及び符号化処理を行うことができる。
【００３５】
この実施の形態では、ブロックサイズとして４×４のものを用いたが、他のものであってもよい。また、入力される画像信号がカラーの場合、そのカラーフォーマットに合わせたブロックサイズや画素の参照方法を選択することで同様な効果を得ることができる。また、この実施の形態ではＬｍａｘ及びＬｍｉｎからＰ１、Ｐ２、Ｌａ等を算出し、ブロック内の画素の画素値を量子化する手法を用いたが、Ｌｍａｘ及びＬｍｉｎからブロック内の画素値を量子化する手法であれば、他の手法、他の量子化レベル数であってもよい。
【００３６】
また、この実施の形態では図４に示すようなパターンマトリクスを用いてノイズの判定処理を行ったが、このマトリクスは撮像素子におけるノイズの特性によって適切なものを用いることで良好な結果を得ることができる。また、ノイズの検出処理において図４のパターンマトリクスを用いたものを示したが、量子化された画素値に対して適用できるものであれば、他のノイズ検出手法であってもよい。また、用いるパターンマトリクスは必ずしも図４に示したようなサイズ、形状、係数である必要はなく、例えば５×５のマトリクスや６×４のマトリクスであってもよい。また、矩形以外の形状のパターンマトリクスを用いてもよい。
【００３７】
またこの実施の形態では図５に示すような近傍画素を参照して、近傍画素に関する画素値の平均値を算出したが、他の位置を参照するものであっても構わない。また、この実施の形態で示した近傍画素を用いたノイズ除去処理(補正処理)以外に、ノイズ成分だけを画素値から減算する、もしくは加算するといった処理方法も考えられる。これらの手法は特に撮像素子のノイズレベルが予め既知である場合に特に有効になる。
【００３８】
実施の形態２．
図６はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。また図７はこの実施の形態における画像符号化装置のノイズ検出手段の構成を示すブロック図であり、各機能ブロックには図６のうちの受け持つ処理の符号が付されている。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００３９】
図７においてノイズ検出手段７ｂは、画素数カウント部１１としきい値判定部１２とからなる。
【００４０】
この実施の形態では図６のステップ１１において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００４１】
次に、図６のステップ１２において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合、そのレベルに含まれる画素をノイズとして判定する。この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。
【００４２】
実施の形態３．
図８はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。また図９はこの実施の形態における画像符号化装置のノイズ検出手段の構成を示すブロック図であり、各機能ブロックには図８のうちの受け持つ処理の符号が付されている。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００４３】
図９においてノイズ検出手段７ｂは、画素数カウント部１３、画素選択部１４、ノイズ判定部１５からなる。
【００４４】
この実施の形態ではまず、図８のステップ１３において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００４５】
次に図８のステップ１４において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図８のステップ１５において、選択されたレベルに含まれる画素で、その近傍画素と当該画素にある所定の関係がない場合、当該画素をノイズとして判定する。ここで所定の関係とは、例えば図１０に示すように当該画素の画素値より、右近傍にある画素の画素値の方が小さく、かつ左近傍にある画素の画素値の方が大きいといったものであり、ノイズの特性や撮像素子から得られる画像の特性によって適切なものを用いる。
【００４６】
この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。また、近傍画素に関する所定の関係として当該画素の画素値より、右近傍にある画素の画素値の方が小さく、かつ左近傍にある画素の画素値の方が大きいというものを挙げたが、他のものであってもよい。
【００４７】
実施の形態４．
図１１はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。またこの実施の形態における画像符号化装置のノイズ検出手段の構成は図９に示すものと同じであり、各機能ブロックには図１１のうちの受け持つ処理の符号が付されている。すなわちノイズ検出手段７ｂは、画素数カウント部１６、画素選択部１７、ノイズ判定部１８からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００４８】
この実施の形態ではまず、図１１のステップ１６において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００４９】
次に図１１のステップ１７において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図１１のステップ１８において、選択されたレベルに含まれる画素で、その近傍画素に当該画素の画素値と近い画素値をもつ画素がない場合、当該画素をノイズとして判定する。ここで注目画素の画素値と近傍画素の画素値が近いかどうかは２つ画素値の差分の絶対値と所定のしきい値を比較することで行われる。しきい値はノイズの特性や撮像素子から得られる画像の特性によって適切なものを用いる。
【００５０】
この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。また、注目画素の画素値と近傍画素の画素値が近いかどうかの判定を行う上で２つの画素値の差分に関する絶対値を用いたが、他の判定方式であってもよい。
【００５１】
実施の形態５．
図１２はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。またこの実施の形態における画像符号化装置のノイズ検出手段の構成は図９に示すものと同じであり、各機能ブロックには図１２のうちの受け持つ処理の符号が付されている。すなわちノイズ検出手段７ｂは、画素数カウント部１９、画素選択部２０、ノイズ判定部２１からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００５２】
この実施の形態ではまず、図１２のステップ１９においてブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００５３】
次に、図１２のステップ２０において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図１２のステップ２１において、選択されたレベルに含まれる画素でその近傍画素に注目画素と単調増加もしくは単調減少の関係がある画素が存在しない場合に当該画素をノイズとして判定する。
【００５４】
ここで、選択されたレベルに含まれる画素に関して参照する近傍画素は図１３に示す４組の画素の対である。図１３に示されている画素の対はそれぞれ注目画素を中心にして上下の画素、注目画素の中心にして左右の画素、注目画素を中心にして左上から右下への斜め方向の画素、注目画素を中心にして右上から左下への斜め方向の画素である。なお図１３において中央の画素が注目画素である。
【００５５】
この実施の形態では図１３に示す各近傍画素対に関して、注目画素の画素値と単調増加、もしくは単調減少の関係があるかどうかを判定する。ここで単調増加の関係とは図１４に示す関係であり、単調減少の関係とは図１５に示す関係である。
【００５６】
この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。また、注目画素の画素値と近傍画素の画素値に関して単調増加もしくは単調減少の関係を判定するために図１３に示す画素対を用いたが、他の近傍画素を用いて単調増加もしくは単調減少の判定を行ってもよい。
【００５７】
実施の形態６．
図１６はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。またこの実施の形態における画像符号化装置のノイズ検出手段の構成は図９に示すものと同じであり、各機能ブロックには図１６のうちの受け持つ処理の符号が付されている。すなわちノイズ検出手段７ｂは、画素数カウント部２２、画素選択部２３、ノイズ判定部(２４、２５、２６)からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００５８】
この実施の形態ではまず、図１６のステップ２２において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００５９】
次に、図１６のステップ２３において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図１６のステップ２４において、選択されたレベルに含まれる画素でその近傍画素に注目画素と単調増加もしくは単調減少の関係がある画素が存在しない画素を選択する。ここで、近傍画素に関する単調増加もしくは単調減少の判定は上記実施の形態５に示したような方法を用いて行う。
【００６０】
また、図１６のステップ２５において、選択されたレベルに含まれる画素で、その近傍画素に当該画素の画素値と近い画素値をもつ画素がない画素を選択する。ここでの近傍画素に関する判定は上記実施の形態４に示したような方法を用いて行う。
【００６１】
次に、図１６のステップ２６において、それぞれ選択された画素でステップ２４と２５の両方の条件を満足する画素をノイズとして判定する。なお、この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。
【００６２】
実施の形態７．
図１７はこの発明の別の実施の形態における画像符号化方法のブロック符号化処理の処理フローを表す図である。またこの実施の形態における画像符号化装置のブロック符号化手段の構成を図１８に示す。各機能ブロックには図１７のうちの受け持つ処理の符号が付されている。すなわちブロック符号化手段９は、第２信号レベル範囲算出部２７、第２量子化レベル算出部(２８、２９、３０)、符号化部３１からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００６３】
この実施の形態ではまず、図１７のステップ２７においてノイズ除去されたブロック内の画素に関してＬｍａｘ及びＬｍｉｎを再計算する。また、図１７のステップ２８において実施の形態１に示した式(１)、(２)を用いてＰ１及びＰ２を算出し、図１７のステップ２９においてＱ１及びＱ４を算出する。なお、Ｌｍａｘ、Ｌｍｉｎ、Ｐ１、Ｐ２、Ｑ１及びＱ４の算出方法は実施の形態１に示した方法を用いる。また、図１７のステップ３０において実施の形態１に示した式(３)及び(４)からＬａ及びＬｄを算出する。
【００６４】
次に得られたＰ１、Ｌａ、Ｐ２をそれぞれしきい値としてブロック内の各画素の量子化を行い、各レベルに含まれる画素に対して所定の符号を割り当てる。例えば、この実施の形態ではＰ１、Ｌａ、Ｐ２の３つのしきい値を用いるため、各画素値は４のレベルに量子化され、各レベルに対する符号を００、０１、１０、１１といった２ビットの値にすることで符号化を行う。
【００６５】
この実施の形態では、Ｌｍａｘ及びＬｍｉｎからＰ１、Ｐ２、Ｌａ等を算出し、ブロック内の画素の画素値を量子化する手法を用いたが、Ｌｍａｘ及びＬｍｉｎからブロック内の画素値を量子化する手法であれば、他の手法であってもよい。また、この実施の形態では各画素を２ビットで符号化する方法を示したが、他の量子化数であってもよい。何ビットの符号を割り当てるかどうかは必要とされる復号化後の画質及び圧縮率によって所望のものを選択する。
【００６６】
参考例．
図１９はこの発明の参考例における画像復号化方法の処理フローを表す図で、(ａ)は復号化処理及び画素補正処理、(ｂ)は(ａ)の画素補正処理の詳細なフローを示す。また図２０はこの参考例における画像復号化装置の構成を示すブロック図である。図２０の各機能ブロックには図１９のうちの受け持つ処理の符号が付されている。
【００６７】
図２０において画像復号化装置は、復号化手段(３２、３３、３４)と、マトリクス選択部３６ａ、マッチング部３６ｂ、ノイズ判定部３６ｃ、画素補正部３６ｄを含む画素補正手段３６とからなる。
【００６８】
この参考例では４ラインのバッファを用いて４ライン毎に復号化処理とノイズ除去処理を行う。図１９の(ａ)はこの参考例における４ラインバッファ毎に行う復号化処理及びノイズ除去処理の処理フローを表す図である。従って、画像全体の復号化処理及びノイズ除去処理は４ライン毎に図１９の(ａ)のフローを繰り返すことによって行われる。
【００６９】
４ライン毎に行われる処理ではまず、図１９の(ａ)のステップ３２において画像の符号データから各ブロックの符号データを読み込み、さらに図１９のステップ３３において読み出されたブロックの符号データから量子化レベルの代表値を算出する。例えば、符号化処理においてＬａ及びＬｄが各ブロックの符号データに付加された場合は、各量子化レベルの代表値を式(５)、(６)、(７)、(８)に示すように算出する。なお、ここでは４つの量子化レベルを用いた場合の代表値を示している。
【００７０】
Ｌａ−Ｌｄ／２ (５)
Ｌａ−Ｌｄ／６ (６)
Ｌａ＋Ｌｄ／６ (７)
Ｌａ＋Ｌｄ／２ (８)
【００７１】
また、図１９の(ａ)のステップ３４において、得られた各量子化レベルの代表値を各画素の対応する符号に割り当てることで画素値の復号化を行う。得られた復号値はブロック単位でラインバッファに保持される。次に、図１９の(ａ)のステップ３５で４ラインバッファに保持するべき各画素の復号値が得られていないブロックがあるかどうかを調べる。未処理のブロックがある場合にはブロックに関する処理をステップ３２から行う。未処理のブロックがない場合には４ライン分の各画素の復号値が得られたと判定し、図１９の(ａ)のステップ３６においてラインバッファ上の復号化後の値に対してノイズ除去処理であるノイズとして検出された画素の画素値を補正する画素補正を行う。この画素補正処理は実施の形態１に示したような符号化時のノイズ除去処理において除去されなかったノイズを除去するためのものである。
【００７２】
図１９の(ｂ)は画素補正処理の詳細なフローを示しており、ノイズ除去処理ではまずステップ３６ａで予め用意された複数のパターンマトリクスから１つのパターンマトリクスを選択する。パターンマトリクスの選択方法は外部からの制御信号等を用いる方法や、復号化値の平均値から対応付ける方法等を用いる。ここではマトリクス選択部３６ａによって選択されたパターンマトリクスとして図２１に示す注目画素を中心にした５×５のマトリクスを用いる。
【００７３】
次に、ステップ３６ｂで、選択されたパターンマトリクスとラインバッファ上の復号値のパターンマッチングを行う。パターンマッチングは図２１のパターンと、注目画素及びその近傍画素の復号値に関する畳み込み積分の絶対値を算出することで行う。ここで４ラインバッファの境界を越えた画素の参照が起こりうるが、この場合は４ラインバッファ外に位置する復号値を０として畳み込み積分を行う。
【００７４】
次にステップ３６ｃで、得られたマッチング結果である畳み込み積分の絶対値を所定のしきい値と比較することで注目画素がノイズであるかどうかを判定する。注目画素に関するマッチング結果がしきい値以上である場合にはノイズと判定し、ステップ３６ｄで、注目画素の復号値を補正する。注目画素の復号値に関する補正処理は実施の形態１の図１のステップ８で行うノイズ除去処理と同様であるため、ここでは省略する。ノイズ除去すなわち画素補正処理後の各画素値がラインバッファから出力され、次の４ラインの処理が行われる。次に処理すべき４ラインが存在しない場合には画像全体の処理を終了する。
【００７５】
この参考例では４ラインバッファを用いて４ライン毎に処理を行う方法を示したが、これはパターンマッチングを行う際にブロックの境界を越えて復号値の参照を容易にするためのものであり、他の方法を用いてブロックの境界を越えた復号値の参照を行ってもよい。また、４ライン以上のバッファを用いて実現してもよい。本参考例ではブロックの符号データから量子化レベルを算出する際に、Ｌａ及びＬｄを用いたが他の方式を用いて各量子化レベルを算出してもよい。
【００７６】
また、ノイズ除去処理において用いるパターンマトリクスは必ずしも図２１に示したようなサイズ、形状、係数である必要はなく、例えば５×５のマトリクスや６×４のマトリクスであってもよい。また、矩形以外の形状のパターンマトリクスを用いてもよい。また、パターンマトリクスを用いたマッチング処理及びノイズ判定処理において畳み込み積分を用いて得られた値の絶対値をしきい値と比較する手法を示したが、パターンマトリクスを用いて注目画素及びその周辺画素がそのパターンに合致するかどうかを判定する手法であれば、他の方法であってもよい。
【００７７】
【発明の効果】
以上のようにこの発明に係わる第１の画像符号化方法および装置では、撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割する。また、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出し、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する。次に、得られた量子化レベルから当該ブロック内の各画素値を量子化し、Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値からノイズを検出する。また、ノイズとして検出された画素の画素値を補正し、ノイズ除去後の当該ブロックにおいて符号化を行う。このような画像符号化処理を行うことによって撮像素子から得られた画像に含まれるノイズを低減すると同時に適切な量子化レベルで画像のブロック符号化を行うことができ、符号化時に画像中のノイズを除去することで、良好な画質をもつ復号化画像が保証されるという効果がある。
【００７８】
またこの発明に係わる第２の画像符号化方法および装置では、特にノイズ検出処理においてブロック内の各量子化レベルに含まれる画素数をカウントし、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定する。このようなノイズ検出処理を行うことによって、画像符号化処理において容易にノイズ検出を行うことができ、符号化時の量子化レベルの算出処理を活用したノイズ検出ができるため高速なノイズ除去処理が行えるという効果がある。
【００７９】
またこの発明に係わる第３の画像符号化方法および装置では、特にノイズ検出処理においてブロック内の各量子化レベルに含まれる画素数をカウントし、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する。また、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによってノイズの誤判定を低減でき、特に、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素との関係を用いてノイズ検出処理を行うことで誤判定の少ないノイズ検出を行うことができる。
【００８０】
またこの発明に係わる第４の画像符号化方法および装置では、特にノイズ検出処理のノイズ判定処理において選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによって、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素の画素値を用いてノイズ検出処理を行うことで誤判定の少ないノイズ検出を行うことができる。
【００８１】
またこの発明に係わる第５の画像符号化方法および装置では、特にノイズ検出処理のノイズ判定処理において選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによって、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素の関係を用いてノイズ検出処理を行うことでノイズの誤判定を低減でき、特にエッジ付近での誤判定を低減することができる。
【００８２】
またこの発明に係わる第６の画像符号化方法および装置では、特にノイズ検出処理のノイズ判定処理において選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによって、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素の関係を用いてノイズ検出処理を行うことでノイズの誤判定を低減でき、特にエッジ付近等における誤判定を低減するができる。
【００８３】
またこの発明に係わる第７の画像符号化方法および装置では、ブロック符号化処理においてノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算し、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出して符号化を行う。このような符号化処理を行うことによってノイズ除去後の適切な量子化レベルに基づいて画像の符号化を行うことができ、良好な画質をもつ復号化画像が得られるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１における画像符号化方法の処理フローを表す図である。
【図２】 この発明の実施の形態１における画像符号化装置の構成を示すブロック図である。
【図３】 この発明の実施の形態１における符号化処理において分割するブロックを表す図である。
【図４】 この発明の実施の形態１における符号化処理において用いるパターンマトリクスを表す図である。
【図５】 この発明の実施の形態１における符号化処理において参照する近傍画素を表す図である。
【図６】 この発明の実施の形態２における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図７】 この発明の実施の形態２における画像符号化装置のノイズ検出手段の構成を示すブロック図である。
【図８】 この発明の実施の形態３における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図９】 この発明の実施の形態３ないし６における画像符号化装置のノイズ検出手段の構成を示すブロック図である。
【図１０】 この発明の実施の形態３のノイズ検出処理で用いる近傍画素の関係を表す図である。
【図１１】 この発明の実施の形態４における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図１２】 この発明の実施の形態５における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図１３】 この発明の実施の形態５のノイズ検出処理で参照する近傍画素の対を表す図である。
【図１４】 この発明の実施の形態５のノイズ検出処理で用いる近傍画素の関係を表す図である。
【図１５】 この発明の実施の形態５のノイズ検出処理で用いる近傍画素の関係を表す図である。
【図１６】 この発明の実施の形態６における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図１７】 この発明の実施の形態７における画像符号化方法のブロック符号化処理の処理フローを表す図である。
【図１８】 この発明の実施の形態７における画像符号化装置のブロック符号化手段の構成を示すブロック図である。
【図１９】 この発明の参考例における画像復号化方法の処理フローを表す図である。
【図２０】 この発明の参考例における画像復号化装置の構成を示すブロック図である。
【図２１】 この発明の参考例の復号化処理で用いるノイズパターンを表す図である。
【図２２】 従来の画像符号化装置のブロック図である。
【符号の説明】
１ ブロック分割手段、２，３ 信号レベル範囲算出手段、４，５，６ 量子化レベル算出手段、７ａ 量子化手段、７ｂ ノイズ検出手段、８ ノイズ除去手段、９ ブロック符号化手段、１１，１３，１６，１９，２２ 画素数カウント部、１４，１７，２０，２３ 画素選択部、１５，１８，２１，２４，２５，２６ ノイズ判定部、２７ 第２信号レベル範囲算出部、２８，２９，３０ 第２量子化レベル算出部、３１ 符号化部、３２，３３，３４ 復号化手段、３６ 画素補正手段、３６ａ マトリクス選択部、３６ｂ マッチング部、３６ｃ ノイズ判定部、３６ｄ 画素補正部。
【発明の属する技術分野】
この発明は、撮像素子から得られる画像データを符号化して圧縮する画像符号化のための方法及び装置に関するものである。
【０００２】
【従来の技術】
図２２は例えば特開平６−５４３０８号公報に示されている従来の画像信号圧縮符号化装置のブロック図である。図２２において入力された画像信号は直交変換部３７において離散コサイン変換(ＤＣＴ)を用いて周波数成分への変換が行われた後、ノイズ除去部３８に入力される。ノイズ除去部３８では画像信号に含まれるノイズを周波数成分の特性を用いて除去し、ノイズ除去後のＤＣＴ係数がビット割り当て部３９と量子化部４０に入力される。量子化部４０ではビット割り当て部３９から出力される量子化ビット数にしたがってＤＣＴ係数の量子化が行われる。量子化されたＤＣＴ係数は符号化部４１において符号化され、符号化信号として出力される。
【０００３】
【発明が解決しようとする課題】
従来のこの種の装置は以上のように構成されていた。ところで、静止画撮像装置において連写機能等の高速な画像記録を実現するためには撮像素子からの画像データを圧縮し、データサイズを小さくすることでデータ転送や記録速度を短縮する手法が有効である。このような撮像装置で用いる画像符号化法では一定レートで画像データを転送する必要があるため、符号データ長が固定である必要がある。また、撮像素子から画像データを符号化するため、画質劣化が最小限に抑えられている必要がある。
【０００４】
しかしながら、撮像素子からの画像データにはノイズが含まれるため、符号化処理において適切な量子化レベルを得るためにはノイズを除去する必要がある。例えば特開平６−５４３０８号公報に示されている画像信号圧縮符号化装置では符号化処理においてノイズ除去処理が行われるが周波数成分を用いてノイズ除去を行っているため、ノイズ除去後のビット割り当てによっては復号化画像においてモスキートノイズ等の画質劣化が生じる場合があった。また、連写機能等の高速な画像記録を行うためにはより簡易で高速な画像符号化処理及びノイズ除去処理が必要であった。
【０００５】
この発明は上記のような課題を解決するためになされたものであり、画像符号化処理においてノイズ除去処理を行う符号化処理をより簡易で高速なアルゴリズムで実現すると同時に、視覚的な画質劣化が少ない復号化画像を得ることができる画像符号化のための方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的に鑑み、この発明は、撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割するブロック分割工程と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出工程と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出工程と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化工程と、Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値から、パターンマトリクスを用いた畳み込み積分値の絶対値を算出し、得られた絶対値の大きさに基づきノイズを検出するノイズ検出工程と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去工程と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化工程と、を備えたことを特徴とする画像符号化方法にある。
また、撮像素子から得られた画像データをＭ×Ｎ ( Ｍ、Ｎは自然数 ) のブロックに分割するブロック分割工程と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出工程と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出工程と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化工程と、ブロック内の各量子化レベルに含まれる画素数をカウントした結果としきい値との関係によりノイズを検出するノイズ検出工程と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去工程と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化工程と、を備えたことを特徴とする画像符号化方法にある。
【０００８】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定するしきい値判定ステップ、からなることを特徴とする画像符号化方法にある。
【０００９】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１０】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１１】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１２】
またこの発明は、上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする画像符号化方法にある。
【００１３】
またこの発明は、上記ブロック符号化工程が、ノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算する第２信号レベル範囲算出ステップ、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出する第２量子化レベル算出ステップ、得られた量子化レベルから当該ブロック内の各画素値を量子化した後符号化する符号化ステップ、からなることを特徴とする画像符号化方法にある。
【００１５】
またこの発明は、撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割するブロック分割手段と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出手段と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出手段と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化手段と、Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値から、パターンマトリクスを用いた畳み込み積分値の絶対値を算出し、得られた絶対値の大きさに基づきノイズを検出するノイズ検出手段と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去手段と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化手段と、を備えたことを特徴とする画像符号化装置にある。
また、撮像素子から得られた画像データをＭ×Ｎ ( Ｍ、Ｎは自然数 ) のブロックに分割するブロック分割手段と、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出手段と、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出手段と、得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化手段と、ブロック内の各量子化レベルに含まれる画素数をカウントした結果としきい値との関係によりノイズを検出するノイズ検出手段と、ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去手段と、ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化手段と、を備えたことを特徴とする画像符号化装置にある。
【００１６】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定するしきい値判定部、からなることを特徴とする画像符号化装置にある。
【００１７】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００１８】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００１９】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００２０】
またこの発明は、上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする画像符号化装置にある。
【００２１】
またこの発明は、上記ブロック符号化手段が、ノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算する第２信号レベル範囲算出部、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出する第２量子化レベル算出部、得られた量子化レベルから当該ブロック内の各画素値を量子化した後符号化する符号化部、からなることを特徴とする画像符号化装置にある。
【００２３】
【発明の実施の形態】
実施の形態１．
図１はこの発明の一実施の形態における画像符号化方法の処理フローを表す図である。また図２はこの実施の形態における画像符号化装置の構成を示すブロック図である。図２の各機能ブロックには図１のうちの受け持つ処理の符号が付されている。なおこの発明による装置は基本的にプログラムに従って処理を行うコンピュータによって構成され、これは以下の実施の形態でも同様である。
【００２４】
図２において画像符号化装置は、ブロック分割手段１、信号レベル範囲算出手段(１、２)、量子化レベル算出手段(４、５、６)、量子化手段７ａ、ノイズ検出手段７ｂ、ノイズ除去手段８、ブロック符号化手段９からなる。
【００２５】
この実施の形態では図１のステップ１において画像データを図３に示すように４×４のブロックに分割する。次に図１のステップ２において分割された各ブロックを１つずつ読み出し、各ブロック毎に処理を行う。各ブロックの処理では図１のステップ３に示すように、まず、ブロックに含まれる画素の画素値に関する最大値Ｌｍａｘと最小値Ｌｍｉｎを算出する。次に、得られたＬｍａｘ及びＬｍｉｎからＰ１及びＰ２を図１のステップ４において算出する。ここでＰ１及びＰ２の算出は式(１)、(２)を用いて行われる。
【００２６】
Ｐ１＝(Ｌｍａｘ＋３Ｌｍｉｎ)／４ (１)
Ｐ２＝(３Ｌｍａｘ＋Ｌｍｉｎ)／４ (２)
【００２７】
次に、得られたＰ１及びＰ２を用いて図１のステップ５に示すようにＱ１及びＱ４を算出する。ここでＱ１はブロック内でＰ１より小さい画素値をもつ画素の画素値の平均値であり、Ｑ４はブロック内でＰ２より大きい画素値をもつ画素の画素値の平均値である。
【００２８】
次に、図１のステップ６において、得られたＱ１及びＱ４からＬａ及びＬｄを算出する。ここでＬａはブロック内の画素値の代表値であり、式(３)を用いて算出する。また、Ｌｄはブロック内の画素値の範囲であり、式(４)を用いて算出する。
【００２９】
Ｌａ＝(Ｑ１＋Ｑ４)／２ (３)
Ｌｄ＝Ｑ４−Ｑ１ (４)
【００３０】
次に、図１のステップ７において画像中に含まれるノイズの検出を行う。ノイズの検出は次のように行う。まず、Ｐ１、Ｌａ、Ｐ２をしきい値としてブロック内の各画素の量子化値を算出する。例えば、注目画素の画素値がＰ２より大きい場合には注目画素の量子化値を(Ｌｍａｘ＋Ｐ２)／２に、注目画素の画素値がＬａより大きくＰ２以下である場合には注目画素の量子化値を(Ｐ２＋Ｌａ)／２にする。また、注目画素の画素値がＰ１より大きくＬａ以下である場合には注目画素の量子化値を(Ｌａ＋Ｐ１)／２に、注目画素の画素値がＰ１以下である場合には注目画素の量子化値を(Ｐ１＋Ｌｍｉｎ)／２にする。
【００３１】
次に、図４に示すようなパターンマトリクスを用いて、量子化後の画素値に図４のマトリクスとの畳み込み積分値の絶対値を算出する。なお、図４のパターンマトリクスは注目画素を中心にしたものである。次に、得られた絶対値が所定のしきい値以上である場合は当該画素をノイズと判定する。ここでしきい値の値は画像中に含まれるノイズレベルによって決まる値であり、一般に撮像素子によって異なる。
【００３２】
図１のステップ７においてノイズとして判定された画素に関しては図１のステップ８においてノイズ除去処理(ノイズ補正処理)を行う。ノイズ除去処理は当該画素の近傍画素に関する平均値で当該画素の画素値を置き換えることで行う。この実施の形態において参照する近傍画素は図５に示すようなものを用いる。図５では注目画素がマトリクスの中央にあり、網がけされている画素が参照する近傍画素になる。また、この実施の形態の図４及び図５における近傍画素の参照においてブロックの境界を越えて参照する場合は、必要な画素データを適宜読み出して画素値の参照を行う。例えば、４ラインのラインバッファを用いて処理を行うことによってマトリクスの左右画素を容易にブロックの境界を越えた参照ができる。上下画素に関してもラインバッファを用いた同様な方法を用いて容易にブロックの境界を越えて参照できる。なお、画像の境界を越えたデータ参照が起こる場合には、画像の境界を越えた位置のデータを０にする等の例外処理を行えばよい。
【００３３】
次に、図１のステップ９において各画素の量子化値から対応する符号を各画素に割り当てることによってブロックの符号化を行う。この実施の形態ではＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて量子化を行っているので、各画素の量子化値に対応する符号は２ビットでよい。例えば、注目画素の画素値がＰ２より大きい場合には注目画素の符号を２進数で１１に、注目画素の画素値がＬａより大きくＰ２以下である場合には注目画素の符号を２進数で１０にする。また、注目画素の画素値がＰ１より大きくＬａ以下である場合には注目画素の符号を２進数で０１に、注目画素の画素値がＰ１以下である場合には注目画素の符号を００にする。
【００３４】
次に、図１のステップ１０において画像中に未処理のブロックがあるかどうかを調べ、未処理のブロックがある場合には未処理のブロックに関して図１のステップ２から処理を行う。上記のような処理を行うことによって各ブロックのノイズ除去処理及び符号化処理を行うことができる。
【００３５】
この実施の形態では、ブロックサイズとして４×４のものを用いたが、他のものであってもよい。また、入力される画像信号がカラーの場合、そのカラーフォーマットに合わせたブロックサイズや画素の参照方法を選択することで同様な効果を得ることができる。また、この実施の形態ではＬｍａｘ及びＬｍｉｎからＰ１、Ｐ２、Ｌａ等を算出し、ブロック内の画素の画素値を量子化する手法を用いたが、Ｌｍａｘ及びＬｍｉｎからブロック内の画素値を量子化する手法であれば、他の手法、他の量子化レベル数であってもよい。
【００３６】
また、この実施の形態では図４に示すようなパターンマトリクスを用いてノイズの判定処理を行ったが、このマトリクスは撮像素子におけるノイズの特性によって適切なものを用いることで良好な結果を得ることができる。また、ノイズの検出処理において図４のパターンマトリクスを用いたものを示したが、量子化された画素値に対して適用できるものであれば、他のノイズ検出手法であってもよい。また、用いるパターンマトリクスは必ずしも図４に示したようなサイズ、形状、係数である必要はなく、例えば５×５のマトリクスや６×４のマトリクスであってもよい。また、矩形以外の形状のパターンマトリクスを用いてもよい。
【００３７】
またこの実施の形態では図５に示すような近傍画素を参照して、近傍画素に関する画素値の平均値を算出したが、他の位置を参照するものであっても構わない。また、この実施の形態で示した近傍画素を用いたノイズ除去処理(補正処理)以外に、ノイズ成分だけを画素値から減算する、もしくは加算するといった処理方法も考えられる。これらの手法は特に撮像素子のノイズレベルが予め既知である場合に特に有効になる。
【００３８】
実施の形態２．
図６はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。また図７はこの実施の形態における画像符号化装置のノイズ検出手段の構成を示すブロック図であり、各機能ブロックには図６のうちの受け持つ処理の符号が付されている。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００３９】
図７においてノイズ検出手段７ｂは、画素数カウント部１１としきい値判定部１２とからなる。
【００４０】
この実施の形態では図６のステップ１１において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００４１】
次に、図６のステップ１２において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合、そのレベルに含まれる画素をノイズとして判定する。この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。
【００４２】
実施の形態３．
図８はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。また図９はこの実施の形態における画像符号化装置のノイズ検出手段の構成を示すブロック図であり、各機能ブロックには図８のうちの受け持つ処理の符号が付されている。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００４３】
図９においてノイズ検出手段７ｂは、画素数カウント部１３、画素選択部１４、ノイズ判定部１５からなる。
【００４４】
この実施の形態ではまず、図８のステップ１３において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００４５】
次に図８のステップ１４において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図８のステップ１５において、選択されたレベルに含まれる画素で、その近傍画素と当該画素にある所定の関係がない場合、当該画素をノイズとして判定する。ここで所定の関係とは、例えば図１０に示すように当該画素の画素値より、右近傍にある画素の画素値の方が小さく、かつ左近傍にある画素の画素値の方が大きいといったものであり、ノイズの特性や撮像素子から得られる画像の特性によって適切なものを用いる。
【００４６】
この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。また、近傍画素に関する所定の関係として当該画素の画素値より、右近傍にある画素の画素値の方が小さく、かつ左近傍にある画素の画素値の方が大きいというものを挙げたが、他のものであってもよい。
【００４７】
実施の形態４．
図１１はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。またこの実施の形態における画像符号化装置のノイズ検出手段の構成は図９に示すものと同じであり、各機能ブロックには図１１のうちの受け持つ処理の符号が付されている。すなわちノイズ検出手段７ｂは、画素数カウント部１６、画素選択部１７、ノイズ判定部１８からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００４８】
この実施の形態ではまず、図１１のステップ１６において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００４９】
次に図１１のステップ１７において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図１１のステップ１８において、選択されたレベルに含まれる画素で、その近傍画素に当該画素の画素値と近い画素値をもつ画素がない場合、当該画素をノイズとして判定する。ここで注目画素の画素値と近傍画素の画素値が近いかどうかは２つ画素値の差分の絶対値と所定のしきい値を比較することで行われる。しきい値はノイズの特性や撮像素子から得られる画像の特性によって適切なものを用いる。
【００５０】
この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。また、注目画素の画素値と近傍画素の画素値が近いかどうかの判定を行う上で２つの画素値の差分に関する絶対値を用いたが、他の判定方式であってもよい。
【００５１】
実施の形態５．
図１２はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。またこの実施の形態における画像符号化装置のノイズ検出手段の構成は図９に示すものと同じであり、各機能ブロックには図１２のうちの受け持つ処理の符号が付されている。すなわちノイズ検出手段７ｂは、画素数カウント部１９、画素選択部２０、ノイズ判定部２１からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００５２】
この実施の形態ではまず、図１２のステップ１９においてブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００５３】
次に、図１２のステップ２０において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図１２のステップ２１において、選択されたレベルに含まれる画素でその近傍画素に注目画素と単調増加もしくは単調減少の関係がある画素が存在しない場合に当該画素をノイズとして判定する。
【００５４】
ここで、選択されたレベルに含まれる画素に関して参照する近傍画素は図１３に示す４組の画素の対である。図１３に示されている画素の対はそれぞれ注目画素を中心にして上下の画素、注目画素の中心にして左右の画素、注目画素を中心にして左上から右下への斜め方向の画素、注目画素を中心にして右上から左下への斜め方向の画素である。なお図１３において中央の画素が注目画素である。
【００５５】
この実施の形態では図１３に示す各近傍画素対に関して、注目画素の画素値と単調増加、もしくは単調減少の関係があるかどうかを判定する。ここで単調増加の関係とは図１４に示す関係であり、単調減少の関係とは図１５に示す関係である。
【００５６】
この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。また、注目画素の画素値と近傍画素の画素値に関して単調増加もしくは単調減少の関係を判定するために図１３に示す画素対を用いたが、他の近傍画素を用いて単調増加もしくは単調減少の判定を行ってもよい。
【００５７】
実施の形態６．
図１６はこの発明の別の実施の形態における画像符号化方法のノイズ検出の処理フローを表す図である。またこの実施の形態における画像符号化装置のノイズ検出手段の構成は図９に示すものと同じであり、各機能ブロックには図１６のうちの受け持つ処理の符号が付されている。すなわちノイズ検出手段７ｂは、画素数カウント部２２、画素選択部２３、ノイズ判定部(２４、２５、２６)からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００５８】
この実施の形態ではまず、図１６のステップ２２において、ブロックにおいて量子化レベルに含まれる画素数をそれぞれカウントする。例えば、上記実施の形態に示したようなＰ１、Ｌａ、Ｐ２の３つのしきい値を用いて４つの量子化レベルに分割する場合は各レベルに含まれる画素をカウントし、４つのカウント値を得ることになる。
【００５９】
次に、図１６のステップ２３において、得られた各レベルのカウント値に関して所定のしきい値と比較し、カウント値がしきい値より小さい場合レベルを選択する。次に、図１６のステップ２４において、選択されたレベルに含まれる画素でその近傍画素に注目画素と単調増加もしくは単調減少の関係がある画素が存在しない画素を選択する。ここで、近傍画素に関する単調増加もしくは単調減少の判定は上記実施の形態５に示したような方法を用いて行う。
【００６０】
また、図１６のステップ２５において、選択されたレベルに含まれる画素で、その近傍画素に当該画素の画素値と近い画素値をもつ画素がない画素を選択する。ここでの近傍画素に関する判定は上記実施の形態４に示したような方法を用いて行う。
【００６１】
次に、図１６のステップ２６において、それぞれ選択された画素でステップ２４と２５の両方の条件を満足する画素をノイズとして判定する。なお、この実施の形態では４つの量子化レベルの場合について述べたが、他の量子化レベルの場合であってもよい。
【００６２】
実施の形態７．
図１７はこの発明の別の実施の形態における画像符号化方法のブロック符号化処理の処理フローを表す図である。またこの実施の形態における画像符号化装置のブロック符号化手段の構成を図１８に示す。各機能ブロックには図１７のうちの受け持つ処理の符号が付されている。すなわちブロック符号化手段９は、第２信号レベル範囲算出部２７、第２量子化レベル算出部(２８、２９、３０)、符号化部３１からなる。この実施の形態の他の部分は上記実施の形態と同様であるので、その説明を省略する。
【００６３】
この実施の形態ではまず、図１７のステップ２７においてノイズ除去されたブロック内の画素に関してＬｍａｘ及びＬｍｉｎを再計算する。また、図１７のステップ２８において実施の形態１に示した式(１)、(２)を用いてＰ１及びＰ２を算出し、図１７のステップ２９においてＱ１及びＱ４を算出する。なお、Ｌｍａｘ、Ｌｍｉｎ、Ｐ１、Ｐ２、Ｑ１及びＱ４の算出方法は実施の形態１に示した方法を用いる。また、図１７のステップ３０において実施の形態１に示した式(３)及び(４)からＬａ及びＬｄを算出する。
【００６４】
次に得られたＰ１、Ｌａ、Ｐ２をそれぞれしきい値としてブロック内の各画素の量子化を行い、各レベルに含まれる画素に対して所定の符号を割り当てる。例えば、この実施の形態ではＰ１、Ｌａ、Ｐ２の３つのしきい値を用いるため、各画素値は４のレベルに量子化され、各レベルに対する符号を００、０１、１０、１１といった２ビットの値にすることで符号化を行う。
【００６５】
この実施の形態では、Ｌｍａｘ及びＬｍｉｎからＰ１、Ｐ２、Ｌａ等を算出し、ブロック内の画素の画素値を量子化する手法を用いたが、Ｌｍａｘ及びＬｍｉｎからブロック内の画素値を量子化する手法であれば、他の手法であってもよい。また、この実施の形態では各画素を２ビットで符号化する方法を示したが、他の量子化数であってもよい。何ビットの符号を割り当てるかどうかは必要とされる復号化後の画質及び圧縮率によって所望のものを選択する。
【００６６】
参考例．
図１９はこの発明の参考例における画像復号化方法の処理フローを表す図で、(ａ)は復号化処理及び画素補正処理、(ｂ)は(ａ)の画素補正処理の詳細なフローを示す。また図２０はこの参考例における画像復号化装置の構成を示すブロック図である。図２０の各機能ブロックには図１９のうちの受け持つ処理の符号が付されている。
【００６７】
図２０において画像復号化装置は、復号化手段(３２、３３、３４)と、マトリクス選択部３６ａ、マッチング部３６ｂ、ノイズ判定部３６ｃ、画素補正部３６ｄを含む画素補正手段３６とからなる。
【００６８】
この参考例では４ラインのバッファを用いて４ライン毎に復号化処理とノイズ除去処理を行う。図１９の(ａ)はこの参考例における４ラインバッファ毎に行う復号化処理及びノイズ除去処理の処理フローを表す図である。従って、画像全体の復号化処理及びノイズ除去処理は４ライン毎に図１９の(ａ)のフローを繰り返すことによって行われる。
【００６９】
４ライン毎に行われる処理ではまず、図１９の(ａ)のステップ３２において画像の符号データから各ブロックの符号データを読み込み、さらに図１９のステップ３３において読み出されたブロックの符号データから量子化レベルの代表値を算出する。例えば、符号化処理においてＬａ及びＬｄが各ブロックの符号データに付加された場合は、各量子化レベルの代表値を式(５)、(６)、(７)、(８)に示すように算出する。なお、ここでは４つの量子化レベルを用いた場合の代表値を示している。
【００７０】
Ｌａ−Ｌｄ／２ (５)
Ｌａ−Ｌｄ／６ (６)
Ｌａ＋Ｌｄ／６ (７)
Ｌａ＋Ｌｄ／２ (８)
【００７１】
また、図１９の(ａ)のステップ３４において、得られた各量子化レベルの代表値を各画素の対応する符号に割り当てることで画素値の復号化を行う。得られた復号値はブロック単位でラインバッファに保持される。次に、図１９の(ａ)のステップ３５で４ラインバッファに保持するべき各画素の復号値が得られていないブロックがあるかどうかを調べる。未処理のブロックがある場合にはブロックに関する処理をステップ３２から行う。未処理のブロックがない場合には４ライン分の各画素の復号値が得られたと判定し、図１９の(ａ)のステップ３６においてラインバッファ上の復号化後の値に対してノイズ除去処理であるノイズとして検出された画素の画素値を補正する画素補正を行う。この画素補正処理は実施の形態１に示したような符号化時のノイズ除去処理において除去されなかったノイズを除去するためのものである。
【００７２】
図１９の(ｂ)は画素補正処理の詳細なフローを示しており、ノイズ除去処理ではまずステップ３６ａで予め用意された複数のパターンマトリクスから１つのパターンマトリクスを選択する。パターンマトリクスの選択方法は外部からの制御信号等を用いる方法や、復号化値の平均値から対応付ける方法等を用いる。ここではマトリクス選択部３６ａによって選択されたパターンマトリクスとして図２１に示す注目画素を中心にした５×５のマトリクスを用いる。
【００７３】
次に、ステップ３６ｂで、選択されたパターンマトリクスとラインバッファ上の復号値のパターンマッチングを行う。パターンマッチングは図２１のパターンと、注目画素及びその近傍画素の復号値に関する畳み込み積分の絶対値を算出することで行う。ここで４ラインバッファの境界を越えた画素の参照が起こりうるが、この場合は４ラインバッファ外に位置する復号値を０として畳み込み積分を行う。
【００７４】
次にステップ３６ｃで、得られたマッチング結果である畳み込み積分の絶対値を所定のしきい値と比較することで注目画素がノイズであるかどうかを判定する。注目画素に関するマッチング結果がしきい値以上である場合にはノイズと判定し、ステップ３６ｄで、注目画素の復号値を補正する。注目画素の復号値に関する補正処理は実施の形態１の図１のステップ８で行うノイズ除去処理と同様であるため、ここでは省略する。ノイズ除去すなわち画素補正処理後の各画素値がラインバッファから出力され、次の４ラインの処理が行われる。次に処理すべき４ラインが存在しない場合には画像全体の処理を終了する。
【００７５】
この参考例では４ラインバッファを用いて４ライン毎に処理を行う方法を示したが、これはパターンマッチングを行う際にブロックの境界を越えて復号値の参照を容易にするためのものであり、他の方法を用いてブロックの境界を越えた復号値の参照を行ってもよい。また、４ライン以上のバッファを用いて実現してもよい。本参考例ではブロックの符号データから量子化レベルを算出する際に、Ｌａ及びＬｄを用いたが他の方式を用いて各量子化レベルを算出してもよい。
【００７６】
また、ノイズ除去処理において用いるパターンマトリクスは必ずしも図２１に示したようなサイズ、形状、係数である必要はなく、例えば５×５のマトリクスや６×４のマトリクスであってもよい。また、矩形以外の形状のパターンマトリクスを用いてもよい。また、パターンマトリクスを用いたマッチング処理及びノイズ判定処理において畳み込み積分を用いて得られた値の絶対値をしきい値と比較する手法を示したが、パターンマトリクスを用いて注目画素及びその周辺画素がそのパターンに合致するかどうかを判定する手法であれば、他の方法であってもよい。
【００７７】
【発明の効果】
以上のようにこの発明に係わる第１の画像符号化方法および装置では、撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割する。また、当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出し、得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する。次に、得られた量子化レベルから当該ブロック内の各画素値を量子化し、Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値からノイズを検出する。また、ノイズとして検出された画素の画素値を補正し、ノイズ除去後の当該ブロックにおいて符号化を行う。このような画像符号化処理を行うことによって撮像素子から得られた画像に含まれるノイズを低減すると同時に適切な量子化レベルで画像のブロック符号化を行うことができ、符号化時に画像中のノイズを除去することで、良好な画質をもつ復号化画像が保証されるという効果がある。
【００７８】
またこの発明に係わる第２の画像符号化方法および装置では、特にノイズ検出処理においてブロック内の各量子化レベルに含まれる画素数をカウントし、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定する。このようなノイズ検出処理を行うことによって、画像符号化処理において容易にノイズ検出を行うことができ、符号化時の量子化レベルの算出処理を活用したノイズ検出ができるため高速なノイズ除去処理が行えるという効果がある。
【００７９】
またこの発明に係わる第３の画像符号化方法および装置では、特にノイズ検出処理においてブロック内の各量子化レベルに含まれる画素数をカウントし、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する。また、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによってノイズの誤判定を低減でき、特に、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素との関係を用いてノイズ検出処理を行うことで誤判定の少ないノイズ検出を行うことができる。
【００８０】
またこの発明に係わる第４の画像符号化方法および装置では、特にノイズ検出処理のノイズ判定処理において選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによって、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素の画素値を用いてノイズ検出処理を行うことで誤判定の少ないノイズ検出を行うことができる。
【００８１】
またこの発明に係わる第５の画像符号化方法および装置では、特にノイズ検出処理のノイズ判定処理において選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによって、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素の関係を用いてノイズ検出処理を行うことでノイズの誤判定を低減でき、特にエッジ付近での誤判定を低減することができる。
【００８２】
またこの発明に係わる第６の画像符号化方法および装置では、特にノイズ検出処理のノイズ判定処理において選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定する。このようなノイズ検出処理を行うことによって、符号化時の量子化レベルの算出処理から得られる各レベルの画素数と、それらの画素と近傍画素の関係を用いてノイズ検出処理を行うことでノイズの誤判定を低減でき、特にエッジ付近等における誤判定を低減するができる。
【００８３】
またこの発明に係わる第７の画像符号化方法および装置では、ブロック符号化処理においてノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算し、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出して符号化を行う。このような符号化処理を行うことによってノイズ除去後の適切な量子化レベルに基づいて画像の符号化を行うことができ、良好な画質をもつ復号化画像が得られるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１における画像符号化方法の処理フローを表す図である。
【図２】 この発明の実施の形態１における画像符号化装置の構成を示すブロック図である。
【図３】 この発明の実施の形態１における符号化処理において分割するブロックを表す図である。
【図４】 この発明の実施の形態１における符号化処理において用いるパターンマトリクスを表す図である。
【図５】 この発明の実施の形態１における符号化処理において参照する近傍画素を表す図である。
【図６】 この発明の実施の形態２における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図７】 この発明の実施の形態２における画像符号化装置のノイズ検出手段の構成を示すブロック図である。
【図８】 この発明の実施の形態３における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図９】 この発明の実施の形態３ないし６における画像符号化装置のノイズ検出手段の構成を示すブロック図である。
【図１０】 この発明の実施の形態３のノイズ検出処理で用いる近傍画素の関係を表す図である。
【図１１】 この発明の実施の形態４における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図１２】 この発明の実施の形態５における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図１３】 この発明の実施の形態５のノイズ検出処理で参照する近傍画素の対を表す図である。
【図１４】 この発明の実施の形態５のノイズ検出処理で用いる近傍画素の関係を表す図である。
【図１５】 この発明の実施の形態５のノイズ検出処理で用いる近傍画素の関係を表す図である。
【図１６】 この発明の実施の形態６における画像符号化方法のノイズ検出処理の処理フローを表す図である。
【図１７】 この発明の実施の形態７における画像符号化方法のブロック符号化処理の処理フローを表す図である。
【図１８】 この発明の実施の形態７における画像符号化装置のブロック符号化手段の構成を示すブロック図である。
【図１９】 この発明の参考例における画像復号化方法の処理フローを表す図である。
【図２０】 この発明の参考例における画像復号化装置の構成を示すブロック図である。
【図２１】 この発明の参考例の復号化処理で用いるノイズパターンを表す図である。
【図２２】 従来の画像符号化装置のブロック図である。
【符号の説明】
１ ブロック分割手段、２，３ 信号レベル範囲算出手段、４，５，６ 量子化レベル算出手段、７ａ 量子化手段、７ｂ ノイズ検出手段、８ ノイズ除去手段、９ ブロック符号化手段、１１，１３，１６，１９，２２ 画素数カウント部、１４，１７，２０，２３ 画素選択部、１５，１８，２１，２４，２５，２６ ノイズ判定部、２７ 第２信号レベル範囲算出部、２８，２９，３０ 第２量子化レベル算出部、３１ 符号化部、３２，３３，３４ 復号化手段、３６ 画素補正手段、３６ａ マトリクス選択部、３６ｂ マッチング部、３６ｃ ノイズ判定部、３６ｄ 画素補正部。
Claims (16)
- 撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割するブロック分割工程と、
当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出工程と、
得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出工程と、
得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化工程と、
Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値から、パターンマトリクスを用いた畳み込み積分値の絶対値を算出し、得られた絶対値の大きさに基づきノイズを検出するノイズ検出工程と、
ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去工程と、
ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化工程と、
を備えたことを特徴とする画像符号化方法。 - 撮像素子から得られた画像データをＭ×Ｎ ( Ｍ、Ｎは自然数 ) のブロックに分割するブロック分割工程と、
当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出工程と、
得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出工程と、
得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化工程と、
ブロック内の各量子化レベルに含まれる画素数をカウントした結果としきい値との関係によりノイズを検出するノイズ検出工程と、
ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去工程と、
ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化工程と、
を備えたことを特徴とする画像符号化方法。 - 上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定するしきい値判定ステップ、からなることを特徴とする請求項２に記載の画像符号化方法。
- 上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする請求項２に記載の画像符号化方法。
- 上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする請求項２に記載の画像符号化方法。
- 上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする請求項２に記載の画像符号化方法。
- 上記ノイズ検出工程が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウントステップ、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択ステップ、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定ステップ、からなることを特徴とする請求項２に記載の画像符号化方法。
- 上記ブロック符号化工程が、ノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算する第２信号レベル範囲算出ステップ、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出する第２量子化レベル算出ステップ、得られた量子化レベルから当該ブロック内の各画素値を量子化した後符号化する符号化ステップ、からなることを特徴とする請求項１又は２に記載の画像符号化方法。
- 撮像素子から得られた画像データをＭ×Ｎ(Ｍ、Ｎは自然数)のブロックに分割するブロック分割手段と、
当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出手段と、
得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出手段と、
得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化手段と、
Ｌｍａｘ、Ｌｍｉｎ及び各画素値の量子化値から、パターンマトリクスを用いた畳み込み積分値の絶対値を算出し、得られた絶対値の大きさに基づきノイズを検出するノイズ検出手段と、
ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去手段と、
ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化手段と、
を備えたことを特徴とする画像符号化装置。 - 撮像素子から得られた画像データをＭ×Ｎ ( Ｍ、Ｎは自然数 ) のブロックに分割するブロック分割手段と、
当該ブロックにおける画素値の最大値Ｌｍａｘ及び最小値Ｌｍｉｎを算出する信号レベル範囲算出手段と、
得られたＬｍａｘ及びＬｍｉｎから画素値の量子化レベルを決定する量子化レベル算出手段と、
得られた量子化レベルから当該ブロック内の各画素値を量子化する量子化手段と、
ブロック内の各量子化レベルに含まれる画素数をカウントした結果としきい値との関係によりノイズを検出するノイズ検出手段と、
ノイズとして検出された画素について、量子化前の画素値を補正するノイズ除去手段と、
ノイズ除去後の当該ブロックにおいて符号化を行うブロック符号化手段と、
を備えたことを特徴とする画像符号化装置。 - 上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素をノイズと判定するしきい値判定部、からなることを特徴とする請求項１０に記載の画像符号化装置。
- 上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に所定の関係をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする請求項１０に記載の画像符号化装置。
- 上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする請求項１０に記載の画像符号化装置。
- 上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする請求項１０に記載の画像符号化装置。
- 上記ノイズ検出手段が、ブロック内の各量子化レベルに含まれる画素数をカウントする画素数カウント部、カウントした結果があるしきい値より小さいレベルに含まれる画素を選択する画素選択部、選択された画素で近傍画素に注目画素の画素値と単調増加もしくは単調減少の関係にある画素が存在しない画素及び、近傍画素に近い画素値をもつ画素が存在しない画素をノイズとして判定するノイズ判定部、からなることを特徴とする請求項１０に記載の画像符号化装置。
- 上記ブロック符号化手段が、ノイズ除去後のブロックにおいてＬｍａｘ及びＬｍｉｎを再計算する第２信号レベル範囲算出部、得られたＬｍａｘ及びＬｍｉｎから量子化レベルを算出する第２量子化レベル算出部、得られた量子化レベルから当該ブロック内の各画素値を量子化した後符号化する符号化部、からなることを特徴とする請求項９又は１０に記載の画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07431898A JP3967453B2 (ja) | 1998-03-23 | 1998-03-23 | 画像符号化方法および画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07431898A JP3967453B2 (ja) | 1998-03-23 | 1998-03-23 | 画像符号化方法および画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11275579A JPH11275579A (ja) | 1999-10-08 |
| JP3967453B2 true JP3967453B2 (ja) | 2007-08-29 |
Family
ID=13543664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07431898A Expired - Fee Related JP3967453B2 (ja) | 1998-03-23 | 1998-03-23 | 画像符号化方法および画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3967453B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5674659B2 (ja) * | 2009-06-26 | 2015-02-25 | 株式会社日立メディコ | 画像処理装置、ｘ線画像診断装置 |
| JP5926043B2 (ja) * | 2011-12-02 | 2016-05-25 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 情報処理装置及び情報処理方法 |
-
1998
- 1998-03-23 JP JP07431898A patent/JP3967453B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11275579A (ja) | 1999-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1473943A1 (en) | Image coding method, image coding and decoding method, image coding apparatus, and image recording and reproduction apparatus | |
| JPH07154604A (ja) | 標準ａｄｃｔ圧縮した文書画像の伸長方法 | |
| US7054503B2 (en) | Image processing system, image processing method, and image processing program | |
| JP2004533181A (ja) | デジタルイメージに対する選択的なクロミナンスデシメーション | |
| JP2000101846A (ja) | 画像情報符号化装置 | |
| JP4002599B2 (ja) | 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置 | |
| US5748788A (en) | Image processing method and apparatus | |
| US20100014591A1 (en) | Block noise reducing apparatus | |
| US20070285729A1 (en) | Image processing apparatus and image processing method | |
| JP3967453B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4380498B2 (ja) | ブロック歪み低減装置 | |
| JP3644716B2 (ja) | 画像領域分離方法と画像領域分離装置、および画像処理方法と画像処理装置 | |
| JP2919986B2 (ja) | 画像信号復号化装置 | |
| JPH10229559A (ja) | ブロック化による影響を軽減する方法およびフィルタ | |
| JPH06153172A (ja) | 符号量制御方式 | |
| EP1169868B1 (en) | Method of reducing blocking artifacts | |
| JP3200200B2 (ja) | 画像符号化制御方法 | |
| JP4731972B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JPH07307942A (ja) | 画像雑音除去装置 | |
| JP3889629B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP4001261B2 (ja) | 画像処理装置および方法 | |
| KR101517019B1 (ko) | 블록특성을 이용한 적응 이미지 압축방법 및 그 시스템 | |
| JP3304415B2 (ja) | ブロック変換符号の復号装置 | |
| JP3773903B2 (ja) | ブロックノイズ除去装置 | |
| JP4699654B2 (ja) | 画像圧縮装置及び画像圧縮方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070529 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |