JP2017022652A - Image processing device and image processing program - Google Patents
Image processing device and image processing program Download PDFInfo
- Publication number
- JP2017022652A JP2017022652A JP2015140528A JP2015140528A JP2017022652A JP 2017022652 A JP2017022652 A JP 2017022652A JP 2015140528 A JP2015140528 A JP 2015140528A JP 2015140528 A JP2015140528 A JP 2015140528A JP 2017022652 A JP2017022652 A JP 2017022652A
- Authority
- JP
- Japan
- Prior art keywords
- image
- quantization
- difference
- compression
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像処理装置及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.
特許文献1には、スケーラブル映像を優先度に応じて伝送し、スケーラブル映像のビットストリームの最適化選択及び伝送の課題を解決するとともに、ビットストリームから再構築された画像の品質を最終的に向上させることを課題とし、スケーラブル映像の各GOPのSVC符号化後の階層化ビットストリームに対して、優先度並べ替えを行い、並べ替え後のSVC階層化ビットストリームに対して、パッケージ及びRaptor符号化を行って、伝送チャネルを介して、符号化後のスケーラブル映像のビットストリームを、スケーラブル映像の受信側に送信することが開示されている。
特許文献2には、少ない演算量で且つ高速に、画像データを圧縮符号化するとともに、ノイズを除去しながら目標画質に適合する圧縮画像を得ることを課題とし、符号量制御部は、並べ替え及びビットシフトが施された符号列に対して、所望のノイズ除去効果が得られるようにデータの切り捨てを行い、データの切り捨ては、右端のビットから順に行い、例えばVHL4の番号0のビットデータから、下方向へYHH5の番号0のビットデータ…と順に削除してゆき、YHH1までのビットデータを切り捨てれば目標とするノイズ除去効果が得られるとすれば、該当する散点部のデータを切り捨て、YHH1のデータまで切り捨てても所望のノイズ除去効果が得られないときは、続いて、VLL4の番号0のビットデータから、下方向へ順に削除してゆくことが開示されている。
In
特許文献3には、映像の重要部分についてはその品質を劣化させることなく、オブジェクト映像符号化した符号化データのスケラビリティを実現することが可能な映像送信端末、及び映像送信端末を提供することを課題とし、映像ソースから得たデジタル映像の被写体について領域抽出部で領域抽出した領域抽出データについて重要部分から優先領域を設定し、設定した優先領域についてオブジェクト映像符号化部でデジタル映像を符号化することで符号化データについて、スケラビリティを実現し、符号化データを再現しても重要部分についてはその品質を劣化させることなく表示できることが開示されている。
画像を圧縮する手法として、Progressive−JPEG等がある。これらの技術では、最初に画像全体を荒い低周波画像を表示し、徐々に細かい高周波画像を表示するので、最初の基本となる画像には、高周波成分が含まれていない。
よって最初の画像には高周波成分が含まれていないので、エッジが欠落してしまう。
例えば最初の画像で文字画像の認識率が低下する現象が発生する。
本発明は、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させ、差分画像が予め定められた値域に収まらない場合であっても、画質の劣化を抑制するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
As a method for compressing an image, there is Progressive-JPEG or the like. In these techniques, a rough low-frequency image is first displayed over the entire image, and a fine high-frequency image is gradually displayed. Therefore, the first basic image does not include a high-frequency component.
Therefore, since the first image does not contain a high frequency component, an edge is lost.
For example, a phenomenon occurs in which the recognition rate of a character image decreases in the first image.
The present invention improves the image quality of the image after the first decompression compared to Progressive-JPEG, and suppresses the deterioration of the image quality even when the difference image does not fall within a predetermined range. An object of the present invention is to provide an image processing apparatus and an image processing program.
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、画像のエッジを保存しつつ量子化を行う量子化手段と、前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段を具備することを特徴とする画像処理装置である。
The gist of the present invention for achieving the object lies in the inventions of the following items.
The invention according to
請求項2の発明は、請求項1の画像処理装置の第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、請求項1の画像処理装置の第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段を具備することを特徴とする画像処理装置である。 According to a second aspect of the present invention, there is provided a first decompression unit for decompressing a code generated by the first compression unit of the image processing apparatus of the first aspect, and a second compression unit of the image processing apparatus of the first aspect. Second decompression means for decompressing the first code and the second code, the first image decompressed by the second decompression means, and the second image decompressed by the first decompression means An image processing apparatus comprising addition means for adding the images.
請求項3の発明は、画像のエッジを保存しつつ量子化を行う量子化手段と、前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段と、前記第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、前記第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段を具備することを特徴とする画像処理装置である。 According to a third aspect of the present invention, there is provided a quantization means for performing quantization while preserving an edge of an image, and a difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means. A dividing unit that divides the image into a first image and a second image that fall within the range when the image generated by the difference image generation unit does not fall within a predetermined range; and the quantization First compression means for compressing the quantized image quantized by the means, second compression means for compressing the first image and the second image divided by the dividing means, and the first compression First decompression means for decompressing the code generated by the means, second decompression means for decompressing the first code and the second code generated by the second compression means, and the first decompression The image expanded by the means An image processing apparatus characterized by comprising adding means for adding the first and second images that have been extended by two expansion means.
請求項4の発明は、前記第1の圧縮手段は、可逆圧縮処理を行い、前記第2の圧縮手段は、非可逆圧縮処理を行うことを特徴とする請求項1又は3に記載の画像処理装置である。
4. The image processing according to
請求項5の発明は、前記量子化手段は、量子化として2値化処理を行うことを特徴とする請求項1、3、4のいずれか一項に記載の画像処理装置である。 A fifth aspect of the present invention is the image processing apparatus according to any one of the first, third, and fourth aspects, wherein the quantization unit performs binarization processing as quantization.
請求項6の発明は、前記量子化手段は、量子化として限定色化処理を行うことを特徴とする請求項1、3、4のいずれか一項に記載の画像処理装置である。 A sixth aspect of the present invention is the image processing apparatus according to any one of the first, third, and fourth aspects, wherein the quantization unit performs a limited color processing as quantization.
請求項7の発明は、前記画像の平坦部分を量子化する第2の量子化手段をさらに具備し、前記量子化手段は、前記第2の量子化手段によって量子化された第2量子化画像を対象として、該画像のエッジを保存する量子化を行うことを特徴とする請求項1、3、4、5、6のいずれか一項に記載の画像処理装置である。
The invention of claim 7 further comprises second quantization means for quantizing a flat portion of the image, wherein the quantization means is a second quantized image quantized by the second quantization means. The image processing apparatus according to
請求項8の発明は、前記差分画像生成手段による処理結果を予め定められた範囲内に収めるように、限定色化処理を行う前記量子化手段によるクラスタ形成における距離を制御する制御手段をさらに具備することを特徴とする請求項6に記載の画像処理装置である。 The invention of claim 8 further comprises a control means for controlling a distance in cluster formation by the quantizing means for performing the limited color processing so that the processing result by the difference image generating means falls within a predetermined range. An image processing apparatus according to claim 6.
請求項9の発明は、コンピュータを、画像のエッジを保存しつつ量子化を行う量子化手段と、前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段として機能させるための画像処理プログラムである。 According to a ninth aspect of the present invention, a computer generates a difference image between a quantization unit that performs quantization while preserving an image edge, and a difference between the image and a quantized image quantized by the quantization unit. An image generating unit; and a dividing unit that divides the image into a first image and a second image that fall within the predetermined range when the image generated by the difference image generating unit does not fall within a predetermined range. To function as a first compression unit that compresses the quantized image quantized by the quantization unit, and a second compression unit that compresses the first image and the second image divided by the division unit. This is an image processing program.
請求項10の発明は、請求項1の画像処理装置の第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、請求項1の画像処理装置の第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、前記第1の伸長手段によって伸長された画像を、加算手段によって加算された画像に対して、先に表示する表示手段を具備することを特徴とする画像処理装置である。
The invention according to
請求項11の発明は、コンピュータを、請求項9の画像処理プログラムの第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、請求項9の画像処理プログラムの第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段として機能させるための画像処理プログラムである。 According to an eleventh aspect of the present invention, there is provided a computer, a first decompression unit for decompressing the code generated by the first compression unit of the image processing program of the ninth aspect, and a second compression of the image processing program of the ninth aspect. Second decompression means for decompressing the first code and the second code generated by the means, and a first image decompressed by the second decompression means to an image decompressed by the first decompression means And an image processing program for functioning as an adding means for adding the second image.
請求項12の発明は、コンピュータを、画像のエッジを保存しつつ量子化を行う量子化手段と、前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段と、前記第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、前記第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段として機能させるための画像処理プログラムである。 According to a twelfth aspect of the present invention, a computer generates a difference image between a quantization unit that performs quantization while preserving an image edge, and a difference between the image and the quantized image quantized by the quantization unit. An image generating unit; and a dividing unit that divides the image into a first image and a second image that fall within the predetermined range when the image generated by the difference image generating unit does not fall within a predetermined range. A first compression means for compressing the quantized image quantized by the quantization means; a second compression means for compressing the first image and the second image divided by the dividing means; A first decompression unit for decompressing the code generated by the first compression unit; a second decompression unit for decompressing the first code and the second code generated by the second compression unit; Stretched by 1 stretching means An image processing program for functioning as a first image and adding means for adding the second image that has been extended by the second expansion means to image.
請求項13の発明は、コンピュータを、請求項9の画像処理プログラムの第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、請求項9の画像処理プログラムの第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、前記第1の伸長手段によって伸長された画像を、加算手段によって加算された画像に対して、先に表示する表示手段として機能させるための画像処理プログラムである。 According to a thirteenth aspect of the present invention, the computer includes a first decompression unit that decompresses the code generated by the first compression unit of the image processing program of the ninth aspect, and a second compression of the image processing program of the ninth aspect. A second decompressing means for decompressing the code generated by the means; and an image decompressed by the first decompressing means for causing the image added by the adding means to function as a display means for displaying first. This is an image processing program.
請求項1の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができ、差分画像が予め定められた値域に収まらない場合であっても、画質の劣化を抑制することができる。
According to the image processing apparatus of
請求項2の画像処理装置によれば、圧縮画像を伸長する場合にあって、Progressive−JPEGと比較して、最初の画像の画質を向上させることができ、差分画像が予め定められた値域に収まらない場合であっても、画質の劣化を抑制することができる。 According to the image processing apparatus of the second aspect, in the case of decompressing a compressed image, the image quality of the first image can be improved compared to Progressive-JPEG, and the difference image is in a predetermined range. Even if it does not fit, deterioration of image quality can be suppressed.
請求項3の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。 According to the image processing apparatus of the third aspect, in the case of compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
請求項4の画像処理装置によれば、第2の圧縮手段が可逆圧縮処理を行う場合に比べて、符号量を削減することができる。 According to the image processing apparatus of the fourth aspect, it is possible to reduce the code amount as compared with the case where the second compression unit performs the lossless compression process.
請求項5の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。 According to the image processing apparatus of the fifth aspect, in the case of compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
請求項6の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。 According to the image processing apparatus of the sixth aspect, in the case of compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
請求項7の画像処理装置によれば、元の画像を量子化する場合に比べて、符号量を削減することができる。 According to the image processing device of the seventh aspect, it is possible to reduce the code amount as compared with the case where the original image is quantized.
請求項8の画像処理装置によれば、差分がアンダーフロー又はオーバーフローする場合に比べて、画質を改善することができる。 According to the image processing apparatus of the eighth aspect, it is possible to improve the image quality as compared with the case where the difference underflows or overflows.
請求項9の画像処理プログラムによれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができ、差分画像が予め定められた値域に収まらない場合であっても、画質の劣化を抑制することができる。 According to the image processing program of claim 9, in the case of compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG, and the difference image is determined in advance. Even when the value does not fall within the range, it is possible to suppress deterioration in image quality.
請求項10の画像処理装置によれば、Progressive−JPEGと比較して、先に表示する画像の画質を向上させることができる。 According to the image processing apparatus of the tenth aspect, it is possible to improve the image quality of an image to be displayed earlier as compared with Progressive-JPEG.
請求項11の画像処理プログラムによれば、圧縮画像を伸長する場合にあって、Progressive−JPEGと比較して、最初の画像の画質を向上させることができ、差分画像が予め定められた値域に収まらない場合であっても、画質の劣化を抑制することができる。 According to the image processing program of the eleventh aspect, in the case of decompressing a compressed image, the image quality of the first image can be improved compared to Progressive-JPEG, and the difference image is in a predetermined range. Even if it does not fit, deterioration of image quality can be suppressed.
請求項12の画像処理プログラムによれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。 According to the image processing program of the twelfth aspect, when the image is compressed, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
請求項13の画像処理プログラムによれば、Progressive−JPEGと比較して、先に表示する画像の画質を向上させることができる。 According to the image processing program of the thirteenth aspect, it is possible to improve the image quality of an image to be displayed earlier as compared with Progressive-JPEG.
まず、本実施の形態を説明する前に、その前提となる画像処理装置について、図25〜30に示す例を用いて説明する。なお、この説明は、本実施の形態の理解を容易にすることを目的とするものである。
符号フォーマットを構造化することで、伸長時に解像度や画質を決めたスケーラブル配信や、プログレッシブ(漸進的)表示を実現する圧縮技術がある。
Progressive−JPEG(Joint Photographic Experts Group)、特許文献3等に記載の技術では、DCT係数を使ってこれを実現するため、基本画像には高周波成分が含まれない。具体的には、式(3)を用いて、図25の例に示すように、DCT係数を生成している。例えば、JPEGでは8×8の変換係数が得られる。
なお、基本画像とは、閲覧初期の画像である。
表示のタイミング(表示開始順番)は、標準仕様に限定されておらず、伸長器の設計次第である。例えば、JPEGであると、最小の単位はDC係数の1個だけとなる。
したがって、最初に圧縮(又は伸長)される画像(低画質(基本画像)2535の部分であって、例えば、図26(a))は、高周波成分が含まれないことになる。エッジが含まれている文字や図形の場合は、その画像品質が課題になる。
First, before describing the present embodiment, an image processing apparatus as a premise thereof will be described with reference to examples shown in FIGS. This description is intended to facilitate understanding of the present embodiment.
There is a compression technique that realizes scalable delivery and progressive display that have a resolution and image quality determined at the time of decompression by structuring the code format.
In the technology described in Progressive-JPEG (Joint Photographic Experts Group),
The basic image is an initial browsing image.
The display timing (display start order) is not limited to the standard specification, but depends on the design of the expander. For example, in the case of JPEG, the smallest unit is only one DC coefficient.
Therefore, an image (low image quality (basic image) 2535 portion, for example, FIG. 26A) to be compressed (or expanded) first does not include a high frequency component. In the case of a character or figure that includes an edge, the image quality becomes a problem.
また、JPEG2000、特許文献2等に記載の技術では、ウェーブレット係数を使ってこれを実現するため、基本画像には高周波成分が含まれず、前述と同様の課題を有する。
図27に示す例は、ウェーブレット係数の領域2710で低画質(基本画像)2535を示し、ウェーブレット係数の領域2720で中画質2545を示し、ウェーブレット係数の領域2730で高画質2555を示している。
そして、図28の例に示すように、ローパスフィルタ、ハイパスフィルタを用いながら、低周波成分のみを繰り返して分解するため、基本画像には高周波(エッジ情報)は含まない。高周波成分を多く含む文字の画質を改善するには、深層部の情報が必要になる。
Further, in the techniques described in JPEG2000,
In the example illustrated in FIG. 27, the
As shown in the example of FIG. 28, only the low frequency component is repeatedly decomposed using the low pass filter and the high pass filter, so that the basic image does not include high frequency (edge information). In order to improve the image quality of characters containing a lot of high frequency components, information on the deep layer is required.
また、MRC(Mixed Rater Contents)では、図29の例に示すように、座標毎に、タグ情報(プレーンの選択情報)2930で指定されたプレーン(文字プレーン(基本画像)2910、写真プレーン2920)を選択する。そして、座標毎にプレーンを選択する処理の結果として、伸長画像2940を得る。例えば、文字プレーン(基本画像)2910から最初に送信すると、最初に伸長された画像であっても、前述の技術とは異なり、文字品質は期待したレベルを満たすこととなる。しかし座標毎のオン/オフ制御なので、制御できる画質の範囲が限られる。つまり、画質に応じて構造化された符号フォーマットを用いているわけではなく、座標毎にオン/オフを制御できるだけであり、図30の例に示すように、図30(a)の例に示す低画質(基本画像)から図30(b)の例に示す高画質の画像を生成するというような、画質を徐々に向上させる構成ではない。
In MRC (Mixed Rate Content), as shown in the example of FIG. 29, planes (character plane (basic image) 2910, photo plane 2920) designated by tag information (plane selection information) 2930 for each coordinate. Select. Then, an expanded
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
<<第1の実施の形態>>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、すべての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
Hereinafter, examples of various preferred embodiments for realizing the present invention will be described with reference to the drawings.
<< First Embodiment >>
FIG. 1 is a conceptual module configuration diagram of a configuration example according to the first embodiment.
The module generally refers to components such as software (computer program) and hardware that can be logically separated. Therefore, the module in the present embodiment indicates not only a module in a computer program but also a module in a hardware configuration. Therefore, the present embodiment is a computer program for causing these modules to function (a program for causing a computer to execute each procedure, a program for causing a computer to function as each means, and a function for each computer. This also serves as an explanation of the program and system and method for realizing the above. However, for the sake of explanation, the words “store”, “store”, and equivalents thereof are used. However, when the embodiment is a computer program, these words are stored in a storage device or stored in memory. It is the control to be stored in the device. Modules may correspond to functions one-to-one, but in mounting, one module may be configured by one program, or a plurality of modules may be configured by one program, and conversely, one module May be composed of a plurality of programs. The plurality of modules may be executed by one computer, or one module may be executed by a plurality of computers in a distributed or parallel environment. Note that one module may include other modules. Hereinafter, “connection” is used not only for physical connection but also for logical connection (data exchange, instruction, reference relationship between data, etc.). “Predetermined” means that the process is determined before the target process, and not only before the process according to this embodiment starts but also after the process according to this embodiment starts. In addition, if it is before the target processing, it is used in accordance with the situation / state at that time or with the intention to be decided according to the situation / state up to that point. When there are a plurality of “predetermined values”, the values may be different from each other, or two or more values (of course, including all values) may be the same. In addition, the description having the meaning of “do B when it is A” is used in the meaning of “determine whether or not it is A and do B when it is judged as A”. However, the case where it is not necessary to determine whether or not A is excluded.
In addition, the system or device is configured by connecting a plurality of computers, hardware, devices, and the like by communication means such as a network (including one-to-one correspondence communication connection), etc., and one computer, hardware, device. The case where it implement | achieves by etc. is also included. “Apparatus” and “system” are used as synonymous terms. Of course, the “system” does not include a social “mechanism” (social system) that is an artificial arrangement.
In addition, when performing a plurality of processes in each module or in each module, the target information is read from the storage device for each process, and the processing result is written to the storage device after performing the processing. is there. Therefore, description of reading from the storage device before processing and writing to the storage device after processing may be omitted. Here, the storage device may include a hard disk, a RAM (Random Access Memory), an external storage medium, a storage device via a communication line, a register in a CPU (Central Processing Unit), and the like.
第1の実施の形態である画像処理装置100は、画像を圧縮(符号化)するものであって、図1の例に示すように、エッジ保存量子化モジュール110、差分処理モジュール120、圧縮A処理モジュール130、圧縮B処理モジュール140を有しており、画像処理装置150は、画像処理装置100による圧縮画像を伸長(復号)するものであって、伸長A処理モジュール160、伸長B処理モジュール170、加算処理モジュール180を有している。
画像処理装置100、画像処理装置150の概略の処理内容を説明する。
対象画像105を、文字やエッジを保存した情報とその他の情報に分けて構造化したのち、それぞれの情報に適した符号化方式(符号化方式A、符号化方式B)で符号化する。なお、符号化方式Aと符号化方式Bは同じものでもよい。差分は画素値の差分とする。伸長時は画素値上で加算して復元する。もちろんのことながら、3プレーン以上に分けることもできる。
The
The outline processing contents of the
The
画像処理装置100は、対象画像105を受け付ける。対象画像105を受け付けるとは、例えば、スキャナ、カメラ等で対象画像105を読み込むこと、ファックス等で通信回線を介して外部機器から対象画像105を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている対象画像105を読み出すこと等が含まれる。画像は、多値画像(カラー画像を含む)である。受け付ける画像は、1枚であってもよいし、複数枚であってもよい。また、画像の内容として、文字又は図形(線画)が含まれており、それとともに画像(写真等)が含まれており、例えば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。また、対象画像105(全体画像106A)は、画像処理装置100内では、基本画像115(低画質画像107A)と差分画像125(高画質画像108A)に分けられる。
The
エッジ保存量子化モジュール110は、差分処理モジュール120、圧縮A処理モジュール130と接続されており、対象画像105を受け付け、圧縮A処理モジュール130に基本画像115を渡す。エッジ保存量子化モジュール110は、対象画像105のエッジを保存しつつ量子化(エッジを保存する量子化)を行って、基本画像115を生成する。「エッジを保存する量子化」の具体例は、この後の実施の形態の説明で後述するが、符号化後の最初の伸長(プログレッシブ圧縮された符号の段階的な伸長における最初の伸長)において、文字又は図形の画質を向上させるためのエッジを残すような量子化であればよい。つまり、解像度を残しながら階調を量子化するものが望ましい。
差分処理モジュール120は、エッジ保存量子化モジュール110、圧縮B処理モジュール140と接続されており、対象画像105を受け付け、圧縮B処理モジュール140に差分画像125を渡す。差分処理モジュール120は、対象画像105とエッジ保存量子化モジュール110によって量子化された基本画像115との差分の画像(差分画像125)を生成する。
The edge preserving
The
圧縮A処理モジュール130は、エッジ保存量子化モジュール110と接続されており、エッジ保存量子化モジュール110から基本画像115を受け取り、基本符号135を出力する。圧縮A処理モジュール130は、エッジ保存量子化モジュール110によって量子化された基本画像115(量子化画像)を圧縮する。既存の圧縮方式を用いればよい。
圧縮B処理モジュール140は、差分処理モジュール120と接続されており、差分処理モジュール120から差分画像125を受け取り、差分符号145を出力する。圧縮B処理モジュール140は、差分処理モジュール120によって生成された差分画像125を圧縮する。既存の圧縮方式を用いればよい。なお、圧縮A処理モジュール130における圧縮方式と同じものを用いるようにしてもよい。
The compression
The compression
画像処理装置150は、画像処理装置100による処理結果である基本符号135、差分符号145を受け付ける。ここで、基本符号135は低画質画像107A(低画質画像107B)に該当し、差分符号145は高画質画像108A(高画質画像108B)に該当する。つまり、構造化された符号フォーマットである。
伸長A処理モジュール160は、加算処理モジュール180と接続されており、基本符号135を受け付け、加算処理モジュール180に基本画像165を渡す。伸長A処理モジュール160は、画像処理装置100の圧縮A処理モジュール130によって生成された基本符号135を伸長する。もちろんのことながら、ここでの伸長方式は、圧縮A処理モジュール130の符号化方式に対応するものである。したがって、基本画像115に対応する基本画像165を生成する。また、圧縮A処理モジュール130で可逆圧縮が行われた場合は、基本画像165と基本画像115は同じものになるが、圧縮A処理モジュール130で非可逆圧縮が行われた場合は、基本画像165は基本画像115と同じものになるとは限らない(一般的には、基本画像165は基本画像115よりも情報量が少なくなっている)。
The
The decompression
伸長B処理モジュール170は、加算処理モジュール180と接続されており、差分符号145を受け付け、加算処理モジュール180に差分画像175を渡す。伸長B処理モジュール170は、画像処理装置100の圧縮B処理モジュール140によって生成された差分符号145を伸長する。もちろんのことながら、ここでの伸長方式は、圧縮B処理モジュール140の符号化方式に対応するものである。したがって、差分画像125に対応する差分画像175を生成する。また、圧縮B処理モジュール140で可逆圧縮が行われた場合は、差分画像175と差分画像125は同じものになるが、圧縮B処理モジュール140で非可逆圧縮が行われた場合は、差分画像175は差分画像125と同じものになるとは限らない(一般的には、差分画像175は差分画像125よりも情報量が少なくなっている)。
加算処理モジュール180は、伸長A処理モジュール160、伸長B処理モジュール170と接続されており、伸長A処理モジュール160から基本画像165を受け取り、伸長B処理モジュール170から差分画像175を受け取り、伸長画像195を出力する。加算処理モジュール180は、伸長A処理モジュール160によって伸長された基本画像165に伸長B処理モジュール170によって伸長された差分画像175を加算する。差分処理モジュール120と対応する処理を行う。プログレッシブな伸長を行うので、最初に基本画像165(低画質画像107C)をそのまま出力し、その次に、基本画像165に差分画像175(高画質画像108C)を加算した画像(全体画像106C)を出力する。画像を出力するとは、主に、ディスプレイ等の表示装置に段階的に表示することであるが、例えば、他に、ファックス等の画像送信装置で画像を送信すること、プリンタ等の印刷装置で印刷すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の画像処理装置へ渡すこと等を含めてもよい。
The decompression
The
図2、図3は、本実施の形態による処理例の概要を示す説明図である。
元画像X205(全体画像206A)の文字等のエッジを残しながら階調を量子化し、基本画像Y235(低画質画像207A)とする。基本画像Y235の次に続く差分画像Z245(高画質画像208A)は、元画像X205と基本画像Y235の画素値の差分で表現する(差分画像と呼ぶ)。なお、原画像X=Y+Z(X,Y,Zは、元画像X205、基本画像Y235、差分画像Z245のそれぞれの画素値)の関係を有している。
基本画像Y235に文字エッジ(高周波)が残るため、前述のProgressive−JPEG等に比べて文字品質で優れる。図3の例に示すように、プログレッシブ表示例をとり挙げると、可読性に優れた文字がすぐに表示されることとなる。
図3(a)に示す例は、基本画像Y235を伸長した結果の画像(プログレッシブ表示における最初に表示する画像)であり、図3(b)に示すものより符号量が少なく、高速に符号化、伸長できる。
図3(b)に示す例は、基本画像Y235を伸長した結果の画像に、差分画像Z245を伸長した結果を加えた画像(プログレッシブ表示における次に表示する画像)であり、図3(a)に示すものより高画質である。
2 and 3 are explanatory diagrams showing an outline of a processing example according to the present embodiment.
The gradation is quantized while leaving the edges of characters, etc., in the original image X205 (
Since a character edge (high frequency) remains in the basic image Y235, the character quality is superior to the above-described Progressive-JPEG. As shown in the example of FIG. 3, when a progressive display example is taken, characters with excellent readability are immediately displayed.
The example shown in FIG. 3A is an image obtained by decompressing the basic image Y235 (the first image displayed in the progressive display). The code amount is smaller than that shown in FIG. Can be extended.
The example shown in FIG. 3B is an image obtained by adding the result of expanding the difference image Z245 to the image obtained by expanding the basic image Y235 (the image to be displayed next in the progressive display). The image quality is higher than that shown in.
<<第2の実施の形態>>
図4は、第2の実施の形態の構成例についての概念的なモジュール構成図である。第2の実施の形態は、視覚感度が高い基本画像を可逆圧縮し、低い差分画像を非可逆圧縮する。例えば、可逆圧縮としてはFlate(PNG)、非可逆圧縮としてはJPEGを用いるようにしてもよい。目につかない情報のみを非可逆化で削除して符号量を減らせるようになる。
なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する(以下、同様)。
画像処理装置400は、エッジ保存量子化モジュール110、差分処理モジュール120、可逆圧縮Flate(PNG)処理モジュール430、非可逆圧縮JPEG処理モジュール440を有している。
エッジ保存量子化モジュール110は、差分処理モジュール120、可逆圧縮Flate(PNG)処理モジュール430と接続されており、対象画像105を受け付け、可逆圧縮Flate(PNG)処理モジュール430に基本画像115を渡す。
差分処理モジュール120は、エッジ保存量子化モジュール110、非可逆圧縮JPEG処理モジュール440と接続されており、対象画像105を受け付け、非可逆圧縮JPEG処理モジュール440に差分画像125を渡す。
可逆圧縮Flate(PNG)処理モジュール430は、エッジ保存量子化モジュール110と接続されており、エッジ保存量子化モジュール110から基本画像115を受け取り、基本符号435を出力する。可逆圧縮Flate(PNG)処理モジュール430は、基本画像115に対して可逆圧縮処理を行う。例えば、Flate(PNG)処理を行う。
非可逆圧縮JPEG処理モジュール440は、差分処理モジュール120と接続されており、差分処理モジュール120から差分画像125を受け取り、差分符号445を出力する。非可逆圧縮JPEG処理モジュール440は、差分画像125に対して非可逆圧縮処理を行う。例えば、JPEG処理を行う。
<< Second Embodiment >>
FIG. 4 is a conceptual module configuration diagram of a configuration example according to the second embodiment. In the second embodiment, a basic image with high visual sensitivity is reversibly compressed, and a low difference image is irreversibly compressed. For example, Flate (PNG) may be used for lossless compression, and JPEG may be used for lossy compression. Only the invisible information can be deleted by irreversible to reduce the code amount.
In addition, the same code | symbol is attached | subjected to the site | part of the same kind as the above-mentioned embodiment, and the overlapping description is abbreviate | omitted (hereinafter the same).
The
The edge preserving
The
The lossless compression Flate (PNG)
The lossy compression
画像処理装置450は、可逆伸長Deflate(PNG)処理モジュール460、非可逆伸長JPEG処理モジュール470、加算処理モジュール180を有している。
可逆伸長Deflate(PNG)処理モジュール460は、加算処理モジュール180と接続されており、基本符号435を受け付け、加算処理モジュール180に基本画像165を渡す。可逆伸長Deflate(PNG)処理モジュール460は、可逆圧縮Flate(PNG)処理モジュール430に対応する伸長処理を行う。例えば、Flate(PNG)における伸長処理を行う。
非可逆伸長JPEG処理モジュール470は、加算処理モジュール180と接続されており、差分符号445を受け付け、加算処理モジュール180に差分画像175を渡す。非可逆伸長JPEG処理モジュール470は、非可逆圧縮JPEG処理モジュール440に対応する伸長処理を行う。例えば、JPEGにおける伸長処理を行う。
加算処理モジュール180は、可逆伸長Deflate(PNG)処理モジュール460、非可逆伸長JPEG処理モジュール470と接続されており、可逆伸長Deflate(PNG)処理モジュール460から基本画像165を受け取り、非可逆伸長JPEG処理モジュール470から差分画像175を受け取り、伸長画像495を出力する。
なお、差分画像は情報のない箇所が多いため、Progressive−JPEGを利用してもよい。こうすれば、EOB(End Of Block)数を少なくでき、符号量を改善できる。
The
The lossless decompression (PNG)
The lossy decompression
The
In addition, since there are many places where there is no information in the difference image, Progressive-JPEG may be used. By doing so, the number of EOBs (End Of Blocks) can be reduced, and the amount of codes can be improved.
<<第3の実施の形態>>
図5は、第3の実施の形態の構成例についての概念的なモジュール構成図である。第3の実施の形態は、エッジ保存量子化として2値化処理を使う。2値化処理として、例えば単純2値化処理等がある。具体的には、画素値128以上であれば画素値255とし、画素値127未満であれば画素値0とする。白黒文字は可逆で保存でき、文字の可読性を残すことができる。2値化処理は、単純2値化以外の他の方式、例えば浮動2値化であってもよい。
画像処理装置500は、2値化処理モジュール510、差分処理モジュール520、可逆圧縮Flate(PNG)処理モジュール430、非可逆圧縮JPEG処理モジュール440を有している。
2値化処理モジュール510は、差分処理モジュール520、可逆圧縮Flate(PNG)処理モジュール430と接続されており、対象画像105を受け付け、可逆圧縮Flate(PNG)処理モジュール430に基本画像515を渡す。2値化処理モジュール510は、対象画像105に対して、画像のエッジを保存する量子化として2値化処理を行い、基本画像515を生成する。例えば、画素値が128以上であれば、その画素値を255とし、127未満であればその画素値を0に量子化する。
差分処理モジュール520は、2値化処理モジュール510、非可逆圧縮JPEG処理モジュール440と接続されており、対象画像105を受け付け、非可逆圧縮JPEG処理モジュール440に差分画像525を渡す。差分処理モジュール520は、対象画像105と基本画像515との差分を算出し、差分画像525を生成する。
<< Third Embodiment >>
FIG. 5 is a conceptual module configuration diagram of a configuration example according to the third embodiment. The third embodiment uses binarization processing as edge-preserving quantization. Examples of the binarization process include a simple binarization process. Specifically, if the pixel value is 128 or more, the pixel value is 255, and if it is less than 127, the pixel value is 0. Black and white characters can be stored reversibly, leaving the character readable. The binarization processing may be a method other than simple binarization, for example, floating binarization.
The
The
The
可逆圧縮Flate(PNG)処理モジュール430は、2値化処理モジュール510と接続されており、2値化処理モジュール510から基本画像515を受け取り、基本符号535を出力する。
非可逆圧縮JPEG処理モジュール440は、差分処理モジュール520と接続されており、差分処理モジュール520から差分画像525を受け取り、差分符号545を出力する。
なお、可逆圧縮Flate(PNG)処理モジュール430、非可逆圧縮JPEG処理モジュール440の他に、それぞれ圧縮A処理モジュール130、圧縮B処理モジュール140としてもよい。
また、画像処理装置500に対応する伸長処理を行う画像処理装置は、前述の実施の形態と同様に、可逆圧縮Flate(PNG)処理モジュール430に対応する伸長処理を行う伸長モジュールAと、非可逆圧縮JPEG処理モジュール440に対応する伸長処理を行う伸長モジュールBと、その処理結果を加算する加算モジュールがあればよい(以下、同様)。
The lossless compression Flate (PNG)
The lossy compression
In addition to the lossless compression Flate (PNG)
In addition, the image processing apparatus that performs the decompression process corresponding to the
<<第4の実施の形態>>
図6は、第4の実施の形態の構成例についての概念的なモジュール構成図である。第4の実施の形態は、エッジ保存量子化として限定色化処理(減色処理ともいわれる)を用いるものである。限定色化処理として、例えば、k平均法等のクラスタリング手法を用いるようにしてもよい。インデックス表現ができるまで減色すれば(例えば、16色や256色等)、基本画像の符号量を大きく改善することができる。
画像処理装置600は、減色量子化クラスタリング処理モジュール610、差分処理モジュール620、可逆圧縮Flate(PNG)処理モジュール430、非可逆圧縮JPEG処理モジュール440を有している。
減色量子化クラスタリング処理モジュール610は、差分処理モジュール620、可逆圧縮Flate(PNG)処理モジュール430と接続されており、対象画像105を受け付け、可逆圧縮Flate(PNG)処理モジュール430に基本画像615を渡す。減色量子化クラスタリング処理モジュール610は、対象画像105に対して、画像のエッジを保存する量子化として限定色化処理(減色量子化)を行い、基本画像615を生成する。例えば、クラスタリング手法としてk平均法を用いる。以下の式(1)、式(2)にしたがった処理を行う。
FIG. 6 is a conceptual module configuration diagram of an exemplary configuration according to the fourth embodiment. The fourth embodiment uses a limited color process (also called a color reduction process) as edge-preserving quantization. As the limited color processing, for example, a clustering method such as a k-average method may be used. If the color is reduced until the index can be expressed (for example, 16 colors or 256 colors), the code amount of the basic image can be greatly improved.
The
The subtractive color quantization
差分処理モジュール620は、減色量子化クラスタリング処理モジュール610、非可逆圧縮JPEG処理モジュール440と接続されており、対象画像105を受け付け、非可逆圧縮JPEG処理モジュール440に差分画像625を渡す。差分処理モジュール620は、対象画像105と基本画像615との差分を算出し、差分画像625を生成する。
可逆圧縮Flate(PNG)処理モジュール430は、減色量子化クラスタリング処理モジュール610と接続されており、減色量子化クラスタリング処理モジュール610から基本画像615を受け取り、基本符号635を出力する。
非可逆圧縮JPEG処理モジュール440は、差分処理モジュール620と接続されており、差分処理モジュール620から差分画像625を受け取り、差分符号645を出力する。
The
The lossless compression Flate (PNG)
The lossy compression
<<第5の実施の形態>>
図7は、第5の実施の形態の構成例についての概念的なモジュール構成図である。第5の実施の形態は、エッジが含まれていない平坦ブロック(文字エッジに該当しない部分)を事前に量子化するプレ量子化処理モジュール720を設ける。プレ量子化処理モジュール720では後段(非可逆圧縮JPEG処理モジュール440)の基底ベクトルにしたがって量子化を行う。より具体的には、8×8ブロックの平均値(DC成分)で量子化しておく。差分画像を圧縮するJPEGとの量子化方向を揃えて、基本画像と差分画像の合計符号量を改善する。
画像処理装置700は、平坦ブロック判定処理モジュール710、プレ量子化処理モジュール720、減色量子化クラスタリング処理モジュール610、差分処理モジュール620、可逆圧縮Flate(PNG)処理モジュール430、非可逆圧縮JPEG処理モジュール440を有している。
平坦ブロック判定処理モジュール710、プレ量子化処理モジュール720は、対象画像105の平坦部分を量子化する。
平坦ブロック判定処理モジュール710は、プレ量子化処理モジュール720、減色量子化クラスタリング処理モジュール610と接続されており、対象画像105を受け付け、プレ量子化処理モジュール720に平坦ブロック714を渡し、減色量子化クラスタリング処理モジュール610に非平坦ブロック712を渡す。平坦ブロック判定処理モジュール710は、対象画像105内の平坦部分を抽出し、平坦ブロック714としてプレ量子化処理モジュール720に渡す。平坦か否かの判断処理は、例えば、ブロックのDレンジや色数で判断すればよい。
<< Fifth Embodiment >>
FIG. 7 is a conceptual module configuration diagram of a configuration example according to the fifth embodiment. In the fifth embodiment, a
The
The flat block
The flat block
プレ量子化処理モジュール720は、平坦ブロック判定処理モジュール710、減色量子化クラスタリング処理モジュール610と接続されており、平坦ブロック判定処理モジュール710から平坦ブロック714を受け取る。プレ量子化処理モジュール720は、平坦ブロック714を対象として、例えば、8×8画素のブロックの平均化処理を行う。JPEGと量子化の軸を揃えることによって、JPEG側に高周波成分を残さないようにする。この例でいうと、8×8画素のブロック平均値(DC成分)で量子化し、減色(ラスタリング結果)が、DC成分以外の係数に影響しないようにする。なお、8×8平均化(DC成分)に限られず、JPEGの基底方向に沿った量子化が合計符号量の側面から望ましいが、それには限らない。
The
減色量子化クラスタリング処理モジュール610は、平坦ブロック判定処理モジュール710、プレ量子化処理モジュール720、差分処理モジュール620、可逆圧縮Flate(PNG)処理モジュール430と接続されており、平坦ブロック判定処理モジュール710から非平坦ブロック712を受け取り、可逆圧縮Flate(PNG)処理モジュール430に基本画像615を渡す。減色量子化クラスタリング処理モジュール610は、プレ量子化処理モジュール720によって量子化された画像を対象として、その画像のエッジを保存する量子化を行う。例えば、限定色化処理を行う。
差分処理モジュール620は、減色量子化クラスタリング処理モジュール610、非可逆圧縮JPEG処理モジュール440と接続されており、対象画像105を受け付け、非可逆圧縮JPEG処理モジュール440に差分画像625を渡す。
可逆圧縮Flate(PNG)処理モジュール430は、減色量子化クラスタリング処理モジュール610と接続されており、減色量子化クラスタリング処理モジュール610から基本画像615を受け取り、基本符号735を出力する。
非可逆圧縮JPEG処理モジュール440は、差分処理モジュール620と接続されており、差分処理モジュール620から差分画像625を受け取り、差分符号745を出力する。
The subtractive quantization
The
The lossless compression Flate (PNG)
The lossy compression
<<第6の実施の形態>>
第6の実施の形態を説明する前に、第4の実施の形態の処理において、差分がアンダーフロー又はオーバーフローすることがあり得ることについて説明する。
図8は、差分がアンダーフロー又はオーバーフローする場合の例を示す説明図である。対象画像105の値域を8bit[0,255]とすると、その差分値は[−255,255]となるため、理論的には8bitの値域[−128,127]を超えることがあり、伸長画質に悪影響を及ぼすことがある。もちろんのことながら、8bitであることは例示である。
例えば、対象画像105の画素値805として250である場合、エッジ保存量子化モジュール110の処理である基本画像115の画素値815が10であるとすると、差分処理モジュール120の処理結果である差分値820は240となるが、値域限界の127となり、非可逆圧縮JPEG処理モジュール440の処理結果である非可逆結果840として125、126、127等がある。
そして、非可逆結果840に対する、伸長処理は、以下のようになる。
・125+10≠250
・126+10≠250
・127+10≠250
つまり、元の画像の画素値250には戻らない結果となる。
<< Sixth Embodiment >>
Before describing the sixth embodiment, it will be described that the difference may underflow or overflow in the processing of the fourth embodiment.
FIG. 8 is an explanatory diagram illustrating an example in which the difference underflows or overflows. If the range of the
For example, if the
Then, the decompression process for the
・ 125 + 10 ≠ 250
・ 126 + 10 ≠ 250
127 + 10 ≠ 250
That is, the result does not return to the
図9は、第6の実施の形態の構成例についての概念的なモジュール構成図である。第6の実施の形態は、オーバーフローやアンダーフローを防止するため、差分値域制御処理モジュール910を設けて、量子化の強さを制御して、高画質側の画像品質を担保する。第6の実施の形態の差分値域制御処理モジュール910の処理では、遠方のクラスタに取り込まれないような制御を行う。具体的には、距離制約を設ける。例えば、各クラスタの重心までの距離が127を超えるクラスタに含めないようにすると、差分値を[−127,127]が保証できる。なお、どのクラスタにも含まれないことを防ぐため、例えば画素の値域の中間値である128を重心に付け加えるようにしてもよい。
画像処理装置900は、差分値域制御処理モジュール910、減色量子化クラスタリング処理モジュール610、差分処理モジュール620、可逆圧縮Flate(PNG)処理モジュール430、非可逆圧縮JPEG処理モジュール440を有している。
差分値域制御処理モジュール910は、減色量子化クラスタリング処理モジュール610と接続されており、対象画像105を受け付ける。差分値域制御処理モジュール910は、差分処理モジュール620による処理結果を予め定められた範囲内に収めるように、減色量子化クラスタリング処理モジュール610によるクラスタ形成における距離を制御する。例えば、図10に示すようなクラスタを生成する。図10は、第6の実施の形態による処理例を示す説明図である。クラスタに含まれない画素が発生しないように中間値を重心に加えておく。ここでは、4色(4つのクラスタ)に分割し、距離制約として、127とした例を示している。
FIG. 9 is a conceptual module configuration diagram of a configuration example according to the sixth embodiment. In the sixth embodiment, in order to prevent overflow and underflow, a difference value range
The
The difference value range
減色量子化クラスタリング処理モジュール610は、差分値域制御処理モジュール910、差分処理モジュール620、可逆圧縮Flate(PNG)処理モジュール430と接続されており、対象画像105を受け付け、可逆圧縮Flate(PNG)処理モジュール430に基本画像615を渡す。
可逆圧縮Flate(PNG)処理モジュール430は、減色量子化クラスタリング処理モジュール610と接続されており、減色量子化クラスタリング処理モジュール610から基本画像615を受け取り、基本符号935を出力する。
非可逆圧縮JPEG処理モジュール440は、差分処理モジュール620と接続されており、差分処理モジュール620から差分画像625を受け取り、差分符号945を出力する。
The subtractive color quantization
The lossless compression Flate (PNG)
The lossy compression
図11に、第6の実施の形態と背景技術(JPEG−Progressive)による基本画像1107Bの伸長画像の例を示した。基本画像1107Bを圧縮した際の符号量は同一に制御した。背景技術による伸長結果の画像1110と第6の形態による伸長結果の画像1120を比較すると、第6の実施の形態によって、基本画像の画質が向上していることがわかる。
図12に、第6の実施の形態と背景技術(JPEG−Progressive)による基本画像1107Bの符号量の例を示した。合計符号量(圧縮処理後の基本画像1107Bと差分画像1108Bの合計)も背景技術(JPEG−Progressive)と比較して、改善できている。
FIG. 11 shows an example of a decompressed image of the
FIG. 12 shows an example of the code amount of the
図13は、本実施の形態を利用したシステム構成例を示す説明図である。
本実施の形態の処理をクラウド配信サーバ1300のサービスとして提供する場合の例を示したものである。クラウド配信サーバ1300から各ユーザー端末1310に圧縮画像を送信する場合の例について説明する。クラウド配信サーバ1300と各ユーザー端末1310との間の通信回線は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。ここでは、対象画像を、低画質(基本画像)1335、中画質1345、高画質1355のように構造化した符号フォーマット生成しているとする。
回線の速度に応じて配信する例として、低速の回線に接続されているユーザー端末1310Aには、低画質(基本画像)1335だけの符号を送信し、中速の回線に接続されているユーザー端末1310Bには、低画質(基本画像)1335と中画質1345の符号を送信し、高速の回線に接続されているユーザー端末1310Cには、低画質(基本画像)1335と中画質1345と高画質1355の符号を送信する。
ユーザーが望む画質で配信する例として、低画質を望むユーザーのユーザー端末1320Aには、低画質(基本画像)1335だけの符号を送信し、中画質を望むユーザーのユーザー端末1320Bには、低画質(基本画像)1335と中画質1345の符号を送信し、高画質を望むユーザーのユーザー端末1320Cには、低画質(基本画像)1335と中画質1345と高画質1355の符号を送信する。
プログレッシブ表示で配信する例(時間の経過とともに画質を向上させる例)として、時刻(t=1)では、低画質(基本画像)1335だけの符号を送信し、次に(t=2)では、低画質(基本画像)1335と中画質1345の符号を送信し、次に(t=3)では、低画質(基本画像)1335と中画質1345と高画質1355の符号を送信する。その結果、ユーザー端末1330では、時刻(t=1)では、ぼんやり(時刻(t=2又はt=3)と比べた場合における「ぼんやり」である)とした画像を表示し、時刻(t=2)では、くっきりとした画像を表示し、時刻(t=3)では、よりくっきりとした画像を表示する。
FIG. 13 is an explanatory diagram showing a system configuration example using the present embodiment.
An example in which the processing of the present embodiment is provided as a service of the
As an example of distribution according to the line speed, a
As an example of delivery in the image quality desired by the user, a code of only low image quality (basic image) 1335 is transmitted to the
As an example of delivery in progressive display (an example of improving image quality over time), at time (t = 1), a code of only low image quality (basic image) 1335 is transmitted, and then (t = 2), Codes of low image quality (basic image) 1335 and
<<第7の実施の形態>>
前述の実施の形態(第1の実施の形態〜第6の実施の形態)では、差分画像の値域が予め定められた値域に収まらない場合が発生する。第6の実施の形態で説明したように、具体的には、差分画像の値域は[−255,255]となる。そこで、第6の実施の形態では、差分画像の画素値を[−128,127]に収めるために基本画像の画素値を修正している。そのため、基本画像の画像品質が課題になる。なお、「予め定められた値域」として[−128,127]を用いて説明するが、これは例示であることは前述の通りである。
第7の実施の形態では、前述の実施の形態と同様に、画像の文字エッジを残しながら階調を量子化した基本画像、元画像と基本画像の画素値の差分で表現する差分画像を生成する。そして、差分画像の値域が[−128,127]に収まらない場合、差分画像をテクスチャ画像とオフセット画像とに分割する。
<< Seventh Embodiment >>
In the above-described embodiments (the first to sixth embodiments), there are cases where the value range of the difference image does not fall within a predetermined value range. As described in the sixth embodiment, specifically, the value range of the difference image is [−255, 255]. Therefore, in the sixth embodiment, the pixel value of the basic image is corrected so that the pixel value of the difference image falls within [−128, 127]. Therefore, the image quality of the basic image becomes a problem. In addition, although it demonstrates using [-128,127] as a "predetermined value range", as above-mentioned, this is an illustration.
In the seventh embodiment, as in the previous embodiment, a basic image in which gradation is quantized while leaving a character edge of the image, and a difference image that is expressed by a difference between pixel values of the original image and the basic image are generated. To do. If the value range of the difference image does not fit in [−128, 127], the difference image is divided into a texture image and an offset image.
以下の説明に利用する用語について、具体例を挙げて説明する。
基本画像とは、対象画像のエッジを保存した画像であり、値域は[0,255]である。
差分画像とは、対象画像から基本画像を減算した画像であり、値域は[−256,255]である。
オフセット値とは、差分画像を[−128,127]の値域に収めるようにオフセットする値であり、値域は[−127,128]である。
オフセット画像とは、画素値がオフセット値で構成される画像であり、値域は[−127,128]である。
テクスチャ画像とは、差分画像からオフセット画像を減算した画像であり、値域は[−128,127]である。
Terms used in the following description will be described with specific examples.
The basic image is an image in which the edge of the target image is stored, and the value range is [0, 255].
The difference image is an image obtained by subtracting the basic image from the target image, and the range is [−256, 255].
The offset value is a value for offsetting the difference image so as to fall within the range of [−128, 127], and the value range is [−127, 128].
An offset image is an image whose pixel value is composed of an offset value, and its value range is [−127, 128].
A texture image is an image obtained by subtracting an offset image from a difference image, and its value range is [−128, 127].
図14は、第7の実施の形態の構成例についての概念的なモジュール構成図である。
画像処理装置1400は、エッジ保存量子化モジュール110、差分処理モジュール120、画像分割モジュール1422、圧縮A処理モジュール130、圧縮B処理モジュール140を有している。画像処理装置1400は、第1の実施の形態に画像分割モジュール1422を付加したものである。
差分処理モジュール120は、エッジ保存量子化モジュール110、画像分割モジュール1422と接続されており、対象画像105を受け付け、画像分割モジュール1422に差分画像125を渡す。
FIG. 14 is a conceptual module configuration diagram of a configuration example according to the seventh embodiment.
The
The
画像分割モジュール1422は、差分処理モジュール120、圧縮B処理モジュール140と接続されており、差分処理モジュール120から差分画像125を受け取り、圧縮B処理モジュール140に差分画像/テクスチャ画像,オフセット画像1425を渡す。画像分割モジュール1422は、差分処理モジュール120によって生成された画像が予め定められた値域に収まらない場合に、その画像(差分処理モジュール120によって生成された差分画像125)をその値域に収まる第1の画像と第2の画像に分割する。具体的には、差分画像125の値域が[−128,127]に収まらない場合に、差分画像125をテクスチャ画像とオフセット画像とに分割する。つまり、差分画像を8bitで表現できる2枚の画像に分割する。この処理によって、基本画像115の画像品質の劣化を回避している。
The
圧縮B処理モジュール140は、画像分割モジュール1422と接続されており、画像分割モジュール1422から差分画像/テクスチャ画像,オフセット画像1425を受け取り、差分符号145を出力する。圧縮B処理モジュール140は、画像分割モジュール1422によって分割された第1の画像と第2の画像を圧縮する。具体的には、8bitで表現できているテクスチャ画像とオフセット画像をそれぞれ圧縮する。圧縮対象の画像は2つになるが、圧縮方法自体は、前述の実施の形態における圧縮方法を採用すればよい。したがって、差分符号145は、2つの画像の符号(テクスチャ画像とオフセット画像の圧縮結果)を含んでいる。
The compression
画像処理装置1450は、伸長A処理モジュール160、伸長B処理モジュール170、加算処理モジュール180を有している。
伸長B処理モジュール170は、加算処理モジュール180と接続されており、差分符号145を受け付け、加算処理モジュール180に差分画像/テクスチャ画像,オフセット画像1475を渡す。伸長B処理モジュール170は、画像処理装置1400の圧縮B処理モジュール140によって生成された第1の符号と第2の符号を伸長する。具体的には、テクスチャ画像とオフセット画像の圧縮結果をそれぞれ伸長する。したがって、差分画像として2つの画像(テクスチャ画像とオフセット画像)が復号される。
The
The decompression
加算処理モジュール180は、伸長A処理モジュール160、伸長B処理モジュール170と接続されており、伸長A処理モジュール160から基本画像165を受け取り、伸長B処理モジュール170から差分画像/テクスチャ画像,オフセット画像1475を受け取り、伸長画像195を出力する。加算処理モジュール180は、伸長A処理モジュール160によって伸長された画像に伸長B処理モジュール170によって伸長された第1の画像と第2の画像を加算する。具体的には、3つの画像((1)伸長A処理モジュール160によって復号された基本画像165、(2)伸長B処理モジュール170によって復号された差分画像/テクスチャ画像,オフセット画像1475内のテクスチャ画像、(3)伸長B処理モジュール170によって復号された差分画像/テクスチャ画像,オフセット画像1475内のオフセット画像)を加算して、伸長画像195を生成する。
The
図15は、第7の実施の形態(画像処理装置1400)による処理例を示すフローチャートである。圧縮処理であって、差分画像の値域が[−128,127]の場合における処理例を示している。
ステップS1502では、エッジ保存量子化モジュール110は、対象としている画像からエッジを抽出する。
ステップS1504では、エッジ保存量子化モジュール110は、階調の量子化を行う。
ステップS1506では、エッジ保存量子化モジュール110は、基本画像Iを生成する。
ステップS1508では、差分処理モジュール120は、差分画像Jを生成する。
ステップS1510では、圧縮A処理モジュール130は、圧縮Aによる基本画像Iの圧縮を行う。
ステップS1512では、圧縮B処理モジュール140は、圧縮Bによる差分画像Jの圧縮を行う。
FIG. 15 is a flowchart illustrating a processing example according to the seventh exemplary embodiment (image processing apparatus 1400). An example of processing when compression is performed and the range of the difference image is [−128, 127] is shown.
In step S1502, the edge preserving
In step S1504, the edge preserving
In step S1506, the edge preserving
In step S1508, the
In step S1510, the compression
In step S <b> 1512, the compression
図16は、第7の実施の形態(画像処理装置1400)による処理例を示すフローチャートである。圧縮処理であって、差分画像の値域が[−128,127]に収まらない場合における処理例を示している。
ステップS1602では、エッジ保存量子化モジュール110は、対象としている画像からエッジを抽出する。
ステップS1604では、エッジ保存量子化モジュール110は、階調の量子化を行う。
ステップS1606では、エッジ保存量子化モジュール110は、基本画像Iを生成する。
ステップS1608では、差分処理モジュール120は、差分画像Jを生成する。
ステップS1610では、画像分割モジュール1422は、差分画像Jを分割する。ステップS1610の処理については、図19の例に示すフローチャートを用いて後述する。
ステップS1612では、圧縮A処理モジュール130は、圧縮Aによる基本画像Iの圧縮を行う。
ステップS1614では、圧縮B処理モジュール140は、圧縮Bによる差分画像Jの圧縮を行う。
なお、図15の例に示すフローチャートと、図16の例に示すフローチャートのいずれを用いるかを、差分画像Jの値域を用いて判断するようにしてもよい。具体的には、差分画像Jの値域が予め定められた値域内である場合は、図15の例に示すフローチャートによる処理を行い、差分画像Jの値域が予め定められた値域に収まらない場合は、図16の例に示すフローチャートによる処理を行う。
FIG. 16 is a flowchart illustrating a processing example according to the seventh exemplary embodiment (image processing apparatus 1400). An example of processing when compression is performed and the range of the difference image does not fit in [−128, 127] is shown.
In step S1602, the edge preserving
In step S1604, the edge preserving
In step S1606, the edge preserving
In step S1608, the
In step S1610, the
In step S1612, the compression
In step S <b> 1614, the compression
Note that it may be determined using the range of the difference image J which of the flowchart shown in the example of FIG. 15 and the flowchart shown in the example of FIG. Specifically, when the range of the difference image J is within a predetermined range, the process according to the flowchart shown in the example of FIG. 15 is performed, and the range of the difference image J does not fall within the predetermined range. The process according to the flowchart shown in the example of FIG. 16 is performed.
図17は、第7の実施の形態(画像処理装置1450)による処理例を示すフローチャートである。伸長処理であって、差分画像の値域が[−128,127]の場合における処理例を示している。
ステップS1702では、伸長A処理モジュール160は、伸長Aによる基本画像の伸長を行う。
ステップS1704では、伸長B処理モジュール170は、伸長Bによる差分画像の伸長を行う。
ステップS1706では、加算処理モジュール180は、基本画像と差分画像の加算を行う。
FIG. 17 is a flowchart illustrating a processing example according to the seventh exemplary embodiment (image processing apparatus 1450). An example of processing in the case of decompression processing when the value range of the difference image is [−128, 127] is shown.
In step S1702, the decompression
In step S1704, the decompression
In step S1706, the
図18は、第7の実施の形態(画像処理装置1450)による処理例を示すフローチャートである。伸長であって、差分画像の値域が[−128,127]に収まらない場合における処理例を示している。
ステップS1802では、伸長A処理モジュール160は、伸長Aによる基本画像の伸長を行う。
ステップS1804では、伸長B処理モジュール170は、伸長Bによるテクスチャ画像の伸長を行う。
ステップS1806では、加算処理モジュール180は、画像の加算を行う。つまり、ステップS1802での処理結果とステップS1804での処理結果の加算である。
ステップS1808では、伸長B処理モジュール170は、伸長Bによるオフセット画像の伸長を行う。
ステップS1810では、加算処理モジュール180は、画像の加算を行う。つまり、ステップS1806での処理結果とステップS1808での処理結果の加算である。
なお、図17の例に示すフローチャートと、図18の例に示すフローチャートのいずれを用いるかを、伸長B処理モジュール170が受け取った符号(符号化された画像)が1つであるか2つであるかによって判断するようにしてもよい。具体的には、伸長B処理モジュール170が受け取った符号が1つである場合は、図17の例に示すフローチャートによる処理を行い、伸長B処理モジュール170が受け取った符号が2つである場合は、図18の例に示すフローチャートによる処理を行う。なお、いずれの場合であっても、図18の例に示すフローチャートによる処理を行うようにしてもよい。2つ目の符号がない場合は、ステップS1808、ステップS1810の処理は、実質的に何もしないことに等しくなるからである。
FIG. 18 is a flowchart illustrating a processing example according to the seventh exemplary embodiment (image processing apparatus 1450). An example of processing in a case where the range of the difference image does not fit in [−128, 127] is shown.
In step S1802, the decompression
In step S1804, the decompression
In step S1806, the
In step S1808, the decompression
In step S1810, the
It should be noted that whether the flowchart shown in the example of FIG. 17 or the flowchart shown in the example of FIG. 18 is used depends on whether the decompression
図19は、第7の実施の形態による処理例(ステップS1610の処理例)を示すフローチャートである。
ステップS1902では、差分画像の最小値f及び最大値cを算出する。
ステップS1904では、f<−128であるか否かを判断し、f<−128である場合はステップS1906へ進み、それ以外の場合はステップS1908へ進む。
ステップS1906では、オフセット値sを次の式によって算出する。s=f+128
ステップS1908では、c>127であるか否かを判断し、c>127である場合はステップS1910へ進み、それ以外の場合は処理を終了する(ステップS1999)。つまり、ステップS1904、ステップS1908での判断処理で、差分画像の値域が予め定められた値域に収まっているか否かを判断している。
ステップS1910では、オフセット値sを次の式によって算出する。s=c−127
ステップS1912では、全画素値がオフセット値sのオフセット画像Sを生成する。
ステップS1914では、差分画像Jからオフセット画像Sを減算し、テクスチャ画像Tを生成する。
FIG. 19 is a flowchart illustrating a processing example (processing example of step S1610) according to the seventh embodiment.
In step S1902, the minimum value f and the maximum value c of the difference image are calculated.
In step S1904, it is determined whether or not f <−128. If f <−128, the process proceeds to step S1906. Otherwise, the process proceeds to step S1908.
In step S1906, the offset value s is calculated by the following equation. s = f + 128
In step S1908, it is determined whether or not c> 127. If c> 127, the process proceeds to step S1910. Otherwise, the process ends (step S1999). That is, it is determined whether or not the value range of the difference image is within a predetermined value range in the determination processing in steps S1904 and S1908.
In step S1910, the offset value s is calculated by the following equation. s = c-127
In step S1912, an offset image S in which all pixel values are offset values s is generated.
In step S1914, the offset image S is subtracted from the difference image J to generate a texture image T.
説明を簡潔にするために、以降では極端な例を用いて、第7の実施の形態を説明する。第7の実施の形態では圧縮伸長AはPNG、圧縮伸長BはJPGを想定する。ここで、圧縮伸長A及びBは上記以外の手法を用いてもよいし、また圧縮伸長Aと圧縮伸長Bは同じ手法を用いてもよい。また、第7の実施の形態では、対象とする画像にRGB色空間のカラー画像を用いるが、本技術はすべてのカラー画像及びグレースケール画像に適用できる。 For the sake of brevity, the seventh embodiment will be described below using an extreme example. In the seventh embodiment, it is assumed that the compression / decompression A is PNG and the compression / decompression B is JPG. Here, methods other than the above may be used for the compression / decompression A and B, and the same method may be used for the compression / decompression A and the compression / decompression B. In the seventh embodiment, a color image in the RGB color space is used as a target image. However, the present technology can be applied to all color images and grayscale images.
図20は、第7の実施の形態による処理例を示す説明図である。対象画像として図20(A)の例に示している画像2000が与えられたとする。ここで、図20では対象画像と基本画像の値域を[0,255]、差分画像の値域を[−255,255]として説明する。エッジ抽出・量子化処理モジュール110より基本画像2040(図20(B))、画像2000と基本画像2040の差分として差分画像2050(図20(C))を得る。なお、画像2000は、それぞれ同一色で構成されている領域2010(6×6画素の正方形)、領域2020(幅1画素の逆L形)、領域2030(幅1画素の逆L形)に分かれているような例の場合、差分画像2050も領域2060(6×6画素の正方形)、領域2070(幅1画素の逆L形)、領域2080(幅1画素の逆L形)のように分かれることになる。
このとき、差分画像2050の値域が[−128,127]に収まらない。第6の実施の形態では、値域を保証するために、図21(A)の例に示すように、差分画像の値域を[−128,127]に収めるために基本画像2100に中間値(128)を使う。しかし、中間値で置き換えることで、基本画像2100の画像品質は劣化する。
FIG. 20 is an explanatory diagram illustrating a processing example according to the seventh exemplary embodiment. Assume that the
At this time, the range of the
ここで、対象画像の画素値をXk,l、基本画像の画素値をIk,l、差分画像の画素値をJk,lとすると、式4〜式7が成立する。k及びlは画像上のインデックスを表す。
オフセット値sを式10で定義すると、
図20に示す例の場合、第7の実施の形態による処理を行うと、図22の例に示すような基本画像と差分画像となる。具体的には、基本画像2200は、図20(B)の例に示す基本画像2040と同じである。図20(C)の例に示す差分画像2050を、図22(B)の例に示す差分画像A2210と図22(C)の例に示す差分画像B2250に分割する。差分画像B2250は、同じ値の画素によって構成されており、オフセット画像であり、その値域は[−127,128]である。そして、図20(C)の例に示す差分画像2050と差分画像B2250との差分画像として、図22(B)の例に示す差分画像A2210を生成する。差分画像A2210は、領域2220(6×6画素の正方形)、領域2230(幅1画素の逆L形)、領域2240(幅1画素の逆L形)に分かれており、テクスチャ画像であり、その値域は[−128,127]である。
In the case of the example shown in FIG. 20, when the process according to the seventh embodiment is performed, a basic image and a difference image as shown in the example of FIG. 22 are obtained. Specifically, the
次に、伸長(デコード)処理における画像の推移を図23の例に示す。図23の例から、第7の実施の形態により、基本画像の画像品質の劣化が起こらないことが確認できる。
(基本画像+差分画像)2310は、それぞれ同一色で構成されている領域2320(6×6画素の正方形)、領域2330(幅1画素の逆L形)、領域2340(幅1画素の逆L形)に分かれている。
第6の実施の形態では、図23(A1)の例に示す基本画像2300(図21(A)の例に示す基本画像2100と同等)は、中間値に置き換えられているため、基本画像2100の画像品質は劣化している。そのため、最終的な伸長画像である(基本画像+差分画像)2310も画像品質は劣化することになる。
一方、第7の実施の形態では、図23(B1)の例に示す基本画像2350(図20(B)の例に示す基本画像2040と同等)をそのまま利用し、基本画像2350にテクスチャ画像である差分画像A2210を加算して、図23(B2)の例に示す(基本画像+テクスチャ画像)2360を生成し、さらに、(基本画像+テクスチャ画像)2360にオフセット画像である差分画像B2250を加算して、図23(B3)の例に示す(基本画像+テクスチャ画像+オフセット画像)2380を生成する。
ここで、オフセット画像の値域は[−127,128]であることから(式15参照)、デコード処理の際は、オフセット画像とテクスチャ画像で挙動を制御してやる必要がある。しかし、これは、第7の実施の形態の汎用性を低下させる。そこで、例えば、オフセット画像の画素値128を1減算し、値域を[−127,127]にする。この場合、復号後の画像で最大で画素値1の画像品質の劣化が生まれるが、差分画像にJPGなどの非可逆圧縮技術を用いる場合は非可逆圧縮技術によって画像品質に劣化が生じるため、この方法による画像品質の劣化は無視できる程度のものである。
Next, the transition of the image in the decompression (decoding) process is shown in the example of FIG. From the example of FIG. 23, it can be confirmed that the image quality of the basic image does not deteriorate according to the seventh embodiment.
The (basic image + difference image) 2310 includes a region 2320 (6 × 6 pixel square), a region 2330 (inverted L shape with a width of 1 pixel), and a region 2340 (inverted L with a width of 1 pixel) each configured with the same color. Form).
In the sixth embodiment, the
On the other hand, in the seventh embodiment, the
Here, since the value range of the offset image is [−127, 128] (see Expression 15), it is necessary to control the behavior with the offset image and the texture image in the decoding process. However, this reduces the versatility of the seventh embodiment. Therefore, for example, 1 is subtracted from the
次に、符号量について説明する。第7の実施の形態のテクスチャ画像の符号量は、第6の実施の形態における差分画像の符号量に相当する。基本画像の符号量については、第6の実施の形態では、基本画像に中間値を用いることで画素値の不連続が起こるため、第6の実施の形態の基本画像の符号量は、第7の実施の形態の基本画像の符号量よりも増加する。この符号量の増加分に相当する情報を、第7の実施の形態では、オフセット画像に与えている。そのため、第7の実施の形態のオフセット画像の符号量は、第6の実施の形態の基本画像の符号量の増加分に相当する。以上より、第7の実施の形態の総符号量は、第6の実施の形態の総符号量とほぼ等しいことがわかる。 Next, the code amount will be described. The code amount of the texture image of the seventh embodiment corresponds to the code amount of the difference image in the sixth embodiment. Regarding the code amount of the basic image, in the sixth embodiment, since the discontinuity of the pixel value occurs by using the intermediate value for the basic image, the code amount of the basic image of the sixth embodiment is the seventh. This is larger than the code amount of the basic image in the embodiment. In the seventh embodiment, information corresponding to the increase in the code amount is given to the offset image. Therefore, the code amount of the offset image in the seventh embodiment corresponds to an increase in the code amount of the basic image in the sixth embodiment. From the above, it can be seen that the total code amount of the seventh embodiment is substantially equal to the total code amount of the sixth embodiment.
図24を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図24に示す構成は、例えばパーソナルコンピュータ(PC)等によって構成されるものであり、スキャナ等のデータ読み取り部2417と、プリンタ等のデータ出力部2418を備えたハードウェア構成例を示している。
A hardware configuration example of the image processing apparatus according to the present embodiment will be described with reference to FIG. The configuration illustrated in FIG. 24 is configured by a personal computer (PC), for example, and shows a hardware configuration example including a
CPU(Central Processing Unit)2401は、前述の実施の形態において説明した各種のモジュール、すなわち、エッジ保存量子化モジュール110、差分処理モジュール120、圧縮A処理モジュール130、圧縮B処理モジュール140、伸長A処理モジュール160、伸長B処理モジュール170、加算処理モジュール180、可逆圧縮Flate(PNG)処理モジュール430、非可逆圧縮JPEG処理モジュール440、可逆伸長Deflate(PNG)処理モジュール460、非可逆伸長JPEG処理モジュール470、2値化処理モジュール510、差分処理モジュール520、減色量子化クラスタリング処理モジュール610、差分処理モジュール620、平坦ブロック判定処理モジュール710、プレ量子化処理モジュール720、差分値域制御処理モジュール910等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
A CPU (Central Processing Unit) 2401 is the various modules described in the above-described embodiments, that is, the edge preserving
ROM(Read Only Memory)2402は、CPU2401が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)2403は、CPU2401の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバス等から構成されるホストバス2404により相互に接続されている。
A ROM (Read Only Memory) 2402 stores programs used by the
ホストバス2404は、ブリッジ2405を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス2406に接続されている。
The
キーボード2408、マウス等のポインティングデバイス2409は、操作者により操作される入力デバイスである。ディスプレイ2410は、液晶表示装置又はCRT(Cathode Ray Tube)等があり、各種情報をテキストやイメージ情報として表示する。
A
HDD(Hard Disk Drive)2411は、ハードディスク(フラッシュメモリ等であってもよい)を内蔵し、ハードディスクを駆動し、CPU2401によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象画像105、基本符号135、差分符号145、基本画像115、差分画像125、基本画像165、差分画像175等が格納される。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。
An HDD (Hard Disk Drive) 2411 includes a hard disk (may be a flash memory or the like), drives the hard disk, and records or reproduces a program executed by the
ドライブ2412は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体2413に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース2407、外部バス2406、ブリッジ2405、及びホストバス2404を介して接続されているRAM2403に供給する。リムーバブル記録媒体2413も、ハードディスクと同様のデータ記録領域として利用可能である。
The
接続ポート2414は、外部接続機器2415を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート2414は、インタフェース2407、及び外部バス2406、ブリッジ2405、ホストバス2404等を介してCPU2401等に接続されている。通信部2416は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部2417は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部2418は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
The
なお、図24に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図24に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図24に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。 Note that the hardware configuration of the image processing apparatus illustrated in FIG. 24 illustrates one configuration example, and the present embodiment is not limited to the configuration illustrated in FIG. 24, and the modules described in the present embodiment are executed. Any configuration is possible. For example, some modules may be configured with dedicated hardware (for example, Application Specific Integrated Circuit (ASIC), etc.), and some modules are in an external system and connected via a communication line In addition, a plurality of systems shown in FIG. 24 may be connected to each other via communication lines so as to cooperate with each other. In particular, in addition to personal computers, portable information communication devices (including mobile phones, smartphones, mobile devices, wearable computers, etc.), information appliances, copiers, fax machines, scanners, printers, multifunction devices (scanners, printers, copiers) Or an image processing apparatus having two or more functions such as a fax machine).
なお、前述の各種の実施の形態を組み合わせてもよく(例えば、ある実施の形態内のモジュールを他の実施の形態内に追加する、入れ替えをする等も含む)、また、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。 Note that the above-described various embodiments may be combined (for example, adding or replacing a module in one embodiment in another embodiment), and processing contents of each module The technique described in the background art may be employed.
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
The program described above may be provided by being stored in a recording medium, or the program may be provided by communication means. In that case, for example, the above-described program may be regarded as an invention of a “computer-readable recording medium recording the program”.
The “computer-readable recording medium on which a program is recorded” refers to a computer-readable recording medium on which a program is recorded, which is used for program installation, execution, program distribution, and the like.
The recording medium is, for example, a digital versatile disc (DVD), which is a standard established by the DVD Forum, such as “DVD-R, DVD-RW, DVD-RAM,” and DVD + RW. Standard “DVD + R, DVD + RW, etc.”, compact disc (CD), read-only memory (CD-ROM), CD recordable (CD-R), CD rewritable (CD-RW), Blu-ray disc ( Blu-ray (registered trademark) Disc), magneto-optical disk (MO), flexible disk (FD), magnetic tape, hard disk, read-only memory (ROM), electrically erasable and rewritable read-only memory (EEPROM (registered trademark)) )), Flash memory, Random access memory (RAM) SD (Secure Digital) memory card and the like.
The program or a part of the program may be recorded on the recording medium for storage or distribution. Also, by communication, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), a wired network used for the Internet, an intranet, an extranet, or a wireless communication It may be transmitted using a transmission medium such as a network or a combination of these, or may be carried on a carrier wave.
Furthermore, the program may be a part of another program, or may be recorded on a recording medium together with a separate program. Moreover, it may be divided and recorded on a plurality of recording media. Further, it may be recorded in any manner as long as it can be restored, such as compression or encryption.
前述の実施の形態(特に、第1の実施の形態〜第6の実施の形態)は以下のように把握してもよい。そして、これらと第7の実施の形態に係る発明とを組み合わせてもよい。
[A] 画像のエッジを保存しつつ量子化を行う量子化手段と、
前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、
前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、
前記差分画像生成手段によって生成された差分画像を圧縮する第2の圧縮手段
を具備することを特徴とする画像処理装置。
[B] [A]の画像処理装置の第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
[A]の画像処理装置の第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された画像を加算する加算手段
を具備することを特徴とする画像処理装置。
[C] 画像のエッジを保存しつつ量子化を行う量子化手段と、
前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、
前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、
前記差分画像生成手段によって生成された差分画像を圧縮する第2の圧縮手段と、
前記第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
前記第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された画像を加算する加算手段
を具備することを特徴とする画像処理装置。
[D] 前記第1の圧縮手段は、可逆圧縮処理を行い、
前記第2の圧縮手段は、非可逆圧縮処理を行う
ことを特徴とする[A]又は[C]に記載の画像処理装置。
[E] 前記量子化手段は、量子化として2値化処理を行う
ことを特徴とする[A]、[C]、[D]のいずれか一項に記載の画像処理装置。
[F] 前記量子化手段は、量子化として限定色化処理を行う
ことを特徴とする[A]、[C]、[D]のいずれか一項に記載の画像処理装置。
[G] 前記画像の平坦部分を量子化する第2の量子化手段
をさらに具備し、
前記量子化手段は、前記第2の量子化手段によって量子化された第2量子化画像を対象として、該画像のエッジを保存する量子化を行う
ことを特徴とする[A]、[C]、[D]、[E]、[F]のいずれか一項に記載の画像処理装置。
[H] 前記差分画像生成手段による処理結果を予め定められた範囲内に収めるように、限定色化処理を行う前記量子化手段によるクラスタ形成における距離を制御する制御手段
をさらに具備することを特徴とする[F]に記載の画像処理装置。
[I] コンピュータを、
画像のエッジを保存しつつ量子化を行う量子化手段と、
前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、
前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、
前記差分画像生成手段によって生成された差分画像を圧縮する第2の圧縮手段
として機能させるための画像処理プログラム。
[J] [A]の画像処理装置の第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
[A]の画像処理装置の第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像を、加算手段によって加算された画像に対して、先に表示する表示手段
を具備することを特徴とする画像処理装置。
[K] コンピュータを、
[I]の画像処理プログラムの第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
[I]の画像処理プログラムの第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像を、加算手段によって加算された画像に対して、先に表示する表示手段
として機能させるための画像処理プログラム。
You may grasp | ascertain the above-mentioned embodiment (especially 1st Embodiment-6th Embodiment) as follows. These may be combined with the invention according to the seventh embodiment.
[A] quantization means for performing quantization while preserving image edges;
Difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means;
First compression means for compressing the quantized image quantized by the quantization means;
An image processing apparatus comprising: a second compression unit that compresses the difference image generated by the difference image generation unit.
[B] first decompression means for decompressing the code generated by the first compression means of the image processing apparatus of [A];
Second decompression means for decompressing the code generated by the second compression means of the image processing apparatus of [A];
An image processing apparatus comprising: an adding unit that adds the image expanded by the second expansion unit to the image expanded by the first expansion unit.
[C] quantization means for performing quantization while preserving the edge of the image;
Difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means;
First compression means for compressing the quantized image quantized by the quantization means;
Second compression means for compressing the difference image generated by the difference image generation means;
First decompression means for decompressing the code generated by the first compression means;
Second decompression means for decompressing the code generated by the second compression means;
An image processing apparatus comprising: an adding unit that adds the image expanded by the second expansion unit to the image expanded by the first expansion unit.
[D] The first compression means performs a reversible compression process,
The image processing apparatus according to [A] or [C], wherein the second compression unit performs lossy compression processing.
[E] The image processing apparatus according to any one of [A], [C], and [D], wherein the quantization unit performs binarization processing as quantization.
[F] The image processing apparatus according to any one of [A], [C], and [D], wherein the quantization unit performs a limited color processing as quantization.
[G] further comprising second quantization means for quantizing a flat portion of the image,
[A], [C], wherein the quantization means performs quantization for preserving edges of the second quantized image quantized by the second quantization means. , [D], [E], and [F].
[H] It further comprises control means for controlling a distance in cluster formation by the quantization means for performing the limited color processing so that the processing result by the difference image generation means falls within a predetermined range. The image processing apparatus according to [F].
[I] Computer
A quantization means for performing quantization while preserving image edges;
Difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means;
First compression means for compressing the quantized image quantized by the quantization means;
The image processing program for functioning as a 2nd compression means to compress the difference image produced | generated by the said difference image production | generation means.
[J] first decompression means for decompressing the code generated by the first compression means of the image processing apparatus of [A];
Second decompression means for decompressing the code generated by the second compression means of the image processing apparatus of [A];
An image processing apparatus comprising: a display unit that displays the image expanded by the first expansion unit first with respect to the image added by the addition unit.
[K]
First decompression means for decompressing the code generated by the first compression means of the image processing program of [I];
Second decompression means for decompressing the code generated by the second compression means of the image processing program of [I],
An image processing program for causing an image decompressed by the first decompressing means to function as a display means for displaying the image added by the adding means first.
[A]の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。
[B]の画像処理装置によれば、圧縮画像を伸長する場合にあって、Progressive−JPEGと比較して、最初の画像の画質を向上させることができる。
[C]の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。
[D]の画像処理装置によれば、第2の圧縮手段が可逆圧縮処理を行う場合に比べて、符号量を削減することができる。
[E]の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。
[F]の画像処理装置によれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。
[G]の画像処理装置によれば、元の画像を量子化する場合に比べて、符号量を削減することができる。
[H]の画像処理装置によれば、差分がアンダーフロー又はオーバーフローする場合に比べて、画質を改善することができる。
[I]の画像処理プログラムによれば、画像を圧縮する場合にあって、Progressive−JPEGと比較して、最初の伸長後の画像の画質を向上させることができる。
[J]の画像処理装置によれば、Progressive−JPEGと比較して、先に表示する画像の画質を向上させることができる。
[K]の画像処理プログラムによれば、Progressive−JPEGと比較して、先に表示する画像の画質を向上させることができる。
According to the image processing apparatus [A], when compressing an image, it is possible to improve the image quality of the first decompressed image as compared to Progressive-JPEG.
According to the image processing apparatus [B], in the case of decompressing a compressed image, the image quality of the first image can be improved as compared with Progressive-JPEG.
According to the image processing apparatus [C], in the case of compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
According to the image processing apparatus of [D], the code amount can be reduced as compared with the case where the second compression unit performs the lossless compression process.
According to the image processing apparatus of [E], in the case of compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
According to the image processing apparatus [F], in the case of compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
According to the image processing apparatus [G], it is possible to reduce the code amount as compared with the case where the original image is quantized.
According to the image processing apparatus [H], the image quality can be improved as compared with the case where the difference underflows or overflows.
According to the image processing program [I], when compressing an image, the image quality of the image after the first decompression can be improved as compared with Progressive-JPEG.
According to the image processing apparatus [J], it is possible to improve the image quality of an image to be displayed earlier as compared to Progressive-JPEG.
According to the image processing program [K], it is possible to improve the image quality of an image to be displayed earlier as compared with Progressive-JPEG.
100…画像処理装置
105…対象画像
110…エッジ保存量子化モジュール
115…基本画像
120…差分処理モジュール
125…差分画像
130…圧縮A処理モジュール
135…基本符号
140…圧縮B処理モジュール
145…差分符号
150…画像処理装置
160…伸長A処理モジュール
165…基本画像
170…伸長B処理モジュール
175…差分画像
180…加算処理モジュール
195…伸長画像
400…画像処理装置
430…可逆圧縮Flate(PNG)処理モジュール
435…基本符号
440…非可逆圧縮JPEG処理モジュール
445…差分符号
450…画像処理装置
460…可逆伸長Deflate(PNG)処理モジュール
470…非可逆伸長JPEG処理モジュール
495…伸長画像
500…画像処理装置
510…2値化処理モジュール
515…基本画像
520…差分処理モジュール
525…差分画像
535…基本符号
545…差分符号
600…画像処理装置
610…減色量子化クラスタリング処理モジュール
615…基本画像
620…差分処理モジュール
625…差分画像
635…基本符号
645…差分符号
700…画像処理装置
710…平坦ブロック判定処理モジュール
712…非平坦ブロック
714…平坦ブロック
720…プレ量子化処理モジュール
735…基本符号
745…差分符号
900…画像処理装置
910…差分値域制御処理モジュール
935…基本符号
945…差分符号
1300…クラウド配信サーバ
1310…ユーザー端末
1320…ユーザー端末
1330…ユーザー端末
1400…画像処理装置
1422…画像分割モジュール
1425…差分画像/テクスチャ画像,オフセット画像
1450…画像処理装置
1475…差分画像/テクスチャ画像,オフセット画像
DESCRIPTION OF
Claims (13)
前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、
前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、
前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、
前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段
を具備することを特徴とする画像処理装置。 A quantization means for performing quantization while preserving image edges;
Difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means;
A dividing unit that divides the image into a first image and a second image that fall within the range when the image generated by the difference image generation unit does not fall within a predetermined range;
First compression means for compressing the quantized image quantized by the quantization means;
An image processing apparatus comprising: a second compression unit that compresses the first image and the second image divided by the division unit.
請求項1の画像処理装置の第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段
を具備することを特徴とする画像処理装置。 First decompression means for decompressing the code generated by the first compression means of the image processing apparatus according to claim 1;
A second decompression unit for decompressing the first code and the second code generated by the second compression unit of the image processing apparatus according to claim 1;
An image processing apparatus comprising: an adding unit that adds the first image and the second image expanded by the second expansion unit to the image expanded by the first expansion unit.
前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、
前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、
前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、
前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段と、
前記第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
前記第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段
を具備することを特徴とする画像処理装置。 A quantization means for performing quantization while preserving image edges;
Difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means;
A dividing unit that divides the image into a first image and a second image that fall within the range when the image generated by the difference image generation unit does not fall within a predetermined range;
First compression means for compressing the quantized image quantized by the quantization means;
Second compression means for compressing the first image and the second image divided by the dividing means;
First decompression means for decompressing the code generated by the first compression means;
Second decompression means for decompressing the first code and the second code generated by the second compression means;
An image processing apparatus comprising: an adding unit that adds the first image and the second image expanded by the second expansion unit to the image expanded by the first expansion unit.
前記第2の圧縮手段は、非可逆圧縮処理を行う
ことを特徴とする請求項1又は3に記載の画像処理装置。 The first compression means performs a reversible compression process,
The image processing apparatus according to claim 1, wherein the second compression unit performs irreversible compression processing.
ことを特徴とする請求項1、3、4のいずれか一項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the quantization unit performs binarization processing as quantization.
ことを特徴とする請求項1、3、4のいずれか一項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the quantization unit performs limited color processing as quantization.
をさらに具備し、
前記量子化手段は、前記第2の量子化手段によって量子化された第2量子化画像を対象として、該画像のエッジを保存する量子化を行う
ことを特徴とする請求項1、3、4、5、6のいずれか一項に記載の画像処理装置。 Second quantization means for quantizing a flat portion of the image,
The said quantization means performs the quantization which preserve | saves the edge of this image for the 2nd quantized image quantized by the said 2nd quantization means. The image processing apparatus according to any one of 5 and 6.
をさらに具備することを特徴とする請求項6に記載の画像処理装置。 The apparatus further comprises a control unit that controls a distance in cluster formation by the quantization unit that performs the limited color processing so that a processing result by the difference image generation unit falls within a predetermined range. Item 7. The image processing apparatus according to Item 6.
画像のエッジを保存しつつ量子化を行う量子化手段と、
前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、
前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、
前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、
前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段
として機能させるための画像処理プログラム。 Computer
A quantization means for performing quantization while preserving image edges;
Difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means;
A dividing unit that divides the image into a first image and a second image that fall within the range when the image generated by the difference image generation unit does not fall within a predetermined range;
First compression means for compressing the quantized image quantized by the quantization means;
An image processing program for functioning as a second compression unit that compresses the first image and the second image divided by the dividing unit.
請求項1の画像処理装置の第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像を、加算手段によって加算された画像に対して、先に表示する表示手段
を具備することを特徴とする画像処理装置。 First decompression means for decompressing the code generated by the first compression means of the image processing apparatus according to claim 1;
A second decompression unit for decompressing the code generated by the second compression unit of the image processing apparatus according to claim 1;
An image processing apparatus comprising: a display unit that displays the image expanded by the first expansion unit first with respect to the image added by the addition unit.
請求項9の画像処理プログラムの第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
請求項9の画像処理プログラムの第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段
として機能させるための画像処理プログラム。 Computer
First decompression means for decompressing the code generated by the first compression means of the image processing program of claim 9;
A second decompression means for decompressing the first code and the second code generated by the second compression means of the image processing program according to claim 9;
An image processing program for causing an image expanded by the first expansion unit to function as an adding unit that adds the first image and the second image expanded by the second expansion unit.
画像のエッジを保存しつつ量子化を行う量子化手段と、
前記画像と前記量子化手段によって量子化された量子化画像との差分の画像を生成する差分画像生成手段と、
前記差分画像生成手段によって生成された画像が予め定められた値域に収まらない場合に、該画像を該値域に収まる第1の画像と第2の画像に分割する分割手段と、
前記量子化手段によって量子化された量子化画像を圧縮する第1の圧縮手段と、
前記分割手段によって分割された第1の画像と第2の画像を圧縮する第2の圧縮手段と、
前記第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
前記第2の圧縮手段によって生成された第1の符号と第2の符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像に前記第2の伸長手段によって伸長された第1の画像と第2の画像を加算する加算手段
として機能させるための画像処理プログラム。 Computer
A quantization means for performing quantization while preserving image edges;
Difference image generation means for generating a difference image between the image and the quantized image quantized by the quantization means;
A dividing unit that divides the image into a first image and a second image that fall within the range when the image generated by the difference image generation unit does not fall within a predetermined range;
First compression means for compressing the quantized image quantized by the quantization means;
Second compression means for compressing the first image and the second image divided by the dividing means;
First decompression means for decompressing the code generated by the first compression means;
Second decompression means for decompressing the first code and the second code generated by the second compression means;
An image processing program for causing an image expanded by the first expansion unit to function as an adding unit that adds the first image and the second image expanded by the second expansion unit.
請求項9の画像処理プログラムの第1の圧縮手段によって生成された符号を伸長する第1の伸長手段と、
請求項9の画像処理プログラムの第2の圧縮手段によって生成された符号を伸長する第2の伸長手段と、
前記第1の伸長手段によって伸長された画像を、加算手段によって加算された画像に対して、先に表示する表示手段
として機能させるための画像処理プログラム。 Computer
First decompression means for decompressing the code generated by the first compression means of the image processing program of claim 9;
A second decompression means for decompressing the code generated by the second compression means of the image processing program according to claim 9;
An image processing program for causing an image decompressed by the first decompressing means to function as a display means for displaying the image added by the adding means first.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140528A JP6631060B2 (en) | 2015-07-14 | 2015-07-14 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140528A JP6631060B2 (en) | 2015-07-14 | 2015-07-14 | Image processing apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017022652A true JP2017022652A (en) | 2017-01-26 |
JP6631060B2 JP6631060B2 (en) | 2020-01-15 |
Family
ID=57889836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015140528A Expired - Fee Related JP6631060B2 (en) | 2015-07-14 | 2015-07-14 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6631060B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04316279A (en) * | 1991-04-16 | 1992-11-06 | Canon Inc | Color picture encoder |
JPH08202881A (en) * | 1995-01-27 | 1996-08-09 | Fuji Xerox Co Ltd | Picture processor |
JP2001136535A (en) * | 1999-08-25 | 2001-05-18 | Fuji Xerox Co Ltd | Image-encoding device and quantization characteristic determining device |
JP2006331445A (en) * | 2006-07-20 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Image processing apparatus and image processing method |
JP2012004636A (en) * | 2010-06-14 | 2012-01-05 | Yokogawa Electric Corp | Data compression device and data restoration device |
-
2015
- 2015-07-14 JP JP2015140528A patent/JP6631060B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04316279A (en) * | 1991-04-16 | 1992-11-06 | Canon Inc | Color picture encoder |
JPH08202881A (en) * | 1995-01-27 | 1996-08-09 | Fuji Xerox Co Ltd | Picture processor |
JP2001136535A (en) * | 1999-08-25 | 2001-05-18 | Fuji Xerox Co Ltd | Image-encoding device and quantization characteristic determining device |
JP2006331445A (en) * | 2006-07-20 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Image processing apparatus and image processing method |
JP2012004636A (en) * | 2010-06-14 | 2012-01-05 | Yokogawa Electric Corp | Data compression device and data restoration device |
Also Published As
Publication number | Publication date |
---|---|
JP6631060B2 (en) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10616603B2 (en) | Methods and apparatuses for encoding and decoding digital images through superpixels | |
JP6245888B2 (en) | Encoder and encoding method | |
JP2016226001A (en) | Decoder and decoding method | |
US11178430B2 (en) | Adaptive DCT sharpener | |
CN101689297A (en) | Efficient image representation by edges and low-resolution signal | |
WO2006119051A1 (en) | Compression and decompression of media data | |
JP2019524007A (en) | Video compression method and apparatus, and computer program therefor | |
US8582876B2 (en) | Hybrid codec for compound image compression | |
Chawla et al. | Image compression techniques: a review | |
US20110170607A1 (en) | WEAV Video Compression System | |
Shanableh | Feature extraction and machine learning solutions for detecting motion vector data embedding in HEVC videos | |
KR102113904B1 (en) | Encoder, decoder and method of operation using interpolation | |
JP4649237B2 (en) | Image compression apparatus, image compression method, and image compression program | |
JP6631060B2 (en) | Image processing apparatus and image processing program | |
JP6596837B2 (en) | Image processing apparatus and image processing program | |
Zha et al. | Hierarchical bilevel image compression based on cutset sampling | |
US8582906B2 (en) | Image data compression and decompression | |
Poolakkachalil et al. | Comparative analysis of lossless compression techniques in efficient DCT-based image compression system based on Laplacian Transparent Composite Model and An Innovative Lossless Compression Method for Discrete-Color Images | |
US20230147376A1 (en) | Adaptive Quantization and Dead Zone Modulation | |
JP6056124B2 (en) | Image processing apparatus and image processing program | |
US9154800B2 (en) | Method and apparatus for a memory efficient approach for decoding progressive joint photographic experts group (JPEG) images | |
US9723310B2 (en) | Image processing device, image processing method, and non-transitory computer-readable medium | |
JP4875649B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN113170133B (en) | Block-based spatial activity metrics for pictures | |
CN102724494B (en) | Method for embedding reversible watermark, extraction method thereof, device and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6631060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |