JP6529374B2 - Encoding apparatus and control method thereof - Google Patents

Encoding apparatus and control method thereof Download PDF

Info

Publication number
JP6529374B2
JP6529374B2 JP2015148849A JP2015148849A JP6529374B2 JP 6529374 B2 JP6529374 B2 JP 6529374B2 JP 2015148849 A JP2015148849 A JP 2015148849A JP 2015148849 A JP2015148849 A JP 2015148849A JP 6529374 B2 JP6529374 B2 JP 6529374B2
Authority
JP
Japan
Prior art keywords
pixel value
image
information
encoding
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015148849A
Other languages
Japanese (ja)
Other versions
JP2016076920A5 (en
JP2016076920A (en
Inventor
秀往 松井
秀往 松井
智一 佐藤
智一 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP15185597.0A priority Critical patent/EP3007448A1/en
Priority to US14/871,024 priority patent/US9602842B2/en
Priority to CN201510642273.0A priority patent/CN105491364B/en
Priority to KR1020150140076A priority patent/KR101897665B1/en
Publication of JP2016076920A publication Critical patent/JP2016076920A/en
Publication of JP2016076920A5 publication Critical patent/JP2016076920A5/ja
Application granted granted Critical
Publication of JP6529374B2 publication Critical patent/JP6529374B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像データを圧縮する符号化技術に関するものである。   The present invention relates to a coding technique for compressing image data.

従来から、測距センサやステレオカメラなどから得られる距離画像を符号化する技術が知られている。距離画像を用いれば、撮影していない視点の映像を合成する自由視点画像合成や、人体検出の高精度化、２点間の３次元的な距離の計測等をすることができる。   2. Description of the Related Art Conventionally, techniques for encoding a distance image obtained from a distance measurement sensor, a stereo camera or the like are known. If a distance image is used, it is possible to perform free viewpoint image composition for combining images of viewpoints that are not captured, to improve human body detection accuracy, and to measure a three-dimensional distance between two points.

距離画像の符号化に関する標準技術として、３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、３ＤＶ）の策定が行われている。３ＤＶでは自由視点映像合成を高画質に行うための距離画像を生成するが、Ｈ．２６４等のＲＧＢ画像の符号化技術と同様、周波数変換を行う為、距離画像のエッジ付近で大きな劣化が生じやすい。このように一部の画素に大きな劣化が発生する圧縮方式は、距離画像の利用方法によっては大きな問題となる。例えば、距離画像を利用して２点間の３次元的な距離の計測を行う場合は、圧縮によって距離情報が大きく劣化した画素値を使用すると、その計測結果も大きく変わってしまう。   3D Video Coding (hereinafter referred to as 3DV) has been formulated as a standard technology for coding of distance images. In 3DV, a distance image for performing free-viewpoint image synthesis with high image quality is generated. In the same manner as the H.264, etc. coding technology for RGB images, since frequency conversion is performed, large deterioration tends to occur near the edge of the distance image. As described above, the compression method in which large deterioration occurs in some pixels is a serious problem depending on how to use the distance image. For example, in the case of measuring a three-dimensional distance between two points using a distance image, if pixel values whose distance information is greatly deteriorated by compression are used, the measurement results will also be greatly changed.

一方で画像の画素値の圧縮による最大歪みを、任意の値に抑える技術が知られている。ＪＰＥＧ−ＬＳ（非特許文献１）におけるニアロスレス（準可逆）モードがその代表である。ＪＰＥＧ−ＬＳのニアロスレスモードを距離画像に適用すれば、圧縮により発生する距離画像の各画素の誤差の最大値が抑制され、その結果２点間の距離の計測においても、圧縮により発生する２点間の測距誤差の最大値を、制御することが出来る。   On the other hand, there is known a technique for suppressing the maximum distortion due to the compression of pixel values of an image to an arbitrary value. The near-lossless (quasi-reversible) mode in JPEG-LS (Non-Patent Document 1) is a representative thereof. If the near-lossless mode of JPEG-LS is applied to the distance image, the maximum value of the error of each pixel of the distance image generated by the compression is suppressed, and as a result, also in the measurement of the distance between two points The maximum value of ranging error between points can be controlled.

The LOCO-I Lossless Image Compression Algorithm: Principles and Standardization into JPEG-LS, (IEEE TRANSACTION ON IMAGE PROCESSING, VOL.9, NO.8, AUGUST 2000)The LOCO-I Lossless Image Compression Algorithm: Principles and Standardization into JPEG-LS, (IEEE TRANSACTION ON IMAGE PROCESSING, VOL.9, NO.8, AUGUST 2000)

しかし、ＪＰＥＧ−ＬＳのニアロスレスモードでは、画素値に依らず圧縮により発生する誤差を一定の値に保証する（以下、定数精度保証）ことしかできない。従って、画素値の圧縮による最大歪みを、画素値に応じて異なる許容誤差内に収まることを保証する（以下、画素値に応じた精度保証）符号化が出来ず、必要以上の精度を保つことで符号化データ量の増加する場合がある。   However, in the near lossless mode of JPEG-LS, it is only possible to guarantee an error generated by compression to a constant value (hereinafter, constant accuracy guarantee) regardless of the pixel value. Therefore, the maximum distortion due to the compression of the pixel value can be guaranteed to fall within a different tolerance according to the pixel value (hereinafter, the accuracy guarantee according to the pixel value can not be encoded, and the accuracy beyond the necessity is maintained). May increase the amount of coded data.

ここで、距離情報の符号化の例を以下で述べる。距離情報の符号化においては、２視点の画像からステレオマッチングを行った結果得られる視差（＝異なる画像間の対応点のずれ）を画素値としてもつ視差画像で距離情報を符号化することが一般的である。視差表現は、近距離ほど距離情報の分解能が高い表現であり、ステレオマッチングの原理に適した表現である。視差画像に対して、画素値によらず一定の誤差を保証する符号化を適用した場合は、近距離ほど距離情報の圧縮による劣化が少なく、遠距離ほど距離情報の圧縮による劣化が大きくなるという性質がある。一方で、用途によっては、近距離でもある程度の誤差を許容することで、距離情報のデータ量を削減したいという要求があると考えられる。例えば視差画像から得た距離情報を使って人体の身長を測る場合、近距離でも１ｃｍ程度の誤差は許容できると考えられる。このとき１ｃｍの誤差を許容することは、視差表現においては、近距離の場合は画素値で大きなずれ（例えば３）、遠距離の場合は画素値小さなずれ（例えば１）が許容できることに対応する。しかし、定数精度保証符号化では、例えば近距離では±３の誤差を、遠距離では±１の誤差を許容するといった具合に、画素値に応じた精度保証を行うことができないため、そのような要求に応えるのが難しい。   Here, an example of coding of distance information will be described below. In encoding of distance information, it is general to encode distance information with a parallax image having as a pixel value the parallax (= shift of corresponding points between different images) obtained as a result of performing stereo matching from images of two viewpoints It is The parallax representation is a representation that the resolution of distance information is higher at closer distances, and is a representation suitable for the principle of stereo matching. When encoding that guarantees a constant error regardless of the pixel value is applied to the parallax image, the deterioration due to the compression of the distance information decreases as the distance increases, and the deterioration due to the compression of the distance information increases as the distance increases. There is a nature. On the other hand, depending on the application, it is considered that there is a demand to reduce the data amount of distance information by allowing a certain degree of error even at a short distance. For example, when measuring the height of a human body using distance information obtained from a parallax image, an error of about 1 cm is considered to be acceptable even at a short distance. At this time, to allow an error of 1 cm corresponds to the fact that in parallax expression, a large deviation (for example, 3) in the pixel value is possible for short distances, and a small deviation (for example 1) in pixel values for long distances. . However, in constant precision assurance coding, for example, an error of ± 3 at a short distance, or an error of ± 1 at a long distance, etc. can not be guaranteed because accuracy can not be guaranteed according to the pixel value. It is difficult to meet the demand.

この課題を解決するため、例えば本発明の符号化装置は以下の構成を備える。すなわち、
画像を、画素値に応じた許容誤差を定める許容誤差情報に従って符号化する画像符号化装置であって、
符号化対象の画像の画素値を、第２の画素値に変換するための画素値変換情報を、前記許容誤差情報に応じて設定する設定手段と、
符号化対象の画像の各画素値を前記画素値変換情報に基づいて変換することで、変換後の画素で構成される第２の画像を生成する画像変換手段と、
符号化前後の画素値の差が予め設定された定数δ以内で符号化する符号化手段を用いて、前記第２の画像を符号化する第１の符号化制御手段と、
前記画素値変換情報に基づき、前記第２の画像の画素値を入力画像の画素値に関わる値に変換する画素値逆変換情報を生成し、当該画素値逆変換情報を符号化する第２の符号化制御手段とを有し、
前記設定手段は、前記第２の画像の画素値がδずれた場合に、入力画像の画素値のずれが許容誤差以内に収まる様な変換を行うための情報を、前記画素値変換情報として設定することを特徴とする。 In order to solve this problem, for example, the coding apparatus of the present invention has the following configuration. That is,
What is claimed is: 1. An image coding apparatus for coding an image according to tolerance information defining a tolerance according to a pixel value, the image coding apparatus comprising:
Setting means for setting pixel value conversion information for converting a pixel value of an image to be encoded into a second pixel value according to the allowable error information;
An image conversion unit that generates a second image configured of the converted pixels by converting each pixel value of the image to be encoded based on the pixel value conversion information;
First encoding control means for encoding the second image by using encoding means for encoding the difference between pixel values before and after encoding within a preset constant δ;
Second, pixel value reverse conversion information for converting a pixel value of the second image into a value related to a pixel value of the input image is generated based on the pixel value conversion information, and the pixel value reverse conversion information is encoded. And encoding control means,
The setting means sets, as the pixel value conversion information, information for performing conversion such that the pixel value deviation of the input image falls within an allowable error when the pixel value of the second image is shifted by δ. It is characterized by

本発明によれば、画素値の圧縮による最大歪みを、画素値毎に応じた任意の許容誤差に抑えながら符号化することが可能になる。   According to the present invention, it is possible to encode while suppressing the maximum distortion due to compression of pixel values to an arbitrary tolerance according to each pixel value.

第１の実施形態の符号化装置、及びその周辺装置のブロック図。BRIEF DESCRIPTION OF THE DRAWINGS The block diagram of the encoding apparatus of 1st Embodiment, and its peripheral device. 第１の実施形態のフローチャート。3 is a flowchart of the first embodiment. 第１の実施形態の復号装置、及びその周辺装置のブロック図。FIG. 2 is a block diagram of a decoding device of the first embodiment and its peripheral device. 入力画素値と第２の画素値との関係を説明するための図。The figure for demonstrating the relationship between an input pixel value and a 2nd pixel value. 第１の実施形態の許容誤差情報を説明する図。FIG. 7 is a diagram for explaining tolerance information of the first embodiment. 第１の実施形態におけるデータ変換の流れを説明する図。FIG. 5 is a diagram for explaining the flow of data conversion in the first embodiment. コンピュータのブロック構成図。Computer block diagram. 第３の実施形態におけるデータ変換の流れを説明する図。A figure explaining a flow of data conversion in a 3rd embodiment. 第３の実施形態の許容誤差情報を説明する図。The figure explaining the tolerance error information of a 3rd embodiment. 第３の実施形態の許容誤差と画素値変換との関係を説明する図The figure explaining the relationship between the tolerance error of 3rd Embodiment, and pixel value conversion. 第３の実施形態の画素値変換情報設定部が行う処理のフローチャート。The flowchart of the processing which the pixel value conversion information setting part of a 3rd embodiment performs. 第３の実施形態の画素値変換情報設定部の具体例を説明する図。A figure explaining a concrete example of a pixel value conversion information setting part of a 3rd embodiment. 第３の実施形態の画素値変換上の具体例を説明する図。A figure explaining a concrete example on pixel value conversion of a 3rd embodiment. 第１の実施形態の処理の具体例を説明するための図。The figure for demonstrating the specific example of the process of 1st Embodiment. 符号化による誤差を説明するための図。The figure for demonstrating the difference | error by encoding. 第５の実施形態の撮影モードと距離の許容誤差を説明する図。The figure explaining the imaging | photography mode of 5th Embodiment, and the tolerance of distance.

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下で説明する各実施形態は、本発明を具体的に実施した例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。   Hereinafter, embodiments according to the present invention will be described in detail with reference to the attached drawings. Each embodiment described below shows the example which carried out the present invention concretely, and is one of the concrete embodiments of the composition indicated in a claim.

［第１の実施形態］
本実施形態では、視差画像を取得し、非可逆圧縮を行い、復号した視差画像から３Ｄ点群を構成し、任意の２点間の３次元空間中の距離を計測する例を述べる。 First Embodiment
In this embodiment, an example will be described in which a parallax image is acquired, non-reversible compression is performed, a 3D point group is configured from the decoded parallax image, and a distance in arbitrary three-dimensional space between two points is measured.

図１は本実施形態に関わる符号化装置及びその周辺装置のブロック図である。以下、同図を構成する各要素とその機能を説明する。   FIG. 1 is a block diagram of an encoding device and its peripheral devices according to the present embodiment. Hereinafter, each element which comprises the figure and its function are demonstrated.

多視点画像撮影部１０８において、多視点のカラー画像を撮影する。そして、視差推定部１０９でステレオマッチングを行い、多視点画像から視差画像を推定する。ここで、視差画像とは、各画素の画素値に視差を持たせた画像である。視差とは、異なる２つの視点で同一の被写体（点）を撮影した際に、一方の視点に映った点が、もう一方の視点での撮影画像のどこに写っているかを示す量である。一般には異なる画像間で、同一の被写体が写る点（以下、対応点）同士が何画素ずれているかで表現される。より具体的には、光軸が平行で、水平軸に沿って基線長Ｂ［ｍｍ］の間隔を置いて並べた２つのカメラで、撮影面（光軸に垂直かつ、２つのカメラを通る平面）からｄ［ｍｍ］離れた点を撮影した場合、２つの撮影画像内の対応点の視差ｌ［ｐｉｘ］は、
ｌ＝ＢＦＷ／（ｄＣ）
である。ここで，Ｆはカメラの焦点距離［ｍｍ］、Ｗは撮影画像の幅［ｐｉｘ］、Ｃは撮影素子の幅［ｍｍ］である。実用上は視差画像のビット深度を小さくする（階調数を少なくする）目的で視差画像の画素値ｌではなく、ｌを定数Ａにより平行移動させた
ｎ＝ｌ＋Ａ
を用いることが良くある。そこで本明細書中では、このｎを視差と呼ぶこととする。なお、この場合、上記で述べた距離と視差の関係は
ｎ＝ＢＦＷ／（ｄＣ）＋Ａ …（１）
となる。以下では、視差ｎを用いて議論を進める。 A multi-viewpoint image capturing unit 108 captures a multi-view color image. Then, the parallax estimation unit 109 performs stereo matching to estimate parallax images from multi-viewpoint images. Here, the parallax image is an image in which parallax is given to the pixel value of each pixel. The parallax is an amount that indicates where a point captured in one viewpoint appears in the captured image of the other viewpoint when the same subject (point) is captured at two different viewpoints. Generally, it is expressed by how many pixels the points (hereinafter, corresponding points) where the same subject appears are different between different images. More specifically, with two cameras parallel to the optical axis and spaced apart along the horizontal axis by the base length B [mm], the imaging plane (a plane perpendicular to the optical axis and passing through the two cameras) When capturing a point d [mm] away from), the parallax l [pix] of the corresponding points in the two captured images is
l = BFW / (dC)
It is. Here, F is the focal length of the camera [mm], W is the width of the captured image [pix], and C is the width of the imaging element [mm]. In practice, for the purpose of reducing the bit depth of the parallax image (reducing the number of gradations), n = l + A in which l is moved in parallel by the constant A, not the pixel value l
Is often used. Therefore, in the present specification, this n is referred to as disparity. In this case, the relationship between the distance and the parallax described above is n = BFW / (dC) + A (1)
It becomes. In the following, discussion will be made using disparity n.

なお、カメラが左右（水平）に正確に配置されている場合は、対応点の垂直方向の視差は０であることが保証できる（エピポーラ拘束）。従ってここで説明した視差は、対応点同士の水平方向のずれを示していることになる。   In addition, when the camera is correctly arrange | positioned right and left (horizontal), it can be guaranteed that the parallax of the orthogonal | vertical direction of a corresponding point is 0 (epipolar restraint). Therefore, the parallax described here indicates the horizontal shift of the corresponding points.

また、多視点画像撮影部１０８及び視差推定部１０９の目的は、視差画像を得ることであるため、上記の方式を置き換えても構わない。視差画像は、撮影装置と被写体の距離を式１に基づく変換を施して表現した量であるため、上で述べた、多視点画像間のステレオマッチング以外の距離情報取得技術も広く用いることができる。例えば、パターン照射した光を別の視点のカメラから捉え、パターンの歪み具合から距離を計測するアクティブステレオ方式や、レーザーが往復してくるまでの時間から距離を推測するタイムオブフライト方式などがある。   In addition, since the purpose of the multi-viewpoint image capturing unit 108 and the parallax estimation unit 109 is to obtain parallax images, the above method may be replaced. The parallax image is an amount expressed by converting the distance between the imaging device and the subject based on Equation 1, and therefore, the above-described distance information acquisition technology other than stereo matching between multi-viewpoint images can be widely used. . For example, there is an active stereo method that captures pattern-irradiated light from a camera at another viewpoint and measures the distance based on the degree of distortion of the pattern, and a time of flight method that estimates the distance from the time until the laser reciprocates. .

次に符号化装置１０１について説明する。本実施形態の符号化装置１０１は、画像入力部１０２を介して符号化対象となる視差画像を入力する。そして、符号化装置１０１は、許容誤差情報取得部１０５により取得した許容誤差情報に従い、入力した視差画像を圧縮符号化して符号データを生成し、その符号データを出力する。ここで許容誤差情報とは、画素値毎に、許容誤差を指定する情報であり、関数もしくはテーブル等で表現されるものとする。また、符号化装置１０１は、復号した際に元の画素に対して許容誤差に戻すための情報を生成し、それを符号化する。そして、符号化装置１０１は、これら２つの符号化データ、つまり、視差画像の符号化データ及び許容誤差に戻すための情報の符号化データを多重化して出力する。   Next, the encoding device 101 will be described. The encoding apparatus 101 according to the present embodiment receives a parallax image to be encoded via the image input unit 102. Then, the encoding apparatus 101 compresses and encodes the input parallax image according to the tolerance information acquired by the tolerance information acquisition unit 105 to generate code data, and outputs the code data. Here, the allowable error information is information for specifying the allowable error for each pixel value, and is expressed by a function or a table. Also, the encoding device 101 generates information for restoring the tolerance to the original pixel when decoding, and encodes it. Then, the encoding apparatus 101 multiplexes and outputs these two pieces of encoded data, that is, the encoded data of the parallax image and the encoded data of the information for returning to the tolerance.

実施形態における符号化装置１０１の特徴は、視差画像を、その視差画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報取得部１０５が取得した許容誤差情報によって指定される値以下に抑えて、符号化する点にある。それを実現するため、まず、画素値変換情報設定部１０６（設定手段に相当する）が、許容誤差情報に応じて、入力視差画像の画素値を、第２の画素値に変換する為の画素値変換情報を設定する。画素値変換情報は、視差画素値を第２の画素値への変換を関数やテーブルで表現したものである。次に画像変換部１０３が、入力視差画像の各画素を画素値変換情報に基づいて変換し、その変換後の画素で構成される第２の画像を生成する。そして、画像符号化部１０４（第１の符号化制御手段に相当する）は、生成された第２の画像を、画素値の圧縮によるズレが定数δ以内に収まることを保証しながら画像を圧縮する定数精度保証符号化を行う。画像符号化部１０４は公知技術として挙げたＪＰＥＧ−ＬＳを用いれば良い。なお、δは任意の値で良く、許容誤差情報から算出しても良いし、事前に定めておいても良い。また、δ＝０の場合の符号化は可逆符号化を意味するが、その場合でも符号化装置１０１は問題なく機能する。画素値に応じた精度保証符号化を行うためには、画素値変換情報設定部１０６が重要な役割を持つ。画素値変換情報設定部１０６は、第２の画素値をδ変化させ、それに画素値変換情報で定まる逆変換を施して復号画素値を得た際に、復号画素値と入力視差画像の画素値のズレが許容誤差以内に収まる様に、画素値変換情報を定める。画素値逆変換情報符号化部１０７（第２の符号化制御手段に相当する）は、第２の画素値を意味のある値に変換する為の情報（以下、画素値逆変換情報）を可逆符号化する。すなわち、画素値逆変換情報符号化部１０７は、画素値変換情報設定部１０６の逆変換を特定するための情報を可逆符号化する。なお「意味のある値」とは多くの場合、入力視差画像の画素値を意味する。可逆符号化の方式は特に問わない。また、この画素値逆変換情報は、関数やテーブルの形で与えられる。   The feature of the encoding device 101 in the embodiment is that the parallax image has a maximum value of errors generated by compression of each pixel of the parallax image less than a value specified by the tolerance information acquired by the tolerance information acquisition unit 105. And encoding. In order to realize that, first, the pixel for converting the pixel value of the input parallax image into the second pixel value according to the tolerance information, the pixel value conversion information setting unit 106 (corresponding to the setting means) Set value conversion information. The pixel value conversion information is a conversion of parallax pixel values into second pixel values represented by a function or a table. Next, the image conversion unit 103 converts each pixel of the input parallax image based on the pixel value conversion information, and generates a second image configured by the pixel after the conversion. Then, the image encoding unit 104 (corresponding to the first encoding control unit) compresses the generated second image while ensuring that the displacement due to the compression of the pixel value falls within the constant δ. Constant constant encoding. The image encoding unit 104 may use JPEG-LS mentioned as a known technique. Note that δ may be an arbitrary value, and may be calculated from the tolerance information or may be determined in advance. Also, coding in the case of δ = 0 implies lossless coding, but even in that case, the coding apparatus 101 functions without any problem. The pixel value conversion information setting unit 106 plays an important role in performing the accuracy assurance coding according to the pixel value. When the pixel value conversion information setting unit 106 changes the second pixel value by δ and performs inverse conversion determined by the pixel value conversion information to obtain a decoded pixel value, the decoded pixel value and the pixel value of the input parallax image The pixel value conversion information is determined so that the deviation of the error is within the allowable error. The pixel value reverse conversion information coding unit 107 (corresponding to the second coding control means) reverses information (hereinafter referred to as pixel value reverse conversion information) for converting the second pixel value into a meaningful value. Encode. That is, the pixel value inverse conversion information encoding unit 107 losslessly encodes information for identifying the inverse conversion of the pixel value conversion information setting unit 106. Note that “meaningful value” often means the pixel value of the input parallax image. The lossless encoding scheme is not particularly limited. Also, this pixel value reverse conversion information is given in the form of a function or a table.

実施形態における符号化装置１０１が出力する符号データには次の２つが含まれる。
（１）画像符号化部１０４から得られる、第２の画像を復元するための情報
（２）画素値逆変換情報符号化部１０７から得られる、画素値逆変換情報を復元するための情報
なお、符号化データの出力先は、メモリカード等の記憶媒体とするが、ネットワークであっても構わず、その種類は問わない。 The following two are included in code data output from the encoding device 101 in the embodiment.
(1) Information for restoring the second image obtained from the image coding unit 104 (2) Information for restoring pixel value reverse conversion information obtained from the pixel value inverse conversion information coding unit 107 The output destination of the encoded data is a storage medium such as a memory card, but may be a network, regardless of the type.

図３は上記の符号データを復号する復号装置３０１の構成を示している。復号しようとする符号データは上記の通りメモリカードから入力するものとするが、ネットワークを介して受信しても構わず、入力源の種類は問わない。いずれにしても、復号装置３０１は符号データを入力し、その画像復号部３０２が第２の画像を復元する。そして、画素値逆変換情報復号部３０５が画素値逆変換情報を復元する。そして、画像逆変換部３０３は、画素値逆変換情報によって第２の画像の逆変換を施し、視差画像を復元する。この復号処理で得られた視差画像の画素値は、符号化装置で符号化対象の視差画像の画素値に対し、許容誤差情報で示された許容誤差の範囲内となっている。復号された視差画像は２点間の距離計測部３０４に入力される。２点間の距離計測部３０４では視差画像から３Ｄ点群を構成することで、任意の２点間の３次元的な距離の計測を行う。このように、視差を距離に変換する場合には、符号データに、視差から距離への変換に必要な情報を含める必要がある。また、許容誤差情報も合わせて符号データに含めておけば、圧縮によって発生した視差画像の画素値の劣化により、２点間の測距誤差が最大でどれだけ発生するかも知ることができる。なお、視差画像を２点間の距離計測に用いるのは、復号した視差画像の応用例の１つである。例えば、人体検出や、特定領域への侵入者の検知、に視差画像から得られる３次元情報を利用することができる。   FIG. 3 shows the configuration of the decoding device 301 that decodes the above-mentioned code data. Although the code data to be decoded is input from the memory card as described above, the code data may be received via a network, regardless of the type of input source. In any case, the decoding device 301 inputs code data, and the image decoding unit 302 restores the second image. Then, the pixel value reverse conversion information decoding unit 305 restores the pixel value reverse conversion information. Then, the image reverse conversion unit 303 performs reverse conversion of the second image according to the pixel value reverse conversion information, and restores a parallax image. The pixel values of the parallax image obtained by this decoding process are within the range of the allowable error indicated by the allowable error information with respect to the pixel values of the parallax image to be encoded by the encoding device. The decoded parallax image is input to the distance measurement unit 304 between two points. The two-point distance measurement unit 304 measures a three-dimensional distance between any two points by constructing a 3D point group from the parallax image. As described above, in the case of converting disparity to a distance, code data needs to include information necessary for the conversion from disparity to distance. In addition, if the tolerance information is also included in the code data, it is possible to know how much the distance measurement error between the two points occurs at the maximum due to the deterioration of the pixel value of the parallax image generated by the compression. Note that using a parallax image for measuring the distance between two points is one application of the decoded parallax image. For example, three-dimensional information obtained from parallax images can be used for human body detection and detection of an intruder into a specific area.

次に符号化装置１０１の構成とその処理内容のより詳細な説明を行う。特に、許容誤差情報を具体的に定め、その許容誤差を実現するために画素値変換情報設定部１０６が行う画素値変換情報の設定処理の詳細を述べる。   Next, the configuration of the encoding device 101 and the processing content thereof will be described in more detail. In particular, the allowable error information is specifically determined, and the setting processing of pixel value conversion information performed by the pixel value conversion information setting unit 106 in order to realize the allowable error will be described in detail.

本実施形態で定める許容誤差情報の説明のために、まず符号化装置１０１への入力である視差画像について補足をする。式（１）を変換すると視差ｎ［ｐｉｘ］と距離ｄ［ｍｍ］には
ｄ＝ＢＦＷ／（ｎＣ） ・・・（２）
＝Ｐ／（ｎ―Ａ）
＝ｆ（ｎ）
という関係が成り立つことは明らかである。ここで、Ｐ＝ＢＦＷ／Ｃとおいた。式（２）の関係から分かる様に、距離と視差は反比例の関係であるため、その関係をグラフにすると図４（ａ）のようになる。図４（ａ）から次の事項が言える。
・特性１：カメラと被写体の距離が近いほど、距離の分解能が高く、逆に遠いほど距離の分解能が落ちる。
・特性２：三角測量により距離を求める場合、測距誤差はステレオマッチングの対応点探索誤差に依存する為、視差表現においては、視差の大きさによらず同程度の誤差が発生する一方、距離表現においては遠いほど大きな誤差が発生する。 In order to explain the tolerance information defined in the present embodiment, first, the parallax image which is an input to the encoding device 101 is supplemented. Converting the equation (1), the parallax n [pix] and the distance d [mm] d = BFW / (nC) (2)
= P / (n-A)
= F (n)
It is clear that the following relationship holds. Here, it is set as P = BFW / C. As can be seen from the relationship of equation (2), since the distance and the parallax are in inverse proportion to each other, the relationship is graphed as shown in FIG. 4 (a). The following can be said from FIG. 4 (a).
Characteristic 1: The resolution of the distance is higher as the distance between the camera and the subject is smaller, and the resolution of the distance is lower as the distance is larger.
Characteristic 2: When obtaining the distance by triangulation, the distance measurement error depends on the corresponding point search error of stereo matching, so in parallax expression, although the same degree of error occurs regardless of the size of the parallax, the distance The further the representation, the larger the error.

上で述べた、２つの特性を考慮し、本実施形態では視差画像に対する許容誤差情報を以下のように定める。
・条件１「視差の誤差δ0［ｐｉｘ］を許容」
・条件２「条件１の誤差を許容した際に、距離誤差がｅ［ｍｍ］以下に収まる領域では、距離の誤差ｅ［ｍｍ］を許容」
ここでパラメータδ0はステレオマッチングの誤差分布から定め、ｅは距離情報を利用する用途に応じた十分な精度を定めるのが望ましい。条件２のｅ［ｍｍ］の誤差を許容するという表現は、距離に対する許容誤差を設定しているが、式（１）の変換式から容易に視差に対する許容誤差へと換算することができる。このように許容誤差情報取得部１０５への入力は、入力視差画像の画素値に応じた許容誤差を、間接的に特定するための情報を与えても構わない。上記２つの条件は、入力視差画像の画素値ｎと、符号化装置１０１および復号装置３０１を経て復号された画素値ｎ’の間に次の関係が成立することを指定する。 In consideration of the two characteristics described above, in this embodiment, tolerance information on parallax images is determined as follows.
・ Condition 1 “allow parallax error δ 0 [pix]”
Condition 2 “Allowing a distance error e [mm] in an area where the distance error falls below e [mm] when allowing the error of Condition 1”]
Here, it is desirable that the parameter δ 0 be determined from the error distribution of stereo matching, and that e be sufficiently accurate according to the application using distance information. Although the expression of allowing the error of e [mm] of the condition 2 sets the tolerance with respect to the distance, it can be easily converted to the tolerance with respect to parallax from the conversion equation of equation (1). As described above, the input to the allowable error information acquiring unit 105 may give information for indirectly specifying the allowable error according to the pixel value of the input parallax image. The above two conditions specify that the following relationship is established between the pixel value n of the input parallax image and the pixel value n ′ decoded through the encoding device 101 and the decoding device 301.

Figure 0006529374
なお、これを入力視差画像の画素値ｎとその許容誤差δn(n)の関係として表すと次式（３）となる。
Figure 0006529374
 When this is expressed as the relationship between the pixel value n of the input parallax image and its allowable error δ n (n), the following equation (3) is obtained.

Figure 0006529374
つまり、本実施形態では許容誤差情報は式（３）で定まる。式（３）のグラフを図５（ａ）に示す。図５（ａ）のグラフの実線部分は条件１で定まる許容誤差を、点線もしくは破線部分は条件２で定まる許容誤差を示している。なお、図５（ａ）から分かるように、式（３）はｎの正の方向の誤差（上限）、負の方向の誤差（下限）を指定している。しかし、上限と下限が符号の反転以外は同様の式で表すことができる場合は、どちらか一方のみを指定しても構わない。
Figure 0006529374
 That is, in the present embodiment, the allowable error information is determined by equation (3). The graph of Formula (3) is shown to Fig.5 (a). The solid line portion of the graph of FIG. 5A indicates the tolerance determined under condition 1, and the dotted line or dashed portion indicates the tolerance determined under condition 2. As can be seen from FIG. 5A, equation (3) specifies an error (upper limit) in the positive direction of n and an error (lower limit) in the negative direction. However, when the upper limit and the lower limit can be expressed by the same expression except that the sign is reversed, only one of them may be specified.

なお、図５（ａ）は視差と許容誤差の関係を示しているが、これは式１の変換式により、図５（ｂ）の曲線Ａ'ＢＣで示すように、距離ｄ［ｍｍ］と許容誤差の関係として表すことができる。ここで図５（ｂ）の曲線ＡＢＣは、条件１のδ0［ｐｉｘ］の誤差を許容するという視差に対する許容誤差を、距離に対する許容誤差として表現している。図５（ｂ）の曲線ＢＣに示す通り本実施形態では、所定の距離以上の遠方では、測距精度に合わせた誤差を許容しながら符号化を行う。一方所定の距離未満の近距離では条件２で指定された様に、距離の最大誤差が一定の値ｅになるように画素値の許容誤差を制御する。図５（ｂ）ではｅ＝１００［ｍｍ］の例を示した。これは図５（ｂ）の直線Ａ’Ｂに対応する。これにより、圧縮において、近距離部における距離情報の精度を過剰に保証してしまうことなく、符号量を効率よく削減することができる。 5 (a) shows the relationship between the parallax and the tolerance, this is obtained by the conversion equation of equation 1, as shown by the curve A'BC in FIG. 5 (b), with the distance d [mm] It can be expressed as a relationship of tolerance. Here, the curve ABC in FIG. 5B expresses an allowable error with respect to parallax that allows an error of δ 0 [pix] under condition 1 as an allowable error with respect to distance. As shown by the curve BC in FIG. 5B, in the present embodiment, encoding is performed while allowing for an error in accordance with the distance measurement accuracy at a distance greater than or equal to a predetermined distance. On the other hand, at a short distance less than a predetermined distance, as specified in the condition 2, the tolerance of the pixel value is controlled so that the maximum error of the distance becomes a constant value e. The example of e = 100 [mm] was shown in FIG.5 (b). This corresponds to the straight line A'B in FIG. 5 (b). As a result, in the compression, the code amount can be efficiently reduced without excessively securing the accuracy of the distance information in the short distance portion.

次に画素値変換情報設定部１０６の詳細を述べる。既に述べたように、画素値変換情報設定部１０６は、入力画素値ｎから第２の画素値ｍへの変換式を求める。またその際には、第２の画素値をδ変化させ、それに画素値変換情報で定まる逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる様に、画素値変換情報を定める必要がある。以下では、入力画素値ｎから第２の画素値ｍへの変換を導出するに辺り、まず、ｍからｄへの変換する変換式ｇ（ｍ）を求め、ｎからｍへの以下の変換式（４）を求める。
ｍ＝ｇ-1（ｆ（ｎ）） …（４）
以下の導出では許容誤差情報に、条件１が適用される領域と、条件２が適用される領域とに分けてｇ（ｍ）を導出する。そこで、以下では、ｇ（ｍ）を図４（ｃ）に示すように２つの領域に分け、それぞれの領域で定義する。 Next, the details of the pixel value conversion information setting unit 106 will be described. As described above, the pixel value conversion information setting unit 106 obtains a conversion equation from the input pixel value n to the second pixel value m. At this time, when the second pixel value is changed by δ and the inverse conversion determined by the pixel value conversion information is performed to obtain the decoded pixel value, the difference between the decoded pixel value and the input pixel value is within the allowable error. It is necessary to define pixel value conversion information so as to fit into. In the following, as the conversion from the input pixel value n to the second pixel value m is derived, first, a conversion equation g (m) for converting from m to d is determined, and the following conversion equation from n to m is obtained Ask for (4).
m = g -1 (f (n)) ... (4)
In the following derivation, g (m) is derived by dividing into an area to which the condition 1 is applied and an area to which the condition 2 is applied as the allowable error information. Therefore, in the following, g (m) is divided into two areas as shown in FIG. 4C, and is defined in each area.

Figure 0006529374
ここで、ｇ1（ｍ）は条件１が適用される領域の関数、ｇ2（ｍ）は条件２が適用される領域の関数である。２つの領域の境界を定義する値ｍtは、図５（ａ）の許容誤差情報における、許容誤差の下限に条件１と条件２のどちらが適用されるかを切り替える点ｎtを、以下に説明する画素値変換によって第２の画素値に変換した値である。
Figure 0006529374
 Here, g 1 (m) is a function of an area to which the condition 1 is applied, and g 2 (m) is a function of an area to which the condition 2 is applied. The value m t defining the boundary of the two regions is described below as the point n t in the tolerance information of FIG. 5A which switches which of condition 1 and condition 2 is applied to the lower limit of the tolerance. Converted to a second pixel value by pixel value conversion.

まずｇ1（ｍ）を求める。ｇ1（ｍ）は条件１が適用される許容誤差が定数δ0の領域である。ここでは変換は不要、つまりｇ1（ｍ）＝ｆ（ｍ）とし、画像符号化部１０４で定数精度保証精度のパラメータδ＝δ0として符号化を行えば良い。この領域では、入力画素値ｎから第２の画素値への画素値変換はｍ＝ｎである。 First find g 1 (m). g 1 (m) is an area where the tolerance to which the condition 1 is applied is a constant δ 0 . Here required conversion, i.e. g 1 and (m) = f (m) , as a parameter [delta] = [delta] 0 constant accuracy assurance accuracy image encoding unit 104 may perform encoding. In this region, the pixel value conversion from the input pixel value n to the second pixel value is m = n.

次に、ｇ2（ｍ）を求める。ｇ2（ｍ）は許容誤差情報の条件２が適用される領域に対応する関数である。図５（ａ）のグラフから分かる様に、入力画素値の表現のままでも、許容誤差δ＝δ0で符号化すれば、入力画像の誤差が許容誤差以内に収まることは保証できる。しかし、条件２が適用される領域では、それ以上の誤差が許容されるため、δ0より大きな誤差が発生し得る変換を行った方が、より圧縮率が上がると考えられる。本実施形態の許容誤差情報は、条件２が適用される領域においては、下限の方が上限よりも許容誤差（の絶対値）が小さい。そこで、以降では許容誤差の下限のみを考慮して画素値変換情報を定める。実際、以下で導出する変換を施せば、圧縮による入力画素値ｎの劣化が許容誤差の上限以内に収まることは確認できる。ｇ2（ｍ）の導出の理解のために、図６に本実施形態におけるデータ変換の流れを示し、以下で説明する。与えられた入力画素値ｎに、変換ｆを行い距離ｄに変換する。次にｇの逆変換ｇ-1を施し第２の画素値ｍに変換する。この際、四捨五入６０４を施し整数に丸める。ここまでが画像変換部１０３で各画素に施す処理である。次にｍに符号化６０２と復号６０３を施しｍ’を得る。ｍとｍ’の差は最大でδ=δ0である。この処理は画像符号化部１０４と画像復号部３０２で行う。次にｍ’に変換ｇを行ってｄ’を求め、ｄ’にｆの逆変換ｆ-1と四捨五入６０４を施すことで復号画素値ｎ’を得る。この処理は画像逆変換部３０３で行う。復号画素値ｎ’から距離を求めるには、変換ｆを施して復号距離 ｄ''を得る。 ｇ2（ｍ）は、図６で示したデータ変換においてｄとｄ''の差が最大でもｅ以内に収まる様に定める必要がある。ｇ2（ｍ）は図４（ｃ）から分かる様にｇ1（ｍ）との接続を考慮する必要があるため、導出が少し複雑になる。そこでまず、条件２を満たす単調増加関数ｇ0（ｍ）を求める。図６のデータ変換の中で、発生する誤差は、
・四捨五入６０１で最大０．５
・符号化６０２及び復号６０３で最大δ=δ0
・四捨五入６０４で最大０．５
である。これらの誤差を考慮した上で、条件２を満たすためには、ｇ0（ｍ）は、次の条件式（５）を満たせば良い。

Figure 0006529374
という条件式を満たせば良い。ここでｎmaxは入力視差画像の画素値の取り得る最大値である。この条件式を解くと以下のようになる。
Figure 0006529374
 ここで
ｋ（ｍ）＝ｋ（０）Ｒm/(δ+0.5)
であり、
Figure 0006529374
 である。また、α、βは、以下の方程式の解(α＜β)である。
Figure 0006529374
 また、ｈ（０）は ｇ0（０）＝ｆ（ｎmax）を満たすように定めればよい。以上で求めたｇ0（ｍ）は図４（ｂ）に示すような単調増加関数になる。ｇ2（ｍ）は図４（ｃ）に示した如くｇ1（ｍ）との接続を考慮し、ｇ0（ｍ）を単調減少に反転した上で平行移動させた、
ｇ2（ｍ）＝ｇ0（Ｃ−ｍ） …（６）
で求められる。なお、Ｃはｇ1（ｍ）との接続を考慮して適切な定数を定めればよい。 Next, g 2 (m) is obtained. g 2 (m) is a function corresponding to the area to which the condition 2 of the tolerance information is applied. As can be seen from the graph of FIG. 5 (a), also remain representation of the input pixel value, if the coding with a tolerance [delta] = [delta] 0, an error of the input image falls within the allowable error can be guaranteed. However, in a region where the condition 2 is applied, it is considered that the compression rate is further improved by performing the conversion which may cause an error larger than δ 0 because a larger error is allowed. In the tolerance error information of the present embodiment, in the region to which the condition 2 is applied, the lower limit is smaller than the upper limit in the tolerance (absolute value thereof). Therefore, hereinafter, pixel value conversion information is determined in consideration of only the lower limit of the allowable error. In fact, it is possible to confirm that the degradation of the input pixel value n due to compression falls within the upper limit of the tolerance by applying the conversion derived below. For understanding of the derivation of g 2 (m), FIG. 6 shows the flow of data conversion in this embodiment, which will be described below. A conversion f is performed on the given input pixel value n to convert it into a distance d. Next, inverse transformation g −1 of g is performed to convert it into a second pixel value m. At this time, rounding 604 is performed to round to an integer. The process up to here is the process applied to each pixel by the image conversion unit 103. Next, coding 602 and decoding 603 are applied to m to obtain m '. difference between m and m 'is [delta] = [delta] 0 at the maximum. This process is performed by the image encoding unit 104 and the image decoding unit 302. Next, a conversion g is performed on m ′ to obtain d ′, and an inverse conversion f −1 of f and rounding 604 are performed on d ′ to obtain a decoded pixel value n ′. This process is performed by the image reverse conversion unit 303. In order to obtain the distance from the decoded pixel value n ′, a transformation f is performed to obtain a decoded distance d ′ ′. g 2 (m) needs to be determined so that the difference between d and d ′ ′ is within at most e in the data conversion shown in FIG. Since g 2 (m) needs to consider the connection with g 1 (m) as can be seen from FIG. 4 (c), the derivation becomes a little more complicated. Therefore, first, the monotonically increasing function g 0 (m) satisfying the condition 2 is obtained. In the data conversion of FIG.
・ Maximum 0.5 with rounding 601
· Maximum δ = δ 0 in encoding 602 and decoding 603
・ Maximum 0.5 with rounding 604
It is. In consideration of these errors, in order to satisfy the condition 2, g 0 (m) should satisfy the following conditional expression (5).
Figure 0006529374
 It suffices to satisfy the conditional expression. Here, n max is a possible maximum value of pixel values of the input parallax image. The condition is solved as follows.
Figure 0006529374
 Where k (m) = k (0) R m / (δ + 0.5)
And
Figure 0006529374
 It is. Further, α and β are solutions (α <β) of the following equation.
Figure 0006529374
 Also, h (0) may be determined to satisfy g 0 (0) = f (n max ). The g 0 (m) obtained above is a monotonically increasing function as shown in FIG. 4 (b). g 2 (m) was parallel-displaced after monotonically decreasing g 0 (m), taking into consideration the connection with g 1 (m) as shown in FIG.
g 2 (m) = g 0 (C−m) (6)
It is determined by Incidentally, C is may be determined with appropriate constant in consideration of the connection with the g 1 (m).

以上で求めた図４（ｃ）のｇ（ｍ）に対して、式（４）の変換を施すことで、画素値変換情報設定部１０６は、図４（ｄ）に示す変換情報を得ることが出来る。以上で本実施形態における符号化装置１０１の各部の説明を終える。   The pixel value conversion information setting unit 106 obtains the conversion information shown in FIG. 4D by performing conversion of Expression (4) on g (m) in FIG. 4C obtained above. Can do. This is the end of the description of each part of the encoding device 101 in the present embodiment.

次に、本実施形態の撮影、符号化処理、復号処理、及び、復号情報の利用を行う処理の流れを図２のフローチャートに示した。これらの各処理は基本的には、図１、もしくは図３の各部の処理に対応する。Ｓ２０１では多視点画像撮影が行われる。これは多視点画像撮影部１０８が行う処理である。Ｓ２０２ではステレオマッチングによる視差推定を行う。これは視差推定部１０９が行う処理である。Ｓ２０３では、許容誤差情報を入力として取得し、画素値変換情報を設定する。これは画素値変換情報設定部１０６が行う処理である。Ｓ２０４では設定された画素値変換情報に基づき、Ｓ２０２で求めた視差画像の各画素値を変換することで第２の画像を得る。これは画像変換部１０３に対応する。Ｓ２０５では第２の画像を符号化する。これは、画像符号化部１０４が行う処理である。Ｓ２１０では第２の画像の各画素値を入力画素値に変換する情報を符号化する。この処理は画素値逆変換情報符号化部１０７が行う。Ｓ２０６では、Ｓ２０５で得た第２の画像の符号化データと、Ｓ２０３で設定した画素値変換情報の逆変換を行うための情報の符号化データが伝送される。Ｓ２０７では第２の画像を復号する。これは画像復号部３０２に対応する。Ｓ２１１では画素値逆変換情報を復号する。これは画素値逆変換情報復号部３０５が行う。Ｓ２０８では第２の画像に対し、画素値逆変換情報で定まる逆変換を行う。この処理は画像逆変換部３０３が行う。最後にＳ２０９では２点間の距離計測を行う。この処理は２点間の距離計測部３０４が行う。以上で、図２による、本実施形態の処理フローの説明を終える。   Next, the flow of processing for performing imaging, encoding processing, decoding processing, and use of decoding information according to the present embodiment is shown in the flowchart of FIG. Each of these processes basically corresponds to the process of each part of FIG. 1 or FIG. In S201, multi-viewpoint image shooting is performed. This is processing performed by the multi-viewpoint image capturing unit 108. In S202, parallax estimation is performed by stereo matching. This is processing performed by the disparity estimation unit 109. In S203, tolerance information is acquired as an input, and pixel value conversion information is set. This is processing performed by the pixel value conversion information setting unit 106. In S204, based on the set pixel value conversion information, the second image is obtained by converting each pixel value of the parallax image obtained in S202. This corresponds to the image conversion unit 103. In S205, the second image is encoded. This is processing performed by the image coding unit 104. In S210, information to convert each pixel value of the second image into an input pixel value is encoded. This process is performed by the pixel value reverse conversion information coding unit 107. In S206, the encoded data of the second image obtained in S205 and the encoded data of information for performing inverse conversion of the pixel value conversion information set in S203 are transmitted. In S207, the second image is decoded. This corresponds to the image decoding unit 302. In S211, pixel value reverse conversion information is decoded. This is performed by the pixel value reverse conversion information decoding unit 305. In S208, inverse transformation determined by the pixel value inverse transformation information is performed on the second image. This process is performed by the image reverse conversion unit 303. Finally, in S209, the distance between two points is measured. This process is performed by the distance measurement unit 304 between two points. This is the end of the description of the processing flow of the present embodiment according to FIG.

上記実施形態では画素値変換情報及び画素値逆変換情報が、少数のパラメータで表せる関数になる例を述べた。一般には画素値逆変換情報は入力画素値に対して第２の画素値を列挙したテーブル情報になり、符号データにもそのテーブルを含めねばならない為、データ量が増大する可能性がある。しかし、本実施形態で述べた例では画素値逆変換情報として少数のパラメータのみを送れば良い為、その分のデータ量が削減できるという効果がある。なお、精度保証符号化の目的を達成するには、画素値逆変換情報は可逆圧縮することが望ましい。しかし、画素値逆変換情報をテーブルで送る場合にはデータ量が多くなるため、そのテーブルを関数近似してそのパラメータを送るなどの、非可逆圧縮を行うことも考えられる。その場合は、非可逆圧縮して復号した画素値逆変換情報を用いても入力画素値ｎと出力画素値ｎ’の差が許容誤差以内に収まることを符号化装置で確認すれば、精度保証符号化の目的を達成できる。   In the above embodiment, an example was described in which the pixel value conversion information and the pixel value inverse conversion information are functions that can be represented by a small number of parameters. In general, the pixel value reverse conversion information is table information in which the second pixel values are listed with respect to the input pixel values, and since the table must be included in the code data, the data amount may increase. However, in the example described in the present embodiment, only a few parameters need to be sent as pixel value reverse conversion information, so that the amount of data can be reduced accordingly. In addition, in order to achieve the purpose of the accuracy assurance coding, it is desirable that the pixel value reverse conversion information be losslessly compressed. However, when the pixel value reverse conversion information is sent in the form of a table, the amount of data increases. Therefore, it is conceivable to perform irreversible compression such as function approximation of the table and sending its parameters. In that case, if the encoding device confirms that the difference between the input pixel value n and the output pixel value n 'falls within the allowable error even when using the pixel value reverse conversion information that has been irreversibly compressed and decoded, the accuracy is guaranteed The purpose of encoding can be achieved.

次に、理解を助けるため、符号化装置１０１のより具体的な例を図１４を用いて説明する。なお、以下の具体例では、上記説明の中で現れたパラメータの具体的な値は、Ｐ＝３４８０００、ｅ＝１００、δ0＝２、ｎmax＝１０２３、Ｃ＝１８４、ｎt＝１０２ である。図１４（ａ）に許容誤差情報を、同図（ｂ）に画素値変換情報を、同図（ｃ）に画素値逆変換情報を、表形式で示す。なお、上で述べた通り、ここに示した表は小数の関数パラメータにより求めることができる。本具体例では視差画像の画素値は１０ビットで表されるものとする。１０ビットであるから、画素値の取り得る範囲は０〜１０２３となる。 Next, in order to aid understanding, a more specific example of the encoding device 101 will be described using FIG. In the following specific example, specific values of parameters appearing in the above description are P = 348000, e = 100, δ 0 = 2, n max = 1023, C = 184, n t = 102 is there. FIG. 14A shows the tolerance information, FIG. 14B shows the pixel value conversion information, and FIG. 14C shows the pixel value reverse conversion information in the form of a table. As mentioned above, the table shown here can be obtained by decimal function parameters. In this specific example, the pixel value of the parallax image is represented by 10 bits. Since it is 10 bits, the possible range of pixel values is 0 to 1023.

以下では、図１４（ａ）の入力画素値ｎ＝１４７が、符号化装置１０１で符号化され、復号装置３０１を通して復号して得られた結果の画素値ｎ’が許容誤差内に収まる事を説明する。画素値ｎは図１４（ｂ）に示した通り、画像変換部１０３によって、第２の画素値ｍ＝１３２に変換される。そして画素値ｍは画像符号化部１０４によって最大でδ＝２の誤差で符号化され、画像復号部３０２で復号される。その結果得られたｍ’は１３０〜１３４の値を取り得る。最後に画像逆変換部３０３において、ｍ’はｎ’に変換される。図１４（ｃ）の矢印示した通り、ｎ’は１４４〜１５３を取り得る。これは図１４（ａ）の許容誤差情報が指定するｎの許容誤差の範囲１４２〜１５３に収まる為、確かに本符号化装置の目的が果たされることが分かる。   In the following, the input pixel value n = 147 in FIG. 14A is encoded by the encoding device 101, and the pixel value n ′ of the result obtained by decoding through the decoding device 301 falls within the tolerance. explain. The pixel value n is converted by the image conversion unit 103 into a second pixel value m = 132 as shown in FIG. The pixel value m is encoded by the image encoding unit 104 with an error of δ = 2 at the maximum, and is decoded by the image decoding unit 302. The resulting m 'can take values of 130-134. Finally, in the image inverse transformation unit 303, m 'is transformed to n'. As indicated by the arrows in FIG. 14C, n 'can take 144-153. Since this falls within the range 142 to 153 of the tolerance of n specified by the tolerance information of FIG. 14 (a), it can be seen that the purpose of the present encoding device is certainly fulfilled.

上記では許容誤差情報は許容誤差情報取得部１０５に対して、条件１と条件２で表した様に曲線のパラメータで入力する方法を述べたが、画像に応じて許容誤差情報を適応的に求める方法も考えられる。例えば、多視点画像撮影部１０８で取得したカラー画像に対し、人体検出処理を適用し、同一視点の視差画像を参照して人体が存在する領域内の視差画像の画素値分布を求め、その画素値分布で多くの画素が存在する画素値に対しては、許容誤差を小さくする。この処理を、より一般化すれば、許容誤差情報取得部１０５は注目領域を特定する注目領域特定部と、注目領域内の画素値を参照して、許容誤差情報を算出する許容誤差情報算出部を持つことになる。この場合、画素値変換情報設定部１０６で求める変換情報は、図４（ｄ）に示したものとは異なる。しかし、既に述べたように、第２の画素値をδ変化させ、それに画素値変換情報で定まる変換の逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる、という原則を満たす変換情報を求めれば良いのは同様である。   Although the tolerance error information is described above as a method of inputting parameters of a curve to the tolerance error information acquisition unit 105 as represented by the conditions 1 and 2, the tolerance error information is determined adaptively according to the image. A method is also conceivable. For example, the human body detection process is applied to the color image acquired by the multi-viewpoint image capturing unit 108, and the pixel value distribution of the parallax image in the region where the human body exists is obtained by referring to the parallax image of the same viewpoint. For pixel values for which there are many pixels in the value distribution, the tolerance is reduced. If this process is generalized, tolerance error information calculation unit 105 calculates tolerance error information with reference to a focused region identification unit that identifies a focused region and a pixel value in the focused region. Will have In this case, the conversion information obtained by the pixel value conversion information setting unit 106 is different from that shown in FIG. However, as described above, when the second pixel value is changed by δ and inverse conversion of the conversion determined by the pixel value conversion information is performed to obtain the decoded pixel value, the difference between the decoded pixel value and the input pixel value Similarly, it suffices to obtain conversion information that satisfies the principle of within the tolerance.

また、上記説明では符号化装置１０１は視差画像の符号化のみに用いていたが、視差画像に限らず、グレー画像や、カラー画像など、任意の画像に適用することができる。グレー画像の例としては、距離、温度、明るさ等の物理量が考えられる。カラー画像の例としては、多視点画像撮影部１０８では視差推定を行うために複数のカラー画像を取得するが、ここで取得したカラー画像の１枚、もしくは複数枚を、符号化装置１０１で符号化することが考えられる。この場合、カラー画像と視差画像を同様の符号化装置で共有でき、システムが簡易になるというメリットがある。   Further, although the encoding device 101 is used only for encoding the parallax image in the above description, the invention is not limited to the parallax image, and can be applied to any image such as a gray image or a color image. As an example of a gray image, physical quantities such as distance, temperature, and brightness can be considered. As an example of a color image, the multi-viewpoint image capturing unit 108 acquires a plurality of color images in order to perform parallax estimation, but the encoding device 101 codes one or more of the color images acquired here. Can be considered. In this case, the color image and the parallax image can be shared by the same encoding device, and the system is simplified.

また、上記カラー画像はＪＰＥＧなど、符号化装置１０１とは異なる符号化を適用することも考えられる。この際、ＪＰＥＧはブロック単位に異なる画質で符号化することができるため、同一視点の視差画像を参照し、許容誤差が大きい画素が多いブロックに対しては、カラー画像も該当ブロックの画質を下げ、高圧縮にすることも考えられる。これはＪＰＥＧに限らず、領域毎に圧縮率をコントロール可能な画像符号化方式全般で実現できる。   In addition, it is also conceivable to apply coding different from the coding apparatus 101, such as JPEG, as the color image. At this time, since JPEG can be encoded with different image quality in block units, the parallax image of the same viewpoint is referred to, and for a block having many pixels with a large allowable error, the image quality of the corresponding image is lowered. High compression is also conceivable. This is not limited to JPEG, and can be realized by an overall image coding method capable of controlling the compression rate for each area.

また、上記説明では、画像符号化部１０４ではＪＰＥＧ−ＬＳを例に説明した。これは符号化対象の画素値から、それを復号した画素値を引いた差が−δ以上、δ以下に収まることが保証される符号化である。しかし、本発明の基本的な考え方は、発生する最大誤差が正と負の方向で非対象である場合にも適用できる。例えば、符号化対象の画素値から、それを復号した画素値を引いた差が０以上、１以下に収まる符号化にも適用できる。この場合でも、発生する差は−１以上１以下であるため、δ＝１における上記で述べた画素値変換を適用すれば良い。また、最大誤差の非対象性を利用してより最適な画素値変換を求めても良い。その場合も、第２の画素値に画像符号化部１０４で発生し得る最大の誤差が発生しても、復号画素値と入力画素値のズレが許容誤差内に収まる、という原則を満たす変換情報を求めればよい。なお、０以上１以下の誤差を実現する符号化は、ＪＰＥＧ−ＬＳに似た予測符号化により容易に実現できる。つまり、各画素をラスタスキャン順に符号化する方式で、符号化対象の画素値を周囲の画素値から予測し、その予測誤差を２進数表現した際の最下位ビットを切り捨てた値をエントロピー符号化すれば良い。   In the above description, the image encoding unit 104 has been described by taking JPEG-LS as an example. This is encoding in which it is guaranteed that the difference obtained by subtracting the pixel value obtained by decoding the pixel value to be encoded falls within the range from −δ to δ. However, the basic idea of the invention can also be applied if the maximum error that occurs is asymmetric in the positive and negative directions. For example, the present invention can also be applied to encoding in which the difference between the pixel value to be encoded and the pixel value obtained by decoding the pixel value falls within 0 or more and 1 or less. Even in this case, since the generated difference is −1 or more and 1 or less, the above-described pixel value conversion at δ = 1 may be applied. Further, the asymmetry of the maximum error may be used to obtain more optimal pixel value conversion. Also in this case, even if the maximum error that may occur in the image encoding unit 104 occurs in the second pixel value, conversion information that satisfies the principle that the difference between the decoded pixel value and the input pixel value falls within the allowable error. You can ask for Note that coding that realizes an error of 0 or more and 1 or less can be easily realized by predictive coding similar to JPEG-LS. That is, in the method of encoding each pixel in raster scan order, the pixel value to be encoded is predicted from surrounding pixel values, and the value obtained by rounding down the least significant bit when the prediction error is expressed in binary is entropy encoded Just do it.

以上で本実施形態の説明を終える。上記構成により、符号化装置１０１は、画像入力部１０２に入力された画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報取得部１０５で取得する許容誤差以下に抑えながら画像を符号化することが可能となる。   This is the end of the description of the present embodiment. With the above configuration, the encoding apparatus 101 suppresses the maximum value of the error generated by the compression of each pixel of the image input to the image input unit 102 to less than the allowable error acquired by the allowable error information acquiring unit 105. It becomes possible to encode.

［第１の実施形態の変形例］
図１に示した符号化装置１０１の各部はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）として実装しても良い。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。第１の実施形態の符号化装置に適用可能なコンピュータのハードウェア構成例について、図７のブロック図を用いて説明する。 [Modification of First Embodiment]
Although each part of the encoding device 101 shown in FIG. 1 may be configured by hardware, it may be implemented as software (computer program). In this case, this software is installed in the memory of a general computer such as a PC (personal computer). When the CPU of the computer executes the installed software, the computer realizes the functions of the image processing apparatus described above. That is, this computer can be applied to the above-described image processing apparatus. An example of the hardware configuration of a computer applicable to the encoding device of the first embodiment will be described using the block diagram of FIG.

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理を実行する。ＲＡＭ１５０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１５０２は、外部記憶装置１５０７や記憶媒体ドライブ１５０８、更にはネットワークインタフェース（不図示）からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアとして機能する。更に、ＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアとしても機能する。即ち、ＲＡＭ１５０２は、各種のエリアを適宜提供することができる。ＲＯＭ１５０３は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。   The CPU 1501 controls the entire computer using computer programs and data stored in the RAM 1502 and the ROM 1503 and executes the above-described processes described as being performed by the image processing apparatus. The RAM 1502 is an example of a computer readable storage medium. The RAM 1502 functions as an area for temporarily storing computer programs and data loaded from the external storage device 1507, the storage medium drive 1508, and a network interface (not shown). Furthermore, the RAM 1502 also functions as a work area used when the CPU 1501 executes various processes. That is, the RAM 1502 can appropriately provide various areas. The ROM 1503 is an example of a computer-readable storage medium, and stores computer setting data, a boot program, and the like.

キーボード１５０４、マウス１５０５は、コンピュータの操作者が操作することで、各種の指示をＣＰＵ１５０１に対して入力することができる。表示装置１５０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１５０１による処理結果を画像や文字などでもって表示することができる。   The keyboard 1504 and the mouse 1505 can input various instructions to the CPU 1501 as operated by the computer operator. The display device 1506 is configured of a CRT, a liquid crystal screen, or the like, and can display the processing result of the CPU 1501 as an image, characters, or the like.

外部記憶装置１５０７は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１５０７には、ＯＳ（オペレーティングシステム）や、図１に示した各処理をＣＰＵ１５０１に実現させるためのコンピュータプログラムやデータ、上記の各種テーブル、データベース等が保存されている。外部記憶装置１５０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。   The external storage device 1507 is an example of a computer-readable storage medium, and is a large-capacity information storage device represented by a hard disk drive. The external storage device 1507 stores an OS (Operating System), computer programs and data for causing the CPU 1501 to realize each processing shown in FIG. 1, various tables described above, a database, and the like. Computer programs and data stored in the external storage device 1507 are appropriately loaded into the RAM 1502 under the control of the CPU 1501 and are to be processed by the CPU 1501.

記憶媒体ドライブ１５０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１５０７やＲＡＭ１５０２に出力する。なお、外部記憶装置１５０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ１５０８に読み取らせても良い。   The storage medium drive 1508 reads a computer program and data stored in a storage medium such as a CD-ROM or a DVD-ROM, and outputs the read computer program or data to the external storage device 1507 or the RAM 1502. Note that part or all of the information described as being stored in the external storage device 1507 may be recorded in this storage medium and read by the storage medium drive 1508.

Ｉ／Ｆ１５０９は、外部からカラー画像、距離画像、等を入力するインタフェースであり、一例として示すのであればＵＳＢ（Universal Serial Bus）である。１５１０は、上述の各部を繋ぐバスである。   An I / F 1509 is an interface for inputting a color image, a distance image, and the like from the outside, and is an USB (Universal Serial Bus) if shown as an example. Reference numeral 1510 denotes a bus connecting the above-described units.

上述構成において、本コンピュータの電源がＯＮになると、ＣＰＵ１５０１はＲＯＭ１５０３に格納されているブートプログラムに従って、外部記憶装置１５０７からＯＳをＲＡＭ１５０２にロードする。この結果、キーボード１５０４、マウス１５０５を介した情報入力操作が可能となり、表示装置１５０６にＧＵＩを表示することが可能となる。ユーザが、キーボード１５０４やマウス１５０５を操作し、外部記憶装置１５０７に格納された符号化アプリケーションの起動指示を入力すると、ＣＰＵ１５０１はこのプログラムをＲＡＭ１５０２にロードし、実行する。これにより、本コンピュータが画像処理装置として機能することになる。   In the above configuration, when the power of the computer is turned on, the CPU 1501 loads the OS from the external storage device 1507 into the RAM 1502 according to the boot program stored in the ROM 1503. As a result, an information input operation can be performed via the keyboard 1504 and the mouse 1505, and a GUI can be displayed on the display device 1506. When the user operates the keyboard 1504 and the mouse 1505 and inputs a start instruction of the encoding application stored in the external storage device 1507, the CPU 1501 loads this program into the RAM 1502 and executes it. Thus, the computer functions as an image processing apparatus.

なお、ＣＰＵ１５０１が実行する符号化アプリケーションプログラムは、基本的に図１の符号化装置１０１に属す各部に相当する関数（orサブルーチン）を備えることになる。ここで、画像処理結果は外部記憶装置１５０７に保存することになる。なお、このコンピュータは、以降の各実施形態に係る符号化装置にも同様に適用可能であることは、以下の説明より明らかである。   The encoding application program executed by the CPU 1501 basically includes a function (or a subroutine) corresponding to each unit belonging to the encoding device 101 in FIG. 1. Here, the image processing result is stored in the external storage device 1507. It is apparent from the following description that this computer is also applicable to the encoding apparatus according to each of the following embodiments.

［第２の実施形態］
第１の実施形態では、図６のデータ変換の流れにおいて、復号画素値（視差）ｎ'を得た上で、復号距離ｄ''を得た。しかし、復号時に視差ｎ'が不要で、距離のみが取得できれば良い場合は、符号化装置１０１が出力する符号データは次の通りである。
・画像符号化部１０４から得られる、第２の画像を復元するために必要な情報（ｍ'の復号に必要な情報）
・第２の画像の画素値ｍ'から距離ｄ'を求める為の情報（関数ｇのパラメータ）
このうち、前者は第１の実施形態と共通であり、後者は「画素値逆変換情報」の第１の実施形態とは異なる具体例である。なお、第１の実施形態では画素値逆変換情報として、第２の画像の画素値ｍ'から復号画素値ｎ'を求めるための情報を符号化した。この考え方をより一般化すると、画素値逆変換情報は、第２の画素値を入力画素値に変換するための情報だけでなく、第２の画素値を入力画素値が本来表現している物理量へ直接変換するための情報であっても良いと言える。 Second Embodiment
In the first embodiment, the decoded distance d ′ ′ is obtained after obtaining the decoded pixel value (disparity) n ′ in the data conversion flow of FIG. However, when the parallax n ′ is unnecessary at the time of decoding and it is only necessary to obtain the distance, the code data output from the encoding device 101 is as follows.
Information necessary for restoring the second image, which is obtained from the image coding unit 104 (information necessary for decoding m ′)
Information for obtaining the distance d ′ from the pixel value m ′ of the second image (parameter of the function g)
Among them, the former is common to the first embodiment, and the latter is a specific example different from the first embodiment of the “pixel value reverse conversion information”. In the first embodiment, information for obtaining a decoded pixel value n ′ from the pixel value m ′ of the second image is encoded as pixel value reverse conversion information. To generalize this idea, the pixel value reverse conversion information is not only information for converting the second pixel value into the input pixel value, but also a physical quantity in which the input pixel value originally represents the second pixel value. It may be said that information for direct conversion may be used.

本第２の実施形態の符号化装置及び復号装置の構成は、基本的には第１の実施形態の図１及び図３と同様である。ただし、画素値変換情報設定部１０６、画素値逆変換情報符号化部１０７、画素値逆変換情報復号部３０５、及び、画像逆変換部３０３の詳細が異なる。また復号装置３０１が出力するのは視差画像ではなく、各画素に距離情報ｄ’が入った距離画像となる点である。   The configurations of the encoding apparatus and the decoding apparatus according to the second embodiment are basically the same as those shown in FIGS. 1 and 3 of the first embodiment. However, the details of the pixel value conversion information setting unit 106, the pixel value inverse conversion information encoding unit 107, the pixel value inverse conversion information decoding unit 305, and the image inverse conversion unit 303 are different. Moreover, what the decoding device 301 outputs is a point that is not a parallax image but a distance image in which the distance information d 'is included in each pixel.

ここで、画素値変換情報設定部１０６の役割を、第１の実施形態との違いに重点をおいて説明する。本第２の実施形態の画素値変換情報設定部１０６の役割は第１の実施形態と同様、第２の画素値をδ変化させ、それに画素値変換情報の逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる変換を求めることである。この原則を満たす変換を得るため、第１の実施形態と同様にまず、ｍからｄへの変換式ｇ（ｍ）を求め、式（４）に基づいてｎからｍへの変換式を求める。本実実施形態でもｇ（ｍ）はｇ1（ｍ）とｇ2（ｍ）からなり、ｇ1（ｍ） は第１の実施形態と同様である。ｇ2（ｍ）を求める為にまず第１の実施形態同様ｇ0（ｍ）を求める。ｇ0（ｍ）を求めるための条件式、図６の四捨五入６０４が不要になる為、第１の実施形態の式（５）の代わりに、次式（７）を満たす関数を求めれば良い。

Figure 0006529374
上記式（７）を解くと、以下のようになる。
Figure 0006529374
 このｇ0（ｍ）に第１の実施形態と同様の変換を行えば、ｇ2（ｍ） 及びｇ（ｍ）を求めることができる。 Here, the role of the pixel value conversion information setting unit 106 will be described with emphasis on the difference from the first embodiment. Similar to the first embodiment, the pixel value conversion information setting unit 106 of the second embodiment changes the second pixel value by δ and performs inverse conversion of the pixel value conversion information thereon to obtain the decoded pixel value. When obtained, it is to find a conversion in which the difference between the decoded pixel value and the input pixel value falls within the allowable error. In order to obtain a conversion satisfying this principle, first, as in the first embodiment, a conversion equation g (m) from m to d is determined, and a conversion equation from n to m is determined based on equation (4). Also in this embodiment, g (m) is composed of g 1 (m) and g 2 (m), and g 1 (m) is the same as that of the first embodiment. In order to obtain g 2 (m), firstly, g 0 (m) is found as in the first embodiment. Since the conditional expression for obtaining g 0 (m) and the rounding 604 in FIG. 6 become unnecessary, a function satisfying the following equation (7) may be found instead of the equation (5) of the first embodiment.
Figure 0006529374
 The equation (7) is solved as follows.
Figure 0006529374
 If g 0 (m) is subjected to the same conversion as in the first embodiment, g 2 (m) and g (m) can be obtained.

画素値逆変換情報符号化部１０７では、既に述べたように、第２の画像の画素値ｍ'から距離ｄ'を求める為の情報（関数ｇのパラメータ）を符号化する。また、画素値逆変換情報復号部３０５は画素値逆変換情報符号化部１０７で符号化した画素値逆変換情報（関数ｇ）を復号する。   The pixel value reverse conversion information coding unit 107 codes information (parameter of function g) for obtaining the distance d ′ from the pixel value m ′ of the second image as described above. Further, the pixel value reverse conversion information decoding unit 305 decodes the pixel value reverse conversion information (function g) encoded by the pixel value reverse conversion information encoding unit 107.

画像逆変換部３０３では、第２の画像の各画素値に関数ｇによる変換を施して距離画像を得る。この距離画像の各画素値は図６のｄ'に対応する。   The image inverse transformation unit 303 performs transformation by the function g on each pixel value of the second image to obtain a distance image. Each pixel value of this distance image corresponds to d 'in FIG.

なお、本第２の実施形態では復号画素値ｎ'は明示的には復号しないが、ｄ'に変換ｆ-1を施せば非整数復号画素値ｎd が、そして四捨五入６０４を施せばｎ'が復号できる。本実施形態では、ｎdとｎとの差は、許容誤差情報で定める誤差以内に収まることが保証される。ただし、画素値変換情報を求める際に、四捨五入６０４の誤差を考慮していないため、ｎ’とｎの誤差が許容誤差に収まることは保証できない。本実施形態の第１の実施形態に対する大きな違いは、四捨五入６０４の誤差を考慮せずにｇ（ｍ）を求めることで、変換式ｇ0（ｍ）が第１の実施形態に比べて単純な変換式で表せることである。これにより、第１の実施形態に比べて、実装が容易、処理が高速、といった効果が得られると考えられる。 The present decoded pixel value in the second embodiment n 'is not decoded explicitly, d' non-integer decoded pixel value n d if Hodokose transformation f -1 in the, and if Hodokose rounding 604 n ' Can be decoded. In this embodiment, it is guaranteed that the difference between n d and n falls within the error defined by the tolerance information. However, since the error of rounding 604 is not taken into consideration when obtaining the pixel value conversion information, it can not be guaranteed that the error between n ′ and n falls within the allowable error. A big difference with respect to the first embodiment of the present embodiment is that the conversion equation g 0 (m) is simpler than that of the first embodiment by finding g (m) without considering the error of rounding 604. It can be expressed by a conversion formula. As a result, it is considered that the effects such as easy mounting and high speed processing can be obtained compared to the first embodiment.

なお、本実施形態では図６の四捨五入６０４の誤差を考慮しない例を示したが、第２の画素値ｍが整数以外の値を取り得る場合は、四捨五入６０１の誤差も考慮しなくても良い。この場合でも本実施形態と同様の考え方で符号化装置を構成することは可能である。   In the present embodiment, an example in which the error of rounding 604 in FIG. 6 is not taken into consideration is shown, but when the second pixel value m can take a value other than an integer, the error of rounding 601 may not be taken into account. . Even in this case, it is possible to configure the coding apparatus in the same way as in the present embodiment.

以上で本第２の実施形態の説明を終える。上記構成により、第１の実施形態と同様、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が定める許容誤差以下に抑えながら画像を符号化可能な、符号化装置が実現できる。また、本実施形態特有の効果として、第１の実施形態に比べて、実装が容易、処理が高速、といった効果が得られる。   This is the end of the description of the second embodiment. With the above configuration, as in the first embodiment, an encoding apparatus capable of encoding an image while suppressing the maximum value of errors generated by compression of each pixel of the input image to less than or equal to the tolerance defined by the tolerance information. realizable. Further, as an effect unique to the present embodiment, an effect such as easy mounting and high speed processing can be obtained as compared with the first embodiment.

［第３の実施形態］
第１の実施形態では、許容誤差情報の具体的な例（条件１、条件２）を定め、その場合において有効な画素値変換方法を説明した。これに対し本実施形態では、許容誤差情報が、画素値に応じて任意の許容誤差を指定するテーブルの形で与えられる場合においても適用できる画素値変換方法を説明する。本実施形態の画素値変換は、第１の実施形態より汎用的に用いることが出来る。 Third Embodiment
In the first embodiment, specific examples (condition 1 and condition 2) of the allowable error information are defined, and in that case, the effective pixel value conversion method is described. On the other hand, in the present embodiment, a pixel value conversion method that can be applied even in the case where the tolerance information is given in the form of a table specifying an arbitrary tolerance according to the pixel value will be described. The pixel value conversion of this embodiment can be used more generally than in the first embodiment.

図８に、本実施形態におけるデータ変換の流れを示す。入力画素値ｎに画素値変換ｈを施し画素値ｍを得る。画素値ｍを符号化及び復号し画素値ｍ'を得る。ｍとｍ'の差は最大で定数δ以内である。次に画素値ｍ'に変換ｈ-1を施して復号画素値ｎ'を得る。図８は第１の実施形態の図６に対応する図であり、図６ではｎからｍへの変換を、変換ｆとｇ-1の２段階で行っていたものを、変換ｈにまとめたものである。第１の実施形態では入力画素値が視差を表す場合に特に有効な符号化の例を示した為、説明を分かりやすくするために、入力画素値ｎと第２の画素値ｍとの間に距離ｄを挟んだデータ変換の流れを説明した。しかし、本実施形態は画素値がどの物理量に対応していても有効に使える汎用的な手法の為、距離ｄを介さずに直接ｎからｍへの変換を説明する。なお、本来の逆変換の定義は次式が成立することである。
ｎ＝ｈ-1（ｈ（ｎ）） FIG. 8 shows the flow of data conversion in the present embodiment. A pixel value conversion h is applied to the input pixel value n to obtain a pixel value m. The pixel value m is encoded and decoded to obtain a pixel value m '. The difference between m and m 'is at most within a constant δ. Next, a conversion h −1 is applied to the pixel value m ′ to obtain a decoded pixel value n ′. FIG. 8 is a diagram corresponding to FIG. 6 of the first embodiment, and in FIG. 6, the conversion from n to m in two stages of conversion f and g −1 is summarized in conversion h It is a thing. In the first embodiment, an example of encoding that is particularly effective when the input pixel value represents a parallax is shown, so for ease of explanation, between the input pixel value n and the second pixel value m The flow of data conversion across the distance d has been described. However, since the present embodiment is a general-purpose method that can be effectively used regardless of which physical quantity the pixel value corresponds to, the conversion from n to m is directly described without using the distance d. The original definition of the inverse transformation is that the following equation is established.
n = h- 1 (h (n))

しかし、本実施形態で述べる変換ｈとｈ-1は、必ずしもその関係を満たさない。しかし、この変換は入力画素値と第２の画素値との相互変換を行うものであるため、対応を分かり易くするために、逆変換と呼ぶ。 However, the transforms h and h -1 described in the present embodiment do not necessarily satisfy the relationship. However, since this conversion performs mutual conversion between the input pixel value and the second pixel value, it is called inverse conversion in order to make the correspondence clear.

本第３の実施形態で説明する符号化装置のブロック図は、図１の符号化装置１０１と同様である。また、符号化装置１の役割が、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が指定する値以下に抑えながら、画像を符号化することであることも第１の実施形態と同様である。本第３の実施形態と第１の実施形態の大きな違いは、許容誤差情報取得部１０５に入力される許容誤差情報と、その許容誤差に基づいて画素値変換情報設定部１０６が設定する画素値変換情報である。以下では第１の実施形態との違いを中心に本第３の実施形態の詳細について説明する。   The block diagram of the coding apparatus described in the third embodiment is the same as that of the coding apparatus 101 of FIG. Further, it is also possible that the role of the encoding device 1 is to encode an image while suppressing the maximum value of errors generated by compression of each pixel of the input image to a value equal to or less than a value specified by the allowable error information. Is the same as the embodiment of FIG. The major difference between the third embodiment and the first embodiment is that the pixel value conversion information setting unit 106 sets the pixel value based on the tolerance error information input to the tolerance error information acquisition unit 105 and the tolerance error. It is conversion information. Hereinafter, details of the third embodiment will be described focusing on differences from the first embodiment.

画像入力部１０２には視差画像が入力される。なお、入力される画像が視差画像に限らないのは第１の実施形態と同様である。以下の説明では簡単のため、入力された視差画像の各画素値は０〜７の計８値をとるものとする。   A parallax image is input to the image input unit 102. Note that the input image is not limited to the parallax image, as in the first embodiment. In the following description, it is assumed that each pixel value of the input parallax image has a total of eight values of 0 to 7 for simplicity.

許容誤差情報取得部１０５には、画素値に応じた許容誤差が、テーブルの形で入力される。許容誤差は、正と負の方向に同じ誤差を許す場合は各画素値に対して１つの値を、正と負の方向で異なる誤差を許す場合は、各画素値に対して２つの値を入力する。ここでは後者の例を図９に示す。図９は入力画素値毎の許容誤差を示した表になっており、例えば、入力画素値「４」に対し、正の方向に「２」、負の方向に「１」までの許容誤差が与えられる。つまり入力画素値「４」は、符号化による誤差で３〜６の範囲内で変化することが許される。また、図９において許容誤差の数字が丸印で囲まれているのは、劣化後の画素値が、画素値の有効範囲の上限もしくは下限（本実施形態の例では０もしくは７）を許容誤差内に含む事を示している。   The allowable error according to the pixel value is input to the allowable error information acquisition unit 105 in the form of a table. The tolerance is one value for each pixel value if you allow the same error in the positive and negative directions, or two values for each pixel value if you allow different errors in the positive and negative directions. input. Here, the latter example is shown in FIG. FIG. 9 is a table showing the tolerance for each input pixel value. For example, for the input pixel value “4”, the tolerance up to “2” in the positive direction and “1” in the negative direction is Given. That is, the input pixel value "4" is allowed to change within the range of 3 to 6 due to an error due to encoding. Further, in FIG. 9, the numbers of the tolerances are circled in that the pixel value after deterioration is the tolerance for the upper limit or the lower limit (0 or 7 in the example of this embodiment) of the effective range of the pixel values. It shows that it includes in.

図９の許容誤差情報が定める入力画素値ｎと復号画素値ｎ’との関係を図１０（ａ）に示す。図１０（ａ）では、横軸が入力画素ｎ、縦軸が復号画素ｎ’を示しており、画素値ｎに対してｎ’が取り得る値の範囲を実線で示している。図中の黒丸がｎ＝ｎ’の点であり、その点の上下に許容誤差に応じて実線が伸びている。   The relationship between the input pixel value n and the decoded pixel value n 'determined by the allowable error information of FIG. 9 is shown in FIG. In FIG. 10A, the horizontal axis indicates the input pixel n, and the vertical axis indicates the decoded pixel n ', and the range of possible values of n' for the pixel value n is indicated by a solid line. A black circle in the figure is a point of n = n ', and a solid line extends above and below the point according to the tolerance.

画素値変換情報設定部１０６は、画素値ｎからｍへの画素値変換ｈを定義するテーブルを作成する。そして、画素変換部１０３がそのテーブルに基づいて入力画像の各画素値を変換した第２の画像を生成する。そして画像符号化部１０４が、生成された第２の画像を、画素値の圧縮によるズレが定数δ以内に収まることを保証しながら画像を圧縮する定数精度保証符号化を施す。この処理の流れは第１の実施形態と同様であるが、画素値変換情報設定部１０６の詳細が異なる為、以下で説明する。   The pixel value conversion information setting unit 106 creates a table that defines the pixel value conversion h from the pixel value n to m. Then, the pixel conversion unit 103 generates a second image obtained by converting each pixel value of the input image based on the table. Then, the image encoding unit 104 performs constant accuracy assurance coding that compresses the generated second image while ensuring that the displacement due to the compression of the pixel value falls within the constant δ. Although the flow of this processing is the same as that of the first embodiment, the details of the pixel value conversion information setting unit 106 are different, and therefore, will be described below.

画素値変換情報設定部１０６の目的は第１の実施形態と同様である。つまり、第２の画素値ｍをδ変化させ、それに画素値逆変換情報ｈ-1が定める逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる様に、画素値変換情報と画素値逆変換情報を定める。以下では、δ＝１とし、入力画素値ｎと復号画素値ｎ'のズレが図１０（ａ）に示した範囲に収まる画素値（逆）変換テーブルを生成する例を用いて説明する。 The purpose of the pixel value conversion information setting unit 106 is the same as that of the first embodiment. That is, when the second pixel value m is changed by δ and inverse conversion defined by the pixel value inverse conversion information h -1 is performed to obtain a decoded pixel value, the difference between the decoded pixel value and the input pixel value is an allowance Pixel value conversion information and pixel value inverse conversion information are determined so as to be within the range. The following description will be made using an example of generating a pixel value (reverse) conversion table in which δ = 1 and the shift between the input pixel value n and the decoded pixel value n ′ falls within the range shown in FIG.

なお、以下のアルゴリズムはδが任意の値で動作するが、δによって圧縮率が変化する為、適切な値に設定することが望ましい。δが小さすぎる場合、例えばδ＝０の場合は、画像符号化部１０４でロスレス圧縮を行わねばならず、許容誤差内であれば画素値がズレて良いという利点を生かせない為、圧縮率が低下すると考えられる。一方でδを大きくすると第２の画素値のビット深度が入力画素値のビット深度より大きくなり、データ量の増加や符号化時のメモリ使用量の増加を招く。本実施形態では図９に示した許容誤差の表において、丸で囲まれていない許容誤差の中で、最も小さい値（つまり１）にδを設定する。このように設定すると、必ず第２の画素値のビット深度が入力画素値のビット深度より小さくなる。つまり視差画像の画素値の階調数よりも第２の画素値の階調数の方が少なくなる。これにより、視差画像のデータ量を削減し、画像符号化部１０４で許容誤差内であれば画素値がズレて良いという利点を生かした符号化ができる。   Although the following algorithm operates with an arbitrary value of δ, it is desirable to set the value to an appropriate value because the compression rate changes with δ. If δ is too small, for example, if δ = 0, then the image coding unit 104 must perform lossless compression, and if the tolerance is within the tolerance, the pixel value may not be displaced. It is considered to decline. On the other hand, when δ is increased, the bit depth of the second pixel value becomes larger than the bit depth of the input pixel value, resulting in an increase in data amount and an increase in memory usage at the time of encoding. In this embodiment, in the table of tolerances shown in FIG. 9, δ is set to the smallest value (that is, 1) among the tolerances not enclosed by circles. With this setting, the bit depth of the second pixel value is always smaller than the bit depth of the input pixel value. That is, the number of gradations of the second pixel value is smaller than the number of gradations of the pixel values of the parallax image. As a result, the amount of data of the parallax image can be reduced, and encoding can be performed utilizing the advantage that the pixel value may be shifted by the image encoding unit 104 within the allowable error.

画素値変換情報設定部１０６において、第２の画素値ｍをδ変化させた時に復号画素値ｎ'のズレが許容誤差内に収まるような画素値変換の、本第３の実施形態における実現方法の基本的な考え方を図１０（ｂ）を用いて説明する。図１０（ｂ）は説明のために図１０（ａ）のｎ＝１及び４に対応する部分だけを残したグラフである。   In the third embodiment, an implementation method of pixel value conversion such that the shift of the decoded pixel value n ′ falls within the allowable error when the second pixel value m is changed by δ in the pixel value conversion information setting unit 106. The basic idea of is described with reference to FIG. 10 (b). FIG.10 (b) is the graph which left only the part corresponding to n = 1 and 4 of FIG. 10 (a) for description.

変換は、基本的には、
・変換原則１『ｎの各画素値の許容誤差内に２δ＋１個以上のｍの量子化代表値を割り当て、各画素値ｎは許容誤差内にあるｍの量子化代表値の中心にある値に変換』
を満たすように行えばよい。ここで、『許容誤差内にあるｍの量子化代表値の中心にある値』というのは、より厳密には、『許容誤差内の上下それぞれにδ個以上の量子化代表値がある値』である。図１０（ｂ）の例で言うと、ｎ＝４の許容範囲内には点線１００１、１００２、１００３で示すように３個（つまり、２δ＋１個）の量子化代表値を割り当て、ｎ＝４はその３つの量子化代表値の中心である点線１００１に対応する値に変換すれば良い。変換原則１は目的を達成するのに十分な条件であるが、さらに効率的な変換をするために
・変換原則２『許容誤差内に、画素値の有効範囲の上限（下限）が含まれる場合は、ｎの各画素値の許容誤差内にδ＋１個以上のｍの量子化代表値を割り当て、各画素値ｎは許容誤差内にあるｍの量子化代表値の小さい値（大きい値）に変換』
を行えば良い。なお、『許容誤差内にあるｍの量子化代表値の小さい値（大きい値）に変換』というのはより厳密には、上（下）にδ個以上の量子化代表値がある値である。例えば図１０（ｂ）のｎ＝１の例では許容誤差範囲が、画素値の有効範囲の下限を含む為、許容誤差内に２個（つまり、δ＋１個）の量子化代表値を割り当て、ｎ＝１はその２個のうちの小さい値である点線１００４に対応する量子化代表値に変換する。このようにすれば、ｍの画素値が＋δずれた場合も点線１００５に示すようにｎの許容誤差内に収まることが保証できる。また、ｎは許容誤差内に画素値の有効範囲の下限を含む為、−δ方向のずれは特に考慮しなくても許容誤差内に収まることを保証できる。この例では、許容誤差内に画素値の有効範囲の下限が含まれる場合を説明したが、上限が含まれる場合も同様の考え方を適用できる。また、
・変換原則３『許容誤差内に、画素値の有効範囲の上限と下限の両方が含まれる場合は許容誤差内に１個以上の量子化代表値を割り当て、各画素値ｎは許容誤差内にあるｍの量子化代表値の任意の値に変換』
を行えば良いが、このような状況の発生は極めて稀であるため、以降では詳細な説明は省く。 The conversion is basically
· Conversion principle 1 'Assign 2δ + 1 or more m quantization representative values within the tolerance of each pixel value of n, and each pixel value n is a value at the center of m quantization representative values within the tolerance conversion"
You can do to meet the Here, "a value at the center of m quantization representative values within the tolerance" more strictly means "a value having δ or more quantization representative values in each of the upper and lower sides within the tolerance." It is. In the example of FIG. 10B, three (that is, 2δ + 1) quantization representative values are assigned within the tolerance range of n = 4 as indicated by dotted lines 1001, 1002, and 1003, and n = 4 is It may be converted to a value corresponding to the dotted line 1001 which is the center of the three quantization representative values. Although conversion principle 1 is a condition sufficient for achieving the purpose, in order to make conversion more efficient, conversion principle 2 “if the upper limit (lower limit) of the effective range of the pixel value is included in the tolerance” Assigns δ + 1 or more m quantization representative values within the tolerance of each pixel value of n, and converts each pixel value n to a small value (large value) of m quantization representative values within the tolerance "
Do. More precisely, “convert to a small value (large value) of the quantization representative value of m within the tolerance” is a value that has δ or more quantization representative values in the upper (lower) . For example, in the example of n = 1 in FIG. 10B, since the allowable error range includes the lower limit of the effective range of the pixel value, two (that is, δ + 1) quantization representative values are allocated within the allowable error. = 1 converts to the quantization representative value corresponding to the dotted line 1004 which is the smaller value of the two. In this way, even when the pixel value of m is deviated by + δ, it can be guaranteed that the tolerance falls within n, as indicated by the dotted line 1005. In addition, since n includes the lower limit of the effective range of the pixel value within the tolerance, it is possible to guarantee that the deviation in the -δ direction falls within the tolerance without taking special consideration. In this example, the case where the lower limit of the effective range of the pixel value is included in the tolerance is described, but the same concept can be applied when the upper limit is included. Also,
· Conversion principle 3 "If the tolerance includes both the upper and lower limits of the effective range of pixel values, one or more quantization representative values are assigned within the tolerance, and each pixel value n is within the tolerance. Convert to any value of some m quantization representative value '
However, since the occurrence of such a situation is extremely rare, the detailed description will be omitted hereinafter.

上述の変換原則を満たすような画素値（逆）変換を実現するため、本第３の実施形態における画素値変換情報設定部１０６の画素値変換情報の設定処理を図１１のフローに従って処理する。図１１の各処理の説明を、図１２（ａ）〜（ｃ）の具体例を示しながら説明する。   In order to realize the pixel value (inverse) conversion satisfying the conversion principle described above, the process of setting the pixel value conversion information of the pixel value conversion information setting unit 106 in the third embodiment is processed according to the flow of FIG. The process of FIG. 11 will be described with reference to specific examples of FIGS. 12 (a) to 12 (c).

Ｓ１１０１では、画素値変換情報設定部１０６は各画素値の許容範囲内にｍの量子化代表値をいくつ割り当てれば良いかを設定する。図１２（ａ）には図１０（ａ）に示した許容範囲のグラフに対応する画素値スコアの具体例を示した。既に述べた変換原則にのっとり、初期状態では画素値スコアは３（つまり、２δ＋１）もしくは２（つまり、δ＋１）を割り当てた。   In S1101, the pixel value conversion information setting unit 106 sets how many quantization representative values of m should be allocated within the allowable range of each pixel value. FIG. 12 (a) shows a specific example of the pixel value score corresponding to the graph of the allowable range shown in FIG. 10 (a). Based on the conversion principle already described, the pixel value score is initially assigned 3 (that is, 2δ + 1) or 2 (that is, δ + 1).

Ｓ１１０２では、画素値変換情報設定部１０６は、全ての画素値スコアが０かを判定する。この判定がＹＥＳの場合は、変換原則を満たす「ｍの量子化代表値割り当て」が行われたと判定できる。   In S1102, the pixel value conversion information setting unit 106 determines whether all the pixel value scores are zero. If this determination is YES, it can be determined that “m quantization representative value allocation” satisfying the conversion principle has been performed.

Ｓ１１０３では、画素値変換情報設定部１０６は、各画素値の代表値スコアを求める。代表値スコアは、ｎのどの画素値にｍの量子化代表値を割り当てるかの優先度を表した値である。本実施形態の例では、各画素値の代表値スコアは、「その画素値を許容範囲内に含む画素値の画素値スコアの和」を用いる。これは、代表値スコアは「できるだけ多くの画素値の許容範囲に含まれている値、かつ、多くの量子化代表値を割り合てる必要がある領域」を選ぶのが良いという考えを反映したものである。図１２（ａ）に代表値スコアの具体例が示してある。例えば、ｎの画素値“３”は、画素値“２〜５”の許容誤差内に含まれている。したがって、画素値“２〜５”の画素値スコアの和である“１１”が代表値スコアになっている。   In S1103, the pixel value conversion information setting unit 106 obtains a representative value score of each pixel value. The representative value score is a value representing the priority of assigning the quantization representative value of m to which pixel value of n. In the example of the present embodiment, “the sum of pixel value scores of pixel values including the pixel value within the allowable range” is used as the representative value score of each pixel value. This reflects the idea that it is better to select the representative value score as “a value that falls within the allowable range of as many pixel values as possible, and where it is necessary to divide a large number of quantized representative values”. It is a thing. FIG. 12 (a) shows a specific example of the representative value score. For example, the pixel value "3" of n is included in the tolerance of the pixel values "2 to 5". Therefore, “11” which is the sum of pixel value scores of pixel values “2 to 5” is a representative value score.

Ｓ１１０４では、画素値変換情報設定部１０６は、代表値スコアが最大となるｎの画素値にｍの量子化代表値を割り当てる。図１２（ｂ）の点線１２０１で示すように、ｎの画素値“３”に対して、ｍの量子化代表値を割り当てる。なお、代表値スコアが最大となるものが複数ある場合の優先度として、画素値スコアの総和をより多く減らせる画素値に割り当てを行うと、Ｓ１１０２の判定条件を早く満たすことが出来る為、望ましいと考えられる。また、次の優先順として、未だ代表値が割り当てられていない画素値に優先的に割り当てると、代表値が一か所に集中的に多く割り当てられるのを防ぐことができるため望ましい。それでも優先度が一意に決まらない場合は、画素値の小さいものを優先して割り当てるなどをすれば良い。   In S1104, the pixel value conversion information setting unit 106 assigns the quantization representative value of m to the pixel value of n for which the representative value score is maximum. As indicated by a dotted line 1201 in FIG. 12B, the quantization representative value of m is assigned to the pixel value "3" of n. Note that it is desirable to assign the pixel value that can reduce the sum of the pixel value scores more as the priority when there are multiple items with the largest representative value score, because the determination condition of S1102 can be satisfied quickly. it is conceivable that. In addition, it is desirable to assign priority to pixel values to which representative values have not yet been assigned as the next priority order, because it is possible to prevent many representative values from being intensively assigned to one place. If the priority is still not determined uniquely, those with smaller pixel values may be assigned preferentially.

再度、Ｓ１１０１にて、画素値変換情報設定部１０６は、画素値スコアを算出する。図１２（ｂ）の例では代表値割り当てによって、ｎの画素値２〜５の画素値スコアが１ずつ減っている。   Again in S1101, the pixel value conversion information setting unit 106 calculates a pixel value score. In the example of FIG. 12B, the pixel value scores of the pixel values 2 to 5 of n decrease by one by representative value allocation.

再度、Ｓ１１０２にて、画素値変換情報設定部１０６は、代表値スコアを更新する。図１２（ｂ）の例では画素値スコアの更新に伴い、代表値スコアを更新した例を示した。   Again, in S1102, the pixel value conversion information setting unit 106 updates the representative value score. In the example of FIG. 12B, the representative value score is updated along with the update of the pixel value score.

画素値変換情報設定部１０６は、以上のＳ１１０１からＳ１１０４の処理を、Ｓ１１０２にて全ての画素値スコアが０と判定されるまで繰り返す。この結果、図１２（ｃ）に示すように、ｎの画素値０〜６にｍの量子化代表値が割り当てられ、それらの代表値を小さい方から順にｍの画素値０〜６を対応させた。図１２（ｃ）を見ると、ｎの各画素値の許容範囲内に、３（つまり２δ＋１）もしくは２（つまり、δ＋１）個の量子化代表値が割り当てられたことが確認できる。つまり、変換原則１、及び、２の条件を満たす量子化代表値の割り当てが出来ていることが確認できる。   The pixel value conversion information setting unit 106 repeats the above-described processing from S1101 to S1104 until all the pixel value scores are determined to be 0 in S1102. As a result, as shown in FIG. 12C, the quantization representative values of m are assigned to the pixel values 0 to 6 of n, and the representative values of m are made to correspond to the pixel values 0 to 6 of m in ascending order. The Referring to FIG. 12C, it can be confirmed that 3 (that is, 2δ + 1) or 2 (that is, δ + 1) quantization representative values are allocated within the allowable range of each pixel value of n. That is, it can be confirmed that allocation of quantization representative values satisfying conversion principles 1 and 2 is completed.

次にＳ１１０５にて、画素値変換情報設定部１０６は、Ｓ１１０４で得たｎとｍの関係をもとに、図８のｈ及びｈ-1の画素値変換を求める。画素値変換ｈは、既に変換原則１及び２で説明した通り、ｎの各画素値の許容誤差内にあるｍの量子化代表値のうち、上下の両方（ｎの許容誤差が画素値の上限下限を含む場合は適切な一方）にδ個以上の量子化代表値が存在する値に変換すれば良い。また、その条件を満たす候補が複数ある場合は、ｎ自身の画素値に最も近い位置に割り当てられた量子化代表値に変換すれば良い。図１３（ａ）に、図１２（ｃ）で得たｍの量子化代表値の割り当てから求めた、画素値変換ｈを定義するテーブルを示した。また画素値変換ｈ-1は図１２（ｃ）から、ｍの各画素値に対応するｎを一意に求めることができる。その例を図１３（ｂ）に示した。 Next, in S1105, the pixel value conversion information setting unit 106 obtains pixel value conversion of h and h -1 in FIG. 8 based on the relationship between n and m obtained in S1104. The pixel value conversion h is both upper and lower (n tolerance is the upper limit of the pixel value) among the quantization representative values of m within the tolerance of each pixel value of n as already explained in the conversion principles 1 and 2. In the case where the lower limit is included, it may be converted to a value in which δ or more quantization representative values exist. Further, when there are a plurality of candidates satisfying the condition, it may be converted into a quantization representative value assigned to a position closest to the pixel value of n itself. FIG. 13A shows a table that defines the pixel value conversion h, which is obtained from the assignment of the quantization representative values of m obtained in FIG. 12C. Further, the pixel value conversion h -1 can uniquely obtain n corresponding to each pixel value of m from FIG. 12 (c). The example is shown in FIG. 13 (b).

以上で本第３の実施形態における画素値変換情報設定部１０６の説明を終える。符号化装置１０１のその他の部位の動作は、画素値変換情報が関数からテーブルに変わった以外は、第１の実施形態と同様である。また、出力された符号データの復号も、第１の実施形態と同様、復号装置３０１で行うことが出来る。   This is the end of the description of the pixel value conversion information setting unit 106 in the third embodiment. The operation of the other parts of the encoding device 101 is the same as that of the first embodiment except that the pixel value conversion information is changed from the function to the table. Further, decoding of the output code data can also be performed by the decoding device 301 as in the first embodiment.

なお、本実施形態では、第２の画素値の量子化代表値は、入力画素値の有効範囲の整数値に割り当てたが、小数値に割り当てることもできる。その場合も、上で述べた変換原則を満たすような変換を行えば、画素値に応じた精度保証符号化を実現できる。また変換原則を満たす変換の中でより好適な変換を求める方法も、本実施形態内で説明したように、代表値スコアを求め、代表値スコアの高い物から優先的に代表値を割り当てるという考え方が適用できる。また、許容誤差情報が定める各画素値の許容誤差が小数の場合にも、本実施形態の考え方は同様に適用できる。   In the present embodiment, the quantization representative value of the second pixel value is assigned to an integer value of the valid range of the input pixel value, but may be assigned to a decimal value. Also in such a case, if conversion that satisfies the conversion principle described above is performed, accurate encoding can be realized according to the pixel value. In addition, as described in this embodiment, also a method of obtaining a more preferable conversion among conversions satisfying the conversion principle, it is a concept that a representative value score is obtained and a representative value is preferentially allocated from a high representative value score. Is applicable. Further, even when the tolerance of each pixel value determined by the tolerance information is a decimal, the concept of the present embodiment can be applied similarly.

以上で本第３の実施形態の説明を終える。上記構成により、第１の実施形態同様、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が定める許容誤差以下に抑えながら符号化可能な、符号化装置が実現できる。また、本第３の実施形態特有の効果として、許容誤差情報を、画素値に応じて任意の許容誤差を指定するテーブルの形で与えた場合においても適用できる符号化装置となっている。   This is the end of the description of the third embodiment. With the above configuration, as in the first embodiment, it is possible to realize an encoding apparatus that can perform encoding while suppressing the maximum value of errors generated by compression of each pixel of the input image to less than or equal to the tolerance defined by the tolerance information. In addition, as an effect unique to the third embodiment, the coding apparatus is applicable even in the case where the tolerance information is given in the form of a table for designating an arbitrary tolerance according to the pixel value.

なお、上記実施形態では、画像符号化部１０４は、ＪＰＥＧ−ＬＳ（のニアロスレスモード）に従って符号化する例を示した。しかし、符号化前後の画素値のずれが定数δ以内に収まることを保証しながら画像を符号化する符号化手段を制御する手段（符号化制御手段）であれば良く、符号化手段そのものは必ずしもＪＰＥＧ−ＬＳに限るものではない。   In the above embodiment, the image encoding unit 104 has described an example of encoding in accordance with JPEG-LS (the near lossless mode). However, any means (encoding control means) for controlling the encoding means for encoding an image while guaranteeing that the deviation of pixel values before and after encoding falls within a constant δ may be used, and the encoding means itself is not necessarily required. It is not limited to JPEG-LS.

［第４の実施形態］
第１の実施形態では、Ｃをｇ1（ｍ）との接続を考慮して適切な定数を定めればよいとしたが、ここではより適切なＣの算出方法について説明する。ここでは簡単のために、式２におけるＰ及びn-Aが常に正であることを仮定する。前述の通り本実施形態では基本的なアプローチとして、（ｉ）画素値変換情報設定部１０６が、距離画像の各画素値ｎ（小さいほど遠い）を、少階調の距離表現ｍ（大きいほど遠い）に変換し、（ｉｉ）画像符号化部１０４がニアロスレス符号化を行う。(iii)復号時には、画素値逆変換情報復号部３０５が誤差を含んだ画素値ｍ’を逆変換し復号画素値ｎ’を得る。この時生じる距離の誤差ε（ｎ） は次式（８）
ε（ｎ）＝｜ｆ（ｎ’）−ｆ（ｎ）｜ …（８）
により定義される。 Fourth Embodiment
In the first embodiment, an appropriate constant may be determined in consideration of the connection of C with g 1 (m). Here, a more appropriate calculation method of C will be described. Here, for simplicity, it is assumed that P and nA in Equation 2 are always positive. As described above, in the present embodiment, as the basic approach, (i) the pixel value conversion information setting unit 106 sets each pixel value n of the distance image (the smaller the distance, the smaller the distance representation m of the small gradation). (Ii) The image coding unit 104 performs near-lossless coding. (iii) At the time of decoding, the pixel value inverse conversion information decoding unit 305 inversely converts the pixel value m ′ including the error to obtain a decoded pixel value n ′. The distance error ε (n) generated at this time is given by the following equation (8)
ε (n) = | f (n ′) − f (n) | (8)
Defined by

少階調距離表現ｍを距離に変換する少階調距離取得関数ｇ0（ｍ） が、所定の距離未満である精度過剰部においてε（ｎ）≦ｅ（つまり第１の実施形態で記述した条件２）を満たすための条件を導く。以下に、上の(i)〜(iii)に対応する具体的処理を示す。これらは図１５とも対応しており、生じる距離の誤差が最大となる場合の様子を示している。
(i) 画素値ｎを少階調表現ｍに変換
ｍ0＝ｋ（ｎ）＝ｇ0 -1（ｆ（ｎ））
ｍ＝ＲＯＵＮＤ（ｍ0） …（９）
（ここで、ＲＯＵＮＤ(・)は四捨五入）
整数丸めにより少階調表現で最大 の誤差が発生。
(ii) (i)で得られた少階調画像をJPEG-LSにより符号化する。符号化により少階調表現で最大δの誤差が発生。この時の値をｍ’とする。
(iii) 逆変換により、復号画素値ｎ’を得る
ｎ’＝ＲＯＵＮＤ（ｋ-1（ｍ’）） …(１０)
整数丸めにより元の表現で最大０．５の誤差が発生。 The minor gradation distance acquisition function g 0 (m) for converting the minor gradation distance representation m into a distance is ε (n) ≦ e (that is, described in the first embodiment) in the over precision part where the minor distance is less than a predetermined distance. The condition for satisfying condition 2) is derived. Below, the specific process corresponding to the above (i)-(iii) is shown. These also correspond to FIG. 15, and show the situation where the error of the resulting distance is maximum.
(i) Convert pixel value n to minor gradation representation m m 0 = k (n) = g 0 -1 (f (n))
m = ROUND (m 0 ) (9)
(Here, ROUND (・) is rounded off)
Integer rounding causes maximum error in small gradation expression.
(ii) Encode the low gradation image obtained in (i) by JPEG-LS. Due to encoding, an error of maximum δ occurs in the small gradation expression. The value at this time is m '.
(iii) Obtain a decoded pixel value n 'by inverse transformation n' = ROUND (k -1 (m ')) (10)
Integer rounding causes an error of up to 0.5 in the original representation.

繰り返しになるが、上記処理により(i)，(iii)ではそれぞれ最大0.5の丸め誤差が，(ii)では符号化によって最大δの誤差が生じる。これらの誤差を考慮して，階調数を最小化して符号量を削減するには，図１５に示されるようにe(n) = Eとなればよく、ｇ0（ｍ）は次の式（１２）を満たすことが最適である。

Figure 0006529374
以上がｆ（ｎ）に依存しない画素値変換の基本的な考え方であり、以下ではｆ（ｎ）が（２）式で与えられる場合のｇ0（・）の解とその扱いを示す。式（１２）のｆ（・）を式（２）により展開すると、次式（１３）が得られる。
Figure 0006529374
 （１３）式は次のように変形できる。
Figure 0006529374
 上記の漸化式を解くと次式（１４）を得る。
Figure 0006529374
 ただし，ｇ0をデバイスが出力し得る最小距離とし、
α、βは、
Figure 0006529374
 の解、
Figure 0006529374
Figure 0006529374
 とした。 Again, the above process results in rounding errors of up to 0.5 in (i) and (iii) respectively, and up to δ errors in (ii) due to encoding. In order to minimize the number of gradations and reduce the code amount in consideration of these errors, it is sufficient if e (n) = E as shown in FIG. 15, and g 0 (m) is It is optimal to satisfy (12).
Figure 0006529374
 The above is the basic idea of pixel value conversion which does not depend on f (n), and in the following, the solution of g 0 (·) and its handling when f (n) is given by the equation (2) will be shown. By expanding f (·) of the equation (12) by the equation (2), the following equation (13) is obtained.
Figure 0006529374
 Equation (13) can be modified as follows.
Figure 0006529374
 If the above recurrence equation is solved, the following equation (14) is obtained.
Figure 0006529374
 However, let g 0 be the minimum distance that the device can output,
α and β are
Figure 0006529374
 Solution of
Figure 0006529374
Figure 0006529374
 And

次に精度過剰部（ｄ＜ｄt）を定義する。ｚtは次の式（１５）で定義される。
｜（ｆ-1）'（ｄ）｜＝｜（ｇ0 -1）'（ｄ）｜ …（１５）
これは、変換によって階調数が削減される範囲であり、ｄtはｇ（ｍ）の傾きがｆ（ｎ）と一致する距離である。この時、画素値変換はｎ＞ｆ-1（ｄt）の場合に行う。なお、（・）'はｄに関する微分を表す。また、変換後の画素値と距離の対応の連続性を保つためには、

Figure 0006529374
とすれば良い。なおこのとき、ｋ（ｎ）を次式（１６）で定義しなおすことができる。
ｋ（ｎ）＝Ｃ−ｇ-1（ｆ（ｎ）） …（１６） Next, the over precision part (d <d t ) is defined. z t is defined by the following equation (15).
| (F -1 ) '(d) | = | (g 0 -1 )' (d) | (15)
This is a range in which the number of gradations is reduced by the conversion, and d t is a distance at which the slope of g (m) matches f (n). At this time, pixel value conversion is performed in the case of n> f −1 (d t ). Note that (·) ′ represents the derivative of d. Also, to maintain the continuity between the converted pixel value and the distance,
Figure 0006529374
 You should do. At this time, k (n) can be redefined by the following equation (16).
k (n) = Cg- 1 (f (n)) (16)

［第５の実施形態］
第１の実施形態では、画素値変換情報設定部１０６において、許容誤差情報取得部１０５で取得した許容誤差を満たすような変換を算出し、その結果を設定した。本実施形態では事前に２通りの画素値変換情報を求めておき、画素値変換情報設定部１０６では、許容誤差情報に応じてそれらを切り替える例を示す。 Fifth Embodiment
In the first embodiment, the pixel value conversion information setting unit 106 calculates a conversion that satisfies the allowable error acquired by the allowable error information acquiring unit 105, and sets the result. In the present embodiment, two types of pixel value conversion information are obtained in advance, and the pixel value conversion information setting unit 106 shows an example of switching them in accordance with the allowable error information.

本実施形態の装置構成、及び処理フローは第１の実施形態と同様、図１、図２で表すことができる。ただし処理の詳細が異なる為、詳細を補足する。   The apparatus configuration and process flow of this embodiment can be represented by FIG. 1 and FIG. 2 as in the first embodiment. However, since the details of the processing are different, the details will be supplemented.

まず、本実施形態では許容誤差情報取得部１０５において、許容誤差を間接的に指定する情報として撮影モードを受け取る。撮影モードの例を図１６に示す。ここでは撮影モードとして人体検出モード及び姿勢認識モードを指定するものとする。それぞれの撮影モードに十分な精度ｅは、人体検出モードでは１００［ｍｍ］、姿勢認識モードでは３０［ｍｍ］とする。これは人体検出に距離情報を利用する場合には、人と背景や、人と人同士の重なりが分離出来れば十分な検出精度が出ると考えられる為である。また、姿勢認識においては、主要な間接同士の位置関係が分かれば姿勢推定精度がでると考えられる為である。なお、上記のパラメータｅは図５（ｂ）に図示したパラメータｅと同一の物である。   First, in the present embodiment, the allowable error information acquisition unit 105 receives the imaging mode as information for indirectly specifying the allowable error. An example of the imaging mode is shown in FIG. Here, it is assumed that the human body detection mode and the posture recognition mode are designated as the photographing mode. The accuracy e sufficient for each imaging mode is 100 [mm] in the human body detection mode and 30 [mm] in the posture recognition mode. This is because when distance information is used for human body detection, it is considered that sufficient detection accuracy can be obtained if separation between human and background or between human and human can be separated. Further, in posture recognition, it is considered that accuracy in posture estimation can be obtained if the positional relationship between main indirects is known. The above-mentioned parameter e is the same as the parameter e shown in FIG. 5 (b).

次に、画素値変換情報設定部１０６においては、許容誤差情報取得部１０５で取得した撮影モードに応じて、画素値変換情報を選択する。画素値変換情報は上記２つの撮影モードに応じたそれぞれに対して変換テーブルが事前に算出されて、不図示の記憶部に格納されており、撮影モードに応じてそのいずれかを読み出す。なお、パラメータｅ毎の変換情報の算出は第１の実施形態に求めた方法で求めることができる。第１の実施形態では変換式の算出方法を述べたが、そこから変換テーブルを求めることは容易である。   Next, in the pixel value conversion information setting unit 106, pixel value conversion information is selected according to the imaging mode acquired by the allowable error information acquisition unit 105. For the pixel value conversion information, conversion tables are calculated in advance for each of the two imaging modes and stored in a storage unit (not shown), and either of them is read according to the imaging mode. The conversion information for each parameter e can be calculated by the method obtained in the first embodiment. In the first embodiment, the method of calculating the conversion formula has been described, but it is easy to obtain the conversion table from there.

画素値逆変換情報符号化部１０７では画素値変換情報設定部１０６で設定した変換テーブルの情報を送る。なお、対応する復号装置にも撮影モードに応じた逆変換テーブルを記憶する記憶部を持たせておけば、変換テーブルの符号化は不要であり、撮影モードを区別するための情報のみを符号化すれば良い。本実施形態の例では撮影モードは２つであるため、１ｂｉｔのデータを符号化すれば良い。   The pixel value reverse conversion information encoding unit 107 sends information of the conversion table set by the pixel value conversion information setting unit 106. If the corresponding decoding device also has a storage unit that stores the inverse conversion table according to the imaging mode, encoding of the conversion table is unnecessary, and only information for distinguishing the imaging mode is encoded. Just do it. In the example of the present embodiment, since there are two imaging modes, 1-bit data may be encoded.

本実施形態で説明した符号化装置で出力される符号データは、第１の実施形態と同様、図３の復号装置により復号できる。なお、既に述べた通り、画素値逆変換情報復号部３０５においては、撮影モードに応じて不図示の記憶部から、撮影モードに応じて、事前に算出してある逆変換テーブルのいずれかを選択して読み込んでも良い。   The code data output from the encoding device described in this embodiment can be decoded by the decoding device in FIG. 3 as in the first embodiment. As already described, the pixel value reverse conversion information decoding unit 305 selects any of the reverse conversion tables calculated in advance according to the shooting mode from the storage unit (not shown) according to the shooting mode. You may read it.

以上で本実施形態の説明を終える。上記構成により、第１の実施形態と同様、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が定める許容誤差以下に抑えながら画像を符号化可能な、符号化装置が実現できる。また、本実施形態特有の効果として、撮影モードに応じた画素値変換情報を事前に算出しておき、それを選択的に切り替える為、画素値変換情報の算出処理が不要になり、処理負荷が小さくなるという効果がある。   This is the end of the description of the present embodiment. With the above configuration, as in the first embodiment, an encoding apparatus capable of encoding an image while suppressing the maximum value of errors generated by compression of each pixel of the input image to less than or equal to the tolerance defined by the tolerance information. realizable. Further, as an effect unique to the present embodiment, pixel value conversion information corresponding to the imaging mode is calculated in advance and selectively switched, so that the process of calculating the pixel value conversion information becomes unnecessary, and the processing load is increased. It has the effect of becoming smaller.

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU or the like) of the system or apparatus reads the program. It is a process to execute.

１０１…符号化装置、１０２…画像入力部、１０３…画像変換部、１０４…画像符号化部、１０５…許容誤差情報取得部、１０６…画素値変換情報設定部、１０７…画素値逆変換情報符号化部、１０８…多視点画像撮影部、１０９…視差推定部 DESCRIPTION OF SYMBOLS 101 ... Encoding device, 102 ... Image input part, 103 ... Image conversion part, 104 ... Image coding part, 105 ... Acceptable error information acquisition part, 106 ... Pixel value conversion information setting part, 107 ... Pixel value reverse conversion information code , 108: multi-viewpoint image capturing unit, 109: disparity estimation unit

Claims (11)

画像を、画素値に応じた許容誤差を定める許容誤差情報に従って符号化する画像符号化装置であって、
符号化対象の画像の画素値を、第２の画素値に変換するための画素値変換情報を、前記許容誤差情報に応じて設定する設定手段と、
符号化対象の画像の各画素値を前記画素値変換情報に基づいて変換することで、変換後の画素で構成される第２の画像を生成する画像変換手段と、
符号化前後の画素値の差が予め設定された定数δ以内で符号化する符号化手段を用いて、前記第２の画像を符号化する第１の符号化制御手段と、
前記画素値変換情報に基づき、前記第２の画像の画素値を入力画像の画素値に関わる値に変換する画素値逆変換情報を生成し、当該画素値逆変換情報を符号化する第２の符号化制御手段とを有し、
前記設定手段は、前記第２の画像の画素値がδずれた場合に、入力画像の画素値のずれが許容誤差以内に収まる様な変換を行うための情報を、前記画素値変換情報として設定することを特徴とする符号化装置。 What is claimed is: 1. An image coding apparatus for coding an image according to tolerance information defining a tolerance according to a pixel value, the image coding apparatus comprising:
Setting means for setting pixel value conversion information for converting a pixel value of an image to be encoded into a second pixel value according to the allowable error information;
An image conversion unit that generates a second image configured of the converted pixels by converting each pixel value of the image to be encoded based on the pixel value conversion information;
First encoding control means for encoding the second image by using encoding means for encoding the difference between pixel values before and after encoding within a preset constant δ;
Second, pixel value reverse conversion information for converting a pixel value of the second image into a value related to a pixel value of the input image is generated based on the pixel value conversion information, and the pixel value reverse conversion information is encoded. And encoding control means,
The setting means sets, as the pixel value conversion information, information for performing conversion such that the pixel value deviation of the input image falls within an allowable error when the pixel value of the second image is shifted by δ. An encoding apparatus characterized in that. 前記第２の符号化制御手段が符号化するために生成する情報は、前記第２の画像における画素値を前記符号化対象の画像の該当する画素値に変換するための情報であることを特徴とする請求項１に記載の符号化装置。   The information generated for encoding by the second encoding control means is information for converting a pixel value in the second image into a corresponding pixel value of the image to be encoded. The encoding device according to claim 1. 前記第２の符号化制御手段が符号化するために生成する情報は、前記第２の画像における画素値を物理量に変換するための情報であることを特徴とする請求項１又は２に記載の符号化装置。   3. The information according to claim 1, wherein the information generated for encoding by the second encoding control means is information for converting pixel values in the second image into physical quantities. Encoding device. 前記第１の符号化制御手段が用いる符号化手段がＪＰＥＧ−ＬＳに従って符号化する手段であることを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。   The encoding apparatus according to any one of claims 1 to 3, wherein the encoding means used by the first encoding control means is means for encoding according to JPEG-LS. 前記設定手段は、前記許容誤差情報に従って、符号化対象の画像の画素値に応じた許容誤差を間接的に定めることを特徴とする請求項１乃至４のいずれか１項に記載の符号化装置。   The encoding apparatus according to any one of claims 1 to 4, wherein the setting means indirectly determines an allowable error according to a pixel value of an image to be encoded according to the allowable error information. . 前記符号化対象の画像は撮影装置と被写体との距離を視差で表現した視差画像であり、前記許容誤差情報は視差表現における定数の誤差と、距離表現における定数の誤差を組み合わせた形で許容誤差を指定する情報であることを特徴とする請求項１乃至５のいずれか１項に記載の符号化装置。 Acceptable the encoding target image is a parallax image representing the distance between the imaging apparatus and the subject in the parallax, and the error of the constant in the acceptable error data is visual difference representation, in the form of a combination of error constant in the distance represented The encoding apparatus according to any one of claims 1 to 5, wherein the encoding apparatus is information specifying an error. 画像内の注目領域を特定する注目領域特定手段と、
前記注目領域内の画素値ほど少ない誤差になる様に、前記許容誤差情報を算出する許容誤差情報算出手段と
を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。 Attention area identification means for specifying an attention area in an image;
The code according to any one of claims 1 to 6, further comprising: tolerance error information calculation means for calculating the tolerance error information such that the smaller the pixel value in the region of interest, the smaller the error. Device. 前記設定手段は、符号化対象の画像の各画素値に対し、
許容誤差内に画素値の有効範囲の上限と下限が含まれない場合は、許容誤差内に２δ＋１個以上の量子化代表値を割り当て、
許容誤差内に画素値の有効範囲の上限もしくは下限の一方が含まれる場合は、許容誤差内にδ＋１個以上の量子化代表値を割り当て、
許容誤差内に画素値の有効範囲の上限と下限の両方が含まれる場合は、許容誤差内に１個以上の量子化代表値を割り当てる、代表値割り当て手段を含み、
前記割り当てた代表値をもとに、前記画素値変換情報を算出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。 The setting unit is configured to, for each pixel value of an image to be encoded,
If the upper and lower limits of the effective range of the pixel value are not included in the tolerance error, 2δ + 1 or more quantization representative values are assigned within the tolerance error,
If the tolerance includes one of the upper limit and the lower limit of the effective range of the pixel value, assign δ + 1 or more quantization representative values within the tolerance,
And including representative value assigning means for assigning one or more quantization representative values within the tolerance if the tolerance includes both the upper and lower limits of the effective range of the pixel value.
The encoding device according to any one of claims 1 to 6, wherein the pixel value conversion information is calculated based on the assigned representative value. 画像を、画素値に応じた許容誤差を定める許容誤差情報に従って符号化する画像符号化装置の制御方法であって、
設定手段が、符号化対象の画像の画素値を、第２の画素値に変換するための画素値変換情報を、前記許容誤差情報に従って設定する設定工程と、
画像変換手段が、前記符号化対象の画像の各画素値を前記画素値変換情報に基づいて変換することで、変換後の画素で構成される第２の画像を生成する画像変換工程と、
第１の符号化制御手段が、符号化前後の画素値の差が予め設定された定数δ以内で符号化する符号化手段を用いて、前記第２の画像を符号化する第１の符号化制御工程と、
第２の符号化制御手段が、前記画素値変換情報に基づき、前記第２の画像の画素値を入力画像の画素値に関わる値に変換する画素値逆変換情報を生成し、可逆符号化手段を用いて当該画素値逆変換情報を符号化する第２の符号化制御工程とを有し、
前記設定工程では、前記第２の画像の画素値がδずれた場合に、入力画像の画素値のずれが許容誤差以内に収まる様な変換を行うための情報を、前記画素値変換情報として設定することを特徴とする符号化装置の制御方法。 A control method of an image coding apparatus, which codes an image according to tolerance information which defines a tolerance according to a pixel value,
A setting step of setting pixel value conversion information for converting a pixel value of an image to be encoded into a second pixel value according to the allowable error information;
An image conversion step of generating a second image composed of pixels after conversion by the image conversion means converting each pixel value of the image to be encoded based on the pixel value conversion information;
First encoding control means, using a coding means for coding the difference is within δ constant preset pixel values before and after marks Goka, a first code for encoding said second image Control process,
The second encoding control means generates pixel value inverse conversion information for converting the pixel value of the second image into a value related to the pixel value of the input image based on the pixel value conversion information, and a lossless encoding means And second encoding control step of encoding the pixel value inverse transformation information using
In the setting step, when the pixel value of the second image shifts by δ, information for performing conversion such that the shift of the pixel value of the input image falls within an allowable error is set as the pixel value conversion information. And controlling the encoding apparatus. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至８のいずれか１項に記載の符号化装置として機能させるためのプログラム。   A program for causing a computer to function as the encoding device according to any one of claims 1 to 8 by causing the computer to read and execute. 請求項１０に記載のプログラムを格納したことを特徴とするコンピュータが読み込み可能な記憶媒体。   A computer readable storage medium storing the program according to claim 10.
JP2015148849A 2014-10-07 2015-07-28 Encoding apparatus and control method thereof Active JP6529374B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15185597.0A EP3007448A1 (en) 2014-10-07 2015-09-17 Disparity data encoding apparatus and method of controlling the same for
US14/871,024 US9602842B2 (en) 2014-10-07 2015-09-30 Encoding apparatus and method of controlling the same
CN201510642273.0A CN105491364B (en) 2014-10-07 2015-09-30 Code device and its control method
KR1020150140076A KR101897665B1 (en) 2014-10-07 2015-10-06 Encoding apparatus, method of controlling the same, program and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014206674 2014-10-07
JP2014206674 2014-10-07

Publications (3)

Publication Number Publication Date
JP2016076920A JP2016076920A (en) 2016-05-12
JP2016076920A5 JP2016076920A5 (en) 2018-08-30
JP6529374B2 true JP6529374B2 (en) 2019-06-12

Family

ID=55951837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015148849A Active JP6529374B2 (en) 2014-10-07 2015-07-28 Encoding apparatus and control method thereof

Country Status (2)

Country Link
JP (1) JP6529374B2 (en)
KR (1) KR101897665B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885258B1 (en) * 2010-05-14 2018-08-06 삼성전자주식회사 Method and apparatus for video encoding, and method and apparatus for video decoding
US8768073B2 (en) * 2011-07-05 2014-07-01 Texas Instruments Incorporated Method, system and computer program product for coding a region of interest within an image of multiple views
JP5729825B2 (en) * 2011-09-26 2015-06-03 日本電信電話株式会社 Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program

Also Published As

Publication number Publication date
KR20160041793A (en) 2016-04-18
KR101897665B1 (en) 2018-09-12
JP2016076920A (en) 2016-05-12

Similar Documents

Publication Publication Date Title
US9602842B2 (en) Encoding apparatus and method of controlling the same
US20170214943A1 (en) Point Cloud Compression using Prediction and Shape-Adaptive Transforms
JP6232076B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program
JP6232075B2 (en) Video encoding apparatus and method, video decoding apparatus and method, and programs thereof
JP2015119396A (en) Intra-prediction mode determination device, intra-prediction mode determination method, and intra-prediction mode determination program
JP2022103284A (en) Video encoder, video decoder, and their program
KR101750421B1 (en) Moving image encoding method, moving image decoding method, moving image encoding device, moving image decoding device, moving image encoding program, and moving image decoding program
JP6529374B2 (en) Encoding apparatus and control method thereof
JP5729825B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
JP6637711B2 (en) Encoding device and its control method, program, and storage medium
JP6614822B2 (en) Image encoding apparatus, control method thereof, program, and storage medium
JP6723003B2 (en) Image coding apparatus, control method thereof, program, and storage medium
JP7027044B2 (en) Image coding device, image coding method and program
JP6867774B2 (en) Image coding device and its control method
JP2020092327A (en) Image encoding device, image encoding method, and program
US9948932B2 (en) Image processing apparatus and control method of image processing apparatus
JP5759357B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program
JP5711636B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program
US20220272341A1 (en) Decoding device, decoding method, and storage medium
JP2014099716A (en) Image encoder and control method of the same
JP2017097815A (en) Information processing device, information processing method, and program
WO2015141549A1 (en) Video encoding device and method and video decoding device and method
KR20160086414A (en) Video coding method, video decoding method, video coding device, video decoding device, video coding program, and video decoding program
KR20150020593A (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium
WO2013136365A1 (en) Multiview image encoding device and method, and multiview image decoding device and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R151 Written notification of patent or utility model registration

Ref document number: 6529374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151