JP2013247653A

JP2013247653A - Image processing apparatus and image processing method

Info

Publication number: JP2013247653A
Application number: JP2012122398A
Authority: JP
Inventors: Hideyuki Matsui; 秀往松井; Hideshi Osawa; 秀史大澤; Masateru Kitago; 正輝北郷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-05-29
Filing date: 2012-05-29
Publication date: 2013-12-09

Abstract

PROBLEM TO BE SOLVED: To increase a compression rate, while maintaining image quality of a multi-viewpoint image which is reproduced by decoding a parallax map, when such a parallax map of the multi-viewpoint image is encoded.SOLUTION: A parallax map generating part 123 generates a parallax map for a center image I2 captured by a center camera 121, consisting of parallax data of each pixel of right and left reference images I1 and I3, respectively, which are captured by right and left cameras 120 and 122, respectively, with respect to each pixel of the center image I2. When the parallax map is generated, pixels of the reference images, having difference from an attention pixel of the center image within an allowable range, are searched in predetermined search ranges, corresponding to the attention pixel, of the reference images, and position information of the searched pixels is defined as candidate parallax data. Then data which is closest to parallax data of a peripheral pixel around the attention pixel is selected from the candidate parallax data for determining parallax data with respect to the attention pixel. A code amount for encoding the parallax map and image quality of a reproduced image can be controlled with the value of this allowable range.

Description

本発明は、多視点画像を符号化する画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for encoding a multi-viewpoint image.

従来より、複数の視点で被写体を撮影して得られた多視点映像を利用して、ステレオ立体視や自由視点合成といった映像表現を実現する方法が知られている。そのような映像表現を実現するためには、撮影した多視点映像を保存する必要があり、異なる視点での多視点映像を個々に符号化する際には、視点数に比例した膨大なデータ量を保存することになるという問題がある。 2. Description of the Related Art Conventionally, there is known a method for realizing video expression such as stereo stereoscopic viewing or free viewpoint synthesis using multi-view video obtained by photographing a subject from a plurality of viewpoints. In order to realize such a video expression, it is necessary to save the captured multi-view video, and when encoding multi-view video from different viewpoints individually, a huge amount of data proportional to the number of viewpoints There is a problem that will be saved.

多視点画像についての視点間(すなわちカメラ間)の距離が近いほど該視点の画像間の相関が高く、この画像(視点)間差分すなわち視差を符号化することで、個々の画像を符号化した場合に比べて符号化後のデータ量を削減できると考えられる。このような視差の性質を利用した符号化方式としては例えば、ステレオ画像の対応点である視差マップを画素一致判定により作成することで、データ量を抑えながら、指定された視点の画像を高速に作成する方法が開示されている(例えば、特許文献1参照)。 The closer the distance between viewpoints (that is, between cameras) in a multi-viewpoint image, the higher the correlation between the images of the viewpoints, and the individual images were encoded by encoding the difference between these images (viewpoints), that is, the parallax. It is considered that the amount of data after encoding can be reduced compared to the case. As an encoding method using such a parallax property, for example, a parallax map that is a corresponding point of a stereo image is created by pixel matching determination, so that an image of a specified viewpoint can be generated at high speed while suppressing the data amount. A production method is disclosed (for example, see Patent Document 1).

また、ステレオ画像から生成された視差マップを符号化、復号する手段を有し、視差データの変換方式とアフィン変換パラメータを符号化する方法が開示されている(例えば、特許文献2参照)。 In addition, a method for encoding and decoding a parallax data conversion method and an affine transformation parameter has been disclosed (see, for example, Patent Document 2), which includes means for encoding and decoding a parallax map generated from a stereo image.

また、視差データの圧縮に関し、ステレオ画像において左右の一方を主画像、他方を副画像とする2画像のブロック間の相関が最大になるブロックを特定し、ブロック間の変位量を視差情報として符号化する方法が開示されている(例えば、特許文献3参照)。この方法においてはさらに、視差情報を量子化して可変長符号化している。 In addition, regarding the compression of parallax data, in the stereo image, the block that maximizes the correlation between the blocks of the two images with one of the left and right as the main image and the other as the sub image is identified, and the displacement amount between the blocks is encoded as the parallax information. Has been disclosed (see, for example, Patent Document 3). In this method, the parallax information is further quantized and variable-length coded.

また、2眼以上の撮影環境における隠れ領域(オクルージョン)による視差の誤り補正に関し、ステレオ画像から求めたオクルージョン領域における視差の誤りを高精度に補正する方式が開示されている(例えば、特許文献4参照)。この方法ではまず、ステレオ画像として撮影された左右の画像から対応するずれ(視差)を示す視差マップを作成し、視差マップから視差が急変する視差輪郭を求め視差輪郭を挟む一対の探索ウインドウを設定する。そして、勾配の大きい方の画像の対応する探索ウインドウのオクルージョン領域を含む探索ウインドウを判別し、オクルージョン領域を含むと判別された探索ウインドウ内のオクルージョン領域の視差を、他方の探索ウインドウ側の視差に補正する。 In addition, with respect to parallax error correction due to a hidden area (occlusion) in a shooting environment of two or more eyes, a method for correcting parallax error in an occlusion area obtained from a stereo image with high accuracy is disclosed (for example, Patent Document 4). reference). In this method, first, a parallax map showing the corresponding shift (parallax) is created from the left and right images taken as stereo images, and a pair of search windows sandwiching the parallax contour is obtained by obtaining a parallax contour in which the parallax changes suddenly from the parallax map. To do. Then, the search window including the occlusion area of the search window corresponding to the image having the larger gradient is determined, and the parallax of the occlusion area in the search window determined to include the occlusion area is changed to the parallax on the other search window side. to correct.

また、視差マップのデータ量を削減するための方法として、ブロック毎に視差データを与える方法や、視差マップのノイズ除去を行う方法が知られている。視差マップのノイズ除去方法として、以下のような方法が開示されている。まず、視差を奥行き値に変換した後にノイズの多い視差マップに対して表面フィルタリングを行い、近隣点の候補視差から着目点の候補奥行き値に向かう単位ベクトルの和のノルムのz成分を最小化する方法が開示されている(例えば、特許文献5参照)。また、視差の差が最小になるようなエネルギー関数を設定し、その最小化問題を解く方法が開示されている(例えば、非特許文献2参照)。 Also, as a method for reducing the data amount of the parallax map, a method of giving parallax data for each block and a method of removing noise from the parallax map are known. The following methods are disclosed as a method for removing noise from a parallax map. First, after converting the parallax into a depth value, surface filtering is performed on the noisy parallax map, and the z component of the norm of the sum of unit vectors from the candidate parallax of the neighboring point to the candidate depth value of the point of interest is minimized. A method is disclosed (for example, see Patent Document 5). In addition, a method for setting an energy function that minimizes the difference in parallax and solving the minimization problem is disclosed (for example, see Non-Patent Document 2).

また、撮影時の光線空間情報を取得する方式として、マイクロレンズアレイを用いて方向情報を取得する方法およびそのデータ圧縮方式が開示されている(例えば、特許文献6,7、非特許文献1参照)。 Further, as a method of acquiring light space information at the time of photographing, a method of acquiring direction information using a microlens array and a data compression method thereof are disclosed (see, for example, Patent Documents 6 and 7, Non-Patent Document 1). ).

特開2010-79505号公報JP 2010-79505 A 特表2005-535203号公報Special Table 2005-535203 Publication 特開平10-28274号公報Japanese Patent Laid-Open No. 10-28274 特開2011-60116号公報JP 2011-60116 特表2010-502945号公報Special Table 2010-502945 特開2008-182692号公報JP 2008-182692 JP 特表2008-515110号公報Special table 2008-515110

Marc Levoy,"Light Field Rendering"。In SIGGRAPH 96 Conference Proceeding,Annual Conference Series, page 31-42, August 1996.Marc Levoy, "Light Field Rendering". In SIGGRAPH 96 Conference Proceeding, Annual Conference Series, page 31-42, August 1996. 電子情報通信学会論文誌DVol.J90-D No.7 pp.1721-1725IEICE Transactions DVol.J90-D No.7 pp.1721-1725

しかしながら、上記従来の多視点画像における視差を利用した符号化方式においては、以下のような問題があった。例えば、上記特許文献1のように画素一致判定法によって視差マップを作成する際には、画素値が近くなる複数の視差候補が存在する。したがって、これらの候補の中から視差を任意に選択すると、視差マップは非常にノイズの多い画像となり、圧縮率を上げることができない。 However, the conventional encoding method using parallax in a multi-viewpoint image has the following problems. For example, when creating a parallax map by the pixel matching determination method as in Patent Document 1, there are a plurality of parallax candidates whose pixel values are close to each other. Therefore, if parallax is arbitrarily selected from these candidates, the parallax map becomes a very noisy image, and the compression rate cannot be increased.

また、上記特許文献2,3に記載された技術では、圧縮率を上げるためにブロック毎に視差を与えるが、ブロック毎の視差であるため再生画像の画素ごとの画質を制御することはできない。 Further, in the techniques described in Patent Documents 2 and 3, parallax is given to each block in order to increase the compression rate, but since the parallax is for each block, the image quality for each pixel of the reproduced image cannot be controlled.

また、3眼カメラの場合、左右の画像のうち誤差を最小にする方向の視差を選択する方法を採用した場合、左右の識別情報が別途必要となり、その分符号量が多くなってしまうという問題がある、上記特許文献4ではこの問題についての解決は視差されていない。 Also, in the case of a trinocular camera, if a method of selecting parallax in the direction that minimizes the error between the left and right images, separate identification information on the left and right is required, and the amount of code increases accordingly. In Patent Document 4, the solution to this problem is not parallaxed.

また、上記特許文献5のように視差マップに対してフィルター処理を行うと、視差データが示す画像再生時の参照ポイントの画素値が変わることで再生画像の画質が大きく変わってしまうため、再生画像の画質制御が困難となるという問題がある。 In addition, when filter processing is performed on a parallax map as in Patent Document 5 above, since the pixel value of the reference point at the time of image playback indicated by the parallax data changes, the quality of the playback image changes greatly. There is a problem that it becomes difficult to control the image quality.

また非特許文献2では、被写体の奥行きが滑らかに変化するという拘束条件のもとで、全視差を対象としてダイナミックプログラミングを解くため、処理時間がかかる。また、上記特許文献5のフィルタ処理を用いる場合と同様に、再生画像に対する誤差保証が困難である。 In Non-Patent Document 2, since dynamic programming is solved for all parallaxes under the constraint that the depth of the subject changes smoothly, processing time is required. Further, as in the case of using the filter processing of Patent Document 5, it is difficult to guarantee an error for a reproduced image.

さらに、上記特許文献6,7、および非特許文献1に示される、マイクロレンズアレイを用いて光線空間情報を獲得するプレノプティックカメラに対し、視差マップを用いた符号化を適用することが考えられる。しかしながらこの場合、マイクロレンズごとに発生する視差の無効領域や、新たに撮影領域に入ってきた画像領域において、符号量が増加するという問題がある。 Furthermore, encoding using a parallax map can be applied to the plenoptic camera that acquires light space information using a microlens array, as shown in Patent Documents 6 and 7 and Non-Patent Document 1. Conceivable. However, in this case, there is a problem that the code amount increases in an invalid area of parallax generated for each microlens and an image area newly entering the imaging area.

本発明は上記問題に鑑み、多視点画像の視差マップを符号化する際に、該視差マップの復号により再現された多視点画像の画質を維持しつつ圧縮率を向上させることを目的とする。 In view of the above problems, an object of the present invention is to improve the compression rate while maintaining the image quality of a multi-viewpoint image reproduced by decoding the parallax map when a parallax map of a multi-viewpoint image is encoded.

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。 As a means for achieving the above object, an image processing apparatus of the present invention comprises the following arrangement.

すなわち、同一の被写体を異なる視点から撮影した注目画像と参照画像を入力する入力手段と、前記注目画像における注目画素の位置に応じた、前記参照画像の所定の探索範囲において、前記注目画素との画素値差分が所定の許容範囲内となる画素を探索し、該探索された画素の位置情報を視差データ候補とする候補探索手段と、前記視差データ候補から、前記注目画素の周辺画素に対して決定された視差データに最も近い1つを選択し、該選択した視差データを前記注目画素に対する視差データとする視差データ決定手段と、前記視差データ決定手段で決定された視差データからなる視差マップを生成する視差マップ生成手段と、前記参照画像および前記視差マップを符号化して出力する符号化手段と、を有することを特徴とする。 That is, an input unit that inputs a target image and a reference image obtained by capturing the same subject from different viewpoints, and a target pixel in a predetermined search range of the reference image according to the position of the target pixel in the target image. A candidate search unit that searches for a pixel whose pixel value difference falls within a predetermined allowable range, and uses the position information of the searched pixel as a parallax data candidate, and from the parallax data candidate to a peripheral pixel of the target pixel A parallax data determination unit that selects one closest to the determined parallax data and uses the selected parallax data as parallax data for the target pixel; and a parallax map including the parallax data determined by the parallax data determination unit. It has a parallax map generation means to generate, and an encoding means for encoding and outputting the reference image and the parallax map.

本発明によれば、多視点画像の視差マップを符号化する際に、該視差マップの復号により再現された多視点画像の画質を維持しつつ圧縮率を向上させることが可能となる。 According to the present invention, when a parallax map of a multi-viewpoint image is encoded, the compression rate can be improved while maintaining the image quality of the multi-viewpoint image reproduced by decoding the parallax map.

第1実施形態におけるカメラシステムの概要構成例を示すブロック図、A block diagram showing a schematic configuration example of a camera system in the first embodiment, 第1実施形態における画像撮影から再生までの画像処理を示すフローチャート、A flowchart showing image processing from image shooting to playback in the first embodiment, 第1実施形態にける視差マップ生成処理を示すフローチャート、A flowchart showing a disparity map generation process in the first embodiment, 第1実施形態における左右の視差データ候補探索処理を示すフローチャートFlowchart showing left and right parallax data candidate search processing in the first embodiment 第1実施形態における視差データ候補算出処理を示すフローチャート、The flowchart which shows the parallax data candidate calculation process in 1st Embodiment, 第1実施形態における視差データ候補の探索処理を説明する図、The figure explaining the search process of the parallax data candidate in 1st Embodiment, 第1実施形態における許容差分とSN比の関係を示す図、The figure which shows the relationship between the allowable difference and SN ratio in 1st Embodiment, 第1実施形態における視差データ候補の例を示す図、The figure which shows the example of the parallax data candidate in 1st Embodiment, 第1実施形態における視差データ決定処理を示すフローチャート、Flowchart showing disparity data determination processing in the first embodiment, 第1実施形態における視差データの選択例を示す図、The figure which shows the example of selection of parallax data in a 1st embodiment. 第1実施形態の変形例1における視差データ決定処理を示すフローチャート、Flowchart showing the parallax data determination process in Modification 1 of the first embodiment, 第1実施形態の変形例1における視差データの選択例を示す図、The figure which shows the example of selection of parallax data in modification 1 of a 1st embodiment. 第1実施形態の変形例2におけるカメラシステムに適用可能なコンピュータによるハードウェア構成例を示す図、The figure which shows the hardware structural example by the computer applicable to the camera system in the modification 2 of 1st Embodiment, 第2実施形態における左右視差データ候補の選択処理を示すフローチャート、The flowchart which shows the selection process of the right-and-left parallax data candidate in 2nd Embodiment, 第3実施形態におけるプレノプティックカメラシステムの概要構成を示す図、The figure which shows the outline | summary structure of the plenoptic camera system in 3rd Embodiment, 第3実施形態における符号化データの構成例を示す図、である。FIG. 10 is a diagram showing a configuration example of encoded data in a third embodiment.

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiments do not limit the present invention related to the scope of claims, and all combinations of features described in the present embodiments are essential for the solution means of the present invention. Is not limited.

＜第1実施形態＞
●システム構成
図1に、本実施形態におけるカメラシステムの概要構成例を示す。同図に示すカメラシステムにおいては、複数のカメラで撮影した多視点画像を符号化して圧縮・送信した後に再生・表示する。本システム例では3台のカメラ120,121,122を備え、カメラ120,122から参照画像I1,I3が入力され、カメラ121から中央画像I2が入力される。すなわちカメラ120,121,122の位置関係に応じて、注目画像I2に対し、参照画像I1,I3はそれぞれ右側視点,左側視点からの撮影画像となる。 <First Embodiment>
System Configuration FIG. 1 shows a schematic configuration example of the camera system in this embodiment. In the camera system shown in the figure, multi-viewpoint images taken by a plurality of cameras are encoded, compressed and transmitted, and then reproduced and displayed. In this system example, three cameras 120, 121, and 122 are provided, reference images I 1 and I 3 are input from the cameras 120 and 122, and a center image I 2 is input from the camera 121. That is, according to the positional relationship between the cameras 120, 121, and 122, the reference images I1 and I3 are captured images from the right viewpoint and the left viewpoint, respectively, with respect to the target image I2.

3つの画像I1,I2,I3は視差マップ生成部123に入力され、中央画像I2に対する参照画像I1,I3の画素毎のずれ(視差)を示す視差マップが生成される。視差マップ生成部123からは、生成された視差マップと、参照画像I1,I3が出力される。この参照画像I1,I3については、参照画像用の圧縮部124,125で画像圧縮が施されるが、この圧縮は可逆(lossless)符号化方式によることが望ましい。また視差マップについては、圧縮部126で圧縮される。視差マップについてもPNGやZIP等の可逆符号化方式を用いることが望ましい。本実施形態における再生画像の画質および符号量の調整は、後述するように視差マップ生成部123で許容差分を調整することによって行われる。本実施形態ではすなわち、望ましい画質および符号量が得られるような許容差分を設定して、視差マップを生成することを特徴とする。 The three images I1, I2, and I3 are input to the parallax map generating unit 123, and a parallax map that indicates a shift (parallax) for each pixel of the reference images I1 and I3 with respect to the central image I2 is generated. The generated parallax map and reference images I1 and I3 are output from the parallax map generating unit 123. The reference images I1 and I3 are subjected to image compression by the reference image compression units 124 and 125, and this compression is preferably performed by a lossless encoding method. The parallax map is compressed by the compression unit 126. It is desirable to use a lossless encoding method such as PNG or ZIP for the parallax map. The adjustment of the image quality and the code amount of the reproduced image in the present embodiment is performed by adjusting the allowable difference by the parallax map generation unit 123 as described later. That is, the present embodiment is characterized in that a parallax map is generated by setting an allowable difference such that a desired image quality and code amount can be obtained.

以上のように参照画像I1,I3、および視差マップが圧縮されると、送信部127がこれらの圧縮データを送信する。そして受信部128で該圧縮データを受信し、復号部129,130で参照画像データを復号して再生画像I1',I3'を生成し、復号部131で視差マップを復号する。再生部132では、参照画像の再生画像I1',I3'と視差マップにより、中央画像I2の再生画像I2'を生成する。この再生画像I2'は、参照画像I1,I3の画素データを視差マップのデータ分、横方向に移動したものである。 As described above, when the reference images I1 and I3 and the parallax map are compressed, the transmission unit 127 transmits the compressed data. The reception unit 128 receives the compressed data, the decoding units 129 and 130 decode the reference image data to generate reproduced images I1 ′ and I3 ′, and the decoding unit 131 decodes the parallax map. The reproduction unit 132 generates a reproduction image I2 ′ of the central image I2 based on the reproduction images I1 ′ and I3 ′ of the reference image and the parallax map. This reproduced image I2 ′ is obtained by moving the pixel data of the reference images I1 and I3 in the horizontal direction by the amount of the parallax map data.

なお、ここでは参照画像I1,I3および視差マップの符号化データを送信部127から送信し、受信部128で受信する例を示したが、これらをメモリ等に保持する形式であっても良い。 Although an example in which the reference images I1 and I3 and the encoded data of the parallax map are transmitted from the transmission unit 127 and received by the reception unit 128 is shown here, a format in which these are stored in a memory or the like may be used.

●画像撮影・再生処理
図2は、上記構成からなる本実施形態のカメラシステムにおける、画像撮影から再生までの画像処理概要を示すフローチャートである。まずS201で、カメラ120,121,122が、参照画像I1,I2、および中央画像I2の3画像を撮影する。なお、2台のカメラによる撮影を行って参照画像が1枚となる2眼(ステレオ画像)システムに対しても、本発明は同等に適用可能である。さらに、3眼以上のシステムであっても本発明は容易に拡張可能である。 Image Shooting / Reproduction Processing FIG. 2 is a flowchart showing an outline of image processing from image shooting to reproduction in the camera system of the present embodiment configured as described above. First, in S201, the cameras 120, 121, and 122 capture three images, that is, the reference images I1, I2 and the central image I2. Note that the present invention can be equally applied to a two-lens (stereo image) system in which a single reference image is obtained by photographing with two cameras. Furthermore, the present invention can be easily expanded even in a system with three or more eyes.

次にS202で視差マップ生成部123が、本実施形態の特徴である、中央画像I2に対する参照画像I1,I2のずれを示す視差マップの生成処理を行うが、その詳細については図3〜図9を用いて後述する。 Next, in S202, the parallax map generation unit 123 performs a process of generating a parallax map indicating the shift of the reference images I1 and I2 with respect to the central image I2, which is a feature of the present embodiment. Details thereof are illustrated in FIGS. Will be described later.

その後、参照画像I1,I3についてはS203で圧縮部124,125が、周知の画像圧縮方式であるJPEGやMPEG等の可逆符号化モードによる符号化を行う。またS202で生成された視差マップについてはS204で圧縮部126が、ライン単位でのランレングス符号化やLZ符号化、PNG符号化等の可逆符号化を行う。 Thereafter, in step S203, the compression units 124 and 125 perform coding on the reference images I1 and I3 in a lossless coding mode such as JPEG or MPEG that is a well-known image compression method. For the disparity map generated in S202, the compression unit 126 performs lossless encoding such as run length encoding, LZ encoding, and PNG encoding in units of lines in S204.

以上の符号化が終了すると、次にS205で送信部127および受信部128が、符号化データの記録・伝送を行う。そしてS206で復号部129,130が参照画像I1,I3を復号し、S207で復号部131が視差マップを復号する。これらの復号処理は、上記S203,S204での符号化処理に対応する方式によって行われる。そしてS208で再生部132が、復号された参照画像I1,I3と視差マップから中央画像I2を再生することによって、撮影時と同様の3画像が再生される。 When the above encoding is completed, in step S205, the transmission unit 127 and the reception unit 128 record and transmit encoded data. In S206, the decoding units 129 and 130 decode the reference images I1 and I3, and in S207, the decoding unit 131 decodes the parallax map. These decoding processes are performed by a method corresponding to the encoding process in S203 and S204. In S208, the reproduction unit 132 reproduces the central image I2 from the decoded reference images I1 and I3 and the parallax map, thereby reproducing the same three images as those at the time of shooting.

●視差マップ生成処理
以下、上記S202における視差マップの生成処理について、図3のフローチャートを用いて詳細に説明する。 Parallax Map Generation Processing Hereinafter, the parallax map generation processing in S202 will be described in detail with reference to the flowchart of FIG.

処理対象画像(本実施形態では中央画像I2)の注目画素に対し、まずS210で、視差マップを構成する視差データの候補の探索を行う。この視差データ候補探索処理の詳細については図4および図5を用いて後述する。そしてS211で、S210で探索された視差データ候補から最適な1つを選択して、当該注目画素に対する視差データが決定される。この視差データ決定処理の詳細については図9を用いて後述する。図3に示す処理は処理対象画像の全画素について行われ、すなわち全画素について視差データが設定されることによって、視差マップが完成する。 First, in S210, a candidate for parallax data constituting a parallax map is searched for the target pixel of the processing target image (the central image I2 in the present embodiment). Details of the parallax data candidate search process will be described later with reference to FIGS. In S211, the optimal one of the parallax data candidates searched in S210 is selected, and the parallax data for the target pixel is determined. Details of this parallax data determination processing will be described later with reference to FIG. The process shown in FIG. 3 is performed for all the pixels of the processing target image, that is, the parallax map is completed by setting the parallax data for all the pixels.

ここで、本実施形態では処理対象画像が3眼画像であるため、中央画像I2に対し、右側参照画像I1との視差データである右側視差データと、左側参照画像I3との視差データである左側視差データが存在する。したがって、上記S210に示す視差データ候補探索処理は、詳細には図4のフローチャートに示すように細分化される。すなわち、まずS220で、中央画像I2の注目画素に対する左側視差データ候補を算出する。この詳細については後述するが、この左側視差データ候補の算出の際に、中央画像I2と左側参照画像I3の画像間における画素値差分の最小値(最小差分)Difminが決定される。そしてS221で、該算出された左側視差データ候補の中から1つを選択し、これを暫定的な左側視差データとしておく。この暫定的な視差データの決定方法については特に限定されないが、例えばS220で最初または最後に視差データ候補として検出された視差データを選択すれば良い。 Here, since the processing target image is a trinocular image in the present embodiment, the right side parallax data that is parallax data with the right side reference image I1 and the left side that is parallax data between the left side reference image I3 with respect to the central image I2. There is parallax data. Therefore, the parallax data candidate search process shown in S210 is subdivided in detail as shown in the flowchart of FIG. That is, first in S220, a left parallax data candidate for the target pixel of the center image I2 is calculated. Although details will be described later, the minimum value (minimum difference) Difmin of the pixel value difference between the central image I2 and the left reference image I3 is determined when calculating the left parallax data candidate. In S221, one of the calculated left-side parallax data candidates is selected and set as temporary left-side parallax data. The provisional parallax data determination method is not particularly limited. For example, the parallax data detected as the first or last parallax data candidate in S220 may be selected.

そして右側についても左側と同様に、S222で右側視差データ候補およびその最小差分Difminを算出し、S223で右側視差を暫定的に決定する。 As with the left side, the right side parallax data candidate and its minimum difference Difmin are calculated in S222, and the right side parallax is provisionally determined in S223.

そしてS224で、S220,S222で算出された左側、右側それぞれの最小差分Difminのうち、より小さい方を選択し、該選択された左右いずれかを識別する信号を生成する。 In S224, the smaller one of the left and right minimum differences Difmin calculated in S220 and S222 is selected, and a signal for identifying either the selected left or right is generated.

この図4に示す視差データ候補探索処理により、中央画像I2の注目画素に対する左右いずれかの視差データ候補が、左右の識別子とともに出力される。 By the parallax data candidate search process shown in FIG. 4, either the left or right parallax data candidate for the target pixel of the central image I2 is output together with the left and right identifiers.

●視差データ候補算出処理
図5に、上記S220,S222における、視差データ候補算出処理のフローチャートを示す。すなわち図5に示す処理は、右側参照画像I1と左側参照画像I3のいずれかを用いて右側、左側いずれかの視差データ候補を算出する処理であるから、以下ではこれら左右の参照画像をまとめて「参照画像」と称する。 Parallax data candidate calculation process FIG. 5 shows a flowchart of the parallax data candidate calculation process in S220 and S222. That is, the process shown in FIG. 5 is a process for calculating either right side or left side parallax data candidates using either the right side reference image I1 or the left side reference image I3. This is referred to as “reference image”.

まずS230で、中央画像I2上の注目画素に対し、参照画像(I1またはI3)において、中央画像I2上での注目画素と同じ画素位置にある画素を参照画素として検出し、該注目画素と参照画素との画素値の差分の2乗値を算出する。以下、ここで算出された注目画素と参照画素との画素値差分の2乗値を、差分Difと称する。この演算は、絶対値差分等、一般的な距離算出を行う方法であれば良い。なお、ここでは画素単位での視差を算出する例を示しているため、注目画素と参照画素の差分の2乗値を差分Difとしたが、例えば画素ブロック単位での視差を考える場合、各画素についての差分の2乗和を差分Difとすれば良い。 First, in S230, for the target pixel on the central image I2, in the reference image (I1 or I3), a pixel at the same pixel position as the target pixel on the central image I2 is detected as a reference pixel, and the target pixel and reference are detected. The square value of the difference between the pixel value and the pixel is calculated. Hereinafter, the square value of the pixel value difference between the target pixel and the reference pixel calculated here is referred to as a difference Dif. This calculation may be a method for performing a general distance calculation such as an absolute value difference. In addition, since the example which calculates the parallax in a pixel unit is shown here, the square value of the difference between the target pixel and the reference pixel is set as the difference Dif. For example, when considering the parallax in a pixel block unit, each pixel The sum of the squares of the differences with respect to can be defined as the difference Dif.

ここで図6を用いて、本実施形態における視差データ候補の探索処理について説明する。同図において、300が符号化対象(すなわち視差マップの生成対象)である中央画像I2であり、301が左側参照画像I3、302が右側参照画像I1である。中央画像I2における注目画素303に対し、まず、左側参照画像I3における304が注目画素と同位置にある参照画素(左側参照画素)として設定される。同様に注目画素303に対し、右側参照画像I1における306が参照画素(右側参照画素)として設定される。この注目画素303と最初の参照画素304,306は、それぞれの画像において同じ画素位置にある。 Here, the parallax data candidate search process in this embodiment will be described with reference to FIG. In the figure, 300 is a central image I2 to be encoded (that is, a parallax map generation target), 301 is a left reference image I3, and 302 is a right reference image I1. For the target pixel 303 in the central image I2, first, 304 in the left reference image I3 is set as a reference pixel (left reference pixel) at the same position as the target pixel. Similarly, for the target pixel 303, 306 in the right reference image I1 is set as a reference pixel (right reference pixel). The target pixel 303 and the first reference pixels 304 and 306 are at the same pixel position in each image.

ここで、2台で組をなすカメラが同じカメラパラメータで、かつ互いの光軸が平行でカメラ中心が同一平行線上にある、いわゆる平行ステレオを構成する場合を考える。このような平行ステレオによるステレオ画像の場合、2枚の画像において同一被写体に対応する対応点が、各画像の同一走査線上での探索により検出できることが分かっている。これは、ステレオマッチングにおけるエピポーラ線上の探索として知られている簡略化法である。例えば左側参照画像I3においては、中央画像I2における注目画素303と同等の画素位置である参照画素304から右側へ、例えば探索範囲x(図中矢印305)を探索することで、対応点(図中○印)が検出される。同様に右側参照画像I1においては、中央画像I2において参照画素306から左側へ、例えば探索範囲y(図中矢印307)を探索することで対応点が検出される。なお、探索範囲x,yは多眼をなすそれぞれのカメラ位置、すなわち中央のカメラ121に対するカメラ120,122の距離により決定される。 Here, consider a case in which so-called parallel stereo is configured in which two cameras form the same camera parameters, the optical axes of the cameras are parallel, and the camera centers are on the same parallel line. In the case of such a stereo image by parallel stereo, it has been found that corresponding points corresponding to the same subject in two images can be detected by searching each image on the same scanning line. This is a simplification method known as a search on epipolar lines in stereo matching. For example, in the left reference image I3, by searching the search range x (arrow 305 in the figure) from the reference pixel 304 that is the same pixel position as the target pixel 303 in the central image I2 to the right, for example, corresponding points (in the figure ○ mark) is detected. Similarly, in the right reference image I1, corresponding points are detected by searching, for example, a search range y (arrow 307 in the figure) from the reference pixel 306 to the left side in the central image I2. Note that the search ranges x and y are determined by the positions of the multiple cameras, that is, the distances of the cameras 120 and 122 with respect to the central camera 121.

ところが、カメラの個体差、設置のずれ、センサーのノイズ等の影響や、元々の画素値が一様である場合等、対応点の画素値は必ずしも注目画素と同値となるとは限らない。また、本来対応点ではない他の画素が、注目画素と同じ値であるために対応点として検出される場合もある。 However, the pixel value of the corresponding point is not necessarily the same as that of the target pixel, for example, when there is an influence of individual differences between cameras, installation deviation, sensor noise, or when the original pixel value is uniform. In addition, other pixels that are not originally corresponding points may be detected as corresponding points because they have the same value as the target pixel.

そこで本実施形態では、S232で規定される所定の視差探索範囲内で参照画素を順次移動させながら、図5のS231において、S230で算出された差分Difの最小値である最小差分Difminを探索する。なお、S232で規定される視差探索範囲は図6のx,yに対応し、注目画素に対する対応画素の位置ずれの最大値である最大許容視差を示す。すなわち視差探索範囲は、注目画素と同位置にある最初の参照画素から所定方向(右または左)への探索を開始して、対応点の検出が許容される最大位置までの範囲を示す。 Therefore, in the present embodiment, the reference pixel is sequentially moved within the predetermined disparity search range defined in S232, and the minimum difference Difmin that is the minimum value of the difference Dif calculated in S230 is searched in S231 of FIG. . Note that the parallax search range defined in S232 corresponds to x and y in FIG. 6 and indicates the maximum allowable parallax that is the maximum value of the positional deviation of the corresponding pixel with respect to the target pixel. That is, the parallax search range indicates a range from the first reference pixel located at the same position as the target pixel to a maximum position where the search in the predetermined direction (right or left) is allowed and the detection of the corresponding point is allowed.

以上説明したS230〜S232によって、視差探索範囲内における最小差分Difminが検出される。ここで最小差分Difminは、特に視差方向成分を有さず、差分の大きさのみを示す値(絶対値)とする。 The minimum difference Difmin within the parallax search range is detected by S230 to S232 described above. Here, the minimum difference Difmin is a value (absolute value) that does not have a parallax direction component and indicates only the magnitude of the difference.

次にS233で、視差探索範囲内において、注目画素に対する差分Difが最小差分Difminと同じ値となる画素を全て探索し、該探索された画素の位置情報を、対応点の候補を示す視差データ候補として選出する。具体的には、視差探索範囲内における当該画素の座標値(視差座標)を、視差データ候補として抽出すれば良い。 Next, in S233, all the pixels in which the difference Dif with respect to the target pixel has the same value as the minimum difference Difmin are searched within the disparity search range, and the position information of the searched pixels is the disparity data candidate indicating the corresponding point candidate Elected as. Specifically, the coordinate value (parallax coordinate) of the pixel in the parallax search range may be extracted as a parallax data candidate.

このとき、最小差分Difminが0である場合には、抽出された視差データ候補に基づいて作成された視差マップは可逆符号化が可能となる。また最小差分Difminが0以外である場合にも、視差データではない前画素との差分値をハフマン符号化する方式を併用することで、視差マップを可逆符号化することが可能である。また、差分Difが最小差分Difminに等しくなるような視差データからなる視差マップを非可逆符号化することも可能であり、この場合に生じる符号化の誤差は0ではないものの非常に小さくなることが期待できるため、再生画質のSN比も比較的高くなる。 At this time, when the minimum difference Difmin is 0, the disparity map created based on the extracted disparity data candidates can be losslessly encoded. Even when the minimum difference Difmin is other than 0, the parallax map can be losslessly encoded by using a method of Huffman encoding a difference value with respect to a previous pixel that is not parallax data. It is also possible to perform lossy encoding of a disparity map composed of disparity data in which the difference Dif is equal to the minimum difference Difmin, and the encoding error that occurs in this case is not 0, but can be very small. Since it can be expected, the SN ratio of the reproduction image quality is also relatively high.

またS233では、差分Difに対する許容範囲を設けても良い。すなわち、差分Difが最小差分Difminと全く同値でなくても、DifとDifminの差分が例えば所定の許容差分として示される許容範囲内であれば、当該参照画素位置を視差データ候補とする。例えば「最小差分Difmin＋許容差分」内の差分Difを持つ参照画素の位置を視差データ候補とすれば良い。その他にも、「最小差分Difmin＋差分Dif」が許容差分内に入る参照画素位置を視差データ候補とする等、様々な許容差分の設定方式が考えられる。 In S233, an allowable range for the difference Dif may be provided. That is, even if the difference Dif is not exactly the same as the minimum difference Difmin, if the difference between Dif and Difmin is within an allowable range indicated as, for example, a predetermined allowable difference, the reference pixel position is set as a parallax data candidate. For example, a position of a reference pixel having a difference Dif within “minimum difference Difmin + allowable difference” may be set as a parallax data candidate. In addition, various allowable difference setting methods such as a reference pixel position where “minimum difference Difmin + difference Dif” falls within the allowable difference are considered as parallax data candidates.

ここで図7に、許容差分を設定して抽出された視差データ候補により生成された視差マップにおける、符号量と、再生画像の画質(信号−ノイズ比(SN比))の関係を示す。同図によれば、設定された許容差分の値が大きくなるほどSN比は低下するものの、符号量が抑制されることを示している。したがって、許容差分の初期値を0として視差マップの作成・符号化を行い、得られた圧縮率が目標値に達するまで徐々に許容差分を大きくしていくという符号量制御が考えられる。また、視差マップの作成・符号化の複数回の試行によって図7に示す曲線の近似式を求め、目標圧縮率を実現するような許容差分を算出する方法も本発明の範囲内である。 Here, FIG. 7 shows the relationship between the code amount and the image quality (signal-noise ratio (SN ratio)) of the reproduced image in the parallax map generated by the parallax data candidates extracted by setting the allowable difference. The figure shows that although the SN ratio decreases as the set allowable difference value increases, the code amount is suppressed. Therefore, code amount control is conceivable in which a parallax map is generated and encoded with the initial value of the allowable difference being 0, and the allowable difference is gradually increased until the obtained compression rate reaches the target value. In addition, a method for obtaining an approximate expression of the curve shown in FIG. 7 by a plurality of trials for creating and encoding a parallax map and calculating an allowable difference that realizes a target compression rate is also within the scope of the present invention.

ここで図8に、視差データ候補の例を示す。同図において、横軸は参照画像における視差探索方向の座標(視差座標)xであり、縦軸は視差座標xの位置における差分Difである。図8(a)に示す例では、7点において差分Difが最小差分Difmin(この場合0)に一致し、該7点が視差データ候補として検出されている。同様に図8(b)に示す例では、4点が視差データ候補として検出されている。このように検出された視差データ候補のうち、いずれの候補が視差データとして選択された場合であっても、作成される視差マップの符号化後の再生画像は、許容される誤差の範囲内で生成される。 Here, FIG. 8 shows an example of parallax data candidates. In the figure, the horizontal axis is the coordinate (parallax coordinate) x in the parallax search direction in the reference image, and the vertical axis is the difference Dif at the position of the parallax coordinate x. In the example shown in FIG. 8A, the difference Dif at 7 points matches the minimum difference Difmin (in this case, 0), and the 7 points are detected as parallax data candidates. Similarly, in the example shown in FIG. 8B, four points are detected as parallax data candidates. Even if any of the detected parallax data candidates is selected as the parallax data, the reproduced image after encoding of the created parallax map is within an allowable error range. Generated.

●視差データ決定処理
図9は、上記図3のS211における視差データの決定処理を示すフローチャートである。ここでは、S210によって抽出された複数の視差データ候補から、視差マップを構成する視差データとして1つを選択する。本実施形態では上述したように、S210において抽出される視差データ候補は、右側または左側のいずれかの視差データ候補である。S211の処理は右側と左側で同様であるため、以下では右側または左側を特に考慮せずに説明を行う。また、視差マップのある走査線上における座標位置iの画素についての視差データを、D(i)として記述する。 Parallax Data Determination Process FIG. 9 is a flowchart showing the parallax data determination process in S211 of FIG. Here, one parallax data constituting the parallax map is selected from the plurality of parallax data candidates extracted in S210. In the present embodiment, as described above, the parallax data candidates extracted in S210 are either the right side or the left side parallax data candidates. Since the processing of S211 is the same on the right side and the left side, the following description will be given without considering the right side or the left side. Also, the parallax data for the pixel at the coordinate position i on the scanning line with the parallax map is described as D (i).

まずS301で、上記S221またはS223で暫定的に決定された視差データD(i)が、視差マップにおいて直前に処理された画素(前画素)に対し既に決定されている視差データD(i-1)と同値であるか否かを判断する。違う場合はS302に進み、上記S220またはS222で抽出された視差データ候補の中から、前画素の視差データD(i-1)に最も近いものを選択し、S303で視差データD(i)に置き換える。なお、S301で視差データD(i)がD(i-1)と同値であった場合には、そのまま視差データD(i)が決定される。 First, in S301, the disparity data D (i) provisionally determined in S221 or S223 is already determined for the pixel (previous pixel) processed immediately before in the disparity map. ) Or not. If not, the process proceeds to S302, and the parallax data candidate extracted in S220 or S222 is selected from the parallax data D (i-1) closest to the previous pixel, and the parallax data D (i) is selected in S303. replace. If the parallax data D (i) is the same value as D (i−1) in S301, the parallax data D (i) is determined as it is.

ここで図10を用いて、上記S302における視差データの選択処理を説明する。図10において、下段が視差マップにおける現在処理中の注目画素P(i)に対する参照画像の視差座標xを示し、上段が視差マップにおける注目画素P(i)の前画素P(i-1)に対する参照画像の視差座標xである。前画素P(i-1)に対しては視差データ400が既に決定されており、注目画素P(i)については視差データ候補401,402,403が算出されているとする。この場合、前画素P(i-1)の視差データ400に対し、注目画素P(i)の視差データ候補401,402,403の示す画素位置の差分(すなわち画素間距離)がそれぞれ16,1,4である。したがって、視差データ400に最も近い視差データ候補402が、注目画素P(i)の視差データとして選択される。 Here, the parallax data selection processing in S302 will be described with reference to FIG. In FIG. 10, the lower row shows the parallax coordinate x of the reference image for the target pixel P (i) currently being processed in the parallax map, and the upper row is for the previous pixel P (i-1) of the target pixel P (i) in the parallax map. This is the parallax coordinate x of the reference image. It is assumed that the parallax data 400 has already been determined for the previous pixel P (i−1), and parallax data candidates 401, 402, and 403 have been calculated for the pixel of interest P (i). In this case, with respect to the parallax data 400 of the previous pixel P (i-1), the pixel position differences (that is, inter-pixel distances) indicated by the parallax data candidates 401, 402, and 403 of the target pixel P (i) are 16, 1, and 4, respectively. . Therefore, the parallax data candidate 402 closest to the parallax data 400 is selected as the parallax data of the pixel of interest P (i).

なおここでは、視差マップにおける注目画素の視差データD(i)を、その前画素の視差データD(i-1)と比較する例を示したが、比較対象は前画素に限定されない。例えば注目画素に対して隣接している等、その周辺に位置する画素(周辺画素)に対して決定された視差データを比較対象としても良い。また、処理の開始時等、比較対象となる画素についての視差データが未だ決定されていない場合には、注目画素の視差データ候補から視差データの初期値を決定する。この初期値としては例えば、無限遠を示す0に設定しておいても良いし、前ラインの視差データを保存してそれを用いて良い。また、一番近い物体が画面の端に入っている場合は最大視差を設定しても良いし、視差データ候補内での最小視差データであっても良い。 Although an example in which the parallax data D (i) of the pixel of interest in the parallax map is compared with the parallax data D (i-1) of the previous pixel is shown here, the comparison target is not limited to the previous pixel. For example, parallax data determined for pixels (peripheral pixels) located in the vicinity thereof, such as adjacent to the target pixel, may be used as a comparison target. In addition, when the parallax data for the pixel to be compared has not yet been determined, such as at the start of processing, the initial value of the parallax data is determined from the parallax data candidates of the target pixel. For example, the initial value may be set to 0 indicating infinity, or the parallax data of the previous line may be stored and used. Further, when the closest object is in the edge of the screen, the maximum parallax may be set, or the minimum parallax data in the parallax data candidate may be set.

また、例えば上記図4のS224に示したように、処理対象である視差データ候補が左右いずれかの方向属性を有するものであれば、該方向属性を示す識別ビット(フラグ)等を該選択された視差データに付与して、視差マップを作成する。 Further, for example, as shown in S224 of FIG. 4 above, if the parallax data candidate to be processed has a left or right direction attribute, an identification bit (flag) indicating the direction attribute is selected. A parallax map is created by adding the parallax data.

本実施形態ではこのように、複数の視差データ候補から前画素の視差データに最も近い1つを選択して視差データを決定することで、視差マップにおける画素方向の変動が抑制される。したがって、視差マップに対する圧縮を視差データの行単位に行っていく、ランレングス符号、LZ符号、PNG等の周知の符号化による符号化効率を向上させることができる。 In this embodiment, as described above, by selecting one of the plurality of parallax data candidates that is closest to the parallax data of the previous pixel and determining the parallax data, variation in the pixel direction in the parallax map is suppressed. Therefore, it is possible to improve the encoding efficiency by well-known encoding such as run length code, LZ code, PNG, etc., in which the parallax map is compressed in units of rows.

以上説明したように本実施形態によれば、多視点画像に対する視差マップの符号化を行う際に、許容差分を制御することで、該視差マップの復号により再現された再生画像のSN比の低下を抑制しつつ、圧縮率を向上させることができる。すなわち、再生画像の画質を確保しつつ符号量制御を行うことができる。 As described above, according to the present embodiment, when encoding a parallax map for a multi-viewpoint image, the SN ratio of a reproduced image reproduced by decoding the parallax map is reduced by controlling the allowable difference. The compression rate can be improved while suppressing the above. That is, the code amount control can be performed while ensuring the quality of the reproduced image.

＜第1実施形態の変形例1＞
以下、上述した第1実施形態の変形例として、上記図3のS211における視差データ決定処理の他の例を示す。 <Modification 1 of the first embodiment>
Hereinafter, another example of the parallax data determination process in S211 of FIG. 3 will be described as a modification of the above-described first embodiment.

図11は、本変形例における視差データ決定処理を示すフローチャートである。ここでは、視差マップにおけるある画素の視差データD(i)を決定するために、その前画素についての視差データD(i-1)および後画素における視差データD(i+1)の候補を参照する。なお、前画素とは、現在処理中の注目画素の直前に処理された画素を示し、また後画素とは、注目目画素の直後に処理される画素を示す。 FIG. 11 is a flowchart showing parallax data determination processing in the present modification. Here, in order to determine the parallax data D (i) of a certain pixel in the parallax map, refer to the candidates of the parallax data D (i-1) for the previous pixel and the parallax data D (i + 1) for the subsequent pixel To do. Note that the front pixel indicates a pixel processed immediately before the target pixel currently being processed, and the rear pixel indicates a pixel processed immediately after the target pixel of interest.

まずS304で、上記S221または223で暫定的に決定された視差データD(i)が、視差マップにおいて既に決定されている前画素の視差データD(i-1)と同値であるか否かを判断する。違う場合はS305に進み、上記S220またはS222で抽出された視差データ候補の中から、前画素および後画素に対する視差データの遷移量(遷移コスト)が最小となるものを選択し、S306で視差データD(i)に置き換える。 First, in S304, whether or not the disparity data D (i) provisionally determined in S221 or 223 is the same value as the disparity data D (i-1) of the previous pixel already determined in the disparity map. to decide. If not, the process proceeds to S305, and from among the parallax data candidates extracted in S220 or S222, a parallax data transition amount (transition cost) with respect to the previous pixel and the subsequent pixel is selected, and parallax data is obtained in S306. Replace with D (i).

ここで図12を用いて、上記S305における視差データの選択処理を説明する。図12において、中段が視差マップにおける現在処理中の注目画素P(i)に対する視差座標xを示す。また、上段が注目画素P(i)の前画素P(i-1)に対する視差座標x、下段が注目画素P(i)の後画素P(i+1)に対する視差座標xである。前画素P(i-1)に対しては視差データ410が既に決定されており、注目画素P(i)については視差データ候補411,412,413が算出されているとする。この場合、前画素P(i-1)の視差データ410に対する注目画素P(i-1)の視差データ候補401,402,403の距離がそれぞれ16,1,4である。さらに、後画素P(i+1)についての視差データ候補414,415が算出されていた場合、この視差データ候補414,415のそれぞれについて、注目画素P(i)の各視差データ候補からの遷移コストが、その距離に応じて以下のように算出される。すなわち、視差データ候補414については、注目画素P(i)の視差データ候補411,412,413のそれぞれからコスト1,コスト4,コスト25で遷移する。同様に視差データ候補415については、注目画素P(i)の視差データ候補411,412,413のそれぞれからコスト36,コスト9,コスト0で遷移する。すると、前画素→注目画素→後画素への遷移コストとして、視差データ410→413→415への遷移コストが最小であるため、注目画素P(i)における視差データとして、視差データ候補413が選択される。 Here, the parallax data selection processing in S305 will be described with reference to FIG. In FIG. 12, the middle row shows the parallax coordinate x for the pixel of interest P (i) currently being processed in the parallax map. Further, the upper row is the parallax coordinate x for the previous pixel P (i-1) of the pixel of interest P (i), and the lower row is the parallax coordinate x for the rear pixel P (i + 1) of the pixel of interest P (i). It is assumed that parallax data 410 has already been determined for the previous pixel P (i−1), and parallax data candidates 411, 412, and 413 have been calculated for the pixel of interest P (i). In this case, the distances of the parallax data candidates 401, 402, and 403 of the target pixel P (i-1) with respect to the parallax data 410 of the previous pixel P (i-1) are 16, 1, and 4, respectively. Further, when the parallax data candidates 414 and 415 for the rear pixel P (i + 1) have been calculated, the transition cost from each parallax data candidate of the target pixel P (i) It is calculated as follows according to the distance. That is, the parallax data candidate 414 transitions from the parallax data candidates 411, 412, and 413 of the target pixel P (i) at cost 1, cost 4, and cost 25, respectively. Similarly, the parallax data candidate 415 transitions from the parallax data candidates 411, 412, and 413 of the target pixel P (i) at cost 36, cost 9, and cost 0, respectively. Then, since the transition cost from parallax data 410 to 413 to 415 is the lowest as the transition cost from the previous pixel to the target pixel to the subsequent pixel, the parallax data candidate 413 is selected as the parallax data at the target pixel P (i) Is done.

本変形例ではこのように、複数の視差データ候補から、前後の画素への遷移コストが最小となる1つを選択して視差データを決定することで、視差マップにおける画素方向の変動をさらに抑制することができる。 In this modification, as described above, by selecting the parallax data by selecting one of the plurality of parallax data candidates that minimizes the cost of transition to the previous and subsequent pixels, the variation in the pixel direction in the parallax map is further suppressed. can do.

＜第1実施形態の変形例2＞
上述した第1実施形態において、図2に示した各処理を、それぞれを実行するハードウェアによって構成しても良いが、ソフトウェア(コンピュータプログラム)として実装することも可能である。この場合、このソフトウェアは、PC(パーソナルコンピュータ)等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのCPUがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能(図2に示した各処理)を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。以下、第1実施形態に係る多視点画像符号化装置に適用可能なコンピュータのハードウェア構成例について、図13のブロック図を用いて説明する。 <Modification 2 of the first embodiment>
In the first embodiment described above, each process shown in FIG. 2 may be configured by hardware that executes each process, but may be implemented as software (computer program). In this case, this software is installed in the memory of a general computer such as a PC (personal computer). Then, the computer CPU executes the installed software, so that the computer realizes the functions of the above-described image processing apparatus (each process shown in FIG. 2). That is, this computer can be applied to the above-described image processing apparatus. Hereinafter, a hardware configuration example of a computer applicable to the multi-view image encoding device according to the first embodiment will be described with reference to the block diagram of FIG.

CPU1501は、RAM1502やROM1503に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理(図2)を実行する。 The CPU 1501 controls the entire computer using computer programs and data stored in the RAM 1502 and the ROM 1503, and executes the above-described processes (FIG. 2) described as being performed by the image processing apparatus.

RAM1502は、コンピュータ読み取り可能な記憶媒体の一例である。RAM1502は、外部記憶装置1507や記憶媒体ドライブ1508からロードされたコンピュータプログラムやデータ、I/F(インターフェース)1509を介して外部装置から受信したデータなどを一時的に記憶するためのエリアを有する。更にRAM1502は、CPU1501が各種の処理を実行する際に用いるワークエリアを有する。即ちRAM1502は、各種のエリアを適宜提供することができる。ROM1503は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。 The RAM 1502 is an example of a computer-readable storage medium. The RAM 1502 has an area for temporarily storing computer programs and data loaded from the external storage device 1507 and the storage medium drive 1508, data received from the external device via the I / F (interface) 1509, and the like. Further, the RAM 1502 has a work area used when the CPU 1501 executes various processes. That is, the RAM 1502 can provide various areas as appropriate. The ROM 1503 is an example of a computer-readable storage medium, and stores computer setting data, a boot program, and the like.

キーボード1504、マウス1505は、コンピュータの操作者が操作することで、各種の指示をCPU1501に対して入力することができる。表示装置1506は、CRTや液晶画面などにより構成されており、CPU1501による処理結果を画像や文字などでもって表示することができる。例えば、上記入力画像の表示や、多視点画像符号化装置で変換した結果の表示ができる。 The keyboard 1504 and mouse 1505 can be operated by a computer operator to input various instructions to the CPU 1501. The display device 1506 is configured by a CRT, a liquid crystal screen, or the like, and can display a processing result by the CPU 1501 using an image, text, or the like. For example, the input image can be displayed, and the result of conversion by the multi-view image encoding apparatus can be displayed.

外部記憶装置1507は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置1507には、OS(オペレーティングシステム)や、図2に示した各処理をCPU1501に実現させるためのコンピュータプログラムやデータ、上記入力画像のデータ、既知の情報として説明した情報等が保存されている。外部記憶装置1507に保存されているコンピュータプログラムやデータは、CPU1501による制御に従って適宜RAM1502にロードされ、CPU1501による処理対象となる。 The external storage device 1507 is an example of a computer-readable storage medium, and is a large-capacity information storage device represented by a hard disk drive device. The external storage device 1507 stores an OS (operating system), computer programs and data for causing the CPU 1501 to implement each process shown in FIG. 2, data of the input image, information described as known information, and the like. ing. Computer programs and data stored in the external storage device 1507 are appropriately loaded into the RAM 1502 under the control of the CPU 1501, and are processed by the CPU 1501.

記憶媒体ドライブ1508は、CD-ROMやDVD-ROMなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置1507やRAM1502に出力する。なお、外部記憶装置1507に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ1508に読み取らせても良い。 The storage medium drive 1508 reads a computer program and data recorded on a storage medium such as a CD-ROM or DVD-ROM, and outputs the read computer program or data to the external storage device 1507 or the RAM 1502. Note that part or all of the information described as being stored in the external storage device 1507 may be recorded on this storage medium and read by this storage medium drive 1508.

I/F1509は、外部装置をコンピュータに接続する為のものである。例えば、図1で説明した多眼方式による撮像装置など、上記入力画像を取得するための装置を、このI/F1509に接続し、この外部装置から入力画像をI/F1509を介してRAM1502や外部記憶装置1507に取得するようにしても良い。1510は、上述の各部を繋ぐバスである。 The I / F 1509 is for connecting an external device to a computer. For example, a device for acquiring the input image, such as the multi-lens imaging device described in FIG. 1, is connected to the I / F 1509, and the input image is input from the external device to the RAM 1502 or the external device via the I / F 1509. It may be acquired in the storage device 1507. A bus 1510 connects the above-described units.

上述構成において、本コンピュータの電源がONになると、CPU1501はROM1503に格納されている上記ブートプログラムに従って、外部記憶装置1507からOSをRAM1502にロードする。この結果、キーボード1504、マウス1505を介した情報入力操作が可能となり、表示装置1506にGUIを表示することが可能となる。ユーザが、キーボード1504やマウス1505を操作し、外部記憶装置1507に格納された画像処理用アプリケーションプログラムの起動指示を入力すると、CPU1501はこのプログラムをRAM1502にロードし、実行する。これにより、本コンピュータが本実施形態におけるの画像処理装置として機能することになる。 In the above configuration, when the computer is turned on, the CPU 1501 loads the OS from the external storage device 1507 to the RAM 1502 in accordance with the boot program stored in the ROM 1503. As a result, an information input operation can be performed via the keyboard 1504 and the mouse 1505, and a GUI can be displayed on the display device 1506. When the user operates the keyboard 1504 or the mouse 1505 and inputs an instruction to start an image processing application program stored in the external storage device 1507, the CPU 1501 loads the program into the RAM 1502 and executes it. As a result, the computer functions as the image processing apparatus in the present embodiment.

CPU1501が実行する画像処理用のアプリケーションプログラムは、基本的に図2に示す各処理に相当する関数を備えることになる。ここで、符号化データは外部記憶装置1507に保存することになる。なお、このコンピュータは、本発明における他の実施形態に係る画像処理装置にも同様に適用可能である。 The image processing application program executed by the CPU 1501 basically includes functions corresponding to the processes shown in FIG. Here, the encoded data is stored in the external storage device 1507. This computer can be similarly applied to image processing apparatuses according to other embodiments of the present invention.

＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態におけるカメラシステムの構成は上述した第1実施形態と同様であるため、詳細な説明を省略する。 <Second Embodiment>
Hereinafter, a second embodiment according to the present invention will be described. Since the configuration of the camera system in the second embodiment is the same as that of the first embodiment described above, detailed description thereof is omitted.

第1実施形態ででは、画素ごとに、図4のS220〜S223で左右の視差データ候補を算出した後、S224で最小差分Difminを比較することで左右いずれの候補を採用するかを選択し、方向属性を示す識別ビットを付与する例を示した。しかしながら、このような方法で作成された視差マップにおいては、左右の方向属性の切り替えが多発すると、識別ビットの切り替えにより全体の圧縮率が低下してしまう。そこで第2実施形態では、上記S224における左右視差データ候補の選択処理において、方向属性の切り替えの発生を抑制する例を示す。 In the first embodiment, for each pixel, after calculating the left and right parallax data candidates in S220 to S223 in FIG. 4, in S224, select the left or right candidate by comparing the minimum difference Difmin, An example in which an identification bit indicating a direction attribute is given has been shown. However, in the parallax map created by such a method, if the left and right direction attributes are frequently switched, the overall compression rate is reduced by switching the identification bits. Therefore, in the second embodiment, an example in which the occurrence of switching of the direction attribute is suppressed in the selection process of the left and right parallax data candidates in S224 will be described.

図14は、第2実施形態における上記S224の左右視差データ候補の選択処理を示すフローチャートである。注目画素に対し、まずS410で左側と右側それぞれの最小差分Difminが等しいか否かを判定する。等しい場合にはS411に進み、視差マップの前画素において既に選択されている視差方向(右または左)と同じ方向の視差データ候補を選択する。一方、S410で左右の最小差分Difminが異なると判定された場合はS412に進み、左の最小差分Difminと右の最小差分Difminとの差分(参照画像間差分)を、所定の閾値と比較する。この参照画像間差分が閾値未満である場合はS411に進み、前画素(または周辺画素)と同じ方向の視差データ候補を選択する。一方、S412で参照画像間差分が閾値以上である場合にはS413に進み、第1実施形態と同様に左右の最小差分Difmin同士を比較する。該比較の結果、右側の方が小さければS414で右側の視差データ候補を選択し、左側の方が小さければS415で左側の視差データ候補を選択する。 FIG. 14 is a flowchart showing the left-right parallax data candidate selection process of S224 in the second embodiment. First, in S410, it is determined whether or not the left side and right side minimum differences Difmin are equal for the target pixel. If equal, the process proceeds to S411, and a parallax data candidate in the same direction as the parallax direction (right or left) already selected in the previous pixel of the parallax map is selected. On the other hand, if it is determined in S410 that the left and right minimum differences Difmin are different, the process proceeds to S412 and the difference (difference between reference images) between the left minimum difference Difmin and the right minimum difference Difmin is compared with a predetermined threshold. When the difference between the reference images is less than the threshold value, the process proceeds to S411, and a parallax data candidate in the same direction as the previous pixel (or surrounding pixels) is selected. On the other hand, if the difference between the reference images is equal to or larger than the threshold value in S412, the process proceeds to S413, and the left and right minimum differences Difmin are compared as in the first embodiment. As a result of the comparison, if the right side is smaller, the right parallax data candidate is selected in S414, and if the left side is smaller, the left parallax data candidate is selected in S415.

以上説明したように第2実施形態によれば、左右の最小差分Difminの差(参照画像間差分)が大きい場合には、第1実施形態と同様にDifminが小さい方の参照画像を選択する(第1の選択)。一方、参照画像間差分が小さい場合には、前画素(または周辺画素)に対して選択されている参照画像と同じ参照画像を選択する(第2の選択)。そして該選択された参照画像に応じた方向属性を示す識別ビットを画素毎に付与した視差マップが作成される。この視差マップにおいては、参照画像間差分が閾値以上である場合に左右の切り替えが発生し、閾値未満である場合は、直前に処理された画素における視差の方向を保持するように制御される。したがって、左右方向の切り替えの発生が抑制され、圧縮率の向上が望める。 As described above, according to the second embodiment, when the difference between the left and right minimum differences Difmin (difference between reference images) is large, the reference image with the smaller Difmin is selected as in the first embodiment ( First choice). On the other hand, when the difference between the reference images is small, the same reference image as the reference image selected for the previous pixel (or surrounding pixels) is selected (second selection). Then, a parallax map in which an identification bit indicating a direction attribute corresponding to the selected reference image is provided for each pixel is created. In this parallax map, left-right switching occurs when the difference between reference images is equal to or greater than a threshold value, and when the difference between the reference images is less than the threshold value, control is performed to maintain the parallax direction of the pixel processed immediately before. Therefore, the occurrence of switching in the left-right direction is suppressed, and an improvement in compression rate can be expected.

なお、左右の最小差分値Difminが同値である場合には、所定方向の差分値を優先するように制御することで、左右の発生頻度を偏らせて圧縮率を向上させることもできる。さらに、左右の識別結果の頻度に応じて左右の発生を予測し、予測の一致/不一致を示す1ビット信号を付与して符号化する方法も有用である。 When the left and right minimum difference values Difmin are the same value, the compression rate can be improved by biasing the left and right occurrence frequencies by performing control so that priority is given to the difference value in a predetermined direction. Furthermore, it is also useful to use a method of predicting the occurrence of left and right according to the frequency of the left and right identification results, and encoding by assigning a 1-bit signal indicating prediction match / mismatch.

＜第3実施形態＞
以下、本発明に係る第3実施形態について説明する。第3実施形態では、上述した第1実施形態のカメラシステムを、光線情報を取得可能なプレノプティックカメラに応用した例を示す。 <Third embodiment>
The third embodiment according to the present invention will be described below. The third embodiment shows an example in which the camera system of the first embodiment described above is applied to a plenoptic camera that can acquire light ray information.

図15を用いて、一般的なプレノプティックカメラの概要構成について説明する。プレノプティックカメラは、センサ前にマイクロレンズアレイを配置し、複数の光線情報を同時に取得することが可能である。そのため、プレノプティックカメラで撮影した画像に基づく演算により、任意の視点、開口径、フォーカス距離等による画像を生成することができる。 A schematic configuration of a general plenoptic camera will be described with reference to FIG. The plenoptic camera can arrange a microlens array in front of a sensor and acquire a plurality of pieces of light information at the same time. Therefore, an image based on an arbitrary viewpoint, an aperture diameter, a focus distance, and the like can be generated by calculation based on an image photographed by the plenoptic camera.

図15(a)は、プレノプティックカメラにおけるレンズ光学系の例を示し、600はメインレンズ、601はマイクロレンズアレイ、602はフォトセンサ群である。また図15(b)は、上記マイクロレンズアレイ601による集光を受けるフォトセンサ群602の一部を切り出したものであり、603の各格子が、各マイクロレンズに対応する画像ブロック(以下、単にブロックと称する)を示す。また同図において、604,605,606は任意の隣接する3ブロックであり、604は中央ブロック、605は左側ブロック、606は右側ブロックである。 FIG. 15A shows an example of a lens optical system in a plenoptic camera, in which 600 is a main lens, 601 is a microlens array, and 602 is a photosensor group. FIG. 15 (b) is a part of the photosensor group 602 that receives the light collected by the microlens array 601, and each lattice of 603 is an image block (hereinafter simply referred to as an image block). (Referred to as a block). In the same figure, 604, 605 and 606 are arbitrarily adjacent three blocks, 604 is a central block, 605 is a left block, and 606 is a right block.

第1実施形態で示したように、左右のブロック605,606のそれぞれにおいて、中央ブロック604内の注目画素607と同値もしくは非常に近い値である対応画素609,608が、該注目画素位置からブロック間の視差の分だけ離れた箇所に存在する。第3実施形態では、中央ブロック604をそのまま圧縮送信することに代えて、第1実施形態で説明したように中央ブロック604に対する左右ブロック605,606の視差データから視差マップを生成し、これを光線情報の一部として圧縮・送信する。 As shown in the first embodiment, in each of the left and right blocks 605 and 606, the corresponding pixels 609 and 608 that are the same value or very close to the target pixel 607 in the central block 604 have the parallax between the blocks from the target pixel position. It exists at a location that is a minute away. In the third embodiment, instead of compressing and transmitting the central block 604 as it is, a parallax map is generated from the parallax data of the left and right blocks 605 and 606 with respect to the central block 604 as described in the first embodiment, and this is used as the ray information. Compress and send as part.

マイクロレンズを用いたプレノプティックカメラにおいて視差マップを用いた符号化を行う場合、特定の領域において符号量が増加する場合がある。例えば、撮影画面に新たに入ってきた領域や、ブロック内でマイクロレンズ外に相当する無効領域においては、マイクロレンズ間で大きな視差が検出され、符号量が増加してしまう。そこで第3実施形態では、符号化データを以下のように構成することで、視差が大きくなりがちな領域を含めた効率的な圧縮を実現する。 When encoding using a parallax map in a plenoptic camera using a microlens, the code amount may increase in a specific region. For example, in a region newly entering the shooting screen or an invalid region corresponding to the outside of the microlens in the block, a large parallax is detected between the microlenses, and the code amount increases. Therefore, in the third embodiment, the encoded data is configured as follows to realize efficient compression including an area where the parallax tends to be large.

図16に、左側ブロック605および右側ブロック606に関する符号化データの構成例を示す。同図において、上部が右側ブロック606に関する符号化データ例、下部が左側ブロック605に関する符号化データ例を示す。符号化データにおいて識別子Dは、その後に視差マップを構成する通常の視差データ領域が続くことを示す。また識別子Rは、その後に中央ブロック604に存在しない新たな画像データをそのまま保存した原画像データ領域が続くことを示す。また識別子Iは、その後にマイクロレンズ外の無効領域に対応する画素数を示す無効データ領域が続くことを示す。図15(b)に示されるように右側ブロック606についての符号化データは、図中左から右方向への画素順に符号化が行われるとすると、まず識別子Iでマイクロレンズ外相当である無効データ領域が示される。続いて識別子Dで中央ブロック604との視差データ領域が示され、続いて識別子Rで原画像データ領域(図中横線で表示)が示され、最後にまた識別子Iで無効データ領域が示されている。同様に左側ブロック605についての符号化データは、まず識別子Iで無効データ領域が示され、続いて識別子Rで原画像データ領域が示され、続いて識別子Dで中央ブロック604との視差データ領域が示され、最後に識別子Iで無効データ領域が示されている。 FIG. 16 shows a configuration example of encoded data regarding the left block 605 and the right block 606. In the figure, the upper part shows an example of encoded data related to the right block 606, and the lower part shows an example of encoded data related to the left block 605. In the encoded data, the identifier D indicates that a normal parallax data area constituting the parallax map follows. The identifier R indicates that the original image data area in which new image data not existing in the central block 604 is stored as it is follows. The identifier I indicates that an invalid data area indicating the number of pixels corresponding to the invalid area outside the microlens follows. As shown in FIG. 15 (b), if the encoded data for the right block 606 is encoded in the pixel order from the left to the right in the figure, the invalid data corresponding to the outside of the microlens is first assigned by the identifier I. An area is shown. Next, the identifier D indicates the parallax data area with the central block 604, the identifier R indicates the original image data area (indicated by a horizontal line in the figure), and finally the identifier I indicates the invalid data area. Yes. Similarly, in the encoded data for the left block 605, the invalid data area is first indicated by the identifier I, the original image data area is indicated by the identifier R, and the disparity data area with the central block 604 is subsequently indicated by the identifier D. Finally, an invalid data area is indicated by identifier I.

以上説明したように第3実施形態によれば、上述した第1実施形態に示した視差マップの符号化処理をプレノプティックカメラに適用し、撮影画像の圧縮率を向上させることが可能となる。 As described above, according to the third embodiment, it is possible to apply the parallax map encoding process shown in the first embodiment described above to the plenoptic camera and improve the compression ratio of the captured image. Become.

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 <Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer of the system or apparatus (or CPU, MPU, etc.) reads the program. It is a process to be executed.

Claims

同一の被写体を異なる視点から撮影した注目画像と参照画像を入力する入力手段と、
前記注目画像における注目画素の位置に応じた、前記参照画像の所定の探索範囲において、前記注目画素との画素値差分が所定の許容範囲内となる画素を探索し、該探索された画素の位置情報を視差データ候補とする候補探索手段と、
前記視差データ候補から、前記注目画素の周辺画素に対して決定された視差データに最も近い1つを選択し、該選択した視差データを前記注目画素に対する視差データとする視差データ決定手段と、
前記視差データ決定手段で決定された視差データからなる視差マップを生成する視差マップ生成手段と、
前記参照画像および前記視差マップを符号化して出力する符号化手段と、
を有することを特徴とする画像処理装置。 An input means for inputting an attention image and a reference image obtained by photographing the same subject from different viewpoints;
In the predetermined search range of the reference image according to the position of the target pixel in the target image, a pixel whose pixel value difference with the target pixel is within a predetermined allowable range is searched, and the position of the searched pixel Candidate search means for using information as parallax data candidates;
A parallax data determining unit that selects one closest to the parallax data determined for the peripheral pixels of the target pixel from the parallax data candidates, and sets the selected parallax data as the parallax data for the target pixel;
Parallax map generating means for generating a parallax map made up of the parallax data determined by the parallax data determining means;
Encoding means for encoding and outputting the reference image and the parallax map;
An image processing apparatus comprising:

前記探索範囲は、前記注目画素と同じ画素位置から、前記注目画像の視点と前記参照画像の視点との位置関係に応じた方向への所定の範囲であることを特徴とする請求項1に記載の画像処理装置。 2. The search range according to claim 1, wherein the search range is a predetermined range from the same pixel position as the target pixel in a direction according to a positional relationship between the viewpoint of the target image and the viewpoint of the reference image. Image processing apparatus.

前記入力手段は、1つの注目画像に対して複数の参照画像を入力し、
前記候補探索手段は、前記注目画像の画素ごとに、
前記複数の参照画像のそれぞれについて、前記探索範囲内で前記注目画素との画素値差分が前記許容範囲内となる画素を探索して前記視差データ候補を生成する探索手段と、
前記複数の参照画像から、前記探索で算出された前記注目画素との画素値差分が最も小さい参照画像を選択する選択手段と、
該選択された参照画像から探索された視差データ候補に、該選択された参照画像を識別する識別子を付与する付与手段と、
を有することを特徴とする請求項1または2に記載の画像処理装置。 The input means inputs a plurality of reference images for one target image,
The candidate search means, for each pixel of the image of interest,
For each of the plurality of reference images, search means for searching for a pixel whose pixel value difference with the target pixel is within the allowable range within the search range and generating the parallax data candidate;
Selection means for selecting a reference image having a smallest pixel value difference from the target pixel calculated in the search from the plurality of reference images;
An assigning means for assigning an identifier for identifying the selected reference image to the parallax data candidates searched from the selected reference image;
The image processing apparatus according to claim 1, wherein the image processing apparatus comprises:

前記入力手段は、1つの注目画像に対して複数の参照画像を入力し、
前記候補探索手段は、前記注目画像の画素ごとに、
前記複数の参照画像のそれぞれについて、前記探索範囲内で前記注目画素との画素値差分が前記許容範囲内となる画素を探索して前記視差データ候補を生成する探索手段と、
前記複数の参照画像のそれぞれについて前記探索で算出された前記注目画素との画素値差分の最小値の、参照画像間での差分である参照画像間差分が所定の閾値以上である場合に、前記複数の参照画像から、前記探索で算出された前記注目画素との画素値差分が最も小さい参照画像を選択する第1の選択手段と、
前記参照画像間差分が前記閾値未満である場合に、前記注目画素の周辺画素に対して選択されている参照画像と同様の参照画像を選択する第2の選択手段と、
前記第1または第2の選択手段で選択された参照画像から探索された視差データ候補に、該選択された参照画像を識別する識別子を付与する付与手段と、
を有することを特徴とする請求項1または2に記載の画像処理装置。 The input means inputs a plurality of reference images for one target image,
The candidate search means, for each pixel of the image of interest,
For each of the plurality of reference images, search means for searching for a pixel whose pixel value difference with the target pixel is within the allowable range within the search range and generating the parallax data candidate;
When a difference between reference images, which is a difference between reference images, of a minimum value of a pixel value difference with the target pixel calculated in the search for each of the plurality of reference images is equal to or greater than a predetermined threshold, A first selection unit that selects a reference image having a smallest pixel value difference from the target pixel calculated in the search from a plurality of reference images;
A second selection means for selecting a reference image similar to the reference image selected for the peripheral pixels of the target pixel when the difference between the reference images is less than the threshold;
A granting unit for giving an identifier for identifying the selected reference image to the parallax data candidates searched from the reference image selected by the first or second selection unit;
The image processing apparatus according to claim 1, wherein the image processing apparatus comprises:

前記視差データ決定手段は、前記視差データ候補から、前記注目画素の直前に処理された画素に対して決定された視差データに最も近い1つを選択することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 5. The parallax data determining unit selects one of the parallax data candidates that is closest to the parallax data determined for a pixel processed immediately before the target pixel. The image processing device according to any one of the above.

前記視差データ決定手段は、前記視差データ候補のそれぞれについて、前記注目画素の直前に処理された画素に対して決定された視差データと、前記注目画素の直後に処理される画素に対して決定された視差データ候補から視差データの遷移量を算出し、前記視差データ候補から前記遷移量が最も小さい1つを選択することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 The parallax data determining means determines, for each of the parallax data candidates, the parallax data determined for the pixel processed immediately before the target pixel and the pixel processed immediately after the target pixel. 5. The image processing according to claim 1, further comprising: calculating a transition amount of the disparity data from the disparity data candidates and selecting one of the disparity data candidates having the smallest transition amount. apparatus.

前記符号化手段は、ライン単位の可逆符号化を行うことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 7. The image processing apparatus according to claim 1, wherein the encoding unit performs lossless encoding in line units.

前記入力手段は、マイクロレンズアレイを用いて撮影された、各マイクロレンズに対応する画像ブロックを前記注目画像および前記参照画像として入力し、
前記視差マップ生成手段は、前記視差マップと、前記参照画像において前記注目画像に存在しない画像データを示す原画像データと、前記参照画像において前記マイクロレンズ外の領域を示す無効データと、を生成し、
前記符号化手段は、前記視差マップと前記原画像データ、および前記無効データのそれぞれに識別子を付して符号化する
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 The input means inputs an image block corresponding to each microlens photographed using a microlens array as the attention image and the reference image,
The parallax map generation unit generates the parallax map, original image data indicating image data that does not exist in the target image in the reference image, and invalid data indicating an area outside the microlens in the reference image. ,
8. The image processing according to claim 1, wherein the encoding unit encodes each of the parallax map, the original image data, and the invalid data with an identifier added thereto. apparatus.

さらに、前記符号化手段で符号化された前記参照画像および前記視差マップを復号する手段と、
該復号された前記参照画像および前記視差マップから、前記注目画像を再生する再生手段と、
を有することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 Means for decoding the reference image and the disparity map encoded by the encoding means;
Reproducing means for reproducing the attention image from the decoded reference image and the parallax map;
9. The image processing apparatus according to claim 1, further comprising:

さらに、前記候補探索手段における前記許容範囲を、前記符号化手段による圧縮率と、前記再生手段で再生された前記注目画像の画質に応じて制御する制御手段を有することを特徴とする請求項9に記載の画像処理装置。 10. The control unit according to claim 9, further comprising a control unit that controls the allowable range in the candidate search unit according to a compression rate by the encoding unit and an image quality of the target image reproduced by the reproduction unit. An image processing apparatus according to 1.

入力手段、候補探索手段、視差データ決定手段、視差マップ生成手段、および符号化手段を有する画像処理装置における画像処理方法であって、
前記入力手段が、同一の被写体を異なる視点から撮影した注目画像と参照画像を入力し、
前記候補探索手段が、前記注目画像における注目画素の位置に応じた、前記参照画像の所定の探索範囲において、前記注目画素との画素値差分が所定の許容範囲内となる画素を探索して、該探索された画素の位置情報を視差データ候補とし、
前記視差データ決定手段が、前記視差データ候補から、前記注目画素の周辺画素に対して決定された視差データに最も近い1つを選択して、該選択した視差データを前記注目画素に対する視差データとし、
前記視差マップ生成手段が、前記視差データ決定手段で決定された視差データからなる視差マップを生成し、
前記符号化手段が、前記参照画像および前記視差マップを符号化して出力する
を有することを特徴とする画像処理方法。 An image processing method in an image processing apparatus having input means, candidate search means, parallax data determination means, parallax map generation means, and encoding means,
The input means inputs an attention image and a reference image obtained by photographing the same subject from different viewpoints,
The candidate searching means searches for a pixel in which a pixel value difference with the target pixel is within a predetermined allowable range in a predetermined search range of the reference image according to a position of the target pixel in the target image, The position information of the searched pixel is set as a parallax data candidate,
The parallax data determining means selects one closest to the parallax data determined for the peripheral pixels of the target pixel from the parallax data candidates, and uses the selected parallax data as parallax data for the target pixel. ,
The parallax map generation unit generates a parallax map including the parallax data determined by the parallax data determination unit;
The image processing method characterized in that the encoding means includes encoding and outputting the reference image and the parallax map.

コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。 11. A non-transitory computer-readable storage medium storing a program for causing a computer apparatus to function as each unit of the image processing apparatus according to claim 1 when executed by the computer apparatus.