JP5354005B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5354005B2 JP5354005B2 JP2011285188A JP2011285188A JP5354005B2 JP 5354005 B2 JP5354005 B2 JP 5354005B2 JP 2011285188 A JP2011285188 A JP 2011285188A JP 2011285188 A JP2011285188 A JP 2011285188A JP 5354005 B2 JP5354005 B2 JP 5354005B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- images
- sub
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。
In recent years, an imaging apparatus that captures information about a direction distribution of incident light rays, that is, an imaging apparatus called a “plenoptic camera” has been researched and developed (see Patent Document 1).
In the optical system of a plenoptic camera, an extremely small lens (hereinafter referred to as a “micro lens”) is continuously arranged vertically and horizontally between a conventional imaging lens (hereinafter referred to as a “main lens”) and an image sensor. A compound eye lens (hereinafter referred to as a “microlens array”) that is repeatedly arranged is inserted.
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素群に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。
The individual microlenses constituting the microlens array distribute the light collected by the main lens to a plurality of pixel groups in the image sensor according to the angle reached.
That is, if an image focused on the image sensor by each of the individual microlenses is hereinafter referred to as a “sub-image”, image data composed of a collection of a plurality of sub-images is captured as image data. Is output from.
Such a captured image of the plenoptic camera, that is, an image made up of a collection of a plurality of sub-images is hereinafter referred to as a “light field image”.
Thus, the light field image is generated not only by the conventional main lens but also by light incident through the microlens array. For this reason, the light field image has not only two-dimensional spatial information that was also included in the conventional captured image, but also from the image sensor as information that was not included in the conventional captured image. Thus, it has two-dimensional direction information indicating from which direction the light ray has arrived.
そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。
Therefore, the plenoptic camera uses such two-dimensional direction information, and after the light field image is captured, the light field image data is used to separate the light field image forward by an arbitrary distance. The image of the surface can be reconstructed.
In other words, even if the plenoptic camera captures a light field image without focusing at a predetermined distance, it uses the data of the light field image after the imaging to match the light field image. Data of an image that is captured in focus (hereinafter referred to as “reconstructed image”) can be freely created.
特許文献１に記載のプレノプティックカメラは、光センサーアレイにおける互いに異なった光センサーで検出された光線が物理焦点面上の特定の場所において入射するときの入射角を、物理焦点面上の特定の場所に対する光センサーの位置に基づいて判定し、光センサーアレイによって検出された光線のデータを、判定された光線の入射角に基づいて選択的に組み合わせることにより再構成画像のデータを生成しているため、計算量が極めて大きなものであった。
このため、より簡易な計算で再構成画像を生成する手法が求められている。
In the plenoptic camera described in Patent Document 1, an incident angle when light beams detected by different optical sensors in the optical sensor array enter at a specific location on the physical focal plane is determined on the physical focal plane. Based on the position of the light sensor with respect to a specific location, the data of the light detected by the light sensor array is selectively combined based on the determined incident angle of the light to generate reconstructed image data. Therefore, the calculation amount is extremely large.
For this reason, a method for generating a reconstructed image with simpler calculation is required.
本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、簡易な計算で再構成画像を生成することを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to generate a reconstructed image by a simple calculation from a light field image captured by an imaging device called a plenoptic camera. .
上記目的を達成するため、本発明の一態様の画像処理装置は、被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、前記副画像から所定の切り出しサイズの部分画像を切り出す画像切り出し手段と、前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する画像生成手段と、再焦点距離を設定する再焦点距離設定手段と、前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する間隔設定手段と、前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定するサイズ設定手段とを備えることを特徴とする。 In order to achieve the above object, an image processing apparatus according to an aspect of the present invention includes an image acquisition unit that acquires an image in which a plurality of sub-images in which a subject is viewed from a plurality of viewpoints is aligned, and a predetermined cut-out size from the sub-image. An image cut-out means for cutting out the partial image, an image generation means for generating a reconstructed image by arranging the partial images at a predetermined interval in the arrangement order of the sub-images corresponding to the partial image, and a re-focusing distance setting unit. the focal length setting means, and interval setting means for setting in accordance with the spacing of the partial image is disposed in the re-focal length, so that the partial region of the partial image to be adjacent to each other on the reconstructed images overlap each other characterized in that it comprises a size setting means for setting the clipping size of the partial image.
本発明によれば、プレノプティックカメラにより撮像されたライトフィールド画像から再構成画像が生成する際の計算量を軽減させることができる。 According to the present invention, it is possible to reduce the amount of calculation when a reconstructed image is generated from a light field image captured by a plenoptic camera.
以下、本発明の一実施形態を図面に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。 FIG. 1 is a block diagram showing a hardware configuration of an image processing apparatus 1 according to an embodiment of the present invention.
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。 The image processing apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an imaging unit 16, and an input unit. 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21.
ＣＰＵ１１は、ＲＯＭ１２に格納されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。 The CPU 11 executes various processes according to a program stored in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13.
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。 The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.
ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。 The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. An imaging unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21 are connected to the input / output interface 15.
撮像部１６は、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、を備えている。なお、撮像部１６のさらなる詳細については、図２を参照して後述する。 The imaging unit 16 includes a main lens 31, a microlens array 32, and an imaging element 33. Further details of the imaging unit 16 will be described later with reference to FIG.
入力部１７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部１８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部１９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
The input unit 17 includes various buttons such as a shutter button (not shown), and inputs various types of information according to user instruction operations.
The output unit 18 includes a monitor, a speaker, and the like, and outputs various images and various sounds.
The storage unit 19 includes a hard disk, a DRAM (Dynamic Random Access Memory), and the like, and stores data of various images such as a light field image and a reconstructed image described later.
The communication unit 20 controls communication performed with other devices (not shown) via a network including the Internet.
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。 A removable medium 22 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 21. The program read from the removable medium 22 by the drive 21 is installed in the storage unit 19 as necessary. The removable medium 22 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.
図２は、このような構成を有する画像処理装置１のうち、光学系の構成例を示す模式図である。 FIG. 2 is a schematic diagram illustrating a configuration example of an optical system in the image processing apparatus 1 having such a configuration.
画像処理装置１の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、がその順番で配置されている。
マイクロレンズアレイ３２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ３２−１乃至３２−Ｎの各々が規則的に連続して繰り返して配置されている。
In the optical system of the image processing apparatus 1, a main lens 31, a microlens array 32, and an image sensor 33 are arranged in that order when viewed from the object plane ob that is a subject.
In the microlens array 32, each of N (N is an arbitrary integer value of 2 or more) microlenses 32-1 to 32-N is regularly and repeatedly arranged.
メインレンズ３１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ３２に入射させる。なお、以下、メインレンズ３１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。 The main lens 31 condenses the light beam emitted from the light source, forms an image on a predetermined surface Ma, and enters the micro lens array 32. Hereinafter, the surface Ma imaged by the main lens 31 is referred to as a “main lens imaging surface Ma”.
マイクロレンズアレイ３２内のマイクロレンズ３２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ３１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３３の上にサブイメージを結像させる。
即ち、撮像素子３３においては、複数のマイクロレンズ３２−１乃至３２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
このようにして、同一の被写体に対して異なる角度から見た像が、対応する複数のサブイメージに記録される。言い換えると被写体を複数の視点から見た複数の副画像が整列した画像が得られる。
The microlenses 32-i (i is an integer value in the range of 1 to N) in the microlens array 32 collect the light beams incident from the object plane ob through the main lens 31 for each incident direction. Thus, a sub-image is formed on the image sensor 33.
That is, in the imaging device 33, a plurality of sub-images are formed by each of the plurality of microlenses 32-1 to 32-N, and a light field image that is an aggregate of the plurality of sub-images is generated.
In this way, images of the same subject viewed from different angles are recorded in a plurality of corresponding sub-images. In other words, an image in which a plurality of sub-images when the subject is viewed from a plurality of viewpoints is aligned is obtained.
こうして得られたサブイメージは、同一の被写体に対して異なる角度から見た像を含む。そのため、複数のサブイメージから適切な画素を選択して合成することで、撮像時に任意の距離だけ前方に離れていた面に焦点を合わせた画像を再構成することができる。
なお、このようにして画像処理装置１が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼び、再構成対象の面を、「再構成面」と呼ぶ。
The sub-images thus obtained include images viewed from different angles with respect to the same subject. Therefore, by selecting and synthesizing appropriate pixels from a plurality of sub-images, it is possible to reconstruct an image focused on a surface that has been separated forward by an arbitrary distance during imaging.
The processing until the image processing apparatus 1 generates the reconstructed image data in this way is hereinafter referred to as “reconstruction processing”, and the surface to be reconstructed is referred to as “reconstruction surface”.
図３は、図１の画像処理装置１が実行する再構成処理の流れを説明するフローチャートである。
なお、画像処理装置１は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部１９等に記憶しているものとする。
FIG. 3 is a flowchart for explaining the flow of reconstruction processing executed by the image processing apparatus 1 of FIG.
It is assumed that the image processing apparatus 1 images a subject and stores light field image data obtained as a result in the storage unit 19 or the like before reconstruction processing.
ステップＳ１１において、画像処理装置１のＣＰＵ１１は、ライトフィールド画像のデータを記憶部１９等から取得する。ステップＳ１２において、画像処理装置１のＣＰＵ１１は、ライトフィールド画像の各画素について被写体距離推定を行う。 In step S11, the CPU 11 of the image processing apparatus 1 acquires light field image data from the storage unit 19 or the like. In step S12, the CPU 11 of the image processing apparatus 1 performs subject distance estimation for each pixel of the light field image.
被写体距離推定は以下の様に行う。
まずサブイメージを第１のサブイメージとして選択する。第１のサブイメージの中の画素から、例えば、サブイメージの中央の画素を注目画素として選択する。次に他のサブイメージ、例えば、隣接するサブイメージを第２のサブイメージとして選択する。そして、注目画素と第２のサブイメージの画素との差分を調べる。まず、注目画素の対応点、この場合、第２のサブイメージの中央からスタートし、起こりうる視差の範囲について調べる。差分が最小値である画素の対応点からの位置ずれ（位置関係）から被写体までの距離を推定する。この被写体距離推定はライトフィールド画像上の各サブイメージについて行われる。
The subject distance is estimated as follows.
First, a sub-image is selected as the first sub-image. From the pixels in the first sub-image, for example, the center pixel of the sub-image is selected as the target pixel. Next, another sub-image, for example, an adjacent sub-image, is selected as the second sub-image. Then, the difference between the target pixel and the pixel of the second sub-image is examined. First, the corresponding point of the pixel of interest, in this case starting from the center of the second sub-image, is examined for possible parallax ranges. The distance to the subject is estimated from the positional deviation (positional relationship) from the corresponding point of the pixel having the minimum difference. This subject distance estimation is performed for each sub-image on the light field image.
注目画素が非常に遠くにある被写体を撮影した点である場合には位置ずれは小さく、近くにある被写体を撮影した点である場合には位置ずれは大きい。この位置ずれと、実世界における被写体とカメラの距離の関係は、メインレンズ３１、マイクロレンズアレイ３２内のマイクロレンズ３２−ｉの焦点距離と、撮像素子３３の置かれた位置および大きさによって決まる。これらの対応関係は予めＲＯＭ１２に格納されている。 The positional deviation is small when the pixel of interest is a point at which a subject that is very far away is photographed, and the positional deviation is large when it is a point at which a subject that is near is photographed. The relationship between the positional deviation and the distance between the subject and the camera in the real world is determined by the focal length of the main lens 31 and the microlens 32-i in the microlens array 32, and the position and size of the image sensor 33. . These correspondences are stored in the ROM 12 in advance.
ステップＳ１３において、ＣＰＵ１１は、メインレンズ３１の前方の所定距離の位置にある面の像を、再構成面として設定する。この所定距離を以下再焦点距離と呼ぶ。ステップＳ１４において、ＣＰＵ１１は、再構成処理に於いて付加するボケ度合いを設定する。 In step S <b> 13, the CPU 11 sets an image of a surface at a predetermined distance in front of the main lens 31 as a reconstruction surface. This predetermined distance is hereinafter referred to as a refocus distance. In step S14, the CPU 11 sets the degree of blur added in the reconstruction process.
ステップＳ１５において、画像処理装置１のＣＰＵ１１は、ライトフィールド画像の各画素についてボケ付加を行う。再焦点距離と被写体までの距離の差が所定値以上あれば設定されたボケ強度に従ってボケ付加処理を行う。ボケ付加処理には例えばガウシアンフィルターを用いる。 In step S15, the CPU 11 of the image processing apparatus 1 performs blur addition for each pixel of the light field image. If the difference between the refocus distance and the distance to the subject is greater than or equal to a predetermined value, blur addition processing is performed according to the set blur intensity. For example, a Gaussian filter is used for the blur addition process.
ステップＳ１６において、ＣＰＵ１１は、サブイメージから切り出された部分画像を再構成画像に配置する際の間隔をＲＯＭ１２から読み出して配置間隔として設定する。配置間隔は、メインレンズ３１、マイクロレンズアレイ３２内のマイクロレンズ３２−ｉの焦点距離と、撮像素子３３の置かれた位置と、再焦点距離によって定まる。 In step S <b> 16, the CPU 11 reads from the ROM 12 the interval at which the partial image cut out from the sub-image is arranged in the reconstructed image and sets it as the arrangement interval. The arrangement interval is determined by the focal length of the main lens 31 and the microlens 32-i in the microlens array 32, the position where the image sensor 33 is placed, and the refocusing distance.
遠くにある被写体ほどマイクロレンズ毎の見込み角度の差が小さくなるためサブイメージ内での移動も小さい。これに従い配置間隔を小さくする。逆に近くにある被写体ほどマイクロレンズ毎の見込み角度の差が大きくなるためサブイメージ内での移動も大きい。これに従い配置間隔を大きくする。 The farther away the subject, the smaller the expected angle difference for each microlens, so the movement within the sub-image is also small. Accordingly, the arrangement interval is reduced. Conversely, the closer the subject, the greater the difference in the expected angle for each microlens, so the movement within the sub-image is also greater. Accordingly, the arrangement interval is increased.
ステップＳ１７において、ＣＰＵ１１は、サブイメージから切り出す部分画像の大きさをＲＯＭ１２から読み出して切り出しサイズとして設定する。ＲＯＭ１２には再焦点距離と切り出しサイズの対応テーブルが記憶されている。切り出しサイズは、部分画像の再構成画像に対する配置間隔とボケ強度によって定まる。 In step S <b> 17, the CPU 11 reads the size of the partial image cut out from the sub-image from the ROM 12 and sets it as the cut-out size. The ROM 12 stores a correspondence table between refocus distances and cutout sizes. The cutout size is determined by the arrangement interval and the blur intensity of the partial image with respect to the reconstructed image.
この切り出しサイズの一辺は配置間隔よりも大きいものである。そのため、部分画像が再構成画像に配置された際には部分画像同士の重なりが生ずる。また、重ねられる部分画像の枚数が多いほどボケが強くなる。そのため、設定されたボケ強度が強ければ、切り出しサイズを大きくする。 One side of this cut-out size is larger than the arrangement interval. Therefore, when the partial images are arranged in the reconstructed image, the partial images overlap each other. In addition, blurring becomes stronger as the number of partial images to be superimposed increases. Therefore, if the set blur intensity is strong, the cutout size is increased.
ステップＳ１８において、ＣＰＵ１１は、処理すべきサブイメージを選択する。ステップＳ１９において、ＣＰＵ１１は、選択されたサブイメージから部分画像を切り出す。ステップＳ２０において、ＣＰＵ１１は、この部分画像を切り出しサイズと配置間隔に基づいて部分画像が互いに重複するように再構成画像に配置する。この際、メインレンズの焦点が撮像素子よりもメインレンズ側にある、図２のような光学系で撮影されたライトフィールド画像においては、各部分画像の上下左右を反転して再構成画像に配置する。メインレンズの焦点が撮像素子の後ろ側にある光学系の場合には部分画像の上下左右の反転を行わない。 In step S18, the CPU 11 selects a sub image to be processed. In step S19, the CPU 11 cuts out a partial image from the selected sub-image. In step S20, the CPU 11 arranges this partial image in the reconstructed image so that the partial images overlap each other based on the cut-out size and the arrangement interval. At this time, in the light field image photographed by the optical system as shown in FIG. 2 in which the main lens is focused on the main lens side with respect to the image sensor, each partial image is inverted and arranged in the reconstructed image. To do. In the case of an optical system in which the focal point of the main lens is behind the image sensor, the partial image is not inverted vertically and horizontally.
ステップＳ２１において、ＣＰＵ１１は、全てのサブイメージを処理したかを判定する。判定結果がＮｏであれば、ＣＰＵ１１は、ステップＳ１８に戻り、次のサブイメージを選択して処理を繰り返す。判定結果がＹｅｓであれば、ステップＳ２２においてＣＰＵ１１は、作成された再構成画像を出力部１８から表示出力し、リムーバブルメディア２２に保存する。これにより、再構成処理は終了となる。 In step S21, the CPU 11 determines whether all the sub-images have been processed. If the determination result is No, the CPU 11 returns to step S18, selects the next sub-image, and repeats the process. If the determination result is Yes, in step S <b> 22, the CPU 11 displays and outputs the created reconstructed image from the output unit 18 and stores it in the removable medium 22. As a result, the reconstruction process ends.
Ｓ１８〜Ｓ２２の処理について図４〜図７を用いて説明する。部分画像Ｃの一辺が配置間隔の２倍の例である。画像の端の部分を除いて、部分画像Ｃが４枚ずつ重なる。
始めにライトフィールド画像ＬＦの左上のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１９）、この部分画像Ｃが中間画像の左上に配置される（Ｓ２０）。ここまでを図解したのが図４である。
The process of S18-S22 is demonstrated using FIGS. 4-7. In this example, one side of the partial image C is twice the arrangement interval. Except for the edge portion of the image, four partial images C are overlapped.
First, the upper left sub-image S of the light field image LF is selected (S18). The partial image C is cut out from the selected sub-image S (S19), and this partial image C is arranged at the upper left of the intermediate image (S20). FIG. 4 illustrates so far.
次に右隣のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１９）、この部分画像Ｃが、先ほど中間画像内に配置された部分画像Ｃの右隣に配置される（Ｓ２０）。切り出された部分画像Ｃの一辺が配置間隔の２倍であるので図５のように水平方向に重なりをもって配置される。重なり部分の画素値はバッファ上で加算される。 Next, the right sub image S is selected (S18). The partial image C is cut out from the selected sub-image S (S19), and this partial image C is arranged on the right side of the partial image C arranged in the intermediate image (S20). Since one side of the cut out partial image C is twice the arrangement interval, it is arranged with an overlap in the horizontal direction as shown in FIG. The overlapping pixel values are added on the buffer.
この作業がライトフィールド画像ＬＦの右端まで繰り返される。右端のサブイメージＳの処理が済んだら、ライトフィールド画像ＬＦの左端に戻り、上から２段目のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出され（Ｓ１９）、この部分画像Ｃが最初に中間画像内に配置された部分画像Ｃの下側に配置される（Ｓ２０）。切り出された部分画像Ｃの一辺が配置間隔の２倍であるので図６のように垂直方向に重なりをもって配置される。重なり部分の画素値はバッファ上で加算される。 This operation is repeated up to the right end of the light field image LF. After the processing of the rightmost sub image S is completed, the process returns to the left end of the light field image LF, and the second sub image S from the top is selected (S18). The partial image C is cut out from the selected sub-image S (S19), and this partial image C is disposed below the partial image C that is initially disposed in the intermediate image (S20). Since one side of the cut out partial image C is twice the arrangement interval, it is arranged with overlapping in the vertical direction as shown in FIG. The overlapping pixel values are added on the buffer.
次に右隣のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１９）、この部分画像Ｃが、先ほど中間画像内に配置された部分画像Ｃの右隣に配置される（Ｓ２０）。切り出された部分画像Ｃの一辺が配置間隔の２倍であるので図７のように水平方向に重なりをもって配置される。重なり部分の画素値はバッファ上で加算される。 Next, the right sub image S is selected (S18). The partial image C is cut out from the selected sub-image S (S19), and this partial image C is arranged on the right side of the partial image C arranged in the intermediate image (S20). Since one side of the cut out partial image C is twice the arrangement interval, it is arranged with an overlap in the horizontal direction as shown in FIG. The overlapping pixel values are added on the buffer.
一段目と同様にこの作業がライトフィールド画像ＬＦの右端まで繰り返される。右端のサブイメージＳの処理が済んだら、ライトフィールド画像ＬＦの次の段のサブイメージＳが処理される。これらの作業が繰り返される。ライトフィールド画像ＬＦの右下のサブイメージＳまで処理したと判定されたら（Ｓ２１）、作成された再構成画像Ｒは出力部１８から表示出力され、リムーバブルメディア２２に保存される。（Ｓ２２）。 Similar to the first stage, this operation is repeated up to the right end of the light field image LF. After the processing of the rightmost sub-image S is completed, the sub-image S at the next stage of the light field image LF is processed. These operations are repeated. If it is determined that the sub-image S at the lower right of the light field image LF has been processed (S21), the generated reconstructed image R is displayed and output from the output unit 18 and stored in the removable medium 22. (S22).
図８は、上述の手法が、Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖがｈｔｔｐ：／／ｗｗｗ．ｔｇｅｏｒｇｉｅｖ．ｎｅｔ／で公開しているライトフィールドデータに適用されたものである。図８（ａ）の全体像の点線で囲まれた部分のライトフィールド画像を、図８（ｂ）に示す。図を見やすくするために、マイクロレンズにより生ずる各サブイメージの上下左右の反転は修正されている。また、見やすさのためにライトフィールド画像へのボケ加工を行っていない作例を図示している。また、図８（ｂ）の４個のサブイメージが重ね合わされた結果を、図８（ｃ）に示す。再構成面から離れた被写体にボケが生じているのがわかる。このように重ね書きにより少ない計算量でボケを付加することができる。 FIG. 8 shows that the above-described method is described by Todor Georgiev at http: // www. tgeorgiev. This is applied to light field data published on net /. FIG. 8B shows a light field image of a portion surrounded by a dotted line in the whole image of FIG. In order to make the figure easier to see, the up / down / left / right inversion of each sub-image caused by the microlens has been corrected. In addition, for the sake of easy viewing, an example in which the blur processing on the light field image is not performed is illustrated. FIG. 8C shows the result of superimposing the four sub-images of FIG. 8B. It can be seen that the subject away from the reconstruction plane is blurred. In this way, blur can be added with a small amount of calculation by overwriting.
ライトフィールド画像に対するボケ加工はサブイメージ毎に為されるため、ステップＳ１２での被写体距離推定に誤りが含まれていた場合でも、ステップＳ１８〜Ｓ２１の重ね書きにより平均化され、誤りの影響が緩和される。 Since the blur processing for the light field image is performed for each sub-image, even if an error is included in the subject distance estimation in step S12, it is averaged by overwriting in steps S18 to S21, and the influence of the error is reduced. Is done.
また、重ね書きによるボケ付加と、被写体距離推定後のフィルター処理によるボケ付加を併用しているため、この両者の強度を調整することでボケの味わいを変化させることができる。 Further, since blur addition by overwriting and blur addition by filter processing after estimation of the subject distance are used together, it is possible to change the taste of the blur by adjusting the intensity of both.
また、再焦点距離の設定は、マニュアル操作で設定しても良いし、焦点を合わせたい被写体までの距離を測定して設定しても良い。さらに、再構成画像の表示後にタッチパネルなどにより焦点を合わせたい被写体を選択し直して、再焦点距離を再設定するようにしても良い。 The refocus distance may be set manually or by measuring the distance to the subject to be focused. Furthermore, after the reconstructed image is displayed, the subject to be focused on may be selected again using a touch panel or the like, and the refocus distance may be reset.
本実施形態に於いては、撮像処理を画像処理装置内で行ったが、他の撮像装置で生成されたライトフィールド画像を画像処理装置に読み込み、この画像処理装置で再構成処理を行ってもよい。この場合、他の撮像装置は、タッチパネルで選んだ被写体の位置とライトフィールド画像をリムーバブルメディア２２に記憶しておくようにしても良い。これにより画像処理装置での再構成が容易になる。また、撮影時に測定した被写体距離とライトフィールド画像をリムーバブルメディア２２に記憶しておくようにしても良い。 In this embodiment, the imaging process is performed in the image processing apparatus. However, even if the light field image generated by another imaging apparatus is read into the image processing apparatus and the reconstruction process is performed by this image processing apparatus. Good. In this case, another imaging apparatus may store the position of the subject selected on the touch panel and the light field image in the removable medium 22. This facilitates reconfiguration in the image processing apparatus. Further, the subject distance and the light field image measured at the time of shooting may be stored in the removable medium 22.
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although embodiment of this invention was described, this embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す画像切り出し手段と、
前記部分画像を配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定するサイズ設定手段と
を備えた画像処理装置。
［付記２］
ボケ度合いを設定する手段を更に備え、
前記サイズ設定手段は前記ボケ度合いが大きくなると前記切り出しサイズを大きくする
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記複数の副画像から第１の画像を選択する第１の選択手段と、
前記第１の画像に含まれる第１の画素を選択する画素選択手段と、
前記複数の副画像から第２の画像を選択する第２の選択手段と、
前記第２の画像に含まれる画素の中から、前記第１の画素に対応する第２の画素を探索する探索手段と、
前記第１の画素と第２の画素の位置関係に基づいて前記第１の画素と第２の画素を加工する画素加工手段と、
前記画素加工手段によって加工された前記複数の副画像から画像を再構成する再構成手段と
を備えた画像処理装置。
［付記４］
前記再構成手段は、
前記副画像から部分画像を切り出す画像切り出し手段と、
前記部分画像を配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定するサイズ設定手段と、
を含むことを特徴とする付記３に記載の画像処理装置。
［付記５］
メインレンズと、撮像素子と、各々のマイクロレンズが該撮像素子の複数の画素をカバーするマイクロレンズアレイを含む光学系からなる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
ことを特徴とする付記１乃至４に記載の画像処理装置。
［付記６］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する工程と、
前記副画像から部分画像を切り出す工程と、
前記部分画像を配置して再構成画像を生成する工程と、
再焦点距離を設定する行程と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する工程と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定する工程と
を備えた画像処理方法。
［付記７］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段を備えた画像処理装置のコンピュータに、
前記副画像から部分画像を切り出す手順と、
前記部分画像を配置して再構成画像を生成する手順と、
再焦点距離を設定する手順と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する手順と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定する手順と
を実行させるプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Image acquisition means for acquiring an image in which a plurality of sub-images in which a subject is viewed from a plurality of viewpoints are aligned;
Image cutout means for cutting out a partial image from the sub-image;
Image generating means for arranging the partial images to generate a reconstructed image;
Refocus distance setting means for setting the refocus distance;
An interval setting means for setting an interval at which the partial images are arranged according to the refocus distance;
An image processing apparatus comprising: size setting means for setting a cutout size of the partial image so that the partial images overlap with each other on the reconstructed image.
[Appendix 2]
A means for setting the degree of blur;
The image processing apparatus according to appendix 1, wherein the size setting unit increases the cut-out size when the degree of blur increases.
[Appendix 3]
Image acquisition means for acquiring an image in which a plurality of sub-images in which a subject is viewed from a plurality of viewpoints are aligned;
First selection means for selecting a first image from the plurality of sub-images;
Pixel selection means for selecting a first pixel included in the first image;
Second selection means for selecting a second image from the plurality of sub-images;
Search means for searching for a second pixel corresponding to the first pixel from the pixels included in the second image;
Pixel processing means for processing the first pixel and the second pixel based on a positional relationship between the first pixel and the second pixel;
An image processing apparatus comprising: reconstruction means for reconstructing an image from the plurality of sub-images processed by the pixel processing means.
[Appendix 4]
The reconstruction means includes
Image cutout means for cutting out a partial image from the sub-image;
Image generating means for arranging the partial images to generate a reconstructed image;
Refocus distance setting means for setting the refocus distance;
An interval setting means for setting an interval at which the partial images are arranged according to the refocus distance;
Size setting means for setting a cut-out size of the partial image so that the partial images overlap with each other on the reconstructed image;
The image processing apparatus according to appendix 3, characterized by comprising:
[Appendix 5]
An image pickup means comprising an optical system including a main lens, an image pickup device, and a microlens array in which each microlens covers a plurality of pixels of the image pickup device;
The image processing apparatus according to any one of appendices 1 to 4, wherein the image acquisition unit acquires an image captured by the imaging unit.
[Appendix 6]
Obtaining an image in which a plurality of sub-images in which a subject is viewed from a plurality of viewpoints are aligned;
Cutting out a partial image from the sub-image;
Arranging the partial images to generate a reconstructed image;
The process of setting the refocus distance,
Setting an interval at which the partial images are arranged according to the refocus distance;
An image processing method comprising: setting a cut-out size of the partial image so that the partial images overlap with each other on the reconstructed image.
[Appendix 7]
In a computer of an image processing apparatus provided with an image acquisition means for acquiring an image in which a plurality of sub-images obtained by viewing a subject from a plurality of viewpoints are arranged,
A procedure for cutting out a partial image from the sub-image;
A procedure for arranging the partial images to generate a reconstructed image;
The procedure for setting the refocus distance;
A procedure for setting an interval at which the partial images are arranged according to the refocus distance;
A program for executing a procedure for setting a cutout size of the partial image so that the partial images overlap each other on the reconstructed image.
１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、２２・・・リムーバブルメディア、３１・・・メインレンズ、３２・・・マイクロレンズアレイ、３２−ｉ・・・マイクロレンズ、３３・・・撮像素子 DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input / output interface, 16 ... Imaging part, 17 ... Input unit 18 ... Output unit 19 ... Storage unit 20 ... Communication unit 21 ... Drive 22 ... Removable media 31 ... Main lens 32 ... Micro Lens array, 32-i ... micro lens, 33 ... imaging device
Claims (7)
前記副画像から所定の切り出しサイズの部分画像を切り出す画像切り出し手段と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定するサイズ設定手段と
を備えた画像処理装置。 Image acquisition means for acquiring an image in which a plurality of sub-images in which a subject is viewed from a plurality of viewpoints are aligned;
Image cutout means for cutting out a partial image of a predetermined cutout size from the sub-image;
Image generating means for generating a reconstructed image by arranging the partial images at predetermined intervals in the arrangement order of the sub-images corresponding to the partial images ;
Refocus distance setting means for setting the refocus distance;
And interval setting means for setting in accordance with the spacing of the partial image is disposed in the re-focal length,
An image processing apparatus comprising: a size setting unit configured to set the cutout size of the partial image so that partial areas of the partial images adjacent on the reconstructed image overlap each other.
前記サイズ設定手段は前記ボケ度合いが大きくなると前記切り出しサイズを大きくする
ことを特徴とする請求項１に記載の画像処理装置。 A means for setting the degree of blur;
The image processing apparatus according to claim 1, wherein the size setting unit increases the cut-out size when the degree of blur increases.
前記複数の副画像から第１の画像を選択する第１の選択手段と、
前記第１の画像に含まれる第１の画素を選択する画素選択手段と、
前記複数の副画像から第２の画像を選択する第２の選択手段と、
前記第２の画像に含まれる画素の中から、前記第１の画素に対応する第２の画素を探索する探索手段と、
前記第１の画素と第２の画素の位置関係と、再焦点距離と、に応じたボケ強度に従って前記第１の画素と第２の画素にボケ付加処理を施して前記複数の副画像を加工する画素加工手段と、
前記画素加工手段によって加工された前記複数の副画像から画像を再構成する再構成手段と
を備えた画像処理装置。 Image acquisition means for acquiring an image in which a plurality of sub-images in which a subject is viewed from a plurality of viewpoints are aligned;
First selection means for selecting a first image from the plurality of sub-images;
Pixel selection means for selecting a first pixel included in the first image;
Second selection means for selecting a second image from the plurality of sub-images;
Search means for searching for a second pixel corresponding to the first pixel from the pixels included in the second image;
The first pixel and the positional relationship of the second pixel, re focal length, said first follow the blur intensity corresponding to the pixels and the plurality of sub-images by performing blur adding processing to the second pixel Pixel processing means for processing
An image processing apparatus comprising: reconstruction means for reconstructing an image from the plurality of sub-images processed by the pixel processing means.
前記副画像から所定の切り出しサイズの部分画像を切り出す画像切り出し手段と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定するサイズ設定手段と
を含むことを特徴とする請求項３に記載の画像処理装置。 The reconstruction means includes
Image cutout means for cutting out a partial image of a predetermined cutout size from the sub-image;
Image generating means for generating a reconstructed image by arranging the partial images at predetermined intervals in the arrangement order of the sub-images corresponding to the partial images ;
Refocus distance setting means for setting the refocus distance;
And interval setting means for setting in accordance with the spacing of the partial image is disposed in the re-focal length,
The image processing according to claim 3, characterized in that it comprises said size setting means for setting a clipping size of the partial image as a partial area of the partial image to be adjacent to each other on the reconstructed images overlap each other apparatus.
前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
ことを特徴とする請求項１乃至４に記載の画像処理装置。 An image pickup means comprising an optical system including a main lens, an image pickup device, and a microlens array in which each microlens covers a plurality of pixels of the image pickup device;
The image processing apparatus according to claim 1, wherein the image acquisition unit acquires an image captured by the imaging unit.
前記副画像から所定の切り出しサイズの部分画像を切り出す工程と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する工程と、
再焦点距離を設定する工程と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する工程と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定する工程と
を備えた画像処理方法。 Obtaining an image in which a plurality of sub-images in which a subject is viewed from a plurality of viewpoints are aligned;
Cutting out a partial image of a predetermined cut-out size from the sub-image;
Arranging the partial images at predetermined intervals in the arrangement order of the sub-images corresponding to the partial images, and generating a reconstructed image;
And as factory to set the re-focus distance,
And setting in response to the re-focal length the distance which the partial images are arranged,
An image processing method comprising: setting the cut-out size of the partial image so that partial areas of the partial images adjacent to each other on the reconstructed image overlap each other.
前記副画像から所定の切り出しサイズの部分画像を切り出す手順と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する手順と、
再焦点距離を設定する手順と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する手順と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定する手順と
を実行させるプログラム。 In a computer of an image processing apparatus provided with an image acquisition means for acquiring an image in which a plurality of sub-images obtained by viewing a subject from a plurality of viewpoints are arranged,
A procedure for cutting out a partial image having a predetermined cut-out size from the sub-image;
A procedure for generating a reconstructed image by arranging the partial images at predetermined intervals in the arrangement order of the sub-images corresponding to the partial images ;
The procedure for setting the refocus distance;
A step of setting in response to the re-focal length the distance which the partial images are arranged,
Program for executing a step of setting the clipping size of the partial image as a partial area of the partial image to be adjacent to each other on the reconstructed images overlap each other.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011285188A JP5354005B2 (en) | 2011-12-27 | 2011-12-27 | Image processing apparatus, image processing method, and program |
| US13/721,582 US8941750B2 (en) | 2011-12-27 | 2012-12-20 | Image processing device for generating reconstruction image, image generating method, and storage medium |
| US13/723,827 US9749601B2 (en) | 2011-12-27 | 2012-12-21 | Imaging device, image display method, and storage medium for displaying reconstruction image |
| CN201210579793.8A CN103188430B (en) | 2011-12-27 | 2012-12-27 | Camera head and method for displaying image |
| CN201210579821.6A CN103188441B (en) | 2011-12-27 | 2012-12-27 | Generate image processing apparatus and the image generating method of reconstructed image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011285188A JP5354005B2 (en) | 2011-12-27 | 2011-12-27 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013134654A JP2013134654A (en) | 2013-07-08 |
| JP5354005B2 true JP5354005B2 (en) | 2013-11-27 |
Family
ID=48911296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011285188A Expired - Fee Related JP5354005B2 (en) | 2011-12-27 | 2011-12-27 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5354005B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6502640B2 (en) * | 2013-09-20 | 2019-04-17 | キヤノン株式会社 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM |
| JP6491442B2 (en) * | 2013-09-20 | 2019-03-27 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and recording medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4826152B2 (en) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | Image composition method and imaging apparatus |
| JP5499778B2 (en) * | 2010-03-03 | 2014-05-21 | 株式会社ニコン | Imaging device |
| JP5671842B2 (en) * | 2010-06-03 | 2015-02-18 | 株式会社ニコン | Image processing apparatus and imaging apparatus |
-
2011
- 2011-12-27 JP JP2011285188A patent/JP5354005B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013134654A (en) | 2013-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10855903B2 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
| JP5988790B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP6548367B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| JP6011862B2 (en) | 3D image capturing apparatus and 3D image capturing method | |
| US9208569B2 (en) | Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data | |
| JP2014155121A5 (en) | ||
| KR101725045B1 (en) | Image processing apparatus and control method thereof | |
| JP5459337B2 (en) | Imaging apparatus, image processing method, and program | |
| JP2014153890A5 (en) | ||
| JP2012205111A (en) | Imaging apparatus | |
| JP6095266B2 (en) | Image processing apparatus and control method thereof | |
| JP2013026844A (en) | Image generation method and device, program, recording medium, and electronic camera | |
| JP6418770B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
| JP2014026051A (en) | Image capturing device and image processing device | |
| JP5354005B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5360190B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6321991B2 (en) | Image processing apparatus, control method, program, and recording medium | |
| JP6502640B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM | |
| JP6566800B2 (en) | Imaging apparatus and imaging method | |
| JP2015084518A (en) | Image processing apparatus, image processing method, program and recording medium | |
| JP2014064214A5 (en) | ||
| JP6387149B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6585890B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
| JP5527491B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6210717B2 (en) | Image reproducing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5354005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |