JP5947548B2 - IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM - Google Patents
IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM Download PDFInfo
- Publication number
- JP5947548B2 JP5947548B2 JP2012005662A JP2012005662A JP5947548B2 JP 5947548 B2 JP5947548 B2 JP 5947548B2 JP 2012005662 A JP2012005662 A JP 2012005662A JP 2012005662 A JP2012005662 A JP 2012005662A JP 5947548 B2 JP5947548 B2 JP 5947548B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- divided
- refocus
- area
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮像装置に関し、特にマイクロレンズアレイを用いて光の入射方向の情報を取得し、リフォーカス画像を再構成する手段を有する撮像装置に関する。 The present invention relates to an imaging device, and more particularly to an imaging device having means for acquiring information on the incident direction of light using a microlens array and reconstructing a refocused image.
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置(ライトフィールドカメラ)が提案されている。 2. Description of the Related Art In recent years, an imaging apparatus (light field camera) that can acquire not only the intensity distribution of light but also information on the incident direction of light has been proposed in an imaging apparatus such as an electronic camera.
例えば非特許文献1によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。このように取得された画素信号(ライトフィールド)に対して、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面(リフォーカス面)にピントを合わせた画像を撮影後に再構成することができる。 For example, according to Non-Patent Document 1, a microlens array is arranged between a photographic lens and an image sensor, and one microlens is associated with a plurality of pixels of the image sensor, thereby allowing light that has passed through the microlens. Is acquired for each incident direction by a plurality of pixels. In addition to generating a normal captured image for the pixel signal (light field) acquired in this way, a technique called “Light Field Photography” is applied to any image plane (refocus plane). A focused image can be reconstructed after shooting.
非特許文献1に記載されているライトフィールドカメラでは、再構成可能なリフォーカス面の深度を深くするために、撮影レンズの絞りは開放に近く設定し、光のより大きな角度情報を取得することが望ましい。その場合、一般的に被写界深度は浅いものとなる。 In the light field camera described in Non-Patent Document 1, in order to increase the depth of the reconfigurable refocus plane, the aperture of the photographing lens is set close to the open position to acquire larger angle information of light. Is desirable. In that case, the depth of field is generally shallow.
一方、被写界深度が浅い場合、背景等を含めた構図の確認が困難になることが想定される。特に、近年の電子カメラに搭載されているライブビュー(LV)駆動時において、その目的のひとつである構図の確認に支障をきたす恐れがある。 On the other hand, when the depth of field is shallow, it is assumed that it is difficult to confirm the composition including the background. In particular, at the time of live view (LV) driving mounted on an electronic camera in recent years, there is a risk of hindering confirmation of the composition which is one of the purposes.
換言すれば、ライトフィールドカメラでは撮影後に任意の焦点位置にリフォーカスが可能であるが、ライブビュー駆動時においては、主被写体以外のより広範囲にピントが合っていることが望ましい。 In other words, the light field camera can refocus to an arbitrary focal position after shooting, but it is desirable to focus on a wider range than the main subject during live view driving.
しかしながら、被写界深度を深くするために絞りを絞り込むことは、入射光量の低下によるS/N比の悪化が問題になるだけでなく、入射する光の角度情報が一部消失することを意味する。これは、撮影後にリフォーカスが可能な撮像装置本来の用途・目的に相反するものである。 However, narrowing down the aperture to increase the depth of field not only causes a problem in the S / N ratio due to a decrease in the amount of incident light, but also means that some angle information of incident light is lost. To do. This is contrary to the original use and purpose of the imaging apparatus that can be refocused after shooting.
また、主被写体以外のより広範囲にピントが合った画像を表示するために再構成可能なリフォーカス面をすべて再構成して表示することは、演算量が膨大になり、特にライブビュー駆動時においては現実的ではない。 In addition, reconstructing and displaying all refocusable refocus planes to display images that are in focus over a wider range other than the main subject requires a large amount of computation, especially when driving live view. Is not realistic.
本発明は上述した課題に鑑みてなされたものであり、その目的は、ライブビュー駆動時に、再構成のための処理負荷を軽減しながら、広範囲に焦点が合った画像を表示できるようにすることである。 The present invention has been made in view of the above-described problems, and an object of the present invention is to display an image focused in a wide range while reducing the processing load for reconstruction during live view driving. It is.
本発明に係わる撮像装置は、第1の数の光電変換素子から成る撮像素子の前方に、前記第1の数よりも少ない第2の数の光電変換素子に対して1つのマイクロレンズが対応したマイクロレンズアレイを有する撮像装置であって、前記撮像素子により取得される撮像画像を複数の第1の分割領域に分割するとともに、前記撮像画像を複数の第2の分割領域に分割する領域分割手段と、前記第1の分割領域から被写体の距離に対応する情報を取得する距離情報取得手段と、前記第2の分割領域に対して所定の焦点位置に設定された再構成画像を生成するとともに、前記第2の分割領域ごとに生成された再構成画像をつなぎ合わせて一つのリフォーカス画像を生成するリフォーカス画像生成手段と、前記リフォーカス画像生成手段により、前記撮像素子により撮影された動画像の各フレームに対して生成されたリフォーカス画像を、ライブビュー画像として表示する表示手段と、を有し、前記リフォーカス画像生成手段は、前記第1の分割領域から取得された距離に対応する情報に基づいて、前記第2の分割領域ごとに前記所定の焦点位置を設定することを特徴とする。 Imaging device according to the present invention, in front of an image sensor comprising a first number of photoelectric conversion elements, one microlens corresponds to the first smaller than the number of second number of photoelectric conversion elements An image pickup apparatus having a microlens array, wherein the picked-up image acquired by the image pickup device is divided into a plurality of first divided regions, and region dividing means for dividing the picked-up image into a plurality of second divided regions And distance information acquisition means for acquiring information corresponding to the distance of the subject from the first divided area, and a reconstructed image set at a predetermined focal position with respect to the second divided area , a refocused image generating means for generating a refocused image by joining the reconstructed image generated for each of the second divided area, by the refocused image generation unit, the imaging The refocused image generated for each frame of the moving image captured by the child includes a display means for displaying a live view image, wherein the refocus image generation means, from the first divided area The predetermined focus position is set for each of the second divided regions based on information corresponding to the acquired distance.
本発明によれば、ライブビュー駆動時に、再構成のための処理負荷を軽減しながら、広範囲に焦点が合った画像を表示することが可能となる。 According to the present invention, it is possible to display an image focused in a wide range while reducing the processing load for reconstruction during live view driving.
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
図1は、本発明の一実施形態に係わる画像処理装置の一例である撮像装置100のブロック構成を示す図である。図1において、101は撮影レンズ、102はマイクロレンズアレイ、103は撮像素子である。撮影レンズ101を通過した光は撮影レンズ101の焦点位置近傍に結像する。マイクロレンズアレイ102は複数のマイクロレンズ1020から構成されており、撮影レンズ101の焦点位置近傍に配置されることで、撮影レンズ101の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子103はCMOSイメージセンサやCCDイメージセンサに代表される光電変換素子である。複数のマイクロレンズ1020ひとつに対して複数の画素が対応するように配置されることで、マイクロレンズ1020で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。
FIG. 1 is a diagram illustrating a block configuration of an imaging apparatus 100 that is an example of an image processing apparatus according to an embodiment of the present invention. In FIG. 1, 101 is a photographing lens, 102 is a microlens array, and 103 is an image sensor. The light that has passed through the photographing
104はアナログ信号処理回路(AFE)、105はデジタル信号処理回路(DFE)である。アナログ信号処理回路104は、撮像素子103から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、A/D変換処理等を行う。デジタル信号処理回路105は、アナログ信号処理回路104から出力されるデジタル画像信号に対して基準レベル調整等のデジタル画像処理を行う。
106は画像処理回路、107はメモリ回路、108は記録回路である。画像処理回路106はデジタル信号処理回路105から出力された画像信号に対して所定の画像処理や本実施形態の特徴であるリフォーカス演算を施す。メモリ回路107および記録回路108は画像処理回路106から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。
109は制御回路、110は操作回路、111は表示回路である。制御回路109は撮像素子103や画像処理回路106等の撮像装置全体を統括的に駆動・制御する。操作回路110は撮像装置100に備え付けられた操作部材からの信号を受け付け、制御回路109に対してユーザーの命令を反映する。表示回路111は撮影後の画像やライブビュー画像、各種設定画面等を表示する。
なお、本実施形態は画像処理回路106に特徴を有している。画像処理回路106(リフォーカス画像生成手段)は「Light Field Photography」と呼ばれる手法を用いた演算処理を行うことにより、撮像データ(撮像画像)から、任意の焦点位置(リフォーカス面)に設定した画像(再構成画像、出力画像)を再構成するようになっている。
This embodiment is characterized by the
次に、本実施形態の撮像装置における撮影レンズ101、マイクロレンズアレイ102および撮像素子103の構成について説明する。
Next, the configuration of the
図2は、撮像素子103およびマイクロレンズアレイ102を図1の光軸Z方向から観察した図である。複数の単位画素201に対して1つのマイクロレンズ1020が対応するように配置されている。1つのマイクロレンズ後方にある複数の単位画素201をまとめて画素配列20と定義する。なお、本実施形態では画素配列20には、単位画素201が5行5列の計25個あるものとする。
FIG. 2 is a diagram of the
図3は、撮影レンズ101から出射された光が1つのマイクロレンズ1020を通過して撮像素子103で受光される様子を光軸Zに対して垂直方向から観察した図である。撮影レンズ101の各瞳領域a1〜a5から出射され、マイクロレンズ1020を通過した光は、後方の対応する単位画素p1〜p5でそれぞれ結像する。
FIG. 3 is a diagram in which light emitted from the photographing
図4(a)は撮影レンズ101の開口を光軸Z方向から見た図である。図4(b)は1つのマイクロレンズ1020とその後方に配置された画素配列20を光軸Z方向から見た図である。図4(a)に示すように撮影レンズ101の瞳領域を1つのマイクロレンズ後方にある画素と同数の領域に分割した場合、1つの画素には撮影レンズ101の1つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ101とマイクロレンズ1020のFナンバーがほぼ一致しているものとする。
FIG. 4A is a view of the aperture of the taking
図4(a)に示す撮影レンズ101の瞳分割領域a11〜a55と、図4(b)に示す画素p11〜p55との対応関係は光軸Z方向から見て点対称となる。したがって、撮影レンズ101の瞳分割領域a11から出射した光はマイクロレンズ後方にある画素配列20のうち、画素p11に結像する。これと同様に、瞳分割領域a11から出射し、別のマイクロレンズ1020を通過する光も、そのマイクロレンズ後方にある画素配列20の中の画素p11に結像する。
The correspondence between the pupil division areas a11 to a55 of the photographing
ここで、画面内の任意の被写***置に対応した焦点位置(リフォーカス面)を算出する方法について説明する。 Here, a method for calculating a focal position (refocus plane) corresponding to an arbitrary subject position in the screen will be described.
図4で説明したように、画素配列20の各画素は、撮影レンズ101に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。
As described with reference to FIG. 4, each pixel of the
式(1)は、ある画素配列20の各画素について、撮影レンズ101の射出瞳の左側領域(瞳領域a1〜a2)を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列20に適用し、これらの出力信号群で構成した被写体像をA像とする。また、式(2)は、ある画素配列20の各画素について、撮影レンズ101の射出瞳の右側領域(瞳領域a4〜a5)を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列20に適用し、これらの出力信号群で構成した被写体像をB像とする。A像とB像に対して相関演算を施し、像のずれ量(瞳分割位相差)を検出する。さらに、像のずれ量に対して撮影レンズ101の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写***置に対応した焦点位置を算出することができる。
Expression (1) is obtained by integrating the light passing through the left area (pupil areas a1 to a2) of the exit pupil of the photographing
次に、撮影レンズ101、マイクロレンズアレイ102および撮像素子103の構成によって取得された撮像データに対して、任意に設定した焦点位置(リフォーカス面)での画像の再構成処理について説明する。
Next, image reconstruction processing at an arbitrarily set focal position (refocus plane) with respect to imaging data acquired by the configuration of the photographing
図5は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Zに対して垂直方向から見た図である。図5において、撮影レンズの瞳分割領域の位置を座標(u,v)、リフォーカス面上の画素位置を座標(x,y)、マイクロレンズアレイ上のマイクロレンズの位置を座標(x’,y’)、撮影レンズからマイクロレンズアレイまでの距離をF、撮影レンズからリフォーカス面までの距離をαFとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図5ではu、x、x’の方向のみを示し、v、y、y’については省略してある。図5に示すように、座標(u,v)と座標(x,y)を通過した光は、マイクロレンズアレイ上の座標(x’,y’)に到達する。この座標(x’,y’)は式(3)のように表すことができる。 FIG. 5 shows from which the light passing through a certain pixel on the refocus plane set arbitrarily is emitted from which pupil division region of the photographing lens and which microlens is incident from a direction perpendicular to the optical axis Z. It is a figure. In FIG. 5, the position of the pupil division area of the photographing lens is the coordinates (u, v), the pixel position on the refocus plane is the coordinates (x, y), and the position of the microlens on the microlens array is the coordinates (x ′, y ′), the distance from the taking lens to the microlens array is F, and the distance from the taking lens to the refocus plane is αF. α is a refocus coefficient for determining the position of the refocus plane and can be arbitrarily set by the user. In FIG. 5, only the directions of u, x, and x ′ are shown, and v, y, and y ′ are omitted. As shown in FIG. 5, the light passing through the coordinates (u, v) and the coordinates (x, y) reaches the coordinates (x ′, y ′) on the microlens array. The coordinates (x ′, y ′) can be expressed as in Equation (3).
そして、この光を受光する画素の出力をL(x’,y’,u,v)とすると、リフォーカス面上の座標(x,y)で得られる出力E(x,y)は、L(x’,y’,u,v)を撮影レンズの瞳領域に関して積分したものとなるため、式(4)のようになる。 When the output of the pixel receiving this light is L (x ′, y ′, u, v), the output E (x, y) obtained with the coordinates (x, y) on the refocus plane is L Since (x ′, y ′, u, v) is integrated with respect to the pupil region of the photographing lens, Equation (4) is obtained.
式(4)において、リフォーカス係数αはユーザーによって決定されるため、(x,y)、(u,v)を与えれば、光の入射するマイクロレンズの位置(x’,y’)がわかる。そして、そのマイクロレンズに対応する画素配列20から(u,v)の位置に対応する画素がわかる。この画素の出力がL(x’,y’,u,v)となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでE(x,y)が算出できる。なお、(u,v)を撮影レンズの瞳分割領域の代表座標とすれば、式(4)の積分は、単純加算により計算することができる。
In Expression (4), since the refocus coefficient α is determined by the user, if (x, y) and (u, v) are given, the position (x ′, y ′) of the microlens where the light enters can be known. . Then, the pixel corresponding to the position (u, v) is known from the
次に、本実施形態の特徴である画像処理回路106における画像再構成動作について、図6のLV表示画像生成フローチャートを参照して説明する。
Next, an image reconstruction operation in the
本実施形態においては、これまでに説明した構成のライトフィールドカメラを用いて光の強度、および方向の記録を時系列的に連続した動画像として撮影を行ない、撮影した動画像の各フレームに対してリフォーカス画像を生成することで、被写界の広い領域に焦点の合った画像を得ることができる。 In this embodiment, the light field camera having the configuration described so far is used to record light intensity and direction as a continuous moving image in time series, and for each frame of the captured moving image. By generating a refocused image, it is possible to obtain an image focused on a wide area of the object scene.
図6において、ステップS601では、撮像素子103から得られた撮像データを取得する。
In FIG. 6, in step S <b> 601, image data obtained from the
ステップS602では、入力された撮像データをあらかじめ決められた距離情報取得エリア(以下、Dエリアとする)に分割する。ここで、Dエリア(第1の分割領域)の分割数は再構成時の合焦精度に反映されるため、最小位置分解能である画素配列20ごとに分割されることが望ましい。しかし、複数の画素配列20をまとめてひとつのDエリアを構成する等、画像処理回路106の演算能力やフレームレート等の制限に応じて適宜決められる。すなわち、フレームレートが高い、あるいは画像処理回路106の演算能力が低いほど、Dエリアの分割数を少なくするようにしてもよい。
In step S602, the input imaging data is divided into predetermined distance information acquisition areas (hereinafter referred to as “D area”). Here, since the number of divisions of the D area (first division region) is reflected in the focusing accuracy at the time of reconstruction, it is desirable that the division is performed for each
ステップS603では、Dエリアに分割された撮像データに対して前述の式(1)、式(2)を適用し、各Dエリアを代表する被写体距離を算出する。ここで、複数の画素配列20をまとめてひとつのDエリアを構成した場合(例えば、5×5など)は、中心の画素配列20のみの結果で代用してもよいし、5×5の画素配列20の平均値を用いてもよい。また、このようにして得られたDエリアごとの被写体距離情報を距離情報マップとする。
In step S603, the above-described formulas (1) and (2) are applied to the imaging data divided into the D areas, and the subject distance representing each D area is calculated. Here, when a plurality of
ステップS604では、前述の距離情報マップに応じてリフォーカス面を選択する。このとき、選択されるリフォーカス面は距離情報マップの頻度分布(以下、距離情報ヒストグラムとする)から、最頻値を取得する方法、あるいはあらかじめ決められた関数形によるカーブフィッティングを適用する方法等によって選択される。また、再構成処理の負荷を軽減するために、リフォーカス面の少なくともひとつは撮影時のフォーカスレンズ位置から決まる距離を基準に取ることも可能である。この場合は、画素配列20ごとに画素信号を単純加算して出力する等、再構成処理を省略することができる。なお、リフォーカス面はリフォーカス可能範囲と光学系の被写界深度とに応じて最適な数が決められることが望ましいが、本実施形態ではリフォーカス面を3面として説明する。
In step S604, a refocus plane is selected according to the above-described distance information map. At this time, the refocus plane to be selected is a method of acquiring a mode value from a frequency distribution of a distance information map (hereinafter referred to as a distance information histogram), a method of applying curve fitting by a predetermined function form, etc. Selected by. In order to reduce the load of reconstruction processing, at least one of the refocus surfaces can be set based on a distance determined from the focus lens position at the time of shooting. In this case, it is possible to omit the reconstruction process, such as simply adding and outputting pixel signals for each
ステップS605では、入力された撮像データを距離情報マップに基づいて再構成エリア(以下、Rエリアとする)に分割する。ここで、Rエリア(第2の分割領域)はDエリアと一致していてもよい。この場合、ステップS605はステップS602に包含される。 In step S605, the input imaging data is divided into reconstruction areas (hereinafter referred to as R areas) based on the distance information map. Here, the R area (second divided region) may coincide with the D area. In this case, step S605 is included in step S602.
ステップS606では、Rエリアごとに、各Rエリアの属するリフォーカス面において、前述した再構成処理を行う。 In step S606, the above-described reconstruction process is performed for each R area on the refocus plane to which each R area belongs.
ステップS607では、再構成処理を行ったRエリアをつなぎ合わせ、1フレームの画像を生成する。 In step S607, the R areas subjected to the reconstruction process are connected to generate a one-frame image.
ステップS608では、つなぎ合わされた画像を表示回路111で表示する。
In step S608, the joined image is displayed on the
ステップS609では、LV表示継続の有無が判定され、継続の場合はS601に戻り、終了の場合は画像処理回路106における画像再構成動作が完了する。
In step S609, it is determined whether or not the LV display is continued. If the LV display is continued, the process returns to S601. If the process is finished, the image reconstruction operation in the
次に、ステップS602とステップS603における距離情報の領域分割方法について図7を参照して説明する。図7(a)は取得された撮像データである。この撮像データにおいて、あらかじめ決められたDエリアごとに被写体距離を算出する。これら被写体距離をコントラスト図として表現した模式図が図7(b)である。 Next, the area dividing method of distance information in step S602 and step S603 will be described with reference to FIG. FIG. 7A shows the acquired imaging data. In this imaging data, the subject distance is calculated for each predetermined D area. FIG. 7B is a schematic diagram expressing these subject distances as a contrast diagram.
次に、ステップS604におけるリフォーカス面の選択方法について詳しく述べる。図8は、ステップS603で得られたDエリアごとの被写体距離情報を、横軸をフォーカスレンズ位置、縦軸を頻度として表した距離情報ヒストグラムの模式図である。ここでは、画像を撮影した際に、近距離(リフォーカス面(a))、中距離(リフォーカス面(b))、遠距離(リフォーカス面(c))の3つの距離領域に最頻値が現れる撮影条件を仮定している。 Next, the method for selecting the refocus plane in step S604 will be described in detail. FIG. 8 is a schematic diagram of a distance information histogram in which the subject distance information for each D area obtained in step S603 is represented with the horizontal axis as the focus lens position and the vertical axis as the frequency. Here, when an image is captured, the mode is most frequently displayed in three distance areas: a short distance (refocus plane (a)), a medium distance (refocus plane (b)), and a long distance (refocus plane (c)). The imaging conditions where values appear are assumed.
一般に、代表的な被写体の存在する位置に距離情報ヒストグラムの最頻値が対応すると考えることは妥当である。この最頻値を検出することで、代表的な被写体の存在するリフォーカス面を選択することができる。また、検出する方法は最頻値に限らず、あらかじめ決められた関数形によるカーブフィッティング等、既知の方法が適用可能である。 In general, it is reasonable to consider that the mode value of the distance information histogram corresponds to the position where a representative subject exists. By detecting this mode value, it is possible to select a refocus plane on which a representative subject exists. The detection method is not limited to the mode value, and a known method such as curve fitting using a predetermined function form can be applied.
あるいは、撮影時のフォーカスレンズ位置はあらかじめわかっているため、その位置を少なくともひとつのリフォーカス面に選択してもよい。これは図8において、リフォーカス面(b)が撮影時のフォーカスレンズ位置に一致することを意味する。これにより、再構成処理を行わなくても焦点の合った画像が取得でき、再構成処理の負荷を軽減することができる。この場合、中距離に存在する最頻値に完全に焦点を合わせることはできないが、被写界深度の範囲内で適宜ずらすことは許容されると考えられる。 Alternatively, since the focus lens position at the time of shooting is known in advance, the position may be selected as at least one refocus plane. In FIG. 8, this means that the refocus plane (b) matches the focus lens position at the time of shooting. Thereby, an in-focus image can be acquired without performing the reconstruction process, and the load of the reconstruction process can be reduced. In this case, it is not possible to focus completely on the mode value existing at the middle distance, but it is considered that shifting appropriately within the range of the depth of field is allowed.
また、距離情報ヒストグラムに特徴的な分布が現れず被写体の存在位置が特定できない場合は、リフォーカス可能範囲内で任意にリフォーカス面を選択することもできる。この場合、被写界深度程度の間隔を開けてリフォーカス面を選択することが望ましい。 In addition, when a characteristic distribution does not appear in the distance information histogram and the position of the subject cannot be specified, the refocus plane can be arbitrarily selected within the refocusable range. In this case, it is desirable to select the refocus plane with an interval of about the depth of field.
次に、ステップS605とステップS606、ならびにステップS607におけるリフォーカス面ごとの再構成処理方法について詳しく説明する。 Next, the reconstruction processing method for each refocus plane in step S605, step S606, and step S607 will be described in detail.
図9(a)、(b)、(c)は、ステップS604で選択された複数のリフォーカス面において、再構成されるRエリアを示す模式図であり、図9(d)は、ステップS606でリフォーカス面ごとに再構成された小エリアをつなぎ合わせた合成画像を示す模式図である。なお、図9において実線は焦点の合った被写体、破線は焦点の合っていない被写体を表している。 FIGS. 9A, 9B, and 9C are schematic views showing R areas to be reconfigured in a plurality of refocus planes selected in step S604, and FIG. 9D shows step S606. It is a schematic diagram which shows the synthesized image which connected the small area reconfigure | reconstructed for every refocus surface. In FIG. 9, the solid line represents a focused subject, and the broken line represents a non-focused subject.
まず、入力された撮像データを距離情報ヒストグラムに基づいてRエリアに分割する。ここで、Rエリアの分割方法はあらかじめ決められていてもよいし、すべてDエリアと同一でもよい。あるいは、被写体距離情報が撮影時のフォーカスレンズ位置に対して外れている領域ほど面積を大きくする等、距離情報ヒストグラムに応じて決めることができる。例えば、図9(b)のように、撮影時のフォーカスレンズ位置に近いリフォーカス面(b)で再構成されるRエリアはDエリアと同一に、一方、図9(c)のように、撮影時のフォーカスレンズ位置から遠いリフォーカス面(c)で再構成されるRエリアは面積を大きくすることができる。 First, the input imaging data is divided into R areas based on the distance information histogram. Here, the division method of the R area may be determined in advance, or may be the same as that of the D area. Alternatively, it can be determined according to the distance information histogram, such as increasing the area of the area where the subject distance information is out of the focus lens position at the time of shooting. For example, as shown in FIG. 9B, the R area reconstructed by the refocus plane (b) close to the focus lens position at the time of shooting is the same as the D area, whereas, as shown in FIG. 9C, The area of the R area reconstructed by the refocus plane (c) far from the focus lens position at the time of shooting can be increased.
そして、各Rエリアは選択されたリフォーカス面のうちの少なくともひとつと関連付けられている。これは図8において、距離領域(A)に属するRエリアはリフォーカス面(a)、距離領域(B)に属するRエリアはリフォーカス面(b)、距離領域(C)に属するRエリアはリフォーカス面(c)に対応することを意味する。 Each R area is associated with at least one of the selected refocus planes. In FIG. 8, the R area belonging to the distance area (A) is the refocus plane (a), the R area belonging to the distance area (B) is the refocus plane (b), and the R area belonging to the distance area (C) is It means to correspond to the refocus plane (c).
また、どの距離領域にも属さない、つまり距離が算出できずリフォーカス可能範囲外にあると判定されたRエリアについては、リフォーカスを行わないという付加情報を関連付けることもできる。 Further, additional information indicating that refocusing is not performed can be associated with an R area that does not belong to any distance region, that is, it is determined that the distance cannot be calculated and is outside the refocusable range.
図8の距離領域(A)に属するRエリアはリフォーカス面(a)で再構成処理が行われる。この場合、図9(a)の「人物」が近距離に存在する被写体として該当する。以下、距離領域(B)、距離領域(C)に属するRエリアも同様に対応するリフォーカス面で再構成処理が行われる。この場合、図9(b)、図9(c)の「門扉」、「家屋」がそれぞれ中距離、遠距離に存在する被写体として該当する。 The R area belonging to the distance area (A) in FIG. 8 is reconstructed on the refocus plane (a). In this case, “person” in FIG. 9A corresponds to the subject existing at a short distance. Hereinafter, the reconstruction process is similarly performed on the corresponding refocus planes in the R area belonging to the distance area (B) and the distance area (C). In this case, “gate” and “house” in FIGS. 9B and 9C correspond to subjects existing at a medium distance and a long distance, respectively.
また、撮影時のフォーカスレンズ位置に該当するRエリアおよびリフォーカス可能範囲外にあると判定されたRエリア(例えば、図9における「空」)については、リフォーカス処理を行わず、例えば画素配列20ごとに画素信号を単純加算して出力する。 Further, for the R area corresponding to the focus lens position at the time of shooting and the R area determined to be out of the refocusable range (for example, “sky” in FIG. 9), the refocus processing is not performed, for example, the pixel array The pixel signals are simply added every 20 and output.
さらに、距離領域(A)、(B)、(C)それぞれの境界付近に属するRエリアについては、合成後の不連続性を緩和させることを目的として、各リフォーカス面の中間付近の焦点位置を用いて再構成することも可能である。また、この際の焦点位置、あるいはこの焦点位置を適用するRエリアの数(境界からのヒストグラム階級数)は、各リフォーカス面と撮影時のフォーカスレンズ位置との相対距離にしたがって、重みづけがされても構わない。 Furthermore, for the R areas belonging to the boundaries of the distance regions (A), (B), and (C), the focal position near the middle of each refocus plane for the purpose of relaxing the discontinuity after synthesis. It is also possible to reconfigure using Further, the focus position at this time or the number of R areas to which this focus position is applied (histogram class number from the boundary) is weighted according to the relative distance between each refocus plane and the focus lens position at the time of shooting. It does not matter.
以上のように、複数のリフォーカス面を設定し、Rエリアごとに少なくともひとつと関連付けられたリフォーカス面でリフォーカス処理を施すことで、再構成のための処理負荷を軽減しながら、被写界の広い領域に焦点の合った画像を得ることができる。 As described above, a plurality of refocus planes are set, and refocus processing is performed on the refocus plane associated with at least one for each R area, thereby reducing the processing load for reconstruction and An image focused on a wide area of the field can be obtained.
本実施形態の処理動作は、ライブビュー駆動時に常に行われてもよいし、ユーザーの指示がある場合のみ(例えば、一般的な絞り込みボタンに類似した機能が備えられている場合のみ)、行われてもよい。さらに、ライブビュー駆動時だけでなく、他の再生装置で再生する場合においても、本実施形態の処理動作が行われてもよい。すなわち、本実施形態における画像処理装置は、必ずしも例示したような撮像素子を有する必要はなく、例示した撮像素子より取得される画像を入力画像として取得して、本実施形態の処理動作を行うものであっても良い。 The processing operation of the present embodiment may be performed at all times during live view driving, and is performed only when there is a user instruction (for example, only when a function similar to a general narrowing button is provided). May be. Furthermore, the processing operation of this embodiment may be performed not only when the live view is driven but also when being played back by another playback device. In other words, the image processing apparatus according to the present embodiment does not necessarily have the image sensor as illustrated, and acquires an image acquired from the illustrated image sensor as an input image and performs the processing operation according to the present embodiment. It may be.
以上、本発明の好ましい実施の形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
(Other embodiments)
The object of the present invention can also be achieved as follows. That is, a storage medium in which a program code of software in which a procedure for realizing the functions of the above-described embodiments is described is recorded is supplied to the system or apparatus. The computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program code stored in the storage medium.
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium and program storing the program code constitute the present invention.
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。 Examples of the storage medium for supplying the program code include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, a CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, or the like can also be used.
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。 Further, by making the program code read by the computer executable, the functions of the above-described embodiments are realized. Furthermore, when the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, the functions of the above-described embodiments are realized by the processing. Is also included.
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。 Furthermore, the following cases are also included. First, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.
Claims (12)
前記撮像素子により取得される撮像画像を複数の第1の分割領域に分割するとともに、前記撮像画像を複数の第2の分割領域に分割する領域分割手段と、
前記第1の分割領域から被写体の距離に対応する情報を取得する距離情報取得手段と、
前記第2の分割領域に対して所定の焦点位置に設定された再構成画像を生成するとともに、前記第2の分割領域ごとに生成された再構成画像をつなぎ合わせて一つのリフォーカス画像を生成するリフォーカス画像生成手段と、
前記リフォーカス画像生成手段により、前記撮像素子により撮影された動画像の各フレームに対して生成されたリフォーカス画像を、ライブビュー画像として表示する表示手段と、を有し、
前記リフォーカス画像生成手段は、前記第1の分割領域から取得された距離に対応する情報に基づいて、前記第2の分割領域ごとに前記所定の焦点位置を設定することを特徴とする撮像装置。 An imaging apparatus having a microlens array in which one microlens corresponds to a second number of photoelectric conversion elements smaller than the first number in front of an imaging element including a first number of photoelectric conversion elements. There,
Area dividing means for dividing the captured image acquired by the imaging element into a plurality of first divided areas and dividing the captured image into a plurality of second divided areas;
Distance information acquisition means for acquiring information corresponding to the distance of the subject from the first divided region;
A reconstructed image set at a predetermined focal position for the second divided area is generated, and a refocused image generated for each of the second divided areas is connected to generate a single refocused image. Refocus image generation means for
Display means for displaying, as a live view image, a refocus image generated for each frame of a moving image photographed by the imaging element by the refocus image generation means;
The refocus image generation means sets the predetermined focal position for each of the second divided areas based on information corresponding to the distance acquired from the first divided area. .
前記撮像素子により取得される撮像画像を複数の第1の分割領域に分割するとともに、前記撮像画像を複数の第2の分割領域に分割する領域分割ステップと、
前記第1の分割領域から被写体の距離に対応する情報を取得する距離情報取得ステップと、
前記第2の分割領域に対して所定の焦点位置に設定された再構成画像を生成するとともに、前記第2の分割領域ごとに生成された再構成画像をつなぎ合わせて一つのリフォーカス画像を生成するリフォーカス画像生成ステップと、
前記リフォーカス画像生成ステップにより、前記撮像素子により撮影された動画像の各フレームに対して生成されたリフォーカス画像を、ライブビュー画像として表示する表示ステップと、を有し、
前記リフォーカス画像生成ステップでは、前記第1の分割領域から取得された距離に対応する情報に基づいて、前記第2の分割領域ごとに前記所定の焦点位置を設定することを特徴とする撮像装置の制御方法。 An image pickup apparatus having a microlens array in which one microlens corresponds to a second number of photoelectric conversion elements smaller than the first number in front of an image pickup element including a first number of photoelectric conversion elements. A control method,
An area dividing step of dividing the captured image acquired by the imaging element into a plurality of first divided areas and dividing the captured image into a plurality of second divided areas;
A distance information acquisition step of acquiring information corresponding to the distance of the subject from the first divided region;
A reconstructed image set at a predetermined focal position for the second divided area is generated, and a refocused image generated for each of the second divided areas is connected to generate a single refocused image. A refocus image generation step,
A display step of displaying, as a live view image, a refocus image generated for each frame of a moving image captured by the image sensor in the refocus image generation step;
In the refocus image generation step, the predetermined focus position is set for each of the second divided regions based on information corresponding to the distance acquired from the first divided region. Control method.
前記入力画像を複数の第1の分割領域に分割するとともに、前記入力画像を複数の第2の分割領域に分割する領域分割手段と、
前記第1の分割領域から被写体の距離に対応する情報を取得する距離情報取得手段と、
前記第2の分割領域に対して所定の焦点位置に設定された再構成画像を生成するとともに、前記第2の分割領域ごとに生成された再構成画像をつなぎ合わせて一つのリフォーカス画像を生成するリフォーカス画像生成手段と、
前記リフォーカス画像生成手段により、前記撮像装置により撮影された動画像の各フレームに対して生成されたリフォーカス画像を、動画像として表示する表示手段と、を有し、
前記リフォーカス画像生成手段は、前記第1の分割領域から取得された距離に対応する情報に基づいて、前記第2の分割領域ごとに前記所定の焦点位置を設定することを特徴とする画像処理装置。 By an imaging apparatus having a microlens array in which one microlens corresponds to a second number of photoelectric conversion elements smaller than the first number in front of an imaging element composed of the first number of photoelectric conversion elements. An image processing device that generates an output image from an acquired input image,
Area dividing means for dividing the input image into a plurality of first divided areas and dividing the input image into a plurality of second divided areas;
Distance information acquisition means for acquiring information corresponding to the distance of the subject from the first divided region;
A reconstructed image set at a predetermined focal position for the second divided area is generated, and a refocused image generated for each of the second divided areas is connected to generate a single refocused image. Refocus image generation means for
Display means for displaying, as a moving image, a refocused image generated for each frame of the moving image taken by the imaging device by the refocus image generating unit;
The refocus image generation means sets the predetermined focus position for each of the second divided areas based on information corresponding to the distance acquired from the first divided area. apparatus.
前記入力画像を複数の第1の分割領域に分割するとともに、前記入力画像を複数の第2の分割領域に分割する領域分割ステップと、
前記第1の分割領域から被写体の距離に対応する情報を取得する距離情報取得ステップと、
前記第2の分割領域に対して所定の焦点位置に設定された再構成画像を生成するとともに、前記第2の分割領域ごとに生成された再構成画像をつなぎ合わせて一つのリフォーカス画像を生成するリフォーカス画像生成ステップと、
前記リフォーカス画像生成ステップにより、前記撮像装置により撮影された動画像の各フレームに対して生成されたリフォーカス画像を、動画像として表示するための信号を生成する表示信号生成ステップと、を有し、
前記リフォーカス画像生成ステップでは、前記第1の分割領域から取得された距離に対応する情報に基づいて、前記第2の分割領域ごとに前記所定の焦点位置を設定することを特徴とする画像生成方法。 By an imaging apparatus having a microlens array in which one microlens corresponds to a second number of photoelectric conversion elements smaller than the first number in front of an imaging element composed of the first number of photoelectric conversion elements. An image generation method for generating an output image from an acquired input image,
An area dividing step of dividing the input image into a plurality of first divided areas and dividing the input image into a plurality of second divided areas;
A distance information acquisition step of acquiring information corresponding to the distance of the subject from the first divided region;
A reconstructed image set at a predetermined focal position for the second divided area is generated, and a refocused image generated for each of the second divided areas is connected to generate a single refocused image. A refocus image generation step,
A display signal generation step for generating a signal for displaying the refocus image generated for each frame of the moving image captured by the imaging device as the moving image by the refocus image generating step; And
In the refocus image generation step, the predetermined focus position is set for each of the second divided regions based on information corresponding to the distance acquired from the first divided region. Method.
撮像素子と、
前記撮像素子により取得される撮像画像を複数の第1の分割領域に分割するとともに、前記撮像画像を複数の第2の分割領域に分割する領域分割手段と、
前記第1の分割領域から被写体の距離に対応する情報を取得する距離情報取得手段と、
前記第2の分割領域に対して所定の焦点位置に設定された再構成画像を生成するとともに、前記第2の分割領域ごとに生成された再構成画像をつなぎ合わせて一つのリフォーカス画像を生成するリフォーカス画像生成手段と、
前記リフォーカス画像生成手段により、前記撮像素子により撮影された動画像の各フレームに対して生成されたリフォーカス画像を、ライブビュー画像として表示する表示手段と、を有し、
前記リフォーカス画像生成手段は、前記第1の分割領域から取得された距離に対応する情報に基づいて、前記第2の分割領域ごとに前記所定の焦点位置を設定することを特徴とする撮像装置。 An imaging device capable of acquiring information on light intensity distribution and incident direction,
An image sensor;
Area dividing means for dividing the captured image acquired by the imaging element into a plurality of first divided areas and dividing the captured image into a plurality of second divided areas;
Distance information acquisition means for acquiring information corresponding to the distance of the subject from the first divided region;
A reconstructed image set at a predetermined focal position for the second divided area is generated, and a refocused image generated for each of the second divided areas is connected to generate a single refocused image. Refocus image generation means for
Display means for displaying, as a live view image, a refocus image generated for each frame of a moving image photographed by the imaging element by the refocus image generation means;
The refocus image generation means sets the predetermined focal position for each of the second divided areas based on information corresponding to the distance acquired from the first divided area. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012005662A JP5947548B2 (en) | 2012-01-13 | 2012-01-13 | IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012005662A JP5947548B2 (en) | 2012-01-13 | 2012-01-13 | IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016111194A Division JP6211137B2 (en) | 2016-06-02 | 2016-06-02 | Image processing apparatus, imaging apparatus, and image processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013145980A JP2013145980A (en) | 2013-07-25 |
JP2013145980A5 JP2013145980A5 (en) | 2015-02-19 |
JP5947548B2 true JP5947548B2 (en) | 2016-07-06 |
Family
ID=49041567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012005662A Expired - Fee Related JP5947548B2 (en) | 2012-01-13 | 2012-01-13 | IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5947548B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6305053B2 (en) * | 2013-01-15 | 2018-04-04 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
JP6245892B2 (en) | 2013-08-21 | 2017-12-13 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
JP6406804B2 (en) * | 2013-08-27 | 2018-10-17 | キヤノン株式会社 | Image processing apparatus, image processing method and program, and imaging apparatus |
JP6470530B2 (en) * | 2013-12-06 | 2019-02-13 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and recording medium |
JP6262984B2 (en) * | 2013-10-18 | 2018-01-17 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, control method, and program |
JP6188531B2 (en) * | 2013-10-22 | 2017-08-30 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
JP2016082475A (en) * | 2014-10-20 | 2016-05-16 | キヤノン株式会社 | Image processing system, and control method and program of the same |
CN105093472B (en) * | 2015-08-25 | 2017-11-28 | 华为技术有限公司 | Imaging device and imaging method |
JP7199845B2 (en) * | 2018-06-19 | 2023-01-06 | キヤノン株式会社 | Image processing device, image processing method and program |
CN112600994B (en) * | 2020-12-02 | 2023-04-07 | 达闼机器人股份有限公司 | Object detection device, method, storage medium, and electronic apparatus |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4458408B2 (en) * | 2003-11-10 | 2010-04-28 | 株式会社リコー | Image processing apparatus, image processing method, program, and information recording medium |
JP4900723B2 (en) * | 2008-03-14 | 2012-03-21 | ソニー株式会社 | Image processing apparatus, image processing program, and display apparatus |
JP5490514B2 (en) * | 2009-12-22 | 2014-05-14 | 三星電子株式会社 | Imaging apparatus and imaging method |
JP2011211291A (en) * | 2010-03-29 | 2011-10-20 | Sanyo Electric Co Ltd | Image processing apparatus, imaging apparatus and display device |
-
2012
- 2012-01-13 JP JP2012005662A patent/JP5947548B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013145980A (en) | 2013-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5947548B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM | |
JP6222908B2 (en) | Image processing apparatus, method and program, and imaging apparatus having image processing apparatus | |
CN106257914B (en) | Focus detection device and focus detecting method | |
JP6159097B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
CN106161926A (en) | Camera head and the control method of camera head | |
JP6238657B2 (en) | Image processing apparatus and control method thereof | |
JP6211137B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP6071333B2 (en) | Image processing apparatus, method and program, and imaging apparatus having image processing apparatus | |
JP6095266B2 (en) | Image processing apparatus and control method thereof | |
JP2014153890A5 (en) | ||
JP2014157425A (en) | Imaging device and control method thereof | |
US20150287208A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6103969B2 (en) | Imaging apparatus, control method thereof, and program | |
JP6087719B2 (en) | Image processing apparatus and image processing method | |
JP6210836B2 (en) | IMAGING DEVICE, IMAGING CONTROL DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
JP6752942B2 (en) | Image processing equipment, image processing methods and programs, and imaging equipment | |
JP6491442B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6757245B2 (en) | Video playback device, imaging device, video playback method and program | |
JP6291605B2 (en) | Image processing apparatus and control method thereof | |
JP6566800B2 (en) | Imaging apparatus and imaging method | |
JP6585890B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
JP6097587B2 (en) | Image reproducing apparatus and control method thereof | |
JP2015046687A (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
JP2014064214A5 (en) | ||
JP2018050147A (en) | Imaging apparatus, imaging method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160506 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160603 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5947548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |