JP6643102B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP6643102B2 JP6643102B2 JP2016010388A JP2016010388A JP6643102B2 JP 6643102 B2 JP6643102 B2 JP 6643102B2 JP 2016010388 A JP2016010388 A JP 2016010388A JP 2016010388 A JP2016010388 A JP 2016010388A JP 6643102 B2 JP6643102 B2 JP 6643102B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- application value
- value
- sharpness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 181
- 238000003672 processing method Methods 0.000 title description 6
- 238000012937 correction Methods 0.000 claims description 242
- 238000000034 method Methods 0.000 claims description 61
- 210000001747 pupil Anatomy 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000004907 flux Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000003321 amplification Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing device and an image processing method.
近時では、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の画像、即ち、互いに視差を有する一組の視差画像を取得することができる撮像装置が提案されている。 In recent years, an imaging device that can divide the exit pupil of a photographing lens into a plurality of regions and obtain a plurality of images corresponding to the divided pupil regions, that is, a set of parallax images having parallax with each other is known. Proposed.
特許文献１では、１つの画素に対して１つのマイクロレンズと複数の光電変換部とが形成され、かかる画素が２次元的に配列されている撮像素子を備えた撮像装置が開示されている。１つの画素内に配された複数の光電変換部は、撮影レンズの射出瞳の異なる瞳部分領域を通過する光束を１つのマイクロレンズを介して受光するように構成されており、これにより瞳分割が行われている。このような撮像素子を用いて撮影を行うことによって、分割された瞳部分領域に応じた複数の視差画像を得ることができる。特許文献２には、複数の光電変換部からの信号を加算することによって撮像画像を生成し得ることが開示されている。互いに視差を有する複数の画像を含む一組の視差画像は、光強度の空間分布および角度分布の情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。また、特許文献３には、互いに視差を有する複数の画像を含む一組の視差画像からデフォーカス量の分布を算出することが開示されている。非特許文献１には、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することによって、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。
しかしながら、従来の技術では、良好なリフォーカス画像を得るための調整作業には大きな手間がかかっていた。
本発明の目的は、良好なリフォーカス画像を生成するための手間を軽減し得る画像処理装置及び画像処理方法を提供することにある。
However, in the related art, the adjustment work for obtaining a good refocus image requires a great deal of trouble.
An object of the present invention is to provide an image processing apparatus and an image processing method that can reduce the trouble for generating a good refocused image.
実施形態の一観点によれば、互いに視差を有する複数の視差画像に対して、前記複数の視差画像間の差を強調するための補正処理を行う補正処理手段と、前記補正処理が行われた前記複数の視差画像を合成することによって、所定の結像面において結像したリフォーカス画像を生成するリフォーカス処理手段と、前記リフォーカス画像の鮮鋭度を調整するためのシャープネス処理を行うシャープネス処理手段と、前記補正処理において適用される補正適用値と、前記シャープネス処理において適用されるシャープネス適用値とを、前記リフォーカス画像に対する調整を行うためにユーザによって入力される調整値に基づいて統括的に調整する調整手段とを有することを特徴とする画像処理装置が提供される。 According to one aspect of the embodiment, a plurality of parallax images having parallax with each other, a correction processing unit that performs a correction process for enhancing a difference between the plurality of parallax images, and the correction process is performed. Refocus processing means for generating a refocus image formed on a predetermined image plane by combining the plurality of parallax images, and sharpness processing for performing sharpness processing for adjusting the sharpness of the refocus image Means, a correction application value applied in the correction process, and a sharpness application value applied in the sharpness process, based on an adjustment value input by a user for performing adjustment on the refocused image. An image processing apparatus comprising: an adjustment unit that adjusts the image processing.
本発明によれば、良好なリフォーカス画像を生成するための手間を軽減し得る画像処理装置及び画像処理方法を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus and an image processing method that can reduce the trouble for generating a good refocused image.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
なお、以下に説明する実施の形態は、本発明を実現するための手段の一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
The embodiment described below is an example of means for realizing the present invention, and may be appropriately modified or changed depending on the configuration of an apparatus to which the present invention is applied and various conditions. Further, the respective embodiments can be appropriately combined.
［第１実施形態］
第１実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図１は、本実施形態による画像処理装置の構成の概略を示すブロック図である。
[First Embodiment]
An image processing apparatus and an image processing method according to the first embodiment will be described with reference to the drawings. FIG. 1 is a block diagram schematically illustrating the configuration of the image processing apparatus according to the present embodiment.
本実施形態による画像処理装置１０６は、ＣＰＵ１００と、表示用メモリ１０１と、メモリ１０２と、記憶部１０３と、入力部１０４と、表示部１０５とを有している。ＣＰＵ１００は、記憶部１０３に記憶されたオペレーティングシステム（ＯＳ）や画像処理アプリケーションプログラムをメモリ１０２に展開し、実行する。これにより、画像処理装置１０６の全体の動作が制御され、画像処理装置１０６によって各種処理が実行される。画像処理装置１０６としては、例えば、一般的なパーソナルコンピュータを用いることができる。なお、画像処理装置１０６は、一般的なパーソナルコンピュータに限定されるものではなく、撮像機能を有していてもよい。撮像機能を有する画像処理装置１０６としては、例えばデジタルカメラ等が挙げられる。
The
記憶部１０３としては、例えば、ハードディスクドライブ等が用いられる。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリや、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリを含む。なお、ＯＳや画像処理アプリケーションプログラムは、記憶部１０３に記憶されているのではなく、メモリ１０２に記憶されていてもよい。
As the
記憶部１０３には、画像データ（画像ファイル）が格納される。ＣＰＵ１００は、補正対象となる画像データを記憶部１０３から読み出して表示用メモリ１０１に展開し、表示用メモリ１０１に展開した画像を表示部１０５に表示する。表示部１０５としては、例えば、液晶ディスプレイやＣＲＴ等が挙げられる。
ユーザ（操作者）は、キーボードやマウス等の入力部１０４を介して画像処理装置１０６に対して操作を行う。例えば、記憶部１０３から読み出された画像データに対して、後述するような補正処理やシャープネス処理が行われる。補正処理やシャープネス処理が行われた後の画像データは、表示部１０５に表示され、記憶部１０３にも格納される。
The
A user (operator) operates the
かかる画像データは、例えば、デジタルカメラ等の撮像装置を用いて撮影することによって得られた画像データである。より具体的には、かかる画像データは、互いに視差を有する複数の視差画像、即ち、一組の視差画像を取得することが可能なデジタルカメラを用いて撮影することによって得られた画像データである。なお、視差画像とは、ある画像に対して視差を有している画像のことである。かかる画像データは、例えば、以下のような撮像素子２５０を有するデジタルカメラを用いて取得することができる。図２は、撮像素子２５０の画素配置を示す平面図である。
Such image data is, for example, image data obtained by shooting using an imaging device such as a digital camera. More specifically, such image data is a plurality of parallax images having parallax with each other, that is, image data obtained by photographing using a digital camera capable of acquiring a set of parallax images. . Note that a parallax image is an image having parallax with respect to a certain image. Such image data can be acquired using, for example, a digital camera having the following
図２に示すように、撮像素子２５０には、単位画素２５１が２次元状（行列状）に複数配列されており、各々の単位画素２５１上には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のカラーフィルタが例えばベイヤー配列で配置されている。単位画素２５１は、１つの画素を構成している。各々の単位画素２５１内には、分割画素（副画素）ａと、分割画素（副画素）ｂとがそれぞれ配置されている。分割画素ａ、ｂには、フォトダイオード（光電変換部）２５２ａ，２５２ｂがそれぞれ設けられている。分割画素ａ、ｂからの各々の出力信号は、互いに視差を有している。なお、分割画素ｂの出力信号の値は、例えば、分割画素ａ，ｂの出力信号の加算値から分割画素ａの出力信号の値を減算することによって算出される。なお、ここでは、１つの単位画素２５１が２つの分割画素ａ，ｂによって構成されている場合、即ち、１つの単位画素２５１が２つに分割されている場合を例に説明したが、これに限定されるものではない。１つの単位画素２５１が例えば３つ以上の分割画素によって構成されていてもよい。
As illustrated in FIG. 2, a plurality of
次に、撮像光学系と単位画素２５１との関係について図３を用いて説明する。図３は、撮像光学系の射出瞳２５３を通過する光束と単位画素２５１との関係を示す模式図である。図３に示すように、カラーフィルタ２５４及びマイクロレンズ２５５が、単位画素２５１上、即ち、フォトダイオード２５２ａ、２５２ｂ上にそれぞれ形成されている。撮像光学系の射出瞳２５３を通過する光束の中心と光軸２５６とが一致している。射出瞳２５３を通過した光束は、光軸２５６を中心として単位画素２５１に入射する。
Next, the relationship between the imaging optical system and the
撮像光学系の射出瞳２５３には、第１の瞳領域２５７と、第１の瞳領域２５７とは異なる第２の瞳領域２５８とが位置している。第１の瞳領域２５７を通過する光束は、マイクロレンズ２５５を介して、分割画素ａ、即ち、フォトダイオード２５２ａによって受光される。一方、第２の瞳領域２５８を通過する光束は、マイクロレンズ２５５を介して、分割画素ｂ、即ち、フォトダイオード２５２ｂによって受光される。このように、分割画素ａ、ｂは、撮像光学系の射出瞳２５３の別個の瞳領域２５７，２５８からの光をそれぞれ受光する。このため、分割画素ａの出力信号と分割画素ｂの出力信号とは、互いに視差を有している。
In the
図４は、撮像素子２５０の単位画素２５１を示す回路図である。分割画素ａ、ｂにそれぞれ設けられたフォトダイオード２５２ａ、２５２ｂは、入射される光（光学像）を光電変換し、露光量に応じた電荷を蓄積する。転送スイッチ２５９ａ、２５９ｂのゲートに印加される信号ｔｘａ、ｔｘｂをＨｉｇｈレベルに設定することにより、フォトダイオード２５２ａ、２５２ｂに蓄積されているそれぞれの電荷がフローティングディフュージョン部２６０に転送される。フローティングディフュージョン部２６０は、増幅トランジスタ２６１のゲートに接続されており、増幅トランジスタ２６１のゲートの電位は、フォトダイオード２５２ａ、２５２ｂから転送された電荷量に応じた電位となる。増幅トランジスタ２６１のドレインは、電源電位Ｖｄｄに接続されている。増幅トランジスタ２６１の出力は、垂直出力線（図示せず）を介して電流源（図示せず）に接続されている。増幅トランジスタ２６１と電流源とによって、ソースフォロワ回路が構成されている。
FIG. 4 is a circuit diagram showing the
フローティングディフュージョン部２６０をリセットするためのリセットスイッチ（リセットトランジスタ）２６２のドレインは、電源電位Ｖｄｄに接続されている。リセットスイッチ２６２のゲートに印加される信号ｒｅｓをＨｉｇｈレベルに設定することにより、フローティングディフュージョン部２６０がリセットされる。フォトダイオード２５２ａ、２５２ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルに設定することにより、転送スイッチ（転送ゲート）２５９ａ、２５９ｂとリセットスイッチ２６２の両方をオンにする。そして、フローティングディフュージョン部２６０を経由して、フォトダイオード２５２ａ、２５２ｂのリセットを行う。選択スイッチ（選択トランジスタ）２６３のゲートに印加される信号ｓｅｌをＨｉｇｈレベルに設定することにより、増幅トランジスタ２６１のゲートの電位に応じた画素信号が単位画素２５１の出力ｖｏｕｔに出力される。
The drain of a reset switch (reset transistor) 262 for resetting the floating
撮像素子２５０にマトリクス状に配列された単位画素２５１の各々の分割画素（第１の分割画素）ａの出力信号の集合体によって、第１の画像信号（Ａ像信号）が構成される。また、撮像素子２５０にマトリクス状に配列された単位画素２５１の各々の分割画素（第２の分割画素）２５２ｂの出力信号の集合体によって、第２の画像信号（Ｂ像信号）が構成される。なお、上述したように、分割画素ｂの出力信号の値は、例えば、分割画素ａ，ｂの出力信号の加算値から分割画素ａの出力信号の値を減算することによって算出される。
A first image signal (A-image signal) is formed by an aggregate of output signals of each divided pixel (first divided pixel) a of the
図５は、本実施形態による画像処理装置１０６に備えられている各種処理手段を模式的に示す図である。図５に示すように、本実施形態による画像処理装置１０６は、画像入力手段２００と、画像解析手段２０１と、画像表示手段２０２と、画質調整手段２０３とを備えている。更に、本実施形態による画像処理装置１０６は、補正処理手段２０４と、補正適用値決定手段２０５と、リフォーカス処理手段２０６と、シャープネス処理手段２０７とを備えている。図５に示す各種処理手段は、以下のようにして実現される。即ち、記憶部１０３に記憶された所定の画像処理アプリケーションプログラム等を、ＣＰＵ１００がメモリ１０２に展開し、実行する。そして、画像処理装置１０６に備えられている各部がＣＰＵ１００からの指令に基づいて所定の動作を行う。こうして、図５に示す各種処理手段が実現される。換言すれば、かかる画像処理アプリケーションプログラムは、ＣＰＵ１００を図５に示すような各種処理手段として機能させる。
FIG. 5 is a diagram schematically illustrating various processing units provided in the
画像入力手段２００は、記憶部１０３から画像データを読み出し、読み出した画像データをメモリ１０２に展開する。画像解析手段２０１は、メモリ１０２に展開された画像データを解析する。具体的には、画像解析手段２０１は、例えば、第１の画像若しくは第２の画像における各種分布情報を取得する。各種分布情報としては、コントラスト分布、輝度分布、空間周波数分布等が挙げられる。これら各種分布情報は、補正適用値決定手段２０５が補正適用値を決定する際に用いられる。補正適用値決定手段２０５によって行われる補正適用値の決定の詳細については、後述することとする。補正処理手段２０４は、補正適用値決定手段２０５によって決定された補正適用値に基づいて補正処理を行う。補正処理手段２０４によって行われる補正処理の詳細については、後述することとする。
The
リフォーカス処理手段２０６は、補正処理が施された複数の視差画像に対して、ピント位置を異ならせるリフォーカス処理を行う。換言すれば、リフォーカス処理手段２０６は、補正処理が施された複数の視差画像に対して、撮像時の結像面とは異なる仮想的な結像面(焦点面、リフォーカス面)において結像された画像を生成するリフォーカス処理を行う。リフォーカス処理は、例えば、各々の視差画像を相対的にシフトさせるとともに加算するシフト加算による合成処理によって行われる。具体的には、ユーザによってピント位置の調整が行われ、ピント位置の変動量に基づいてシフト量が決定され、決定されたシフト量に基づいて視差画像が相対的にシフトされるとともに加算される。なお、ユーザによって結像面が設定され、設定された結像面に対応するようにシフト量が決定されてもよい。また、シフト量がユーザによって直接設定されるようにしてもよい。リフォーカス処理によって得られたリフォーカス画像は、画像表示手段２０２によって表示部１０５に表示される。画像表示手段（表示制御手段）２０２は、リフォーカス画像を表示部１０５に表示するとともに、リフォーカス画像に対しての調整を行うためのユーザインターフェース６０１（図９参照）を表示部１０５に表示する。かかるユーザインターフェース６０１としては、ユーザによって入力される調整値と、当該調整値の調整可能範囲幅とを示す調整バーが用いられる。ユーザインターフェース６０１は、補正処理において適用される補正適用値ｋと、シャープネス処理において適用されるシャープネス適用値ｇとを、ユーザによって入力される調整値Ｇｉに基づいて統括的に調整するためのものである。ユーザによって入力される調整値Ｇｉは、例えば、１次元の値である。画質調整手段（調整手段）２０３は、補正処理において適用される補正適用値ｋと、シャープネス処理において適用されるシャープネス適用値ｇとを、ユーザによって入力される調整値Ｇｉに基づいて統括的に調整する。画質調整手段２０３は、補正適用値決定手段２０５によって決定された補正適用値ｋに応じた値ｋ′をユーザによって入力された調整値Ｇｉが超えた場合には、補正適用値ｋに応じた値ｋ′と調整値Ｇｉとの差分に基づいてシャープネス適用値ｇを決定する。また、画質調整手段２０３は、補正適用値決定手段２０５によって決定された補正適用値ｋに応じた値ｋ′をユーザによって入力された調整値Ｇｉが下回った場合には、ユーザによって入力された調整値Ｇｉに基づいて補正適用値ｋを調整する。この場合、補正処理手段２０４は、画質調整手段２０３によって調整された補正適用値ｋに基づいて補正処理を行う。画質調整手段２０３は、シャープネス適用値ｇを決定するシャープネス適用値決定手段として機能し得る。また、画質調整手段２０３は、補正適用値決定手段２０５によって決定された補正適用値ｋを調整する補正適用値調整手段としても機能し得る。シャープネス処理手段２０７は、画質調整手段２０３により決定されたシャープネス適用値に基づいて、リフォーカス画像に対してシャープネス処理を実行する。
The
なお、ユーザによって入力された調整値Ｇｉが補正適用値決定手段２０５によって決定された補正適用値ｋを超えるか否かに拘わらず、ユーザによって入力される調整値Ｇｉに基づいて補正適用値ｋが画質調整手段２０３によって調整されるようにしてもよい。例えば、補正適用値決定手段２０５によって決定された補正適用値ｋに応じた値ｋ′よりも小さい調整値Ｇｉをユーザが入力した場合には、当該調整値Ｇｉよりも小さい値に対応するように補正適用値ｋを調整してもよい。例えば、補正適用値ｋとシャープネス適用値ｇとのバランスが確保されるように、補正適用値ｋが調整される。この場合には、調整値Ｇｉを小さくするに伴って、補正適用値ｋが小さくなることとなる。また、補正適用値決定手段２０５によって決定された補正適用値ｋに応じた値ｋ′に対して著しく大きい調整値Ｇｉがユーザによって入力された場合には、以下のようにしてもよい。即ち、かかる場合には、補正適用値決定手段２０５によって決定された補正適用値ｋに応じた値ｋ′よりも大きい値に対応するように補正適用値ｋを調整してもよい。例えば、補正適用値ｋとシャープネス適用値ｇとのバランスが確保されるように、補正適用値ｋが調整される。この場合には、調整値Ｇｉを大きくするに伴って、補正適用値ｋが大きくなることとなる。補正処理手段２０４は、画質調整手段２０３によって調整された補正適用値ｋに基づいて補正処理を行う。
Regardless of whether or not the adjustment value Gi input by the user exceeds the correction application value k determined by the correction application value determination means 205, the correction application value k is determined based on the adjustment value Gi input by the user. The image quality may be adjusted by the image
本実施形態による画像処理装置１０６によって行われる補正処理の概要について図６を用いて説明する。図６は、本実施形態による画像処理装置によって行われる補正処理を示す概念図である。図６に示すように、画像ファイル（画像データ）３００には、第１の画像データ（Ａ像データ）３０２と、画像データ（Ａ＋Ｂ像データ）３０１とが含まれている。第１の画像データ３０２は、第１の画像信号（Ａ像信号）によって得られた画像データである。画像データ３０１は、第１の画像信号（Ａ像信号）と第２の画像信号（Ｂ像信号）との加算信号によって得られたデータである。また、図６においては図示しないが、画像ファイル３００は、画像データ３０１及び第１の画像データ３０２に関連付けられた付帯情報を更に含んでいる。付帯情報としては、撮像時における撮像装置の各種設定情報等が挙げられる。具体的には、付帯情報として、絞り値、焦点距離、ＩＳＯ感度等が挙げられる。画像ファイル３００は、例えば記憶部１０３に記録されており、適宜読み出されてメモリ１０２等に展開される。
画像データ（Ａ＋Ｂ像データ）３０１から第１の画像データ（Ａ像データ）３０２を減算することによって、第２の画像信号（Ｂ像信号）に対応する第２の画像データ（Ｂ像データ）３０３が生成される。
An overview of the correction processing performed by the
By subtracting the first image data (A image data) 302 from the image data (A + B image data) 301, the second image data (B image data) 303 corresponding to the second image signal (B image signal) is obtained. Is generated.
画像データ３０１及び第１の画像データ３０２は、図２乃至図４を用いて上述したような撮像素子２５０を用いて取得される。図２乃至図４を用いて上述したような撮像素子２５０によって実現される瞳分割においては、回折ボケ、即ち、光学的クロストークが生じるため、なだらかな瞳分割となる。なだらかな瞳分割によって得られる一組の視差画像に含まれる複数の画像（視差画像）の各々においては、瞳領域２５７，２５８に対応する実効的なＦ値が十分に大きくないため、実効的な焦点深度が十分に深くならない。このため、本実施形態では、瞳分割における光学的クロストークの影響を低減し、複数の視差画像間における光学的な分離度を高め、複数の視差画像間における差を強調するための補正処理を行う。このような補正処理を、本明細書中においては分離強調処理と称することもある。かかる補正処理、即ち、分離強調処理は、一組の視差画像に含まれる複数の画像間における差を画素毎に拡大することによって行われる。具体的には、補正処理手段２０４が、補正適用値決定手段２０５によって決定された補正適用値に基づいて、一組の視差画像に対して補正処理を行う。かかる補正処理を一組の視差画像に対して行うことによって、補正後の一組の視差画像が得られる。補正後の一組の視差画像は、第１の修正画像（第１の修正画像信号、Ａ′像信号）３０６と第２の修正画像（第２の修正画像信号、Ｂ′像信号）３０５とを含む。
The
かかる補正処理は、以下のようにして行われる。即ち、第１の画像データ３０２における各画素のデータＡ０（ｊ，ｉ）と第２の画像データ３０３における各画素のデータＢ０（ｊ，ｉ）とに対して、以下のような式（１）〜式（６）によって表される補正処理が行われる。このような補正処理により、第１の修正画像データ３０６における各画素のデータＡ’（ｊ，ｉ）と第２の修正画像データ３０５における各画素のデータＢ’（ｊ，ｉ）とが生成される。ここで、ｋは、かかる補正処理における補正の度合いを示す補正適用値を示す実数であり、０≦ｋ≦１である。αは実数であり、０≦α≦１である。（ｊ，ｉ）は座標を示している。
Such a correction process is performed as follows. That is, the data A 0 (j, i) of each pixel in the
図７は、本実施形態による画像処理装置によって行われる補正処理の例を示す図である。第１の画像信号（Ａ像信号）は二点鎖線によって示されており、第２の画像信号（Ｂ像信号）は破線によって示されている。第１の修正画像信号（Ａ′像信号）は太い実線によって示されており、第２の修正画像信号（Ｂ′像信号）は細い実線によって示されている。図７に示すように、第１の画像信号（Ａ像信号）と第２の画像信号（Ｂ像信号）との間の差が大きかった箇所においては、第１の修正画像信号（Ａ′像信号）と第２の修正画像信号（Ｂ′像信号）との間の差は拡大される。一方、第１の画像信号（Ａ像信号）と第２の画像信号（Ｂ像信号）との間の差が小さかった箇所においては、第１の修正画像信号（Ａ′像信号）と第２の修正画像信号（Ｂ′像信号）との間の差はあまり変化しない。従って、このような補正処理を行うことによって、一組の視差画像における差が強調されることとなる。 FIG. 7 is a diagram illustrating an example of a correction process performed by the image processing apparatus according to the present embodiment. The first image signal (A image signal) is indicated by a two-dot chain line, and the second image signal (B image signal) is indicated by a broken line. The first modified image signal (A 'image signal) is indicated by a thick solid line, and the second modified image signal (B' image signal) is indicated by a thin solid line. As shown in FIG. 7, in a portion where the difference between the first image signal (A image signal) and the second image signal (B image signal) is large, the first modified image signal (A ′ image signal) Signal) and the second modified image signal (B 'image signal). On the other hand, in a portion where the difference between the first image signal (A image signal) and the second image signal (B image signal) is small, the first modified image signal (A 'image signal) and the second Of the corrected image signal (B ′ image signal) does not change much. Therefore, by performing such a correction process, a difference between a pair of parallax images is emphasized.
式（１）〜式（６）における補正適用値ｋの値を大きくすると、補正処理における補正の度合いが強くなる。そうすると、一組の修正後の視差画像における視差、即ち、第１の修正画像データ３０６と第２の修正画像データ３０５との間の視差が明確になる。また、第１の修正画像データ３０６と第２の修正画像データ３０５のそれぞれにおける実効的なＦ値が大きくなり、第１の修正画像データ３０６と第２の修正画像データ３０５のそれぞれにおける実効的な焦点深度が深くなる。一方、補正処理における補正の度合いを過度に強くすると、修正後の一組の視差画像においてノイズが増加し、Ｓ／Ｎの低下を招いてしまう。従って、補正処理の度合いを示す補正適用値ｋは、適度な大きさに設定することが好ましい。補正処理手段２０４は、補正適用値決定手段２０５によって決定された適度な補正適用値ｋに基づいて補正処理を行う。これにより、Ｓ／Ｎの低下を防止しつつ、十分なリフォーカス効果を得ることが可能となる。
When the value of the correction application value k in Expressions (1) to (6) is increased, the degree of correction in the correction processing increases. Then, the parallax in a set of corrected parallax images, that is, the parallax between the first corrected
画像のうちのコントラストが比較的高い箇所は、補正処理における補正度合いを比較的強めにすることが好ましい一方、画像のうちのコントラストが比較的低い箇所は、補正処理における補正度合いをあまり強くしないことが好ましい。また、画像のうちの輝度が比較的高い箇所は、補正処理における補正度合いを比較的強めにすることが好ましい一方、画像のうちの輝度が比較的低い箇所は、補正処理における補正度合いをあまり強くしないことが好ましい。また、画像のうちの高周波成分が比較的多い箇所は、補正処理における補正度合いを比較的強めにすることが好ましい一方、画像のうちの高周波数成分が比較的少ない箇所は、補正処理における補正度合いをあまり強くしないことが好ましい。従って、適度な補正適用値ｋを決定するためには、これらの要素を加味することが好ましい。そこで、本実施形態では、補正適用値決定手段２０５は、コントラスト分布、輝度分布、及び、空間周波数分布のうちの少なくともいずれかに基づいて、適度な補正適用値ｋを決定する。なお、コントラスト分布、輝度分布、及び、空間周波数分布のいずれかのみに基づいて補正適用値ｋを決定してもよいし、こららの要素を適宜組合せることによって補正適用値ｋを決定してもよい。
It is preferable that the degree of correction in the correction processing is relatively high in a part of the image where the contrast is relatively high, while the degree of correction in the correction processing is not so strong in a part of the image where the contrast is relatively low. Is preferred. In addition, it is preferable that the correction degree in the correction process is relatively high in a portion of the image where the luminance is relatively high, while the correction degree in the correction process is too strong in a portion of the image where the luminance is relatively low. Preferably not. Further, it is preferable to make the degree of correction in the correction process relatively high in a portion where the high frequency component is relatively large in the image, while it is preferable to set the degree of correction in the correction process in a portion where the high frequency component is relatively small in the image. Is preferably not so strong. Therefore, in order to determine an appropriate correction application value k, it is preferable to take these factors into account. Therefore, in the present embodiment, the correction applied
図８は、本実施形態による画像処理装置によって行われる画像処理の例を示す概念図である。図８に示すように、リフォーカス処理手段２０６は、第１の修正画像データ３０６と第２の修正画像データ３０５とから成る一組の修正後の視差画像に対して、リフォーカス処理を行う。リフォーカス処理においては、上述したように、例えばシフト加算による合成処理が用いられる。このようなリフォーカス処理によって、リフォーカス画像５０１が生成される。こうして生成されたリフォーカス画像５０１に対して、リフォーカス画像５０１の鮮鋭度を調整するためのシャープネス処理がシャープネス処理手段２０７によって行われる。こうして、シャープネス処理が行われたリフォーカス画像５０２、即ち、最終的なリフォーカス画像５０２が得られる。
FIG. 8 is a conceptual diagram illustrating an example of image processing performed by the image processing apparatus according to the present embodiment. As illustrated in FIG. 8, the
図９は、本実施形態による画像処理装置において用いられるユーザインターフェースの例を示す図である。図９に示すように、ユーザインターフェース６０１としては、例えば、調整スライダが用いられている。ｋ′は、補正処理における補正適用値ｋに応じた値を示している。ｋ′は、上述した補正適用値ｋに所定の値を乗じることによって得られる。Ｇｉは、リフォーカス画像に対する調整を行うためにユーザによって入力される調整値（指示値）を示している。かかる調整値Ｇｉの設定は、スライダ６０２の位置をユーザが調整することによって行われる。
FIG. 9 is a diagram illustrating an example of a user interface used in the image processing apparatus according to the present embodiment. As shown in FIG. 9, for example, an adjustment slider is used as the
本実施形態による画像処理装置では、リフォーカス画像に対する調整を行うためにユーザによって入力される調整値Ｇｉと、補正処理における補正適用値ｋとに基づいて、シャープネス適用値ｇが決定される。具体的には、リフォーカス画像に対する調整を行うためにユーザによって入力される調整値Ｇｉが、補正適用値に応じた値ｋ′を超えた場合には、補正適用値に応じた値ｋ′と調整値Ｇｉとの差分に応じた値が、シャープネス適用値ｇとして決定される。以下の式（７）は、調整値Ｇｉと、補正適用値に応じた値ｋ′と、シャープネス適用値ｇとの関係を示している。
ｇ＝Ｇｉ−ｋ′ ・・・（７）
In the image processing apparatus according to the present embodiment, the sharpness application value g is determined based on the adjustment value Gi input by the user for performing the adjustment on the refocused image and the correction application value k in the correction processing. Specifically, when the adjustment value Gi input by the user for performing the adjustment on the refocus image exceeds the value k ′ corresponding to the correction application value, the adjustment value Gi ′ is changed to the value k ′ corresponding to the correction application value. A value corresponding to the difference from the adjustment value Gi is determined as the sharpness application value g. The following equation (7) shows the relationship between the adjustment value Gi, the value k ′ corresponding to the correction application value, and the sharpness application value g.
g = Gi-k '(7)
本実施形態において、図９に示すようなユーザインターフェース６０１を用いて調整作業が行われるようにしているのは、以下のような理由によるものである。即ち、補正適用値ｋをユーザが適正な値に調整し、更に、シャープネス適用値ｇをユーザが適正な値に調整する場合には、これら一連の作業において大きな手間がかかる。一方、本実施形態のように、ユーザによって入力される調整値Ｇｉと、補正適応値に応じたｋ′とに基づいて、シャープネス適用値ｇを決定するようにすれば、ユーザの手間は調整値Ｇｉの入力のみとなる。即ち、図９に示すようなユーザインターフェース６０１を用いれば、良好なリフォーカス画像を生成するための手間を軽減することができる。このような理由により、本実施形態では、図９に示すようなユーザインターフェース６０１を用いて調整作業が行われるようにしている。
In the present embodiment, the adjustment work is performed using the
図１０は、本実施形態による画像処理装置の動作を示すフローチャートである。まず、ステップＳ７００では、ＣＰＵ１００が記憶部１０３から画像ファイル３００を読み出す。具体的には、画像データ３０１と第１の画像データ３０２とを含む画像ファイル３００が、記憶部１０３から読み出される。ＣＰＵ１００は、画像データ３０１から第１の画像データ３０２を減算することによって、第２の画像データ３０３を生成する。
FIG. 10 is a flowchart illustrating the operation of the image processing apparatus according to the present embodiment. First, in step S700, the
ステップＳ７１０では、画像解析手段２０１が、第１の画像データ３０２と第２の画像データ３０３とのうちのいずれかに対して画像解析を行う。これにより、例えば、コントラスト分布、輝度分布、空間周波数分布等の各種分布情報が取得される。
In step S710, the
ステップＳ７２０では、リフォーカス画像に対する調整がユーザインターフェース６０１を介してユーザによって行われる。ユーザインターフェース６０１は、上述したように、表示部１０５に表示される。リフォーカス画像に対する調整の量を指示するための調整値Ｇｉは、上述したように、ユーザがスライダ６０２の位置を調整することによって設定される。なお、補正処理やシャープネス処理等の一連の処理が実行された後の最終的なリフォーカス画像が、表示部１０５に表示されるようにすることが好ましい。ユーザは、表示部１０５に表示された最終的なリフォーカス画像を確認しながら、調整作業を行うことができる。
In step S720, adjustment to the refocused image is performed by the user via the
ステップＳ７３０では、補正適用値決定手段２０５が、ステップＳ７１０において行われた画像解析の結果に基づいて、補正処理における補正適用値ｋを決定する。図１１は、補正適用値ｋを決定する際に用いられるテーブルの例を示す図である。図１１に示すように、テーブルには、コントラストと、輝度と、空間周波数と、調整係数との関係が示されている。補正適用値の標準値ｋｓに対して、図１１に示すような調整係数を乗算することによって、適切な補正適用値ｋが求められる。コントラストや輝度や空間周波数は、画像中の各箇所において異なっているため、適切な補正適用値は各箇所において異なる。従って、互いに異なる複数の補正適用値が求められることとなる。ここでは、各箇所に対してそれぞれ得られた複数の補正適用値のうちの最大値を、画像全体に対して補正処理を行うための補正適用値ｋとして決定する。なお、画像全体に対して補正処理を行うための補正適用値ｋは、各箇所に対してそれぞれ得られた補正適用値のうちの最大値に限定されるものではない。
In step S730, the correction application
ステップＳ７４０では、補正処理手段２０４が補正適用値ｋを用いて補正処理を実行し、これにより、第１の修正画像データ３０６と第２の修正画像データ３０５とが生成される。
ステップＳ７５０では、リフォーカス処理手段２０６が、補正処理が施された一組の視差画像に対してリフォーカス処理を実行し、これにより、リフォーカス画像５０１が生成される。即ち、所望の位置に合焦するようにフォーカス位置が調整されたリフォーカス画像、即ち、再構成画像が得られる。
In step S740, the
In step S750, the
ステップ７６０では、画質調整手段２０３が、ステップＳ７２０において入力された調整値Ｇｉと、ステップＳ７３０において決定された補正適用値ｋに応じた値ｋ′とに基づいて、シャープネス適用値ｇを決定する。補正適用値に応じた値ｋ′は、上述したように、補正適用値ｋに所定の値を乗じることによって得られる。シャープネス適用値ｇは、上述した式（７）に基づいて求められる。
ステップＳ７７０では、シャープネス処理手段２０７が、シャープネス適用値ｇに基づく量のシャープネス処理をリフォーカス画像５０１に対して行い、これにより、最終的なリフォーカス画像５０２が生成される。
このように、本実施形態では、良好なリフォーカス画像を生成するための手間を軽減することができる。
In
In step S770, the
As described above, in the present embodiment, it is possible to reduce the labor for generating a good refocus image.
［第２実施形態］
第２実施形態による画像処理装置について図面を用いて説明する。図１乃至図１１に示す第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による画像処理装置は、画像ファイル３００に付帯されている付帯情報に基づいて補正処理における補正適用値ｋを決定するものである。
[Second embodiment]
An image processing apparatus according to a second embodiment will be described with reference to the drawings. The same components as those of the image processing apparatus and the image processing method according to the first embodiment shown in FIGS. 1 to 11 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The image processing apparatus according to the present embodiment determines the correction application value k in the correction processing based on the additional information attached to the
本実施形態による画像処理装置の全体的な構成は、図１を用いて上述した画像処理装置と同様である。図１２は、本実施形態による画像処理装置に備えられている各種処理手段を模式的に示す図である。図１２に示すように、本実施形態による画像処理装置１０６は、画像入力手段２００と、付帯情報取得手段８０１と、画像表示手段２０２と、画質調整手段２０３とを備えている。また、本実施形態による画像処理装置１０６は、補正処理手段２０４と、補正適用値決定手段２０５と、リフォーカス処理手段２０６と、シャープネス処理手段２０７とを備えている。図８に示す各種処理手段は、以下のようにして実現される。即ち、記憶部１０３に記憶された所定の画像処理アプリケーションプログラム等を、ＣＰＵ１００がメモリ１０２に展開し、実行する。そして、画像処理装置１０６に備えられている各部がＣＰＵ１００からの指令に基づいて所定の動作を行う。こうして、図８に示す各種処理手段が実現される。換言すれば、かかる画像処理アプリケーションプログラムは、ＣＰＵ１００を図８に示すような各種処理手段として機能させる。
The overall configuration of the image processing apparatus according to the present embodiment is the same as the image processing apparatus described above with reference to FIG. FIG. 12 is a diagram schematically illustrating various processing units provided in the image processing apparatus according to the present embodiment. As shown in FIG. 12, the
画像入力手段２００は、記憶部１０３から画像ファイル３００を読み出し、読み出した画像ファイル３００をメモリ１０２に展開する。付帯情報取得手段８０１は、メモリ１０２に展開された画像ファイル３００を解析することにより、レンズ情報、焦点距離、ＩＳＯ感度等の付帯情報を取得する。補正適用値決定手段２０５は、付帯情報取得手段８０１によって取得されたこれらの付帯情報に基づいて、補正処理における補正適用値ｋを決定する。こうして決定された補正適用値ｋを用いて、補正処理手段２０４が一組の視差画像に対して補正処理を実行する。補正処理が施された一組の視差画像に対して、リフォーカス処理手段２０６がリフォーカス処理を行うことにより、リフォーカス画像を生成する。こうして生成されたリフォーカス画像が、画像表示手段２０２によって表示部１０５に表示される。画質調整手段２０３は、ユーザインターフェース６０１における調整値Ｇｉと、補正処理における補正適用値ｋとに基づいて、シャープネス処理におけるシャープネス適用値ｇとを決定する。シャープネス処理手段２０７は、画質調整手段２０３により決定されたシャープネス適用値ｇに基づいて、リフォーカス画像に対してシャープネス処理を実行する。
The
画像を取得した際の絞り値が大きいほど、被写界深度が深くなり、リフォーカス効果が弱くなる。このため、画像を取得した際の絞り値が比較的大きい場合には、補正処理における補正度合いを比較的強めに設定することが好ましい。一方、画像を取得した際の絞り値が比較的小さい場合には、補正処理における補正度合いをあまり強くしなくてもリフォーカスの効果が十分に得られる。従って、画像を取得した際の絞り値が比較的小さい場合には、補正処理における補正度合いを比較的弱めに設定することが好ましい。 The larger the aperture value at the time of acquiring an image, the deeper the depth of field and the weaker the refocus effect. Therefore, when the aperture value at the time of acquiring the image is relatively large, it is preferable to set the degree of correction in the correction processing to be relatively high. On the other hand, when the aperture value at the time of acquiring the image is relatively small, the refocusing effect can be sufficiently obtained without increasing the degree of correction in the correction processing. Therefore, when the aperture value at the time of acquiring the image is relatively small, it is preferable to set the degree of correction in the correction processing to be relatively weak.
また、画像を取得した際の焦点距離が大きいほど、即ち、望遠側になるほど、被写界深度が浅くなる。即ち、画像を取得した際の焦点距離が比較的大きい場合には、補正処理における補正度合いをあまり強く設定しなくてもリフォーカスの効果が十分に得られる。このため、画像を取得した際の焦点距離が比較的大きい場合には、補正処理における補正度合いを弱めに設定することが好ましい。一方、画像を取得した際の焦点距離が比較的小さい場合には、補正処理における補正度合いを強めに設定することが好ましい。 Further, the depth of field becomes shallower as the focal length when the image is acquired, that is, as it is on the telephoto side. That is, when the focal length at the time of acquiring an image is relatively large, the refocusing effect can be sufficiently obtained without setting the degree of correction in the correction processing too high. For this reason, when the focal length at the time of acquiring an image is relatively large, it is preferable to set the degree of correction in the correction processing to be relatively low. On the other hand, when the focal length when the image is obtained is relatively small, it is preferable to set the degree of correction in the correction processing to be relatively high.
また、画像を取得した際のＩＳＯ感度が高いほど、Ｓ／Ｎ比が悪化し、ノイズが多くなってしまう。従って、画像を取得した際のＩＳＯ感度が比較的大きい場合には、補正処理における補正度合いを弱めに設定することが好ましい。一方、画像を取得した際のＩＳＯ感度が比較的小さい場合には、補正処理における補正度合いを強めに設定しても特段の弊害がない。
従って、これらの情報を総合的に判断して、補正適用値ｋを決定することが好ましい。そこで、本実施形態では、補正適用値決定手段２０５は、絞り値、焦点距離、及び、ＩＳＯ感度に基づいて、適度な補正適用値ｋを決定する。
Also, the higher the ISO sensitivity at the time of acquiring an image, the worse the S / N ratio and the more noise. Therefore, when the ISO sensitivity at the time of acquiring an image is relatively large, it is preferable to set the degree of correction in the correction processing to be relatively low. On the other hand, when the ISO sensitivity at the time of acquiring an image is relatively small, there is no particular adverse effect even if the degree of correction in the correction processing is set to be relatively high.
Therefore, it is preferable to determine the correction application value k by comprehensively judging such information. Therefore, in the present embodiment, the correction application
図１３は、補正適用値ｋを算出する際に用いられるテーブルの例を示す図である。図１３（ａ）に示すテーブルには、絞り値と、焦点距離と、ＩＳＯ感度と、調整係数との関係が示されている。各項目に対応する調整係数の加算平均によって、補正係数が求められる。
例えば、絞り値Ｆ２．８、焦点距離２００ｍｍ、ＩＳＯ感度８００で撮影した画像の場合には、各項目の調整係数はいずれも１．０であるため、これらの調整係数の加算値は３．０であり、これらの調整係数の加算平均値は１．０である。従って、補正係数は、１．０となる。補正適用値の標準値ｋｓに、こうして得られた補正係数を乗算することによって、補正適用値ｋが求められる。
FIG. 13 is a diagram illustrating an example of a table used when calculating the correction application value k. The table shown in FIG. 13A shows the relationship among the aperture value, the focal length, the ISO sensitivity, and the adjustment coefficient. A correction coefficient is obtained by averaging the adjustment coefficients corresponding to each item.
For example, in the case of an image photographed with an aperture value of F2.8, a focal length of 200 mm, and an ISO sensitivity of 800, the adjustment coefficient of each item is 1.0, and the sum of these adjustment coefficients is 3.0. And the average value of these adjustment coefficients is 1.0. Therefore, the correction coefficient is 1.0. The correction application value k is obtained by multiplying the standard value ks of the correction application value by the correction coefficient thus obtained.
なお、ここでは、加算平均によって補正係数を求める場合を例に説明したが、これに限定されるものではない。例えば、各項目の重要度に応じた重み付けをした加重平均によって補正係数を求めるようにしてもよい。
また、ここでは、補正適用値の標準値ｋｓに補正係数を乗算することによって、補正適用値ｋを求める場合を例に説明したが、これに限定されるものではない。例えば、図１３（ｂ）に示すようなテーブルを用いるようにしてもよい。図１３（ｂ）に示すテーブルには、絞り値と、焦点距離と、ＩＳＯ感度と、補正適用値ｋとの関係が示されている。このようなテーブルを用いて、補正適用値ｋを決定するようにしてもよい。
Here, the case where the correction coefficient is obtained by averaging has been described as an example, but the present invention is not limited to this. For example, the correction coefficient may be obtained by a weighted average weighted according to the importance of each item.
Further, here, the case where the correction application value k is obtained by multiplying the standard value ks of the correction application value by the correction coefficient has been described as an example, but the invention is not limited thereto. For example, a table as shown in FIG. 13B may be used. The table shown in FIG. 13B shows the relationship among the aperture value, the focal length, the ISO sensitivity, and the correction application value k. The correction application value k may be determined using such a table.
図１４は、本実施形態による画像処理装置の動作を示すフローチャートである。
まず、ステップＳ９００は、図１０を用いて上述した第１実施形態におけるステップＳ７００と同様であるため説明を省略する。
ステップＳ９１０では、付帯情報取得手段８０１が、メモリ１０２に展開された画像ファイル３００を解析することにより、レンズ情報、焦点距離、ＩＳＯ感度等の付帯情報を取得する。
ステップＳ９２０は、図１０を用いて上述した第１実施形態におけるステップＳ７２０と同様であるため説明を省略する。
FIG. 14 is a flowchart illustrating the operation of the image processing apparatus according to the present embodiment.
First, step S900 is the same as step S700 in the first embodiment described above with reference to FIG.
In step S910, the incidental
Step S920 is the same as step S720 in the first embodiment described above with reference to FIG.
ステップＳ９３０では、補正適用値決定手段２０５が、ステップＳ９１０において行われた画像解析の結果に基づいて、補正処理における補正適用値ｋを決定する。即ち、補正適用値決定手段２０５が、上述したように、付帯情報取得手段８０１によって取得された付帯情報に基づいて、補正処理における補正適用値ｋを決定する。
ステップＳ９４０〜ステップＳ９７０は、図１０を用いて上述した第１実施形態におけるステップＳ７４０〜ステップＳ７７０と同様であるため説明を省略する。
このように、画像ファイル３００に付帯されている付帯情報に基づいて補正適用値ｋを決定するようにしてもよい。
In step S930, the correction application
Steps S940 to S970 are the same as steps S740 to S770 in the first embodiment described above with reference to FIG.
In this manner, the correction application value k may be determined based on the supplementary information attached to the
［第３実施形態］
第３実施形態による画像処理装置について図面を用いて説明する。図１乃至図１４に示す第１又は第２実施形態による画像処理装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による画像処理装置は、合焦位置からのずれ量に基づいてシャープネス処理を行うものである。
[Third embodiment]
An image processing apparatus according to a third embodiment will be described with reference to the drawings. The same components as those of the image processing apparatus according to the first or second embodiment shown in FIGS. 1 to 14 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The image processing apparatus according to the present embodiment performs a sharpness process based on a shift amount from a focus position.
合焦位置（ピント面）からのずれ量が小さい箇所に対してはシャープネス処理を十分に行う一方、合焦位置からのずれ量が大きい箇所に対してはシャープネス処理を弱くすると、強いリフォーカスの効果を得ることができる。そこで、本実施形態では、合焦位置からのずれ量に応じてシャープネス処理を行う。 If sharpness processing is sufficiently performed for a position with a small amount of deviation from the focus position (focus plane), while sharpness processing is weakened for a position with a large deviation from the focus position, a strong refocus The effect can be obtained. Therefore, in the present embodiment, sharpness processing is performed according to the amount of deviation from the in-focus position.
合焦位置からのずれ量を示す情報としては、デフォーカスマップを用いることができる。デフォーカスマップは、画像の各画素のピントが合焦位置（ピント面）からどれだけずれているかを示すデータである。かかるデフォーカスマップは、公知の手法によって生成することが可能である。例えば、オートフォーカス機能を作動させつつ撮影する場合には、ピントが合った領域におけるデフォーカス量を０とするデフォーカスマップを撮影の際に撮像装置によって取得することができる。撮影の際に撮像装置によって取得されたデフォーカスマップは、付帯情報の一つとして画像ファイル３００に含められる。なお、デフォーカスマップは、一組の視差画像を構成する第１の画像と第２の画像との間の像ずれ量に基づいて生成することも可能である。画像解析手段２０１は、複数の画像を含む一組の視差画像に基づいてデフォーカスマップを生成するデフォーカスマップ生成手段として機能し得る。
A defocus map can be used as the information indicating the amount of deviation from the in-focus position. The defocus map is data indicating how much each pixel of the image is out of focus from the in-focus position (focus plane). Such a defocus map can be generated by a known method. For example, when shooting while activating the autofocus function, a defocus map that sets the defocus amount to 0 in an in-focus area can be acquired by the imaging apparatus at the time of shooting. The defocus map acquired by the imaging device at the time of shooting is included in the
このようなデフォーカスマップを用いることにより、ピント面（合焦位置）からのずれ量を把握することができる。例えば、ピント面からの距離が所定値以内である領域と、ピント面からの距離が所定値を超える領域とを識別することができる。そして、例えば、ピント面からの距離が所定値以内である領域に対してのみ、シャープネス適用値ｇを用いたシャープネス処理を行うようにする。 By using such a defocus map, it is possible to grasp the amount of deviation from the focus plane (focus position). For example, an area whose distance from the focus plane is within a predetermined value and an area whose distance from the focus plane exceeds a predetermined value can be identified. Then, for example, the sharpness processing using the sharpness application value g is performed only on an area whose distance from the focus plane is within a predetermined value.
なお、ここでは、ピント面からの距離が所定値以内である領域に対してのみシャープネス処理を行う場合を例に説明したが、これに限定されるものではない。例えば、ピント面からの距離が所定値を超える領域に対しては、ピント面から離れるほど小さくなるようなシャープネス適用値を用いてシャープネス処理を行うようにしてもよい。一方、ピント面からの距離が所定値以内である領域に対しては、ピント面に近づくほど大きくなるようなシャープネス適用値を用いてシャープネス処理を行うようにしてもよい。このような処理を行うことにより、ピント面からの距離が所定値以内である領域におけるシャープネスの効果をより高めてもよい。 Here, a case has been described as an example where the sharpness processing is performed only on an area whose distance from the focus plane is within a predetermined value, but the present invention is not limited to this. For example, for an area whose distance from the focus plane exceeds a predetermined value, the sharpness processing may be performed using a sharpness application value that becomes smaller as the distance from the focus plane increases. On the other hand, for an area whose distance from the focus plane is within a predetermined value, the sharpness processing may be performed using a sharpness application value that increases as the distance from the focus plane increases. By performing such processing, the effect of sharpness in a region where the distance from the focus plane is within a predetermined value may be further enhanced.
このように、本実施形態によれば、ピントが合っている領域に対してのみ十分なシャープネス処理が選択的に適用されるため、リフォーカス効果をより際立たせることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上述の実施形態の一部を適宜組み合わせてもよい。
As described above, according to the present embodiment, a sufficient sharpness process is selectively applied only to an in-focus area, so that the refocus effect can be made more prominent.
As described above, the present invention has been described in detail based on the preferred embodiments. However, the present invention is not limited to these specific embodiments, and various forms that do not depart from the gist of the present invention are also included in the present invention. included. For example, some of the above-described embodiments may be appropriately combined.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.
１００…ＣＰＵ
１０１…表示用メモリ
１０２…メモリ
１０３…記憶部
１０４…入力部
１０５…表示部
２００…画像入力手段
２０１…画像解析手段
２０２…画像表示手段
２０３…画質調整手段
２０４…補正処理手段
２０５…補正適用値決定手段
２０６…リフォーカス処理手段
２０７…シャープネス処理手段
３００…画像ファイル
３０１…画像データ
３０２…第１の画像データ
３０３…第２の画像データ
３０５…第２の修正画像
３０６…第１の修正画像
５０１…リフォーカス画像
５０２…最終的なリフォーカス画像
６０１…ユーザインターフェース
100 ... CPU
101
Claims (18)
前記補正処理が行われた前記複数の視差画像を合成することによって、所定の結像面において結像したリフォーカス画像を生成するリフォーカス処理手段と、
前記リフォーカス画像の鮮鋭度を調整するためのシャープネス処理を行うシャープネス処理手段と、
前記補正処理において適用される補正適用値と、前記シャープネス処理において適用されるシャープネス適用値とを、前記リフォーカス画像に対する調整を行うためにユーザによって入力される調整値に基づいて統括的に調整する調整手段と
を有することを特徴とする画像処理装置。 For a plurality of parallax images having a parallax with each other, a correction processing unit that performs a correction process for enhancing a difference between the plurality of parallax images,
Refocus processing means for generating a refocus image formed on a predetermined image plane by combining the plurality of parallax images subjected to the correction processing,
Sharpness processing means for performing a sharpness process for adjusting the sharpness of the refocused image,
A correction application value applied in the correction processing and a sharpness application value applied in the sharpness processing are collectively adjusted based on an adjustment value input by a user to perform adjustment on the refocused image. An image processing apparatus comprising: an adjustment unit.
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the adjustment value input by the user is a one-dimensional value.
ことを特徴とする請求項１又は２に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a display control unit configured to display an adjustment bar indicating the adjustment value input by the user and an adjustable range width of the adjustment value. .
前記調整手段は、前記補正適用値決定手段によって決定された前記補正適用値に応じた値を前記調整値が超えた場合に、前記補正適用値に対応する前記値と前記調整値との差分に基づいて前記シャープネス適用値を決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 The apparatus further includes a correction application value determination unit that determines the correction application value,
The adjustment unit, when the adjustment value exceeds a value corresponding to the correction application value determined by the correction application value determination unit, the difference between the value corresponding to the correction application value and the adjustment value The image processing apparatus according to any one of claims 1 to 3, wherein the sharpness application value is determined based on the value.
前記調整手段は、前記補正適用値決定手段によって決定された前記補正適用値に応じた値を前記調整値が下回った場合に、前記調整値に基づいて前記補正適用値を調整し、
前記補正処理手段は、前記調整手段によって調整された前記補正適用値に基づいて前記補正処理を行う
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 The apparatus further includes a correction application value determination unit that determines the correction application value,
The adjustment unit adjusts the correction application value based on the adjustment value when the adjustment value falls below a value corresponding to the correction application value determined by the correction application value determination unit,
The image processing apparatus according to claim 1, wherein the correction processing unit performs the correction processing based on the correction application value adjusted by the adjustment unit.
前記調整手段は、前記補正適用値決定手段によって決定された前記補正適用値を前記調整値に基づいて調整し、
前記補正処理手段は、前記調整手段によって調整された前記補正適用値に基づいて前記補正処理を行う
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 The apparatus further includes a correction application value determination unit that determines the correction application value,
The adjustment unit adjusts the correction application value determined by the correction application value determination unit based on the adjustment value,
The image processing apparatus according to claim 1, wherein the correction processing unit performs the correction processing based on the correction application value adjusted by the adjustment unit.
ことを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。 The correction application value determination unit determines the correction application value based on at least one of a contrast distribution in the parallax image, a luminance distribution in the parallax image, and a spatial frequency distribution in the parallax image. The image processing apparatus according to claim 4, wherein:
ことを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 4 to 6, wherein the correction application value determination unit determines the correction application value based on information associated with the parallax image.
前記補正適用値決定手段は、前記絞り値に基づいて前記補正適用値を決定する
ことを特徴とする請求項８に記載の画像処理装置。 The information associated with the parallax image includes an aperture value,
The image processing apparatus according to claim 8, wherein the correction application value determination unit determines the correction application value based on the aperture value.
前記補正適用値決定手段は、前記焦点距離に基づいて前記補正適用値を決定する
ことを特徴とする請求項８に記載の画像処理装置。 The information associated with the parallax image includes a focal length,
The image processing apparatus according to claim 8, wherein the correction application value determining unit determines the correction application value based on the focal length.
前記補正適用値決定手段は、前記ＩＳＯ感度に基づいて前記補正適用値を決定する
ことを特徴とする請求項８に記載の画像処理装置。 The information associated with the parallax image includes an ISO sensitivity;
The image processing apparatus according to claim 8, wherein the correction application value determination unit determines the correction application value based on the ISO sensitivity.
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the sharpness processing unit performs the sharpness processing based on a shift amount from a focus position.
ことを特徴とする請求項１２に記載の画像処理装置。 The image processing apparatus according to claim 12, wherein the sharpness processing unit performs the sharpness processing based on a defocus map indicating the shift amount from the in-focus position.
ことを特徴とする請求項１３に記載の画像処理装置。 The image processing apparatus according to claim 13, wherein the defocus map is a defocus map generated when the plurality of parallax images are acquired by photographing.
ことを特徴とする請求項１４に記載の画像処理装置。 The image processing apparatus according to claim 14, further comprising a defocus map generating unit configured to generate the defocus map based on the plurality of parallax images.
ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。 In the parallax image, a plurality of unit pixels including a plurality of divided pixels that respectively receive light fluxes respectively passing through a plurality of different pupil regions of the exit pupil of the imaging optical system are arranged, and each of the plurality of unit pixels is The image processing apparatus according to any one of claims 1 to 15, wherein the image processing apparatus is a parallax image acquired using an imaging element in which a plurality of microlenses are arranged so as to correspond to the parallax image.
前記複数の視差画像に対して、前記補正適用値に基づいて前記補正処理を行うステップと、
前記補正処理が行われた前記視差画像を合成することによって、所定の結像面において結像した前記リフォーカス画像を生成するステップと、
前記リフォーカス画像に対して、前記シャープネス適用値に基づいて前記シャープネス処理を行うステップと
を有することを特徴とすることを特徴とする画像処理方法。 A correction application value applied in a correction process for enhancing a difference between a plurality of parallax images having parallax with each other, and a refocus image obtained by combining the plurality of parallax images subjected to the correction process. A sharpness application value applied in a sharpness process for adjusting sharpness, and a step of comprehensively adjusting based on an adjustment value input by a user to perform adjustment on the refocused image,
Performing the correction process on the plurality of parallax images based on the correction application value;
Generating the refocus image formed on a predetermined image plane by combining the parallax images subjected to the correction processing;
Performing the sharpness process on the refocused image based on the sharpness application value.
互いに視差を有する複数の視差画像間の差を強調するための補正処理において適用される補正適用値と、前記補正処理が行われた前記複数の視差画像を合成することによって得られるリフォーカス画像の鮮鋭度を調整するためのシャープネス処理において適用されるシャープネス適用値とを、前記リフォーカス画像に対する調整を行うためにユーザによって入力される調整値に基づいて統括的に調整するステップと、
前記複数の視差画像に対して、前記補正適用値に基づいて前記補正処理を行うステップと、
前記補正処理が行われた前記視差画像を合成することによって、所定の結像面において結像した前記リフォーカス画像を生成するステップと、
前記リフォーカス画像に対して、前記シャープネス適用値に基づいて前記シャープネス処理を行うステップと
を実行させるためのプログラム。 On the computer,
A correction application value applied in a correction process for enhancing a difference between a plurality of parallax images having parallax with each other, and a refocus image obtained by combining the plurality of parallax images subjected to the correction process. A sharpness application value applied in a sharpness process for adjusting sharpness, and a step of comprehensively adjusting based on an adjustment value input by a user to perform adjustment on the refocused image,
Performing the correction process on the plurality of parallax images based on the correction application value;
Generating the refocus image formed on a predetermined image plane by combining the parallax images subjected to the correction processing;
Performing the sharpness process on the refocused image based on the sharpness application value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016010388A JP6643102B2 (en) | 2016-01-22 | 2016-01-22 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016010388A JP6643102B2 (en) | 2016-01-22 | 2016-01-22 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017130869A JP2017130869A (en) | 2017-07-27 |
| JP6643102B2 true JP6643102B2 (en) | 2020-02-12 |
Family
ID=59395135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016010388A Active JP6643102B2 (en) | 2016-01-22 | 2016-01-22 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6643102B2 (en) |
-
2016
- 2016-01-22 JP JP2016010388A patent/JP6643102B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017130869A (en) | 2017-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10681286B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
| US9531960B2 (en) | Imaging apparatus for generating HDR image from images captured at different viewpoints and method for controlling imaging apparatus | |
| JP5180407B2 (en) | Stereo imaging device and parallax image restoration method | |
| JP6789833B2 (en) | Image processing equipment, imaging equipment, image processing methods and programs | |
| US10511781B2 (en) | Image pickup apparatus, control method for image pickup apparatus | |
| US10325356B2 (en) | Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing | |
| US9100559B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel | |
| US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
| CN108886581B (en) | Image processing apparatus, image pickup apparatus, and control method thereof | |
| US9699387B2 (en) | Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program | |
| JPWO2012032826A1 (en) | Stereo imaging device and stereo imaging method | |
| JP5882789B2 (en) | Image processing apparatus, image processing method, and program | |
| US10291899B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image | |
| JP6095266B2 (en) | Image processing apparatus and control method thereof | |
| JP6516510B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2017060010A (en) | Imaging device, method of controlling imaging device, and program | |
| JP6608194B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP6976754B2 (en) | Image processing equipment and image processing methods, imaging equipment, programs | |
| JP2017032646A (en) | Image-capturing device and method for controlling the same | |
| JP2019047365A (en) | Image processing apparatus, image processing apparatus control method, imaging apparatus, and program | |
| JP6643102B2 (en) | Image processing apparatus and image processing method | |
| JP6800648B2 (en) | Image processing device and its control method, program and imaging device | |
| US10334161B2 (en) | Image processing apparatus, image processing method, computer program and imaging apparatus | |
| JP2020085967A (en) | Image processor, method for controlling the same, and program | |
| JP2019071596A (en) | Imaging apparatus and control method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6643102 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |