JP2018061292A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2018061292A JP2018061292A JP2017255159A JP2017255159A JP2018061292A JP 2018061292 A JP2018061292 A JP 2018061292A JP 2017255159 A JP2017255159 A JP 2017255159A JP 2017255159 A JP2017255159 A JP 2017255159A JP 2018061292 A JP2018061292 A JP 2018061292A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- image processing
- focus position
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 109
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 18
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、デジタル画像処理に関し、特に撮影画像に対し画像処理を行う画像処理技術に関する。 The present invention relates to digital image processing, and more particularly to an image processing technique for performing image processing on a captured image.
カメラの撮影テクニックの一つに、被写体以外の部分(背景等)を意図的にぼけさせることで、注目する被写体を際立たせるという撮影手法が知られている。しかし、コンパクトカメラのように光学系の性能があまり高くない場合には、被写界深度を浅くすることができず、十分なぼけをつくることができない。そこで最近では、デジタル画像処理によって後からぼけを付加することで、背景等がぼけた画像を生成する技術が提案されている。例えば特許文献1の撮像装置では、合焦対象である被写体の画像上の位置を基準点と定め、画像上で基準点から離れるほどぼけが大きくなるように、ぼけ加工を施している。また特許文献2には、3次元計測カメラで撮影した3次元画像データと、ユーザが指定した仮想的なカメラパラメータ及びピント位置とから、適当なぼけ効果を付けた画像を生成する画像処理装置が開示されている。
As one of camera shooting techniques, a shooting technique is known in which a subject of interest is made to stand out by intentionally blurring a part other than the subject (background, etc.). However, when the performance of the optical system is not so high as in a compact camera, the depth of field cannot be reduced and sufficient blur cannot be produced. Therefore, recently, a technique has been proposed in which an image with a blurred background or the like is generated by adding blur later by digital image processing. For example, in the imaging apparatus of Patent Document 1, the position on the image of the subject to be focused is set as a reference point, and blur processing is performed so that the blur increases as the distance from the reference point on the image increases.
特許文献1の方法は、奥行き距離ではなく、画像上の位置に応じてぼけの大きさを決めている。そのため、奥行き距離が合焦物体と同じであっても(つまり、ピント位置に存在する物体であるにも拘わらず)ぼけが付加されるなど、不自然なぼけ画像が生成される可能性がある。一方、特許文献2の方法は、高品質なぼけ画像が得られるかもしれないが、3次元計測カメラという特殊な装置が必要であり、一般的な小型カメラ等への適用が困難である。しかも、カメラパラメータやピント位置などの条件をユーザが指定しなければならず、操作が難しいという問題もある。
In the method of Patent Document 1, the size of blur is determined according to the position on the image, not the depth distance. Therefore, even if the depth distance is the same as the in-focus object (that is, the object is present at the focus position), an unnatural blur image may be generated, such as blurring. . On the other hand, the method of
そこで本発明者らは、画像を撮影する際に、その画像中の各点の奥行き距離を記録したデータ(距離マップ又はデプスマップと呼ぶ)を作成し、この距離マップをぼけ付加処理に利用することを検討している。オートフォーカスの情報から撮影画像のピント位置(合焦距離)がわかれば、距離マップ中の各点の距離情報との差分を計算することで、画像中の各点でのピント位置からのずれ量(デフォーカス量)を算出できる。このデフォーカス量に基づいてぼけの大きさを制御すれば、ピント位置にある合焦物体のシャープさを維持しつつ、ピント位置からずれるほどぼけが大きくなる画像を生成することができる。 Therefore, the present inventors create data (referred to as a distance map or depth map) in which the depth distance of each point in the image is recorded, and use this distance map for blur addition processing. I am considering that. If the focus position (focus distance) of the captured image is known from the autofocus information, the difference from the focus information at each point in the image is calculated by calculating the difference from the distance information at each point in the distance map. (Defocus amount) can be calculated. By controlling the size of the blur based on the defocus amount, it is possible to generate an image in which the blur becomes larger as the focus is shifted from the focus position while maintaining the sharpness of the focused object at the focus position.
しかしながら、本発明者らが検討を進める中で、上記の方法には次のような課題があることを見出した。距離マップは、例えば、DFD(Depth from Defocus)法やステレオ法などの手法により作成できるが、いずれの方法の場合でも、ノイズや空間周波数の影響により距離推定結果に誤差が生じる。図11を参照して詳しく説明する。球80、三角錐81、円柱82をカメラから3m、4m、10mの位置に配置し、球80にピントを合わせて撮影及び距離マップの作成を行ったとする。符号83が撮影画像、符号84が距離マップの例である。距離マップ84には、4×6の24個のエリアについて測距結果が記録されているが、実際の物体距離に比べて多少の誤差が生じている。この距離マップ84と、
オートフォーカスの情報から得たピント位置(3m)とから、各エリアのデフォーカス量を計算すると符号85のようになる。距離マップの誤差に起因して、合焦物体である球80のエリア(ドットの部分)の方が、背景である三角錐81のエリア(ハッチングの部分)よりも、デフォーカス量が大きくなってしまっている。このようなデフォーカス量に従ってぼけを付加すると、撮影者がピントを合わせた被写体である球80がぼけてしまい、撮影者の意図と異なるぼけ画像86が生成されることとなる。
また、ぼけ付加処理だけでなく、例えば、被写体の切り出し処理に関しても同様な課題が生じる。つまり、距離マップ84と、オートフォーカスの情報から得たピント位置とから、合焦物体である球80のエリア(ドットの部分)を切り出すはずが、デフォーカス量の小さい三角錐81のエリア(ハッチングの部分)を切り出してしまう。このため、撮影者の意図した被写体を切り出すことができなくなる。
However, while the present inventors proceeded with the study, it was found that the above method has the following problems. The distance map can be created by a technique such as a DFD (Depth from Defocus) method or a stereo method, for example, but in any method, an error occurs in the distance estimation result due to the influence of noise or spatial frequency. This will be described in detail with reference to FIG. It is assumed that the
When the defocus amount of each area is calculated from the focus position (3 m) obtained from the autofocus information,
In addition to the blur addition process, for example, a similar problem occurs with respect to the subject clipping process. That is, from the
本発明は上記実情に鑑みなされたものであって、その目的とするところは、撮影者の意図を反映した高品質な画像処理を行うための技術を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for performing high-quality image processing that reflects the photographer's intention.
本発明に係る画像処理装置は、撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得する距離マップ取得手段と、前記撮影画像上の合焦位置を取得する合焦位置取得手段と、前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定する基準距離決定手段と、前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行う画像処理手段と、を有することを特徴とする画像処理装置である。 An image processing apparatus according to the present invention includes a distance map acquisition unit that acquires a distance map in which information indicating a depth distance corresponding to each point on a captured image is recorded, and an in-focus position on the captured image. A focus position acquisition unit, a depth distance corresponding to the in-focus position from the distance map, a reference distance determination unit that sets the depth distance, and a distance map and the reference distance. And an image processing unit that performs image processing on the image processing apparatus.
本発明に係る撮像装置は、撮像手段と、本発明に係る画像処理装置と、を有し、前記画像処理装置が、前記撮像手段で撮影された撮影画像に対して画像処理を行うことを特徴とする撮像装置である。 An imaging apparatus according to the present invention includes an imaging unit and the image processing apparatus according to the present invention, and the image processing apparatus performs image processing on a captured image captured by the imaging unit. It is an imaging device.
本発明に係る画像処理方法は、画像処理装置が、撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得するステップと、前記撮影画像上の合焦位置を取得するステップと、前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定するステップと、前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行うステップと、を実行することを特徴とする画像処理方法である。 In the image processing method according to the present invention, the image processing apparatus acquires a distance map in which information indicating depth distance corresponding to each point on the captured image is recorded, and acquires a focus position on the captured image. Obtaining a depth distance corresponding to the in-focus position from the distance map, setting the depth distance as a reference distance, and performing image processing on the captured image using the distance map and the reference distance. Performing the image processing method.
本発明に係るプログラムは、本発明に係る画像処理方法の各ステップを画像処理装置に実行させるプログラムである。 The program according to the present invention is a program that causes an image processing apparatus to execute each step of the image processing method according to the present invention.
本発明によれば、撮影者の意図を反映した高品質な画像処理を行うことができる。 According to the present invention, high-quality image processing reflecting the photographer's intention can be performed.
本発明は、距離マップを利用することで、撮影画像に対し奥行き距離に応じたぼけの付加や、被写体の切り出しなどを行うための技術に関する。かかる技術は、例えば、デジタルカメラやデジタルビデオカメラ等の撮像装置に搭載される画像処理装置(画像処理エンジン)の一機能として実装され、被写界深度が深い撮影画像に対しぼけ効果を付加する処理や被写体の切り出し処理などの画像処理に利用される。 The present invention relates to a technique for adding a blur according to a depth distance to a captured image or cutting out a subject by using a distance map. This technique is implemented as a function of an image processing apparatus (image processing engine) mounted on an imaging apparatus such as a digital camera or a digital video camera, and adds a blur effect to a captured image with a deep depth of field. It is used for image processing such as processing and subject cutout processing.
なお本明細書において、「合焦領域」という用語は、ピント(焦点)が合っている被写体の像が存在する画像上の領域のことを意味し、「合焦位置」とは、画像上における合焦領域の位置(XY位置)をいう。また、「合焦距離」とは、撮像光学系の光軸方向(Z方向)における、ピント(焦点)が合っている被写体とカメラとの距離のことをいい、「ピント位置」も同義である。「焦点距離」は、撮像光学系の主点から焦点までの距離をいい、一般にfで表記されるパラメータである。 In this specification, the term “in-focus area” means an area on an image where an image of a subject in focus exists, and the “in-focus position” refers to an area on the image. This refers to the position (XY position) of the focus area. “Focus distance” refers to the distance between the camera and the subject in focus in the optical axis direction (Z direction) of the imaging optical system, and “focus position” is also synonymous. . “Focal distance” refers to the distance from the principal point of the imaging optical system to the focal point, and is a parameter generally denoted by f.
<第1実施形態>
(撮像装置の構成)
図1は、本発明の第1実施形態に係る撮像装置の構成を模式的に示している。撮像装置1は、撮像光学系10、撮像素子11、制御部12、画像処理装置13、記憶部14、入力部15、表示部16を有している。
<First Embodiment>
(Configuration of imaging device)
FIG. 1 schematically shows the configuration of an imaging apparatus according to the first embodiment of the present invention. The imaging device 1 includes an imaging
撮像光学系10は、複数のレンズから構成され、入射する光を撮像素子11の像面上に結像させる光学系である。撮像光学系10としては可変焦点の光学系が用いられており、制御部12のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。撮像素子11は、CCDやCMOSなどのイメージセンサを有する撮像素子である。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。
The imaging
画像処理装置13は、信号処理部130、メモリ131、距離マップ生成部132、データ取得部133、合焦位置取得部134、基準距離決定部135、ぼけ画像生成部136などを有している。信号処理部130は、撮像素子11から出力されるアナログ信号のAD変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能である。信号処理部130から出力されるデジタル画像データはメモリ131に蓄積され、表示部16への表示、記憶部14への記録(保存)、距離計測(距離マップ生成)などに供される。距離マップ生成部132は、撮影条件を変えて撮影したぼけの異なる画像を用いて、画像中の各点の奥行き距離を計算し、距離マップを生成する機能である。距離マップ生成部132で生成された距離マップは記憶部14などに格納される。データ取得部133は、ぼけ付加処理の対象となる撮影画像のデータを記憶部14から読み込む機能(画像取得機能)と対応する距離マップのデータを記憶部14から読み込む機能(距離マップ取得機能)を有する。合焦位置取得部134は、撮影画像上の合焦位置を取得する機能である。基準距離決定部135は、ぼけ付加処理の基準となる奥行き距離(基準距離)を決定する機能である。ぼけ画像生成部136は、距離マップに基づいて撮影画像に対しぼけを付加する機能である。画像処理装置13の詳細については後述する。
The
記憶部14は、撮影画像のデータ、距離マップのデータ、撮像装置1で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部14としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例え
ばフラッシュメモリやDRAMなどが好ましい。入力部15は、ユーザが操作し、撮像装置1に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部16は、液晶ディスプレイや有機ELディスプレイなどで構成される表示手段である。表示部16は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。制御部12は、撮像装置1の各部を制御する機能である。制御部12の機能としては、例えば、オートフォーカス(AF)による自動焦点合わせ、フォーカス位置の変更、F値(絞り)の変更、画像の取り込み、シャッタやフラッシュ(いずれも不図示)の制御、記憶部14や入力部15や表示部16の制御などがある。
The
(処理フロー)
次に、図2を用いて撮像装置1の動作について説明する。図2は、撮像装置1によるぼけ画像撮影処理の流れを示すフローチャートである。
(Processing flow)
Next, the operation of the imaging apparatus 1 will be described with reference to FIG. FIG. 2 is a flowchart illustrating the flow of the blurred image shooting process performed by the imaging apparatus 1.
ユーザ(撮影者)が、入力部15を操作してぼけ画像撮影モードに設定すると、撮像素子11から画像の取り込みが開始され、信号処理部130及びメモリ131を介して取り込まれた画像が表示部16に順次表示される(ステップS20)。ユーザが表示部16で構図を確認しながら、オートフォーカスにより所望の被写体にピントを合わせ(ステップS21)、シャッタボタンを押すと、撮影画像が取り込まれる(ステップS22)。取り込まれたデータは記憶部14に格納される。
When the user (photographer) operates the
このとき制御部12は、オートフォーカスの際にピント合わせに使われた測距点(測距フレーム)の情報を合焦位置として記録する(ステップS23)。合焦位置は例えば画像座標系の座標値(XY)で与えられる。合焦位置は1点の座標値で定義してもよいし、フレームの左上と右下の2点の座標値で定義してもよい。或いは、測距点の番号と座標の対応関係が予め決まっていれば、座標値ではなく測距点の番号を合焦位置として記録してもよい。
At this time, the
続いて、制御部12は、距離マップの生成に用いる測距用画像の取り込みを行う(ステップS24)。本実施形態ではDFD法を利用するため、距離計算にはぼけの異なる2枚の画像が必要となる。それゆえ、制御部12は、ステップS22の撮影時からフォーカス位置を若干移動させて、測距用画像の撮影を行う。なおこのときの撮影条件(フォーカス位置の移動量、F値など)は予め設定されているものとする。
Subsequently, the
次に、距離マップ生成部132が、DFD法により撮影画像と測距用画像のぼけの違いから画像上の各点の奥行き距離を推定し、距離マップを生成する(ステップS25)。奥行き距離の推定は、画素ごとに行うこともできるし、離散的もしくはエリア単位で行うこともできる。距離マップの解像度は、要求精度、処理速度、データ容量などのバランスを考慮して適宜設計すればよい。以下では説明の簡単のため、4×6の24個のエリアをもつ距離マップを例示する。生成された距離マップは記憶部14に格納される。なお距離マップの生成には、DFD法の他、視差のある2画像を用いて三角測量の原理で距離を推定するステレオ法や、超音波や赤外線などで直接物体までの距離を測定するTOF法なども利用できる。いずれの方法も公知であるため、ここでは詳しい説明を割愛する。
Next, the distance
図3は、ステップS22で撮影された画像33とステップS25で生成された距離マップ34の一例を示している。図11と同じく、球30、三角錐31、円柱32を撮像装置1から3m、4m、10mの位置に配置し、球30にピントを合わせて撮影を行ったものとする。距離マップ34には、4×6の24個のエリアについて奥行き距離が記録されているが、実際の物体距離に比べて多少の誤差があることがわかる。被写体の空間周波数、照明条件、各種ノイズ、光学系の収差などのさまざまな影響により、距離推定の誤差が生
じるためである。なお図3の距離マップでは、各点(各エリア)の物体距離の値をそのまま記録しているが、奥行き距離と対応関係があれば、どのような情報を記録してもよい。例えば、像面側の距離(デフォーカス量)でもよいし、物体側の距離でもよいし、DFD法での距離計算で得られる指標値(スコア)でも構わない。特に、像面側の情報を記憶すると、距離マップの誤差補正時に単純なオフセットでぼけ効果に合った補正をすることができるので、好ましい。なお、物体側の情報を記憶する場合には、光学系の情報(縦倍率等)による換算を予め行うことが更に必要となる。
FIG. 3 shows an example of the
次に、距離マップ34を使って撮影画像33に対しぼけ効果を与える処理を行う。まずデータ取得部133が、記憶部14から撮影画像33のデータと距離マップ34のデータを取得する(ステップS26)。続いて合焦位置取得部134が、制御部12からステップS23で記録された合焦位置のデータを取得する(ステップS27)。そして、基準距離決定部135が、距離マップ34の中から合焦位置に対応する奥行き距離を取得し、これを基準距離に設定する(ステップS28)。図3の例では、合焦位置の座標(x1,y1)は距離マップ34上の左から2番目かつ上から3番目のエリア内に属するため、当該エリアの奥行き距離の値「2.2m」が基準距離として選ばれる。基準距離とは、後段のぼけ付加処理において、合焦距離(ピント位置)とみなす奥行き距離のことである。
Next, processing for giving a blur effect to the captured
なお、基準距離の決定方法は、上記の例に限られない。例えば、図3では、1点(1エリア)のみの奥行き距離から基準距離を決定したが、複数の点の奥行き距離に基づいて基準距離を決定してもよい。複数の点の奥行き距離の平均、線形補間、最頻値、中間値などを計算し、それを基準距離に選ぶことで、ノイズの影響を低減できる効果が期待できる。この方法は、距離マップの解像度が高い場合に特に有利である。なお、図3のように、合焦位置が1点の座標で指定される場合には、その座標を中心とする所定範囲に含まれる複数点の奥行き距離を用いればよい。また、合焦位置がエリア指定される場合には、当該エリアに含まれる複数点の奥行き距離を用いればよい。 The method for determining the reference distance is not limited to the above example. For example, in FIG. 3, the reference distance is determined from the depth distance of only one point (one area), but the reference distance may be determined based on the depth distance of a plurality of points. By calculating the average, linear interpolation, mode, intermediate value, etc. of the depth distances of a plurality of points and selecting them as reference distances, an effect of reducing the influence of noise can be expected. This method is particularly advantageous when the distance map has a high resolution. As shown in FIG. 3, when the in-focus position is designated by a single coordinate, the depth distances of a plurality of points included in a predetermined range centered on the coordinate may be used. When the focus position is designated as an area, the depth distances of a plurality of points included in the area may be used.
次に、ぼけ画像生成部136が、距離マップに基づいて奥行き距離に応じたぼけを撮影画像に付加する(ステップS29)。このとき、ぼけ画像生成部136は、ステップS28で求めた基準距離を合焦距離(ピント位置)とみなし、距離マップの値が基準距離と一致するエリアに対してはぼけを加えない。一方、距離マップの値が基準距離から外れたエリアに対しては、基準距離からのずれ量(デフォーカス量)に応じてぼけが大きくなるようにぼけ量を制御する。図11に示したデフォーカス量85と比較すると分かるように、基準距離を基準にしてデフォーカス量35を計算したことにより、合焦位置に対応する物体(球30)の領域でのデフォーカス量が最も小さくなっている。また、物体間の相対距離に応じたデフォーカス量が得られていることが分かる。この結果、図3に示すように、基準距離にある物体である球30はコントラストが維持され、それよりも奥に存在する三角錐31、円柱32はそのデフォーカス量に応じたぼけが付加される。生成されたぼけ画像36は表示部16に表示されるとともに記憶部14に格納される。
Next, the blur
(ぼけ量の制御)
以下、ステップS29の処理におけるぼけ量の決定方法の一例を説明する。
図4は、基準距離(球体30)から外れた位置に存在する物体(三角錐31)の像面におけるぼけ量(ぼけサイズr)を示している。図4において、doは三角錐31の物体距離
、dsは三角錐31の像面距離、dobpは基準距離(物体側)、dsbpは基準距離(像面側)、Dは瞳サイズ、diはデフォーカス量(像面側)を示す。また光学系の焦点距離をf、F値をFnoとする。
(Defocus control)
Hereinafter, an example of a method for determining the blur amount in the process of step S29 will be described.
FIG. 4 shows the amount of blur (blur size r) in the image plane of an object (triangular pyramid 31) that exists at a position deviating from the reference distance (sphere 30). In FIG. 4, do is the object distance of the
ぼけサイズrは、図4の幾何学的な関係、及び、
の関係から、以下のようになる。
From the relationship, it becomes as follows.
図3の例のように距離マップに物体距離が記録されている場合は、(2)式及び(3)式より、基準距離(物体側)dobpと三角錐31の物体距離doとから、像面側のデフォーカス量diを算出できる。そして、デフォーカス量diと三角錐31の物体距離doを(1)式に代入することで、三角錐31の像のぼけサイズrを決定することができる。焦点距離f、F値Fnoは撮影時の条件を用いてもよいし、適宜設定してもよい。ぼけサイズrが導出できれば、撮像素子の条件から、フィルタサイズを一意に決定することができる。この処理を画像中のすべての画素(又はエリア)に対して行うことで、デフォーカス量に応じたぼけを付加することができる。
When the object distance is recorded in the distance map as in the example of FIG. 3, the image is obtained from the reference distance (object side) dobp and the object distance do of the
(本実施形態の利点)
以上述べた本実施形態の方法によれば、撮影時の合焦位置に対応する距離マップの値を基準距離に選んだので、ユーザがピントを合わせた物体の像がぼけ付加後も合焦した状態に維持され、ユーザの意図どおりのぼけ画像が得られる。また、基準距離に対する奥行き距離のずれ量に応じてぼけ量を制御したので、基準距離と同距離の物体はぼけない、基準距離から遠ざかるほどぼけが大きくなるなど、実際の光学系で撮影したような自然なぼけ効果を表現できる。また、ぼけ付加処理に必要なパラメータ(合焦位置)が自動で取得されるので、ユーザの操作負担が小さいという利点もある。また、これらの効果は、距離マップの誤差の大小にかかわらず有効である。したがって、本実施形態の方法は、距離マップの誤差が比較的大きい場合、例えば、DFD法やステレオ法のように画像処理によって距離マップを生成する場合や、距離マップにおける奥行き距離が2値でなく多値の情報の場合など、に特に有利である。
(Advantages of this embodiment)
According to the method of the present embodiment described above, the value of the distance map corresponding to the in-focus position at the time of shooting is selected as the reference distance, so that the object image focused by the user is in focus even after the blur is added. The state is maintained, and a blurred image is obtained as intended by the user. In addition, because the amount of blur was controlled according to the amount of deviation of the depth distance with respect to the reference distance, an object with the same distance as the reference distance does not blur, and the blur increases as the distance from the reference distance increases. A natural blur effect can be expressed. In addition, since a parameter (focus position) necessary for the blur addition process is automatically acquired, there is an advantage that the operation burden on the user is small. Also, these effects are effective regardless of the magnitude of the distance map error. Therefore, in the method of the present embodiment, when the error of the distance map is relatively large, for example, when the distance map is generated by image processing like the DFD method or the stereo method, or the depth distance in the distance map is not binary. This is particularly advantageous in the case of multi-value information.
<第2実施形態>
次に、本発明の第2実施形態について説明する。第1実施形態ではオートフォーカスの測距点の座標を合焦位置として利用したが、この方法では、フォーカスロック撮影が行われた場合に問題が生じる。フォーカスロック撮影とは、オートフォーカスにおいて、ピント位置を固定したまま構図をずらし撮影を行うテクニックである。例えば画面中央にある被写体にオートフォーカスでピントを合わせた後、シャッタボタンを半押ししながらカメラを右に向けていくと、被写体の距離に合焦したまま被写体を画面左端に配置した構図で撮影できる。この場合、測距点の座標(画像の中央)と合焦領域の座標(画像の左端)が一致しないため、第1実施形態のように測距点の座標に基づき距離マップを参照すると、不適切な基準距離が設定される結果となる。
Second Embodiment
Next, a second embodiment of the present invention will be described. In the first embodiment, the coordinates of the autofocus distance measuring point are used as the in-focus position. However, this method causes a problem when focus lock shooting is performed. Focus lock shooting is a technique in which autofocusing is performed by shifting the composition while keeping the focus position fixed. For example, if you focus on the subject in the center of the screen with autofocus and then turn the camera to the right while pressing the shutter button halfway, the subject is placed at the left edge of the screen while focusing on the subject distance. it can. In this case, since the coordinates of the distance measurement point (the center of the image) and the coordinates of the focus area (the left end of the image) do not match, it is not possible to refer to the distance map based on the distance measurement point coordinates as in the first embodiment. As a result, an appropriate reference distance is set.
図5は、第2実施形態の撮像装置1の構成を模式的に示す図である。第1実施形態との
違いは、画像処理装置13が追尾処理部137を有している点である。図6のフローチャートを用いて、追尾処理部137の動作を説明する。
FIG. 5 is a diagram schematically illustrating the configuration of the imaging device 1 according to the second embodiment. The difference from the first embodiment is that the
ユーザ(撮影者)が、撮像装置1をぼけ画像撮影モードに設定し、オートフォーカスにより所望の被写体にピントを合わせると(ここまでは図2のステップS20〜S21と同じ)、図6の追尾ルーチンが実行される。まず追尾処理部137は、ピントが固定されているか否かを判断し(ステップS60)、固定されていなければルーチンを抜けて、通常のオートフォーカス動作に戻す。シャッタボタンの半押しなどによりピントが固定されると(ステップS60のYES)、追尾処理部137は、ピントを合わせた被写体の特徴及び初期位置を記憶する(ステップS61)。例えば、ピント合わせに使われた測距点(測距フレーム)を含む局所領域から画像特徴が抽出され、測距点の座標値とともに記録される。
When the user (photographer) sets the imaging apparatus 1 to the blurred image shooting mode and focuses on a desired subject by autofocus (the steps so far are the same as steps S20 to S21 in FIG. 2), the tracking routine in FIG. Is executed. First, the
その後、追尾処理部137は、この画像特徴に基づき追尾対象である被写体の追尾を行う。具体的には、追尾処理部137は、構図確認用(ライブビュー用)の画像が取り込まれるたびに、画像の中から画像特徴が一致又は類似する領域を探索することにより、追尾対象を検出する。追尾対象が見つかった場合には、その位置(座標値)を更新する。追尾処理部137は、ピントが解除されるまで追尾対象の追尾を継続する(ステップS63)。なお、ユーザがシャッタボタンを全押しすると、割り込みが発生し、追尾ルーチンから抜けて、図2のステップS22へ進む。ステップS22で撮影画像が取り込まれた後、ステップS23では、追尾処理部137によって記録された追尾対象の位置(撮影時の位置)が合焦位置に設定される。それ以降の処理は第1実施形態と同じである。
Thereafter, the
以上述べた第2実施形態の構成によっても、第1実施形態と同様の効果を得ることができる。加えて、第2実施形態では、ピント合わせに使われた物体を自動で追尾し、その物体の撮影時の位置を合焦位置として記録するようにしたので、フォーカスロック撮影が行われた場合でも、ユーザの意図どおりのぼけ画像を生成することができる。 Also by the configuration of the second embodiment described above, the same effect as that of the first embodiment can be obtained. In addition, in the second embodiment, the object used for focusing is automatically tracked, and the position at the time of shooting the object is recorded as the in-focus position, so even when focus lock shooting is performed. A blurred image can be generated as intended by the user.
<第3実施形態>
次に、本発明の第3実施形態について説明する。第1及び第2実施形態では撮影時のオートフォーカスの情報から合焦位置を取得した。これに対し、第3実施形態では撮影画像から所定の物体を検出し、その検出された位置を合焦位置とみなす。所定の物体とは、ユーザが被写体として選ぶ蓋然性が高い物体であれば何でもよい。例えば、人の顔、半身、全身などが想定される。ポートレートや集合写真を撮る場合、人の顔や半身にピントを合わせることが殆どだからである。本実施形態はこの傾向を利用したものといえる。以下、人の顔を検出する例を説明する。
<Third Embodiment>
Next, a third embodiment of the present invention will be described. In the first and second embodiments, the in-focus position is acquired from the autofocus information at the time of shooting. On the other hand, in the third embodiment, a predetermined object is detected from the captured image, and the detected position is regarded as a focus position. The predetermined object may be any object as long as it has a high probability of being selected by the user as a subject. For example, a human face, half body, whole body, etc. are assumed. This is because when you take a portrait or group photo, you usually focus on the face or half of the person. This embodiment can be said to utilize this tendency. Hereinafter, an example of detecting a human face will be described.
第1実施形態との違いは、合焦位置取得部134の動作である。すなわち、合焦位置取得部134は、図2のステップS27の処理において、撮影画像を解析し、人の顔を検出する。画像からの顔検出方法は公知の技術を利用できるため詳しい説明は割愛する。そして、合焦位置取得部134は、顔が検出された画像上の位置を合焦位置に設定する。それ以降の処理は第1実施形態と同じである。なお、画像から複数の顔が検出された場合には、顔のサイズ(例えば一番大きい顔)や位置(例えば画像の中央にある顔)などに基づいて、合焦位置とみなす顔を選定すればよい。或いは、複数の顔を包含する領域を合焦位置に設定してもよい。
The difference from the first embodiment is the operation of the in-focus
以上述べた第3実施形態の構成によれば、被写体の蓋然性が高い物体(顔など)を自動で検出し、その物体以外の領域にのみぼけを付加するので、ユーザの意図にマッチしたぼけ画像を自動で生成することが可能となる。第3実施形態の構成は、撮影時のオートフォーカスの情報を利用できない場合に(例えば、PCの画像処理ソフトでぼけ画像を生成す
る場合など)、特に好ましく適用できる。
According to the configuration of the third embodiment described above, an object (such as a face) with a high probability of a subject is automatically detected, and blur is added only to an area other than the object, so a blurred image that matches the user's intention Can be automatically generated. The configuration of the third embodiment can be applied particularly preferably when autofocus information at the time of shooting cannot be used (for example, when a blurred image is generated by image processing software of a PC).
<第4実施形態>
次に、本発明の第4実施形態について説明する。第1から第3実施形態では、合焦位置が1つである。これに対し、第4実施形態では複数の合焦位置を指定する例を説明する。例えば、第3実施形態の方法において、画像から複数の顔が検出された場合に、それぞれの顔の位置を別個の合焦位置に指定することを想定する。
<Fourth embodiment>
Next, a fourth embodiment of the present invention will be described. In the first to third embodiments, there is one in-focus position. In contrast, in the fourth embodiment, an example in which a plurality of in-focus positions are designated will be described. For example, in the method of the third embodiment, when a plurality of faces are detected from an image, it is assumed that the position of each face is designated as a separate in-focus position.
図7の上段に示すように、画像中の3つの顔の位置がそれぞれ合焦位置に指定された場合、それらの顔の奥行き距離が一致しているとは限らない。仮に、中間の顔の奥行き距離を基準距離に選んで第1実施形態と同じ処理を適用すると、手前側の顔と奥側の顔がぼけてしまい、ユーザの望む結果と相違する可能性がある。 As shown in the upper part of FIG. 7, when the positions of three faces in the image are designated as in-focus positions, the depth distances of those faces do not always match. If the same processing as in the first embodiment is applied by selecting the intermediate face depth distance as the reference distance, the front face and the back face may be blurred, which may be different from the result desired by the user. .
そこで本実施形態では、図7の下段のように、ぼけ画像生成部136が、複数の合焦位置に対応する奥行き距離がすべて同距離(基準距離)であるとみなしデフォーカス量の計算を行うことで、すべての合焦位置のぼけ量をゼロにする。単純な方法としては、図7の上段のように第1実施形態と同じ方法で距離マップの各点(各エリア)のデフォーカス量dを計算した後、
d<−bの場合: d←d+b
−b≦d≦aの場合:d←0
d>aの場合: d←d−a
のようにデフォーカス量dを調整し、調整後のデフォーカス量dに基づいてぼけ付加処理を行うとよい。
Therefore, in the present embodiment, as shown in the lower part of FIG. 7, the blurred
When d <−b: d ← d + b
When −b ≦ d ≦ a: d ← 0
When d> a: d ← d−a
As described above, the defocus amount d may be adjusted, and the blur addition process may be performed based on the adjusted defocus amount d.
以上述べた本実施形態の構成によれば、複数の合焦位置が指定された場合に、それらの合焦位置に対応する奥行き距離に存在する物体がいずれもぼけていない画像を生成できる。言い換えると、複数の合焦位置のそれぞれに写る被写体の奥行き距離の分布(ばらつき)をちょうど包含するように被写界深度が制御されたぼけ画像を自動で生成することができる。 According to the configuration of the present embodiment described above, when a plurality of in-focus positions are designated, it is possible to generate an image in which none of the objects existing at the depth distance corresponding to the in-focus positions are blurred. In other words, it is possible to automatically generate a blurred image in which the depth of field is controlled so as to exactly include the distribution (variation) of the depth distance of the subject captured at each of the plurality of in-focus positions.
<第5実施形態>
次に、本発明の第5実施形態について説明する。本実施形態では、撮影画像から被写体の切り出し処理を行う技術について説明する。被写体の切り出しとは、着目した被写体のみを画像上から切り出し、その他の背景と区別する技術である。切り出した被写体の画像は、例えば、画像合成や高画質化処理等に応用される。
<Fifth Embodiment>
Next, a fifth embodiment of the present invention will be described. In the present embodiment, a technique for performing subject extraction processing from a captured image will be described. The extraction of the subject is a technique for extracting only the subject of interest from the image and distinguishing it from other backgrounds. The cut-out subject image is applied to, for example, image composition and high image quality processing.
図8は、本実施形態に係る撮像装置の構成を模式的に示している。本実施形態の画像処理装置13は、ぼけ画像生成部136の代わりに切り出し画像生成部138を有する点が、第1実施形態の画像処理装置13(図1参照)と異なる。切り出し画像生成部138は、基準距離決定部135で決定された基準距離を基準に特定の距離範囲に含まれるエリアを同一の被写体として、撮影画像から切り出す機能を有する。つまり、切り出し画像生成部138は、距離マップと基準距離とを用いて撮影画像に対して画像処理を行う画像処理部である。
FIG. 8 schematically illustrates the configuration of the imaging apparatus according to the present embodiment. The
特定の距離範囲とは、例えば、基準距離を含んでいても、含まなくてもよい。基準距離を含まない場合には、特定の距離範囲は、例えば、「基準距離+5m乃至基準距離+6mの範囲」のように指定される。 For example, the specific distance range may or may not include a reference distance. When the reference distance is not included, the specific distance range is specified as, for example, “reference distance + 5 m to reference distance + 6 m range”.
特定の距離範囲の指定は、ユーザが、基準距離を基準にした上限値、下限値を指定する方法や、基準範囲を含む距離範囲の値を指定する方法が挙げられる。ユーザが指定する場
合には、入力部15を用いて上限値及び下限値などの数値、距離範囲の数値などを入力する。
The designation of the specific distance range includes a method in which the user designates an upper limit value and a lower limit value based on the reference distance, and a method in which a value of the distance range including the reference range is designated. When the user designates, the
また、特定の距離範囲は、予め決定されていてもよいし、画像処理装置13内で、距離マップや他の情報から自動的に設定されてもよい。例えば、図9のように奥行き距離のヒストグラムを用いて、基準距離が含まれるように隣り合った極小値間を特定の距離範囲と設定する方法が挙げられる。
The specific distance range may be determined in advance, or may be automatically set from the distance map or other information in the
次に、図10を用いて本実施形態の撮像装置1の動作について説明する。図10は、撮像装置1による被写体の切り出し画像生成処理の流れを示すフローチャートである。本実施形態の動作は、第1実施形態の動作とは、ステップS28までは同じであり、ぼけ画像の生成(ステップS29)の代わりに、切り出し画像の生成(ステップS30)を有する点が異なっている。 Next, the operation of the imaging apparatus 1 of the present embodiment will be described using FIG. FIG. 10 is a flowchart illustrating the flow of a subject cut-out image generation process performed by the imaging apparatus 1. The operation of this embodiment is the same as that of the first embodiment up to step S28, except that it generates cutout images (step S30) instead of blur image generation (step S29). Yes.
ステップS30では、切り出し画像生成部138が、特定の距離範囲に含まれる被写体を、距離マップと基準距離とを用いて撮影画像から切り出す。このとき、ユーザが特定の距離範囲を指定する場合には、切り出し画像生成部138は、ユーザに対して、基準距離を基準にした上限値及び下限値、距離範囲を指定するように要求する。例えば、表示部16に「切り出す距離範囲を入力してください」というガイドメッセージをオーバーレイ表示すればよい。
In step S30, the cut-out
なお、撮影者が切り出したい被写体以外の被写体が特定の距離範囲に含まれる場合は、切り出し画像に含まれる場合があるが、その場合は、切り出し画像生成部138が、切り出す必要ない被写体を消すような処理を切り出し画像に適宜施してもよい。
Note that, when a subject other than the subject that the photographer wants to cut out is included in the specific distance range, it may be included in the cutout image. In this case, the cutout
以上述べた本実施形態の構成によれば、撮影時の合焦位置に対応する距離マップの値を基準距離に選んだので、ユーザがピントを合わせた物体に対して切り出し処理が行われ、ユーザの意図どおりの被写体が切り出される。また基準距離に対する特定の距離範囲によって、同一の被写体を判断しているため、画像上の位置が離れていても適切にピントを合わせた距離にある被写体を切り出すことができる。 According to the configuration of the present embodiment described above, since the value of the distance map corresponding to the focus position at the time of shooting is selected as the reference distance, the user performs the clipping process on the object in focus, and the user The subject is cut out as intended. In addition, since the same subject is determined based on a specific distance range with respect to the reference distance, it is possible to cut out a subject at an appropriately focused distance even if the position on the image is distant.
上述した本発明の技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器(携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む)にも本発明の技術を適用可能である。なお、上記装置への具体的な実装は、ソフトウェア(プログラム)による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ(マイコン、FPGA等)のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するASIC等の専用プロセッサを設けることも好ましい。 The technology of the present invention described above can be preferably applied to, for example, an imaging apparatus such as a digital camera or a digital camcorder, or an image processing apparatus or computer that performs image processing on image data obtained by the imaging apparatus. The technology of the present invention can also be applied to various electronic devices (including mobile phones, smartphones, slate terminals, and personal computers) incorporating such an imaging device or image processing device. It should be noted that the specific mounting on the device can be either software (program) mounting or hardware mounting. For example, various processes for achieving the object of the present invention are realized by storing a program in a memory of a computer (microcomputer, FPGA, etc.) built in an imaging apparatus or an image processing apparatus and causing the computer to execute the program. May be. It is also preferable to provide a dedicated processor such as an ASIC that implements all or part of the processing of the present invention with a logic circuit.
1:撮像装置、13:画像処理装置、133:データ取得部、134:合焦位置取得部、135:基準距離決定部、136:ぼけ画像生成部、138:切り出し画像生成部 1: imaging device, 13: image processing device, 133: data acquisition unit, 134: focus position acquisition unit, 135: reference distance determination unit, 136: blurred image generation unit, 138: cut-out image generation unit
本発明は、撮影画像上の各点に対応する、像面側でのピント位置からのずれ量である、デフォーカス量の分布を示す距離マップを取得する距離マップ取得手段と、前記撮影画像上の基準領域の情報を取得する取得手段と、前記基準領域および前記距離マップに基づいて、前記基準領域とのデフォーカス量の差が第1の差である領域に、前記第1の差より小さい第2の差である領域よりも大きなぼけを付加するように前記撮影画像に画像処理を施す画像処理手段と、を有することを特徴とする画像処理装置を提供する。 The present invention provides distance map acquisition means for acquiring a distance map indicating a defocus amount distribution corresponding to each point on the captured image, which is a deviation amount from the focus position on the image plane side, and on the captured image. Based on the acquisition means for acquiring the reference area information, and the reference area and the distance map, the defocus amount difference between the reference area and the reference area is smaller than the first difference. There is provided an image processing apparatus comprising image processing means for performing image processing on the photographed image so as to add a blur larger than an area which is a second difference .
本発明は、撮影画像上の各点に対応する、像面側でのピント位置からのずれ量である、デフォーカス量の分布を示す距離マップを取得する取得ステップと、前記撮影画像上の基準領域の情報を取得する取得ステップと、前記基準領域および前記距離マップに基づいて、前記基準領域とのデフォーカス量の差が第1の差である領域に、前記第1の差より小さい第2の差である領域よりも大きなぼけを付加するように前記撮影画像に画像処理を施す画像処理ステップと、を有することを特徴とする画像処理方法を提供する。The present invention provides an acquisition step for acquiring a distance map indicating a distribution of a defocus amount, which is a shift amount from a focus position on the image plane side, corresponding to each point on a captured image, and a reference on the captured image Based on the acquisition step of acquiring area information, and the reference area and the distance map, a second defocus amount difference from the reference area is a first difference that is smaller than the first difference. And an image processing step for performing image processing on the photographed image so as to add a blur larger than an area that is a difference between the two, to provide an image processing method.
本発明は、撮影画像上の各点に対応する距離情報からなる距離マップを取得する距離マップ取得手段と、前記撮影画像上の基準領域の情報を取得する取得手段と、前記距離マップにおける前記基準領域に対応する距離情報を基準として前記距離マップを補正する補正手段と、前記補正手段で補正された距離マップに基づいて、前記基準領域との距離情報の差が第1の差である領域に、前記第1の差より小さい第2の差である領域よりも大きなぼけを付加するように前記撮影画像に画像処理を施す画像処理手段と、を有することを特徴とする画像処理装置を提供する。The present invention provides a distance map acquisition unit that acquires a distance map that includes distance information corresponding to each point on a captured image, an acquisition unit that acquires information on a reference region on the captured image, and the reference in the distance map. Based on the distance map corresponding to the area, the distance map is corrected based on the distance map corrected by the correction means, and the distance information between the reference area and the reference area is a first difference. And an image processing means for performing image processing on the photographed image so as to add a blur larger than an area that is a second difference smaller than the first difference. .
本発明は、撮影画像上の各点に対応する距離情報からなる距離マップを取得する距離マップ取得ステップと、前記撮影画像上の基準領域の情報を取得する取得ステップと、前記距離マップにおける前記基準領域に対応する距離情報を基準として前記距離マップを補正する補正ステップと、前記補正ステップにて補正された距離マップに基づいて、前記基準領域との距離情報の差が第1の差である領域に、前記第1の差より小さい第2の差である領域よりも大きなぼけを付加するように前記撮影画像に画像処理を施す画像処理ステップと、を有することを特徴とする画像処理方法を提供する。The present invention provides a distance map acquisition step of acquiring a distance map consisting of distance information corresponding to each point on the captured image, an acquisition step of acquiring information of a reference region on the captured image, and the reference in the distance map A correction step for correcting the distance map with reference to distance information corresponding to the region, and a region in which a difference in distance information from the reference region is a first difference based on the distance map corrected in the correction step And an image processing step of performing image processing on the captured image so as to add a blur larger than an area that is a second difference smaller than the first difference. To do.
Claims (19)
前記撮影画像上の合焦位置を取得する合焦位置取得手段と、
前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定する基準距離決定手段と、
前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行う画像処理手段と、を有することを特徴とする画像処理装置。 Distance map acquisition means for acquiring a distance map in which information indicating the depth distance corresponding to each point on the captured image is recorded;
A focus position acquisition means for acquiring a focus position on the captured image;
A reference distance determining means for acquiring a depth distance corresponding to the in-focus position from the distance map and setting it as a reference distance;
An image processing apparatus comprising: image processing means for performing image processing on the captured image using the distance map and the reference distance.
前記合焦位置取得手段は、前記撮影画像を撮影したときに前記追尾処理手段により得られた前記物体の画像上の位置を前記合焦位置とすることを特徴とする請求項1乃至4のうちいずれか1項に記載の画像処理装置。 And tracking processing means for updating the position of the object on the image by tracking the focused object when the focus is fixed in the autofocus,
5. The in-focus position acquisition unit sets the position on the image of the object obtained by the tracking processing unit when the captured image is captured as the in-focus position. The image processing apparatus according to any one of the above.
前記画像処理装置が、前記撮像手段で撮影された撮影画像に対して画像処理を行うことを特徴とする撮像装置。 Imaging means and the image processing device according to any one of claims 1 to 13,
The image processing apparatus, wherein the image processing apparatus performs image processing on a captured image captured by the imaging unit.
撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得するステップと、
前記撮影画像上の合焦位置を取得するステップと、
前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定するステップと、
前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行うステップと、を実行することを特徴とする画像処理方法。 The image processing device
Obtaining a distance map in which information indicating the depth distance corresponding to each point on the captured image is recorded;
Obtaining a focus position on the captured image;
Obtaining a depth distance corresponding to the in-focus position from the distance map and setting it as a reference distance;
Performing an image process on the captured image using the distance map and the reference distance.
前記撮影画像上の合焦位置を取得する合焦位置取得手段と、
前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定する基準距離決定手段と、を有することを特徴とする画像処理装置。 Distance map acquisition means for acquiring a distance map in which information indicating the depth distance corresponding to each point on the captured image is recorded;
A focus position acquisition means for acquiring a focus position on the captured image;
An image processing apparatus comprising: a reference distance determining unit that acquires a depth distance corresponding to the in-focus position from the distance map and sets the depth distance as a reference distance.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013016816 | 2013-01-31 | ||
JP2013016816 | 2013-01-31 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013258124A Division JP6271990B2 (en) | 2013-01-31 | 2013-12-13 | Image processing apparatus and image processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019029513A Division JP6645711B2 (en) | 2013-01-31 | 2019-02-21 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018061292A true JP2018061292A (en) | 2018-04-12 |
JP6486453B2 JP6486453B2 (en) | 2019-03-20 |
Family
ID=61908986
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017255159A Expired - Fee Related JP6486453B2 (en) | 2013-01-31 | 2017-12-29 | Image processing apparatus, image processing method, and program |
JP2019029513A Active JP6645711B2 (en) | 2013-01-31 | 2019-02-21 | Image processing apparatus, image processing method, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019029513A Active JP6645711B2 (en) | 2013-01-31 | 2019-02-21 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6486453B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117880630A (en) * | 2024-03-13 | 2024-04-12 | 杭州星犀科技有限公司 | Focusing depth acquisition method, focusing depth acquisition system and terminal |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6486453B2 (en) * | 2013-01-31 | 2019-03-20 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010206722A (en) * | 2009-03-05 | 2010-09-16 | Canon Inc | Image processing apparatus and image processing method, and, imaging apparatus |
JP2011010194A (en) * | 2009-06-29 | 2011-01-13 | Nikon Corp | Blurred image forming apparatus and camera provided with the same |
JP2012181324A (en) * | 2011-03-01 | 2012-09-20 | Nikon Corp | Imaging apparatus |
WO2012132486A1 (en) * | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | Imaging device, imaging method, program, and program storage medium |
JP2013005091A (en) * | 2011-06-14 | 2013-01-07 | Pentax Ricoh Imaging Co Ltd | Imaging apparatus and distance information acquisition method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012029301A1 (en) * | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | Image capturing apparatus, playback apparatus, and image processing method |
JP2012182731A (en) * | 2011-03-02 | 2012-09-20 | Nikon Corp | Imaging device |
JP6486453B2 (en) * | 2013-01-31 | 2019-03-20 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
2017
- 2017-12-29 JP JP2017255159A patent/JP6486453B2/en not_active Expired - Fee Related
-
2019
- 2019-02-21 JP JP2019029513A patent/JP6645711B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010206722A (en) * | 2009-03-05 | 2010-09-16 | Canon Inc | Image processing apparatus and image processing method, and, imaging apparatus |
JP2011010194A (en) * | 2009-06-29 | 2011-01-13 | Nikon Corp | Blurred image forming apparatus and camera provided with the same |
JP2012181324A (en) * | 2011-03-01 | 2012-09-20 | Nikon Corp | Imaging apparatus |
WO2012132486A1 (en) * | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | Imaging device, imaging method, program, and program storage medium |
JP2013005091A (en) * | 2011-06-14 | 2013-01-07 | Pentax Ricoh Imaging Co Ltd | Imaging apparatus and distance information acquisition method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117880630A (en) * | 2024-03-13 | 2024-04-12 | 杭州星犀科技有限公司 | Focusing depth acquisition method, focusing depth acquisition system and terminal |
CN117880630B (en) * | 2024-03-13 | 2024-06-07 | 杭州星犀科技有限公司 | Focusing depth acquisition method, focusing depth acquisition system and terminal |
Also Published As
Publication number | Publication date |
---|---|
JP6486453B2 (en) | 2019-03-20 |
JP6645711B2 (en) | 2020-02-14 |
JP2019083580A (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271990B2 (en) | Image processing apparatus and image processing method | |
JP4582423B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
JP4678603B2 (en) | Imaging apparatus and imaging method | |
JP5036599B2 (en) | Imaging device | |
TWI538512B (en) | Method for adjusting focus position and electronic apparatus | |
JP2010524279A (en) | Distance map generation type multi-lens camera | |
JP6319972B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP5766077B2 (en) | Image processing apparatus and image processing method for noise reduction | |
JP2015148532A (en) | Distance measuring device, imaging apparatus, distance measuring method, and program | |
JP2018107526A (en) | Image processing device, imaging apparatus, image processing method and computer program | |
JP2012124555A (en) | Imaging apparatus | |
JP2015036632A (en) | Distance measuring device, imaging apparatus, and distance measuring method | |
JP2009177503A (en) | Imaging apparatus | |
JP5144724B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
WO2017130522A1 (en) | Image processing device, image capturing device, image processing method and program | |
JP2015012482A (en) | Image processing apparatus and image processing method | |
JP2018074361A (en) | Imaging apparatus, imaging method, and program | |
JP6270413B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP6645711B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010154306A (en) | Device, program and method for imaging control | |
JP6395429B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
JP2008028890A (en) | Imaging apparatus, imaging method, and imaging program | |
JP2011193496A (en) | Imaging apparatus, imaging method, and imaging program | |
JP2017063340A (en) | Image blur correction device, imaging device, and control method | |
JP2014138378A (en) | Image pickup device, control method thereof, and control program thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171229 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6486453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |