JP2016018340A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2016018340A JP2016018340A JP2014139965A JP2014139965A JP2016018340A JP 2016018340 A JP2016018340 A JP 2016018340A JP 2014139965 A JP2014139965 A JP 2014139965A JP 2014139965 A JP2014139965 A JP 2014139965A JP 2016018340 A JP2016018340 A JP 2016018340A
- Authority
- JP
- Japan
- Prior art keywords
- blur amount
- image
- distance
- axis direction
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、画像処理装置に関し、より詳細には、撮像された画像中の物体を認識する画像処理装置に関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that recognizes an object in a captured image.
近年、道路における車両の交通量の計測、また所定の敷地内に侵入した物体の特定等を目的として、ビデオカメラ等の撮像装置を用いた監視システムが知られている（特許文献１参照）。
このような監視システムにより撮像された画像において、複数の物体が同時に撮像されている場合、物体同士が重なっていると、各々の物体をひとつの物体として認識してしまい、別々の物体として認識することができず、監視対象に対して正確な情報を取得することができない場合がある。
In recent years, a monitoring system using an imaging device such as a video camera has been known for the purpose of measuring the traffic volume of a vehicle on a road and identifying an object that has entered a predetermined site (see Patent Document 1).
In an image captured by such a monitoring system, when a plurality of objects are captured at the same time, if the objects overlap each other, each object is recognized as one object and is recognized as a separate object. In some cases, accurate information cannot be acquired for the monitoring target.
但し、そのような場合であっても、撮像装置から物体までの距離を算出することができれば、撮像された物体を別々の物体として認識することができ、さらに撮像方向に対する、各々の物体の前後関係も認識することができる。
従来、撮像装置からの画像を処理して被写体までの距離を測定する方法としてステレオ法が広く知られている。これは測距対象となる被写体を複数の撮像装置で撮像し、撮像装置間の距離（基線長）と画像上での視差を用い、三角測距の原理で距離を測定するものである。
また、他の方法として、ＤＦＤ（Depth from Defocus）法がある。これは画像のボケ量と被写体距離との相関情報から距離を測定するものであり、単眼カメラで実現できるため、システムの小型化に有利である。
However, even in such a case, if the distance from the imaging device to the object can be calculated, the captured object can be recognized as a separate object, and further, before and after each object in the imaging direction. Relationships can also be recognized.
Conventionally, a stereo method is widely known as a method for measuring a distance to a subject by processing an image from an imaging apparatus. In this method, a subject to be distance-measured is imaged by a plurality of imaging devices, and the distance is measured based on the principle of triangulation using the distance (baseline length) between the imaging devices and the parallax on the image.
Another method is a DFD (Depth from Defocus) method. This measures the distance from the correlation information between the blur amount of the image and the subject distance, and can be realized with a monocular camera, which is advantageous for downsizing of the system.
また、撮像装置から物体までの距離を算出する他の方法として、画像のボケ量から距離を算出する方法において、画像のボケ量を推定する手法として、画像の対数振幅スペクトル上に現れる暗い円環の半径から、ボケの特性を表現するＰＳＦ（Point Spread Function：点像分布関数）の推定を行う手法（非特許文献１）、画像の対数振幅スペクトル上の輝度こう配のベクトル分布を用いてボケの特性を表現し、ＰＳＦの推定を行う手法（非特許文献２）がある。 In addition, as another method for calculating the distance from the imaging device to the object, as a method for estimating the image blur amount in the method for calculating the distance from the image blur amount, a dark circle appearing on the logarithmic amplitude spectrum of the image is used. A method of estimating PSF (Point Spread Function) that expresses the characteristic of blur from the radius of the image (Non-Patent Document 1), and using the vector distribution of the luminance gradient on the logarithmic amplitude spectrum of the image, There is a technique (Non-patent Document 2) that expresses characteristics and estimates PSF.
しかしながら、これらの手法はボケ量を推定する上で画像の周波数解析を伴うため、物体同士が重なって撮像された画像から、各画素位置における撮像装置から物体までの距離を算出する上で（各々の物体を別々に認識する上で）、処理の負荷が重く、また処理に時間がかかるという問題がある。 However, since these methods involve frequency analysis of images in estimating the amount of blur, in calculating the distance from the imaging device to the object at each pixel position from images captured by overlapping objects (each In the case of recognizing objects separately, there is a problem that the processing load is heavy and the processing takes time.
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、画像処理装置において、従来の周波数解析などの重い処理負担を伴うことなく、撮像された画像中で重なった物体を個別に認識することである。 The present invention has been made in view of the above-described conventional problems, and an object of the present invention is to provide an object that is overlapped in captured images without a heavy processing burden such as conventional frequency analysis in an image processing apparatus. Is to recognize them individually.
本発明は、物体を撮像した撮像装置からの画像を取得する画像取得手段と、前記画像取得手段により取得した画像のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段により抽出されたエッジを含む所定領域内における画素の輝度差に基づいて、前記エッジのボケ量を算出するボケ量算出手段と、前記ボケ量算出手段により算出されたボケ量を前記画像の前記エッジの各画素位置に割り当てるボケ量割り当て手段と、前記ボケ量割り当て手段によりボケ量が割り当てられた前記エッジの画素に対して、所定の方向に走査し、走査方向にあるエッジとエッジの間に位置する各画素に、ボケ量の小さい方のエッジのボケ量を割り当てるボケ量走査手段と、前記ボケ量走査手段により割り当てられたボケ量と、前記撮像装置からの画像のボケ量と前記撮像装置から被写体までの距離との相関情報とに基づいて、各画素位置における、前記撮像装置から前記物体までの距離を算出する距離算出手段と、前記距離算出手段により算出された各画素位置における、前記撮像装置から前記物体までの距離に基づき、距離画像を生成する距離画像生成手段と、を有することを特徴とする画像処理装置に関する。 The present invention includes an image acquisition unit that acquires an image from an imaging device that images an object, an edge extraction unit that extracts an edge of an image acquired by the image acquisition unit, and an edge extracted by the edge extraction unit Based on a luminance difference between pixels in a predetermined area, a blur amount calculating unit that calculates the blur amount of the edge, and a blur that is allocated to each pixel position of the edge of the image by the blur amount calculated by the blur amount calculating unit. A quantity allocation unit and the edge pixel to which the blur amount is allocated by the blur amount allocation unit are scanned in a predetermined direction, and a blur amount is applied to each pixel located between the edges in the scanning direction. A blur amount scanning unit that allocates a blur amount of the smaller edge, a blur amount allocated by the blur amount scanning unit, and a blur of an image from the imaging device And distance calculation means for calculating the distance from the imaging device to the object at each pixel position based on correlation information between the imaging device and the distance from the imaging device, and each pixel calculated by the distance calculation means And a distance image generation unit configured to generate a distance image based on a distance from the imaging device to the object at a position.
本発明によれば、撮像された画像において、物体同士が重なっている場合であっても、画像処理の負荷を低減した上で、各々の物体を別々に認識することができる。 According to the present invention, each object can be recognized separately after reducing the load of image processing even if the objects are overlapped in the captured image.
以下、本発明の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態に係る画像処理装置を含む画像処理システムを示す図である。
この画像処理システムは、画像処理装置１と、それぞれが画像処理装置１に接続された撮像装置２、入力装置３、記録媒体４、及び出力装置５を備えている。
FIG. 1 is a diagram illustrating an image processing system including an image processing apparatus according to an embodiment of the present invention.
The image processing system includes an
画像処理装置１は、例えば、ＰＣ（Personal Computer）等であり、撮像装置２、又は記録媒体４から入力される画像データを処理する。画像処理装置１における画像処理の詳細は、図２から図１５を用いて後述する。
The
撮像装置２は、例えば電子カメラ等であり、被写体（オブジェクト）を撮像するように配置される。本実施形態では、撮像装置２で撮像し、画像処理装置１に入力する画像として、カラー画像を例に採って説明するが、モノクロ画像を、撮像装置２で撮像し、画像処理装置１に入力することもできる。
The
入力装置３は、例えば、キーボード、マウス等であり、ユーザが画像処理装置１に対して種々の指示を与えるための装置である。
記録媒体４は、例えば、ＣＤ（Compact Disk）、ＳＤメモリカード（SD Memory Card）、ＵＳＢメモリ（Universal Serial Bus Memory）等であり、画像及び当該画像を撮像した撮像装置に関するデータを記録するための媒体である。
出力装置５は、例えば、モニタ等の表示装置であり、撮像装置２、又は記録媒体４から入力される画像、また画像処理装置１により画像処理された画像等を、必要に応じて出力する。
The
The
The
画像処理装置１は、制御部１１と、それぞれが制御部１１に接続された入力部１２、撮像装置制御部１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ストレージ１６、及び出力部１７を備えている。
制御部１１は、画像処理装置１のコントローラとして機能し、例えば、ＣＰＵ（Central Processing Unit）等である。
また、詳細は後述するが、制御部１１は、画像処理（例えば、後述のストレージ１６に格納されるアプリケーションプログラム等）を実行するために、ボケ量推定手段２１と、距離画像生成手段２２を備えている。
The
The
Although details will be described later, the
入力部１２は、撮像装置２及び記録媒体４から画像等を、また入力装置３から種々の指示（命令）を受けるためのインタフェースである。
撮像装置制御部１３は、撮像装置２の焦点距離、絞り、シャッター速度等を制御する。
The
The imaging
ＲＯＭ１４は、制御部１１が実行するプログラムや固定データを記憶するメモリであり、ＲＡＭ１５は、制御部１１のワークエリアとなるメモリである。
ストレージ１６は、例えば、ハードディスク等の大容量記憶装置であり、撮像装置２で撮像され、制御部１１で画像処理が施された画像データ、制御部１１で生成されたデータ、その他のアプリケーションプログラムを格納する。
出力部１７は、出力装置５と通信を行うためのインタフェースであり、例えば、制御部１１で画像処理が施された画像データ等を、出力装置５に表示させる。
The
The
The
次に、制御部１１における画像処理について、説明する。
制御部１１は、画像を処理する上で、ボケ量推定手段２１と、距離画像生成手段２２を備える。
ボケ量推定手段２１は、撮像装置２により撮像された画像、また記録媒体４に保存された画像のボケ量を推定する。
距離画像生成手段２２は、ボケ量推定手段２１により推定されたボケ量と、ボケ量を推定した画像を撮像した撮像装置２の焦点位置から被写体までの距離との対応関係を示すデータに基づき、撮像装置２から被写体までの距離を画像として生成する。
なお、以後の制御部１１における画像処理の説明では、入力部１２に入力される画像として、撮像装置２により撮像された画像を例に採って説明する。
Next, image processing in the
The
The blur
The distance
In the following description of image processing in the
図２は、図１におけるボケ量推定手段２１の機能構成を示すブロック図である。図２に示すように、ボケ量推定手段２１は、画像取得手段２１１、モノクロ変換手段２１２、ノイズ除去手段２１３、エッジベクトル算出手段２１４、エッジ判定手段２１５、輝度差算出手段２１６、ボケ量算出手段２１７を備えている。
FIG. 2 is a block diagram showing a functional configuration of the blur amount estimation means 21 in FIG. As shown in FIG. 2, the blur
画像取得手段２１１は、入力部１２を介して、撮像装置２により撮像された画像を取得する。このとき、撮像装置２の光学系は、撮像装置制御部１３による焦点距離及び絞りの制御により、被写界深度の浅い状態（即ち、ピントの合う範囲の狭い状態）に設定される。
The image acquisition unit 211 acquires an image captured by the
モノクロ変換手段２１２は、画像取得手段２１１により取得されたカラー画像をモノクロ画像に変換する。なお、入力部１２に入力された画像がモノクロ画像である場合には、モノクロ変換手段２１２による処理は不要となる。
ノイズ除去手段２１３は、例えば、メディアンフィルタ、ガウシアンフィルタ等を備え、モノクロ変換手段２１２によりモノクロ画像に変換された画像からピクセルノイズを除去する（即ち、ノイズを平滑化処理した画像を作成する）。
このように、ノイズ除去手段２１３によりピクセルノイズを予め除去しておくことで、エッジベクトル算出手段２１４及びエッジ判定手段２１５でエッジ部を精度よく抽出できる。
The
The
As described above, by removing the pixel noise in advance by the
エッジベクトル算出手段２１４は、例えば、Ｓｏｂｅｌ（ソーベル）フィルタ、Ｃａｎｎｙ（キャニー）フィルタを備え、ノイズ除去手段２１３によりノイズが除去されたモノクロ画像の各画素のエッジベクトルの強度（以下、エッジ強度）及びエッジベクトルの方向（以下、エッジ方向）を算出する。
The edge vector calculation unit 214 includes, for example, a Sobel filter and a Canny filter, and the intensity (hereinafter referred to as edge strength) of the edge vector of each pixel of the monochrome image from which noise has been removed by the
具体的には、エッジベクトル算出手段２１４は、画像の横軸方向（以下、ｘ軸方向）のＳｏｂｅｌフィルタ（エッジ検出フィルタ）Ｓｘの出力をｆｘ、画像の縦軸方向（以下、ｙ軸方向）のＳｏｂｅｌフィルタＳｙの出力をｆｙとして、下記の式（１）、及び式（２）により、エッジ強度及びエッジ方向を算出する。
エッジ強度＝√（ｆｘ２＋ｆｙ２） ・・・式（１）
エッジ方向＝ｔａｎ−１（ｆｙ／ｆｘ） ・・・式（２）
Specifically, the edge vector calculating means 214 outputs fx as the output of the Sobel filter (edge detection filter) Sx in the horizontal axis direction (hereinafter referred to as the x-axis direction) of the image, and the vertical axis direction of the image (hereinafter referred to as the y-axis direction). Assuming that the output of the Sobel filter Sy is fy, the edge strength and the edge direction are calculated by the following equations (1) and (2).
Edge strength = √ (fx 2 + fy 2 ) (1)
Edge direction = tan −1 (fy / fx) (2)
エッジ判定手段２１５は、エッジベクトル算出手段２１４によりエッジ強度が算出された各画素のうち、そのエッジ強度が算出された画素の両側の画素のエッジ強度と比べて、エッジ強度の差又は比が所定の閾値を超える画素（注目画素）を、エッジ部画素と判定することでエッジを抽出する。
このように、エッジベクトル算出手段２１４及びエッジ判定手段２１５は、エッジ抽出手段として機能する。
The edge determination unit 215 has a predetermined difference or ratio of edge strength compared to the edge strength of the pixels on both sides of the pixel for which the edge strength is calculated among the pixels for which the edge strength is calculated by the edge vector calculation unit 214. An edge is extracted by determining a pixel (a target pixel) that exceeds the threshold value as an edge portion pixel.
Thus, the edge vector calculation unit 214 and the edge determination unit 215 function as an edge extraction unit.
輝度差算出手段２１６は、エッジ判定手段２１５により判定されたエッジ部画素のエッジ方向の両側に位置する所定数の画素の画素値としての輝度の差を算出する。
ボケ量算出手段２１７は、エッジベクトル算出手段２１４により算出されたエッジ部画素のエッジ強度と、輝度差算出手段２１６により算出された輝度差とから、エッジ部画素のボケ量を算出する。
なお、輝度差算出手段２１６による輝度差の算出方法、及びボケ量算出手段２１７によるボケ量の算出方法は、図３を用いて説明する。
The luminance difference calculation unit 216 calculates a luminance difference as pixel values of a predetermined number of pixels located on both sides in the edge direction of the edge portion pixel determined by the edge determination unit 215.
The blur amount calculation unit 217 calculates the blur amount of the edge pixel from the edge strength of the edge pixel calculated by the edge vector calculation unit 214 and the luminance difference calculated by the luminance difference calculation unit 216.
The luminance difference calculation method by the luminance difference calculation unit 216 and the blur amount calculation method by the blur amount calculation unit 217 will be described with reference to FIG.
図３は、輝度対画素位置特性であり、輝度差算出手段２１６による輝度差の算出、及びボケ量算出手段２１７によるボケ量の算出について説明するための図である。なお、図３の横軸は画素の位置、縦軸は輝度を示している。
図３において、画素Ｐｅはエッジ部画素を示している。画素Ｐｅ＋１、画素Ｐｅ−１は、画素Ｐｅのエッジベクトル方向の両隣（両側の直近）の一対の画素であり、その輝度差Ａは、エッジベクトル算出手段２１４により、画素Ｐｅのエッジ強度として算出される。
また、画素Ｐｅ＋２、画素Ｐｅ−２は、画素Ｐｅ＋１、画素Ｐｅ−１の両隣の一対の画素であり、その輝度差Ｂは、輝度差算出手段２１６により算出される。
FIG. 3 is a diagram illustrating luminance vs. pixel position characteristics, illustrating the calculation of the luminance difference by the luminance difference calculation unit 216 and the calculation of the blur amount by the blur amount calculation unit 217. In FIG. 3, the horizontal axis indicates the pixel position, and the vertical axis indicates the luminance.
In FIG. 3, a pixel Pe indicates an edge pixel. The pixel Pe + 1 and the pixel Pe-1 are a pair of pixels adjacent to each other in the edge vector direction of the pixel Pe (nearest on both sides), and the luminance difference A is calculated as the edge strength of the pixel Pe by the edge vector calculation unit 214. The
The pixel Pe + 2 and the pixel Pe-2 are a pair of pixels adjacent to the pixel Pe + 1 and the pixel Pe-1, and the luminance difference B is calculated by the luminance difference calculating unit 216.
ボケ量算出手段２１７は、エッジベクトル算出手段２１４により輝度差Ａ、また輝度差算出手段２１６により輝度差Ｂが算出されると、下記の式（３）により、輝度差Ｂと輝度差２Ａとを比較することで、エッジのボケ量を算出する。
ボケ量＝Ｂ÷２Ａ ・・・式（３）
When the luminance difference A is calculated by the edge vector calculating unit 214 and the luminance difference B is calculated by the luminance difference calculating unit 216, the blur amount calculating unit 217 calculates the luminance difference B and the luminance difference 2A by the following equation (3). By comparing, the blur amount of the edge is calculated.
Bokeh amount = B ÷ 2A (3)
また、図３において、画素Ｐｅ＋２と画素Ｐｅ＋１との輝度差をＢ１、画素Ｐｅ−２と画素Ｐｅ−１との輝度差をＢ２とすると、下記の式（４）により、エッジのボケ量を算出することもできる。
ボケ量＝（Ａ＋Ｂ１＋Ｂ２）÷２Ａ ・・・式（４）
Further, in FIG. 3, when the luminance difference between the pixel Pe + 2 and the pixel Pe + 1 is B1, and the luminance difference between the pixel Pe-2 and the pixel Pe-1 is B2, the blur amount of the edge is calculated by the following equation (4). You can also
Bokeh amount = (A + B1 + B2) ÷ 2A Expression (4)
図４は、ガウシアンフィルタの分散の大きさを変更した場合における、輝度対画素位置特性である。
なお、図４では、ガウシアンフィルタの分散の大きさ（正確には、ガウス分布における分散値の平方根）を、パラメータ（分散；「σ」）で示している。また、図３と同様に、図４の横軸は画素の位置、縦軸は輝度を示している。さらに、図４では、エッジ部の画素位置を、９番目の画素位置に設定している。
FIG. 4 shows luminance versus pixel position characteristics when the magnitude of variance of the Gaussian filter is changed.
In FIG. 4, the magnitude of the variance of the Gaussian filter (more precisely, the square root of the variance value in the Gaussian distribution) is indicated by a parameter (dispersion; “σ”). Similarly to FIG. 3, the horizontal axis of FIG. 4 indicates the pixel position, and the vertical axis indicates the luminance. Further, in FIG. 4, the pixel position of the edge portion is set to the ninth pixel position.
図４において、例えば、σ＝０の場合（ガウシアンフィルタの分散の大きさが小さい場合）、図３における画素Ｐｅに対応する９番目の画素の輝度が１２８、画素Ｐｅ＋１に対応する１０番目の画素の輝度が２５６、画素Ｐｅ−１に対応する８番目の画素の輝度が０であることから、図３における輝度差Ａは２５６となる。また、画素Ｐｅ＋２に対応する１１番目の画素の輝度は２５６、画素Ｐｅ−２に対応する７番目の画素の輝度は０であることから、図３における輝度差Ｂは２５６となる（図３における輝度差Ｂ１、Ｂ２は０となる）。輝度差Ａ及び輝度差Ｂを、式（３）に代入して、σ＝０の場合のボケ量を算出すると、ボケ量は０．５０となる。なお、この値がボケ量の最小値となる。
In FIG. 4, for example, when σ = 0 (when the variance of the Gaussian filter is small), the ninth pixel corresponding to the pixel Pe in FIG. 3 has a luminance of 128 and the tenth pixel corresponding to the
次に、σ＝２．４の場合のボケ量を算出する。σ＝２．４の場合、図４に示すように、図３における画素Ｐｅに対応する９番目の画素の輝度が１２８、画素Ｐｅ＋１に対応する１０番目の画素の輝度が１６９、画素Ｐｅ−１に対応する８番目の画素の輝度が８８であることから、図３における輝度差Ａは８１となる。また、画素Ｐｅ＋２に対応する１１番目の画素の輝度は２０４、画素Ｐｅ−２に対応する７番目の画素の輝度は５３であることから、図３における輝度差Ｂは１５１となる（図３における輝度差Ｂ１、Ｂ２は３５となる）。輝度差Ａ及び輝度差Ｂは、式（３）に代入して、σ＝２．４の場合のボケ量を算出すると、ボケ量は０．９３となる。
また、σ＝３．２の場合のボケ量は、同様に計算すると、０．９９となる。
Next, the amount of blur when σ = 2.4 is calculated. When σ = 2.4, as shown in FIG. 4, the luminance of the ninth pixel corresponding to the pixel Pe in FIG. 3 is 128, the luminance of the tenth pixel corresponding to the pixel Pe + 1 is 169, and the pixel Pe−1. Since the luminance of the eighth pixel corresponding to is 88, the luminance difference A in FIG. Further, since the luminance of the eleventh pixel corresponding to the pixel Pe + 2 is 204 and the luminance of the seventh pixel corresponding to the pixel Pe-2 is 53, the luminance difference B in FIG. 3 is 151 (in FIG. 3). The luminance difference B1 and B2 is 35). When the luminance difference A and the luminance difference B are substituted into the equation (3) and the blur amount when σ = 2.4 is calculated, the blur amount is 0.93.
Further, the blur amount in the case of σ = 3.2 is calculated as 0.99.
このようにσの値が大きくなると、ボケ量の値も大きくなる。
このことは、図４から視覚的に理解することができ、σの値が大きくなると、特性曲線の傾きが緩やかになり、図３における輝度差Ａの値が減少し、輝度差Ｂ１、Ｂ２の値が増加するため、ボケ量の値も大きくなる。なお、σの値を大きくすると、ボケ量の値は徐々に収束し、最大で１となる。
Thus, when the value of σ increases, the value of the blur amount also increases.
This can be visually understood from FIG. 4. As the value of σ increases, the slope of the characteristic curve becomes gentler, the value of the luminance difference A in FIG. 3 decreases, and the luminance differences B1 and B2 are reduced. Since the value increases, the blur amount value also increases. When the value of σ is increased, the blur amount value gradually converges and becomes 1 at the maximum.
前述のように、ガウシアンフィルタはピクセルノイズを除去するために用いられるが、図４に示すように、ボケ量はガウシアンフィルタの分散σの大きさにより変動する。
したがって、後述するボケ量推定画像を作成する上で、エッジ部の画素位置に、所定の値以上のボケ量が割り当てられるように、ガウシアンフィルタの分散σの大きさを設定する必要がある。
As described above, the Gaussian filter is used to remove pixel noise, but as shown in FIG. 4, the amount of blur varies depending on the magnitude of the variance σ of the Gaussian filter.
Accordingly, when creating a blur amount estimation image to be described later, it is necessary to set the magnitude of the variance σ of the Gaussian filter so that a blur amount greater than a predetermined value is assigned to the pixel position of the edge portion.
図５は、図２におけるボケ量推定手段２１の処理手順を示すフロー図である。
即ち、ボケ量の推定に関する処理を開始するにあたり、ボケ量推定手段２１は、被写界深度の浅い状態に設定されている撮像装置２からの画像を画像取得手段２１１により取得する（ステップＳ１１）。
次に、ボケ量推定手段２１は、モノクロ変換手段２１２によりカラー画像をモノクロ画像に変換し（ステップＳ１２）、ノイズ除去手段２１３により変換されたモノクロ画像からノイズを除去する（ステップＳ１３）。
FIG. 5 is a flowchart showing a processing procedure of the blur amount estimation means 21 in FIG.
That is, when starting the process related to the estimation of the blur amount, the blur
Next, the blur
ボケ量推定手段２１は、次に、エッジベクトル算出手段２１４によりノイズが除去されたモノクロ画像の各画素のエッジベクトル（エッジ強度）を算出し（ステップＳ１４）、さらにエッジ判定手段２１５によりエッジ強度からエッジを抽出する（ステップＳ１５）。
なお、ステップＳ１４の処理を実行する過程で、図３における輝度差Ａがエッジ強度として算出される。
Next, the blur
In the course of executing the process of step S14, the luminance difference A in FIG. 3 is calculated as the edge strength.
次に、ボケ量推定手段２１は、輝度差算出手段２１６により、抽出されたエッジを構成するエッジ部画素のエッジ方向の両側の所定数の画素（例えば、図３における、画素Ｐｅ＋２、画素Ｐｅ−２）の輝度差（図３における輝度差Ｂ）を算出する（ステップＳ１６）。
次に、ボケ量推定手段２１は、ボケ量算出手段２１７により式（３）を用いてボケ量を算出する（ステップＳ１７）。
Next, the blur
Next, the blur
なお、本実施形態において、ボケ量を算出するにあたり、３×３のＳｏｂｅｌフィルタを使用しているが、５×５のＳｏｂｅｌフィルタを使用することもできる。この場合、画素Ｐｅ＋３と画素Ｐｅ−３の輝度差を実測値として、５×５のＳｏｂｅｌフィルタによるエッジ勾配値から予測した値との比較値をボケ量推定に用いることになる。 In this embodiment, the 3 × 3 Sobel filter is used to calculate the blur amount. However, a 5 × 5 Sobel filter may be used. In this case, the luminance difference between the pixel Pe + 3 and the pixel Pe-3 is used as an actual measurement value, and a comparison value with a value predicted from an edge gradient value by a 5 × 5 Sobel filter is used for blur amount estimation.
図６は、図１における距離画像生成手段２２の機能構成を示すブロック図である。図６に示すように、ボケ量推定画像生成手段２２１、ｘ軸方向ボケ量走査手段２２２、ｘ軸方向距離画像作成手段２２３、ｙ軸方向ボケ量走査手段２２４、ｙ軸方向距離画像作成手段２２５、距離平均値算出手段２２６、距離画像作成手段２２７を備えている。
FIG. 6 is a block diagram showing a functional configuration of the distance image generating means 22 in FIG. As illustrated in FIG. 6, the blur amount estimation
ボケ量推定画像作成手段２２１は、ボケ量推定手段２１により推定されたボケ量（Ｂ／２Ａ）を原画像の画素位置に割り当てる（対応させる）ことにより、ボケ量推定画像を作成する。
図７Ａは、ボケ量推定画像作成手段２２１により作成されたボケ量推定画像を示す。
本実施形態においては、被写体として２つの物体を設定し、この２つの物体を、撮像装置２の撮像方向に対して前後に、且つ、撮像画像において、物体同士が重なるように配置している。ここで、撮像装置２の撮像方向に対して前方に位置する物体を物体Ｐ、後方に位置する物体を物体Ｑとする。
The blur amount estimation
FIG. 7A shows a blur amount estimation image created by the blur amount estimation image creation means 221.
In the present embodiment, two objects are set as subjects, and these two objects are arranged in front of and behind the imaging direction of the
また、前述のようにボケ量推定手段２１により推定されるボケ量は、撮像された物体のエッジ部においてはそれ以外の部分より高い値を示すことから、ボケ量が周りのボケ量よりも高い値を示す画素位置を基にボケ推定画像を作成すると、ボケ量推定画像は、例えば、図７Ａのように示される。
なお、ボケ量推定画像作成手段２２１による、ボケ量推定画像を作成する工程は、ボケ量を可視化して確認する工程であることから、原画像の各々の画素位置にボケ量が数値として割り当てられていることを前提に、省略することができる。
Further, as described above, the blur amount estimated by the blur
Note that the step of creating the blur amount estimated image by the blur amount estimated
ｘ軸方向ボケ量走査手段２２２は、図７Ｂに示すように、ボケ量推定画像作成手段２２１により作成されたボケ量推定画像をｘ軸方向に走査して、ｘ軸方向ボケ量走査データを生成する。
ここで、具体的なｘ軸方向ボケ量走査データの生成方法を、図８を用いて説明する。
なお、図８では、ｙ軸方向の任意の位置ｙ２において、ｘ軸方向ボケ量走査手段２２２によりｘ軸方向に走査することで、ｘ軸方向ボケ量走査データを生成している。また、本実施形態において、ｘ軸方向ボケ量走査手段２２２は、ｘの値が小さい方から大きい方に（即ち、図の左から右方向に）走査する仕様としているが、必ずしもこれに限定されず、ｘの値が大きい方から小さい方に走査する仕様としてもよい。
As shown in FIG. 7B, the x-axis direction blur
Here, a specific method of generating x-axis direction blur amount scanning data will be described with reference to FIG.
In FIG. 8, x-axis direction blur amount scanning data is generated by scanning in the x-axis direction by the x-axis direction blur
ｘ軸方向ボケ量走査手段２２２は、図７Ａに示したボケ量推定画像に対して、先ず、ｘ軸方向の走査の開始位置であるｘ０より、ボケ量が所定の値以上となる画素位置（即ち、物体Ｐのエッジ部ｘ１）まで走査する（図８Ａ）。
ｘ軸方向ボケ量走査手段２２２は、ｘ１まで走査すると、ｘ０におけるボケ量とｘ１におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｘ０からｘ１の間に位置する画素にボケ量をマッピングする（割り当てる）。
The x-axis direction blur
When the x-axis direction blur
ここで、被写体とする物体（ここでは、物体Ｐ及びＱ）の全体がボケ量推定画像内に収まっていることを前提に、ｘ軸方向ボケ量走査手段２２２によりｘ軸方向に走査する上で、画像の左右端部（即ち、図８においてｘ＝ｘ０、及びｘ＝ｘ５）におけるボケ量の値を「０」に設定する。そのため、ｘ軸方向ボケ量走査手段２２２は、ｘ０におけるボケ量とｘ１におけるボケ量のうち、ボケ量の値の小さいｘ０におけるボケ量「０」を選択し、ｘ０からｘ１の間に位置する画素にボケ量「０」をマッピングする。
Here, on the assumption that the entire object (here, the objects P and Q) as a subject is within the blur amount estimation image, the x-axis direction blur
ｘ軸方向ボケ量走査手段２２２は、ｘ０からｘ１の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｘ１に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図８Ｂ）。図８Ｂでは、物体Ｐのエッジ部ｘ３において、ボケ量が所定の値以上となることから、ｘ軸方向ボケ量走査手段２２２はｘ３まで走査する。
ｘ軸方向ボケ量走査手段２２２は、ｘ３まで走査すると、走査の開始位置であるｘ１におけるボケ量とｘ３におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｘ１からｘ３の間に位置する画素にボケ量をマッピングする。
即ち、ｘ軸方向ボケ量走査手段２２２は、ｘ１におけるボケ量とｘ３におけるボケ量を比較し、例えば、ｘ１におけるボケ量「Ｘ１」がｘ３におけるボケ量「Ｘ３」よりも小さい（即ち、Ｘ３＞Ｘ１）と判定すると、ｘ１におけるボケ量「Ｘ１」を選択し、ｘ１からｘ３の間に位置する画素にボケ量「Ｘ１」をマッピングする。
When the x-axis direction blur
When the x-axis direction blur
That is, the x-axis direction blur
ｘ軸方向ボケ量走査手段２２２は、ｘ１からｘ３の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｘ３に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図８Ｃ）。図８Ｃでは、物体Ｑのエッジ部ｘ４において、ボケ量が所定の値以上となることから、ｘ軸方向ボケ量走査手段２２２は、ｘ４まで走査する。
ｘ軸方向ボケ量走査手段２２２は、ｘ４まで走査すると、走査の開始位置であるｘ３におけるボケ量とｘ４におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｘ３からｘ４の間に位置する画素にボケ量をマッピングする。
即ち、ｘ軸方向ボケ量走査手段２２２は、ｘ３におけるボケ量とｘ４におけるボケ量を比較し、例えば、ｘ４におけるボケ量「Ｘ４」がｘ３におけるボケ量「Ｘ３」よりも小さい（即ち、Ｘ３＞Ｘ４）と判定すると、ｘ４におけるボケ量「Ｘ４」を選択し、ｘ３からｘ４の間に位置する画素にボケ量「Ｘ４」をマッピングする。
When the x-axis direction blur
When the x-axis direction blur
That is, the x-axis direction blur
ｘ軸方向ボケ量走査手段２２２は、ｘ３からｘ４の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｘ４に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図８Ｄ）。
ｘ４より走査を開始した場合、図８Ｄに示すように、画像の右端部であるｘ５までにボケ量が所定の値以上となる画素が存在しないため、ｘ軸方向ボケ量走査手段２２２は、画像の右端部であるｘ５まで走査すると処理を終了する。
本実施形態では、前述のように画像の右端部ｘ５におけるボケ量の値を「０」に設定することから、ｘ軸方向ボケ量走査手段２２２は、ｘ４におけるボケ量とｘ５におけるボケ量のうち、ボケ量の値の小さいｘ５におけるボケ量「０」を選択し、ｘ４からｘ５の間に位置する画素にボケ量「０」をマッピングする。
When the x-axis direction blur
When scanning is started from x4, as shown in FIG. 8D, there is no pixel whose blur amount is equal to or greater than a predetermined value up to x5, which is the right end portion of the image. The process is terminated when scanning is performed up to x5, which is the right end of.
In this embodiment, since the value of the blur amount at the right end portion x5 of the image is set to “0” as described above, the x-axis direction blur
このように、ｘ軸方向ボケ量走査手段２２２は、ｙ軸方向の任意の位置ｙ２において、ｘ軸方向に画像の左端部であるｘ０から右端部であるｘ５まで走査し、ｘ０からｘ５までの各画素位置にボケ量をマッピングすると、マッピングしたボケ量を、ｙ軸方向をｙ２とするｘ軸方向ボケ量走査データとして、ＲＡＭ１５に保存する。
ｘ軸方向ボケ量走査手段２２２は、この走査処理を、画像の下端部であるｙ０から上端部であるｙ５まで、所定の間隔で実行し、ｙ軸方向の任意の位置におけるｘ軸方向ボケ量走査データを生成し、ＲＡＭ１５に保存する。
As described above, the x-axis direction blur
The x-axis direction blur
ｘ軸方向距離画像作成手段２２３は、ｘ軸方向ボケ量走査手段２２２により生成され、ＲＡＭ１５に保存されたｘ軸方向ボケ量走査データを読み込み、さらにボケ量／距離テーブルを参照することで、ｘ軸方向に関する距離画像を撮像装置２のレンズから物体までの距離を画像として作成する。
The x-axis direction distance
図９は、ボケ量／距離テーブルの作成手順について説明するための図である。
ここで、図９Ａは、直径５０ｍｍのレンズのピントをレンズから１０ｍの距離に合わせた状態でのレンズからの距離と錯乱円（「点」の被写体を結像させた場合に形成される「円」）の大きさ（直径）との関係を示す図である。
また、図９Ｂは、ガウシアンフィルタのカーネル（例えば、カーネルサイズ３×３、５×５等の中心を注目輝度、その周辺を周辺輝度とする正方形のレート表）のカーネルサイズを変更させた場合において、そのガウシアンフィルタでぼかした画像から、式（３）により算出したボケ量の推定値を示した図である。図９Ｂの横軸は、ガウシアンフィルタのカーネルサイズ３〜１１（ｎを整数として、２ｎ＋１）、また縦軸は、ボケ量推定値を示し、その値は式（３）による算出値の２倍から１を減算したもの（２（Ｂ／２Ａ）−１）である。
FIG. 9 is a diagram for explaining a procedure for creating the blur amount / distance table.
Here, FIG. 9A shows a “circle” formed when a subject with a distance from the lens and a circle of confusion (“dot”) is focused in a state where the focus of the lens having a diameter of 50 mm is set to a distance of 10 m from the lens. It is a figure which shows the relationship with the magnitude | size (diameter) of ").
FIG. 9B shows a case in which the kernel size of the kernel of the Gaussian filter (for example, a square rate table with the center of the
レンズからの距離と錯乱円の大きさとは、図９Ａに示すような対応関係がある。また、一般に、散乱円の大きさとボケ量にも対応関係があることから、ボケ量と散乱円との対応関係を示すデータを作成することで、ボケ量とレンズからの距離との対応関係を示すデータ、即ち、ボケ量／距離テーブルを作成することができる。 The distance from the lens and the size of the circle of confusion have a correspondence as shown in FIG. 9A. In general, since there is a correspondence between the size of the scattering circle and the amount of blurring, the correspondence between the amount of blurring and the distance from the lens can be determined by creating data indicating the correspondence between the amount of blurring and the scattering circle. Data to be shown, that is, a blur amount / distance table can be created.
そこで、任意のカメラで取得したボケのない画像をガウシアンフィルタで処理してボケ画像を生成し、そのボケ量を式（３）で算出することで、図９Ｂに示すデータを作成する。 Therefore, the image shown in FIG. 9B is created by processing a non-blurred image acquired by an arbitrary camera by using a Gaussian filter to generate a blurred image and calculating the amount of blur using Equation (3).
ここで、（２ｎ＋１）×（２ｎ＋１）のガウシアンフィルタは、ボケのない画像の１画素を、（２ｎ＋１）×（２ｎ＋１）画素にぼかす。そこで、（２ｎ＋１）×（２ｎ＋１）画素と図９Ａにおける散乱円の大きさとの対応関係を示すデータを取得することで、図９Ａの縦軸の値を画素数（ガウシアンフィルタにおけるカーネルサイズ）に変換したデータを作成することができる。さらに、図９Ｂに示すデータを用いることで、図９Ａの縦軸を図９Ｂの縦軸に示すボケ量推定値としたデータ、即ちボケ量／距離テーブルを作成することができる。なお、（２ｎ＋１）画素と図９Ａにおける錯乱円の大きさとの対応関係を示すデータは、撮像素子の画素数など、カメラの諸元から取得することができる。 Here, the (2n + 1) × (2n + 1) Gaussian filter blurs one pixel of an unblurred image to (2n + 1) × (2n + 1) pixels. Therefore, by obtaining data indicating the correspondence between (2n + 1) × (2n + 1) pixels and the size of the scattering circle in FIG. 9A, the value on the vertical axis in FIG. 9A is converted into the number of pixels (kernel size in the Gaussian filter). Data can be created. Further, by using the data shown in FIG. 9B, data in which the vertical axis in FIG. 9A is the blur amount estimated value shown in the vertical axis in FIG. 9B, that is, the blur amount / distance table can be created. Note that data indicating the correspondence between (2n + 1) pixels and the size of the circle of confusion in FIG. 9A can be acquired from the specifications of the camera, such as the number of pixels of the image sensor.
ｘ軸方向距離画像作成手段２２３は、ｘ軸方向ボケ量走査データを読み込み、上記のように作成されたボケ量／距離テーブルを参照することで、先ず、ｙ軸方向の所定の位置における画像の左端部であるｘ０から右端部であるｘ５上に位置する各画素に関して、撮像装置２のレンズから物体までの距離を算出する。
ｘ軸方向距離画像作成手段２２３は、次に、横軸をｘ軸（即ち、ボケ量推定画像の横方向）、また縦軸を撮像装置２のレンズから物体までの距離とする、ｘ軸方向の距離画像を作成する。
The x-axis direction distance image creation means 223 reads the x-axis direction blur amount scanning data and refers to the blur amount / distance table created as described above, so that first, an image at a predetermined position in the y-axis direction is read. The distance from the lens of the
Next, the x-axis direction distance image creating means 223 uses the x-axis direction with the horizontal axis as the x-axis (that is, the horizontal direction of the blur amount estimation image) and the vertical axis as the distance from the lens of the
図１０は、ｙ軸方向の任意の位置ｙ２におけるｘ軸方向ボケ量走査データを読み込み、ボケ量／距離テーブルを参照することで算出された、撮像装置２のレンズから物体までの距離を、ｘ軸方向の距離画像として作成した図である。図１０に示すように、ｘ軸方向のｘ１からｘ３までは撮像装置２のレンズからの距離はＤｘ１であり、またｘ３からｘ４までは撮像装置２のレンズからの距離はＤｘ２である。
このように、ｘ軸方向距離画像作成手段２２３は、ＲＡＭ１５に保存されたｘ軸方向ボケ量走査データより、ｘ軸方向の距離画像を作成する。
なお、ｘ軸方向距離画像作成手段２２３による、ｘ軸方向の距離画像を作成する工程は、ｙ軸方向の任意の位置における、ｘ軸方向の距離を可視化して確認する工程であることから、ｘ軸方向に関する距離が算出されていることを前提に、省略することができる。
FIG. 10 shows the distance from the lens of the
As described above, the x-axis direction distance image creating means 223 creates a distance image in the x-axis direction from the x-axis direction blur amount scanning data stored in the
The step of creating the distance image in the x-axis direction by the x-axis direction distance image creating means 223 is a step of visualizing and confirming the distance in the x-axis direction at an arbitrary position in the y-axis direction. It can be omitted on the assumption that the distance in the x-axis direction is calculated.
ｘ軸方向ボケ量走査手段２２２によりｘ軸方向ボケ量走査データを生成し、さらにｘ軸方向距離画像作成手段２２３によりｘ軸方向に関する距離画像を作成すると、本実施形態では、次に、後述する距離画像作成手段２２７により作成する距離画像の精度を高めるために、ｙ軸方向ボケ量走査データを生成する。
ｙ軸方向ボケ量走査手段２２４は、図７Ｃに示すように、ボケ量推定画像作成手段２２１により作成されたボケ量推定画像を縦軸方向（以下、ｙ軸方向）に走査して、ｙ軸方向ボケ量走査データを生成する。
If x-axis direction blur amount scanning data is generated by the x-axis direction blur
As shown in FIG. 7C, the y-axis direction blur
具体的なｙ軸方向ボケ量走査データの生成方法を、図１１を用いて説明する。
なお、図１１では、ｘ軸方向の任意の位置ｘ２において、ｙ軸方向ボケ量走査手段２２４によりｙ軸方向に走査することで、ｙ軸方向ボケ量走査データを生成している。また、本実施形態において、ｙ軸方向ボケ量走査手段２２４は、ｙの値が小さい方から大きい方に（即ち、図の下から上方向に）走査する仕様としているが、必ずしもこれに限定されず、ｙの値が大きい方から小さい方に走査する仕様としてもよい。
A specific method of generating y-axis direction blur amount scanning data will be described with reference to FIG.
In FIG. 11, the y-axis direction blur amount scanning data is generated by scanning in the y-axis direction by the y-axis direction blur
ｙ軸方向ボケ量走査手段２２４は、図７Ａに示したボケ量推定画像に対して、先ず、ｙ軸方向の走査の開始位置であるｙ０より、ボケ量が所定の値以上となる画素位置（物体Ｐのエッジ部ｙ１）まで走査する（図１１Ａ）。
ｙ軸方向ボケ量走査手段２２４は、ｙ１まで走査すると、ｙ０におけるボケ量とｙ１におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｙ０からｙ１の間に位置する画素にボケ量をマッピングする。
The y-axis direction blur
When the y-axis direction blur
ここで、被写体とする物体（ここでは、物体Ｐ及びＱ）の全体がボケ量推定画像内に収まっていることを前提に、ｙ軸方向ボケ量走査手段２２４によりｙ軸方向に走査する上で、画像の上下端部（即ち、図１１においてｙ＝ｙ０、及びｙ＝ｙ５）におけるボケ量の値を「０」に設定する。そのため、ｙ軸方向ボケ量走査手段２２４は、ｙ０におけるボケ量とｙ１におけるボケ量のうち、ボケ量の値の小さいｙ０におけるボケ量「０」を選択し、ｙ０からｙ１の間に位置する画素にボケ量「０」をマッピングする。
Here, on the assumption that the entire object (here, the objects P and Q) as the subject is within the blur amount estimation image, the y-axis direction blur
ｙ軸方向ボケ量走査手段２２４は、ｙ０からｙ１の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｙ１に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図１１Ｂ）。図１１Ｂでは、物体Ｐのエッジ部ｙ３において、ボケ量が所定の値以上となることから、ｙ軸方向ボケ量走査手段２２４はｙ３まで走査する。
ｙ軸方向ボケ量走査手段２２４は、ｙ３まで走査すると、走査の開始位置であるｙ１におけるボケ量とｙ３におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｙ１からｙ３の間に位置する画素にボケ量をマッピングする。
即ち、ｙ軸方向ボケ量走査手段２２４は、ｙ１におけるボケ量とｙ３におけるボケ量を比較し、例えば、ｙ１におけるボケ量「Ｙ１」がｙ３におけるボケ量「Ｙ３」よりも小さい（即ち、Ｙ３＞Ｙ１）と判定すると、ｙ１におけるボケ量「Ｙ１」を選択し、ｙ１からｙ３の間に位置する画素にボケ量「Ｙ１」をマッピングする。
When the y-axis direction blur
When the y-axis direction blur
That is, the y-axis direction blur
ｙ軸方向ボケ量走査手段２２４は、ｙ１からｙ３の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｙ３に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図１１Ｃ）。図１１Ｃでは、物体Ｑのエッジ部ｙ４において、ボケ量が所定の値以上となることから、ｙ軸方向ボケ量走査手段２２４はｙ４まで走査する。
ｙ軸方向ボケ量走査手段２２４は、ｙ４まで走査すると、走査の開始位置であるｙ３におけるボケ量とｙ４におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｙ３からｙ４の間に位置する画素にボケ量をマッピングする。
即ち、ｙ軸方向ボケ量走査手段２２４は、ｙ３におけるボケ量とｙ４におけるボケ量を比較し、例えば、ｙ４におけるボケ量「Ｙ４」がｙ３におけるボケ量「Ｙ３」よりも小さい（即ち、Ｙ３＞Ｙ４）と判定すると、ｙ４におけるボケ量「Ｙ４」を選択し、ｙ３からｙ４の間に位置する画素にボケ量「Ｙ４」をマッピングする。
When the y-axis direction blur
When the y-axis direction blur
That is, the y-axis direction blur
ｙ軸方向ボケ量走査手段２２４は、ｙ３からｙ４の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｙ４に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図１１Ｄ）。
ｙ４より走査を開始した場合、図１１Ｄに示すように、画像の上端部であるｙ５までにボケ量が所定の値以上となる画素が存在しないため、ｙ軸方向ボケ量走査手段２２４は、画像の上端部であるｙ５まで走査すると処理を終了する。
本実施形態では、前述のように画像の上端部ｙ５におけるボケ量の値を「０」に設定することから、ｙ軸方向ボケ量走査手段２２４は、ｙ４におけるボケ量とｙ５におけるボケ量のうち、ボケ量の値の小さいｙ５におけるボケ量「０」を選択し、ｙ４からｙ５の間に位置する画素にボケ量「０」をマッピングする。
When the y-axis direction blur
When scanning starts from y4, as shown in FIG. 11D, there is no pixel whose blur amount is equal to or greater than a predetermined value by y5, which is the upper end portion of the image. Therefore, the y-axis direction blur
In this embodiment, since the blur amount value at the upper end portion y5 of the image is set to “0” as described above, the y-axis direction blur
このように、ｙ軸方向ボケ量走査手段２２４は、ｘ軸方向の任意の位置ｘ２において、ｙ軸方向に画像の下端部であるｙ０から上端部であるｙ５まで走査し、ｙ０からｙ５までの各画素位置にボケ量をマッピングすると、マッピングしたボケ量を、ｘ軸方向をｘ２とするｙ軸方向ボケ量走査データとして、ＲＡＭ１５に保存する。
ｙ軸方向ボケ量走査手段２２４は、この走査処理を、画像の下端部であるｙ０から上端部であるｙ５まで、所定の間隔で実行し、ｘ軸方向の任意の位置におけるｙ軸方向ボケ量走査データを作成し、ＲＡＭ１５に保存する。
In this way, the y-axis direction blur
The y-axis direction blur
ｙ軸方向距離画像作成手段２２５は、ｙ軸方向ボケ量走査手段２２４により生成され、ＲＡＭ１５に保存されたｙ軸方向ボケ量走査データを読み込み、さらにボケ量／距離テーブルを参照することで、ｙ軸方向に関する距離画像を撮像装置２のレンズから物体までの距離を画像として作成する。
なお、ボケ量／距離テーブルは、図９の作成手順に従って作成されたボケ量／距離テーブルを用いることができる。
The y-axis direction distance
As the blur amount / distance table, the blur amount / distance table created according to the creation procedure of FIG. 9 can be used.
ｙ軸方向距離画像作成手段２２５は、ｙ軸方向ボケ量走査データを読み込み、図９の作成手順に従って作成されたボケ量／距離テーブルを参照することで、先ず、ｘ軸方向の所定の位置における画像の下端部であるｙ０から上端部であるｙ５上に位置する各画素に関して、撮像装置２のレンズから物体までの距離を算出する。
ｙ軸方向距離画像作成手段２２５は、次に、横軸をｙ軸（即ち、ボケ量推定画像の縦方向）、また縦軸を撮像装置２のレンズから物体までの距離とする、ｙ軸方向の距離画像を作成する。
First, the y-axis direction distance image creation means 225 reads the y-axis direction blur amount scanning data and refers to the blur amount / distance table created according to the creation procedure of FIG. The distance from the lens of the
Next, the y-axis direction distance image creating means 225 sets the horizontal axis to the y-axis (that is, the vertical direction of the blur amount estimation image) and the vertical axis to the distance from the lens of the
図１２は、ｘ軸方向の任意の位置ｘ２におけるｙ軸方向ボケ量走査データを読み込み、ボケ量／距離テーブルを参照することで算出された、撮像装置２のレンズから物体までの距離を、ｙ軸方向の距離画像として作成した図である。図１２に示すように、ｙ軸方向のｙ１からｙ３までは撮像装置２のレンズからの距離はＤｙ１であり、またｙ３からｙ４までは撮像装置２のレンズからの距離はＤｙ２である。
このように、ｙ軸方向距離画像作成手段２２５は、ＲＡＭ１５に保存されたｙ軸方向ボケ量走査データより、ｙ軸方向の距離画像を作成する。
なお、ｙ軸方向距離画像作成手段２２５による、ｙ軸方向の距離画像を作成する工程は、ｘ軸方向の任意の位置における、ｙ軸方向の距離を可視化して確認する工程であることから、ｙ軸方向に関する距離が算出されていることを前提に、省略することができる。
FIG. 12 shows the distance from the lens of the
As described above, the y-axis direction distance
The step of creating the distance image in the y-axis direction by the y-axis direction distance image creating means 225 is a step of visualizing and confirming the distance in the y-axis direction at an arbitrary position in the x-axis direction. It can be omitted on the assumption that the distance in the y-axis direction is calculated.
また、ｙ軸方向のボケ量の走査処理からｙ軸方向に関する距離画像を作成する（即ち、ｙ軸方向に関する距離を算出する）までの一連の工程は、後述する距離画像作成手段２２７により距離画像を作成する上で、その精度を高めるために実行するものであることから、処理時間を短くすること、処理負荷を軽減すること等を目的に当該工程について省略することができる。
逆に、距離画像作成手段２２７により作成される距離画像の精度をより向上させるために、縦軸及び横軸以外に新規に軸（例えば、斜め方向に軸）を設定し、その軸方向に関する距離画像を作成することも考慮することができる。
なお、この場合、軸（例えば、縦軸又は横軸の一方）を固定した上で、ボケ量推定画像を所定の角度ずつ回転させて、その都度、距離画像を作成してもよい。
In addition, a series of steps from scanning processing for the amount of blur in the y-axis direction to creating a distance image in the y-axis direction (that is, calculating a distance in the y-axis direction) is performed by the distance
Conversely, in order to further improve the accuracy of the distance image created by the distance image creating means 227, a new axis (for example, an axis in an oblique direction) is set in addition to the vertical axis and the horizontal axis, and the distance in the axial direction is set. Creating an image can also be considered.
In this case, after the axis (for example, one of the vertical axis or the horizontal axis) is fixed, the blur amount estimation image may be rotated by a predetermined angle, and a distance image may be created each time.
距離平均値算出手段２２６は、ｘ軸方向距離画像作成手段２２３によるｘ軸方向の距離画像（ｘ軸方向に関する距離）及びｙ軸方向距離画像作成手段２２５によるｙ軸方向の距離画像（ｙ軸方向に関する距離）が作成されると、各画素位置における、撮像装置２のレンズからの距離の平均値を算出する。
なお、本実施形態においては、距離の平均値を算出することにより、撮像装置２のレンズから物体までの距離を特定しているが、距離を特定する方法としては必ずしも平均値に限定されない。中間値など周知の方法で特定（推定）してもよい。
The distance average value calculation means 226 is a distance image in the x-axis direction (distance related to the x-axis direction) by the x-axis direction distance image creation means 223 and a distance image in the y-axis direction (y-axis direction) by the y-axis direction distance image creation means 225. When the distance is generated, the average value of the distance from the lens of the
In this embodiment, the distance from the lens of the
距離平均値算出手段２２６による、各画素位置における、撮像装置２のレンズからの距離の平均値の算出に関して、図１３を用いて説明する。
図１３では、ｘ軸方向距離画像作成手段２２３により算出された、（ｙ軸方向の位置をｙ２とする）ｘ軸方向に位置する画素位置における、撮像装置２のレンズからの距離、またｙ軸方向距離画像作成手段２２５により算出された、（ｘ軸方向の位置をｘ２とする）ｙ軸方向に位置する画素位置における、撮像装置２のレンズからの距離をプロットしている。
The calculation of the average value of the distance from the lens of the
In FIG. 13, the distance from the lens of the
この場合、図１３に示すように、座標（ｘ２、ｙ２）には、ｘ軸方向距離画像作成手段２２３により算出された撮像装置２のレンズからの距離と、ｙ軸方向距離画像作成手段２２５により算出された撮像装置２のレンズからの距離がプロットされる。
そこで、距離平均値算出手段２２６は、ｘ軸方向距離画像作成手段２２３により算出された撮像装置２のレンズからの距離とｙ軸方向距離画像作成手段２２５により算出された撮像装置２のレンズからの距離の平均値を算出し、その距離の平均値を、座標（ｘ２、ｙ２）にプロットする。
In this case, as shown in FIG. 13, the coordinates (x2, y2) include the distance from the lens of the
Therefore, the distance average
なお、図１３の例では、（ｙ軸方向の位置をｙ２とする）ｘ軸方向に位置する画素位置における、撮像装置２のレンズからの距離と（ｘ軸方向の位置をｘ２とする）ｙ軸方向に位置する画素位置における、撮像装置２のレンズからの距離しか、プロットしていないが、実際には、ｙ軸方向のｙ０からｙ５、またｘ軸方向のｘ０からｘ５まで所定の間隔で、撮像装置２のレンズからの距離をプロットすることから、全ての画素位置に関して、撮像装置２のレンズからの距離として、２つのデータがプロットされる。
距離平均値算出手段２２６は、その２つのデータがプロットされた、全ての画素位置に関して、２つの距離の平均値を算出し、その距離の平均値を、各々の画素位置にプロットする。
In the example of FIG. 13, the distance from the lens of the
The distance average value calculation means 226 calculates the average value of the two distances for all the pixel positions where the two data are plotted, and plots the average value of the distances at each pixel position.
距離平均値算出手段２２６による算出処理は、各画素位置において平均値を算出する処理であることから、各画素位置に、撮像装置２のレンズからの距離として、２つ以上のデータがプロットされていることを前提に実行される。したがって、各画素位置に、撮像装置２のレンズからの距離として、２つ以上のデータがプロットされていない場合には、距離平均値算出手段２２６による算出処理を省略することができる。
また、各画素位置にプロットされるデータ（即ち、撮像装置２のレンズからの距離）の数が多ければ、距離平均値算出手段２２６により算出される平均値は、撮像装置２のレンズからの距離として、より精度の高い値となる。
Since the calculation process by the distance average
Further, if the number of data plotted at each pixel position (that is, the distance from the lens of the imaging device 2) is large, the average value calculated by the distance average
距離画像作成手段２２７は、距離平均値算出手段２２６により算出され、各画素位置にプロットされた、撮像装置２のレンズからの距離の平均値に基づいて、距離画像を作成する。
図１４に、距離画像作成手段２２７により作成された距離画像を示す。図１４に示す距離画像では、撮像された物体に関して、撮像装置２のレンズからの距離に応じて濃度を調整して表示しており、撮像装置２のレンズからの距離が近くなるにつれて濃度を濃くして表示する。
The distance
FIG. 14 shows a distance image created by the distance
図１４に示すように、撮像装置２の撮像方向に対して前側に位置する物体Ｐは濃く表示され、後側に位置する物体Ｑは物体Ｐに比べて薄く表示される。
このように、２つの物体（即ち、物体Ｐ及びＱ）が撮像画像において重なっている場合であっても、それぞれの物体を別々に認識することができる。さらに、物体に塗り潰される色の濃淡により、２つの物体の前後関係も認識することができる。
As shown in FIG. 14, the object P positioned on the front side with respect to the imaging direction of the
As described above, even when two objects (that is, the objects P and Q) overlap in the captured image, each object can be recognized separately. Furthermore, the context of two objects can also be recognized based on the shades of colors painted on the objects.
図１５は、図６における距離画像生成手段２２の処理手順を示すフロー図である。
距離画像生成手段２２は、ボケ量推定手段２１により推定されたボケ量をＲＡＭ１５より読み込むと、ボケ量推定画像作成手段２２１によりボケ量推定画像を作成する（ステップＳ２１）。
FIG. 15 is a flowchart showing the processing procedure of the distance image generating means 22 in FIG.
When the distance
ボケ量推定画像作成手段２２１によりボケ量推定画像が作成されると（ステップＳ２１）、距離画像生成手段２２は、ｘ軸方向ボケ量走査手段２２２によりボケ量推定画像をｘ軸方向に走査し、ｘ軸方向のボケ量走査データを作成する（ステップＳ２２）（図８）。
次に、ｘ軸方向距離画像作成手段２２３は、ボケ量／距離テーブルを参照することでｘ軸方向の撮像装置２のレンズから物体までの距離を算出し（ステップＳ２３）、ｘ軸方向の距離画像を作成する（ステップＳ２４）（図１０）。
When the blur amount estimation image is generated by the blur amount estimation image generation unit 221 (step S21), the distance
Next, the x-axis direction distance image creation means 223 calculates the distance from the lens of the
距離画像生成手段２２は、次に、ｙ軸方向ボケ量走査手段２２４によりボケ量推定画像をｙ軸方向に走査し、ｙ軸方向のボケ量走査データを作成する（ステップＳ２５）（図１１）。
距離画像生成手段２２は、次に、ｙ軸方向距離画像作成手段２２５により、ボケ量／距離テーブルを参照することでｙ軸方向の撮像装置２のレンズから物体までの距離を算出し（ステップＳ２６）、ｙ軸方向の距離画像を作成する（ステップＳ２７）（図１２）。
Next, the distance
Next, the distance image generation means 22 calculates the distance from the lens of the
ｘ軸方向及びｙ軸方向の距離画像を作成すると（ステップＳ２４、ステップ２７）、距離画像生成手段２２は、距離平均値算出手段２２６により、各々の画素位置における、撮像装置２のレンズから物体までの距離の平均値を算出する（ステップＳ２８）。
距離画像生成手段２２は、次に、距離画像作成手段２２７により、算出された距離の平均値から距離画像を作成する（ステップＳ２９）。
When the distance images in the x-axis direction and the y-axis direction are created (steps S24 and step 27), the distance
Next, the distance image generation means 22 creates a distance image from the average value of the distances calculated by the distance image creation means 227 (step S29).
以上、説明したように、本発明の実施形態に係る画像形成装置によれば、撮像された画像において、物体同士が重なって撮像された場合であっても、画像処理の負荷を前記従来の方法よりも低減した上で、距離画像を生成して各々の物体を別々に認識することができ、さらに撮像方向に対する、各々の物体の前後関係も併せて認識することができる。
また、物体同士が接近して並んで撮像された場合であっても、各々の物体を別々に認識することができる。
As described above, according to the image forming apparatus according to the embodiment of the present invention, even in the case where the captured images are captured by overlapping each other, the load of the image processing is reduced. In addition, the distance image can be generated and each object can be recognized separately, and the front-rear relationship of each object with respect to the imaging direction can also be recognized.
Moreover, even when objects are imaged in close proximity to each other, each object can be recognized separately.
２１…ボケ量推定手段、２１１…画像取得手段、２１２…モノクロ変換手段、２１３…ノイズ除去手段、２１４…エッジベクトル算出手段、２１５…エッジ判定手段、２１６…輝度差算出手段、２１７…ボケ量算出手段、２２…距離画像生成手段、２２１…ボケ量推定画像作成手段、２２２…ｘ軸方向ボケ量走査手段、２２３…ｘ軸方向距離画像作成手段、２２４…ｙ軸方向ボケ量走査手段、２２５…ｙ軸方向距離画像作成手段、２２６…距離平均値算出手段、２２７…距離画像作成手段。 21: blur amount estimation means 211: image acquisition means 212: monochrome conversion means 213: noise removal means 214: edge vector calculation means 215: edge determination means 216: luminance difference calculation means 217: blur amount calculation Means 22 ... Distance image generating means 221 ... Blur amount estimated image creating means 222 ... X-axis direction blur amount scanning means 223 ... X-axis direction distance image creating means 224 ... Y-axis direction blur amount scanning means 225 ... y-axis direction distance image creating means, 226... distance average value calculating means, 227.
Claims (5)
前記画像取得手段により取得した画像のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジを含む所定領域内における画素の輝度差に基づいて、前記エッジのボケ量を算出するボケ量算出手段と、
前記ボケ量算出手段により算出されたボケ量を前記画像の前記エッジの各画素位置に割り当てるボケ量割り当て手段と、
前記ボケ量割り当て手段によりボケ量が割り当てられた前記エッジの画素に対して、所定の方向に走査し、走査方向にあるエッジとエッジの間に位置する各画素に、ボケ量の小さい方のエッジのボケ量を割り当てるボケ量走査手段と、
前記ボケ量走査手段により割り当てられたボケ量と、前記撮像装置からの画像のボケ量と前記撮像装置から被写体までの距離との相関情報とに基づいて、各画素位置における、前記撮像装置から前記物体までの距離を算出する距離算出手段と、
前記距離算出手段により算出された各画素位置における、前記撮像装置から前記物体までの距離に基づき、距離画像を生成する距離画像生成手段と、
を有することを特徴とする画像処理装置。 Image acquisition means for acquiring an image from an imaging device that images the object;
Edge extraction means for extracting an edge of the image acquired by the image acquisition means;
A blur amount calculating unit that calculates a blur amount of the edge based on a luminance difference of pixels in a predetermined region including the edge extracted by the edge extracting unit;
A blur amount assigning unit that assigns the blur amount calculated by the blur amount calculating unit to each pixel position of the edge of the image;
The edge pixel to which the blur amount is assigned by the blur amount assigning unit is scanned in a predetermined direction, and each pixel located between the edges in the scanning direction has an edge with the smaller blur amount. A blur amount scanning means for allocating a blur amount of
Based on the blur amount allocated by the blur amount scanning unit and the correlation information between the blur amount of the image from the imaging device and the distance from the imaging device to the subject, from the imaging device at each pixel position, Distance calculating means for calculating the distance to the object;
Distance image generation means for generating a distance image based on the distance from the imaging device to the object at each pixel position calculated by the distance calculation means;
An image processing apparatus comprising:
前記ボケ量算出手段は、前記エッジ抽出手段により抽出されたエッジを含む所定領域内における、前記エッジの画素を挟んでその両側に位置する画素の輝度差に基づいて、前記エッジのボケ量を算出することを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The blur amount calculating unit calculates the blur amount of the edge based on a luminance difference between pixels located on both sides of the edge pixel in a predetermined region including the edge extracted by the edge extracting unit. An image processing apparatus.
前記ボケ量走査手段が、互いに平行な複数の走査線により第１の走査方向で走査し、さらに前記第１の走査方向と所定の角度で交わる第２の走査方向の互いに平行な複数の走査線に沿って走査することを特徴とする画像処理装置。 In the image processing apparatus according to claim 1 or 2,
The blur amount scanning means scans in a first scanning direction by a plurality of scanning lines parallel to each other, and further a plurality of scanning lines parallel to each other in a second scanning direction intersecting the first scanning direction at a predetermined angle. And an image processing apparatus.
前記所定の角度が直角であることを特徴とする画像処理装置。 The image processing apparatus according to claim 3,
The image processing apparatus characterized in that the predetermined angle is a right angle.
前記距離算出手段により、走査方向の数に応じて算出された前記撮像装置から前記物体までの距離に基づき、前記距離を特定することを特徴とする画像処理装置。
The image processing apparatus according to claim 3,
An image processing apparatus characterized in that the distance is specified based on a distance from the imaging apparatus to the object calculated according to the number of scanning directions by the distance calculation means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014139965A JP6327024B2 (en) | 2014-07-07 | 2014-07-07 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014139965A JP6327024B2 (en) | 2014-07-07 | 2014-07-07 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016018340A true JP2016018340A (en) | 2016-02-01 |
| JP6327024B2 JP6327024B2 (en) | 2018-05-23 |
Family
ID=55233533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014139965A Active JP6327024B2 (en) | 2014-07-07 | 2014-07-07 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6327024B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101825218B1 (en) * | 2016-04-08 | 2018-02-02 | 한국과학기술원 | Apparatus and method for generaing depth information |
| KR101921608B1 (en) | 2018-01-29 | 2018-11-26 | 한국과학기술원 | Apparatus and method for generating depth information |
| JP2021009978A (en) * | 2019-07-03 | 2021-01-28 | 株式会社Ｆｕｊｉ | Assembling machine |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010249794A (en) * | 2009-03-26 | 2010-11-04 | Kyocera Corp | Object distance measuring device |
| JP2012073703A (en) * | 2010-09-28 | 2012-04-12 | Nippon Hoso Kyokai <Nhk> | Image blur amount calculation device and program for the same |
| JP2013157674A (en) * | 2012-01-26 | 2013-08-15 | Canon Inc | Imaging apparatus |
-
2014
- 2014-07-07 JP JP2014139965A patent/JP6327024B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010249794A (en) * | 2009-03-26 | 2010-11-04 | Kyocera Corp | Object distance measuring device |
| JP2012073703A (en) * | 2010-09-28 | 2012-04-12 | Nippon Hoso Kyokai <Nhk> | Image blur amount calculation device and program for the same |
| JP2013157674A (en) * | 2012-01-26 | 2013-08-15 | Canon Inc | Imaging apparatus |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101825218B1 (en) * | 2016-04-08 | 2018-02-02 | 한국과학기술원 | Apparatus and method for generaing depth information |
| KR101921608B1 (en) | 2018-01-29 | 2018-11-26 | 한국과학기술원 | Apparatus and method for generating depth information |
| JP2021009978A (en) * | 2019-07-03 | 2021-01-28 | 株式会社Ｆｕｊｉ | Assembling machine |
| JP7313211B2 (en) | 2019-07-03 | 2023-07-24 | 株式会社Fuji | Assembly machine |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6327024B2 (en) | 2018-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8405742B2 (en) | Processing images having different focus | |
| KR20110106070A (en) | Apparatus and method for extracting light and texture, and rendering apparatus using light and texture | |
| US10181202B2 (en) | Control apparatus, robot, and control method | |
| JP5939962B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP6327024B2 (en) | Image processing device | |
| JP2010117593A (en) | Device for acquiring distance information, imaging apparatus, and program | |
| EP2939586A1 (en) | Image processing device, program and image processing method | |
| KR102255148B1 (en) | Image processing apparatus, image processing method, storage medium, and program | |
| JP2014206388A (en) | Imaging device, image process device and image process method | |
| US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
| JP6273921B2 (en) | Image processing device | |
| JP2007322259A (en) | Edge detecting method, apparatus and program | |
| JP6358084B2 (en) | Image processing device | |
| JP5369729B2 (en) | Image processing apparatus, imaging apparatus, and program | |
| JP2014182637A (en) | Image processor, image processing method and image processing program | |
| JP2018018425A (en) | Image processing device and image processing method | |
| JP2017084302A (en) | Iris position detection device, electronic apparatus, program, and iris position detection method | |
| JP6340837B2 (en) | Image processing device | |
| JP6867766B2 (en) | Information processing device and its control method, program | |
| JP6369058B2 (en) | Image processing device | |
| JP2018171516A (en) | Image processing method, diagnosis device, and program | |
| KR101619776B1 (en) | RGB deblurring method using IR information at depth map system using 4 color sensor | |
| JP6595858B2 (en) | Image processing apparatus and image processing method | |
| JP2017117038A (en) | Road surface estimation device | |
| JP2017017551A (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180402 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6327024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |