JP6655485B2

JP6655485B2 - Image processing parameter determination device, image processing device, and program

Info

Publication number: JP6655485B2
Application number: JP2016127888A
Authority: JP
Inventors: 康孝松尾; 慎平根本; 境田　慎一; 慎一境田; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2016-06-28
Filing date: 2016-06-28
Publication date: 2020-02-26
Anticipated expiration: 2036-06-28
Also published as: JP2018006872A

Description

本発明は、参照フレームに対する画像処理に用いられる画像処理パラメータを生成する画像処理パラメータ決定装置、該画像処理パラメータを用いて画像処理を行う画像処理装置、及びそれらのプログラムに関する。 The present invention relates to an image processing parameter determination device that generates image processing parameters used for image processing on a reference frame, an image processing device that performs image processing using the image processing parameters, and a program for the same.

Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）方式などによる映像符号化では、符号化効率を高めるために、フレーム間の動き推定（動き検出）の結果を用いた動き補償を行う。この動き推定では、ハードウェア化の容易さなどの理由により、一般にブロックマッチング法が用いられる。ただし、ブロックマッチング法は、回転や奥行方向の動き推定の確度が低い。そこで、拡大や縮小を伴う映像に対する動き補償効率を改善するために、外部動き推定法により変倍率を推定し、幾何変換処理による変倍補償を行う手法が提案されている（例えば、非特許文献１及び２参照）。 H. In video coding by the H.265 / HEVC (High Efficiency Video Coding) method or the like, motion compensation is performed using the result of motion estimation (motion detection) between frames in order to increase coding efficiency. In this motion estimation, a block matching method is generally used for reasons such as easy hardware implementation. However, the block matching method has low accuracy in estimating the motion in the rotation and depth directions. Therefore, in order to improve the motion compensation efficiency for a video with enlargement or reduction, a method of estimating a scaling factor by an external motion estimation method and performing scaling compensation by geometric transformation processing has been proposed (for example, Non-Patent Documents). 1 and 2).

R. Takada, S. Orihashi, Y. Matsuo, and J. Katto, “Improvement of 8K UHDTV Picture Quality for H.265/HEVC by Global Zoom Estimation using Motion Vectors”, Proceedings of IEEE ICCE, pp. 64-65, 2015R. Takada, S. Orihashi, Y. Matsuo, and J. Katto, “Improvement of 8K UHDTV Picture Quality for H.265 / HEVC by Global Zoom Estimation using Motion Vectors”, Proceedings of IEEE ICCE, pp. 64-65, 2015 VCEG C1016, Huawei technologies Co. Ltd., “Affine transform prediction for next generation video coding”, Video Coding Experts Group - C1016VCEG C1016, Huawei technologies Co. Ltd., “Affine transform prediction for next generation video coding”, Video Coding Experts Group-C1016

しかしながら、従来の幾何変換を伴う手法により動き推定を行っても、オブジェクトの奥行方向の動きにおいて、被写界深度の内側から外側への動きを伴う場合に発生する平滑化（ぼやけ）や、被写界深度の外側から内側への動きを伴う場合に発生する先鋭化により、動き推定の確度が低くなることがある。仮に、確度が高い検出ができたとしても、被写界深度を考慮していないため、動き補償時の差分情報量が大きくなりがちである。 However, even if motion estimation is performed by a conventional method involving geometric transformation, smoothing (blurring) that occurs when the object moves in the depth direction accompanied by movement from inside to outside of the depth of field, The sharpening that occurs when the motion accompanies the movement from the outside to the inside of the depth of field may reduce the accuracy of the motion estimation. Even if detection with high accuracy can be performed, the difference information amount at the time of motion compensation tends to be large because the depth of field is not considered.

かかる事情に鑑みてなされた本発明の目的は、被写界深度を考慮し、奥行方向の動きに対する動き推定の確度を向上させるために用いられる画像処理パラメータを決定する画像処理パラメータ決定装置、該画像処理パラメータを用いて画像処理を行う画像処理装置、及びそれらのプログラムを提供することにある。 An object of the present invention made in view of such circumstances is to provide an image processing parameter determination device that determines an image processing parameter used to improve the accuracy of motion estimation for a motion in the depth direction in consideration of the depth of field. It is an object of the present invention to provide an image processing apparatus that performs image processing using image processing parameters, and a program for them.

上記課題を解決するため、本発明に係る画像処理パラメータ決定装置は、参照フレームに対する画像処理に用いられる画像処理パラメータを生成する画像処理パラメータ決定装置であって、カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の内側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の外側に位置すると判定した場合には、平滑化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、を備えることを特徴とする。 In order to solve the above problems, an image processing parameter determining apparatus according to the present invention is an image processing parameter determining apparatus that generates an image processing parameter used for image processing on a reference frame, and includes a depth of field based on a camera parameter. And a block used to generate depth direction motion information indicating the depth direction motion of the object between the reference frame and the reference frame, and to use for estimating the motion between the reference frame and the reference frame. On the other hand, if there is subject distance information indicating the shooting distance from the imaging surface to the subject, the subject distance information is used as depth information, the subject distance information does not exist, and the depth direction motion information exists. The depth information generating unit that uses the depth direction motion information as depth information, and a motion of a reference frame based on the depth information. When it is determined that the object of the destination block is located inside the depth of field and the object of the motion estimation source block of the reference frame is located outside the depth of field, a smoothing process is performed. An image processing parameter determining unit that determines an image processing parameter.

さらに、本発明に係る画像処理パラメータ決定装置において、前記画像処理パラメータ決定部は、前記動き推定元ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、平滑化の度合いが大きくなるような値とすることを特徴とする。 Further, in the image processing parameter determination device according to the present invention, the image processing parameter determination unit may be configured such that the greater the difference between the subject distance and the focus distance of the object of the motion estimation source block, the greater the degree of smoothing. It is characterized by a value.

また、本発明に係る画像処理パラメータ決定装置は、参照フレームに対する画像処理に用いられる画像処理パラメータを生成する画像処理パラメータ決定装置であって、カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の外側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の内側に位置すると判定した場合には、先鋭化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、を備えることを特徴とする。 An image processing parameter determining apparatus according to the present invention is an image processing parameter determining apparatus that generates an image processing parameter used for image processing on a reference frame, wherein the image processing parameter determining apparatus calculates a depth of field based on a camera parameter. A depth-of-field calculating unit, which generates depth-direction motion information indicating the depth-direction motion of the object between the reference frame and the reference frame, and captures an image of a block used for motion estimation between the reference frame and the reference frame. When subject distance information indicating the shooting distance from the surface to the subject exists, the subject distance information is used as depth information, and when the subject distance information does not exist and the depth direction motion information exists, A depth information generating unit that uses the depth direction motion information as depth information, and an o of a motion estimation destination block of a reference frame based on the depth information. If the object is located outside the depth of field, and it is determined that the object of the motion estimation source block of the reference frame is located inside the depth of field, an image processing parameter for performing the sharpening process is set. And an image processing parameter determining unit for determining.

さらに、本発明に係る画像処理パラメータ決定装置において、前記画像処理パラメータ決定部は、前記動き推定先ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、先鋭化の度合いが大きくなるような値とすることを特徴とする。 Further, in the image processing parameter determination device according to the present invention, the image processing parameter determination unit may determine that the degree of sharpening increases as the difference between the subject distance and the focus distance of the object of the motion estimation destination block increases. It is characterized by a value.

さらに、本発明に係る画像処理パラメータ決定装置において、前記画像処理パラメータ決定部は、基準フレームの動き推定元ブロックと参照フレームの動き推定先ブロックの奥行情報により、変倍処理を行うための画像処理パラメータを決定することを特徴とする。 Further, in the image processing parameter determination device according to the present invention, the image processing parameter determination unit is configured to perform image processing for performing a scaling process based on depth information of a motion estimation source block of a reference frame and a motion estimation destination block of a reference frame. The method is characterized in that parameters are determined.

さらに、本発明に係る画像処理パラメータ決定装置において、前記奥行情報生成部は、動き推定に用いるブロックに対して、前記被写体距離情報及び前記奥行方向動き情報が存在しない場合には、該ブロックに近接するブロックに対する被写体距離情報又は奥行方向動き情報を用いて前記奥行情報を生成することを特徴とする。 Further, in the image processing parameter determination device according to the present invention, when the subject distance information and the depth direction motion information do not exist for the block used for motion estimation, The depth information is generated using subject distance information or depth direction motion information for a block to be executed.

さらに、本発明に係る画像処理パラメータ決定装置において、前記奥行情報生成部は、ＳＵＲＦ特徴量又はＳＩＦＴ特徴量のマッチングを行う手法により前記奥行方向動き情報を生成することを特徴とする。 Further, in the image processing parameter determination device according to the present invention, the depth information generation unit generates the depth direction motion information by a method of matching a SURF feature amount or a SIFT feature amount.

また、上記課題を解決するため、本発明に係る画像処理装置は、上記画像処理パラメータ決定装置と、前記画像処理パラメータを用いて、前記参照フレームに対して画像処理を行う画像処理部と、を備えることを特徴とする。 Further, in order to solve the above problem, an image processing device according to the present invention includes the image processing parameter determining device, and an image processing unit that performs image processing on the reference frame using the image processing parameter. It is characterized by having.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画像処理パラメータ決定装置として機能させることを特徴とする。 According to another aspect of the present invention, there is provided a program that causes a computer to function as the image processing parameter determination device.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画像処理装置として機能させることを特徴とする。 Further, in order to solve the above problem, a program according to the present invention causes a computer to function as the image processing device.

本発明によれば、被写界深度を考慮した、参照フレームに対する画像処理パラメータを決定することができる。また、この画像処理パラメータを用いて参照フレームに対して画像処理を行い、基準フレームと画像処理後の参照フレームを用いた動き推定を行うことにより、奥行方向の動きに対する動き推定の確度を向上させることができる。 According to the present invention, it is possible to determine an image processing parameter for a reference frame in consideration of the depth of field. Further, image processing is performed on the reference frame using the image processing parameters, and motion estimation is performed using the reference frame and the reference frame after the image processing, thereby improving the accuracy of the motion estimation for the motion in the depth direction. be able to.

本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to an embodiment of the present invention. レンズの焦点深度及び被写界深度を示す図である。FIG. 3 is a diagram illustrating a focal depth and a depth of field of a lens.

以下、本発明の実施形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１に、本発明の第１の実施形態に係る画像処理装置の構成例を示す。図１に示す例では、画像処理装置１は、画像処理パラメータ決定装置１０と、画像処理部２０とを備える。画像処理パラメータ決定装置１０は、被写界深度算出部１０１と、奥行情報生成部１０２と、画像処理パラメータ決定部１０３とを備える。 FIG. 1 shows a configuration example of an image processing apparatus according to the first embodiment of the present invention. In the example illustrated in FIG. 1, the image processing device 1 includes an image processing parameter determination device 10 and an image processing unit 20. The image processing parameter determination device 10 includes a depth of field calculation unit 101, a depth information generation unit 102, and an image processing parameter determination unit 103.

画像処理パラメータ決定装置１０は、カメラパラメータ、撮影距離情報、及び原画像列（基準フレーム及び参照フレーム）を入力し、参照フレームに対する画像処理に用いられる画像処理パラメータを生成し、画像処理部２０に出力する。 The image processing parameter determination device 10 receives a camera parameter, shooting distance information, and an original image sequence (a reference frame and a reference frame), generates image processing parameters used for image processing on the reference frame, and sends the image processing parameter to the image processing unit 20. Output.

画像処理部２０は、画像処理パラメータ決定装置１０により決定された画像処理パラメータを用いて、参照フレームに対して画像処理を行って、修正参照フレームを生成し、外部に出力する。 The image processing unit 20 performs image processing on the reference frame using the image processing parameters determined by the image processing parameter determination device 10, generates a modified reference frame, and outputs the modified reference frame to the outside.

被写界深度算出部１０１は、カメラパラメータに基づいて被写界深度を算出し、被写界深度を示す被写界深度情報を画像処理パラメータ決定部１０３に出力する。ここで、カメラパラメータは、センサ情報と、焦点距離情報と、絞り値情報と、ピント距離情報とを含む。 The depth of field calculation unit 101 calculates the depth of field based on the camera parameters, and outputs depth of field information indicating the depth of field to the image processing parameter determination unit 103. Here, the camera parameters include sensor information, focal length information, aperture value information, and focus distance information.

一例として、スーパー３５ｍｍＣＭＯＳセンサを搭載した４Ｋカメラを用い、焦点距離が５０ｍｍで絞り値Ｆが５．６のレンズでピント距離を８ｍとして撮影した場合の被写界深度の算出の仕方を、図２を参照して説明する。図２は、レンズの焦点深度及び被写界深度を示す図である。 As an example, FIG. 2 shows how to calculate the depth of field when shooting with a lens having a focal length of 50 mm and an aperture value F of 5.6 and a focusing distance of 8 m using a 4K camera equipped with a super 35 mm CMOS sensor. This will be described with reference to FIG. FIG. 2 is a diagram illustrating the depth of focus and the depth of field of the lens.

スーパー３５ｍｍＣＭＯＳセンサのサイズは２４×１４ｍｍで、画素数は水平３８４０画素、垂直２１６０画素とすると、水平方向の画素ピッチは６．２５［ｕｍ／画素］であり、垂直方向の画素ピッチは６．４８［ｕｍ／画素］となる。画素ピッチは約６［ｕｍ／画素］であるため、許容錯乱円径δを０．０１２［ｍｍ］とする。 Assuming that the size of the super 35 mm CMOS sensor is 24 × 14 mm and the number of pixels is 3840 pixels horizontally and 2160 pixels vertically, the pixel pitch in the horizontal direction is 6.25 [um / pixel] and the pixel pitch in the vertical direction is 6.48. [Um / pixel]. Since the pixel pitch is about 6 [um / pixel], the permissible circle of confusion δ is set to 0.012 [mm].

前側焦点深度ｚ_ｆ及び後側焦点深度ｚ_ｂはともに、絞り値Ｆ及び許容錯乱円径δを用いてδ・Ｆで求められる。δ＝０．０１２［ｍｍ］、Ｆ＝５．６の場合、前側焦点深度ｚ_ｆ及び後側焦点深度ｚ_ｂは０．０６７２［ｍｍ］となる。なお、焦点深度ｚは２×０．０６７２＝０．１３４［ｍｍ］となる。 Front focal depth z _f and the rear-side focal depth z _b are both given by [delta] · F using the aperture value F and permissible circle of confusion [delta]. δ = 0.012 [mm], the case of F = 5.6, the front focal depth _{z f} and the rear-side focal depth _{z b} becomes 0.0672 [mm]. Note that the depth of focus z is 2 × 0.0672 = 0.134 [mm].

また、ピント距離（レンズの主点から物体面までの距離）ａ、レンズの主点から撮像面までの距離ｂ、及び焦点距離ｆは、レンズの公式により式（１）の関係が成り立つ。 Further, the relationship of the formula (1) is established for the focus distance (the distance from the principal point of the lens to the object plane) a, the distance b from the principal point of the lens to the imaging surface, and the focal length f according to the lens formula.

式（１）にｆ＝５０［ｍｍ］、ａ＝８０００［ｍｍ］を代入すると、ｂ＝５０．３１４［ｍｍ］と求まる。すなわち、レンズの繰り出し量は０．３１４［ｍｍ］である。このとき、焦点深度ｚをレンズの主点からの距離範囲で示すと、５０．３１４−０．０６７２＝５０．２４６８［ｍｍ］から、５０．３１４＋０．０６７２＝５０．３８１２［ｍｍ］となる。 Substituting f = 50 [mm] and a = 8000 [mm] into Equation (1) gives b = 50.314 [mm]. That is, the extension amount of the lens is 0.314 [mm]. At this time, if the depth of focus z is represented by a distance range from the principal point of the lens, it will be from 50.314-0.0672 = 50.2468 [mm] to 50.314 + 0.0672 = 50.3812 [mm].

近点距離ａ１は、式（１）にｆ＝５０［ｍｍ］、ｂ＝５０．３８１２［ｍｍ］を代入することにより、６．７［ｍ］と求まる。また遠点距離ａ２は、式（１）にｆ＝５０［ｍｍ］、ｂ＝５０．２４６８［ｍｍ］を代入することにより、１０．０［ｍ］と求まる。したがって、被写界深度Ｄをレンズの主点からの距離範囲で示すと、６．７ｍから１０．０ｍとなる。 The near point distance a1 is obtained as 6.7 [m] by substituting f = 50 [mm] and b = 50.812 [mm] into Expression (1). Further, the far point distance a2 is obtained as 10.0 [m] by substituting f = 50 [mm] and b = 50.2468 [mm] into the equation (1). Therefore, when the depth of field D is shown in the range of the distance from the principal point of the lens, it is 6.7 m to 10.0 m.

奥行情報生成部１０２は、撮像面から被写体までの距離（被写体距離）を示す被写体距離情報を取得する。原画像列を撮像したカメラがＲＧＢ−Ｄセンサを搭載している場合には、該カメラはセンサにより画素単位で数画素おきに被写体距離を検出するため、奥行情報生成部１０２は該カメラから被写体距離情報を取得することができる。ただし、例えば赤外光を被写体に照射してその反射光により被写体距離検出する場合において、光の吸収や乱反射などの理由により被写体距離情報を取得できないこともあり、その場合には被写体距離情報は存在しない。 The depth information generation unit 102 acquires subject distance information indicating the distance from the imaging surface to the subject (subject distance). If the camera that has captured the original image sequence has an RGB-D sensor, the camera detects the subject distance every few pixels in pixel units, so the depth information generation unit 102 uses the sensor to detect the subject distance from the camera. Distance information can be obtained. However, for example, when irradiating a subject with infrared light and detecting the subject distance based on the reflected light, the subject distance information may not be acquired due to light absorption or irregular reflection, and in such a case, the subject distance information is not obtained. not exist.

また、奥行情報生成部１０２は、原画像列を入力し、基準フレームと参照フレームとの間で奥行方向の動き推定を行い、オブジェクトの奥行方向の動きを示す奥行方向動き情報を生成する。ただし、被写体が動いていないなどの理由により奥行方向の動き推定ができない場合には、奥行方向動き情報を生成できないこともあり、その場合には奥行方向動き情報は存在しない。 Further, the depth information generation unit 102 receives the original image sequence, estimates the motion in the depth direction between the reference frame and the reference frame, and generates depth direction motion information indicating the motion of the object in the depth direction. However, when motion estimation in the depth direction cannot be performed because the subject does not move, the depth direction motion information may not be generated. In this case, the depth direction motion information does not exist.

奥行方向の動き推定には、奥行方向の動きに頑健なＳＵＲＦ（Speeded-Up Robust Features）特徴量のマッチングを行う手法や、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量のマッチングを行う手法を用いるのが好適である。なお、ＳＵＲＦの詳細については、例えば、H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359, Jun. 2008を参照されたい。 For the motion estimation in the depth direction, a method of matching a SURF (Speeded-Up Robust Features) feature amount that is robust to the motion in the depth direction or a method of matching a SIFT (Scale-Invariant Feature Transform) feature amount is used. Is preferred. For details of SURF, see, for example, H. Bay, A. Ess, T. Tuytelaars, and LV Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346- 359, Jun. 2008.

基準フレームと参照フレームとの間のブロック単位の動き推定に用いられるブロック（動き推定元ブロック及び動き推定先ブロック）に対して、被写体距離情報が存在する場合には、奥行情報生成部１０２は動き推定元ブロックに対する被写体距離情報及び動き推定先ブロックに対する被写体距離情報を奥行情報として画像処理パラメータ決定部１０３に出力する。これは、被写体の奥行について、被写体距離情報のほうが奥行方向動き情報よりも高精度な情報だからである。動き推定に用いるブロックに対して被写体距離情報が複数ある場合には、撮影距離の平均値又は中央値を示す情報を奥行情報とする。 When subject distance information is present for blocks (motion estimation source block and motion estimation destination block) used for block-based motion estimation between the reference frame and the reference frame, the depth information generation unit 102 The subject distance information for the estimation source block and the subject distance information for the motion estimation destination block are output to the image processing parameter determination unit 103 as depth information. This is because the subject distance information is more accurate for the depth of the subject than the depth direction motion information. When there is a plurality of subject distance information for a block used for motion estimation, information indicating an average value or a median of shooting distances is set as depth information.

動き推定に用いるブロックに対して、被写体距離情報が存在せず、且つ奥行方向動き情報が存在する場合には、奥行情報生成部１０２は動き推定元ブロックに対する奥行方向動き情報及び動き推定先ブロックに対する奥行方向動き情報を奥行情報として画像処理パラメータ決定部１０３に出力する。動き推定に用いるブロック内に奥行方向動き情報が複数ある場合には、奥行方向の動きの平均値又は中央値を奥行情報とする。 When the subject distance information does not exist and the depth direction motion information exists for the block used for the motion estimation, the depth information generation unit 102 performs the depth direction motion information for the motion estimation source block and the depth direction motion information for the motion estimation destination block. The depth direction motion information is output to the image processing parameter determination unit 103 as depth information. When there are a plurality of pieces of depth direction motion information in a block used for motion estimation, an average value or a median value of the motions in the depth direction is used as the depth information.

動き推定に用いるブロックに対して、被写体距離情報及び奥行方向動き情報の双方が存在しない場合には、奥行情報生成部１０２は該ブロックにそれぞれ近接する近接ブロック（動き推定元ブロックに近接するブロック及び動き推定先ブロックに近接するブロック）に対する被写体距離情報又は奥行方向動き情報を用いて同様に奥行情報を生成する。つまり、近接ブロックに対して、被写体距離情報及び奥行方向動き情報の双方が存在する場合には、被写体距離情報を奥行情報として画像処理パラメータ決定部１０３に出力し、被写体距離情報が存在せず、且つ奥行方向動き情報が存在する場合には、奥行方向動き情報を奥行情報として画像処理パラメータ決定部１０３に出力する。 If both the subject distance information and the depth direction motion information do not exist for the block used for the motion estimation, the depth information generation unit 102 sets the proximity blocks (the blocks close to the motion estimation source block and the Similarly, depth information is generated using subject distance information or depth direction motion information for a block (close to the motion estimation destination block). That is, when both the subject distance information and the depth direction motion information exist for the adjacent block, the subject distance information is output to the image processing parameter determination unit 103 as the depth information, and the subject distance information does not exist. If there is depth direction motion information, the depth direction motion information is output to the image processing parameter determination unit 103 as depth information.

画像処理パラメータ決定部１０３は、被写界深度算出部１０１により生成された被写界深度情報と、奥行情報生成部１０２により生成された奥行情報と、ピント情報と、原画像列とを入力し、平滑化処理（低域通過型のフィルタ処理）を行うためのパラメータ（平滑化パラメータ）、又は先鋭化処理を行うためのパラメータ（先鋭化パラメータ）を含む画像処理パラメータを決定する。 The image processing parameter determination unit 103 inputs the depth of field information generated by the depth of field calculation unit 101, the depth information generated by the depth information generation unit 102, the focus information, and the original image sequence. , An image processing parameter including a parameter (smoothing parameter) for performing a smoothing process (low-pass type filter process) or a parameter (sharpening parameter) for performing a sharpening process.

画像処理パラメータ決定部１０３は、参照フレームの動き推定先ブロックと基準フレームの動き推定元ブロックに対して、オブジェクトが被写界深度の内側に位置するか否かを判定する。参照フレームの動き推定先ブロックと基準フレームの動き推定元ブロックのオブジェクトがともに被写界深度の内側に位置する場合には、平滑化パラメータ及び先鋭化パラメータを生成しない。 The image processing parameter determination unit 103 determines whether or not the object is located inside the depth of field with respect to the motion estimation destination block of the reference frame and the motion estimation source block of the reference frame. If the object of the motion estimation destination block of the reference frame and the object of the motion estimation source block of the reference frame are both located inside the depth of field, the smoothing parameter and the sharpening parameter are not generated.

画像処理パラメータ決定部１０３は、参照フレームの動き推定先ブロックのオブジェクトが被写界深度の内側に位置し、基準フレームの動き推定元ブロックのオブジェクトが被写界深度の外側に位置する場合には、平滑化パラメータを決定する。平滑化パラメータは、動き推定元ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、平滑化の度合いが大きくなるような値とする。平滑化パラメータは、例えば低域通過型フィルタ処理に用いられるカットオフ周波数により設定することができる。カットオフ周波数が低いほど、低域通過型フィルタ時の平滑化の度合いが大きくなる。なお、実際の平滑化の度合いはレンズの光学特性に依存するため、高精度に推定するためにはレンズの光学特性を詳細に測定する必要がある。そこでレンズの光学特性が既知でない場合には、平滑化パラメータを複数設定するようにしてもよい。 The image processing parameter determination unit 103 determines that the object of the motion estimation destination block of the reference frame is located inside the depth of field, and the object of the motion estimation source block of the reference frame is located outside the depth of field. , Smoothing parameters. The smoothing parameter is set to a value such that the greater the difference between the subject distance and the focus distance of the object of the motion estimation source block, the greater the degree of smoothing. The smoothing parameter can be set by, for example, a cutoff frequency used for low-pass filtering. The lower the cutoff frequency, the greater the degree of smoothing during low-pass filtering. Since the actual degree of smoothing depends on the optical characteristics of the lens, it is necessary to measure the optical characteristics of the lens in detail for highly accurate estimation. Therefore, when the optical characteristics of the lens are not known, a plurality of smoothing parameters may be set.

一方、画像処理パラメータ決定部１０３は、参照フレームの動き推定先ブロックのオブジェクトが被写界深度の外側に位置し、基準フレームの動き推定元ブロックのオブジェクトが被写界深度の内側に位置する場合には、先鋭化パラメータを決定する。先鋭化パラメータは、動き推定先ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、先鋭化の度合いが大きくなるような値とする。先鋭化パラメータは、例えば超解像処理の際に付加される高周波帯域により設定することができる。付加される高周波帯域が高いほど、超解像処理時の先鋭化の度合いが大きくなる。なお、平滑化の度合いと同様に先鋭化の度合いもレンズの光学特性に依存するため、レンズの光学特性が既知でない場合には、先鋭化パラメータを複数設定するようにしてもよい。 On the other hand, when the object of the motion estimation destination block of the reference frame is located outside the depth of field and the object of the motion estimation source block of the reference frame is located inside the depth of field, , A sharpening parameter is determined. The sharpening parameter is set to a value such that the greater the difference between the subject distance and the focus distance of the object of the motion estimation destination block, the greater the degree of sharpening. The sharpening parameter can be set, for example, by a high-frequency band added at the time of super-resolution processing. The higher the added high-frequency band, the greater the degree of sharpening during super-resolution processing. Note that, like the degree of smoothing, the degree of sharpening also depends on the optical characteristics of the lens. If the optical characteristics of the lens are not known, a plurality of sharpening parameters may be set.

また、画像処理パラメータ決定部１０３は、基準フレームの動き推定元ブロックと参照フレームの動き推定先ブロックの奥行情報により、変倍処理を行うための画像処理パラメータを決定してもよい。 Further, the image processing parameter determination unit 103 may determine image processing parameters for performing the scaling process based on the depth information of the motion estimation source block of the reference frame and the motion estimation destination block of the reference frame.

例えば、基準フレームの動き推定元ブロックに対して参照フレームの動き推定先ブロックが手前方向にある場合には、その程度に応じて縮小率を決定する。逆に、基準フレームの動き推定元ブロックに対して参照フレームの動き推定先ブロックが奥方向にある場合には、その程度に応じて拡大率を決定する。奥行情報が被写体距離情報である場合には、例えば基準フレームの動き推定元ブロックの被写体距離に対する参照フレームの動き推定先ブロックの被写体距離の比を変倍率とする。 For example, when the motion estimation destination block of the reference frame is in the forward direction with respect to the motion estimation source block of the reference frame, the reduction ratio is determined according to the degree. Conversely, when the motion estimation destination block of the reference frame is in the depth direction with respect to the motion estimation source block of the reference frame, the enlargement ratio is determined according to the degree. When the depth information is the subject distance information, for example, the ratio of the subject distance of the motion estimation destination block of the reference frame to the subject distance of the motion estimation source block of the reference frame is set as the magnification.

なお、上述した画像処理パラメータ決定装置１０、及び画像処理装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像処理パラメータ決定装置１０、及び画像処理装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。 Note that a computer can be suitably used to function as the image processing parameter determining device 10 and the image processing device 1 described above. This can be realized by storing a program describing the processing content for realizing the function in the storage unit of the computer, and reading and executing the program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

このように、画像処理パラメータ決定装置１０及びそのプログラムは、被写界深度を算出するとともに、奥行情報を生成する。そして、奥行情報に基づくオブジェクトの被写界深度との位置関係から、平滑化処理又は先鋭化処理を行うための画像処理パラメータを決定する。そのため、被写界深度を考慮した奥行方向の動きに対応する画像処理パラメータを決定することができるようになる。 As described above, the image processing parameter determination device 10 and its program calculate depth of field and generate depth information. Then, an image processing parameter for performing a smoothing process or a sharpening process is determined based on a positional relationship between the object and the depth of field based on the depth information. Therefore, it becomes possible to determine an image processing parameter corresponding to the movement in the depth direction in consideration of the depth of field.

また、画像処理装置１及びそのプログラムは、上述の画像処理パラメータを用いて、参照フレームに対して画像処理を行い、修正参照フレームを生成する。その結果、参照フレーム内における、基準フレームに対して奥行方向の動きにより平滑化されたオブジェクトは先鋭化され、基準フレームに対して奥行方向の動きにより先鋭化されたオブジェクトは平滑化される。そのため、基準フレームと修正参照フレームとの間で動き推定を行うことにより、奥行方向の動きに対する動き推定の確度を向上させることができる。 Further, the image processing apparatus 1 and its program perform image processing on the reference frame using the above-described image processing parameters to generate a corrected reference frame. As a result, in the reference frame, the object smoothed by the movement in the depth direction with respect to the reference frame is sharpened, and the object sharpened by the movement in the depth direction with respect to the reference frame is smoothed. Therefore, by performing motion estimation between the reference frame and the modified reference frame, it is possible to improve the accuracy of the motion estimation for the motion in the depth direction.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the present invention. Therefore, the present invention should not be construed as being limited by the above-described embodiment, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiment can be combined into one, or one constituent block can be divided.

１画像処理装置
１０画像処理パラメータ決定装置
２０画像処理部
１０１被写界深度算出部
１０２奥行情報生成部
１０３画像処理パラメータ決定部
REFERENCE SIGNS LIST 1 image processing device 10 image processing parameter determination device 20 image processing unit 101 depth of field calculation unit 102 depth information generation unit 103 image processing parameter determination unit

Claims

参照フレームに対する画像処理に用いる画像処理パラメータを生成する画像処理パラメータ決定装置であって、
カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、
基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いられるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、
前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の内側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の外側に位置すると判定した場合には、平滑化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、
を備えることを特徴とする画像処理パラメータ決定装置。 An image processing parameter determination device that generates an image processing parameter used for image processing on a reference frame,
A depth of field calculation unit that calculates a depth of field based on camera parameters,
Generates depth direction motion information indicating the motion of the object in the depth direction between the reference frame and the reference frame, and generates, for a block used for motion estimation between the reference frame and the reference frame, the distance from the imaging surface to the subject. When subject distance information indicating a shooting distance exists, the subject distance information is used as depth information. When the subject distance information does not exist and the depth direction motion information exists, the subject A depth information generating unit that sets
Based on the depth information, when it is determined that the object of the motion estimation destination block of the reference frame is located inside the depth of field, and the object of the motion estimation source block of the reference frame is located outside the depth of field. Includes an image processing parameter determination unit that determines an image processing parameter for performing a smoothing process;
An image processing parameter determining apparatus comprising:

前記画像処理パラメータ決定部は、前記動き推定元ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、平滑化の度合いが大きくなるような値とすることを特徴とする、請求項１に記載の画像処理パラメータ決定装置。 2. The image processing parameter determination unit according to claim 1, wherein the value is such that the greater the difference between the subject distance and the focus distance of the object of the motion estimation source block, the greater the degree of smoothing. 3. An image processing parameter determination device as described in the above.

参照フレームに対する画像処理に用いる画像処理パラメータを生成する画像処理パラメータ決定装置であって、
カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、
基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いられるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、
前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の外側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の内側に位置すると判定した場合には、先鋭化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、
を備えることを特徴とする画像処理パラメータ決定装置。 An image processing parameter determination device that generates an image processing parameter used for image processing on a reference frame,
A depth of field calculation unit that calculates a depth of field based on camera parameters,
Generates depth direction motion information indicating the motion of the object in the depth direction between the reference frame and the reference frame, and generates a block for use in estimating the motion between the reference frame and the reference frame. When subject distance information indicating a shooting distance exists, the subject distance information is set as depth information. When the subject distance information does not exist and the depth direction motion information exists, the depth direction motion information A depth information generating unit that sets
Based on the depth information, when it is determined that the object of the motion estimation destination block of the reference frame is located outside the depth of field, and the object of the motion estimation source block of the reference frame is located inside the depth of field. Includes an image processing parameter determining unit that determines an image processing parameter for performing the sharpening process;
An image processing parameter determining apparatus comprising:

前記画像処理パラメータ決定部は、前記動き推定先ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、先鋭化の度合いが大きくなるような値とすることを特徴とする、請求項３に記載の画像処理パラメータ決定装置。 4. The image processing parameter determination unit according to claim 3, wherein the sharpening degree increases as the difference between the subject distance and the focus distance of the object of the motion estimation destination block increases. 5. An image processing parameter determination device as described in the above.

前記画像処理パラメータ決定部は、基準フレームの動き推定元ブロックと参照フレームの動き推定先ブロックの奥行情報により、変倍処理を行うための画像処理パラメータを決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理パラメータ決定装置。 The image processing parameter determining unit determines image processing parameters for performing a scaling process based on depth information of a motion estimation source block of a reference frame and a motion estimation destination block of a reference frame. The image processing parameter determination device according to any one of claims 1 to 4.

前記奥行情報生成部は、前記動き推定に用いるブロックに対して、前記被写体距離情報及び前記奥行方向動き情報が存在しない場合には、該ブロックに近接するブロックに対する被写体距離情報又は奥行方向動き情報を用いて前記奥行情報を生成することを特徴とする、請求項１から５のいずれか一項に記載の画像処理パラメータ決定装置。 The depth information generating unit, for a block used for the motion estimation, when the subject distance information and the depth direction motion information do not exist, the subject distance information or the depth direction motion information for a block close to the block. The image processing parameter determination device according to claim 1, wherein the depth information is generated using the image processing parameter.

前記奥行情報生成部は、ＳＵＲＦ特徴量又はＳＩＦＴ特徴量のマッチングを行う手法により前記奥行方向動き情報を生成することを特徴とする、請求項１から６のいずれか一項に記載の画像処理パラメータ決定装置。 The image processing parameter according to any one of claims 1 to 6, wherein the depth information generation unit generates the depth direction motion information by a method of matching a SURF feature amount or a SIFT feature amount. Decision device.

請求項１から７のいずれか一項に記載の画像処理パラメータ決定装置と、
前記画像処理パラメータを用いて、前記参照フレームに対して画像処理を行う画像処理部と、
を備えることを特徴とする画像処理装置。 An image processing parameter determination device according to any one of claims 1 to 7,
Using the image processing parameters, an image processing unit that performs image processing on the reference frame,
An image processing apparatus comprising:

コンピュータを、請求項１から７のいずれか一項に記載の画像処理パラメータ決定装置として機能させるためのプログラム。 A program for causing a computer to function as the image processing parameter determination device according to any one of claims 1 to 7.

コンピュータを、請求項８に記載の画像処理装置として機能させるためのプログラム。 A program for causing a computer to function as the image processing device according to claim 8.