JP2017184126A

JP2017184126A - Image processing device, control method therefor, and control program

Info

Publication number: JP2017184126A
Application number: JP2016071546A
Authority: JP
Inventors: 田島　香; Ko Tajima; 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2017-10-05

Abstract

PROBLEM TO BE SOLVED: To obtain a high quality image by effectively performing area dependent gradation correction when an omnidirectional image is transformed to a rectangular image to perform area dependent gradation correction.SOLUTION: A rectangular transformation processing unit 100 and first and second hierarchy image generation processing units 101 and 102 transform an omnidirectional image acquired by imaging for an omnidirectional direction of an imaging device into a rectangular image by geometrical transformation processing, and by dividing the rectangular image into a plurality of area images, generates a plurality of hierarchy images having different resolution from each other for each of the area images. First and second gradation corrected gain generation processing units 103 and 104, a gain synthesis processing unit 105, and a gradation correction processing unit 106 generate corrected gain on the basis of a hierarchy image acquired for each of the area images, and correct gradation of the rectangular image according to the corrected gain to obtain a corrected image.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、全周囲を撮像（全方位撮影）して得られた画像を処理する画像処理装置に関する。 The present invention relates to an image processing apparatus, a control method thereof, and a control program, and more particularly to an image processing apparatus that processes an image obtained by imaging the entire periphery (omnidirectional imaging).

従来、双曲面ミラー又は魚眼レンズを介して全周囲を一括して撮像して得られた画像（全方位画像という）を画像処理するための画像処理装置が知られている。全周囲を一括して撮像した際には、画像のダイナミックレンジが広くなる傾向がある。よって、画像処理装置では、黒つぶれおよび白飛びが発生しないように覆い焼き処理などに代表される領域別の階調補正処理を行う必要がある。 2. Description of the Related Art Conventionally, there is known an image processing apparatus for performing image processing on an image (referred to as an omnidirectional image) obtained by collectively capturing an entire periphery via a hyperboloid mirror or a fisheye lens. When the entire periphery is imaged collectively, the dynamic range of the image tends to be widened. Therefore, in the image processing apparatus, it is necessary to perform gradation correction processing for each region represented by dodging processing or the like so as not to cause blackout and whiteout.

領域別階調補正処理として、例えば、１つの画像から解像度の異なる複数の画像（階層画像という）を生成する。そして、これら画像のレベル差（信号レベルの差）を参照して領域毎に最適な階調補正を行うためのゲインマップを作成するようにしたものがある（特許文献１参照）。 As the area-specific gradation correction processing, for example, a plurality of images (referred to as hierarchical images) having different resolutions are generated from one image. In addition, there is a technique in which a gain map for performing optimum gradation correction for each region is created with reference to the level difference (signal level difference) of these images (see Patent Document 1).

ところが、全方位画像においては、撮像される半球面の極点に当たる部分（以下低像高領域という）と、その周辺部分（以下高像高領域という）とでは光学的な歪の差が大きい。このため、像高毎に階層画像の生成を制御する必要があり、その処理が複雑となる。コンパクトデジタルカメラに全方位撮影用の光学アタッチメントを取り付けて全方位撮影をしたとする。この場合には、通常の撮影と全方位撮影とにおいて互いに異なる画像処理を行う必要があり、処理回路が増大するばかりでなく、制御が複雑化する。このような問題に対処するため、例えば、全方位画像を矩形画像に変形した後、当該矩形画像に対して画像処理を行う画像処理装置がある（特許文献２参照）。 However, in an omnidirectional image, there is a large difference in optical distortion between a portion corresponding to a pole of a hemisphere to be imaged (hereinafter referred to as a low image height region) and a peripheral portion (hereinafter referred to as a high image height region). For this reason, it is necessary to control generation of hierarchical images for each image height, and the processing becomes complicated. Suppose that an omnidirectional optical attachment is attached to a compact digital camera and omnidirectional shooting is performed. In this case, it is necessary to perform different image processing in normal shooting and omnidirectional shooting, which not only increases the processing circuit but also complicates the control. In order to deal with such a problem, for example, there is an image processing apparatus that performs image processing on a rectangular image after transforming the omnidirectional image into a rectangular image (see Patent Document 2).

特開２００２−３００４６５号公報JP 2002-300465 A 特開２００３−２８４０５８号公報JP 2003-284058 A

東芝レビューＶｏｌ．６４Ｎｏ．６（２００９） “撮影画像の明るさ最適化技術ＣｏｎｔｒａｓｔＭａｇｉｃＴＭ”Toshiba Review Vol. 64 no. 6 (2009) “Brightness optimization technology for captured images Contrast Magic ™”

ところで、全方位画像を矩形に変換する際には、像高に応じて画像の変形量が異なり、全方位撮影の際に像高が低い領域ほど、変形後の解像度が低下する。前述のように、領域別階調補正処理においては、異なる解像度の画像（階層画像）の信号レベルを参照して、入力画像の領域を分割して領域毎に最適な階調補正を行う。 By the way, when an omnidirectional image is converted into a rectangle, the amount of deformation of the image varies depending on the image height, and the lower the image height in omnidirectional imaging, the lower the resolution after deformation. As described above, in the area-specific gradation correction processing, the input image area is divided by referring to the signal levels of images (hierarchical images) having different resolutions, and optimal gradation correction is performed for each area.

ところが、入力画像の解像度が低い場合には、入力画像から複数の低解像度の画像を生成しても、画像間の信号レベル差が小さくなる。このため、レベル差によって領域を分割して、領域毎に最適な階調補正ゲインを生成することが困難となってしまう。その結果、全方位画像を矩形画像に変形した場合には、全方位画像において像高が低い領域ほど解像度が低下してしまい、領域別階調補正の効果が低下してしまうことになる。 However, when the resolution of the input image is low, even if a plurality of low resolution images are generated from the input image, the signal level difference between the images becomes small. For this reason, it becomes difficult to divide the region by the level difference and generate an optimum gradation correction gain for each region. As a result, when an omnidirectional image is transformed into a rectangular image, the resolution is lowered in a region where the image height is lower in the omnidirectional image, and the effect of region-specific gradation correction is reduced.

従って、本発明の目的は、全方位画像を矩形画像に変形して領域別階調補正行う際に、領域別階調補正を効果的に行って高画質の画像を得ることができる画像処理装置、その制御方法、および制御プログラムを提供することにある。 Accordingly, an object of the present invention is to provide an image processing apparatus that can effectively perform gradation correction for each area and obtain a high-quality image when the omnidirectional image is transformed into a rectangular image to perform gradation correction for each area. And a control method thereof and a control program.

上記の目的を達成するため、本発明による画像処理装置は、撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置であって、前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理手段と、前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理手段と、を有することを特徴とする。 In order to achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus that obtains a corrected image by performing image processing on an omnidirectional image obtained by imaging an omnidirectional image of the imaging apparatus, A first processing means for transforming the image into a rectangular image by geometric deformation processing, dividing the rectangular image into a plurality of region images, and generating a plurality of hierarchical images having different resolutions for each of the region images; Second processing means for generating a correction gain based on the hierarchical image obtained for each of the region images, and correcting the gradation of the rectangular image according to the correction gain to obtain the correction image. It is characterized by that.

本発明によれば、全方位画像を矩形画像に変形して領域別階調補正行う際に、領域別階調補正を効果的に行って高画質の画像を得ることができる。 According to the present invention, when the omnidirectional image is transformed into a rectangular image and the gradation correction for each area is performed, the gradation correction for each area can be effectively performed to obtain a high-quality image.

本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。It is a block diagram which shows the structure about an example of the image processing apparatus by embodiment of this invention. 図１に示す画像処理装置に入力される全方位画像の撮像を示す図である。It is a figure which shows the imaging of the omnidirectional image input into the image processing apparatus shown in FIG. 図２に示す撮像によって得られた全方位画像の一例を示す図である。It is a figure which shows an example of the omnidirectional image obtained by the imaging shown in FIG. 図１に示す矩形変形処理部で矩形変形処理された画像の一例を示す図である。It is a figure which shows an example of the image which carried out the rectangular deformation process by the rectangular deformation process part shown in FIG. 図１に示す画像処理装置で行われる画像処理の一例を説明するためのフローチャートである。3 is a flowchart for explaining an example of image processing performed by the image processing apparatus shown in FIG. 1.

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。 Hereinafter, an example of an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of an example of an image processing apparatus according to an embodiment of the present invention.

図示の画像処理装置は、矩形変形処理部１００を備えており、矩形変形処理部１００には全方位画像（カメラの全周囲を撮像して得られた画像）が入力される。そして、矩形変形処理部１００は、後述するようにして、全方位画像を矩形画像に変形する。第１および第２の階層画像生成処理部１０１および１０２は、後述するようにして、それぞれ矩形画像から解像度の異なる複数の画像（階層画像）を生成する。 The illustrated image processing apparatus includes a rectangular deformation processing unit 100, and an omnidirectional image (an image obtained by capturing the entire periphery of the camera) is input to the rectangular deformation processing unit 100. Then, the rectangular deformation processing unit 100 deforms the omnidirectional image into a rectangular image as described later. The first and second hierarchical image generation processing units 101 and 102 generate a plurality of images (hierarchical images) having different resolutions from rectangular images, as described later.

第１および第２の階層補正ゲイン生成処理部１０３および１０４にはそれぞれ第１および第２の階層画像生成処理部１０１および１０２の出力である階層画像が入力される。第１および第２の階層補正ゲイン生成処理部１０３および１０４は階層画像に基づいてそれぞれ領域別階調補正ゲインを生成する。 The first and second hierarchical correction gain generation processing units 103 and 104 are input with hierarchical images that are the outputs of the first and second hierarchical image generation processing units 101 and 102, respectively. The first and second hierarchical correction gain generation processing units 103 and 104 generate region-specific gradation correction gains based on the hierarchical images, respectively.

なお、以下の説明では、第１および第２の階層画像生成処理部１０１および１０２の出力である階層画像をそれぞれ第１および第２の階層画像と呼ぶ。また、第１および第２の階層補正ゲイン生成処理部１０３および１０４の出力である領域別階調補正ゲインをそれぞれ第１および第２の領域別階調補正ゲインと呼ぶ。 In the following description, the hierarchical images that are the outputs of the first and second hierarchical image generation processing units 101 and 102 are referred to as first and second hierarchical images, respectively. The area-specific gradation correction gains output from the first and second hierarchical correction gain generation processing units 103 and 104 are referred to as first and second area-specific gradation correction gains, respectively.

第１および第２の領域別階調補正ゲインはゲイン合成処理部１０５に入力される。ゲイン合成処理部１０５は第１および第２の領域別階調補正ゲインを合成処理して合成後の領域別階調補正ゲインを出力する。階調補正処理部１０６は合成後の領域別階調補正ゲインに基づいて矩形画像について領域別階調補正を行う。制御部１０７は画像処理装置全体の制御を司る。 The first and second region-specific gradation correction gains are input to the gain composition processing unit 105. The gain composition processing unit 105 performs composition processing on the first and second region-specific gradation correction gains and outputs the region-specific gradation correction gains after the composition. The gradation correction processing unit 106 performs area-specific gradation correction on the rectangular image based on the combined area-specific gradation correction gain. A control unit 107 controls the entire image processing apparatus.

図２は、図１に示す画像処理装置に入力される全方位画像の撮像を示す図である。 FIG. 2 is a diagram illustrating imaging of an omnidirectional image input to the image processing apparatus illustrated in FIG.

全方位画像を撮像する際には、カメラ６００に備えられたレンズに対して、双曲面ミラー６０１を設置して撮像が行われる。なお、全方位画像を撮像する際には。双曲面ミラーの代わりに、例えば、魚眼レンズ又は円錐ミラーを用いてもよい。 When capturing an omnidirectional image, a hyperboloid mirror 601 is installed on the lens provided in the camera 600 to perform imaging. When taking an omnidirectional image. Instead of the hyperboloidal mirror, for example, a fisheye lens or a conical mirror may be used.

図３は、図２に示す撮像によって得られた全方位画像の一例を示す図である。 FIG. 3 is a diagram illustrating an example of an omnidirectional image obtained by the imaging illustrated in FIG.

前述の矩形変形処理部１００は全方位画像を、所定の位置で展開して、矩形画像に変形するための幾何変形処理を行う。例えば、図３に示す全方位画像を位置２０３で展開して幾何学変形処理によって矩形画像に変形する。 The rectangular deformation processing unit 100 described above performs geometric deformation processing for expanding an omnidirectional image at a predetermined position and deforming it into a rectangular image. For example, the omnidirectional image shown in FIG. 3 is developed at the position 203 and transformed into a rectangular image by a geometric transformation process.

いま、全方位画像が円錐ミラーを用いて撮像されたものとする。全方位画像においては、円錐ミラーの半球面の極点に当たる部分で反射され撮像面において像高の低い領域に結像された被写体像（低像高領域画像という）が存在する。さらに、全方位画像においては、円錐ミラーの半球面の周辺部分で反射され撮像面において像高の高い領域に結像される被写体像（高像高領域画像という）が存在する。そして、低像高領域画像と高像高領域画像とにおいては光学的な歪量が大きく異なる。 Assume that an omnidirectional image is captured using a conical mirror. In the omnidirectional image, there is a subject image (referred to as a low image height region image) that is reflected at a portion corresponding to the pole of the hemispherical surface of the conical mirror and is imaged in a low image height region on the imaging surface. Further, in the omnidirectional image, there is a subject image (referred to as a high image height region image) that is reflected by the peripheral portion of the hemispherical surface of the conical mirror and is formed in a region having a high image height on the imaging surface. The amount of optical distortion differs greatly between the low image high region image and the high image high region image.

図３に示す例においては、低像高領域画像２０２は高像高領域画像２０３よりも歪が大きい。このため、矩形変形処理部１０１は、全方位画像において低像高領域画像ほど大きく引き伸ばす必要がある。 In the example shown in FIG. 3, the low image high region image 202 is larger in distortion than the high image high region image 203. For this reason, it is necessary for the rectangular deformation processing unit 101 to enlarge the lower image height region image in the omnidirectional image.

図４は、図１に示す矩形変形処理部で矩形変形処理された画像の一例を示す図である。 FIG. 4 is a diagram illustrating an example of an image that has been subjected to rectangular deformation processing by the rectangular deformation processing unit illustrated in FIG. 1.

上述の理由から、矩形変形処理後の画像において、低像高領域画像から変形された画素領域３０２は、高像高領域画像から変形された画素領域３０１よりも変形処理による解像度の劣化が大きくなる。 For the reasons described above, in the image after the rectangular deformation process, the pixel area 302 deformed from the low image height area image has a larger resolution degradation due to the deformation process than the pixel area 301 deformed from the high image height area image. .

再び図１を参照して、第１の階層画像生成処理部１０１は、矩形変形処理後の画像（矩形画像）において全方位画像で所定の像高以上（つまり、閾値以上）の高像高の領域を矩形変形処理して得られた画像領域（高像高領域画像：領域１）を解像度変換する。これによって、第１の階層画像生成処理部１０１は、互いに解像度が異なる第１の階層画像Ｈ１、Ｍ１、およびＬ１を出力する。なお、高像高画像領域は、例えば、図４に示す画素領域３０１である。また、第１の階層画像Ｈ１、Ｍ１、およびＬ１の順に解像度が高いものとする。 Referring to FIG. 1 again, the first hierarchical image generation processing unit 101 has a high image height equal to or higher than a predetermined image height (that is, equal to or higher than a threshold value) in an omnidirectional image in an image after rectangular deformation processing (rectangular image). The resolution of an image region (high image high region image: region 1) obtained by subjecting the region to rectangular deformation processing is converted. Accordingly, the first hierarchical image generation processing unit 101 outputs first hierarchical images H1, M1, and L1 having different resolutions. Note that the high image height image region is, for example, a pixel region 301 shown in FIG. Further, it is assumed that the resolution is higher in the order of the first hierarchical images H1, M1, and L1.

第１の階調補正ゲイン生成処理部１０３は、第１の階層画像Ｈ１、Ｍ１、およびＬ１の画素レベル（つまり、信号レベル）を比較して領域分けを行う。そして、第１の階調補正ゲイン生成処理部１０３は当該領域毎に明るさおよびコントラストが適正になるように領域別の階調補正ゲインを生成する（この階調補正ゲインを第１の領域別階調補正ゲインとする）。 The first gradation correction gain generation processing unit 103 compares the pixel levels (that is, signal levels) of the first hierarchical images H1, M1, and L1 to perform region division. Then, the first tone correction gain generation processing unit 103 generates a tone correction gain for each region so that brightness and contrast are appropriate for each region (this tone correction gain is set for each first region). Tone correction gain).

領域分け処理を行う際には、低解像度画像の信号レベルを参照すると、ノイズおよび被写体のエッジに拘わらず、着目画素近傍の明るさを推定することができる。一方、明部と暗部の境界などコントラストの高い領域において、低解像度画像を参照すると、明部と暗部の境界の信号レベルが平均化されて領域の分離が難しくなる。よって、第１の階層補正ゲイン生成処理部１０３は、第１の階層画像Ｈ１、Ｍ１、およびＬ１の信号レベルを比較して、複数の解像度の画像（第１の階層画像）の信号レベルに応じた補正ゲインを合成する。これによって、領域毎に最適な階調補正を行うための第１の領域別補正ゲインを生成することができる。 When performing the area division processing, referring to the signal level of the low resolution image, the brightness in the vicinity of the target pixel can be estimated regardless of the noise and the edge of the subject. On the other hand, when a low-resolution image is referred to in a high-contrast region such as the boundary between the bright part and the dark part, the signal level at the boundary between the bright part and the dark part is averaged, making it difficult to separate the areas. Therefore, the first hierarchical correction gain generation processing unit 103 compares the signal levels of the first hierarchical images H1, M1, and L1, and responds to the signal levels of the images of the plurality of resolutions (first hierarchical image). Synthesize the corrected gain. As a result, it is possible to generate a first region-specific correction gain for performing optimum gradation correction for each region.

なお、領域別階調補正ゲイン生成処理および領域別階調補正処理については、例えば、非特許文献１に記載の手法が用いられる。 For example, the method described in Non-Patent Document 1 is used for the region-specific gradation correction gain generation processing and region-specific gradation correction processing.

第２の階層画像生成処理部１０２は、矩形変形処理後の画像（矩形画像）において全方位画像で所定の像高未満の低像高の領域を矩形変形処理して得られた画像領域（低像高領域画像：領域２）を解像度変換する。これによって、第２の階層画像生成処理部１０２は、互いに解像度が異なる第２の階層画像Ｈ２、Ｍ２、およびＬ２を出力する。なお、低像高画像領域は、例えば、図４に示す画素領域３０２である。また、第２の階層画像Ｈ２、Ｍ２、およびＬ２の順に解像度が高いものとする。 The second hierarchical image generation processing unit 102 performs an image region (low image area) obtained by performing a rectangular deformation process on a low image height area that is less than a predetermined image height in an omnidirectional image in a rectangular deformed image (rectangular image). Image height area image: The resolution of the area 2) is converted. Accordingly, the second hierarchical image generation processing unit 102 outputs second hierarchical images H2, M2, and L2 having different resolutions. The low image height image area is, for example, the pixel area 302 shown in FIG. It is assumed that the resolution is higher in the order of the second hierarchical images H2, M2, and L2.

ところで、全方位画像においては、像高が低い領域（つまり、低像高領域画像：画素領域３０２）では、矩形変形処理部１００における変形量が大きく解像度が低下する。このような低像高領域画像に基づいて階層画像を生成すると、これら階層画像間の階層画像間における信号レベルの差が極めて小さくなる。 By the way, in the omnidirectional image, in the region where the image height is low (that is, the low image height region image: pixel region 302), the deformation amount in the rectangular deformation processing unit 100 is large and the resolution is lowered. When a hierarchical image is generated based on such a low-image / high-region image, the difference in signal level between the hierarchical images between these hierarchical images becomes extremely small.

階層画像間における信号レベルの差が小さくなると、信号レベルの差を比較して領域分けをする場合に誤判定が生じ易い。例えば、低解像度画像を適用すべき領域に高解像度画像が適用されて、ノイズおよび被写体エッジの影響によって補正画像の画質が劣化することがある。さらに、高解像度画像を用いて補正領域と非補正領域との境界を規定する際に、低解像度画像を適用すると後判定される結果、領域の境界でコントラストが低下することがある。 If the difference in signal level between the hierarchical images is small, erroneous determination is likely to occur when the signal level difference is compared and the regions are divided. For example, a high-resolution image may be applied to an area where a low-resolution image is to be applied, and the image quality of the corrected image may deteriorate due to the influence of noise and subject edges. Furthermore, when the boundary between the correction area and the non-correction area is defined using the high resolution image, the determination may be made later when the low resolution image is applied. As a result, the contrast may be lowered at the boundary between the areas.

このような問題に対処するため、図示の画像処理装置においては、前述のように、第１および第２の階調補正ゲイン生成処理部１０１および１０２を設ける。そして、第１の階調補正ゲイン生成処理部１０１に高像高領域画像を入力し、第２の階調補正ゲイン生成処理部１０２に低像高領域画像を入力する。 In order to cope with such a problem, the image processing apparatus shown in the figure is provided with the first and second tone correction gain generation processing units 101 and 102 as described above. Then, the high image height region image is input to the first tone correction gain generation processing unit 101, and the low image height region image is input to the second tone correction gain generation processing unit 102.

さらに、後述するようにして、第１および第２の階調補正ゲイン生成処理部１０１および１０２における解像度変換処理を制御する。そして、解像度が低く低像高領域画像について解像度変換処理を行った結果得られる第２の階層画像Ｈ２、Ｍ２、およびＬ２に適切な信号レベル差をもたせる。第２の階層補正ゲイン生成処理部１０４は第２の階層画像Ｈ２、Ｍ２、およびＬ２の信号レベルを比較して信号レベルに応じた補正ゲインを合成する。これによって、領域毎に階調補正を行うための第２の領域別階調補正ゲインを適切に生成することができる。 Further, the resolution conversion processing in the first and second tone correction gain generation processing units 101 and 102 is controlled as will be described later. Then, an appropriate signal level difference is given to the second hierarchical images H2, M2, and L2 obtained as a result of performing the resolution conversion processing on the low-image high-region image with low resolution. The second hierarchy correction gain generation processing unit 104 compares the signal levels of the second hierarchy images H2, M2, and L2, and synthesizes a correction gain according to the signal level. Accordingly, the second region-specific gradation correction gain for performing gradation correction for each region can be appropriately generated.

ゲイン合成処理部１０５は、第１の領域別階調補正ゲインおよび第２の領域別階調補正ゲインを、全方位画像における像高に応じて合成して合成領域別階調補正ゲインを出力する。 The gain composition processing unit 105 synthesizes the first region-specific gradation correction gain and the second region-specific gradation correction gain according to the image height in the omnidirectional image, and outputs the composition region-specific gradation correction gain. .

前述のように、第１の階調補正ゲイン生成部１０３は、図４に示す画素領域３０１に対応する第１の領域別階調補正ゲインを生成する。また、第２の階調補正ゲイン生成部１０４は、図４に示す画素領域３０２に対応する第２の領域別階調補正ゲインを生成する。この際、ゲイン合成処理部１０５は、画素領域３０１および３０２の境界において領域別階調補正ゲインが不連続とならないように合成処理を行う。 As described above, the first tone correction gain generation unit 103 generates the first region-specific tone correction gain corresponding to the pixel region 301 shown in FIG. The second gradation correction gain generation unit 104 generates a second area-specific gradation correction gain corresponding to the pixel area 302 shown in FIG. At this time, the gain composition processing unit 105 performs composition processing so that the tone correction gain for each region does not become discontinuous at the boundary between the pixel regions 301 and 302.

例えば、第１および第２の階層画像生成処理部１０１および１０２において第１および第２の階層画像を生成する際、それぞれ図４に示す画素領域３０３を含むようにする。つまり、互いに隣接する画素領域（領域画像）の一部をオーバーラップさせる。これによって、第１および第２の階調補正ゲイン生成処理部１０３および１０４で生成される第１および第２の領域別階調補正ゲインについてその一部をオーバーラップさせる。ゲイン合成処理部１０４は第１および第２の領域別階調補正ゲインを合成する際、画素領域３０３において像高に応じて加重加算処理を行う。この結果、画素領域３０１および３０２の境界において、合成領域別階調補正ゲインを不連続とならないようにすることができる。 For example, when the first and second hierarchical image generation processing units 101 and 102 generate the first and second hierarchical images, the pixel regions 303 shown in FIG. 4 are included. That is, a part of pixel regions (region images) adjacent to each other is overlapped. As a result, the first and second gradation correction gain generation processing units 103 and 104 partially overlap the first and second area-specific gradation correction gains. When combining the first and second region-specific gradation correction gains, the gain combining processing unit 104 performs weighted addition processing in the pixel region 303 according to the image height. As a result, it is possible to prevent the tone correction gain for each synthesis region from becoming discontinuous at the boundary between the pixel regions 301 and 302.

階調補正処理部１０６は、ゲイン合成処理部１０５の出力である合成領域別階調補正ゲインに基づいて、矩形変形処理部１００の出力である矩形画像について領域別階調補正処理を行って、補正画像を出力する。 The gradation correction processing unit 106 performs region-specific gradation correction processing on the rectangular image output from the rectangular deformation processing unit 100 based on the combined region-specific gradation correction gain output from the gain composition processing unit 105. Output a corrected image.

図５は、図１に示す画像処理装置で行われる画像処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０７の制御下で行われる。 FIG. 5 is a flowchart for explaining an example of image processing performed by the image processing apparatus shown in FIG. The process according to the flowchart shown in the figure is performed under the control of the control unit 107.

デジタルカメラなどの撮像装置で撮像された全方位画像を受けると、画像処理装置は当該全方位画像について画像処理を開始する。まず、矩形変形処理部１００は、前述したようにして、全方位画像を矩形画像に変形する（ステップＳ１００１）。そして、制御部１０７は矩形画像において着目画素が全方位画像において低像高領域画像に位置していたかを判定する（ステップＳ１００２）。なお、着目画素とは、矩形画像におけるいずれかの画素であり、制御部１０７は矩形画像における全ての画素を順次着目画素とする。 When receiving an omnidirectional image captured by an imaging apparatus such as a digital camera, the image processing apparatus starts image processing for the omnidirectional image. First, the rectangular deformation processing unit 100 deforms an omnidirectional image into a rectangular image as described above (step S1001). Then, the control unit 107 determines whether the pixel of interest in the rectangular image is located in the low image height region image in the omnidirectional image (step S1002). Note that the target pixel is any pixel in the rectangular image, and the control unit 107 sequentially sets all the pixels in the rectangular image as the target pixel.

着目画素が低像高領域画像に位置していると（ステップＳ１００２において、ＹＥＳ）、第２の階層画像生成処理部１０２は低像高領域画像に応じて階層画像を生成する第２の階層画像生成処理を行う（ステップＳ１００３）。そして、第２の階層画像生成処理部１０２は第２の階層画像Ｈ２、Ｍ２、およびＬ２を出力する。第２の階層補正ゲイン生成処理部１０４は第２の階層画像Ｈ２、Ｍ２、およびＬ２に基づいて第２の領域別階調補正ゲイン生成処理を行う（ステップＳ１００４）。そして、第２の階層補正ゲイン生成処理部１０４は第２の領域別階調補正ゲインを出力する。 When the pixel of interest is located in the low image high region image (YES in step S1002), the second hierarchical image generation processing unit 102 generates the second hierarchical image that generates a hierarchical image according to the low image high region image. Generation processing is performed (step S1003). Then, the second hierarchical image generation processing unit 102 outputs the second hierarchical images H2, M2, and L2. The second hierarchy correction gain generation processing unit 104 performs a second area-specific gradation correction gain generation process based on the second hierarchy images H2, M2, and L2 (step S1004). Then, the second hierarchy correction gain generation processing unit 104 outputs a second area-specific gradation correction gain.

着目画素が高像高領域画像に位置していると（ステップＳ１００２において、ＮＯ）、第１の階層画像生成処理部１０１は高像高領域画像に応じて階層画像を生成する第１の階層画像生成処理を行う（ステップＳ１００５）。そして、第１の階層画像生成処理部１０１は第１の階層画像Ｈ１、Ｍ１、およびＬ１を出力する。第１の階層補正ゲイン生成処理部１０３は第１の階層画像Ｈ１、Ｍ１、およびＬ１に基づいて第１の領域別階調補正ゲイン生成処理を行う（ステップＳ１００６）。そして、第１の階層補正ゲイン生成処理部１０３は第１の領域別階調補正ゲインを出力する。 When the pixel of interest is located in the high-image high-area image (NO in step S1002), the first hierarchical image generation processing unit 101 generates the hierarchical image according to the high-image high-area image. Generation processing is performed (step S1005). Then, the first hierarchical image generation processing unit 101 outputs the first hierarchical images H1, M1, and L1. The first hierarchy correction gain generation processing unit 103 performs a first area-specific gradation correction gain generation process based on the first hierarchy images H1, M1, and L1 (step S1006). Then, the first hierarchy correction gain generation processing unit 103 outputs the first area-specific gradation correction gain.

ステップＳ１００４およびＳ１００６の後、ゲイン合成処理部１０５は、前述のようにして、第１および第２の領域別階調補正ゲインを像高に応じて合成して、合成領域別階調補正ゲインを得る（ステップＳ１００７）。そして、階層補正処理部１０６は合成領域別階調補正ゲインに基づいて矩形画像を補正処理して補正画像を生成して（ステップＳ１００８）、画像処理を終了する。 After steps S1004 and S1006, the gain composition processing unit 105 synthesizes the first and second region-specific gradation correction gains according to the image height as described above, and obtains the composition region-specific gradation correction gain. Obtain (step S1007). Then, the hierarchy correction processing unit 106 corrects the rectangular image based on the gradation correction gain for each synthesis region to generate a corrected image (step S1008), and ends the image processing.

このように、本発明の実施の形態では、全方位画像を矩形画像に変形して領域別階調補正処理を行う際、全方位画像において像高が低い領域について、高解像度の階層画像との信号レベル差が大きくなるように階層画像を生成する。これによって、全方位画像を矩形画像に変形する際の像高に起因する解像度の劣化による領域別階調補正処理の効果の低減を防止することができる。その結果、良好な画質の補正画像を得ることができる。 As described above, in the embodiment of the present invention, when the omnidirectional image is transformed into a rectangular image and the area-specific gradation correction processing is performed, a region having a low image height in the omnidirectional image is compared with the high-resolution hierarchical image. A hierarchical image is generated so that the signal level difference becomes large. As a result, it is possible to prevent a reduction in the effect of the gradation correction processing for each region due to degradation in resolution caused by the image height when the omnidirectional image is transformed into a rectangular image. As a result, a corrected image with good image quality can be obtained.

なお、上述の実施の形態では全方位画像の像高に基づいて、矩形画像を低像高領域画像（低解像度画像）と高像高領域画像（高解像度画像）に分けて、これら低像高領域画像および高像高領域画像の各々について階層画像を生成した。つまり、矩形画像を２つの領域に分けてそれぞれ階層画像を生成するようにしたが、矩形画像を３つ以上の領域に分けるようにしてもよい。 In the above-described embodiment, the rectangular image is divided into a low image high region image (low resolution image) and a high image high region image (high resolution image) based on the image height of the omnidirectional image. A hierarchical image was generated for each of the region image and the high image high region image. That is, the rectangular image is divided into two regions and the hierarchical images are generated, respectively, but the rectangular image may be divided into three or more regions.

上述の説明から明らかなように、図１に示す例では、矩形変形処理部１００と第１および第２の階層画像生成処理部１０１および１０２が第１の処理手段として機能する。また、第１および第２の階調補正ゲイン生成処理部１０３および１０４、ゲイン合成処理部１０５、および階調補正処理部１０６は第２の処理手段として機能する。 As is apparent from the above description, in the example shown in FIG. 1, the rectangular deformation processing unit 100 and the first and second hierarchical image generation processing units 101 and 102 function as first processing means. The first and second tone correction gain generation processing units 103 and 104, the gain synthesis processing unit 105, and the tone correction processing unit 106 function as second processing means.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the image processing apparatus. In addition, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the image processing apparatus. The control program is recorded on a computer-readable recording medium, for example.

［その他の実施形態］
上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other Embodiments]
A program that realizes one or more functions of the above-described embodiments is supplied to a system or apparatus via a network or a storage medium. The present invention can also be realized by a process in which one or more processors in the computer of the system or apparatus read and execute the program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００矩形変形処理部
１０１第１の階層画像生成処理部
１０２第２の階層画像生成処理部
１０３第１の階調補正ゲイン生成処理部
１０４第２の階調補正ゲイン生成処理部
１０５ゲイン合成処理部
１０６階調補正処理部
１０７制御部 DESCRIPTION OF SYMBOLS 100 Rectangular deformation process part 101 1st hierarchy image generation process part 102 2nd hierarchy image generation process part 103 1st gradation correction gain generation process part 104 2nd gradation correction gain generation process part 105 Gain composition process part 106 gradation correction processing unit 107 control unit

Claims

撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置であって、
前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理手段と、
前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理手段と、
を有することを特徴とする画像処理装置。 An image processing device that obtains a corrected image by performing image processing on an omnidirectional image obtained by imaging the omnidirectional image of the imaging device,
First processing means for transforming the omnidirectional image into a rectangular image by geometric deformation processing, dividing the rectangular image into a plurality of region images, and generating a plurality of hierarchical images having different resolutions for each of the region images When,
Second processing means for generating a correction gain based on the hierarchical image obtained for each of the region images and correcting the gradation of the rectangular image according to the correction gain to obtain the correction image;
An image processing apparatus comprising:

前記第１の処理手段は、前記領域画像として前記矩形画像を前記全方位画像における像高が所定の像高以上の領域である高像高領域画像と前記全方位画像における像高が所定の像高未満の領域である低像高領域画像とに分けることを特徴とする請求項１に記載の画像処理装置。 The first processing means includes the rectangular image as the region image, a high image height region image in which the image height in the omnidirectional image is equal to or higher than a predetermined image height, and an image height in the omnidirectional image is a predetermined image. The image processing apparatus according to claim 1, wherein the image processing apparatus is divided into a low-image high-area image that is an area less than high.

前記第２の処理手段は、前記第１の処理手段において前記高像高領域画像に基づいて得られた第１の階層画像に基づいて第１の階調補正ゲインを求め、前記第１の処理手段において前記低像高領域画像に基づいて得られた第２の階層画像に基づいて第２の階調補正ゲインを求めて、前記第１の階調補正ゲインおよび前記第２の階調補正ゲインを全方位画像における像高に応じて合成して前記補正ゲインを求めることを特徴とする請求項２に記載の画像処理装置。 The second processing means obtains a first gradation correction gain based on a first hierarchical image obtained based on the high image height region image in the first processing means, and the first processing means Means for obtaining a second gradation correction gain based on the second hierarchical image obtained based on the low image height region image, and the first gradation correction gain and the second gradation correction gain. The image processing apparatus according to claim 2, wherein the correction gain is obtained by combining the images according to an image height in an omnidirectional image.

前記第１の処理手段は全方位画像における像高が低い領域画像ほど、前記階層画像の解像度を低くすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 4. The image processing apparatus according to claim 1, wherein the first processing unit lowers the resolution of the hierarchical image as the area image has a lower image height in the omnidirectional image. 5.

前記第１の処理手段は、前記矩形画像を複数の領域画像に分ける際、互いに隣接する領域画像においてその一部がオーバーラップするように、前記矩形画像を複数の領域画像に分けることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 The first processing means divides the rectangular image into a plurality of area images so that when the rectangular image is divided into a plurality of area images, some of the adjacent area images overlap each other. The image processing apparatus according to any one of claims 1 to 4.

撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置の制御方法であって、
前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理ステップと、
前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理ステップと、
を有することを特徴とする制御方法。 An image processing apparatus control method for obtaining a corrected image by performing image processing on an omnidirectional image obtained by imaging an omnidirectional image of an imaging apparatus,
A first processing step of transforming the omnidirectional image into a rectangular image by geometric deformation processing, dividing the rectangular image into a plurality of region images, and generating a plurality of hierarchical images having different resolutions for each of the region images. When,
A second processing step of generating a correction gain based on the hierarchical image obtained for each of the region images, and correcting the gradation of the rectangular image according to the correction gain to obtain the correction image;
A control method characterized by comprising:

撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置で用いられる制御プログラムであって、
前記画像処理装置に備えられたコンピュータに、
前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理ステップと、
前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理ステップと、
を実行させることを特徴とする制御プログラム。 A control program used in an image processing apparatus that obtains a corrected image by performing image processing on an omnidirectional image obtained by imaging an omnidirectional image of the imaging apparatus,
In the computer provided in the image processing apparatus,
A first processing step of transforming the omnidirectional image into a rectangular image by geometric deformation processing, dividing the rectangular image into a plurality of region images, and generating a plurality of hierarchical images having different resolutions for each of the region images. When,
A second processing step of generating a correction gain based on the hierarchical image obtained for each of the region images, and correcting the gradation of the rectangular image according to the correction gain to obtain the correction image;
A control program characterized by causing