JP2011182189A - Image processing device and image processing program - Google Patents
Image processing device and image processing program Download PDFInfo
- Publication number
- JP2011182189A JP2011182189A JP2010044371A JP2010044371A JP2011182189A JP 2011182189 A JP2011182189 A JP 2011182189A JP 2010044371 A JP2010044371 A JP 2010044371A JP 2010044371 A JP2010044371 A JP 2010044371A JP 2011182189 A JP2011182189 A JP 2011182189A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- standard deviation
- expansion
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 94
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 62
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、カメラで撮影した画像を入力画像として扱う画像処理装置およびカメラ映像の輝度伸張アルゴリズムに特徴をもつ画像処理プログラムに関する。 The present invention relates to an image processing apparatus that handles an image captured by a camera as an input image, and an image processing program characterized by a luminance expansion algorithm for camera video.
カメラ映像において、照明がない場合など照度が不足している状況において、画面が真っ黒になる場合がある。また逆に西日など強い光が差し込んだ場合など、画面が真っ白になる場合がある。このように局所的な階調に輝度が集まり、画面全体のコントラストがなくなり、監視や画像処理に不向きとなる映像となる場合がある。 In a camera image, when the illumination is insufficient, such as when there is no illumination, the screen may be black. On the other hand, the screen may be completely white, such as when a strong light such as a western sun is inserted. In this way, luminance is concentrated in local gradations, the contrast of the entire screen is lost, and there is a case where the video becomes unsuitable for monitoring or image processing.
一般的には、モノクロの入力画像に対して、暗い輝度が多いと判断した場合には、低階調部分に多くの階調を割り当て、逆に白い部分が多いと判断した場合には、高階調部分に多くの階調を割り当てる。従来の技術としては、(1)「線形変換」、(2)「標準偏差方式」、(3)「ヒストグラム平準化」等があるが、(1)、(2)の場合、平均値や分散を利用しただけでは、輝度の分布割合を求めることが難しく、また伸張するためのパラメータを経験等から決定する必要がある。一方、(3)の場合は、階調数を少なくする方法であることから伸張した結果の画像が粗くなる傾向にある。さらに他の輝度伸張技術として、エッジ強調のための画素値変換関数をシグモイド関数から導出し、この画素値変換関数に基づいてエッジ強調された処理画像を得る画像処理技術が存在した(特許文献1)。 Generally, when it is determined that there is a lot of dark luminance for a monochrome input image, many gradations are assigned to the low gradation part, and conversely, when it is determined that there are many white parts, Assign a large number of gradations to the key part. Conventional techniques include (1) “linear transformation”, (2) “standard deviation method”, (3) “histogram leveling”, etc. In the cases of (1) and (2), the average value and variance It is difficult to obtain the luminance distribution ratio only by using, and it is necessary to determine the parameters for expansion from experience. On the other hand, in the case of (3), the expanded image tends to be rough because it is a method of reducing the number of gradations. As another luminance expansion technique, there is an image processing technique in which a pixel value conversion function for edge enhancement is derived from a sigmoid function and an edge-enhanced processed image is obtained based on the pixel value conversion function (Patent Document 1). ).
しかしながら、この画像処理技術においては、輝度平均値が高いときのシグモイド曲線は右上にシフトされ、低いときのシグモイド曲線は左下にシフトされるため、平均値が高いときの小さい輝度値、平均値が低いときの小さい輝度値がそれぞれ一定値(固定値又は0)となり、処理対象画面全体について正しい輝度補正が行えないという問題がある。 However, in this image processing technique, the sigmoid curve when the luminance average value is high is shifted to the upper right, and the sigmoid curve when the luminance average value is low is shifted to the lower left. A small luminance value at a low time becomes a constant value (fixed value or 0), and there is a problem that correct luminance correction cannot be performed on the entire processing target screen.
上記問題点に鑑み、本発明者は、経験に基づくパラメータを必要とせず、かつ階調を低下させることなく、最低輝度値により近い階調部分および最高輝度値により近い階調部分の各輝度差に対して安定したきめの細かい画質改善を図ることのできる画像伸張処理機能をもつ画像処理装置および画像処理プログラムを実現した(特許第4340303号)。 In view of the above problems, the present inventor does not need a parameter based on experience and does not reduce the gradation, and each luminance difference between the gradation portion closer to the lowest luminance value and the gradation portion closer to the highest luminance value. In contrast, an image processing apparatus and an image processing program having an image expansion processing function capable of achieving stable and fine image quality improvement have been realized (Japanese Patent No. 4340303).
この特許第4340303号による輝度伸張技術は、入力画像の平均輝度値が中心輝度値以下であるとき凸曲線による輝度変換テーブルを用い、中心輝度値より大きいとき凹曲線による輝度変換テーブルを用いて、入力画像に対する輝度伸張出力画像を作成するもので、これにより最低輝度値により近い階調部分および最高輝度値により近い階調部分の各輝度差に対して安定したきめの細かい画質を得ている。 The luminance expansion technique according to this patent No. 4340303 uses a luminance conversion table by a convex curve when the average luminance value of the input image is equal to or less than the central luminance value, and uses a luminance conversion table by a concave curve when the average luminance value is larger than the central luminance value, A brightness expanded output image for an input image is created. With this, a stable and fine image quality is obtained with respect to each luminance difference between a gradation portion closer to the lowest luminance value and a gradation portion closer to the highest luminance value.
この輝度伸張技術においては、入力画像(注目エリア)の平均輝度値に従い、凸曲線による輝度変換テーブルまたは凹曲線による輝度変換テーブルを用いて画面全体の輝度伸張が行われることから、輝度の強調度合いは低く、これに対して、上記した輝度伸張技術に加え、入力画像の注目エリアにおける画面全体のコントラストをよりダイナミックに変化させて出力することのできる輝度伸張技術が新たに要求されるに至った。 In this luminance expansion technique, the luminance enhancement of the entire screen is performed using the luminance conversion table by the convex curve or the luminance conversion table by the concave curve according to the average luminance value of the input image (target area). In contrast to this, in addition to the above-described luminance expansion technology, a new luminance expansion technology has been required that can change the overall contrast of the screen in the attention area of the input image more dynamically. .
本発明は上記実情に鑑みなされたもので、経験に基づくパラメータを必要とせず、入力画像における注目エリアの画像から輝度伸張パラメータを自動算出し、かつ、入力画像の注目エリアにおける画面全体の明暗の度合いを任意の可変量で強調補正できる画像処理装置および画像処理プログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, does not require parameters based on experience, automatically calculates the luminance expansion parameter from the image of the area of interest in the input image, and controls the brightness of the entire screen in the area of interest of the input image. An object is to provide an image processing apparatus and an image processing program capable of emphasizing and correcting the degree by an arbitrary variable amount.
本発明は、輝度伸張処理の対象となる入力画像について注目エリアの平均輝度を算出する平均輝度算出手段と、前記注目エリアの標準偏差を算出する標準偏差算出手段と、前記平均輝度算出手段により算出された平均輝度の値と前記標準偏差算出手段により算出された標準偏差の値を用いてシグモイド関数曲線に従う輝度伸張パラメータを生成する輝度伸張パラメータ生成手段と、前記輝度伸張パラメータ生成手段により生成された輝度伸張パラメータを用いて前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を具備した画像処理装置を特徴とする。 According to the present invention, an average luminance calculating unit that calculates an average luminance of an attention area for an input image to be subjected to luminance expansion processing, a standard deviation calculating unit that calculates a standard deviation of the attention area, and an average luminance calculating unit A luminance expansion parameter generating means for generating a luminance expansion parameter according to a sigmoid function curve using the average brightness value and the standard deviation value calculated by the standard deviation calculating means, and the luminance expansion parameter generating means The image processing apparatus includes image conversion means for creating a luminance expansion output image for the input image using a luminance expansion parameter.
また、本発明は、カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、前記画像バッファに保持した入力画像について注目エリアの平均輝度と標準偏差を算出する機能と、前記算出された平均輝度の値と標準偏差の値を用いてシグモイド関数曲線に従う輝度伸張パラメータを生成する機能と、前記生成された輝度伸張パラメータを用いて前記入力画像に対する輝度伸張出力画像を作成する機能と、を実現させるための画像処理プログラムを特徴とする。 According to the present invention, an input image captured by a camera is stored in an image buffer, and a gamma correction is performed on the input image on the image buffer. And a function for calculating a standard deviation, a function for generating a luminance expansion parameter according to a sigmoid function curve using the calculated average luminance value and standard deviation value, and the input using the generated luminance expansion parameter And an image processing program for realizing a function of creating a luminance expansion output image for the image.
本発明によれば、経験に基づくパラメータを必要とせず、入力画像における注目エリアの画像から輝度伸張パラメータを自動算出できるとともに、入力画像の注目エリアにおける画面全体の明暗の度合いを任意の可変量で強調補正できる輝度伸張機能を備えた画像処理装置を提供できる。 According to the present invention, it is possible to automatically calculate the luminance expansion parameter from the image of the area of interest in the input image without requiring a parameter based on experience, and to set the degree of brightness of the entire screen in the area of interest of the input image by an arbitrary variable amount. It is possible to provide an image processing apparatus having a luminance expansion function capable of emphasizing correction.
以下図面を参照して本発明の実施形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本発明の実施形態に係る画像処理装置の要部の構成要素を図1に示す。図1に示す輝度伸張処理部1は、単眼カメラで撮影した画像を入力画像として、当該入力画像について輝度伸張処理(ガンマ補正)を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、QVGA(320画素×240画素)の0〜255階調の入力画像を対象に設定された注目エリアの画像を輝度伸張処理する。
The components of the main part of the image processing apparatus according to the embodiment of the present invention are shown in FIG. The luminance
この輝度伸張処理部1における輝度伸張処理では、ガンマ(γ)補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための輝度伸張パラメータを入力画像における注目エリアの画像の平均輝度と標準偏差から自動算出する手段を具備した。
In the luminance expansion processing in the luminance
この輝度伸張処理部1による輝度伸張パラメータの自動算出では、輝度伸張処理の対象となる入力画像について注目エリアの平均輝度と標準偏差を算出し、この平均輝度の値と標準偏差の値をもとにシグモイド関数曲線に従う輝度伸張パラメータを生成する。このシグモイド関数曲線に従う輝度伸張パラメータを用いて上記入力画像に対する輝度伸張出力画像を作成する。ここでは、注目エリアの平均輝度値を変曲点とするシグモイド関数曲線に対して、その変曲点を中心とした傾きを標準偏差(σ)をパラメータ要素に可変制御する。このシグモイド関数曲線を用いた輝度伸張処理をここではシグモイド輝度伸張処理と称す。
In the automatic calculation of the luminance expansion parameter by the luminance
このシグモイド輝度伸張処理により、経験的なパラメータを一切必要とせずに、入力画像のみから伸張用パラメータを自動算出できるとともに、入力画像の注目エリアにおける画面全体の明暗の度合いを任意の可変量で強調補正できる輝度伸張機能を実現できる。一例を挙げると、路面の凹凸が際立つ出力画像を得ることができる。このシグモイド輝度伸張処理を、例えば、単眼カメラの映像を用いた動物体の追跡処理技術に適用することで、検知、追跡の対象となる動物体(オブジェクト画像)について、キャプチャ画像の限界を超えたより監視し易い、より高解像度の鮮明画像を監視員に対して提供することができる。 With this sigmoid luminance expansion process, expansion parameters can be automatically calculated from only the input image without any empirical parameters, and the degree of light and darkness of the entire screen in the target area of the input image can be emphasized by an arbitrary variable amount. A luminance expansion function that can be corrected can be realized. As an example, it is possible to obtain an output image in which the unevenness of the road surface is conspicuous. For example, by applying this sigmoid luminance expansion processing to the tracking processing technology of moving objects using the image of a monocular camera, the moving object (object image) to be detected and tracked is beyond the limit of the captured image. It is possible to provide a monitor with a clearer image with higher resolution that is easy to monitor.
図1に示す輝度伸張処理部1の輝度伸張処理動作について、図2乃至図6を参照して説明する。図2は上記輝度伸張処理部1の輝度伸張処理動作を説明するための動作説明図、図3は上記実施形態に係る輝度伸張処理に適用されるシグモイド関数曲線の特性図、図4乃至図6はそれぞれ上記実施形態に係る輝度変換テーブルの入出力変換特性を示す図である。
The luminance expansion processing operation of the luminance
本発明の実施形態は、図2に示すように、先ず、単眼カメラで撮影した入力画像(320画素×240画素)2について、予め設定された注目エリア3の平均輝度を求め、さらに同注目エリア3の輝度の標準偏差を求める。 In the embodiment of the present invention, as shown in FIG. 2, first, for an input image (320 pixels × 240 pixels) 2 photographed by a monocular camera, an average brightness of a preset attention area 3 is obtained, and further, the attention area. The standard deviation of the luminance of 3 is obtained.
この平均輝度と標準偏差をシグモイド関数曲線に適用して、そのシグモイド関数曲線に従う輝度伸張パラメータ(シグモイド関数曲線パラメータ)を取得し、このシグモイド関数曲線パラメータを用いて輝度変換テーブル4を作成する。この輝度変換テーブル4の入出力変換特性については図4乃至図6を参照して後述する。 The average luminance and the standard deviation are applied to the sigmoid function curve to obtain a luminance extension parameter (sigmoid function curve parameter) according to the sigmoid function curve, and the luminance conversion table 4 is created using the sigmoid function curve parameter. The input / output conversion characteristics of the luminance conversion table 4 will be described later with reference to FIGS.
このように本発明の実施形態における画像処理装置は、シグモイド関数曲線を利用した非線形輝度伸張処理機能を有する輝度伸張処理部1を実装し、入力映像に適したより見易い画像の出力機能を実現している。
As described above, the image processing apparatus according to the embodiment of the present invention implements the luminance
この非線形輝度伸張処理に用いるシグモイド関数曲線の特性図を図3に示している。図3において、Mは入力画像(注目エリア)の平均輝度、σは標準偏差、太線で示すs字状の曲線は、下式(同図の右上に併記)で得られたシグモイド関数曲線である。
具体的には、注目エリアの輝度平均値と標準偏差を利用して、シグモイド曲線のパラメータ(M、α)を決定する。 Specifically, parameters (M, α) of the sigmoid curve are determined using the average luminance value and standard deviation of the area of interest.
ここで、M=輝度平均値、α=標準偏差から自動的に求められる係数である。 Here, M = luminance average value, α = a coefficient automatically obtained from the standard deviation.
αの算出方法は、下式の通りとする。なお、αは、最小値=1、最大値=50とする。また、M±Kσの範囲を25〜230とする(Δ=25の場合で、Δを外部パラメータとする)。 The calculation method of α is as follows. Note that α is set to minimum value = 1 and maximum value = 50. Further, the range of M ± Kσ is set to 25 to 230 (when Δ = 25, Δ is an external parameter).
ここで、Mとσは、輝度の分布から自動的に算出される値であり、Kは固定値(1,2,3,…)とする。 Here, M and σ are values automatically calculated from the luminance distribution, and K is a fixed value (1, 2, 3,...).
まず、ΔからRangeMax=255−Δ(例=230)とRangeMin=Δ(例=25)を求める。
なお、(ln RangeMax − ln RangeMin)は、固定値として予め算出が可能である。 Note that (ln RangeMax−ln RangeMin) can be calculated in advance as a fixed value.
上記式から明らかなように、σ(Kσ)が小さくなれば、αは大きくなり、注目エリアの平均輝度値を変曲点とするシグモイド関数曲線の傾きは変曲点を中心に急峻になる(輝度伸張の度合い(変化)が大きくなる)。また、σ(Kσ)が大きくなれば、αは小さくなり、注目エリアの平均輝度値を変曲点とするシグモイド関数曲線の傾きは変曲点を中心に緩やかになる。 As is clear from the above equation, as σ (Kσ) decreases, α increases and the slope of the sigmoid function curve with the average luminance value of the area of interest as the inflection point becomes steep around the inflection point ( The degree of brightness expansion (change) increases.) As σ (Kσ) increases, α decreases, and the slope of the sigmoid function curve having the average luminance value of the area of interest as the inflection point becomes gentle around the inflection point.
この具体例を図4乃至図6に示している。図4乃至図6はそれぞれ輝度変換テーブル4の入出力変換特性を示したもので、図4は注目エリアの平均輝度が全階調(0〜255)の中心輝度値(M=128)にあるときの輝度変換テーブル4の入出力変換特性を示し、図5は注目エリアの平均輝度が低い輝度値(M=50)にあるときの輝度変換テーブル4の入出力変換特性を示し、図6は注目エリアの平均輝度が高い輝度値(M=200)にあるときの輝度変換テーブル4の入出力変換特性を示している。この図4乃至図6に示す入出力変換特性において、Kσを異ならせた(可変した)4種のシグモイド関数曲線のうち、太実線で示すKσ=10のときの関数曲線の傾きが最も急峻であり、輝度伸張の度合い(変化)が最も大きい。Kσの値が大きくなる程(max=50)関数曲線の傾きが緩やか(なだらか)になり、輝度伸張の度合い(変化)が小さくなる。 Specific examples of this are shown in FIGS. 4 to 6 show the input / output conversion characteristics of the luminance conversion table 4, respectively. In FIG. 4, the average luminance of the attention area is the central luminance value (M = 128) of all gradations (0 to 255). FIG. 5 shows the input / output conversion characteristics of the luminance conversion table 4 when the average luminance of the area of interest is at a low luminance value (M = 50), and FIG. The input / output conversion characteristics of the luminance conversion table 4 when the average luminance of the attention area is at a high luminance value (M = 200) are shown. In the input / output conversion characteristics shown in FIGS. 4 to 6, among the four types of sigmoid function curves having different (variable) Kσ, the slope of the function curve when Kσ = 10 indicated by the bold solid line is the steepest. Yes, the degree of brightness expansion (change) is the largest. As the value of Kσ increases (max = 50), the slope of the function curve becomes gentler (gradual), and the degree (change) of luminance expansion decreases.
上記したように本発明の実施形態では、輝度伸張のための輝度伸張パラメータを入力画像における注目エリアの画像の平均輝度と標準偏差からシグモイド関数曲線を用いて自動算出する構成としたことにより、経験的なパラメータを一切必要とせずに、入力画像のみから伸張用パラメータを自動算出できるとともに、入力画像の注目エリアにおける画面全体の明暗(コントラスト)の度合いを任意の可変量で強調補正できる輝度伸張機能を実現でき、単眼カメラの映像を用いた動物体の追跡処理技術に適用することで、動物体(オブジェクト画像)の検知、追跡が容易な監視システムを構築できる。 As described above, in the embodiment of the present invention, the luminance expansion parameter for luminance expansion is automatically calculated from the average luminance and standard deviation of the image of the area of interest in the input image by using the sigmoid function curve. Luminance expansion function that can automatically calculate expansion parameters only from the input image without requiring any special parameters, and can enhance and correct the degree of contrast (contrast) of the entire screen in the target area of the input image by any variable amount By applying this to the tracking processing technology for moving objects using a monocular camera image, a monitoring system that can easily detect and track moving objects (object images) can be constructed.
上記実施形態をより具現化した一例を図7乃至図11に示している。図7は本発明の実施形態に係る画像処理装置の構成を示すブロック図、図8は同実施形態に係る前置画像処理部に設けられた輝度伸張処理部の構成を示すブロック図、図9は上記輝度伸張処理部の処理手順を示すフローチャート、図10および図11は上記輝度伸張処理部の処理手順をより詳細に示すフローチャートである。なお、ここでは、画像処理装置の前置画像処理部に、本発明の要旨とするところの輝度伸張処理機能部を設けた構成を例示するが、上記輝度伸張処理機能部は図7に示す構成の画像処理装置に限らず、例えば、単にカメラ映像に対して輝度伸張処理を施す画像処理装置等、種々の画像処理装置に適用可能である。 An example that further embodies the above embodiment is shown in FIGS. 7 is a block diagram showing the configuration of the image processing apparatus according to the embodiment of the present invention, FIG. 8 is a block diagram showing the configuration of the luminance expansion processing unit provided in the front image processing unit according to the embodiment, and FIG. FIG. 10 and FIG. 11 are flowcharts showing in more detail the processing procedure of the luminance expansion processing unit. Here, the configuration in which the luminance expansion processing function unit as the gist of the present invention is provided in the front image processing unit of the image processing apparatus is illustrated, but the luminance expansion processing function unit is configured as shown in FIG. For example, the present invention can be applied to various image processing apparatuses such as an image processing apparatus that simply performs luminance expansion processing on camera video.
本発明の実施形態に係る画像処理装置は、図7に示すように、カメラ11と、キャプチャ部12と、前置画像処理部13と、画像処理部14と、表示部15とを具備して構成される。
As shown in FIG. 7, the image processing apparatus according to the embodiment of the present invention includes a
カメラ11は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子(例えばCCD固体撮像素子、若しくはCMOSイメージセンサ)とを具備して、屋外若しくは屋内の動きを伴う被写体(動物体)を対象に、撮像した一画面分の画像を所定の画素単位(例えば1フレーム320×240画素=QVGA)で出力する。
The
キャプチャ部12は、カメラ11が撮像したフレーム単位の画像を取り込み、前置画像処理部13内の画像バッファ21に保持する処理機能をもつ。
The
前置画像処理部13は、キャプチャ部12がカメラ11から取り込んだフレーム単位の画像を輝度伸張処理の対象となる入力画像として保持する画像バッファ21と、上述した図1に示す輝度伸張処理部1と同様の処理機能をもつ輝度伸張処理部22とを具備して構成される。この前置画像処理部13の内部構成要素については図8を参照して後述する。
The front
画像処理部14は、前置画像処理部13の画像バッファ21に保持された輝度伸張処理後の画像を取り込み、例えば時間差をもつ画像の差分二値化処理、ノイズ除去、変化画素を含む矩形領域の抽出および変化画素領域の追跡処理等の一連の画像処理を行う。表示部15は上記画像処理部14で処理した、例えば動物体領域の画像を表示出力する。
The
上記図7に示す前置画像処理部13に設けられた輝度伸張処理部22の構成要素を図8に示す。前置画像処理部13に設けられた輝度伸張処理部22は、注目領域画像作成部221と、平均輝度算出部222と、標準偏差算出部223と、シグモイド関数曲線パラメータ算出部224と、参照テーブル判定部225と、画像変換部226とを有する。
FIG. 8 shows components of the luminance
注目領域画像作成部221は、画像バッファ21に保持された入力画像から、注目エリアの画像を取得するもので、システム管理者等により予め設定された注目領域指定情報に従い、画像バッファ21をリードアクセスして、画像バッファ21に保持された輝度伸張処理の対象となる入力画像から、上記注目領域指定情報に従う矩形領域の画像を注目エリア対象画像として取得する。
The attention area
平均輝度算出部222は、注目領域画像作成部221が取得した注目エリア対象画像全体の平均輝度(=M)を算出する。
The average
標準偏差算出部223は、上記注目エリア対象画像全体の輝度の標準偏差(=σ)を算出する。
The standard
シグモイド関数曲線パラメータ算出部224は、上記平均輝度算出部222が算出した平均輝度(=M)と、上記標準偏差算出部223が算出した輝度の標準偏差(=σ)をグモイド関数曲線のパラメータ要素として上記図3乃至図6に示したシグモイド関数曲線の輝度伸張パラメータ(シグモイド関数曲線パラメータ)を生成する。
The sigmoid function curve
参照テーブル判定部225は、テーブル作成部231と、テーブル作成部231が作成した参照テーブルを保持するテーブル保持部とを具備し、上記テーブル作成部231において上記シグモイド関数曲線パラメータ算出部224が算出したシグモイド関数曲線パラメータの変動に伴い、当該関数曲線のパラメータを用いて輝度変換のための参照テーブルを作成し、この参照テーブルを入力画像(注目エリア)に対する輝度伸張用の輝度変換テーブル232として上記テーブル保持部に保持する。
The reference
画像変換部226は、参照テーブル判定部225が作成した輝度変換テーブル(参照テーブル)232を用いて、画像バッファ21に保持された入力画像(注目エリア)に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ21に書き戻すことによって画像バッファ21上に輝度伸張画像を作成する。
The
上記した輝度伸張処理部22の処理手順を図9に示している。
FIG. 9 shows a processing procedure of the luminance
輝度伸張処理部22は、カメラ11が撮像したフレーム単位の入力画像がキャプチャ部12を介して画像バッファ21に保持される毎に図9に示す処理を実行する。
The luminance
画像バッファ21に輝度伸張処理の対象となる入力画像が保持されると、注目領域画像作成部221は、上記入力画像から、予め設定された注目エリアの対象画像を取得する。注目領域画像作成部221により注目エリアの対象画像が取得されると、平均輝度算出部222は注目領域画像作成部221が取得した注目エリアの対象画像について当該画像全体の平均輝度を算出し、算出した標準偏差(=σ)をシグモイド関数曲線パラメータ算出部224に送出する(ステップS11)。
When an input image to be subjected to luminance expansion processing is held in the
標準偏差算出部223は、上記注目エリアの対象画像について輝度の標準偏差(=σ)を算出し、算出した標準偏差(=σ)をシグモイド関数曲線パラメータ算出部224に送出する(ステップS12)。
The
シグモイド関数曲線パラメータ算出部224は、上記平均輝度算出部222が算出した平均輝度(=M)と、上記標準偏差算出部223が算出した輝度の標準偏差(=σ)をグモイド関数曲線のパラメータ要素として上記図3乃至図6に示したシグモイド関数曲線の輝度伸張パラメータ(シグモイド関数曲線パラメータ)を生成し、生成したシグモイド関数曲線パラメータを参照テーブル判定部225に送出する(ステップS13)。
The sigmoid function curve
参照テーブル判定部225は、上記シグモイド関数曲線パラメータ算出部224が算出したシグモイド関数曲線パラメータの変動に伴い、当該関数曲線のパラメータを用いて輝度変換のための参照テーブルを作成し輝度変換テーブル232として保持して画像変換部226に輝度変換出力を指示する(ステップS14)。
The reference
画像変換部226は、上記指示を受けて、参照テーブル判定部225が作成した輝度変換テーブル232を用い、画像バッファ21に保持された入力画像(注目エリア)に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ21に書き戻すことによって画像バッファ21上に輝度伸張画像を作成する(ステップS16)。
In response to the above instruction, the
上記した処理のより詳細な手順を図10および図11に示している。なお、図中、IMG_WIDTHは、画面の幅であり、ここでは、320画素とする。IMG_HEIGHTは、画面の高さであり、ここでは、240画素とする。BRIGHTNESS_MAXは、輝度の最大値であり、ここでは、輝度値=255とする。BRIGHTNESS_MINは、輝度の最小値であり、ここでは、輝度値=0とする。 A more detailed procedure of the above process is shown in FIGS. In the figure, IMG_WIDTH is the width of the screen, and here it is 320 pixels. IMG_HEIGHT is the height of the screen, and is 240 pixels here. BRIGHTNESS_MAX is the maximum value of luminance, and here, luminance value = 255. BRIGHTNESS_MIN is a minimum value of luminance, and here, luminance value = 0.
図10に示すステップS101〜S103において、輝度伸張画像を格納するメモリ領域を確保し、初期化する。(p_TempImg)。さらに、輝度平均、標準偏差を求めるのに必要な変数として、tempSqSum(輝度二乗計算をした結果を格納する変数)、tempSum(輝度を格納する変数)、tempSqMean(輝度二乗平均を格納する変数)、tempMean(輝度平均を格納する変数)、stdev(輝度の標準偏差を格納する変数)を初期化する。 In steps S101 to S103 shown in FIG. 10, a memory area for storing the luminance expanded image is secured and initialized. (P_TempImg). Furthermore, as variables necessary for obtaining the luminance average and standard deviation, tempSqSum (a variable for storing the result of luminance square calculation), tempSum (a variable for storing the luminance), tempSqMean (a variable for storing the luminance square average), Initialize tempMean (variable for storing luminance average) and stdev (variable for storing standard deviation of luminance).
図10に示すステップS104〜S107において、取り込んだ画像を走査し、輝度値と輝度値の二乗を格納する。さらに、輝度値と輝度値の二乗をもとに、輝度平均と輝度二乗平均を求めて格納する。 In steps S104 to S107 shown in FIG. 10, the captured image is scanned, and the luminance value and the square of the luminance value are stored. Further, based on the luminance value and the square of the luminance value, the luminance average and luminance square average are obtained and stored.
図11に示すステップS108〜S109において、輝度平均と輝度二乗平均をもとに、その画像の輝度に対する標準偏差を求め、算出した標準偏差の最大/最小をチェックする。 In steps S108 to S109 shown in FIG. 11, the standard deviation with respect to the luminance of the image is obtained based on the luminance average and the luminance square average, and the maximum / minimum of the calculated standard deviation is checked.
図11に示すステップS110〜S111において、標準偏差を利用して、シグモイド係数を求め、シグモイド関数の係数の最小、最大をチェックする。 In steps S110 to S111 shown in FIG. 11, the sigmoid coefficient is obtained using the standard deviation and the minimum and maximum of the coefficient of the sigmoid function are checked.
図11に示すステップS112〜S113において、入力画像のシグモイド変換処理を行う。変換後の輝度値)=(輝度の最大値)/(1.0+Exp(−alpha×((入力輝度値)−平均輝度)/輝度最大値。 In steps S112 to S113 shown in FIG. 11, sigmoid conversion processing of the input image is performed. Luminance value after conversion) = (maximum luminance value) / (1.0 + Exp (−alpha × ((input luminance value) −average luminance value) / luminance maximum value).
上記の処理が全画面分終了したら、メモリコピーにてp_OutputImgポインタの領域に格納し(図11ステップS114)、p_TempImgのメモリ領域を解放する(図11ステップS115)。 When the above processing is completed for all the screens, the memory copy is stored in the area of the p_OutputImg pointer (step S114 in FIG. 11), and the memory area of p_TempImg is released (step S115 in FIG. 11).
上記したように本発明の実施形態によれば、輝度伸張のための輝度伸張パラメータを入力画像における注目エリアの画像の平均輝度と標準偏差からシグモイド関数曲線を用いて自動算出する構成としたことにより、経験的なパラメータを一切必要とせずに、入力画像のみから伸張用パラメータを自動算出できるとともに、入力画像の注目エリアにおける画面全体のコントラストの度合いを任意の可変量で強調補正できる輝度伸張機能を実現でき、単眼カメラの映像を用いた動物体の追跡処理技術に適用することで、動物体(オブジェクト画像)の検知、追跡が容易な監視システムを構築できる。 As described above, according to the embodiment of the present invention, the luminance expansion parameter for luminance expansion is automatically calculated using the sigmoid function curve from the average luminance and standard deviation of the image of the attention area in the input image. A luminance expansion function that can automatically calculate expansion parameters from only the input image without any empirical parameters, and can enhance and correct the degree of contrast of the entire screen in the area of interest of the input image with an arbitrary variable amount. This can be realized and applied to a tracking processing technique of an animal body using an image of a monocular camera, whereby a monitoring system that can easily detect and track an animal body (object image) can be constructed.
なお、上記した実施形態では、QVGA(320画素×240画素)の0〜255階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、例えばVGA等の画像を扱う画像処理装置に於いても本発明に係る輝度伸張処理機能部を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する輝度伸張処理部22の構成要素(注目領域画像作成部221、平均輝度算出部222、累乗パラメータ算出部223、参照テーブル判定部224、画像変換部225等)について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。
In the above-described embodiment, the camera image of 0 to 255 gradations of QVGA (320 pixels × 240 pixels) is used as the input image to be subjected to the luminance expansion processing. However, the present invention is not limited to this, and an image such as VGA is used. The luminance expansion processing function unit according to the present invention can also be applied to an image processing apparatus to be handled. In the above embodiment, the components of the luminance
1…輝度伸張処理部、2…単眼カメラで撮影した画像(入力画像)、3…注目エリア対象画像、4…輝度変換テーブル(参照テーブル)、5…輝度伸張画像、11…カメラ、12…キャプチャ部、13…前置画像処理部、14…画像処理部、15…表示部、21…画像バッファ、22…輝度伸張処理部、221…注目領域画像作成部、222…平均輝度算出部、223…標準偏差算出部、224…シグモイド関数曲線パラメータ算出部、225…参照テーブル判定部、226…画像変換部、231…テーブル作成部、232…輝度変換用テーブル(参照テーブル)。
DESCRIPTION OF
Claims (5)
前記注目エリアの標準偏差を算出する標準偏差算出手段と、
前記平均輝度算出手段により算出された平均輝度の値と前記標準偏差算出手段により算出された標準偏差の値を用いてシグモイド関数曲線に従う輝度伸張パラメータを生成する輝度伸張パラメータ生成手段と、
前記輝度伸張パラメータ生成手段により生成された輝度伸張パラメータを用いて前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
を具備したことを特徴とする画像処理装置。 Average luminance calculation means for calculating the average luminance of the area of interest for the input image to be subjected to luminance expansion processing;
A standard deviation calculating means for calculating a standard deviation of the attention area;
A luminance expansion parameter generation unit that generates a luminance expansion parameter according to a sigmoid function curve using the average luminance value calculated by the average luminance calculation unit and the standard deviation value calculated by the standard deviation calculation unit;
Image conversion means for creating a brightness extension output image for the input image using the brightness extension parameter generated by the brightness extension parameter generation means;
An image processing apparatus comprising:
によりシグモイド関数曲線に従う輝度伸張パラメータを生成することを特徴とする請求項1に記載の画像処理装置。 The brightness expansion parameter generation means is represented by the following formula:
前記画像バッファに保持した入力画像について注目エリアの平均輝度と標準偏差を算出する機能と、
前記算出された平均輝度の値と標準偏差の値を用いてシグモイド関数曲線に従う輝度伸張パラメータを生成する機能と、
前記生成された輝度伸張パラメータを用いて前記入力画像に対する輝度伸張出力画像を作成する機能と、
を実現させるための画像処理プログラム。 A processing device that holds an input image captured by a camera in an image buffer and performs gamma correction on the input image on the image buffer.
A function for calculating the average brightness and standard deviation of the area of interest for the input image held in the image buffer;
A function of generating a luminance extension parameter according to a sigmoid function curve using the calculated average luminance value and standard deviation value;
A function of creating a luminance expansion output image for the input image using the generated luminance expansion parameter;
An image processing program for realizing
により前記シグモイド関数曲線に従う輝度伸張パラメータを生成することを特徴とする請求項4に記載の画像処理プログラム。 The function of generating the brightness expansion parameter is expressed by the following formula:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010044371A JP5537995B2 (en) | 2010-03-01 | 2010-03-01 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010044371A JP5537995B2 (en) | 2010-03-01 | 2010-03-01 | Image processing apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011182189A true JP2011182189A (en) | 2011-09-15 |
JP5537995B2 JP5537995B2 (en) | 2014-07-02 |
Family
ID=44693236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010044371A Active JP5537995B2 (en) | 2010-03-01 | 2010-03-01 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5537995B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200089410A (en) * | 2019-01-17 | 2020-07-27 | 정인호 | Low-light image correction method based on optimal gamma correction |
CN111639588A (en) * | 2020-05-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | Image effect adjusting method, device, computer system and readable storage medium |
CN117078676A (en) * | 2023-10-16 | 2023-11-17 | 青岛盛鑫达机械有限公司 | Breaking hammer shell visual detection method based on image processing |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044846A (en) * | 2001-04-20 | 2003-02-14 | Agilent Technol Inc | System and method for digital image tone mapping using adaptive sigmoidal function based on perceptual preference guideline |
JP4340303B2 (en) * | 2007-04-10 | 2009-10-07 | 東芝テリー株式会社 | Image processing apparatus and image processing program |
-
2010
- 2010-03-01 JP JP2010044371A patent/JP5537995B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044846A (en) * | 2001-04-20 | 2003-02-14 | Agilent Technol Inc | System and method for digital image tone mapping using adaptive sigmoidal function based on perceptual preference guideline |
JP4340303B2 (en) * | 2007-04-10 | 2009-10-07 | 東芝テリー株式会社 | Image processing apparatus and image processing program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200089410A (en) * | 2019-01-17 | 2020-07-27 | 정인호 | Low-light image correction method based on optimal gamma correction |
KR102144577B1 (en) * | 2019-01-17 | 2020-08-13 | 정인호 | Low-light image correction method based on optimal gamma correction |
CN111639588A (en) * | 2020-05-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | Image effect adjusting method, device, computer system and readable storage medium |
CN117078676A (en) * | 2023-10-16 | 2023-11-17 | 青岛盛鑫达机械有限公司 | Breaking hammer shell visual detection method based on image processing |
CN117078676B (en) * | 2023-10-16 | 2024-01-12 | 青岛盛鑫达机械有限公司 | Breaking hammer shell visual detection method based on image processing |
Also Published As
Publication number | Publication date |
---|---|
JP5537995B2 (en) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20210059712A (en) | Artificial Intelligence Techniques for Image Enhancement | |
US8442347B2 (en) | Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope | |
JP7369175B2 (en) | Image processing device and its control method and program | |
JP5901667B2 (en) | Image processing apparatus and method, image processing program, and imaging apparatus | |
JP2014153959A (en) | Image processing device, image processing method, program, and storage medium | |
JP6935272B2 (en) | Devices, methods, and programs for creating high dynamic range images | |
JP2007228451A (en) | Imaging apparatus | |
JP2007082180A (en) | Imaging apparatus and image processing method | |
JP2016081427A (en) | Image processor, image processing method and program | |
TWI720205B (en) | Methods of enhancing images | |
JP4340303B2 (en) | Image processing apparatus and image processing program | |
JP5537995B2 (en) | Image processing apparatus and image processing program | |
JP2009088935A (en) | Image recording apparatus, image correcting apparatus, and image pickup apparatus | |
JP6243629B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP2009200743A (en) | Image processor, image processing method, image processing program and imaging apparatus | |
US8982244B2 (en) | Image capturing apparatus for luminance correction, a control method therefor, and a recording medium | |
JP2015192338A (en) | Image processing device and image processing program | |
JP6550827B2 (en) | Image processing apparatus, image processing method and program | |
JP2010183460A (en) | Image capturing apparatus and method of controlling the same | |
JP6514504B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM | |
JP2008250892A (en) | Image processor and processing program | |
JP2008172566A (en) | Imaging apparatus and imaging method | |
JP7442989B2 (en) | Imaging device, control method for the imaging device, and program | |
JP4292219B2 (en) | Image processing apparatus and image processing program | |
JP5486963B2 (en) | Image processing apparatus and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130128 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5537995 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140428 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |