JP2011087240A - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
JP2011087240A
JP2011087240A JP2009240427A JP2009240427A JP2011087240A JP 2011087240 A JP2011087240 A JP 2011087240A JP 2009240427 A JP2009240427 A JP 2009240427A JP 2009240427 A JP2009240427 A JP 2009240427A JP 2011087240 A JP2011087240 A JP 2011087240A
Authority
JP
Japan
Prior art keywords
color
predetermined
image processing
space
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009240427A
Other languages
Japanese (ja)
Inventor
Takahisa Furumoto
能久 古本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009240427A priority Critical patent/JP2011087240A/en
Publication of JP2011087240A publication Critical patent/JP2011087240A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology for reducing shutter blurring through a simple method. <P>SOLUTION: An image processing apparatus has: a color detection means for detecting three or more colors linearly distributed in a predetermined color space from at least a partial region of an input image; and a correction means which, if the color detection means detects a first color, a second color and a third color that is a color between the first color and the second color, corrects the third color to shorten a distance between the third color and the first color or the second color in the predetermined color space. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method.

移動する物体(移動体)を撮影すると、シャッターが開いている間に背景に移動体が重なる領域では、移動体の画素値と背景の画素値が積分される。そのため、混合領域(2つの被写体(背景と移動体など)の色が混ざった領域;シャッターぼやけ領域)が形成され、画像がぼやけてしまう。
これに対し、特許文献1に開示の技術では、混合領域でない領域については動きベクトルに基づいて補間フレームの画素を生成し、混合領域については背景の成分の割合を表す混合比を用いて補間フレームの画素を生成する。それにより、混合領域での動きボケ(シャッターぼやけ)を低減することができる。
しかしながら、特許文献1に開示の方法では、混合比の算出など、複雑な演算を必要とするため、処理に長時間要してしまう虞がある。
When a moving object (moving object) is photographed, the pixel value of the moving object and the pixel value of the background are integrated in a region where the moving object overlaps the background while the shutter is open. For this reason, a mixed area (an area where the colors of two subjects (background and moving body, etc.) are mixed; a shutter blur area) is formed, and the image is blurred.
On the other hand, in the technique disclosed in Patent Document 1, for an area that is not a mixed area, an interpolated frame pixel is generated based on a motion vector, and for the mixed area, an interpolated frame is expressed using a mixing ratio that represents the ratio of background components. Are generated. Thereby, motion blur (shutter blur) in the mixed region can be reduced.
However, since the method disclosed in Patent Document 1 requires a complicated operation such as calculation of the mixture ratio, the processing may take a long time.

特開2006−20108号公報JP 2006-20108 A

本発明は、簡易な方法でシャッターぼやけを低減することのできる技術を提供することを目的とする。   An object of this invention is to provide the technique which can reduce shutter blurring by a simple method.

本発明の画像処理装置は、入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する3つ以上の色を検出する色検出手段と、色検出手段で、第1の色、第2の色、及び、第1の色と第2の色の間の色である第3の色が検出された場合に、第3の色と第1の色または第2の色との間の所定の色空間における距離が短くなるように、第3の色を補正する補正手段と、を有することを特徴とする。   The image processing apparatus of the present invention includes a color detection unit that detects three or more colors that are linearly distributed in a predetermined color space from at least a partial region of an input image, and a color detection unit. The second color, and the third color and the first color or the second color when a third color that is a color between the first color and the second color is detected. And a correction unit that corrects the third color so that the distance in the predetermined color space is shortened.

本発明の画像処理方法は、入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する3つ以上の色を検出する色検出ステップと、色検出ステップで、第1の色、第2の色、及び、第1の色と第2の色の間の色である第3の色が検出された場合に、第3の色と第1の色または第2の色との間の所定の色空間における距離が短くなるように、第3の色を補正する補正ステップと、を有することを特徴とする。   The image processing method according to the present invention includes a color detection step for detecting three or more colors distributed linearly in a predetermined color space from at least a partial region of an input image, and a color detection step. The second color, and the third color and the first color or the second color when a third color that is a color between the first color and the second color is detected. And a correction step of correcting the third color so that the distance in the predetermined color space is shortened.

本発明によれば、簡易な方法でシャッターぼやけを低減することができる。   According to the present invention, shutter blur can be reduced by a simple method.

シャッターぼやけの一例を示す図。The figure which shows an example of a shutter blur. 直線状の分布の一例を示す図。The figure which shows an example of linear distribution. 本実施形態に係る画像処理装置の機能構成の一例を示す図。1 is a diagram illustrating an example of a functional configuration of an image processing apparatus according to an embodiment. 本実施形態に係る補正方法の一例を示す図。The figure which shows an example of the correction method which concerns on this embodiment. 本実施形態に係る補正による効果の一例を示す図。The figure which shows an example of the effect by the correction | amendment which concerns on this embodiment. 直線分布検出部による検出処理の流れを示すフローチャート。The flowchart which shows the flow of the detection process by a linear distribution detection part. 第1ヒストグラムにおいて度数が1以上であるカテゴリの一例を示す図。The figure which shows an example of the category whose frequency is 1 or more in a 1st histogram. カテゴリの識別子を記憶するテーブル。A table that stores category identifiers.

まず、本実施形態に係る画像処理装置及び画像処理方法について具体的に説明する前に、シャッターぼやけ(移動体の色と背景の色との混色によるぼやけ)を改善するための本発明の原理について説明する。
簡単のために、それぞれ単色からなる背景及び移動する物体(移動体)を撮影した場合を考える(図1)。このような場合、撮影画像において、カメラのシャッターが開いている間に背景に移動体が重なる領域(シャッターぼやけ領域)では、2つの色(背景の色と物体の色)が混合される。そのため、このような撮影画像の各色を、所定の色空間(例えば、図2に示すような、R値、G値、B値をそれぞれ軸とする3次元RGB空間)上にプロットすると、3つ以上の色が直線状に分布することとなる。具体的には、背景の色(第1の色)、移動体の色(第2の色)、及び、背景の色と移動体の色の間の色(シャッターぼやけ領域の色;第3の色)が直線状に分布する。また、このような直線状の分布は、背景の色と移動体の色を両端とする。なお、本実施形態では、3つ以上の色(カテゴリ)の直線状の分布を「直線状の分布」とよび、2つの色(カテゴリ)の分布は「直線状の分布」とは呼ばないものとする。
そのため、所定の色空間の中で直線状に分布する3つ以上の色が存在するか否かによって、処理対象とする画像(撮影画像;入力画像)にシャッターぼやけ領域が存在するか否かを判断することができる。
First, before specifically describing the image processing apparatus and the image processing method according to the present embodiment, the principle of the present invention for improving shutter blurring (blurring due to color mixture of a moving body color and a background color) will be described. explain.
For the sake of simplicity, let us consider a case where a background of a single color and a moving object (moving body) are photographed (FIG. 1). In such a case, in the photographed image, two colors (background color and object color) are mixed in a region where the moving body overlaps the background (shutter blur region) while the shutter of the camera is open. Therefore, when each color of such a captured image is plotted on a predetermined color space (for example, a three-dimensional RGB space having R, G, and B values as axes as shown in FIG. 2), three colors are plotted. The above colors are distributed linearly. Specifically, the background color (first color), the color of the moving object (second color), and the color between the background color and the color of the moving object (the color of the shutter blur area; the third color) Color) is distributed linearly. In addition, such a linear distribution has the background color and the moving body color at both ends. In the present embodiment, a linear distribution of three or more colors (categories) is called a “linear distribution”, and a distribution of two colors (categories) is not called a “linear distribution”. And
Therefore, whether or not there is a shutter blur region in an image to be processed (captured image; input image) depends on whether or not there are three or more colors that are linearly distributed in a predetermined color space. Judgment can be made.

そして、入力画像にシャッターぼやけ領域が存在する場合、第3の色と第1の色または第2の色との間の所定の色空間における距離が短くなるように、第3の色を補正することにより、シャッターぼやけを改善することができる。
なお、上述した直線状の分布は所定の色空間内に1つしか存在しないとは限らない。例えば、移動体が複数の色で構成されている場合には、直線状の分布が移動体の色の数だけ存在すると予想できる。直線状の分布が複数存在していたとしても、直線状に分布のそれぞれにおいて、第3の色と第1の色または第2の色との間の所定の色空間における距離が短くなるように第3の色を補正すれば、シャッターぼやけを改善することができる。
Then, when the shutter blur region exists in the input image, the third color is corrected so that the distance in the predetermined color space between the third color and the first color or the second color is shortened. As a result, shutter blur can be improved.
Note that there is not always one linear distribution described above in a predetermined color space. For example, when the moving body is composed of a plurality of colors, it can be expected that there are as many linear distributions as the number of colors of the moving body. Even if there are a plurality of linear distributions, the distance in the predetermined color space between the third color and the first color or the second color is shortened in each of the linear distributions. If the third color is corrected, shutter blur can be improved.

次に、以上の原理に従ってシャッターぼやけを改善する画像処理装置及び画像処理方法について説明する。図3は本実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。
ブロック分割部101は、入力された画像(入力画像)の領域を複数の分割領域(ブロック)に分割する(分割手段)。本実施形態では、入力画像を60×60画素ごとの分割領域に分割する。なお、分割領域のサイズは、60×60画素よりも小さくてもよいし大きくてもよい。
動きベクトル検出部102は、分割領域毎に動きベクトルを検出する(動き検出手段)。なお、動きベクトルの検出方法としては、種々の方法が適用できる。例えば、入力画像の前後のフレームの画像を用いたブロックマッチングにより動きベクトルを検出すればよい。
Next, an image processing apparatus and an image processing method that improve shutter blur according to the above principle will be described. FIG. 3 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment.
The block dividing unit 101 divides an input image (input image) area into a plurality of divided areas (blocks) (dividing means). In the present embodiment, the input image is divided into divided regions every 60 × 60 pixels. The size of the divided area may be smaller or larger than 60 × 60 pixels.
The motion vector detection unit 102 detects a motion vector for each divided region (motion detection means). Various methods can be applied as a motion vector detection method. For example, the motion vector may be detected by block matching using images of frames before and after the input image.

3次元RGBヒストグラム作成部103、直線分布検出部104、及び、RGB値検出部105により、入力画像の少なくとも一部の領域から、3次元RGB色空間の中で直線状に分布する3つ以上の色が検出される(色検出手段)。なお、本実施形態では、上記一部の領域内における色の数が所定数以下の場合に直線状に分布する3つ以上の色を検出する処理が行われる。以下、詳しく説明する。   The three-dimensional RGB histogram creation unit 103, the straight line distribution detection unit 104, and the RGB value detection unit 105 perform three or more distributions linearly in a three-dimensional RGB color space from at least a partial region of the input image. A color is detected (color detection means). In the present embodiment, a process of detecting three or more colors distributed in a straight line is performed when the number of colors in the partial area is equal to or smaller than a predetermined number. This will be described in detail below.

3次元RGBヒストグラム作成部103は、入力画像の一部の領域について、3次元R
GBヒストグラム(3次元RGB空間における色のヒストグラム;第1ヒストグラム)を作成する。具体的には、3次元RGBヒストグラム作成部103は、分割領域毎に、その分割領域に対応する動きベクトルの情報、及び、その分割領域内の画素毎の色データを取得する。そして、動きベクトルが0でない分割領域について、第1ヒストグラムを作成する。即ち、本実施形態では、動きベクトル検出部102で検出された動きベクトルが0でない分割領域を上記一部の領域とする。
なお、本実施形態では、R値、B値、G値をそれぞれ16カテゴリに分割して第1ヒストグラムを作成する。
また、動きベクトルが0である分割領域について第1ヒストグラムを作成しないのは、そのような分割領域は、動きの無い(静止している)領域であり、シャッターぼやけが発生していない領域である可能性が高いためである。
The three-dimensional RGB histogram creation unit 103 performs a three-dimensional R for a partial area of the input image.
A GB histogram (color histogram in three-dimensional RGB space; first histogram) is created. Specifically, for each divided region, the three-dimensional RGB histogram creating unit 103 acquires information on a motion vector corresponding to the divided region and color data for each pixel in the divided region. Then, a first histogram is created for the divided area where the motion vector is not zero. In other words, in the present embodiment, the partial area where the motion vector detected by the motion vector detection unit 102 is not 0 is defined as the partial area.
In the present embodiment, the first histogram is created by dividing the R value, B value, and G value into 16 categories.
Also, the reason why the first histogram is not created for the divided region where the motion vector is 0 is that such a divided region is a region where there is no motion (still) and no shutter blur occurs. This is because the possibility is high.

直線分布検出部104は、第1ヒストグラムを取得し、補正の対象とする分割領域内の色のうち、3次元RGB空間の中で直線状に分布する3つ以上のカテゴリを検出する。
また、本実施形態では、直線分布検出部104は、分割領域内における色の数が所定数以下の場合に、上記直線状に分布する3つ以上のカテゴリを検出する処理を行う。分割領域内における色の数が所定数より大きい場合には、分割領域内の画像が複雑な色で構成されているため、上述の検出処理は行わない。
本実施形態では直線状の分布を1つ検出し、所定数を16とする。所定数を16とするのは、3次元RGB空間内において2色間を結ぶ直線が通過する最大のカテゴリ数が16であるためである。
直線分布検出部104による検出処理の具体的な方法については後述する。
The straight line distribution detection unit 104 acquires the first histogram, and detects three or more categories that are linearly distributed in the three-dimensional RGB space among the colors in the divided region to be corrected.
Further, in the present embodiment, the straight line distribution detection unit 104 performs a process of detecting three or more categories distributed in a straight line when the number of colors in the divided area is equal to or smaller than a predetermined number. When the number of colors in the divided area is larger than the predetermined number, the above-described detection process is not performed because the image in the divided area is configured with complex colors.
In this embodiment, one linear distribution is detected, and the predetermined number is 16. The predetermined number is 16 because the maximum number of categories through which a straight line connecting two colors passes in the three-dimensional RGB space is 16.
A specific method of detection processing by the straight line distribution detection unit 104 will be described later.

RGB値検出部105は、直線分布検出部104によって直線状の分布が検出された場合に、補正の対象とする分割領域について、第1ヒストグラムとはカテゴリ数の異なる3次元RGBヒストグラム(第2ヒストグラム)を作成する。そして、第2ヒストグラムを用いて背景の色(第1の色)、移動体の色(第2の色)、及び、第3の色を特定する。
本実施形態では、RGB値検出部105は、第2ヒストグラムとして、R値、B値、G値のカテゴリ幅が画素値のビット幅と等しい3次元RGBヒストグラムを作成する。そして、直線状に分布する第1ヒストグラムのカテゴリのうち、一端のカテゴリに属し、且つ、第2ヒストグラムにおいて度数の最も多い色を第1の色として検出する。また、多端のカテゴリに属し、且つ、第2ヒストグラムにおいて度数の最も多い色を第2の色として検出する。また、直線状に分布する第1ヒストグラムのカテゴリのうち、端部に位置しないカテゴリに属す色を第3の色として検出する。
When the linear distribution detection unit 104 detects a linear distribution, the RGB value detection unit 105 has a three-dimensional RGB histogram (second histogram) having a category number different from that of the first histogram for the divided region to be corrected. ). Then, the background color (first color), the color of the moving body (second color), and the third color are specified using the second histogram.
In the present embodiment, the RGB value detection unit 105 creates a three-dimensional RGB histogram in which the category width of the R value, the B value, and the G value is equal to the bit width of the pixel value as the second histogram. Then, a color that belongs to one of the categories of the first histogram distributed in a straight line and has the highest frequency in the second histogram is detected as the first color. Also, the color that belongs to the multi-end category and has the highest frequency in the second histogram is detected as the second color. In addition, a color belonging to a category not located at the end of the first histogram category distributed linearly is detected as a third color.

画素補正部106は、補正の対象とする分割領域から、第1の色、第2の色、及び、第3の色が検出された場合に、該分割領域内の第3の色を補正する(補正手段)。具体的には、第3の色と第1の色または第2の色との間の3次元RGB空間における距離が短くなるように、第3の色を補正する。
本実施形態では、画素補正部106は、補正の対象となる分割領域内の画素毎に、第3の色か否かを判定する。そして、第3の色である場合には、第3の色を、第1の色と第2の色のいずれか3次元RGB空間における第3の色との距離が短い方の色に置換する(図4)。なお、第3の色でない画素に対しては、上述した置換処理は行われない。図5に示すように、本実施形態ではシャッターぼやけ領域の色が背景の色や移動体の色に置換されるため、シャッターぼやけを改善することができる。
When the first color, the second color, and the third color are detected from the divided area to be corrected, the pixel correction unit 106 corrects the third color in the divided area. (Correction means). Specifically, the third color is corrected so that the distance in the three-dimensional RGB space between the third color and the first color or the second color is shortened.
In the present embodiment, the pixel correction unit 106 determines whether or not the pixel is the third color for each pixel in the divided area to be corrected. If the color is the third color, the third color is replaced with a color having a shorter distance between the first color and the second color in the three-dimensional RGB space. (FIG. 4). Note that the above-described replacement process is not performed for pixels that are not the third color. As shown in FIG. 5, in this embodiment, since the color of the shutter blur region is replaced with the background color or the color of the moving object, the shutter blur can be improved.

ここで、直線分布検出部104の処理の詳細について説明する。図6は、直線分布検出部104による検出処理(直線状に分布する3つ以上のカテゴリを検出する処理)の流れを示すフローチャートである。図7は、第1ヒストグラムにおいて度数が1以上であるカテゴリ(以下、単にカテゴリと記載する)の一例を示す図(3次元RGB空間上にプロッ
トした図)である。図8は、直線分布検出部104による検出処理で用いられる、カテゴリの識別子を記憶するテーブルである。
Here, details of the processing of the straight line distribution detection unit 104 will be described. FIG. 6 is a flowchart showing the flow of detection processing (processing for detecting three or more categories distributed in a straight line) by the straight line distribution detection unit 104. FIG. 7 is a diagram (a diagram plotted on a three-dimensional RGB space) showing an example of a category having a frequency of 1 or more in the first histogram (hereinafter simply referred to as a category). FIG. 8 is a table for storing category identifiers used in the detection processing by the straight line distribution detection unit 104.

まず、直線分布検出部104は、3次元RGBヒストグラムの原点である(0,0,0)と各カテゴリの座標から、原点と各カテゴリとの間の直線距離を算出する(ステップ1)。
そして、原点との間の距離が長い順番にカテゴリの識別子をソートし、始点カテゴリの識別子として図8のテーブルに書き込む(ステップ2)。なお、原点との間の距離が最も短いカテゴリについては書き込まない。
次に、始点カテゴリ毎に、その始点カテゴリよりも原点との距離が短い他のカテゴリをそれぞれ終点カテゴリとして、始点カテゴリと終点カテゴリとの間の直線距離を算出する(ステップ3)。
そして、始点カテゴリ毎に、その始点カテゴリとの距離が長い順番に終点カテゴリの識別子をソートし、該始点カテゴリに対応付けて図8のテーブルへ書き込む(ステップ4)。また、ステップ3で算出された距離のうち、最も距離が長い始点カテゴリと終点カテゴリを選択する。
First, the straight line distribution detection unit 104 calculates a straight line distance between the origin and each category from (0, 0, 0) which is the origin of the three-dimensional RGB histogram and the coordinates of each category (step 1).
Then, the category identifiers are sorted in descending order of the distance from the origin, and are written in the table of FIG. 8 as the start point category identifier (step 2). Note that the category having the shortest distance from the origin is not written.
Next, for each start point category, a straight line distance between the start point category and the end point category is calculated with each other category having a shorter distance from the origin as the end point category (step 3).
Then, for each start point category, the identifiers of the end point categories are sorted in order of increasing distance from the start point category, and written in the table of FIG. 8 in association with the start point category (step 4). Further, the start point category and the end point category having the longest distance among the distances calculated in step 3 are selected.

次に、選択されたカテゴリ間(始点カテゴリ、終点カテゴリ)を結ぶ直線(3次元RGB空間内における直線;関数)を算出する(ステップ5)。
そして、ステップ5で算出された直線上に始点カテゴリ及び終点カテゴリ以外のカテゴリが存在するか否かを判断する(ステップ6)。そのようなカテゴリが存在する場合には(ステップ6:YES)、ステップ7へ進み、存在しない場合には(ステップ6:NO)、ステップ9へ進む。ここで、「直線上に始点カテゴリ及び終点カテゴリ以外のカテゴリが存在する」とは、必ずしも、直線上の点を位置とするカテゴリが存在することを意味するものではない。ある程度の誤差を考慮して直線上に位置するか否かを判断してもよい。例えば、直線からの距離が所定値以下の範囲内にあるカテゴリを直線上のカテゴリとみなしてもよい。
Next, a straight line (straight line in the three-dimensional RGB space; function) connecting the selected categories (start point category, end point category) is calculated (step 5).
Then, it is determined whether a category other than the start point category and the end point category exists on the straight line calculated in step 5 (step 6). If such a category exists (step 6: YES), the process proceeds to step 7. If not (step 6: NO), the process proceeds to step 9. Here, “there is a category other than the start point category and the end point category on the straight line” does not necessarily mean that there is a category having a position on the straight line. It may be determined whether or not the position is on a straight line in consideration of a certain amount of error. For example, a category whose distance from the straight line is within a predetermined value or less may be regarded as a category on the straight line.

ステップ7では、ステップ6で存在するとされたカテゴリの識別子を、選択された始点カテゴリと終点カテゴリの組み合わせに対応付けて図8のテーブルへ書き込む。また、ステップ6で存在するとされたカテゴリ、選択された始点カテゴリ、及び、選択された終点カテゴリを、直線状に分布する3つ以上のカテゴリとする(直線状の分布の検出)。
次に、図8のテーブルから、ステップ7で検出された直線状の分布を示す始点カテゴリと終点カテゴリの組み合わせを削除する(ステップ8)。具体的には、ステップ6で存在するとされたカテゴリまたは選択された終点カテゴリを始点カテゴリとし、且つ、ステップ6で存在するとされたカテゴリまたは選択された始点カテゴリを終点カテゴリとするもの削除する。これにより、ステップ7において、同じ直線状の分布が複数回検出されることを防ぐことができる。
In step 7, the identifier of the category determined to exist in step 6 is written in the table of FIG. 8 in association with the selected combination of the start point category and the end point category. Further, the category determined to exist in step 6, the selected start point category, and the selected end point category are set to three or more categories distributed in a straight line (detection of a straight line distribution).
Next, the combination of the start point category and the end point category indicating the linear distribution detected in Step 7 is deleted from the table of FIG. 8 (Step 8). Specifically, the category determined to exist in step 6 or the selected end category is set as the start point category, and the category determined to exist in step 6 or the selected start point category is set as the end point category is deleted. Thereby, in step 7, it can prevent that the same linear distribution is detected in multiple times.

ステップ9では、選択されていない始点カテゴリと終点カテゴリの組み合わせが存在するか否かを判断する。そのような組み合わせが存在する場合には(ステップ9:YES)、ステップ10へ進み、存在しない場合には(ステップ9:NO)、全ての組み合わせについての処理が完了したため、検出処理を終了する。ステップ10では、選択されていない始点カテゴリと終点カテゴリの組み合わせのうち、始点カテゴリと終点カテゴリ間の距離が最も長い組み合わせを選択し、ステップ5へ進む。   In step 9, it is determined whether or not there is a combination of an unselected start point category and end point category. When such a combination exists (step 9: YES), the process proceeds to step 10, and when it does not exist (step 9: NO), the processing for all the combinations is completed, and the detection process ends. In Step 10, the combination having the longest distance between the start point category and the end point category is selected from the combinations of the start point category and the end point category that are not selected, and the process proceeds to Step 5.

以上の処理により、3次元RGB空間の中で直線状に分布する3つ以上のカテゴリを検出することができる。
なお、図6のフローチャートでは示していないが、本実施形態では、補正の対象とする直線状の分布を1つだけ検出するものとする。直線状の分布が複数存在する場合には、例
えば、直線状の分布を構成するカテゴリの度数の合計が最大となるものを選択すればよい。
With the above processing, it is possible to detect three or more categories distributed linearly in the three-dimensional RGB space.
Although not shown in the flowchart of FIG. 6, in the present embodiment, only one linear distribution to be corrected is detected. When there are a plurality of linear distributions, for example, the one having the maximum total frequency of categories constituting the linear distribution may be selected.

以上述べたように、本実施形態によれば、入力画像の所定の領域から、所定の色空間の中で直線上に分布する3つ以上の色が検出される。そして、第3の色と第1の色または第2の色との間の所定の色空間における距離が短くなるように、第3の色が補正される。そのような簡易な方法により、シャッターぼやけを低減することができる。   As described above, according to this embodiment, three or more colors distributed on a straight line in a predetermined color space are detected from a predetermined region of the input image. Then, the third color is corrected so that the distance in the predetermined color space between the third color and the first color or the second color is shortened. Such a simple method can reduce shutter blur.

なお、本実施形態では、動きベクトルが0でない分割領域を補正の対象とする領域としたが、補正の対象とする領域はこれに限らない。全ての分割領域のそれぞれを補正の対象としても良い。また、入力画像を分割せず、入力画像の全体の領域を補正の対象としても良い。入力画像の少なくとも一部の領域を補正の対象とすればよい。但し、分割領域のような入力画像の一部の領域を補正の対象とすれば、入力画像の全体の領域を補正の対象路する場合に比べ、直線状の分布の誤検出を低減することができる。また、動きベクトルが0でない分割領域を補正の対象とすれば、動きベクトルが0の領域についての補正処理が省略されるため、分割領域のそれぞれや、入力画像の全体の領域を補正の対象とする場合に比べ処理負荷を低減することができる。   In the present embodiment, the divided area whose motion vector is not 0 is the area to be corrected, but the area to be corrected is not limited to this. Each of all the divided areas may be a correction target. Further, the entire area of the input image may be corrected without dividing the input image. What is necessary is just to make the correction | amendment object at least one part area | region of an input image. However, if a partial area of the input image, such as a divided area, is targeted for correction, it is possible to reduce false detection of a linear distribution compared to the case where the entire area of the input image is subjected to correction. it can. Further, if a segmented area where the motion vector is not 0 is set as a correction target, correction processing for the area where the motion vector is 0 is omitted, so that each of the segmented areas or the entire area of the input image is set as the correction target. The processing load can be reduced as compared with the case of doing so.

なお、本実施形態では、所定の領域内における色の数が所定数以下の場合に直線状の分布の検出処理を行うものとしたが、所定の領域内における色の数によらず該検出処理を行う構成であってもよい。但し、所定の領域内における色の数が所定数以下の場合にのみ直線状の分布の検出処理を行えば、複雑な色の領域を処理対象から除外することができるため、処理負荷を低減することができる。   In this embodiment, the linear distribution detection process is performed when the number of colors in the predetermined area is equal to or less than the predetermined number. However, the detection process is performed regardless of the number of colors in the predetermined area. The structure which performs this may be sufficient. However, if the linear distribution detection process is performed only when the number of colors in the predetermined area is equal to or less than the predetermined number, a complicated color area can be excluded from the processing target, thereby reducing the processing load. be able to.

なお、本実施形態では、第3の色を、第1の色と第2の色のいずれか3次元RGB空間における第3の色との距離が短い方の色に置換するものとしたが、第3の色の補正方法はこれに限らない。例えば、第3の色と第1の色の間の所定の色空間における距離、及び、第3の色と第2の色の間の所定の色空間における距離のうち、短い方の距離がさらに短くなるように第3の色を補正してもよい。第3の色を、第1の色と第2の色のいずれかの色に置換してもよい。第3の色と、第1の色と第2の色のいずれかの色との間の所定の色空間における距離が大きいほど、該色との距離がより短くなるように第3の色を補正してもよい。また、上述した方法を組み合わせた方法で補正してもよい。
第3の色と第1の色または第2の色との間の所定の色空間における距離が短くなるように、第3の色を補正すればよい。それにより、シャッターぼやけを低減することができる。
In the present embodiment, the third color is replaced with a color having a shorter distance between the first color and the second color and the third color in the three-dimensional RGB space. The third color correction method is not limited to this. For example, the shorter one of the distance in the predetermined color space between the third color and the first color and the distance in the predetermined color space between the third color and the second color is further increased The third color may be corrected so as to be shorter. The third color may be replaced with one of the first color and the second color. The third color is set such that the greater the distance in the predetermined color space between the third color and any one of the first and second colors, the shorter the distance from the color. It may be corrected. Moreover, you may correct | amend by the method which combined the method mentioned above.
The third color may be corrected so that the distance in the predetermined color space between the third color and the first color or the second color is shortened. Thereby, shutter blur can be reduced.

なお、本実施形態では、所定の色空間が3次元RGB空間(RGB)である場合について説明したが、色空間はこれに限らない。所定の色空間は、例えば、CMY,XYZ,L*a*b*,HSV,YCbCv,YUVなどの色空間であってもよい。   In the present embodiment, the case where the predetermined color space is a three-dimensional RGB space (RGB) has been described, but the color space is not limited to this. The predetermined color space may be a color space such as CMY, XYZ, L * a * b *, HSV, YCbCv, YUV, for example.

なお、本実施形態では、直線状の分布を検出する際に、カテゴリ数の異なる2つの3次元RGBヒストグラムを作成するものとしたが、直線状の分布の検出方法はこれに限らない。例えば、上述した第2ヒストグラムのみを用いて直線状の分布を検出してもよい。   In this embodiment, when detecting a linear distribution, two three-dimensional RGB histograms having different numbers of categories are created. However, the method of detecting a linear distribution is not limited to this. For example, a linear distribution may be detected using only the second histogram described above.

103 3次元RGBヒストグラム作成部
104 直線分布検出部
105 RGB値検出部
106 画素補正部
103 three-dimensional RGB histogram creation unit 104 linear distribution detection unit 105 RGB value detection unit 106 pixel correction unit

Claims (7)

入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する3つ以上の色を検出する色検出手段と、
前記色検出手段で、第1の色、第2の色、及び、前記第1の色と前記第2の色の間の色である第3の色が検出された場合に、前記第3の色と前記第1の色または前記第2の色との間の前記所定の色空間における距離が短くなるように、前記第3の色を補正する補正手段と、
を有することを特徴とする画像処理装置。
Color detection means for detecting three or more colors linearly distributed in a predetermined color space from at least a partial region of the input image;
When the color detecting means detects a first color, a second color, and a third color that is a color between the first color and the second color, the third color Correction means for correcting the third color so that a distance in the predetermined color space between the color and the first color or the second color is shortened;
An image processing apparatus comprising:
前記補正手段は、前記第3の色と前記第1の色の間の前記所定の色空間における距離、及び、前記第3の色と前記第2の色の間の前記所定の色空間における距離のうち、短い方の距離がさらに短くなるように前記第3の色を補正する
ことを特徴とする請求項1に記載の画像処理装置。
The correction means includes a distance in the predetermined color space between the third color and the first color, and a distance in the predetermined color space between the third color and the second color. The image processing apparatus according to claim 1, wherein the third color is corrected so that the shorter distance is further shortened.
前記補正手段は、前記第3の色を、前記第1の色と前記第2の色のいずれかの色に置換する
ことを特徴とする請求項1または2に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the correction unit replaces the third color with any one of the first color and the second color.
前記補正手段は、前記第3の色と、前記第1の色と前記第2の色のいずれかの色との間の前記所定の色空間における距離が大きいほど、該色との距離がより短くなるように前記第3の色を補正する
ことを特徴とする請求項1または2に記載の画像処理装置。
The correction means increases the distance between the third color and the color between the first color and any one of the second color in the predetermined color space. The image processing apparatus according to claim 1, wherein the third color is corrected so as to be shortened.
前記入力画像の領域を複数の分割領域に分割する分割手段と、
前記分割領域毎に動きベクトルを検出する動き検出手段と、
を有し、
前記一部の領域は、前記検出された動きベクトルが0でない分割領域である
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
Dividing means for dividing the region of the input image into a plurality of divided regions;
Motion detection means for detecting a motion vector for each of the divided regions;
Have
The image processing apparatus according to claim 1, wherein the partial area is a divided area in which the detected motion vector is not zero.
前記色検出手段は、前記一部の領域内における色の数が所定数以下の場合に、前記直線状に分布する3つ以上の色を検出する処理を行う
ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
The said color detection means performs the process which detects three or more colors distributed in the said linear form, when the number of the colors in the said one part area | region is less than predetermined number. The image processing apparatus according to claim 5.
入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する3つ以上の色を検出する色検出ステップと、
前記色検出ステップで、第1の色、第2の色、及び、前記第1の色と前記第2の色の間の色である第3の色が検出された場合に、前記第3の色と前記第1の色または前記第2の色との間の前記所定の色空間における距離が短くなるように、前記第3の色を補正する補正ステップと、
を有することを特徴とする画像処理方法。
A color detection step of detecting three or more colors linearly distributed in a predetermined color space from at least a partial region of the input image;
When the color detection step detects the first color, the second color, and a third color that is a color between the first color and the second color, the third color A correction step of correcting the third color so that a distance in the predetermined color space between the color and the first color or the second color is shortened;
An image processing method comprising:
JP2009240427A 2009-10-19 2009-10-19 Image processing apparatus and method Withdrawn JP2011087240A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009240427A JP2011087240A (en) 2009-10-19 2009-10-19 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009240427A JP2011087240A (en) 2009-10-19 2009-10-19 Image processing apparatus and method

Publications (1)

Publication Number Publication Date
JP2011087240A true JP2011087240A (en) 2011-04-28

Family

ID=44079849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009240427A Withdrawn JP2011087240A (en) 2009-10-19 2009-10-19 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP2011087240A (en)

Similar Documents

Publication Publication Date Title
JP5314357B2 (en) Method and apparatus for correcting chromatic aberration of video
US9413951B2 (en) Dynamic motion estimation and compensation for temporal filtering
KR101944208B1 (en) Apparatus and method for color correction
US9727984B2 (en) Electronic device and method for processing an image
US20190028645A1 (en) Image processing device, image processing method and storage medium
US8693783B2 (en) Processing method for image interpolation
JP2012208553A (en) Image processing device, image processing method, and program
US8737758B2 (en) Apparatus and method of reducing noise
JP2015062270A (en) Image processing apparatus
JP5614550B2 (en) Image processing method, image processing apparatus, and program
US20120275710A1 (en) Method of multi-frame image noise reduction
JP5076002B1 (en) Image processing apparatus and image processing method
US8953688B2 (en) In loop contrast enhancement for improved motion estimation
JP2011087240A (en) Image processing apparatus and method
JP2009177792A (en) Image processing unit and imaging device
JP2007011430A (en) Backlit image decision and dark part correction
JP2008147915A (en) Image processor correcting color of image, and image processing method
JP5932855B2 (en) Image processing system, image processing method, and image processing program
CN111970449B (en) Image processing method, device, terminal and computer readable storage medium
JP7469713B2 (en) Processing device, processing method, and program
JP5887088B2 (en) Image processing device
JP2010072901A (en) Image processor and its method
JP2014086957A (en) Image processing device and image processing method
JP2015179951A (en) Image processing apparatus, imaging apparatus, image processing method, program and storage medium
US10498932B2 (en) Video processing device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130108