WO2006129601A1 - 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 Download PDF

Info

Publication number
WO2006129601A1
WO2006129601A1 PCT/JP2006/310661 JP2006310661W WO2006129601A1 WO 2006129601 A1 WO2006129601 A1 WO 2006129601A1 JP 2006310661 W JP2006310661 W JP 2006310661W WO 2006129601 A1 WO2006129601 A1 WO 2006129601A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
image
face area
pixel value
value
Prior art date
Application number
PCT/JP2006/310661
Other languages
English (en)
French (fr)
Inventor
Hideyasu Kuniba
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US11/921,082 priority Critical patent/US8150099B2/en
Priority to JP2007518967A priority patent/JP4780104B2/ja
Publication of WO2006129601A1 publication Critical patent/WO2006129601A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Definitions

  • Image processing apparatus image processing method, image processing program product, and imaging apparatus
  • the present invention relates to an image processing device that performs image processing on an image, an image processing method, an image processing program product, and an imaging device that captures an image.
  • Patent Document 1 The following main image detection method is known from Patent Document 1. According to this main image detection method, a main image in an image is detected by color density determination, and image scene determination is performed based on the image feature amount of the main image.
  • Patent Document 1 Japanese Patent Publication No. 6-40198
  • the image processing device includes a face detection unit that detects a human face area from an image including a plurality of pixels, and a pixel value of the human face area detected by the face detection unit. And a scene determination unit that determines an image scene based on pixel values of a non-face area other than the face area.
  • the image processing apparatus further includes a gradation correction unit that performs different gradation correction on the image according to the scene of the image determined by the scene determination unit. Is preferred.
  • a gradation correction parameter for performing gradation correction on an image according to the scene of the image determined by the scene determination unit. It is preferable to further include a parameter value setting unit that sets the parameter value of the image and a tone correction unit that corrects the tone of the image based on the parameter value set by the parameter value setting unit.
  • the scene determination unit performs (1) based on the pixel value of the face area and the pixel value of the non-face area.
  • a predetermined value it is determined that the image scene is a normal scene
  • the pixel value of the face area is larger than the predetermined value
  • the pixel value of the face area is larger than the predetermined value with respect to the pixel value of the non-face area. In some cases, it is better to determine that the image scene is a night scene.
  • the distribution of a set of face area pixel values and non-face area pixel values corresponds to a normal scene in advance.
  • a scene setting section that is divided into a range corresponding to a backlight scene, a range corresponding to a backlight scene, and a range corresponding to a night scene, and the scene determination section includes pixel values for the face area of the image and pixels for the non-face area. It is preferable to determine the scene of the image by determining whether the set of values is included in one of the ranges set by the scene setting unit.
  • the scene determination unit based on the pixel value of the face area and the pixel value of the non-face area, (1) When the difference from the pixel value of the non-face area is less than the predetermined value, the image scene is determined to be a normal scene, and (2) the pixel value of the non-face area is compared to the face area pixel value. If it is larger than the predetermined value, it is determined that the image scene is a backlight scene.
  • the image scene Is determined to be a night scene the tone correction parameter is a parameter that controls the pixel value of each pixel of the image
  • an image processing method detects a human face area from an image composed of a plurality of pixels, and detects the pixel value of the detected human face area and a non-face area other than the face area.
  • the scene of the image is determined based on the pixel value.
  • the parameter value of the gradation correction parameter for performing gradation correction on the image is further set according to the determined scene of the image. It is preferable to correct the gradation of the image based on the set parameter value.
  • the image scene is determined based on the pixel value of the face area and the pixel value of the non-face area. (1) If the difference between the pixel value of the face area and the pixel value of the non-face area is less than a predetermined value, the image scene is determined to be a normal scene, and (2) the pixel value of the face area On the other hand, if the pixel value of the non-face area is greater than or equal to a predetermined value, the image scene is determined to be a backlight scene, and (3) the pixel value of the face area is a predetermined value relative to the pixel value of the non-face area. If it is larger or larger, it is preferable to determine that the image scene is a night scene.
  • the distribution of a set of the pixel values of the face area and the non-face area is further preliminarily represented in a normal system. If the image scene is judged by dividing the setting into a range equivalent to a scene, a range equivalent to a backlight scene, and a range equivalent to a night scene, the pixel values and non-face values of the face area of the image It is preferable to determine the scene of the image by determining whether the set of pixel values in the area is included in the set range of deviation.
  • the face area is determined based on the pixel value of the face area and the pixel value of the non-face area. If the difference between the pixel value of the area and the pixel value of the non-face area is less than the predetermined value, the image (2) If the pixel value of the non-face area is greater than the face value by a predetermined value or more than the face area, the image scene is determined to be a backlight scene (3 ) If the pixel value of the face area is greater than or equal to a predetermined value relative to the pixel value of the non-face area, it is determined that the scene of the image is a night scene, and the gradation correction parameter is the pixel value of each pixel of the image.
  • This parameter controls the value.
  • a computer-readable computer product product has an image processing program that causes a computer to execute the image processing method according to any one of the seventh to twelfth aspects.
  • an imaging device includes an imaging element that captures an image, a storage unit that stores an image captured by the imaging element, and an image processing program that constitutes the computer program product according to the thirteenth aspect.
  • the control unit executes an image processing program and performs gradation correction processing on the image stored in the storage unit.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the luminance distribution of a face area and a non-face area for each scene.
  • FIG. 3 is a diagram showing a specific example of scene determination based on the luminance distribution of the face area and the luminance of the non-face area.
  • FIG. 4 is a diagram showing evaluation results of images after correction when Retinex gradation correction processing is performed on images of each scene with five levels of shadow parameters.
  • FIG. 5 Specific examples of images after correction when gradation is corrected by setting scene-specific parameters for the original image captured in each scene, and when gradation correction is performed by setting common parameters FIG.
  • FIG. 6 is a flowchart showing a processing flow of the editing apparatus according to the present embodiment.
  • FIG. 7 is a diagram showing a configuration of a digital camera.
  • FIG. 8 is a diagram showing how an image processing program is provided to an image processing apparatus.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus according to the present embodiment.
  • the image processing apparatus 100 is, for example, a personal computer, and an input device 101 such as a mouse, a keyboard, or an input switch operated by a user, a memory 102 that stores image data to be subjected to image processing, and an image processing program. And a control device 103 configured to read the image processing program stored in the memory 102 and perform image processing, and a monitor 104 that outputs an image.
  • Image data stored in the memory 102 is captured by, for example, a digital camera, is composed of a plurality of pixels, and is represented in an RGB color system. It is assumed that color information of each RGB color component exists in each pixel constituting the image data.
  • the color information of each color component of RGB is, for example, an intensity signal (pixel value) of each color represented by a level of 0 to 255, and the luminance of each pixel is determined based on the intensity signal of each color of RGB.
  • each RGB intensity signal is simply shown in RGB.
  • the control device 103 includes a face detection unit 103a, a scene determination unit 103b, and a gradation correction unit 103c.
  • the face detection unit 103a When the image processing target image selected by the user is displayed on the monitor 104 and the input device 101 is operated by the user and the start of image processing is instructed, the face detection unit 103a The face of the person included in the image is detected by the face detection method.
  • an image is divided into small areas having a predetermined size, and the luminance and hue of pixels in each small area are set in advance, and compared with the luminance and hue pattern of the face.
  • the small area is detected as an area including a human face (face area).
  • face area having the largest area among the plurality of face areas detected by the face detection process may be used as a target of various processes described later.
  • the face detection process may be terminated when one face area is detected from the image. Further, all face areas may be targeted.
  • the scene determination unit 103b determines an image scene based on the brightness of the face area detected by the face detection unit 103a and the brightness of an area other than the face area.
  • the scene of the image is determined by taking into account that the scene of the image, the luminance of the face area and the luminance distribution of the non-face area have a relationship as shown in FIG.
  • the average value of the luminance of the pixels included in the face area and the average value of the luminance of the pixels included in the non-face area are defined as the luminance of each area, and the scene power of the image is normally Determine whether the scene, backlight scene, or night scene is out of alignment.
  • FIG. 2 is a diagram showing the luminance distribution of the face area and the non-face area for each scene created based on the experimental values!
  • the horizontal axis represents the brightness of the face area and the vertical axis represents the brightness of the non-face area.
  • the brightness distribution in the normal scene (normal.dat), the brightness distribution in the backlight scene (backlit.dat), and the night scene The brightness distribution (night.dat) is plotted on the graph. That is, in the image captured in each scene, the brightness of the face area and the brightness of the non-face area are calculated, and one point that can be identified by the combination of the brightness of the face area and the brightness of the non-face area is shown in FIG. It is a figure which shows the result of having plotted on the graph of this, and having performed this with respect to the several image for every scene.
  • the brightness of the face area and the brightness of the non-face area are distributed with no significant difference. That is, the difference between the brightness (pixel value) of the face area and the brightness (pixel value) of the non-face area is less than a predetermined value.
  • the brightness of the non-face area is higher than the brightness of the face area. That is, the pixel value of the non-face region is larger than the pixel value of the face region.
  • the brightness of the face area is higher than the brightness of the non-face area.
  • the pixel value of the face area is larger than the pixel value of the non-face area.
  • the scene determination unit 103b calculates the brightness of the face area and the brightness of the non-face area in the determination target image, and specifies the brightness of the face area and the brightness of the non-face area on FIG.
  • the scene of the image is determined by determining which of the points (A) to (C) on the luminance distribution in FIG.
  • the distribution range of the brightness of the face area and the brightness of the non-face area is divided. That is, the scene is divided into a normal scene range 3a that matches the condition (A), a backlight scene range 3b that matches the condition (B), and a night scene range 3c that matches the condition (C). Then, the scene is determined by determining in which range (area) the point specified by the brightness of the face area and the brightness of the non-face area of the image to be determined is included. It should be noted that data relating to the luminance distribution range of the face area and the non-face area divided as shown in FIG. 3 may be stored (set) in advance in the memory 102 as a table.
  • tone correction processing is performed.
  • tone correction of an image is performed by a known Retinex tone correction process disclosed in USP 5,991,456 and other publications.
  • a preferable gradation correction process is performed by appropriately setting a parameter to be controlled (a parameter for controlling the degree of brightness of an image), that is, a value of a Shadow parameter that is a gradation correction parameter for correcting the gradation of an image.
  • a value can be set for this Shadow parameter in the range of 0 (no correction) to 100, and the larger the value, the higher the brightness of the image after gradation correction. Then, the gradation of the corrected image is determined by the weighted average of the Retinex processed image and the original image according to the parameter value.
  • the corrected image obtained by performing the above-described gradation correction processing on the image of each scene As a result of the evaluation, the score distribution of parameter values that can be corrected to brighten the entire image while maintaining the contrast value is as shown in Fig. 4.
  • the tone correction process is performed by setting the parameter value of the Shadow parameter to 0.
  • an optimum output image can be obtained when tone correction is not performed, and tone correction processing is performed with the parameter value set to 75 for an image in a backlight scene.
  • tone correction processing is performed with the parameter value set to 75 for an image in a backlight scene.
  • the gradation correction unit 103c determines the parameter value of the Shadow parameter for each scene, which can obtain an optimum output result according to the image scene determined by the scene determination unit 103b. This is set as a scene-specific parameter, and Retinex tone correction processing is performed and output to the monitor 104. That is, the tone correction unit 103c varies the parameter value of the Shadow parameter so that an optimum output result can be obtained according to the scene of the image determined by the scene determination unit 103b. As a result, compared to the case where the tone correction processing is performed with the parameter value of the Shadow parameter shared regardless of the scene, the tone is corrected to the optimum brightness while maintaining the contrast for each scene. Can be obtained.
  • FIG. 5 shows the case where the shadow parameters of the image (original image) captured in each scene are corrected by setting the above-mentioned scene-specific parameters and the Shadow parameter regardless of the scene of the image.
  • FIG. 5 is a diagram showing a specific example of an image after correction when gradation correction is performed by setting a common parameter with a nominal value of 50.
  • FIG. 6 is a flowchart showing a processing flow of the editing apparatus according to the present embodiment.
  • the processing shown in FIG. 6 is executed by reading the image processing program from the memory 102 into the control device 103 and starting it when the user operates the input device 101 and gives an instruction to start image processing.
  • step S10 face detection processing is performed on the image to be processed as described above to detect an area including a face in the image, that is, a face area. Thereafter, the process proceeds to step S20, the brightness of the face area and the brightness of the non-face area are calculated, and the process proceeds to step S30.
  • step S30 as described above, the scene of the image is determined based on the calculated brightness of the face area and the brightness of the non-face area. Thereafter, the process proceeds to step S40.
  • step S40 it is determined whether the determined scene of the image is a shift between a normal scene, a backlight scene, and a night scene. If it is determined that the image scene is a normal scene, the process proceeds to step S50, and the tone parameter is set to 0 as described above, and gradation correction processing is performed. That is, tone correction is not performed. If it is determined that the image scene is a backlight scene, the process proceeds to step S60, where the parameter value is increased, for example, set to 75, and gradation correction processing is performed.
  • step S 70 the parameter value is weakened and set to 25, for example, to perform tone correction processing. Thereafter, the process proceeds to step S80, and the image after gradation correction is output and displayed on the monitor 104, and the process ends.
  • the human face area is detected from the image and the scene of the image is judged based on the pixel value of the human face area and the pixel value of the non-face area other than the face area, In addition, if the main image is taken into account, the main image can be detected with high accuracy, and the scene can be determined accurately.
  • the scene of the image is determined based on the brightness of the face area and the brightness of the non-face area. Then, the tone correction is performed by determining the parameter value of the tone correction parameter that brightens the image according to the determined scene. As a result, the face of a person who is generally likely to be the main subject in the image can be corrected to an optimal brightness.
  • FIG. 3 In determining the image scene based on the brightness of the face area and the brightness of the non-face area, the area showing the brightness distribution based on the brightness distribution shown in FIG. 2 is shown in FIG. As shown in FIG. 3, it is determined whether the point specified by the brightness of the face area and the brightness of the non-face area is included in FIG. As a result, it is possible to perform scene determination with high accuracy, taking into account that the brightness distribution of the face color of the person, that is, the skin color and other background colors, is different for each scene.
  • the image processing apparatus can be modified as follows.
  • the average luminance value of the pixels included in the face area and the average luminance value of the pixels included in the non-face area are used as the luminance of the face area and the luminance of the non-face area, respectively.
  • An example of calculation and use in scene determination has been described.
  • the present invention is not limited to this.
  • another method in which the luminance of any one pixel included in the face area and the luminance of any one pixel included in the non-face area is used as the luminance of each area. You can calculate the brightness of each area by!
  • FIG. 7 is a diagram illustrating a configuration of a digital camera 200 that is an imaging apparatus.
  • An imaging element 203 such as a CCD images the subject 201 via the photographing lens 202.
  • Control device 204 Then, image data is generated based on the output signal from the image sensor 203 and stored in the memory 205.
  • the control device 204 performs image processing such as the above-described gradation correction processing on the image data stored in the memory 205. This image processing is performed by executing an image processing program stored in the memory 205.
  • the scene is determined based on the luminance.
  • the determination is not limited to the luminance, but may be performed based on, for example, parameters indicating brightness and other pixel brightness. As long as the degree of brightness is known, any value can be used as long as the pixel value of each pixel can be derived.
  • the image processing program is stored in the memory 102.
  • This image processing program can be provided to the image processing apparatus (personal computer) 100 through a recording medium such as a CD-ROM or a data signal such as the Internet.
  • Figure 8 shows how this is done.
  • the image processing apparatus 100 is provided with an image processing program via the CD-ROM 304. Further, the image processing apparatus 100 has a connection function with the communication line 301.
  • a computer 302 is a server computer that provides the image processing program, and stores the image processing program in a recording medium such as the hard disk 303.
  • the communication line 301 is a communication line such as the Internet or a dedicated communication line.
  • the computer 302 reads the image processing program using the hard disk 303 and transmits the image processing program to the image processing apparatus 100 via the communication line 301. That is, the image processing program is embodied as a data signal in a carrier wave (em body) and transmitted via the communication line 301. In this way, the image processing program can be supplied as computer-readable computer program products in various forms such as a recording medium and a carrier wave.
  • the image data to be subjected to image processing is stored in the memory 102. Similar to the image processing program described above, this image data can be acquired by the image processing apparatus 100 through a recording medium such as a CD-ROM or a data signal such as the Internet. In addition, the image processing apparatus 100 may be acquired by connecting to a digital camera via a USB interface cable.
  • the tone correction process a known Retinex tone correction process is used as the tone correction process.
  • An example was explained.
  • the gradation correction in the present invention is not limited to merely correcting the number of steps indicating the brightness from the bright part to the dark part of the image, or the degree of change thereof, but the pixel value optimum for human observation. It is also included to correct the above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

 画像処理装置は、複数の画素からなる画像から人物の顔領域を検出する顔検出部と、顔検出部で検出した人物の顔領域の画素値、および、顔領域以外の非顔領域の画素値に基づいて、画像のシーンを判定するシーン判定部とを備える。

Description

明 細 書
画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装 置
技術分野
[0001] 本発明は、画像を画像処理する画像処理装置、画像処理方法、画像処理プロダラ ム製品、および画像を撮像する撮像装置に関する。
背景技術
[0002] 次のような主要画像検出方法が特許文献 1によって知られている。この主要画像検 出方法によれば、色濃度判定によって画像内における主要画像を検出し、主要画像 の画像特徴量に基づいて画像のシーン判定を行う。
[0003] 特許文献 1 :特公平 6— 40198号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、従来の方法にお!、ては、主要画像となる可能性が高 、物体の色を基 準色とし、この基準色に基づいて色濃度判定を行って主要画像を検出するため、主 要画像としたい物体以外の部分に基準色が存在する場合には、主要画像を誤検出 する可能性があり、シーンを誤って判定する可能性があるという問題が生じていた。 課題を解決するための手段
[0005] 本発明の第 1の態様によると、画像処理装置は、複数の画素からなる画像から人物 の顔領域を検出する顔検出部と、顔検出部で検出した人物の顔領域の画素値、およ び、顔領域以外の非顔領域の画素値に基づいて、画像のシーンを判定するシーン 判定部とを備える。
本発明の第 2の態様によると、第 1の態様の画像処理装置において、画像に対して 、シーン判定部で判定した画像のシーンに応じて異なる階調補正を行う階調補正部 をさらに備えるのが好ましい。
本発明の第 3の態様によると、第 1の態様の画像処理装置において、シーン判定部 で判定した画像のシーンに応じて、画像に階調補正を施すための階調補正パラメ一 タのパラメータ値を設定するパラメータ値設定部と、パラメータ値設定部で設定したパ ラメータ値に基づいて、画像を階調補正する階調補正部とをさらに備えるのが好まし い。
本発明の第 4の態様によると、第 1から 3のいずれかの態様の画像処理装置におい て、シーン判定部は、顔領域の画素値および非顔領域の画素値に基づいて、(1)顔 領域の画素値と非顔領域の画素値との差が所定値未満である場合には、画像のシ ーンは通常シーンであると判定し、 (2)顔領域の画素値に対して非顔領域の画素値 が所定値以上大きい場合には、画像のシーンは逆光シーンであると判定し、(3)非 顔領域の画素値に対して顔領域の画素値が所定値以上大き 、場合には、画像のシ ーンは夜景シーンであると判定するのが好まし 、。
本発明の第 5の態様によると、第 1から 3のいずれかの態様の画像処理装置におい て、顔領域の画素値および非顔領域の画素値の組の分布を、予め、通常シーンに 相当する範囲、逆光シーンに相当する範囲、および夜景シーンに相当する範囲とに 分割して設定するシーン設定部をさらに備え、シーン判定部は、画像の顔領域の画 素値および非顔領域の画素値の組が、シーン設定部によって設定された範囲のい ずれに含まれるかを判定することによって、当該画像のシーンを判定するのが好まし い。
本発明の第 6の態様によると、第 3の態様の画像処理装置において、シーン判定部 は、顔領域の画素値および非顔領域の画素値に基づいて、(1)顔領域の画素値と 非顔領域の画素値との差が所定値未満である場合には、画像のシーンは通常シー ンであると判定し、 (2)顔領域の画素値に対して非顔領域の画素値が所定値以上大 きい場合には、画像のシーンは逆光シーンであると判定し、(3)非顔領域の画素値 に対して顔領域の画素値が所定値以上大きい場合には、画像のシーンは夜景シー ンであると判定し、階調補正パラメータは、画像の各画素の画素値をコントロールす るパラメータであり、パラメータ値設定部は、(4)シーン判定部によって画像のシーン が通常シーンであると判定された場合には、画像を階調補正しないようにパラメータ 値を設定し、 (5)シーン判定部によって画像のシーンが逆光シーンであると判定され た場合には、画像を明るく階調補正するようにパラメータ値を設定し、(6)シーン判定 部によって画像のシーンが夜景シーンであると判定した場合には、画像を逆光シー ンの階調補正よりも弱めに明るく階調補正するようにパラメータ値を設定するのが好 ましい。
本発明の第 7の態様によると、画像処理方法は、複数の画素からなる画像から人物 の顔領域を検出し、検出した人物の顔領域の画素値、および、顔領域以外の非顔領 域の画素値に基づいて、画像のシーンを判定する。
本発明の第 8の態様によると、第 7の態様の画像処理方法において、さらに、画像 に対して、判定した画像のシーンに応じて異なる階調補正を行うのが好ま 、。 本発明の第 9の態様によると、第 7の態様の画像処理方法において、さらに、判定 した画像のシーンに応じて、画像に階調補正を施すための階調補正パラメータのパ ラメータ値を設定し、設定したパラメータ値に基づいて、画像を階調補正するのが好 ましい。
本発明の第 10の態様によると、第 7から 9のいずれかの態様の画像処理方法にお いて、画像のシーンを判定する場合、顔領域の画素値および非顔領域の画素値に 基づいて、(1)顔領域の画素値と非顔領域の画素値との差が所定値未満である場合 には、画像のシーンは通常シーンであると判定し、(2)顔領域の画素値に対して非 顔領域の画素値が所定値以上大き 、場合には、画像のシーンは逆光シーンである と判定し、 (3)非顔領域の画素値に対して顔領域の画素値が所定値以上大き!/、場 合には、画像のシーンは夜景シーンであると判定するのが好ましい。
本発明の第 11の態様によると、第 7から 9のいずれかの態様の画像処理方法にお いて、さらに顔領域の画素値および非顔領域の画素値の組の分布を、予め、通常シ ーンに相当する範囲、逆光シーンに相当する範囲、および夜景シーンに相当する範 囲とに分割して設定し、画像のシーンを判定する場合、画像の顔領域の画素値およ び非顔領域の画素値の組が、設定された範囲の 、ずれに含まれるかを判定すること によって、当該画像のシーンを判定するのが好ま U、。
本発明の第 12の態様によると、第 9の態様の画像処理方法において、画像のシー ンを判定する場合、顔領域の画素値および非顔領域の画素値に基づいて、(1)顔領 域の画素値と非顔領域の画素値との差が所定値未満である場合には、画像のシー ンは通常シーンであると判定し、 (2)顔領域の画素値に対して非顔領域の画素値が 所定値以上大きい場合には、画像のシーンは逆光シーンであると判定し、(3)非顔 領域の画素値に対して顔領域の画素値が所定値以上大き 、場合には、画像のシー ンは夜景シーンであると判定し、階調補正パラメータは、画像の各画素の画素値をコ ントロールするパラメータであり、パラメータ値を設定する場合、(4)画像のシーンが 通常シーンであると判定された場合には、画像を階調補正しないようにパラメータ値 を設定し、(5)画像のシーンが逆光シーンであると判定された場合には、画像を明る く階調補正するようにパラメータ値を設定し、(6)画像のシーンが夜景シーンであると 判定した場合には、画像を逆光シーンの階調補正よりも弱めに明るく階調補正するよ うにパラメータ値を設定するのが好ま 、。
本発明の第 13の態様によると、コンピュータ読み込み可能なコンピュータプロダラ ム製品は、第 7から 12のいずれかの態様の画像処理方法をコンピュータに実行させ る画像処理プログラムを有する。
本発明の第 14の態様によると、撮像装置は、画像を撮像する撮像素子と、撮像素 子で撮像した画像を記憶する記憶部と、第 13の態様のコンピュータプログラム製品を 構成する画像処理プログラムを実行するための制御部とを備え、制御部は、画像処 理プログラムを実行して、記憶部に記憶した画像に対して階調補正処理を施す。 発明の効果
[0006] 本発明によれば、人物の顔は一般的に主要画像であることを加味して、精度高く主 要画像を検出することができ、正確にシーンを判定することができる。
図面の簡単な説明
[0007] [図 1]本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図 である。
[図 2]シーン別の顔領域と非顔領域の輝度分布を表す図である。
[図 3]顔領域の輝度と非顔領域の輝度の分布に基づくシーン判定の具体例を示す図 である。
[図 4]5段階の Shadowパラメータで各シーンの画像を Retinex階調補正処理を行つ た場合の補正後の画像の評価結果を示す図である。 [図 5]各シーンで撮像された元画像に対して、シーン別パラメータを設定して階調補 正した場合と、共通パラメータを設定して階調補正した場合の補正後の画像の具体 例を示す図である。
[図 6]本実施の形態における編集装置の処理の流れを示すフローチャート図である。
[図 7]デジタルカメラの構成を示す図である。
[図 8]画像処理プログラムを画像処理装置に提供する様子を示す図である。
発明を実施するための最良の形態
[0008] 図 1は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロッ ク図である。画像処理装置 100は、例えばパソコンであり、使用者によって操作される マウス、キーボード、または入力スィッチなどの入力装置 101と、画像処理の対象とな る画像データ、および画像処理プログラムを格納するメモリ 102と、 CPUやその他の 周辺回路で構成され、メモリ 102に記憶された画像処理プログラムを読み込んで画 像処理を行う制御装置 103と、画像を出力するモニタ 104とを備えている。
[0009] メモリ 102に記憶される画像データは、例えばデジタルカメラで撮像され、複数の画 素から構成され、 RGB表色系で示されている。画像データを構成する各々の画素に は、 RGBの各色成分の色情報が存在しているものとする。ここで、 RGBの各色成分 の色情報とは、例えば 0〜255のレベルで表される各色の強度信号 (画素値)であり 、 RGBの各色の強度信号を基に各画素の輝度が決定される。以下では、 RGBの各 強度信号を単に RGBで示す。
[0010] 制御装置 103は、顔検出部 103aと、シーン判定部 103bと、階調補正部 103cとを 有している。顔検出部 103aは、使用者によって選択された画像処理対象の画像が モニタ 104に表示された状態で、使用者によって入力装置 101が操作され、画像処 理の開始が指示されると、公知の顔検出方法によって、当該画像に含まれる人物の 顔を検出する。本実施の形態では、例えば画像内を所定の大きさを有する小領域に 分割し、各小領域内の画素の輝度や色相をあらかじめ設定してぉ 、た顔の輝度や 色相パターンと比較する。そして、顔の輝度や色相パターンと一致する小領域に人 物の顔が存在するものとして、その小領域を人物の顔を含む領域 (顔領域)として検 出する。 [0011] なお、画像内に複数の顔が存在する場合には、顔検出処理によって検出した複数 の顔領域のうち、最も面積の大きい顔領域を後述する各種処理の対象としてもよぐ あるいは、画像内から 1つの顔領域が検出された時点で顔検出処理を終了するよう にしてもよい。また、全ての顔領域を対象にしてもよい。
[0012] シーン判定部 103bは、顔検出部 103aによって検出された顔領域の輝度と、顔領 域以外の領域の輝度に基づいて、画像のシーンを判定する。すなわち、画像のシー ンと、顔領域の輝度および非顔領域の輝度分布には、後述する図 2に示すような関 係があることを加味して、画像のシーンを判定する。なお、本実施の形態では、顔領 域に含まれる画素の輝度の平均値と、非顔領域に含まれる画素の輝度の平均値とを それぞれの領域の輝度として定義し、画像のシーン力 通常シーン、逆光シーン、お よび夜景シーンの 、ずれであるかを判定する。
[0013] 図 2は、実験値に基づ!/ヽて作成されたシーン別の顔領域と非顔領域の輝度分布を 表す図である。この図 2は、横軸に顔領域の輝度、縦軸に非顔領域の輝度をとり、通 常シーンにおける輝度分布 (normal.dat)、逆光シーンにおける輝度分布 (backlit.dat )、および夜景シーンにおける輝度分布 (night.dat)をそれぞれグラフ上にプロットした ものである。すなわち、それぞれのシーンで撮像された画像において、顔領域の輝 度と、非顔領域の輝度とを算出し、顔領域の輝度と非顔領域の輝度の組によって特 定できる 1点を図 2のグラフ上にプロットし、これを各シーンごとの複数枚の画像に対 して行った結果を示す図である。
[0014] この図により、各シーンにおける輝度分布は、次の (A)〜(C)に示すような特徴が あることがわ力る。
[0015] (A)通常シーン
通常シーンでは、顔領域の輝度と非顔領域の輝度とは大きな差がなく分布して 、る 。すなわち、顔領域の輝度 (画素値)と非顔領域の輝度 (画素値)との差は所定値未 満となっている。
(B)逆光シーン
逆光シーンでは、顔領域の輝度に対して非顔領域の輝度が高くなつている。すな わち、顔領域の画素値に対して非顔領域の画素値が大きくなつている。 (c)夜景シーン
夜景シーンでは、非顔領域の輝度に対して顔領域の輝度が高くなつている。すな わち、非顔領域の画素値に対して顔領域の画素値が大きくなつている。
[0016] シーン判定部 103bは、判定対象の画像における顔領域の輝度と、非顔領域の輝 度を算出し、この顔領域の輝度と非顔領域の輝度との組によって図 2上で特定される 点が、図 2の輝度分布上で (A)〜(C)のいずれに該当するかを判断することによって 、画像のシーンを判定する。
[0017] なお、本実施の形態では、図 2に示した輝度分布に基づ 、て、画像が上述した (A) 〜(C)のいずれに該当するかを判断するために、図 2の顔領域の輝度と非顔領域の 輝度の分布範囲を図 3に示すように分割する。すなわち、(A)の条件に合致する通 常シーン範囲 3a、(B)の条件に合致する逆光シーン範囲 3b、および (C)の条件に 合致する夜景シーン範囲 3cに分割する。そして、判定対象の画像の顔領域の輝度と 非顔領域の輝度とによって特定される点が、いずれの範囲 (領域)に含まれるかを判 定して、シーンの判定を行う。なお、図 3のように分割された顔領域の輝度と非顔領 域の輝度の分布範囲に関するデータは、テーブルィ匕してメモリ 102に予め記憶 (設 定)しておけばよい。
[0018] そして、シーン判定部 103bによって画像のシーンが判定されると、階調補正部 10 3cは、シーンに応じて階調補正パラメータのパラメータ値を設定し、設定したパラメ一 タ値により階調補正処理を行う。なお、本実施の形態では、 USP5, 991, 456号公 報などに開示されている公知の Retinex階調補正処理によって画像の階調補正を 行うが、階調補正量については、画像の輝度をコントロールするパラメータ (画像を明 るくする程度をコントロールするパラメータ)、すなわち画像の階調を補正する階調補 正パラメータである Shadowパラメータの値を適宜設定して好ましい階調補正処理を 行う。
[0019] この Shadowパラメータは、 0 (補正なし)〜 100の範囲で値を設定することができ、 値が大きくなるほど階調補正後の画像の輝度が明るくなる傾向を示す。そして、パラ メータ値に応じて Retinex処理画像と元画像の加重平均により、補正画像の階調を 決定する。各シーンの画像に対して上述した階調補正処理を行った補正後の画像を 評価した結果、コントラスト値を保ったまま画像全体を明るくするように補正できるパラ メータ値のスコア分布は、図 4に示すようになった。
[0020] すなわち、通常シーンでの画像では、図 4 (a)に示すように、 Shadowパラメータの ノ メータ値を 0として階調補正処理を行った場合に、最適な出力結果を得られるこ とが多ぐ逆光シーンでの画像では、図 4 (b)に示すように、パラメータ値を 75として 階調補正処理を行った場合に、暗部も明るくなる画像が得られ、最適な出力結果を 得られることが多い。また、夜景シーンでの画像では、図 4 (c)に示すように、パラメ一 タ値を 25または 50として階調補正処理を行った場合に、暗部が明るすぎずに内容 がわ力る程度に明るい画像が得られ、最適な出力結果を得られることが多い。
[0021] 換言すれば、通常シーンでの画像に対しては、 Shadowパラメータのパラメータ値 を 0に設定して階調補正処理を行うようにする。すなわち階調補正を行わない場合に 、最適な出力画像を得ることができ、また、逆光シーンでの画像に対しては、パラメ一 タ値を 75に設定して階調補正処理を行う、すなわち明るく階調補正することによって 、コントラストを保ったまま画像全体を明るくした最適な画像を得ることができる。そし て、夜景シーンでの画像に対しては、ノ メータ値を 25に設定して階調補正処理を 行う、すなわち逆光シーンよりも弱めに明るく階調補正することによって、最適な画像 を得ることができる。
[0022] このように、階調補正部 103cは、シーン判定部 103bによって判定された画像のシ ーンに応じて、最適な出力結果を得ることができる Shadowパラメータのパラメータ値 を、各シーンごとのシーン別パラメータとして設定して Retinex階調補正処理を行つ てモニタ 104に出力する。すなわち、階調補正部 103cは、シーン判定部 103bによ つて判定された画像のシーンに応じて、最適な出力結果を得ることができるように Sh adowパラメータのパラメータ値を異ならせる。これによつて、 Shadowパラメータのパ ラメータ値をシーンに関わらず共通にして階調補正処理する場合と比較して、各シー ンごとにコントラストを保ったまま最適な明るさに階調補正した画像を得ることができる ようになる。
[0023] 図 5は、各シーンで撮像された画像 (元画像)に対して、上述したシーン別パラメ一 タを設定して階調補正した場合と、画像のシーンに関わらず、 Shadowパラメータの ノ メータ値を 50とした共通パラメータを設定して階調補正した場合の補正後の画 像の具体例を示す図である。
[0024] シーンが通常シーンである場合には、図 5 (a)に示す元画像に対して、シーン別パ ラメータ (パラメータ値 =0)を設定して階調補正を行った後の画像を図 5 (b)に示す。 また、元画像に対して共通パラメータ (パラメータ値 = 50)を設定して階調補正を行つ た後の画像を図 5 (c)に示す。このように、共通パラメータを設定して階調補正を行つ た場合には、画像が明るくなりすぎてしまうのに対して、シーン別パラメータを設定し て階調補正を行った場合、すなわち階調補正を行わない場合には、最適な明るさの 画像を得ることができる。
[0025] シーンが逆光シーンである場合には、図 5 (d)に示す元画像に対して、シーン別パ ラメータ (パラメータ値 = 75)を設定した階調補正を行った後の画像を図 5 (e)に示す 。また、元画像に対して共通パラメータを設定して階調補正を行った後の画像を図 5 (f)に示す。このように、共通パラメータを設定して階調補正を行った場合には、画像 が未だ暗い状態であり、特に主要被写体である人物の顔が暗い状態であるのに対し て、シーン別パラメータを設定して階調補正を行った場合には、画像全体を十分な 明るさにすると同時に、人物の顔がきれいに表示されるように階調補正した画像を得 ることがでさる。
[0026] シーンが夜景シーンである場合には、図 5 (g)に示す元画像に対して、シーン別パ ラメータ (パラメータ値 = 25)を設定した階調補正を行った後の画像を図 5 (h)に示す 。また、元画像に対して共通パラメータを設定して階調補正を行った後の画像を図 5 (i)に示す。このように、共通パラメータを設定して階調補正を行った場合には、画像 が明るくなりすぎてしまうのに対して、シーン別パラメータを設定して階調補正を行つ た場合には、十分な明るさとなるように階調補正され、最適な明るさの画像を得ること ができる。
[0027] 図 6は、本実施の形態における編集装置の処理の流れを示すフローチャートである 。この図 6に示す処理は、使用者によって入力装置 101が操作され、画像処理の開 始が指示されると、画像処理プログラムがメモリ 102から制御装置 103に読み込まれ て起動されることより実行される。 [0028] ステップ S10において、上述したように画像処理対象の画像に対して顔検出処理を 行って、画像内の顔を含む領域、すなわち顔領域を検出する。その後、ステップ S20 へ進み、顔領域の輝度と非顔領域の輝度を算出して、ステップ S30へ進む。ステップ S30では、上述したように、算出した顔領域の輝度と非顔領域の輝度に基づいて、画 像のシーンを判定する。その後、ステップ S40へ進む。
[0029] ステップ S40では、判定した画像のシーンが通常シーン、逆光シーン、夜景シーン の 、ずれであるかを判断する。画像のシーンが通常シーンであると判断した場合に は、ステップ S50へ進み、上述したように Shadowパラメータのパラメータ値を 0に設 定して階調補正処理を行う。すなわち階調補正を行わない。また、画像のシーンが逆 光シーンであると判断した場合には、ステップ S60へ進み、パラメータ値を強め、例え ば 75に設定して階調補正処理を行う。
[0030] また、画像のシーンが夜景シーンであると判断した場合には、ステップ S70へ進み 、ノ ラメータ値を弱め、例えば 25に設定して階調補正処理を行う。その後、ステップ S 80へ進み、階調補正後の画像をモニタ 104へ出力して表示し、処理を終了する。
[0031] 以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)画像から人物の顔領域を検出し、人物の顔領域の画素値および顔領域以外の 非顔領域の画素値に基づ 、て画像のシーンを判定するので、人物の顔は一般的に 主要画像であることを加味すると、精度高く主要画像を検出することができ、正確に シーンを判定することができる。
[0032] (2)上記のように正確に判定した画像のシーンに応じて異なる階調補正を行うので、 シーンごとに最適な補正を行うことができる。
[0033] (3)顔検出処理を行って画像内における顔領域を検出した後、当該顔領域の輝度と 非顔領域の輝度に基づいて画像のシーンを判定した。そして、判定したシーンに応 じて画像を明るくする階調補正パラメータのパラメータ値を決定して階調補正を行うよ うにした。これによつて、一般的に画像内で主要被写体である可能性が高い人物の 顔を最適な明るさに補正することができる。
[0034] (4)階調補正パラメータのパラメータ値を決定するに当たっては、各シーンごとにコン トラスト値を保ったまま画像全体を明るくするように補正できるパラメータ値のスコア分 布に基づいて決定するようにした。これによつて、コントラスト値を保ったまま画像全体 を明るくするように補正できるパラメータ値のスコア分布がシーンごとに異なることをカロ 味して、各シーンごとに最適なパラメータ値を決定することができる。
[0035] (5)顔領域の輝度と非顔領域の輝度に基づいて、画像のシーンを判定するに当たつ ては、図 2に示す輝度分布に基づいて輝度分布を示す領域を図 3に示すように分割 して、顔領域の輝度と非顔領域の輝度とによって特定される点が、図 3のいずれの領 域に含まれるかを判定するようにした。これによつて、人物の顔の色、すなわち肌色と その他の背景色とは、シーンごとにその輝度分布が異なることを加味して、精度高く シーン判定を行うことができる。
[0036] 一変形例一
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。 (1)上述した実施の形態では顔領域に含まれる画素の輝度の平均値と、非顔領域に 含まれる画素の輝度の平均値をそれぞれ顔領域の輝度、および非顔領域の輝度と して算出して、シーンの判定に用いる例について説明した。しかしこれに限定されず 、例えば、顔領域内に含まれる任意の 1画素の輝度と、非顔領域に含まれる任意の 1 画素の輝度とを、それぞれの領域の輝度としてもよぐその他の方法によってそれぞ れの領域の輝度を算出するようにしてもよ!、。
[0037] (2)上述した実施の形態では、階調補正パラメータとして Shadowパラメータを使用 する例について説明したが、これに限定されず、画像の明るさを補正することができ るその他のパラメータを使用して階調補正するようにしてもよい。なお、 Shadowパラ メータ以外のパラメータを使用する場合には、各シーンに応じた最適なパラメータ値 をあら力じめ設定する必要がある。
[0038] (3)上述した実施の形態では、画像処理装置 100は、例えばパソコンである場合の 例について説明したが、これに限定されず、その他の情報端末でもよい。また、上述 した画像処理プログラムをデジタルカメラに搭載し、使用者がデジタルカメラで撮像し た画像に対して、デジタルカメラ上で上述した階調補正処理を行えるようにしてもょ ヽ 。図 7は、撮像装置であるデジタルカメラ 200の構成を示す図である。 CCDなどの撮 像素子 203は、撮影レンズ 202を介してで被写体 201を撮像する。制御装置 204は 、撮像素子 203からの出力信号に基づき画像データを生成しメモリ 205に格納する。 制御装置 204は、メモリ 205に格納された画像データに対して前述した階調補正処 理などの画像処理を行う。この画像処理は、メモリ 205に格納された画像処理プログ ラムを実行することにより行われる。
[0039] (4)上述した実施の形態では、輝度を元にシーンを判定した。しかし、輝度だけに限 らず、例えば、明度やその他の各画素の明るさを示すパラメータを元に判定しても良 い。これら明るさの度合いが分かれば良ぐ各画素の画素値力 導き出せるものであ ればいずれでも良い。
[0040] (5)上述した実施の形態では、画像処理プログラムはメモリ 102に格納されて 、るとし て説明した。この画像処理プログラムは、 CD—ROMなどの記録媒体やインターネッ トなどのデータ信号を通じて画像処理装置 (パーソナルコンピュータ) 100に提供す ることができる。図 8はその様子を示す図である。画像処理装置 100は、 CD-ROM 304を介して画像処理プログラムの提供を受ける。また、画像処理装置 100は通信 回線 301との接続機能を有する。コンピュータ 302は上記画像処理プログラムを提供 するサーバーコンピュータであり、ハードディスク 303などの記録媒体に画像処理プ ログラムを格納する。通信回線 301は、インターネットなどの通信回線、あるいは専用 通信回線などである。コンピュータ 302はハードディスク 303を使用して画像処理プ ログラムを読み出し、通信回線 301を介して画像処理プログラムを画像処理装置 100 に送信する。すなわち、画像処理プログラムをデータ信号として搬送波に具現化 (em body)して、通信回線 301を介して送信する。このように、画像処理プログラムは、記 録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプロ グラム製品として供給できる。
[0041] (6)上述した実施の形態では、画像処理の対象となる画像データはメモリ 102に格 納されているとして説明した。この画像データは、上述した画像処理プログラムと同様 に、 CD— ROMなどの記録媒体やインターネットなどのデータ信号を通じて画像処 理装置 100が取得することができる。また、画像処理装置 100が、デジタルカメラと U SBインターフェースケーブルなどを介して接続し取得するようにしてもょ 、。
[0042] (7)上述した実施の形態では、階調補正処理として公知の Retinex階調補正処理の 例を説明した。ただし、本発明における階調補正は、単に、画像の明部から暗部まで の明るさを示す段数、または、その変化の度合いを補正するだけに限られず、人間 が観察するのに最適な画素値の補正することも含まれるものとする。
[0043] なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態 における構成に何ら限定されない。
[0044] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願 2005年第 163814号(2005年 6月 3日出願)

Claims

請求の範囲 [1] 画像処理装置であって、 複数の画素からなる画像から人物の顔領域を検出する顔検出部と、 前記顔検出部で検出した前記人物の顔領域の画素値、および、前記顔領域以外 の非顔領域の画素値に基づ 、て、前記画像のシーンを判定するシーン判定部とを 備える。 [2] 請求項 1に記載の画像処理装置において、 前記画像に対して、前記シーン判定部で判定した前記画像のシーンに応じて異な る階調補正を行う階調補正部をさらに備える。 [3] 請求項 1に記載の画像処理装置において、 前記シーン判定部で判定した前記画像のシーンに応じて、前記画像に階調補正を 施すための階調補正パラメータのパラメータ値を設定するパラメータ値設定部と、 前記パラメータ値設定部で設定した前記パラメータ値に基づ!、て、前記画像を階 調補正する階調補正部とをさらに備える。 [4] 請求項 1から 3の 、ずれかに記載の画像処理装置にお!/、て、 前記シーン判定部は、前記顔領域の画素値および前記非顔領域の画素値に基づ いて、 (1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合 には、前記画像のシーンは通常シーンであると判定し、 (2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは逆光シーンであると判定し、 (3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは夜景シーンであると判定する。 [5] 請求項 1から 3の 、ずれかに記載の画像処理装置にお!/、て、 前記顔領域の画素値および前記非顔領域の画素値の組の分布を、予め、通常シ ーンに相当する範囲、逆光シーンに相当する範囲、および夜景シーンに相当する範 囲とに分割して設定するシーン設定部をさらに備え、 前記シーン判定部は、前記画像の前記顔領域の画素値および前記非顔領域の画 素値の組が、前記シーン設定部によって設定された範囲の ヽずれに含まれるかを判 定すること〖こよって、当該画像のシーンを判定する。 [6] 請求項 3に記載の画像処理装置において、 前記シーン判定部は、前記顔領域の画素値および前記非顔領域の画素値に基づ いて、
(1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合 には、前記画像のシーンは通常シーンであると判定し、
(2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは逆光シーンであると判定し、
(3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは夜景シーンであると判定し、
前記階調補正パラメータは、画像の各画素の画素値をコントロールするパラメータ であり、
前記パラメータ値設定部は、
(4)前記シーン判定部によって前記画像のシーンが通常シーンであると判定された 場合には、前記画像を階調補正しな 、ように前記パラメータ値を設定し、
(5)前記シーン判定部によって前記画像のシーンが逆光シーンであると判定された 場合には、前記画像を明るく階調補正するように前記パラメータ値を設定し、
(6)前記シーン判定部によって前記画像のシーンが夜景シーンであると判定した場 合には、前記画像を前記逆光シーンの階調補正よりも弱めに明るく階調補正するよう に前記パラメータ値を設定する。
[7] 画像処理方法であって、
複数の画素からなる画像から人物の顔領域を検出し、
検出した前記人物の顔領域の画素値、および、前記顔領域以外の非顔領域の画 素値に基づいて、前記画像のシーンを判定する。
[8] 請求項 7に記載の画像処理方法において、さらに、
前記画像に対して、判定した前記画像のシーンに応じて異なる階調補正を行う。
[9] 請求項 7に記載の画像処理方法において、さらに、 判定した前記画像のシーンに応じて、前記画像に階調補正を施すための階調補 正パラメータのパラメータ値を設定し、
設定した前記パラメータ値に基づ!/、て、前記画像を階調補正する。
[10] 請求項 7から 9の 、ずれかに記載の画像処理方法にお!、て、
前記画像のシーンを判定する場合、前記顔領域の画素値および前記非顔領域の 画素値に基づいて、
(1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合 には、前記画像のシーンは通常シーンであると判定し、
(2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは逆光シーンであると判定し、
(3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは夜景シーンであると判定する。
[11] 請求項 7から 9のいずれかに記載の画像処理方法において、さらに
前記顔領域の画素値および前記非顔領域の画素値の組の分布を、予め、通常シ ーンに相当する範囲、逆光シーンに相当する範囲、および夜景シーンに相当する範 囲とに分割して設定し、
前記画像のシーンを判定する場合、前記画像の前記顔領域の画素値および前記 非顔領域の画素値の組が、前記設定された範囲の 、ずれに含まれるかを判定するこ とによって、当該画像のシーンを判定する。
[12] 請求項 9に記載の画像処理方法において、
前記画像のシーンを判定する場合、前記顔領域の画素値および前記非顔領域の 画素値に基づいて、
(1)前記顔領域の画素値と前記非顔領域の画素値との差が所定値未満である場合 には、前記画像のシーンは通常シーンであると判定し、
(2)前記顔領域の画素値に対して前記非顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは逆光シーンであると判定し、
(3)前記非顔領域の画素値に対して前記顔領域の画素値が所定値以上大き!/、場合 には、前記画像のシーンは夜景シーンであると判定し、 前記階調補正パラメータは、画像の各画素の画素値をコントロールするパラメータ であり、
前記パラメータ値を設定する場合、
(4)前記画像のシーンが通常シーンであると判定された場合には、前記画像を階調 補正しな!、ように前記パラメータ値を設定し、
(5)前記画像のシーンが逆光シーンであると判定された場合には、前記画像を明るく 階調補正するように前記パラメータ値を設定し、
(6)前記画像のシーンが夜景シーンであると判定した場合には、前記画像を前記逆 光シーンの階調補正よりも弱めに明るく階調補正するように前記パラメータ値を設定 する。
[13] コンピュータ読み込み可能なコンピュータプログラム製品であって、
請求項 7から 12のいずれかに記載の画像処理方法をコンピュータに実行させる画 像処理プログラムを有する。
[14] 撮像装置であって、
画像を撮像する撮像素子と、
前記撮像素子で撮像した画像を記憶する記憶部と、
請求項 13に記載のコンピュータプログラム製品を構成する画像処理プログラムを実 行するための制御部とを備え、
前記制御部は、前記画像処理プログラムを実行して、前記記憶部に記憶した画像 に対して階調補正処理を施す。
PCT/JP2006/310661 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 WO2006129601A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/921,082 US8150099B2 (en) 2005-06-03 2006-05-29 Image processing device, image processing method, image processing program product, and imaging device
JP2007518967A JP4780104B2 (ja) 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005163814 2005-06-03
JP2005-163814 2005-06-03

Publications (1)

Publication Number Publication Date
WO2006129601A1 true WO2006129601A1 (ja) 2006-12-07

Family

ID=37481530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/310661 WO2006129601A1 (ja) 2005-06-03 2006-05-29 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置

Country Status (3)

Country Link
US (1) US8150099B2 (ja)
JP (1) JP4780104B2 (ja)
WO (1) WO2006129601A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102426A (ja) * 2008-10-22 2010-05-06 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
CN102170527A (zh) * 2010-02-16 2011-08-31 卡西欧计算机株式会社 图像处理装置
JP2012191645A (ja) * 2012-05-16 2012-10-04 Canon Inc 撮像装置およびその制御方法
JP2020160804A (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129601A1 (ja) * 2005-06-03 2006-12-07 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
JP5031877B2 (ja) * 2010-01-06 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP4930607B2 (ja) * 2010-02-04 2012-05-16 カシオ計算機株式会社 画像処理装置、及び、画像処理プログラム
CN103543808B (zh) * 2012-07-16 2016-04-20 华栋 Cpu供电电路保护***
JP6188452B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107341298A (zh) * 2017-06-22 2017-11-10 电子科技大学 基于pc终端下电路图图像识别的仿真***及方法
US10785419B2 (en) * 2019-01-25 2020-09-22 Pixart Imaging Inc. Light sensor chip, image processing device and operating method thereof
JP7414077B2 (ja) * 2019-12-17 2024-01-16 日本電気株式会社 画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100087A (ja) * 1999-09-29 2001-04-13 Olympus Optical Co Ltd 多点測距装置
JP2002135559A (ja) * 2000-10-20 2002-05-10 Noritsu Koki Co Ltd 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP2004021374A (ja) * 2002-06-13 2004-01-22 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、プログラム、記憶媒体
JP2004363898A (ja) * 2003-06-04 2004-12-24 Mitsubishi Electric Corp 撮像表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0640198B2 (ja) 1986-02-17 1994-05-25 富士写真フイルム株式会社 主要画像検出方法及びこれを用いた写真焼付露光量決定方法
US5461457A (en) 1992-11-25 1995-10-24 Fuji Photo Film Co., Ltd. Method of determining amount of exposure
JP2848750B2 (ja) 1992-11-25 1999-01-20 富士写真フイルム株式会社 露光量決定方法
US5991456A (en) * 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
WO2001082154A1 (fr) * 2000-04-21 2001-11-01 Shiseido Company, Ltd. Appareil pour donner des conseils de maquillage
JP4123724B2 (ja) * 2001-01-30 2008-07-23 コニカミノルタビジネステクノロジーズ株式会社 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置および画像処理方法
JP4197858B2 (ja) 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4341295B2 (ja) * 2003-05-16 2009-10-07 セイコーエプソン株式会社 逆光人物画像の判定
JP3880553B2 (ja) 2003-07-31 2007-02-14 キヤノン株式会社 画像処理方法および装置
JP2005130484A (ja) * 2003-10-02 2005-05-19 Nikon Corp 階調補正装置、および階調補正プログラム
JP4115467B2 (ja) * 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
WO2006129601A1 (ja) * 2005-06-03 2006-12-07 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
JP4516503B2 (ja) * 2005-09-07 2010-08-04 富士フイルム株式会社 撮像システムおよびその制御方法
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP2009290661A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
JP2009290660A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100087A (ja) * 1999-09-29 2001-04-13 Olympus Optical Co Ltd 多点測距装置
JP2002135559A (ja) * 2000-10-20 2002-05-10 Noritsu Koki Co Ltd 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP2004021374A (ja) * 2002-06-13 2004-01-22 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、プログラム、記憶媒体
JP2004363898A (ja) * 2003-06-04 2004-12-24 Mitsubishi Electric Corp 撮像表示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102426A (ja) * 2008-10-22 2010-05-06 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
CN102170527A (zh) * 2010-02-16 2011-08-31 卡西欧计算机株式会社 图像处理装置
JP2012191645A (ja) * 2012-05-16 2012-10-04 Canon Inc 撮像装置およびその制御方法
JP2020160804A (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
JP7446060B2 (ja) 2019-03-27 2024-03-08 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法

Also Published As

Publication number Publication date
US20080292145A1 (en) 2008-11-27
US8150099B2 (en) 2012-04-03
JPWO2006129601A1 (ja) 2009-01-08
JP4780104B2 (ja) 2011-09-28

Similar Documents

Publication Publication Date Title
JP4780104B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
WO2009088080A1 (ja) プロジェクタ
JP4831067B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
US7656456B2 (en) Image sensing system and method of controlling same
EP2068569A1 (en) Method of and apparatus for detecting and adjusting colour values of skin tone pixels
US20060181618A1 (en) Apparatus, method and program for creating luminance conversion curve
TWI386866B (zh) 灰階修正裝置、灰階修正方法、灰階修正程式
JP2004282416A (ja) 画像処理方法および画像処理装置
US8717449B2 (en) Image synthesizing apparatus, image recording method, and recording medium
JP2006324840A (ja) 画像処理装置及びホワイトバランス調整装置
JP4595569B2 (ja) 撮像装置
EP3334150B1 (en) Image processing apparatus
US20030231856A1 (en) Image processor, host unit for image processing, image processing method, and computer products
JP4888485B2 (ja) 階調補正特性評価装置、画像処理装置、階調補正特性評価方法、画像処理方法、階調補正特性評価プログラム、および画像処理プログラム
US7426300B2 (en) Image processing apparatus, image processing method, program and image forming apparatus, for performing density adjustment on an image based on a highlight part and a shadow part of a histogram of the image
JP5141259B2 (ja) プロジェクタ
JP4269780B2 (ja) 画像処理装置、電子カメラ、及び画像処理プログラム
JP5103984B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2006350621A (ja) 画像処理装置及び画像処理プログラム
JP2006042152A (ja) ホワイトバランス装置、撮像装置、ホワイトバランス処理方法、及びプログラム
JP4445026B2 (ja) 画像処理方法および装置並びにプログラム
JP2004260835A (ja) 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JP2007165946A (ja) 被写体像補正装置および方法
JP4578398B2 (ja) 画像補正装置および方法,ならびに画像補正プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007518967

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11921082

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 06746939

Country of ref document: EP

Kind code of ref document: A1