JP2016148933A

JP2016148933A - Image processing system and image processing method

Info

Publication number: JP2016148933A
Application number: JP2015024484A
Authority: JP
Inventors: 小笠原　努; Tsutomu Ogasawara; 努小笠原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-02-10
Filing date: 2015-02-10
Publication date: 2016-08-18

Abstract

PROBLEM TO BE SOLVED: To make a plurality of subject persons included in an image different in intensity of fair skin processing effect individually for each subject person, and to perform such processing as making the degrees of roughness of the skins of the subject persons uniform after image processing.SOLUTION: An image processing system includes: acquisition means for acquiring image data; face detection means for detecting a face from the image data; processing means for performing image processing that sets the degrees of roughness of the skins to be smaller than a facial skin area. If the face detection means detects a plurality of faces from the image data, the processing means determines the degree of roughness of the skin for each of the plurality of detected faces, and image processing is performed at a different intensity for each face so that the degrees of roughness of the skins of the plurality of faces after image processing become similar.SELECTED DRAWING: Figure 4

Description

本発明は、画像データを取得し、画像データに含まれる被写体人物の顔領域に対して、肌のざらつき度合が減少するようにノイズリダクション処理を行う画像処理に関する。 The present invention relates to image processing that acquires image data and performs noise reduction processing on a face area of a subject person included in the image data so that the degree of skin roughness is reduced.

従来より人物撮影において肌をきれいに撮りたいというニーズがある。また、近年ではスマートフォンの普及や、電子ビューファインダーの液晶画面を自分の方に向けられるデジタルカメラの開発によって、自分撮りという撮影方法が広がっている。そのため、一人で自分自身とともに複数人で撮影する機会が増えており、複数人をきれいに写したいというニーズもある。 Conventionally, there is a need for taking beautiful skin in portrait photography. In recent years, the self-portrait photography method has been spreading due to the spread of smartphones and the development of digital cameras that can point the LCD screen of the electronic viewfinder toward you. For this reason, there are increasing opportunities to shoot with multiple people by themselves, and there is a need to photograph multiple people beautifully.

以下の特許文献１には、複数人を撮影する際に、構図内に収まる複数の被写体人物に対して、画像処理により肌のざらつき度合を減少させる美肌画像処理を行う技術が開示されている。 Patent Document 1 below discloses a technique for performing skin-beautifying image processing that reduces the degree of skin roughness by image processing on a plurality of subject persons that fall within a composition when photographing a plurality of people.

特開２０１０−２１１４９７号公報JP 2010-211497 A

しかしながら、特許文献１に開示された美肌画像処理の技術は、単に、構図に含まれる複数の被写体人物に対して一律の美肌処理効果を施すものであって、被写体人物ごとに個別に美肌処理効果の強度を異ならせるものではない。従って、たとえば画像処理後の被写体人物の肌のざらつき度合を一定に揃えるなどの処理を行うことはできないという課題があった。 However, the skin-beautifying image processing technique disclosed in Patent Document 1 simply applies a uniform skin-beautifying effect to a plurality of subject persons included in the composition, and the skin-beautifying effect is individually applied to each subject person. The strength of the is not different. Therefore, for example, there has been a problem that it is impossible to perform processing such as uniforming the degree of roughness of the skin of the subject person after image processing.

本発明の実施形態によれば、画像データを取得する取得手段、前記画像データから顔を検出する顔検出手段、前記顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理手段、を有する画像処理装置であって、前記顔検出手段が前記画像データから複数の顔を検出した場合、前記処理手段は、検出された複数の顔の各々について肌のざらつき度合を判定し、前記複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことを特徴とする画像処理装置である。 According to an embodiment of the present invention, an acquisition unit that acquires image data, a face detection unit that detects a face from the image data, and a processing unit that performs image processing that reduces the degree of skin roughness on the skin area of the face When the face detection means detects a plurality of faces from the image data, the processing means determines the degree of skin roughness for each of the detected faces, An image processing apparatus is characterized in that image processing is performed with different intensities for each face so that the degree of skin roughness after image processing of a plurality of faces is close.

本発明によれば、複数の被写体人物を含む画像について、肌のざらつき度合を減少させる画像処理の強度を被写体人物ごとに異ならせて適用することが可能となる。よって、たとえば複数の被写体人物の処理後の肌のざらつき度合を揃えることができる。 According to the present invention, for an image including a plurality of subject persons, it is possible to apply different image processing intensities for reducing the degree of skin roughness for each subject person. Therefore, for example, the roughness of the skin after processing of a plurality of subject persons can be made uniform.

第１実施形態における撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device in 1st Embodiment. 第１実施形態における画像処理回路の構成を示す図である。It is a figure which shows the structure of the image processing circuit in 1st Embodiment. 第１実施形態における画像処理の動作を示す図である。It is a figure which shows the operation | movement of the image processing in 1st Embodiment. 第１実施形態における画像処理の動作を示すフロー図である。It is a flowchart which shows the operation | movement of the image processing in 1st Embodiment. 第２実施形態における本画像処理の動作を示すフロー図である。It is a flowchart which shows operation | movement of this image processing in 2nd Embodiment.

図面を参照して、本発明の実施形態にかかる画像処理装置について詳細に説明する。以下の説明において、本発明の画像処理装置をデジタルカメラに適用した例を用いて説明するが、これに限定されない。 An image processing apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. In the following description, the image processing apparatus of the present invention will be described using an example applied to a digital camera, but the present invention is not limited to this.

（第１実施形態）
図１は、本実施形態の画像処理装置１００であるデジタルカメラの構成を示している。 (First embodiment)
FIG. 1 shows the configuration of a digital camera that is an image processing apparatus 100 of the present embodiment.

１０はフォーカスレンズを含む撮影レンズであり、１２は絞り機能を備える機械式シャッターである。１４は撮影レンズ１０及びシャッター１２などの光学系から入射される光学像を電気信号に変換する撮像素子であり、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換器である。 Reference numeral 10 denotes a photographing lens including a focus lens, and reference numeral 12 denotes a mechanical shutter having an aperture function. Reference numeral 14 denotes an image sensor that converts an optical image incident from an optical system such as the photographing lens 10 and the shutter 12 into an electric signal. Reference numeral 16 denotes an analog / digital (A / D) that converts an analog signal output from the image sensor 14 into a digital signal. Digital) converter.

１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、タイミング発生回路１８はメモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。 A timing generation circuit 18 supplies a clock signal and a control signal to the image sensor 14 and the A / D converter 16. The timing generation circuit 18 is controlled by the memory control circuit 22 and the system control circuit 50. In addition to the twelve mechanical shutters, the accumulation time can be controlled as an electronic shutter by controlling the reset timing of the eighteen image sensors, and can be used for moving image shooting and the like.

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理回路２０は撮像した画像データから一部領域の切り出し、変倍処理を行うことで電子ズーム機能が実現することができる。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２を制御して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露光）処理、ＥＦ（フラッシュ調光）処理を行う。 An image processing circuit 20 performs predetermined pixel interpolation processing and color conversion processing on the data from the A / D converter 16 or the data from the memory control circuit 22. The image processing circuit 20 can realize an electronic zoom function by cutting out a partial area from the captured image data and performing a scaling process. Further, the image processing circuit 20 performs predetermined arithmetic processing using the captured image data. Based on the obtained calculation result, the system control circuit 50 controls the exposure control means 40 and the distance measurement control means 42 to perform AF (autofocus) processing, AE (automatic exposure) processing, and EF (flash light control) processing. Do.

さらに、画像処理回路２０はＡＷＢ（オートホワイトバランス）処理も行っている。さらに、画像処理回路２０は被写体検出回路を含む。被写体検出方法としてはパターンマッチング、特徴点抽出など、公知の方法を適用可能で特に限定されない。 Further, the image processing circuit 20 also performs AWB (auto white balance) processing. Further, the image processing circuit 20 includes a subject detection circuit. As the subject detection method, known methods such as pattern matching and feature point extraction can be applied and are not particularly limited.

また、検出する被写体の例として本実施形態では被写体人物の顔とするが、公知の被写体検出方法を用いて他の被写体（被写体領域）を検出するものであってもよく、検出される被写体は限定されない。本実施形態では被写体検出回路は顔検出回路とし、検出結果の出力として顔領域の座標（領域情報）、目の座標などを出力する。 In this embodiment, the face of the subject person is used as an example of a subject to be detected. However, other subjects (subject regions) may be detected using a known subject detection method. It is not limited. In this embodiment, the subject detection circuit is a face detection circuit, and outputs the coordinates of the face area (area information), the eye coordinates, etc. as the output of the detection result.

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。 A memory control circuit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing circuit 20, the memory 30, and the compression / decompression circuit 32. The data of the A / D converter 16 is written into the memory 30 via the image processing circuit 20 and the memory control circuit 22, or the data of the A / D converter 16 is directly written via the memory control circuit 22.

２８はＴＦＴ、ＬＣＤ等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ビューファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。 Reference numeral 28 denotes an image display unit including a TFT, an LCD, and the like. Display image data written in the memory 20 is displayed by the image display unit 28 via the memory control circuit 22. If the image data captured using the image display unit 28 is sequentially displayed, the electronic viewfinder function can be realized. The image display unit 28 can arbitrarily turn on / off the display according to an instruction from the system control circuit 50. When the display is turned off, the power consumption of the image processing apparatus 100 can be greatly reduced. I can do it.

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。 Reference numeral 30 denotes a memory for storing captured still images and moving images, and has a sufficient storage capacity to store a predetermined number of still images and a predetermined time of moving images. This makes it possible to write a large amount of images to the memory 30 at high speed even in continuous shooting or panoramic shooting in which a plurality of still images are continuously shot. The memory 30 can also be used as a work area for the system control circuit 50.

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。 Reference numeral 31 denotes a non-volatile memory composed of a flash ROM or the like. The program code executed by the system control circuit 50 is written in the nonvolatile memory 31, and the program code is executed while being read sequentially. In addition, an area for storing system information and an area for storing user setting information are provided in the nonvolatile memory, and various information and settings are read and restored at the next startup.

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。 Reference numeral 32 denotes a compression / decompression circuit that compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like, reads an image stored in the memory 30, performs compression processing or decompression processing, and stores the processed data in the memory 30. Write to.

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。 Reference numeral 40 denotes an exposure control means for controlling the shutter 12 having a diaphragm function, and has a flash light control function in conjunction with the flash 48.

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。 Reference numeral 42 denotes distance measurement control means for controlling the focusing of the photographing lens 10, and reference numeral 44 denotes zoom control means for controlling the zooming of the photographing lens 10.

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。 A flash 48 has an AF auxiliary light projecting function and a flash light control function. The exposure control means 40 and the distance measurement control means 42 are controlled using the TTL method. Based on the calculation result obtained by calculating the captured image data by the image processing circuit 20, the system control circuit 50 performs the exposure control means 40 and the distance measurement. Control is performed on the control means 42.

５０は画像処理装置１００全体を制御するシステム制御回路である。 A system control circuit 50 controls the entire image processing apparatus 100.

６０、６２、６４、６６、７０及び７２のそれぞれは、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。 Reference numerals 60, 62, 64, 66, 70, and 72 are operation means for inputting various operation instructions of the system control circuit 50, such as switches, dials, touch panels, pointing by line-of-sight detection, voice recognition devices, and the like. Consists of a single or a plurality of combinations.

ここで、これらの操作手段の具体的な説明を行う。 Here, a specific description of these operating means will be given.

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。 Reference numeral 60 denotes a mode dial switch, which can switch and set various function modes such as power-off, automatic shooting mode, shooting mode, HDR shooting mode, panoramic shooting mode, moving image shooting mode, playback mode, and PC connection mode.

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。 Reference numeral 62 denotes a shutter switch SW1, which is turned on during the operation of the shutter button, and instructs to start operations such as AF (autofocus) processing, AE (automatic exposure) processing, and AWB (auto white balance) processing.

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、この露光期間中にフラッシュを発光させ、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。また、撮像素子１４から読み出した信号を記録媒体２００に書き込む記録処理までの一連の処理の動作開始を指示する。より具体的には、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２での圧縮を行う、などである。 A shutter switch SW2 64 is turned on when the operation of the shutter button is completed. In the case of flash photography, after performing EF (flash pre-emission) processing, the image sensor 14 is exposed for the exposure time determined by the AE processing. In the case of flash photography, the flash is emitted during this exposure period, and the exposure control means 40 shields the light from exposure at the same time as the exposure period ends, thereby completing the exposure to the image sensor 14. In addition, it instructs the start of a series of processes up to a recording process for writing a signal read from the image sensor 14 to the recording medium 200. More specifically, a read process for writing image data to the memory 30 via the A / D converter 16 and the memory control circuit 22, a development process using computations in the image processing circuit 20 and the memory control circuit 22, and the memory 30. The image data is read out from the image data and compressed by the compression / decompression circuit 32.

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴやＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。 Reference numeral 66 denotes a display changeover switch, which can change the display of the image display unit 28. With this function, when photographing is performed using the optical viewfinder 104, it is possible to save power by cutting off the current supply to the image display unit 28 including a TFT, an LCD, or the like.

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。 Reference numeral 70 denotes an operation unit composed of various buttons, a touch panel, a rotary dial, and the like, and includes a menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, a single shooting / continuous shooting / self timer switching button, and the like. . Menu move + (plus) button, menu move-(minus) button, playback image move + (plus) button, playback image-(minus) button, shooting quality selection button, exposure compensation button, date / time setting button, etc. is there.

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。 Reference numeral 72 denotes a zoom switch unit as zoom operation means for a user to instruct a magnification change of a captured image. Hereinafter, the zoom switch 72 is also referred to. The zoom switch 72 includes a tele switch that changes the imaging field angle to the telephoto side and a wide switch that changes the imaging angle of view to the wide angle side. By using the zoom switch 72, the zoom control unit 44 is instructed to change the imaging field angle of the photographing lens 10 and becomes a trigger for performing an optical zoom operation. In addition, it also serves as a trigger for electronic zooming change of the imaging angle of view by image cropping by the image processing circuit 20 or pixel interpolation processing.

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。 Reference numeral 86 denotes a power supply means including a primary battery of an alkaline battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li ion battery, an AC adapter, or the like.

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。 Reference numeral 90 denotes an interface with a recording medium such as a memory card or hard disk, and reference numeral 92 denotes a connector for connecting to a recording medium such as a memory card or hard disk.

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。 Reference numeral 102 denotes protection means that is a barrier that prevents the imaging unit from being soiled or damaged by covering the imaging unit including the lens 10 of the image processing apparatus 100.

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。 Reference numeral 104 denotes an optical viewfinder, which can take an image using only the optical viewfinder without using the electronic viewfinder function of the image display unit 28.

１１０は通信手段でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。 A communication unit 110 has various communication functions such as USB, IEEE1394, LAN, and wireless communication.

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。 Reference numeral 112 denotes a connector for connecting the image processing apparatus 100 to another device by the communication unit 110 or an antenna in the case of wireless communication.

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。 Reference numeral 200 denotes a recording medium such as a memory card or a hard disk. The recording medium 200 includes a recording unit 202 composed of a semiconductor memory, a magnetic disk, or the like, an interface 204 with the image processing apparatus 100, and a connector 206 for connecting to the image processing apparatus 100.

２１０はメモリカードやハードディスク等の記録媒体である。 Reference numeral 210 denotes a recording medium such as a memory card or a hard disk.

上述した画像処理装置１００内の各構成は一例であって、ハードウェアで構成しても、その一部あるいは全部をソフトウェアモジュールとして構成しても良い。 Each configuration in the image processing apparatus 100 described above is an example, and may be configured by hardware, or a part or all of the configuration may be configured as a software module.

図２は、本実施形態の画像処理回路２０の構成を説明する図である。 FIG. 2 is a diagram illustrating the configuration of the image processing circuit 20 of the present embodiment.

画像処理装置２０は、撮像素子１４から出力される画像信号（ＲＧＢ信号）を入力として、画像信号から輝度信号成分を抽出し、ガンマ変換、ノイズリダクション等の処理を行って輝度信号を生成する輝度生成部２０１、画像信号から色信号成分を抽出し、ガンマ変換、色マトリクス処理等の処理を行って色信号を生成する色生成部２０２、画像の高周波成分を抽出し、高周波成分を強調するエッジ強調部２０３からなる現像処理部２０４にてＹＵＶ信号に変換する。ＲＧＢからＹＵＶの変換の一例を式（１）に示す。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ・・・（１） The image processing apparatus 20 receives an image signal (RGB signal) output from the image sensor 14, extracts a luminance signal component from the image signal, and performs processing such as gamma conversion and noise reduction to generate a luminance signal. A generation unit 201 extracts a color signal component from an image signal, performs a process such as gamma conversion and color matrix processing to generate a color signal, an edge that extracts a high-frequency component of the image and emphasizes the high-frequency component The development processing unit 204 including the enhancement unit 203 converts it into a YUV signal. An example of conversion from RGB to YUV is shown in Equation (1).
Y = 0.299R + 0.587G + 0.114B
U = −0.169R−0.331G + 0.500B
V = 0.500R-0.419G-0.081B (1)

さらに、画像処理回路２０は、顔パターンを予め持ち、パターンマッチングにより画像から被写体人物の顔を検出する顔検出部２０５、輝度信号Ｙと色差信号ＵＶのそれぞれに対して一定の所定範囲を設け、輝度信号Ｙと色差信号ＵＶがともに一定の所定範囲内である領域を肌領域と判定する肌領域検出部２０６、式（２）で求まる指定領域内の輝度信号Ｙの分散値σ^２を取得する分散値取得部２０７から構成される。 Further, the image processing circuit 20 has a face pattern in advance, and a face detection unit 205 that detects the face of the subject person from the image by pattern matching, a predetermined predetermined range for each of the luminance signal Y and the color difference signal UV, A skin region detection unit 206 that determines a region where both the luminance signal Y and the color difference signal UV are within a predetermined range as a skin region, and obtains a variance value σ ² of the luminance signal Y in the designated region obtained by Expression (2). The distributed value acquisition unit 207 is configured.

ここで、式（２）のｎは肌領域から肌のざらつき度合を判定するための指定領域の画素数、 Here, n in Equation (2) is the number of pixels in the designated area for determining the degree of skin roughness from the skin area,

は指定領域の平均値である。また、分散値は顔のざらつき度合を示す指標値である。 Is the average value of the specified area. The variance value is an index value indicating the degree of roughness of the face.

図３は、本実施形態における画像処理の動作の概要を説明する図である。 FIG. 3 is a diagram for explaining the outline of the image processing operation in the present embodiment.

図３（ａ）の構図において、人物３０１、３０２、３０３がいる場合、顔検出部２０５による顔検出結果として、それぞれの人物の顔を示す顔枠３０４、３０５、３０６が検出される。ここで、画像処理回路２０は、検出された複数の顔に対して優先順位付けを行い、最も優先順位が高い被写体人物の顔を主顔とし、その他の被写体人物の顔を副顔として特定する。図３（ａ）において、顔枠３０４、つまり人物３０１の顔が主顔である。 In the composition of FIG. 3A, when there are persons 301, 302, and 303, face frames 304, 305, and 306 indicating the faces of the persons are detected as face detection results by the face detection unit 205. Here, the image processing circuit 20 prioritizes a plurality of detected faces, and specifies the face of the subject person with the highest priority as a main face and the faces of other subject persons as sub-faces. . In FIG. 3A, the face frame 304, that is, the face of the person 301 is the main face.

ここで、優先順位付けは、さまざま方法を用いることができる。たとえば予め登録された被写体人物を被写体認識によって認識した場合は、その被写体人物に最も優先順位を高く設定することができる。他に画像における被写体の位置や大きさによって、優先順位付けを行っても良い。 Here, various methods can be used for prioritization. For example, when a subject person registered in advance is recognized by subject recognition, the highest priority can be set for the subject person. Alternatively, prioritization may be performed according to the position and size of the subject in the image.

次に、図３（ｂ）は主顔３０４で肌領域検出を行なった結果であり、肌領域を示す図（以降、肌Ｍａｐと称する）である。肌領域検出部２０６は、主顔３０４の領域における輝度信号Ｙと色差信号ＵＶの平均値（以降、肌ＹＵＶと称する）を求め、肌ＹＵＶから一定のＹＵＶレベルの範囲に該当する領域を肌領域として検出することにより、主顔の顔肌３１１、副顔の顔肌３１２、副顔の腕３１３、３１４を肌領域として検出でき、それ以外の領域３１５は肌領域でないと判定する。 Next, FIG. 3B shows a result of skin area detection performed on the main face 304, and is a diagram showing the skin area (hereinafter referred to as skin Map). The skin area detection unit 206 obtains an average value (hereinafter referred to as skin YUV) of the luminance signal Y and the color difference signal UV in the area of the main face 304, and determines an area corresponding to a range of a constant YUV level from the skin YUV. , It is possible to detect the face skin 311 of the main face, the face skin 312 of the subface, and the arms 313 and 314 of the subface as skin areas, and determine that the other areas 315 are not skin areas.

図３（ｃ）は、副顔３０５に基づいて肌領域検出を行なった肌Ｍａｐであり、同様に、副顔の肌ＹＵＶを求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより、副顔の顔肌３２１、副顔の腕３２２、３２３、主顔の顔肌３２４が肌領域として検出でき、それ以外の領域３２５は肌領域でないと判定する。 FIG. 3C shows a skin Map obtained by detecting the skin area based on the sub-face 305. Similarly, the skin YUV of the sub-face is obtained, and the area corresponding to the YUV level in which the range in the skin YUV is set is shown. By detecting the skin area as a skin area, the sub-face facial skin 321, the sub-face arms 322 and 323, and the main face facial skin 324 can be detected as skin areas, and the other areas 325 are determined not to be skin areas.

図３（ｄ）は、副顔３０６に基づいて肌領域検出を行なった肌Ｍａｐであり、同様に、副顔の肌ＹＵＶを求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより、副顔の顔肌３３１が肌領域として検出でき、それ以外の領域３３２は肌領域でないと判定する。 FIG. 3D shows a skin Map obtained by detecting the skin area based on the sub-face 306. Similarly, the skin YUV of the sub-face is obtained, and the area corresponding to the YUV level in which the range in the skin YUV is set is shown. By detecting as a skin area, the face skin 331 of the sub-face can be detected as a skin area, and the other area 332 is determined not to be a skin area.

図３（ｅ）は、図３（ｂ）と主顔の顔枠３０４をマージした結果であり、マージして残った肌領域が顔肌領域３４１で、それ以外の領域３４２からなる。顔肌領域３４１内に分散値取得枠３４３を設定し、主顔３０４の分散値を取得する。図３（ｆ）は、図３（ｃ）と副顔の顔枠３０５をマージした結果であり、マージして残った肌領域が顔肌領域３５１で、それ以外の領域３５２からなる。顔肌領域３５１内に分散値取得枠３５３を設定し、副顔３０５の分散値を取得する。図３（ｇ）は、図３（ｄ）と副顔の顔枠３０６をマージした結果であり、マージして残った肌領域が顔肌領域３６１で、それ以外の領域３６２からなる。顔肌領域３６１内に分散値取得枠３６３を設定し、副顔３０６の分散値を取得する。 FIG. 3E shows the result of merging the face frame 304 of the main face with FIG. 3B, and the skin area remaining after the merge is a face skin area 341 and is composed of other areas 342. A variance value acquisition frame 343 is set in the face skin region 341, and the variance value of the main face 304 is acquired. FIG. 3F shows the result of merging the face frame 305 of the sub-face with FIG. 3C. The skin area remaining after merging is the face skin area 351, and is composed of the other area 352. A variance value acquisition frame 353 is set in the face skin region 351, and the variance value of the sub-face 305 is acquired. FIG. 3G shows the result of merging the sub-face face frame 306 with FIG. 3D, and the skin area remaining after the merge is a face skin area 361, which is composed of other areas 362. A variance value acquisition frame 363 is set in the face skin region 361, and the variance value of the sub-face 306 is acquired.

図４は、本実施形態の動作フローを説明する図である。 FIG. 4 is a diagram for explaining the operation flow of this embodiment.

最初に顔検出及び肌領域検出のためにたとえば画像全体から定まる初期パラメータにて現像を行う（Ｓ４０１）。次に、撮影した画像に対して顔検出Ｓ４０２にて顔検出を行ない、検出された複数の顔から優先順位付けして、主顔１つ及び残りの副顔複数を検出する。 First, for face detection and skin area detection, for example, development is performed with initial parameters determined from the entire image (S401). Next, face detection is performed on the photographed image in face detection S402, and priority is given to the detected plurality of faces to detect one main face and the remaining sub-faces.

顔があるかをＳ４０３で判定し、顔が１つも検出されない場合はそのまま画像を保存して終了する。顔が検出された場合は検出した顔の数を取得する（Ｓ４０４）。主顔の輝度信号と色差信号の平均値（以降、肌ＹＵＶ）を求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより肌Ｍａｐを取得する（Ｓ４０５）。ＹＵＶ範囲の例を式（３）に示す。
主顔のＹ＝１２１、Ｕ＝−１５、Ｖ＝２０
のとき、
Ｙ＝１２１±１０％、−１５±５％、Ｖ＝２０±５％・・・（３） In step S403, it is determined whether there is a face. If no face is detected, the image is saved as it is, and the process ends. If a face is detected, the number of detected faces is acquired (S404). An average value (hereinafter referred to as skin YUV) of the luminance signal and color difference signal of the main face is obtained, and a skin Map is obtained by detecting a region corresponding to the YUV level in which a range in the skin YUV is set as a skin region (S405). . An example of the YUV range is shown in Equation (3).
Main face Y = 121, U = -15, V = 20
When,
Y = 121 ± 10%, −15 ± 5%, V = 20 ± 5% (3)

主顔の肌ＹＵＶにより得られた肌Ｍａｐと主顔の顔枠をマージすることにより、顔枠内の肌領域のみ検出した肌Ｍａｐ（以降、顔肌Ｍａｐと称する）を取得する（Ｓ４０６）。主顔の顔肌領域内に分散値取得枠を設定し、主顔の顔肌分散値を取得する（Ｓ４０７）。顔数をカウントし（Ｓ４０８）、顔数だけ分散値を取得していなければＳ４０５の肌Ｍａｐ取得、Ｓ４０６の顔肌Ｍａｐ取得、Ｓ４０７の分散値取得を副顔の数だけ繰り返す。分散値は顔のざらつき度合を示す指標値であり、分散値を比較することで各顔のざらつき度合を比較することができる。各顔肌分散値が得られたら各顔肌分散値を比較し（Ｓ４０９）、主顔及び副顔の分散値が予め決定した、もしくはユーザが指定した主顔の分散値の目標値に揃うように各顔領域におけるノイズリダクションの強度のシフト量を決定する（Ｓ４１０）。ここでノイズリダクションの強度を顔ごとに個別に決定することで、それぞれの顔のざらつき度合に応じた処理を行うことができる。上記処理により、画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことができる。 By merging the skin Map obtained from the skin YUV of the main face and the face frame of the main face, a skin Map (hereinafter referred to as a face skin Map) in which only the skin area within the face frame is detected is acquired (S406). A dispersion value acquisition frame is set in the face skin area of the main face, and the face skin dispersion value of the main face is acquired (S407). The number of faces is counted (S408), and if the variance value is not acquired for the number of faces, the skin map acquisition in S405, the face skin Map acquisition in S406, and the variance value acquisition in S407 are repeated for the number of sub-faces. The variance value is an index value indicating the degree of roughness of the face, and the degree of roughness of each face can be compared by comparing the variance values. When the facial skin dispersion values are obtained, the facial skin dispersion values are compared (S409), so that the dispersion values of the main face and the sub-face are determined in advance or match the target values of the dispersion values of the main face specified by the user. Then, the shift amount of the noise reduction intensity in each face area is determined (S410). Here, by determining the intensity of noise reduction individually for each face, it is possible to perform processing according to the degree of roughness of each face. With the above processing, image processing can be performed with different intensities for each face so that the degree of roughness of the skin after image processing is close.

次に、主顔のノイズリダクションの強度のシフト量で現像し（Ｓ４１１）、顔数をカウントし（Ｓ４１２）、顔数だけ現像を完了していなければＳ４１１で副顔のノイズリダクションの強度のシフト量で現像を繰り返す。顔肌領域以外は初期パラメータで現像した画像を使用し、顔肌領域はそれぞれのノイズリダクションの強度のシフト量で現像した画像を合成し、画像を保存する（Ｓ４１３）。 Next, development is performed with the shift amount of the noise reduction intensity of the main face (S411), the number of faces is counted (S412), and if development is not completed for the number of faces, the intensity reduction intensity of the subface is shifted in S411. Repeat development with amount. An image developed with initial parameters is used for areas other than the face skin area. For the face skin area, images developed with the respective shift amounts of noise reduction are combined, and the image is stored (S413).

ここで、本実施形態では肌分散値取得（Ｓ４０７）は顔領域全体で取得すると説明したが、顔のサイズにより領域の大きさや位置を変更してもよい。例えば顔が小さい場合は顔全体で、顔が大きい場合は目の下の頬の部分で分散値を取得してもよい。 Here, in the present embodiment, it has been described that the skin variance value acquisition (S407) is acquired for the entire face area, but the size and position of the area may be changed depending on the size of the face. For example, the variance value may be acquired for the entire face when the face is small, and the cheek portion under the eyes when the face is large.

また、本実施形態では、分散値の取得と美肌画像処理の反映をともに顔肌Ｍａｐ（Ｓ４０６）のみの領域と説明したが、美肌画像処理の反映は顔肌のみに限らず、肌Ｍａｐ（Ｓ４０５）で行なってもよい。つまり顔以外の肌領域に対しても処理を行ってもよい。 In the present embodiment, the acquisition of the dispersion value and the reflection of the beautiful skin image processing are both described as the region of the facial skin Map (S406). However, the reflection of the beautiful skin image processing is not limited to the facial skin, but the skin Map (S405). ). That is, the process may be performed on a skin region other than the face.

さらに、本実施形態では、得られた肌Ｍａｐをそのまま用いるように説明したが、肌Ｍａｐにおいて、ノイズリダクション処理を行う肌領域と処理を行わないそれ以外の領域との境界が急峻だと境界が認識でき、不自然な画像となってしまう。そのため、境界をぼかす処理を実施するが、その境界は一定の傾斜でもよく、ノイズリダクションの強度に連動させてもよい。たとえば、ノイズリダクション処理の強度が強いほど境界が不自然になるので、ぼかす処理の強度を強くすることで自然な画像にすることができる。 Furthermore, in the present embodiment, it has been described that the obtained skin Map is used as it is. However, in the skin Map, if the boundary between the skin region where noise reduction processing is performed and the other region where processing is not performed is steep, the boundary is It can be recognized, resulting in an unnatural image. For this reason, the process of blurring the boundary is performed, but the boundary may have a constant slope or may be linked to the intensity of noise reduction. For example, since the boundary becomes unnatural as the noise reduction processing intensity increases, a natural image can be obtained by increasing the intensity of the blurring process.

なお、本実施形態では、シフト量決定Ｓ４１０で分散値に応じたノイズリダクションの強度を変更するが、特に顔の輝度レベルが大きくことなると平均値がかわるため、分散値の比較を行い難い。そのため、主顔から輝度レベルが一定範囲内である副顔のみに対してノイズリダクション処理などの美肌画像処理を実施するなど、取得した顔ＹＵＶ値の値を主顔と比較して閾値を設定して処理に制限を設けてもよい。また、本実施形態では、全ての顔に対し美肌画像処理を実施しているが、主顔より分散値の小さい副顔に対しては美肌処理を行なわないようにしてもよい。 In the present embodiment, the intensity of noise reduction according to the variance value is changed in the shift amount determination S410. However, since the average value changes especially when the luminance level of the face increases, it is difficult to compare the variance values. Therefore, the threshold value is set by comparing the acquired face YUV value with the main face, such as performing skin-beautifying image processing such as noise reduction only for the sub-face whose luminance level is within a certain range from the main face. The processing may be limited. Further, in this embodiment, the skin beautification image processing is performed on all the faces, but the skin beautification processing may not be performed on the sub-face whose variance value is smaller than that of the main face.

（第２の実施形態）
図５は、本実施形態の動作フローを説明する図である。 (Second Embodiment)
FIG. 5 is a diagram for explaining the operation flow of this embodiment.

最初に顔検出及び肌領域検出のために初期パラメータにて現像を行なう（Ｓ５０１）。撮影した画像に対し、顔検出Ｓ５０２にて顔検出を行ない、検出された複数の顔から優先順位付けして、主顔１つ及び残りの副顔複数を検出する。 First, development is performed with initial parameters for face detection and skin area detection (S501). Face detection is performed on the photographed image in face detection S502, and priority is given to the detected plurality of faces to detect one main face and the remaining sub-faces.

顔があるかをＳ５０３で判定し、顔が１つも検出されない場合はそのまま画像を保存して終了する。顔が検出された場合は検出した顔の数を取得する（Ｓ５０４）。Ｓ５０５のシフト現像は、予め指定した複数の異なるノイズリダクションの強度（画像処理パラメータ）で現像して画像処理を行なう。初期パラメータにて現像した画像において、主顔の輝度信号と色差信号の平均値（肌ＹＵＶ）を求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより肌Ｍａｐを取得する（Ｓ５０６）。 In step S503, it is determined whether there is a face. If no face is detected, the image is saved as it is, and the process ends. If a face is detected, the number of detected faces is acquired (S504). The shift development in S505 performs image processing by developing with a plurality of different noise reduction intensities (image processing parameters) designated in advance. In the image developed with the initial parameters, the average value (skin YUV) of the luminance signal and color difference signal of the main face is obtained, and the area corresponding to the YUV level in which the range in the skin YUV is set is detected as the skin area. Map is acquired (S506).

主顔の肌ＹＵＶにより得られた肌Ｍａｐと主顔の顔枠をマージすることにより、顔枠内の肌領域のみ検出した肌Ｍａｐ（顔肌Ｍａｐ）を取得する（Ｓ５０７）。初期パラメータにて現像した画像、及び複数の異なるノイズリダクションの強度に可変して現像した画像それぞれに対し、主顔の顔肌領域内に分散値取得枠を設定し、主顔の肌のざらつき度合を示す顔肌分散値を取得する（Ｓ５０８）。 By merging the skin Map obtained from the skin YUV of the main face and the face frame of the main face, a skin Map (face skin Map) in which only the skin area within the face frame is detected is acquired (S507). For each of the images developed with the initial parameters and the images developed by varying the intensity of different noise reductions, a dispersion value acquisition frame is set in the face skin area of the main face, and the degree of roughness of the main face skin Is obtained (S508).

顔数をカウントし（Ｓ５０９）、顔数だけ分散値を取得していなければ、Ｓ５０６の肌Ｍａｐ取得、Ｓ５０７の顔枠と肌Ｍａｐのマージ、Ｓ５０８の分散値取得の一連の処理を副顔の数だけ繰り返す。 The number of faces is counted (S509), and if the variance value is not acquired for the number of faces, a series of processes of obtaining the skin map in S506, merging the face frame and the skin Map in S507, and obtaining the variance value in S508 are performed. Repeat as many times as you like.

次に、各顔肌分散値が得られたら各顔肌分散値を比較し（Ｓ５１０）、初期パラメータにて現像した画像、及び複数の異なるノイズリダクションの強度で現像した画像のうち、主顔及び副顔の分散値が予め決定した、もしくはユーザが指定した主顔の分散値の目標値に揃うように画像を主顔及び副顔それぞれにおいて選択する（Ｓ５１１）。顔肌領域以外は初期パラメータで現像した画像を使用し、顔肌領域はそれぞれのノイズリダクションの強度のシフト量で現像した画像を合成し、画像を保存する（Ｓ５１２）。 Next, when the facial skin dispersion values are obtained, the facial skin dispersion values are compared (S510). Among the images developed with the initial parameters and the images developed with a plurality of different noise reduction intensities, The image is selected for each of the main face and the sub-face so that the sub-face dispersion value is determined in advance or is matched with the target value of the main face dispersion value designated by the user (S511). An image developed with initial parameters is used for areas other than the face skin area. For the face skin area, images developed with the respective shift amounts of noise reduction are combined, and the image is stored (S512).

なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program code. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.

以上が本発明の実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、特許請求の範囲に示した範囲で種々の変更が可能である。 The above is the description of the embodiments of the present invention. However, the present invention is not limited to the above-described embodiments within the scope of the technical idea of the present invention, and various modifications can be made within the scope shown in the claims. Is possible.

１４撮像素子
２０画像処理回路
２８画像表示部
５０システム制御部
２０４現像処理部
２０５顔検出部
２０６肌領域検出部
２０７分散値取得部 DESCRIPTION OF SYMBOLS 14 Image sensor 20 Image processing circuit 28 Image display part 50 System control part 204 Development processing part 205 Face detection part 206 Skin area | region detection part 207 Dispersion value acquisition part

Claims

画像データを取得する取得手段、前記画像データから顔を検出する顔検出手段、前記顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理手段、を有する画像処理装置であって、前記顔検出手段が前記画像データから複数の顔を検出した場合、前記処理手段は、検出された複数の顔の各々について肌のざらつき度合を判定し、前記複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことを特徴とする画像処理装置。 An image processing apparatus comprising: an acquisition unit that acquires image data; a face detection unit that detects a face from the image data; and a processing unit that performs image processing to reduce a degree of skin roughness on the skin area of the face. When the face detecting means detects a plurality of faces from the image data, the processing means determines the degree of skin roughness for each of the detected faces, and the skin after the image processing of the plurality of faces An image processing apparatus that performs image processing with different intensities for each face so that the degree of roughness is close.

前記処理手段は、顔の大きさに応じて、肌のざらつき度合を判定するための領域の位置又は大きさを可変することを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the processing unit varies a position or a size of an area for determining the degree of roughness of the skin according to the size of the face.

前記処理手段は、顔以外の肌領域に対しても、肌のざらつき度合を小さくする画像処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the processing unit performs image processing for reducing a degree of skin roughness even for a skin region other than a face.

前記処理手段は、肌のざらつき度合を小さくする画像処理を施した領域と施していない領域の境界をぼかす処理を行うことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。 The image processing according to any one of claims 1 to 3, wherein the processing means performs a process of blurring a boundary between an area that has been subjected to image processing that reduces a degree of roughness of the skin and an area that has not been subjected to the processing. apparatus.

前記処理手段は、肌のざらつき度合を小さくする画像処理の強度が強いほど、ぼかす処理の強度を強くすることを特徴とする請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the processing unit increases the intensity of the blurring process as the intensity of the image processing that reduces the degree of roughness of the skin is increased.

検出された複数の顔に対して優先順位づけを行い、輝度が、最も優先順位の高い顔の輝度から所定範囲に含まれない顔に対しては肌のざらつき度合を小さくする画像処理を行わないことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。 Priorities are assigned to a plurality of detected faces, and image processing that reduces the roughness of the skin is not performed on faces that do not fall within a predetermined range from the brightness of the face with the highest priority. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

前記最も優先順位の高い顔の肌のざらつき度合よりもざらつき度合が小さい顔に対しては、肌のざらつき度合を小さくする処理を行わないことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。 7. The process according to claim 1, wherein a process for reducing the roughness of the skin is not performed on a face having a roughness less than the roughness of the skin of the face with the highest priority. An image processing apparatus according to 1.

画像データを取得する取得ステップ、前記画像データから顔を検出する顔検出ステップ、前記検出された顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理ステップ、を有する画像処理方法であって、前記顔検出ステップにて前記画像データから複数の顔を検出された場合、前記処理ステップでは、検出された複数の顔の各々について肌のざらつき度合を判定し、前記複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で肌のざらつき度合を小さくする画像処理を行うことを特徴とする画像処理方法。 An image processing method comprising: an acquisition step of acquiring image data; a face detection step of detecting a face from the image data; and a processing step of performing image processing for reducing the degree of skin roughness on the skin area of the detected face When a plurality of faces are detected from the image data in the face detection step, the processing step determines the degree of skin roughness for each of the detected plurality of faces, and An image processing method, wherein image processing is performed to reduce the degree of skin roughness with different intensities for each face so that the degree of skin roughness after image processing is close.

画像データを取得する取得手段、前記画像データから顔を検出する顔検出手段、を有し前記顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う画像処理装置であて、肌のざらつき度合を小さくする画像処理パラメータを可変して前記画像データに適用することで複数枚の画像データを生成するとともに、前記顔検出手段が複数の顔を検出した際、検出された複数の顔の各々について肌のざらつき度合を判定し、肌のざらつき度合を揃えるように顔ごとに前記複数枚の画像データを合成を行うことを特徴とする画像処理装置。 An image processing apparatus having an acquisition means for acquiring image data, a face detection means for detecting a face from the image data, and performing image processing for reducing the degree of skin roughness on the skin area of the face, A plurality of image data is generated by varying an image processing parameter for reducing the degree of roughness and applying the image processing parameter to the image data, and when the face detecting unit detects a plurality of faces, An image processing apparatus, characterized in that the degree of skin roughness is determined for each, and the plurality of pieces of image data are combined for each face so as to align the skin roughness.