JP2013058164A

JP2013058164A - Image processing device and camera

Info

Publication number: JP2013058164A
Application number: JP2011197465A
Authority: JP
Inventors: Tomoko Sugawara; 知子菅原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-09-09
Filing date: 2011-09-09
Publication date: 2013-03-28

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device and the like which can automatically perform desirable image processing on hair of a person.SOLUTION: An image processing device comprises: an area extraction unit for extracting a hair area in which hair of a person is photographed from a digital image; a brightness calculation unit for calculating distribution of luminance or brightness in the hair area; a bright part detection unit for detecting a bright part having luminance or brightness which is a predetermined value or more higher than a mode value or an average value of the luminance or brightness of the hair area, in the hair area by using the calculated distribution; and a correction unit for executing image correction on the hair area according to the detection result of the bright part.

Description

本発明は、画像処理装置及びカメラに関する。 The present invention relates to an image processing apparatus and a camera.

人物の映像、画像等において、髪の毛に形成される艶が、被写体の見栄えを向上させるとの指摘がある。頭髪部分に艶を形成する手段としては、撮影時において照明等を調整する方法や、撮影後において画像処理を行う方法等が提案されている。撮影後の画像処理によって艶を加える方法は、撮影持に照明等を調整する方法に比べて簡便であるという利点を有する。しかし、より簡便に良好な画像等を提供できるようにしたり、大量の画像を扱えるようにするためには、自動的にこのような処理を行う画像処理装置が求められる。 It has been pointed out that the gloss formed on the hair of a person's video, image, etc. improves the appearance of the subject. As means for forming gloss on the hair portion, a method of adjusting illumination or the like during photographing, a method of performing image processing after photographing, and the like have been proposed. The method of adding gloss by image processing after shooting has an advantage that it is simpler than the method of adjusting illumination or the like while shooting. However, in order to be able to provide a good image and the like more easily and to handle a large amount of images, an image processing apparatus that automatically performs such processing is required.

自動的に頭髪に艶を形成する画像処理装置としては、例えば、頭の先の位置と頭髪と額との境界の位置を判別し、両方の位置等から求めた頭頂部の領域の重心を中心として、照明効果を増大させる画像処理を行うものが提案されている（特許文献１等参照）。 As an image processing apparatus that automatically forms gloss on the hair, for example, the position of the tip of the head and the position of the boundary between the hair and the forehead are discriminated, and the center of gravity of the region of the top of the head obtained from both positions is centered. Have been proposed that perform image processing to increase the illumination effect (see Patent Document 1, etc.).

特開２００７−２６４８２８号公報JP 2007-264828 A

しかし、従来技術に係る画像処理装置は、どのような状態の髪の毛の画像に対して上述のような補正をおこなうべきか、ということを判断する手段を有しておらず、自動処理という観点では課題を有している。また、画像処理によって形成される艶の形状についても、頭部の輪郭形状などに適合した自然な形状となる処理を実施できる装置が求められていた。 However, the image processing apparatus according to the related art does not have means for determining what kind of state of the hair image should be corrected as described above, and in terms of automatic processing. Has a problem. In addition, there has been a demand for an apparatus that can perform processing for forming a natural shape suitable for the contour shape of the head with respect to the gloss shape formed by image processing.

本発明に係る画像処理装置等は、このような課題に鑑みてなされたものであり、その目的は、人物の髪の毛に対して、自動的に好ましい画像処理を行うことができる画像処理装置等を提供することである。 The image processing apparatus and the like according to the present invention have been made in view of such problems, and an object thereof is to provide an image processing apparatus and the like that can automatically perform preferable image processing on a human hair. Is to provide.

上記目的を達成するために、本発明に係る画像処理装置は、
デジタル画像（８０）から、人物の髪の毛が写っている領域である髪エリア（８６）を抽出するエリア抽出部（４６）と、
前記髪エリアの輝度又は明度の分布を算出する明るさ算出部（４８）と、
前記分布を用いて、前記髪エリアの中から、前記髪エリアにおける輝度又は明度の最頻値又は平均値に対して、所定値以上高い輝度又は明度を有する明部（９０）を検出する明部検出部（５０）と、
前記明部の検出結果に応じて、前記髪エリアに対して画像補正を実施する補正部（５４）と、
を有する。 In order to achieve the above object, an image processing apparatus according to the present invention provides:
An area extraction unit (46) for extracting a hair area (86), which is an area in which a person's hair is reflected, from the digital image (80);
A brightness calculation unit (48) for calculating a luminance or brightness distribution of the hair area;
A bright part that detects a bright part (90) having a brightness or brightness higher than a predetermined value from the mode or average value of brightness or brightness in the hair area by using the distribution. A detector (50);
A correction unit (54) that performs image correction on the hair area according to the detection result of the bright part;
Have

また、例えば、前記補正部は、
前記髪エリアのエッジ（８８）を検出するエッジ検出部（５６）と、
前記エッジの形状から、前記髪エリアに対する前記画像補正の基準位置（９４）を算出する基準位置算出部（６０）と、
前記エッジ上の２つの点（Ａ，Ｂ）を結ぶ曲線であって、前記基準位置が内周側に位置するように延びる弧状の補正基準曲線（９８）を算出する基準曲線算出部（６６）と、
前記髪エリアの一部に対して、前記補正基準曲線に沿って帯状に、輝度又は明度を上昇させる補正処理を行う明部形成部（７４）と、を有しても良い。 For example, the correction unit
An edge detector (56) for detecting an edge (88) of the hair area;
A reference position calculation unit (60) for calculating a reference position (94) of the image correction with respect to the hair area from the shape of the edge;
A reference curve calculation unit (66) that calculates an arc-shaped correction reference curve (98) that connects two points (A, B) on the edge and extends so that the reference position is located on the inner peripheral side. When,
You may have the bright part formation part (74) which performs the correction process which raises a brightness | luminance or a brightness in a strip | belt shape along the said correction | amendment reference curve with respect to a part of said hair area.

また、例えば、前記基準曲線算出部は、
前記エッジの形状に沿うエッジ曲線（９６）を算出するエッジ曲線算出部（６８）と、
前記エッジ曲線を回転させた回転曲線（９７ａ，９７ｂ）を算出する回転曲線算出部（７０）と、
前記回転曲線を、前記人物の目の位置（９９ａ，９９ｂ）と前記基準位置との間の位置に平行移動させ、前記補正基準曲線を決定する曲線移動部（７２）と、を有しても良い。 For example, the reference curve calculation unit
An edge curve calculation unit (68) for calculating an edge curve (96) along the shape of the edge;
A rotation curve calculation unit (70) for calculating a rotation curve (97a, 97b) obtained by rotating the edge curve;
A curve moving unit (72) for translating the rotation curve to a position between the eye positions (99a, 99b) of the person and the reference position and determining the correction reference curve; good.

また、例えば、前記基準位置算出部は、前記エッジにおける最も高い位置を、前記基準位置としても良い。 Further, for example, the reference position calculation unit may set the highest position on the edge as the reference position.

また、例えば、前記基準位置算出部は、
前記エッジの形状から、髪の分け目に形成される凹部（９２）を検出する凹部検出部（６２）を有しても良く、
前記凹部を前記基準位置としても良い。 For example, the reference position calculation unit
From the shape of the edge, it may have a recess detection unit (62) for detecting a recess (92) formed in the hair division,
The recess may be the reference position.

また、例えば、前記基準位置算出部は、
前記髪の毛を照明する光源の位置を検出する光源検出部（６４）を有し、
前記エッジ上で前記光源に最も近い位置を、前記基準位置としても良い。 For example, the reference position calculation unit
A light source detector (64) for detecting a position of a light source that illuminates the hair;
A position closest to the light source on the edge may be set as the reference position.

また、例えば、前記明部形成部は、
前記エッジの形状から、頭部の大きさを算出する頭部サイズ算出部（７６）を有し、
前記頭部の前記大きさに応じて、前記補正処理を行う広さを変更しても良い。 Also, for example, the bright part forming part is
A head size calculator (76) that calculates the size of the head from the shape of the edge;
The area for performing the correction process may be changed according to the size of the head.

また、例えば、前記髪エリアの前記髪の毛が、少なくとも１つの髪型であるか否かを識別する髪型識別部（５２）を有しても良く、
前記補正部は、前記髪の毛が前記髪型であると識別された場合に、前記髪エリアに対して前記画像補正を実施しても良い。 Further, for example, it may have a hairstyle identifying unit (52) for identifying whether or not the hair in the hair area is at least one hairstyle,
The correction unit may perform the image correction on the hair area when the hair is identified as the hairstyle.

また、例えば、本発明に係るカメラは、上記いずれかに記載の画像処理装置を搭載する。 In addition, for example, a camera according to the present invention includes any one of the image processing apparatuses described above.

なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。 In the above description, in order to explain the present invention in an easy-to-understand manner, the description is made in association with the reference numerals of the drawings showing the embodiments. However, the present invention is not limited to this. The configuration of the embodiment described later may be improved as appropriate, or at least a part of the configuration may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.

図１は、本発明の一実施形態に係る画像処理装置を搭載したカメラの概略ブロック図である。FIG. 1 is a schematic block diagram of a camera equipped with an image processing apparatus according to an embodiment of the present invention. 図２は、画像処理装置の演算部として機能するＣＰＵのブロック図である。FIG. 2 is a block diagram of a CPU that functions as a calculation unit of the image processing apparatus. 図３は、髪の毛に対する画像処理の一例を表すフローチャートの前半部分である。FIG. 3 is a first half of a flowchart showing an example of image processing for hair. 図４は、髪の毛に対する画像処理の一例を表すフローチャートの後半部分である。FIG. 4 is the latter half of a flowchart showing an example of image processing for hair. 図５は、処理対象画像の画像処理前における状態を表す図である。FIG. 5 is a diagram illustrating a state of the processing target image before image processing. 図６は、処理対象画像を複数のエリアに分割した状態を表す概念図である。FIG. 6 is a conceptual diagram illustrating a state in which the processing target image is divided into a plurality of areas. 図７は、処理対象画像から人物の顔を検出した状態を表す概念図である。FIG. 7 is a conceptual diagram showing a state in which a human face is detected from the processing target image. 図８は、処理対象画像から髪エリアを検出した状態を表す概念図である。FIG. 8 is a conceptual diagram showing a state in which a hair area is detected from the processing target image. 図９は、処理対象画像から頭部エッジを算出した状態を表す概念図である。FIG. 9 is a conceptual diagram showing a state in which the head edge is calculated from the processing target image. 図１０は、処理対象画像に明部が存在する状態を表す概念図である。FIG. 10 is a conceptual diagram illustrating a state where a bright portion exists in the processing target image. 図１１は、処理対象画像に輝度又は明度を上昇させる補正処理を施した状態を表す概念図である。FIG. 11 is a conceptual diagram showing a state in which correction processing for increasing luminance or brightness is performed on the processing target image. 図１２は、一連の画像処理後における処理対象画像の状態を表す図である。FIG. 12 is a diagram illustrating the state of the processing target image after a series of image processing. 図１３は、基準位置の決定方法の第１の例を説明した概念図である。FIG. 13 is a conceptual diagram illustrating a first example of a reference position determination method. 図１４は、基準位置の決定方法の第２の例を説明した概念図である。FIG. 14 is a conceptual diagram illustrating a second example of the reference position determination method. 図１５は、回転曲線算出部における処理の一例を説明した概念図である。FIG. 15 is a conceptual diagram illustrating an example of processing in the rotation curve calculation unit. 図１６は、頭部サイズ算出部での処理の一例を説明した概念図である。FIG. 16 is a conceptual diagram illustrating an example of processing in the head size calculation unit. 図１７は、曲線移動部における処理の一例を説明した概念図である。FIG. 17 is a conceptual diagram illustrating an example of processing in the curve moving unit. 図１８は、一連の画像処理後における処理対象画像の他の一例を表す図である。FIG. 18 is a diagram illustrating another example of the processing target image after a series of image processing. 図１９は、一連の画像処理後における処理対象画像の他の一例を表す図である。FIG. 19 is a diagram illustrating another example of the processing target image after a series of image processing.

第１実施形態
図１は、本発明の一実施形態に係る画像処理装置を搭載するカメラ１０の概略ブロック図である。カメラ１０は、撮影光学系１２、撮像素子１４、画像信号処理回路１６、レンズ駆動制御回路１８、ＣＰＵ４０、ＬＣＤモニタ２２及び各種のスイッチ２４〜３２等を有する。 First Embodiment FIG. 1 is a schematic block diagram of a camera 10 equipped with an image processing apparatus according to an embodiment of the present invention. The camera 10 includes a photographing optical system 12, an image sensor 14, an image signal processing circuit 16, a lens drive control circuit 18, a CPU 40, an LCD monitor 22, various switches 24 to 32, and the like.

カメラ１０の撮影光学系１２は、通常複数のレンズ群によって構成されており、撮像素子１４に被写体光を導く。また、撮影光学系１２は、撮影光学系１２の合焦距離を変化させるためのフォーカシングレンズや、像ブレを抑制するための振れ補正レンズを含んでいても良い。フォーカシングレンズや補正レンズの移動は、レンズ駆動制御回路１８によって制御される。レンズ駆動制御回路１８は、ＣＰＵ４０を介して、カメラ１０に備えられる各種センサ（不図示）からの情報を取得し、撮影光学系１２に含まれるレンズ群の移動を制御する。 The photographing optical system 12 of the camera 10 is generally composed of a plurality of lens groups, and guides subject light to the image sensor 14. Further, the photographing optical system 12 may include a focusing lens for changing the focusing distance of the photographing optical system 12 and a shake correction lens for suppressing image blur. The movement of the focusing lens and the correction lens is controlled by the lens drive control circuit 18. The lens drive control circuit 18 acquires information from various sensors (not shown) provided in the camera 10 via the CPU 40 and controls the movement of the lens group included in the photographing optical system 12.

撮像素子１４は、撮影光学系１２によって導かれた被写体光を光電変換し、画像信号を生成する。撮像素子１４は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子で構成されるが特に限定されない。撮像素子１４は、生成した画像信号を、画像信号処理回路１６へ出力する。画像信号処理回路１６は、画像信号に対して増幅やノイズ除去等の処理を実施する。画像信号処理回路１６によって処理された画像信号は、Ａ／Ｄ変換された後、画像データとしてＣＰＵ４０に送られる。 The image sensor 14 photoelectrically converts subject light guided by the imaging optical system 12 to generate an image signal. The image sensor 14 is configured by a solid-state image sensor such as a CCD or a CMOS, but is not particularly limited. The image sensor 14 outputs the generated image signal to the image signal processing circuit 16. The image signal processing circuit 16 performs processing such as amplification and noise removal on the image signal. The image signal processed by the image signal processing circuit 16 is A / D converted and then sent to the CPU 40 as image data.

ＣＰＵ４０は、カメラ１０で行われる電子制御や画像処理に関する各種の演算処理を実施する。例えば、ＣＰＵ４０は、ＬＣＤモニタ２２等に画像を表示させる処理や、不図示のメモリカード等に画像データを保存する処理を行うことができる。また、ＣＰＵ４０は、各種センサ（不図示）、電源ボタン２４、及び各種スイッチ２６〜３２等からの入力信号を処理し、撮影者の意図をカメラ１０の動作に反映する。さらに、ＣＰＵ４０は、撮影後の画像等に対して画像補正を行うことができる。この場合、ＣＰＵ４０は、画像処理を行う画像処理装置の演算部として機能する。ＣＰＵ４０における画像処理については、後ほど詳述する。 The CPU 40 performs various arithmetic processes related to electronic control and image processing performed by the camera 10. For example, the CPU 40 can perform processing for displaying an image on the LCD monitor 22 or the like, or processing for saving image data in a memory card (not shown) or the like. The CPU 40 processes input signals from various sensors (not shown), the power button 24, the various switches 26 to 32, and the like, and reflects the photographer's intention in the operation of the camera 10. Furthermore, the CPU 40 can perform image correction on the image after shooting. In this case, the CPU 40 functions as a calculation unit of an image processing apparatus that performs image processing. The image processing in the CPU 40 will be described in detail later.

ＬＣＤモニタ２２は、ＣＰＵ４０からの制御を受けて、撮影した画像や、メニュー選択画面等を表示する。メニュースイッチ３０やＯＫスイッチ３２は、使用者が撮影条件や画像処理条件を設定できるようにするための入力部である。例えば、メニュースイッチ３０やＯＫスイッチ３２は、十字キー又はボタン等を有しており、使用者の操作に応じて、ＣＰＵ４０に出力する信号を変化させる。ＣＰＵ４０は、メニュースイッチ３０やＯＫスイッチ３２からの信号に応じて、ＬＣＤモニタ２２に表示するメニュー選択画面等を変化させることによって使用者とコミュニケートし、使用者から情報を取得することができる。 Under the control of the CPU 40, the LCD monitor 22 displays a captured image, a menu selection screen, and the like. The menu switch 30 and the OK switch 32 are input units that allow the user to set shooting conditions and image processing conditions. For example, the menu switch 30 and the OK switch 32 have a cross key or a button, and change a signal output to the CPU 40 in accordance with a user operation. The CPU 40 can communicate with the user by changing a menu selection screen displayed on the LCD monitor 22 in accordance with signals from the menu switch 30 and the OK switch 32, and can acquire information from the user.

電源ボタン２４は、使用者がカメラ１０の主電源をＯＮ及びＯＦＦにするためのボタンである。ＣＰＵ４０は、電源ボタン２４からの信号に応じて、カメラ１０全体の制御を開始及び終了する。半押しスイッチ（Ｓ１）２６は、オートフォーカス動作など、撮影準備動作の開始を制御するためのスイッチである。また、レリーズスイッチ（Ｓ２）２８は、撮像素子１４による画像信号取得動作の開始を制御するためのスイッチである。ＣＰＵ４０は、半押しスイッチ（Ｓ１）２６及びレリーズスイッチ（Ｓ２）２８からの信号に基づき、オートフォーカス動作や画像信号取得動作を実施する。なお、半押しスイッチ（Ｓ１）とレリーズスイッチ（Ｓ２）は、共通のシャッターボタン（不図示）に連動しており、使用者は、シャッターボタンの押し込み量を変化させることで、半押しスイッチ（Ｓ１）及びレリーズスイッチ（Ｓ２）のＯＮ・ＯＦＦを調整できる。 The power button 24 is a button for the user to turn on and off the main power of the camera 10. The CPU 40 starts and ends control of the entire camera 10 according to the signal from the power button 24. The half-press switch (S1) 26 is a switch for controlling the start of a shooting preparation operation such as an autofocus operation. The release switch (S2) 28 is a switch for controlling the start of the image signal acquisition operation by the image sensor 14. The CPU 40 performs an autofocus operation and an image signal acquisition operation based on signals from the half-press switch (S1) 26 and the release switch (S2) 28. The half-push switch (S1) and the release switch (S2) are linked to a common shutter button (not shown), and the user can change the half-push switch (S1) by changing the push amount of the shutter button. ) And release switch (S2) ON / OFF.

ＣＰＵ４０は、カメラ１０で撮影された画像や、外部からカメラ１０に入力された画像について、各種の画像処理を行うことができる。特に、本実施形態に係るＣＰＵ４０は、画像から人物の髪の毛が写っている部分を検出し、必要に応じて髪の毛が写っている部分に補正を加え、被写体の見栄えを向上させる画像処理を行うことができる。 The CPU 40 can perform various types of image processing on images captured by the camera 10 and images input to the camera 10 from the outside. In particular, the CPU 40 according to the present embodiment detects a portion where a person's hair is reflected from an image and performs image processing to improve the appearance of the subject by correcting the portion where the hair is reflected as necessary. Can do.

図２は、画像処理装置の演算部として機能するＣＰＵ４０のブロック図である。図２は、画像処理においてＣＰＵ４０で行われる各演算処理を、各ブロックに対応させて表したものである。本実施形態に係るＣＰＵ４０では、画像処理に関係する全ての演算処理が実施されるが、一部の演算処理がＣＰＵ４０以外で実施される態様であってもかまわない。 FIG. 2 is a block diagram of the CPU 40 that functions as a calculation unit of the image processing apparatus. FIG. 2 shows each arithmetic processing performed by the CPU 40 in the image processing in association with each block. In the CPU 40 according to the present embodiment, all the arithmetic processes related to the image processing are performed. However, a part of the arithmetic processes may be performed by other than the CPU 40.

ＣＰＵ４０は、髪の毛に対する一連の画像処理において、顔検出部４２、目の位置検出部４４、エリア抽出部４６、明るさ算出部４８、明部検出部５０、髪型識別部５２及び補正部５４として機能する。以下では、ＣＰＵ４０における具体的処理を説明した図３〜図１７を用いて、図２に示す各ブロックの機能及び処理を説明する。 The CPU 40 functions as a face detection unit 42, an eye position detection unit 44, an area extraction unit 46, a brightness calculation unit 48, a bright part detection unit 50, a hairstyle identification unit 52, and a correction unit 54 in a series of image processing for hair. To do. Hereinafter, the functions and processes of the blocks shown in FIG. 2 will be described with reference to FIGS.

図３及び図４は、髪の毛に対する画像処理の一例を表すフローチャートである。図３はフローチャートの前半部分であり、図４はフローチャートの後半部分である。ＣＰＵ４０における画像処理は、大きく分けて４つの処理群に分類することができる。第１の処理群は、主として、処理対象となるデジタル画像に対して、髪の毛の見栄えを改善するための画像補正（髪エリアに対する明るさ補正処理と明るさ補正のための補正準備処理を含む）を行うべきか否かを判断するために、実施される処理群である。第１の処理群は、フローチャートにおけるステップＳ００２〜ステップＳ００７（図３）までの各処理を含む。 3 and 4 are flowcharts showing an example of image processing for hair. FIG. 3 is the first half of the flowchart, and FIG. 4 is the second half of the flowchart. Image processing in the CPU 40 can be broadly classified into four processing groups. The first processing group mainly performs image correction for improving the appearance of the hair with respect to the digital image to be processed (including brightness correction processing for the hair area and correction preparation processing for brightness correction). This is a processing group to be executed in order to determine whether or not to perform. The first processing group includes each processing from step S002 to step S007 (FIG. 3) in the flowchart.

第２の処理群は、主に髪エリアに対する明るさ補正処理の基準位置を決定するための処理群である。第２の処理群は、明るさ補正のための補正準備処理の一部であり、フローチャートにおけるステップＳ００８〜ステップＳ０１０（図３、図４）までの各処理を含む。第３の処理群は、主に髪エリアに対する明るさ補正処理における補正基準曲線を決定するための処理群である。第３の処理群は、第２の処理群と同様に、明るさ補正のための補正準備処理の他の一部であり、フローチャートにおけるステップＳ０１１，Ｓ０１２，Ｓ０１４（図４）の各処理を含む。第４の処理群は、デジタル画像に対して、補正基準曲線に沿って実際に明るさ補正処理を行う処理群である。第４の処理群は、プローチャートにおけるステップＳ０１３，Ｓ０１５の各処理を含む。 The second processing group is a processing group for determining a reference position for brightness correction processing mainly for the hair area. The second processing group is a part of correction preparation processing for brightness correction, and includes each processing from step S008 to step S010 (FIGS. 3 and 4) in the flowchart. The third processing group is a processing group for determining a correction reference curve in the brightness correction processing mainly for the hair area. Similar to the second processing group, the third processing group is another part of the correction preparation processing for brightness correction, and includes each processing of steps S011, S012, and S014 (FIG. 4) in the flowchart. . The fourth processing group is a processing group that actually performs brightness correction processing on the digital image along the correction reference curve. The fourth process group includes the processes of steps S013 and S015 in the pro chart.

（１）第１の処理群
図３に示すステップＳ００１では、図１に示すカメラ１０のＣＰＵ４０が、一連の画像処理を開始する。処理を開始するタイミングは特に限定されないが、カメラ１０で画像を取得した直後に行われても良いし、メニュースイッチ３０やＯＫスイッチ３２等を介して入力された使用者の意志を反映して開始されても良い。また、フローチャートに示す処理は、単独の処理として実施されても良く、他の画像処理と合わせて行われても良い。なお、各ステップに示す処理はＣＰＵ４０において行われ、処理結果は必要に応じて不図示の記憶部に保存される。 (1) First Processing Group In step S001 shown in FIG. 3, the CPU 40 of the camera 10 shown in FIG. 1 starts a series of image processing. The timing for starting the processing is not particularly limited, but may be performed immediately after the image is acquired by the camera 10 or may be started reflecting the user's intention input through the menu switch 30, the OK switch 32, or the like. May be. Further, the process shown in the flowchart may be performed as a single process or may be performed in combination with other image processes. In addition, the process shown to each step is performed in CPU40, and a process result is preserve | saved at the memory | storage part not shown as needed.

図３に示すステップＳ００２では、画像処理のための準備処理が実施される。ステップＳ００２において、ＣＰＵ４０は、処理対象となるデジタル画像を特定する。補正対象となる画像は、図１に示す画像信号処理回路１６から入力された撮影直後の画像であっても良く、不図示の記憶部等に保存されていた画像であって、使用者によって指定されたものであっても良い。本実施形態では、ステップＳ００２において、ＣＰＵ４０が、図５に示す処理対象画像８０を、処理対象として特定した場合を例に、説明を行う。 In step S002 shown in FIG. 3, a preparation process for image processing is performed. In step S002, the CPU 40 specifies a digital image to be processed. The image to be corrected may be an image immediately after photographing input from the image signal processing circuit 16 shown in FIG. 1, and is an image stored in a storage unit (not shown) and designated by the user. It may be what was done. In the present embodiment, a description will be given by taking as an example the case where the CPU 40 identifies the processing target image 80 shown in FIG. 5 as a processing target in step S002.

なお、本実施形態では、説明を解りやすくするために、図６に示すように、処理対象画像８０を２５等分するエリア８２を用いて、顔エリア８４（図７参照）及び髪エリア８６（図８等参照）の検出及び特定の説明を行う。しかし、実際の画像処理における顔エリア８４及び髪エリア８６の特定は、処理対象画像８０に含まれる画素単位又はこれに近似する十分に狭い単位のエリアを用いて、実施されることが好ましい。 In this embodiment, for easy understanding, as shown in FIG. 6, a face area 84 (see FIG. 7) and a hair area 86 ( Detection and specific description will be given. However, the identification of the face area 84 and the hair area 86 in actual image processing is preferably performed using a pixel unit included in the processing target image 80 or an area of a sufficiently narrow unit that approximates this.

図３に示すステップＳ００３では、図２に示す顔検出部４２が、処理対象画像８０の中から、人物の顔が写っている領域である顔エリアを抽出する。顔検出部４２は、例えばテンプレートマッチング法などによって、画像の中から顔エリアを抽出することができるが、人物の顔を抽出する具体的な方法は特に限定されない。 In step S003 illustrated in FIG. 3, the face detection unit 42 illustrated in FIG. 2 extracts a face area that is an area in which a human face is captured from the processing target image 80. The face detection unit 42 can extract a face area from an image by, for example, a template matching method, but a specific method for extracting a person's face is not particularly limited.

図７は、顔検出部４２が、処理対象画像８０の中から、顔エリア８４を抽出した状態を表しており、顔検出部４２によって特定された顔エリア８４のみを明るく表示している。図７に示すように、顔検出部４２によって人物の顔が抽出された場合は、フローチャート（図３）におけるステップＳ００４の処理へ進む。これとは逆に、人物の顔を抽出できず、処理対象画像から顔エリアを特定できなかった場合は、フローチャート（図４）におけるステップＳ０１６へ進み、処理を終了する。 FIG. 7 shows a state in which the face detection unit 42 has extracted a face area 84 from the processing target image 80, and only the face area 84 specified by the face detection unit 42 is displayed brightly. As shown in FIG. 7, when the face of the person is extracted by the face detection unit 42, the process proceeds to step S004 in the flowchart (FIG. 3). On the other hand, if the face of the person cannot be extracted and the face area cannot be specified from the processing target image, the process proceeds to step S016 in the flowchart (FIG. 4), and the process ends.

図３に示すステップＳ００４では、図２に示す目の位置検出部４４が、顔エリア８４の中から、人物の目の位置を検出する。目の位置検出部４４による位置検出方法は特に限定されないが、顔エリアに対してテンプレートマッチングを行う方法や、顔エリアに含まれるエッジの形状及び位置関係から検出する方法が挙げられる。 In step S004 shown in FIG. 3, the eye position detection unit 44 shown in FIG. 2 detects the position of the human eye from the face area 84. The position detection method by the eye position detection unit 44 is not particularly limited, and examples include a method of performing template matching on the face area and a method of detecting from the shape and positional relationship of the edges included in the face area.

図３に示すステップＳ００５では、図２に示すエリア抽出部４６が、処理対象画像８０の中から、人物の髪の毛が写っている領域である髪エリアを抽出する。図８は、処理対象画像から髪エリア８６を検出した状態を表しており、エリア抽出部４６によって特定された髪エリア８６のみを明るく表示している。 In step S005 illustrated in FIG. 3, the area extraction unit 46 illustrated in FIG. 2 extracts a hair area that is a region in which a person's hair is reflected from the processing target image 80. FIG. 8 shows a state in which the hair area 86 is detected from the processing target image, and only the hair area 86 specified by the area extraction unit 46 is displayed brightly.

エリア抽出部４６は、例えば以下のような方法で髪エリア８６を検出することができる。すなわち、エリア抽出部４６は、顔検出部４２によって検出された顔エリア８４（図７参照）の位置情報に基づき、顔エリア８４の外側上方の部分の色に関する情報を取得する。さらに、エリア抽出部４６は、取得された色情報が黒色、茶色、赤茶色、金色、灰色など、人の髪の毛に近い色である場合、顔エリア８４の周辺に広がる同様の色相を有する領域を、髪エリア８６（図８参照）とすることができる。 The area extraction unit 46 can detect the hair area 86 by the following method, for example. That is, the area extraction unit 46 acquires information related to the color of the upper portion of the face area 84 based on the position information of the face area 84 (see FIG. 7) detected by the face detection unit 42. Furthermore, the area extraction unit 46, when the acquired color information is a color close to human hair such as black, brown, reddish brown, gold, gray, etc., an area having a similar hue spreading around the face area 84. The hair area 86 (see FIG. 8).

図３に示すステップＳ００６では、図２に示す補正部５４のエッジ検出部５６が、髪エリア８６における上方及び側方の境界領域付近でエッジ検出を実施し、髪エリア外周エッジを算出する。図９は、処理対象画像８０から髪エリア外周エッジ８８を算出した状態を表している。 In step S006 shown in FIG. 3, the edge detection unit 56 of the correction unit 54 shown in FIG. 2 performs edge detection in the vicinity of the upper and side boundary regions in the hair area 86, and calculates a hair area outer peripheral edge. FIG. 9 shows a state where the hair area outer peripheral edge 88 is calculated from the processing target image 80.

エッジ検出部５６は、例えば隣接する画素に対して色相差が大きい画素の繋がりを算出することによって、エッジ検出をすることができる。また、算出された髪エリア外周エッジ８８が、髪エリア８６における上方及び側方の概略形状（頭部の概略形状）を反映するように、エッジ検出部５６は、エッジの検出閾値の調整や、エッジの均し処理（平均化処理）を行っても良い。また、エッジ検出部５６は、エッジ検出を実施する際に、露出をアンダーにするなど、エッジ検出を容易にするための処理を、処理対象画像８０に対して実施しても良い。 The edge detection unit 56 can detect an edge by calculating a connection of pixels having a large hue difference with respect to adjacent pixels, for example. Further, the edge detection unit 56 adjusts the detection threshold of the edge so that the calculated hair area outer peripheral edge 88 reflects the upper and side approximate shapes (the approximate shape of the head) in the hair area 86, An edge leveling process (averaging process) may be performed. In addition, the edge detection unit 56 may perform processing for facilitating edge detection, such as underexposure, on the processing target image 80 when performing edge detection.

また、ステップＳ００５では、補正部５４の明部形成部７４の頭部サイズ算出部７６が、検出した髪エリア８６に係る人物の頭部の大きさを算出する。頭部サイズ算出部７６は、図１６に示すように、髪エリア８６や髪エリア外周エッジ８８の形状から、頭部の幅Ｗ及び頭部の高さＨを算出する。 In step S005, the head size calculation unit 76 of the bright part forming unit 74 of the correction unit 54 calculates the size of the head of the person related to the detected hair area 86. As shown in FIG. 16, the head size calculation unit 76 calculates a head width W and a head height H from the shape of the hair area 86 and the hair area outer peripheral edge 88.

なお、本実施形態における画像処理において、上方とは、顎から頭頂へ向かう方向を意味し、下方とは頭頂から顎へ向かう方向を意味する。また、幅方向及び側方とは、上下方向とは直交する方向を意味する。画像におけるこれらの方向は、例えば顔の輪郭や目の配置から認識される。 In the image processing in the present embodiment, “upper” means a direction from the jaw toward the crown, and “lower” means a direction from the crown to the jaw. Moreover, the width direction and the side mean the direction orthogonal to the up-down direction. These directions in the image are recognized from, for example, the outline of the face and the arrangement of the eyes.

ステップＳ００６で算出された髪エリア外周エッジ８８は、明るさ補正処理を行うべきか否かを判断する際（第１の処理群）だけでなく、明るさ補正処理の基準位置や補正基準曲線を決定する際（第２の処理群及び第３の処理群）にも用いられる。また、ステップＳ００６で算出された頭部の大きさは、実際に明るさ補正処理を行う際（第４の処理群）に用いられる。 The hair area outer peripheral edge 88 calculated in step S006 is used not only when determining whether or not to perform brightness correction processing (first processing group), but also with reference positions and correction reference curves for brightness correction processing. Also used for determination (second processing group and third processing group). Further, the size of the head calculated in step S006 is used when the brightness correction process is actually performed (fourth process group).

図３に示すステップＳ００７では、ＣＰＵ４０は、髪エリアの明るさの分布を算出し、髪エリアに明部が存在するか否かを判断する。まず、ステップＳ００７において、図２に示す明るさ算出部４８は、エリア抽出部４６で抽出された髪エリア８６（図８等参照）における輝度又は明度の分布を算出する。明るさ算出部４８は、例えば髪エリア８６に含まれる各画素のＲＧＢ情報から、髪エリア８６に含まれる各画素の輝度や明度を算出することによって、髪エリア８６における明るさの分布を抽出することができる。 In step S007 shown in FIG. 3, the CPU 40 calculates the brightness distribution of the hair area and determines whether or not there is a bright portion in the hair area. First, in step S007, the brightness calculation unit 48 illustrated in FIG. 2 calculates the luminance or brightness distribution in the hair area 86 (see FIG. 8 and the like) extracted by the area extraction unit 46. The brightness calculation unit 48 extracts the brightness distribution in the hair area 86 by, for example, calculating the luminance and brightness of each pixel included in the hair area 86 from the RGB information of each pixel included in the hair area 86. be able to.

次に、ステップＳ００７では、図２に示す明部検出部５０が、エリア抽出部４６によって抽出された髪エリアの中から、髪エリアにおける輝度又は明度の最頻値又は平均値に対して、所定値以上高い輝度又は明度を有する明部を検出する。例えば明るさ算出部４８によって算出された分布が、輝度の分布である場合、明部検出部５０は、まず髪エリアの輝度の平均値を算出する。さらに、明部検出部５０は、算出された輝度の平均値に対して所定値以上高い輝度を有しており、髪エリアに対して所定の割合以上の広がりを有する領域が、髪エリアの中に存在するか否かを、輝度の分布情報から検出する。明部検出部５０は、このような領域を検出した場合、その領域を髪エリアにおける明部とすることができる。 Next, in step S007, the bright part detecting unit 50 shown in FIG. 2 performs predetermined processing on the mode value or average value of the brightness or brightness in the hair area from the hair area extracted by the area extracting unit 46. A bright part having brightness or brightness higher than the value is detected. For example, when the distribution calculated by the brightness calculation unit 48 is a luminance distribution, the bright part detection unit 50 first calculates the average value of the luminance of the hair area. Further, the bright part detection unit 50 has a brightness that is higher than a predetermined value with respect to the calculated average value of brightness, and an area having a spread of a predetermined ratio or more with respect to the hair area is included in the hair area. Is detected from the luminance distribution information. When the bright portion detection unit 50 detects such a region, the bright portion can be set as a bright portion in the hair area.

図１０は、明部検出部５０が処理対象画像１１１から明部９０を検出した状態を表したものである。処理対象画像１１１は、ステップＳ００２〜ステップＳ００６の説明において用いた処理対象画像８０（図５〜図９）とは異なる画像である。図１０に示すように、処理対象画像１１１の髪エリア８６ａ（髪エリア８６と同様に検出）には、撮影時に照明等を反射することによって発生する帯状の艶が形成されており、明部検出部５０は、この艶の部分を明部９０であると認識する。ステップＳ００７の処理において明部９０が検出された場合は、ステップＳ０１６（図４）へ進み、髪エリア８６ａに対して明るさ補正処理を行うことなく、画像処理を終了する。 FIG. 10 illustrates a state in which the bright portion detection unit 50 detects the bright portion 90 from the processing target image 111. The processing target image 111 is an image different from the processing target image 80 (FIGS. 5 to 9) used in the description of steps S002 to S006. As shown in FIG. 10, in the hair area 86a (detected in the same manner as the hair area 86) of the processing target image 111, a band-like luster generated by reflecting illumination or the like at the time of photographing is formed, and a bright portion is detected. The part 50 recognizes this glossy part as the bright part 90. When the bright part 90 is detected in the process of step S007, the process proceeds to step S016 (FIG. 4), and the image process is terminated without performing the brightness correction process on the hair area 86a.

また、これとは反対に、ステップＳ００７の処理において明部が検出されなかった場合は（図９の処理対象画像８０を参照）、ステップＳ００８（図３）の処理へ進む。すなわち、本実施形態に係る画像処理装置は、明部検出部５０によって髪エリア８６から明部が検出されなかった場合に（図９参照）、髪エリア８６の一部に対して、明るさを上昇させる補正処理を行い、画像における髪の毛の見栄えを改善する。 On the other hand, if no bright part is detected in the process of step S007 (see the processing target image 80 in FIG. 9), the process proceeds to step S008 (FIG. 3). That is, the image processing apparatus according to the present embodiment provides brightness to a part of the hair area 86 when the bright part is not detected from the hair area 86 by the bright part detection unit 50 (see FIG. 9). A correction process is performed to improve the appearance of the hair in the image.

しかし、本実施形態に係る画像処理装置は、図１０に示すように、明部検出部５０によって髪エリア８６ａから明部９０が検出された場合は、髪エリア８６ａに対しては明るさ補正処理を行わない。このように、処理対象画像の髪の毛の見栄えが元々良いと認められる場合（処理対象画像１１１（図１０））には補正を行わず、好ましい見栄えでないと認められる場合（処理対象画像８０（図９））にのみ補正を行うことにより、本実施形態に係る画像処理装置は、より適切な画像処理を、自動的に行うことができる。 However, in the image processing apparatus according to the present embodiment, as shown in FIG. 10, when the bright part 90 is detected from the hair area 86a by the bright part detection unit 50, the brightness correction process is performed on the hair area 86a. Do not do. As described above, when the appearance of the hair of the processing target image is recognized as originally good (processing target image 111 (FIG. 10)), correction is not performed, and when the appearance is not preferable, the processing target image 80 (FIG. 9). By performing the correction only on ()), the image processing apparatus according to the present embodiment can automatically perform more appropriate image processing.

なお、明るさ算出部４８によって算出された分布が、明度の分布である場合、明部検出部５０は、輝度の代わりに明度の情報を用いて、明部を検出する。また、明部検出部５０は、髪エリアにおける輝度又は明度の平均値ではなく、最頻値を基準に、上述のような検出を行ってもよい。また明部を検出する際に用いる所定値は、絶対値であってもよく、平均値又は最頻値に対する比率であっても良い。また、明るさ算出部４８及び明部検出部５０は、検出精度を高めるため、又は計算量を低減するために、ステップＳ００６において算出された髪エリア外周エッジ８８の外側の領域は、検出対象から除外しても良い。 When the distribution calculated by the brightness calculation unit 48 is a brightness distribution, the bright part detection unit 50 detects the bright part using the brightness information instead of the luminance. Further, the light part detection unit 50 may perform the above-described detection based on the mode value instead of the average value of brightness or lightness in the hair area. Further, the predetermined value used when detecting the bright part may be an absolute value or a ratio with respect to an average value or a mode value. In addition, the brightness calculation unit 48 and the bright part detection unit 50 detect the region outside the hair area outer peripheral edge 88 calculated in step S006 from the detection target in order to increase the detection accuracy or reduce the calculation amount. May be excluded.

（２）第２の処理群
フローチャートにおけるステップＳ００８〜ステップＳ０１０では、補正部５４の基準位置算出部６０が、明るさ補正処理の基準位置を決定する。ここで基準位置とは、明るさ補正処理の基準となる位置である。明るさ補正処理のための補正基準曲線（後述）は、基準位置を中心とする円の円弧、基準位置を焦点とする楕円の楕円弧、若しくはこれらに類似する曲線とすることが好ましい。 (2) Second Process Group In steps S008 to S010 in the flowchart, the reference position calculation unit 60 of the correction unit 54 determines the reference position for the brightness correction process. Here, the reference position is a position serving as a reference for brightness correction processing. A correction reference curve (to be described later) for the brightness correction process is preferably a circular arc centering on the reference position, an elliptical arc having a focus on the reference position, or a similar curve.

図３に示すステップＳ００８では、図２に示す基準位置算出部６０の凹部検出部６２が、髪エリア外周エッジの形状から、髪の分け目に形成される凹部の位置を検出する。図１３は、ステップＳ００２〜ステップＳ００６の説明において用いた処理対象画像８０（図５〜図９）とは異なる処理対象画像８１から、凹部９２を検出した状態を表している。凹部検出部６２は、髪エリア外周エッジ８９（髪エリア外周エッジ８８と同様の方法で算出）の曲率の変化状態等を、上下方向や頭部の大きさと併せて考慮し、凹部９２の有無を調査する。凹部検出部６２は、例えば、髪エリア外周エッジ８９の最上部付近に、頭部の大きさ等から決められる一定範囲の大きさで、下方に向かって凹んでいる部分を検出した場合、その部分を凹部９２であると認定する。 In step S008 shown in FIG. 3, the recess detection unit 62 of the reference position calculation unit 60 shown in FIG. 2 detects the position of the recess formed in the hair division from the shape of the outer edge of the hair area. FIG. 13 illustrates a state in which the concave portion 92 is detected from the processing target image 81 different from the processing target image 80 (FIGS. 5 to 9) used in the description of steps S002 to S006. The recess detection unit 62 considers the curvature change state of the hair area outer peripheral edge 89 (calculated in the same manner as the hair area outer peripheral edge 88) together with the vertical direction and the size of the head, and determines the presence or absence of the recess 92. investigate. For example, when the recessed portion detecting unit 62 detects a portion recessed downward in a certain range of size determined from the size of the head, etc., near the top of the hair area outer peripheral edge 89, the portion Is identified as a recess 92.

ステップＳ００８において、凹部検出部６２が凹部９２を検出した場合、ＣＰＵ４０は、ステップＳ０１０（図４）の処理へ進み、ステップＳ０１０では、図２の基準位置算出部６０が、凹部９２を基準位置とする。ステップＳ００８において、例えば髪エリア外周エッジ８８が図９に示すような形状であり、凹部検出部６２が凹部を検出できなかった場合、ステップＳ００９の処理へ進む。 When the recess detection unit 62 detects the recess 92 in step S008, the CPU 40 proceeds to the process of step S010 (FIG. 4). In step S010, the reference position calculation unit 60 of FIG. 2 sets the recess 92 as the reference position. To do. In step S008, for example, when the hair area outer peripheral edge 88 has a shape as shown in FIG. 9 and the recess detection unit 62 cannot detect the recess, the process proceeds to step S009.

ステップＳ００９では、図２に示す基準位置算出部６０が、髪エリア外周エッジにおける最も高い（最も上方の）位置である頂部を検出する。図１４は、処理対象画像８０から、髪エリア外周エッジ８８の頂部９４を検出した状態を表している。基準位置算出部６０は、例えば、顔の輪郭や目の配置から、当該処理における上下方向を決定した後、髪エリア外周エッジ８８において最も上方に位置する点を、頂部９４とすることができる。ステップＳ００９で頂部９４を検出した場合、次の処理であるステップＳ０１０において、基準位置算出部６０は、頂部９４を基準位置とする。 In step S009, the reference position calculation unit 60 shown in FIG. 2 detects the apex that is the highest (uppermost) position in the outer peripheral edge of the hair area. FIG. 14 shows a state in which the apex 94 of the hair area outer peripheral edge 88 is detected from the processing target image 80. For example, after determining the vertical direction in the processing from the contour of the face and the arrangement of the eyes, the reference position calculation unit 60 can set the point located at the uppermost position in the hair area outer peripheral edge 88 as the apex 94. When the top portion 94 is detected in step S009, in step S010, which is the next process, the reference position calculation unit 60 sets the top portion 94 as the reference position.

（３）第３の処理群
フローチャートにおけるステップＳ０１１、ステップＳ０１２及びステップＳ０１４では、補正部５４の基準曲線算出部６６が、明るさ補正処理の補正基準曲線を決定する。後述する明るさ補正処理（第４の処理群）では、補正基準曲線に沿って帯状に補正が実施される。補正基準曲線は、髪エリア外周エッジ上の２つの点を結ぶ曲線であって、ステップＳ０１０で決定された基準位置が内周側に位置するように伸びる弧状の曲線である。補正基準曲線は、例えば以下のような処理によって算出される。 (3) Third Processing Group In step S011, step S012, and step S014 in the flowchart, the reference curve calculation unit 66 of the correction unit 54 determines a correction reference curve for brightness correction processing. In brightness correction processing (fourth processing group) described later, correction is performed in a band shape along the correction reference curve. The correction reference curve is a curve connecting two points on the outer peripheral edge of the hair area, and is an arcuate curve extending so that the reference position determined in step S010 is positioned on the inner peripheral side. The correction reference curve is calculated by the following process, for example.

ステップＳ０１１では、図２のエッジ曲線算出部６８が、エッジ検出部５６で検出された髪エリア外周エッジから、エッジ曲線を算出する。図１５は、ステップＳ０１１及びステップＳ０１２で行われる処理を説明した概念図である。図１５に示す例では、エッジ曲線算出部６８は、髪エリア外周エッジ８８のうち、基準位置（頂部９４）を含む一部（全部であっても良い。）の範囲についての形状を解析し、髪エリア外周エッジ８８に沿うエッジ曲線９６を算出する。従って、エッジ曲線９６は、髪エリア外周エッジ８８の一部と同様の形状を有している。 In step S011, the edge curve calculation unit 68 of FIG. 2 calculates an edge curve from the hair area outer peripheral edge detected by the edge detection unit 56. FIG. 15 is a conceptual diagram illustrating the processing performed in steps S011 and S012. In the example shown in FIG. 15, the edge curve calculation unit 68 analyzes the shape of a part (or all) of the hair area outer peripheral edge 88 including the reference position (the top portion 94), An edge curve 96 along the hair area outer peripheral edge 88 is calculated. Therefore, the edge curve 96 has the same shape as a part of the hair area outer peripheral edge 88.

ステップＳ０１２では、図２の回転曲線算出部７０が、エッジ曲線９６を回転させた回転曲線を算出する。図１５に示すように、本実施形態に係る回転曲線算出部７０は、エッジ曲線９６を、基準位置（頂部９４）を中心に所定の角度（本実施形態では角度θ１）回転させた回転曲線９７ｂを算出する。回転曲線を算出する際の角度は、髪エリア外周エッジ８８の形状や光源の方向等を考慮して、任意の値とすることができる。例えば、回転曲線算出部７０は、エッジ曲線９６を反転させた回転曲線９７ａを算出する場合には、回転角度を１８０°（角度θ２）とする。 In step S012, the rotation curve calculation unit 70 of FIG. 2 calculates a rotation curve obtained by rotating the edge curve 96. As shown in FIG. 15, the rotation curve calculation unit 70 according to the present embodiment rotates the edge curve 96 around a reference position (top 94) by a predetermined angle (in this embodiment, an angle θ1). Is calculated. The angle for calculating the rotation curve can be set to an arbitrary value in consideration of the shape of the hair area outer peripheral edge 88, the direction of the light source, and the like. For example, when calculating the rotation curve 97a obtained by inverting the edge curve 96, the rotation curve calculation unit 70 sets the rotation angle to 180 ° (angle θ2).

ステップＳ０１３では、図２の明部形成部７４が、ステップＳ００６で算出された頭部の大きさに応じて、明るさ補正処理を行う広さ（上下方向の幅等）を決定する。ステップＳ０１５で行われる明るさ補正処理が実施される領域は、補正基準曲線に沿って、その上下方向にある程度の幅を有する（図１１参照）。明部形成部７４は、明るさ補正処理の前に、補正処理を行う上下方向の幅等を決定しておく。ステップＳ０１３の処理は、明るさ補正処理（ステップＳ０１５）の直前に行われても良く、第４の処理群に含まれると考えても良い。 In step S013, the bright part forming unit 74 in FIG. 2 determines the size (width in the vertical direction and the like) for performing the brightness correction process according to the size of the head calculated in step S006. The area in which the brightness correction process performed in step S015 is performed has a certain width in the vertical direction along the correction reference curve (see FIG. 11). The bright part forming unit 74 determines the vertical width or the like for performing the correction process before the brightness correction process. The process of step S013 may be performed immediately before the brightness correction process (step S015), and may be considered to be included in the fourth process group.

ステップＳ０１４では、図２の曲線移動部７２が、ステップＳ０１２で算出された回転曲線を平行移動させ、補正基準曲線を決定する。図１７は、曲線移動部７２によって決定された補正基準曲線９８を表している。図１７に示す例では、曲線移動部７２は、ステップＳ０１２で算出された回転曲線９７ｂ（図１５参照）を、目の位置９９ａ，９９ｂと基準位置（頂部９４）との間の位置に平行移動させる。次に、曲線移動部７２は、平行移動された曲線のうち、髪エリア外周エッジ８８との交点Ａ及び交点Ｂの間に挟まれた部分を、補正基準曲線９８とする。このように算出された補正基準曲線９８は、髪エリア外周エッジ８８の２つの点（交点Ａ，Ｂ）を結び、基準位置（頂部９４）が内周側に位置するように伸びる弧状の形状を有する。 In step S014, the curve moving unit 72 in FIG. 2 translates the rotation curve calculated in step S012, and determines a correction reference curve. FIG. 17 shows a correction reference curve 98 determined by the curve moving unit 72. In the example shown in FIG. 17, the curve moving unit 72 translates the rotation curve 97b (see FIG. 15) calculated in step S012 to a position between the eye positions 99a and 99b and the reference position (top 94). Let Next, the curve moving unit 72 sets a portion sandwiched between the intersection A and the intersection B with the hair area outer peripheral edge 88 among the translated curves as the correction reference curve 98. The correction reference curve 98 calculated in this way connects two points (intersection points A and B) of the hair area outer peripheral edge 88 and has an arcuate shape extending so that the reference position (top 94) is located on the inner peripheral side. Have.

補正基準曲線９８の位置は、髪エリア外周エッジ８８の形状や人物への光の当たり方などを考慮して、基準位置（頂部９４）から目の位置９９ａ，９９ｂまでの間の任意の位置に決定される。例えば、図１７に示す基準位置（頂部９４）から補正基準曲線９８までの距離（Ｌ１）と、補正基準曲線９８から目の位置９９ａ，９９ｂまでの距離（Ｌ２）との比は、補正による違和感を抑制する観点から、１対２（Ｌ１／Ｌ２＝１／２）とすることができるが、特に限定されない。 The position of the correction reference curve 98 is an arbitrary position between the reference position (top 94) and the eye positions 99a and 99b in consideration of the shape of the hair area outer peripheral edge 88 and how the light hits the person. It is determined. For example, the ratio of the distance (L1) from the reference position (top 94) to the correction reference curve 98 and the distance (L2) from the correction reference curve 98 to the eye positions 99a and 99b shown in FIG. From the viewpoint of suppressing the above, it can be set to 1: 2 (L1 / L2 = 1/2), but is not particularly limited.

（４）第４の処理群
ステップＳ０１５では、図２の明部形成部７４が、髪エリアの一部に対して、実際に明るさ補正処理を行う。図１１は、明部形成部７４が明るさ補正処理を実施した直後の状態を表す概念図である。明部形成部７４は、髪エリア８６に対して、ステップＳ０１４で決定された補正基準曲線９８（図１７）に沿って帯状に、画素の輝度又は明度を上昇させる補正処理を行う。また、補正処理を行う上下方向の幅は、ステップＳ０１３で算出された値を用いる。輝度又は明度を上昇させる具体的方法としては、例えば白色の画素を分散配置してぼかしを加える方法や、各画素の色相及び彩度を維持しつつ輝度又は明度を上昇させる方法が挙げられるが、特に限定されない。 (4) Fourth Processing Group In step S015, the bright part forming unit 74 in FIG. 2 actually performs brightness correction processing on a part of the hair area. FIG. 11 is a conceptual diagram illustrating a state immediately after the bright portion forming unit 74 performs the brightness correction process. The bright part forming unit 74 performs a correction process on the hair area 86 to increase the luminance or brightness of the pixels in a band shape along the correction reference curve 98 (FIG. 17) determined in step S014. Further, the value calculated in step S013 is used as the vertical width for performing the correction process. Specific methods for increasing the brightness or brightness include, for example, a method in which white pixels are distributed and blurred, and a method of increasing the brightness or brightness while maintaining the hue and saturation of each pixel. There is no particular limitation.

明部形成部７４は、必要に応じて髪エリア８６に対してグラデーションやぼかしを加えることによって、補正による違和感を抑制することができる（図１１参照）。このような一連の画像処理によって、図５に示す補正前の処理対象画像８０から、図１２に示す補正後の処理対象画像８０ａが得られる。ステップＳ０１６では、ＣＰＵ４０は、必要に応じて補正後の処理対象画像８０ａを記憶部に記憶させた後、画像処理を終了する。 The bright part forming part 74 can suppress a sense of incongruity due to correction by adding gradation or blur to the hair area 86 as necessary (see FIG. 11). By such a series of image processing, the corrected processing target image 80a shown in FIG. 12 is obtained from the processing target image 80 before correction shown in FIG. In step S016, the CPU 40 stores the corrected processing target image 80a in the storage unit as necessary, and then ends the image processing.

上述のように、本実施形態に係る画像処理装置は、図３及び図４のフローチャートで説明されるような画像処理を行うことにより、人物の髪の毛に対して、自動的に好ましい画像処理を行うことができる。特に、本実施形態に係る画像処理装置は、図２に示す明部検出部５０を有しており、明部検出部５０は、髪エリア８６に明部が存在するか否かを判断する。 As described above, the image processing apparatus according to the present embodiment automatically performs preferable image processing on human hair by performing image processing as described in the flowcharts of FIGS. 3 and 4. be able to. In particular, the image processing apparatus according to the present embodiment includes the bright part detection unit 50 illustrated in FIG. 2, and the bright part detection unit 50 determines whether or not there is a bright part in the hair area 86.

そして、補正部５４は、図９に示すように、明部検出部５０によって髪エリア８６から明部が検出されなかった場合に、髪エリアの一部に対して、明るさを上昇させる補正処理を行い、画像における髪の毛の見栄えを改善する。しかし、補正部５４は、図１０に示すように、明部検出部５０によって髪エリア８６から明部９０が検出された場合は、髪エリアに対して上述のような補正処理を行わない。このように、補正部５４は、画像における髪の毛の見栄えが元々良い場合には補正を行わず、好ましい見栄えでないと認められる場合にのみ補正を行うことにより、より適切な画像処理を、自動的に行うことができる。 Then, as illustrated in FIG. 9, the correction unit 54 performs a correction process for increasing the brightness of a part of the hair area when the bright part is not detected from the hair area 86 by the bright part detection unit 50. To improve the appearance of the hair in the image. However, as illustrated in FIG. 10, when the bright part 90 is detected from the hair area 86 by the bright part detection unit 50, the correction unit 54 does not perform the above correction process on the hair area. As described above, the correction unit 54 automatically performs more appropriate image processing by performing correction only when the appearance of the hair in the image is originally good, and correcting only when it is recognized that the appearance is not preferable. It can be carried out.

また、補正部５４は、図１１等に示すように、頭部の概略形状を髪エリア外周エッジ８８として検出し、髪エリア外周エッジ８８の形状を考慮して補正基準曲線を決定することにより、髪の毛に自然な艶を与える明るさ補正処理を実現することができる。例えば、図１８及び図１９は、図３及び図４のフローチャートに示す画像処理を実施した後における処理対象画像の他の例（処理対象画像１１３，１１５）を表したものである。図１８に示すように、処理対象画像１１３に含まれる人物の頭部の外周形状は比較的急峻であり、明るさ補正処理が実施された領域も、比較的急なカーブを描いている。一方、図９に示すように、処理対象画像１１５に含まれる人物の頭部の外周形状は比較的緩やかであり、明るさ補正処理が実施された領域も、比較的緩やかなカーブを描いている。 Further, as shown in FIG. 11 and the like, the correction unit 54 detects the rough shape of the head as the hair area outer peripheral edge 88, and determines the correction reference curve in consideration of the shape of the hair area outer peripheral edge 88. It is possible to realize a brightness correction process that gives a natural luster to the hair. For example, FIGS. 18 and 19 show other examples of the processing target images (processing target images 113 and 115) after the image processing shown in the flowcharts of FIGS. 3 and 4 is performed. As shown in FIG. 18, the outer peripheral shape of the person's head included in the processing target image 113 is relatively steep, and the area where the brightness correction processing is performed also draws a relatively steep curve. On the other hand, as shown in FIG. 9, the outer peripheral shape of the head of the person included in the processing target image 115 is relatively gentle, and the area where the brightness correction processing is performed also draws a relatively gentle curve. .

照明等を反射して自然に発生する頭部の艶も、顔の向きや頭部の形状によって変化すると考えられるため、頭部の概略形状を考慮した明るさ補正処理は、髪の毛に自然な艶を与えることができる。なお、処理対象画像１１３（図１８）の場合、ステップＳ０１０（図４）において、基準位置算出部６０は、凹部を基準位置とする。 The gloss of the head that naturally occurs due to reflection of lighting etc. is also considered to change depending on the orientation of the face and the shape of the head, so brightness correction processing that takes into account the approximate shape of the head is a natural gloss on the hair. Can be given. In the case of the processing target image 113 (FIG. 18), in step S010 (FIG. 4), the reference position calculation unit 60 sets the concave portion as the reference position.

本実施形態に係る画像処理装置は、明部の有無だけでなく、画像中の人物の髪型等も考慮して、明るさ補正処理を実施するか否かを決めることができる。図２の髪型識別部５２は、画像に含まれる人物の髪の毛の形状が、カメラ１０に記憶されている髪型であるか否かを識別することができる。すなわち、カメラ１０（図１）は、髪型の特徴を記憶する記憶部（不図示）を有しており、髪型識別部５２は、記憶部に記憶されている髪型と、画像中の髪の毛の特徴とを比較して、画像に含まれる人物の髪型を識別する。髪型識別部５２が識別に用いる髪型の特徴は、髪エリアの全体的な形状、髪エリアと顔エリアの比率、髪エリアの色相等が挙げられる。 The image processing apparatus according to the present embodiment can determine whether or not to perform the brightness correction process in consideration of not only the presence or absence of a bright part but also the hairstyle of a person in the image. The hairstyle identifying unit 52 in FIG. 2 can identify whether or not the shape of the human hair included in the image is a hairstyle stored in the camera 10. That is, the camera 10 (FIG. 1) has a storage unit (not shown) that stores hairstyle characteristics, and the hairstyle identification unit 52 has the hairstyle stored in the storage unit and the characteristics of the hair in the image. And the hairstyle of the person included in the image is identified. Features of the hairstyle used by the hairstyle identifying unit 52 for identification include the overall shape of the hair area, the ratio of the hair area to the face area, the hue of the hair area, and the like.

また、本実施形態に係る画像処理装置は、明るさ補正処理の基準位置を、髪の毛を照明する光源の位置又は方向を考慮して決定することができる。図２の光源検出部６４は、処理対象画像の明るさの分布等を解析し、光源と、当該光源によって照明される髪の毛との位置関係を認識する。この場合、基準位置算出部６０は、髪エリア外周エッジ上の位置であって、光源に最も近接する位置を、基準位置とすることができる。処理対象画像から光源の位置が認識できる場合には、このような処理を行うことにより、明るさ補正処理によって発生する違和感を抑制し、髪の毛に自然な艶を与えることができる。 In addition, the image processing apparatus according to the present embodiment can determine the reference position for the brightness correction process in consideration of the position or direction of the light source that illuminates the hair. The light source detection unit 64 in FIG. 2 analyzes the brightness distribution of the processing target image and recognizes the positional relationship between the light source and the hair illuminated by the light source. In this case, the reference position calculation unit 60 can set a position on the outer edge of the hair area that is closest to the light source as the reference position. When the position of the light source can be recognized from the processing target image, by performing such a process, it is possible to suppress a sense of incongruity caused by the brightness correction process and to give the hair a natural luster.

また、本実施形態に係る画像処理装置は、明るさ補正処理の強さを、人物の表情等によって変化させることもできる。例えば、ＣＰＵ４０は人物の顔に含まれるエッジ等を解析することによって、喜怒哀楽などの表情を認識する。さらに、図２の明部形成部７４は、特定の表情が認識された場合に、通常より大幅に輝度や明度を上昇させる補正を行うことができる。また、明部形成部７４は、処理対象画像の明るさや色温度に合わせて、明るさ補正処理の強さや当該補正に伴う色の変化を調整しても良い。 Further, the image processing apparatus according to the present embodiment can change the intensity of the brightness correction process according to the facial expression of a person. For example, the CPU 40 recognizes facial expressions such as emotions by analyzing edges included in the face of a person. Furthermore, the bright portion forming unit 74 in FIG. 2 can perform correction to increase the luminance and brightness significantly than usual when a specific facial expression is recognized. Further, the bright portion forming unit 74 may adjust the intensity of the brightness correction process and the color change caused by the correction in accordance with the brightness and color temperature of the processing target image.

なお、処理対象画像に複数の人物が含まれる場合には、図３及び図４に示す処理を人物ごとに繰り返すことによって、処理対象画像に対して自動適に適切な処理を行うことができる。 When a plurality of persons are included in the processing target image, the processing illustrated in FIGS. 3 and 4 is repeated for each person, whereby appropriate and appropriate processing can be automatically performed on the processing target image.

本実施形態では、カメラ１０に搭載される画像処理装置を例に説明を行ったが、本発明に係る画像処理装置はこれに限定されず、パーソナルコンピュータ、携帯電話、携帯通信端末等に搭載されていても良い。また、画像処理装置の処理対象画像には、静止画だけでなく、動画も含まれる。 In this embodiment, the image processing apparatus mounted on the camera 10 has been described as an example. However, the image processing apparatus according to the present invention is not limited to this, and is mounted on a personal computer, a mobile phone, a mobile communication terminal, or the like. May be. In addition, the processing target image of the image processing apparatus includes not only a still image but also a moving image.

１０…カメラ
１２…撮影光学系
１４…撮像素子
１６…画像信号処理回路
１８…レンズ駆動制御回路
２２…ＬＣＤモニタ
２４…電源ボタン
２６…半押しスイッチ（Ｓ１）
２８…レリーズスイッチ（Ｓ２）
３０…メニュースイッチ
３２…ＯＫスイッチ
４０…ＣＰＵ
４２…顔検出部
４４…目の位置検出部
４６…エリア抽出部
４８…明るさ算出部
５０…明部検出部
５２…髪型識別部
５４…補正部
５６…エッジ検出部
６０…基準位置算出部
６２…凹部検出部
６４…光源検出部
６６…基準曲線算出部
６８…エッジ曲線算出部
７０…回転曲線算出部
７２…曲線移動部
７４…明部形成部
７６…頭部サイズ算出部
８０，１１１，１１３，１１５…処理対象画像
８２…エリア
８４…顔エリア
８６…髪エリア
８８…髪エリア外周エッジ
９０…明部
９２…凹部
９４…頂部
９６…エッジ曲線
９７ａ，９７ｂ…回転曲線
９８…補正基準曲線
９９ａ，９９ｂ…目の位置
Ａ，Ｂ…点 DESCRIPTION OF SYMBOLS 10 ... Camera 12 ... Shooting optical system 14 ... Image sensor 16 ... Image signal processing circuit 18 ... Lens drive control circuit 22 ... LCD monitor 24 ... Power button 26 ... Half-press switch (S1)
28 ... Release switch (S2)
30 ... Menu switch 32 ... OK switch 40 ... CPU
42 ... Face detection unit 44 ... Eye position detection unit 46 ... Area extraction unit 48 ... Brightness calculation unit 50 ... Bright part detection unit 52 ... Hair style identification unit 54 ... Correction unit 56 ... Edge detection unit 60 ... Reference position calculation unit 62 ... concave portion detection unit 64 ... light source detection unit 66 ... reference curve calculation unit 68 ... edge curve calculation unit 70 ... rotation curve calculation unit 72 ... curve movement unit 74 ... bright part formation unit 76 ... head size calculation unit 80, 111, 113 115 ... Processing target image 82 ... Area 84 ... Face area 86 ... Hair area 88 ... Hair area outer peripheral edge 90 ... Bright part 92 ... Recessed part 94 ... Top part 96 ... Edge curve 97a, 97b ... Rotation curve 98 ... Correction reference curve 99a, 99b ... Eye position A, B ... Point

Claims

デジタル画像から、人物の髪の毛が写っている領域である髪エリアを抽出するエリア抽出部と、
前記髪エリアの輝度又は明度の分布を算出する明るさ算出部と、
前記分布を用いて、前記髪エリアの中から、前記髪エリアにおける輝度又は明度の最頻値又は平均値に対して、所定値以上高い輝度又は明度を有する明部を検出する明部検出部と、
前記明部の検出結果に応じて、前記髪エリアに対して画像補正を実施する補正部と、
を有する画像処理装置。 An area extraction unit for extracting a hair area, which is an area in which a person's hair is reflected, from a digital image;
A brightness calculation unit for calculating a luminance or brightness distribution of the hair area;
A bright part detecting unit for detecting a bright part having a brightness or brightness higher than a predetermined value from the mode or average value of brightness or brightness in the hair area by using the distribution; ,
A correction unit that performs image correction on the hair area according to the detection result of the bright part,
An image processing apparatus.

前記補正部は、
前記髪エリアのエッジを検出するエッジ検出部と、
前記エッジの形状から、前記髪エリアに対する前記画像補正の基準位置を算出する基準位置算出部と、
前記エッジ上の２つの点を結ぶ曲線であって、前記基準位置が内周側に位置するように延びる弧状の補正基準曲線を算出する基準曲線算出部と、
前記髪エリアの一部に対して、前記補正基準曲線に沿って帯状に、輝度又は明度を上昇させる補正処理を行う明部形成部と、
を有する請求項１に記載の画像処理装置。 The correction unit is
An edge detection unit for detecting an edge of the hair area;
A reference position calculation unit for calculating a reference position of the image correction with respect to the hair area from the shape of the edge;
A curve connecting the two points on the edge, a reference curve calculation unit for calculating an arc-shaped correction reference curve extending so that the reference position is located on the inner circumference side;
A bright part forming unit that performs a correction process for increasing brightness or brightness in a band shape along the correction reference curve for a part of the hair area;
The image processing apparatus according to claim 1, comprising:

前記基準曲線算出部は、
前記エッジの形状に沿うエッジ曲線を算出するエッジ曲線算出部と、
前記エッジ曲線を回転させた回転曲線を算出する回転曲線算出部と、
前記回転曲線を、前記人物の目の位置と前記基準位置との間の位置に平行移動させ、前記補正基準曲線を決定する曲線移動部と、
を有する請求項２に記載の画像処理装置。 The reference curve calculation unit
An edge curve calculation unit for calculating an edge curve along the shape of the edge;
A rotation curve calculation unit for calculating a rotation curve obtained by rotating the edge curve;
A curve moving unit that translates the rotation curve to a position between the eye position of the person and the reference position, and determines the correction reference curve;
The image processing apparatus according to claim 2, comprising:

前記基準位置算出部は、前記エッジにおける最も高い位置を、前記基準位置とすることを特徴とする請求項２又は請求項３に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the reference position calculation unit sets the highest position on the edge as the reference position.

前記基準位置算出部は、
前記エッジの形状から、髪の分け目に形成される凹部を検出する凹部検出部を有し、
前記凹部を前記基準位置とすることを特徴とする請求項２又は請求項３に記載の画像処理装置。 The reference position calculator is
From the shape of the edge, having a recess detection unit that detects a recess formed in the hair division,
The image processing apparatus according to claim 2, wherein the concave portion is set as the reference position.

前記基準位置算出部は、
前記髪の毛を照明する光源の位置を検出する光源検出部を有し、
前記エッジ上で前記光源に最も近い位置を、前記基準位置とすることを特徴とする請求項２又は請求項３に記載の画像処理装置。 The reference position calculator is
A light source detection unit that detects a position of a light source that illuminates the hair;
The image processing apparatus according to claim 2, wherein a position closest to the light source on the edge is set as the reference position.

前記明部形成部は、
前記エッジの形状から、頭部の大きさを算出する頭部サイズ算出部を有し、
前記頭部の前記大きさに応じて、前記補正処理を行う広さを変更することを特徴とする請求項２から請求項６までのいずれかに記載の画像処理装置。 The bright part forming part is
A head size calculator that calculates the size of the head from the shape of the edge;
The image processing apparatus according to claim 2, wherein an area for performing the correction process is changed according to the size of the head.

前記髪エリアの前記髪の毛が、少なくとも１つの髪型であるか否かを識別する髪型識別部を有し、
前記補正部は、前記髪の毛が前記髪型であると識別された場合に、前記髪エリアに対して前記画像補正を実施することを特徴とする請求項１から請求項７までのいずれかに記載の画像処理装置。 A hairstyle identifying unit for identifying whether the hair in the hair area is at least one hairstyle;
The said correction | amendment part implements the said image correction with respect to the said hair area, when the said hair is identified as the said hairstyle, The Claim 1 characterized by the above-mentioned. Image processing device.

請求項１から請求項８までのいずれかに記載の画像処理装置を搭載するカメラ。 A camera equipped with the image processing apparatus according to claim 1.