JP2009055168A

JP2009055168A - Imaging apparatus and image processing method

Info

Publication number: JP2009055168A
Application number: JP2007218012A
Authority: JP
Inventors: Hiroyuki Sugano; 宏之菅野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-08-24
Filing date: 2007-08-24
Publication date: 2009-03-12

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus and image processing method capable of executing image processing of a face image of a picked-up subject person with a simple operation. <P>SOLUTION: The imaging apparatus and imaging processing method calculates average image data averaged in each pixel about a correction range including a wrinkle part set in a face image of a picked-up image of an object person picked up by an imaging part, calculates a differential image between the imaged image and the average image data, and generates a corrected image obtained by correcting wrinkles included in the correction range on the basis of the imaged image and the differential image. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像画像のうち被写体人物の顔画像を画像処理することでしわが除去された顔画像を生成する撮像装置及び画像処理方法に関する。 The present invention relates to an imaging apparatus and an image processing method for generating a face image from which wrinkles have been removed by performing image processing on a face image of a subject person among captured images.

従来、デジタルカメラなどの撮像装置によって被写体の人物を撮像して得られられた画像において、人物の顔画像をパーソナルコンピュータに読み出した後、画像加工ソフトウェアを使用して画像処理することが行われている。例えば、撮像した顔画像を美容上の観点からしわを除去したり、目立たなくしたりする画像処理が行われている。
撮像した顔画像に画像処理を行うものとしては、例えば、下記特許文献に示すものがある。 2. Description of the Related Art Conventionally, in an image obtained by imaging a person as a subject with an imaging device such as a digital camera, the face image of the person is read out to a personal computer and then image processing is performed using image processing software Yes. For example, image processing is performed to remove wrinkles or make them inconspicuous from the viewpoint of beauty in the captured face image.
Examples of performing image processing on a captured face image include those shown in the following patent documents.

特開２００５−３２７００９号公報JP-A-2005-327209 特開２００２−３０４６１９号公報JP 2002-304619 A

ところで、従来のように撮像画像をパーソナルコンピュータを用いて画像処理を行う場合には、撮像装置で撮像した直後にその場で画像処理することができなかった。また、撮像装置からパーソナルコンピュータへ撮像画像を読み出すためのインフラや、画像処理を行うためのソフトウェアが必要であるという制限があった。また、ソフトウェアを用いて顔画像のしわを除去するには、ある程度のソフトウェアを操作するスキルが求められることが多い。このため、撮像装置で撮像した画像にそのまま画像処理を簡便な操作により実行したいという要望があった。 By the way, when image processing is performed on a captured image using a personal computer as in the prior art, image processing cannot be performed on the spot immediately after the image is captured by the imaging device. In addition, there is a restriction that an infrastructure for reading a captured image from the imaging apparatus to a personal computer and software for performing image processing are necessary. In addition, in order to remove wrinkles from a facial image using software, a skill for operating software to some extent is often required. For this reason, there has been a demand for performing image processing on an image captured by the imaging apparatus as it is by a simple operation.

本発明は、上記事情に鑑みてなされたもので、その目的は、撮像した被写体人物の顔画像に、簡便な操作によって画像処理を実行できる撮像装置及び画像処理方法を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging apparatus and an image processing method that can perform image processing on a captured face image of a subject person by a simple operation.

本発明の上記目的は、下記構成によって達成される。
（１）被写体人物を撮像して撮像画像を生成する撮像部と、
前記撮像画像の顔画像のうち、しわの部分を含む補正範囲について画素ごとに平均化された平均画像データを算出し、前記撮像画像と前記平均画像データとの差分画像を算出し、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成する画像処理手段とを備えている撮像装置。
（２）前記画像処理部が、平均画像データを算出する平均画像データ算出手段と、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出する差分画像算出手段と、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成する修正画像生成手段とを備えていることを特徴とする上記（１）に記載の撮像装置。
（３）前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成手段へ入力することを特徴とする上記（２）に記載の撮像装置。
（４）前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つを記憶可能なバッファメモリを備えていることを特徴とする上記（３）に記載の撮像装置。
（５）前記撮像画像がＲＡＷデータであることを特徴とする上記（１）から（４）のいずれか１つに記載の撮像装置。
（６）撮像部によって撮像された被写体人物の撮像画像の顔画像において設定された、しわの部分を含む補正範囲について、画素ごとに平均化された平均画像データを算出するステップと、前記撮像画像と前記平均画像データとの差分画像を算出するステップと、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成するステップとを有すことを特徴とする画像処理方法。
（７）前記画像処理部が、平均画像データを算出するステップと、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出するステップと、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成するステップとを有することを特徴とする上記（６）に記載の画像処理方法。
（８）前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成部へ入力するステップを有することを特徴とする上記（７）に記載の画像処理方法。
（９）前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つをバッファメモリに記憶するステップを有することを特徴とする上記（８）に記載の画像処理方法。
（１０）前記撮像画像がＲＡＷデータであることを特徴とする上記（６）から（９）のいずれか１つに記載の画像処理方法。 The above object of the present invention is achieved by the following configurations.
(1) an imaging unit that images a subject person and generates a captured image;
Of the face image of the captured image, average image data averaged for each pixel for a correction range including a wrinkle portion is calculated, a difference image between the captured image and the average image data is calculated, and the captured image And an image processing unit that generates a corrected image in which wrinkles included in the correction range are corrected based on the difference image.
(2) The image processing unit calculates average image data for calculating average image data;
A difference image calculation means for calculating a difference image by subtracting the average image data from the captured image;
The imaging apparatus according to (1), further including a corrected image generation unit that generates the corrected image by adding the average image data and the difference image.
(3) A difference correction image obtained by adding an enhancement value corresponding to a correction level input in advance to the difference image is calculated, and the difference correction image is input to the correction image generation unit as the difference image. The imaging device according to (2).
(4) The imaging apparatus according to (3), further including a buffer memory capable of storing at least one of the average image data, the difference image, the difference correction image, and the correction image.
(5) The imaging apparatus according to any one of (1) to (4), wherein the captured image is RAW data.
(6) calculating average image data averaged for each pixel with respect to a correction range including a wrinkle portion set in the face image of the captured image of the subject person imaged by the imaging unit; and the captured image And calculating a difference image between the average image data and generating a corrected image in which wrinkles included in the correction range are corrected based on the captured image and the difference image. Image processing method.
(7) the image processing unit calculating average image data;
Subtracting the average image data from the captured image to calculate a difference image;
The image processing method according to (6), further comprising: generating the corrected image by adding the average image data and the difference image.
(8) calculating a difference correction image obtained by adding an enhancement value corresponding to a correction level input in advance to the difference image, and inputting the difference correction image as the difference image to the correction image generation unit; (8) The image processing method according to (7) above.
(9) The image processing method according to (8), further including a step of storing at least one of the average image data, the difference image, the difference corrected image, and the corrected image in a buffer memory.
(10) The image processing method according to any one of (6) to (9), wherein the captured image is RAW data.

本発明は、撮像部によって撮像した画像を、画像装置内に設けられた画像処理手段に入力することで、そのまま画像処理を実行することができる。このため、パーソナルコンピュータ等の外部装置を用いることなく、撮像をしたその場で画像処理された画像を確認することができ、使い勝手が良い。また、撮像装置の操作部を用いることで簡単な操作によって撮像画像に画像処理を実行することができる。 According to the present invention, an image picked up by the image pickup unit is input to an image processing means provided in the image device, whereby the image processing can be executed as it is. For this reason, it is possible to check the image that has been imaged on the spot without using an external device such as a personal computer, which is easy to use. In addition, image processing can be performed on a captured image by a simple operation by using the operation unit of the imaging apparatus.

本発明によれば、撮像した被写体人物の顔画像に、簡便な操作によって画像処理を実行できる撮像装置及び画像処理方法を提供できる。 According to the present invention, it is possible to provide an imaging apparatus and an image processing method capable of executing image processing on a captured face image of a subject person by a simple operation.

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明の一実施形態に係るデジタルカメラのブロック構成図である。本実施形態のデジタルカメラ１０は、被写体像を結像させるための光学ユニット１２と、光学ユニット１２の光軸後方に配設され光学ユニット１２を通して得られる被写体反射光を受光しアナログ画像データを出力するＣＣＤ型撮像素子やＣＭＯＳ型イメージセンサなどの撮像素子１４とを備える。撮像素子１４が被写体人物を撮像して撮像画像を生成する撮像部として機能する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram of a digital camera according to an embodiment of the present invention. The digital camera 10 according to the present embodiment receives an optical unit 12 for forming a subject image and reflected light obtained through the optical unit 12 disposed behind the optical axis of the optical unit 12 and outputs analog image data. And an image sensor 14 such as a CCD image sensor or a CMOS image sensor. The image sensor 14 functions as an imaging unit that captures a subject person and generates a captured image.

この光学ユニット１２は、図示は省略するが、ズームレンズ群、フォーカスレンズ、これら撮影レンズの各々を光軸方向に移動させるレンズ移動機構を含んで構成され、焦点距離の変更（変倍）が可能になっている。光学ユニット１２が有する光学歪みは光学ユニット１２の設計で決まり、既知である。 Although not shown, the optical unit 12 includes a zoom lens group, a focus lens, and a lens moving mechanism that moves each of the photographing lenses in the optical axis direction, and can change (magnify) the focal length. It has become. The optical distortion of the optical unit 12 is determined by the design of the optical unit 12 and is known.

光学ユニット１２は、Ａ／Ｆ制御回路３２に接続されており、Ａ／Ｆ制御回路３２の制御により所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され、光学ユニット１２を通過した被写体像を示す入射光が撮像素子１４の受光面上に結像するようにフォーカスレンズが光軸方向に移動制御される。 The optical unit 12 is connected to the A / F control circuit 32, and the zoom lens group is moved in the optical axis direction so as to obtain a desired zoom magnification under the control of the A / F control circuit 32, and passes through the optical unit 12. The focus lens is moved and controlled in the optical axis direction so that incident light indicating the subject image formed is formed on the light receiving surface of the image sensor 14.

また、このデジタルカメラ１０は、撮像素子１４から出力された被写体像を示すアナログ画像データをデジタルの画像データに変換して出力するＡ／Ｄ変換器１６と、Ａ／Ｄ変換器１６から入力された画像データに対して、ホワイトバランス調整，ガンマ補正，シャープネス補正等の各種補正処理やＲＧＢデータをＹＣ信号に変換する処理等を行う信号処理プロセッサ２２と、信号処理プロセッサ２２によって信号処理された画像データを格納するメインメモリ３８とを備えている。また、信号処理プロセッサ２２は、撮像画像に信号処理を実行せず、ＲＡＷデータのままメインメモリ３８に格納させる機能も有している。 The digital camera 10 also receives an A / D converter 16 that converts analog image data representing a subject image output from the image sensor 14 into digital image data, and an A / D converter 16. A signal processor 22 that performs various correction processes such as white balance adjustment, gamma correction, sharpness correction, and a process of converting RGB data into a YC signal, and an image signal-processed by the signal processor 22 And a main memory 38 for storing data. The signal processor 22 also has a function of storing the RAW data in the main memory 38 without performing signal processing on the captured image.

更に、このデジタルカメラ１０は、光学ユニット１２を介して被写体を撮影することにより得られた撮像画像の顔画像において、使用者によって選択又は自動的に認識した、顔のしわの部分を含む補正範囲に画像処理を実行する画像処理部２４を備えている。また、デジタルカメラ１０は、各種情報や撮像画像を表示する液晶表示部１８の表示制御を行うＬＣＤ制御部２６と、光学歪みが補正された画像データを記憶する外部記録メディア２８に対する各種情報の読み書きを制御するメディア制御部３０と、レリーズボタンや電源スイッチ，動画／静止画撮影切替等の指示をユーザが入力する操作手段２０に接続されたＩ／Ｆ（インタフェース）部３４と、デジタルカメラ１０の全体制御を司るＣＰＵ３６と、各種プログラムや処理ルーチン等を予め記憶したＲＯＭ４０とを備えている。操作手段２０によって、撮像時に顔画像のしわを修正する処理を実行するモードの設定や、撮像画像において、しわを修正する処理を実行する補正範囲を選択及び決定をすることができる。 Further, the digital camera 10 includes a correction range including a wrinkle portion of a face selected or automatically recognized by a user in a face image of a captured image obtained by photographing a subject via the optical unit 12. Are provided with an image processing unit 24 for executing image processing. Also, the digital camera 10 reads and writes various information to and from an LCD control unit 26 that performs display control of the liquid crystal display unit 18 that displays various types of information and captured images, and an external recording medium 28 that stores image data whose optical distortion has been corrected. A media control unit 30 for controlling the camera, an I / F (interface) unit 34 connected to an operation means 20 for a user to input a release button, a power switch, a moving image / still image shooting switching instruction, and the digital camera 10 A CPU 36 that controls the entire control and a ROM 40 that stores various programs and processing routines in advance are provided. The operation means 20 can set and select a mode for executing a process for correcting wrinkles of a face image during imaging, and a correction range for executing a process for correcting wrinkles in a captured image.

信号処理プロセッサ２２、画像処理部２４、ＬＣＤ制御部２６、メディア制御部３０、Ａ／Ｆ制御回路３２、Ｉ／Ｆ部３４、ＣＰＵ３６、メインメモリ３８、及びＲＯＭ４０は、これらを相互接続するバス４２を介して各種データ，信号を入出力する。 The signal processor 22, the image processing unit 24, the LCD control unit 26, the media control unit 30, the A / F control circuit 32, the I / F unit 34, the CPU 36, the main memory 38, and the ROM 40 are connected to each other by a bus 42. Various data and signals are input / output via

図２は、本実施形態のデジタルカメラの動作を説明するフローチャートである。デジタルカメラの起動した後、使用者は、撮像された顔画像にしわ処理を実行するか否かを判断し、しわ処理モードのＯＮ／ＯＦＦを所望に設定することができる。 FIG. 2 is a flowchart for explaining the operation of the digital camera of this embodiment. After the digital camera is activated, the user can determine whether or not to perform wrinkle processing on the captured face image, and can set the wrinkle processing mode ON / OFF as desired.

しわ処理モードがＯＦＦに設定されている場合には、撮像時に通常の撮像が行われる。すなわち、撮像素子１４で生成された撮像画像が、信号処理プロセッサ２２によって所定の画像形式に変換され、メインメモリ３８に記憶される。 When the wrinkle processing mode is set to OFF, normal imaging is performed during imaging. That is, the captured image generated by the image sensor 14 is converted into a predetermined image format by the signal processor 22 and stored in the main memory 38.

しわ処理モードのＯＮに設定されている場合には、撮像時に生成された撮像画像がメインメモリ３８に一旦保存された後、保存された撮像画像を読み出し、撮像画像における被写体人物の顔認識が実行される。そして、認識された顔画像に対してしわを修正する画像処理が実行される。顔のしわが修正された修正画像が、メインメモリ３８に保存される。しわを修正する画像処理の手法については、後述する。 When the wrinkle processing mode is set to ON, the captured image generated at the time of imaging is temporarily stored in the main memory 38, and then the stored captured image is read out to perform face recognition of the subject person in the captured image. Is done. Then, image processing for correcting wrinkles is performed on the recognized face image. The corrected image in which the face wrinkles are corrected is stored in the main memory 38. An image processing method for correcting wrinkles will be described later.

また、本実施形態のデジタルカメラは、通常の撮像処理を行ったあと、撮像画像を液晶表示部１８で視認しつつ、顔のしわ部分を操作手段２０を用いてキー操作で選択し、選択したしわ部分についてしわを修正する画像処理を実行することができる。このとき、しわを修正する際の修正レベルを選択することもできる。 In addition, the digital camera according to the present embodiment selects and selects the wrinkled part of the face by the key operation using the operation unit 20 while visually confirming the captured image on the liquid crystal display unit 18 after performing the normal imaging process. Image processing for correcting wrinkles can be performed on wrinkled portions. At this time, the correction level for correcting the wrinkles can also be selected.

次に、本実施形態のデジタルカメラにおいて顔認識を用いたしわ修正処理の手順を説明する。
図３は、本実施形態のデジタルカメラの構成を示すブロック図である。図４は、本実施形態のデジタルカメラの処理手順を示すフローチャートである。 Next, a procedure of wrinkle correction processing using face recognition in the digital camera of this embodiment will be described.
FIG. 3 is a block diagram showing the configuration of the digital camera of this embodiment. FIG. 4 is a flowchart showing the processing procedure of the digital camera of this embodiment.

図３に示すように、画像処理部２４は、しわ修正処理時にメインメモリ３８に保存された撮像画像を読み出し、顔しわの位置を認識する顔しわ認識処理部５２と、顔しわ認識処理部５２によって検出されたしわ部分に対してしわ修正処理を実行する演算部５４とを備えている。 As illustrated in FIG. 3, the image processing unit 24 reads a captured image stored in the main memory 38 during the wrinkle correction process, and recognizes a face wrinkle recognition processing unit 52 and a face wrinkle recognition processing unit 52. And an arithmetic unit 54 that executes a wrinkle correction process on the wrinkle portion detected by the above.

しわ修正がＯＮに設定されている状態で、撮像が行われると、撮像画像に対して顔認識を開始する。本実施形態では、予め撮像画像における顔画像の位置を特定してある状態と仮定する。撮像画像における顔画像の位置を判別する手段は従来の手法をもちいることができる。 When imaging is performed in a state where wrinkle correction is set to ON, face recognition is started on the captured image. In this embodiment, it is assumed that the position of the face image in the captured image has been specified in advance. The means for determining the position of the face image in the captured image can use a conventional method.

本実施形態では、図４に示すように、顔の左目と右目の間隔を認識し（ステップＳ４１）、両目と鼻とのそれぞれの間隔を認識し（ステップＳ４２）、鼻と口との間隔を認識し（ステップＳ４３）、眉毛と顔の間隔を認識する（ステップＳ４４）。これらステップＳ４１〜４４で特定された、顔に対する目と口の位置に基づいて、目と口の周辺近傍のしわ部分を補正範囲に設定する（ステップＳ４５）。なお、本実施形態のステップＳ４１〜４４の順番は特にこれに限定されない。また、各ステップで認識する対象となる目、鼻などの部位は上記のものに限定されない。しわ修正処理を実行する部位の、顔に対する位置を認識し、しわ部分を含む補正範囲を決定することができれば、顔認識の手法は上記のものに限定されない。 In this embodiment, as shown in FIG. 4, the distance between the left eye and the right eye of the face is recognized (step S41), the distance between both eyes and the nose is recognized (step S42), and the distance between the nose and the mouth is determined. It recognizes (step S43) and recognizes the space | interval of eyebrows and a face (step S44). Based on the positions of the eyes and mouth with respect to the face specified in these steps S41 to S44, the wrinkle portion near the periphery of the eyes and mouth is set as the correction range (step S45). In addition, the order of step S41-44 of this embodiment is not specifically limited to this. Further, the parts such as eyes and nose to be recognized in each step are not limited to the above. The face recognition technique is not limited to the above as long as the position of the part for executing the wrinkle correction process can be recognized with respect to the face and the correction range including the wrinkle part can be determined.

次に、撮像画像において、他にしわ修正処理の対象となる顔画像の検査領域があるか否かを判別し（ステップＳ４６）、なければ、設定された補正範囲にしわ修正を実行する（ステップＳ４７）。 Next, in the captured image, it is determined whether or not there is another inspection area of the face image to be subjected to wrinkle correction processing (step S46). If there is not, wrinkle correction is executed in the set correction range (step S46). S47).

しわ修正が実行されたしわ修正画像は、メインメモリ３８に保存され（ステップＳ４８）、しわ修正処理が終了する。 The wrinkle correction image on which the wrinkle correction has been performed is stored in the main memory 38 (step S48), and the wrinkle correction processing is completed.

次に、顔画像からしわ部分を含む補正範囲を選択し、しわ修正処理を実行する手順を説明する。
図５は、顔画像からしわ部分を含む補正範囲を選択する状態を説明する図である。図６は、本実施形態のデジタルカメラの構成を示すブロック図である。図７は、顔画像からしわ部分を含む補正範囲を選択し、しわ修正処理を実行する手順を示すフローチャートである。 Next, a procedure for selecting a correction range including a wrinkle portion from a face image and executing wrinkle correction processing will be described.
FIG. 5 is a diagram illustrating a state in which a correction range including a wrinkle portion is selected from a face image. FIG. 6 is a block diagram showing the configuration of the digital camera of this embodiment. FIG. 7 is a flowchart illustrating a procedure for selecting a correction range including a wrinkle portion from a face image and executing wrinkle correction processing.

図５に示すように、撮像画像を液晶表示部１８に表示した状態で、使用者が該液晶表示部１８を視認しつつ、操作手段２０を直接操作することで顔画像と、該顔画像において、修正したしわ部分を含む補正範囲を選択することができる。例えば、使用者は、液晶表示部１８に表示された顔画像に対して、図中は線で示す矩形状のカーソルを操作手段２０のキー操作によって移動させ、目の周辺近傍を補正範囲Ｒ１に設定することや、または、口の周辺近傍を補正範囲Ｒ２に設定することができる。また、図５には示さないが、撮像画像に複数の顔画像が表示されている場合には、任意の顔画像を複数選択し、選択された顔画像を拡大して表示した後、それぞれの選択した顔画像について同様に補正範囲を設定してもよい。 As shown in FIG. 5, in a state in which the captured image is displayed on the liquid crystal display unit 18, the user directly operates the operation unit 20 while visually viewing the liquid crystal display unit 18, so that the face image and the face image are displayed. The correction range including the corrected wrinkle portion can be selected. For example, the user moves a rectangular cursor indicated by a line in the drawing to the face image displayed on the liquid crystal display unit 18 by the key operation of the operation means 20, and the vicinity of the eyes is within the correction range R <b> 1. It can be set, or the vicinity of the mouth can be set in the correction range R2. Although not shown in FIG. 5, when a plurality of face images are displayed on the captured image, a plurality of arbitrary face images are selected, and the selected face images are enlarged and displayed. The correction range may be set similarly for the selected face image.

次に、図６及び図７を用いて本実施形態のしわ修正処理の手順を具体的に説明する。なお、本実施形態では、撮像画像として、撮像素子１４で生成され、信号処理プロセッサによる信号処理が施されていない状態のＲＡＷデータを使用する。しかし、撮像画像としては、以下のしわ修正処理の演算を実行することができる範囲であれば、その他の画像形式に変換された画像データを用いてもよい。 Next, the procedure of wrinkle correction processing according to the present embodiment will be specifically described with reference to FIGS. In the present embodiment, RAW data generated by the image sensor 14 and not subjected to signal processing by the signal processor is used as a captured image. However, as captured images, image data converted into other image formats may be used as long as the following wrinkle correction processing can be performed.

図６に示すように、画像処理部２４は、しわ修正処理時にメインメモリ３８から撮像画像を読み出し、平均画像データを算出する平均画像データ算出部６２と、平均画像データ算出部６２によって算出された平均画像データを一時的に記憶するバッファメモリ７２と、撮像画像と平均画像データとの差分に基づいて差分画像を算出し、バッファメモリ７２に該差分画像を出力する差分画像算出部６４と、差分画像に修正レベルに対応して強調値を加えた差分修正画像を生成する差分強調処理部６６と、平均画像データと差分修正画像とを足し合わせることで修正画像を生成する修正画像生成部６８とを備えている。平均画像データ算出部６２、差分画像算出部６４、差分強調処理部６６、修正画像作成部６８はそれぞれ１つのバッファメモリ７２との間で信号を入出力可能に接続されている。また、バッファメモリを複数設けた構成とし、複数のバッファメモリの全部又は一部が、平均画像データ算出部６２、差分画像算出部６４、差分強調処理部６６、修正画像作成部６８のうちのいずかと接続されていてもよい。 As shown in FIG. 6, the image processing unit 24 reads the captured image from the main memory 38 during the wrinkle correction process, and calculates the average image data by the average image data calculation unit 62 and the average image data calculation unit 62. A buffer memory 72 that temporarily stores average image data, a difference image calculation unit 64 that calculates a difference image based on a difference between the captured image and the average image data, and outputs the difference image to the buffer memory 72; A difference enhancement processing unit 66 for generating a difference corrected image obtained by adding an enhancement value corresponding to the correction level to the image, and a corrected image generating unit 68 for generating a corrected image by adding the average image data and the difference corrected image; It has. The average image data calculation unit 62, the difference image calculation unit 64, the difference enhancement processing unit 66, and the corrected image creation unit 68 are each connected to one buffer memory 72 so as to be able to input and output signals. In addition, a plurality of buffer memories are provided, and all or a part of the plurality of buffer memories is one of the average image data calculation unit 62, the difference image calculation unit 64, the difference enhancement processing unit 66, and the corrected image creation unit 68. It may be connected to one another.

しわ修正処理が開始されると、ＲＡＷデータの撮像画像における顔画像から、画像処理の対象となるしわ部分を含む補正範囲が切り出される（ステップＳ７１）。 When the wrinkle correction process is started, a correction range including a wrinkle portion to be subjected to image processing is cut out from the face image in the captured image of the RAW data (step S71).

切り出された補正範囲の画像のうち、修正する一画素が選択され（ステップＳ７２）、この一画素を基準として所定範囲の画素が選択される（ステップＳ７３）。本実施形態では、一画素に対して、画像の縦方向に沿って一方に５０画素（+５０画素）、他方に５０画素（−５０画素）を選択するものとした。 One pixel to be corrected is selected from the cut out image of the correction range (step S72), and a pixel within a predetermined range is selected based on this one pixel (step S73). In the present embodiment, 50 pixels (+50 pixels) are selected on one side and 50 pixels (−50 pixels) are selected on the other side in the vertical direction of the image.

選択された一画素と該一画素の+５０画素及び−５０画素の平均値を算出する（ステップＳ７４）。ここで、画素の平均値とは、例えば０〜２５５で示されるＲＧＢ値を平均して得られる輝度値を用いることができる。算出された平均値を先に選択した一画素の値に設定する（ステップＳ７５）。 The average value of the selected one pixel and the +50 pixel and −50 pixel of the one pixel is calculated (step S74). Here, as the average value of the pixels, for example, a luminance value obtained by averaging RGB values represented by 0 to 255 can be used. The calculated average value is set to the value of one pixel selected previously (step S75).

次に、修正した一画素の縦方向に隣り合う画素を一画素に設定し（ステップＳ７６）、ステップＳ７５，７６によって、設定された所定範囲の各画素について平均化を行う。そして、これら画素の全部について平均化処理が実行されたかを判別し（ステップＳ７７）、全ての画素について、その画素と+５０画素及び−５０画素による平均化が終わったら、修正する画素を画像に対して横方向に１画素シフトして、ステップＳ７３の一画素に設定し、同様にステップＳ７３〜Ｓ７７の処理を繰り返し実行する。補正範囲の全部の画素について平均化が終了したかを判別し（ステップＳ７９）、全画素が平均化された場合には、補正範囲の平均画像データ（平均ＲＡＷデータ）をバッファメモリ７２に一時的に記憶する（ステップＳ８０）。 Next, a pixel adjacent in the vertical direction of the corrected one pixel is set as one pixel (step S76), and averaging is performed for each pixel in the predetermined range set in steps S75 and S76. Then, it is determined whether or not the averaging process has been executed for all of these pixels (step S77). When the averaging for all the pixels, +50 pixels, and −50 pixels is completed, the pixel to be corrected is converted into an image. On the other hand, one pixel is shifted in the horizontal direction to set one pixel in step S73, and the processes in steps S73 to S77 are repeated. It is determined whether averaging has been completed for all the pixels in the correction range (step S79). If all the pixels have been averaged, the average image data (average RAW data) in the correction range is temporarily stored in the buffer memory 72. (Step S80).

次に、最初に切り出したＲＡＷデータから、算出された平均画像データを差し引くことによって差分画像（差分ＲＡＷデータ）を算出する。算出された差分画像は、バッファメモリ７２に一時的に記憶される（ステップＳ８１）。 Next, a difference image (difference RAW data) is calculated by subtracting the calculated average image data from the first cut out RAW data. The calculated difference image is temporarily stored in the buffer memory 72 (step S81).

算出された差分画像に修正レベルに対応した強調値を加えることで差分修正画像（差分修正ＲＡＷデータ）を算出し、バッファメモリ７２に一時的に記憶する（ステップＳ８２）。ここで修正レベルとは、例えば、差分画像の基準値を０とした場合に、−２、−１、＋１、＋２などのパラメータで表すことができる。しわ修正処理時に使用者に設定された修正レベルのパラメータに基づいて差分画像の各画素の値に強調値を乗算することによって差分修正画像を算出することができる。このとき使用者は液晶表示部１８によってしわ修正を確認して適宜修正レベルを調整して差分処理画像を再度作成することもできる。 A difference corrected image (difference corrected RAW data) is calculated by adding an enhancement value corresponding to the correction level to the calculated difference image, and temporarily stored in the buffer memory 72 (step S82). Here, the correction level can be expressed by parameters such as −2, −1, +1, +2 and the like when the reference value of the difference image is 0, for example. The difference correction image can be calculated by multiplying the value of each pixel of the difference image by the enhancement value based on the correction level parameter set by the user during the wrinkle correction processing. At this time, the user can confirm the wrinkle correction by the liquid crystal display unit 18 and adjust the correction level as appropriate to create the difference processed image again.

次に、バッファメモリ７２に保存された平均画像データに差分修正画像を足し合わせることでしわ修正処理の目的の修正画像を生成することができる（ステップＳ８３）。 Next, a corrected image targeted for wrinkle correction processing can be generated by adding the difference corrected image to the average image data stored in the buffer memory 72 (step S83).

本実施形態のように、切り出した撮像画像に平均画像データを差し引くことで得られる差分画像を用いて修正画像を生成することで、人間の顔表面の肌の複雑な起伏に順応させることできるため、しわ部分の修正された箇所に視認上違和感がなく、自然な顔画像を得ることができる。 Since the modified image is generated using the difference image obtained by subtracting the average image data from the cut-out captured image as in the present embodiment, it is possible to adapt to the complex undulations of the human face surface. In addition, a natural face image can be obtained without a sense of incongruity in visual recognition at the corrected portion of the wrinkle portion.

作成された修正画像を元の撮像画像の補正範囲の部分と入れ替え（ステップＳ８４）、しわ修正処理が終了する。なお、メインメモリ３８に、元の撮像画像と修正画像とをともに保存しておくことで、使用者が修正画像を視認して意思にそぐわず気に入らない場合には、元の撮像画像のみを残して保存してもよい。 The created corrected image is replaced with the correction range portion of the original captured image (step S84), and the wrinkle correction process is completed. It should be noted that by storing both the original captured image and the corrected image in the main memory 38, if the user does not like the user by viewing the corrected image and does not like his / her intention, only the original captured image remains. May be saved.

本実施形態のデジタルカメラによれば、撮像部によって生成した撮像画像を、画像装置内に設けられた画像処理部２４に入力することで、そのまま画像処理を実行することができる。このため、パーソナルコンピュータ等の外部装置を用いることなく、撮像をしたその場で画像処理された画像を確認することができ、使い勝手が良い。また、使用者は撮像装置の操作手段２０を用いて、しわ修正処理の設定を行うだけで自動的に処理されるため、簡単な操作によって撮像画像に画像処理を実行することができる。 According to the digital camera of the present embodiment, the captured image generated by the imaging unit is input to the image processing unit 24 provided in the image device, so that the image processing can be executed as it is. For this reason, it is possible to check the image that has been imaged on the spot without using an external device such as a personal computer, which is easy to use. In addition, since the user is automatically processed only by setting the wrinkle correction process using the operation unit 20 of the imaging apparatus, the user can perform image processing on the captured image with a simple operation.

本発明にかかる撮像装置及び画像処理手段は、化粧品などの店頭販売や美容形成などの分野で応用が期待できる。 The imaging apparatus and image processing means according to the present invention can be expected to be applied in the fields of over-the-counter sales of cosmetics and the like, and beauty formation.

本発明の一実施形態に係るデジタルカメラのブロック構成図である。It is a block block diagram of the digital camera which concerns on one Embodiment of this invention. 本実施形態のデジタルカメラの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the digital camera of this embodiment. 本実施形態のデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera of this embodiment. 本実施形態のデジタルカメラの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the digital camera of this embodiment. 顔画像からしわ部分を含む補正範囲を選択する状態を説明する図である。It is a figure explaining the state which selects the correction range containing a wrinkle part from a face image. 本実施形態のデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera of this embodiment. 顔画像からしわ部分を含む補正範囲を選択し、しわ修正処理を実行する手順を示すフローチャートである。It is a flowchart which shows the procedure which selects the correction range containing a wrinkle part from a face image, and performs a wrinkle correction process.

符号の説明Explanation of symbols

１４撮像素子
２４画像処理部
３８メインメモリ
14 Image sensor 24 Image processor 38 Main memory

Claims

被写体人物を撮像して撮像画像を生成する撮像部と、
前記撮像画像の顔画像のうち、しわの部分を含む補正範囲について画素ごとに平均化された平均画像データを算出し、前記撮像画像と前記平均画像データとの差分画像を算出し、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成する画像処理手段とを備えている撮像装置。 An imaging unit that captures a subject person and generates a captured image;
Of the face image of the captured image, average image data averaged for each pixel for a correction range including a wrinkle portion is calculated, a difference image between the captured image and the average image data is calculated, and the captured image And an image processing unit that generates a corrected image in which wrinkles included in the correction range are corrected based on the difference image.

前記画像処理部が、平均画像データを算出する平均画像データ算出手段と、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出する差分画像算出手段と、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成する修正画像生成手段とを備えていることを特徴とする請求項１に記載の撮像装置。 The image processing unit calculates average image data;
A difference image calculation means for calculating a difference image by subtracting the average image data from the captured image;
The imaging apparatus according to claim 1, further comprising a corrected image generation unit configured to generate the corrected image by adding the average image data and the difference image.

前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成手段へ入力することを特徴とする請求項２に記載の撮像装置。 The difference correction image obtained by adding an enhancement value corresponding to a correction level input in advance to the difference image is calculated, and the difference correction image is input to the correction image generation unit as the difference image. 2. The imaging device according to 2.

前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つを記憶可能なバッファメモリを備えていることを特徴とする請求項３に記載の撮像装置。 The imaging apparatus according to claim 3, further comprising: a buffer memory capable of storing at least one of the average image data, the difference image, the difference correction image, and the correction image.

前記撮像画像がＲＡＷデータであることを特徴とする請求項１から４のいずれか１つに記載の撮像装置。 The imaging apparatus according to claim 1, wherein the captured image is RAW data.

撮像部によって撮像された被写体人物の撮像画像の顔画像において設定された、しわの部分を含む補正範囲について、画素ごとに平均化された平均画像データを算出するステップと、前記撮像画像と前記平均画像データとの差分画像を算出するステップと、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成するステップとを有すことを特徴とする画像処理方法。 Calculating average image data averaged for each pixel for a correction range including a wrinkle portion set in a face image of a captured image of a subject person imaged by an imaging unit; and the captured image and the average Image processing comprising: calculating a difference image with image data; and generating a corrected image in which wrinkles included in the correction range are corrected based on the captured image and the difference image Method.

前記画像処理部が、平均画像データを算出するステップと、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出するステップと、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成するステップとを有することを特徴とする請求項６に記載の画像処理方法。 The image processing unit calculating average image data;
Subtracting the average image data from the captured image to calculate a difference image;
The image processing method according to claim 6, further comprising: generating the corrected image by adding the average image data and the difference image.

前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成部へ入力するステップを有することを特徴とする請求項７に記載の画像処理方法。 A step of calculating a difference correction image obtained by adding an enhancement value corresponding to a correction level input in advance to the difference image, and inputting the difference correction image to the correction image generation unit as the difference image. The image processing method according to claim 7.

前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つをバッファメモリに記憶するステップを有することを特徴とする請求項８に記載の画像処理方法。 The image processing method according to claim 8, further comprising a step of storing at least one of the average image data, the difference image, the difference corrected image, and the corrected image in a buffer memory.

前記撮像画像がＲＡＷデータであることを特徴とする請求項６から９のいずれか１つに記載の画像処理方法。
The image processing method according to claim 6, wherein the captured image is RAW data.