JP5623247B2 - Imaging apparatus and control method thereof - Google Patents

Description

本発明は陰影を含む被写体の画像を生成するために用いて好適な撮像装置、撮像装置の制御方法、プログラム及び記憶媒体に関する。   The present invention relates to an imaging apparatus suitable for use in generating an image of a subject including shadows, a control method for the imaging apparatus, a program, and a storage medium.

一般に写真撮影では、被写体への光のあて方（以下、「ライティング」という）によって、撮影される写真の印象が変化することが広く知られている。そこで、被写体へ光が当たる場合における様々な技術が開発されている。特許文献１には、発光素子を並べた発光面を複数有する照明手段と、発光素子の光量、発光面の方向を個別に制御する制御手段とを有し、被写体である人物に照射される照明光の光量と配光とをより細かく変更する人物撮影装置が開示されている。これにより、望ましい陰影を持つ顔写真を得ることができるようにしている。   In general, in photography, it is widely known that the impression of a photographed photograph changes depending on how light is applied to a subject (hereinafter referred to as “lighting”). Therefore, various techniques have been developed in the case where light hits the subject. Patent Document 1 includes illumination means having a plurality of light-emitting surfaces on which light-emitting elements are arranged, and control means for individually controlling the light amount of the light-emitting elements and the direction of the light-emitting surface. There has been disclosed a person photographing apparatus that changes the amount of light and the light distribution more finely. This makes it possible to obtain a face photograph having a desired shadow.

また、特許文献２に記載の顔画像処理装置は、入力された２次元顔画像に合わせて予め複数記憶された顔の３次元形状モデルの顔向きを調整し、調整された３次元形状モデルのそれぞれに２次元顔画像から推定される光源方向を適用して２次元陰影画像を作成する。そして、２次元顔画像に最も類似する陰影画像に対応する３次元形状モデルと２次元顔画像とを合成することにより、その人物の顔に対応した３次元顔画像を作成している。   In addition, the face image processing apparatus described in Patent Document 2 adjusts the face direction of a plurality of face three-dimensional shape models stored in advance according to the input two-dimensional face image, and adjusts the three-dimensional shape model of the adjusted three-dimensional shape model. A light source direction estimated from a two-dimensional face image is applied to each to create a two-dimensional shadow image. Then, by synthesizing the 3D shape model corresponding to the shadow image most similar to the 2D face image and the 2D face image, a 3D face image corresponding to the face of the person is created.

また、特許文献３に記載の顔画像照合装置は、入力された本人登録に用いられる２次元顔画像と、記憶されている標準的な顔の３次元形状を表わす標準フレームモデルとを合成して本人の顔に対応した３次元顔モデルを生成している。そして、生成した３次元顔モデルから複数のレンダリング条件に従って複数の参照顔画像を生成している。これにより、本人登録を容易に行い、かつ、誤り率の低い顔画像照合をすることができるようにしている。   In addition, the face image matching device described in Patent Document 3 combines the input two-dimensional face image used for personal registration and a standard frame model representing a three-dimensional shape of a standard face stored. A three-dimensional face model corresponding to the person's face is generated. Then, a plurality of reference face images are generated from the generated three-dimensional face model according to a plurality of rendering conditions. This makes it possible to easily perform identity registration and perform face image matching with a low error rate.

国際公開第２００７／１０８３２１号International Publication No. 2007/108321 特開２００９−２１１１５１号公報JP 2009-2111151 A 特開２００３−６６４５号公報JP 2003-6645 A

しかし、特許文献１に開示されている方法では、少なくとも複数の発光面を有する照明手段が必要となるため、多くのコストがかかってしまう。また、特許文献２及び特許文献３に開示される方法では、複数の照明手段は不要であるが、３次元形状をデータ処理することが必要であり、演算量が膨大となる。すなわち、処理負荷が高く、演算能力が高い高価なプロセッサや、容量の大きいワームメモリが必要となり、消費電力も増大する。このように従来技術では、コスト削減や消費電力の節約が求められるディジタルカメラに備えられるハードウェア資源によって望ましい陰影を持つ顔写真を得ることが困難であるという課題があった。   However, the method disclosed in Patent Document 1 requires a lighting unit having at least a plurality of light emitting surfaces, and thus costs a lot. In addition, the methods disclosed in Patent Document 2 and Patent Document 3 do not require a plurality of illumination means, but require data processing of a three-dimensional shape, resulting in an enormous amount of calculation. That is, an expensive processor with a high processing load and high computing capacity and a worm memory with a large capacity are required, and the power consumption increases. As described above, the conventional technique has a problem that it is difficult to obtain a face photograph having a desired shadow by using hardware resources provided in a digital camera that is required to reduce cost and save power consumption.

本発明は前述の問題点に鑑み、複数の照明手段を不要にするとともに処理負荷を抑えて、望ましい陰影を持つ被写体写真を得ることができるようにすることを目的としている。   The present invention has been made in view of the above-described problems, and an object of the present invention is to make it possible to obtain a subject photograph having a desired shadow by eliminating a plurality of illumination means and suppressing a processing load.

本発明の撮像装置は、被写体を撮像して画像信号を生成する撮像手段と、前記撮像手段により撮像された被写体の主要要素を検知する検知手段と、互いに異なる方向からの光線に対する複数の陰影パターンを記憶する記憶手段と、前記記憶手段に記憶された複数の陰影パターンのうち、ユーザーにより指定された陰影パターンの位置及び形状を、前記検知手段によって検知された被写体の主要要素の位置に基づいて変更する変更手段と、前記変更手段によって変更された陰影パターンが前記被写体と重なるように前記画像信号に係る画像を合成し、前記合成した画像を表示手段に表示する表示制御手段とを有し、前記変更手段は、前記検知手段によって検知された被写体の主要要素の位置に基づいて、前記記憶手段に記憶されている陰影パターンのうち、ユーザーにより指定された陰影パターン以外の陰影パターンの位置及び形状を少なくとも１つ変更し、前記記憶手段は、前記変更手段により位置及び形状が変更されたユーザーにより指定された陰影パターン以外の陰影パターンを記憶することを特徴とする。 An image pickup apparatus according to the present invention includes an image pickup unit that picks up a subject and generates an image signal, a detection unit that detects main elements of the subject picked up by the image pickup unit, and a plurality of shadow patterns for light rays from different directions. And the position and shape of the shadow pattern designated by the user among the plurality of shadow patterns stored in the storage means based on the position of the main element of the subject detected by the detection means possess a changing unit for changing, the shaded pattern modified by the change means to synthesize the image according to the image signals so as to overlap with the object, and a display control means for displaying the synthesized image on the display means, The change means is a shadow pattern stored in the storage means based on the position of the main element of the subject detected by the detection means. At least one of the shadow patterns other than the shadow pattern specified by the user is changed, and the storage means is other than the shadow pattern specified by the user whose position and shape are changed by the changing means. The shading pattern is memorized .

本発明によれば、複数の照明手段を不要にするとともにより少ない処理負荷により望ましい陰影を持つ被写体写真を得ることができる。   According to the present invention, it is possible to obtain a subject photograph having a desired shadow with a smaller processing load while eliminating the need for a plurality of illumination means.

実施形態に係るディジタルカメラの外観構成例を示す図である。It is a figure which shows the example of an external appearance structure of the digital camera which concerns on embodiment. 実施形態に係るディジタルカメラの内部構成例を示すブロック図である。It is a block diagram which shows the example of an internal structure of the digital camera which concerns on embodiment. ライティング効果を施す処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which gives a lighting effect. 不揮発性メモリに記憶されている陰影パターンの一例を示す図である。It is a figure which shows an example of the shadow pattern memorize | stored in the non-volatile memory. 主要要素の位置を特定している様子の一例を示す図である。It is a figure which shows an example of a mode that the position of the main element is specified. 主要要素の位置に合わせて変更された陰影パターンの一例を示す図である。It is a figure which shows an example of the shadow pattern changed according to the position of the main element. 陰影パターンを合成した画像の一例を示す図である。It is a figure which shows an example of the image which synthesize | combined the shadow pattern. 所望の光線方向を指示・選択させる画面の一例を示す図である。It is a figure which shows an example of the screen which instruct | indicates and selects a desired light beam direction.

以下、図面を参照して本発明の好適な実施形態を説明する。
（第１の実施形態）
図１は、本実施形態において、撮像装置の一例としてディジタルカメラ１００の外観構成例を示す図である。
図１において、表示部１０１は画像や各種情報を表示する表示部である。シャッターボタン１０２は撮影指示を行うためのボタンである。モードダイアル１０３は動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替えるための操作部材である。コネクタ１０４は接続ケーブル１１１とディジタルカメラ１００とを接続するためのものである。 Preferred embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating an external configuration example of a digital camera 100 as an example of an imaging apparatus in the present embodiment.
In FIG. 1, a display unit 101 is a display unit that displays images and various types of information. The shutter button 102 is a button for giving a shooting instruction. The mode dial 103 is an operation member for switching the operation mode to any one of a still image shooting mode, a moving image shooting mode, a reproduction mode, and the like. The connector 104 is for connecting the connection cable 111 and the digital camera 100.

操作部１０５はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる操作部である。コントローラーホイール１０６は操作部１０５に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。電源スイッチ１０７は、電源オン、電源オフを切り替えるためのスイッチである。   The operation unit 105 is an operation unit including operation members such as various switches, buttons, and a touch panel for receiving various operations from the user. The controller wheel 106 is a rotatable operation member included in the operation unit 105, and is used when a selection item is designated together with a direction button. The power switch 107 is a switch for switching between power-on and power-off.

記録媒体１０８は、メモリカードやハードディスク等の記録媒体であり、半導体メモリや磁気ディスク等から構成されている。記録媒体スロット１０９は記録媒体１０８を格納するためのスロットである。記録媒体スロット１０９に記録媒体１０８が格納されると、記録媒体１０８とディジタルカメラ１００との通信が可能となる。蓋１１０は記録媒体スロット１０９の蓋である。   The recording medium 108 is a recording medium such as a memory card or a hard disk, and includes a semiconductor memory or a magnetic disk. The recording medium slot 109 is a slot for storing the recording medium 108. When the recording medium 108 is stored in the recording medium slot 109, communication between the recording medium 108 and the digital camera 100 becomes possible. A lid 110 is a lid of the recording medium slot 109.

図２は、本実施形態によるディジタルカメラ１００の内部構成例を示すブロック図である。
図２において、撮影レンズ２０１はフォーカスレンズを含むレンズであり、シャッター２０２は絞り機能を備えるシャッターである。撮像部２０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成されている。Ａ／Ｄ変換器２０４は、撮像部２０３から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア２０５は、ディジタルカメラ１００の撮影レンズ２０１などを覆うことにより、撮影レンズ２０１、シャッター２０２、及び撮像部２０３を含む撮像系の汚れや破損を防止する。 FIG. 2 is a block diagram illustrating an internal configuration example of the digital camera 100 according to the present embodiment.
In FIG. 2, a photographing lens 201 is a lens including a focus lens, and a shutter 202 is a shutter having an aperture function. The imaging unit 203 includes a CCD, a CMOS, or the like that converts an optical image into an electrical signal. The A / D converter 204 is used to convert an analog signal output from the imaging unit 203 into a digital signal. The barrier 205 covers the photographing lens 201 of the digital camera 100 and prevents the imaging system including the photographing lens 201, the shutter 202, and the imaging unit 203 from becoming dirty or damaged.

画像処理部２０６は、Ａ／Ｄ変換器２０４又はメモリ制御部２０７から入力されたデータに対し、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０６は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部２１２が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。さらに、画像処理部２０６は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。   The image processing unit 206 performs resize processing and color conversion processing such as predetermined pixel interpolation and reduction on the data input from the A / D converter 204 or the memory control unit 207. The image processing unit 206 performs predetermined calculation processing using the captured image data, and the system control unit 212 performs exposure control and distance measurement control based on the obtained calculation result. Thereby, AF (autofocus) processing, AE (automatic exposure) processing, and EF (flash pre-emission) processing of the TTL (through-the-lens) method are performed. Further, the image processing unit 206 performs predetermined arithmetic processing using the captured image data, and also performs TTL AWB (auto white balance) processing based on the obtained arithmetic result.

Ａ／Ｄ変換器２０４から出力されたデータは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介してメモリ２０８に直接書き込まれる。メモリ２０８は、Ａ／Ｄ変換器２０４によりデジタルデータに変換された画像データや、表示部２１０に表示するための画像データを格納する。なお、メモリ２０８は、所定枚数の静止画像データや所定時間の動画像データ及び音声データを格納するのに十分な記憶容量を備えている。
また、メモリ２０８は画像表示用のメモリ（ビデオメモリ）を兼ねている。 Data output from the A / D converter 204 is directly written into the memory 208 via the image processing unit 206 and the memory control unit 207 or via the memory control unit 207. The memory 208 stores image data converted into digital data by the A / D converter 204 and image data to be displayed on the display unit 210. The memory 208 has a storage capacity sufficient to store a predetermined number of still image data, moving image data and audio data for a predetermined time.
The memory 208 also serves as an image display memory (video memory).

Ｄ／Ａ変換器２０９は、メモリ２０８に格納されている画像表示用のデータをアナログ信号に変換して表示部２１０に供給する。このように、メモリ２０８に書き込まれた表示用の画像データはＤ／Ａ変換器２０９を介して表示部２１０により表示される。表示部２１０は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器２０９から出力されたアナログ信号に応じた表示を行う。   The D / A converter 209 converts the image display data stored in the memory 208 into an analog signal and supplies the analog signal to the display unit 210. In this manner, the display image data written in the memory 208 is displayed on the display unit 210 via the D / A converter 209. The display unit 210 performs display according to the analog signal output from the D / A converter 209 on a display such as an LCD.

不揮発性メモリ２１１は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられている。また、不揮発性メモリ２１１には、システム制御部２１２の動作用の定数、プログラム等が記憶されている。ここで、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムである。   The nonvolatile memory 211 is an electrically erasable / recordable memory, and for example, an EEPROM or the like is used. The nonvolatile memory 211 stores constants, programs, and the like for operation of the system control unit 212. Here, the program is a program for executing various flowcharts described later in the present embodiment.

システム制御部２１２は、ディジタルカメラ１００全体を制御する。前述した不揮発性メモリ２１１に記憶されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。また、システム制御部２１２はメモリ２０８、Ｄ／Ａ変換器２０９、表示部２１０等を制御することにより表示制御も行う。システムメモリ２１３は、例えばＲＡＭが用いられ、システムメモリ２１３には、システム制御部２１２の動作用の定数、変数、不揮発性メモリ２１１から読み出したプログラム等が展開される。   The system control unit 212 controls the entire digital camera 100. By executing the program stored in the non-volatile memory 211 described above, each process of the present embodiment to be described later is realized. The system control unit 212 also performs display control by controlling the memory 208, the D / A converter 209, the display unit 210, and the like. For example, a RAM is used as the system memory 213, and constants and variables for operation of the system control unit 212, programs read from the nonvolatile memory 211, and the like are expanded in the system memory 213.

モード切替スイッチ（モードダイアル）１０３、第１シャッタースイッチ２１４、第２シャッタースイッチ２１５、及び操作部１０５はシステム制御部２１２に各種の動作指示を入力するための操作手段である。   The mode changeover switch (mode dial) 103, the first shutter switch 214, the second shutter switch 215, and the operation unit 105 are operation means for inputting various operation instructions to the system control unit 212.

第１シャッタースイッチ２１４は、ディジタルカメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。そして、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。   The first shutter switch 214 is turned on when the shutter button 102 provided in the digital camera 100 is being operated, so-called half-press (shooting preparation instruction), and generates a first shutter switch signal SW1. Then, in response to the first shutter switch signal SW1, operations such as AF (autofocus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and EF (flash pre-emission) processing are started.

第２シャッタースイッチ２１５は、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２１２は、第２シャッタースイッチ信号ＳＷ２により、撮像部２０３から画像信号を読み出して記録媒体１０８に画像データを書き込むまでの一連の撮影処理の動作を開始する。   The second shutter switch 215 is turned on when the operation of the shutter button 102 is completed, so-called full press (shooting instruction), and generates a second shutter switch signal SW2. In response to the second shutter switch signal SW2, the system control unit 212 starts a series of shooting processing operations from reading an image signal from the imaging unit 203 to writing image data on the recording medium 108.

図１に示した操作部１０５の各操作部材は、表示部２１０に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２１０に表示される。利用者は、表示部２１０に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。   Each operation member of the operation unit 105 shown in FIG. 1 is appropriately assigned a function for each scene by selecting and operating various function icons displayed on the display unit 210, and functions as various function buttons. Examples of the function buttons include an end button, a return button, an image advance button, a jump button, a narrowing button, and an attribute change button. For example, when a menu button is pressed, various setting menu screens are displayed on the display unit 210. The user can make various settings intuitively using the menu screen displayed on the display unit 210, the four-way button, and the SET button.

また、操作部１０５に含まれる図１に示したコントローラーホイール１０６が回転操作されると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部２１２はディジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラーホイール１０６が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラーホイール１０６は図１に示した例以外に回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザーの回転操作に応じてコントローラーホイール１０６自体が回転してパルス信号を発生するダイアル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラーホイール１０６自体は回転せず、タッチホイールなどコントローラーホイール１０６上でのユーザーの指の回転動作などを検出するものであってもよい。   When the controller wheel 106 shown in FIG. 1 included in the operation unit 105 is rotated, an electrical pulse signal is generated according to the operation amount. Based on this pulse signal, the system control unit 212 is a digital camera. 100 parts are controlled. From this pulse signal, it is possible to determine the angle at which the controller wheel 106 is rotated, how many rotations, and the like. The controller wheel 106 may be any operation member that can detect a rotation operation other than the example shown in FIG. For example, it may be a dial operation member that generates a pulse signal by rotating the controller wheel 106 itself in response to a user's rotation operation. Further, an operation member formed of a touch sensor may be used to detect a rotation operation of a user's finger on the controller wheel 106 such as a touch wheel without rotating the controller wheel 106 itself.

電源制御部２１６は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１６は、その検出結果及びシステム制御部２１２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０８を含む各部へ供給する。   The power control unit 216 includes a battery detection circuit, a DC-DC converter, a switch circuit that switches a block to be energized, and the like, and detects whether or not a battery is attached, the type of battery, and the remaining battery level. The power supply control unit 216 controls the DC-DC converter based on the detection result and an instruction from the system control unit 212, and supplies a necessary voltage to each unit including the recording medium 108 for a necessary period.

電源部２１７は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。インターフェース２１８は、メモリカード等の記録媒体１０８とのインターフェースである。   The power supply unit 217 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like. The interface 218 is an interface with the recording medium 108 such as a memory card.

本実施形態に係るディジタルカメラ１００は画像中の人物を検知する人物検知機能を備えている。以下、この人物検知機能について説明する。システム制御部２１２は、人物を検知する対象となる画像データを画像処理部２０６に送る。そして、システム制御部２１２の制御により画像処理部２０６は、当該画像データに水平方向バンドパスフィルタを作用させ、さらに、処理された画像データに垂直方向バンドパスフィルタを作用させる。この水平方向及び垂直方向のバンドパスフィルタにより、画像データからエッジ成分が検出される。   The digital camera 100 according to the present embodiment has a person detection function for detecting a person in an image. The person detection function will be described below. The system control unit 212 sends image data that is a target for detecting a person to the image processing unit 206. Then, under the control of the system control unit 212, the image processing unit 206 causes a horizontal bandpass filter to act on the image data, and further causes a vertical bandpass filter to act on the processed image data. Edge components are detected from the image data by the band pass filters in the horizontal and vertical directions.

その後、システム制御部２１２は、検出したエッジ成分に関してパターンマッチングを行い、目、鼻、口、耳等、人物の主要要素の候補群を抽出する。次に、例えば目については、抽出された候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、絞り込まれた目の候補群と、それに対応する、人物を形成する他のパーツ（鼻、口、耳）とを対応付け、予め設定した非人物条件フィルタを通すことにより人物を検知して顔情報を生成する。   Thereafter, the system control unit 212 performs pattern matching on the detected edge component, and extracts a candidate group of main elements of the person such as eyes, nose, mouth, and ears. Next, for example, for eyes, those that satisfy a preset condition (for example, distance between two eyes, inclination, etc.) from the extracted candidate group are determined as eye pairs, and there are eye pairs. Narrow down as the only candidate group. Then, the narrowed-down eye candidate group is associated with other parts (nose, mouth, ears) that form a person, and the person is detected by passing through a preset non-person condition filter. Generate face information.

システム制御部２１２は、人物検知結果に応じて上記顔情報を出力し、処理を終了する。このとき、検知した人物の輪郭と、目、鼻、口、耳等、人物の主要要素の位置との情報をメモリ２０８に記憶する。   The system control unit 212 outputs the face information according to the person detection result, and ends the process. At this time, information on the detected outline of the person and the positions of the main elements of the person such as eyes, nose, mouth, and ears is stored in the memory 208.

図３は、本実施形態に係るディジタルカメラ１００において、ユーザーの選択に応じたライティング効果を撮像画像に施す撮影モード（以下、ライティングコントロールモードと称する）における処理手順の一例を示すフローチャートである。なお、図３に示す処理は、不揮発性メモリ２１１に記録されたプログラムをシステムメモリ２１３に展開してシステム制御部２１２が実行することにより実現する。   FIG. 3 is a flowchart illustrating an example of a processing procedure in a shooting mode (hereinafter referred to as a lighting control mode) in which the digital camera 100 according to the present embodiment applies a lighting effect to a captured image according to a user's selection. Note that the processing shown in FIG. 3 is realized by developing a program recorded in the nonvolatile memory 211 in the system memory 213 and executing it by the system control unit 212.

まず、モードダイアル１０３の操作や、操作部１０５の操作によりメニュー画面で操作され、静止画撮影モードの１つであるライティングコントロールモードに切り替えられると、図３の処理を開始する。   First, when the mode dial 103 or the operation unit 105 is operated on the menu screen to switch to the lighting control mode which is one of the still image shooting modes, the processing of FIG. 3 is started.

まず、Ｓ３０１において、前述した全押しによる撮影指示が行われ、第２シャッタースイッチ信号ＳＷ２がシステム制御部２１２に入力されるまで待機する。そして、撮影指示が行われると、次のＳ３０２に進む。   First, in step S <b> 301, the image capturing instruction by the full press described above is performed, and the process waits until the second shutter switch signal SW <b> 2 is input to the system control unit 212. When a shooting instruction is given, the process proceeds to the next S302.

次に、Ｓ３０２においては、撮影処理を行う。この撮影処理は撮像部２０３で撮影した画像信号を静止画像ファイルとして記録媒体１０８に記録するまでの一般的な本撮影の処理であり、その詳細な手順は図２を用いて前述したとおりである。   Next, in S302, shooting processing is performed. This photographing process is a general main photographing process until an image signal photographed by the photographing unit 203 is recorded on the recording medium 108 as a still image file, and the detailed procedure is as described above with reference to FIG. .

次に、Ｓ３０３においては、システム制御部２１２は、Ｓ３０２で撮影された画像から人物検知処理を行う。この処理の詳細は前述したとおりである。   Next, in S303, the system control unit 212 performs person detection processing from the image captured in S302. Details of this processing are as described above.

次に、Ｓ３０４においては、システム制御部２１２は、Ｓ３０３の人物検知処理により検知された人物の主要要素の位置に基づき、不揮発性メモリ２１１に記憶された複数の陰影パターンからユーザーによって選択された陰影パターンの位置、形状を変更する。なお、ユーザーから陰影パターンの選択操作を受け付ける前である場合は、デフォルトの陰影パターンの位置、形状を変更する。   Next, in S304, the system control unit 212 selects a shadow selected by the user from a plurality of shadow patterns stored in the nonvolatile memory 211 based on the positions of the main elements of the person detected by the person detection process in S303. Change the position and shape of the pattern. If it is before accepting an operation for selecting a shadow pattern from the user, the position and shape of the default shadow pattern are changed.

図４は、不揮発性メモリ２１１に記憶されている陰影パターンの一例を示す図である。図４には、上、右上、右、右下、下、左下、左、左上の８方向からの光線に対する陰影パターンが表わされている。また、図５は、画像中の人物を検知し、その主要要素の位置を特定している様子の一例を示す図である。図５において、検知した人物の輪郭、目、鼻、口、耳の位置が太線により表示されている。   FIG. 4 is a diagram illustrating an example of a shadow pattern stored in the nonvolatile memory 211. FIG. 4 shows shadow patterns for light rays from eight directions of upper, upper right, right, lower right, lower, lower left, left, and upper left. FIG. 5 is a diagram showing an example of detecting a person in the image and specifying the position of the main element. In FIG. 5, the detected outline, eyes, nose, mouth, and ear positions of the person are displayed by bold lines.

例えば、Ｓ３０３の人物検知処理により検知された人物の主要要素（目、鼻、口、耳、輪郭）が図５に示したような位置であるものとする。そして、ユーザーにより選択された陰影パターンが図４に示した右上方向からの光線に対する陰影パターンであったものとする。この場合、Ｓ３０４では、右上方向からの光線に対する陰影パターンを、図５に示す人物の主要要素の位置に基づいて、図６に示すような陰影パターンに変更する。   For example, it is assumed that the main elements (eyes, nose, mouth, ears, contour) of the person detected by the person detection process in S303 are positions as shown in FIG. Then, it is assumed that the shadow pattern selected by the user is the shadow pattern for the light rays from the upper right direction shown in FIG. In this case, in S304, the shadow pattern for the light rays from the upper right direction is changed to a shadow pattern as shown in FIG. 6 based on the positions of the main elements of the person shown in FIG.

次に、Ｓ３０５においては、システム制御部２１２は、Ｓ３０４で変更した陰影パターンを、Ｓ３０２で撮影された画像中の人物にオーバーレイ効果をかけて合成する。そして、合成した画像を表示部２１０に表示する。これは、撮影直後に撮影された画像を撮影モードのままレビュー表示するいわゆるレックレビュー表示として行われる。図７に、陰影パターンを合成した画像の一例を示す。   Next, in S305, the system control unit 212 combines the shadow pattern changed in S304 with an overlay effect on the person in the image taken in S302. Then, the combined image is displayed on the display unit 210. This is performed as so-called REC review display in which an image photographed immediately after photographing is reviewed and displayed in the photographing mode. FIG. 7 shows an example of an image obtained by combining shadow patterns.

次に、Ｓ３０６においては、指定している陰影パターンを他の陰影パターンに切り替える操作（陰影パターンの選択操作）をユーザーから受け付けたか否かを判定する。この判定の結果、陰影パターンの変更操作を受け付けたと判定するとＳ３０４に進み、陰影パターンを変更して処理を繰り返す。一方、陰影パターンの変更操作を受け付けていない場合はＳ３０７に進む。   Next, in S306, it is determined whether or not an operation for switching the specified shadow pattern to another shadow pattern (an operation for selecting a shadow pattern) has been received from the user. As a result of this determination, if it is determined that a shadow pattern change operation has been accepted, the process proceeds to S304, where the shadow pattern is changed and the process is repeated. On the other hand, if the shadow pattern changing operation has not been received, the process proceeds to S307.

選択操作の方法の例について説明する。不揮発性メモリ２１１に記憶された複数の陰影パターンは所定の順序が予め定められているものとする。Ｓ３０６で操作部１０５に含まれる４方向ボタンの右ボタンが押下されたと判定すると、現在選択している陰影パターンより順序がひとつ次の陰影パターンに選択を切り替え、左ボタンが押下されたと判定するとひとつ前の陰影パターンに選択を切り替える。   An example of the selection operation method will be described. It is assumed that a predetermined order is predetermined for the plurality of shadow patterns stored in the nonvolatile memory 211. If it is determined in step S306 that the right button of the four-direction button included in the operation unit 105 has been pressed, the selection is switched to the shadow pattern that is next in order from the currently selected shadow pattern. Switch selection to previous shadow pattern.

次に、Ｓ３０７においては、システム制御部２１２は、レックレビュー表示を終了するか否かを判定する。レックレビュー表示は、ユーザーから表示終了の指示操作や次の撮影準備指示を受け付けるか、あるいは予め定められた所定時間を経過すると、終了するものと判定される。この判定の結果、終了しない場合はＳ３０６に戻って処理を繰り返し、終了する場合はＳ３０８へ進む。   Next, in S307, the system control unit 212 determines whether or not to end the REC review display. The REC review display is determined to end when a display end instruction operation or a next shooting preparation instruction is received from the user or when a predetermined time has elapsed. If the result of this determination is that it does not end, processing returns to S306 and the processing is repeated, and if it ends, processing proceeds to S308.

次に、Ｓ３０８においては、Ｓ３０４で変更した陰影パターンを、Ｓ３０２で撮影された画像中の人物にオーバーレイ効果をかけて合成した画像（直前に表示部２１０に表示されていた画像）を、画像ファイルとして記録媒体１０８に記録する。   Next, in S308, an image obtained by combining the shadow pattern changed in S304 with an overlay effect on the person captured in S302 (the image displayed on the display unit 210 immediately before) is combined into an image file. To the recording medium 108.

次に、Ｓ３０９においては、システム制御部２１２は、ライティングコントロールモードを終了するか否かを判定する。この判定の結果、ライティングコントロールモードを終了しない場合はＳ３０１に戻り、処理を繰り返す。一方、ライティングコントロールモードを終了する場合は、そのまま図３の処理を終了する。ライティングコントロールモードを終了する場合とは、他の撮影モードや再生モードに切り替える指示や、電源をＯＦＦとする操作、しばらくの間何の操作もされなかった場合に消費電力節約のために自動的に電源がオフとなるオートパワーオフの発動などがある。   In step S309, the system control unit 212 determines whether to end the lighting control mode. If the result of this determination is that the lighting control mode is not terminated, processing returns to S301 and the processing is repeated. On the other hand, when the lighting control mode is ended, the processing of FIG. 3 is ended as it is. Exiting the lighting control mode means automatically switching to another shooting mode or playback mode, turning off the power, or automatically saving power if no operation is performed for a while. For example, auto power off is activated when the power is turned off.

以上説明した処理によれば、複数の陰影パターンから選択し、画像から検知された人物に合わせて選択した陰影パターンを変更して合成することにより、ユーザーが所望する陰影をもつ顔写真を得ることができる。従って他に照明手段を設ける必要なく、また、３次元形状をデータ処理する方法に比べて少ない処理負荷で済む。すなわち、従来に比べて演算能力の低く安価なプロセッサや、より容量の小さい安価なワークメモリであっても、ユーザーが所望する陰影を持つ顔写真を得ることができる。また、演算量の抑制に伴って消費電力も節約することができる。さらに、従来と同じハードウェア資源であれば、演算量の抑制に伴ってより高速に処理を行うことができ、レスポンスの向上につながる。   According to the processing described above, a face photograph having a shadow desired by the user can be obtained by selecting from a plurality of shadow patterns and changing and combining the selected shadow patterns according to the person detected from the image. Can do. Accordingly, there is no need to provide other illumination means, and the processing load can be reduced as compared with a method of processing data of a three-dimensional shape. That is, even with an inexpensive processor with a lower computing capacity than before and an inexpensive work memory with a smaller capacity, it is possible to obtain a face photograph with a shade desired by the user. In addition, power consumption can be saved as the amount of computation is reduced. Furthermore, if the hardware resources are the same as the conventional one, processing can be performed at a higher speed as the amount of computation is suppressed, leading to an improved response.

なお、上述した図３のＳ３０４では、ユーザーによって選択された陰影パターンの位置、形状を変更する例を説明した。一方、さらに、ユーザーによって選択された陰影パターン以外の、その前後の陰影パターンの位置、形状も変更してシステムメモリ２１３に保持してもよい。このようにすることにより、ユーザーの陰影パターンの変更操作に対するレスポンスを向上させることができる。   In S304 of FIG. 3 described above, the example in which the position and shape of the shadow pattern selected by the user is changed has been described. On the other hand, other than the shadow pattern selected by the user, the positions and shapes of the preceding and following shadow patterns may be changed and held in the system memory 213. By doing in this way, the response with respect to a user's shadow pattern change operation can be improved.

また、本実施形態においてはレックレビュー表示について説明したが、図３のＳ３０３〜Ｓ３０６の処理は、再生モードにおいて記録媒体１０８から読み出した再生対象の画像に対して行ってもよい。この場合、再生対象の画像を切り替える操作（画像送り操作）や、再生モードを終了する操作があった場合は、Ｓ３０８と同様に、直前に表示部２１０に表示されていた画像を、画像ファイルとして記録媒体１０８に記録する。   In addition, although the REC review display has been described in the present embodiment, the processing of S303 to S306 in FIG. 3 may be performed on the reproduction target image read from the recording medium 108 in the reproduction mode. In this case, when there is an operation for switching an image to be played back (image forwarding operation) or an operation for ending the playback mode, the image displayed on the display unit 210 immediately before is displayed as an image file as in S308. Recording is performed on the recording medium 108.

さらに、図３のＳ３０３〜Ｓ３０６の処理は、撮影モードにおいて撮像部２０３において撮影されている画像をリアルタイムに表示するいわゆるスルー表示で表示されるスルー画像に対して行っても良い。   Further, the processing of S303 to S306 in FIG. 3 may be performed on a through image displayed in a so-called through display in which an image captured by the imaging unit 203 in the imaging mode is displayed in real time.

また、Ｓ３０３で人物の顔の主要要素を検出する例を説明したが、人物の顔以外の主要要素（頭、首、肩、腕、手、胴、足など）を検知して、陰影パターンを変更するものとしてもよい。なお、この場合、不揮発性メモリ２１１に記憶している変更前の陰影パターンは図４に示すような顔部分に対するものではなく、人体全体に対する陰影パターンとなる。さらに、検知可能な被写体であれば人物に限らずともどのような被写体でもよく、例えば犬や猫といった動物を検知し、これらの動物に合わせた陰影パターンを記憶しておくものとしてもよい。   Moreover, although the example which detects the main elements of a person's face by S303 was demonstrated, main elements (a head, a neck, a shoulder, an arm, a hand, a torso, a leg, etc.) other than a person's face are detected, and a shadow pattern is detected. It may be changed. In this case, the shadow pattern before change stored in the non-volatile memory 211 is not the face portion as shown in FIG. 4 but a shadow pattern for the entire human body. Furthermore, any subject can be used as long as it is a detectable subject. For example, an animal such as a dog or a cat may be detected, and a shadow pattern adapted to these animals may be stored.

（第２の実施形態）
本実施形態では、タッチパネルを備えたディジタルカメラにおいて、前述の図３のＳ３０６で受け付け可能な陰影パターンの選択操作が、タッチパネルに対する操作である例について説明する。なお、それ以外のディジタルカメラの外観、内部構成、及びライティング効果を施す手順については、第１の実施形態と同様であるため、説明は省略する。 (Second Embodiment)
In the present embodiment, an example will be described in which, in a digital camera equipped with a touch panel, the shadow pattern selection operation that can be accepted in S306 of FIG. 3 described above is an operation on the touch panel. Since the other aspects of the digital camera, the internal configuration, and the procedure for applying the lighting effect are the same as those in the first embodiment, description thereof will be omitted.

タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。本実施形態に係るディジタルカメラ１００ではディスプレイと一体的に構成して、タッチパネルにおける入力座標と、ディスプレイ（表示部１０１）の表示座標とを対応付けている。これにより、あたかもユーザーがディスプレイ上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。   The touch panel is an input device that outputs coordinate information according to a position touched with respect to an input unit configured in a planar manner, for example. The digital camera 100 according to this embodiment is configured integrally with a display, and associates input coordinates on the touch panel with display coordinates on the display (display unit 101). Thereby, it is possible to configure a GUI as if the user can directly operate the screen displayed on the display.

図８は、本実施形態に係るディジタルカメラ１００において、ユーザーに所望の光線方向を指示・選択させるために表示部１０１上に表示される画面の一例を示す図である。
図８において、画像中の人物の上、右上、右、右下、下、左下、左、左上の８方向の目安として小円を表示しており、ユーザーによりその１点がタッチされると、そのタッチされた点に対応する方向からの光線に対する陰影パターンを読み出す。これにより、ユーザーはタッチによりディスプレイの表示座標と対応付けて所望の光線方向を指示・選択できる。したがって、ユーザーが表示された画像に対して直接的に光線方向が変更可能であるかのような格別の操作を実現できる。 FIG. 8 is a diagram showing an example of a screen displayed on the display unit 101 in order to allow the user to instruct and select a desired light direction in the digital camera 100 according to the present embodiment.
In FIG. 8, a small circle is displayed as a guide in the eight directions above, upper right, right, lower right, lower, lower left, left, upper left of the person in the image, and when one point is touched by the user, The shadow pattern for the light ray from the direction corresponding to the touched point is read out. As a result, the user can instruct and select a desired light beam direction in association with the display coordinates of the display. Therefore, it is possible to realize a special operation as if the light beam direction can be directly changed with respect to the displayed image.

（その他の実施形態）
なお、システム制御部２１２の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。 (Other embodiments)
Note that the control of the system control unit 212 may be performed by a single piece of hardware, or the entire apparatus may be controlled by a plurality of pieces of hardware sharing the processing. Although the present invention has been described in detail based on the preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above shows only one embodiment of this invention, and it is also possible to combine each embodiment suitably.

また、上述した実施形態においては、本発明をディジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなどにも適用できる。このように、記憶した陰影パターンのうち選択されたものを画像に合成して表示できる画像処理装置であれば適用可能である。   In the above-described embodiment, the case where the present invention is applied to a digital camera has been described as an example. However, this is not limited to this example. That is, the present invention can also be applied to a personal computer, a PDA, a mobile phone terminal, a portable image viewer, a display for selecting and confirming a print image provided in a printer, a digital photo frame, and the like. As described above, any image processing apparatus that can synthesize and display a selected one of the stored shadow patterns can be applied.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed. In this case, the program and a computer-readable storage medium storing the program constitute the present invention.

２０３ 撮像部
２０８ メモリ
２１０ 表示部
２１２ システム制御部 203 Imaging unit 208 Memory 210 Display unit 212 System control unit

Claims (7)

被写体を撮像して画像信号を生成する撮像手段と、
前記撮像手段により撮像された被写体の主要要素を検知する検知手段と、
互いに異なる方向からの光線に対する複数の陰影パターンを記憶する記憶手段と、
前記記憶手段に記憶された複数の陰影パターンのうち、ユーザーにより指定された陰影パターンの位置及び形状を、前記検知手段によって検知された被写体の主要要素の位置に基づいて変更する変更手段と、
前記変更手段によって変更された陰影パターンが前記被写体と重なるように前記画像信号に係る画像を合成し、前記合成した画像を表示手段に表示する表示制御手段とを有し、
前記変更手段は、前記検知手段によって検知された被写体の主要要素の位置に基づいて、前記記憶手段に記憶されている陰影パターンのうち、ユーザーにより指定された陰影パターン以外の陰影パターンの位置及び形状を少なくとも１つ変更し、
前記記憶手段は、前記変更手段により位置及び形状が変更されたユーザーにより指定された陰影パターン以外の陰影パターンを記憶することを特徴とする撮像装置。 Imaging means for imaging a subject and generating an image signal;
Detecting means for detecting main elements of the subject imaged by the imaging means;
Storage means for storing a plurality of shadow patterns for light rays from different directions;
Changing means for changing the position and shape of the shadow pattern designated by the user among the plurality of shadow patterns stored in the storage means based on the position of the main element of the subject detected by the detection means;
The shaded pattern modified by the change means to synthesize the image according to the image signals so as to overlap with the object, to have a display control means for displaying the synthesized image on the display means,
The changing means is based on the position of the main element of the subject detected by the detecting means, and among the shadow patterns stored in the storage means, the position and shape of a shadow pattern other than the shadow pattern designated by the user Change at least one
The image pickup apparatus , wherein the storage unit stores a shadow pattern other than a shadow pattern designated by a user whose position and shape are changed by the changing unit. 前記表示手段はタッチパネルであり、
前記変更手段は、前記タッチパネルへの接触に応じて、前記接触された位置に対応する陰影パターンの位置及び形状を変更することを特徴とする請求項１に記載の撮像装置。 The display means is a touch panel,
The imaging apparatus according to claim 1, wherein the changing unit changes a position and a shape of a shadow pattern corresponding to the touched position in response to the touch on the touch panel. 前記複数の陰影パターンは、上、下、右、左、右上、右下、左上、及び左下の方向からの光線に対するパターンであることを特徴とする請求項１又は２に記載の撮像装置。 3. The imaging apparatus according to claim 1, wherein the plurality of shadow patterns are patterns for light rays from directions of upper, lower, right, left, upper right, lower right, upper left, and lower left. 前記表示手段に表示された画像を画像ファイルとして記録媒体に記録する記録手段をさらに有することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。 The imaging apparatus according to any one of claim 1 to 3, further comprising a recording means for recording the image displayed on the display means as an image file. 被写体を撮像して画像信号を生成する撮像工程と、
前記撮像工程において撮像された被写体の主要要素を検知する検知工程と、
記憶手段に記憶されている互いに異なる方向からの光線に対する複数の陰影パターンのうち、ユーザーにより指定された陰影パターンの位置及び形状を、前記検知工程において検知された被写体の主要要素の位置に基づいて変更する変更工程と、
前記変更工程において変更された陰影パターンが前記被写体と重なるように前記画像信号に係る画像を合成し、前記合成した画像を表示手段に表示する表示制御工程とを有し、
前記変更工程においては、前記検知工程において検知された被写体の主要要素の位置に基づいて、前記記憶手段に記憶されている陰影パターンのうち、ユーザーにより指定された陰影パターン以外の陰影パターンの位置及び形状を少なくとも１つ変更し、
前記記憶手段は、前記変更工程において位置及び形状が変更されたユーザーにより指定された陰影パターン以外の陰影パターンを記憶することを特徴とする撮像装置の制御方法。 An imaging step of imaging an object and generating an image signal;
A detection step of detecting main elements of the subject imaged in the imaging step;
Of the plurality of shadow patterns for light rays from different directions stored in the storage means, the position and shape of the shadow pattern designated by the user are based on the positions of the main elements of the subject detected in the detection step. Change process to change,
Wherein the modified shading patterns in changing step synthesizes the image according to the image signals so as to overlap with the object, to have a display control step of displaying the composite image on the display means,
In the changing step, based on the position of the main element of the subject detected in the detecting step, among the shadow patterns stored in the storage unit, the position of the shadow pattern other than the shadow pattern designated by the user and Change at least one shape,
The storage unit stores a shadow pattern other than a shadow pattern designated by a user whose position and shape have been changed in the changing step . 被写体を撮像して画像信号を生成する撮像工程と、
前記撮像工程において撮像された被写体の主要要素を検知する検知工程と、
記憶手段に記憶されている互いに異なる方向からの光線に対する複数の陰影パターンのうち、ユーザーにより指定された陰影パターンの位置及び形状を、前記検知工程において検知された被写体の主要要素の位置に基づいて変更する変更工程と、
前記変更工程において変更された陰影パターンが前記被写体と重なるように前記画像信号に係る画像を合成し、前記合成した画像を表示手段に表示する表示制御工程とをコンピュータに実行させ、
前記変更工程においては、前記検知工程において検知された被写体の主要要素の位置に基づいて、前記記憶手段に記憶されている陰影パターンのうち、ユーザーにより指定された陰影パターン以外の陰影パターンの位置及び形状を少なくとも１つ変更し、
前記記憶手段は、前記変更工程において位置及び形状が変更されたユーザーにより指定された陰影パターン以外の陰影パターンを記憶することを特徴とするプログラム。 An imaging step of imaging an object and generating an image signal;
A detection step of detecting main elements of the subject imaged in the imaging step;
Of the plurality of shadow patterns for light rays from different directions stored in the storage means, the position and shape of the shadow pattern designated by the user are based on the positions of the main elements of the subject detected in the detection step. Change process to change,
Combining the image related to the image signal so that the shadow pattern changed in the changing step overlaps the subject, and causing the computer to execute a display control step of displaying the combined image on a display unit ,
In the changing step, based on the position of the main element of the subject detected in the detecting step, among the shadow patterns stored in the storage unit, the position of the shadow pattern other than the shadow pattern designated by the user and Change at least one shape,
The storage means stores a shadow pattern other than a shadow pattern designated by a user whose position and shape have been changed in the changing step . 請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium storing the program according to claim 6 .

Images