JP2010226495A - Photographing device - Google Patents

Photographing device Download PDF

Info

Publication number
JP2010226495A
JP2010226495A JP2009072412A JP2009072412A JP2010226495A JP 2010226495 A JP2010226495 A JP 2010226495A JP 2009072412 A JP2009072412 A JP 2009072412A JP 2009072412 A JP2009072412 A JP 2009072412A JP 2010226495 A JP2010226495 A JP 2010226495A
Authority
JP
Japan
Prior art keywords
image
unit
live view
face
slow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009072412A
Other languages
Japanese (ja)
Inventor
Takeshi Suzuki
猛士 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2009072412A priority Critical patent/JP2010226495A/en
Priority to CN2010101307201A priority patent/CN101848325B/en
Publication of JP2010226495A publication Critical patent/JP2010226495A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a photographing device capable of performing recording reliably without losing good opportunities for photographs. <P>SOLUTION: The photographing device 1 detects a face included in a subject image captured by an imaging part, and determines whether the face that has been detected in the subject image has specified characteristics. Then, while the photographing device 1 detects that the detected face has specified characteristics, consecutive photographing processing of the subject image captured by the imaging part is successively performed at a prescribed photographing interval to generate image data of a plurality of consecutive photographed images, a slow-adaptive live view image is generated based on a plurality of obtained consecutively photographed images, and display processing of a TFT liquid crystal panel 144 is performed for each prescribed display interval longer than the photographing interval for slow display processing. Then, when a second release 152 is turned on, the image data of the consecutive photographed images corresponding to the slow-adaptive live view image under display processing are recorded on a recording medium 136. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、被写体像を撮像する撮影装置に関するものである。   The present invention relates to a photographing apparatus that captures a subject image.

例えばデジタルスチルカメラやデジタルビデオカメラ等の撮影装置では、ユーザがシャッターチャンスを逃さないようにするための機能として、シャッター操作の前後で撮影処理を行って画像データを記録しておくいわゆるプリキャプチャ機能を備えたものが知られている。ユーザは、決定的な瞬間に備えてこのプリキャプチャ機能を使うことで、シャッターチャンスを逃さずに撮影が行える。   For example, in a photographing apparatus such as a digital still camera or a digital video camera, a so-called pre-capture function for recording image data by performing photographing processing before and after the shutter operation as a function for preventing the user from missing a photo opportunity The one with is known. The user can shoot without missing a photo opportunity by using this pre-capture function in preparation for a decisive moment.

ここで、動画の滑らかなスローモーション再生を実現するために、再生フレームレートの整数倍の速度で映像データを撮像するようにしたものが知られている（特許文献１を参照）。   Here, in order to realize smooth slow-motion playback of moving images, there is known one that captures video data at a speed that is an integral multiple of the playback frame rate (see Patent Document 1).

特開２００４−３１２１９５号公報Japanese Patent Laid-Open No. 2004-312195

ところで、被写体の動きが速いと、ユーザによるシャッター操作が遅すぎてプリキャプチャ機能によって記録された画像の中にユーザが決定的と感じたときの画像が含まれず、シャッターチャンスを逃してしまう事態が生じる場合があった。また、この問題を解決するための方法として、例えばプリキャプチャ機能による画像の記録枚数を増やすことが考えられるが、ユーザは、撮影の後で記録された画像の中から所望するシーンを映した画像を選択する必要があるため、記録枚数を増やしてしまうと撮影後に画像を閲覧・選択する作業が煩雑化するという問題があった。   By the way, if the movement of the subject is fast, the shutter operation by the user is too slow, and the image recorded by the pre-capture function is not included in the image that the user feels decisive, and the shutter chance is missed. There was a case. Further, as a method for solving this problem, for example, it is conceivable to increase the number of recorded images by the pre-capture function. However, the user displays an image showing a desired scene from images recorded after shooting. Therefore, if the number of recorded images is increased, there is a problem that the work of browsing and selecting an image after shooting becomes complicated.

本発明は、上記に鑑みてなされたものであって、シャッターチャンスを逃すことなく確実に記録することができる撮影装置を提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an imaging apparatus capable of reliably recording without missing a photo opportunity.

上述した課題を解決し、目的を達成するため、本発明にかかる撮影装置は、被写体像を撮像する撮像部と、前記撮像部によって撮像されている被写体像中に含まれる顔を検出する顔検出部と、前記顔検出部による顔検出結果をもとに、前記被写体像中で検出された顔が所定の特徴を有するか否かを判定する特徴判定部と、前記特徴判定部によって前記検出された顔が所定の特徴を有すると判定されている間、前記撮像部によって撮像されている前記被写体像の撮影処理を所定の撮影間隔で連続的に行って複数の撮影画像の画像データを取得する撮影画像取得部と、前記複数の撮影画像を前記撮影間隔よりも長い所定の表示間隔毎に順次表示部に表示処理するスローライブビュー表示処理部と、撮影指示が入力された場合に、前記スローライブビュー表示処理部によって表示処理中の撮影画像の画像データを記録部に記録処理する記録処理部と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging unit that captures a subject image, and face detection that detects a face included in the subject image captured by the imaging unit. , A feature determination unit that determines whether a face detected in the subject image has a predetermined feature based on a face detection result by the face detection unit, and the detection by the feature determination unit While the determined face has determined to have a predetermined feature, the subject image captured by the imaging unit is continuously captured at a predetermined capturing interval to obtain image data of a plurality of captured images. A captured image acquisition unit; a slow live view display processing unit that sequentially displays the plurality of captured images on a display unit at predetermined display intervals longer than the imaging interval; live A recording processor for recording processing in the recording unit the image data of the photographed image being displayed processed by-menu display processing unit, characterized in that it comprises a.

また、本発明にかかる撮影装置は、上記の発明において、前記特徴判定部は、前記検出された顔の表情を検出する表情検出部を有し、前記特徴判定部は、前記表情検出部が前記検出された顔の所定の表情を検出した場合に、前記検出された顔が所定の特徴を有すると判定することを特徴とする。   Moreover, the imaging device according to the present invention is characterized in that, in the above invention, the feature determination unit includes a facial expression detection unit that detects the facial expression detected, and the feature determination unit includes the facial expression detection unit. When a predetermined facial expression of the detected face is detected, it is determined that the detected face has a predetermined feature.

また、本発明にかかる撮影装置は、上記の発明において、前記特徴判定部は、前記検出された顔から瞳の領域を検出する瞳検出部を有し、前記特徴判定部は、前記瞳検出部が前記検出された顔から瞳を検出した場合に、前記検出された顔が所定の特徴を有すると判定することを特徴とする。   In the imaging device according to the present invention, in the above invention, the feature determination unit includes a pupil detection unit that detects a pupil region from the detected face, and the feature determination unit includes the pupil detection unit. When a pupil is detected from the detected face, it is determined that the detected face has a predetermined feature.

また、本発明にかかる撮影装置は、上記の発明において、前記撮影画像取得部は、撮影準備指示が入力された場合であって、且つ前記特徴判定部によって前記検出された顔が所定の特徴を有すると判定された場合に、前記連続的な撮影処理を行うことを特徴とする。   In the imaging device according to the present invention, in the above invention, the captured image acquisition unit is configured to input a shooting preparation instruction, and the face detected by the feature determination unit has a predetermined feature. When it is determined that the image data is included, the continuous photographing process is performed.

本発明によれば、被写体像中に含まれる顔を検出するとともに、検出した顔が所定の特徴を有するか否かを判定する。そして、被写体像中の顔が所定の特徴を有する間、撮影処理を所定の撮影間隔で連続的に行って複数の撮影画像の画像データを取得するとともに、取得した複数の撮影画像を撮影間隔よりも長い所定の表示間隔毎に順次表示部に表示処理することができる。これによれば、被写体である人物が所定の特徴を有する顔で映った撮影画像を取得するとともに、この撮影画像を用い、被写体像を実際の被写体の動きよりも遅い速度で画面表示することができる。そして、撮影指示が入力された場合には、表示処理中の撮影画像の画像データを記録部に記録処理することができる。したがって、被写体の動きが速い場合であっても、シャッターチャンスを逃すことなく確実に記録することができるという効果を奏する。   According to the present invention, a face included in a subject image is detected, and it is determined whether or not the detected face has a predetermined feature. Then, while the face in the subject image has a predetermined feature, the shooting process is continuously performed at a predetermined shooting interval to obtain image data of a plurality of shot images, and the acquired plurality of shot images are obtained from the shooting interval. In addition, display processing can be sequentially performed on the display unit at long predetermined display intervals. According to this, it is possible to acquire a photographed image of a person who is a subject with a face having a predetermined characteristic and to display the subject image on the screen at a slower speed than the actual movement of the subject using this photographed image. it can. When a photographing instruction is input, the image data of the photographed image being displayed can be recorded in the recording unit. Therefore, even when the movement of the subject is fast, there is an effect that recording can be performed reliably without missing a photo opportunity.

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮影装置をいわゆるデジタルスチルカメラやデジタルビデオカメラに適用した場合を例に挙げて説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, a case where the photographing apparatus of the present invention is applied to a so-called digital still camera or digital video camera will be described as an example. Note that the present invention is not limited to the embodiments. Moreover, in description of each drawing, the same code | symbol is attached | subjected and shown to the same part.

ここで、本実施の形態で例示する撮影装置は、例えば光学レンズ等からなる撮像光学系が撮像素子の受光面に結像した光学像を電気的な信号に変換して静止画または動画の画像データを生成する撮像部を備える。また、撮影装置は、撮像部が生成した画像データを再生することで被写体の静止画または動画を表示する表示部や、画像信号またはこれを信号処理した画像データ等の各種情報を記録する記録部、外部装置との間で無線または有線によるデータ通信を行う通信部等を備える。   Here, the imaging apparatus exemplified in the present embodiment converts an optical image formed on the light receiving surface of an imaging element by an imaging optical system such as an optical lens into an electrical signal to generate a still image or a moving image. An imaging unit for generating data is provided. In addition, the photographing apparatus includes a display unit that displays a still image or a moving image of a subject by reproducing the image data generated by the imaging unit, and a recording unit that records various information such as an image signal or image data obtained by signal processing of the image signal. A communication unit that performs wireless or wired data communication with an external device.

撮影装置の通信部から送信された画像データは、外部装置によって受信される。外部装置としては、例えば、パーソナルコンピュータ（ＰＣ）やＰＤＡ（Personal Digital Assistants）等の表示機能を備えた各種情報処理装置、プリンタやデジタル複合機等の印刷機能を備えた画像処理装置、あるいはフラッシュメモリ（登録商標）や外付けハードディスク（ＨＤ）といった各種ストレージ等が挙げられる。   Image data transmitted from the communication unit of the photographing apparatus is received by an external apparatus. As an external device, for example, various information processing devices having a display function such as a personal computer (PC) or PDA (Personal Digital Assistants), an image processing device having a printing function such as a printer or a digital multifunction peripheral, or a flash memory (Registered trademark) and various storages such as an external hard disk (HD).

（実施の形態）
図１は、本実施の形態における撮影装置１の概略内部構成例を示すブロック図である。図１に示すように、撮影装置１は、１つ以上のレンズで構成される光学系（以下、この光学系を「レンズ１０１」と呼ぶ。）、撮像素子１０２、アクチュエータ１０３、アクチュエータ駆動回路１０４、撮像回路１０５、フラッシュ１０６、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）１０７と、手ブレ補正用ジャイロセンサ１０８、２つのＣＰＵ（Central Processing Unit）１１０，１２０、Ａ／Ｄ変換回路１３１、ＦＩＦＯメモリ１３２、フレームメモリ（ＳＤＲＡＭ）１３３、記録バッファ１３４、記録媒体インタフェース（Ｉ／Ｆ）１３５、記録媒体１３６、ＴＦＴ液晶駆動回路１４１、ビデオ出力回路１４２、バックライトユニット１４３、ＴＦＴ液晶パネル１４４、キーマトリクス１５０、ＬＣＤ（Liquid Crystal Display）表示回路１６１、ＬＣＤパネル１６２、外部有線データインターフェース（Ｉ／Ｆ）１６３、電池１７１、バックアップ電源１７２、電源回路１７３、電池状態検出回路１７４等を備える。この撮影装置１において、レンズ１０１、撮像素子１０２、撮像回路１０５およびＡ／Ｄ変換回路１３１を含む構成が撮像部を実現する。また、ＴＦＴ液晶駆動回路１４１、ビデオ出力回路１４２、バックライトユニット１４３、ＴＦＴ液晶パネル１４４、ＬＣＤ表示回路１６１およびＬＣＤパネル１６２を含む構成が表示部を実現する。また、記録バッファ１３４、記録媒体Ｉ／Ｆ１３５および記録媒体１３６を含む構成が記録部を実現する。 (Embodiment)
FIG. 1 is a block diagram illustrating an example of a schematic internal configuration of the imaging apparatus 1 according to the present embodiment. As shown in FIG. 1, the photographing apparatus 1 includes an optical system composed of one or more lenses (hereinafter, this optical system is referred to as “lens 101”), an image sensor 102, an actuator 103, and an actuator drive circuit 104. , Imaging circuit 105, flash 106, EEPROM (Electrically Erasable and Programmable Read Only Memory) 107, camera shake correction gyro sensor 108, two CPUs (Central Processing Unit) 110 and 120, A / D conversion circuit 131, FIFO memory 132, frame memory (SDRAM) 133, recording buffer 134, recording medium interface (I / F) 135, recording medium 136, TFT liquid crystal drive circuit 141, video output circuit 142, backlight unit 143, TFT liquid crystal panel 144, key matrix 150, LCD (Liquid Crystal Display) display A circuit 161, an LCD panel 162, an external wired data interface (I / F) 163, a battery 171, a backup power supply 172, a power supply circuit 173, a battery state detection circuit 174, and the like are provided. In the photographing apparatus 1, the configuration including the lens 101, the imaging element 102, the imaging circuit 105, and the A / D conversion circuit 131 implements an imaging unit. Further, the configuration including the TFT liquid crystal driving circuit 141, the video output circuit 142, the backlight unit 143, the TFT liquid crystal panel 144, the LCD display circuit 161, and the LCD panel 162 realizes a display unit. The configuration including the recording buffer 134, the recording medium I / F 135, and the recording medium 136 implements a recording unit.

レンズ１０１は、撮像素子１０２の受光面に光学的な被写体像を結像する。撮像素子１０２は、レンズ１０１によって受光面に結像される光学的な被写体像を電気信号に変換する光電変換処理を行うことで、電気的な画像信号を生成する。この撮像素子１０２としては、高速読み出しが可能な固体撮像素子、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、またはその他の各種撮像素子を用いることができる。   The lens 101 forms an optical subject image on the light receiving surface of the image sensor 102. The imaging element 102 generates an electrical image signal by performing a photoelectric conversion process for converting an optical subject image formed on the light receiving surface by the lens 101 into an electrical signal. As the image sensor 102, a solid-state image sensor capable of high-speed reading, for example, a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or other various image sensors can be used.

撮像回路１０５は、撮像素子１０２の各素子に蓄積された電荷を画像信号として読み出し、この画像信号に垂直同期信号および水平同期信号等を組み合わせる。このとき例えば、撮影時であれば全画素を読み出す全画素読み出しモードで撮像素子１０２を駆動し、後述する通常ライブビュー表示時であれば間引き読み出しモードで撮像素子１０２を駆動する。なお、読み出し直後の画像信号は、アナログ信号である。撮像回路１０５は、読み出した画像信号に対して各種アナログ信号処理を実行し、処理後の画像信号をＡ／Ｄ変換回路１３１に出力する。Ａ／Ｄ変換回路１３１は、撮像回路１０５から入力されたアナログの画像信号に対してＡ／Ｄ変換処理を実行し、画像データを得る。   The imaging circuit 105 reads out the electric charge accumulated in each element of the imaging element 102 as an image signal, and combines the image signal with a vertical synchronization signal, a horizontal synchronization signal, and the like. At this time, for example, the image sensor 102 is driven in an all-pixel read mode for reading all pixels during photographing, and is driven in a thinning-out read mode for normal live view display described later. Note that the image signal immediately after reading is an analog signal. The imaging circuit 105 performs various analog signal processing on the read image signal, and outputs the processed image signal to the A / D conversion circuit 131. The A / D conversion circuit 131 performs A / D conversion processing on the analog image signal input from the imaging circuit 105 to obtain image data.

以上のようにしてデジタル信号処理された画像データは、ＣＰＵ１２０、フレームメモリ１３３、ＦＩＦＯ（First-In First-Out）メモリ１３２または記録バッファ１３４に適宜入力される。Ａ／Ｄ変換回路１３１、ＣＰＵ１２０、フレームメモリ１３３、ＦＩＦＯメモリ１３２および記録バッファ１３４は、例えば内部バス１３０を介して相互に接続されている。   The image data subjected to the digital signal processing as described above is appropriately input to the CPU 120, the frame memory 133, the FIFO (First-In First-Out) memory 132, or the recording buffer 134. The A / D conversion circuit 131, the CPU 120, the frame memory 133, the FIFO memory 132, and the recording buffer 134 are connected to each other via an internal bus 130, for example.

フレームメモリ１３３は、Ａ／Ｄ変換回路１３１から出力された画像データ（この画像データに関する各種データ等を含んでもよい。以下、単に「画像データ」と呼ぶ。）や、記録媒体１３６から読み出された画像データを一時的に記録する。このフレームメモリ１３３には、例えばＳＤＲＡＭ（Synchronous ＤＲＡＭ）等の半導体記録素子等が適用される。   The frame memory 133 is read from the image data output from the A / D conversion circuit 131 (may include various data related to the image data, hereinafter simply referred to as “image data”) or the recording medium 136. The recorded image data is temporarily recorded. For example, a semiconductor recording element such as an SDRAM (Synchronous DRAM) is applied to the frame memory 133.

ＣＰＵ（画像処理部）１２０は、主に、画像データや各種データを取り扱う信号処理制御を実行する複数の集積回路により構成される。このＣＰＵ１２０は、Ａ／Ｄ変換回路１３１から入力され、あるいは記録媒体１３６から読み出されてフレームメモリに一時的に記録されている画像データに対して各種画像処理を施す。以下、ＣＰＵ１２０を「画像処理部１２０」とも呼ぶ。   The CPU (image processing unit) 120 is mainly composed of a plurality of integrated circuits that execute signal processing control for handling image data and various data. The CPU 120 performs various types of image processing on the image data input from the A / D conversion circuit 131 or read from the recording medium 136 and temporarily recorded in the frame memory. Hereinafter, the CPU 120 is also referred to as an “image processing unit 120”.

この画像処理部１２０は、画像圧縮伸長部１２１と、記録媒体アクセス処理部１２２と、表示フレームレート変換部１２３と、顔検出部としての画像認識部１２４とを含む。画像圧縮伸長部１２１は、フレームメモリ１３３に記録されている画像データに対して例えばＪＰＥＧ圧縮処理を行い、またはＪＰＥＧ圧縮処理されている画像データの伸長処理を行う。記録媒体アクセス処理部１２２は、記録媒体Ｉ／Ｆ１３５による記録媒体１３６へのアクセスを制御する。表示フレームレート変換部１２３は、撮影モードとして通常の撮影モードが設定されているのか、笑顔を検出する笑顔検出モードや瞳を検出するポートレートモードが設定されているのかに応じて撮影モード時に電子ファインダーとして画面表示する画像の表示フレームレートを変換するための処理を行う。   The image processing unit 120 includes an image compression / decompression unit 121, a recording medium access processing unit 122, a display frame rate conversion unit 123, and an image recognition unit 124 as a face detection unit. The image compression / decompression unit 121 performs, for example, JPEG compression processing on the image data recorded in the frame memory 133, or decompresses image data that has been subjected to JPEG compression processing. The recording medium access processing unit 122 controls access to the recording medium 136 by the recording medium I / F 135. The display frame rate conversion unit 123 is electronically controlled in the shooting mode depending on whether a normal shooting mode is set as the shooting mode, a smile detection mode for detecting a smile, or a portrait mode for detecting a pupil. A process for converting the display frame rate of an image displayed on the screen as a viewfinder is performed.

画像認識部１２４は、公知技術である顔検出処理を行って画像データ中に映る顔を検出し、顔検出結果である画像データの特徴情報として抽出する。顔検出処理は、例えば、パターンマッチングを適用して画像データ中の顔の領域（顔領域）を検出し、この顔領域の検出結果をもとに左右の目や鼻、唇等の各顔パーツを検出するものである。   The image recognition unit 124 performs face detection processing, which is a known technique, detects a face reflected in the image data, and extracts it as feature information of the image data that is a face detection result. In the face detection processing, for example, a face area (face area) in image data is detected by applying pattern matching, and each face part such as left and right eyes, nose, lips, etc. is detected based on the detection result of the face area. Is detected.

この画像認識部１２４は、特徴判定部の一例である表情検出部としての笑顔検出部１２５および瞳検出部１２６を含む。笑顔検出部１２５は、画像認識部１２４が行った顔検出結果である特徴情報をもとに公知の手法を用いて画像データ中の顔の表情を判別し、笑顔の顔を検出することによって、顔の表情が笑顔か否かを所定の特徴として判定する。瞳検出部１２６は、画像認識部１２４が行った顔検出結果である特徴情報をもとに公知の手法を用いて画像データ中の顔の瞳を検出することによって、瞳の有無を所定の特徴として検出する。   The image recognition unit 124 includes a smile detection unit 125 and a pupil detection unit 126 as facial expression detection units, which are examples of feature determination units. The smile detection unit 125 determines the facial expression in the image data using a known method based on the feature information that is the face detection result performed by the image recognition unit 124, and detects the smile face. Whether a facial expression is a smile is determined as a predetermined feature. The pupil detection unit 126 detects the presence of the pupil in the predetermined feature by detecting the face pupil in the image data using a known method based on the feature information that is the result of the face detection performed by the image recognition unit 124. Detect as.

ＦＩＦＯメモリ１３２は、表示対象とするフレームの画像データをＴＦＴ液晶パネル１４４やＬＣＤパネル１６２、外部画像表示装置２０１等の各種表示装置へと出力する際にこの画像データを一時的にバッファするためのものであり、いわゆるビデオメモリとして機能する。   The FIFO memory 132 temporarily buffers image data when outputting image data of a frame to be displayed to various display devices such as the TFT liquid crystal panel 144, the LCD panel 162, and the external image display device 201. It functions as a so-called video memory.

ＴＦＴ液晶駆動回路１４１は、ＦＩＦＯメモリ１３２から例えば１ライン毎に出力される画像データをもとにＴＦＴ液晶パネル１４４を駆動する。ＴＦＴ液晶パネル１４４は、ＴＦＴ液晶駆動回路１４１によって駆動され、表示対象の画像や各種情報等を表示する。このＴＦＴ液晶パネル１４４には、例えばカラー表示可能なパネルが適用される。また、バックライトユニット１４３は、ＴＦＴ液晶パネル１４４の背面側に設けられ、ＴＦＴ液晶パネル１４４を背面側から照明する。   The TFT liquid crystal drive circuit 141 drives the TFT liquid crystal panel 144 based on the image data output from the FIFO memory 132 for each line, for example. The TFT liquid crystal panel 144 is driven by the TFT liquid crystal driving circuit 141 and displays an image to be displayed, various information, and the like. For example, a panel capable of color display is applied to the TFT liquid crystal panel 144. The backlight unit 143 is provided on the back side of the TFT liquid crystal panel 144 and illuminates the TFT liquid crystal panel 144 from the back side.

ビデオ出力回路１４２は、ＦＩＦＯメモリ１３２からの画像データを例えばＮＴＳＣ形式のビデオ信号に変換する。また、ビデオ出力回路１４２は、変換したビデオ信号をビデオ出力端子１４５に接続された例えば外部画像表示装置２０１等の外部装置に出力する。ビデオ出力端子１４５は、ビデオ信号の伝送媒体であるビデオケーブル等の信号線が接続される接続端子である。   The video output circuit 142 converts the image data from the FIFO memory 132 into, for example, an NTSC format video signal. The video output circuit 142 outputs the converted video signal to an external device such as the external image display device 201 connected to the video output terminal 145. The video output terminal 145 is a connection terminal to which a signal line such as a video cable that is a transmission medium of a video signal is connected.

記録バッファ１３４は、フレームメモリ１３３に一時的に記録されている画像データを記録媒体１３６に画像データとして記録する際、あるいは記録媒体１３６から画像データを読み出してフレームメモリ１３３に一時的に記録する際等に用いるバッファ（一時記録領域）である。   The recording buffer 134 records image data temporarily recorded in the frame memory 133 as image data on the recording medium 136 or reads image data from the recording medium 136 and temporarily records it in the frame memory 133. This is a buffer (temporary recording area) used for the above.

記録媒体Ｉ／Ｆ１３５は、記録媒体１３６への画像データの記録処理や、記録媒体１３６からの画像データの読み出し処理等を制御するための回路である。   The recording medium I / F 135 is a circuit for controlling image data recording processing to the recording medium 136, image data reading processing from the recording medium 136, and the like.

記録媒体１３６は、画像データやその他の各種データを記録するストレージである。この記録媒体１３６には、例えば薄板形状またはカード形状からなるメモリカード等の不揮発性の記録媒体が適用され、撮影装置１に対して着脱自在のものや撮影装置１内部の電気回路に固設されるもの等、適宜採用してよい。   The recording medium 136 is a storage for recording image data and other various data. A non-volatile recording medium such as a memory card having a thin plate shape or a card shape is applied to the recording medium 136, and the recording medium 136 is detachable from the photographing apparatus 1 or fixed to an electric circuit inside the photographing apparatus 1. You may employ | adopt suitably.

ＣＰＵ１１０は、主（メイン）ＣＰＵとして配設されるものであり、撮影装置１の各部を適宜制御（コントロール）することでシステム全体を制御するシステムコントロール部１１１を含む。このシステムコントロール部１１１は、撮影画像取得部，スローライブビュー表示処理部，記録処理部として撮影装置１を構成する各部に対する指示やデータの転送等を行って撮影装置１の動作を統括的に制御する。   The CPU 110 is arranged as a main CPU, and includes a system control unit 111 that controls the entire system by appropriately controlling (controlling) each unit of the photographing apparatus 1. The system control unit 111 performs overall control of the operation of the photographing apparatus 1 by instructing each unit constituting the photographing apparatus 1 as a photographed image acquiring unit, a slow live view display processing unit, and a recording processing unit, transferring data, and the like. To do.

例えば、システムコントロール部１１１は、外部有線データＩ／Ｆ１６３を介してデータの入出力を制御する処理や、主電源である電池１７１の残量をＬＣＤパネル１６２等に表示する処理、アクチュエータ駆動回路１０４に対する動作指示を行ってレンズ１０１を駆動し、ＡＦ動作（焦点調節動作）や変倍動作を制御する処理、撮像部による撮影動作を制御して撮影画像の画像データを生成する処理、撮影の際の各種撮影条件を設定する処理、撮影画像の画像データをこれに付随する撮影日時等の撮影情報と合わせて画像データを含む画像ファイルを生成する処理、図示しない集音装置によって撮影時等に集音された音声信号をもとに音声ファイルを生成する処理、生成した画像ファイルや音声ファイル等の各種データファイルを適切な形態で記録媒体１３６に記録する処理、画像ファイルをもとに画像データや撮影情報をＴＦＴ液晶パネル１４４やＬＣＤパネル１６２、外部画像表示装置２０１に表示する処理、音声ファイルをもとに音声データを図示しないスピーカから音出力する処理等、撮影装置１による各種動作を制御する処理や撮影装置１が備える各種機能を実現するための処理を行う。   For example, the system control unit 111 controls the input / output of data via the external wired data I / F 163, the process of displaying the remaining amount of the battery 171 as the main power source on the LCD panel 162, and the actuator drive circuit 104. When the lens 101 is driven by instructing the operation of the camera, the AF operation (focus adjustment operation) and the zooming operation are controlled, the imaging operation by the imaging unit is controlled to generate image data of the captured image, Processing for setting various shooting conditions, processing for generating image files including image data by combining image data of captured images with shooting information such as shooting date and time associated therewith, and collecting at the time of shooting by a sound collector (not shown). Processing to generate an audio file based on the sound signal that was sounded, and various data files such as generated image files and audio files The process of recording on the recording medium 136, the process of displaying image data and shooting information on the TFT liquid crystal panel 144, the LCD panel 162, and the external image display device 201 based on the image file, and the sound data based on the sound file A process for controlling various operations by the photographing apparatus 1 and a process for realizing various functions provided in the photographing apparatus 1 are performed, such as a process of outputting sound from a speaker that does not.

また、システムコントロール部１１１は、時計部１１２を含む。時計部１１２は、日付や時刻を計時するためのものである。   The system control unit 111 includes a clock unit 112. The clock unit 112 is for measuring the date and time.

アクチュエータ１０３は、レンズ１０１を駆動し、被写体像のオートフォーカス（ＡＦ：自動焦点調節）動作や変倍動作等を行うための駆動源である。アクチュエータ駆動回路１０４は、システムコントロール部１１１の制御のもと、アクチュエータ１０３を駆動する回路である。すなわち、このアクチュエータ１０３およびアクチュエータ駆動回路１０４を含む構成によってレンズ１０１を光軸に沿って移動させることで、ＡＦ動作や変倍動作等が実現される。   The actuator 103 is a drive source for driving the lens 101 and performing an autofocus (AF: automatic focus adjustment) operation, a zooming operation, and the like of the subject image. The actuator drive circuit 104 is a circuit that drives the actuator 103 under the control of the system control unit 111. That is, by moving the lens 101 along the optical axis with a configuration including the actuator 103 and the actuator drive circuit 104, an AF operation, a zooming operation, and the like are realized.

ＥＥＰＲＯＭ１０７は、システムコントロール部１１１および画像処理部１２０である各ＣＰＵによって実行される処理プログラム（アプリケーションソフトウエア）や、この処理プログラムの実行中に使用される各種設定データや固有データ等が記録される。このＥＥＰＲＯＭ１０７には、例えば電気的に消去可能な不揮発性メモリである公知のフラッシュロム（Flash ＲＯＭ）等が適用される。   The EEPROM 107 records a processing program (application software) executed by each CPU, which is the system control unit 111 and the image processing unit 120, and various setting data and unique data used during the execution of the processing program. . For example, a known flash ROM which is an electrically erasable nonvolatile memory is applied to the EEPROM 107.

フラッシュ１０６は、撮影時に被写体を照明する光を放射する光源であり、例えばキセノンランプやＬＥＤ（Light Emitting Diode）等で構成される。手ブレ補正用ジャイロセンサ１０８は、撮影装置１に生じているヨー方向およびピッチ方向の角速度を検出する。そして、手ブレ補正用ジャイロセンサ１０８は、検出した角速度をもとに撮影装置１のブレを検出し、検出値をシステムコントロール部１１１に出力する。   The flash 106 is a light source that emits light that illuminates a subject at the time of shooting, and includes, for example, a xenon lamp, an LED (Light Emitting Diode), or the like. The camera shake correction gyro sensor 108 detects angular velocities in the yaw direction and the pitch direction generated in the photographing apparatus 1. Then, the camera shake correction gyro sensor 108 detects a shake of the photographing apparatus 1 based on the detected angular velocity, and outputs a detection value to the system control unit 111.

キーマトリクス１５０は、例えば通常の撮影モード、または笑顔検出モードやポートレートモードが設定された撮影モード等の各種撮影モードや再生モード等の撮影装置１の動作モードに関する設定操作や撮影条件の設定操作、撮影指示や動作モードの切換指示、電源投入／遮断指示といった撮影装置１に対する各種動作指示等、ユーザによる各種操作を入力するためのものであり、各種機能が割り当てられたボタンスイッチやスライドスイッチ、ダイヤル等の各種操作部材で構成される。   The key matrix 150 is a setting operation related to the operation mode of the imaging apparatus 1 such as a normal shooting mode, a shooting mode in which a smile detection mode or a portrait mode is set, or a playback mode, or a shooting condition setting operation. In order to input various operations by the user, such as various operation instructions to the photographing apparatus 1 such as a photographing instruction, an operation mode switching instruction, and a power on / off instruction, a button switch or a slide switch to which various functions are assigned, It consists of various operation members such as a dial.

すなわち、例えば、キーマトリクス１５０は、撮影準備指示を入力するためのファーストレリーズ１５１、セカンドレリーズ１５２、ズームボタン１５３およびモード選択ボタン１５４を含む。ファーストレリーズ１５１は、ユーザによるシャッタボタン（不図示）の半押しを検出するスイッチであり、セカンドレリーズ１５２は、このシャッタボタンの全押しを検出するスイッチである。例えばファーストレリーズ１５１によってシャッタボタンの半押しが検出された場合、システムコントロール部１１１の制御のもと、ＡＦ動作が行われる。一方、セカンドレリース１５２によってシャッタボタンの全押しが検出された場合には、システムコントロール部１１１の制御のもと、撮影動作が行われる。ズームボタン１５３は、撮影時に撮影倍率を変更（ズーム操作）するためのものである。なお、このズームボタン１５３は、再生モード時は、再生画像の拡大表示や縮小表示等の表示切換ボタンとして機能する。モード選択ボタン１５４は、通常の撮影モードと、笑顔検出モードやポートレートモードが設定された撮影モードとを切り換えて選択するためのものである。   That is, for example, the key matrix 150 includes a first release 151, a second release 152, a zoom button 153, and a mode selection button 154 for inputting a shooting preparation instruction. The first release 151 is a switch that detects a half-press of a shutter button (not shown) by the user, and the second release 152 is a switch that detects a full-press of the shutter button. For example, when half-press of the shutter button is detected by the first release 151, the AF operation is performed under the control of the system control unit 111. On the other hand, when the second release 152 detects that the shutter button is fully pressed, a shooting operation is performed under the control of the system control unit 111. The zoom button 153 is used to change the shooting magnification (zoom operation) during shooting. The zoom button 153 functions as a display switching button for enlarged display or reduced display of a playback image in the playback mode. The mode selection button 154 is used for switching between a normal shooting mode and a shooting mode in which a smile detection mode or a portrait mode is set.

この他、図示しないが、キーマトリクス１５０は、撮影装置１の電源状態をオン又はオフ状態に切り換える電源ボタンや、メニュー画面を呼び出す等の各種機能が割り当てられた各種操作ボタン、メニュー画面等における選択設定を行う四方向選択キー（十字キー）、これら各種操作部材による操作を確定するためのＯＫボタン等を適宜含む。十字キーは、上下左右の各方向ボタンを有する。   In addition, although not shown, the key matrix 150 is selected on a power button for switching the power state of the photographing apparatus 1 to an on or off state, various operation buttons assigned with various functions such as calling a menu screen, and a menu screen. A four-way selection key (cross key) for setting, an OK button for confirming operations by these various operation members, and the like are included as appropriate. The cross key has up / down / left / right direction buttons.

そして、このキーマトリクス１５０は、これら操作部材のそれぞれに連動して所定の指示信号を発生させるスイッチ部材や各スイッチ部材からの指示信号を伝達する電気回路等を含む。ユーザが操作することでキーマトリクス１５０が発生した各種指示信号は、システムコントロール部１１１に出力される。   The key matrix 150 includes a switch member that generates a predetermined instruction signal in conjunction with each of the operation members, an electric circuit that transmits the instruction signal from each switch member, and the like. Various instruction signals generated by the key matrix 150 by the user's operation are output to the system control unit 111.

ＬＣＤ表示回路１６１は、システムコントロール部１１１からの制御に従ってＬＣＤパネル１６２を駆動し、ＬＣＤパネル１６２に各種情報を表示処理する。ＬＣＤパネル１６２は、例えば小型の液晶表示装置（ＬＣＤ）等によって構成される。このＬＣＤパネル１６２には、例えば撮影装置１において設定済みの撮影条件、撮影時のシャッタ速度や絞り値等の露出に関する情報、現在設定されている動作モード情報、記録媒体１３６に記録可能な画像の枚数情報といった撮影装置１における各種設定値や日時情報等を表示する。   The LCD display circuit 161 drives the LCD panel 162 according to the control from the system control unit 111 and displays various information on the LCD panel 162. The LCD panel 162 is configured by, for example, a small liquid crystal display device (LCD). On this LCD panel 162, for example, shooting conditions set in the shooting apparatus 1, exposure information such as shutter speed and aperture value at the time of shooting, currently set operation mode information, and images that can be recorded on the recording medium 136 are displayed. Various setting values and date / time information in the photographing apparatus 1 such as the number information are displayed.

外部有線データＩ／Ｆ１６３は、外部装置との間で画像データの伝送（送受信）を行うための接続インタフェースである。この外部有線データＩ／Ｆ１６３には、例えばＵＳＢ（Universal Serial Bus）規格やＩＥＥＥ１３９４規格等に準拠したインタフェースが適用される。   The external wired data I / F 163 is a connection interface for transmitting (transmitting / receiving) image data to / from an external device. For example, an interface conforming to the USB (Universal Serial Bus) standard or the IEEE 1394 standard is applied to the external wired data I / F 163.

電池１７１は、撮影装置１における主（メイン）電源である。この電池１７１には、例えば乾電池等の一次電池や充電可能な蓄電池等の二次電池等が適用される。バックアップ電源１７２は、撮影装置１の内部メモリや内部時計等に対して常に電力を供給するために設けられた副（サブ）電源である。このバックアップ電源１７２からの電力は、例えば撮影装置１における各種設定値や日時情報等を保持し、あるいはＬＣＤパネル１６２等に常時表示するための電力として用いられる。   The battery 171 is a main power source in the photographing apparatus 1. For example, a primary battery such as a dry battery or a secondary battery such as a rechargeable storage battery is applied to the battery 171. The backup power source 172 is a sub power source provided to always supply power to the internal memory, the internal clock, and the like of the photographing apparatus 1. The power from the backup power source 172 is used, for example, as power for holding various setting values, date / time information, and the like in the photographing apparatus 1 or displaying them constantly on the LCD panel 162 or the like.

電源回路１７３は、システムコントロール部１１１の制御のもと、電池１７１またはバックアップ電源１７２からの電力を撮影装置１内部の各電気回路へ適宜供給する。電池状態検出回路１７４は、電池１７１からの電源電圧等から電池１７１の残量等の状態を検出し、この検出結果をシステムコントロール部１１１に出力する。   The power supply circuit 173 appropriately supplies power from the battery 171 or the backup power supply 172 to each electric circuit in the photographing apparatus 1 under the control of the system control unit 111. The battery state detection circuit 174 detects a state such as the remaining amount of the battery 171 from the power supply voltage from the battery 171 and outputs the detection result to the system control unit 111.

なお、撮影装置１は、上記した各構成の他、音声等の被写体が発する音を集音するための不図示の集音装置（マイクロフォン）を適宜備える。また、撮影装置１は、外部装置との間で無線による画像ファイル等のデータ信号の送受信を行うための不図示の無線通信装置を適宜備える。この無線通信装置としては、例えば、ワイヤレスＵＳＢ（ＷＵＳＢ）方式や、超広帯域（ＵＷＢ）無線接続方式、ＩｒＤＡ（intrared Data Association）方式による光無線接続等の各種通信規格の無線通信装置を適宜採用して用いることができる。   Note that, in addition to the above-described configurations, the photographing apparatus 1 appropriately includes a sound collecting device (microphone) (not shown) for collecting sounds such as sounds emitted by a subject. In addition, the photographing apparatus 1 appropriately includes a wireless communication apparatus (not shown) for transmitting and receiving a data signal such as an image file wirelessly with an external apparatus. As this wireless communication device, for example, wireless communication devices of various communication standards such as a wireless USB (WUSB) method, an ultra-wideband (UWB) wireless connection method, and an IrDA (intrared Data Association) method are adopted as appropriate. Can be used.

次に、以上のように構成される撮影装置１の撮影モードの１つである笑顔検出モードについて説明する。笑顔検出モードが設定された撮影モードでは、ファーストレリーズ１５１がＯＮされるまでの間は撮像素子１０２に結像されている被写体像をリアルタイムに画面表示する通常ライブビュー表示が行われる。そして、ファーストレリーズ１５１がＯＮされた場合には、ライブビュー画像の顔認識処理が行われるようになっている。この顔認識処理は、ファーストレリーズ１５１がＯＮされたままの間中行われ、ファーストレリーズ１５１がＯＮされている場合であって、この顔認識処理の結果ライブビュー画像中で笑顔の顔が検出された場合に、撮影画像の連写が開始される。この場合には、例えば所定の表示フレームレート（本実施の形態では、通常ライブビュー表示の表示フレームレートとしている３０ｆｐｓ（フレーム／秒））に応じた所定の撮影間隔（実施の形態では１／３０秒毎）で撮影画像（以下、笑顔検出モードで連写される撮影画像を「連写撮影画像」と呼ぶ。）の画像データが生成される。そして、得られた連写撮影画像の画像データからスロー対応ライブビュー画像の画像データが生成され、このスロー対応ライブビュー画像を用いたスローライブビュー表示が行われる。   Next, a smile detection mode, which is one of the shooting modes of the imaging apparatus 1 configured as described above, will be described. In the shooting mode in which the smile detection mode is set, normal live view display is performed in which the subject image formed on the image sensor 102 is displayed on the screen in real time until the first release 151 is turned on. When the first release 151 is turned on, the face recognition process for the live view image is performed. This face recognition process is performed while the first release 151 is ON. When the first release 151 is ON, a smiling face is detected in the live view image as a result of the face recognition process. In this case, continuous shooting of the captured image is started. In this case, for example, a predetermined shooting interval (in this embodiment, 1/30 in accordance with a predetermined display frame rate (in this embodiment, 30 fps (frame / second), which is a display frame rate for normal live view display)). Image data of a captured image (hereinafter, a captured image continuously shot in the smile detection mode is referred to as a “continuous captured image”) is generated every second. Then, image data of a slow-response live view image is generated from the obtained continuous-shot image data, and a slow live view display using the slow-response live view image is performed.

図２は、笑顔検出モードにおけるスローライブビュー表示を説明する図である。図２では、図２中に向かって左側において、笑顔検出モードが設定された場合であって、ファーストレリーズ１５１がＯＮされている場合に取り込まれたライブビュー画像として、４枚のライブビュー画像Ｉ1，Ｉ3，Ｉ5，Ｉ7をその取り込み順に示している。この各ライブビュー画像Ｉ1，Ｉ3，Ｉ5，Ｉ7には、表情の異なる顔の被写体が映されている。また、図２中に向かって右側において、左側の各ライブビュー画像Ｉ1，Ｉ3，Ｉ5，Ｉ7が取り込まれた場合に生成されるスロー対応ライブビュー画像ＩD1，ＩD3，ＩD5，ＩD7を表示順に示している。 FIG. 2 is a diagram for explaining slow live view display in the smile detection mode. In FIG. 2, four live view images I are captured as live view images when the smile detection mode is set on the left side in FIG. 2 and the first release 151 is turned on. 1 , I 3 , I 5 , and I 7 are shown in the order of incorporation. In each live view image I 1 , I 3 , I 5 , I 7 , subjects with different facial expressions are shown. Further, on the right side in FIG. 2, the slow corresponding live view images I D1 , I D3 , I D5 generated when the left live view images I 1 , I 3 , I 5 , I 7 are captured. , ID7 are shown in the order of display.

前述のように、撮影モードとして笑顔検出モードが設定されている場合には、ファーストレリーズ１５１がＯＮされている場合に顔認識処理を行い、被写体に含まれる顔の表情を判別するようになっている。そして、ファーストレリーズ１５１がＯＮされたままの場合であって、ライブビュー画像中で笑顔の顔が検出された場合に、連写撮影処理を開始して連写撮影画像を生成するとともに、生成した連写撮影画像をもとに、スロー対応ライブビュー画像を生成していく。   As described above, when the smile detection mode is set as the shooting mode, the face recognition process is performed when the first release 151 is turned on to determine the facial expression included in the subject. Yes. When the first release 151 is still ON and a smiling face is detected in the live view image, the continuous shooting process is started to generate the continuous shooting image and the generated Based on the continuous shot images, a slow view live view image is generated.

例えば、図２に示すライブビュー画像Ｉ1，Ｉ3，Ｉ7のように、ライブビュー画像Ｉ1，Ｉ3，Ｉ7中に顔が含まれ、且つ笑顔である間は、連写撮影処理が行われて連写撮影画像が生成される。そして、この連写撮影画像をもとに、スロー対応ライブビュー画像ＩD1，ＩD3，ＩD7が生成されるようになっている。一方で、ファーストレリーズ１５１がＯＮされたままの場合であっても、笑顔の顔が検出されない場合には、連写撮影処理を行わない。 For example, as a live view image I 1, I 3, I 7 shown in FIG. 2, includes a face in the live view image I 1, I 3, I 7, and while a smile, continuous shooting process Is performed to generate a continuous shot image. Then, based on the continuous shot images, the slow corresponding live view images I D1 , I D3 , and I D7 are generated. On the other hand, even if the first release 151 remains on, if a smiling face is not detected, continuous shooting processing is not performed.

そして、この笑顔検出モードが設定されている場合、ファーストレリーズ１５１がＯＮされたままの間は、得られた連写撮影画像から生成したスロー対応ライブビュー画像ＩD1，ＩD3・・・を１／３０秒毎に画面表示していくが、このとき、図２に示すように、各スロー対応ライブビュー画像ＩD1，ＩD3・・・の表示をそれぞれ所定回数（例えば３回）ずつ行う。すなわち、ライブビュー画像Ｉ1が取り込まれ、このライブビュー画像Ｉ1中で笑顔の顔が検出されたことでそのときの連写撮影画像が生成されるとともに、この連写撮影画像からスロー対応ライブビュー画像ＩD1が生成されると、このスロー対応ライブビュー画像ＩD1を１／３０秒毎のタイミングで３回表示する。同様に、ライブビュー画像Ｉ3が取り込まれ、このライブビュー画像Ｉ3中で笑顔の顔が検出されたことでそのときの連写撮影画像が生成されるとともに、この連写撮影画像からスロー対応ライブビュー画像ＩD3が生成されると、このスロー対応ライブビュー画像ＩD3を１／３０秒毎のタイミングで３回表示する。また、続くライブビュー画像Ｉ5中の顔は泣き顔であるため、連写撮影処理が行われずスロー対応ライブビュー画像の表示は行なわれない。その後、ライブビュー画像Ｉ7が取り込まれ、このライブビュー画像Ｉ7中で笑顔の顔が検出されたことでそのときの連写撮影画像が生成されるとともに、この連写撮影画像からスロー対応ライブビュー画像ＩD7が生成されると、このスロー対応ライブビュー画像ＩD7を１／３０秒毎のタイミングで３回表示する。なお、ここでは各スロー対応ライブビュー画像を３回ずつ表示する場合を例示したが、この値は適宜設定することとしてよい。 When this smile detection mode is set, while the first release 151 is kept ON, the slow-corresponding live view images I D1 , I D3. The screen is displayed every 30 seconds. At this time, as shown in FIG. 2, each slow corresponding live view image I D1 , I D3 ... Is displayed a predetermined number of times (for example, three times). That is, the live view image I 1 is captured, and a smiling face is detected in the live view image I 1 , so that a continuous shot image at that time is generated, and a slow-response live image is generated from the continuous shot image. When the view image I D1 is generated, the slow corresponding live view image I D1 is displayed three times at a timing of 1/30 seconds. Similarly, when a live view image I 3 is captured, and a smiling face is detected in the live view image I 3 , a continuous shot image at that time is generated, and the continuous shot image is used as a slow response. When the live view image ID3 is generated, the slow corresponding live view image ID3 is displayed three times at a timing of every 1/30 seconds. In addition, since the face in the subsequent live view image I 5 is a crying face, the continuous shooting process is not performed and the slow-response live view image is not displayed. After that, the live view image I 7 is captured, and when a smiling face is detected in the live view image I 7 , a continuous shot image at that time is generated, and the slow corresponding live image is generated from the continuous shot image. When the view image ID7 is generated, the slow corresponding live view image ID7 is displayed three times at a timing of 1/30 seconds. In addition, although the case where each slow view live view image is displayed three times is illustrated here, this value may be set as appropriate.

このように、本実施の形態では、実際の表示フレームレート（３０ｆｐｓ）は変更せずに、０コマ目から順番に各スロー対応ライブビュー画像を３回ずつ表示する処理を行うことで各スロー対応ライブビュー画像の表示間隔を撮影間隔の３倍にし（表示フレームレートを１／３の速度に変換し）、ライブビュー画像のスロー表示（スローライブビュー表示）を実現している。さらにこのとき、ライブビュー画像をもとに被写体の表情を判別し、笑顔の顔が検出されたフレームのみを対象として連写撮影画像の生成およびスローライブビュー表示を行う。そして、セカンドレリーズ１５２がＯＮされた場合には、そのときに画面表示されているスロー対応ライブビュー画像に対応する連写撮影画像を撮影画像として記録媒体１３６に記録する。例えば、図２に示すスロー対応ライブビュー画像ＩD3の表示中にセカンドレリーズ１５２がＯＮされた場合には、スロー対応ライブビュー画像ＩD3の生成に用いた連写撮影画像が記録されるのである。 As described above, in this embodiment, the actual display frame rate (30 fps) is not changed, and each slow-corresponding live view image is displayed three times in order starting from the 0th frame. The live view image display interval is three times the shooting interval (the display frame rate is converted to 1/3 speed), and the live view image is displayed slowly (slow live view display). Further, at this time, the expression of the subject is discriminated based on the live view image, the continuous shot image is generated and the slow live view display is performed only for the frame in which the smiling face is detected. When the second release 152 is turned on, a continuous shot image corresponding to the slow-response live view image displayed on the screen at that time is recorded on the recording medium 136 as a shot image. For example, when the second release 152 is turned on while the slow-response live view image I D3 shown in FIG. 2 is displayed, the continuous shot image used to generate the slow-response live view image I D3 is recorded. .

これによれば、ユーザは、撮影モードとして笑顔検出モードを設定することによって、実際の被写体の動きよりも遅い速度で、且つ笑顔の顔が検出されたフレームのみがスロー表示されるスローライブビュー画像を見ながら撮影を行う（撮影タイミングを指示する）ことができる。ここで、笑顔の顔が検出されたフレームのみを表示するのは、笑顔の顔が映るフレームがユーザにとってシャッターチャンスであると想定できるためである。ただし、笑顔に限らず、別の表情を検出したフレームをスローライブビュー表示するようにしてもよい。この場合には、所望の表情を適宜設定しておけばよい。したがって、被写体の動きが速い場合であっても、シャッターチャンスを逃すことなく確実に記録することができるという効果を奏する。   According to this, when the user sets the smile detection mode as the shooting mode, the slow live view image in which only the frame in which the smile face is detected is displayed at a slower speed than the actual movement of the subject. It is possible to take a picture (instructing the photographing timing) while looking at the image. Here, the reason why only the frame in which the smiling face is detected is displayed is that it can be assumed that the frame in which the smiling face is reflected is a photo opportunity for the user. However, not only a smile but also a frame in which another facial expression is detected may be displayed in slow live view. In this case, a desired facial expression may be set as appropriate. Therefore, even when the movement of the subject is fast, there is an effect that recording can be performed reliably without missing a photo opportunity.

なお、この笑顔検出モードでは、顔が検出されている限り連写撮影画像から生成したスロー対応ライブビュー画像を１／３０秒毎の表示タイミングで３回ずつ表示していくため、ファーストレリーズ１５１がＯＮされたままの状態が長く続き、笑顔の顔が検出され続けるほど表示画面上に現れる被写体が実際の被写体像とずれていく。そこで、本実施の形態では、ユーザが撮像対象として狙う被写体が変化した場合を想定してスローライブビュー表示をリセットすることでこのズレの解消を図る。例えば本実施の形態では、ズーム操作が入力されたときをユーザが撮像対象として狙う被写体を変えたときとして想定し、生成済みの連写撮影画像およびスロー対応ライブビュー画像を消去してスローライブビュー表示をリセットする。また、ファーストレリーズ１５１がＯＦＦされた場合もユーザが狙う被写体を変えたと想定する。この場合には、生成済みの連写撮影画像およびスロー対応ライブビュー画像を消去した後、再度ファーストレリーズ１５１がＯＮされ、且つライブビュー画像中で笑顔の顔が検出されるまで通常ライブビュー表示に戻る。   In this smile detection mode, as long as a face is detected, the slow-response live view image generated from the continuous shot image is displayed three times at a display timing of every 1/30 seconds. The state of being turned on continues for a long time, and the subject that appears on the display screen shifts from the actual subject image as the smiling face continues to be detected. Therefore, in the present embodiment, the shift is eliminated by resetting the slow live view display on the assumption that the subject that the user aims to capture changes. For example, in the present embodiment, it is assumed that the user has changed the subject to be imaged when the zoom operation is input, and the generated continuous shot image and the slow-capable live view image are deleted and the slow live view is deleted. Reset the display. In addition, it is assumed that the subject aimed by the user is changed even when the first release 151 is turned off. In this case, after the generated continuous shot image and the slow view live view image are deleted, the first release 151 is turned on again, and the normal live view display is displayed until a smiling face is detected in the live view image. Return.

次に、撮影装置１の動作について説明する。図３は、撮影装置１の基本動作を示すフローチャートである。撮影装置１では、キーマトリクス１５０を構成する不図示の電源ボタンが操作されて電源投入が指示されると、電源回路１７３による各部への電源供給が開始される。そして、図３に示すように、先ずシステムコントロール部１１１が、内部回路の初期化等を行って撮影装置１の動作環境を設定する（ステップａ１）。その後、撮影モードとなり、例えば１／３０秒毎にステップａ３〜ステップａ１９の処理が繰り返し行われる。   Next, the operation of the photographing apparatus 1 will be described. FIG. 3 is a flowchart showing the basic operation of the photographing apparatus 1. In the photographing apparatus 1, when a power button (not shown) constituting the key matrix 150 is operated to turn on the power, the power supply circuit 173 starts supplying power to each unit. Then, as shown in FIG. 3, first, the system control unit 111 initializes an internal circuit and sets the operating environment of the photographing apparatus 1 (step a1). Thereafter, the photographing mode is set, and the processing of step a3 to step a19 is repeated every 1/30 seconds, for example.

撮影モードでは先ず、システムコントロール部１１１は、撮影モードの設定を判定する。通常の撮影モード等の笑顔検出モード以外の撮影モードが設定されている場合には（ステップａ３：Ｎｏ）、通常のライブビュー画像表示状態となり（通常ライブビュー表示）、ＴＦＴ液晶パネル１４４に対してライブビュー画像の表示が継続的に行なわれる（ステップａ５）。すなわち、システムコントロール部１１１は、撮像素子１０２に結像されている被写体像の画像データを例えば間引き読み出し処理してフレームメモリ１３３に一時的に記録するとともに、ライブビュー画像としてＴＦＴ液晶パネル１４４に表示する一連の処理を１／３０秒毎に繰り返し行う。ここで、ライブビュー画像とは、撮像部からリアルタイムに取り込まれる画像データのことである。ここでの処理によって、被写体像の画像データが所定の表示フレームレート（ここでは３０ｆｐｓ）でリアルタイムに連続表示され、通常ライブビュー表示が実現される。   In the shooting mode, first, the system control unit 111 determines the setting of the shooting mode. When a shooting mode other than the smile detection mode such as the normal shooting mode is set (step a3: No), the normal live view image display state is set (normal live view display), and the TFT liquid crystal panel 144 is displayed. The live view image is continuously displayed (step a5). That is, the system control unit 111 performs, for example, thinning-out reading processing on the image data of the subject image formed on the image sensor 102 and temporarily records it in the frame memory 133 and displays it on the TFT liquid crystal panel 144 as a live view image. A series of processing is repeated every 1/30 seconds. Here, the live view image is image data captured in real time from the imaging unit. By this processing, the image data of the subject image is continuously displayed in real time at a predetermined display frame rate (here, 30 fps), and normal live view display is realized.

続いてシステムコントロール部１１１は、撮影処理を行う（ステップａ７）。この撮影処理では、システムコントロール部１１１は、ファーストレリーズ１５１がＯＮされた場合にＡＦ動作を制御する。これによって撮影装置１は、ピント合わせが固定された焦点調節状態（ＡＦロック）となる。そして、システムコントロール部１１１は、セカンドレリーズ１５２がＯＮされた時点で撮像部による撮影動作を制御し、露出を制御して画像データの全画素読み出し処理を行う。これにより、セカンドレリーズ１５２がＯＮされたタイミングの撮影範囲の画像データが撮影画像の画像データとして生成され、フレームメモリ１３３に一時的に記録される。この画像データは、画像処理部１２０によって必要な画像処理が施された後、記録媒体１３６に記録される。   Subsequently, the system control unit 111 performs a photographing process (step a7). In this photographing process, the system control unit 111 controls the AF operation when the first release 151 is turned on. As a result, the photographing apparatus 1 enters a focus adjustment state (AF lock) in which focusing is fixed. Then, the system control unit 111 controls the photographing operation by the imaging unit when the second release 152 is turned on, and controls the exposure to perform the all-pixel reading process of the image data. As a result, image data of the shooting range at the timing when the second release 152 is turned on is generated as image data of the shot image, and is temporarily recorded in the frame memory 133. The image data is recorded on the recording medium 136 after necessary image processing is performed by the image processing unit 120.

一方、笑顔検出モードが設定されている場合には（ステップａ３：Ｙｅｓ）、スローライブビュー対応モード処理に移る（ステップａ９）。   On the other hand, when the smile detection mode is set (step a3: Yes), the process proceeds to the slow live view compatible mode process (step a9).

また、撮影モード中にキーマトリクス１５０によって撮影モードの設定操作が入力された場合には（ステップａ１１：Ｙｅｓ）、システムコントロール部１１１がモード設定変更処理を行い、撮影モードの設定を変更する（ステップａ１３）。例えば、システムコントロール部１１１は、メニュー画面をＴＦＴ液晶パネル１４４やＬＣＤパネル１６２に表示処理して動作モードの設定メニューや撮影条件の設定メニュー等の各種メニュー項目を提示する。そして、キーマトリクス１５０に対する操作入力に従い、選択されたメニュー項目に応じた処理を行って動作モードの設定や撮影条件の設定・変更等を行う。通常の撮影モード、あるいは笑顔検出モードやポートレートモード等の撮影モードの設定は、ここで行われる。   If an operation for setting the shooting mode is input by the key matrix 150 during the shooting mode (step a11: Yes), the system control unit 111 performs a mode setting change process to change the setting of the shooting mode (step). a13). For example, the system control unit 111 displays a menu screen on the TFT liquid crystal panel 144 and the LCD panel 162 and presents various menu items such as an operation mode setting menu and a shooting condition setting menu. Then, in accordance with an operation input to the key matrix 150, processing corresponding to the selected menu item is performed to set an operation mode, set / change shooting conditions, and the like. The normal shooting mode or shooting mode settings such as a smile detection mode and a portrait mode are set here.

また、キーマトリクス１５０によって動作モードの切換指示が入力され、再生モードが設定されると（ステップａ１５：Ｙｅｓ）、再生処理に移り、例えば、キーマトリクス１５０に対する操作入力に従って再生対象の撮影画像を決定し、その画像データを記録媒体１３６から読み出してＴＦＴ液晶パネル１４４や外部画像表示装置２０１に表示（再生）する処理を行う（ステップａ１７）。   When the operation mode switching instruction is input by the key matrix 150 and the reproduction mode is set (step a15: Yes), the process proceeds to the reproduction process. For example, the captured image to be reproduced is determined according to the operation input to the key matrix 150. The image data is read from the recording medium 136 and displayed (reproduced) on the TFT liquid crystal panel 144 or the external image display device 201 (step a17).

そして、ステップａ１９では、電源遮断指示を監視し、電源ボタンが操作されて電源遮断（パワーＯＦＦ）が指示された場合には（ステップａ１９：Ｙｅｓ）、基本動作を終える。この場合には電源回路１７３による各部の電源供給が停止され、撮影装置１はパワーＯＦＦ状態へと遷移する。パワーＯＦＦされなければ（ステップａ１９：Ｎｏ）、ステップａ３に戻る。   In step a19, the power-off instruction is monitored. When the power button is operated to instruct power-off (power OFF) (step a19: Yes), the basic operation is finished. In this case, power supply to each unit by the power supply circuit 173 is stopped, and the photographing apparatus 1 transitions to a power OFF state. If the power is not turned off (step a19: No), the process returns to step a3.

次に、図３のステップａ９のスローライブビュー対応モード処理について説明する。図４は、スローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。本実施の形態のスローライブビュー対応モード処理では、図４に示すように、先ずシステムコントロール部１１１が、ファーストレリーズ１５１のＯＮ操作を判定する。ＯＮされなければ（ステップｂ１：Ｎｏ）、図３のステップａ５と同様の要領で、撮像素子１０２に結像されている被写体像をリアルタイムに画面表示する通常ライブビュー表示を行う（ステップｂ３）。その後、図３のステップａ９にリターンし、ステップａ１１に移行する。   Next, the slow live view corresponding mode processing in step a9 in FIG. 3 will be described. FIG. 4 is a flowchart showing a detailed processing procedure of the slow live view compatible mode processing. In the slow live view compatible mode process of the present embodiment, as shown in FIG. 4, first, the system control unit 111 determines an ON operation of the first release 151. If it is not turned on (step b1: No), normal live view display is performed in which the subject image formed on the image sensor 102 is displayed on the screen in real time in the same manner as in step a5 in FIG. 3 (step b3). Thereafter, the process returns to step a9 in FIG. 3 and proceeds to step a11.

一方、ファーストレリーズ１５１がＯＮされた場合には（ステップｂ１：Ｙｅｓ）、ＯＮされたままの間は、１／３０秒毎にステップｂ５〜ステップｂ４１の処理が繰り返し行われる。   On the other hand, when the first release 151 is turned on (step b1: Yes), the processing from step b5 to step b41 is repeated every 1/30 seconds while the first release 151 is kept on.

すなわち先ず、システムコントロール部１１１は、初期化処理を行う（ステップｂ５）。本実施の形態では、システムコントロール部１１１が、撮連写撮影画像のコマ番号を示すカウンタ値ｎ、スロー対応ライブビュー画像のコマ番号を示すカウンタ値ｘおよび表示中のスロー対応ライブビュー画像のコマ番号を得るためのカウンタ値ｔをそれぞれ初期値“０”に初期化する。このとき、システムコントロール部１１１は、ＡＦ動作の制御を行い、撮影装置１はＡＦロックの状態となる。   That is, first, the system control unit 111 performs an initialization process (step b5). In the present embodiment, the system control unit 111 counts the counter value n indicating the frame number of the continuous shooting captured image, the counter value x indicating the frame number of the slow corresponding live view image, and the frame of the slow corresponding live view image being displayed. Each counter value t for obtaining a number is initialized to an initial value “0”. At this time, the system control unit 111 controls the AF operation, and the photographing apparatus 1 is in the AF lock state.

続いて、ライブビュー画像を取り込んで顔認識処理を行う（ステップｂ７）。例えば先ず、システムコントロール部１１１が、撮像素子１０２に結像されている被写体像を間引き読み出し処理する。そして、ここでの処理の結果フレームメモリ１３３に一時的に記録されたライブビュー画像について画像認識部１２４が顔認識処理を行う。すなわち画像認識部１２４は、取り込んだライブビュー画像の画像データについて顔検出処理を行う。そして、笑顔検出部１２５が、顔検出結果をもとに、ライブビュー画像中に含まれる顔の表情を判別する。   Subsequently, a live view image is captured and face recognition processing is performed (step b7). For example, first, the system control unit 111 performs thinning-out reading processing on the subject image formed on the image sensor 102. Then, the image recognition unit 124 performs face recognition processing on the live view image temporarily recorded in the frame memory 133 as a result of the processing here. That is, the image recognition unit 124 performs face detection processing on the captured image data of the live view image. Then, the smile detection unit 125 determines the facial expression included in the live view image based on the face detection result.

そして、笑顔検出部１２５が取り込んだライブビュー画像中で笑顔の顔を検出した場合には（ステップｂ９：Ｙｅｓ）、続いてシステムコントロール部１１１は、連写撮影処理を行う（ステップｂ１１）。すなわち、システムコントロール部１１１は、撮像部による撮影動作を制御し、露出を制御して画像データの全画素読み出し処理を行う。この結果、笑顔検出モードが設定された撮影モードでは、ファーストレリーズ１５１がＯＮされたままの状態で、且つそのときに取り込んだライブビュー画像中で笑顔の顔を検出している間は、１／３０秒毎にそのときの撮影範囲の画像が連写撮影画像として生成されることとなる。また、画像処理部１２０が、ステップｂ１１で生成された連写撮影画像の画像データをもとに、スロー対応ライブビュー画像の画像データを生成する（ステップｂ１３）。例えば、連写撮影画像を所定の画素数に間引き処理してスロー対応ライブビュー画像を生成する。   Then, when a smiling face is detected in the live view image captured by the smile detection unit 125 (step b9: Yes), the system control unit 111 performs a continuous shooting process (step b11). That is, the system control unit 111 controls the photographing operation by the imaging unit, controls the exposure, and performs the all-pixel reading process of the image data. As a result, in the shooting mode in which the smile detection mode is set, while the first release 151 is kept on and the smiley face is detected in the live view image captured at that time, the 1 / Every 30 seconds, an image in the shooting range at that time is generated as a continuous shot image. In addition, the image processing unit 120 generates image data of the slow-corresponding live view image based on the image data of the continuous shot image generated in step b11 (step b13). For example, the continuous shot image is thinned out to a predetermined number of pixels to generate a slow live view image.

なお、このとき、システムコントロール部１１１は、カウンタ値ｎをコマ番号として画像処理部１２０に通知するようになっており、画像処理部１２０は、得られたｎコマ目の連写撮影画像およびスロー対応ライブビュー画像をシステムコントロール部１１１から通知されたコマ番号と対応付けて記録バッファ１３４に記録処理する。例えば、最初にステップｂ９でＹｅｓと判定された場合であればコマ番号は“０”となり、ステップｂ７で先頭の０コマ目の連写撮影画像が生成され、ステップｂ９でこの０コマ目のスロー対応ライブビュー画像が生成される。   At this time, the system control unit 111 notifies the image processing unit 120 of the counter value n as a frame number, and the image processing unit 120 obtains the obtained n-th continuous shooting image and the slow shot image. The corresponding live view image is recorded in the recording buffer 134 in association with the frame number notified from the system control unit 111. For example, if “Yes” is first determined in step b9, the frame number is “0”, and the first continuous shooting image of the 0th frame is generated in step b7. A corresponding live view image is generated.

続いて、システムコントロール部１１１が、カウンタ値ｎおよびカウンタ値ｔをそれぞれインクリメントして更新するとともに（ステップｂ１５）、表示フレームレート変換部１２３が、更新後のカウンタ値ｔを３で除した商をｘに代入して更新する（ステップｂ１６）。そして、表示フレームレート変換部１２３は、ｘの値がコマ番号として対応付けられたｘコマ目のスロー対応ライブビュー画像を記録バッファ１３４から読み出してＴＦＴ液晶パネル１４４に表示処理する（ステップｂ１７）。   Subsequently, the system control unit 111 increments and updates the counter value n and the counter value t (step b15), and the display frame rate conversion unit 123 calculates the quotient obtained by dividing the updated counter value t by 3. Update by substituting x (step b16). Then, the display frame rate conversion unit 123 reads out the slow-corresponding live view image of the x-th frame associated with the value of x as the frame number from the recording buffer 134, and performs display processing on the TFT liquid crystal panel 144 (step b17).

その後、システムコントロール部１１１は、セカンドレリーズ１５２のＯＮ操作を判定し、ＯＮされた場合であれば（ステップｂ１９：Ｙｅｓ）、表示中のスロー対応ライブビュー画像のコマ番号に対応するｘコマ目の連写撮影画像を撮影画像として記録媒体１３６に記録処理する（ステップｂ２１）。   Thereafter, the system control unit 111 determines whether the second release 152 is turned on. If the second release 152 is turned on (step b19: Yes), the x-th frame corresponding to the frame number of the slow-response live view image being displayed is displayed. The continuous shot image is recorded on the recording medium 136 as a captured image (step b21).

また、セカンドレリーズ１５２がＯＮされなければ（ステップｂ１９：Ｎｏ）、システムコントロール部１１１は、ファーストレリーズ１５１のＯＦＦ操作を判定する。そして、ファーストレリーズ１５１がＯＦＦされた場合には（ステップｂ２３：Ｙｅｓ）、システムコントロール部１１１は、記録バッファ１３４に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去する処理（リセット処理）を行い、スローライブビュー表示をリセットする（ステップｂ２５）。このとき、ＡＦロックの状態が解除される。その後、図３のステップａ９にリターンし、ステップａ１１に移行する。   If the second release 152 is not turned on (step b19: No), the system control unit 111 determines the first release 151 is turned off. When the first release 151 is turned off (step b23: Yes), the system control unit 111 deletes the generated continuous shot image and the slow live view image that have been recorded in the recording buffer 134. (Reset processing) is performed to reset the slow live view display (step b25). At this time, the AF lock state is released. Thereafter, the process returns to step a9 in FIG. 3 and proceeds to step a11.

一方、ファーストレリーズ１５１がＯＮされたままであれば（ステップｂ２３：Ｎｏ）、続いてシステムコントロール部１１１は、ズーム操作（ズームボタン１５３の操作）を検出する（ステップｂ２６）。そして、ステップｂ２６でズーム操作を検出した場合には（ステップｂ２７：Ｙｅｓ）、後述するステップｂ４１に移行し、システムコントロール部１１１がスローライブビュー表示をリセットする。その後、ステップｂ５に戻って初期化処理を行い、次フレームの顔認識処理に移る。一方、ズーム操作を検出しない場合であれば（ステップｂ２７：Ｎｏ）、ステップｂ７に戻って次フレームの顔認識処理に移る。   On the other hand, if the first release 151 remains ON (step b23: No), the system control unit 111 detects a zoom operation (operation of the zoom button 153) (step b26). If the zoom operation is detected in step b26 (step b27: Yes), the process proceeds to step b41 described later, and the system control unit 111 resets the slow live view display. Thereafter, the process returns to step b5 to perform initialization processing, and the process proceeds to face recognition processing for the next frame. On the other hand, if the zoom operation is not detected (step b27: No), the process returns to step b7 to move to the face recognition process for the next frame.

また、ステップｂ７の顔認識処理の結果ライブビュー画像中で笑顔の顔が検出されない場合には（ステップｂ９：Ｎｏ）、システムコントロール部１１１は、カウンタ値ｎを判定する。そして、カウンタ値ｎが“０”の場合、すなわちファーストレリーズ１５１がＯＮされてから１度も笑顔の顔が検出されておらず、連写撮影処理が行われていない場合には（ステップｂ２８：Ｙｅｓ）、システムコントロール部１１１は、図３のステップａ５と同様の要領で、撮像素子１０２に結像されている被写体像をリアルタイムに画面表示する通常ライブビュー表示を行う（ステップｂ２９）。   If no smiling face is detected in the live view image as a result of the face recognition process in step b7 (step b9: No), the system control unit 111 determines the counter value n. When the counter value n is “0”, that is, when the first release 151 is turned on, a smiling face has not been detected and the continuous shooting process has not been performed (step b28: Yes), the system control unit 111 performs normal live view display in which the subject image formed on the image sensor 102 is displayed on the screen in real time in the same manner as in step a5 in FIG. 3 (step b29).

その後、システムコントロール部１１１は、セカンドレリーズ１５２のＯＮ操作を判定し、ＯＮされた場合であれば（ステップｂ３１：Ｙｅｓ）、撮像部による撮影動作を制御する（ステップｂ３３）。すなわち、システムコントロール部１１１は、露出を制御して画像データの全画素読み出し処理を行う。これにより、このときの撮影範囲の画像データが撮影画像の画像データとして生成され、画像処理部１２０によって必要な画像処理が施された後、記録媒体１３６に記録される。その後、図３のステップａ９にリターンし、ステップａ１１に移行する。   Thereafter, the system control unit 111 determines whether the second release 152 is turned on. If the second release 152 is turned on (step b31: Yes), the system control unit 111 controls the photographing operation by the imaging unit (step b33). That is, the system control unit 111 controls the exposure and performs an all-pixel reading process of the image data. As a result, the image data of the photographing range at this time is generated as image data of the photographed image, and after necessary image processing is performed by the image processing unit 120, the image data is recorded on the recording medium 136. Thereafter, the process returns to step a9 in FIG. 3 and proceeds to step a11.

また、セカンドレリーズ１５２がＯＮされなければ（ステップｂ３１：Ｎｏ）、システムコントロール部１１１は、ファーストレリーズ１５１のＯＦＦ操作を判定する。そして、ファーストレリーズ１５１がＯＦＦされた場合には（ステップｂ３５：Ｙｅｓ）、図３のステップａ９にリターンしてステップａ１１に移行する。一方、ファーストレリーズ１５１がＯＦＦされなければ（ステップｂ３５：Ｎｏ）、ステップｂ７に戻って次フレームの顔認識処理に移る。   If the second release 152 is not turned on (step b31: No), the system control unit 111 determines the first release 151 is turned off. If the first release 151 is turned off (step b35: Yes), the process returns to step a9 in FIG. 3 and proceeds to step a11. On the other hand, if the first release 151 is not turned off (step b35: No), the process returns to step b7 to move to the face recognition process for the next frame.

また、カウンタ値ｎが“０”でない場合には（ステップｂ２８：Ｎｏ）、カウンタ値ｎがカウンタ値ｘと一致しているか否かを判定する。ここで、カウンタ値ｎがカウンタ値ｘと一致していないということは、生成済みの連写撮影画像の最終のコマ番号が、表示中のスロー対応ライブビュー画像のコマ番号と一致していない。このため、生成済みの各コマのスロー対応ライブビュー画像の中に、笑顔の人物が映る未表示のスロー対応ライブビュー画像が含まれる。そこで、未表示のスロー対応ライブビュー画像を全て表示するまでの間は、スローライブビュー表示を継続して行う。すなわち、カウンタ値ｎがカウンタ値ｘと一致していない場合には（ステップｂ３７：Ｎｏ）、ステップｂ１６に移行して次フレームのスロー対応ライブビュー画像の表示に移る。   If the counter value n is not “0” (step b28: No), it is determined whether or not the counter value n matches the counter value x. Here, the fact that the counter value n does not match the counter value x means that the last frame number of the generated continuous shot image does not match the frame number of the slow-response live view image being displayed. For this reason, an undisplayed slow-corresponding live view image in which a smiling person is reflected is included in the generated slow-response live view image of each frame. Therefore, the slow live view display is continuously performed until all the undisplayed slow corresponding live view images are displayed. In other words, when the counter value n does not match the counter value x (step b37: No), the process proceeds to step b16 to display the slow-corresponding live view image of the next frame.

そして、システムコントロール部１１１は、カウンタ値ｎがカウンタ値ｘと一致している場合には（ステップｂ３７：Ｙｅｓ）、ファーストレリーズ１５１のＯＦＦ操作を判定する。そして、ファーストレリーズ１５１がＯＦＦされた場合には（ステップｂ３９：Ｙｅｓ）、ステップｂ２５に移行し、システムコントロール部１１１がスローライブビュー表示をリセットする。その後、図３のステップａ９にリターンしてステップａ１１に移行する。   Then, when the counter value n matches the counter value x (step b37: Yes), the system control unit 111 determines an OFF operation of the first release 151. When the first release 151 is turned off (step b39: Yes), the process proceeds to step b25, and the system control unit 111 resets the slow live view display. Thereafter, the process returns to step a9 in FIG. 3 and proceeds to step a11.

一方、ファーストレリーズ１５１がＯＦＦされない場合も（ステップｂ３９：Ｎｏ）、システムコントロール部１１１は、スローライブビュー表示をリセットする（ステップｂ４１）。このとき、記録バッファ１３４に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去される。そしてこの場合には、ステップｂ５に戻って初期化処理を行い、次フレームの顔認識処理に移る。   On the other hand, also when the first release 151 is not turned off (step b39: No), the system control unit 111 resets the slow live view display (step b41). At this time, the generated continuous shot image and the slow view live view image that have been recorded in the recording buffer 134 are deleted. In this case, the process returns to step b5 to perform initialization processing, and proceeds to face recognition processing for the next frame.

以上説明したように、本実施の形態によれば、ファーストレリーズ１５１がＯＮされたままの場合であって、ライブビュー画像中で笑顔の顔が検出された場合に、連写撮影処理を開始して連写撮影処理を行うとともに、生成した連続撮影画像を用いてスローライブビュー表示を行うことができる。これによれば、ファーストレリーズ１５１がＯＮされている間、笑顔の顔が検出されたフレームのみを対象として例えば所定の撮影間隔（例えば１／３０秒毎）で連写撮影画像の画像データを生成するとともに、この連写撮影画像の画像データを用いてスローライブビュー表示を行い、実際の被写体の動きよりも遅い速度で被写体像を画面表示することができる。そして、セカンドレリーズ１５２がＯＮされた時点で画面表示している連写撮影画像の画像データを記録することができる。したがって、被写体の動きが速い場合であっても、シャッターチャンスを逃すことなく確実に記録することができるという効果を奏する。   As described above, according to the present embodiment, the continuous shooting process is started when the first release 151 remains ON and a smiling face is detected in the live view image. Thus, the continuous shooting process can be performed, and the slow live view display can be performed using the generated continuous shot image. According to this, while the first release 151 is ON, image data of continuous shot images is generated only at a predetermined shooting interval (for example, every 1/30 seconds) for only a frame in which a smiling face is detected. In addition, the slow live view display is performed using the image data of the continuous shot images, and the subject image can be displayed on the screen at a speed slower than the actual movement of the subject. Then, it is possible to record image data of continuously shot images displayed on the screen when the second release 152 is turned on. Therefore, even when the movement of the subject is fast, there is an effect that recording can be performed reliably without missing a photo opportunity.

なお、上記した実施の形態では、リアルタイムに取り込まれるライブビュー画像が笑顔の顔を含む場合にスローライブビュー表示を行うこととした。これに対し、瞳が検出された場合にスローライブビュー表示を行う構成としてもよい。ここで、目が開いている顔が検出されたフレームを対象にスローライブビュー表示するのは、目が閉じている顔ではなく、目が開いている顔が映るフレームがユーザにとってシャッターチャンスであると想定できるためである。   In the above-described embodiment, the slow live view display is performed when the live view image captured in real time includes a smiling face. On the other hand, it is good also as a structure which performs a slow live view display when a pupil is detected. Here, slow live view display for a frame in which a face with open eyes is detected is not a face with closed eyes, but a frame in which a face with open eyes is shown is a photo opportunity for the user. This is because it can be assumed.

図５は、本変形例における撮影装置１の基本動作を示すフローチャートである。なお、図５において、上記した実施の形態と同様の処理工程については、同一の符号を付する。   FIG. 5 is a flowchart showing the basic operation of the photographing apparatus 1 in this modification. In FIG. 5, processing steps similar to those in the above-described embodiment are denoted by the same reference numerals.

本変形例では、図５に示すように、システムコントロール部１１１は、ステップｃ３において、撮影モードとしてポートレートモードが設定されているか否かを判定する。そして、ポートレートモードが設定されている場合に（ステップｃ３：Ｙｅｓ）、スローライブビュー対応モード処理に移る（ステップｃ９）。   In the present modification, as shown in FIG. 5, the system control unit 111 determines whether the portrait mode is set as the shooting mode in step c3. When the portrait mode is set (step c3: Yes), the process proceeds to the slow live view compatible mode process (step c9).

図６は、本変形例におけるスローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。本変形例のスローライブビュー対応モード処理では、図６に示すように、ステップｂ５においてシステムコントロール部１１１が初期化処理を行った後、続いて、ライブビュー画像を取り込んで瞳認識処理を行う（ステップｄ７）。例えば先ず、システムコントロール部１１１が、撮像素子１０２に結像されている被写体像を間引き読み出し処理する。そして、ここでの処理の結果フレームメモリ１３３に一時的に記録されたライブビュー画像について画像認識部１２４が画像認識処理を行う。すなわち画像認識部１２４は、取り込んだライブビュー画像の画像データについて顔検出処理を行う。そして、瞳検出部１２６が、顔検出結果をもとに、ライブビュー画像中に含まれる顔の瞳を検出する。   FIG. 6 is a flowchart showing a detailed processing procedure of the slow live view compatible mode processing in the present modification. In the slow live view compatible mode process of the present modification example, as shown in FIG. 6, after the system control unit 111 performs the initialization process in step b5, subsequently, the live view image is captured and the pupil recognition process is performed ( Step d7). For example, first, the system control unit 111 performs thinning-out reading processing on the subject image formed on the image sensor 102. Then, the image recognition unit 124 performs image recognition processing on the live view image temporarily recorded in the frame memory 133 as a result of the processing here. That is, the image recognition unit 124 performs face detection processing on the captured image data of the live view image. Then, the pupil detection unit 126 detects the face pupil included in the live view image based on the face detection result.

そして、瞳検出部１２６が取り込んだライブビュー画像中で瞳を検出した場合には（ステップｄ９：Ｙｅｓ）、上記した実施の形態と同様にしてシステムコントロール部１１１が連写撮影処理を行い（ステップｂ１１）、画像処理部１２０がスロー対応ライブビュー画像の画像データを生成する（ステップｂ１３）。   When the pupil is detected in the live view image captured by the pupil detection unit 126 (step d9: Yes), the system control unit 111 performs continuous shooting processing in the same manner as in the above-described embodiment (step b11), the image processing unit 120 generates image data of the slow view live view image (step b13).

本変形例によれば、被写体に人物が含まれる場合であって、且つその人物の瞳が検出されている間、スローライブビュー表示を行うことができ、上記した実施の形態と同様の効果を奏することができる。これによれば、ユーザは、撮影モードとしてポートレートモードを設定することによって、実際の被写体の動きよりも遅い速度で、且つ瞳が検出されたフレームのみがスロー表示されるスローライブビュー画像を見ながら撮影を行うことができる。   According to this modification, when the subject includes a person and the pupil of the person is detected, the slow live view display can be performed, and the same effect as the above-described embodiment can be obtained. Can play. According to this, by setting the portrait mode as the shooting mode, the user sees the slow live view image in which only the frame in which the pupil is detected is displayed at a slower speed than the actual movement of the subject. You can shoot while.

なお、本発明は、上記した各実施の形態そのままに限定されるものではなく、上記した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、上記した実施の形態と変形例とを組み合わせ、被写体が人物の顔を含み、この顔が笑顔の場合であって、且つ瞳が検出された場合に、スローライブビュー表示を行なう構成としてもよい。   The present invention is not limited to the above-described embodiments as they are, and various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiments. For example, a combination of the above-described embodiment and the modification may be configured such that the slow live view display is performed when the subject includes a human face, the face is a smile, and the pupil is detected. Good.

また、上記した各実施の形態では、本発明の撮影装置としていわゆるデジタルスチルカメラやデジタルビデオカメラを例に挙げたが、適用対象はこれらに限定されるものではない。例えば、カメラ付き携帯電話機やカメラ付きモバイルＰＣ等に適用できる。   In each of the above-described embodiments, a so-called digital still camera or digital video camera is given as an example of the photographing apparatus of the present invention, but the application target is not limited to these. For example, the present invention can be applied to a camera-equipped mobile phone or a camera-equipped mobile PC.

撮影装置の概略内部構成例を示すブロック図である。It is a block diagram which shows the example of schematic internal structure of an imaging device. 笑顔検出モードにおけるスローライブビュー表示を説明する図である。It is a figure explaining the slow live view display in smile detection mode. 撮影装置の基本動作を示すフローチャートである。It is a flowchart which shows the basic operation | movement of an imaging device. スローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。It is a flowchart which shows the detailed process sequence of slow live view corresponding | compatible mode process. 変形例における撮影装置の基本動作を示すフローチャートである。It is a flowchart which shows the basic operation | movement of the imaging device in a modification. 変形例におけるスローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。It is a flowchart which shows the detailed process sequence of the slow live view corresponding | compatible mode process in a modification.

１ 撮影装置
１０１ レンズ
１０２ 撮像素子
１０３ アクチュエータ
１０４ アクチュエータ駆動回路
１０５ 撮像回路
１０６ フラッシュ
１０７ ＥＥＰＲＯＭ
１０８ 手ブレ補正用ジャイロセンサ
１１０ ＣＰＵ
１１１ システムコントロール部
１１２ 時計部
１２０ ＣＰＵ（画像処理部）
１２１ 画像圧縮伸長部
１２２ 記録媒体アクセス処理部
１２３ 表示フレームレート変換部
１２４ 画像認識部
１２５ 笑顔検出部
１２６ 瞳検出部
１３１ Ａ／Ｄ変換回路
１３２ ＦＩＦＯメモリ
１３３ フレームメモリ
１３４ 記録バッファ
１３５ 記録媒体Ｉ／Ｆ
１３６ 記録媒体
１４１ ＴＦＴ液晶駆動回路
１４２ ビデオ出力回路
１４３ バックライトユニット
１４４ ＴＦＴ液晶パネル
１５０ キーマトリクス
１５１ ファーストレリーズ
１５２ セカンドレリーズ
１５３ ズームボタン
１６１ ＬＣＤ表示回路
１６２ ＬＣＤパネル
１６３ 外部有線データＩ／Ｆ
１７１ 電池
１７２ バックアップ電源
１７３ 電源回路
１７４ 電池状態検出回路
２０１ 外部画像表示装置 DESCRIPTION OF SYMBOLS 1 Image pick-up device 101 Lens 102 Image pick-up element 103 Actuator 104 Actuator drive circuit 105 Image pick-up circuit 106 Flash 107 EEPROM
108 Gyro sensor for camera shake correction 110 CPU
111 System Control Unit 112 Clock Unit 120 CPU (Image Processing Unit)
121 image compression / decompression unit 122 recording medium access processing unit 123 display frame rate conversion unit 124 image recognition unit 125 smile detection unit 126 pupil detection unit 131 A / D conversion circuit 132 FIFO memory 133 frame memory 134 recording buffer 135 recording medium I / F
136 Recording medium 141 TFT liquid crystal drive circuit 142 Video output circuit 143 Backlight unit 144 TFT liquid crystal panel 150 Key matrix 151 First release 152 Second release 153 Zoom button 161 LCD display circuit 162 LCD panel 163 External wired data I / F
171 Battery 172 Backup power supply 173 Power supply circuit 174 Battery state detection circuit 201 External image display device

Claims (4)

被写体像を撮像する撮像部と、
前記撮像部によって撮像されている被写体像中に含まれる顔を検出する顔検出部と、
前記顔検出部による顔検出結果をもとに、前記被写体像中で検出された顔が所定の特徴を有するか否かを判定する特徴判定部と、
前記特徴判定部によって前記検出された顔が所定の特徴を有すると判定されている間、前記撮像部によって撮像されている前記被写体像の撮影処理を所定の撮影間隔で連続的に行って複数の撮影画像の画像データを取得する撮影画像取得部と、
前記複数の撮影画像を前記撮影間隔よりも長い所定の表示間隔毎に順次表示部に表示処理するスローライブビュー表示処理部と、
撮影指示が入力された場合に、前記スローライブビュー表示処理部によって表示処理中の撮影画像の画像データを記録部に記録処理する記録処理部と、
を備えることを特徴とする撮影装置。 An imaging unit that captures a subject image;
A face detection unit for detecting a face included in the subject image captured by the imaging unit;
A feature determination unit that determines whether a face detected in the subject image has a predetermined feature based on a face detection result by the face detection unit;
While the detected face is determined to have a predetermined feature by the feature determination unit, the subject image captured by the imaging unit is continuously captured at a predetermined capture interval, and a plurality of A captured image acquisition unit that acquires image data of the captured image;
A slow live view display processing unit that sequentially displays the plurality of captured images on a display unit at predetermined display intervals longer than the imaging interval;
A recording processing unit that records image data of a captured image being displayed by the slow live view display processing unit in a recording unit when a shooting instruction is input;
An imaging apparatus comprising: 前記特徴判定部は、前記検出された顔の表情を検出する表情検出部を有し、
前記特徴判定部は、前記表情検出部が前記検出された顔の所定の表情を検出した場合に、前記検出された顔が所定の特徴を有すると判定することを特徴とする請求項１に記載の撮影装置。 The feature determination unit includes a facial expression detection unit that detects the facial expression detected.
The said characteristic determination part determines with the said detected face having a predetermined characteristic, when the said facial expression detection part detects the predetermined facial expression of the said detected face. Shooting device. 前記特徴判定部は、前記検出された顔から瞳の領域を検出する瞳検出部を有し、
前記特徴判定部は、前記瞳検出部が前記検出された顔から瞳を検出した場合に、前記検出された顔が所定の特徴を有すると判定することを特徴とする請求項１に記載の撮影装置。 The feature determination unit includes a pupil detection unit that detects a pupil region from the detected face,
The imaging according to claim 1, wherein the feature determination unit determines that the detected face has a predetermined feature when the pupil detection unit detects a pupil from the detected face. apparatus. 前記撮影画像取得部は、撮影準備指示が入力された場合であって、且つ前記特徴判定部によって前記検出された顔が所定の特徴を有すると判定された場合に、前記連続的な撮影処理を行うことを特徴とする請求項１に記載の撮影装置。   The photographed image acquisition unit performs the continuous photographing process when a photographing preparation instruction is input and the feature determination unit determines that the detected face has a predetermined feature. The photographing apparatus according to claim 1, wherein the photographing apparatus is performed.
JP2009072412A 2009-03-24 2009-03-24 Photographing device Pending JP2010226495A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009072412A JP2010226495A (en) 2009-03-24 2009-03-24 Photographing device
CN2010101307201A CN101848325B (en) 2009-03-24 2010-03-24 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009072412A JP2010226495A (en) 2009-03-24 2009-03-24 Photographing device

Publications (1)

Publication Number Publication Date
JP2010226495A true JP2010226495A (en) 2010-10-07

Family

ID=42772768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009072412A Pending JP2010226495A (en) 2009-03-24 2009-03-24 Photographing device

Country Status (2)

Country Link
JP (1) JP2010226495A (en)
CN (1) CN101848325B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029978A (en) * 2009-07-27 2011-02-10 Casio Computer Co Ltd Image processing unit, method of processing image, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580874B (en) * 2013-10-22 2019-12-13 中兴通讯股份有限公司 camera equipment and method for realizing photographing
JP5896181B2 (en) * 2014-01-23 2016-03-30 カシオ計算機株式会社 Imaging apparatus, imaging control method, and program
KR101765428B1 (en) * 2014-02-07 2017-08-07 퀄컴 테크놀로지스, 인크. Live scene recognition allowing scene dependent image modification before image recording or display

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357404A (en) * 2000-06-14 2001-12-26 Minolta Co Ltd Picture extracting device
JP2004312195A (en) * 2003-04-03 2004-11-04 Victor Co Of Japan Ltd Slow motion reproduction system and slow motion reproduction apparatus
JP2004336265A (en) * 2003-05-06 2004-11-25 Fuji Photo Film Co Ltd Imaging apparatus
JP4657960B2 (en) * 2006-03-27 2011-03-23 富士フイルム株式会社 Imaging method and apparatus
CN101577794B (en) * 2006-07-25 2011-12-07 富士胶片株式会社 Image taking system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029978A (en) * 2009-07-27 2011-02-10 Casio Computer Co Ltd Image processing unit, method of processing image, and program

Also Published As

Publication number Publication date
CN101848325A (en) 2010-09-29
CN101848325B (en) 2012-07-25

Similar Documents

Publication Publication Date Title
JP5895409B2 (en) Imaging device
US9167163B2 (en) Digital image processing apparatus that displays first content, generates second content based on an input signal, and generates third content related to the second content, and method of controlling the same
US8848097B2 (en) Image processing apparatus, and method, for providing special effect
US9088721B2 (en) Imaging apparatus and display control method thereof
US10542216B2 (en) Apparatus and method for storing moving image portions
JP2003008948A (en) Electronic camera and its image display method, and image recording method
JP5064926B2 (en) Imaging apparatus and control method thereof
JP5338373B2 (en) Imaging device
JP2010226495A (en) Photographing device
JP5220666B2 (en) Imaging device and live view display method
JP5350850B2 (en) Imaging apparatus, imaging method, and program
JP2009065320A (en) Imaging device
JP5105298B2 (en) Imaging apparatus and program thereof
JP6410416B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP5991495B2 (en) Image generating apparatus, imaging apparatus, and program
JP2016131378A (en) Imaging apparatus
JP2006094200A (en) Imaging apparatus, focusing display method, and program
JP6508294B2 (en) Imaging device
JP6012333B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP5760662B2 (en) Electronics
JP4923722B2 (en) Imaging apparatus, imaging method, and program
JP2023122132A (en) Imaging apparatus and control method thereof
JP2019110606A (en) Imaging apparatus
JP2020088600A (en) Image pick-up device, imaging apparatus, control method, and program
JP2007214937A (en) Digital camera