JP2008072183A - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP2008072183A JP2008072183A JP2006246487A JP2006246487A JP2008072183A JP 2008072183 A JP2008072183 A JP 2008072183A JP 2006246487 A JP2006246487 A JP 2006246487A JP 2006246487 A JP2006246487 A JP 2006246487A JP 2008072183 A JP2008072183 A JP 2008072183A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- face
- subject
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画撮影モードと静止画撮影モードを有する撮像装置に関する。 The present invention relates to an imaging apparatus having a moving image shooting mode and a still image shooting mode.
デジタルスチルカメラ等の撮像装置では、画像を電子データとして取り込むため、様々な画像処理が可能である。例えば、特許文献1に記載されているように、複数の画像に画像処理を行い、その中からクォリティーの高い画像を選択することが可能である。しかし、特許文献1において、画像の評価は、画像処理の結果をスコア化したものである。従って、撮影装置にて選択されたクォリティーの高い画像と撮影者や被撮影者の望む画像とが必ずしも一致するとは限らなかった。 An imaging apparatus such as a digital still camera captures an image as electronic data, so that various image processing is possible. For example, as described in Patent Document 1, it is possible to perform image processing on a plurality of images and select an image with high quality from among them. However, in Patent Document 1, the evaluation of an image is a score of the result of image processing. Therefore, the image with high quality selected by the photographing apparatus does not always match the image desired by the photographer or the photographed person.
被撮影者が望む画像を撮るための機能として、タイマーを用いた自動シャッター機能がある。この自動タイマー機能を用いれば、被撮影者は、シャッターのタイミングに合わせてポーズをとることができ、被撮影者の望むポーズで写真を撮影することができる。
しかしながら、タイマーを用いた自動シャッター機能では、被撮影者は、タイマーをセットしてから撮影までの時間を正確に把握できないので、シャッターが切られる瞬間に所望のポーズをとることは難しかった。 However, with the automatic shutter function using a timer, it is difficult for the subject to take a desired pose at the moment the shutter is released because the subject cannot accurately grasp the time from the setting of the timer to the shooting.
本発明は、上記背景に鑑み、遠隔操作により、被撮影者の望むタイミングで撮影を行うことができる装置および方法を提供することを目的とする。 In view of the above background, an object of the present invention is to provide an apparatus and a method capable of performing photographing at a timing desired by a subject by remote control.
本発明の撮影装置は、被写体を撮像して画像データを取得する撮像素子と、前記撮像素子にて撮像された動画像から被撮影者の映った動画像を検出する被撮影者動画像検出部と、前記被撮影者動画像検出部にて検出された動画像に基づいて、前記被撮影者の所定の動きを検出する動き検出部と、前記動き検出部にて前記所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御部と、を備えた構成を有する。 An imaging device according to the present invention includes an imaging device that captures an image of a subject and acquires image data, and a subject moving image detection unit that detects a moving image of the subject from a moving image captured by the imaging device. And a motion detector that detects a predetermined motion of the subject based on the moving image detected by the subject motion image detector, and the predetermined motion is detected by the motion detector. And a shutter control unit for cutting a shutter for still image shooting.
この構成により、被撮影者の所定の動きが検出されたときにシャッターを切って静止画を撮影するので、遠隔操作により被撮影者の望むタイミングで撮影を行うことができる。 With this configuration, when a predetermined movement of the photographed person is detected, the shutter is released and a still image is photographed. Therefore, photographing can be performed at a timing desired by the photographed person by remote control.
本発明の撮影装置において、前記動き検出部は、被撮影者の両目が開いた状態から、一方の目が閉じられた後に両目が開いた状態になる動きを前記所定の動きとして検出する構成を有する。 In the photographing apparatus of the present invention, the movement detection unit detects a movement from a state where both eyes of the subject are opened to a state where both eyes are opened after one eye is closed as the predetermined movement. Have.
この構成により、被撮影者がウィンクしたときに、撮影を行うことができる。両目を検出する方法としては、例えば、Boostongを用いた方法によって顔を検出し、検出した顔領域の中から、テンプレートマッチング等によって目を検出する。 With this configuration, it is possible to take a picture when the subject winks. As a method for detecting both eyes, for example, a face is detected by a method using Boostong, and an eye is detected from the detected face region by template matching or the like.
本発明の撮影装置において、前記動き検出部は、被撮影者の口の開閉動作を前記所定の動きとして検出する構成を有する。 In the photographing apparatus of the present invention, the motion detection unit has a configuration for detecting an opening / closing operation of the mouth of the subject as the predetermined motion.
この構成により、被撮影者が何か言ったときに、撮影を行うことができる。 With this configuration, it is possible to take a picture when the person to be photographed says something.
本発明の撮影装置は、あらかじめ顔画像を登録しておく登録顔画像記憶部と、前記撮像素子にて撮像された動画像から被撮影者の顔画像を検出する顔画像検出部と、前記顔画像検出部にて検出された顔画像と前記登録顔画像記憶部に記憶された顔画像とを照合する顔画像照合部とを備え、前記シャッター制御部は、前記動き検出部にて所定の動きが検出され、かつ、前記顔画像照合部にて顔画像が照合されたときに、シャッターを切る構成を有する。 The photographing apparatus of the present invention includes a registered face image storage unit that registers face images in advance, a face image detection unit that detects a face image of a subject from a moving image captured by the imaging device, and the face A face image collation unit that collates the face image detected by the image detection unit and the face image stored in the registered face image storage unit, and the shutter control unit performs a predetermined motion in the motion detection unit. And when the face image is verified by the face image verification unit, the shutter is released.
この構成により、被撮影者の所定の動きが検出された場合に、その動きの主体があらかじめ登録された人物であるか否かを照合し、照合された場合にシャッターを切るので、登録されていない人物の動きによってシャッターが切られてしまうという事態を防止できる。 With this configuration, when a predetermined movement of the photographed person is detected, it is checked whether the subject of the movement is a person registered in advance, and the shutter is released when the person is checked. It is possible to prevent a situation where the shutter is released due to the movement of a person who is not present.
本発明の撮影装置は、前記撮像素子にて撮像された動画像に基づいて、前記画像内における被撮影者の顔画像の位置を計算する顔位置計算部と、前記顔位置計算部にて計算された顔の位置に関する情報を被撮影者に報知する報知部とを備えた構成を有する。 The imaging device of the present invention is based on a moving image captured by the imaging element, and calculates a position of a face image of the person to be imaged in the image and a calculation by the face position calculation unit And a notification unit that notifies information about the position of the face to the subject.
この構成により、顔の位置に関する情報を被撮影者に報知することにより、撮影者がいない場合でも、被撮影者は撮影領域のどのあたりに映っているかを知ることができる。 With this configuration, by notifying the photographed person of information regarding the position of the face, the photographed person can know where the photographed area is reflected even when there is no photographer.
本発明の撮影装置は、前記報知部としてLEDを用いた構成を有する。 The imaging device of the present invention has a configuration using an LED as the notification unit.
この構成により、簡単な構成で顔の位置に関する情報を報知できる。 With this configuration, information regarding the position of the face can be notified with a simple configuration.
本発明の撮影方法は、撮像素子にて撮像された動画像から被撮影者の映った動画像を検出する被撮影者動画像検出ステップと、前記被撮影者動画像検出ステップにて検出された動画像に基づいて前記所定の動きを検出する動き検出ステップと、前記動き検出部にて前記所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御ステップとを備えた構成を有する。 The imaging method of the present invention is detected by a subject moving image detection step for detecting a moving image in which a subject is captured from a moving image captured by an image sensor, and detected by the subject moving image detection step. A motion detecting step for detecting the predetermined motion based on a moving image; and a shutter control step for releasing a shutter for still image shooting when the predetermined motion is detected by the motion detecting unit. It has a configuration.
この構成により、本発明の撮像装置と同様に、遠隔操作により被撮影者の望むタイミングで撮影を行うことができる。 With this configuration, as with the imaging apparatus of the present invention, it is possible to perform imaging at a timing desired by the subject by remote control.
本発明によれば、被撮影者の所定の動きが検出されたときにシャッターを切って静止画を撮影するので、遠隔操作により被撮影者の望むタイミングで撮影を行うことができるというすぐれた効果を有する。 According to the present invention, when a predetermined movement of the photographed person is detected, the shutter is released and a still image is photographed. Therefore, it is possible to perform photographing at a timing desired by the photographed person by remote control. Have
以下、本発明の実施の形態に係る撮像装置について、図面を用いて詳細に説明する。以下では、撮像装置の例としてデジタルスチルカメラを取り上げて説明する。 Hereinafter, an imaging device according to an embodiment of the present invention will be described in detail with reference to the drawings. Hereinafter, a digital still camera will be described as an example of the imaging apparatus.
(第1の実施の形態)
図1は、本発明の第1の実施の形態におけるデジタルスチルカメラ1の構成を示すブロック図である。第1の実施の形態におけるデジタルスチルカメラ1は、レンズ11と、被写体を撮像する撮像素子12と、静止画撮影を行うためのシャッター13と、撮像素子12にて得られた画像信号をA/D変換するA/D変換部14と、撮像した画像データを記憶するメモリ15とを備えている。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of a digital still camera 1 according to the first embodiment of the present invention. The digital still camera 1 according to the first embodiment includes a
また、デジタルスチルカメラ1は、動画撮影モードと静止画撮影モードの切替えを行うモード切替部16と、モード切替部16およびシャッター13にモードを指示するモード設定部17と、ユーザからの操作を受け付ける操作部18とを備えている。モード切替部16は、動画撮影モードでは、A/D変換部14から入力されたデジタルデータを画像処理部20に入力する。モード切替部16は、静止画撮影モードでは、A/D変換部14から入力されたデジタルデータをメモリ15に保存する。
The digital still camera 1 also receives a
また、デジタルスチルカメラ1は、動作撮影モードにて撮影された動画像に基づいて、被撮影者の所定の動きを検出する機能を有する画像処理部20を備えている。本実施の形態では、画像処理部20は、被撮影者のウィンクを検出し、ウィンクの検出信号をモード設定部17に送信する。
In addition, the digital still camera 1 includes an
画像処理部20では、入力画像から被撮影者の顔画像を検出する顔検出部21と、目の画像を検出する目検出部22と、目検出部22にて検出した目を画像する目追跡部23とを備えている。目追跡部23は、動画撮影モードで一定時間間隔で入力される画像に対して、目の画像を追跡する。また、画像処理部20はウィンク検出部24を備えている。ウィンク検出部24は、目追跡部23にて追跡している目の画像に基づいて、目の開閉を検出する。ウィンク検出部24は、両目が開いた状態から、一方の目が閉じられ、再び両目が開いた状態になったときにウィンクを検出する。
In the
モード設定部17は、画像処理部20から送信されるウィンク検出の信号に応じて、シャッター13を切ることを指示する信号をシャッター13に送信する機能を有する。シャッター13が切られると、デジタルスチルカメラ1は、静止画撮影モードで静止画像を撮影する。静止画撮影モードでは、撮像素子12で撮影した画像データをA/D変換部14でデジタルデータに変換し、変換されたデジタルデータをモード切替部16を介してメモリ15に記録する。また、モード設定部17は、設定されたモードの情報をモード切替部16に送信する。これにより、モード切替部16は、モードに基づいてA/D変換部14から出力されたデジタル信号をメモリ15に保存するか、画像処理部18に入力するかを切り替える。
The
図2は、デジタルスチルカメラ1による静止画の撮影の動作を示す図である。図1の操作部18によってリモート撮影モードを選択すると、デジタルスチルカメラ1は、動画撮影モードで被写体を撮影し、撮影によって得られたフレーム毎の画像データを画像処理部20に入力する。すなわち、デジタルスチルカメラ1は、撮像素子12にて得られる画像信号をA/D変換部14でデジタル信号に変換し、変換されたデジタル信号をモード切替部16を介して画像処理部20に入力する(S10)。
FIG. 2 is a diagram illustrating an operation of taking a still image by the digital still camera 1. When the remote shooting mode is selected by the
次に、画像処理部20の顔検出部21は、入力された各フレーム画像データに対して、顔検出処理を行い、顔画像が検出されたか否かを判定する(S11)。顔検出処理に関しては、例えば、Viola, P.; Jones, M.;Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on, Volume:1, 8−14 Dec. 2001 Pages:I−511〜518 vol.1に示された方法を用いることができる。
Next, the
顔検出部21にて、顔画像が検出されなかった場合には(S11でNO)、画像処理部20は、次フレームの画像の入力を待つ(S10)。顔検出部12にて、顔画像が検出された場合には(S11でYES)、目検出部22による処理を行う。
If no face image is detected by the face detection unit 21 (NO in S11), the
目検出部22は、顔検出が行われた領域に対して、目の画像を検出する処理を行う(S12)。目検出部22は、例えば、目のテンプレート画像を利用し、検索領域に対してテンプレートマッチングを行う方法によって目の画像を検出する。目検出部22は、テンプレートマッチングにより、最も類似度の高かった画像を目の画像とする。目の画像が検出されると、目検出部22は、目追跡部23に目の検出位置と検出画像を渡す。
The
目追跡部23は、目検出部22から逐次入力される目の画像に基づいて、被撮影者の目の画像を追跡し、追跡できたか否かを判定する(S13)。目追跡部23は、現フレームでの目の検出位置が、前フレームでの目の検出位置を含む所定の範囲内に含まれている場合には、目の追跡に成功したと判定し、現フレームでの目の位置が所定の範囲外にあった場合には、目の追跡に失敗した判定する。目追跡部23は、目の追跡に失敗した場合には、現フレームから目の追跡を再スタートする。
The
画像処理部20のウィンク検出部24は、目の検出位置と検出画像に基づいて、ウィンクされたか否かの判定を行う(S14)。ウィンク検出部24では、両目が開いている状態を検知し、次に一方の目が閉じている状態を検知し、再び両目が開いている状態を検知したときにウィンクを検出する。目が開いているか閉じているかの判定は、目検出部22において、目が開いているテンプレートと目が閉じているテンプレートを用意しておき、状態の遷移を検出する。一方の目が閉じている状態を検知するのは、瞬きによって両目をつぶった場合にウィンクを誤検出しないようにするためである。
The
ウィンク検出部24は、ウィンクを検出すると、ウィンクの検出情報をモード設定部17に通知する。モード設定部17は、ウィンクの検出情報をトリガーとして、シャッター13を切り、静止画を撮影する(S15)。モード設定部17がシャッター13を切るタイミングは、ウィンクの検出情報が通知されたタイミングと同時でもよいし、ウィンクの検出情報の通知を受けてから一定の時間が経過してからでもよい。ウィンクを検出してからシャッター13を切るまでの時間は、操作部18にて設定することができる。
When detecting the wink, the
デジタルスチルカメラ1の撮像素子12は、シャッター13が切られると静止画を撮像し、撮像した静止画像のデータをメモリ16に保存する(S16)。
以上、本実施の形態のデジタルスチルカメラ1の構成および動作について説明した。
When the
The configuration and operation of the digital still camera 1 according to the present embodiment have been described above.
本実施の形態のデジタルスチルカメラ1は、動画モードで撮影した動画像から被撮影者の目の画像を検出し、ウィンクを検出したときにシャッター13を切る。これにより、被撮影者の望むタイミングで静止画の撮影を行うことができる。
The digital still camera 1 according to the present embodiment detects an image of the subject's eye from a moving image captured in the moving image mode, and releases the
本実施の形態では、撮影された画像中に顔が一つだけ写っている場合について説明したが、複数の顔が写っている場合は、複数人の目を追跡し、だれか一人でもウィンクが検出されたときにシャッター13を切る構成としてもよい。
In this embodiment, the case where only one face is shown in the photographed image has been described. However, when a plurality of faces are shown, the eyes of a plurality of people are tracked and any one person winks. It is good also as a structure which cuts the
(第2の実施の形態)
次に、本発明の第2の実施の形態のデジタルスチルカメラについて説明する。第2の実施の形態のデジタルスチルカメラは、基本的な構成は、第1の実施の形態のデジタルスチルカメラ1と同じであるが(図1参照)、画像処理部20の構成が異なる。
(Second Embodiment)
Next, a digital still camera according to a second embodiment of the present invention will be described. The basic configuration of the digital still camera of the second embodiment is the same as that of the digital still camera 1 of the first embodiment (see FIG. 1), but the configuration of the
図3は、第2の実施の形態における画像処理部20の構成を示す図である。画像処理部20は、入力画像の特徴量を生成する特徴量生成部25と、あらかじめ所定の人物の顔画像の特徴量を記憶しておく登録特徴量記憶部26と、照合すべき顔画像の特徴量を記憶するする照合特徴量記憶部27と、照合特徴量と登録特徴量とを比較して顔照合を行う顔照合部28と、ウィンク検出部24による検出結果と顔照合部28による照合結果とに基づいてシャッター13を切るか否かを判定する判定部35を備えている。
FIG. 3 is a diagram illustrating a configuration of the
次に、第2の実施の形態のデジタルスチルカメラの動作について説明する。第2の実施の形態のデジタルスチルカメラでは、あらかじめシャッター13を切る人物の顔画像を登録しておき、静止画像を撮影する際には、登録された人物のウィンクによって静止画像を撮影する。
Next, the operation of the digital still camera of the second embodiment will be described. In the digital still camera according to the second embodiment, a face image of a person who releases the
図4は、シャッター13を切る人物の顔画像の登録動作を示す図である。まず、デジタルスチルカメラは、動画撮影モードにて被撮影者を撮影し、撮影された画像データを画像処理部20に入力する(S20)。画像処理部20は、顔画像を検出し、検出できたか否かを判定する(S21)。顔画像を検出できなかった場合には(S21でNO)、画像処理部20は、次フレームの画像の入力を待つ。顔画像を検出できた場合には(S21でYES)、目検出部22は、目の画像を検出する(S22)。目検出部22は、検出した目の位置を十字印で表示する。
FIG. 4 is a diagram illustrating a registration operation of a face image of a person who releases the
デジタルスチルカメラは、検出された顔画像を登録画像としてよいか否かを、操作部18のボタン操作により受け付ける(S23)。登録画像としてよいとの操作を受け付けると、デジタルスチルカメラは、検出された顔画像の特徴量を生成し、生成した特徴量を登録特徴量記憶部26に記憶する(S24)。 The digital still camera accepts whether or not the detected face image may be a registered image by operating the button of the operation unit 18 (S23). When receiving an operation indicating that the image is acceptable as a registered image, the digital still camera generates a feature amount of the detected face image, and stores the generated feature amount in the registered feature amount storage unit 26 (S24).
図5は、デジタルスチルカメラによる静止画の撮影の動作を示す図である。リモート撮影モードを選択すると、デジタルスチルカメラは、被写体を動画モードで撮影し、撮影されたフレーム毎の画像を画像処理部20に入力し(S30)、入力された画像から顔画像を検出し(S31)、顔検出が行われた領域に対して、目の画像を検出する処理を行う(S32)。続いて、デジタルスチルカメラは、目の追跡を行い(S33)、ウィンクを検出する(S34)。以上の動作は、第1の実施の形態のデジタルカメラ1の動作におけるステップS10〜S14(図2参照)と同じである。 FIG. 5 is a diagram illustrating an operation of taking a still image by the digital still camera. When the remote shooting mode is selected, the digital still camera captures the subject in the moving image mode, inputs an image of each captured frame to the image processing unit 20 (S30), and detects a face image from the input image (S30). S31) A process of detecting an eye image is performed on the area where the face is detected (S32). Subsequently, the digital still camera performs eye tracking (S33) and detects wink (S34). The above operation is the same as steps S10 to S14 (see FIG. 2) in the operation of the digital camera 1 of the first embodiment.
ウィンク検出部24にてウィンクが検出された場合には(S34でYES)、画像処理部20は、検出された顔画像から照合用の特徴量を生成し、生成された特徴量と、登録特徴量記憶部26に記憶された特徴量とを比較して、検出された顔画像が登録された人物の顔画像と一致するか否かを照合する(S35)。顔照合の方法としては、例えば、Eigenface法として知られる、Turk, M.A.; Pentland, A.P.;Computer Vision and Pattern Recognition, 1991. Proceedings CVPR ‘91., IEEE Computer Society Conference on, 3−6 June 1991 Pages:586−591を用いることができる。
When the wink is detected by the wink detection unit 24 (YES in S34), the
顔画像が照合された場合に(S35でYES)、デジタルスチルカメラ1は、シャッター13を切る(S36)。シャッター13が切られると、デジタルスチルカメラ1の撮像素子12は、静止画を撮像し、撮像した静止画像のデータをメモリ16に保存する(S37)。
以上、本発明の第2の実施の形態のデジタルスチルカメラについて説明した。
When the face images are collated (YES in S35), the digital still camera 1 releases the shutter 13 (S36). When the
The digital still camera according to the second embodiment of the present invention has been described above.
第2の実施の形態のデジタルスチルカメラは、ウィンクが検出された場合に、ウィンクをした人物の顔画像があらかじめ登録された顔画像と一致するか否かを照合し、照合された場合に、シャッター13を切るので、登録された人物がウィンクをした場合にはシャッター13が切られ、その他の人物がウィンクしてもシャッター13が切られない。本実施の形態では、シャッター13を切ることができる人物を指定することができる。
When the wink is detected, the digital still camera of the second embodiment collates whether or not the face image of the person who winks matches the face image registered in advance. Since the
(第3の実施の形態)
図6は、第3の実施の形態のデジタルスチルカメラ3の構成を示す図、図7はデジタルスチルカメラ3を前面(被撮影者側)から見た図である。図7に示すように、デジタルスチルカメラ3は、前面の四隅にLED31を有している。第3の実施の形態のデジタルスチルカメラ3は、LED31を点滅させることによって、被撮影者に顔の位置を知らせる。
(Third embodiment)
FIG. 6 is a diagram illustrating a configuration of the digital
図6に示すように、第3の実施の形態のデジタルスチルカメラ3の基本的な構成は、第1の実施の形態のデジタルスチルカメラ1と同じである。第3の実施の形態のデジタルスチルカメラ3では、画像処理部20が、入力画像に基づいて、撮影された画像中のどこに顔があるかを計算する顔位置計算部30を有している。デジタルカメラ3は、顔位置計算部30によって計算された顔の位置に基づいて、LED31の点滅の制御を行う。
As shown in FIG. 6, the basic configuration of the digital
図8は、第3の実施の形態のデジタルスチルカメラ3の動作を示す図である。なお、デジタルスチルカメラ3が、被撮影者のウィンクを検出することによってシャッター13を切る動作は、第1の実施の形態と同じである。図8では、顔の位置を被撮影者に知らせる動作を示している。
FIG. 8 is a diagram illustrating the operation of the digital
デジタルスチルカメラ3は、撮像素子12にて撮像を行い、撮像によって得られた画像データを画像処理部20に入力する(S40)。画像処理部20は、撮像された画像から顔画像の検出処理を行い、顔画像が検出されたか否かを判定する(S41)。顔画像が検出されると(S41でYES)、画像処理部20の顔位置計算部30は、入力画像のどの領域で、顔画像が検出されたかを計算する(S42)。
The digital
顔位置計算部30は、計算された顔の位置に基づいて、LED31の点滅制御を行う。具体的には、顔位置計算部30は、被撮影者がどちらに移動すれば、顔が画面の中央に来るかを計算し、被撮影者が移動すべき方向をLED31の点滅によって被撮影者に知らせる。
The face
例えば、図9に示すように、デジタルスチルカメラ3の裏面のモニター32に顔が写っている場合、被撮影者が矢印の方向が動けば、顔が画面の中央にくることになる。従って、図10に示すように、左側のLED31を点滅させることにより(図10では、黒く塗りつぶして点滅を示している)、被撮影者に左側に動くべきことを知らせる。
以上、本発明の第3の実施の形態のデジタルスチルカメラ3について説明した。
For example, as shown in FIG. 9, when a face is shown on the
The digital
第3の実施の形態のデジタルスチルカメラ3は、前面に設けたLED31によって、被撮影者に、顔が中央にくるようにするために移動すべき方向を知らせる。これにより、被撮影者を画面の中央に写すことができる。
The digital
なお、本実施の形態では、被撮影者に顔の位置を知らせる手段として、LED31の点滅を例に説明したが、被撮影者に顔位置を知らせる手段はLEDに限られない。例えば、音声等を用いて案内してもよい。
In this embodiment, as the means for notifying the subject of the face position, the blinking of the
また、本実施の形態では、第1の実施の形態のデジタルスチルカメラ1に対してLED31を設けた例について説明したが、顔位置を報知する構成は、第2の実施の形態のデジタルスチルカメラにも適用することができる。
In the present embodiment, the example in which the
本実施の形態では、被撮影者が1人の場合について説明したが、被撮影者が複数人である場合には、例えば、複数人の顔を検出し、検出された複数の顔の位置の重心を用いて同様の処理をすることができる。また、第2の実施の形態のデジタルスチルカメラに適用する場合には、登録特徴量記憶部26に登録された人物の顔位置が中央にくるように処理を行うこともできる。
In the present embodiment, the case where there is one subject is described. However, when there are a plurality of subjects, for example, a plurality of faces are detected, and the positions of the detected faces are detected. Similar processing can be performed using the center of gravity. Further, when applied to the digital still camera of the second embodiment, the processing can be performed so that the face position of the person registered in the registered feature
(第4の実施の形態)
次に、本発明の第4の実施の形態のデジタルスチルカメラについて説明する。第4の実施の形態のデジタルスチルカメラは、被撮影者の口の動きによりシャッターを切るデジタルスチルカメラである。第4の実施の形態のデジタルスチルカメラの基本的な構成は、第1の実施の形態のデジタルスチルカメラ1と同じであるが(図1参照)、画像処理部20の構成が異なる。
(Fourth embodiment)
Next, a digital still camera according to a fourth embodiment of the present invention will be described. The digital still camera according to the fourth embodiment is a digital still camera that releases a shutter according to the movement of the mouth of the subject. The basic configuration of the digital still camera of the fourth embodiment is the same as that of the digital still camera 1 of the first embodiment (see FIG. 1), but the configuration of the
図11は、第4の実施の形態における画像処理部20の構成を示す図である。第4の実施の形態における画像処理部20は、顔画像検出部21と、口検出部33と、口追跡部34と、口動作検出部35とを備えている。口検出部33は、顔画像から口の画像を検出する。口追跡部34は、口検出部33にて検出された口画像を追跡する機能を有する。口動作検出部35は、口追跡部34にて追跡された口の情報に基づいて、口の動作を検出する機能を有する。
FIG. 11 is a diagram illustrating a configuration of the
図12は、第4の実施の形態のデジタルスチルカメラによる静止画の撮影の動作を示す図である。操作部18によってリモート撮影モードを選択すると、デジタルスチルカメラは、被写体を動画モードで撮影し、撮影されたフレーム毎の画像を画像処理部20に入力する。すなわち、デジタルスチルカメラは、撮像素子12にて得られる画像信号をA/D変換部14でデジタル信号に変換し、変換されたデジタル信号をモード切替部16を介して画像処理部20に入力する(S50)。
FIG. 12 is a diagram illustrating a still image shooting operation by the digital still camera according to the fourth embodiment. When the remote shooting mode is selected by the
次に、画像処理部20の顔検出部21は、入力された各フレーム画像データに対して、顔検出処理を行い、顔画像が検出されたか否かを判定する(S51)。顔検出部21にて、顔画像が検出されなかった場合には(S51でNO)、画像処理部20は、次フレームの画像の入力を待つ(S50)。顔検出部12にて、顔画像が検出された場合には(S51でYES)、口検出部33による処理を行う。
Next, the
口検出部33は、顔が検出された領域に対して、口の画像を検出する処理を行う(S52)。口検出部33は、例えば、テンプレート画像を作成し、検索領域に対してテンプレートマッチングを行う方法によって口の画像を検出する。口の検出画像は、例えば、テンプレートマッチングを行い、最も類似度の高かった画像を口の画像とする。口の画像の検出が行われると、口追跡部34に口の検出位置と検出画像が渡される。
The
口追跡部34は、前フレームの口画像との比較し、口の画像を追跡し、追跡できたか否かを判定する(S53)。口追跡部34は、現フレームでの口の検出位置が、前フレームでの口の検出位置を含む所定の範囲内に含まれている場合には、口の追跡に成功したと判定し、現フレームでの口の位置が所定の範囲外にあった場合には、口の追跡に失敗した判定する。口追跡部34は、口の追跡に失敗した場合には、現フレームから口の追跡を再スタートする。
The
画像処理部20の口動作検出部35は、口の検出位置と検出画像に基づいて、口に動きがあった否かの判定を行う。口動作検出部35は、口が開いている、もしくは閉じている状態を検知し、次に口が閉じた、もしくは開いた状態が検知されたときに口の動作があった判定する。口が開いているか閉じているかの判定は、口検出部33において、口の開いているテンプレートと口の閉じているテンプレートを用意しておき、状態の遷移を検出する。
The mouth
口動作検出部35は、口の開閉動作を検出すると、口の開閉動作の検出情報をモード設定部17に通知する。モード設定部17は、口の開閉動作の検出情報をトリガーとして、シャッター13を切り、静止画を撮影する(S55)。モード設定部17がシャッター13を切るタイミングは、口の開閉動作の検出情報が通知されたタイミングと同時でもよいし、口の開閉動作の検出情報の通知を受けてから一定の時間が経過してからでもよい。口の開閉動作を検出してからシャッター13を切るまでの時間は、操作部18にて設定することができる。
When detecting the opening / closing operation of the mouth, the mouth
デジタルスチルカメラの撮像素子12は、シャッター13が切られると静止画を撮像し、撮像した静止画像のデータをメモリ16に保存する(S56)。以上、第4の実施の形態のデジタルスチルカメラの構成および動作について説明した。
The
第4の実施の形態のデジタルスチルカメラは、動画モードで撮影した動画像から口の画像を検出し、口の開閉動作を検出したときにシャッター13を切る。これにより、被撮影者の望むタイミングで静止画の撮影を行うことができる。
The digital still camera according to the fourth embodiment detects a mouth image from a moving image shot in the moving image mode, and releases the
本実施の形態では、撮影された画像中に顔が一つだけ写っている場合について説明したが、複数の顔が写っている場合は、複数人の口を追跡し、だれか一人でも口を開閉したときにシャッター13を切る構成としてもよい。
In this embodiment, the case where only one face is shown in the photographed image has been described. However, when multiple faces are shown, the mouths of multiple people are tracked, and any one person can hold the mouth. It is good also as a structure which cuts the
また、上記実施の形態では、口の動作として、口の開閉のみに着目したが、何か言葉を発する時の口の動きを検出してもよい。 In the above-described embodiment, attention is paid only to opening / closing of the mouth as the mouth movement. However, movement of the mouth when a word is spoken may be detected.
以上、本発明の実施の形態に係るデジタルスチルカメラについて実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。 The digital still camera according to the embodiment of the present invention has been described in detail with reference to the embodiment, but the present invention is not limited to the above-described embodiment.
また、本発明のデジタルスチルカメラは、顔認識システムにおける登録画像や照合画像の撮影等にも応用できる。認証のために撮影を行う際には、被撮影者の顔の向きや表情等は、登録時と同じであることが望ましい。しかし、登録画像や照合画像の撮影を自動で行う場合、顔の向きや表情の変化してしまうことが往々にしてある。本発明を用いることにより、被撮影者が撮影のタイミングを決定できるので、撮影時の顔の向きや表情等を一定にすることができ、認証精度を向上することができる。 In addition, the digital still camera of the present invention can be applied to taking a registered image or a collation image in a face recognition system. When photographing for authentication, it is desirable that the orientation, facial expression, etc. of the subject to be photographed are the same as at the time of registration. However, when automatically taking a registered image or a collation image, the face orientation and facial expression often change. By using the present invention, the person to be photographed can determine the timing of photographing, so that the orientation and expression of the face at the time of photographing can be made constant, and the authentication accuracy can be improved.
以上説明したように、本発明は、遠隔操作により被撮影者の望むタイミングでシャッターを切ることができ、動画撮影モードと静止画撮影モードを有するデジタルスチルカメラ等として有用である。 As described above, the present invention is useful as a digital still camera or the like having a moving image shooting mode and a still image shooting mode that can release a shutter at a timing desired by a subject by remote control.
1,3 撮像装置
11 レンズ
12 撮像素子
13 シャッター
14 A/D変換部
15 メモリ
16 モード切替部
17 モード設定部
18 操作部
20 画像処理部
21 顔検出部
22 目検出部
23 目追跡部
24 ウィンク検出部
25 特徴量生成部
26 登録特徴量記憶部
27 照合特徴量記憶部
28 顔照合部
29 判定部
30 顔位置計算部
31 LED
32 モニタ
33 口検出部
34 口追跡部
35 口動作検出部
DESCRIPTION OF
32
Claims (7)
前記撮像素子にて撮像された動画像から、被撮影者が映った動画像を検出する被撮影者動画像検出部と、
前記被撮影者動画像検出部にて検出された動画像に基づいて、前記被撮影者の所定の動きを検出する動き検出部と、
前記動き検出部にて前記所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御部と、
を備えたことを特徴とする撮像装置。 An image sensor for capturing an image of a subject and acquiring image data;
A subject moving image detection unit that detects a moving image in which the subject is captured from a moving image captured by the image sensor;
A motion detector for detecting a predetermined motion of the subject based on the moving image detected by the subject moving image detector;
A shutter control unit that releases a shutter for still image shooting when the predetermined motion is detected by the motion detection unit;
An imaging apparatus comprising:
前記撮像素子にて撮像された動画像から、被撮影者の顔画像を検出する顔画像検出部と、
前記顔画像検出部にて検出された顔画像と前記登録顔画像記憶部に記憶された顔画像とを照合する顔画像照合部と、
を備え、
前記シャッター制御部は、前記動き検出部にて所定の動きが検出され、かつ、前記顔画像照合部にて顔画像が照合されたときに、シャッターを切ることを特徴とする請求項1〜3のいずれかに記載の撮像装置。 A registered face image storage unit for registering face images in advance;
A face image detection unit that detects a face image of the subject from a moving image captured by the image sensor;
A face image collation unit for collating the face image detected by the face image detection unit with the face image stored in the registered face image storage unit;
With
The shutter control unit releases the shutter when a predetermined motion is detected by the motion detection unit and a face image is collated by the face image collation unit. The imaging device according to any one of the above.
前記顔位置計算部にて計算された顔の位置に関する情報を被撮影者に報知する報知部と、
を備えたことを特徴とする請求項1〜4のいずれかに記載の撮像装置。 A face position calculation unit that calculates the position of the face image of the subject in the image based on the moving image captured by the image sensor;
A notifying unit for notifying a person to be photographed about the position of the face calculated by the face position calculating unit;
The imaging apparatus according to claim 1, further comprising:
前記被撮影者動画像検出ステップにて検出された動画像に基づいて、前記被撮影者の所定の動きを検出する動き検出ステップと、
前記動き検出部にて所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御ステップと、
を備えたことを特徴とする撮像方法。
A subject moving image detection step for detecting a moving image in which the subject is captured from a moving image captured by the image sensor;
A motion detecting step for detecting a predetermined motion of the subject based on the moving image detected in the subject moving image detecting step;
A shutter control step for releasing a shutter for still image shooting when a predetermined movement is detected by the movement detector;
An imaging method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006246487A JP2008072183A (en) | 2006-09-12 | 2006-09-12 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006246487A JP2008072183A (en) | 2006-09-12 | 2006-09-12 | Imaging apparatus and imaging method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008072183A true JP2008072183A (en) | 2008-03-27 |
Family
ID=39293428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006246487A Pending JP2008072183A (en) | 2006-09-12 | 2006-09-12 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008072183A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009267733A (en) * | 2008-04-24 | 2009-11-12 | Sharp Corp | Imaging apparatus and imaging control method |
JP2010041643A (en) * | 2008-08-08 | 2010-02-18 | Nikon Corp | Electronic still camera |
US8199208B2 (en) | 2008-09-22 | 2012-06-12 | Sony Corporation | Operation input apparatus, operation input method, and computer readable medium for determining a priority between detected images |
US8385645B2 (en) | 2008-09-12 | 2013-02-26 | Sony Corporation | Object detecting device, imaging apparatus, object detecting method, and program |
CN102946516A (en) * | 2012-11-28 | 2013-02-27 | 广东欧珀移动通信有限公司 | Mobile terminal and method for detecting blink action and realizing autodyne by mobile terminal |
CN105898598A (en) * | 2016-04-26 | 2016-08-24 | 乐视控股(北京)有限公司 | Video focusing zoom method and apparatus |
-
2006
- 2006-09-12 JP JP2006246487A patent/JP2008072183A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009267733A (en) * | 2008-04-24 | 2009-11-12 | Sharp Corp | Imaging apparatus and imaging control method |
JP2010041643A (en) * | 2008-08-08 | 2010-02-18 | Nikon Corp | Electronic still camera |
US8385645B2 (en) | 2008-09-12 | 2013-02-26 | Sony Corporation | Object detecting device, imaging apparatus, object detecting method, and program |
US8199208B2 (en) | 2008-09-22 | 2012-06-12 | Sony Corporation | Operation input apparatus, operation input method, and computer readable medium for determining a priority between detected images |
CN102946516A (en) * | 2012-11-28 | 2013-02-27 | 广东欧珀移动通信有限公司 | Mobile terminal and method for detecting blink action and realizing autodyne by mobile terminal |
CN105898598A (en) * | 2016-04-26 | 2016-08-24 | 乐视控股(北京)有限公司 | Video focusing zoom method and apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7672580B2 (en) | Imaging apparatus and method for controlling display device | |
US8180106B2 (en) | Image capturing apparatus and image capturing method | |
JP5276111B2 (en) | Method and system for supporting so that composition of face can be determined during self-photographing | |
US7783186B2 (en) | Imaging apparatus, imaging apparatus control method, and computer program | |
KR100924685B1 (en) | Imaging apparatus and control method thereof | |
JP4639869B2 (en) | Imaging apparatus and timer photographing method | |
US8253848B2 (en) | Imaging apparatus, imaging apparatus control method, and computer program product, with eye blink detection features | |
JP5099488B2 (en) | Imaging apparatus, face recognition method and program thereof | |
JP4577275B2 (en) | Imaging apparatus, image recording method, and program | |
WO2009089142A2 (en) | Digital camera focusing using stored object recognition | |
JP2008072183A (en) | Imaging apparatus and imaging method | |
JP2009117975A (en) | Image pickup apparatus and method | |
US11729501B2 (en) | Imaging control system, imaging control method, control device, control method, and storage medium | |
JP2007049631A (en) | Imaging apparatus | |
JP2008134452A (en) | Imaging apparatus and photographing control program for imaging apparatus | |
JP5109864B2 (en) | Electronic still camera | |
JP5448868B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP5109779B2 (en) | Imaging device | |
JP2008219450A (en) | Imaging device and control method thereof | |
JP2005045601A (en) | Image photographing apparatus and program | |
JP2004126778A (en) | Face collator, door controller, face collating method and door control method | |
JP4502992B2 (en) | Imaging device | |
JP2021022081A (en) | Imaging apparatus | |
JP2003242490A (en) | Personal authentication device | |
JP2008017211A (en) | Imaging apparatus, control method thereof, program and storage medium |