JP2012044267A - Imaging device, subject search method, and program - Google Patents
Imaging device, subject search method, and program Download PDFInfo
- Publication number
- JP2012044267A JP2012044267A JP2010181102A JP2010181102A JP2012044267A JP 2012044267 A JP2012044267 A JP 2012044267A JP 2010181102 A JP2010181102 A JP 2010181102A JP 2010181102 A JP2010181102 A JP 2010181102A JP 2012044267 A JP2012044267 A JP 2012044267A
- Authority
- JP
- Japan
- Prior art keywords
- image
- trigger
- search
- specific subject
- trigger information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、顔認識機能を有する撮像装置、被写体探索方法及びプログラムに関する。 The present invention relates to an imaging device having a face recognition function, a subject searching method, and a program.
近年のデジタルカメラでは顔認識機能を標準で搭載するものが多く、中には人間の顔認識のみならず、犬や猫などのペットの顔を認識してピントや露出を制御する機種も商品化されている。この技術は、被写体であるペットに対して正面の顔を検出してピントを合わせ、自動的にシャッタレリーズを行なうことで、動き回る被写体の適切な撮影タイミングを逃さないようにしたものである。 Many recent digital cameras are equipped with a face recognition function as a standard feature. Some models not only recognize human faces, but also recognize the faces of pets such as dogs and cats to control focus and exposure. Has been. This technique detects the front face of a pet that is a subject, focuses the subject, and automatically releases the shutter so that the appropriate shooting timing of the moving subject is not missed.
また、被写体の正面の顔を検出する技術に類似するものとして、プレシャッターモードで被写体の顔検出を行なって視線方向がカメラに向いた瞬間にシャッタレリーズを行なうようにした技術が考えられている。（例えば、特許文献１） Further, as a technique similar to the technique for detecting the front face of the subject, a technique is considered in which the face of the subject is detected in the pre-shutter mode, and the shutter release is performed at the moment when the line of sight is directed to the camera. . (For example, Patent Document 1)
上記顔認識技術、及び視線検出技術を用いたデジタルカメラでは、上記特許文献に記載された技術も含めて、モニタ画像中の顔を認識した状態から即時シャッタレリーズに備えるべく、ＡＦ（自動合焦）機能及びＡＥ（自動露出）機能を連続的に動作させながら撮影タイミングを待機することになる。したがって、顔認識機能を使用しない通常の撮影モードに比してシャッターチャンスを待つ時間が長くなるという不具合がある。 In the digital camera using the face recognition technology and the eye gaze detection technology, including the technology described in the patent document, AF (automatic focusing) is prepared in order to prepare for an immediate shutter release from the state in which the face in the monitor image is recognized. ) And the AE (automatic exposure) function are continuously operated to wait for the photographing timing. Therefore, there is a problem that the time for waiting for a photo opportunity becomes longer than in a normal shooting mode in which the face recognition function is not used.
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、必要なタイミングを逃すことなく撮像を実行することが可能な撮像装置、被写体探索方法及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging device, a subject search method, and a program capable of performing imaging without missing a necessary timing. It is in.
請求項１記載の発明は、画像を撮像する撮像手段と、特定の被写体に対応する画像上の特徴情報を記憶する第１の記憶手段と、上記特定の被写体の探索の開始を指示するためのトリガ情報を記憶する第２の記憶手段と、トリガ情報を入力するトリガ入力手段と、上記トリガ入力手段で入力したトリガ情報と上記第２の記憶手段が記憶するトリガ情報とが所定値以上の類似度か否かを判断する判断手段と、上記判断手段により所定値以上の類似度と判断されると、上記撮像手段が撮像する画像から上記第１の記憶手段が記憶する特徴情報に基づいて、前記特定の被写体を探索する探索手段とを備えたことを特徴とする。 According to the first aspect of the present invention, there is provided an imaging unit that captures an image, a first storage unit that stores feature information on an image corresponding to a specific subject, and an instruction to start the search for the specific subject. The second storage means for storing the trigger information, the trigger input means for inputting the trigger information, the trigger information input by the trigger input means, and the trigger information stored by the second storage means are similar to each other with a predetermined value or more. If the determination means determines whether the degree of similarity is equal to or greater than a predetermined value, the determination means determines whether the first storage means stores an image captured from the image captured by the imaging means. Search means for searching for the specific subject is provided.
請求項２記載の発明は、上記請求項１記載の発明において、上記撮像手段に、上記特徴情報の候補となる被写体を合焦させる自動合焦手段と、上記探索手段に、上記自動合焦手段により合焦された画像を取得させ特徴情報を探索させる探索制御手段と、上記探索制御手段により探索された特徴情報を含む特定の被写体の画像を記録する記録手段とをさらに備えたことを特徴とする。 According to a second aspect of the present invention, in the first aspect of the present invention, the image pickup means has an automatic focusing means for focusing an object that is a candidate for the feature information, and the search means has the automatic focusing means. A search control means for acquiring an image focused by the above and searching for feature information; and a recording means for recording an image of a specific subject including the feature information searched by the search control means. To do.
請求項３記載の発明は、上記請求項２記載の発明において、上記探索手段は、上記特徴情報が上記撮像手段に正対しているか否かを判別し、上記記録手段は、上記探索手段により上記撮像手段に正対したと判別された特徴情報を含む特定の被写体の画像を記録する
ことを特徴とする。
The invention according to claim 3 is the invention according to claim 2, wherein the search means determines whether or not the feature information is directly facing the imaging means, and the recording means is It is characterized in that an image of a specific subject including characteristic information determined to be directly facing the imaging means is recorded.
請求項４記載の発明は、上記請求項１記載の発明において、上記トリガ情報は音声情報であることを特徴とする。 The invention described in claim 4 is the invention described in claim 1, characterized in that the trigger information is audio information.
請求項５記載の発明は、上記請求項４記載の発明において、上記判断手段は、上記トリガ情報の音声認識処理及び話者認識処理により所定値以上の類似度か否かを判断することを特徴とする。 The invention according to claim 5 is the invention according to claim 4, wherein the determination means determines whether or not the degree of similarity is equal to or greater than a predetermined value by voice recognition processing and speaker recognition processing of the trigger information. And
請求項６記載の発明は、画像を撮像する撮像装置での被写体探索方法であって、特定の被写体に対応する画像上の特徴情報を記憶する第１の記憶ステップと、上記特定の被写体の探索の開始を指示するためのトリガ情報を記憶する第２の記憶ステップと、トリガ情報を入力するトリガ入力ステップと、上記トリガ入力ステップにて入力したトリガ情報と上記第２の記憶ステップで記憶したトリガ情報とが所定値以上の類似度か否かを判断ステップと、上記判断ステップにて所定値以上の類似度と判断されると、撮像する画像から上記第１の記憶ステップで記憶する特徴情報に基づいて、前記特定の被写体を探索する探索ステップとを含むことを特徴とする。 The invention according to claim 6 is a method for searching for a subject in an image pickup apparatus that picks up an image, the first storing step storing feature information on the image corresponding to the specific subject, and searching for the specific subject. A second storage step for storing trigger information for instructing the start of a trigger, a trigger input step for inputting trigger information, the trigger information input in the trigger input step, and the trigger stored in the second storage step A step of determining whether or not the information is a similarity greater than or equal to a predetermined value; and if the degree of similarity is greater than or equal to a predetermined value in the determination step, the feature information stored in the first storage step from the image to be captured And a search step for searching for the specific subject.
請求項７記載の発明は、画像を撮像する撮像装置のコンピュータを、上記特定の被写体に対応する画像上の特徴情報を記憶する第１の記憶手段、上記特定の被写体の探索の開始を指示するためのトリガ情報を記憶する第２の記憶手段、トリガ情報を入力するトリガ入力手段、上記トリガ入力手段により入力されたトリガ情報と上記第２の記憶手段により記憶されたトリガ情報とが所定値以上の類似度か否かを判断する判断手段、上記判断手段により所定値以上の類似度と判断されると、撮像する画像から上記第１の記憶手段で記憶する特徴情報に基づいて、前記特定の被写体を探索する探索手段として機能させることを特徴とする。 According to the seventh aspect of the invention, the computer of the image pickup apparatus that picks up an image instructs the first storage means for storing the feature information on the image corresponding to the specific subject, and the start of the search for the specific subject. Second triggering means for storing trigger information for triggering, trigger input means for inputting trigger information, trigger information input by the trigger input means and trigger information stored by the second storage means are greater than or equal to a predetermined value Determining means for determining whether or not the similarity is equal to or greater than a predetermined value by the determining means, based on the feature information stored in the first storage means from the image to be captured, It functions as a search means for searching for a subject.
本発明によれば、必要なタイミングを逃すことなく撮像を実行することが可能となる。 According to the present invention, it is possible to execute imaging without missing a necessary timing.
以下、本発明をペット認識機能を有するデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。 Hereinafter, an embodiment when the present invention is applied to a digital camera having a pet recognition function will be described with reference to the drawings.
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体の前面に配設される光学レンズユニット１１を介して、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳイメージセンサ等で構成される固体撮像素子（ＩＳ）１２の撮像面上に被写体の光像を入射して結像させる。
FIG. 1 shows a circuit configuration of a
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、この固体撮像素子１２での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介して画像処理部１４に送られる。
In a monitor state, also referred to as through image display or live view image display, an image signal obtained by imaging with the solid-
画像処理部１４では、画像データに対して画素補間処理、γ補正処理を含むカラープロセス処理を施して表示部１５へ送り、スルー画像として表示させる。
In the
また、画像処理部１４内には顔認識部１４ａを備える。この顔認識部１４ａは、画像データに対して、例えば固有顔あるいは隠れマルコフモデル等の顔認識アルゴリズムを用い、予め登録されている顔データに基づいた顔認識処理を行なってその認識結果を後述するＣＰＵ１９に送出する。
The
また、上記光学レンズユニット１１と同じくカメラ筐体前面には、一対のマイクロホン１６Ｌ，１６Ｒが配設され、被写体方向の音声がステレオで入力される。マイクロホン１６Ｌ，１６Ｒはそれぞれ入力した音声を電気信号化し、音声処理部１７へ出力する。
Similarly to the optical lens unit 11, a pair of
音声処理部１７は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン１６Ｌ，１６Ｒから入力する音声信号をデジタルデータ化する。さらに音声処理部１７は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
The
加えて音声処理部１７は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ１８を駆動して、拡声放音させる。
In addition, the
さらに音声処理部１７内に音声認識部１７ａを備える。この音声認識部１７ａは、音響モデルを用いてマイクロホン１６Ｌ，１６Ｒから入力した音声に対する音声認識処理を実行する。
Furthermore, the
加えて音声認識部１７ａは、予め登録されているユーザの音声データに基づいた話者認識（話者照合）処理を実行し、その照合結果をＣＰＵ１９へ送出する。
In addition, the
以上の回路をＣＰＵ１９が統括制御する。このＣＰＵ１９は、メインメモリ２０、プログラムメモリ２１と直接接続される。メインメモリ２０は、例えばＳＲＡＭで構成され、ワークメモリとして機能する。プログラムメモリ２１は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述する撮影モード時の制御を含む動作プログラムやデータ等を固定的に記憶する。
The
ＣＰＵ１９はプログラムメモリ２１から必要なプログラムやデータ等を読出し、メインメモリ２０に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。
The
さらに上記ＣＰＵ１９は、操作部２２から直接入力される各種キー操作信号に対応して制御動作を実行する。操作部２２は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、プレイバックキー、ディスプレイキー等を備える。
Further, the
ＣＰＵ１９は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１３、画像処理部１４、表示部１５、及び音声処理部１７の他、さらにレンズ駆動部２３、フラッシュ駆動部２４、イメージセンサ（ＩＳ）駆動部２５、メモリカードコントローラ２６、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェイス（Ｉ／Ｆ）２７と接続される。
In addition to the AGC / A / D conversion unit 13, the
レンズ駆動部２３は、ＣＰＵ１９からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）２８の回転を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
The
フラッシュ駆動部２４は、静止画像撮影時にＣＰＵ１９からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部２９を撮影タイミングに同期して点灯駆動する。
The
イメージセンサ駆動部２５は、その時点で設定されている撮影条件等に応じて上記固体撮像素子１２の走査駆動を行なう。
The image
上記画像処理部１４は、上記操作部２２のシャッタキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１３から送られてきた画像データを所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ２６を介してメモリカード３０に記録される。
The
また画像処理部１４は、再生モード時にメモリカード３０からメモリカードコントローラ２６を介して読出されてくる画像データをシステムバスＳＢを介して受取り、記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して表示部１５に出力して表示させる。
メモリカードコントローラ２６は、カードコネクタ３１を介してメモリカード３０と接続される。メモリカード３０は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。
Further, the
The
ＵＳＢインターフェイス２７は、ＵＳＢコネクタ３２を介してこのデジタルカメラ１０を外部機器、例えばパーソナルコンピュータと接続する際のデータの送受を司る。
The
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード下で動画像スタート／ストップキーを操作して動画像の撮影を開始した際、ＣＰＵ１９がプログラムメモリ２１に記憶されている動作プログラムやデータを読出してメインメモリ２０に展開して記憶させた上で実行するものである。
Next, the operation of the above embodiment will be described.
In the following operation, the
プログラムメモリ２１に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２１に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０を上記ＵＳＢコネクタ３２を介してパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
The operation program stored in the
図２は、このデジタルカメラ１０のユーザが事前に話者として撮影のトリガ情報である発呼音声を登録する話者登録モード時の処理内容である。本図では、発話者の声と、発話内容（語）、具体的にはペット名とを登録する。
その当初に、まず発話者名を登録する（ステップＰ１０１）。この発話者名の登録時には、例えば表示部１５にカタカナ等を表示させた上で操作部２２のカーソルキー及びセットキーを操作することで適宜入力が可能であるものとする。入力された発話者名のテキストデータをＣＰＵ１９が受付け、プログラムメモリ２１に記憶する。
FIG. 2 shows the processing contents in the speaker registration mode in which the user of the
First, a speaker name is registered (step P101). At the time of registering the speaker name, it is possible to input appropriately by operating the cursor key and the set key of the
その後、所定のいくつかの単語を列記し、それらのうちのいずれかを発声するようなガイドメッセージをＣＰＵ１９が表示部１５で表示させる（ステップＰ１０２）。
Thereafter, the
ＣＰＵ１９はこのガイドメッセージにしたがって一定の音圧レベル以上の音声入力があるか否かを判断し（ステップＰ１０３）、なければ上記ステップＰ１０２からの処理に戻ってガイドメッセージの表示を継続しながら、音声入力があるのを待機する。
In accordance with this guide message, the
音声入力があった場合、上記ステップＰ１０３でそれを判断して、マイクロホン１６Ｌ，１６Ｒから入力された音声データを音声処理部１７内の音声認識部１７ａで分析させる（ステップＰ１０４）。ここでの音声分析は、「声紋」とも呼称される、人によって異なる声の音響的特徴（音響パターン）を抽出する。取得した音響パターンデータは第１の音声トリガデータ（図では「トリガ１」と称する）としてＣＰＵ１９がプログラムメモリ２１内の上記発話者名データと関連付けて記憶させる（ステップＰ１０５）。
If there is a voice input, it is determined in step P103 and the
次いで、ペットの名前を発声するようなガイドメッセージを表示部１５で表示する（ステップＰ１０６）。
ＣＰＵ１９はこのガイドメッセージにしたがって一定の音圧レベル以上の音声入力があるか否かを判断し（ステップＰ１０７）、なければ上記ステップＰ１０６からの処理に戻ってガイドメッセージの表示を継続しながら、音声入力があるのを待機する。
Next, a guide message that utters the name of the pet is displayed on the display unit 15 (step P106).
In accordance with this guide message, the
音声入力があった場合、ＣＰＵ１９は上記ステップＰ１０７でそれを判断し、マイクロホン１６Ｌ，１６Ｒから入力された音声データを音声処理部１７内の音声認識部１７ａで分析させる（ステップＰ１０８）。
If there is a voice input, the
ここでの音声分析では、具体的には認識対象の音素がそれぞれどのような周波数特性を持っているかを表す音響モデルを取得する。音響モデルの表現方法としては、例えば混合正規分布を出力確率とした隠れマルコフモデルを用いる。 In the speech analysis here, specifically, an acoustic model representing what frequency characteristic each phoneme to be recognized has is acquired. As a representation method of the acoustic model, for example, a hidden Markov model with a mixed normal distribution as an output probability is used.
取得した音響モデルデータは第２の音声トリガデータ（図では「トリガ２」と称する）としてＣＰＵ１９がプログラムメモリ２１内の上記発話者名データ、第１の音声トリガデータと関連付けて記憶させる（ステップＰ１０９）。
以上でこの図２の話者登録モードでの一連の処理を終了する。
The acquired acoustic model data is stored as second voice trigger data (referred to as “trigger 2” in the figure) by the
The series of processes in the speaker registration mode in FIG.
次に図３により、上記話者登録をした状態で、ペットの顔認識により撮影を実行する顔認識モードでの撮影動作時の処理内容について説明する。
なお、この顔認識モードでの動作にあっては、ユーザが飼っているペット、例えば猫の顔の特徴データが予めプログラムメモリ２１に記憶されているものとする。
Next, with reference to FIG. 3, description will be given of processing contents during a photographing operation in a face recognition mode in which photographing is performed by pet face recognition in the state where the speaker is registered.
In the operation in the face recognition mode, it is assumed that feature data of a pet pet kept by the user, for example, a cat's face, is stored in the
同モード選択時には、まず一定の音圧レベル以上の音声入力があるのを待機する（ステップＳ１０１）。
図４及び図５は、上記音声入力がなされる前の状態で、光学レンズユニット１１を介して固体撮像素子１２で撮像され、表示部１５でモニタ表示される被写体の画像を例示する。これらの図に示すように、撮影を行ないたい特定の被写体であるペットの顔が撮像範囲に入っていても、顔認識機能が起動されておらず、顔認識処理は行なわれない。
When the same mode is selected, the system first waits for a voice input exceeding a certain sound pressure level (step S101).
4 and 5 exemplify an image of a subject imaged by the solid-
待機している状態でユーザによりペットに対する呼びかけがあったものとする。この呼びかけによりＣＰＵ１９が上記ステップＳ１０１で一定の音圧レベル以上の音声入力があったと判断すると、次に音声処理部１７の音声認識部１７ａによりその入力音声を分析し、音響的特徴（音響パターン）と音響モデルとを取得する。
It is assumed that the user has called the pet while waiting. If the
次いで、ＣＰＵ１９は取得した音響モデルデータを登録済みの第２の音声トリガデータと比較し、所定値以上の類似度を有するか否かによりペット名を表す第２の音声トリガであるか否かを判断する（ステップＳ１０３）。
Next, the
ここで、取得した音響モデルデータが第２の音声トリガデータではないと判断した場合には、直前のステップＳ１０１で取得した音声は撮影しているペットに対しての呼びかけではないものとして、再び新たな音声入力に備えるべく上記ステップＳ１０１からの処理に戻る。 Here, when it is determined that the acquired acoustic model data is not the second voice trigger data, the voice acquired in the immediately preceding step S101 is not a call to the photographed pet, and is newly renewed. The process returns to step S101 so as to prepare for a voice input.
また上記ステップＳ１０３で、取得した音響モデルデータが第２の音声トリガデータであると判断した場合にＣＰＵ１９は、モニタ画像中の特定の被写体を追尾するための一定時間、例えば１０秒を計時するためのＣＰＵ１９内部のタイマによる計時動作を起動させる（ステップＳ１０４）。
In addition, when it is determined in step S103 that the acquired acoustic model data is the second sound trigger data, the
次いで、ＣＰＵ１９は上記取得した音響的特徴を登録済みの第１の音声トリガデータと比較し、所定値以上の類似度を有するか否かによりユーザ自身の声であるか否かを判断する（ステップＳ１０５）。
Next, the
ここで、取得した音響的特徴が第１の音声トリガデータではないと判断した場合には、直前のステップＳ１０１で取得した音声はユーザによる呼びかけではないではないものとして、再び新たな音声入力に備えるべく上記ステップＳ１０１からの処理に戻る。 Here, when it is determined that the acquired acoustic feature is not the first voice trigger data, the voice acquired in the immediately preceding step S101 is not a call by the user and is prepared for a new voice input again. Therefore, the process returns to the process from step S101.
また上記ステップＳ１０５で、取得した音響的特徴が第１の音声トリガデータであると判断した場合にＣＰＵ１９は、正しいユーザにより正しいペット名の呼びかけがなされたものと判断する。
If it is determined in step S105 that the acquired acoustic feature is the first voice trigger data, the
このときＣＰＵ１９は、ＡＦ（自動合焦）処理及びＡＥ（自動露出）処理を実行する一方で（ステップＳ１０６）、得られる画像データに対して顔認識部１４ａにより顔認識処理を実行する（ステップＳ１０７）。
At this time, the
そして、その認識結果から予めプログラムメモリ２１に記憶されているペットの猫の顔の特徴データと一定の類似度以上の画像パターンを検出することができたか否かにより、ペットの顔を認識できたか否かを判断する（ステップＳ１０８）。
Whether or not the pet face could be recognized based on whether or not an image pattern having a certain degree of similarity or more with the pet cat face feature data stored in advance in the
ここで、ペットの顔を認識できなかったと判断した場合には、次いで直前の上記ステップＳ１０４で計時を開始したＣＰＵ１９の内部タイマの計時値が一定時間に達したか否かを判断する（ステップＳ１０９）。
Here, if it is determined that the pet's face could not be recognized, it is then determined whether or not the measured value of the internal timer of the
そして、当該計時値が一定時間に達していないことを確認した上で、再び上記ステップＳ１０６からの処理に戻る。 Then, after confirming that the measured value has not reached the predetermined time, the process returns to step S106 again.
また、上記ステップＳ１０９でＣＰＵ１９の内部タイマの計時値が一定時間に達したと判断した場合には、次の音声入力を待って処理を再開するべく上記ステップＳ１０１からの処理に戻る。
If it is determined in step S109 that the measured value of the internal timer of the
上記ステップＳ１０８でペットの顔を認識できたと判断した場合、以後は画像中のその顔パターンをロックして追尾し、ＡＦ処理を続行するものとし、合わせて表示部１５で表示する顔パターン位置に顔認識ができたことを表すフレーム位置を表示させる（ステップＳ１１０）。
If it is determined in step S108 that the pet's face has been recognized, the face pattern in the image is locked and tracked, and the AF process is continued, and the face pattern position displayed on the
図６は、このデジタルカメラ１０のユーザがペット名「たま」を呼びかけ、表示部１５で表示されるペットの画像の顔位置に対して顔認識結果を示すフォーカスフレームＦＦ１が重畳して表示されている状態を例示する。
In FIG. 6, the user of the
同図では、フォーカスフレームＦＦ１を破線で示しているが、実際のデジタルカメラ１０では、フォーカスフレームＦＦ１を矩形とその中心位置の十字ラインを例えば緑色の実線により表現するものとしても良い。
In the drawing, the focus frame FF1 is indicated by a broken line. However, in the actual
また、この図６の表示例では、表示部１５の左下端部で文字列「ペット顔検出中！」のガイドメッセージＧＭ１により、表示されているフォーカスフレームＦＦ１がペットの顔の認識結果であることを補助的に表示している。
Further, in the display example of FIG. 6, the focus frame FF <b> 1 displayed by the guide message GM <b> 1 of the character string “pet face detected!” At the lower left corner of the
このようにペットの顔位置でフォーカスをロックし、合わせて表示部１５でも当該位置にフォーカスフレームを表示させた状態で、上記顔認識の結果から、所定の向き、例えば正面の顔であるか否かにより、シャッタレリーズのタイミングとなったか否かを判断する（ステップＳ１１１）。
これは、顔認識結果と、予め設定されている、ペットの顔を構成する各パーツの配置パターンとの類似度が所定値を超えて高いか否かにより判断する。
In this way, the focus is locked at the pet's face position, and the
This is determined based on whether or not the similarity between the face recognition result and the preset arrangement pattern of each part constituting the pet's face exceeds a predetermined value.
ここでペットの顔が所定の向きではなく、シャッタレリーズのタイミングとなっていないと判断した場合には、その後に上記ステップＳ１０９に進み、タイマによる計時時間内であることを確認した上で上記ステップＳ１０６からの処理に戻る。 If it is determined that the face of the pet is not in a predetermined direction and the shutter release timing is not reached, the process proceeds to step S109, and after confirming that the pet's face is within the time counted by the timer, the step is performed. The process returns to S106.
また、上記ステップＳ１１１でペットの顔が所定の向き、例えば正面の顔となり、シャッタレリーズのタイミングとなったと判断した場合には、その時点でのＡＦ値及びＡＥ値に基づいて撮影を実行し、正面を向いているペットの顔の撮影を実行する（ステップＳ１１２）。 If it is determined in step S111 that the pet's face has a predetermined orientation, for example, a front face, and the shutter release timing is reached, shooting is performed based on the AF value and the AE value at that time, Photographing of the face of the pet facing the front is executed (step S112).
図７は、表示部１５で表示されるペットの画像がほぼ正面を向き、シャッタレリーズのタイミングとなって、上記フォーカスフレームＦＦ１とは異なるフォーカスフレームＦＦ２が重畳して表示された状態を例示する。
FIG. 7 exemplifies a state in which the pet image displayed on the
同図では、フォーカスフレームＦＦ２を一点鎖線で示しているが、実際のデジタルカメラ１０では、フォーカスフレームＦＦ２を矩形とその中心位置の十字ラインを例えば赤色の実線により表現するものとしても良い。
In the figure, the focus frame FF2 is indicated by a one-dot chain line. However, in the actual
また、この図７の表示例では、表示部１５の左下端部で文字列「ペット顔検出中！」のガイドメッセージＧＭ１により、表示されているフォーカスフレームＦＦ１がペットの顔の認識結果であることを補助的に表示している。合わせて、例えばシャッタレリーズキーの近傍に埋設されるスピーカ１８から撮影タイミングに同期してシャッタ音を発生させることで、ユーザに撮影が実行されたことを報知する。
Further, in the display example of FIG. 7, the focus frame FF <b> 1 displayed by the guide message GM <b> 1 of the character string “pet face detected!” At the lower left end of the
こうして撮影により得た画像データを画像処理部１４で所定のフォーマット、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）やエントロピー符号化としてのハフマン符号化を等を施してデータ量を圧縮して画像データファイル化し、得た画像データファイルをメモリカードコントローラ２６を介してこのデジタルカメラ１０の記録媒体であるメモリカード３０に記録させる（ステップＳ１１３）。
In this way, the image data obtained by shooting is subjected to a predetermined format in the
以上で一連の画像データの撮影、記録に係る処理を終了し、次の画像撮影に備えるべく上記ステップＳ１０１からの処理に戻る。 This completes the processing related to the shooting and recording of a series of image data, and returns to the processing from step S101 to prepare for the next image shooting.
以上詳記した如く本実施形態によれば、予めユーザが登録したペットへの呼びかけ音声が入力されるまでは顔認識等の一連の処理を実行しない。そのため、できる限り電力の消費を抑えながら必要なタイミングを逃すことなく撮影を実行することが可能となる。 As described above in detail, according to the present embodiment, a series of processes such as face recognition is not executed until a call voice to a pet registered in advance by the user is input. Therefore, it is possible to perform shooting without missing the necessary timing while suppressing power consumption as much as possible.
また上記実施形態では、自動合焦機能を有するものとし、顔認識処理と共に常に画像中のペットの顔位置に合焦させておき、撮影により得た画像データをファイル化して記録するものとしたので、顔認識処理が正確に実施できる上に、ペットの顔を所定の方向を向いた際にそれを検出してから撮影、記録するまでのタイムラグを最少限に短縮できる。 In the above embodiment, it is assumed that an automatic focusing function is provided, and the face position of the pet in the image is always focused together with the face recognition process, and the image data obtained by shooting is recorded as a file. Furthermore, the face recognition process can be performed accurately, and the time lag from when a pet's face is detected in a predetermined direction until it is shot and recorded can be minimized.
さらに上記実施形態では、ペットの顔がカメラ正面に向いた状態を顔認識により検出してシャッタレリーズを行なうものとした。これにより、顔認識技術を有効に活用して確実に被写体の表情を大きく捉えることができる。 Furthermore, in the above embodiment, the shutter release is performed by detecting the face of the pet facing the front of the camera by face recognition. This makes it possible to capture a large facial expression of the subject reliably by effectively utilizing the face recognition technology.
また上記実施形態では、ユーザの音声をトリガとして顔認識等の処理を開始するものとしたので、特に音声を記録しない静止画像の撮影に際して、直感的で理解し易いユーザインターフェイスにより気軽に撮影が実行できる。 In the above-described embodiment, processing such as face recognition is started by using the user's voice as a trigger. Therefore, when taking a still image that does not record voice, shooting is easily performed with an intuitive and easy-to-understand user interface. it can.
特に上記実施形態では、音声情報を音声認識及び話者認識により処理するものとしたので、「誰が」「何を」言ったのか双方が正しいと認識されなければトリガ情報とはならないため、無駄な電力消費を確実に回避しながらも、ペットなどの被写体によってはシャッタチャンスを逃すことなく的確に撮影を実行できる。 In particular, in the above-described embodiment, since voice information is processed by voice recognition and speaker recognition, trigger information is not used unless both “who” and “what” are recognized as correct. While reliably avoiding power consumption, depending on the subject such as a pet, shooting can be performed accurately without missing a photo opportunity.
なお上記実施形態は静止画像を撮影するデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、カメラ機能を有する電子機器であれば、他にも携帯電話端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）、電子ブック、モバイルコンピュータなどの各種機器にも同様に適用可能となる。 The above embodiment has been described with reference to a case where the present invention is applied to a digital camera that captures a still image. However, the present invention is not limited to this, and any other electronic device having a camera function may be a mobile phone terminal or a PDA. (Personal Digital Assistants: personal information portable terminals), electronic books, mobile computers, and other devices can be similarly applied.
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。 In addition, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention in the implementation stage. Further, the functions executed in the above-described embodiments may be combined as appropriate as possible. The above-described embodiment includes various stages, and various inventions can be extracted by an appropriate combination of a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, if the effect is obtained, a configuration from which the constituent requirements are deleted can be extracted as an invention.
１０…デジタルカメラ、１１…光学レンズユニット、１１Ａ…ズームレンズ、１１Ｂ…レンズ鏡筒、１２…固体撮像素子、１３…ＡＧＣ・Ａ／Ｄ変換部、１４…画像処理部、１４ａ…顔認識部、１５…表示部、１６Ｌ，１６Ｒ…マイクロホン、１７…音声処理部、１８…スピーカ、１９…ＣＰＵ、２０…メインメモリ、２１…プログラムメモリ、２２…操作部、２２ａ…ズームレバー、２３…レンズ駆動部、２４…フラッシュ駆動部、２５…イメージセンサ駆動部、２６…メモリカードコントローラ、２７…ＵＳＢインターフェイス、２８…レンズ用ＤＣモータ（Ｍ）、２９…フラッシュ部、３０…メモリカード、３１…カードコネクタ、３２…ＵＳＢコネクタ、ＦＦ１，ＦＦ２…フォーカスフレーム、ＧＭ１…ガイドメッセージ、ＳＢ…システムバス。
DESCRIPTION OF
Claims (7)
特定の被写体に対応する画像上の特徴情報を記憶する第１の記憶手段と、
上記特定の被写体の探索の開始を指示するためのトリガ情報を記憶する第２の記憶手段と、
トリガ情報を入力するトリガ入力手段と、
上記トリガ入力手段で入力したトリガ情報と上記第２の記憶手段が記憶するトリガ情報とが所定値以上の類似度か否かを判断する判断手段と、
上記判断手段により所定値以上の類似度と判断されると、上記撮像手段が撮像する画像から上記第１の記憶手段が記憶する特徴情報に基づいて、前記特定の被写体を探索する探索手段と
を備えたことを特徴とする撮像装置。 An imaging means for capturing an image;
First storage means for storing feature information on an image corresponding to a specific subject;
Second storage means for storing trigger information for instructing start of searching for the specific subject;
Trigger input means for inputting trigger information;
Determining means for determining whether or not the trigger information input by the trigger input means and the trigger information stored in the second storage means have a similarity equal to or higher than a predetermined value;
When the determination unit determines that the similarity is equal to or higher than a predetermined value, search means for searching for the specific subject based on feature information stored in the first storage unit from an image captured by the imaging unit. An image pickup apparatus comprising:
上記探索手段に、上記自動合焦手段により合焦された画像を取得させ特徴情報を探索させる探索制御手段と、
上記探索制御手段により探索された特徴情報を含む特定の被写体の画像を記録する記録手段と
をさらに備えたことを特徴とする請求項１記載の撮像装置。 Automatic focusing means for causing the imaging means to focus a subject that is a candidate for the feature information;
Search control means for causing the search means to acquire an image focused by the automatic focusing means and to search for feature information;
The imaging apparatus according to claim 1, further comprising a recording unit that records an image of a specific subject including the feature information searched by the search control unit.
上記記録手段は、上記探索手段により上記撮像手段に正対したと判別された特徴情報を含む特定の被写体の画像を記録する
ことを特徴とする請求項２記載の撮像装置。 The search means determines whether the feature information is directly facing the imaging means,
The imaging apparatus according to claim 2, wherein the recording unit records an image of a specific subject including feature information determined to be directly facing the imaging unit by the search unit.
特定の被写体に対応する画像上の特徴情報を記憶する第１の記憶ステップと、
上記特定の被写体の探索の開始を指示するためのトリガ情報を記憶する第２の記憶ステップと、
トリガ情報を入力するトリガ入力ステップと、
上記トリガ入力ステップにて入力したトリガ情報と上記第２の記憶ステップで記憶したトリガ情報とが所定値以上の類似度か否かを判断ステップと、
上記判断ステップにて所定値以上の類似度と判断されると、撮像する画像から上記第１の記憶ステップで記憶する特徴情報に基づいて、前記特定の被写体を探索する探索ステップと
を含むことを特徴とする被写体探索方法。 A method of searching for a subject in an imaging device that captures an image,
A first storage step of storing feature information on an image corresponding to a specific subject;
A second storage step for storing trigger information for instructing the start of the search for the specific subject;
A trigger input step for inputting trigger information;
A step of determining whether or not the trigger information input in the trigger input step and the trigger information stored in the second storage step have a similarity greater than or equal to a predetermined value;
And a search step for searching for the specific subject based on the feature information stored in the first storage step from the captured image when the similarity is determined to be equal to or greater than a predetermined value in the determination step. A characteristic object search method.
上記特定の被写体に対応する画像上の特徴情報を記憶する第１の記憶手段、
上記特定の被写体の探索の開始を指示するためのトリガ情報を記憶する第２の記憶手段、
トリガ情報を入力するトリガ入力手段、
上記トリガ入力手段により入力されたトリガ情報と上記第２の記憶手段により記憶されたトリガ情報とが所定値以上の類似度か否かを判断する判断手段、
上記判断手段により所定値以上の類似度と判断されると、撮像する画像から上記第１の記憶手段で記憶する特徴情報に基づいて、前記特定の被写体を探索する探索手段
として機能させることを特徴とするプログラム。 A computer of an imaging device that captures an image,
First storage means for storing feature information on an image corresponding to the specific subject;
Second storage means for storing trigger information for instructing start of searching for the specific subject;
Trigger input means for inputting trigger information,
Determining means for determining whether or not the trigger information input by the trigger input means and the trigger information stored by the second storage means have a similarity equal to or greater than a predetermined value;
When the determination unit determines that the degree of similarity is equal to or greater than a predetermined value, the determination unit is configured to function as a search unit that searches for the specific subject based on feature information stored in the first storage unit from a captured image. Program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010181102A JP2012044267A (en) | 2010-08-12 | 2010-08-12 | Imaging device, subject search method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010181102A JP2012044267A (en) | 2010-08-12 | 2010-08-12 | Imaging device, subject search method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012044267A true JP2012044267A (en) | 2012-03-01 |
Family
ID=45900119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010181102A Withdrawn JP2012044267A (en) | 2010-08-12 | 2010-08-12 | Imaging device, subject search method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012044267A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020154055A (en) * | 2019-03-19 | 2020-09-24 | 株式会社昭和テック | Image capturing device |
-
2010
- 2010-08-12 JP JP2010181102A patent/JP2012044267A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020154055A (en) * | 2019-03-19 | 2020-09-24 | 株式会社昭和テック | Image capturing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4873031B2 (en) | Imaging apparatus, imaging method, and program | |
| KR101477178B1 (en) | Portable terminal having dual camera and photographing method using the same | |
| KR101075826B1 (en) | Image sensing apparatus and storage medium | |
| JPWO2015037104A1 (en) | Video recording apparatus and camera function control program | |
| KR100946086B1 (en) | Imaging device, computer-readable recording medium recorded imaging control program, and imaging control method | |
| US7405754B2 (en) | Image pickup apparatus | |
| JP2012120151A (en) | Image capturing apparatus, image capturing control method, and program | |
| JP5434337B2 (en) | Image processing apparatus and program | |
| JP6314272B2 (en) | Video recording apparatus and video recording method | |
| JP2009060355A (en) | Imaging apparatus, imaging method, and program | |
| JP5168375B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2010028446A (en) | Imaging apparatus, imaging method, and program | |
| JP2008085582A (en) | System for controlling image, image taking apparatus, image control server and method for controlling image | |
| JP2012044267A (en) | Imaging device, subject search method, and program | |
| JP2005184485A (en) | Imaging apparatus, operation control method for the same, and program | |
| JP4742316B2 (en) | Imaging apparatus, imaging method, and imaging control program | |
| JP5023932B2 (en) | Imaging apparatus, image capturing method by scenario, and program | |
| JP2012185343A (en) | Photographing device | |
| JP2010239532A (en) | Image capturing apparatus and method | |
| JP2015210467A (en) | Imaging device, imaging control device, program and recording medium | |
| JP5217504B2 (en) | Imaging apparatus, imaging method, and program | |
| JP5561044B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2008278351A (en) | Photographing apparatus, method and program for selecting object | |
| JP2008244976A (en) | Imaging device, and method and program for recording photographic image | |
| CN117336596A (en) | Image pickup apparatus, control method thereof, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131105 |