JP2014053965A - Subject state determination method - Google Patents
Subject state determination method Download PDFInfo
- Publication number
- JP2014053965A JP2014053965A JP2013250331A JP2013250331A JP2014053965A JP 2014053965 A JP2014053965 A JP 2014053965A JP 2013250331 A JP2013250331 A JP 2013250331A JP 2013250331 A JP2013250331 A JP 2013250331A JP 2014053965 A JP2014053965 A JP 2014053965A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- face
- image
- unit
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、固体撮像素子等を用いて画像信号を取得する撮影機器において、取得された画像信号に基いて被写体の状況を判定する被写体状況判定方法に関するものである。 The present invention relates to a subject status determination method for determining the status of a subject on the basis of an acquired image signal in an imaging device that acquires an image signal using a solid-state imaging device or the like.
従来、撮影光学系により結像された光学像を固体撮像素子等を用いて順次画像信号に変換し、これにより得られた画像信号に基く画像を表示装置を用いて順次連続的に表示するライブビュー機能を備え、撮影指示信号が発生した時には、その指示信号の発生時点における画像信号を記録用画像データに変換して記録媒体に記録する一方、再生指示信号が発生した時には、記録媒体に記録済みの画像データを画像信号に変換して、その画像信号に基く画像を表示装置を用いて再生表示する再生機能を有して構成されたデジタルカメラ等の撮影機器が一般に実用化され、広く普及している。 Conventionally, an optical image formed by a photographing optical system is sequentially converted into an image signal using a solid-state imaging device or the like, and an image based on the obtained image signal is sequentially displayed continuously using a display device. With a view function, when a shooting instruction signal is generated, the image signal at the time of generation of the instruction signal is converted into recording image data and recorded on the recording medium, while when a reproduction instruction signal is generated, it is recorded on the recording medium. In general, photographing devices such as a digital camera configured to have a reproduction function for converting image data that has already been converted into an image signal and reproducing and displaying an image based on the image signal using a display device have been put into practical use and widely spread. doing.
近年、この種の撮影機器においては、各種の画像信号処理技術を利用して、撮影画像中の被写体の状況等を判定する機能を有するものがある。例えば、撮影画像中から人物の顔を検出したり、検出された人物の顔が笑顔であるかどうか、若しくは検出された人物の顔が見栄えよく写っているかどうか（例えば眼を瞑っていないか、顔が正面を向いているか等）等の被写体の状況を判定するという機能である。 In recent years, some types of photographing apparatuses have a function of determining the state of a subject in a photographed image using various image signal processing techniques. For example, a person's face is detected from the captured image, whether the detected person's face is smiling, or whether the detected person's face is reflected in a good-looking manner (for example, the eyes are not meditated, This is a function of determining the state of the subject such as whether the face is facing the front.
そこで、従来の撮影機器においては、上述のような画像信号処理技術による被写体状況判定機能を用いて、被写体の状況が所定の条件を満たしたときには、自動的に撮影動作を実行し得るように構成したものが、例えば特開２００８−３１１８１７号公報，特開２０００−３４７２７８号公報等によって、種々提案されている。 In view of this, the conventional photographing apparatus is configured to automatically execute the photographing operation when the subject condition satisfies a predetermined condition by using the subject situation determination function based on the image signal processing technique as described above. Various proposals have been made by, for example, Japanese Patent Application Laid-Open Nos. 2008-31817 and 2000-347278.
上記特開２００８−３１１８１７号公報によって開示されている技術は、被写体の笑顔を検出して撮影タイミングを決定し、そのタイミングで自動的に撮影を行うというものである。 The technique disclosed in the above Japanese Patent Application Laid-Open No. 2008-31817 is to detect a smiling face of a subject, determine a shooting timing, and automatically perform shooting at that timing.
また、上記特開２０００−３４７２７８号公報等によって開示されている技術は、検出された被写体（人物）が見栄えよく写っているかどうかを判定して、撮影タイミングを決定し、そのタイミングで自動的に撮影を行うというものである。 In addition, the technique disclosed in the above Japanese Patent Laid-Open No. 2000-347278 etc. determines whether or not the detected subject (person) is reflected in a good-looking manner, determines the shooting timing, and automatically at that timing. It is to shoot.
ところが、上記特開２００８−３１１８１７号公報，上記特開２０００−３４７２７８号公報等によって開示されている手段は、いずれも検出された被写体の状況（検出した笑顔の状態や、検出した顔が正面を向いている状態等）が継続することを前提としている。 However, the means disclosed in the above-mentioned Japanese Patent Application Laid-Open Nos. 2008-31817, 2000-347278, etc. all detect the situation of the detected subject (the detected smile state and the detected face in front. This is based on the assumption that the situation is suitable).
しかしながら、撮影を所望する被写体が、例えば乳幼児等や小動物等のペット等であるときには、所定の状況を継続させることが困難である場合が多い。したがって、上記従来の手段では、撮影対象とする被写体によっては、適切な撮影タイミングを決定することができず、常に最適な撮影を行なうことができないという問題点があった。 However, when the subject desired to be photographed is a pet such as an infant or a small animal, it is often difficult to continue the predetermined situation. Therefore, the conventional means described above has a problem that an appropriate shooting timing cannot be determined depending on the subject to be shot, and optimal shooting cannot always be performed.
ところで、撮影機器を用いて撮影を行う場面として、例えば撮影画像中に複数の被写体が含まれる場合であって、人物が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえているような場面の撮影を行うことはよくあることである。このような場面において、被写体となる人物と他の人物や乳幼児等との関係性や、人物とペット等との関係性は、極めて親密な関係性を有するものであると推測できる。 By the way, as a scene where shooting is performed using a shooting device, for example, when a plurality of subjects are included in a shot image, a person is holding a pet such as another person, an infant, a small animal, or the like It is common to shoot scenes. In such a scene, it can be inferred that the relationship between the person who is the subject and another person, an infant, and the like, and the relationship between the person and the pet, etc., are extremely intimate.
一方、撮影者自身が被写体として撮影画像中に含まれるような場合には、例えばセルフタイマー機能やリモコン機能を利用することが従来一般に行われている。 On the other hand, when the photographer himself / herself is included in the captured image as a subject, for example, a self-timer function or a remote control function is generally used.
そこで、例えば、撮影者自身が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえた状況の場面を撮影する場合を考えてみると、セルフタイマー機能を用いて撮影する場合には、規定の時間が経過した後に撮影が行われることから、撮影タイミングが必ずしも最適なものになるとは限らないという問題点がある。 Therefore, for example, when taking a picture of a situation where the photographer is holding another person, a baby such as an infant or a small animal, etc. Since the shooting is performed after the elapse of time, there is a problem that the shooting timing is not always optimal.
また、上記状況において、リモコン機能等を用いて撮影したとしても、撮影者自身がリモコン操作を行う必要があり、撮影者自身が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえた状態では、同時に撮影機器の操作やリモコン操作を行うことは煩雑な作業となってしまう。このことから、リモコン機能使用時の撮影でも、常に最適な撮影画像、即ち親密な関係性を表現し得るような画像を取得することは非常に困難なことであった。 In the above situation, even if the photographer uses the remote control function or the like, the photographer himself / herself needs to perform the remote control operation, and the photographer himself / herself holds a pet such as another person, an infant or a small animal, etc. Then, simultaneous operation of the photographing device and remote control operation are complicated operations. For this reason, it is very difficult to always obtain an optimal captured image, that is, an image that can express an intimate relationship even when shooting using the remote control function.
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、固体撮像素子等を用いて画像信号を取得する撮影機器において撮影を行うのに際し、複数の被写体同士の親密な関係性を表現し得るような適切な撮影タイミングを決定するために、被写体の状況、特に撮影画像中の複数の被写体同士の関係性を判定する被写体状況判定方法を提供することである。 The present invention has been made in view of the above-described points, and an object of the present invention is to take a plurality of subjects together when shooting with a shooting device that acquires an image signal using a solid-state imaging device or the like. In order to determine an appropriate shooting timing that can express an intimate relationship, it is an object to provide a subject status determination method that determines the status of a subject, particularly the relationship between a plurality of subjects in a captured image.
上記目的を達成するために、本発明の一態様の被写体状況判定方法は、被写体像の画像信号を撮像部により取得するステップと、上記撮像部により取得された画像信号に基づく画像に含まれる被写体のうち人物を含む複数の被写体の特定部位を被写体検出部で検出するステップと、上記被写体部位検出部により検出された上記複数の被写体の各特定部位の上記画像内における相対的な位置関係を被写***置検出部で検出するステップと、上記被写体部位検出部及び上記被写***置検出部による検出結果に基いて上記複数の被写体の関係性を被写体状態判定部で判定するステップと、上記被写体状態判定部により、上記被写体部位検出部により検出された上記複数の被写体の各特定部位のうち複数の顔の位置関係と、上記複数の顔のうちの一方の第１の顔と上記第１の顔を有する被写体の少なくとも一方の手との位置関係と、上記第１の顔の一方の手と上記複数の顔のうちの他方の第２の顔との位置関係とを検出し被写体の状態の判定を行なうステップとを備える。 To achieve the above object, a subject situation determination method according to one aspect of the present invention includes a step of acquiring an image signal of a subject image by an imaging unit, and a subject included in an image based on the image signal acquired by the imaging unit. Detecting a specific part of a plurality of subjects including a person using a subject detection unit, and determining a relative positional relationship in the image of each specific part of the plurality of subjects detected by the subject part detection unit. A step of detecting by the position detection unit, a step of determining a relationship between the plurality of subjects based on detection results by the subject part detection unit and the subject position detection unit, and a subject state determination unit. , The positional relationship of a plurality of faces among the specific parts of the plurality of subjects detected by the subject part detection unit, and one of the plurality of faces The positional relationship between the first face and at least one hand of the subject having the first face, and the position between one hand of the first face and the other second face of the plurality of faces Detecting the relationship and determining the state of the subject.
本発明によれば、固体撮像素子等を用いて画像信号を取得する撮影機器において撮影を行うのに際し、複数の被写体同士の親密な関係性を表現し得るような適切な撮影タイミングを決定するために、被写体の状況、特に撮影画像中の複数の被写体同士の関係性を判定する被写体状況判定方法を提供することができる。 According to the present invention, in order to determine an appropriate shooting timing capable of expressing an intimate relationship between a plurality of subjects when shooting is performed in a shooting device that acquires an image signal using a solid-state imaging device or the like. In addition, it is possible to provide a subject status determination method for determining the status of a subject, particularly the relationship between a plurality of subjects in a captured image.
以下、図示の実施の形態によって本発明を説明する。 The present invention will be described below with reference to the illustrated embodiments.
本発明の一実施形態の撮影機器は、撮影光学系により結像された光学像を固体撮像素子等を用いて順次光電変換して画像信号を生成し、これにより得られた画像信号に基く画像を表示装置を用いて順次連続的に表示するライブビュー機能を備えた撮影機器であって、具体的には、例えばデジタルカメラを例に挙げて示すものである。 An imaging apparatus according to an embodiment of the present invention generates an image signal by sequentially photoelectrically converting an optical image formed by an imaging optical system using a solid-state imaging device or the like, and an image based on the obtained image signal. Is a photographing apparatus having a live view function for sequentially and sequentially displaying images using a display device, and specifically, a digital camera is taken as an example.
この撮影機器は、撮影指示信号が発生した時には、その指示信号の発生時点における画像信号を記録用画像データに変換して記録媒体に記録する。一方、再生指示信号が発生した時には、記録媒体に記録済みの画像データに基いて画像信号に変換して、その画像信号に基く画像を表示装置を用いて再生表示する再生機能を有している。 When a photographing instruction signal is generated, the photographing apparatus converts an image signal at the time of generation of the instruction signal into recording image data and records it on a recording medium. On the other hand, when a playback instruction signal is generated, it has a playback function for converting to an image signal based on the image data recorded on the recording medium and playing back and displaying an image based on the image signal using a display device. .
そして、本発明の撮影機器においては、撮影モードで動作しているときに、ライブビュー画像の画像信号に基いて被写体状況の所定の条件を判定する状況判定処理を行って、被写体状況が予め設定される最適な条件に合致すると、自動的に撮影動作を実行する動作モード（本実施形態では「スキンシップモード」という）を有して構成されている。 In the photographing apparatus of the present invention, when operating in the photographing mode, the subject situation is set in advance by performing a situation determination process for judging a predetermined condition of the subject situation based on the image signal of the live view image. When an optimum condition is met, an operation mode (in this embodiment, referred to as “skinship mode”) that automatically executes a photographing operation is configured.
この「スキンシップモード」とは、例えば人物が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえているといった場面、即ち複数の被写体同士の親密な関係性が表れるような場面を想定した自動撮影モードである。 This “skinship mode” is assumed to be a scene in which a person is holding a pet such as another person, an infant, or a small animal, that is, a scene in which an intimate relationship between a plurality of subjects appears. Automatic shooting mode.
この「スキンシップモード」では、撮影画像（ライブビュー画像）中に含まれる複数の被写体同士の関係性を判定し、その親密な関係性を表現し得る適切な撮影タイミングを自動的に決定し、かつその撮影タイミングで自動的に撮影動作を実行して、最適な撮影画像を取得するというものである。 In this “skinship mode”, the relationship between a plurality of subjects included in a captured image (live view image) is determined, and an appropriate shooting timing that can express the intimate relationship is automatically determined. In addition, the photographing operation is automatically executed at the photographing timing to obtain an optimal photographed image.
この場合において、被写体同士の関係性は、例えば、
（１）撮影画像（ライブビュー画像）を形成する画像信号に基いて少なくとも１人の人物の顔（第１の顔）と、この第１の顔とは異なる他の人物や乳幼児等若しくは小動物等のペット等の顔（第２の顔）と、を顔検出処理技術を用いて検出する、
（２）撮影画像の領域中における第１の顔及び第２の顔の相対的な位置を検出する、
（３）第１の顔を有する人物の手や腕等と第２の顔との相対的な位置関係を検出する、
等の手順により判定するようにしている。以下、本実施形態の撮影機器について詳述する。
In this case, the relationship between subjects is, for example,
(1) At least one person's face (first face) based on an image signal forming a photographed image (live view image), and another person, infant or the like, a small animal, or the like different from the first face Detecting a face (second face) of a pet or the like using face detection processing technology,
(2) detecting a relative position of the first face and the second face in the area of the captured image;
(3) detecting the relative positional relationship between the hand and arm of the person having the first face and the second face;
Judgment is made according to the procedure. Hereinafter, the photographing apparatus of the present embodiment will be described in detail.
図１は、本発明の一実施形態の撮影機器の主要構成を示すブロック構成図である。図２は、図１の撮影機器の作用を示すフローチャートである。図３は、図２の「第１状況判定」処理（図２のステップＳ１２２，Ｓ１２５の各処理に相当する）のサブルーチンを示すフローチャートである。図４は、図２の「第２状況判定」処理（図２のステップＳ１２７の処理に相当する）のサブルーチンを示すフローチャートである。図５〜図８は、図１の撮影機器の動作時における表示部によるライブビュー画像の表示例を示す図である。このうち、図５は、画像中に複数の人物が被写体として表示されている場合のライブビュー画像の例を示している（検出開始時点の表示例）。図６は、図５の状態から画像中の複数の被写体が互いに接近している状態を示すライブビュー画像の例である。図７は、図６の状態から画像中の複数の被写体が互いに接触しており、かつ撮影機器側に目線を向けている状態を示すライブビュー画像の例である。図８は、画像中の複数の被写体として人物がペットを抱きかかえている状態を示すライブビュー画像の例である。 FIG. 1 is a block diagram showing the main configuration of a photographing apparatus according to an embodiment of the present invention. FIG. 2 is a flowchart showing the operation of the photographing apparatus of FIG. FIG. 3 is a flowchart showing a subroutine of the “first situation determination” process (corresponding to each process of steps S122 and S125 of FIG. 2) in FIG. FIG. 4 is a flowchart showing a subroutine of the “second situation determination” process (corresponding to the process of step S127 of FIG. 2) in FIG. 5 to 8 are diagrams illustrating display examples of a live view image by the display unit when the photographing apparatus in FIG. 1 is operating. Among these, FIG. 5 shows an example of a live view image when a plurality of persons are displayed as subjects in the image (display example at the start of detection). FIG. 6 is an example of a live view image showing a state in which a plurality of subjects in the image are approaching each other from the state of FIG. FIG. 7 is an example of a live view image showing a state where a plurality of subjects in the image are in contact with each other from the state of FIG. FIG. 8 is an example of a live view image showing a state where a person is holding a pet as a plurality of subjects in the image.
図９，図１０は、図３のフローチャート中における「顔の向き検出」処理の説明図である。図１１は、図４のフローチャート中における「目線検出」処理の説明図である。図１２は、図３のフローチャート中における「手の検出」処理の説明図である。 9 and 10 are explanatory diagrams of the “face orientation detection” process in the flowchart of FIG. 3. FIG. 11 is an explanatory diagram of the “eyeline detection” process in the flowchart of FIG. FIG. 12 is an explanatory diagram of the “hand detection” process in the flowchart of FIG. 3.
なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。 In each drawing used for the following description, each component may be shown with a different scale in order to make each component large enough to be recognized on the drawing. Therefore, according to the present invention, the number of constituent elements, the shape of the constituent elements, the ratio of the constituent element sizes, and the relative positional relationship of the constituent elements described in these drawings are limited to the illustrated embodiments. It is not a thing.
まず、本発明の一実施形態の撮影機器１の主要構成について、図１のブロック構成図を用いて以下に説明する。 First, the main configuration of the photographing apparatus 1 according to an embodiment of the present invention will be described below with reference to the block configuration diagram of FIG.
本実施形態の撮影機器１は、制御部１１と、撮像部１２と、顔検出部１２ａと、顔傾き検出部１２ｂと、被写***置検出部１２ｃと、操作部１３と、記録部１４と、警告部１５と、表示部１６と、時計１７等を具備して構成されている。
The photographing apparatus 1 of the present embodiment includes a control unit 11, an
制御部１１は、撮影機器１の全体を統括的に制御する制御回路であって、撮影機器１内の各構成ブロックから入力される各種の信号を受けて各種の制御処理を行う。制御部１１は、内部に画像処理部１１ａ，被写体状態判定部１１ｂ，モード設定部１１ｃ，警告制御部１１ｄ等の回路部を有している。
The control unit 11 is a control circuit that comprehensively controls the entire photographing apparatus 1 and performs various control processes in response to various signals input from the respective constituent blocks in the photographing apparatus 1. The control unit 11 includes circuit units such as an
このうち、画像処理部１１ａは、撮像部１２によって生成された画像信号を受けて各種の画像信号処理を行う信号処理部である。
Among these, the
被写体状態判定部１１ｂは、画像処理部１１ａによる所定の信号処理済みの画像信号に基く画像中に含まれる被写体の状態を判定する回路部である。
The subject
モード設定部１１ｃは、操作部１３のうち動作モードを設定する操作部材（図示せず）が操作されることにより出力されるモード設定指示信号を受けて、本撮影機器１の動作モードの設定を制御する回路部である。
The mode setting unit 11c receives a mode setting instruction signal output by operating an operation member (not shown) for setting the operation mode in the
警告制御部１１ｄは、警告部１５若しくは表示部１６等を制御して、所定のタイミングで所定の警告処理を行うため制御回路部である。
The
撮像部１２は、被写体の光学像を結像させる撮影光学系（図示せず）と、この撮影光学系によって結像された光学像を電気信号に変換する光電変換素子等の固体撮像素子と、この固体撮像素子により生成された画像信号についての信号処理を行う信号処理回路等によって構成される。撮像部１２により生成された画像信号は、制御部１１へと出力される。なお、固体撮像素子としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化膜半導体）等が適用される。
The
顔検出部１２ａは、撮像部１２によって取得された画像信号に基いて表される画像の中から、例えば人物や動物等の特定部位（例えば顔や手等）の画像領域を検出する被写体部位検出機能を実現するための信号処理を行う被写体部位検出部である。この被写体部位検出機能を実現する技術については、従来の撮影機器において広く普及しているものである。本実施形態の撮影機器１においても、従来の技術と同様のものが適用されるものとして、その詳細説明は省略する。
The
顔傾き検出部１２ｂは、顔検出部１２ａによって画像中から検出された顔領域の画像信号についての信号処理を行って、検出された画像中の顔の傾き状況等を検出する回路部である。
The face tilt detection unit 12b is a circuit unit that performs signal processing on the image signal of the face area detected from the image by the
被写***置検出部１２ｃは、撮像部１２によって取得された画像信号に基く画像の中から被写体の特定の部位、例えば人物の手等を検出して、その特定部位の画像中における位置を検出する回路部である。本実施形態の撮影機器１においては、例えば検出した人物の手等の、顔検出部１２ａによって検出された顔に対する相対位置等を検出する。
The subject position detection unit 12c detects a specific part of the subject, such as a human hand, from the image based on the image signal acquired by the
操作部１３は、撮影機器１の外面に設けられる複数の操作部材（図示せず）と、これら複数の操作部材のそれぞれに連動する複数のスイッチと、各操作部材が使用者により操作されることによって生じる指示信号を制御部１１へと伝達する処理回路等からなる。操作部１３には、例えば電源オンオフ操作部材（及び電源オンオフスイッチ），シャッターレリーズ操作部材（及びシャッターレリーズ操作スイッチ），動作モード設定操作部材（及び動作モード設定スイッチ）等がある。
The
記録部１４は、撮像部１２によって取得され制御部１１において各種の信号処理が施されることにより生成される記録用画像データを受けて記録蓄積するための記録媒体（図示せず）と、該記録媒体に対する画像データの記録処理や記録済み画像データの読み出し処理等、記録媒体を駆動する駆動回路等からなる。
The
警告部１５は、例えば警告音等の音声を発音させるスピーカ等の音声出力部を含む構成部である。
The
表示部１６は、制御部１１による信号処理の結果生成された再生表示用の画像信号を受けて対応する画像を表示する表示処理や、操作部１３からの指示信号に応じて設定メニュー表示，操作用表示等を表示させる表示装置である。表示部１６としては、例えば液晶表示装置（ＬＣＤ）や有機ＥＬディスプレイ等が適用される。
The
なお、撮影機器１を撮影モードに設定して使用する場合、表示部１６には、撮像部１２によって順次取得される画像信号に基く画像が順次連続的に表示される。このとき表示部１６に順次表示される画像をライブビュー画像というものとする。
Note that when the photographing apparatus 1 is set to the photographing mode and used, images based on image signals sequentially acquired by the
使用者は、表示部１６に表示されるライブビュー画像を見ながら構図やシャッターレリーズ操作を行うタイミングを決定する。つまり、表示部１６は、撮影動作時には主にファインダーとして機能する。また、表示部１６には設定メニューの一覧を表示させることができる。即ち、使用者が操作部１３のうちの設定メニュー操作部材を操作すると、表示部１６には、上記設定メニュー一覧表示が表示される。使用者は、この設定メニュー一覧表示を見ながら、上記操作部１３の複数の操作部材を用いて撮影機器１の各種の設定操作や選択操作を行なって、所望する撮影条件等の設定を行うことができるようになっている。
The user determines the composition and timing for performing the shutter release operation while viewing the live view image displayed on the
さらに、撮影機器１を再生モードに設定して使用する場合、表示部１６には記録媒体に記録済み画像データに基く画像等を表示させることができるようになっている。
Further, when the photographing apparatus 1 is set to the reproduction mode and used, the
時計１７は、本撮影機器１における内部電気回路の制御等において必要となる計時動作等に寄与する計時回路等からなる。なお、本実施形態の説明では、時計１７を単独の構成ブロックとして適用した例を示すが（図１参照）、これに代えて、時計機能を制御部１１の内部に含めて構成するような形態としてもよい。
The
本実施形態の撮影機器１は、上述した構成部材以外にも、種々の構成部材を具備して構成されるものであるが、上述の構成部材以外の構成については、本発明に直接関連しない構成である。したがって、上述の構成部材以外の構成は図面の煩雑化を避けるために、その図示を省略すると共に、従来の撮影機器と同様の構成を有するものとして、それらの詳細説明を省略する。 The imaging device 1 of the present embodiment is configured to include various constituent members in addition to the constituent members described above, but the constituents other than the constituent members described above are not directly related to the present invention. It is. Therefore, in order to avoid complication of the drawings, the configuration other than the above-described components is omitted, and the detailed description thereof is omitted assuming that the configuration is the same as that of a conventional photographing apparatus.
このように構成された本実施形態の撮影機器１を用いて撮影を行う際の作用について、図２〜図４のフローチャート及び図５〜図１２の説明図等を用いて以下に説明する。 The operation when photographing is performed using the photographing apparatus 1 of the present embodiment configured as described above will be described below with reference to the flowcharts of FIGS. 2 to 4 and the explanatory diagrams of FIGS.
まず、使用者（撮影者）は、撮影機器１の操作部１３の電源オンオフ操作部材を操作する。これにより、撮影機器１は起動して、図２の制御処理の処理シーケンスが開始される（スタート）。
First, the user (photographer) operates the power on / off operation member of the
図２のステップＳ１０１において、制御部１１は、モード設定部１１ｃを介して撮影機器１の現在の設定状態を確認し、撮影動作を実行し得る撮影モードに設定されているか否かの確認を行う。ここで、撮影モードに設定されていることが確認された場合には、次のステップＳ１０２の処理に進む。一方、撮影モードに設定されていないことが確認された場合には、他の動作モードが設定されている物として、ステップＳ１４１の処理に進む。 In step S101 of FIG. 2, the control unit 11 confirms the current setting state of the photographing apparatus 1 via the mode setting unit 11c, and confirms whether or not the photographing mode is set so that the photographing operation can be performed. . If it is confirmed that the shooting mode is set, the process proceeds to the next step S102. On the other hand, if it is confirmed that the shooting mode is not set, the process proceeds to step S141 as another operation mode is set.
以下は、撮影モード時の処理シーケンスの概要である。 The following is an overview of the processing sequence in the shooting mode.
まず、ステップＳ１０２において、制御部１１は、撮像部１２，画像処理部１１ａ，表示部１６等を制御して、表示部１６の表示画面上にライブビュー画像を表示させるライブビュー画像表示処理を実行する。その後、ステップＳ１０３の処理に進む。
First, in step S <b> 102, the control unit 11 controls the
このライブビュー画像表示処理において、表示部１６の表示画面１６ａに表示されるライブビュー画像の一例を、図５に示す。図５においては、表示画面１６ａ内に、第１の被写体１００と第２の被写体１０１が含まれている状況を示している。
FIG. 5 shows an example of a live view image displayed on the
ステップＳ１０３において、制御部１１は、操作部１３からの指示信号を監視して撮影動作を行うための撮影操作が行われたか否かの確認を行う。ここで、撮影操作の実行が確認された場合には、次のステップＳ１０４の処理に進む。また、撮影操作の実行が確認されない場合には、ステップＳ１２１の処理に進む。
In step S <b> 103, the control unit 11 monitors an instruction signal from the
ステップＳ１０４において、制御部１１は、現在の撮影モードに関する詳細設定において、動画撮影モードに設定されているか否かの確認を行う。ここで、動画撮影モードに設定されていることが確認された場合には、次のステップＳ１０５の処理に進む。また、動画撮影モードに設定されていない場合には、ステップＳ１０７の処理に進む。 In step S104, the control unit 11 confirms whether or not the moving image shooting mode is set in the detailed setting related to the current shooting mode. If it is confirmed that the moving image shooting mode is set, the process proceeds to the next step S105. If the moving image shooting mode is not set, the process proceeds to step S107.
ステップＳ１０５において、制御部１１は、撮像部１２，画像処理部１１ａ，表示部１６，記録部１４等を制御して通常の動画撮影処理を実行する。その後、ステップＳ１０６の処理に進む。
In step S105, the control unit 11 controls the
ステップＳ１０６において、制御部１１は、操作部１３からの指示信号を監視して撮影動作を終了するための操作が行なわれたか否かの確認を行う。ここで、撮影終了操作が確認された場合には、次のステップＳ１３５の処理に進む。また、撮影終了操作が確認されない場合には、上述のステップＳ１０４の処理に戻り、以降の処理を繰り返す。
In step S106, the control unit 11 monitors the instruction signal from the
一方、上述のステップＳ１０４の処理において、動画撮影モードに設定されていないことが確認されてステップＳ１０７の処理に進むと、このステップＳ１０７において、制御部１１は、撮像部１２，画像処理部１１ａ，表示部１６，記録部１４等を制御して通常の静止画撮影処理を実行する。その後、ステップＳ１３５の処理に進む。
On the other hand, when it is confirmed that the moving image shooting mode is not set in the process of step S104 described above and the process proceeds to the process of step S107, in step S107, the control unit 11 includes the
ステップＳ１３５において、制御部１１は、操作部１３からの指示信号を監視して電源オフ操作が行なわれたか否かの確認を行う。ここで、電源オフ操作が確認された場合には、次のステップＳ１３６の処理に進む。また、電源オフ操作が確認されない場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
In step S135, the control unit 11 monitors an instruction signal from the
ステップＳ１３６において、制御部１１は、操作部１３からの電源オフを指示する信号を受けて、本撮影機器１の主電源をオフ状態とする電源オフ処理を実行する。これにより、本撮影機器１における制御シーケンスは終了する。
In step S <b> 136, the control unit 11 receives a signal to turn off the power from the
なお、上述のライブビュー画像表示処理（ステップＳ１０２），動画撮影処理（ステップＳ１０５），静止画撮影処理（ステップＳ１０７）の各処理シーケンスについての具体的な処理内容については、本発明に直接関連しないところであり、従来の撮影機器にて適用されるものと同様の通常の処理がなされるものとして、説明を省略する。 The specific processing contents of the processing sequences of the above-described live view image display processing (step S102), moving image shooting processing (step S105), and still image shooting processing (step S107) are not directly related to the present invention. By the way, the description will be omitted on the assumption that the same normal processing as that applied in the conventional photographing apparatus is performed.
上述のステップＳ１０１の処理において、撮影モードに設定されていないことが確認されると、ステップＳ１４１の処理に分岐する。このステップＳ１４１以降の処理は、再生モード時の処理シーケンスの概要である。 If it is confirmed in the process of step S101 described above that the shooting mode is not set, the process branches to the process of step S141. The processing after step S141 is an outline of the processing sequence in the playback mode.
即ち、ステップＳ１４１において、制御部１１は、モード設定部１１ｃを介して撮影機器１の現在の設定状態を再度確認し、再生動作を実行し得る再生モードに設定されているか否かの確認を行う。ここで、再生モードに設定されていることが確認された場合には、次のステップＳ１４２の処理に進む。一方、再生モードに設定されていないことが確認された場合には、上述のステップＳ１０１の処理に進み、以降の処理を繰り返す。 That is, in step S141, the control unit 11 confirms again the current setting state of the photographing apparatus 1 via the mode setting unit 11c, and confirms whether or not the reproduction mode is set so that the reproduction operation can be performed. . If it is confirmed that the playback mode is set, the process proceeds to the next step S142. On the other hand, if it is confirmed that the playback mode is not set, the process proceeds to step S101 described above, and the subsequent processes are repeated.
なお、この場合においては、撮影機器１の動作モードとして大きく分けて「撮影モード」と「再生モード」との二つの動作モードがあるものとして説明している。撮影機器１としては、これら２つの動作モード以外の他の動作モードを有して構成される場合も、当然考えられる。その場合には、上述のステップＳ１４１の処理の分岐にて、さらに別の動作モードを確認するための処理シーケンスを同様に設けるようにすればよい。 In this case, the operation modes of the photographing apparatus 1 are roughly described as having two operation modes of “shooting mode” and “reproduction mode”. As a matter of course, the photographing apparatus 1 may be configured to have other operation modes other than these two operation modes. In that case, a processing sequence for confirming another operation mode may be similarly provided at the branch of the processing in step S141 described above.
ステップＳ１４２において、制御部１１は、記録部１４，画像処理部１１ａ，表示部１６等を制御して、記録媒体に記録済みの画像データについてのファイル一覧表示処理を実行する。その後、ステップＳ１４３の処理に進む。
In step S142, the control unit 11 controls the
ステップＳ１４３において、制御部１１は、操作部１３からの指示信号を監視して再生表示すべき画像に関するデータファイル選択操作が行われたか否かの確認を行う。ここで、ファイル選択操作が行われたことが確認された場合には、次のステップＳ１４４の処理に進む。また、ファイル選択操作が所定の時間以上の間、行われていないことが確認された場合には、ステップＳ１４５の処理に進む。なお、この場合における所定の時間は、時計１７の出力信号を確認することによりなされる。その後、ステップＳ１４４の処理に進む。
In step S143, the control unit 11 monitors an instruction signal from the
ステップＳ１４４において、制御部１１は、表示部１６等を制御して、上述のステップＳ１４３の処理にて選択されたデータファイルに基く画像の再生表示を行う選択ファイル再生表示処理を実行する。その後、ステップＳ１４５の処理に進む。
In step S144, the control unit 11 controls the
ステップＳ１４５において、制御部１１は、操作部１３からの指示信号を監視して再生動作の終了操作が行われたか否かの確認を行う。ここで、再生終了操作が確認された場合には、ステップＳ１３５の処理に進む。また、再生終了操作が確認されない場合には、上述のステップＳ１４２の処理に進み、以降の処理を繰り返す。
In step S145, the control unit 11 monitors the instruction signal from the
なお、上述のファイル一覧表示処理（ステップＳ１４２），ファイル選択操作処理（ステップＳ１４３），選択ファイル再生処理（ステップＳ１４４）の各処理シーケンスについての具体的な処理内容については、本発明に直接関連しないところであり、従来の撮影機器にて適用されるものと同様の処理がなされるものとして、説明を省略する。 It should be noted that the specific processing content of each processing sequence of the above-described file list display processing (step S142), file selection operation processing (step S143), and selected file playback processing (step S144) is not directly related to the present invention. By the way, the description is omitted on the assumption that the same processing as that applied in the conventional photographing apparatus is performed.
一方、上述のステップＳ１０３の処理において、撮影操作の実行が確認されずにステップＳ１２１の処理に分岐すると、このステップＳ１２１において、制御部１１は、モード設定部１１ｃを介して撮影機器１の現在の設定状態を確認し、撮影モードのうちのスキンシップモードに設定されているか否かの確認を行う。ここで、スキンシップモードに設定されていることが確認された場合には、次のステップＳ１２２の処理に進む。一方、スキンシップモードに設定されていないことが確認された場合には、上述のステップＳ１０１の処理に進み、以降の処理を繰り返す。 On the other hand, when the execution of the shooting operation is not confirmed in the process of step S103 described above and the process branches to the process of step S121, in step S121, the control unit 11 passes the current setting of the shooting device 1 via the mode setting unit 11c. Check the setting state, and check whether the skinship mode is set in the shooting mode. If it is confirmed that the skinship mode is set, the process proceeds to the next step S122. On the other hand, if it is confirmed that the skinship mode is not set, the process proceeds to step S101 described above, and the subsequent processes are repeated.
ステップＳ１２２において、制御部１１は、顔検出部１２ａ，顔傾き検出部１２ｂ，被写***置検出部１２ｃ，被写体状態判定部１１ｂ等を制御して「第１状況判定処理」を実行する。この第１状況判定処理の詳細は図３に示す通りである。以下、第１状況判定処理の処理シーケンスを図３によって以下に詳述する。
In step S122, the control unit 11 controls the
ここで、「第１状況判定処理」は、表示中のライブビュー画像における被写体の状況を検出し、その被写体の状況が「スキンシップモード」において自動撮影を行うべき所定の条件に合致しているか否かを判定する処理である。また、被写体の状況のうち「第１状況」とは、ライブビュー画像に含まれる複数の被写体同士の関係性が親密なものであると推定できる状況をいうものとする。 Here, the “first situation determination processing” detects the situation of the subject in the live view image being displayed, and whether the situation of the subject meets a predetermined condition for performing automatic shooting in the “skinship mode”. This is a process for determining whether or not. In addition, the “first situation” of the situation of the subject refers to a situation in which it can be estimated that the relationship between a plurality of subjects included in the live view image is intimate.
具体的には、例えばライブビュー画像が図６，図８に示すような状況を考えてみる。 Specifically, for example, consider a situation where the live view image is as shown in FIGS.
図６は、表示画面１６ａ内で、第１の被写体１００（人物）が第２の被写体１０１（他の人物若しくは乳幼児等）を抱きかかえた状況を示している。
FIG. 6 shows a situation where the first subject 100 (person) is holding the second subject 101 (another person or an infant) in the
図８は、表示画面１６ａ内で、第１の被写体１００（人物）が第２の被写体１０１Ａ（ペット等）を抱きかかえた状況を示している。
FIG. 8 shows a situation where the first subject 100 (person) is holding the
ここで、図５に示す状況に対し図６に示す状況では、第１の被写体１００と第２の被写体１０１との関係性は、図６の状況の方が親密な関係性を有していると考えられる。
Here, in the situation shown in FIG. 6 with respect to the situation shown in FIG. 5, the relationship between the
同様に、図５に示す状況に対し図８に示す状況では、第１の被写体１００と第２の被写体１０１との関係性は、図８の状況の方が親密な関係性を有していると考えられる。
Similarly, in the situation shown in FIG. 8 with respect to the situation shown in FIG. 5, the relationship between the
そこで、図６，図８に示す状況を考察すると、表示画面１６ａ内の画像から被写体の関係性を類推することができる。例えば、
表示画面の上部に所定以上の大きさの顔（第１の顔）がある（後述の図３のステップＳ２０１参照）、
検出された第１の顔の下側に、その顔の人物の両手が存在する（後述の図３のステップＳ２０２参照）、
検出された第１の顔の下側に、その顔の人物の片手と第２の顔が存在する（後述の図３のステップＳ２０４参照）、
第１の顔の向きが画面の中央側を向いている（後述の図３のステップＳ２０５参照）、
第１の顔の向いた方向に略同じ大きさの第２の顔がある（後述の図３のステップＳ２０６参照）、
第２の顔の向きが画面の中央側を向いている（後述の図３のステップＳ２０７参照）、
第１の顔と第２の顔との間の距離が所定の距離（顔一個分）以下程度に近接している（後述の図３のステップＳ２０８参照）、
第１の被写体の画面の外側の肩が上がっている（後述の図３のステップＳ２０９参照）
等の特徴的形態を見出すことができる。
Therefore, considering the situation shown in FIGS. 6 and 8, the relationship between the subjects can be inferred from the image in the
There is a face (first face) larger than a predetermined size at the top of the display screen (see step S201 in FIG. 3 described later),
There are both hands of the person of the face below the detected first face (see step S202 in FIG. 3 described later),
Under the detected first face, there are one hand and a second face of the person of the face (see step S204 in FIG. 3 described later),
The orientation of the first face is toward the center of the screen (see step S205 in FIG. 3 described later),
There is a second face of approximately the same size in the direction of the first face (see step S206 in FIG. 3 described later),
The orientation of the second face is toward the center of the screen (see step S207 in FIG. 3 described later),
The distance between the first face and the second face is close to a predetermined distance (one face) or less (see step S208 in FIG. 3 described later).
The outer shoulder of the screen of the first subject is raised (see step S209 in FIG. 3 described later).
Etc. can be found.
したがって、図３の「第１状況判定処理」では、ライブビュー画像の画像信号についての画像信号処理を行なって被写体の状況を検出し、検出した被写体状況が上記各条件に合致するか否かを判定することで、ライブビュー画像における複数の被写体同士の関係性を判定する。 Therefore, in the “first situation determination process” in FIG. 3, an image signal process is performed on the image signal of the live view image to detect the situation of the subject, and whether or not the detected subject situation matches each of the above conditions. By determining, the relationship between a plurality of subjects in the live view image is determined.
なお、後述の「第２状況判定処理」（図２のステップＳ１２７の処理；図４のサブルーチン参照）における「第２状況」は、ライブビュー画像の被写体同士が「第１状況」にある状況において、かつその画像中の複数の被写体が正面を向いていわゆる「カメラ目線」となった状況、即ち「第１の状況」にある親密な関係性を有する複数の被写体が同時に撮影機器１の側に視線を向けた状況をいう。つまり、「第２状況」となったときが、「スキンシップモード」時における撮影タイミングとなる。 The “second situation” in the “second situation determination process” described later (the process in step S127 in FIG. 2; see the subroutine in FIG. 4) is a situation in which the subjects of the live view image are in the “first situation”. In addition, a plurality of subjects in the image face the front and become a so-called “camera line of sight”, that is, a plurality of subjects having an intimate relationship in the “first situation” are simultaneously on the side of the photographing apparatus 1. This refers to the situation where the line of sight is directed. That is, the shooting timing in the “skinship mode” is when the “second situation” is reached.
具体的には、例えばライブビュー画像が図７，図８に示すような状況となった場合を、「第２状況判定処理」において条件が合致したものとする。 Specifically, for example, when the live view image is in a situation as shown in FIGS. 7 and 8, it is assumed that the condition is met in the “second situation determination process”.
即ち、図７は、表示画面１６ａ内で、第１の被写体１００（人物）が第２の被写体１０１（他の人物若しくは乳幼児等）を抱きかかえた状況において、第１，第２の被写体の両者の目線が撮影機器１のある側、即ち正面側を向いている状況を示している。この状況は、図６の状況から遷移し得る状況と言える。
That is, FIG. 7 shows that both the first and second subjects in the situation where the first subject 100 (person) is holding the second subject 101 (another person or infant) on the
また、図８は、表示画面１６ａ内で、第１の被写体１００（人物）が第２の被写体１０１Ａ（ペット等）を抱きかかえた状況において、図７の状況と同様に、第１，第２の被写体の両者の目線が撮影機器１のある側（正面側）を向いている状況を示している。
Further, FIG. 8 shows that the first and second subjects 100 (person) are holding the
まず、図３のステップＳ２０１において、制御部１１は、顔検出部１２ａ，被写***置検出部１２ｃ等を制御して顔検出処理等の所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、画面上部に所定以上の大きさの顔が検出されたか否かの確認を行う。ここで、当該顔が検出された場合には、次のステップＳ２０２の処理に進む。また、当該顔が検出されない場合には、ステップＳ２１１の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
First, in step S201 in FIG. 3, the control unit 11 controls the
ステップＳ２０２において、制御部１１は、顔検出部１２ａ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、上述のステップＳ２０１の処理にて検出された顔の下側に、その顔の人物の両手が存在するか否かの確認を行う。ここで、当該両手が存在することが確認された場合には、次のステップＳ２０３の処理に進む。また、当該両手が存在しない場合には、ステップＳ２０４の処理に進む。
In step S202, the control unit 11 performs predetermined image processing by controlling the
ここで、「手の検出」は、次のようにして行われる。図６，図７，図８等に示すように、第１の被写体１００が第２の被写体１０１，１０１Ａを抱きかかえているような状況においては、第１の被写体１００の両手の形状は、例えば図１２（ａ），図１２（ｂ）で示すような形状で示すことができる。なお、この場合において、図１２（ａ）で示す形状は、手の長手方向が画面に対して水平方向に向いている状況を示している。また、図１２（ｂ）で示す形状は、手の長手方向が画面に対して垂直方向に向いている状況を示している。
Here, “hand detection” is performed as follows. As shown in FIGS. 6, 7, 8, etc., in a situation where the
画像上における手の部分の大きさは、被写体の顔の大きさ（画面上における長さＦ）に対して、半分（Ｆ／２）から略同等程度の大きさになる。また、手の部分の色情報については、顔検出処理で検出される顔の部分の色情報に近似するものと考えられる。したがって、制御部１１は、顔検出部１２ａ，被写***置検出部１２ｃ，被写体状態判定部１１ｂ等を制御して、ライブビュー画像内から、これらの条件に合致する部分を検出する。
The size of the hand portion on the image is about half (F / 2) to substantially the same size as the face size (length F on the screen) of the subject. Further, the color information of the hand part is considered to approximate the color information of the face part detected by the face detection process. Therefore, the control unit 11 controls the
ステップＳ２０３において、制御部１１は、顔検出部１２ａ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、上述のステップＳ２０２の処理にて検出された両手のうち画面上において上側に位置する手の近くに上述のステップＳ２０１の処理にて検出された顔（第１の顔）とは異なる他の顔（第２の顔）があるか否かの確認を行う。ここで、上の手の近くに第２の顔があることが確認された場合には、ステップＳ２１０の処理に進み、被写体状況が合致している旨の「合致判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。また、上の手の近くに第２の顔がない場合には、ステップＳ２１１の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
In step S203, the control unit 11 performs predetermined image processing by controlling the
一方、上述のステップＳ２０２の処理において、顔の下側に、その顔の人物の両手が存在しない場合にステップＳ２０４の処理に進むと、このステップＳ２０４において、制御部１１は、顔検出部１２ａ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、上述のステップＳ２０１の処理にて検出された顔の画面上における下側に、その顔の人物の片手及び第２の顔があるか否かの確認を行う。ここで、上述のステップＳ２０１の処理にて最初に検出した顔を第１の顔というものとする。また、第２の顔の検出条件としては、第１の顔と略同じ大きさの顔を第２の顔として検出するようにしている。
On the other hand, in the process of step S202 described above, when the hands of the person of the face do not exist below the face, the process proceeds to step S204. In step S204, the control unit 11 causes the
このステップＳ２０４の処理にて、第１の顔の下側に片手及び第２の顔が確認された場合には、ステップＳ２０５の処理に進む。また、第１の顔の下側に片手及び第２の顔が確認されない場合には、ステップＳ２１１の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。 In the process of step S204, when one hand and the second face are confirmed below the first face, the process proceeds to step S205. Further, when one hand and the second face are not confirmed below the first face, the process proceeds to step S211, and “no match determination” is performed to the effect that the subject does not match the situation. After that, the process sequence returns to FIG. 2 (return).
ステップＳ２０５において、制御部１１は、顔検出部１２ａ，顔傾き検出部１２ｂ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、第１の顔の向きが画面の中央側を向いているか否かの確認を行う。ここで、第１の顔の向きが画面の中央側を向いていることが確認された場合には、次のステップＳ２０６の処理に進む。また、第１の顔の向きが画面の中央側を向いていない場合には、ステップＳ２１１の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
In step S205, the control unit 11 performs predetermined image processing by controlling the
ステップＳ２０６において、制御部１１は、顔検出部１２ａ，顔傾き検出部１２ｂ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、第１の顔の向いた方向に第２の顔が存在するか否かの確認を行う。ここで、第１の顔の向いた方向に第２の顔が存在することが確認された場合には、次のステップＳ２０７の処理に進む。また、第１の顔の向いた方向に第２の顔が存在しない場合には、ステップＳ２１１の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
In step S206, the control unit 11 performs predetermined image processing by controlling the
ステップＳ２０７において、制御部１１は、顔検出部１２ａ，顔傾き検出部１２ｂ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、第２の顔の向きが画面の中央側（第１の顔のある方向）に向いているか否かの確認を行う。ここで、第２の顔の向きが画面の中央側に向いていることが確認された場合には、次のステップＳ２０８の処理に進む。また、第２の顔の向きが画面の中央側に向いていない場合には、ステップＳ２１１の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
In step S207, the control unit 11 performs predetermined image processing by controlling the
ステップＳ２０８において、制御部１１は、顔検出部１２ａ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、第１の顔と第２の顔との間の距離が顔一つ分の幅寸法以下の距離であるか否かの確認を行う。
In step S208, the control unit 11 controls the
このステップＳ２０８の処理ステップでは、第１の顔と第２の顔との近接具合を検出することにより、両者の関係性を判定する。即ち、第１の顔と第２の顔との間の距離が顔一つ分の幅寸法以下に近接している場合には、両者は親密な関係性を有するものと判定するようにしている。 In the processing step of step S208, the relationship between the first face and the second face is determined by detecting the proximity of the first face and the second face. That is, when the distance between the first face and the second face is close to the width of one face or less, both are determined to have an intimate relationship. .
即ち、このステップＳ２０８の処理にて、第１の顔と第２の顔との間の距離が顔一つ分の幅寸法以下の距離であることが確認された場合には、両者は親密な関係性を有するものと判定されて、ステップＳ２１０の処理に進み、被写体状況が合致している旨の「合致判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。 That is, when it is confirmed in the process of step S208 that the distance between the first face and the second face is equal to or less than the width dimension of one face, both are intimate. If it is determined that there is a relationship, the process proceeds to step S210, and “match determination” is performed to the effect that the subject situation is matched. After that, the process sequence returns to FIG. 2 (return).
一方、上記ステップＳ２０８の処理にて、第１の顔と第２の顔との間の距離が顔一つ分の幅寸法よりも大である場合には、両者の関係性は親密ではないものと判定されて、ステップＳ２０９の処理に進む。 On the other hand, if the distance between the first face and the second face is larger than the width of one face in the process of step S208, the relationship between the two is not intimate. And the process proceeds to step S209.
ステップＳ２０９において、制御部１１は、顔検出部１２ａ，被写***置検出部１２ｃ等を制御して所定の画像処理を行い、撮像部１２によって取得された画像信号に基く画像において、第１の顔の人物の肩のうち画面外側寄りに位置する肩が他方の肩の位置よりも画面の水平方向を基準として上にある状態か否かの確認を行う。ここで、第１の顔の人物の一方の肩（画面外側寄りの肩）が他方の肩より画面水平方向を基準として上にある状態が確認された場合には、ステップＳ２１０の処理に進み、被写体状況が合致している旨の「合致判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
In step S209, the control unit 11 performs predetermined image processing by controlling the
また、第１の顔の人物の一方の肩（画面外側寄りの肩）が他方の肩より画面水平方向を基準として上にない状態（下にあるか若しくは両肩が略同位置）である場合には、ステップＳ２１１の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。 Also, when one shoulder (shoulder closer to the outside of the screen) of the person with the first face is not above the other shoulder with respect to the horizontal direction of the screen (below or both shoulders are substantially at the same position) In step S211, the process proceeds to step S211, and “no match determination” is performed to the effect that the subject does not match the situation. After that, the process sequence returns to FIG. 2 (return).
なお、上述のステップＳ２０５，Ｓ２０６，２０７等の各処理において、顔の向きを検出する方法としては、例えば次に示すような手段が用いられる。 In each process such as steps S205, S206, and 207 described above, for example, the following means is used as a method for detecting the orientation of the face.
図９は、本撮影機器１における表示部１６の表示画面１６ａに、所定のライブビュー画像が表示されている様子を示している。この図９の表示画面１６ａは、例えば第１の顔１００ａを有する人物である第１被写体１００と、第２の顔１０１ａを有する人物である第２被写体１０１と、が含まれるライブビュー画像の一例を示している。
FIG. 9 shows a state in which a predetermined live view image is displayed on the
図９の表示画面１６ａにおいて、第１被写体１００及び第２被写体１０１は、いずれも画面の中央側に向いているものとする。図９では、表示画面１６ａの略中央部分で該画面を左右に二分する中央線を仮想線Ｃとして二点鎖線で示している。
In the
表示画面１６ａに表示されるライブビュー画像が、このような状況にある場合において、例えば、第２被写体１０１の顔１０１ａの向きを検出するものとする。
When the live view image displayed on the
ここで、図９においては、第２被写体１０１の第２の顔１０１ａを拡大して示している。顔検出部１２ａは、第２の顔１０１ａの陰影情報から、
画面上における第２の顔１０１ａの略中心Ａを上下方向に通るラインＡ１（図９において点線で示すライン）、
第２の顔１０１ａの両眼及び鼻の各位置から推定される顔自体の中心（正面から見た場合の中心）を上下方向に通るラインＢ（図９，図１０の実線で示すライン；鼻筋を通るライン）、
第２の顔１０１ａの幅方向（画面左右方向）の長さＦ（寸法の絶対値ではなく画面上における相対的な大きさがわかればよい）、
等を検出し、これらの検出情報に基いて、
ラインＡ１とラインＢとのズレ量ΔＸ（図９参照）が求められる。
Here, in FIG. 9, the
A line A1 (line indicated by a dotted line in FIG. 9) passing through the approximate center A of the
Line B passing through the center of the face itself (center when viewed from the front) estimated from the positions of both eyes and nose of the
Length F in the width direction (left-right direction of the screen) of the
Etc., and based on these detection information,
A deviation amount ΔX (see FIG. 9) between the line A1 and the line B is obtained.
この場合において、図９に示す状態の第２被写体１０１を、仮に頭上側から俯瞰して見たとすると、図１０に示すようになる。つまり、図１０は、図９における矢印Ｄで示す方向から見たときの第２被写体１０１の様子を示している。換言すれば、図９に示される第２被写体１０１は、図１０における矢印Ｅで示す方向（正面側）から見たときの状態である。この状態において、第２の顔１０１ａは、図１０に示す符号θの角度分だけ正面を基準として画面中央側に向けられていることになる。したがって、このときの顔の角度θは、
In this case, if the
Θ＝ａｒｃｓｉｎ（２・Δｘ／Ｆ）
によって求めることができる。これらの演算は、例えば被写体状態判定部１１ｂ等において行われる。
Θ = arcsin (2 · Δx / F)
Can be obtained. These calculations are performed, for example, in the subject
このように顔の角度θを求めることにより、検出された顔が、画面１６ａの中央側に向いているか否かを判別することができる。
Thus, by determining the face angle θ, it is possible to determine whether or not the detected face is directed toward the center of the
上述したように、図３の処理シーケンスにおいて、ステップＳ２１０（「合致判定」）若しくはステップＳ２１１（「合致なし判定」）の各判定処理の後、図２の処理シーケンスに復帰（リターン）すると、図２のステップＳ１２３の処理に進む。
As described above, after each determination process in step S210 ("match determination") or step S211 ("no match determination") in the processing sequence of FIG. 3, the processing sequence of FIG. The process proceeds to step S123 of
図２のステップＳ１２３において、制御部１１は、上述の図３の「第１状況判定処理」の結果、ライブビュー画像における複数の被写体が「第１状況」に合致しているか否かの確認を行う。ここで、「合致判定」が確認された場合には、ステップＳ１２４の処理に進む。また、「合致なし判定」である場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。 In step S123 of FIG. 2, the control unit 11 confirms whether or not a plurality of subjects in the live view image match the “first situation” as a result of the “first situation determination process” of FIG. Do. Here, if “match” is confirmed, the process proceeds to step S124. If it is “no match determination”, the process returns to the above-described step S101 and the subsequent processes are repeated.
ステップＳ１２４において、制御部１１は、警告制御部１１ｄを介して警告部１５を制御して、所定の警告動作、例えばブザー音等を発生させる動作を行う。この警告動作は、被写体の注意を撮影機器１の側に向けさせて、第１の顔１００ａ及び第２の顔１０１ａの目線が撮影機器１を向くようにするために行う動作である。したがって、例えばブザー音等に限らず、予め撮影機器１の内部メモリ（図示せず）に登録記録しておいた人物による掛け声，動物の亡き声等を発音させるようにしてもよい。
In step S124, the control unit 11 controls the
これと同時に、制御部１１は、撮像部１２，画像処理部１１ａ，表示部１６等を制御して撮影動作を開始させる。その後、ステップＳ１２５の処理に進む。ここで行われる撮影動作（撮影処理）は、例えば検出した顔を追尾しつつ、その顔の領域についてのＡＦ動作及びＡＥ動作等を継続的に行って常に撮影準備状態を維持しながら、レリーズ信号を受けるとレリーズ動作を実行する動作処理である。
At the same time, the control unit 11 starts the shooting operation by controlling the
ステップＳ１２５において、制御部１１は、再度「第１状況判定処理」（図３参照）を実行する。その後、ステップＳ１２６の処理に進む。 In step S125, the control unit 11 executes the “first situation determination process” (see FIG. 3) again. Thereafter, the process proceeds to step S126.
ステップＳ１２６において、制御部１１は、「第１状況判定処理」の結果の確認を行う。ここで、「合致判定」が確認された場合には、ステップＳ１２７の処理に進む。また、「合致なし判定」である場合には、上述のステップＳ１３４の処理に進む。 In step S126, the control unit 11 confirms the result of the “first situation determination process”. Here, if the “match determination” is confirmed, the process proceeds to step S127. If it is “no match determination”, the process proceeds to step S134 described above.
ステップＳ１３４において、制御部１１は、警告制御部１１ｄを介した警告部１５の制御、及び表示部１６の制御を行なって、所定の警告動作を実行する。この警告動作は、「スキンシップモード」による撮影は、被写体状況が所定の条件に合致しなかったために実行できなかった旨を警告する動作処理である。具体的には、例えばブザー音等を発生させたり、表示部１６に、その旨の警告表示を行う処理が実行される。この警告動作の後、上述のステップＳ１２４の処理にて開始した撮影動作を終了する。その後、ステップＳ１３５の処理に進む。
In step S134, the control unit 11 controls the
一方、上述のステップＳ１２６の処理にて、「第１状況判定処理」の結果が「合致判定」である場合に、ステップＳ１２７の処理に進むと、このステップＳ１２７において、制御部１１は、顔検出部１２ａ，顔傾き検出部１２ｂ，被写***置検出部１２ｃ，被写体状態判定部１１ｂ等を制御して「第２状況判定処理」を実行する。この第２状況判定処理の詳細は図４に示す通りである。以下、第２状況判定処理の処理シーケンスを図４によって以下に詳述する。
On the other hand, if the result of the “first situation determination process” is “match determination” in the process of step S126 described above, the process proceeds to step S127. In step S127, the control unit 11 performs face detection. The “second situation determination process” is executed by controlling the
まず、図４のステップＳ２２１において、制御部１１は、被写体状態判定部１１ｂ等を制御して所定の画像処理を行い、第１の顔１００ａがカメラ目線であるか否かの確認を行う。ここで、第１の顔１００ａがカメラ目線であることが確認された場合には、次のステップＳ２２２の処理に進む。また、第１の顔１００ａがカメラ目線ではない場合には、ステップＳ２２４の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
First, in step S221 in FIG. 4, the control unit 11 controls the subject
ステップＳ２２２において、制御部１１は、被写体状態判定部１１ｂ等を制御して所定の画像処理を行い、第２の顔１０１ａがカメラ目線であるか否かの確認を行う。ここで、第２の顔１０１ａがカメラ目線であることが確認された場合には、次のステップＳ２２３の処理に進み、このステップＳ２２３において、制御部１１は、被写体状況が合致している旨の「合致判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
In step S222, the control unit 11 controls the subject
また、第２の顔１０１ａがカメラ目線ではない場合には、ステップＳ２２４の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図２の処理シーケンスに復帰する（リターン）。
If the
なお、上述のステップＳ２２１，Ｓ２２２等の各処理において、カメラ目線を検出する方法としては、例えば次に示すような手段が用いられる。 In each process such as steps S221 and S222 described above, for example, the following means is used as a method for detecting the camera line of sight.
ここで、第１の顔１００ａ，第２の顔１０１ａのそれぞれがカメラ目線の検出処理を説明するのに、表示部１６の表示画面１６ａに表示されるライブビュー画像として、図９に示す状況を用いて、例えば第２の被写体１０１の目線検出を行う場合の例を以下に示す。
Here, as the live view image displayed on the
図１１は、図９に示す第２の被写体１０１を頭上側から俯瞰して見た場合の様子を拡大して示している。
FIG. 11 shows an enlarged view of the
この状況において、被写***置検出部１２ｃ，被写体状態判定部１１ｂ等は、第２の顔１０１ａの陰影情報（顔検出部１２ａにより取得される）から、黒眼の位置を検出し、検出された黒眼の位置を図１１の上下方向に通るラインＥ１と、顔の略中心Ａを図１１の上下方向に通るラインＡ２（図１１参照）とのズレ量ΔＥが求められる。
In this situation, the subject position detection unit 12c, the subject
この状態において、第２の顔１０１ａは、図１１に示す符号φの角度分だけ正面を基準として画面外側に向けられていることになる。したがって、このときの目線の角度φは、
φ＝ａｒｃｓｉｎ（２・ΔＥ／Ｆ）
によって求めることができる。これにより、ズレ量ΔＥが求められる。
In this state, the
φ = arcsin (2 · ΔE / F)
Can be obtained. Thereby, the shift amount ΔE is obtained.
このように目線の移動角度φを求めることにより、検出された顔の目線が、表示画面１６ａ中において、第１の顔１００ａ，第２の顔１０１ａがカメラ目線となっているか否かを判別することができる。
By determining the eye movement angle φ in this way, it is determined whether or not the detected eye of the face is the camera eye of the first face 100a and the
上述したように、図４の処理シーケンスにおいて、ステップＳ２２３（「合致判定」）若しくはステップＳ２２４（「合致なし判定」）の各判定処理の後、図２の処理シーケンスに復帰（リターン）すると、図２のステップＳ１３１の処理に進む。
As described above, after each determination process in step S223 ("match determination") or step S224 ("no match determination") in the process sequence of FIG. 4, the process sequence of FIG. The process proceeds to step S131 of
図２のステップＳ１３１において、制御部１１は、上述の図４の「第２状況判定処理」の結果、ライブビュー画像における複数の被写体が「第２状況」に合致しているか否かの確認を行う。ここで、「合致判定」が確認された場合には、制御部１１は、撮影タイミングであると判断し、この時点でシャッターレリーズ処理を実行する。その後、ステップＳ１３３の処理に進む。これにより、図７，図８に示すような被写体同士の親密な関係性を有している状況において、両被写体が「カメラ目線」となっている画像が取得される。 In step S131 of FIG. 2, the control unit 11 confirms whether or not a plurality of subjects in the live view image match the “second situation” as a result of the “second situation determination process” of FIG. Do. Here, when the “match determination” is confirmed, the control unit 11 determines that it is the photographing timing, and executes the shutter release process at this point. Thereafter, the process proceeds to step S133. As a result, in a situation where the subjects have an intimate relationship as shown in FIGS. 7 and 8, an image in which both subjects are “looking at the camera” is acquired.
一方、上述のステップＳ１３１の処理において、「合致なし判定」であることが確認された場合には、ステップＳ１３２の処理に進む。 On the other hand, if it is confirmed in the process of step S131 described above that “no match” is determined, the process proceeds to step S132.
ステップＳ１３２において、制御部１１は、時計１７の出力に基いて所定時間が経過したか否かの確認を行う。ここで、所定時間が経過したことが確認されたら、ステップＳ１３３の処理に進む。
In step S <b> 132, the control unit 11 confirms whether or not a predetermined time has elapsed based on the output of the
また、所定時間が経過していない場合には、上述のステップＳ１２５の処理に戻り、以降の処理を繰り返す。即ち、上述のステップＳ１３１の処理から当該ステップＳ１３２の処理に分岐した場合には、所定時間が経過するまでステップＳ１２５〜Ｓ１３１の処理を繰り返す。これにより、ライブビュー画像における被写体状況が合致することを待機する。 If the predetermined time has not elapsed, the process returns to the above-described step S125, and the subsequent processes are repeated. That is, when the process branches from step S131 to step S132, steps S125 to S131 are repeated until a predetermined time elapses. This waits for the subject situation in the live view image to match.
そして、最後に、ステップＳ１３３において、制御部１１は、「スキンシップモード」による一連の撮影動作についての処理を終了する。その後、ステップＳ１３５の処理に進む。 Finally, in step S133, the control unit 11 ends the processing for a series of photographing operations in the “skinship mode”. Thereafter, the process proceeds to step S135.
以上説明したように上記一実施形態によれば、ライブビュー画像中における被写体同士の関係性が親密であることを表わす場面として、第１の被写体１００が第２の被写体１０１（１０１Ａ）を抱きかかえたような状況を想定している。
As described above, according to the embodiment, the
そして、ライブビュー画像の画像信号から被写体の状況を検出し、検出した被写体状況が、当該想定状況に合致し、かつ第１，第２の被写体１００，１０１（１０１Ａ）が「カメラ目線」となるタイミングで、自動的にシャッターレリーズ動作が実行される。
Then, the state of the subject is detected from the image signal of the live view image, the detected subject state matches the assumed state, and the first and
したがって、撮影者自身が撮影機器１を常に操作し続けたり、煩雑な操作が不要とされるので、撮影者自身も被写体として撮影画像に入ることができる。この場合において、撮影者（第１の被写体）は、撮影機器１の前で第２の被写体との親密な関係性を表現しつつ、所定の状況に合致する状況を創り出すだけで、撮影機器１は、ライブビュー画像に基いて適切な撮影タイミングを自動的に決定し、そのタイミングで撮影動作は自動的に実行される。したがって、撮影者自身を含む複数の被写体同士の親密な関係性を表現し得る画像を容易に取得することができる。 Accordingly, since the photographer himself keeps operating the photographing device 1 constantly and no complicated operation is required, the photographer himself can enter the photographed image as a subject. In this case, the photographer (first subject) simply creates a situation that matches a predetermined situation while expressing an intimate relationship with the second subject in front of the photographing device 1. Automatically determines an appropriate shooting timing based on the live view image, and the shooting operation is automatically executed at that timing. Therefore, it is possible to easily acquire an image that can express an intimate relationship between a plurality of subjects including the photographer himself.
これに加えて、本実施形態の撮影機器１においては、複数の被写体のうちのいずれかが良好な状況（例えば笑顔等）となったタイミングで撮影を行うのではなく、画像として完成度の高い瞬間、即ち複数の被写体同士の親密な関係性を表現し得る状況（第１の被写体が第２の被写体を抱きかかえているような状況）において、かつ両者が「カメラ目線」となる一瞬を撮り逃すことなく、確実に撮影を行なうことができる。 In addition to this, in the imaging device 1 of the present embodiment, the image is highly completed as an image rather than being shot at a timing when any one of a plurality of subjects is in a good situation (for example, a smile). Take a moment when you can express an intimate relationship between multiple subjects (situation where the first subject is holding the second subject) and when they are both looking at the camera You can shoot reliably without missing.
この場合において、「カメラ目線」を得るための手段として、警告部１５を用いて発音させて、被写体の注意を撮影機器１の側に向けさせるようにしたので、第２の被写体が乳幼児若しくはペット等の場合には、より効果的である。
In this case, as the means for obtaining the “camera line of sight”, the
したがって、動きの激しい第２の被写体、例えば乳幼児等やペット等と共に撮影するような場合にも、従来のように何度も撮り直しを行うといったことを不要とし、確実に所望の画像を取得することが容易にできる。 Therefore, even when taking a picture with a second subject that moves rapidly, such as an infant or a pet, it is not necessary to perform re-shooting as many times as in the past, and a desired image is reliably acquired. Can be easily done.
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 Note that the present invention is not limited to the above-described embodiment, and various modifications and applications can of course be implemented without departing from the spirit of the invention. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if several constituent requirements are deleted from all the constituent requirements shown in the above-described embodiment, if the problem to be solved by the invention can be solved and the effect of the invention can be obtained, this constituent requirement is deleted. The configured structure can be extracted as an invention.
本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器に限られることはなく、撮影機能を備えた他の形態の電子機器、例えば携帯電話，録音機器，電子手帳，パーソナルコンピュータ，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影機能付き電子機器にも適用することができる。 The present invention is not limited to a photographing device that is an electronic device specialized in a photographing function such as a digital camera, and other forms of electronic devices having a photographing function, such as a mobile phone, a recording device, an electronic notebook, and a personal computer. The present invention can also be applied to various electronic devices with photographing functions, such as computers, game devices, televisions, watches, navigation devices using GPS (Global Positioning System).
１……撮影機器
１１……制御部
１１ａ……画像処理部
１１ｂ……被写体状態判定部
１１ｃ……モード設定部
１１ｄ……警告制御部
１２……撮像部
１２ａ……顔検出部
１２ｂ……検出部
１２ｃ……被写***置検出部
１３……操作部
１４……記録部
１５……警告部
１６……表示部
１６ａ……表示画面
１７……時計
１００，１０１Ａ……第１被写体
１００ａ……第１の顔
１０１……第２被写体
１０１ａ……第２の顔
DESCRIPTION OF SYMBOLS 1 ... Shooting device 11 ...
Claims (3)
上記撮像部により取得された画像信号に基づく画像に含まれる被写体のうち人物を含む複数の被写体の特定部位を被写体検出部で検出するステップと、
上記被写体部位検出部により検出された上記複数の被写体の各特定部位の上記画像内における相対的な位置関係を被写***置検出部で検出するステップと、
上記被写体部位検出部及び上記被写***置検出部による検出結果に基いて上記複数の被写体の関係性を被写体状態判定部で判定するステップと、
上記被写体状態判定部により、
上記被写体部位検出部により検出された上記複数の被写体の各特定部位のうち複数の顔の位置関係と、
上記複数の顔のうちの一方の第１の顔と上記第１の顔を有する被写体の少なくとも一方の手との位置関係と、
上記第１の顔の一方の手と上記複数の顔のうちの他方の第２の顔との位置関係と、
を検出し被写体の状態の判定を行なうステップと、
を備えることを特徴とする被写体状況判定方法。 Acquiring an image signal of a subject image by an imaging unit;
Detecting a specific part of a plurality of subjects including a person among subjects included in an image based on an image signal acquired by the imaging unit with a subject detection unit;
Detecting a relative positional relationship in the image of each specific part of the plurality of subjects detected by the subject part detection unit by the subject position detection unit;
Determining a relationship between the plurality of subjects based on detection results by the subject part detection unit and the subject position detection unit by a subject state determination unit;
By the subject state determination unit,
The positional relationship of a plurality of faces among the specific parts of the plurality of subjects detected by the subject part detection unit,
A positional relationship between one first face of the plurality of faces and at least one hand of the subject having the first face;
The positional relationship between one hand of the first face and the other second face of the plurality of faces;
Detecting the subject and determining the state of the subject;
A subject situation determination method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013250331A JP5663652B2 (en) | 2013-12-03 | 2013-12-03 | Subject status judgment method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013250331A JP5663652B2 (en) | 2013-12-03 | 2013-12-03 | Subject status judgment method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010020497A Division JP5430428B2 (en) | 2010-02-01 | 2010-02-01 | Photography equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014053965A true JP2014053965A (en) | 2014-03-20 |
| JP5663652B2 JP5663652B2 (en) | 2015-02-04 |
Family
ID=50611943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013250331A Expired - Fee Related JP5663652B2 (en) | 2013-12-03 | 2013-12-03 | Subject status judgment method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5663652B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007041964A (en) * | 2005-08-04 | 2007-02-15 | Matsushita Electric Ind Co Ltd | Image processor |
| JP2008011457A (en) * | 2006-06-30 | 2008-01-17 | Olympus Imaging Corp | Camera |
| JP2009231956A (en) * | 2008-03-19 | 2009-10-08 | Fujifilm Corp | Imaging device and imaging control method |
| JP2010016796A (en) * | 2008-06-06 | 2010-01-21 | Sony Corp | Image capturing apparatus, image capturing method, and computer program |
| JP2010181490A (en) * | 2009-02-03 | 2010-08-19 | Olympus Imaging Corp | Imaging apparatus |
-
2013
- 2013-12-03 JP JP2013250331A patent/JP5663652B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007041964A (en) * | 2005-08-04 | 2007-02-15 | Matsushita Electric Ind Co Ltd | Image processor |
| JP2008011457A (en) * | 2006-06-30 | 2008-01-17 | Olympus Imaging Corp | Camera |
| JP2009231956A (en) * | 2008-03-19 | 2009-10-08 | Fujifilm Corp | Imaging device and imaging control method |
| JP2010016796A (en) * | 2008-06-06 | 2010-01-21 | Sony Corp | Image capturing apparatus, image capturing method, and computer program |
| JP2010181490A (en) * | 2009-02-03 | 2010-08-19 | Olympus Imaging Corp | Imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5663652B2 (en) | 2015-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5430428B2 (en) | Photography equipment | |
| US9344644B2 (en) | Method and apparatus for image processing | |
| US8988535B2 (en) | Photographing control method and apparatus according to motion of digital photographing apparatus | |
| US8334907B2 (en) | Photographing method and apparatus using face pose estimation of face | |
| US10455154B2 (en) | Image processing device, image processing method, and program including stable image estimation and main subject determination | |
| JP2011188210A (en) | Photographing apparatus and photographing system | |
| JP2011188065A (en) | Imaging controller, method of detecting subject, and program | |
| US9628700B2 (en) | Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program | |
| US20150358546A1 (en) | Image processing apparatus, control method, and medium for compositing still pictures | |
| JP5885395B2 (en) | Image capturing apparatus and image data recording method | |
| WO2016015539A1 (en) | Method, terminal and system for shooting object movement trail | |
| JP5663652B2 (en) | Subject status judgment method | |
| JP2010183253A (en) | Information display device and information display program | |
| JP2012124767A (en) | Imaging apparatus | |
| JP2011151482A (en) | Imaging apparatus and method for controlling the same | |
| JP2011188374A (en) | Shooting apparatus | |
| JP7342883B2 (en) | Imaging control device, imaging device, imaging control method | |
| JP2008104070A (en) | Portable apparatus with camera and program for portable apparatus with camera | |
| JP6218911B2 (en) | Imaging control device and control method of imaging control device | |
| JP2016036081A (en) | Image processing device, method and program, and recording medium | |
| JP2015210467A (en) | Imaging device, imaging control device, program and recording medium | |
| US20130343728A1 (en) | Imaging device, information processing device, and non-transitory computer readable medium storing program | |
| US12041337B2 (en) | Imaging control apparatus, imaging control method, program, and imaging device | |
| JP2005229538A (en) | Digital camera system | |
| WO2020066316A1 (en) | Photographing apparatus, photographing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141208 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5663652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |