JP2014053965A - Subject state determination method - Google Patents
Subject state determination method Download PDFInfo
- Publication number
- JP2014053965A JP2014053965A JP2013250331A JP2013250331A JP2014053965A JP 2014053965 A JP2014053965 A JP 2014053965A JP 2013250331 A JP2013250331 A JP 2013250331A JP 2013250331 A JP2013250331 A JP 2013250331A JP 2014053965 A JP2014053965 A JP 2014053965A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- face
- image
- unit
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、固体撮像素子等を用いて画像信号を取得する撮影機器において、取得された画像信号に基いて被写体の状況を判定する被写体状況判定方法に関するものである。 The present invention relates to a subject status determination method for determining the status of a subject on the basis of an acquired image signal in an imaging device that acquires an image signal using a solid-state imaging device or the like.
従来、撮影光学系により結像された光学像を固体撮像素子等を用いて順次画像信号に変換し、これにより得られた画像信号に基く画像を表示装置を用いて順次連続的に表示するライブビュー機能を備え、撮影指示信号が発生した時には、その指示信号の発生時点における画像信号を記録用画像データに変換して記録媒体に記録する一方、再生指示信号が発生した時には、記録媒体に記録済みの画像データを画像信号に変換して、その画像信号に基く画像を表示装置を用いて再生表示する再生機能を有して構成されたデジタルカメラ等の撮影機器が一般に実用化され、広く普及している。 Conventionally, an optical image formed by a photographing optical system is sequentially converted into an image signal using a solid-state imaging device or the like, and an image based on the obtained image signal is sequentially displayed continuously using a display device. With a view function, when a shooting instruction signal is generated, the image signal at the time of generation of the instruction signal is converted into recording image data and recorded on the recording medium, while when a reproduction instruction signal is generated, it is recorded on the recording medium. In general, photographing devices such as a digital camera configured to have a reproduction function for converting image data that has already been converted into an image signal and reproducing and displaying an image based on the image signal using a display device have been put into practical use and widely spread. doing.
近年、この種の撮影機器においては、各種の画像信号処理技術を利用して、撮影画像中の被写体の状況等を判定する機能を有するものがある。例えば、撮影画像中から人物の顔を検出したり、検出された人物の顔が笑顔であるかどうか、若しくは検出された人物の顔が見栄えよく写っているかどうか(例えば眼を瞑っていないか、顔が正面を向いているか等)等の被写体の状況を判定するという機能である。 In recent years, some types of photographing apparatuses have a function of determining the state of a subject in a photographed image using various image signal processing techniques. For example, a person's face is detected from the captured image, whether the detected person's face is smiling, or whether the detected person's face is reflected in a good-looking manner (for example, the eyes are not meditated, This is a function of determining the state of the subject such as whether the face is facing the front.
そこで、従来の撮影機器においては、上述のような画像信号処理技術による被写体状況判定機能を用いて、被写体の状況が所定の条件を満たしたときには、自動的に撮影動作を実行し得るように構成したものが、例えば特開2008−311817号公報,特開2000−347278号公報等によって、種々提案されている。 In view of this, the conventional photographing apparatus is configured to automatically execute the photographing operation when the subject condition satisfies a predetermined condition by using the subject situation determination function based on the image signal processing technique as described above. Various proposals have been made by, for example, Japanese Patent Application Laid-Open Nos. 2008-31817 and 2000-347278.
上記特開2008−311817号公報によって開示されている技術は、被写体の笑顔を検出して撮影タイミングを決定し、そのタイミングで自動的に撮影を行うというものである。 The technique disclosed in the above Japanese Patent Application Laid-Open No. 2008-31817 is to detect a smiling face of a subject, determine a shooting timing, and automatically perform shooting at that timing.
また、上記特開2000−347278号公報等によって開示されている技術は、検出された被写体(人物)が見栄えよく写っているかどうかを判定して、撮影タイミングを決定し、そのタイミングで自動的に撮影を行うというものである。 In addition, the technique disclosed in the above Japanese Patent Laid-Open No. 2000-347278 etc. determines whether or not the detected subject (person) is reflected in a good-looking manner, determines the shooting timing, and automatically at that timing. It is to shoot.
ところが、上記特開2008−311817号公報,上記特開2000−347278号公報等によって開示されている手段は、いずれも検出された被写体の状況(検出した笑顔の状態や、検出した顔が正面を向いている状態等)が継続することを前提としている。 However, the means disclosed in the above-mentioned Japanese Patent Application Laid-Open Nos. 2008-31817, 2000-347278, etc. all detect the situation of the detected subject (the detected smile state and the detected face in front. This is based on the assumption that the situation is suitable).
しかしながら、撮影を所望する被写体が、例えば乳幼児等や小動物等のペット等であるときには、所定の状況を継続させることが困難である場合が多い。したがって、上記従来の手段では、撮影対象とする被写体によっては、適切な撮影タイミングを決定することができず、常に最適な撮影を行なうことができないという問題点があった。 However, when the subject desired to be photographed is a pet such as an infant or a small animal, it is often difficult to continue the predetermined situation. Therefore, the conventional means described above has a problem that an appropriate shooting timing cannot be determined depending on the subject to be shot, and optimal shooting cannot always be performed.
ところで、撮影機器を用いて撮影を行う場面として、例えば撮影画像中に複数の被写体が含まれる場合であって、人物が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえているような場面の撮影を行うことはよくあることである。このような場面において、被写体となる人物と他の人物や乳幼児等との関係性や、人物とペット等との関係性は、極めて親密な関係性を有するものであると推測できる。 By the way, as a scene where shooting is performed using a shooting device, for example, when a plurality of subjects are included in a shot image, a person is holding a pet such as another person, an infant, a small animal, or the like It is common to shoot scenes. In such a scene, it can be inferred that the relationship between the person who is the subject and another person, an infant, and the like, and the relationship between the person and the pet, etc., are extremely intimate.
一方、撮影者自身が被写体として撮影画像中に含まれるような場合には、例えばセルフタイマー機能やリモコン機能を利用することが従来一般に行われている。 On the other hand, when the photographer himself / herself is included in the captured image as a subject, for example, a self-timer function or a remote control function is generally used.
そこで、例えば、撮影者自身が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえた状況の場面を撮影する場合を考えてみると、セルフタイマー機能を用いて撮影する場合には、規定の時間が経過した後に撮影が行われることから、撮影タイミングが必ずしも最適なものになるとは限らないという問題点がある。 Therefore, for example, when taking a picture of a situation where the photographer is holding another person, a baby such as an infant or a small animal, etc. Since the shooting is performed after the elapse of time, there is a problem that the shooting timing is not always optimal.
また、上記状況において、リモコン機能等を用いて撮影したとしても、撮影者自身がリモコン操作を行う必要があり、撮影者自身が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえた状態では、同時に撮影機器の操作やリモコン操作を行うことは煩雑な作業となってしまう。このことから、リモコン機能使用時の撮影でも、常に最適な撮影画像、即ち親密な関係性を表現し得るような画像を取得することは非常に困難なことであった。 In the above situation, even if the photographer uses the remote control function or the like, the photographer himself / herself needs to perform the remote control operation, and the photographer himself / herself holds a pet such as another person, an infant or a small animal, etc. Then, simultaneous operation of the photographing device and remote control operation are complicated operations. For this reason, it is very difficult to always obtain an optimal captured image, that is, an image that can express an intimate relationship even when shooting using the remote control function.
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、固体撮像素子等を用いて画像信号を取得する撮影機器において撮影を行うのに際し、複数の被写体同士の親密な関係性を表現し得るような適切な撮影タイミングを決定するために、被写体の状況、特に撮影画像中の複数の被写体同士の関係性を判定する被写体状況判定方法を提供することである。 The present invention has been made in view of the above-described points, and an object of the present invention is to take a plurality of subjects together when shooting with a shooting device that acquires an image signal using a solid-state imaging device or the like. In order to determine an appropriate shooting timing that can express an intimate relationship, it is an object to provide a subject status determination method that determines the status of a subject, particularly the relationship between a plurality of subjects in a captured image.
上記目的を達成するために、本発明の一態様の被写体状況判定方法は、被写体像の画像信号を撮像部により取得するステップと、上記撮像部により取得された画像信号に基づく画像に含まれる被写体のうち人物を含む複数の被写体の特定部位を被写体検出部で検出するステップと、上記被写体部位検出部により検出された上記複数の被写体の各特定部位の上記画像内における相対的な位置関係を被写***置検出部で検出するステップと、上記被写体部位検出部及び上記被写***置検出部による検出結果に基いて上記複数の被写体の関係性を被写体状態判定部で判定するステップと、上記被写体状態判定部により、上記被写体部位検出部により検出された上記複数の被写体の各特定部位のうち複数の顔の位置関係と、上記複数の顔のうちの一方の第1の顔と上記第1の顔を有する被写体の少なくとも一方の手との位置関係と、上記第1の顔の一方の手と上記複数の顔のうちの他方の第2の顔との位置関係とを検出し被写体の状態の判定を行なうステップとを備える。 To achieve the above object, a subject situation determination method according to one aspect of the present invention includes a step of acquiring an image signal of a subject image by an imaging unit, and a subject included in an image based on the image signal acquired by the imaging unit. Detecting a specific part of a plurality of subjects including a person using a subject detection unit, and determining a relative positional relationship in the image of each specific part of the plurality of subjects detected by the subject part detection unit. A step of detecting by the position detection unit, a step of determining a relationship between the plurality of subjects based on detection results by the subject part detection unit and the subject position detection unit, and a subject state determination unit. , The positional relationship of a plurality of faces among the specific parts of the plurality of subjects detected by the subject part detection unit, and one of the plurality of faces The positional relationship between the first face and at least one hand of the subject having the first face, and the position between one hand of the first face and the other second face of the plurality of faces Detecting the relationship and determining the state of the subject.
本発明によれば、固体撮像素子等を用いて画像信号を取得する撮影機器において撮影を行うのに際し、複数の被写体同士の親密な関係性を表現し得るような適切な撮影タイミングを決定するために、被写体の状況、特に撮影画像中の複数の被写体同士の関係性を判定する被写体状況判定方法を提供することができる。 According to the present invention, in order to determine an appropriate shooting timing capable of expressing an intimate relationship between a plurality of subjects when shooting is performed in a shooting device that acquires an image signal using a solid-state imaging device or the like. In addition, it is possible to provide a subject status determination method for determining the status of a subject, particularly the relationship between a plurality of subjects in a captured image.
以下、図示の実施の形態によって本発明を説明する。 The present invention will be described below with reference to the illustrated embodiments.
本発明の一実施形態の撮影機器は、撮影光学系により結像された光学像を固体撮像素子等を用いて順次光電変換して画像信号を生成し、これにより得られた画像信号に基く画像を表示装置を用いて順次連続的に表示するライブビュー機能を備えた撮影機器であって、具体的には、例えばデジタルカメラを例に挙げて示すものである。 An imaging apparatus according to an embodiment of the present invention generates an image signal by sequentially photoelectrically converting an optical image formed by an imaging optical system using a solid-state imaging device or the like, and an image based on the obtained image signal. Is a photographing apparatus having a live view function for sequentially and sequentially displaying images using a display device, and specifically, a digital camera is taken as an example.
この撮影機器は、撮影指示信号が発生した時には、その指示信号の発生時点における画像信号を記録用画像データに変換して記録媒体に記録する。一方、再生指示信号が発生した時には、記録媒体に記録済みの画像データに基いて画像信号に変換して、その画像信号に基く画像を表示装置を用いて再生表示する再生機能を有している。 When a photographing instruction signal is generated, the photographing apparatus converts an image signal at the time of generation of the instruction signal into recording image data and records it on a recording medium. On the other hand, when a playback instruction signal is generated, it has a playback function for converting to an image signal based on the image data recorded on the recording medium and playing back and displaying an image based on the image signal using a display device. .
そして、本発明の撮影機器においては、撮影モードで動作しているときに、ライブビュー画像の画像信号に基いて被写体状況の所定の条件を判定する状況判定処理を行って、被写体状況が予め設定される最適な条件に合致すると、自動的に撮影動作を実行する動作モード(本実施形態では「スキンシップモード」という)を有して構成されている。 In the photographing apparatus of the present invention, when operating in the photographing mode, the subject situation is set in advance by performing a situation determination process for judging a predetermined condition of the subject situation based on the image signal of the live view image. When an optimum condition is met, an operation mode (in this embodiment, referred to as “skinship mode”) that automatically executes a photographing operation is configured.
この「スキンシップモード」とは、例えば人物が他の人物や乳幼児等若しくは小動物等のペット等を抱きかかえているといった場面、即ち複数の被写体同士の親密な関係性が表れるような場面を想定した自動撮影モードである。 This “skinship mode” is assumed to be a scene in which a person is holding a pet such as another person, an infant, or a small animal, that is, a scene in which an intimate relationship between a plurality of subjects appears. Automatic shooting mode.
この「スキンシップモード」では、撮影画像(ライブビュー画像)中に含まれる複数の被写体同士の関係性を判定し、その親密な関係性を表現し得る適切な撮影タイミングを自動的に決定し、かつその撮影タイミングで自動的に撮影動作を実行して、最適な撮影画像を取得するというものである。 In this “skinship mode”, the relationship between a plurality of subjects included in a captured image (live view image) is determined, and an appropriate shooting timing that can express the intimate relationship is automatically determined. In addition, the photographing operation is automatically executed at the photographing timing to obtain an optimal photographed image.
この場合において、被写体同士の関係性は、例えば、
(1)撮影画像(ライブビュー画像)を形成する画像信号に基いて少なくとも1人の人物の顔(第1の顔)と、この第1の顔とは異なる他の人物や乳幼児等若しくは小動物等のペット等の顔(第2の顔)と、を顔検出処理技術を用いて検出する、
(2)撮影画像の領域中における第1の顔及び第2の顔の相対的な位置を検出する、
(3)第1の顔を有する人物の手や腕等と第2の顔との相対的な位置関係を検出する、
等の手順により判定するようにしている。以下、本実施形態の撮影機器について詳述する。
In this case, the relationship between subjects is, for example,
(1) At least one person's face (first face) based on an image signal forming a photographed image (live view image), and another person, infant or the like, a small animal, or the like different from the first face Detecting a face (second face) of a pet or the like using face detection processing technology,
(2) detecting a relative position of the first face and the second face in the area of the captured image;
(3) detecting the relative positional relationship between the hand and arm of the person having the first face and the second face;
Judgment is made according to the procedure. Hereinafter, the photographing apparatus of the present embodiment will be described in detail.
図1は、本発明の一実施形態の撮影機器の主要構成を示すブロック構成図である。図2は、図1の撮影機器の作用を示すフローチャートである。図3は、図2の「第1状況判定」処理(図2のステップS122,S125の各処理に相当する)のサブルーチンを示すフローチャートである。図4は、図2の「第2状況判定」処理(図2のステップS127の処理に相当する)のサブルーチンを示すフローチャートである。図5〜図8は、図1の撮影機器の動作時における表示部によるライブビュー画像の表示例を示す図である。このうち、図5は、画像中に複数の人物が被写体として表示されている場合のライブビュー画像の例を示している(検出開始時点の表示例)。図6は、図5の状態から画像中の複数の被写体が互いに接近している状態を示すライブビュー画像の例である。図7は、図6の状態から画像中の複数の被写体が互いに接触しており、かつ撮影機器側に目線を向けている状態を示すライブビュー画像の例である。図8は、画像中の複数の被写体として人物がペットを抱きかかえている状態を示すライブビュー画像の例である。 FIG. 1 is a block diagram showing the main configuration of a photographing apparatus according to an embodiment of the present invention. FIG. 2 is a flowchart showing the operation of the photographing apparatus of FIG. FIG. 3 is a flowchart showing a subroutine of the “first situation determination” process (corresponding to each process of steps S122 and S125 of FIG. 2) in FIG. FIG. 4 is a flowchart showing a subroutine of the “second situation determination” process (corresponding to the process of step S127 of FIG. 2) in FIG. 5 to 8 are diagrams illustrating display examples of a live view image by the display unit when the photographing apparatus in FIG. 1 is operating. Among these, FIG. 5 shows an example of a live view image when a plurality of persons are displayed as subjects in the image (display example at the start of detection). FIG. 6 is an example of a live view image showing a state in which a plurality of subjects in the image are approaching each other from the state of FIG. FIG. 7 is an example of a live view image showing a state where a plurality of subjects in the image are in contact with each other from the state of FIG. FIG. 8 is an example of a live view image showing a state where a person is holding a pet as a plurality of subjects in the image.
図9,図10は、図3のフローチャート中における「顔の向き検出」処理の説明図である。図11は、図4のフローチャート中における「目線検出」処理の説明図である。図12は、図3のフローチャート中における「手の検出」処理の説明図である。 9 and 10 are explanatory diagrams of the “face orientation detection” process in the flowchart of FIG. 3. FIG. 11 is an explanatory diagram of the “eyeline detection” process in the flowchart of FIG. FIG. 12 is an explanatory diagram of the “hand detection” process in the flowchart of FIG. 3.
なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量,構成要素の形状,構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。 In each drawing used for the following description, each component may be shown with a different scale in order to make each component large enough to be recognized on the drawing. Therefore, according to the present invention, the number of constituent elements, the shape of the constituent elements, the ratio of the constituent element sizes, and the relative positional relationship of the constituent elements described in these drawings are limited to the illustrated embodiments. It is not a thing.
まず、本発明の一実施形態の撮影機器1の主要構成について、図1のブロック構成図を用いて以下に説明する。 First, the main configuration of the photographing apparatus 1 according to an embodiment of the present invention will be described below with reference to the block configuration diagram of FIG.
本実施形態の撮影機器1は、制御部11と、撮像部12と、顔検出部12aと、顔傾き検出部12bと、被写***置検出部12cと、操作部13と、記録部14と、警告部15と、表示部16と、時計17等を具備して構成されている。
The photographing apparatus 1 of the present embodiment includes a control unit 11, an
制御部11は、撮影機器1の全体を統括的に制御する制御回路であって、撮影機器1内の各構成ブロックから入力される各種の信号を受けて各種の制御処理を行う。制御部11は、内部に画像処理部11a,被写体状態判定部11b,モード設定部11c,警告制御部11d等の回路部を有している。
The control unit 11 is a control circuit that comprehensively controls the entire photographing apparatus 1 and performs various control processes in response to various signals input from the respective constituent blocks in the photographing apparatus 1. The control unit 11 includes circuit units such as an
このうち、画像処理部11aは、撮像部12によって生成された画像信号を受けて各種の画像信号処理を行う信号処理部である。
Among these, the
被写体状態判定部11bは、画像処理部11aによる所定の信号処理済みの画像信号に基く画像中に含まれる被写体の状態を判定する回路部である。
The subject
モード設定部11cは、操作部13のうち動作モードを設定する操作部材(図示せず)が操作されることにより出力されるモード設定指示信号を受けて、本撮影機器1の動作モードの設定を制御する回路部である。
The mode setting unit 11c receives a mode setting instruction signal output by operating an operation member (not shown) for setting the operation mode in the
警告制御部11dは、警告部15若しくは表示部16等を制御して、所定のタイミングで所定の警告処理を行うため制御回路部である。
The
撮像部12は、被写体の光学像を結像させる撮影光学系(図示せず)と、この撮影光学系によって結像された光学像を電気信号に変換する光電変換素子等の固体撮像素子と、この固体撮像素子により生成された画像信号についての信号処理を行う信号処理回路等によって構成される。撮像部12により生成された画像信号は、制御部11へと出力される。なお、固体撮像素子としては、CCD(Charge Coupled Device;電荷結合素子),CMOS(Complementary Metal Oxide Semiconductor;相補型金属酸化膜半導体)等が適用される。
The
顔検出部12aは、撮像部12によって取得された画像信号に基いて表される画像の中から、例えば人物や動物等の特定部位(例えば顔や手等)の画像領域を検出する被写体部位検出機能を実現するための信号処理を行う被写体部位検出部である。この被写体部位検出機能を実現する技術については、従来の撮影機器において広く普及しているものである。本実施形態の撮影機器1においても、従来の技術と同様のものが適用されるものとして、その詳細説明は省略する。
The
顔傾き検出部12bは、顔検出部12aによって画像中から検出された顔領域の画像信号についての信号処理を行って、検出された画像中の顔の傾き状況等を検出する回路部である。
The face tilt detection unit 12b is a circuit unit that performs signal processing on the image signal of the face area detected from the image by the
被写***置検出部12cは、撮像部12によって取得された画像信号に基く画像の中から被写体の特定の部位、例えば人物の手等を検出して、その特定部位の画像中における位置を検出する回路部である。本実施形態の撮影機器1においては、例えば検出した人物の手等の、顔検出部12aによって検出された顔に対する相対位置等を検出する。
The subject position detection unit 12c detects a specific part of the subject, such as a human hand, from the image based on the image signal acquired by the
操作部13は、撮影機器1の外面に設けられる複数の操作部材(図示せず)と、これら複数の操作部材のそれぞれに連動する複数のスイッチと、各操作部材が使用者により操作されることによって生じる指示信号を制御部11へと伝達する処理回路等からなる。操作部13には、例えば電源オンオフ操作部材(及び電源オンオフスイッチ),シャッターレリーズ操作部材(及びシャッターレリーズ操作スイッチ),動作モード設定操作部材(及び動作モード設定スイッチ)等がある。
The
記録部14は、撮像部12によって取得され制御部11において各種の信号処理が施されることにより生成される記録用画像データを受けて記録蓄積するための記録媒体(図示せず)と、該記録媒体に対する画像データの記録処理や記録済み画像データの読み出し処理等、記録媒体を駆動する駆動回路等からなる。
The
警告部15は、例えば警告音等の音声を発音させるスピーカ等の音声出力部を含む構成部である。
The
表示部16は、制御部11による信号処理の結果生成された再生表示用の画像信号を受けて対応する画像を表示する表示処理や、操作部13からの指示信号に応じて設定メニュー表示,操作用表示等を表示させる表示装置である。表示部16としては、例えば液晶表示装置(LCD)や有機ELディスプレイ等が適用される。
The
なお、撮影機器1を撮影モードに設定して使用する場合、表示部16には、撮像部12によって順次取得される画像信号に基く画像が順次連続的に表示される。このとき表示部16に順次表示される画像をライブビュー画像というものとする。
Note that when the photographing apparatus 1 is set to the photographing mode and used, images based on image signals sequentially acquired by the
使用者は、表示部16に表示されるライブビュー画像を見ながら構図やシャッターレリーズ操作を行うタイミングを決定する。つまり、表示部16は、撮影動作時には主にファインダーとして機能する。また、表示部16には設定メニューの一覧を表示させることができる。即ち、使用者が操作部13のうちの設定メニュー操作部材を操作すると、表示部16には、上記設定メニュー一覧表示が表示される。使用者は、この設定メニュー一覧表示を見ながら、上記操作部13の複数の操作部材を用いて撮影機器1の各種の設定操作や選択操作を行なって、所望する撮影条件等の設定を行うことができるようになっている。
The user determines the composition and timing for performing the shutter release operation while viewing the live view image displayed on the
さらに、撮影機器1を再生モードに設定して使用する場合、表示部16には記録媒体に記録済み画像データに基く画像等を表示させることができるようになっている。
Further, when the photographing apparatus 1 is set to the reproduction mode and used, the
時計17は、本撮影機器1における内部電気回路の制御等において必要となる計時動作等に寄与する計時回路等からなる。なお、本実施形態の説明では、時計17を単独の構成ブロックとして適用した例を示すが(図1参照)、これに代えて、時計機能を制御部11の内部に含めて構成するような形態としてもよい。
The
本実施形態の撮影機器1は、上述した構成部材以外にも、種々の構成部材を具備して構成されるものであるが、上述の構成部材以外の構成については、本発明に直接関連しない構成である。したがって、上述の構成部材以外の構成は図面の煩雑化を避けるために、その図示を省略すると共に、従来の撮影機器と同様の構成を有するものとして、それらの詳細説明を省略する。 The imaging device 1 of the present embodiment is configured to include various constituent members in addition to the constituent members described above, but the constituents other than the constituent members described above are not directly related to the present invention. It is. Therefore, in order to avoid complication of the drawings, the configuration other than the above-described components is omitted, and the detailed description thereof is omitted assuming that the configuration is the same as that of a conventional photographing apparatus.
このように構成された本実施形態の撮影機器1を用いて撮影を行う際の作用について、図2〜図4のフローチャート及び図5〜図12の説明図等を用いて以下に説明する。 The operation when photographing is performed using the photographing apparatus 1 of the present embodiment configured as described above will be described below with reference to the flowcharts of FIGS. 2 to 4 and the explanatory diagrams of FIGS.
まず、使用者(撮影者)は、撮影機器1の操作部13の電源オンオフ操作部材を操作する。これにより、撮影機器1は起動して、図2の制御処理の処理シーケンスが開始される(スタート)。
First, the user (photographer) operates the power on / off operation member of the
図2のステップS101において、制御部11は、モード設定部11cを介して撮影機器1の現在の設定状態を確認し、撮影動作を実行し得る撮影モードに設定されているか否かの確認を行う。ここで、撮影モードに設定されていることが確認された場合には、次のステップS102の処理に進む。一方、撮影モードに設定されていないことが確認された場合には、他の動作モードが設定されている物として、ステップS141の処理に進む。 In step S101 of FIG. 2, the control unit 11 confirms the current setting state of the photographing apparatus 1 via the mode setting unit 11c, and confirms whether or not the photographing mode is set so that the photographing operation can be performed. . If it is confirmed that the shooting mode is set, the process proceeds to the next step S102. On the other hand, if it is confirmed that the shooting mode is not set, the process proceeds to step S141 as another operation mode is set.
以下は、撮影モード時の処理シーケンスの概要である。 The following is an overview of the processing sequence in the shooting mode.
まず、ステップS102において、制御部11は、撮像部12,画像処理部11a,表示部16等を制御して、表示部16の表示画面上にライブビュー画像を表示させるライブビュー画像表示処理を実行する。その後、ステップS103の処理に進む。
First, in step S <b> 102, the control unit 11 controls the
このライブビュー画像表示処理において、表示部16の表示画面16aに表示されるライブビュー画像の一例を、図5に示す。図5においては、表示画面16a内に、第1の被写体100と第2の被写体101が含まれている状況を示している。
FIG. 5 shows an example of a live view image displayed on the
ステップS103において、制御部11は、操作部13からの指示信号を監視して撮影動作を行うための撮影操作が行われたか否かの確認を行う。ここで、撮影操作の実行が確認された場合には、次のステップS104の処理に進む。また、撮影操作の実行が確認されない場合には、ステップS121の処理に進む。
In step S <b> 103, the control unit 11 monitors an instruction signal from the
ステップS104において、制御部11は、現在の撮影モードに関する詳細設定において、動画撮影モードに設定されているか否かの確認を行う。ここで、動画撮影モードに設定されていることが確認された場合には、次のステップS105の処理に進む。また、動画撮影モードに設定されていない場合には、ステップS107の処理に進む。 In step S104, the control unit 11 confirms whether or not the moving image shooting mode is set in the detailed setting related to the current shooting mode. If it is confirmed that the moving image shooting mode is set, the process proceeds to the next step S105. If the moving image shooting mode is not set, the process proceeds to step S107.
ステップS105において、制御部11は、撮像部12,画像処理部11a,表示部16,記録部14等を制御して通常の動画撮影処理を実行する。その後、ステップS106の処理に進む。
In step S105, the control unit 11 controls the
ステップS106において、制御部11は、操作部13からの指示信号を監視して撮影動作を終了するための操作が行なわれたか否かの確認を行う。ここで、撮影終了操作が確認された場合には、次のステップS135の処理に進む。また、撮影終了操作が確認されない場合には、上述のステップS104の処理に戻り、以降の処理を繰り返す。
In step S106, the control unit 11 monitors the instruction signal from the
一方、上述のステップS104の処理において、動画撮影モードに設定されていないことが確認されてステップS107の処理に進むと、このステップS107において、制御部11は、撮像部12,画像処理部11a,表示部16,記録部14等を制御して通常の静止画撮影処理を実行する。その後、ステップS135の処理に進む。
On the other hand, when it is confirmed that the moving image shooting mode is not set in the process of step S104 described above and the process proceeds to the process of step S107, in step S107, the control unit 11 includes the
ステップS135において、制御部11は、操作部13からの指示信号を監視して電源オフ操作が行なわれたか否かの確認を行う。ここで、電源オフ操作が確認された場合には、次のステップS136の処理に進む。また、電源オフ操作が確認されない場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。
In step S135, the control unit 11 monitors an instruction signal from the
ステップS136において、制御部11は、操作部13からの電源オフを指示する信号を受けて、本撮影機器1の主電源をオフ状態とする電源オフ処理を実行する。これにより、本撮影機器1における制御シーケンスは終了する。
In step S <b> 136, the control unit 11 receives a signal to turn off the power from the
なお、上述のライブビュー画像表示処理(ステップS102),動画撮影処理(ステップS105),静止画撮影処理(ステップS107)の各処理シーケンスについての具体的な処理内容については、本発明に直接関連しないところであり、従来の撮影機器にて適用されるものと同様の通常の処理がなされるものとして、説明を省略する。 The specific processing contents of the processing sequences of the above-described live view image display processing (step S102), moving image shooting processing (step S105), and still image shooting processing (step S107) are not directly related to the present invention. By the way, the description will be omitted on the assumption that the same normal processing as that applied in the conventional photographing apparatus is performed.
上述のステップS101の処理において、撮影モードに設定されていないことが確認されると、ステップS141の処理に分岐する。このステップS141以降の処理は、再生モード時の処理シーケンスの概要である。 If it is confirmed in the process of step S101 described above that the shooting mode is not set, the process branches to the process of step S141. The processing after step S141 is an outline of the processing sequence in the playback mode.
即ち、ステップS141において、制御部11は、モード設定部11cを介して撮影機器1の現在の設定状態を再度確認し、再生動作を実行し得る再生モードに設定されているか否かの確認を行う。ここで、再生モードに設定されていることが確認された場合には、次のステップS142の処理に進む。一方、再生モードに設定されていないことが確認された場合には、上述のステップS101の処理に進み、以降の処理を繰り返す。 That is, in step S141, the control unit 11 confirms again the current setting state of the photographing apparatus 1 via the mode setting unit 11c, and confirms whether or not the reproduction mode is set so that the reproduction operation can be performed. . If it is confirmed that the playback mode is set, the process proceeds to the next step S142. On the other hand, if it is confirmed that the playback mode is not set, the process proceeds to step S101 described above, and the subsequent processes are repeated.
なお、この場合においては、撮影機器1の動作モードとして大きく分けて「撮影モード」と「再生モード」との二つの動作モードがあるものとして説明している。撮影機器1としては、これら2つの動作モード以外の他の動作モードを有して構成される場合も、当然考えられる。その場合には、上述のステップS141の処理の分岐にて、さらに別の動作モードを確認するための処理シーケンスを同様に設けるようにすればよい。 In this case, the operation modes of the photographing apparatus 1 are roughly described as having two operation modes of “shooting mode” and “reproduction mode”. As a matter of course, the photographing apparatus 1 may be configured to have other operation modes other than these two operation modes. In that case, a processing sequence for confirming another operation mode may be similarly provided at the branch of the processing in step S141 described above.
ステップS142において、制御部11は、記録部14,画像処理部11a,表示部16等を制御して、記録媒体に記録済みの画像データについてのファイル一覧表示処理を実行する。その後、ステップS143の処理に進む。
In step S142, the control unit 11 controls the
ステップS143において、制御部11は、操作部13からの指示信号を監視して再生表示すべき画像に関するデータファイル選択操作が行われたか否かの確認を行う。ここで、ファイル選択操作が行われたことが確認された場合には、次のステップS144の処理に進む。また、ファイル選択操作が所定の時間以上の間、行われていないことが確認された場合には、ステップS145の処理に進む。なお、この場合における所定の時間は、時計17の出力信号を確認することによりなされる。その後、ステップS144の処理に進む。
In step S143, the control unit 11 monitors an instruction signal from the
ステップS144において、制御部11は、表示部16等を制御して、上述のステップS143の処理にて選択されたデータファイルに基く画像の再生表示を行う選択ファイル再生表示処理を実行する。その後、ステップS145の処理に進む。
In step S144, the control unit 11 controls the
ステップS145において、制御部11は、操作部13からの指示信号を監視して再生動作の終了操作が行われたか否かの確認を行う。ここで、再生終了操作が確認された場合には、ステップS135の処理に進む。また、再生終了操作が確認されない場合には、上述のステップS142の処理に進み、以降の処理を繰り返す。
In step S145, the control unit 11 monitors the instruction signal from the
なお、上述のファイル一覧表示処理(ステップS142),ファイル選択操作処理(ステップS143),選択ファイル再生処理(ステップS144)の各処理シーケンスについての具体的な処理内容については、本発明に直接関連しないところであり、従来の撮影機器にて適用されるものと同様の処理がなされるものとして、説明を省略する。 It should be noted that the specific processing content of each processing sequence of the above-described file list display processing (step S142), file selection operation processing (step S143), and selected file playback processing (step S144) is not directly related to the present invention. By the way, the description is omitted on the assumption that the same processing as that applied in the conventional photographing apparatus is performed.
一方、上述のステップS103の処理において、撮影操作の実行が確認されずにステップS121の処理に分岐すると、このステップS121において、制御部11は、モード設定部11cを介して撮影機器1の現在の設定状態を確認し、撮影モードのうちのスキンシップモードに設定されているか否かの確認を行う。ここで、スキンシップモードに設定されていることが確認された場合には、次のステップS122の処理に進む。一方、スキンシップモードに設定されていないことが確認された場合には、上述のステップS101の処理に進み、以降の処理を繰り返す。 On the other hand, when the execution of the shooting operation is not confirmed in the process of step S103 described above and the process branches to the process of step S121, in step S121, the control unit 11 passes the current setting of the shooting device 1 via the mode setting unit 11c. Check the setting state, and check whether the skinship mode is set in the shooting mode. If it is confirmed that the skinship mode is set, the process proceeds to the next step S122. On the other hand, if it is confirmed that the skinship mode is not set, the process proceeds to step S101 described above, and the subsequent processes are repeated.
ステップS122において、制御部11は、顔検出部12a,顔傾き検出部12b,被写***置検出部12c,被写体状態判定部11b等を制御して「第1状況判定処理」を実行する。この第1状況判定処理の詳細は図3に示す通りである。以下、第1状況判定処理の処理シーケンスを図3によって以下に詳述する。
In step S122, the control unit 11 controls the
ここで、「第1状況判定処理」は、表示中のライブビュー画像における被写体の状況を検出し、その被写体の状況が「スキンシップモード」において自動撮影を行うべき所定の条件に合致しているか否かを判定する処理である。また、被写体の状況のうち「第1状況」とは、ライブビュー画像に含まれる複数の被写体同士の関係性が親密なものであると推定できる状況をいうものとする。 Here, the “first situation determination processing” detects the situation of the subject in the live view image being displayed, and whether the situation of the subject meets a predetermined condition for performing automatic shooting in the “skinship mode”. This is a process for determining whether or not. In addition, the “first situation” of the situation of the subject refers to a situation in which it can be estimated that the relationship between a plurality of subjects included in the live view image is intimate.
具体的には、例えばライブビュー画像が図6,図8に示すような状況を考えてみる。 Specifically, for example, consider a situation where the live view image is as shown in FIGS.
図6は、表示画面16a内で、第1の被写体100(人物)が第2の被写体101(他の人物若しくは乳幼児等)を抱きかかえた状況を示している。
FIG. 6 shows a situation where the first subject 100 (person) is holding the second subject 101 (another person or an infant) in the
図8は、表示画面16a内で、第1の被写体100(人物)が第2の被写体101A(ペット等)を抱きかかえた状況を示している。
FIG. 8 shows a situation where the first subject 100 (person) is holding the
ここで、図5に示す状況に対し図6に示す状況では、第1の被写体100と第2の被写体101との関係性は、図6の状況の方が親密な関係性を有していると考えられる。
Here, in the situation shown in FIG. 6 with respect to the situation shown in FIG. 5, the relationship between the
同様に、図5に示す状況に対し図8に示す状況では、第1の被写体100と第2の被写体101との関係性は、図8の状況の方が親密な関係性を有していると考えられる。
Similarly, in the situation shown in FIG. 8 with respect to the situation shown in FIG. 5, the relationship between the
そこで、図6,図8に示す状況を考察すると、表示画面16a内の画像から被写体の関係性を類推することができる。例えば、
表示画面の上部に所定以上の大きさの顔(第1の顔)がある(後述の図3のステップS201参照)、
検出された第1の顔の下側に、その顔の人物の両手が存在する(後述の図3のステップS202参照)、
検出された第1の顔の下側に、その顔の人物の片手と第2の顔が存在する(後述の図3のステップS204参照)、
第1の顔の向きが画面の中央側を向いている(後述の図3のステップS205参照)、
第1の顔の向いた方向に略同じ大きさの第2の顔がある(後述の図3のステップS206参照)、
第2の顔の向きが画面の中央側を向いている(後述の図3のステップS207参照)、
第1の顔と第2の顔との間の距離が所定の距離(顔一個分)以下程度に近接している(後述の図3のステップS208参照)、
第1の被写体の画面の外側の肩が上がっている(後述の図3のステップS209参照)
等の特徴的形態を見出すことができる。
Therefore, considering the situation shown in FIGS. 6 and 8, the relationship between the subjects can be inferred from the image in the
There is a face (first face) larger than a predetermined size at the top of the display screen (see step S201 in FIG. 3 described later),
There are both hands of the person of the face below the detected first face (see step S202 in FIG. 3 described later),
Under the detected first face, there are one hand and a second face of the person of the face (see step S204 in FIG. 3 described later),
The orientation of the first face is toward the center of the screen (see step S205 in FIG. 3 described later),
There is a second face of approximately the same size in the direction of the first face (see step S206 in FIG. 3 described later),
The orientation of the second face is toward the center of the screen (see step S207 in FIG. 3 described later),
The distance between the first face and the second face is close to a predetermined distance (one face) or less (see step S208 in FIG. 3 described later).
The outer shoulder of the screen of the first subject is raised (see step S209 in FIG. 3 described later).
Etc. can be found.
したがって、図3の「第1状況判定処理」では、ライブビュー画像の画像信号についての画像信号処理を行なって被写体の状況を検出し、検出した被写体状況が上記各条件に合致するか否かを判定することで、ライブビュー画像における複数の被写体同士の関係性を判定する。 Therefore, in the “first situation determination process” in FIG. 3, an image signal process is performed on the image signal of the live view image to detect the situation of the subject, and whether or not the detected subject situation matches each of the above conditions. By determining, the relationship between a plurality of subjects in the live view image is determined.
なお、後述の「第2状況判定処理」(図2のステップS127の処理;図4のサブルーチン参照)における「第2状況」は、ライブビュー画像の被写体同士が「第1状況」にある状況において、かつその画像中の複数の被写体が正面を向いていわゆる「カメラ目線」となった状況、即ち「第1の状況」にある親密な関係性を有する複数の被写体が同時に撮影機器1の側に視線を向けた状況をいう。つまり、「第2状況」となったときが、「スキンシップモード」時における撮影タイミングとなる。 The “second situation” in the “second situation determination process” described later (the process in step S127 in FIG. 2; see the subroutine in FIG. 4) is a situation in which the subjects of the live view image are in the “first situation”. In addition, a plurality of subjects in the image face the front and become a so-called “camera line of sight”, that is, a plurality of subjects having an intimate relationship in the “first situation” are simultaneously on the side of the photographing apparatus 1. This refers to the situation where the line of sight is directed. That is, the shooting timing in the “skinship mode” is when the “second situation” is reached.
具体的には、例えばライブビュー画像が図7,図8に示すような状況となった場合を、「第2状況判定処理」において条件が合致したものとする。 Specifically, for example, when the live view image is in a situation as shown in FIGS. 7 and 8, it is assumed that the condition is met in the “second situation determination process”.
即ち、図7は、表示画面16a内で、第1の被写体100(人物)が第2の被写体101(他の人物若しくは乳幼児等)を抱きかかえた状況において、第1,第2の被写体の両者の目線が撮影機器1のある側、即ち正面側を向いている状況を示している。この状況は、図6の状況から遷移し得る状況と言える。
That is, FIG. 7 shows that both the first and second subjects in the situation where the first subject 100 (person) is holding the second subject 101 (another person or infant) on the
また、図8は、表示画面16a内で、第1の被写体100(人物)が第2の被写体101A(ペット等)を抱きかかえた状況において、図7の状況と同様に、第1,第2の被写体の両者の目線が撮影機器1のある側(正面側)を向いている状況を示している。
Further, FIG. 8 shows that the first and second subjects 100 (person) are holding the
まず、図3のステップS201において、制御部11は、顔検出部12a,被写***置検出部12c等を制御して顔検出処理等の所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、画面上部に所定以上の大きさの顔が検出されたか否かの確認を行う。ここで、当該顔が検出された場合には、次のステップS202の処理に進む。また、当該顔が検出されない場合には、ステップS211の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
First, in step S201 in FIG. 3, the control unit 11 controls the
ステップS202において、制御部11は、顔検出部12a,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、上述のステップS201の処理にて検出された顔の下側に、その顔の人物の両手が存在するか否かの確認を行う。ここで、当該両手が存在することが確認された場合には、次のステップS203の処理に進む。また、当該両手が存在しない場合には、ステップS204の処理に進む。
In step S202, the control unit 11 performs predetermined image processing by controlling the
ここで、「手の検出」は、次のようにして行われる。図6,図7,図8等に示すように、第1の被写体100が第2の被写体101,101Aを抱きかかえているような状況においては、第1の被写体100の両手の形状は、例えば図12(a),図12(b)で示すような形状で示すことができる。なお、この場合において、図12(a)で示す形状は、手の長手方向が画面に対して水平方向に向いている状況を示している。また、図12(b)で示す形状は、手の長手方向が画面に対して垂直方向に向いている状況を示している。
Here, “hand detection” is performed as follows. As shown in FIGS. 6, 7, 8, etc., in a situation where the
画像上における手の部分の大きさは、被写体の顔の大きさ(画面上における長さF)に対して、半分(F/2)から略同等程度の大きさになる。また、手の部分の色情報については、顔検出処理で検出される顔の部分の色情報に近似するものと考えられる。したがって、制御部11は、顔検出部12a,被写***置検出部12c,被写体状態判定部11b等を制御して、ライブビュー画像内から、これらの条件に合致する部分を検出する。
The size of the hand portion on the image is about half (F / 2) to substantially the same size as the face size (length F on the screen) of the subject. Further, the color information of the hand part is considered to approximate the color information of the face part detected by the face detection process. Therefore, the control unit 11 controls the
ステップS203において、制御部11は、顔検出部12a,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、上述のステップS202の処理にて検出された両手のうち画面上において上側に位置する手の近くに上述のステップS201の処理にて検出された顔(第1の顔)とは異なる他の顔(第2の顔)があるか否かの確認を行う。ここで、上の手の近くに第2の顔があることが確認された場合には、ステップS210の処理に進み、被写体状況が合致している旨の「合致判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。また、上の手の近くに第2の顔がない場合には、ステップS211の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
In step S203, the control unit 11 performs predetermined image processing by controlling the
一方、上述のステップS202の処理において、顔の下側に、その顔の人物の両手が存在しない場合にステップS204の処理に進むと、このステップS204において、制御部11は、顔検出部12a,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、上述のステップS201の処理にて検出された顔の画面上における下側に、その顔の人物の片手及び第2の顔があるか否かの確認を行う。ここで、上述のステップS201の処理にて最初に検出した顔を第1の顔というものとする。また、第2の顔の検出条件としては、第1の顔と略同じ大きさの顔を第2の顔として検出するようにしている。
On the other hand, in the process of step S202 described above, when the hands of the person of the face do not exist below the face, the process proceeds to step S204. In step S204, the control unit 11 causes the
このステップS204の処理にて、第1の顔の下側に片手及び第2の顔が確認された場合には、ステップS205の処理に進む。また、第1の顔の下側に片手及び第2の顔が確認されない場合には、ステップS211の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。 In the process of step S204, when one hand and the second face are confirmed below the first face, the process proceeds to step S205. Further, when one hand and the second face are not confirmed below the first face, the process proceeds to step S211, and “no match determination” is performed to the effect that the subject does not match the situation. After that, the process sequence returns to FIG. 2 (return).
ステップS205において、制御部11は、顔検出部12a,顔傾き検出部12b,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、第1の顔の向きが画面の中央側を向いているか否かの確認を行う。ここで、第1の顔の向きが画面の中央側を向いていることが確認された場合には、次のステップS206の処理に進む。また、第1の顔の向きが画面の中央側を向いていない場合には、ステップS211の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
In step S205, the control unit 11 performs predetermined image processing by controlling the
ステップS206において、制御部11は、顔検出部12a,顔傾き検出部12b,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、第1の顔の向いた方向に第2の顔が存在するか否かの確認を行う。ここで、第1の顔の向いた方向に第2の顔が存在することが確認された場合には、次のステップS207の処理に進む。また、第1の顔の向いた方向に第2の顔が存在しない場合には、ステップS211の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
In step S206, the control unit 11 performs predetermined image processing by controlling the
ステップS207において、制御部11は、顔検出部12a,顔傾き検出部12b,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、第2の顔の向きが画面の中央側(第1の顔のある方向)に向いているか否かの確認を行う。ここで、第2の顔の向きが画面の中央側に向いていることが確認された場合には、次のステップS208の処理に進む。また、第2の顔の向きが画面の中央側に向いていない場合には、ステップS211の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
In step S207, the control unit 11 performs predetermined image processing by controlling the
ステップS208において、制御部11は、顔検出部12a,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、第1の顔と第2の顔との間の距離が顔一つ分の幅寸法以下の距離であるか否かの確認を行う。
In step S208, the control unit 11 controls the
このステップS208の処理ステップでは、第1の顔と第2の顔との近接具合を検出することにより、両者の関係性を判定する。即ち、第1の顔と第2の顔との間の距離が顔一つ分の幅寸法以下に近接している場合には、両者は親密な関係性を有するものと判定するようにしている。 In the processing step of step S208, the relationship between the first face and the second face is determined by detecting the proximity of the first face and the second face. That is, when the distance between the first face and the second face is close to the width of one face or less, both are determined to have an intimate relationship. .
即ち、このステップS208の処理にて、第1の顔と第2の顔との間の距離が顔一つ分の幅寸法以下の距離であることが確認された場合には、両者は親密な関係性を有するものと判定されて、ステップS210の処理に進み、被写体状況が合致している旨の「合致判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。 That is, when it is confirmed in the process of step S208 that the distance between the first face and the second face is equal to or less than the width dimension of one face, both are intimate. If it is determined that there is a relationship, the process proceeds to step S210, and “match determination” is performed to the effect that the subject situation is matched. After that, the process sequence returns to FIG. 2 (return).
一方、上記ステップS208の処理にて、第1の顔と第2の顔との間の距離が顔一つ分の幅寸法よりも大である場合には、両者の関係性は親密ではないものと判定されて、ステップS209の処理に進む。 On the other hand, if the distance between the first face and the second face is larger than the width of one face in the process of step S208, the relationship between the two is not intimate. And the process proceeds to step S209.
ステップS209において、制御部11は、顔検出部12a,被写***置検出部12c等を制御して所定の画像処理を行い、撮像部12によって取得された画像信号に基く画像において、第1の顔の人物の肩のうち画面外側寄りに位置する肩が他方の肩の位置よりも画面の水平方向を基準として上にある状態か否かの確認を行う。ここで、第1の顔の人物の一方の肩(画面外側寄りの肩)が他方の肩より画面水平方向を基準として上にある状態が確認された場合には、ステップS210の処理に進み、被写体状況が合致している旨の「合致判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
In step S209, the control unit 11 performs predetermined image processing by controlling the
また、第1の顔の人物の一方の肩(画面外側寄りの肩)が他方の肩より画面水平方向を基準として上にない状態(下にあるか若しくは両肩が略同位置)である場合には、ステップS211の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。 Also, when one shoulder (shoulder closer to the outside of the screen) of the person with the first face is not above the other shoulder with respect to the horizontal direction of the screen (below or both shoulders are substantially at the same position) In step S211, the process proceeds to step S211, and “no match determination” is performed to the effect that the subject does not match the situation. After that, the process sequence returns to FIG. 2 (return).
なお、上述のステップS205,S206,207等の各処理において、顔の向きを検出する方法としては、例えば次に示すような手段が用いられる。 In each process such as steps S205, S206, and 207 described above, for example, the following means is used as a method for detecting the orientation of the face.
図9は、本撮影機器1における表示部16の表示画面16aに、所定のライブビュー画像が表示されている様子を示している。この図9の表示画面16aは、例えば第1の顔100aを有する人物である第1被写体100と、第2の顔101aを有する人物である第2被写体101と、が含まれるライブビュー画像の一例を示している。
FIG. 9 shows a state in which a predetermined live view image is displayed on the
図9の表示画面16aにおいて、第1被写体100及び第2被写体101は、いずれも画面の中央側に向いているものとする。図9では、表示画面16aの略中央部分で該画面を左右に二分する中央線を仮想線Cとして二点鎖線で示している。
In the
表示画面16aに表示されるライブビュー画像が、このような状況にある場合において、例えば、第2被写体101の顔101aの向きを検出するものとする。
When the live view image displayed on the
ここで、図9においては、第2被写体101の第2の顔101aを拡大して示している。顔検出部12aは、第2の顔101aの陰影情報から、
画面上における第2の顔101aの略中心Aを上下方向に通るラインA1(図9において点線で示すライン)、
第2の顔101aの両眼及び鼻の各位置から推定される顔自体の中心(正面から見た場合の中心)を上下方向に通るラインB(図9,図10の実線で示すライン;鼻筋を通るライン)、
第2の顔101aの幅方向(画面左右方向)の長さF(寸法の絶対値ではなく画面上における相対的な大きさがわかればよい)、
等を検出し、これらの検出情報に基いて、
ラインA1とラインBとのズレ量ΔX(図9参照)が求められる。
Here, in FIG. 9, the
A line A1 (line indicated by a dotted line in FIG. 9) passing through the approximate center A of the
Line B passing through the center of the face itself (center when viewed from the front) estimated from the positions of both eyes and nose of the
Length F in the width direction (left-right direction of the screen) of the
Etc., and based on these detection information,
A deviation amount ΔX (see FIG. 9) between the line A1 and the line B is obtained.
この場合において、図9に示す状態の第2被写体101を、仮に頭上側から俯瞰して見たとすると、図10に示すようになる。つまり、図10は、図9における矢印Dで示す方向から見たときの第2被写体101の様子を示している。換言すれば、図9に示される第2被写体101は、図10における矢印Eで示す方向(正面側)から見たときの状態である。この状態において、第2の顔101aは、図10に示す符号θの角度分だけ正面を基準として画面中央側に向けられていることになる。したがって、このときの顔の角度θは、
In this case, if the
Θ=arcsin(2・Δx/F)
によって求めることができる。これらの演算は、例えば被写体状態判定部11b等において行われる。
Θ = arcsin (2 · Δx / F)
Can be obtained. These calculations are performed, for example, in the subject
このように顔の角度θを求めることにより、検出された顔が、画面16aの中央側に向いているか否かを判別することができる。
Thus, by determining the face angle θ, it is possible to determine whether or not the detected face is directed toward the center of the
上述したように、図3の処理シーケンスにおいて、ステップS210(「合致判定」)若しくはステップS211(「合致なし判定」)の各判定処理の後、図2の処理シーケンスに復帰(リターン)すると、図2のステップS123の処理に進む。
As described above, after each determination process in step S210 ("match determination") or step S211 ("no match determination") in the processing sequence of FIG. 3, the processing sequence of FIG. The process proceeds to step S123 of
図2のステップS123において、制御部11は、上述の図3の「第1状況判定処理」の結果、ライブビュー画像における複数の被写体が「第1状況」に合致しているか否かの確認を行う。ここで、「合致判定」が確認された場合には、ステップS124の処理に進む。また、「合致なし判定」である場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。 In step S123 of FIG. 2, the control unit 11 confirms whether or not a plurality of subjects in the live view image match the “first situation” as a result of the “first situation determination process” of FIG. Do. Here, if “match” is confirmed, the process proceeds to step S124. If it is “no match determination”, the process returns to the above-described step S101 and the subsequent processes are repeated.
ステップS124において、制御部11は、警告制御部11dを介して警告部15を制御して、所定の警告動作、例えばブザー音等を発生させる動作を行う。この警告動作は、被写体の注意を撮影機器1の側に向けさせて、第1の顔100a及び第2の顔101aの目線が撮影機器1を向くようにするために行う動作である。したがって、例えばブザー音等に限らず、予め撮影機器1の内部メモリ(図示せず)に登録記録しておいた人物による掛け声,動物の亡き声等を発音させるようにしてもよい。
In step S124, the control unit 11 controls the
これと同時に、制御部11は、撮像部12,画像処理部11a,表示部16等を制御して撮影動作を開始させる。その後、ステップS125の処理に進む。ここで行われる撮影動作(撮影処理)は、例えば検出した顔を追尾しつつ、その顔の領域についてのAF動作及びAE動作等を継続的に行って常に撮影準備状態を維持しながら、レリーズ信号を受けるとレリーズ動作を実行する動作処理である。
At the same time, the control unit 11 starts the shooting operation by controlling the
ステップS125において、制御部11は、再度「第1状況判定処理」(図3参照)を実行する。その後、ステップS126の処理に進む。 In step S125, the control unit 11 executes the “first situation determination process” (see FIG. 3) again. Thereafter, the process proceeds to step S126.
ステップS126において、制御部11は、「第1状況判定処理」の結果の確認を行う。ここで、「合致判定」が確認された場合には、ステップS127の処理に進む。また、「合致なし判定」である場合には、上述のステップS134の処理に進む。 In step S126, the control unit 11 confirms the result of the “first situation determination process”. Here, if the “match determination” is confirmed, the process proceeds to step S127. If it is “no match determination”, the process proceeds to step S134 described above.
ステップS134において、制御部11は、警告制御部11dを介した警告部15の制御、及び表示部16の制御を行なって、所定の警告動作を実行する。この警告動作は、「スキンシップモード」による撮影は、被写体状況が所定の条件に合致しなかったために実行できなかった旨を警告する動作処理である。具体的には、例えばブザー音等を発生させたり、表示部16に、その旨の警告表示を行う処理が実行される。この警告動作の後、上述のステップS124の処理にて開始した撮影動作を終了する。その後、ステップS135の処理に進む。
In step S134, the control unit 11 controls the
一方、上述のステップS126の処理にて、「第1状況判定処理」の結果が「合致判定」である場合に、ステップS127の処理に進むと、このステップS127において、制御部11は、顔検出部12a,顔傾き検出部12b,被写***置検出部12c,被写体状態判定部11b等を制御して「第2状況判定処理」を実行する。この第2状況判定処理の詳細は図4に示す通りである。以下、第2状況判定処理の処理シーケンスを図4によって以下に詳述する。
On the other hand, if the result of the “first situation determination process” is “match determination” in the process of step S126 described above, the process proceeds to step S127. In step S127, the control unit 11 performs face detection. The “second situation determination process” is executed by controlling the
まず、図4のステップS221において、制御部11は、被写体状態判定部11b等を制御して所定の画像処理を行い、第1の顔100aがカメラ目線であるか否かの確認を行う。ここで、第1の顔100aがカメラ目線であることが確認された場合には、次のステップS222の処理に進む。また、第1の顔100aがカメラ目線ではない場合には、ステップS224の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
First, in step S221 in FIG. 4, the control unit 11 controls the subject
ステップS222において、制御部11は、被写体状態判定部11b等を制御して所定の画像処理を行い、第2の顔101aがカメラ目線であるか否かの確認を行う。ここで、第2の顔101aがカメラ目線であることが確認された場合には、次のステップS223の処理に進み、このステップS223において、制御部11は、被写体状況が合致している旨の「合致判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
In step S222, the control unit 11 controls the subject
また、第2の顔101aがカメラ目線ではない場合には、ステップS224の処理に進み、被写体は状況に合致していない旨の「合致なし判定」を行う。その後、図2の処理シーケンスに復帰する(リターン)。
If the
なお、上述のステップS221,S222等の各処理において、カメラ目線を検出する方法としては、例えば次に示すような手段が用いられる。 In each process such as steps S221 and S222 described above, for example, the following means is used as a method for detecting the camera line of sight.
ここで、第1の顔100a,第2の顔101aのそれぞれがカメラ目線の検出処理を説明するのに、表示部16の表示画面16aに表示されるライブビュー画像として、図9に示す状況を用いて、例えば第2の被写体101の目線検出を行う場合の例を以下に示す。
Here, as the live view image displayed on the
図11は、図9に示す第2の被写体101を頭上側から俯瞰して見た場合の様子を拡大して示している。
FIG. 11 shows an enlarged view of the
この状況において、被写***置検出部12c,被写体状態判定部11b等は、第2の顔101aの陰影情報(顔検出部12aにより取得される)から、黒眼の位置を検出し、検出された黒眼の位置を図11の上下方向に通るラインE1と、顔の略中心Aを図11の上下方向に通るラインA2(図11参照)とのズレ量ΔEが求められる。
In this situation, the subject position detection unit 12c, the subject
この状態において、第2の顔101aは、図11に示す符号φの角度分だけ正面を基準として画面外側に向けられていることになる。したがって、このときの目線の角度φは、
φ=arcsin(2・ΔE/F)
によって求めることができる。これにより、ズレ量ΔEが求められる。
In this state, the
φ = arcsin (2 · ΔE / F)
Can be obtained. Thereby, the shift amount ΔE is obtained.
このように目線の移動角度φを求めることにより、検出された顔の目線が、表示画面16a中において、第1の顔100a,第2の顔101aがカメラ目線となっているか否かを判別することができる。
By determining the eye movement angle φ in this way, it is determined whether or not the detected eye of the face is the camera eye of the first face 100a and the
上述したように、図4の処理シーケンスにおいて、ステップS223(「合致判定」)若しくはステップS224(「合致なし判定」)の各判定処理の後、図2の処理シーケンスに復帰(リターン)すると、図2のステップS131の処理に進む。
As described above, after each determination process in step S223 ("match determination") or step S224 ("no match determination") in the process sequence of FIG. 4, the process sequence of FIG. The process proceeds to step S131 of
図2のステップS131において、制御部11は、上述の図4の「第2状況判定処理」の結果、ライブビュー画像における複数の被写体が「第2状況」に合致しているか否かの確認を行う。ここで、「合致判定」が確認された場合には、制御部11は、撮影タイミングであると判断し、この時点でシャッターレリーズ処理を実行する。その後、ステップS133の処理に進む。これにより、図7,図8に示すような被写体同士の親密な関係性を有している状況において、両被写体が「カメラ目線」となっている画像が取得される。 In step S131 of FIG. 2, the control unit 11 confirms whether or not a plurality of subjects in the live view image match the “second situation” as a result of the “second situation determination process” of FIG. Do. Here, when the “match determination” is confirmed, the control unit 11 determines that it is the photographing timing, and executes the shutter release process at this point. Thereafter, the process proceeds to step S133. As a result, in a situation where the subjects have an intimate relationship as shown in FIGS. 7 and 8, an image in which both subjects are “looking at the camera” is acquired.
一方、上述のステップS131の処理において、「合致なし判定」であることが確認された場合には、ステップS132の処理に進む。 On the other hand, if it is confirmed in the process of step S131 described above that “no match” is determined, the process proceeds to step S132.
ステップS132において、制御部11は、時計17の出力に基いて所定時間が経過したか否かの確認を行う。ここで、所定時間が経過したことが確認されたら、ステップS133の処理に進む。
In step S <b> 132, the control unit 11 confirms whether or not a predetermined time has elapsed based on the output of the
また、所定時間が経過していない場合には、上述のステップS125の処理に戻り、以降の処理を繰り返す。即ち、上述のステップS131の処理から当該ステップS132の処理に分岐した場合には、所定時間が経過するまでステップS125〜S131の処理を繰り返す。これにより、ライブビュー画像における被写体状況が合致することを待機する。 If the predetermined time has not elapsed, the process returns to the above-described step S125, and the subsequent processes are repeated. That is, when the process branches from step S131 to step S132, steps S125 to S131 are repeated until a predetermined time elapses. This waits for the subject situation in the live view image to match.
そして、最後に、ステップS133において、制御部11は、「スキンシップモード」による一連の撮影動作についての処理を終了する。その後、ステップS135の処理に進む。 Finally, in step S133, the control unit 11 ends the processing for a series of photographing operations in the “skinship mode”. Thereafter, the process proceeds to step S135.
以上説明したように上記一実施形態によれば、ライブビュー画像中における被写体同士の関係性が親密であることを表わす場面として、第1の被写体100が第2の被写体101(101A)を抱きかかえたような状況を想定している。
As described above, according to the embodiment, the
そして、ライブビュー画像の画像信号から被写体の状況を検出し、検出した被写体状況が、当該想定状況に合致し、かつ第1,第2の被写体100,101(101A)が「カメラ目線」となるタイミングで、自動的にシャッターレリーズ動作が実行される。
Then, the state of the subject is detected from the image signal of the live view image, the detected subject state matches the assumed state, and the first and
したがって、撮影者自身が撮影機器1を常に操作し続けたり、煩雑な操作が不要とされるので、撮影者自身も被写体として撮影画像に入ることができる。この場合において、撮影者(第1の被写体)は、撮影機器1の前で第2の被写体との親密な関係性を表現しつつ、所定の状況に合致する状況を創り出すだけで、撮影機器1は、ライブビュー画像に基いて適切な撮影タイミングを自動的に決定し、そのタイミングで撮影動作は自動的に実行される。したがって、撮影者自身を含む複数の被写体同士の親密な関係性を表現し得る画像を容易に取得することができる。 Accordingly, since the photographer himself keeps operating the photographing device 1 constantly and no complicated operation is required, the photographer himself can enter the photographed image as a subject. In this case, the photographer (first subject) simply creates a situation that matches a predetermined situation while expressing an intimate relationship with the second subject in front of the photographing device 1. Automatically determines an appropriate shooting timing based on the live view image, and the shooting operation is automatically executed at that timing. Therefore, it is possible to easily acquire an image that can express an intimate relationship between a plurality of subjects including the photographer himself.
これに加えて、本実施形態の撮影機器1においては、複数の被写体のうちのいずれかが良好な状況(例えば笑顔等)となったタイミングで撮影を行うのではなく、画像として完成度の高い瞬間、即ち複数の被写体同士の親密な関係性を表現し得る状況(第1の被写体が第2の被写体を抱きかかえているような状況)において、かつ両者が「カメラ目線」となる一瞬を撮り逃すことなく、確実に撮影を行なうことができる。 In addition to this, in the imaging device 1 of the present embodiment, the image is highly completed as an image rather than being shot at a timing when any one of a plurality of subjects is in a good situation (for example, a smile). Take a moment when you can express an intimate relationship between multiple subjects (situation where the first subject is holding the second subject) and when they are both looking at the camera You can shoot reliably without missing.
この場合において、「カメラ目線」を得るための手段として、警告部15を用いて発音させて、被写体の注意を撮影機器1の側に向けさせるようにしたので、第2の被写体が乳幼児若しくはペット等の場合には、より効果的である。
In this case, as the means for obtaining the “camera line of sight”, the
したがって、動きの激しい第2の被写体、例えば乳幼児等やペット等と共に撮影するような場合にも、従来のように何度も撮り直しを行うといったことを不要とし、確実に所望の画像を取得することが容易にできる。 Therefore, even when taking a picture with a second subject that moves rapidly, such as an infant or a pet, it is not necessary to perform re-shooting as many times as in the past, and a desired image is reliably acquired. Can be easily done.
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 Note that the present invention is not limited to the above-described embodiment, and various modifications and applications can of course be implemented without departing from the spirit of the invention. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if several constituent requirements are deleted from all the constituent requirements shown in the above-described embodiment, if the problem to be solved by the invention can be solved and the effect of the invention can be obtained, this constituent requirement is deleted. The configured structure can be extracted as an invention.
本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器に限られることはなく、撮影機能を備えた他の形態の電子機器、例えば携帯電話,録音機器,電子手帳,パーソナルコンピュータ,ゲーム機器,テレビ,時計,GPS(Global Positioning System)を利用したナビゲーション機器等、各種の撮影機能付き電子機器にも適用することができる。 The present invention is not limited to a photographing device that is an electronic device specialized in a photographing function such as a digital camera, and other forms of electronic devices having a photographing function, such as a mobile phone, a recording device, an electronic notebook, and a personal computer. The present invention can also be applied to various electronic devices with photographing functions, such as computers, game devices, televisions, watches, navigation devices using GPS (Global Positioning System).
1……撮影機器
11……制御部
11a……画像処理部
11b……被写体状態判定部
11c……モード設定部
11d……警告制御部
12……撮像部
12a……顔検出部
12b……検出部
12c……被写***置検出部
13……操作部
14……記録部
15……警告部
16……表示部
16a……表示画面
17……時計
100,101A……第1被写体
100a……第1の顔
101……第2被写体
101a……第2の顔
DESCRIPTION OF SYMBOLS 1 ... Shooting device 11 ...
Claims (3)
上記撮像部により取得された画像信号に基づく画像に含まれる被写体のうち人物を含む複数の被写体の特定部位を被写体検出部で検出するステップと、
上記被写体部位検出部により検出された上記複数の被写体の各特定部位の上記画像内における相対的な位置関係を被写***置検出部で検出するステップと、
上記被写体部位検出部及び上記被写***置検出部による検出結果に基いて上記複数の被写体の関係性を被写体状態判定部で判定するステップと、
上記被写体状態判定部により、
上記被写体部位検出部により検出された上記複数の被写体の各特定部位のうち複数の顔の位置関係と、
上記複数の顔のうちの一方の第1の顔と上記第1の顔を有する被写体の少なくとも一方の手との位置関係と、
上記第1の顔の一方の手と上記複数の顔のうちの他方の第2の顔との位置関係と、
を検出し被写体の状態の判定を行なうステップと、
を備えることを特徴とする被写体状況判定方法。 Acquiring an image signal of a subject image by an imaging unit;
Detecting a specific part of a plurality of subjects including a person among subjects included in an image based on an image signal acquired by the imaging unit with a subject detection unit;
Detecting a relative positional relationship in the image of each specific part of the plurality of subjects detected by the subject part detection unit by the subject position detection unit;
Determining a relationship between the plurality of subjects based on detection results by the subject part detection unit and the subject position detection unit by a subject state determination unit;
By the subject state determination unit,
The positional relationship of a plurality of faces among the specific parts of the plurality of subjects detected by the subject part detection unit,
A positional relationship between one first face of the plurality of faces and at least one hand of the subject having the first face;
The positional relationship between one hand of the first face and the other second face of the plurality of faces;
Detecting the subject and determining the state of the subject;
A subject situation determination method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013250331A JP5663652B2 (en) | 2013-12-03 | 2013-12-03 | Subject status judgment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013250331A JP5663652B2 (en) | 2013-12-03 | 2013-12-03 | Subject status judgment method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010020497A Division JP5430428B2 (en) | 2010-02-01 | 2010-02-01 | Photography equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014053965A true JP2014053965A (en) | 2014-03-20 |
JP5663652B2 JP5663652B2 (en) | 2015-02-04 |
Family
ID=50611943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013250331A Expired - Fee Related JP5663652B2 (en) | 2013-12-03 | 2013-12-03 | Subject status judgment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5663652B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007041964A (en) * | 2005-08-04 | 2007-02-15 | Matsushita Electric Ind Co Ltd | Image processor |
JP2008011457A (en) * | 2006-06-30 | 2008-01-17 | Olympus Imaging Corp | Camera |
JP2009231956A (en) * | 2008-03-19 | 2009-10-08 | Fujifilm Corp | Imaging device and imaging control method |
JP2010016796A (en) * | 2008-06-06 | 2010-01-21 | Sony Corp | Image capturing apparatus, image capturing method, and computer program |
JP2010181490A (en) * | 2009-02-03 | 2010-08-19 | Olympus Imaging Corp | Imaging apparatus |
-
2013
- 2013-12-03 JP JP2013250331A patent/JP5663652B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007041964A (en) * | 2005-08-04 | 2007-02-15 | Matsushita Electric Ind Co Ltd | Image processor |
JP2008011457A (en) * | 2006-06-30 | 2008-01-17 | Olympus Imaging Corp | Camera |
JP2009231956A (en) * | 2008-03-19 | 2009-10-08 | Fujifilm Corp | Imaging device and imaging control method |
JP2010016796A (en) * | 2008-06-06 | 2010-01-21 | Sony Corp | Image capturing apparatus, image capturing method, and computer program |
JP2010181490A (en) * | 2009-02-03 | 2010-08-19 | Olympus Imaging Corp | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5663652B2 (en) | 2015-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5430428B2 (en) | Photography equipment | |
US9344644B2 (en) | Method and apparatus for image processing | |
US8988535B2 (en) | Photographing control method and apparatus according to motion of digital photographing apparatus | |
US8334907B2 (en) | Photographing method and apparatus using face pose estimation of face | |
US10455154B2 (en) | Image processing device, image processing method, and program including stable image estimation and main subject determination | |
JP2011188210A (en) | Photographing apparatus and photographing system | |
JP2011188065A (en) | Imaging controller, method of detecting subject, and program | |
US9628700B2 (en) | Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program | |
US20150358546A1 (en) | Image processing apparatus, control method, and medium for compositing still pictures | |
JP5885395B2 (en) | Image capturing apparatus and image data recording method | |
WO2016015539A1 (en) | Method, terminal and system for shooting object movement trail | |
JP5663652B2 (en) | Subject status judgment method | |
JP2010183253A (en) | Information display device and information display program | |
JP2012124767A (en) | Imaging apparatus | |
JP2011151482A (en) | Imaging apparatus and method for controlling the same | |
JP2011188374A (en) | Shooting apparatus | |
JP7342883B2 (en) | Imaging control device, imaging device, imaging control method | |
JP2008104070A (en) | Portable apparatus with camera and program for portable apparatus with camera | |
JP6218911B2 (en) | Imaging control device and control method of imaging control device | |
JP2016036081A (en) | Image processing device, method and program, and recording medium | |
JP2015210467A (en) | Imaging device, imaging control device, program and recording medium | |
US20130343728A1 (en) | Imaging device, information processing device, and non-transitory computer readable medium storing program | |
US12041337B2 (en) | Imaging control apparatus, imaging control method, program, and imaging device | |
JP2005229538A (en) | Digital camera system | |
WO2020066316A1 (en) | Photographing apparatus, photographing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5663652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |