JP2017050593A - Imaging apparatus, imaging control method and program - Google Patents

Imaging apparatus, imaging control method and program Download PDF

Info

Publication number
JP2017050593A
JP2017050593A JP2015170149A JP2015170149A JP2017050593A JP 2017050593 A JP2017050593 A JP 2017050593A JP 2015170149 A JP2015170149 A JP 2015170149A JP 2015170149 A JP2015170149 A JP 2015170149A JP 2017050593 A JP2017050593 A JP 2017050593A
Authority
JP
Japan
Prior art keywords
detection
detected
image
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015170149A
Other languages
Japanese (ja)
Other versions
JP6693071B2 (en
Inventor
雄亮 権丈
Yusuke Gonjo
雄亮 権丈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015170149A priority Critical patent/JP6693071B2/en
Publication of JP2017050593A publication Critical patent/JP2017050593A/en
Application granted granted Critical
Publication of JP6693071B2 publication Critical patent/JP6693071B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce erroneous detection of an object detected for imaging.SOLUTION: An imaging apparatus 100 comprises: a detection unit 7c which detects an object from the inside of a frame image captured by an imaging unit 3; a detection determination unit 7d which determines whether or not the object can be detected from the inside of the frame image with the use of a first method; a detection control unit 7g which controls, if it is determined that the detection of the object is impossible, the apparatus to detect the object from the inside of the frame image with the use of a second method that is different from the first method; and an imaging control unit 7h which generates a recording image on the basis of the image captured by the imaging unit 3 when the object is detected.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置、撮像制御方法及びプログラムに関する。   The present invention relates to an imaging apparatus, an imaging control method, and a program.

従来、デジタルカメラ等の撮像装置に設けられる機能として、撮像画像内の指定領域で被写体の動きを検出して自動的にシャッタを切る自動撮影機能(以下、モーションシャッタという)が知られている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, as a function provided in an imaging apparatus such as a digital camera, an automatic photographing function (hereinafter referred to as a motion shutter) that automatically detects a motion of a subject in a specified area in a captured image and automatically releases a shutter is known ( For example, see Patent Document 1).

特開2005−333420号公報JP 2005-333420 A

ところで、モーションシャッタは、被写体であるヒトの意図的な動作(例えば、手の動きなど)を指定領域内で検出することにより実現することを想定している。しかしながら、上記特許文献1の場合、指定領域内に、例えば、風で揺れている木の枝が写りこんでいたり、光線が乱反射する水面が写り込んでいたりすると、被写体の意図的な動作との区別が困難となり、誤検出してしまう虞がある。   By the way, it is assumed that the motion shutter is realized by detecting an intentional motion (for example, hand movement) of a human being who is a subject within a designated area. However, in the case of the above-mentioned Patent Document 1, if a branch of a tree swaying in the wind is reflected in the designated area or a water surface in which light rays are irregularly reflected is reflected, for example, an intentional motion of the subject is indicated. It becomes difficult to distinguish and there is a risk of erroneous detection.

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、撮影のために検出する物体の誤検出を低減することができる撮像装置、撮像制御方法及びプログラムを提供することである。   The present invention has been made in view of such problems, and an object of the present invention is to provide an imaging apparatus, an imaging control method, and a program capable of reducing erroneous detection of an object detected for imaging. That is.

上記課題を解決するための本発明の一態様は、撮像装置であって、
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴としている。
One embodiment of the present invention for solving the above problems is an imaging device,
Detecting means for detecting an object from within a captured image captured by the imaging means;
Determination means for determining whether or not an object can be detected from the captured image by the first means by the detection means;
Detection control means for controlling the object to be detected by the detection means from within the captured image by a second method different from the first method when the determination means determines that the object cannot be detected. When,
Taking an opportunity that an object is detected by the detection means, a shooting control means for controlling a shooting process for causing the imaging means to pick up an image for recording;
It is characterized by having.

本発明によれば、撮影のために検出する物体の誤検出を低減することができる。   According to the present invention, it is possible to reduce erroneous detection of an object detected for photographing.

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the imaging device of one Embodiment to which this invention is applied. 図1の撮像装置を模式的に示す斜視図である。It is a perspective view which shows typically the imaging device of FIG. 図1の撮像装置による撮影処理に係る動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to an imaging process by the imaging apparatus of FIG. 1. 図3の撮影処理を説明するための図である。It is a figure for demonstrating the imaging | photography process of FIG. 図3の撮影処理における第1撮影処理に係る動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of an operation related to a first imaging process in the imaging process of FIG. 3. 図5の第1撮影処理を説明するための図である。It is a figure for demonstrating the 1st imaging | photography process of FIG. 図3の撮影処理における第2撮影処理に係る動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of an operation related to a second imaging process in the imaging process of FIG. 3. 図7の第2撮影処理を説明するための図である。It is a figure for demonstrating the 2nd imaging | photography process of FIG. 図3の撮影処理における第3撮影処理に係る動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of an operation related to a third imaging process in the imaging process of FIG. 3. 図9の第3撮影処理を説明するための図である。It is a figure for demonstrating the 3rd imaging | photography process of FIG.

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。   Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.

図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。また、図2(a)は、撮像装置100を模式的に示す斜視図であり、図2(b)は、撮像装置100の表示パネル5aを180°回動させた状態を模式的に示す斜視図である。   FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus 100 according to an embodiment to which the present invention is applied. 2A is a perspective view schematically showing the imaging device 100, and FIG. 2B is a perspective view schematically showing a state in which the display panel 5a of the imaging device 100 is rotated by 180 °. FIG.

図1に示すように、本実施形態の撮像装置100は、具体的には、中央制御部1と、メモリ2と、撮像部3と、画像処理部4と、表示部5と、操作入力部6と、動作処理部7と、画像記録部8とを備えている。
また、中央制御部1、メモリ2、撮像部3、画像処理部4、表示部5、操作入力部6、動作処理部7及び画像記録部8は、バスライン9を介して接続されている。
As shown in FIG. 1, the imaging apparatus 100 according to the present embodiment specifically includes a central control unit 1, a memory 2, an imaging unit 3, an image processing unit 4, a display unit 5, and an operation input unit. 6, an operation processing unit 7, and an image recording unit 8.
The central control unit 1, the memory 2, the imaging unit 3, the image processing unit 4, the display unit 5, the operation input unit 6, the operation processing unit 7, and the image recording unit 8 are connected via a bus line 9.

また、図2(a)及び図2(b)に示すように、撮像装置100は、撮像部3(特に、レンズ部3a;後述)を具備する装置本体部100Aに表示部5の表示パネル5a(後述)が所定の回動機構(例えば、ヒンジ機構等)を介して取りつけられている。
具体的には、表示パネル5aは、光軸X方向に略直交する一の軸(例えば、水平方向の軸等)周りに略180°回動自在に装置本体部100Aに軸支されている。つまり、表示パネル5aを装置本体部100Aに対して相対的に略180°回動させることで、表示パネル5aの表示方向を撮像部3の撮像方向と略等しくするように、すなわち、表示パネル5aをレンズ部3aの露出面と同様に被写体S側に臨むように配置することができるようになっている(図2(b)参照)。そして、表示パネル5aをレンズ部3aの露出面と同じ側とした状態では、ユーザが表示パネル5aに表示されるユーザ自身を含む画像を視認しながら、所謂、自分撮りを行うことができる。
なお、表示パネル5aは、例えば、装置本体部100Aに対して光軸X方向に略直交する垂直方向の軸周りに略180°回動自在に軸支されていても良く、この場合も、表示パネル5aをレンズ部3aの露出面と同じ側とした状態では、所謂、自分撮りを行うことができる。
2A and 2B, the imaging apparatus 100 includes a display panel 5a of the display unit 5 in the apparatus main body 100A including the imaging unit 3 (particularly, the lens unit 3a; described later). (Described later) is attached via a predetermined rotation mechanism (for example, a hinge mechanism or the like).
Specifically, the display panel 5a is pivotally supported by the apparatus main body 100A so as to be rotatable about 180 ° around one axis (for example, a horizontal axis or the like) substantially orthogonal to the optical axis X direction. That is, the display panel 5a is rotated by approximately 180 ° relative to the apparatus main body 100A so that the display direction of the display panel 5a is substantially equal to the imaging direction of the imaging unit 3, that is, the display panel 5a. Can be arranged so as to face the subject S side like the exposed surface of the lens portion 3a (see FIG. 2B). In a state where the display panel 5a is on the same side as the exposed surface of the lens unit 3a, the user can take a so-called selfie while visually recognizing an image including the user himself / herself displayed on the display panel 5a.
The display panel 5a may be pivotally supported, for example, so as to be rotatable about 180 ° around a vertical axis substantially orthogonal to the optical axis X direction with respect to the apparatus main body 100A. When the panel 5a is on the same side as the exposed surface of the lens portion 3a, so-called self-portrait can be performed.

中央制御部1は、撮像装置100の各部を制御するものである。具体的には、中央制御部1は、図示は省略するが、CPU(Central Processing Unit)等を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。   The central control unit 1 controls each unit of the imaging device 100. Specifically, although not shown, the central control unit 1 includes a CPU (Central Processing Unit) and the like, and performs various control operations according to various processing programs (not shown) for the imaging apparatus 100.

メモリ2は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部1、動作処理部7等によって処理されるデータ等を一時的に格納する。   The memory 2 is composed of, for example, a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores data processed by the central control unit 1, the operation processing unit 7, and the like.

撮像部3は、被写体Sを任意の撮像フレームレートで撮像してフレーム画像を生成する。具体的には、撮像部3は、レンズ部3aと、電子撮像部3bと、撮像制御部3cとを備えている。   The imaging unit 3 captures the subject S at an arbitrary imaging frame rate and generates a frame image. Specifically, the imaging unit 3 includes a lens unit 3a, an electronic imaging unit 3b, and an imaging control unit 3c.

レンズ部3aは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部3bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部3bは、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
The lens unit 3a includes a plurality of lenses such as a zoom lens and a focus lens, for example.
The electronic imaging unit 3b is composed of an image sensor (imaging device) such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). Then, the electronic imaging unit 3b converts the optical image that has passed through the various lenses of the lens unit 3a into a two-dimensional image signal.

撮像制御部3cは、撮像部3による被写体Sの撮像を制御する。
すなわち、撮像制御部3cは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3cは、タイミング発生器、ドライバにより電子撮像部3bを走査駆動して、レンズ部3aを通過した光学像を電子撮像部3bにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部3bの撮像領域から1画面分ずつフレーム画像を読み出して画像処理部4に出力させる。
また、撮像制御部3cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体Sを撮像する際の条件の調整制御を行う。
The imaging control unit 3 c controls imaging of the subject S by the imaging unit 3.
That is, the imaging control unit 3c includes a timing generator, a driver, and the like, although not shown. The imaging control unit 3c scans and drives the electronic imaging unit 3b with a timing generator and a driver, and the optical imaging unit 3b converts the optical image that has passed through the lens unit 3a into a two-dimensional image signal for each predetermined period. Then, the frame image is read out for each screen from the imaging region of the electronic imaging unit 3b and is output to the image processing unit 4.
In addition, the imaging control unit 3c performs adjustment control of conditions when imaging the subject S, such as AF (automatic focusing processing), AE (automatic exposure processing), and AWB (automatic white balance).

なお、撮像部3は、レンズ部3a、電子撮像部3b及び撮像制御部3cに加えて、レンズ部3aを通過する光の量を調整する絞り、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等(何れも図示略)を備えていても良い。   In addition to the lens unit 3a, the electronic imaging unit 3b, and the imaging control unit 3c, the imaging unit 3 includes a diaphragm that adjusts the amount of light passing through the lens unit 3a, and a zoom drive unit that moves the zoom lens in the optical axis direction. In addition, a focus drive unit that moves the focus lens in the optical axis direction (not shown) may be provided.

画像処理部4は、電子撮像部3bから転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。具体的には、画像処理部4は、電子撮像部3bから転送されたフレーム画像のアナログ値の信号に対してRGBの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
また、カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ2にDMA転送される。
The image processing unit 4 performs various types of image signal processing on the analog value signal of the frame image transferred from the electronic imaging unit 3b. Specifically, the image processing unit 4 appropriately adjusts the gain for each RGB color component with respect to the analog value signal of the frame image transferred from the electronic imaging unit 3b, and then samples the sample with a sample hold circuit (not shown). After being held and converted into digital data by an A / D converter (not shown), color process processing including pixel interpolation processing and γ correction processing is performed by a color process circuit (not shown), and then a digital luminance signal Y And color difference signals Cb and Cr (YUV data) are generated.
The luminance signal Y and the color difference signals Cb and Cr output from the color process circuit are DMA-transferred to the memory 2 used as a buffer memory via a DMA controller (not shown).

表示部5は、表示パネル5aの表示画面に画像を表示する。
すなわち、表示部5は、画像処理部4により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル5aの表示画面に表示する。具体的には、表示部5は、静止画像や動画像の撮影モードにて、撮像部3による被写体Sの撮像により生成された複数のフレーム画像を所定の再生フレームレートで逐次更新しながらライブビュー画像L(図4(a)等参照)を表示パネル5aの表示画面に表示する。
なお、表示パネル5aは、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネル等から構成されているが、一例であってこれらに限られるものではない。
The display unit 5 displays an image on the display screen of the display panel 5a.
That is, the display unit 5 displays a predetermined image on the display screen of the display panel 5a based on the image data of a predetermined size decoded by the image processing unit 4. Specifically, the display unit 5 performs live view while sequentially updating a plurality of frame images generated by imaging the subject S by the imaging unit 3 at a predetermined playback frame rate in a still image or moving image shooting mode. The image L (see FIG. 4A, etc.) is displayed on the display screen of the display panel 5a.
In addition, although the display panel 5a is comprised from the liquid crystal display panel, the organic EL (Electro-Luminescence) display panel, etc., for example, it is an example and is not restricted to these.

操作入力部6は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部6は、被写体Sの静止画像の撮影指示や動画像の録画開始指示及び録画終了指示に係るシャッタボタン、撮影モードや再生モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部6は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部6から出力され入力された操作指示に従って所定の動作(例えば、動画像の再生等)を各部に実行させる。
The operation input unit 6 is for performing a predetermined operation of the imaging apparatus 100. Specifically, the operation input unit 6 selects and determines a shutter button for a still image shooting instruction, a moving image recording start instruction and a recording end instruction for the subject S, and a selection instruction for a shooting mode, a playback mode, a function, and the like. Buttons, zoom buttons for zoom amount adjustment instructions, and the like (both not shown).
When various buttons are operated by the user, the operation input unit 6 outputs an operation instruction corresponding to the operated button to the central control unit 1. The central control unit 1 causes each unit to execute a predetermined operation (for example, reproduction of a moving image) according to an operation instruction output from the operation input unit 6 and input.

動作処理部7は、状態判定部7aと、フレーム取得部7bと、検出部7cと、検出判定部7dと、領域設定部7eと、画像情報取得部7fと、検出制御部7gと、撮影制御部7hとを具備している。
なお、動作処理部7の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
The operation processing unit 7 includes a state determination unit 7a, a frame acquisition unit 7b, a detection unit 7c, a detection determination unit 7d, an area setting unit 7e, an image information acquisition unit 7f, a detection control unit 7g, and a photographing control. Part 7h.
In addition, although each part of the operation | movement process part 7 is comprised from the predetermined | prescribed logic circuit, for example, the said structure is an example and is not restricted to this.

状態判定部7aは、撮像装置100の状態を判定する。
すなわち、状態判定部7aは、撮像部3により撮像されて表示部5に表示される被写体Sの画像を当該被写体S自身に視認させることが可能な所定の状態(所謂、自分撮りの状態)であるか否かを判定する。
具体的には、状態判定部7aは、撮像部3による被写体Sの撮像の際に、撮像部3の撮像方向(レンズ部3aの露出方向)と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。例えば、状態判定部7aは、装置本体部100Aに対して表示パネル5aが略180°回動したことを機械的に検出するスイッチ(図示略)の検出信号や、表示パネル5aの重力方向に対する傾きを検出するセンサ(例えば、加速度センサ等;図示略)の検出信号の入力に基づいて、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっているか否かを判定する。
そして、状態判定部7aは、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっていると判定した場合に(図2(b)参照)、撮像部3により撮像されて表示部5に表示される被写体Sの画像を当該被写体S自身に視認させることが可能な所定の状態であると特定する。
The state determination unit 7a determines the state of the imaging device 100.
That is, the state determination unit 7a is in a predetermined state (so-called self-shooting state) in which the subject S itself can visually recognize the image of the subject S that is captured by the imaging unit 3 and displayed on the display unit 5. It is determined whether or not there is.
Specifically, in the state determination unit 7a, when the imaging unit 3 captures the subject S, the imaging direction of the imaging unit 3 (the exposure direction of the lens unit 3a) and the display direction of the display panel 5a are substantially equal. It is determined whether or not it is in a state. For example, the state determination unit 7a detects a detection signal of a switch (not shown) that mechanically detects that the display panel 5a is rotated about 180 ° with respect to the apparatus main body 100A, and the inclination of the display panel 5a with respect to the gravity direction. Whether or not the imaging direction of the imaging unit 3 and the display direction of the display panel 5a are substantially equal is determined based on the input of a detection signal from a sensor (for example, an acceleration sensor or the like; not shown).
Then, when the state determination unit 7a determines that the imaging direction of the imaging unit 3 and the display direction of the display panel 5a are substantially equal (see FIG. 2B), the state determination unit 7a is captured by the imaging unit 3 and displayed on the display unit. 5 is specified to be in a predetermined state in which the subject S can be visually recognized by the subject S itself.

フレーム取得部7bは、撮像部3により順次撮像された複数のフレーム画像(撮像画像)を取得する。
具体的には、例えば、撮像部3は、所謂、自分撮りの状態の被写体Sを所定の撮像フレームレートで連続して撮像し、画像処理部4は、複数のフレーム画像のYUVデータを生成しメモリ2に転送する。フレーム取得部7bは、メモリ2に格納されている複数のフレーム画像を読み出して取得する。
ここで、所謂、自分撮りの状態での撮影の際に、表示部5は、例えば、被写体Sの特定の部位である物体O(例えば、手のひら等)の検出領域(例えば、第1検出領域A1等)を表す指標をライブビュー画像Lに重畳させてOSD(on-screen display)表示させても良い(図4(a)参照)。
なお、フレーム取得部7bは、複数のフレーム画像を必要に応じて所定の比率で縮小した所定サイズ(例えば、VGAサイズ等)のフレーム画像を取得しても良い。
The frame acquisition unit 7b acquires a plurality of frame images (captured images) sequentially captured by the imaging unit 3.
Specifically, for example, the imaging unit 3 continuously captures the so-called self-shooting subject S at a predetermined imaging frame rate, and the image processing unit 4 generates YUV data of a plurality of frame images. Transfer to memory 2. The frame acquisition unit 7b reads and acquires a plurality of frame images stored in the memory 2.
Here, when photographing in a so-called self-portrait state, the display unit 5 displays, for example, a detection region (for example, a first detection region A1) of an object O (for example, a palm) that is a specific part of the subject S. Etc.) may be superimposed on the live view image L and displayed on the OSD (on-screen display) (see FIG. 4A).
The frame acquisition unit 7b may acquire a frame image of a predetermined size (for example, VGA size) obtained by reducing a plurality of frame images at a predetermined ratio as necessary.

検出部(検出手段)7cは、撮像部3により撮像されるフレーム画像内から、検出対象となる物体O(例えば、手のひら等の被写体Sの特定の部位)を検出するモーション検出を行う。
すなわち、検出部7cは、検出制御部7gの制御によって、撮像部3により撮像されるフレーム画像内の第1の検出領域A1(図6(a)参照)や第2の検出領域A2(図8(a)参照)から物体Oを検出する。具体的には、検出部7cは、例えば、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する(第1の検出方法;詳細後述)。例えば、検出部7cは、フレーム取得部7bにより取得された隣合うフレーム画像の第1の検出領域A1や第2の検出領域A2の画素値(例えば、輝度値)の差分情報(例えば、差分値や差分二乗和等)を算出し、予め設定されている閾値と比較して、閾値よりも大きくなった場合に物体Oの状態の変化を検出する。
The detection unit (detection unit) 7c performs motion detection for detecting an object O to be detected (for example, a specific part of the subject S such as a palm) from the frame image captured by the imaging unit 3.
That is, the detection unit 7c controls the first detection region A1 (see FIG. 6A) and the second detection region A2 (see FIG. 8) in the frame image captured by the imaging unit 3 under the control of the detection control unit 7g. The object O is detected from (a). Specifically, for example, the detection unit 7c detects a change in the state of the object O based on relative image information between a plurality of frame images sequentially captured by the imaging unit 3 and acquired by the frame acquisition unit 7b. (First detection method; details will be described later). For example, the detection unit 7c may include difference information (for example, a difference value) of pixel values (for example, luminance values) of the first detection area A1 and the second detection area A2 of adjacent frame images acquired by the frame acquisition unit 7b. And the difference sum of squares, etc.) is calculated, and compared with a preset threshold value, a change in the state of the object O is detected when the threshold value is greater than the threshold value.

なお、上記した物体Oの検出は、フレーム取得部7bにより連続して取得された複数のフレーム画像に対して行われても良いし、所定の比率で間引かれたフレーム画像に対して行われても良い。
また、上記閾値の設定方法としては、例えば、フレーム取得部7bにより取得された所定数(例えば、n個)分のフレーム画像について、隣合うフレーム画像との第1の検出領域A1や第2の検出領域A2の画素値(例えば、輝度値)の差分情報を算出し、算出された複数(例えば、n−1個)の差分情報の代表値(例えば、平均値、中央値等)を演算して、閾値として設定する方法が挙げられる。
The detection of the object O described above may be performed on a plurality of frame images continuously acquired by the frame acquisition unit 7b, or may be performed on frame images thinned out at a predetermined ratio. May be.
In addition, as the threshold setting method, for example, for a predetermined number (for example, n) of frame images acquired by the frame acquisition unit 7b, the first detection area A1 and the second detection area with the adjacent frame images are used. Difference information of pixel values (for example, luminance values) in the detection area A2 is calculated, and representative values (for example, average value, median value, etc.) of the calculated plurality (for example, n−1) difference information are calculated. Thus, there is a method of setting as a threshold value.

また、検出部7cは、検出制御部7gの制御によって、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から、物体Oに係る絶対的な画像情報に基づき物体Oを検出する。
具体的には、例えば、撮像部3により撮像されるフレーム画像内に第2の検出領域A2が存在しない場合に、検出部7cは、後述する画像情報取得部7fによりフレーム画像内の画像情報取得領域A0(図10(a)参照)から取得された物体Oの色に係る画像情報に基づき、第1の検出領域A1から物体Oを検出する(第2の検出方法;詳細後述)。
Further, the detection unit 7c detects the object O based on absolute image information related to the object O from the first detection area A1 in the frame image captured by the imaging unit 3 under the control of the detection control unit 7g. .
Specifically, for example, when the second detection area A2 does not exist in the frame image captured by the imaging unit 3, the detection unit 7c acquires image information in the frame image by the image information acquisition unit 7f described later. Based on the image information relating to the color of the object O acquired from the area A0 (see FIG. 10A), the object O is detected from the first detection area A1 (second detection method; details will be described later).

検出判定部(判定手段)7dは、検出部7cによって第1の手法により物体Oの検出が可能であるか否かを判定する。
すなわち、検出判定部7dは、第1の手法として、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能であるか否かを判定する。
ここで、第1の検出方法は、上記した検出部7cによって行われる検出方法であり、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する方法である。
The detection determination unit (determination unit) 7d determines whether the object O can be detected by the detection unit 7c using the first technique.
That is, as a first method, the detection determination unit 7d determines whether or not the object O can be detected from the first detection region A1 in the frame image captured by the imaging unit 3 by the first detection method. judge.
Here, the first detection method is a detection method performed by the above-described detection unit 7c. Relative image information between a plurality of frame images sequentially captured by the imaging unit 3 and acquired by the frame acquisition unit 7b. Is a method for detecting a change in the state of the object O.

領域設定部7eは、撮像部3により撮像されるフレーム画像内に、検出判定部7dによって第1の検出方法により物体Oの検出が可能であると判定される第2の検出領域A2を設定する。
すなわち、領域設定部7eは、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、フレーム画像内に第1の検出領域A1とは異なる領域であって、第1の検出方法により物体Oを検出することが可能である第2の検出領域A2を設定する。
具体的には、領域設定部7eは、フレーム取得部7bにより取得された所定数(例えば、n個;nは自然数)分のフレーム画像について、隣合うフレーム画像との間で各画素の画素値(例えば、輝度値)の差分情報(例えば、差分値等)を算出する。そして、領域設定部7eは、算出された複数(例えば、n−1個)の差分情報が所定の許容範囲内である領域を特定し、特定された領域内で物体Oの検出を可能な程度の面積を有する領域(例えば、第1の検出領域A1と略等しい面積の領域等)があるか否かを判定する。
領域設定部7eは、物体Oの検出を可能な程度の面積を有する領域があると判定された場合に、第1の検出領域A1から最も近い位置に存在する領域を第2の検出領域A2として設定する。
The area setting unit 7e sets, in the frame image captured by the imaging unit 3, a second detection area A2 in which the detection determination unit 7d determines that the object O can be detected by the first detection method. .
That is, the region setting unit 7e determines that the first determination method 7d in the frame image does not detect the object O from the first detection region A1 in the frame image by the first detection method. A second detection area A2 that is different from the detection area A1 and is capable of detecting the object O by the first detection method is set.
Specifically, the region setting unit 7e has a predetermined number (for example, n; n is a natural number) of frame images acquired by the frame acquisition unit 7b, and pixel values of each pixel between adjacent frame images. Difference information (for example, a difference value) of (for example, a luminance value) is calculated. Then, the region setting unit 7e specifies a region where the calculated plurality (for example, n−1) difference information is within a predetermined allowable range, and is capable of detecting the object O within the specified region. It is determined whether or not there is a region having an area (for example, a region having an area substantially equal to the first detection region A1).
When it is determined that there is a region having an area capable of detecting the object O, the region setting unit 7e sets the region present at the closest position from the first detection region A1 as the second detection region A2. Set.

画像情報取得部7fは、フレーム画像内の画像情報取得領域A0から物体Oに係る絶対的な画像情報を取得する。
すなわち、画像情報取得部(取得手段)7fは、撮像部3により撮像されるフレーム画像内における画像情報取得領域(所定の領域)A0から色に係る画像情報(例えば、RGBデータ等)を絶対的な画像情報として取得する。具体的には、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、検出判定部7dによって第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が存在しないと判定された場合に、画像情報取得部7fは、フレーム画像内の所定位置(例えば、中央等)に物体Oの色情報を取得するための画像情報取得領域A0を設定する。このとき、表示部5は、例えば、画像情報取得領域A0を表す指標とともに、「背景に動きがあって誤検出する恐れがあるため、検出する手をかざしてください」等の案内表示をライブビュー画像Lに重畳させてOSD表示させても良い。
そして、画像情報取得部7fは、例えば、画像情報取得領域A0が設定されてから、或いは、指標や案内表示がOSD表示されてから所定時間(例えば、2秒等)後に、撮像部3によりされたフレーム画像内の画像情報取得領域A0から物体Oの色情報を取得する。その後、表示部5は、例えば、「物体の色を取得しました」等の確認表示をライブビュー画像Lに重畳させてOSD表示させても良い。
なお、上記した画像情報の取得方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、絶対的な画像情報として、物体Oの色情報を例示したが、一例であってこれに限られるものではなく、例えば、物体Oの彩度に係る画像情報など適宜任意に変更可能である。
The image information acquisition unit 7f acquires absolute image information related to the object O from the image information acquisition area A0 in the frame image.
That is, the image information acquisition unit (acquisition unit) 7f absolutely outputs image information (for example, RGB data) relating to the color from the image information acquisition region (predetermined region) A0 in the frame image captured by the imaging unit 3. Acquired as correct image information. Specifically, the detection determination unit 7d determines that the object O cannot be detected from the first detection region A1 in the frame image by the first detection method, and the detection determination unit 7d performs the first detection method. When it is determined that there is no second detection area A2 in which the object O can be detected, the image information acquisition unit 7f displays the object O at a predetermined position (for example, the center) in the frame image. An image information acquisition area A0 for acquiring color information is set. At this time, for example, the display unit 5 displays a guidance display such as “Please hold your hand to detect because there is a risk of erroneous detection due to movement in the background” together with an index representing the image information acquisition area A0. The image L may be superimposed on the OSD display.
Then, the image information acquisition unit 7f is performed by the imaging unit 3, for example, after the image information acquisition region A0 is set or after a predetermined time (for example, 2 seconds) after the OSD display of the index or the guidance display. The color information of the object O is acquired from the image information acquisition area A0 in the frame image. Thereafter, the display unit 5 may perform OSD display by superimposing a confirmation display such as “The object color has been acquired” on the live view image L, for example.
Note that the above-described image information acquisition method is an example and is not limited thereto, and can be arbitrarily changed as appropriate. Further, although the color information of the object O is illustrated as the absolute image information, it is an example and is not limited to this. For example, image information related to the saturation of the object O can be arbitrarily changed as appropriate. .

検出制御部7gは、検出部7cによってフレーム画像(撮像画像)内から第1の手法や第2の手法により物体O(例えば、手のひら等)を検出するように制御する。
すなわち、検出制御部7gは、第1の手法として、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oを検出するように制御する。
また、検出制御部7gは、検出判定部7dによって第1の手法により物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から検出部7cによって物体Oを検出するように制御する。具体的には、検出制御部7gは、第2の手法として、フレーム画像内における検出判定部7dによって第1の検出方法により物体Oの検出が可能であると判定される第2の検出領域A2から第1の検出方法により物体Oを検出するように制御する。例えば、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、検出制御部7gは、フレーム画像内にて領域設定部7eにより設定された第2の検出領域A2から第1の検出方法により物体Oを検出するように制御する。
The detection control unit 7g controls the detection unit 7c to detect the object O (for example, a palm) from the frame image (captured image) by the first method or the second method.
That is, the detection control unit 7g performs control so that the object O is detected by the first detection method from the first detection region A1 in the frame image captured by the imaging unit 3 as the first technique.
In addition, when the detection determination unit 7d determines that the object O cannot be detected by the first method, the detection control unit 7g detects the detection unit from the frame image by using a second method different from the first method. Control is performed so that the object O is detected by 7c. Specifically, as a second technique, the detection control unit 7g uses the second detection region A2 in which it is determined by the detection determination unit 7d in the frame image that the object O can be detected by the first detection method. To control to detect the object O by the first detection method. For example, when the detection determination unit 7d determines that the object O cannot be detected by the first detection method from the first detection region A1 in the frame image, the detection control unit 7g Control is performed so that the object O is detected from the second detection region A2 set by the setting unit 7e by the first detection method.

ここで、第1の検出方法について、第1の検出領域A1で物体O(例えば、被写体Sの手のひら等)を検出する場合を例示して説明する。
例えば、フレーム画像内の向かって右上の位置に第1の検出領域A1が設定されている場合(図6(a)参照)、ユーザである被写体Sは、この第1の検出領域A1の略下側から第1の検出領域A1の略中央に向かって手のひらを移動させるようにして第1の検出領域A1内に配置させる。このとき、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、これら複数のフレーム画像間における画素値の変化の方向を検出する。つまり、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき、特定された画素から画素値の変化の方向を検出する。そして、検出制御部7gは、画素値の変化の方向に規則性(例えば、略下側から一直線方向等)があるか否かを判定する。
また、第1の検出領域A1内の所定位置(例えば、略中央等)に手のひらを配置させた状態(図6(b)参照)では、画素値が変化しないことから、検出制御部7gは、複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が停止したか否かを判定する。ここで、検出制御部7gにより画素値の変化の方向に規則性があると判定された後、画素値の変化が停止したと判定された場合には、表示部(報知手段)5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示Gをライブビュー画像Lに重畳させてOSD表示させても良い(図6(b)参照)。
その後、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき、特定された画素から画素値の変化の方向を検出する。そして、検出制御部7gは、画素値の変化の方向が停止前の方向と逆方向(例えば、略中央から略下側等)であるか否かを判定する。ここでの方向の判定は、物体Oの進入動作の軌跡と離脱動作の軌跡とのなす角度が所定の角度範囲内であれば、画素値の変化の方向が停止前の方向と逆方向であると判定するようにしても良い。
そして、検出制御部7gは、画素値の変化の方向に規則性があること、画素値の変化が停止したこと、その後、画素値の変化の方向が停止前の方向と逆方向であることを順に検出した場合に、検出部7cは、被写体Sの手のひら(物体O)を検出したものとみなす。
Here, the first detection method will be described by exemplifying a case where the object O (for example, the palm of the subject S) is detected in the first detection region A1.
For example, when the first detection area A1 is set at the upper right position in the frame image (see FIG. 6A), the subject S who is a user is substantially below the first detection area A1. The palm is moved from the side toward the approximate center of the first detection area A1 so as to be arranged in the first detection area A1. At this time, the detection control unit 7g uses the plurality of frame images based on the relative pixel values of the plurality of pixels constituting the first detection area A1 between the plurality of frame images acquired by the frame acquisition unit 7b. The direction of change in pixel value is detected. In other words, the detection control unit 7g specifies a pixel whose pixel value changes among the plurality of pixels constituting the first detection region A1, and detects the direction of change in the pixel value from the specified pixel. . Then, the detection control unit 7g determines whether or not there is regularity (for example, a straight line direction from a substantially lower side) in the change direction of the pixel value.
In addition, since the pixel value does not change in a state where the palm is arranged at a predetermined position (for example, approximately the center) in the first detection area A1 (see FIG. 6B), the detection control unit 7g It is determined whether or not the change in the pixel value is stopped based on the relative pixel values of the plurality of pixels constituting the first detection area A1 between the plurality of frame images. Here, if it is determined by the detection control unit 7g that there is regularity in the change direction of the pixel value, and it is determined that the change in the pixel value has stopped, the display unit (notification unit) 5 is, for example, The guidance display G indicating that the object O is in a standby state for detection of the object O such as “preparation OK” may be superimposed on the live view image L and displayed on the OSD (see FIG. 6B).
Thereafter, the detection control unit 7g specifies a pixel whose pixel value changes among the plurality of pixels constituting the first detection region A1, and detects the direction of change in the pixel value from the specified pixel. . Then, the detection control unit 7g determines whether or not the change direction of the pixel value is opposite to the direction before the stop (for example, substantially from the center to the lower side). In this determination of the direction, if the angle formed by the trajectory of the entry operation and the trajectory of the separation operation of the object O is within a predetermined angle range, the change direction of the pixel value is opposite to the direction before the stop. May be determined.
Then, the detection control unit 7g confirms that the change direction of the pixel value is regular, that the change of the pixel value is stopped, and that the change direction of the pixel value is thereafter opposite to the direction before the stop. When detecting in order, the detection unit 7c assumes that the palm (object O) of the subject S has been detected.

なお、第2の検出領域A2で物体Oを検出する場合、当該第2の検出領域A2の位置に応じて手のひらを移動させる方向が異なるものの、検出の手法は上記と略同様であり、詳細な説明は省略する。
また、第1の検出領域A1や第2の検出領域A2に対する物体Oの進入動作や離脱動作として、一直線に沿うように動かす動作を例示したが、一例であってこれに限られるものではなく、例えば、所定の曲率の曲線に沿うように動かす動作であっても良いし、ジグザグ形状や波型形状等の繰り返し動作であっても良いし、ランダムな動作であっても良い。すなわち、物体Oの検出に際して、第1の検出領域A1や第2の検出領域A2に対する物体Oの進入動作の方向は予め設定しておく必要がなく、物体Oの進入動作の方向と物体Oの離脱動作の方向とが逆方向となっていれば、物体Oの検出を行うことができる。
When detecting the object O in the second detection area A2, although the direction of moving the palm differs depending on the position of the second detection area A2, the detection method is substantially the same as described above. Description is omitted.
Moreover, although the operation | movement moved along a straight line was illustrated as an approach operation | movement and detachment | movement operation | movement of the object O with respect to 1st detection area | region A1 and 2nd detection area | region A2, it is an example and it is not restricted to this, For example, it may be an operation that moves along a curve with a predetermined curvature, a repetitive operation such as a zigzag shape or a wave shape, or a random operation. That is, when detecting the object O, it is not necessary to set in advance the direction of the entry operation of the object O with respect to the first detection region A1 or the second detection region A2, and the direction of the entry operation of the object O and the direction of the object O If the direction of the separation operation is opposite, the object O can be detected.

また、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が存在しない場合に、検出制御部7gは、第1の検出方法とは異なる第2の検出方法により第1の検出領域A1から物体Oを検出するように制御する。具体的には、検出制御部7gは、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から、物体Oに係る絶対的な画像情報に基づき物体Oを検出する第2の検出方法により当該物体Oを検出するように検出部7cを制御する。
例えば、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、領域設定部7eによって第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が設定されずに、フレーム画像内に第2の検出領域A2が存在しないことが特定されたことを契機として、検出制御部7gは、画像情報取得部7fにフレーム画像内の所定位置(例えば、略中央等)に物体Oの色情報を取得するための画像情報取得領域A0を設定させる。そして、検出制御部7gは、画像情報取得部7fに画像情報取得領域A0から物体Oの色情報を取得させ、画像情報取得領域A0から取得された物体Oの色に係る画像情報に基づき第1の検出領域A1から物体Oを検出する第2の検出方法により当該物体Oを検出するように検出部7cを制御する。
In addition, the detection determination unit 7d determines that the object O cannot be detected from the first detection area A1 in the frame image by the first detection method, and the object O can be detected by the first detection method. When there is no second detection area A2 that can be detected, the detection control unit 7g performs control to detect the object O from the first detection area A1 by a second detection method different from the first detection method. To do. Specifically, the detection control unit 7g detects the object O from the first detection area A1 in the frame image captured by the imaging unit 3 based on absolute image information related to the object O. The detection unit 7c is controlled to detect the object O by the method.
For example, it is determined by the detection determination unit 7d that the object O cannot be detected from the first detection area A1 in the frame image by the first detection method, and the object O is detected by the first detection method by the area setting unit 7e. When the second detection area A2 in which the second detection area A2 can be detected is not set and it is specified that the second detection area A2 does not exist in the frame image, the detection control unit 7g The information acquisition unit 7f is caused to set an image information acquisition region A0 for acquiring the color information of the object O at a predetermined position (for example, approximately the center) in the frame image. Then, the detection control unit 7g causes the image information acquisition unit 7f to acquire the color information of the object O from the image information acquisition region A0, and the first control based on the image information regarding the color of the object O acquired from the image information acquisition region A0. The detection unit 7c is controlled to detect the object O by the second detection method of detecting the object O from the detection area A1.

ここで、第2の検出方法について、第1の検出領域A1で物体Oを検出する場合を例示して説明する。
例えば、フレーム画像内の向かって右上の位置に第1の検出領域A1が設定されている場合(図10(b)参照)、ユーザである被写体Sは、この第1の検出領域A1の内側に手のひらを移動させるようにして第1の検出領域A1内に配置させる。このとき、検出制御部7gは、先ず、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が停止したか否かを判定する。つまり、手のひらを移動させている状態では、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となり、手のひらの移動を停止させることで、画素値の変化が停止する。
ここで、画素値の変化が停止したと判定されると、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の色情報を取得して、画像情報取得領域A0から取得された物体Oの色情報と比較する。そして、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出する。さらに、検出制御部7gは、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率を算出して、算出された比率が所定値以上と判定した場合に、物体O(例えば、被写体Sの手のひら等)を検出したものとみなす。このとき、表示部5は、例えば、「準備OK」等の撮影の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させても良い。
その後、ユーザである被写体Sは、第1の検出領域A1の外側に手のひらを移動させるようにして第1の検出領域A1内から離脱させる。このとき、上記と同様に、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が生じたか否かを判定する。つまり、手のひらを移動させている状態では、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となる。
Here, the second detection method will be described by exemplifying a case where the object O is detected in the first detection region A1.
For example, when the first detection area A1 is set at the upper right position in the frame image (see FIG. 10B), the subject S as the user is located inside the first detection area A1. It arrange | positions in 1st detection area | region A1 so that a palm may be moved. At this time, the detection control unit 7g first determines the pixel value based on the relative pixel values of the plurality of pixels constituting the first detection area A1 between the plurality of frame images acquired by the frame acquisition unit 7b. Determine whether the change has stopped. That is, when the palm is moved, the relative pixel values of the plurality of pixels constituting the first detection area A1 are changed, and the change of the pixel value is stopped by stopping the movement of the palm. To do.
Here, if it is determined that the change in the pixel value has stopped, the detection control unit 7g acquires the color information of the plurality of pixels constituting the first detection area A1 in the frame image, and acquires the image information acquisition area. Compare with the color information of the object O acquired from A0. Then, the detection control unit 7g calculates the number of pixels in which the difference between the color information is within a predetermined allowable range among the plurality of pixels constituting the first detection area A1. Furthermore, the detection control unit 7g calculates a ratio of the calculated number of pixels to the total number of the plurality of pixels constituting the first detection area A1, and determines that the calculated ratio is equal to or greater than a predetermined value. It is assumed that the object O (for example, the palm of the subject S) has been detected. At this time, for example, the display unit 5 may superimpose on the live view image L a guidance display indicating that the camera is in a shooting standby state, such as “preparation OK”, and may perform OSD display.
Thereafter, the subject S as a user is separated from the first detection area A1 by moving the palm to the outside of the first detection area A1. At this time, similarly to the above, the detection control unit 7g is based on the relative pixel values of the plurality of pixels constituting the first detection area A1 between the plurality of frame images acquired by the frame acquisition unit 7b. It is determined whether or not a change in pixel value has occurred. That is, when the palm is moved, the relative pixel values of the plurality of pixels constituting the first detection area A1 are changed.

撮影制御部7hは、被写体Sの撮影処理の実行を制御する。
すなわち、撮影制御部(撮影制御手段)7hは、検出部7cにより物体Oが検出されたことを契機として、撮像部3に記録用の画像を撮像させる。具体的には、撮影制御部7hは、例えば、検出部7cにより第1の検出領域A1や第2の検出領域A2から物体Oが検出されると、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定する。そして、撮影制御部7hは、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
生成された記録用の画像の画像データは、画像記録部8に転送されて記録される。
The shooting control unit 7h controls execution of shooting processing of the subject S.
That is, the imaging control unit (imaging control unit) 7h causes the imaging unit 3 to capture an image for recording when the object O is detected by the detection unit 7c. Specifically, for example, when the detection unit 7c detects the object O from the first detection area A1 or the second detection area A2, the shooting control unit 7h automatically captures the subject S after a predetermined time has elapsed. Set the timer to be used. Then, when a predetermined time set by the timer elapses, the shooting control unit 7 h causes the imaging unit 3 to image the subject S and causes the image processing unit 4 to generate a recording image.
The image data of the generated image for recording is transferred to the image recording unit 8 and recorded.

画像記録部8は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部4の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式、MPEG形式等)で符号化された静止画像や動画像の記録用の画像データを記録する。
また、画像記録部8は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
The image recording unit 8 is configured by, for example, a nonvolatile memory (flash memory) or the like, and is encoded in a predetermined compression format (for example, JPEG format, MPEG format, etc.) by an encoding unit (not shown) of the image processing unit 4. The recorded still image or moving image image data is recorded.
Further, for example, the image recording unit 8 may be configured such that a recording medium (not shown) is detachable and controls reading of data from the mounted recording medium and writing of data to the recording medium.

<撮影処理>
次に、撮像装置100による撮影処理について、図3〜図10を参照して説明する。
図3は、撮影処理に係る動作の一例を示すフローチャートである。また、図4(a)〜図4(c)は、撮影処理を説明するための図である。
なお、以下の説明では、モーション検出するための第1の検出領域A1は、フレーム画像内の所定位置(例えば、右上等)に予め設定されているものとする。
<Shooting process>
Next, imaging processing by the imaging apparatus 100 will be described with reference to FIGS.
FIG. 3 is a flowchart illustrating an example of an operation related to the imaging process. FIGS. 4A to 4C are diagrams for explaining the photographing process.
In the following description, it is assumed that the first detection area A1 for motion detection is set in advance at a predetermined position (for example, upper right) in the frame image.

図3に示すように、先ず、状態判定部7aは、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。(ステップS1)。すなわち、状態判定部7aは、装置本体部100Aに対して表示パネル5aが略180°回動した状態とされているか否かを判定する。   As shown in FIG. 3, first, the state determination unit 7a determines whether or not the imaging direction of the imaging unit 3 and the display direction of the display panel 5a are substantially equal. (Step S1). That is, the state determination unit 7a determines whether or not the display panel 5a is rotated by approximately 180 ° with respect to the apparatus main body 100A.

ステップS1にて、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態であると判定されると(ステップS1;YES)、表示部5は、撮像部3により撮像され、画像処理部4により生成された複数のフレーム画像を所定の再生フレームレートで逐次更新しながらライブビュー画像Lを表示パネル5aに表示させる(ステップS2)。   If it is determined in step S1 that the imaging direction of the imaging unit 3 is substantially equal to the display direction of the display panel 5a (step S1; YES), the display unit 5 is imaged by the imaging unit 3. Then, the live view image L is displayed on the display panel 5a while sequentially updating the plurality of frame images generated by the image processing unit 4 at a predetermined reproduction frame rate (step S2).

次に、中央制御部1のCPUは、ユーザにより操作入力部6のシャッタボタンが全押し操作されたか否かを判定する(ステップS3)。
ここで、シャッタボタンが全押し操作されていないと判定されると(ステップS3;NO)、中央制御部1のCPUは、シャッタボタンが全押し操作されたか否かを判定する処理を所定の時間間隔で繰り返し実行する。
Next, the CPU of the central control unit 1 determines whether or not the user has fully pressed the shutter button of the operation input unit 6 (step S3).
If it is determined that the shutter button has not been fully pressed (step S3; NO), the CPU of the central control unit 1 performs a process for determining whether or not the shutter button has been fully pressed for a predetermined time. Run repeatedly at intervals.

ステップS3にて、シャッタボタンが全押し操作されたと判定されると(ステップS3;YES)、検出制御部7gは、検出部7cによるモーション検出を開始させる(ステップS4)。
そして、検出判定部7dは、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oの検出が可能であるか否かを判定する(ステップS5)。すなわち、例えば、被写体Sの背景内における第1の検出領域A1にて当該被写体S以外の異物体が動いていない状態では(図4(a)参照)、第1の検出領域A1から物体Oの検出が可能となり、一方、第1の検出領域A1にて当該被写体S以外の異物体が動いている状態では(図4(b)及び図4(c)参照)、第1の検出領域A1から物体Oの検出が不可能となる。
If it is determined in step S3 that the shutter button has been fully pressed (step S3; YES), the detection controller 7g starts motion detection by the detector 7c (step S4).
And the detection determination part 7d is a 1st which detects the change of the state of the object O based on the relative image information between the some frame images imaged by the imaging part 3 sequentially, and was acquired by the flame | frame acquisition part 7b. It is determined by the detection method whether or not the object O can be detected from the first detection region A1 in the frame image (step S5). That is, for example, in a state where the foreign body other than the subject S is not moving in the first detection region A1 in the background of the subject S (see FIG. 4A), the object O is moved from the first detection region A1. On the other hand, in a state in which a foreign body other than the subject S is moving in the first detection area A1 (see FIG. 4B and FIG. 4C), the first detection area A1 The object O cannot be detected.

ステップS5にて、第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oの検出が可能であると判定されると(ステップS5;YES)、動作処理部7は、第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oを検出した場合に、自動的に撮影を行う第1撮影処理(後述;図5参照)を実行させる(ステップS6)。   If it is determined in step S5 that the object O can be detected from the first detection area A1 in the frame image by the first detection method (step S5; YES), the motion processing unit 7 When the object O is detected from the first detection area A1 in the frame image by the first detection method, a first imaging process (described later; see FIG. 5) for automatically imaging is executed (step S6).

その後、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
ステップS7にて、モーション検出の終了指示が入力されていないと判定されると(ステップS7;NO)、動作処理部7は、処理をステップS5に戻し、それ以降の各処理を実行する。
Thereafter, the CPU of the central control unit 1 determines whether or not a motion detection end instruction has been input based on a predetermined operation of the operation input unit 6 by the user (step S7).
If it is determined in step S7 that an instruction to end motion detection has not been input (step S7; NO), the operation processing unit 7 returns the process to step S5, and executes the subsequent processes.

一方、ステップS5にて、第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oの検出が可能でないと判定されると(ステップS5;NO)、領域設定部7eは、フレーム画像内に第1の検出領域A1とは異なる領域であって、第1の検出方法により物体Oを検出することが可能である第2の検出領域A2を設定可能であるか否かを判定する(ステップS8)。具体的には、領域設定部7eは、例えば、フレーム取得部7bにより取得された所定数分のフレーム画像について、隣合うフレーム画像との間で各画素の画素値の差分情報を算出する。そして、領域設定部7eは、算出された複数の差分情報が所定の許容範囲内である領域を特定し、特定された領域内で物体Oの検出を可能な程度の面積を有する領域があるか否かを判定する。
すなわち、例えば、被写体Sの背景内における第1の検出領域A1以外の一部の領域にて当該被写体S以外の異物体が動いていない状態では(図4(b)参照)、物体Oの検出に係る第2の検出領域A2を設定可能となり、一方、被写体Sの背景内における第1の検出領域A1以外の略全ての領域にて当該被写体S以外の異物体が動いている状態では(図4(c)参照)、第2の検出領域A2を設定不可能となる。
On the other hand, when it is determined in step S5 that the object O cannot be detected from the first detection area A1 in the frame image by the first detection method (step S5; NO), the area setting unit 7e It is determined whether or not it is possible to set a second detection area A2 that is different from the first detection area A1 and can detect the object O by the first detection method in the frame image. (Step S8). Specifically, for example, the area setting unit 7e calculates difference information of pixel values of each pixel between adjacent frame images for a predetermined number of frame images acquired by the frame acquisition unit 7b. Then, the region setting unit 7e specifies a region where the plurality of calculated difference information is within a predetermined allowable range, and whether there is a region having an area enough to detect the object O within the specified region. Determine whether or not.
That is, for example, in a state where a foreign body other than the subject S is not moving in a region other than the first detection region A1 in the background of the subject S (see FIG. 4B), the detection of the object O is performed. On the other hand, in a state where the foreign body other than the subject S is moving in almost all regions other than the first detection region A1 in the background of the subject S (see FIG. 4 (c)), the second detection area A2 cannot be set.

ステップS8にて、第2の検出領域A2を設定可能であると判定されると(ステップS8;YES)、動作処理部7は、第1の検出方法により、フレーム画像内の第2の検出領域A2から物体Oを検出した場合に、自動的に撮影を行う第2撮影処理(後述;図7参照)を実行させる(ステップS9)。
その後、中央制御部1のCPUは、処理をステップS7に移行し、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
If it is determined in step S8 that the second detection region A2 can be set (step S8; YES), the motion processing unit 7 uses the first detection method to detect the second detection region in the frame image. When the object O is detected from A2, a second photographing process (described later; see FIG. 7) for automatically photographing is performed (step S9).
Thereafter, the CPU of the central control unit 1 shifts the process to step S7, and determines whether or not a motion detection end instruction is input (step S7).

一方、ステップS8にて、第2の検出領域A2を設定可能でないと判定されると(ステップS8;NO)、動作処理部7は、第2の検出方法により、フレーム画像内の第1の検出領域A1から物体Oを検出した場合に、自動的に撮影を行う第3撮影処理(後述;図9参照)を実行させる(ステップS10)。
その後、中央制御部1のCPUは、処理をステップS7に移行し、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
On the other hand, when it is determined in step S8 that the second detection area A2 cannot be set (step S8; NO), the motion processing unit 7 uses the second detection method to detect the first detection in the frame image. When the object O is detected from the area A1, a third shooting process (described later; see FIG. 9) for automatically shooting is executed (step S10).
Thereafter, the CPU of the central control unit 1 shifts the process to step S7, and determines whether or not a motion detection end instruction is input (step S7).

ステップS7にて、モーション検出の終了指示が入力されたと判定されると(ステップS7;YES)、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、撮影処理の終了指示が入力されたか否かを判定する(ステップS11)。
ステップS11にて、撮影処理の終了指示が入力されていないと判定されると(ステップS11;NO)、中央制御部1のCPUは、処理をステップS1に戻し、状態判定部7aは、上記と同様に、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。
If it is determined in step S7 that a motion detection end instruction has been input (step S7; YES), the CPU of the central control unit 1 ends the photographing process based on a predetermined operation of the operation input unit 6 by the user. It is determined whether or not an instruction has been input (step S11).
If it is determined in step S11 that the photographing process end instruction has not been input (step S11; NO), the CPU of the central control unit 1 returns the process to step S1, and the state determination unit 7a Similarly, it is determined whether or not the imaging direction of the imaging unit 3 and the display direction of the display panel 5a are substantially equal.

ステップS11にて、撮影処理の終了指示が入力されたと判定されると(ステップS11;YES)、中央制御部1のCPUは、当該撮影処理を終了させる。   If it is determined in step S11 that an instruction to end the shooting process has been input (step S11; YES), the CPU of the central control unit 1 ends the shooting process.

一方、ステップS1にて、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態でないと判定された場合(ステップS1;NO)には、ユーザが表示部5に表示されているライブビュー画像Lを見ながら操作入力部6のシャッタボタンを操作する通常の撮影処理を行う(ステップS12)。   On the other hand, when it is determined in step S1 that the imaging direction of the imaging unit 3 and the display direction of the display panel 5a are not substantially equal (step S1; NO), the user is displayed on the display unit 5. A normal shooting process is performed in which the shutter button of the operation input unit 6 is operated while viewing the live view image L (step S12).

<第1撮影処理>
以下に、第1撮影処理について、図5及び図6を参照して説明する。
図5は、第1撮影処理に係る動作の一例を示すフローチャートである。また、図6(a)〜図6(c)は、第1撮影処理を説明するための図である。
<First shooting process>
Hereinafter, the first photographing process will be described with reference to FIGS. 5 and 6.
FIG. 5 is a flowchart illustrating an example of an operation related to the first photographing process. FIGS. 6A to 6C are diagrams for describing the first photographing process.

図5に示すように、検出制御部7gは、先ず、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、当該第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS21)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向に規則性があるか否かを判定する(ステップS22)。
すなわち、ユーザである被写体Sが第1の検出領域A1内に手のひらを配置させる場合(図6(a)参照)には、手のひらの移動方向は第1の検出領域A1の略下側から第1の検出領域A1の略中央に向けて直線状となり、第1の検出領域A1を構成する複数の画素の画素値も略下側から略中央に向けて順次変化していく。つまり、画素値の変化の方向が一直線に沿った規則性を有するものとなる。
As illustrated in FIG. 5, the detection control unit 7g first determines the relative pixel values of the plurality of pixels that form the first detection area A1 between the plurality of frame images acquired by the frame acquisition unit 7b. A pixel whose pixel value changes is specified among the plurality of pixels constituting the first detection area A1 (step S21). Subsequently, the detection control unit 7g detects the change direction of the pixel value from the specified pixel, and determines whether or not the change direction of the pixel value has regularity (step S22).
That is, when the subject S, who is a user, places the palm in the first detection area A1 (see FIG. 6A), the movement direction of the palm is first from the substantially lower side of the first detection area A1. The detection area A1 becomes a straight line toward substantially the center, and the pixel values of the plurality of pixels constituting the first detection area A1 also change sequentially from the substantially lower side toward the substantially center. That is, the change direction of the pixel value has regularity along a straight line.

ステップS22にて、画素値の変化の方向に規則性がないと判定されると(ステップS22;NO)、検出制御部7gは、処理をステップS21に戻し、それ以降の各処理を実行する。
一方、ステップS22にて、画素値の変化の方向に規則性があると判定されると(ステップS22;YES)、検出制御部7gは、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したか否かを判定する(ステップS23)。
すなわち、第1の検出領域A1内の所定位置(例えば、略中央等)に手のひらを配置させた状態(図6(b)参照)では、画素値の変化が停止する。
If it is determined in step S22 that there is no regularity in the change direction of the pixel value (step S22; NO), the detection control unit 7g returns the process to step S21 and executes the subsequent processes.
On the other hand, if it is determined in step S22 that the change direction of the pixel value is regular (step S22; YES), the detection control unit 7g includes pixels of a plurality of pixels that form the first detection region A1. It is determined whether or not the value change has stopped (step S23).
That is, in a state where the palm is placed at a predetermined position (for example, approximately the center) in the first detection area A1 (see FIG. 6B), the change of the pixel value is stopped.

ステップS23にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止していないと判定されると(ステップS23;NO)、検出制御部7gは、画素値の変化が停止したか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS23にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS23;YES)、表示部5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示Gをライブビュー画像Lに重畳させてOSD表示させる(ステップS24;図6(b)参照)。
If it is determined in step S23 that the change in the pixel values of the plurality of pixels constituting the first detection area A1 has not stopped (step S23; NO), the detection control unit 7g The process of determining whether or not the operation has been stopped is repeatedly executed at predetermined time intervals.
On the other hand, when it is determined in step S23 that the change in the pixel values of the plurality of pixels constituting the first detection area A1 has stopped (step S23; YES), the display unit 5 displays, for example, “preparation OK”. The guidance display G indicating that the object O is in a standby state for detecting the object O is superimposed on the live view image L and displayed in OSD (step S24; see FIG. 6B).

次に、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS25)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向が停止前と逆方向(例えば、略中央から略下側等)であるか否かを判定する(ステップS26)。
ここで、画素値の変化の方向が停止前と逆方向でないと判定されると(ステップS26;NO)、検出制御部7gは、処理をステップS21に戻し、それ以降の各処理を実行する。すなわち、第1撮影処理を最初からやり直すこととなるため、この場合、表示部5は、物体Oの検出の待機状態である旨を表す案内表示Gを停止させる。
Next, the detection control unit 7g specifies a pixel whose pixel value changes among the plurality of pixels constituting the first detection region A1 (step S25). Subsequently, the detection control unit 7g detects the direction of change of the pixel value from the specified pixel, and whether the direction of change of the pixel value is the reverse direction (for example, approximately from the center to approximately the lower side). It is determined whether or not (step S26).
Here, if it is determined that the change direction of the pixel value is not the reverse direction before the stop (step S26; NO), the detection control unit 7g returns the process to step S21, and executes the subsequent processes. That is, since the first photographing process is performed again from the beginning, in this case, the display unit 5 stops the guidance display G indicating that the object O is in a standby state.

一方、ステップS26にて、画素値の変化の方向が停止前と逆方向であると判定されると(ステップS26;YES)、検出部7cは、被写体Sの手のひら(物体O)を検出したものとみなし、撮影制御部7hは、被写体Sの撮影処理の実行を制御する(ステップS27)。具体的には、例えば、撮影制御部7hは、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS28)、当該第1撮影処理を終了する。
On the other hand, when it is determined in step S26 that the direction of change in pixel value is opposite to that before the stop (step S26; YES), the detection unit 7c detects the palm (object O) of the subject S. Therefore, the shooting control unit 7h controls execution of shooting processing of the subject S (step S27). Specifically, for example, the shooting control unit 7h sets a timer for automatically shooting the subject S after a predetermined time has elapsed, and when the predetermined time set by the timer has elapsed, the imaging unit 3 The image is captured and an image for recording is generated by the image processing unit 4.
Thereafter, the image recording unit 8 records the image data of the recording image transferred from the image processing unit 4 (step S28), and ends the first photographing process.

<第2撮影処理>
以下に、第2撮影処理について、図7及び図8を参照して説明する。
図7は、第2撮影処理に係る動作の一例を示すフローチャートである。また、図8(a)及び図8(b)は、第2撮影処理を説明するための図である。
<Second shooting process>
Hereinafter, the second imaging process will be described with reference to FIGS.
FIG. 7 is a flowchart illustrating an example of an operation related to the second imaging process. FIGS. 8A and 8B are diagrams for explaining the second imaging process.

図7に示すように、領域設定部7eは、フレーム画像内に第2の検出領域A2を設定する(ステップS31)。具体的には、領域設定部7eは、フレーム取得部7bにより取得された複数のフレーム画像について、隣合うフレーム画像との間での各画素の画素値の差分情報が所定の許容範囲内である領域の中で、物体Oの検出を可能な程度の面積を有し、第1の検出領域A1から最も近い位置(例えば、向かって右側の木の根元等)に存在する領域を第2の検出領域A2として設定する(図8(a)参照)。この場合、被写体Sの顔領域を避けることが望ましい。   As illustrated in FIG. 7, the region setting unit 7e sets the second detection region A2 in the frame image (step S31). Specifically, for the plurality of frame images acquired by the frame acquisition unit 7b, the region setting unit 7e has difference information of pixel values of each pixel between adjacent frame images within a predetermined allowable range. Among the areas, an area that has an area capable of detecting the object O and is present at a position closest to the first detection area A1 (for example, the root of the tree on the right side) is the second detection area. Set as A2 (see FIG. 8A). In this case, it is desirable to avoid the face area of the subject S.

次に、検出制御部7gは、第2の検出領域A2について、上記した第1撮影処理と略同様の処理を行う。すなわち、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第2の検出領域A2を構成する複数の画素の相対的な画素値に基づいて、当該第2の検出領域A2を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS32)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向に規則性があるか否かを判定する(ステップS33)。
すなわち、ユーザである被写体Sが第2の検出領域A2内に手のひらを配置させる場合(図8(b)参照)には、手のひらの移動方向は第2の検出領域A2の略下側から第2の検出領域A2の略中央に向けて直線状となり、第2の検出領域A2を構成する複数の画素の画素値も略下側から略中央に向けて順次変化していく。つまり、画素値の変化の方向が一直線に沿った規則性を有するものとなる。
Next, the detection control unit 7g performs substantially the same process as the first imaging process described above for the second detection area A2. That is, the detection control unit 7g performs the second detection region based on the relative pixel values of the plurality of pixels constituting the second detection region A2 between the plurality of frame images acquired by the frame acquisition unit 7b. Among the plurality of pixels constituting A2, a pixel whose pixel value changes is specified (step S32). Subsequently, the detection control unit 7g detects the change direction of the pixel value from the specified pixel, and determines whether or not the change direction of the pixel value has regularity (step S33).
That is, when the subject S, who is a user, places the palm in the second detection area A2 (see FIG. 8B), the movement direction of the palm is second from the substantially lower side of the second detection area A2. The detection area A2 is linear toward the approximate center, and the pixel values of the plurality of pixels constituting the second detection area A2 also change sequentially from the approximate lower side toward the approximate center. That is, the change direction of the pixel value has regularity along a straight line.

ステップS33にて、画素値の変化の方向に規則性がないと判定されると(ステップS33;NO)、検出制御部7gは、処理をステップS32に戻し、それ以降の各処理を実行する。
一方、ステップS33にて、画素値の変化の方向に規則性があると判定されると(ステップS33;YES)、検出制御部7gは、第2の検出領域A2を構成する複数の画素の画素値の変化が停止したか否かを判定する(ステップS34)。
すなわち、第2の検出領域A2内の所定位置(例えば、略中央等)に手のひらを配置させた状態では、画素値の変化が停止する。
If it is determined in step S33 that there is no regularity in the direction of change of the pixel value (step S33; NO), the detection control unit 7g returns the process to step S32 and executes the subsequent processes.
On the other hand, when it is determined in step S33 that the change direction of the pixel value is regular (step S33; YES), the detection control unit 7g includes pixels of a plurality of pixels that form the second detection region A2. It is determined whether or not the value change is stopped (step S34).
That is, in the state where the palm is placed at a predetermined position (for example, approximately the center) in the second detection area A2, the change in the pixel value is stopped.

ステップS34にて、第2の検出領域A2を構成する複数の画素の画素値の変化が停止していないと判定されると(ステップS34;NO)、検出制御部7gは、画素値の変化が停止したか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS34にて、第2の検出領域A2を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS34;YES)、表示部5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させる(ステップS35)。
If it is determined in step S34 that the change in the pixel values of the plurality of pixels constituting the second detection region A2 has not stopped (step S34; NO), the detection control unit 7g The process of determining whether or not the operation has been stopped is repeatedly executed at predetermined time intervals.
On the other hand, when it is determined in step S34 that the change in the pixel values of the plurality of pixels constituting the second detection area A2 has stopped (step S34; YES), the display unit 5 displays, for example, “preparation OK”. A guidance display indicating that the object O is in a standby state for detecting the object O or the like is superimposed on the live view image L and displayed in OSD (step S35).

次に、検出制御部7gは、第2の検出領域A2を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS36)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向が停止前と逆方向(例えば、略中央から略下側等)であるか否かを判定する(ステップS37)。
ここで、画素値の変化の方向が停止前と逆方向でないと判定されると(ステップS37;NO)、検出制御部7gは、処理をステップS32に戻し、それ以降の各処理を実行する。すなわち、第2撮影処理を最初からやり直すこととなるため、この場合、表示部5は、物体Oの検出の待機状態である旨を表す案内表示を停止させる。
Next, the detection control unit 7g specifies a pixel whose pixel value changes among the plurality of pixels constituting the second detection region A2 (step S36). Subsequently, the detection control unit 7g detects the direction of change of the pixel value from the specified pixel, and whether the direction of change of the pixel value is the reverse direction (for example, approximately from the center to approximately the lower side). It is determined whether or not (step S37).
Here, if it is determined that the change direction of the pixel value is not the reverse direction before the stop (step S37; NO), the detection control unit 7g returns the process to step S32, and executes the subsequent processes. That is, since the second photographing process is started again from the beginning, in this case, the display unit 5 stops the guidance display indicating that the object O is in a standby state.

一方、ステップS37にて、画素値の変化の方向が停止前と逆方向であると判定されると(ステップS37;YES)、検出部7cは、被写体Sの手のひら(物体O)を検出したものとみなし、撮影制御部7hは、被写体Sの撮影処理の実行を制御する(ステップS38)。具体的には、例えば、撮影制御部7hは、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS39)、当該第2撮影処理を終了する。
On the other hand, if it is determined in step S37 that the direction of change of the pixel value is opposite to that before the stop (step S37; YES), the detection unit 7c detects the palm (object O) of the subject S. Therefore, the imaging control unit 7h controls the execution of the imaging process for the subject S (step S38). Specifically, for example, the shooting control unit 7h sets a timer for automatically shooting the subject S after a predetermined time has elapsed, and when the predetermined time set by the timer has elapsed, the imaging unit 3 The image is captured and an image for recording is generated by the image processing unit 4.
Thereafter, the image recording unit 8 records the image data of the recording image transferred from the image processing unit 4 (step S39), and ends the second imaging process.

<第3撮影処理>
以下に、第3撮影処理について、図9及び図10を参照して説明する。
図9は、第3撮影処理に係る動作の一例を示すフローチャートである。また、図10(a)〜図10(c)は、第3撮影処理を説明するための図である。
<Third shooting process>
Hereinafter, the third imaging process will be described with reference to FIGS. 9 and 10.
FIG. 9 is a flowchart illustrating an example of an operation related to the third imaging process. FIGS. 10A to 10C are diagrams for explaining the third imaging process.

図9に示すように、画像情報取得部7fは、先ず、フレーム画像内の所定位置(例えば、中央下側等)に物体O(例えば、手のひら)の色情報を取得するための画像情報取得領域A0を設定する(ステップS41;図10(a)参照)。その後、ユーザが画像情報取得領域A0内に手のひらを配置して、画像情報取得部7fは、例えば、画像情報取得領域A0が設定されてから所定時間(例えば、2秒等)後に、撮像部3によりされたフレーム画像内の画像情報取得領域A0から物体Oの色情報を取得する(ステップS42;図10(b)参照)。   As shown in FIG. 9, the image information acquisition unit 7f first acquires an image information acquisition region for acquiring color information of an object O (for example, palm) at a predetermined position (for example, lower center) in the frame image. A0 is set (step S41; see FIG. 10A). Thereafter, the user places a palm in the image information acquisition area A0, and the image information acquisition unit 7f, for example, after a predetermined time (for example, 2 seconds) after the image information acquisition area A0 is set, The color information of the object O is acquired from the image information acquisition area A0 in the frame image obtained by (Step S42; see FIG. 10B).

次に、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき(ステップS43)、画素値の変化が停止したか否かを判定する(ステップS44)。
すなわち、ユーザである被写体Sが第1の検出領域A1内に手のひらを配置させると、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となり、手のひらの移動を停止させることで、画素値の変化が停止する(図10(c)参照)。
Next, the detection control unit 7g uses the first detection region based on the relative pixel values of the plurality of pixels constituting the first detection region A1 between the plurality of frame images acquired by the frame acquisition unit 7b. Among the plurality of pixels constituting A1, a pixel whose pixel value changes is specified (step S43), and it is determined whether or not the change of the pixel value is stopped (step S44).
That is, when the subject S who is the user places the palm in the first detection area A1, the relative pixel values of the plurality of pixels constituting the first detection area A1 change, and the movement of the palm is changed. By stopping, the change of the pixel value is stopped (see FIG. 10C).

ステップS44にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止していないと判定されると(ステップS44;NO)、検出制御部7gは、画素値の変化が停止したか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS44にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS44;YES)、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の色情報を取得して、画像情報取得領域A0から取得された物体Oの色情報と比較する(ステップS45)。そして、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出し、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値以上であるか否かを判定する(ステップS46)。
If it is determined in step S44 that the change in the pixel values of the plurality of pixels constituting the first detection area A1 has not stopped (step S44; NO), the detection control unit 7g The process of determining whether or not the operation has been stopped is repeatedly executed at predetermined time intervals.
On the other hand, when it is determined in step S44 that the change in the pixel values of the plurality of pixels constituting the first detection area A1 has stopped (step S44; YES), the detection control unit 7g The color information of a plurality of pixels constituting one detection area A1 is acquired and compared with the color information of the object O acquired from the image information acquisition area A0 (step S45). Then, the detection control unit 7g calculates the number of pixels in which the difference between the color information is within a predetermined allowable range among the plurality of pixels constituting the first detection region A1, and the calculated number of pixels It is determined whether the ratio of the plurality of pixels constituting the first detection area A1 to the total number is equal to or greater than a predetermined value (step S46).

ステップS46にて、比率が所定値以上でないと判定されると(ステップS46;NO)、検出制御部7gは、処理をステップS43に戻し、それ以降の各処理を実行する。
一方、ステップS46にて、比率が所定値以上であると判定されると(ステップS46;YES)、物体O(例えば、被写体Sの手のひら等)を検出したものとみなし、表示部5は、例えば、「準備OK」等の撮影の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させる(ステップS47)。
If it determines with a ratio not being beyond a predetermined value in step S46 (step S46; NO), the detection control part 7g will return a process to step S43, and will perform each subsequent process.
On the other hand, if it is determined in step S46 that the ratio is equal to or greater than the predetermined value (step S46; YES), it is assumed that the object O (for example, the palm of the subject S) has been detected, and the display unit 5 Then, a guidance display indicating that it is in a shooting standby state such as “preparation OK” is superimposed on the live view image L and displayed in OSD (step S47).

次に、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出し(ステップS48)、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値未満であるか否かを判定する(ステップS49)。
すなわち、ユーザである被写体Sは、第1の検出領域A1の外側に手のひらを移動させるようにして第1の検出領域A1内から離脱させることで、比率が所定値未満となる。
Next, the detection control unit 7g calculates the number of pixels in which the difference between the color information is within a predetermined allowable range among the plurality of pixels constituting the first detection area A1 in the frame image (Step S1). In S48, it is determined whether the ratio of the calculated number of pixels to the total number of the plurality of pixels constituting the first detection area A1 is less than a predetermined value (Step S49).
That is, the subject S, who is a user, moves away from the first detection area A1 by moving the palm outside the first detection area A1, so that the ratio becomes less than a predetermined value.

ステップS49にて、第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値未満でないと判定されると(ステップS49;NO)、検出制御部7gは、比率が所定値未満となったか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS49にて、第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値未満であると判定されると(ステップS49;YES)、撮影制御部7hは、被写体Sの撮影処理の実行を制御する(ステップS50)。具体的には、例えば、撮影制御部7hは、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS51)、当該第3撮影処理を終了する。
If it is determined in step S49 that the ratio of the plurality of pixels constituting the first detection area A1 to the total number is not less than the predetermined value (step S49; NO), the detection control unit 7g determines that the ratio is less than the predetermined value. The process of determining whether or not has occurred is repeatedly executed at predetermined time intervals.
On the other hand, if it is determined in step S49 that the ratio of the plurality of pixels constituting the first detection area A1 to the total number is less than a predetermined value (step S49; YES), the imaging control unit 7h The execution of the photographing process is controlled (step S50). Specifically, for example, the shooting control unit 7h sets a timer for automatically shooting the subject S after a predetermined time has elapsed, and when the predetermined time set by the timer has elapsed, the imaging unit 3 The image is captured and an image for recording is generated by the image processing unit 4.
Thereafter, the image recording unit 8 records the image data of the recording image transferred from the image processing unit 4 (step S51), and ends the third imaging process.

以上のように、本実施形態の撮像装置100によれば、第1の手法によりフレーム画像内から物体O(例えば、手のひら等)の検出が可能であるか否かを判定し、物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から物体Oを検出するように制御するので、フレーム画像内から物体Oを検出する際に、物体Oを検出する手法の異なる二つの手法を切替えて物体Oの検出を行うことができ、撮影のために検出する物体Oの誤検出を低減することができる。すなわち、例えば、被写体Sの背景等の撮影状況に応じて、物体Oの検出領域を切り替えたり、物体Oの検出方法を切り替えたりすることができ、これにより、フレーム画像内からの物体Oの検出を適正に行うことができる。
また、フレーム画像内から物体Oが検出されたことを契機として、被写体Sの自動撮影を行って記録用の画像を生成することができる。
As described above, according to the imaging apparatus 100 of the present embodiment, it is determined whether or not the object O (for example, a palm or the like) can be detected from the frame image by the first method, and the object O is detected. When it is determined that the object O is not possible, the control is performed so that the object O is detected from the frame image by the second method different from the first method. The object O can be detected by switching between two different methods for detecting O, and erroneous detection of the object O detected for photographing can be reduced. That is, for example, the detection region of the object O and the detection method of the object O can be switched according to the shooting situation such as the background of the subject S, and thereby the detection of the object O from the frame image. Can be performed properly.
In addition, when the object O is detected from the frame image, the subject S can be automatically captured to generate a recording image.

特に、フレーム画像内における第1の検出領域A1から第1の検出方法により物体Oを検出する手法と、フレーム画像内における第1の検出領域A1とは異なり、且つ、第1の検出方法により物体Oの検出が可能であると判定される第2の検出領域A2から当該第1の検出方法により物体Oを検出する手法とを切替えて物体Oの検出を行うことができる。すなわち、被写体Sの背景内における第1の検出領域A1にて、例えば、風で揺れている木の枝等の被写体S以外の異物体が動いている状態では、第1の検出領域A1を利用した物体Oの検出が困難となるため、この場合には、物体Oの検出領域を第1の検出領域A1とは異なる第2の検出領域A2とすることで、物体Oの誤検出を低減することができる。
また、第1の検出方法として、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づき、物体Oの状態の変化を検出する方法を用いることで、例えば、物体Oの色情報等の絶対的な画像情報を用いて当該物体Oの検出を行う方法に比べて処理を軽減することができ、物体Oの検出に際して省電力化を図ることができる。
In particular, the method of detecting the object O from the first detection area A1 in the frame image by the first detection method is different from the first detection area A1 in the frame image, and the object is detected by the first detection method. The object O can be detected by switching the method of detecting the object O by the first detection method from the second detection region A2 where it is determined that the detection of O is possible. That is, in the first detection area A1 in the background of the subject S, for example, when a foreign body other than the subject S such as a tree branch swaying in the wind is moving, the first detection area A1 is used. In this case, the detection area of the object O is set to the second detection area A2 different from the first detection area A1, thereby reducing erroneous detection of the object O. be able to.
As a first detection method, a change in the state of the object O is detected based on relative image information (for example, pixel value difference information) between a plurality of frame images sequentially captured by the imaging unit 3. By using the method, for example, the processing can be reduced compared to the method of detecting the object O using absolute image information such as color information of the object O, and power saving can be achieved when the object O is detected. Can be achieved.

また、第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、フレーム画像内で第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が存在しない場合には、第1の検出方法とは異なる第2の検出方法に切り替えて第1の検出領域A1から物体Oの検出を行うことができる。すなわち、被写体Sの背景内における第1の検出領域A1以外の略全ての領域にて、例えば、光線が乱反射する水面等の当該被写体S以外の異物体が動いている状態では、フレーム画像内に第2の検出領域A2を設定不可能となるため、この場合には、物体Oの検出方法を第1の検出方法とは異なる第2の検出方法とすることで、物体Oの誤検出を低減することができる。
また、第2の検出方法として、物体Oに係る絶対的な画像情報(例えば、物体Oの色情報等)に基づき第1の検出領域A1から物体Oを検出する方法を用いることで、例えば、複数のフレーム画像間の相対的な画像情報に基づいて物体Oの状態の変化を検出することができない状況であっても、フレーム画像内からの物体Oの検出を適正に行うことができる。
Further, it is determined that the object O cannot be detected from the first detection region A1 by the first detection method, and the object O can be detected by the first detection method in the frame image. When the detection area A2 does not exist, the object O can be detected from the first detection area A1 by switching to the second detection method different from the first detection method. That is, in a state where a foreign body other than the subject S such as a water surface where light rays are irregularly reflected moves in almost all regions other than the first detection region A1 in the background of the subject S, the frame image includes Since the second detection area A2 cannot be set, in this case, the detection method of the object O is changed to a second detection method different from the first detection method, thereby reducing erroneous detection of the object O. can do.
Further, as a second detection method, by using a method of detecting the object O from the first detection region A1 based on absolute image information (for example, color information of the object O) related to the object O, for example, Even in a situation in which a change in the state of the object O cannot be detected based on relative image information between a plurality of frame images, the object O can be properly detected from within the frame image.

また、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、複数のフレーム画像間における画像情報の変化の方向が停止前の方向と逆方向であることをこの順に検出した場合に、物体Oを検出したものとみなすようにすることで、第1の検出領域A1や第2の検出領域A2に対しての物体Oの進入動作、停止動作、離脱動作を利用して物体Oの検出を適正に行うことができる。すなわち、第1の検出領域A1や第2の検出領域A2に対しての物体Oの進入動作と離脱動作とが略等しい経路をたどる往復動作となることを条件とすることで、単純な動作態様を利用しつつ物体Oの誤検出を低減することができる。
このとき、複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体Oの検出の待機状態である旨を報知することで、ユーザの利便性を向上させることができる。
Further, based on relative image information (for example, pixel value difference information) between a plurality of frame images sequentially captured by the imaging unit 3, a rule is set in the direction of change of the image information between the plurality of frame images. The object O is detected when it is detected in this order that the change in the image information has stopped, the change in the image information between the plurality of frame images is opposite to the direction before the stop. Therefore, the object O is properly detected using the approach operation, the stop operation, and the separation operation of the object O with respect to the first detection area A1 and the second detection area A2. be able to. That is, a simple operation mode is provided on the condition that the entry operation and the withdrawal operation of the object O with respect to the first detection region A1 and the second detection region A2 are reciprocating operations that follow a substantially equal path. It is possible to reduce the erroneous detection of the object O while using.
At this time, based on the relative image information between the plurality of frame images, it is detected in order that there is regularity in the direction of change of the image information between the plurality of frame images and that the change of the image information has stopped. By using this as a trigger, the user's convenience can be improved by notifying that the object O is in a standby state.

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、第2の検出領域A2を設定可能か否かを判定することなく、物体Oに係る絶対的な画像情報(例えば、物体Oの色情報等)に基づき第1の検出領域A1から物体Oを検出する第2の検出方法に切り替えても良い。すなわち、例えば、被写体Sの背景内における一部分の領域である第1の検出領域A1にて、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づき、物体Oの状態の変化を検出する第1の検出方法を利用した物体Oの検出が困難である状況では、被写体Sの背景内における他の領域でも第1の検出方法を利用した物体Oの検出が困難であると考えられる場合もあるため、或いは、検出領域の位置が変わることをユーザが好ましく思わない場合もあるため、即座に、物体Oに係る絶対的な画像情報に基づき第1の検出領域A1から物体Oを検出する第2の検出方法に切り替えることで、第2の検出領域A2が設定可能か否かを判定する必要がなくなり、物体Oの検出に係る処理の高速化を図ることができる。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, in the above embodiment, when it is determined from the first detection area A1 that the object O cannot be detected by the first detection method, it is determined whether or not the second detection area A2 can be set. You may switch to the 2nd detection method which detects the object O from 1st detection area A1 based on the absolute image information (for example, the color information etc. of the object O) regarding the object O, without determining. That is, for example, relative image information (for example, pixel value difference) between a plurality of frame images sequentially captured by the imaging unit 3 in the first detection region A1 that is a partial region in the background of the subject S. In a situation where it is difficult to detect the object O using the first detection method for detecting a change in the state of the object O based on the information etc., the first detection method is used also in other regions in the background of the subject S. Since it may be considered that the detection of the used object O is difficult, or because the user may not like the change of the position of the detection area, the absolute image information related to the object O is immediately obtained. By switching to the second detection method for detecting the object O from the first detection area A1 based on the above, it is not necessary to determine whether or not the second detection area A2 can be set, and processing related to the detection of the object O High It is possible to achieve the reduction.

また、上記実施形態にあっては、物体Oとして、被写体Sの特定の部位である手のひらを例示したが、一例であってこれに限られるものではなく、例えば、手袋をした状態であっても良いし、頭や足等の被写体Sの他の部位であっても良い。さらに、物体O自体は、例えば、被写体Sを構成しないもの、すなわち、検出動作には用いられるものの実際には撮影されない検出専用の治具等であっても良い。   Further, in the above embodiment, the palm that is a specific part of the subject S is illustrated as the object O. However, the object O is not limited to this example. For example, the object O may be in a gloved state. It may be other parts of the subject S such as the head and feet. Furthermore, the object O itself may be, for example, an object that does not constitute the subject S, that is, a detection-dedicated jig that is used for the detection operation but is not actually photographed.

また、上記実施形態にあっては、相対的な画像情報に基づき物体Oを検出できなかった場合に、絶対的な画像情報に基づき物体Oを検出するようにしているが、例えば、相対的な画像情報に基づき物体Oを検出できなかった場合に、絶対的な画像情報の相対的な変化方向を更に検出するようにしても良い。すなわち、物体Oの色情報等の絶対的な画像情報を取得したのち、複数のフレーム画像間の第1の検出領域A1における絶対的な画像情報の相対的な変化に基づいて、これら複数のフレーム画像間における画素値の変化の方向を検出する。そして、検出した変化方向とは逆方向の絶対的な画像情報の相対的な変化を検出した際に撮影処理を実行する。これにより、より精度の高い物体Oの検出が可能となる。   Further, in the above embodiment, when the object O cannot be detected based on the relative image information, the object O is detected based on the absolute image information. When the object O cannot be detected based on the image information, the relative change direction of the absolute image information may be further detected. That is, after obtaining absolute image information such as color information of the object O, the plurality of frames are based on the relative change in the absolute image information in the first detection region A1 between the plurality of frame images. The direction of change in pixel value between images is detected. When a relative change in absolute image information in a direction opposite to the detected change direction is detected, a photographing process is executed. As a result, the object O can be detected with higher accuracy.

また、上記実施形態にあっては、物体Oの検出の待機状態である旨を表示部5の表示パネル5aに案内表示Gを表示して報知するようにしたが、一例であってこれに限られるものではなく、例えば、人の五感、特に、聴覚、触覚等によって当該報知を把握、認識させることができるものであれば如何なる態様であっても良い。例えば、所定の警告音(報知音)を放音したり、撮像装置100を所定の周期で振動させるようにしても良い。   Further, in the above embodiment, the guidance display G is displayed on the display panel 5a of the display unit 5 to notify that the object O is in a standby state, but this is only an example. For example, any form may be used as long as the notification can be grasped and recognized by human senses, in particular, hearing and touch. For example, a predetermined warning sound (notification sound) may be emitted or the imaging apparatus 100 may be vibrated at a predetermined cycle.

さらに、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。   Furthermore, the configuration of the imaging apparatus 100 is merely an example illustrated in the above embodiment, and is not limited thereto.

加えて、上記実施形態にあっては、検出手段、判定手段、検出制御手段、撮影制御手段としての機能を、中央制御部1の制御下にて、検出部7c、検出判定部7d、検出制御部7g、撮影制御部7hが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ(図示略)に、検出処理ルーチン、判定処理ルーチン、検出制御処理ルーチン、撮影制御処理ルーチンを含むプログラムを記録しておく。そして、検出処理ルーチンにより中央制御部1のCPUに、撮像部3により撮像されるフレーム画像内から物体Oを検出する機能を実現させるようにしても良い。また、判定処理ルーチンにより中央制御部1のCPUに、第1の手法によりフレーム画像内から物体Oの検出が可能であるか否かを判定する機能を実現させるようにしても良い。また、検出制御処理ルーチンにより中央制御部1のCPUに、物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から物体Oを検出するように制御する機能を実現させるようにしても良い。また、撮影制御処理ルーチンにより中央制御部1のCPUに、物体が検出されたことを契機として、撮像部3に記録用の画像を撮像させる撮影処理を制御する機能を実現させるようにしても良い。
In addition, in the above embodiment, the functions of the detection unit, the determination unit, the detection control unit, and the imaging control unit are controlled under the control of the central control unit 1, the detection unit 7c, the detection determination unit 7d, and the detection control. The configuration is realized by driving the unit 7g and the imaging control unit 7h. However, the configuration is not limited to this, and the configuration is realized by executing a predetermined program or the like by the CPU of the central control unit 1. Also good.
That is, a program including a detection processing routine, a determination processing routine, a detection control processing routine, and an imaging control processing routine is recorded in a program memory (not shown). And you may make it implement | achieve the function which detects the object O from the frame image imaged by the imaging part 3 by CPU of the central control part 1 by a detection process routine. In addition, the CPU of the central control unit 1 may perform a function of determining whether or not the object O can be detected from the frame image by the first method by the determination processing routine. Further, when it is determined by the detection control processing routine that the CPU of the central control unit 1 cannot detect the object O, the object O is detected from the frame image by the second method different from the first method. Thus, the control function may be realized. In addition, the CPU of the central control unit 1 may implement a function of controlling the shooting process that causes the imaging unit 3 to capture an image for recording when the object is detected by the shooting control processing routine. .

同様に、取得手段、報知手段についても、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。   Similarly, the acquisition unit and the notification unit may be realized by executing a predetermined program or the like by the CPU of the central control unit 1.

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。   Furthermore, as a computer-readable medium storing a program for executing each of the above processes, a non-volatile memory such as a flash memory or a portable recording medium such as a CD-ROM is applied in addition to a ROM or a hard disk. Is also possible. A carrier wave is also used as a medium for providing program data via a predetermined communication line.

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴とする撮像装置。
<請求項2>
前記第1の手法は、前記撮像画像内における第1の領域から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記撮像画像内における前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域から当該第1の検出方法により物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
<請求項3>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定された場合に、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である領域を前記第2の領域として物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
<請求項4>
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
<請求項5>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、物体に係る絶対的な画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項4に記載の撮像装置。
<請求項6>
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しないことが特定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項5に記載の撮像装置。
<請求項7>
前記第1の手法は、前記撮像画像内から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記第1の検出方法とは異なる第2の検出方法により前記撮像画像内から物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
<請求項8>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定された場合に、物体に係る絶対的な画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項7に記載の撮像装置。
<請求項9>
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項8に記載の撮像装置。
<請求項10>
前記第1の手法は、前記撮像画像内における所定の領域から、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき物体を検出する手法を含み、
前記検出手段は、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、前記複数のフレーム画像間における画像情報の変化の方向が前記停止前の方向と逆方向であることをこの順に検出した場合に、物体を検出したものとみなすことを特徴とする請求項1に記載の撮像装置。
<請求項11>
前記検出手段により、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体の検出の待機状態である旨を報知する報知手段を、更に備えることを特徴とする請求項10に記載の撮像装置。
<請求項12>
撮像装置を用いた撮像制御方法であって、
撮像手段により撮像される撮像画像内から物体を検出する処理と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する処理と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する処理と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する処理と、
を含むことを特徴とする撮像制御方法。
<請求項13>
撮像装置のコンピュータに、
撮像手段により撮像される撮像画像内から物体を検出する機能と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する機能と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する機能と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する機能と、
を実現させることを特徴とするプログラム。
Although several embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims attached to the application of this application will be added below. The item numbers of the claims described in the appendix are as set forth in the claims attached to the application of this application.
[Appendix]
<Claim 1>
Detecting means for detecting an object from within a captured image captured by the imaging means;
Determination means for determining whether or not an object can be detected from the captured image by the first means by the detection means;
Detection control means for controlling the object to be detected by the detection means from within the captured image by a second method different from the first method when the determination means determines that the object cannot be detected. When,
Taking an opportunity that an object is detected by the detection means, a shooting control means for controlling a shooting process for causing the imaging means to pick up an image for recording;
An imaging apparatus comprising:
<Claim 2>
The first method includes a method of detecting an object from a first region in the captured image by a first detection method,
The second method is different from the first region in the captured image, and from the second region in which the determination unit determines that the object can be detected by the first detection method. The imaging apparatus according to claim 1, further comprising a method of detecting an object by the first detection method.
<Claim 3>
The first detection method is a method of detecting a change in the state of an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit.
The determination means determines whether or not an object can be detected from the first region in the captured image by the first detection method;
The detection control unit detects an object in the captured image by the first detection method when the determination unit determines that the object cannot be detected from the first region by the first detection method. The imaging apparatus according to claim 2, wherein the detection unit is controlled so as to detect an object with a region that can be detected as the second region.
<Claim 4>
The detection control means determines that the object cannot be detected from the first region by the first detection method by the determination means, and detects the object by the first detection method in the captured image. When the second region that can be detected does not exist, the detection unit is controlled to detect an object from the first region by a second detection method different from the first detection method. The imaging apparatus according to claim 2.
<Claim 5>
The first detection method is a method of detecting a change in the state of an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit.
The determination means determines whether or not an object can be detected from the first region in the captured image by the first detection method;
The detection control means determines that the object cannot be detected from the first region by the first detection method by the determination means, and detects the object by the first detection method in the captured image. When the second area that can be detected does not exist, the object is detected by the second detection method that detects the object from the first area based on absolute image information related to the object. The imaging apparatus according to claim 4, wherein the detection unit is controlled.
<Claim 6>
An acquisition means for acquiring image information relating to a color from a predetermined region in the captured image as the absolute image information;
The detection control means determines that the object cannot be detected from the first region by the first detection method by the determination means, and detects the object by the first detection method in the captured image. Triggered by the fact that the second region that can be detected does not exist, causes the acquisition unit to acquire image information relating to a color from a predetermined region in the captured image, and the acquisition unit The said detection means is controlled to detect an object by the said 2nd detection method which detects an object from the said 1st area | region based on the image information which concerns on the acquired color, The Claim 5 characterized by the above-mentioned. Imaging device.
<Claim 7>
The first method includes a method of detecting an object from the captured image by a first detection method,
The imaging apparatus according to claim 1, wherein the second technique includes a technique of detecting an object from the captured image by a second detection method different from the first detection method.
<Claim 8>
The first detection method is a method of detecting a change in the state of an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit.
The determination unit determines whether or not an object can be detected from the captured image by the first detection method;
The detection control unit determines from the captured image based on absolute image information about the object when the determination unit determines that the object cannot be detected from the captured image by the first detection method. The imaging apparatus according to claim 7, wherein the detection unit is controlled to detect an object by the second detection method for detecting an object.
<Claim 9>
An acquisition means for acquiring image information relating to a color from a predetermined region in the captured image as the absolute image information;
The detection control means causes the acquisition means to start from a predetermined area in the captured image when the determination means determines that the object cannot be detected from the captured image by the first detection method. Control the detection means to detect the object by the second detection method for acquiring the image information relating to the color and detecting the object from the captured image based on the image information relating to the color acquired by the acquisition means. The imaging apparatus according to claim 8, wherein:
<Claim 10>
The first method includes a method of detecting an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit from a predetermined region in the captured image,
Based on the relative image information between the plurality of frame images, the detection means has regularity in the direction of change of the image information between the plurality of frame images, and the change of the image information has stopped. 2. The method according to claim 1, wherein when it is detected in this order that the direction of change in image information between the plurality of frame images is opposite to the direction before the stop, the object is regarded as being detected. The imaging device described.
<Claim 11>
Based on the relative image information between the plurality of frame images, the detection means has regularity in the direction of change of the image information between the plurality of frame images, and the change of the image information has stopped. The image pickup apparatus according to claim 10, further comprising notification means for notifying that the object is in a standby state for detection of objects in response to the sequential detection.
<Claim 12>
An imaging control method using an imaging device,
Processing for detecting an object from within a captured image captured by the imaging means;
A process of determining whether or not an object can be detected from the captured image by a first technique;
A process of controlling to detect an object from within the captured image by a second method different from the first method when it is determined that the object cannot be detected;
A process for controlling a photographing process for causing the image capturing unit to capture an image for recording when an object is detected;
An imaging control method comprising:
<Claim 13>
In the computer of the imaging device,
A function of detecting an object from a captured image captured by the imaging means;
A function for determining whether or not an object can be detected from the captured image by the first method;
A function of controlling to detect an object from within the captured image by a second method different from the first method when it is determined that the object cannot be detected;
A function of controlling a photographing process for causing the image capturing unit to capture an image for recording when an object is detected;
A program characterized by realizing.

100 撮像装置
1 中央制御部
5 表示部
5a 表示パネル
7 動作処理部
7a 状態判定部
7b フレーム取得部
7c 検出部
7d 検出判定部
7e 領域設定部
7f 画像情報取得部
7g 検出制御部
7h 撮影制御部
100 imaging device 1 central control unit 5 display unit 5a display panel 7 operation processing unit 7a state determination unit 7b frame acquisition unit 7c detection unit 7d detection determination unit 7e area setting unit 7f image information acquisition unit 7g detection control unit 7h imaging control unit

Claims (13)

撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴とする撮像装置。
Detecting means for detecting an object from within a captured image captured by the imaging means;
Determination means for determining whether or not an object can be detected from the captured image by the first means by the detection means;
Detection control means for controlling the object to be detected by the detection means from within the captured image by a second method different from the first method when the determination means determines that the object cannot be detected. When,
Taking an opportunity that an object is detected by the detection means, a shooting control means for controlling a shooting process for causing the imaging means to pick up an image for recording;
An imaging apparatus comprising:
前記第1の手法は、前記撮像画像内における第1の領域から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記撮像画像内における前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域から当該第1の検出方法により物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
The first method includes a method of detecting an object from a first region in the captured image by a first detection method,
The second method is different from the first region in the captured image, and from the second region in which the determination unit determines that the object can be detected by the first detection method. The imaging apparatus according to claim 1, further comprising a method of detecting an object by the first detection method.
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定された場合に、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である領域を前記第2の領域として物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
The first detection method is a method of detecting a change in the state of an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit.
The determination means determines whether or not an object can be detected from the first region in the captured image by the first detection method;
The detection control unit detects an object in the captured image by the first detection method when the determination unit determines that the object cannot be detected from the first region by the first detection method. The imaging apparatus according to claim 2, wherein the detection unit is controlled so as to detect an object with a region that can be detected as the second region.
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。   The detection control means determines that the object cannot be detected from the first region by the first detection method by the determination means, and detects the object by the first detection method in the captured image. When the second region that can be detected does not exist, the detection unit is controlled to detect an object from the first region by a second detection method different from the first detection method. The imaging apparatus according to claim 2. 前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、物体に係る絶対的な画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項4に記載の撮像装置。
The first detection method is a method of detecting a change in the state of an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit.
The determination means determines whether or not an object can be detected from the first region in the captured image by the first detection method;
The detection control means determines that the object cannot be detected from the first region by the first detection method by the determination means, and detects the object by the first detection method in the captured image. When the second area that can be detected does not exist, the object is detected by the second detection method that detects the object from the first area based on absolute image information related to the object. The imaging apparatus according to claim 4, wherein the detection unit is controlled.
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しないことが特定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項5に記載の撮像装置。
An acquisition means for acquiring image information relating to a color from a predetermined region in the captured image as the absolute image information;
The detection control means determines that the object cannot be detected from the first region by the first detection method by the determination means, and detects the object by the first detection method in the captured image. Triggered by the fact that the second region that can be detected does not exist, causes the acquisition unit to acquire image information relating to a color from a predetermined region in the captured image, and the acquisition unit The said detection means is controlled to detect an object by the said 2nd detection method which detects an object from the said 1st area | region based on the image information which concerns on the acquired color, The Claim 5 characterized by the above-mentioned. Imaging device.
前記第1の手法は、前記撮像画像内から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記第1の検出方法とは異なる第2の検出方法により前記撮像画像内から物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
The first method includes a method of detecting an object from the captured image by a first detection method,
The imaging apparatus according to claim 1, wherein the second technique includes a technique of detecting an object from the captured image by a second detection method different from the first detection method.
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定された場合に、物体に係る絶対的な画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項7に記載の撮像装置。
The first detection method is a method of detecting a change in the state of an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit.
The determination unit determines whether or not an object can be detected from the captured image by the first detection method;
The detection control unit determines from the captured image based on absolute image information about the object when the determination unit determines that the object cannot be detected from the captured image by the first detection method. The imaging apparatus according to claim 7, wherein the detection unit is controlled to detect an object by the second detection method for detecting an object.
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項8に記載の撮像装置。
An acquisition means for acquiring image information relating to a color from a predetermined region in the captured image as the absolute image information;
The detection control means causes the acquisition means to start from a predetermined area in the captured image when the determination means determines that the object cannot be detected from the captured image by the first detection method. Control the detection means to detect the object by the second detection method for acquiring the image information relating to the color and detecting the object from the captured image based on the image information relating to the color acquired by the acquisition means. The imaging apparatus according to claim 8, wherein:
前記第1の手法は、前記撮像画像内における所定の領域から、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき物体を検出する手法を含み、
前記検出手段は、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、前記複数のフレーム画像間における画像情報の変化の方向が前記停止前の方向と逆方向であることをこの順に検出した場合に、物体を検出したものとみなすことを特徴とする請求項1に記載の撮像装置。
The first method includes a method of detecting an object based on relative image information between a plurality of frame images sequentially captured by the imaging unit from a predetermined region in the captured image,
Based on the relative image information between the plurality of frame images, the detection means has regularity in the direction of change of the image information between the plurality of frame images, and the change of the image information has stopped. 2. The method according to claim 1, wherein when it is detected in this order that the direction of change in image information between the plurality of frame images is opposite to the direction before the stop, the object is regarded as being detected. The imaging device described.
前記検出手段により、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体の検出の待機状態である旨を報知する報知手段を、更に備えることを特徴とする請求項10に記載の撮像装置。   Based on the relative image information between the plurality of frame images, the detection means has regularity in the direction of change of the image information between the plurality of frame images, and the change of the image information has stopped. The image pickup apparatus according to claim 10, further comprising notification means for notifying that the object is in a standby state for detection of objects in response to the sequential detection. 撮像装置を用いた撮像制御方法であって、
撮像手段により撮像される撮像画像内から物体を検出する処理と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する処理と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する処理と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する処理と、
を含むことを特徴とする撮像制御方法。
An imaging control method using an imaging device,
Processing for detecting an object from within a captured image captured by the imaging means;
A process of determining whether or not an object can be detected from the captured image by a first technique;
A process of controlling to detect an object from within the captured image by a second method different from the first method when it is determined that the object cannot be detected;
A process for controlling a photographing process for causing the image capturing unit to capture an image for recording when an object is detected;
An imaging control method comprising:
撮像装置のコンピュータに、
撮像手段により撮像される撮像画像内から物体を検出する機能と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する機能と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する機能と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する機能と、
を実現させることを特徴とするプログラム。
In the computer of the imaging device,
A function of detecting an object from a captured image captured by the imaging means;
A function for determining whether or not an object can be detected from the captured image by the first method;
A function of controlling to detect an object from within the captured image by a second method different from the first method when it is determined that the object cannot be detected;
A function of controlling a photographing process for causing the image capturing unit to capture an image for recording when an object is detected;
A program characterized by realizing.
JP2015170149A 2015-08-31 2015-08-31 Imaging device, imaging control method, and program Active JP6693071B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015170149A JP6693071B2 (en) 2015-08-31 2015-08-31 Imaging device, imaging control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015170149A JP6693071B2 (en) 2015-08-31 2015-08-31 Imaging device, imaging control method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020072638A Division JP2020115679A (en) 2020-04-15 2020-04-15 Object detection device, detection control method, and program

Publications (2)

Publication Number Publication Date
JP2017050593A true JP2017050593A (en) 2017-03-09
JP6693071B2 JP6693071B2 (en) 2020-05-13

Family

ID=58280337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015170149A Active JP6693071B2 (en) 2015-08-31 2015-08-31 Imaging device, imaging control method, and program

Country Status (1)

Country Link
JP (1) JP6693071B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018201584A (en) * 2017-05-30 2018-12-27 株式会社電通 Water ar recording program and water ar goggle
JP2020115679A (en) * 2020-04-15 2020-07-30 カシオ計算機株式会社 Object detection device, detection control method, and program
CN114128251A (en) * 2019-07-19 2022-03-01 佳能株式会社 Image forming apparatus and control method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002252806A (en) * 2001-02-26 2002-09-06 Konica Corp Camera
JP2013183185A (en) * 2012-02-29 2013-09-12 Casio Comput Co Ltd Imaging apparatus, and imaging control method and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002252806A (en) * 2001-02-26 2002-09-06 Konica Corp Camera
JP2013183185A (en) * 2012-02-29 2013-09-12 Casio Comput Co Ltd Imaging apparatus, and imaging control method and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018201584A (en) * 2017-05-30 2018-12-27 株式会社電通 Water ar recording program and water ar goggle
CN114128251A (en) * 2019-07-19 2022-03-01 佳能株式会社 Image forming apparatus and control method thereof
CN114128251B (en) * 2019-07-19 2023-12-08 佳能株式会社 Image forming apparatus and control method thereof
US11863891B2 (en) 2019-07-19 2024-01-02 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP2020115679A (en) * 2020-04-15 2020-07-30 カシオ計算機株式会社 Object detection device, detection control method, and program

Also Published As

Publication number Publication date
JP6693071B2 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
JP5375744B2 (en) Movie playback device, movie playback method and program
US9779290B2 (en) Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images
JP5293206B2 (en) Image search apparatus, image search method and program
JP5935779B2 (en) Image processing apparatus, image processing method, and program
CN107087103B (en) Image pickup apparatus, image pickup method, and computer-readable storage medium
JP2010258552A (en) Image capturing apparatus and method, and program
JP5880135B2 (en) Detection apparatus, detection method, and program
JP2009147574A (en) Imaging apparatus, and program thereof
JP6693071B2 (en) Imaging device, imaging control method, and program
JP5448868B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US10423857B2 (en) Detecting apparatus for detecting subject
JP2020115679A (en) Object detection device, detection control method, and program
JP6024135B2 (en) Subject tracking display control device, subject tracking display control method and program
JP5228927B2 (en) Electronic device, operation control method and program
JP2011244214A (en) Motion picture reproducing apparatus, motion picture reproducing method and program
JP6432290B2 (en) Imaging apparatus, imaging control method, and program
JP6322964B2 (en) Imaging apparatus, imaging control method, and program
JP2009098850A (en) Arithmetic device and program of same
JP5644180B2 (en) Imaging apparatus, imaging method, and program
JP2009231966A (en) Imaging apparatus and program therefor
JP6443156B2 (en) Detection device, detection control method, and program
JP6724527B2 (en) Imaging device, imaging control method and program
JP2011114673A (en) Imaging apparatus and posture control program
JP2016092684A (en) Imaging apparatus, imaging control method, and program
JP2017117143A (en) Image processing device, image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R150 Certificate of patent or registration of utility model

Ref document number: 6693071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150