WO2011052120A1 - 撮影制御装置および撮影制御方法 - Google Patents
撮影制御装置および撮影制御方法 Download PDFInfo
- Publication number
- WO2011052120A1 WO2011052120A1 PCT/JP2010/005067 JP2010005067W WO2011052120A1 WO 2011052120 A1 WO2011052120 A1 WO 2011052120A1 JP 2010005067 W JP2010005067 W JP 2010005067W WO 2011052120 A1 WO2011052120 A1 WO 2011052120A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- area
- motion vector
- recognition
- imaging control
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Definitions
- the present invention performs wirelessly controlled shooting control without using a remote control transmitter, and relates to a shooting control device such as a digital camera capable of automatic shooting based on image recognition.
- the present invention relates to a technique for improving operability and efficiency to surely perform shooting at an intended timing.
- the present invention also relates to a shooting control method.
- Patent Document 1 shape recognition such as a V sign in a subject (see (a) in FIG. 10) or recognition of a movement locus such as an S-curve in the subject (see FIG. 10) for image data acquired by an image sensor. 10 (see (b)) or a pattern or color recognition such as a barcode included in the subject (see (c) in FIG. 10), the release control is disclosed when a corresponding item is detected. ing.
- a shooting operator designates a target mark on the display screen of the apparatus main body, and then the shooting operator moves so as to be reflected in the shooting field of view and puts his face at a position corresponding to the target mark.
- a method is disclosed that triggers if placed. That is, the photographing operator moves the target mark displayed on the through image display screen to designate a desired position in the photographing field of view. Thereafter, image recognition of the face of the specific person is performed for the target area corresponding to the designated position, and if it is recognized, a predetermined operation relating to photographing is performed using that as a trigger.
- Patent Document 3 eliminates the inconvenience of shooting at an unintended timing when shooting is immediately triggered by the establishment of autofocus. For example, if the V-sign of the subject person's hand is used as a shooting trigger, shooting can be performed at the intended timing. However, if autofocus is targeted at the V-sign, it is impossible to focus on the face of the subject person.
- the technique disclosed in Patent Document 3 is to clear these two problems. There, two camera operators are assumed. A person who operates the shutter button of the camera, and a person who performs a shooting trigger operation reflected in the camera. First, the operator A recognizes the face of the operator B as the subject by an operation with the camera body, and then performs autofocus.
- the operator A who fully presses the shutter button approaches the operator B and himself becomes a subject. Then, the operator B issues a V sign.
- a shooting process is executed using the V-sign as a shooting trigger (paragraphs [0035] to [0051], especially [0047], [0048], [0050], [0051]. ] And FIGS. 2, 3, and 5).
- predetermined shape data, motion data, and pattern data that are used as a reference for pattern recognition such as V-sign, shape recognition such as S-curve, and pattern recognition such as barcode are registered in a predetermined storage area in advance.
- pattern recognition such as V-sign
- shape recognition such as S-curve
- pattern recognition such as barcode
- a trajectory in which a human can operate a trajectory of a circle, triangle, square, alphabet, hiragana, mark, etc.
- the area for detecting motion in the acquired image data is the entire area of the screen, but monitoring the entire area of the screen places a heavy load on the CPU.
- the entire screen area is monitored, if a moving object such as a bird or airplane enters the background, it may be mistakenly recognized as a sign and may be shot at an unintended timing. .
- the cause of these inconveniences is that the monitoring area (image recognition area) is the entire area of the screen and is not limited to the small area, but is widely diffused.
- Patent Document 2 there are too many tasks forcing the photographing operator prior to photographing. It is necessary to perform operations such as registering a specific person's image, setting the self-timer mode, selecting a specific person within the registered person, and setting the target area by moving the target mark. It has become. Furthermore, regarding the designation of the target area, the imaging operator does not necessarily designate the optimum area, and there is a problem that the accuracy of motion detection of the recognition target tends to deteriorate. In addition, depending on the size of the designated target area, the amount of data to be subjected to image processing becomes too large, and it takes a long time to perform the release process, which makes it impossible to perform a release operation at an optimal timing.
- the area in which the signature is detected in the acquired image data G is the entire area of the screen, but monitoring the entire area of the screen places a heavy load on the CPU. It will be.
- the entire screen area is monitored, if a moving object such as a bird or airplane enters the background, it may be mistakenly recognized as a sign and may be shot at an unintended timing. .
- the movement of the hand that draws the character “1” is detected by the motion vector between the image data, the amount of data to be processed becomes enormous, and it is necessary to mount a large-scale and high-performance CPU. However, it is difficult to realize it from the cost aspect. If the detection accuracy is low, it takes time for actual use, and it takes a long time for the release process, and the release operation may not be performed at an optimal timing.
- the present invention has been created in view of such circumstances, and in a shooting control apparatus that performs shooting control of remote operation wirelessly without using a remote control transmitter, shooting at the timing intended by the shooting operator is ensured.
- the present invention solves the above problems by taking the following measures.
- the face area of the subject is detected, and then it is monitored whether the detected face area is stabilized in position, and if it is stabilized, the image recognition area (trigger area) is set within a predetermined range based on the stable detected face area.
- the image recognition area is arbitrary such as a certain range of the chest, a certain range of the side of the face, a certain range of the upper side of the head, a certain range of the side of the waist, and its size and number are also arbitrary.
- This image recognition area may be single or plural. In the case of a single case, the distance is determined in a certain direction and a certain distance from the detected face area.
- a desired one is selected from a plurality of image recognition areas having various directions and distances from the detected face area. Subsequently, the determined image recognition area is examined to monitor whether there is movement in the image recognition area and whether the movement is predetermined. About this movement, a hand is moved (rotation, right-and-left reciprocation (waving a hand), up-and-down reciprocation, slanting reciprocation, etc.), and it is arbitrary.
- a predetermined control signal related to photographing is generated according to the recognition result of the movement.
- the predetermined thing refers to rotation, left and right reciprocation, up and down reciprocation, slant reciprocation, and open by connecting.
- Predetermined thing and “authentication result” may be just one item or a plurality of items.
- the predetermined control is control related to one operation such as releasing a shutter if a motion is detected in the image recognition area.
- the first control is performed for the first motion detection
- the second control is performed for the second motion detection
- the nth motion detection is performed for the nth motion detection. It is configured to perform control.
- the first control is performed when the movement of A is detected and then the movement of B is detected.
- the second control is performed.
- Detecting that the detected face area is stable in position can be called “static” detection. Further, detecting a motion and whether the motion is a predetermined one can be referred to as “motion” detection.
- the transition from the detection of “static” to the detection of “motion” is one condition.
- the shooting operator who is also the subject first stops the movement of the body (the face position is stable) within the shooting field of view, and then moves a part of the body such as the hand within a specific range. As a result, the imaging control device generates a predetermined control signal. The shooting operator only needs to stop the movement of the body within the shooting field of view and move a part of the body such as the hand within a specific range. Just by that, you can shoot at the intended timing.
- this means determination of stabilization of the position of the detected face region, setting of the image recognition region, and detection of a motion vector change in the image recognition region.
- Various techniques for detecting the face area have already been developed. It is also easy to determine the stabilization of the position of the detected face area.
- Various techniques for changing motion vectors in the image recognition area have already been developed.
- the technical point of the present invention is to set the image recognition area within a predetermined range based on the detected face area, but this is not technically difficult.
- the position of the image recognition area it is only necessary to determine in advance how many pixels each position is displaced in the horizontal and vertical scanning directions from the detected face area where the position is stabilized.
- the present invention thus [1] Detection of a face area and a step of waiting for stabilization of the position of the detected face area (this is a so-called “static” detection step) [2] Step for determining and setting an image recognition area based on a detected face area whose position is stabilized [3] A step for detecting a predetermined motion in the image recognition area (this is a so-called “motion” detection step) ) A series of steps (“static” detection ⁇ image recognition area ⁇ “motion” detection).
- the technical point of the present invention lies in organically linking these three technical items in order to solve the problems recognized in the prior art.
- the imaging control apparatus of the present invention includes an imaging device 1, a face region detector 2, a recognition region setting unit 3, a motion vector extractor 4, an image recognition unit 5, and an imaging control.
- a container 6 is provided.
- the face area detector 2 takes in the image data G of the subject obtained by the imaging device 1, detects a face area K composed of position information and size information of the face of the subject in the image data G, and detects the face area K It is configured to have a function of passing information to the recognition area setting unit 3.
- the recognition area setting unit 3 monitors whether the face area K detected by the face area detector 2 is positionally stable, determines an image recognition area N within a predetermined range with reference to the stable detection face area K, and It is configured to have a function of passing information on the defined image recognition area N to the motion vector extractor 4.
- the motion vector extractor 4 examines the image recognition area N set by the recognition area setting unit 3, extracts a motion vector change V on the time axis for an arbitrary operation in the image recognition area N, and extracts the extracted motion vector change V. Is transferred to the image recognizer 5.
- the image recognizer 5 is configured to recognize whether or not the motion vector change V is a predetermined one and to pass the recognition result to the imaging controller 6.
- the imaging controller 6 is configured to generate a predetermined control signal related to imaging according to the recognition result by the image recognizer 5.
- the imaging control apparatus is A face area detector 2 for detecting a face area K composed of position information and size information of the face of the subject in the image data G sent from the image pickup device 1;
- a recognition area setting unit 3 that monitors whether the face area K detected by the face area detector 2 is stable in position and determines an image recognition area N within a predetermined range with reference to the stable detection face area K;
- a motion vector extractor 4 that examines the image recognition area N set by the recognition area setting unit 3 and extracts a motion vector change V on the time axis for an arbitrary operation in the image recognition area N;
- An image recognizer 5 for recognizing whether the motion vector change V by the motion vector extractor 4 is a predetermined one;
- a shooting controller 6 that generates a predetermined control signal related to shooting according to a recognition result by the image recognizer 5; It is set as the structure provided with.
- the image pickup device 1 is not an essential component but an external component.
- the shooting control method is: Detecting a face region K composed of position information and size information of the face of the subject in the image data G sent by imaging; Monitoring whether the detected face area K is positionally stable, and determining the image recognition area N within a predetermined range with reference to the stable detected face area K; Examining the set image recognition area N and extracting a motion vector change V on the time axis for any operation in the image recognition area N; Recognizing whether the motion vector change V is a predetermined one; Generating a predetermined control signal related to shooting according to the recognition result of the motion vector change V; Is included.
- the photographing operator who is also a subject stops the movement of the body within the photographing field of view, determines the face position, and then moves a part of the body such as the hand within a specific range corresponding to the image recognition area N.
- the imaging control device can generate a predetermined control signal. That is, the movement of the subject is captured by the image pickup device 1 and passed to the face area detector 2.
- the face area detector 2 detects a face area K including position information and size information of the face of the subject in the captured image data G of the subject (see (b) in FIG. 1), and information on the detected face area K.
- the recognition area setting unit 3 monitors whether the detected face area K is stabilized in position, and if it is stabilized, sets the image recognition area N within a predetermined range with reference to the stable detected face area K (see FIG. 1 (see (c)), the motion vector extractor 4 is notified.
- the motion vector extractor 4 examines the image recognition area N, extracts a motion vector change V on the time axis for an arbitrary operation in the image recognition area N, and passes the extracted motion vector change V to the image recognizer 5.
- the image recognizer 5 recognizes whether or not the motion vector change V is a predetermined one (see (d) in FIG. 1), and passes the recognition result to the imaging controller 6.
- the shooting controller 6 generates a predetermined control signal related to shooting according to the recognition result by the image recognizer 5.
- the camera operator only needs to stop the body movement in the object scene and move a part of the body such as the hand within a specific range corresponding to the image recognition area N. With that alone, you can shoot at the intended timing.
- the image recognition area N is determined within a predetermined range with reference to the detected face area K, and in what direction and how far away from the detected face area K is determined in advance. The accuracy of motion detection is high.
- the photographing field of view is wider than the detected face area K. It is a heavy burden in the prior art to search all areas of the imaging field of view in order to determine where the sign is generated within the wide imaging field of view, but in the present invention, the detection face area K is used as a reference.
- the characteristics of the present invention can be stated as follows.
- the means for realizing the arrangement is not integrated in the apparatus as in the prior art, but the apparatus and the shooting operator are linked via the instruction manual and are stored in the shooting operator's memory. Matters occupy a big weight. That is, it is a memory of “stopping the body movement within the photographing field of view, determining the face position, and then moving a part of the body such as the hand within a specific range”. However, the memory and operation of “stopping the body movement within the shooting field of view, determining the face position, and then moving a part of the body such as the hand within a specific range” is hardly a burden on the shooting operator. .
- the apparatus side also detects the face area K from the image data G of the subject, waits for the stability of the detected face area K, sets the image recognition area N based on the detected face area K, and moves the motion vector in the image recognition area N. Extracting and determining the change V is relatively insignificant as compared to the computation of a huge amount of processing that takes the complicated steps accepted in the prior art.
- the device can be realized without imposing much burden of increase in circuit scale and cost.
- the image recognition area N can be set quickly and easily, and the processing speed and efficiency in this respect can be improved.
- the imaging control device having the above-described configuration (1), prior to starting the sequence including the above-described series of steps, the imaging control device is inspected for shaking and confirmed to be free from shaking. It is conceivable that the above sequence is started for the first time.
- a camera shake detector 7 for detecting the vibration of the apparatus main body is further used.
- the camera shake detector 7 determines that the imaging control device is fixed to, for example, a tripod by detecting a continuous vibration-free state of the imaging control device. That is, it is automatic detection of the remote photographing situation itself by hand shake detection.
- a camera shake detector that activates the recognition area setting unit 3 and the image recognition unit 5. 7 is provided.
- the camera shake detector 7 determines that there is vibration of the imaging control device, the recognition area setting unit 3 and the image recognizer 5 are not activated, and the above sequence does not function. If it is determined that there is no continuous vibration, the recognition area setting unit 3 and the image recognition unit 5 are activated, and the above-described series of sequences is made to function.
- Determining that the imaging control device is in a fixed state can be called “static” detection.
- static detection As a condition prior to the above [1], [2], [3], [0] If the fixed state determination of the imaging control device that is detection of “static” is put, [0] Fixed state determination of imaging control device that is detection of “still” [1] Waiting for detection of face area and stabilization of position of detected face area that is detection of “still” [2] Position is stabilized Determination of Image Recognition Area Based on Detected Face Area [3] This is a combination of a series of steps for detecting a predetermined motion in the image recognition area N, which is detection of “motion”. “Still” ⁇ “Still” ⁇ Image recognition area ⁇ “Motion”. Since one condition is added as compared with the case of (1) above, it is possible to improve the reliability of the control, and since the function of the camera shake detector 7 that is generally mounted is used, There is no need to overcomplicate the configuration.
- the image recognition area is determined based on the detected face area whose position is stabilized, the motion vector change in the image recognition area is recognized as a predetermined one, and the result is recognized.
- a shooting operator it is only necessary to stop the movement of the body within the field of view and move a part of the body such as the hand within a specific range equivalent to the image recognition area. Reliable shooting at the timing intended by the operator can be realized.
- the image recognition area is relatively small and the accuracy of motion vector change determination is high. Since malfunctions are suppressed, the burden on the device control unit and the calculation unit is greatly reduced, and it is possible to suppress an increase in circuit scale and increase processing speed and efficiency.
- FIG. 1 is a block diagram showing a basic configuration of a photographing control apparatus according to the present invention.
- FIG. 2 is a block diagram (No. 1) showing the configuration of one aspect of the basic configuration of the imaging control apparatus according to the present invention.
- FIG. 3 is a block diagram (No. 2) showing the configuration of one aspect of the basic configuration of the imaging control apparatus according to the present invention.
- FIG. 4 is an explanatory diagram of an operation of one aspect of the basic configuration of the imaging control apparatus according to the present invention.
- FIG. 5 is a block diagram showing the configuration of the imaging control apparatus in the embodiment of the present invention.
- FIG. 6 is a flowchart showing the operation of the imaging control apparatus in the embodiment of the present invention.
- FIG. 1 is a block diagram showing a basic configuration of a photographing control apparatus according to the present invention.
- FIG. 2 is a block diagram (No. 1) showing the configuration of one aspect of the basic configuration of the imaging control apparatus according to the present invention.
- FIG. 3 is a block diagram
- FIG. 7 is a subject composition for explaining the operation of the photographing control apparatus in the embodiment of the present invention.
- FIG. 8 is an explanatory diagram (part 1) of the operation of the imaging control apparatus in the embodiment of the present invention.
- FIG. 9 is an explanatory diagram (part 2) of the operation of the photographing control apparatus according to the embodiment of the present invention.
- FIG. 10 is an explanatory diagram of image processing for realizing the conventional automatic photographing mode.
- the imaging control device of the present invention having the above-described configurations (1) and (2) can be further advantageously developed in the following embodiment.
- the camera shake detector 7 having the configuration of (2) above, there is a preferable aspect in which it is configured by a gyro sensor. If it is implemented using a gyro sensor, the accuracy of camera shake detection is high while being simple.
- the recognition area setting unit 3 configured as described above in (1) to (3) has the following preferable modes. That is, a chest area corresponding to a predetermined range of the chest of the subject person in the detected face region K is determined for the image recognition region N determined within a predetermined range with reference to the stable detected face region K by the face region detector 2. It is. The motion vector change V on the time axis is extracted for an arbitrary operation in this chest area.
- An imaging operator who is also a subject, when performing an operation for generating a predetermined control signal related to imaging, is the area where the operation should be performed, the area of his chest is the easiest to understand, memorize, and operate easily It is an area. Even on the apparatus side, the relative positional relationship (direction and distance) from the detected face region K is very simple, and the amount of calculation processing can be reduced.
- the face area detector 2 configured as described in the above (1) to (4) has the following preferable modes.
- the face area detector 2 detects the face area of a person in the image data G of a predetermined frame among a plurality of frames constituting the moving image during display of the through image from the image pickup device 1. At this time, it shall detect continuously for every flame
- a series of sequence processing image signal processing, resizing processing, face detection processing, motion vector detection processing, compression processing, and parallel processing of display processing
- image data G is being displayed.
- the face detection process is also performed.
- the face area (face position and size information) of a person in a predetermined frame image among a plurality of frames realizing a moving image is continuously detected for each frame, and the information obtained by the detection is used as a motion vector in the next stage. This is passed to the extractor 4.
- the motion vector extractor 4 and the image recognizer 5 have the following preferable modes. If it is determined that the image device is fixed by the camera shake detector 7 during the display of the through image from the image pickup device 1, the motion vector extractor follows the face region detector 2 and the recognition region setter 3. 4 and the image recognizer 5 are activated. This organically connects a series of operations by these plural vessels.
- the motion vector extractor 4 configured as described in the above (1) to (6) has the following preferable modes. This will be described with reference to FIG.
- the moving picture compressor 8 performs moving picture compression on the resized image, but the motion vector extractor 4 is configured to function as an intermediate process of moving picture compression in the moving picture compressor 8, and a motion vector in units of basic blocks. And the temporal change between a plurality of frames constituting the moving image is extracted.
- a motion vector change V on the time axis is extracted for an arbitrary operation in the image recognition region N.
- the resized image may be an arbitrarily resized moving image of the moving image standard size, or may be an image resized to the display size in the apparatus main body.
- the moving picture compressor 8 mounted on the photographing control apparatus has a function of extracting a motion vector as an intermediate process of the moving picture compression. This is to use the motion vector extractor 4.
- the image recognizer 5 for recognizing whether the motion vector change V having the configurations (1) to (7) is a predetermined one has the following preferable modes.
- the image recognizer 5 recognizes that the motion vector change V during a certain period by the motion vector extractor 4 is a predetermined one during display of the through image from the image pickup device 1, a shooting trigger signal is generated. It is to do. This means that the processing of the main theme of the present invention is performed in a so-called monitor mode.
- the image recognizer 5 also has the following preferred modes.
- the condition for generating the shooting trigger signal is that the motion vector change V during a certain period is a predetermined one, and this is that the motion vector change V is a periodic change. That is, when the image recognizer 5 recognizes that the motion vector change V by the motion vector extractor 4 is a periodic change, it generates a shooting trigger signal. Since the periodic change is captured, the detection accuracy of the motion vector change V is increased.
- the image recognizer 5 may recognize a continuous rotational motion for a certain period in the image recognition area N while displaying the through image from the image pickup device 1.
- the image recognizer 5 may recognize a continuous linear motion for a certain period in the image recognition area N while displaying the through image from the image pickup device 1.
- the image recognizer 5 When the image recognizer 5 recognizes that the motion vector change V by the motion vector extractor 4 is a large change exceeding the range of the image recognition area N, it determines whether the change is repeated periodically. In addition, there is also an aspect in which a shooting trigger signal is generated when a repetition is recognized. As shown in FIGS. 4A and 4B, when there is a periodic motion vector change V within the image recognition area N, it is relatively easy to determine that it is periodic. On the other hand, when the motion vector change V protrudes from the image recognition area N as shown in (c) and (d) in FIG. 4, the movement is not periodic but transient in the image recognition area N. It will be judged.
- the imaging controller 6 having the configuration (1) to (12) has the following preferable modes.
- the control of the release operation is executed when the image recognition of the predetermined recognition object by the image recognizer 5 is established, and the continuation of the image recognition operation is executed when the image recognition is not established.
- FIG. 5 is a block diagram showing a configuration of an image pickup apparatus on which the photographing control apparatus according to the embodiment of the present invention is mounted.
- the imaging apparatus 100 is a single-plate digital camera that converts an optical image of a captured subject into digital image data G and records it on a recording medium 35. First, an overall outline of the imaging apparatus 100 will be described, and then the description will be shifted to an explanation of the part corresponding to the invention.
- the imaging unit 10 includes an optical lens 11, an optical low-pass filter (LPF) 12, a color filter 13, an imaging device 14, and an analog front end unit 15.
- the image sensor 14 is an image sensor represented by a CCD type or a CMOS type. A large number of photodiodes (photosensitive pixels) are two-dimensionally arranged on the light receiving surface of the image sensor 14 and photoelectrically convert subject information that has passed through the optical lens 11.
- the optical low-pass filter 12 has an action of removing a high frequency component equal to or higher than the sampling frequency depending on the pixel pitch of the image sensor 14 and the like (the high frequency component of the key signal is reduced in the final image after image reproduction (signal processing)).
- the color filter 13 has a predetermined color arrangement such that any one of R, G, and B is present at a position corresponding to one pixel of the image sensor 14, and the color of light incident on the photodiode that is a light receiving element Make a selection.
- the light that has passed through the optical lens 11 passes through the optical low-pass filter 12 and the color filter 13 and enters the image sensor 14.
- the subject image formed on the light receiving surface of the image sensor 14 is converted into a signal charge of an amount corresponding to the amount of incident light by each photodiode, and a voltage corresponding to the signal charge based on a pulse supplied from a driver circuit (not shown).
- the image sensor 14 has an electronic shutter function that controls the charge accumulation time (shutter speed) of each photodiode according to the timing of the shutter gate pulse.
- the operation (exposure, reading, etc.) of the image sensor 14 is controlled by the CPU 21.
- the image signal output from the image sensor 14 is sent to the analog front end unit 15 and is converted into a digital signal by A / D conversion processing after processing such as analog gain and CDS (correlated double sampling).
- a / D conversion processing after processing such as analog gain and CDS (correlated double sampling).
- analog gain and CDS correlated double sampling
- the A / D-converted image data G is recorded on the recording medium 35 through necessary signal processing according to the operation mode of the imaging apparatus 100 or without signal processing.
- the imaging apparatus 100 of this example includes a JPEG format, MPEG format, H.264 format. It is possible to record still images and moving images in a compressed data format such as H.264 format, and to record RAW image data (raw data) immediately after A / D conversion. Further, the shake of the image pickup apparatus 100 is detected using the shake detection unit 40, and the detected shake amount is fed back to the sensor unit unit including the optical lens 11 and the image pickup device 14, so that the optical shake correction and the shake correction by the sensor shift are performed. Is called.
- the camera shake detection unit 40 uses a gyro sensor.
- the A / D converted image data G is sent to the image signal processing unit 27 via the preprocessing unit 24.
- the pre-processing unit 24 and the image signal processing unit 27 are synchronized (processing for calculating the color of each point by interpolating a spatial shift of the color signal associated with the color filter array), white balance (WB) adjustment, and gamma correction.
- An image processor that performs various processes such as luminance / color difference signal generation, contour enhancement, scaling (enlargement / reduction) processing using an electronic zoom function, and pixel number conversion (resizing) processing. Process the signal.
- the pre-processing unit 24 and the image signal processing unit 27 include an image memory 26 that can temporarily store an image being processed via the memory control unit 25, and performs image signal processing while using the image memory 26.
- the image data G that has undergone predetermined signal processing in the preprocessing unit 24 and the image signal processing unit 27 is recorded as standardized size image data or displayed on the liquid crystal monitor via the monitor interface 33.
- the processing unit 29 changes the image size to the standard size.
- the face area detection unit 30 detects information such as the position / size / tilt of the person's face as necessary. Further, the resized image data G is sent to the compression / decompression unit 28 and is compressed according to various compression formats. A compression encoding algorithm corresponding to the compression format used at this time is used. MPEG format, H.264
- the resize data or the resized image is input from the image memory 26 via the memory control unit 25 in the compression / decompression unit 28 by parallel processing. After the frame data to be read and input are compressed, the compressed data is stored in the memory space by writing back to the image memory 26.
- the recording medium 35 for storing image data is not limited to a semiconductor memory represented by a memory card, and various media such as a magnetic disk, an optical disk, and a magneto-optical disk can be used. Further, the recording medium (internal memory) built in the imaging apparatus 100 is not limited to a removable medium.
- the CPU 21 is a control unit that performs overall control of the camera system according to a predetermined program, and controls the operation of each circuit in the imaging apparatus 100 based on an instruction signal from the operation panel 34.
- the ROM 22 stores programs executed by the CPU 21 and various data necessary for control, and the RAM 23 is used as a work area for the CPU 21.
- the operation panel 34 is a device for a user to input various instructions to the imaging apparatus 100.
- a mode selection switch for selecting an operation mode of the imaging apparatus 100, a menu item selection operation (cursor movement operation), and the like.
- a cross key for inputting instructions such as frame advance / rewind of playback images, an execution key for instructing selection (registration) and execution of an operation, and a selection item for erasing a desired target and canceling the instruction
- Various operation devices such as a cancel key, a power switch, a zoom switch, and a release switch are included.
- the CPU 21 controls the image pickup unit 10 such as the image pickup device 14 according to various shooting conditions (exposure conditions, presence / absence of strobe light emission, shooting mode, etc.) in accordance with an instruction signal input from the operation panel 34, and automatic exposure (AE). Control, automatic focus adjustment (AF) control, auto white balance (AWB) control, lens drive control, image processing control, read / write control of the recording medium 35, and the like are performed.
- shooting conditions Exposure conditions, presence / absence of strobe light emission, shooting mode, etc.
- AE automatic exposure
- Control automatic focus adjustment (AF) control, auto white balance (AWB) control, lens drive control, image processing control, read / write control of the recording medium 35, and the like are performed.
- the CPU 21 performs automatic focus adjustment (AF) control when detecting half-pressing of the release switch, and starts exposure and reading control for capturing a recording image when detecting full-pressing of the release switch. Further, the CPU 21 sends a command to a strobe control circuit (not shown) as necessary to control the light emission of a flash light emitting tube (light emitting unit) such as a xenon tube.
- AF automatic focus adjustment
- a strobe control circuit not shown
- the pre-processing unit 24 includes an automatic calculation unit that performs calculations necessary for automatic exposure control and automatic focus adjustment control, and performs focus evaluation value calculation and AE calculation based on an image signal captured in response to half-pressing of the release switch. And the result of the calculation is transmitted to the CPU 21.
- the CPU 21 controls a lens driving motor (not shown) based on the result of the focus evaluation value calculation, moves the optical lens 11 to the in-focus position, and moves the aperture and electronic shutter. To control exposure.
- the captured image data G is recorded on the recording medium 35 according to the recording mode.
- the digital camera has a display processing unit 32 and a monitor interface 33 in order to realize a display constituted by a liquid crystal monitor.
- the operation starts in a basic mode called a monitor mode, and the preprocessing is performed on the frame data continuously output from the image sensor 14.
- Image signal processing, resizing processing, face area detection processing, compression processing, motion vector detection processing, and display processing are performed in parallel as one sequence processing, and a through image is displayed on the liquid crystal monitor.
- the image pickup unit 10 corresponds to the image pickup device 1 in [Means for Solving the Problems] described above, the face region detection unit 30 corresponds to the face region detector 2, and the CPU 21 recognizes the recognition region setting device 3 and the image recognition device 5.
- the compression / decompression unit 28 includes the function of the motion vector extractor 4, and the program of the CPU 21 corresponds to the shooting controller 6 that generates a predetermined control signal related to shooting according to the recognition result of a predetermined recognition target.
- the camera shake detection unit 40 corresponds to the camera shake detector 7.
- FIG. 6 shows a flowchart of basic operations when the imaging control method related to the present invention is performed using the imaging apparatus 100.
- step S ⁇ b> 1 the imaging apparatus 100 starts a shooting operation by a power-on operation assigned to the operation panel 34.
- step S2 when the CPU 21 recognizes that the operation mode assigned to the operation panel 34 is the photographing mode, the pre-processing, image signal, and the like are performed on the frame data continuously output from the image sensor 14. Continuous parallel processing is performed with processing, resizing processing, and display processing as one sequence processing. This is called a monitor mode.
- step S3 during the monitor mode operation, a determination process is performed to determine whether the main body of the imaging apparatus 100 is in a handheld state or is fixedly installed.
- the CPU 21 uses the camera shake detection unit 40 to detect that there is almost no camera vibration, and thus determines that the camera is not held but is fixed in an arbitrary place.
- the camera shake detection unit 40 is easy to implement using a gyro sensor and has high accuracy.
- a normal hand-held shooting process is performed without performing the shooting control process related to the present invention. If it is determined that the shooting is fixed installation, the process proceeds to the next step S4.
- step S4 the CPU 21 performs face area detection processing using the face area detection unit 30.
- the face area detection process continuously detects the position and size information of a face in a predetermined frame image among a plurality of frames constituting the moving image while displaying a through image from the imaging unit 10 in the monitor mode.
- the detection information is read by the CPU 21.
- step S5 a motion vector is extracted. That is, when the compression operation of the compression / decompression unit 28 is started and the intermediate processing function is activated, the image is resized to an arbitrary moving image standard size or the display size of the main body, and a motion vector in units of basic blocks is extracted and extracted from the resized image. The motion vector is transferred to the image memory 26. This operation is performed during live view image display in the monitor mode. The motion vector stored in the image memory 26 is read by the CPU 21 via the memory control unit 25.
- step S6 the CPU 21 waits for the position of the detected face area to be stabilized while displaying the through image. If stable, the process proceeds to the next step S7.
- step S ⁇ b> 7 the CPU 21 determines an area of a predetermined range of the chest position below the human face in the frame image as the image recognition area N.
- step S8 only the motion vector information in the breast area N is extracted, transferred to the image memory 26 via the memory control unit 25, and read out by the CPU 21 to limit the data transfer amount.
- the CPU 21 serving as the image recognizer 5 detects an assumed sign operation from the temporal change information of the motion vector in the chest area N.
- step S9 the CPU 21 recognizes the motion vector change in the chest area N as an image recognition process. If there is no predetermined change, the process returns to step S6, and recognition processing is performed again to determine whether there is any change in the position and size of the face. Thereafter, steps S6 ⁇ S7 ⁇ S8 ⁇ S9 are repeated, and the CPU 21 simultaneously recognizes the change in the position and size information of the person's face in the field of view and the change in the motion vector in the chest area N as an image recognition process. Go. At that time, when the motion vector in the chest area N changes for a certain period under the condition that the position and size of the face hardly change, the process proceeds to step S10, and a shooting trigger signal for starting the setting operation is obtained. appear.
- the motion trigger signal is generated by recognizing that the motion vector in the chest area N changes periodically for a certain period as a predetermined change during a certain period.
- FIG. 7 is a conceptual diagram of setting of the chest area N and image recognition in an image in a family photographic composition. It is assumed that there are three persons in the screen, that is, a father, a mother, and a child, and the photographing operator is a father. After each face area K is detected, a chest area N is set with a rectangular frame at the chest position, and the detection of the face area K and the motion vector at the breast position are detected at the same time to show the state of image recognition.
- the predetermined operation starts by performing an operation in which the father turns his hand at the chest position. “The action of turning the hand” is not registered as a promise in advance. Specifically, by continuously rotating the hand over a certain period at the chest position, it is recognized that the motion vector periodically changes on the time axis.
- FIG. 8 is a conceptual diagram for explaining a periodic rotation operation in the breast area N of the subject person.
- FIG. 8B is a conceptual diagram showing a motion vector change V at an arbitrary position on the circumference of the rotation operation.
- the motion vector is detected for each of the basic small blocks a, b, c, and d shown in a rectangular shape with a thick solid line in the chest area N surrounded by the dotted line (a) in FIG.
- the photographing operator performs a continuous rotational motion at the chest position
- the hand moves on the circumference.
- As a basic operation of motion vector detection it is possible to detect that the subject person is turning his / her hand at the chest by detecting the temporal change of the motion vector on the circumference by the CPU 21.
- a method for recognizing that a motion vector periodically changes on a time axis by reciprocating a hand up and down or left and right continuously at the chest position using (a) to (d) in FIG. Will be described in detail.
- FIG. 9 is a conceptual diagram for explaining the periodic vertical movement in the chest area N.
- FIG. 9B is a conceptual diagram showing the motion vector change V at an arbitrary position in the periodic vertical movement.
- C in FIG. 9 is a conceptual diagram for explaining the periodic left-right movement in the chest area N.
- D in FIG. 9 is a conceptual diagram showing a motion vector change V at an arbitrary position in the periodic left-right motion.
- the motion vector is detected in the chest area N surrounded by a dotted line, for example, with a basic small block a shown in a rectangular shape with a thick solid line.
- a basic small block a shown in a rectangular shape with a thick solid line.
- the CPU 21 detects a temporal change in the motion vector on an arbitrary area a to detect that the subject person moves his / her hand vertically on the chest. Can do.
- the CPU 21 detects a temporal change in the motion vector on an arbitrary a area to detect that the subject person moves his / her hand in the left / right direction at the chest. Can do.
- a photographic release operation of a digital camera fixedly installed on a tripod or the like can be automatically performed by performing an operation in which a father, who is also a subject, turns his hand at the chest position.
- the periodic operation (cue) can be surely recognized at the specified chest position. it can. Therefore, the size of the target area described above can be minimized as a part of the chest area N, and thereby the processing burden associated with the image recognition (the processing burden on the CPU in this embodiment) can be reduced. it can.
- the vector change of an arbitrary image part may be a large change exceeding the detection range.
- it outputs detection flag data of a large change, recognizes that the position of the large change area periodically changes in the chest area, and the subject person periodically moves his / her hand vertically on the chest. It is possible to detect that it is operating quickly.
- the processing state on the camera side can be confirmed by notifying the shooting operator that the operation of the target area within the shooting field of view has been recognized by the start of LED blinking. Therefore, the shooting operator or the like can clearly know the operation timing related to the subsequent shooting, and this is also convenient.
- the photographing operator who is the subject by periodically rotating the hand at the chest position in the photographing field of view, or periodically performing the vertical movement and the horizontal movement, for example. It is possible to reliably perform shooting at a timing intended by itself.
- a wireless remote control system that does not require a transceiver provides a camera that can be released remotely, automatically detects the remote shooting situation itself by detecting camera shake, and at the time of automatic shooting based on image recognition
- photographing at the intended timing can be performed reliably.
- the specific contents of the photographing operation at that time can be selected as appropriate.
- the present invention is useful for an image processing apparatus such as a digital still camera that performs a release operation remotely through acquired image data.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
画像データにおける被写体の顔領域を検出する顔領域検出器と、検出顔領域が位置的に安定するかを監視し、安定した検出顔領域を基準にして所定範囲内に画像認識領域を定める認識領域設定器と、設定された画像認識領域を調べ、画像認識領域における任意の動作について時間軸での動きベクトル変化を抽出する動きベクトル抽出器と、動きベクトル変化が所定のものであるかの認識を行う画像認識器と、画像認識器による認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御器とを備える。
Description
本発明は、リモコン送信機を用いないでワイヤレスに遠隔操作の撮影制御を行うもので、画像認識に基づいた自動撮影が可能なデジタルカメラなどの撮影制御装置にかかわり、特には、撮影操作者が意図したタイミングでの撮影を確実に行うのに、操作性、効率性を高めるための技術に関する。また、撮影制御方法に関する。
従来から、赤外光利用のリモコンシステムを搭載したカメラが提案されている。これにより、カメラ本体のレリーズボタンを直接に押下げるのではなく、離れた位置でリモコン送信機の撮影ボタンを押せば撮影が可能になる。しかし、カメラのコストアップや大型化の要因になることも事実である。そこで、リモコンを用いなくても遠隔操作でレリーズ動作が可能なカメラが提案されている。それは、画像認識に基づいた自動撮影である。
特許文献1においては、撮像素子により取得した画像データに対して、被写体におけるVサインなどの形状認識(図10における(a)参照)、または被写体におけるS字カーブなどの動きの軌跡の認識(図10における(b)参照)、または被写体に含まれるバーコードなどのパターンまたは色の認識(図10における(c)参照)を通じて、該当するものが検出されたときにレリーズ制御を行うことが開示されている。
また、特許文献2においては、撮影操作者が装置本体の表示画面上でターゲットマークを指定し、その後、撮影操作者が撮影視野内に写り込むように移動して、ターゲットマーク相当位置に顔を置けばトリガーがかかるという方法が開示されている。すなわち、スルー画像表示の画面上に表示されるターゲットマークを撮影操作者が移動操作して撮影視野内の所望の位置を指定する。その後、指定位置に対応するターゲット領域を対象として、特定人物の顔の画像認識を行い、認識すればそれをトリガーとして撮影に関する所定の動作を行う。
また、特許文献3においては、オートフォーカスの成立で直ちに撮影をトリガーしてしまう場合の、意図しないタイミングでの撮影といった不都合をなくす。例えば被写体人物の手のVサインを撮影トリガーとすれば、意図したタイミングでの撮影が可能となる。しかし、オートフォーカスがそのVサインを対象とすれば、被写体人物の顔へのピント合わせができなくなる。この2つの課題をクリアするのが特許文献3に開示の技術である。そこでは、カメラの操作者が2人想定されている。カメラのシャッタボタンを操作する者と、カメラに映っていて撮影のトリガー操作を行う者とである。まず操作者Aによるカメラ本体を持っての操作により被写体である操作者Bの顔を認識し、次いでオートフォーカスを行う。シャッタボタンを全押した操作者Aは操作者Bに近づき自らも被写体となる。そして、操作者BがVサインを出す。このVサインと手の肌色の認識を行い、認識すると、それを撮影トリガーとして撮影処理を実行する(段落[0035]~[0051]、特に[0047]、[0048]、[0050]、[0051]および図2、図3、図5参照)。
特許文献1の場合は、Vサインなどの形状認識、S字カーブなどの動き認識、バーコードなどのパターン認識の基準となる所定の形状データ、動きデータ、パターンデータをあらかじめ所定の記憶領域に登録しておかなければならない煩わしさがある。腕を振った掌の例えば「S」字の軌跡や人間が動作可能な軌跡(丸・三角・四角・アルファベット・ひらがな・マーク等の軌跡)を検出するためには、軌跡なるものが時間的にも空間的にも連続しているものである以上、レリーズ動作前に連続撮影を行い、その軌跡を検出する前処理が必ず必要になる。しかし、そのような連続撮影と前処理には時間がかかり、これが意図したタイミングでの撮像をむずかしいものとする。これを検出精度を高くして実現可能とするためには、CPUとして高機能で大規模なものを搭載する必要があるが、コスト面からもその実現はむずかしい。加えて、取得した画像データにおいて動きを検出する領域は画面の全領域となっているが、画面全領域の監視にはCPUに大きな負荷をかけることになる。また、画面全領域を監視対象とするゆえ、背景に鳥や飛行機など動体が入ってくれば、それをサインと誤認識してしまい、まったく意図しないタイミングで撮影が行われてしまう可能性もある。これら不都合の原因は、監視領域(画像認識領域)が画面全領域であって小面積領域に限定されておらず、広く拡散していることにあるといえる。
また、特許文献2の場合は、撮影に先立って撮影操作者に強いる作業が多すぎる。特定人物の画像登録、セルフタイマーモードの設定、登録人物内での特定人物の選択、ターゲットマークの移動によるターゲット領域の設定などの操作が必要であり、それらが複数ステップにわたるので、非常に煩わしいものとなっている。さらにターゲット領域の指定について必ずしも撮影操作者が最適な領域を指定するとは限らず、認識対象の動き検出の精度が悪くなりやいという問題がある。また、指定したターゲット領域の大きさによっては画像処理するデータ量が多くなりすぎて、レリーズ処理に要する時間が長くかかり、最適なタイミングでのレリーズ動作が行えなくなるという問題もある。
また、特許文献3の場合は、特許文献1と同様に、取得した画像データGにおいてサインを検出する領域は画面全領域となっているが、画面全領域の監視にはCPUに大きな負荷をかけることになる。また、画面全領域を監視対象とするゆえ、背景に鳥や飛行機など動体が入ってくれば、それをサインと誤認識してしまい、まったく意図しないタイミングで撮影が行われてしまう可能性もある。また、「1」の字を描くような手の動きを画像データ間の動きベクトルをもって検出するので、処理すべきデータ量が膨大となり、CPUとして高機能で大規模なものを搭載する必要が生じるが、コスト面からもその実現はむずかしい。検出する精度が低いと実使用において時間がかかり、レリーズ処理に要する時間が長くかかり、最適なタイミングでレリーズ動作が行えない場合がある。
本発明は、このような事情に鑑みて創作したものであり、リモコン送信機を用いないでワイヤレスに遠隔操作の撮影制御を行う撮影制御装置において、撮影操作者が意図したタイミングでの撮影を確実に行うのに、被写体ともなる撮影操作者に求める操作はごく簡単なものでありながら、より高い操作性、より速い高速性が得られるようにすることを目的としている。
本発明は、次のような手段を講じることにより上記の課題を解決する。
本発明では、次のように考える。まず被写体の顔領域を検出し、次いで検出顔領域が位置的に安定するかを監視し、安定すれば、その安定した検出顔領域を基準にして所定範囲内に画像認識領域(トリガー領域)を定める。この画像認識領域については、胸元の一定範囲、顔の横の一定範囲、頭の上側の一定範囲、腰の横の一定範囲など任意であり、またその大きさや数も任意である。この画像認識領域は単一でも複数でもよい。単一の場合は、検出顔領域から一定方向、一定距離に定められることになる。複数の場合は、検出顔領域からの方向や距離が様々な複数の画像認識領域のうちから所望するものを選択するものとする。続いてその定めた画像認識領域を調べ、画像認識領域において動きがあるかどうか、その動きが所定のものかを監視する。この動きについては、手を動かす(回転、左右往復(手を振る)、上下往復、斜め往復など)、結んで開いてをするなど任意である。検出した被写体の動きが所定のものであるときは、その動きの認識結果に応じて撮影に関する所定の制御信号を生成させる。所定のものというのは、回転、左右往復、上下往復、斜め往復や結んで開いてなどのことを指す。「所定のもの」、「認証結果」は単に1項目だけでもよいし、複数項目でもよい。1項目だけのときは、画像認識領域での動きがありさえすればよい、ということになる。この場合、所定の制御については、画像認識領域において動きを検出すれば、例えばシャッタを切るといった1つの動作に関する制御となる。複数項目の場合は、第1の動き検出に対しては第1の制御を行い、第2の動き検出に対しては第2の制御を行い、第nの動き検出に対しては第nの制御を行うといったように構成する。あるいは、Aの動きを検出し次いでBの動きを検出したときは第1の制御を行い、逆に、Bの動きを検出し次いでAの動きを検出したときは第2の制御を行うといったように構成する。
検出顔領域が位置的に安定するのを検出するということは「静」の検出ということができる。また、動きを検出し、その動きが所定のものであるかということは「動」の検出ということができる。この「静」の検出から「動」の検出への遷移が1つの条件となっている。被写体でもある撮影操作者は、撮影視野内でまず体の動きを止め(顔位置の安定)、そして手など体の一部を特定範囲で動かす。それだけで、撮影制御装置側は所定の制御信号を生成する。撮影操作者が行うのは、撮影視野内で体の動きを止め、手など体の一部を特定範囲で動かすだけでよい。ただそれだけで、意図したタイミングでの撮影が行えるのである。
これを画像データの面から観察すると、検出顔領域の位置の安定化の判断と、画像認識領域の設定と、画像認識領域での動きベクトル変化の検出ということになる。顔領域の検出の技術はすでに様々なものが開発されている。検出顔領域の位置の安定化を判断することも容易である。画像認識領域での動きベクトル変化の技術についてもすでに様々なものが開発されている。本発明の技術ポイントは、画像認識領域を検出顔領域基準で所定範囲内に定めることであるが、このこと自体は技術的にそれほどむずかしいことではない。画像認識領域の位置については、位置が安定化した検出顔領域から例えば水平・垂直両走査方向にそれぞれ何画素分変位した位置かをあらかじめ決めておけばよいし、画像認識領域のサイズについても例えば水平・垂直両走査方向で何画素分かをあらかじめ決めておけばよい。したがって、位置が安定化した検出顔領域が確定すれば、それを基準とする画像認識領域の割り出し・設定はたやすいものである。画像認識領域を検出顔領域基準で所定範囲内に定めることは、技術的にはそれほどむずかしいことではないが、このことが課題の解決に大いに有効に作用するのであり、本発明の技術ポイントとなっている。
本発明は、このように、
〔1〕顔領域の検出とその検出顔領域の位置の安定化待ちステップ(これは、いわば「静」の検出ステップである)
〔2〕位置が安定化した検出顔領域を基準とする画像認識領域の割り出し・設定ステップ
〔3〕画像認識領域での所定の動きの検出ステップ(これは、いわば「動」の検出ステップである)
の一連のステップの組み合わせ(「静」検出→画像認識領域→「動」検出)からなっている。
〔1〕顔領域の検出とその検出顔領域の位置の安定化待ちステップ(これは、いわば「静」の検出ステップである)
〔2〕位置が安定化した検出顔領域を基準とする画像認識領域の割り出し・設定ステップ
〔3〕画像認識領域での所定の動きの検出ステップ(これは、いわば「動」の検出ステップである)
の一連のステップの組み合わせ(「静」検出→画像認識領域→「動」検出)からなっている。
従来技術に認められた課題を解決するために、この3つの技術的事項を有機的に結びつけたことに本発明の技術的ポイントがある。
以下、本発明の構成を図1を用いて説明する。上記の一連のステップの組み合わせを実現するために、本発明の撮影制御装置は、撮像器1、顔領域検出器2、認識領域設定器3、動きベクトル抽出器4、画像認識器5、撮影制御器6を備える。顔領域検出器2は、撮像器1によって得られる被写体の画像データGを取り込み、その画像データGにおいて被写体の顔の位置情報と大きさ情報からなる顔領域Kを検出し、その顔領域Kの情報を認識領域設定器3に渡す機能を有するものとして構成されている。認識領域設定器3は、顔領域検出器2による検出顔領域Kが位置的に安定するかを監視し、安定した検出顔領域Kを基準にして所定範囲内に画像認識領域Nを定め、その定めた画像認識領域Nの情報を動きベクトル抽出器4に渡す機能を有するものとして構成されている。動きベクトル抽出器4は、認識領域設定器3によって設定された画像認識領域Nを調べ、画像認識領域Nにおける任意の動作について時間軸での動きベクトル変化Vを抽出し、抽出した動きベクトル変化Vを画像認識器5に渡す機能を有するものとして構成されている。画像認識器5は、動きベクトル変化Vが所定のものであるかどうかの認識を行い、その認識結果を撮影制御器6に渡す機能を有するものとして構成されている。撮影制御器6は、画像認識器5による認識結果に応じて撮影に関する所定の制御信号を生成するものとして構成されている。
以上を要するに、本発明による撮影制御装置は、
撮像器1から送られてくる画像データGにおける被写体の顔の位置情報と大きさ情報からなる顔領域Kを検出する顔領域検出器2と、
顔領域検出器2による検出顔領域Kが位置的に安定するかを監視し、安定した検出顔領域Kを基準にして所定範囲内に画像認識領域Nを定める認識領域設定器3と、
認識領域設定器3によって設定された画像認識領域Nを調べ、画像認識領域Nにおける任意の動作について時間軸での動きベクトル変化Vを抽出する動きベクトル抽出器4と、
動きベクトル抽出器4による動きベクトル変化Vが所定のものであるかの認識を行う画像認識器5と、
画像認識器5による認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御器6と、
を備えた構成とされている。
撮像器1から送られてくる画像データGにおける被写体の顔の位置情報と大きさ情報からなる顔領域Kを検出する顔領域検出器2と、
顔領域検出器2による検出顔領域Kが位置的に安定するかを監視し、安定した検出顔領域Kを基準にして所定範囲内に画像認識領域Nを定める認識領域設定器3と、
認識領域設定器3によって設定された画像認識領域Nを調べ、画像認識領域Nにおける任意の動作について時間軸での動きベクトル変化Vを抽出する動きベクトル抽出器4と、
動きベクトル抽出器4による動きベクトル変化Vが所定のものであるかの認識を行う画像認識器5と、
画像認識器5による認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御器6と、
を備えた構成とされている。
なお、この構成では、撮像器1自体は必須の構成要素ではなく、外的な構成要素である。
上記の解決器を撮影制御方法として記述すると、次のようになる。すなわち、本発明による撮影制御方法は、
撮像によって送られてくる画像データGにおける被写体の顔の位置情報と大きさ情報からなる顔領域Kを検出するステップと、
検出顔領域Kが位置的に安定するかを監視し、安定した検出顔領域Kを基準にして所定範囲内に画像認識領域Nを定めるステップと、
設定された画像認識領域Nを調べ、画像認識領域Nにおける任意の動作について時間軸での動きベクトル変化Vを抽出するステップと、
動きベクトル変化Vが所定のものであるかの認識を行うステップと、
動きベクトル変化Vについての認識結果に応じて撮影に関する所定の制御信号を生成するステップと、
を含むものである。
撮像によって送られてくる画像データGにおける被写体の顔の位置情報と大きさ情報からなる顔領域Kを検出するステップと、
検出顔領域Kが位置的に安定するかを監視し、安定した検出顔領域Kを基準にして所定範囲内に画像認識領域Nを定めるステップと、
設定された画像認識領域Nを調べ、画像認識領域Nにおける任意の動作について時間軸での動きベクトル変化Vを抽出するステップと、
動きベクトル変化Vが所定のものであるかの認識を行うステップと、
動きベクトル変化Vについての認識結果に応じて撮影に関する所定の制御信号を生成するステップと、
を含むものである。
本発明の上記の構成では、被写体でもある撮影操作者が撮影視野内で体の動きを止め、顔位置を定め、次いで手など体の一部を画像認識領域N相当の特定範囲で動かすだけで、撮影制御装置側は所定の制御信号を生成することができる。すなわち、被写体の動きは撮像器1によって捉えられ、顔領域検出器2に渡される。顔領域検出器2は、取り込んだ被写体の画像データGにおいて被写体の顔の位置情報と大きさ情報からなる顔領域Kを検出し(図1における(b)参照)、その検出顔領域Kの情報を認識領域設定器3に渡す。認識領域設定器3は、検出顔領域Kが位置的に安定するかを監視し、安定すれば、その安定した検出顔領域Kを基準にして所定範囲内に画像認識領域Nを設定し(図1における(c)参照)、動きベクトル抽出器4に伝える。動きベクトル抽出器4は、画像認識領域Nを調べ、画像認識領域Nにおける任意の動作について、時間軸での動きベクトル変化Vを抽出し、抽出した動きベクトル変化Vを画像認識器5に渡す。画像認識器5は、動きベクトル変化Vが所定のものであるかどうか認識し(図1における(d)参照)、その認識結果を撮影制御器6に渡す。撮影制御器6は、画像認識器5による認識結果に応じて撮影に関する所定の制御信号を生成する。
この一連の過程の中で撮影操作者が行うのは、被写界内で体の動きを止め、手など体の一部を画像認識領域N相当の特定範囲で動かすだけでよい。ただそれだけで、意図したタイミングでの撮影が行える。画像認識領域Nは検出顔領域Kを基準にして所定範囲内に定められるもので、検出顔領域Kからどの方向にどれだけ隔たっているかは、あらかじめ定められているから、その画像認識領域Nにおける動き検出の精度は高いものとなる。撮影視野は検出顔領域Kに比べて広い。その広い撮影視野内のどこでサインが発せられるのかを見極めることは、撮影視野の全領域を隈なく探索する従来技術では、大きな負担となっているが、本発明では、検出顔領域Kを基準にして所定範囲内に比較的小さな画像認識領域Nが定められるから、その見極めが迅速・容易なものとなり、精度も高いものとなる。結果、検出ミスによる誤動作が抑えられるとともに、装置制御部、演算部の負担は大幅に軽減される。すなわち、トリガタイミングが早期のものとなる。その結果として、撮影操作者が意図したタイミングでの撮影は確実なものとなる。これは、送受信機を必要としないワイヤレスリモコンであり、遠隔的なレリーズ制御にも適用可能である。
本発明の特徴は次のようにいうことができる。取り決め事を実現するための手段が従来技術のように装置内部に集約されているのではなく、取扱説明書を介して装置と撮影操作者とが結び付けられ、撮影操作者の記憶のうちにある事柄が大きなウェイトを占めている。つまり、「撮影視野内で体の動きを止め、顔位置を定め、次いで手など体の一部を特定範囲で動かす」という記憶である。しかし、「撮影視野内で体の動きを止め、顔位置を定め、次いで手など体の一部を特定範囲で動かす」という記憶と動作とは、撮影操作者にとってほとんど負担とはならないものである。装置側としても、被写体の画像データGから顔領域Kを検出し、検出顔領域Kの安定を待って、検出顔領域Kを基準に画像認識領域Nを設定し、画像認識領域Nにおける動きベクトル変化Vを抽出し判断することは、従来技術の場合に認められた複雑なステップを踏む膨大な処理の演算に比べれば、比較的軽微なものですむ。装置には、回路規模の増大やコストの増大の負担をあまり強いることなく、実現が可能となっている。画像認識領域Nの設定は、迅速・容易に行え、この点での処理スピードと効率のアップを図ることが可能となる。
本発明の上記構成によれば、以上のトータルで、撮影操作者が意図したタイミングでの確実な撮影の効果を、回路規模の増大を抑制しながら、簡単な操作性の下で実現することが可能となっている。
(2)上記(1)の構成の撮影制御装置では、上記の一連のステップからなるシーケンスを開始するのに先立って、撮影制御装置の振れがないことを検査し、振れがないことが確認されたときに初めて、上記のシーケンスを開始するように構成することが考えられる。この場合には、図2に示すように、さらに、装置本体の振動を検出する手振れ検出器7を利用するものとする。この手振れ検出器7は、撮影制御装置の継続的な振動無し状態を検出することを通じて、撮影制御装置が例えば三脚などに固定された状態であると判定するものである。つまり、手振れ検出による遠隔撮影状況そのものの自動検出である。
要するに、上記(1)の構成の撮影制御装置において、さらに、撮影制御装置の振動を検出し継続的な振動がないと判定すると、認識領域設定器3、画像認識器5を起動する手振れ検出器7を備えているという態様である。
このように構成すれば、手振れ検出器7による装置本体の手振れ検出の検出結果(否定の結果:振動なし)を利用して、遠隔撮影状況であることそのものの自動検出が可能となる。手振れ検出器7において撮影制御装置の振動があると判定すれば認識領域設定器3、画像認識器5の起動はなく、上記の一連のシーケンスは機能しないが、手振れ検出器7において撮影制御装置の継続的な振動がないと判定すれば認識領域設定器3、画像認識器5を起動し、上記の一連のシーケンスを機能させることになる。
遠隔操作ではない通常の手持ち撮影処理において、装置本体を持っている撮影操作者が自己の意図したタイミングで撮影を行いたい場合に、撮影操作者以外の者で被写体となっている者が特定の動きをしたために、撮影操作者の意図に反したタイミングで制御が行われてしまうといった不都合を回避することが可能となる。
撮影制御装置が固定された状態であると判定するということは「静」の検出ということができる。前述の〔1〕,〔2〕,〔3〕に先立つ条件として、〔0〕「静」の検出である撮影制御装置の固定状態判定を置けば、
〔0〕「静」の検出である撮影制御装置の固定状態判定
〔1〕「静」の検出である、顔領域の検出とその検出顔領域の位置の安定化待ち
〔2〕位置が安定化した検出顔領域を基準とする画像認識領域の割り出し
〔3〕「動」の検出である画像認識領域Nでの所定の動きの検出
の一連のステップの組み合わせからなっている。「静」→「静」→画像認識領域→「動」である。上記(1)の場合に比べて条件が1つ追加となっているので、制御の信頼性を高めることが可能で、しかも一般に搭載されることの多い手振れ検出器7の機能を援用するので、構成の過剰な複雑化を招かなくてすむ。
〔0〕「静」の検出である撮影制御装置の固定状態判定
〔1〕「静」の検出である、顔領域の検出とその検出顔領域の位置の安定化待ち
〔2〕位置が安定化した検出顔領域を基準とする画像認識領域の割り出し
〔3〕「動」の検出である画像認識領域Nでの所定の動きの検出
の一連のステップの組み合わせからなっている。「静」→「静」→画像認識領域→「動」である。上記(1)の場合に比べて条件が1つ追加となっているので、制御の信頼性を高めることが可能で、しかも一般に搭載されることの多い手振れ検出器7の機能を援用するので、構成の過剰な複雑化を招かなくてすむ。
本発明によれば、位置が安定化した検出顔領域を基準に画像認識領域を定め、画像認識領域での動きベクトル変化が所定のものであるかの認識を行った上でその認識結果に応じた制御を行わせるように構成したので、撮影操作者としては被写界内で体の動きを止め、手など体の一部を画像認識領域相当の特定範囲で動かすだけでよく、それだけで撮影操作者が意図したタイミングでの確実な撮影を実現することができる。加えて、画像認識領域を検出顔領域基準で所定範囲内に定めることは技術的に比較的容易であり、その画像認識領域は比較的小さくて動きベクトル変化の判定の精度が高く、検出ミスによる誤動作が抑えられることから、装置制御部、演算部の負担は大幅に軽減され、回路規模の増大を抑制すること、ならびに処理スピードと効率を上げることも可能である。
上記した(1),(2)の構成の本発明の撮影制御装置は、次のような実施の形態においてさらに有利に展開することが可能である。
(3)上記(2)の構成の手振れ検出器7について、これをジャイロセンサで構成するという好ましい態様がある。ジャイロセンサを用いて実施すれば、簡単でありながら手ぶれ検出の精度が高い。
(4)上記(1)~(3)の構成の認識領域設定器3については、次のような好ましい態様がある。それは、顔領域検出器2による安定した検出顔領域Kを基準にして所定範囲内に定める画像認識領域Nについて、検出顔領域Kの被写体人物の胸元の所定範囲に対応する胸元エリアを定めるというものである。この胸元エリアにおける任意の動作について時間軸での動きベクトル変化Vが抽出されることになる。被写体でもある撮影操作者は、撮影に関する所定の制御信号を生成するための動作を行うに当たって、その動作を行うべきエリアについては、自らの胸元のエリアが最も分かりやすく、記憶しやすく、動作もしやすいエリアである。装置側でも、検出顔領域Kからの相対位置関係(方向および距離)が非常に単純な関係であり、演算処理量も少なくてすむ。
(5)上記(1)~(4)の構成の顔領域検出器2については、次のような好ましい態様がある。その顔領域検出器2は、撮像器1からのスルー画像の表示中に、動画を構成する複数フレームのうち所定のフレームの画像データG内の人物についてその顔領域を検出する。このとき、フレーム毎に連続的に検出するものとする。
一般的に、撮像器1からの画像データGに対する一連のシーケンス処理(画像信号処理、リサイズ処理、顔検出処理、動きベクトル検出処理、圧縮処理、表示処理の並行処理)をスルー画像の表示中に行うモニタモードがある。このモニタモードでのシーケンス処理において、当該の顔検出処理も行うこととするものである。動画を実現する複数フレームのうち所定のフレーム画像内の人物についてその顔領域(顔の位置と大きさ情報)をフレーム毎に連続的に検出し、その検出で得た情報を次段の動きベクトル抽出器4に渡すものである。
(6)上記(2)の手振れ検出器7をもつ構成において、その動きベクトル抽出器4および画像認識器5については、次のような好ましい態様がある。撮像器1からのスルー画像の表示中において、手振れ検出器7により当該画像装置が固定された状態であると判定すれば、顔領域検出器2、認識領域設定器3に引き続いて動きベクトル抽出器4と画像認識器5を起動するように構成されているという態様である。これは、これら複数の器による一連の動作を有機的に結びつけるものである。
(7)上記(1)~(6)の構成の動きベクトル抽出器4について、次のような好ましい態様がある。図3を用いて説明する。動画圧縮器8は、リサイズ画像に対して動画圧縮を行うが、動きベクトル抽出器4はその動画圧縮器8における動画圧縮の中間処理として機能するものとして構成されており、基本ブロック単位の動きベクトルの方向と動画を構成する複数のフレーム間の時間的変化を抽出する。そのような動きベクトル抽出器4を利用して、画像認識領域Nにおける任意の動作について時間軸での動きベクトル変化Vを抽出するのである。ここで、リサイズ画像としては、任意にリサイズされた動画規格サイズの動画画像でもよいし、あるいは装置本体での表示サイズにリサイズされた画像でもよい。一般的に撮影制御装置に搭載されている動画圧縮器8は、その動画圧縮の中間処理として動きベクトル抽出を行う機能を備えている。この動きベクトル抽出器4を利用するという趣旨である。
(8)上記(1)~(7)の構成の動きベクトル変化Vが所定のものであるかの認識を行う画像認識器5については、次のような好ましい態様がある。それは、撮像器1からのスルー画像の表示中に、画像認識器5が、動きベクトル抽出器4による一定期間中の動きベクトル変化Vが所定のものであることを認識すれば撮影トリガー信号を発生するというものである。これはいわゆるモニタモードにおいて、本発明のメインテーマの処理を遂行するということである。
(9)画像認識器5についてはまた、次のような好ましい態様がある。撮影トリガー信号を発生する条件は、一定期間中の動きベクトル変化Vが所定のものであることであるが、これを動きベクトル変化Vが周期的な変化であることとする。つまり、画像認識器5は、動きベクトル抽出器4による動きベクトル変化Vが周期的な変化であると認識すると、撮影トリガー信号を発生するというものである。周期的変化を捉えるので、動きベクトル変化Vの検出の精度が高くなる。
(10)また、画像認識器5は、撮像器1からのスルー画像の表示中に、画像認識領域N内で一定期間の継続的な回転運動を認識するという態様もある。
(11)また、画像認識器5は、撮像器1からのスルー画像の表示中に、画像認識領域N内で一定期間の継続的な直線運動を認識するという態様もある。
(12)画像認識器5は、動きベクトル抽出器4による動きベクトル変化Vが画像認識領域Nの範囲を超える大きな変化であると認識したときは、さらにその変化が周期的に繰り返されるかを判断し、繰り返しを認識したときに撮影トリガー信号を発生するという態様もある。図4における(a),(b)のように、画像認識領域Nの内部で周期的な動きベクトル変化Vがあるときは、それが周期的なものと判断することは比較的容易である。これに対して、図4における(c),(d)のように、動きベクトル変化Vが画像認識領域Nをはみ出している場合は、画像認識領域N内では周期的でなく一過性の動きと判断されてしまう。そこで、動きベクトル変化Vがはみ出すような場合には、画像認識領域Nに対して、その辺縁への入りと辺縁からの出とを同じように繰り返すか否かの判断を行うこととする。この同じような動きが繰り返されることを画像認識器5が認識したときは、撮影制御器6にその旨の認識結果を渡し、撮影制御器6によって撮影に関する所定の制御信号が生成されることになる。
(13)上記(1)~(12)の構成の撮影制御器6について、次のような好ましい態様がある。画像認識器5による所定の認識対象の画像認識が成立した場合にレリーズ動作の制御を実行し、画像認識が成立しない場合には画像認識動作の継続を実行することである。
(14)上記の〔課題を解決するための手段〕で説明した撮影制御方法に関しては、
さらに、前記撮影制御装置が位置固定されていることを表示するステップと、
表示されている画像の顔領域ならびにその胸元エリアを示す矩形枠を表示するステップと、
前記胸元エリアにおいて所定の動作を撮影操作者が行った際に、あらかじめ設定された認識確認完了動作を行うステップと、
レリーズ動作を行うステップと、
を含む場合のものは好ましい。
さらに、前記撮影制御装置が位置固定されていることを表示するステップと、
表示されている画像の顔領域ならびにその胸元エリアを示す矩形枠を表示するステップと、
前記胸元エリアにおいて所定の動作を撮影操作者が行った際に、あらかじめ設定された認識確認完了動作を行うステップと、
レリーズ動作を行うステップと、
を含む場合のものは好ましい。
以上で、本発明の概要を説明した。以下、図面を参照して本発明の実施例について説明する。
(実施例)
図5は本発明の実施例における撮影制御装置が搭載された撮像装置の構成を示すブロック図である。この撮像装置100は、撮像した被写体の光学像をデジタルの画像データGに変換して記録メディア35に記録する単板式のデジタルカメラである。まず、撮像装置100の全体的な概要を説明し、次いで、発明相当部分に関する説明へと移る。
図5は本発明の実施例における撮影制御装置が搭載された撮像装置の構成を示すブロック図である。この撮像装置100は、撮像した被写体の光学像をデジタルの画像データGに変換して記録メディア35に記録する単板式のデジタルカメラである。まず、撮像装置100の全体的な概要を説明し、次いで、発明相当部分に関する説明へと移る。
〔全体的概要の説明〕
撮像部10は、光学レンズ11、光学ローパスフィルタ(LPF)12、カラーフィルタ13、撮像素子14、アナログフロントエンド部15を含む。撮像素子14は、CCD型あるいはCMOS型などに代表されるイメージセンサである。撮像素子14の受光面には多数のフォトダイオード(感光画素)が二次元的に配列されており、光学レンズ11を通過した被写体情報を光電変換する。光学ローパスフィルタ12は、撮像素子14の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現(信号処理)後の最終画像におけるエリアジング(キー信号の高周波成分が低周波成分に折り返す現象)の発生を防止する。カラーフィルタ13は、撮像素子14の一画素に対応する位置にR,G,Bの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。光学レンズ11を通過した光は、光学ローパスフィルタ12とカラーフィルタ13を通過して撮像素子14に入射する。撮像素子14の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。撮像素子14は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間(シャッタスピード)を制御する電子シャッタ機能を有している。撮像素子14の動作(露光、読み出し等)はCPU21により制御される。撮像素子14から出力された画像信号はアナログフロントエンド部15に送られ、アナログゲイン、CDS(相関二重サンプリング)などの処理の後、A/D変換処理によりデジタル信号に変換される。また、CMOS型に代表される撮像素子14においては、高速読み出しを実現する手段として、素子内にノイズ処理部とA/D変換器を実装し、撮像素子から直接デジタル信号として出力する形態もある。A/D変換された画像データGは、撮像装置100の動作モードに従い必要な信号処理を経て、または信号処理を省略して、記録メディア35に記録される。本例の撮像装置100は、JPEG形式、MPEG形式、H.264形式などの圧縮データ形式での静止画像記録と動画像記録が可能であるとともに、A/D変換した直後のRAW画像データ(生データ)を記録することができる。また、手振れ検出部40を用いて撮像装置100のぶれを検出し、検出したぶれ量を光学レンズ11と撮像素子14を含むセンサユニット部にフィードバックし、光学手振れ補正、センサシフトによる手振れ補正が行われる。手振れ検出部40はジャイロセンサが用いられる。
撮像部10は、光学レンズ11、光学ローパスフィルタ(LPF)12、カラーフィルタ13、撮像素子14、アナログフロントエンド部15を含む。撮像素子14は、CCD型あるいはCMOS型などに代表されるイメージセンサである。撮像素子14の受光面には多数のフォトダイオード(感光画素)が二次元的に配列されており、光学レンズ11を通過した被写体情報を光電変換する。光学ローパスフィルタ12は、撮像素子14の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現(信号処理)後の最終画像におけるエリアジング(キー信号の高周波成分が低周波成分に折り返す現象)の発生を防止する。カラーフィルタ13は、撮像素子14の一画素に対応する位置にR,G,Bの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。光学レンズ11を通過した光は、光学ローパスフィルタ12とカラーフィルタ13を通過して撮像素子14に入射する。撮像素子14の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。撮像素子14は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間(シャッタスピード)を制御する電子シャッタ機能を有している。撮像素子14の動作(露光、読み出し等)はCPU21により制御される。撮像素子14から出力された画像信号はアナログフロントエンド部15に送られ、アナログゲイン、CDS(相関二重サンプリング)などの処理の後、A/D変換処理によりデジタル信号に変換される。また、CMOS型に代表される撮像素子14においては、高速読み出しを実現する手段として、素子内にノイズ処理部とA/D変換器を実装し、撮像素子から直接デジタル信号として出力する形態もある。A/D変換された画像データGは、撮像装置100の動作モードに従い必要な信号処理を経て、または信号処理を省略して、記録メディア35に記録される。本例の撮像装置100は、JPEG形式、MPEG形式、H.264形式などの圧縮データ形式での静止画像記録と動画像記録が可能であるとともに、A/D変換した直後のRAW画像データ(生データ)を記録することができる。また、手振れ検出部40を用いて撮像装置100のぶれを検出し、検出したぶれ量を光学レンズ11と撮像素子14を含むセンサユニット部にフィードバックし、光学手振れ補正、センサシフトによる手振れ補正が行われる。手振れ検出部40はジャイロセンサが用いられる。
圧縮データ形式で記録する場合、A/D変換された画像データGは前処理部24を経て画像信号処理部27に送られる。前処理部24と画像信号処理部27は、同時化(カラーフィルタ配列に伴う色信号の空間的なずれを補間して各点の色を計算する処理)、ホワイトバランス(WB)調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍(拡大/縮小)処理、画素数の変換(リサイズ)処理などの各種処理を実施する画像処理器であり、CPU21からのコマンドに従って画像信号を処理する。前処理部24と画像信号処理部27は、メモリ制御部25を介して処理途中の画像を一時記憶できる画像メモリ26を備えており、画像メモリ26を利用しながら画像信号の処理を行う。前処理部24と画像信号処理部27において所定の信号処理を経た画像データGは、規格化されたサイズの画像データとして記録する場合や、モニタインターフェース33を介して液晶モニタに表示するため、リサイズ処理部29で画像サイズを規格サイズに変更する。
リサイズされた画像データGに対しては必要に応じて顔領域検出部30で人物の顔の位置・大きさ・傾きなどの情報検出を行う。また、リサイズされた画像データGは圧縮伸張部28に送ることで、各種形式の圧縮フォーマットに従って圧縮される。このとき使用される圧縮形式に対応した圧縮符号化アルゴリズムが用いられる。MPEG形式、H.264形式などの動画圧縮データ形式に従って規格化サイズで画像データGを圧縮する場合は、並行処理によって圧縮伸張部28でメモリ制御部25を介して画像メモリ26からリサイズデータまたはリサイズ画像を入力として周期的に読み出し、入力されるフレームデータの圧縮を行った後、画像メモリ26に書き戻すことにより、圧縮データをメモリ空間内に格納する。その際、動画圧縮の中間処理として基本ブロック単位の動き検出ベクトル検出処理が実施され、検出された動き検出ベクトルデータはメモリ制御部25により画像メモリ26に格納したり、圧縮伸張部28の内部のレジスタに格納することができる。圧縮された画像データは、記録メディアインターフェース31を介して記録メディア35に記録される。画像データを保存する記録メディア35は、メモリカードで代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置100に内蔵された記録媒体(内部メモリ)であってもよい。
CPU21は所定のプログラムに従って本カメラシステムを統括制御する制御部であり、操作パネル34からの指示信号に基づいて撮像装置100内の各回路の動作を制御する。ROM22にはCPU21が実行するプログラムおよび制御に必要な各種データ等が格納され、RAM23はCPU21の作業用領域として利用される。
操作パネル34は撮像装置100に対してユーザが各種の指示を入力するための装置であり、例えば撮像装置100の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作(カーソル移動操作)や再生画像のコマ送り/コマ戻し等の指示を入力する十字キー、選択項目の確定(登録)や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなど各種の操作装置を含む。
CPU21は操作パネル34から入力される指示信号に応じて種々の撮影条件(露出条件、ストロボ発光有無、撮影モードなど)に従い、撮像素子14などの撮像部10を制御するとともに、自動露出(AE)制御、自動焦点調節(AF)制御、オートホワイトバランス(AWB)制御、レンズ駆動制御、画像処理制御、記録メディア35の読み書き制御などを行う。
例えばCPU21は、レリーズスイッチの半押しを検知すると自動焦点調節(AF)制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光および読み出し制御を開始する。また、CPU21は必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管(発光部)の発光を制御する。
前処理部24は、自動露出制御、自動焦点調節制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やAE演算などを行い、その演算結果をCPU21に伝える。レリーズスイッチの全押しが検知されると、CPU21は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ11を合焦位置に移動させるとともに、絞りや電子シャッタを制御して露出制御を行う。こうして、取り込まれた画像データGは、記録モードに従って記録メディア35に記録される。また、このデジタルカメラは、液晶モニタにより構成される表示を実現するために、表示処理部32とモニタインターフェース33を有している。
本発明に関係する撮影制御方法を実施する際には、電源投入後、モニタモードと呼ばれる基本モードで動作スタートし、連続的に撮像素子14から出力されるフレームデータに対して、前記の前処理、画像信号処理、リサイズ処理、顔領域検出処理、圧縮処理、動きベクトル検出処理、表示処理を1シーケンス処理として並列処理を行い、スルー画像を液晶モニタに表示する。
〔発明相当部分の説明〕
撮像部10は上述した〔課題を解決するための手段〕の撮像器1に相当し、顔領域検出部30は顔領域検出器2に相当し、CPU21は認識領域設定器3と画像認識器5とに相当し、圧縮伸張部28は動きベクトル抽出器4の機能を含み、CPU21のプログラムは、所定の認識対象の認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御器6に相当し、手振れ検出部40は手振れ検出器7に相当する。
撮像部10は上述した〔課題を解決するための手段〕の撮像器1に相当し、顔領域検出部30は顔領域検出器2に相当し、CPU21は認識領域設定器3と画像認識器5とに相当し、圧縮伸張部28は動きベクトル抽出器4の機能を含み、CPU21のプログラムは、所定の認識対象の認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御器6に相当し、手振れ検出部40は手振れ検出器7に相当する。
図6に撮像装置100を用いて本発明に関係する撮影制御方法を実施する際に基本となる動作のフローチャートを示す。ステップS1において、撮像装置100は、操作パネル34に割り当てられた電源投入動作により撮影動作を開始する。
次いでステップS2において、CPU21は操作パネル34に割り当てられた動作モードが撮影モードであることを認識した場合、撮像素子14から連続的に出力されるフレームデータに対して、前記の前処理、画像信号処理、リサイズ処理、表示処理を1シーケンス処理として連続的な並列処理を行う。これをモニタモードと称する。
次いでステップS3において、モニタモード動作中に、撮像装置100の本体が手持ちの状態にあるか、固定設置されているかの判断処理を実施する。判断処理に当たっては、CPU21が手振れ検出部40を用いてカメラの振動が継続的にほとんどないことを検出することで、カメラが手持ちではなく任意の場所に固定された状態であると判定する。手振れ検出部40は、ジャイロセンサを用いて実施することが簡単で精度が良い。カメラの振動が検出され、手持ちであると判断された場合は、本発明に関係する撮影制御処理は実施せず、通常の手持ち撮影処理を実施する。固定設置撮影であると判断された場合は、次のステップS4へ進む。
ステップS4においては、CPU21が顔領域検出部30を用いて顔領域検出処理を行う。顔領域検出処理は、モニタモードおいて撮像部10からのスルー画像の表示中に、動画を構成する複数フレームのうち所定のフレーム画像内の顔の位置と大きさ情報を連続的に検出し、検出情報をCPU21により読み出す。
次いでステップS5において、動きベクトルを抽出する。すなわち、圧縮伸張部28の圧縮動作をスタートして中間処理機能が働くと、任意の動画規格サイズまたは本体の表示サイズにリサイズし、そのリサイズ画像において基本ブロック単位の動きベクトルを抽出し、抽出した動きベクトルを画像メモリ26に転送する。この動作はモニタモードでのスルー画像表示中に行われる。画像メモリ26に格納された動きベクトルは、CPU21によりメモリ制御部25を介して読み出される。
次いでステップS6において、CPU21はスルー画像の表示中に検出顔領域の位置が安定するのを待つ。安定すれば、次のステップS7に進む。次いでステップS7において、CPU21はフレーム画像内の人物の顔の下となる胸元位置の所定範囲のエリアを画像認識領域Nとして定める。
次いでステップS8において、胸元エリアN内の動きベクトル情報のみを抽出して、メモリ制御部25を介して画像メモリ26に転送し、CPU21により読み出すことでデータ転送量を制限する。画像認識器5となるCPU21では胸元エリアN内の動きベクトルのその時間的変化情報から想定するサイン動作を検出する。
次いでステップS9において、CPU21が画像認識処理として胸元エリアNの動きベクトルの変化を認識処理していく。所定の変化がない場合には、ステップS6に戻り、再度顔の位置と大きさに変化がないかどうかの認識処理を実施する。以降、ステップS6→S7→S8→S9を繰り返し、CPU21が画像認識処理として、撮影視野内の人物の顔の位置と大きさ情報の変化と胸元エリアNの動きベクトルの変化を同時に認識処理していく。その際、顔の位置と大きさがほとんど変化しない条件で、胸元エリアN内の動きベクトルが一定期間中所定の変化をしたとき、ステップS10へ移り、設定動作をスタートさせるための撮影トリガー信号を発生する。
次に、胸元エリアN内の動きベクトルが一定期間中所定の変化として、一定期間周期的な変化をすることを認識して撮影トリガー信号を発生する場合について説明する。
図7を用いて家族写真を撮影する場合を説明する。図7は家族の写真構図での画像における胸元エリアNの設定と画像認識の概念図である。画面内に3人の人物である、お父さん、お母さん、子供が入っており、撮影操作者がお父さんであるとする。それぞれの顔領域Kを検出したのち、胸元位置に矩形枠で胸元エリアNを設定し、顔領域Kの検出と胸元位置の動きベクトルを同時に検出して、画像認識している状態を示す。ここでは、お父さんが胸元位置で手を回すという動作を行うことにより所定の動作がスタートする。「手を回すという動作」はあらかじめ約束事として登録されているものではない。具体的には胸元位置で手を一定期間にわたって継続的に回転運動させることにより、動きベクトルが時間軸で一定期間周期的な変化をすることを認識する。
図8における(a),(b)を用いて胸元位置で手を一定期間にわたって継続的に回転運動させることにより、動きベクトルが時間軸で一定期間周期的な変化Vをすることを認識する方法を詳細に説明する。
図8における(a)は被写体人物の胸元エリアNでの周期的な回転動作を説明する概念図である。図8における(b)は回転動作の円周上の任意の位置の動きベクトル変化Vを示す概念図である。
動きベクトルの検出は図8における(a)の点線で囲まれた胸元エリアN内で例えば太い実線で矩形状に示す基本小ブロックa,b,c,dごとに検出される。撮影操作者が胸元位置で継続的な回転運動を行った場合、円周上を手が移動することになる。動きベクトル検出の基本動作としてはこの円周上の動きベクトルの時間的変化をCPU21で検出することにより、被写体人物が胸元で手を回しているということを検出することができる。
また、手を継続的に回転運動させることにより、胸元エリアNで動きベクトルが時間軸で一定期間周期的な変化をすることを認識する際、胸元エリアN内の全部の動きベクトル変化Vを検出することはせず、円運動を想定してエリア内の任意の円周上の位置の動きベクトルの変化のみ検出する。回転検出としては右回し、左回しの認識をすることが可能である。
図9における(a)~(d)を用いて胸元位置で手を継続的に上下または左右に往復運動させることにより、動きベクトルが時間軸で一定期間周期的な変化をすることを認識する方法を詳細に説明する。
図9における(a)は胸元エリアNでの周期的上下方向動作を説明する概念図である。図9における(b)は周期的上下方向動作の任意の位置の動きベクトル変化Vを示す概念図である。図9における(c)は胸元エリアNでの周期的左右方向動作を説明する概念図である。図9における(d)は周期的左右方向動作の任意の位置の動きベクトル変化Vを示す概念図である。
動きベクトルの検出は点線で囲まれた胸元エリアN内で、例えば太い実線で矩形状に示す基本小ブロックaで検出される。撮影操作者が胸元位置で継続的に上下方向動作を行った場合、図9における(b)に示すような任意のaエリアを手が上下に移動することになる。動きベクトル検出の基本動作としては、この任意のaエリア上の動きベクトルの時間的変化をCPU21で検出することで、被写体人物が胸元で手を上下方向に動作させているということを検出することができる。
撮影操作者が胸元位置で継続的な左右方向動作を行った場合、図9における(d)に示すような任意のaエリアを手が左右に移動することになる。動きベクトル検出の基本動作としては、この任意のaエリア上の動きベクトルの時間的変化をCPU21で検出することで、被写体人物が胸元で手を左右方向に動作させているということを検出することができる。
このような認識による所定の動作として、被写体でもあるお父さんが胸元位置で手を回すという動作を行うことにより、三脚などで固定設置されたデジタルカメラの撮影レリーズ動作を自動で行うことができる。
特に、本実施例では、ターゲット位置の指定を撮影視野内において顔領域検出を用いて自動で行わせるため、指定された胸元位置において上記周期的動作(合図)の認識を確実に行わせることができる。したがって、前述したターゲット領域の大きさを胸元エリアNの一部分として必要最小限とすることができ、それによっても上記画像認識に伴う処理負担(本実施例ではCPUの処理負担)を軽減することができる。
また、実際の動きベクトル検出においては、任意画像部分のベクトル変化が検出範囲を超える大きな変化となる場合がある。その際は、大きな変化の検出フラグデータを出力し、胸元エリア内で大きな変化エリアの位置が時間的に周期的に変化することを認識して、被写体人物が胸元で手を上下方向に周期的に早く動作させているということを検出することができる。
また、本実施例における自動撮影モードでは、撮影操作者に対して、撮影視野内のターゲット領域の動作が認識できたことをLEDの点滅開始により報知することで、カメラ側の処理状態を確認できるため、撮影操作者等は、その後における撮影に関する動作タイミングを明確に知ることができ、これによっても使い勝手がよい。
以上に述べたように、本実施例においては、撮影視野内の胸元位置で例えば手を周期的に回転動作させたり、周期的な上下動作や左右動作を行うことで、被写体である撮影操作者自身が意図したタイミングでの撮影を確実に行うことができる。
つまり、送受信機を必要としないワイヤレス・リモートコントロールシステムにより、遠隔的なレリーズが可能なカメラを提供し、手振れ検出により遠隔撮影状況そのものを自動検出するとともに、画像認識に基づいた自動撮影時においては被写体の人物が顔の位置を静止して胸元位置で所定の周期的なサイン動作を行うだけで、意図したタイミングでの撮影を確実に行うことができる。しかも、その際の撮影動作の具体的内容を適宜選択することができる。
上記の実施例はあくまで一例に過ぎず、本発明の趣旨を逸脱しない範囲で様々な改変が可能であることはいうまでもない。
なお、本発明を実施する際の制御処理の手順、それに関わる手段の機能をパソコンやマイクロコンピュータなどのコンピュータ上でプログラムにより実現することも可能である。また、画像処理はその処理の一部または全部を専用のハードウェア(信号処理回路)態様に限らず、一部分をプログラムで実現してもよい。そのためのプログラムと、それが記録された各種の記録(記憶)媒体も本発明に包含される。また、そのような手順による処理の方法も本発明に包含されることは当然である。
本発明は、取得した画像データを介してレリーズ動作を遠隔的に行わせるデジタルスチルカメラなどの画像処理装置等に有用である。
1 撮像器
2 顔領域検出器
3 認識領域設定器
4 動きベクトル抽出器
5 画像認識器
6 撮影制御器
7 手振れ検出器
8 動画圧縮器
10 撮像部
14 撮像素子
21 CPU
24 前処理部
25 メモリ制御部
26 画像メモリ
27 画像信号処理部
28 圧縮伸張部(動きベクトル検出含む)
29 リサイズ処理部
30 顔領域検出部
40 手振れ検出部
100 撮像装置
K 検出顔領域
V 動きベクトル変化
N 画像認識領域(胸元エリア)
2 顔領域検出器
3 認識領域設定器
4 動きベクトル抽出器
5 画像認識器
6 撮影制御器
7 手振れ検出器
8 動画圧縮器
10 撮像部
14 撮像素子
21 CPU
24 前処理部
25 メモリ制御部
26 画像メモリ
27 画像信号処理部
28 圧縮伸張部(動きベクトル検出含む)
29 リサイズ処理部
30 顔領域検出部
40 手振れ検出部
100 撮像装置
K 検出顔領域
V 動きベクトル変化
N 画像認識領域(胸元エリア)
Claims (15)
- 撮像器から送られてくる画像データにおける被写体の顔の位置情報と大きさ情報からなる顔領域を検出する顔領域検出器と、
前記顔領域検出器による検出顔領域が位置的に安定するかを監視し、安定した検出顔領域を基準にして所定範囲内に画像認識領域を定める認識領域設定器と、
前記認識領域設定器によって設定された前記画像認識領域を調べ、前記画像認識領域における任意の動作について時間軸での動きベクトル変化を抽出する動きベクトル抽出器と、
前記動きベクトル抽出器による動きベクトル変化が所定のものであるかの認識を行う画像認識器と、
前記画像認識器による認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御器と、
を備えた撮影制御装置。 - さらに、撮影制御装置の振動を検出し継続的な振動がないと判定すると、前記認識領域設定器および前記画像認識器を起動する手振れ検出器を備えている、
請求項1に記載の撮影制御装置。 - 前記手振れ検出器は、ジャイロセンサで構成されている、
請求項2に記載の撮影制御装置。 - 前記認識領域設定器は、前記顔領域検出器による安定した検出顔領域を基準にして所定範囲内に定める前記画像認識領域について、前記検出顔領域の被写体人物の胸元の所定範囲に対応する胸元エリアを定めるように構成されている、
請求項1に記載の撮影制御装置。 - 前記顔領域検出器は、前記撮像器からのスルー画像の表示中に、動画を構成する複数フレームのうち所定のフレーム画像内の人物についてその顔領域をフレーム毎に検出するように構成されている、
請求項1に記載の撮影制御装置。 - 前記動きベクトル抽出器は、前記撮像器からのスルー画像の表示中に、前記手振れ検出器により当該画像装置が固定された状態であると判定されたときに、前記顔領域検出器、前記認識領域設定器に引き続いて前記動きベクトル抽出器および前記画像認識器を起動するように構成されている、
請求項2に記載の撮影制御装置。 - 前記動きベクトル抽出器は、動画圧縮の中間処理として機能するものとして構成され、任意にリサイズされた動画規格サイズの動画画像または装置本体での表示サイズにリサイズされた画像において、基本ブロック単位の動きベクトルの方向と動画を構成する複数のフレーム間の時間的変化を抽出するように構成されている、
請求項1に記載の撮影制御装置。 - 前記画像認識器は、前記撮像器からのスルー画像の表示中に、一定期間中の前記動きベクトル抽出器による前記動きベクトル変化が所定のものであると認識したときに撮影トリガー信号を発生するように構成されている、
請求項1に記載の撮影制御装置。 - 前記画像認識器は、前記動きベクトル抽出器による前記動きベクトル変化が周期的な変化であることを認識したときに撮影トリガー信号を発生するように構成されている、
請求項1に記載の撮影制御装置。 - 前記画像認識器は、前記撮像器からのスルー画像の表示中に、前記画像認識領域内で一定期間の継続的な回転運動を認識するように構成されている、
請求項1に記載の撮影制御装置。 - 前記画像認識器は、前記撮像器からのスルー画像の表示中に、前記画像認識領域内で一定期間の継続的な直線運動を認識するように構成されている、
請求項1に記載の撮影制御装置。 - 前記画像認識器は、前記動きベクトル抽出器による前記動きベクトル変化が前記画像認識領域の範囲を超える大きな変化であると認識したときは、さらにその変化が周期的に繰り返されるかを判断し、繰り返しを認識したときに前記撮影トリガー信号を発生するように構成されている、
請求項1に記載の撮影制御装置。 - 前記撮影制御器は、前記画像認識器による所定の認識対象の画像認識が成立した場合はレリーズ動作制御実行し、画像認識が成立しない場合は画像認識動作の継続を実行する、
請求項1に記載の撮影制御装置。 - 撮像によって送られてくる画像データにおける被写体の顔の位置情報と大きさ情報からなる顔領域Kを検出するステップと、
検出顔領域Kが位置的に安定するかを監視し、安定した検出顔領域Kを基準にして所定範囲内に画像認識領域Nを定めるステップと、
設定された画像認識領域Nを調べ、画像認識領域Nにおける任意の動作について時間軸での動きベクトル変化Vを抽出するステップと、
動きベクトル変化Vが所定のものであるかの認識を行うステップと、
動きベクトル変化Vについての認識結果に応じて撮影に関する所定の制御信号を生成するステップと、
を含む撮影制御方法。 - さらに、前記撮影制御装置が位置固定されていることを表示するステップと、
表示されている画像の顔領域ならびにその胸元エリアを示す矩形枠を表示するステップと、
前記胸元エリアにおいて所定の動作を撮影操作者が行った際に、あらかじめ設定された認識確認完了動作を行うステップと、
レリーズ動作を行うステップと、
を含む請求項14に記載の撮影制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009251759A JP2011097502A (ja) | 2009-11-02 | 2009-11-02 | 撮影制御装置および撮影制御方法 |
JP2009-251759 | 2009-11-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011052120A1 true WO2011052120A1 (ja) | 2011-05-05 |
Family
ID=43921559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/005067 WO2011052120A1 (ja) | 2009-11-02 | 2010-08-16 | 撮影制御装置および撮影制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011097502A (ja) |
WO (1) | WO2011052120A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5880135B2 (ja) * | 2012-02-29 | 2016-03-08 | カシオ計算機株式会社 | 検出装置、検出方法及びプログラム |
JP6102138B2 (ja) * | 2012-07-05 | 2017-03-29 | カシオ計算機株式会社 | 撮像装置、及び撮影方法、プログラム |
JP6024728B2 (ja) | 2014-08-08 | 2016-11-16 | カシオ計算機株式会社 | 検出装置、検出方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0757103A (ja) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | 情報処理装置 |
JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
JPH10173969A (ja) * | 1996-12-16 | 1998-06-26 | Canon Inc | 撮像装置 |
JP2001051338A (ja) * | 1999-08-12 | 2001-02-23 | Canon Inc | カメラ |
JP2004354420A (ja) * | 2003-05-27 | 2004-12-16 | Fuji Photo Film Co Ltd | 自動撮影システム |
-
2009
- 2009-11-02 JP JP2009251759A patent/JP2011097502A/ja active Pending
-
2010
- 2010-08-16 WO PCT/JP2010/005067 patent/WO2011052120A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0757103A (ja) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | 情報処理装置 |
JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
JPH10173969A (ja) * | 1996-12-16 | 1998-06-26 | Canon Inc | 撮像装置 |
JP2001051338A (ja) * | 1999-08-12 | 2001-02-23 | Canon Inc | カメラ |
JP2004354420A (ja) * | 2003-05-27 | 2004-12-16 | Fuji Photo Film Co Ltd | 自動撮影システム |
Also Published As
Publication number | Publication date |
---|---|
JP2011097502A (ja) | 2011-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
CN107850753B (zh) | 检测设备、检测方法、检测程序和成像设备 | |
JP2006174105A (ja) | 電子カメラ及びプログラム | |
JP2013013050A (ja) | 撮像装置及びこの撮像装置を用いた表示方法 | |
WO2010073619A1 (ja) | 撮像装置 | |
JP5885395B2 (ja) | 撮影機器及び画像データの記録方法 | |
JP2010165012A (ja) | 撮像装置、画像検索方法及びプログラム | |
JP2008299784A (ja) | 被写体判定装置及びそのプログラム | |
WO2011099092A1 (ja) | 動き認識リモートコントロール受信装置および動き認識リモートコントロール制御方法 | |
JP2006246354A (ja) | 撮影装置及び撮影プログラム | |
WO2011052120A1 (ja) | 撮影制御装置および撮影制御方法 | |
JP2017050593A (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP2009253925A (ja) | 撮像装置及び撮像方法と、撮影制御プログラム | |
JP2010183253A (ja) | 情報表示装置および情報表示プログラム | |
JP4877186B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP2020115679A (ja) | 物体検出装置、検出制御方法及びプログラム | |
JP4793459B2 (ja) | シンボル読取装置、及びプログラム | |
JP2009246700A (ja) | 撮像装置 | |
JP2004117195A (ja) | 速度計測機能付デジタルカメラ | |
JP2007228233A (ja) | 撮影装置 | |
JP2010213221A (ja) | 撮像装置 | |
JP5792273B2 (ja) | カメラシステム | |
JP2011139123A (ja) | 画像処理装置及び画像処理プログラム | |
JP2012124575A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10826260 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10826260 Country of ref document: EP Kind code of ref document: A1 |