WO2010061850A1 - カメラ付き機器 - Google Patents

カメラ付き機器 Download PDF

Info

Publication number
WO2010061850A1
WO2010061850A1 PCT/JP2009/069870 JP2009069870W WO2010061850A1 WO 2010061850 A1 WO2010061850 A1 WO 2010061850A1 JP 2009069870 W JP2009069870 W JP 2009069870W WO 2010061850 A1 WO2010061850 A1 WO 2010061850A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
camera
unit
face image
Prior art date
Application number
PCT/JP2009/069870
Other languages
English (en)
French (fr)
Inventor
勝信 平良
晴義 押目
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US13/131,594 priority Critical patent/US8803997B2/en
Priority to KR1020117012162A priority patent/KR101248721B1/ko
Publication of WO2010061850A1 publication Critical patent/WO2010061850A1/ja
Priority to US13/229,602 priority patent/US8947552B2/en

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode

Definitions

  • the present invention relates to a camera-equipped device such as a camera-equipped mobile phone, a camera-equipped PDA (Personal Digital Assistant), and a digital camera.
  • a camera-equipped device such as a camera-equipped mobile phone, a camera-equipped PDA (Personal Digital Assistant), and a digital camera.
  • a camera-equipped device is usually provided with a self-timer function.
  • This self-timer function is an automatic photographing function used when no one presses the shutter.
  • the self-timer is set and the shutter button is pressed, the shutter is released after a predetermined time, and the photographed image is stored in the memory.
  • the user presses the shutter button the user moves to a shooting position, prepares for shooting, and waits for the shutter to be released.
  • the self-timer function when used, there are time constraints. For this reason, if it takes time to prepare for shooting for some reason, the shutter may be released before the preparation is completed. In this case, it is necessary to set the self-timer again and perform shooting.
  • some of these camera-equipped devices have a control function by a remote controller (remote control), and can perform a shutter operation by remote control with the remote control, that is, a device having a remote shutter function.
  • remote control remote control
  • Patent Document 1 Japanese Patent Document 1
  • the shutter can be released at a timing desired by the photographer after sufficiently preparing for photographing.
  • Patent Document 2 a camera-equipped device that detects the subject's face and facial expressions and automatically releases the shutter according to facial expressions and movements has been developed (for example, Patent Document 2).
  • An object of the present invention is to provide a camera-equipped device that can perform a shutter operation at a desired timing and has excellent operability.
  • FIG. 1A is a front view of an external configuration of a mobile phone according to an embodiment.
  • FIG. 1B is a side view of the external configuration of the mobile phone according to the embodiment.
  • FIG. 1C is a cross-sectional view taken along the line A-A ′ of the external configuration of the mobile phone according to the embodiment.
  • FIG. 2 is a block diagram showing the overall configuration of the mobile phone according to the embodiment.
  • FIG. 3 is a functional block diagram for realizing the remote shooting mode according to the embodiment.
  • FIG. 4 is a diagram illustrating a processing flow of imaging processing executed in the remote imaging mode according to the embodiment.
  • FIG. 5A is a diagram for explaining the flow of the remote shooting mode according to the embodiment.
  • FIG. 1A is a front view of an external configuration of a mobile phone according to an embodiment.
  • FIG. 1B is a side view of the external configuration of the mobile phone according to the embodiment.
  • FIG. 1C is a cross-sectional view taken along the line A-A ′
  • FIG. 5B is a diagram for explaining the transition of the detected matching rate and the control operation associated therewith according to the embodiment.
  • FIG. 6 is a functional block diagram for realizing the remote shooting mode according to the first modification.
  • FIG. 7A is a diagram illustrating a processing flow of imaging processing executed in the remote imaging mode according to the first modification.
  • FIG. 7B is a diagram illustrating a processing flow for performing imaging based on the detection result of the presence / absence of the registered user's face in the remote imaging mode according to the first modification.
  • FIG. 8 is a functional block diagram for realizing the remote shooting mode according to the second modification.
  • FIG. 9 is a diagram illustrating a processing flow of automatic photographing processing according to the second modification.
  • FIG. 10 is a functional block diagram for realizing the remote shooting mode according to the third modification.
  • FIG. 11A is a diagram illustrating a processing flow of automatic setting of the remote shooting mode according to the third modification.
  • FIG. 11B is a diagram illustrating a processing flow of automatic cancellation of the remote shooting mode according to the third modification.
  • FIG. 12A is a diagram for explaining a flow of automatic setting of the remote shooting mode according to the third modification.
  • FIG. 12B is a diagram for explaining a flow of automatic release of the remote shooting mode according to the third modification.
  • FIG. 12C is a diagram for explaining a flow of automatic release of the remote shooting mode according to the third modification.
  • FIG. 13 is a functional block diagram when the configuration according to the modification 3 is applied to the embodiment.
  • FIG. 1 is a diagram showing an external configuration of a mobile phone.
  • FIG. 1A is a front view of the mobile phone with the second cabinet opened, and
  • FIG. 1B is a side view of the same state.
  • FIG. C is a cross-sectional view taken along the line AA ′ of FIG.
  • the mobile phone includes a first cabinet 1 and a second cabinet 2.
  • a numeric keypad 11 is disposed on the front side of the first cabinet 1.
  • the numeric keypad 11 is provided with a plurality of number / character input keys, a call start key, a call end key, and the like.
  • a backlight device 12 (hereinafter referred to as “key backlight”) is disposed behind the numeric keypad 11.
  • the key backlight 12 includes an LED serving as a light source, and supplies light to the numeric keypad 11. Thereby, the user can see the display attached to each key even when the surrounding is dark.
  • the camera module 13 is arranged inside the first cabinet 1.
  • a lens window (not shown) of the camera module 13 faces the back surface of the first cabinet 1, and an object image is taken into the camera module 13 from the lens window.
  • a display 21 having a vertically long rectangular shape is arranged on the front side of the second cabinet 2, and the display surface faces the front.
  • the display 21 can be configured using, for example, a liquid crystal panel or an organic EL.
  • Behind the display 21 is a backlight device 22 (hereinafter referred to as “panel backlight”).
  • the panel backlight 22 includes an LED serving as a light source and supplies light to the display 21.
  • a main key portion 23 is further arranged on the front side of the second cabinet 2.
  • the main key unit 23 includes a mode key for starting various function modes (camera mode, mail mode, Internet mode, phone book mode), and a movement key for scrolling the screen and moving the highlight focus.
  • determination keys for performing various determination operations are arranged.
  • numeric keypad 11 and the main key 23 can be realized using a touch panel or a touch sensor.
  • the second cabinet 2 is connected to the first cabinet 1 by a slide mechanism 3 so as to be slidable in the X-axis direction of FIG.
  • the slide mechanism 3 includes a guide plate 31 and a guide groove 32.
  • the guide plate 31 is provided at both left and right end portions of the back surface of the second cabinet 2, and has a protrusion 31a at the lower end thereof.
  • the guide groove 32 is formed on the side surface of the first cabinet 1 along the slide direction (X-axis direction in FIG. 1).
  • the protrusion 31 a of the guide plate 31 is engaged with the guide groove 32.
  • the second cabinet 2 When the cellular phone is closed, the second cabinet 2 is almost completely overlapped with the first cabinet 1 as shown by a one-dot chain line in FIG. 1B. In this state (closed state), all the keys in front of the numeric keypad 11 are hidden behind the second cabinet 2. The second cabinet 2 can be slid (opened) until the guide plate 31 reaches the end position of the guide groove 32. When the second cabinet 2 is completely opened, as shown in FIG. 1A, all the keys of the numeric keypad 11 are exposed to the outside.
  • FIG. 2 is a block diagram showing the overall configuration of the mobile phone.
  • the cellular phone according to the present embodiment includes a CPU 100, a video encoder 101, a microphone 102, an audio encoder 103, a communication module 104, a memory 105, a backlight driving circuit 106, a video decoder 107, and an audio decoder 108.
  • the speaker 109 is provided.
  • the camera module 13 includes an imaging lens 13a, an imaging element 13b, and the like.
  • the imaging lens 13a forms an image of the subject on the imaging element 13b.
  • the image sensor 13 b is composed of, for example, a CCD, generates an image signal corresponding to the captured image, and outputs the image signal to the video encoder 101.
  • the video encoder 101 converts the image signal from the image sensor 13 b into a digital image signal that can be processed by the CPU 100 and outputs the digital image signal to the CPU 100.
  • the microphone 102 converts the audio signal into an electric signal and outputs it to the audio encoder 103.
  • the audio encoder 103 converts the audio signal from the microphone 102 into a digital audio signal that can be processed by the CPU 100 and outputs the digital audio signal to the CPU 100.
  • the communication module 104 converts a voice signal, an image signal, a text signal, etc. from the CPU 100 into a radio signal and transmits it to the base station via the antenna 104a. Further, the wireless signal received via the antenna 104a is converted into an audio signal, an image signal, a text signal, etc., and output to the CPU 100.
  • the memory 105 includes a ROM and a RAM.
  • the memory 105 stores a control program for giving a control function to the CPU 100.
  • the memory 105 stores image data captured by the camera module 24, image data captured from the outside via the communication module 104, text data (mail data), and the like in a predetermined file format.
  • the backlight drive circuit 106 supplies a voltage signal corresponding to a control signal from the CPU 100 to the panel backlight 22 and the key backlight 12.
  • the video decoder 107 converts the video signal from the CPU 100 into an analog video signal that can be displayed on the display 21, and outputs the analog video signal to the display 21.
  • the audio decoder 108 converts the audio signal from the CPU 100 into an analog audio signal that can be output from the speaker 109, and outputs the analog audio signal to the speaker 109.
  • the speaker 109 reproduces the audio signal from the audio decoder 108 as audio.
  • the CPU 100 outputs a control signal to each unit such as the communication module 104, the video decoder 107, and the audio decoder 108 based on input signals from each unit such as the camera module 13, the microphone 102, the main key unit 23, and the numeric keypad unit 11.
  • the processing of various function modes is performed.
  • the CPU 100 activates the camera when a mode key of the camera mode is pressed.
  • the image sent from the camera module 13 is displayed on the display 21 as a preview image. Since an image of several tens of frames is sent from the camera module 13 every second, the image is displayed on the display 21 in a substantially moving image state.
  • the CPU 100 When the user presses a shutter key (for example, a determination key is assigned), the CPU 100 causes the memory 105 to store an image photographed at that timing in a predetermined file format such as JPEG.
  • the mobile phone of this embodiment has a remote shooting mode function as one of the functions in the camera mode.
  • the remote photographing mode can be activated by performing a predetermined key operation.
  • FIG. 3 is a functional block diagram for realizing the remote shooting mode.
  • the CPU 100 and the memory 105 include a face extraction unit 501, a face parameter extraction unit 502, a registration control unit 503, a face registration unit 504, a matching determination unit 505, and a shooting control unit 506. It has.
  • the face extraction unit 501, the face parameter extraction unit 502, the registration control unit 503, the matching determination unit 505, and the imaging control unit 506 are realized as software functions executed by the CPU 100.
  • a part of the storage area of the memory 105 is allocated to the face registration unit 504.
  • the image data output from the camera module 13 is input to the CPU 100 via the video encoder 101, and this image data is acquired by the face extraction unit 501 and the face parameter extraction unit 502.
  • the face extraction unit 501 acquires image data for one screen (for one frame) for each frame or for every several frames, and based on this image data, a face image region (face region) included in the image ). For example, the face extraction unit 501 detects a skin color in the image, and further extracts a face region by detecting feature parts such as eyes, nose, and mouth based on the density of the image. Then, information for specifying the face area, for example, position information of the face outline (hereinafter referred to as “face area information”) is output to the face parameter extraction unit 502. Note that if there are a plurality of face images in one screen, the face extraction unit 501 extracts all face areas.
  • the face parameter extraction unit 502 acquires image data for one screen at the same timing as the face extraction unit 501, and based on the face region information sent from the face extraction unit 501, the image data corresponding to the face region is acquired. Then, parameters for characterizing the face image are extracted.
  • the parameters include the shape of each part such as the eyes, nose and mouth, the ratio of the spacing between the parts, and the color of the skin.
  • the face parameter extraction unit 502 extracts the parameters of the face image for all the face regions extracted by the face extraction unit 501 and outputs them to the matching determination unit 505.
  • the matching determination unit 505 compares the sent face image parameter with the face image parameter registered in the face registration unit 504, and calculates a matching rate (matching rate) with the registered face image.
  • Registration of face image parameters in the face registration unit 504 is performed by the registration control unit 503.
  • the registration control unit 503 instructs the face parameter extraction unit 502 to send parameters to the face registration unit 504.
  • the face parameter extraction unit 502 sends the parameters of the face image extracted at that time to the face registration unit 504. In this way, face image parameters are registered in the face registration unit 504.
  • Matching determination unit 505 calculates matching rates for the face images of all the extracted face regions and outputs them to imaging control unit 506.
  • the shooting control unit 506 determines whether or not a registered face image exists in the image by comparing the sent matching rate with a preset threshold value, and shooting is performed based on the determination result. Process.
  • FIG. 4 is a diagram showing a processing flow of imaging processing executed in the remote imaging mode.
  • FIG. 5A is a diagram showing an operation flow from the start of the remote shooting mode to the completion of shooting using an illustration.
  • FIG. 5B is a diagram showing the transition of the detected matching rate and the flow of the control operation associated therewith. Note that the bar graph of the matching rate shown in FIG. 5B is drawn so that the face image of the same person always has the same height for convenience, but the direction of the face image of the same person may be slightly changed. Since the matching rate fluctuates, the height of the graph actually differs slightly.
  • the control operation will be described with reference to these drawings.
  • an operation of registering his / her face image is performed in advance by the user.
  • the registration control unit 503 operates as described above, and the parameters of the user's face image are registered in the face registration unit 504. Is done. In this way, the user can set the remote shooting mode.
  • the remote shooting mode is activated.
  • the face extraction unit 501, the face parameter extraction unit 502, and the matching determination unit 505 When the remote shooting mode is activated, the face extraction unit 501, the face parameter extraction unit 502, and the matching determination unit 505 always operate during the mode activation, and all faces for one screen at a fixed time interval (one frame or several frame intervals).
  • the matching rate of the image is output from the matching determination unit 505 to the shooting control unit 506.
  • the imaging control unit 506 first resets a remote flag (RFG) and a shutter flag (SFG) as an initial setting.
  • RFG remote flag
  • SFG shutter flag
  • the imaging control unit 506 acquires the matching rate of the face image for one screen (S102), compares the acquired matching rate with a threshold value for each screen, and determines whether there is an item exceeding the threshold value. Determine (S103).
  • registered user When the user who registered the face image (hereinafter referred to as “registered user”) is not in the shooting area of the camera module 13 (screen (A) in FIG. 5A), there is another person in the image and the face Even if an image is extracted, the matching rate is a low value (time region (A) in FIG. 5B).
  • the imaging control unit 506 determines that there is no face image with a matching rate exceeding the threshold (S103: NO), and further, since RFG remains reset (S105: NO), the process returns to step S102. Then, the matching rate of the face image for one screen sent next is acquired.
  • the registered user enters the shooting area (screen (B) in FIG. 5A)
  • the registered user's face image is extracted.
  • the matching rate of the face image is a high value (time region (B) in FIG. 5B).
  • the photographing control unit 506 determines that there is a face image with a matching rate exceeding the threshold (S103: YES)
  • the RFG in the reset state is set (S104: NO ⁇ S107).
  • the imaging control unit 506 returns to the process of step S102, and acquires the matching rate of the face image for one screen sent next.
  • the registered user who has arrived at the shooting position performs an operation for shooting when preparation for shooting is completed. That is, as a signal for shooting instructions, an operation of temporarily hiding his face and reappearing is performed. For example, the registered user performs an operation of turning the face down and then returning it (screen (C) ⁇ (D) in FIG. 5A).
  • screen (C) ⁇ (D) in FIG. 5A) When the registered user performs an operation of hiding the face, the face image is not extracted, so there is no face image whose matching rate exceeds the threshold value, and when the operation of showing the face again is performed, the face image whose matching rate exceeds the threshold value Appears again (time domain (C) ⁇ (D) in FIG. 5B).
  • the shooting control unit 506 determines that there is no face image in which the matching rate exceeds the threshold value in the remote shooting preparation state (S103: NO), RFG is set (S105: YES), and SFG is Since it is still in the reset state (S108: NO), SFG is set (S109).
  • the imaging control unit 506 performs a shutter operation after a certain delay time (after 3 seconds or the like) has elapsed, and stores the image data of the image captured by the camera module 13 in the memory 105 at that time.
  • a notification sound such as “beep, beep, beep, crush” may be output from the speaker 109.
  • a light emitting unit such as an LED can emit light, or the display state of the display 21 can be changed.
  • the automatic shooting operation is not limited to the above, and the shutter operation may be performed immediately without waiting for the delay time to elapse, or if an autofocus function is provided, focus adjustment may be performed. A shutter operation may be performed later.
  • step S103 YES ⁇ S104: YES ⁇ S106: YES ⁇ S110
  • image data of a newly shot image is stored in the memory 105.
  • the remote shooting mode is stopped.
  • the registered user can simply perform the operation of hiding his face and re-appearing, such as turning the face down and then returning to the original position, and at the desired timing. Photographing (image storage) can be performed. Moreover, since there is no need for a remote control, there is no worry that remote shooting will not be possible even if you forget to carry the remote control.
  • One way to solve this is to set a high threshold.
  • the matching rate decreases.
  • the threshold is too high, the registered user may not be detected.
  • the matching rate fluctuates simply by the registered user changing the orientation of the face, if the threshold is too high, the variation causes the matching rate to fall below or exceed the threshold, and the shutter operation is not intended by the registered user. It can happen that a photograph is taken and a photo is taken.
  • FIG. 6 is a functional block diagram for realizing the remote shooting mode according to the first modification.
  • a target identification unit 511 a target identification unit 511, a target tracking unit 512, and a face presence / absence detection unit 513 are arranged between the matching determination unit 505 and the imaging control unit 506.
  • Other configurations are the same as those in the above embodiment.
  • the target specifying unit 511 Based on the matching rate acquired from the matching determination unit 505 and the face region information sent from the face extraction unit 501, the target specifying unit 511 estimates that the face image of which face region is the registered user's face image. And the face area information of the face image is output to the target tracking unit 512.
  • the target tracking unit 512 When the target tracking unit 512 receives the facial area information of the registered user's facial image, the target tracking unit 512 acquires the image data from the camera module 13 at regular intervals (one frame or several frames), thereby moving the movement of the target facial area. And the position information (hereinafter referred to as “target position information”) is output to the face presence / absence detection unit 513.
  • a target tracking method for example, a well-known method using a motion vector (see, for example, JP-A-2006-323437) can be employed.
  • the face presence / absence detection unit 513 detects the presence / absence of a registered user's face image in the image based on the face area information sent from the face extraction unit 501 and the target position information sent from the target tracking unit 512. . If there is face area information that matches the target position information, that is, if a face image is detected at the target position being tracked, the face presence / absence detection unit 513 includes the face image of the registered user. The face presence signal is output to the imaging control unit 506. On the other hand, if there is no face area information that matches the target position information, that is, if a face image is not detected at the target position being tracked, the faceless signal indicates that there is no registered user's face image in the image. Is output to the imaging control unit 506.
  • the shooting control unit 506 performs a predetermined shooting operation based on the result of the presence / absence of the face detected by the face presence / absence detection unit 513.
  • FIG. 7 is a diagram illustrating a processing flow of imaging processing executed in the remote imaging mode according to the first modification.
  • FIG. 7A is a diagram showing a process (target specifying process) for specifying a registered user's face image. This target specifying process is executed by the target specifying unit 511 and the target tracking unit 512.
  • FIG. B is a diagram illustrating a processing flow of processing (automatic imaging processing) for performing imaging based on the detection result of the presence / absence of a registered user's face. This automatic shooting process is executed by the target tracking unit 512, the face presence / absence detection unit 513, and the shooting control unit 506.
  • the control operation will be described with reference to FIG.
  • the target specifying unit 511 acquires a matching ratio and face area information of a face image for one screen (S201), and compares the acquired matching ratio with a threshold value for each screen to determine whether there is a threshold value that exceeds the threshold value. Is determined (S202). If there is an object that exceeds the threshold (S202: YES), it is determined whether or not the matching rate of the face image is the highest matching rate after the target specifying process is started (S203), and the highest matching rate is determined. If so (S203: YES), it is determined that the face image is that of the registered user, and face area information related to the face image is sent to the target tracking unit 512. The target tracking unit 512 sets the face area specified by the face area information as a target candidate, and starts tracking the movement (S204).
  • the target specifying unit 511 measures the time from when the remote shooting mode is activated.
  • the search time is set to finally identify the registered user in anticipation of the time from when the registered user performs the remote shooting mode setting operation to when the registered user moves to the shooting position.
  • the target identification unit 511 returns to the process of step S201, and acquires the face image matching rate and face area information for one screen to be sent next. In this way, the processing of steps S201 to S204 is repeated until the search time has elapsed. During this time, each time a face image with the highest matching rate is detected, the target candidate is updated, and the movement of the updated target candidate is tracked. If the target candidate disappears from the image during this period, the target tracking unit 512 stops the tracking and waits until the next face area information is received.
  • the target specifying unit 511 determines whether or not a target candidate exists (S206). If a target candidate exists (S206: YES), the target candidate at that time is determined as an official target (S207), and the target specifying process is terminated. Thereafter, the target tracking unit 512 tracks the determined target.
  • a search time is provided, and the face image having the highest matching rate in that time is specified as the face image of the registered user, so that a person who has a face similar to the registered user in the shooting area. Even if it is, it is possible to prevent the person's face image from being regarded as a registered user's face image.
  • the search time is measured. Is reset (S208), the process returns to S201, and the target candidate search operation is performed again.
  • the target specifying unit 511 sends a signal to the target tracking unit 512 that the target has been determined. Upon receiving this confirmation signal, the target tracking unit 512 starts outputting target position information to the face presence / absence detection unit 513.
  • the imaging control unit 506 resets the shutter flag (SFG) (S301).
  • the target tracking unit 512 tracks the target, that is, the face image estimated as a registered user (S302). If the target does not deviate from the imaging region (S303: NO), the face extraction unit 501 outputs the face region information.
  • the target position information is output to the face presence / absence detection unit 513 in accordance with the timing.
  • the face presence / absence detection unit 513 determines the presence / absence of a registered user's face image based on the face area information sent from the face extraction unit 501 and the target position information sent from the target tracking unit 512. Then, a face presence signal or a face absence signal is output to the photographing control unit 506 (S304).
  • the face presence / absence detection unit 513 When the registered user performs an action of appearing after hiding his / her face as in the above embodiment, the face presence / absence detection unit 513 outputs a faceless signal, and then outputs a face presence signal.
  • the imaging control unit 506 determines that there is no target face image, that is, no registered user face image (S305: NO), and at this time, the SFG is in a reset state (S307: NO). ) And SFG are set (S308).
  • a face presence signal is received, it is determined that there is a registered user's face image (S305: YES).
  • the SFG is in a set state (S306: YES), so automatic shooting is performed (S309). ).
  • the operation of automatic shooting is the same as in the above embodiment.
  • the target tracking unit 512 determines that the target has left the shooting area in step S303 (S303: YES). In this case, the automatic shooting process is terminated, and the target tracking unit 512 sends a reset signal to the target specifying unit 511, the face presence / absence detection unit 513, and the shooting control unit 506. Based on this, the process for automatic imaging is started again from the target specifying process shown in FIG. 7A.
  • the movement of the face image determined to be a registered user is tracked. Therefore, even when a person with a face similar to the registered user exists in the same image, the registered user's The presence / absence of a face image can be accurately detected, and the process can be appropriately shifted to automatic photographing processing.
  • predetermined settings and adjustments relating to the picture can be made according to the situation at that time. For example, the setting of the presence / absence of the delay time, the setting of flash on / off, the adjustment of zoom, and the like in automatic shooting can be performed.
  • the registered user may perform these settings or the like when setting the remote shooting mode or before that, but may also perform the settings after reaching the shooting position.
  • the present modification example it is configured such that settings relating to shooting can be performed based on the state of the registered user's face (the face is facing left and right) and the state of other parts (such as hands). Yes.
  • FIG. 8 is a functional block diagram for realizing the remote shooting mode according to the second modification.
  • a state detection unit 521 is added to the functional block of Modification 1 shown in FIG.
  • the target position information regarding the registered user's face image is input to the state detection unit 521 from the target tracking unit 512.
  • image data is input to the state detection unit 521.
  • the state detection unit 521 detects the state of the registered user's face image based on these inputs, and outputs an instruction signal such as a setting corresponding to the state to the imaging control unit 506.
  • the state of the face image and the corresponding instruction content are set in advance. For example, if the presence / absence of delay time is set according to the left / right orientation of the face, the instruction content with delay time is set for the face image facing right and the instruction content without delay time is set for the face image facing left Yes.
  • the state detection unit 521 detects whether the face image is facing right or left, based on the relative positions of the eyes, nose, mouth, and the like with respect to the barycentric position of the skin color area serving as the face area. That is, if the registered user's face turns to the right, the eyes, nose, mouth, and the like are biased to the right in the skin color area, so the state detection unit 521 determines that the face is facing right, and an instruction signal with a delay time Is output.
  • the state detection unit 521 determines that the face is facing the left, and an instruction signal with no delay time. Is output. Note that the range in which the face image is directed to the left and right is, of course, the range in which the face image is detected by the face extraction unit 501.
  • the imaging control unit 506 Upon receiving an instruction signal for setting or the like from the operation detection unit 521, the imaging control unit 506 performs setting processing according to the instruction signal.
  • FIG. 9 is a diagram illustrating a process flow of the automatic photographing process according to the second modification.
  • the processing of steps S311 and S312 by the shooting control unit 506 is added to the processing flow of FIG.
  • the shooting control unit 506 determines that there is a face image after the registered user's face image (target) is specified (S305: YES ⁇ S306: NO), whether or not there has been an instruction for function setting or the like from the operation detection unit 521. Is determined (S311). If there is an instruction for function setting or the like, processing according to the instruction is performed (S312).
  • the presence / absence of the delay time is set, if the registered user turns his face to the right, the setting with the delay time is performed, and if the registered user turns the face to the left, the setting without the delay time is performed.
  • settings other than the delay time may be made according to the state of the face image.
  • the flash may be turned on / off.
  • the zoom in / out adjustment is performed. It may be broken.
  • the function setting or the like may be made according to the state of the portion other than the face instead of the face state.
  • a state indicating a direction with a finger may be detected, and function setting or the like may be performed according to the direction of the finger.
  • the registered user's face area is tracked. Therefore, when a state other than the face is detected, the registered user's face is determined so that the registered user's state can be determined. It is desirable that only the peripheral state of the image be detected.
  • the remote shooting mode is set / released by a predetermined key operation. Therefore, each time the registered user uses the remote shooting mode, he / she has to perform setting and canceling operations.
  • the remote shooting mode is set / released (start / stop) automatically without any key operation.
  • FIG. 10 is a functional block diagram for realizing the remote shooting mode according to the third modification.
  • a mode control unit 531 is added to the functional block of the modified example 1 shown in FIG.
  • the reset signal from the target tracking unit 512 is output to the face presence / absence detection unit 513, the imaging control unit 506, and the target specifying unit 511.
  • the reset signal is output to the mode control unit 531.
  • the face extraction unit 501, the face parameter extraction unit 502, and the matching determination unit 505 operate, and the mode control unit 531 receives matching from the matching determination unit 505.
  • a rate is input, and face position information is input from the face extraction unit 501.
  • the mode control unit 531 activates the remote photographing mode based on the input matching rate in a state where the remote photographing mode is not activated. In the state where the remote shooting mode is activated, the remote shooting mode is stopped based on the input matching rate, face area information, and reset signal.
  • FIG. 11 is a diagram illustrating a processing flow of processing for automatically setting the remote shooting mode and processing for automatically canceling according to the third modification.
  • FIG. 3A shows a processing flow for automatic setting
  • FIG. 3B shows a processing flow for automatic cancellation.
  • FIG. 12 is a diagram illustrating the flow of automatic setting / cancellation of the remote shooting mode according to the modification example 3 using an illustration.
  • FIG. 7A shows the flow of automatic setting
  • FIGS. B and C show the flow of automatic cancellation.
  • the control operation will be described with reference to these drawings.
  • the mode control unit 531 acquires the matching rate of the face image for one screen (S401), and compares the acquired matching rate with a threshold value for each screen, and exceeds the threshold value. It is determined whether or not (S402).
  • the matching rate does not exceed the threshold (S402: NO), so the remote shooting mode remains off (screen (A) in FIG. 12A).
  • the mode control unit 531 determines that there is a registered user's face image in the image. Then, the remote shooting mode is activated (S403; screen (B) in FIG. 12A).
  • the remote shooting mode is activated and the camera is ready for shooting. That is, in the present modification example, unlike the modification example 1, the target specifying process in FIG. 7A is not performed, and the face image determined to have exceeded the threshold value in step S402 (if there are a plurality of face images having the highest matching rate). The face area information is output to the target tracking unit 512, regarding the face image of the registered user. Thereby, the automatic photographing process of FIG. 7B is performed thereafter.
  • the mode control unit 531 acquires the matching ratio and face area information of the face image for one screen during the activation of the remote shooting mode (S501), and the face image exceeding the matching ratio, That is, it is determined whether or not the size of the face area of the registered user's face image exceeds a threshold (enlarged) (S502). If the size of the face area does not exceed the threshold (S502: NO), it is determined whether or not the face area (target) is out of the shooting area, that is, whether or not a reset signal is output from the target tracking unit 512 ( S503).
  • the remote shooting mode remains activated (screen (C) in FIG. 12B, screen (E) in FIG. 12C).
  • the registered user when shooting is finished, the registered user heads toward the mobile phone (camera module 13). At this time, the registered user's face image is close to the mobile phone in the shooting area or is out of the shooting area.
  • the mode control unit 531 determines that the size of the face area has exceeded the threshold by approaching the mobile phone within the shooting area (S502: YES).
  • the mode control unit 531 stops the remote shooting mode (S504; FIG. 12B). Screen (D)).
  • the remote shooting mode is stopped (S504; screen (F) in FIG. 12B).
  • the registered user can start and stop the remote shooting mode without performing key operations one by one, so that the operability can be further improved.
  • the remote shooting mode is both automatically activated and stopped, but only one of them may be automatically performed.
  • both the case where the size of the registered user's face area exceeds the threshold and the case where the face area is out of the image are determined, and the remote shooting mode is stopped. Only one of them may be determined.
  • this modified example can also be applied to the above-described embodiment shown in FIGS.
  • the target tracking unit 512 since the target tracking unit 512 is not provided, the remote shooting mode is stopped only when the size of the registered user's face area exceeds the threshold.
  • FIG. 13 is a functional block diagram when the configuration according to the modification example 3 is applied to the embodiment.
  • the mode control unit 531 receives the matching rate from the matching determination unit 505 and the face area information from the face extraction unit 501.
  • step S503 if it is determined in step S502 that the size of the face area does not exceed the threshold value, the process flow returns to the process in step S511.
  • the embodiment of the present invention can be variously modified in addition to the above.
  • the present invention is not limited to this configuration, and a temporary storage area is provided in the memory 105, the CPU 100, and the like, and when a shutter operation is performed, a captured image is temporarily stored in the temporary storage area.
  • the memory 105 may be officially stored.
  • the storage unit of the present invention described in the claims is not limited to a unit for officially storing a photographed image like the memory 105 of the above-described embodiment. This is a concept including means for temporarily storing a photographed image like a region.
  • the camera-equipped mobile phone is illustrated, but the camera-equipped device of the present invention is not limited to the mobile phone, and may be a PDA (Personal Digital Assistant) with a camera, a digital camera, or the like.
  • PDA Personal Digital Assistant
  • the photographer can take a photograph (image storage) at his / her desired timing using his / her face. Moreover, since there is no need for a remote control, there is no worry that remote shooting will not be possible even if you forget to carry the remote control.
  • the remote storage unit is based on the fact that the face image is not detected after the face image is detected by the face detection unit, and then the face image is detected again. Then, it may be configured to execute a control process for storing the image information in the storage unit.
  • the photographer can take a photograph (image storage) at a desired timing intended by the photographer by performing the above-described operation.
  • the control process by the remote storage unit is started in response to detection of the face image by the face detection unit after imaging by the camera unit is started. It can be configured.
  • control process for remote shooting can be started without the photographer performing setting operations one by one, so that the operability is further improved.
  • the camera-equipped device of the present invention may further include a tracking unit that tracks the face image detected by the face detection unit in the captured image.
  • a tracking unit that tracks the face image detected by the face detection unit in the captured image.
  • the control process by the remote storage unit is stopped in response to the tracking unit detecting that the face image has escaped from the captured image. It can be set as a structure.
  • the remote storage unit detects that the size of the face image detected by the face detection unit exceeds a threshold value.
  • the control process by the unit may be stopped.
  • the camera-equipped device may further include a state detection unit that detects an operation state of a person who is a target of the face image detected from the captured image by the face detection unit.
  • the remote storage unit may be configured to perform function settings related to shooting according to the operation state.
  • the photographer can perform function settings related to photographing from a location away from the device.
  • the present invention relates to a camera-equipped device and can be used for a camera-equipped device that performs a shutter operation at a desired timing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

 携帯電話機は、撮像画像を画像情報として出力するカメラモジュール13と、画像情報を記憶するメモリ105と、顔画像に関する情報を保持する顔登録部504と、顔登録部504に保持された顔画像を撮像画像から検出するための構成としての顔抽出部501、顔パラメータ抽出部502、マッチング判定部505と、撮影のための制御処理を実行する撮影制御部506とを備える。撮影制御部506は、顔登録部504に保持された顔画像が検出された後、当該顔画像が検出されなくなり、その後、再び、当該顔画像が検出されたことに基づいて、画像情報をメモリ105に記憶させる。

Description

カメラ付き機器
 本発明は、カメラ付き携帯電話機、カメラ付きPDA(Personal Digital Assistant)、デジタルカメラ等のカメラ付き機器に関するものである。
 従来、カメラ付き機器には、通常、セルフタイマー機能が備えられている。このセルフタイマー機能は、シャッターを押す者が誰もいない場合に使用する自動撮影機能である。セルフタイマーが設定されている状態において、シャッターボタンが押されると、一定時間後にシャッターが切られ、撮影された画像がメモリに保存される。ユーザは、シャッターボタンを押した後、撮影される位置へ移動し、撮影準備を整えてシャッターが切られるのを待つことになる。
 しかしながら、セルフタイマー機能を用いた場合には、どうしても時間的制約がある。そのため、何らかの原因により撮影準備に手間取ってしまうと、準備が完了する前にシャッターが切られてしまうことが起こり得る。この場合、もう一度、セルフタイマーをセットし直して撮影を行わなければならなくなる。
 一方、これらカメラ付き機器の中には、リモートコントローラ(リモコン)による制御機能を備え、リモコンによる遠隔操作を行うことによりシャッターを切ることができるようにしたもの、即ち、リモートシャッター機能を備えたものもある(たとえば、特許文献1)。
 このように、リモコンによって撮影操作を行う場合には、十分に撮影準備が整った後に、撮影者の所望のタイミングでシャッターを切ることができる。
 なお、最近では、被写体の顔やその顔の表情を検出し、顔の表情や動きに応じて自動的にシャッターが切れるカメラ付き機器も開発されている(たとえば、特許文献2)。
特開2007-41205号公報[G03B 17/38] 特開2008-42319号公報[H04N  5/232]
 本発明の目的は、所望のタイミングでシャッター動作を行わせることができる、操作性に優れたカメラ付き機器を提供することである。
図1Aは実施の形態に係る携帯電話機の外観構成の正面図である。 図1Bは実施の形態に係る携帯電話機の外観構成の側面図である。 図1Cは実施の形態に係る携帯電話機の外観構成のA-A’断面図である。 図2は実施の形態に係る携帯電話機の全体構成を示すブロック図である。 図3は実施の形態に係るリモート撮影モードを実現するための機能ブロック図である。 図4は実施の形態に係るリモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。 図5Aは実施の形態に係るリモート撮影モードの流れを説明するための図である。 図5Bは実施の形態に係る検出されたマッチング率の推移とそれに伴う制御動作を説明するための図である。 図6は変更例1に係るリモート撮影モードを実現するための機能ブロック図である。 図7Aは変更例1に係るリモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。 図7Bは変更例1に係るリモート撮影モードにおいて、登録ユーザの顔の有無の検出結果に基づいて撮影を行うための処理フローを示す図である。 図8は変更例2に係るリモート撮影モードを実現するための機能ブロック図である。 図9は変更例2に係る自動撮影処理の処理フローを示す図である。 図10は変更例3に係るリモート撮影モードを実現するための機能ブロック図である。 図11Aは変更例3に係るリモート撮影モードの自動設定の処理フローを示す図である。 図11Bは変更例3に係るリモート撮影モードの自動解除の処理フローを示す図である。 図12Aは変更例3に係るリモート撮影モードの自動設定の流れについて説明するための図である。 図12Bは変更例3に係るリモート撮影モードの自動解除の流れについて説明するための図である。 図12Cは変更例3に係るリモート撮影モードの自動解除の流れについて説明するための図である。 図13は変更例3に係る構成を、実施の形態に適用する場合の機能ブロック図である。
    13 ・・・カメラモジュール(カメラ部)
    105・・・メモリ(記憶部)
    501・・・顔抽出部(顔検出部)
    502・・・顔パラメータ抽出部(顔検出部)
    504・・・顔登録部
    505・・・マッチング判定部(顔検出部)
    506・・・撮影制御部(顔検出部、リモート記憶部)
    511・・・ターゲット特定部(顔検出部)
    512・・・ターゲット追跡部(顔検出部、追跡部)
    513・・・顔有無検出部(顔検出部)
    521・・・状態検出部
    531・・・モード制御部
本発明の第1実施例
 以下、本発明の実施の形態につき図面を参照して説明する。図1は携帯電話機の外観構成を示す図であり、同図Aは、第2キャビネットが開放された状態の携帯電話機の正面図、同図Bは同じ状態での側面図である。同図Cは同図BのA-A´断面図である。
 携帯電話機は、第1キャビネット1と第2キャビネット2を備えている。第1キャビネット1の正面側には、テンキー部11が配されている。テンキー部11には、複数個の番号・文字入力キーや通話開始キー、通話終了キーなどが備えられている。テンキー部11の背後には、バックライト装置12(以下、「キーバックライト」という)が配されている。キーバックライト12は、光源となるLEDを備え、テンキー部11に光を供給する。これにより、ユーザは、周囲が暗くても各キーに付された表示を見ることができる。
 第1キャビネット1の内部には、カメラモジュール13が配されている。カメラモジュール13のレンズ窓(図示せず)は、第1キャビネット1の背面に臨んでおり、このレンズ窓から被写体の像がカメラモジュール13に取り込まれる。
 第2キャビネット2の正面側には、縦長の矩形状を有するディスプレイ21が配されており、その表示面が正面に臨んでいる。このディスプレイ21は、たとえば、液晶パネルや有機ELなどを用いて構成することができる。ディスプレイ21の背後には、バックライト装置22(以下、「パネルバックライト」という)が配されている。パネルバックライト22は、光源となるLEDを備え、ディスプレイ21に光を供給する。
 第2キャビネット2の正面側には、さらに、メインキー部23が配されている。メインキー部23には、各種の機能モード(カメラモード、メールモード、インターネットモード、電話帳モード)を起動するためのモードキー、画面をスクロールしたりハイライトフォーカスを移動させたりするための移動キー、各種の決定動作を行うための決定キーなどが配されている。
 なお、テンキー部11やメインキー部23は、タッチパネルやタッチセンサを用いて実現することもできる。
 第2キャビネット2は、スライド機構部3によって、第1キャビネット1に対し図1のX軸方向にスライド可能に連結されている。図1Cに示すように、スライド機構3は、ガイド板31とガイド溝32によって構成されている。ガイド板31は、第2キャビネット2の背面の左右両端部に設けられており、その下端に突条31aを有する。ガイド溝32は、第1キャビネット1の側面に、スライド方向(図1のX軸方向)に沿って形成されている。ガイド板31の突条31aは、ガイド溝32に係合されている。
 携帯電話機を閉じた状態では、図1Bに一点鎖線で示すように、第2キャビネット2が第1キャビネット1の上に略完全に重なっている。この状態(閉じた状態)では、第2キャビネット2の背後にテンキー部11の正面の全てのキーが隠れた状態となる。第2キャビネット2は、ガイド板31がガイド溝32の終端位置に達するまでスライドする(開いた状態とする)ことができる。第2キャビネット2が完全に開くと、図1Aに示すように、テンキー部11の全てのキーが外部に露出する。
 図2は、携帯電話機の全体構成を示すブロック図である。本実施の形態の携帯電話機は、上述した各構成要素の他、CPU100、映像エンコーダ101、マイク102、音声エンコーダ103、通信モジュール104、メモリ105、バックライト駆動回路106、映像デコーダ107、音声デコーダ108、スピーカ109を備えている。
 カメラモジュール13は、撮像レンズ13a、撮像素子13bなどから構成されている。撮像レンズ13aは、被写体の像を撮像素子13b上に結像させる。撮像素子13bは、例えばCCDからなり、取り込んだ画像に応じた画像信号を生成し、映像エンコーダ101へ出力する。映像エンコーダ101は、撮像素子13bからの画像信号を、CPU100が処理できるディジタルの画像信号に変換してCPU100へ出力する。
 マイク102は、音声信号を電気信号に変換して音声エンコーダ103へ出力する。音声エンコーダ103は、マイク102からの音声信号を、CPU100が処理できるディジタルの音声信号に変換してCPU100へ出力する。
 通信モジュール104は、CPU100からの音声信号や画像信号、テキスト信号などを無線信号に変換し、アンテナ104aを介して基地局へ送信する。また、アンテナ104aを介して受信した無線信号を音声信号や画像信号、テキスト信号などに変換してCPU100へ出力する。
 メモリ105は、ROMおよびRAMを含む。メモリ105には、CPU100に制御機能を付与するための制御プログラムが記憶されている。また、メモリ105には、カメラモジュール24で撮影した画像データや通信モジュール104を介して外部から取り込んだ画像データ、テキストデータ(メールデータ)などが所定のファイル形式で保存される。
 バックライト駆動回路106は、CPU100からの制御信号に応じた電圧信号をパネルバックライト22、キーバックライト12に供給する。
 映像デコーダ107は、CPU100からの映像信号をディスプレイ21で表示できるアナログの映像信号に変換し、ディスプレイ21に出力する。
 音声デコーダ108は、CPU100からの音声信号をスピーカ109で出力できるアナログの音声信号に変換し、スピーカ109に出力する。スピーカ109は、音声デコーダ108からの音声信号を音声として再生する。
 CPU100は、カメラモジュール13、マイク102、メインキー部23、テンキー部11など各部からの入力信号に基づいて、通信モジュール104、映像デコーダ107、音声デコーダ108などの各部に制御信号を出力することにより、種々の機能モードの処理を行う。
 たとえば、CPU100は、カメラモードのモードキーが押されると、カメラを起動する。そして、このカメラモードにおいて、カメラモジュール13から送られてき画像をプレビュー画像としてディスプレイ21に表示させる。カメラモジュール13からは毎秒数十コマの画像が送られてくるため、ディスプレイ21には、ほぼ動画状態で画像が表示される。
 ユーザによってシャッターキー(たとえば、決定キーが割り当てられている)が押されると、CPU100は、そのタイミングで撮影された画像を、JPEGなど所定のファイル形式によってメモリ105に記憶させる。
 さて、本実施の形態の携帯電話機は、カメラモードの中の1つの機能として、リモート撮影モードの機能を備えている。ユーザ自らが撮影写真に加わる場合に、所定のキー操作を行うことでリモート撮影モードを起動させることができる。
 図3は、リモート撮影モードを実現するための機能ブロック図である。
 CPU100およびメモリ105は、リモート撮影モードを実現するため、顔抽出部501と、顔パラメータ抽出部502と、登録制御部503と、顔登録部504と、マッチング判定部505と、撮影制御部506とを備えている。
 顔抽出部501、顔パラメータ抽出部502、登録制御部503、マッチング判定部505および撮影制御部506は、CPU100によって実行されるソフトウェアの機能として実現される。また、顔登録部504には、メモリ105の一部の記憶領域が割り当てられる。
 カメラモジュール13から出力された画像データは、映像エンコーダ101を介してCPU100に入力され、この画像データが顔抽出部501や顔パラメータ抽出部502によって取得される。
 顔抽出部501は、1コマ毎あるいは数コマ毎に、1画面分(1フレーム分)の画像データを取得し、この画像データを基にその画像の中に含まれる顔画像の領域(顔領域)を抽出する。たとえば、顔抽出部501は、画像中の肌色を検出し、さらに、目、鼻、口などの特徴部分を画像の濃淡等に基づいて検出することにより、顔領域の抽出を行う。そして、顔領域を特定するための情報、たとえば顔の輪郭の位置情報(以下、「顔領域情報」という)を顔パラメータ抽出部502に出力する。なお、顔抽出部501は、1画面中に顔画像が複数個あれば、全ての顔領域を抽出する。
 顔パラメータ抽出部502は、顔抽出部501と同じタイミングで、1画面分の画像データを取得し、顔抽出部501から送られてきた顔領域情報を基に、顔領域に対応する画像データから、その顔画像を特徴づけるためのパラメータを抽出する。たとえば、パラメータには、目、鼻、口などの各パーツの形状、各パーツ間の間隔の比率、肌の色等が挙げられる。
 このように、顔パラメータ抽出部502は、顔抽出部501により抽出された全ての顔領域について、それぞれ顔画像のパラメータを抽出し、マッチング判定部505へ出力する。
 マッチング判定部505は、送られてきた顔画像のパラメータと、顔登録部504に登録されている顔画像のパラメータとを照合し、登録され顔画像とのマッチング率(適合率)を算出する。
 顔登録部504への顔画像のパラメータの登録は、登録制御部503により行われる。登録制御部503は、ユーザからの登録操作の入力を受けると、顔パラメータ抽出部502に対し、顔登録部504へパラメータを送るよう指示する。顔パラメータ抽出部502は、この指示を受けて、そのときに抽出した顔画像のパラメータを顔登録部504へ送る。このようにして、顔登録部504に顔画像のパラメータが登録される。
 マッチング判定部505は、抽出された全ての顔領域の顔画像に対するマッチング率を算出して撮影制御部506へ出力する。
 撮影制御部506は、送られてきたマッチング率を、予め設定された閾値と比較することにより、画像中に登録された顔画像が存在するか否かを判定し、この判定結果に基づいて撮影処理を行う。
 図4は、リモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。また、図5Aは、リモート撮影モードが起動してから撮影が完了するまでの操作の流れを、イラスト画を用いて示した図である。さらに、図5Bは、検出されたマッチング率の推移とそれに伴う制御動作の流れを示す図である。なお、図5Bに示すマッチング率の棒グラフは、便宜上、同じ人物の顔画像について常に同じ高さになるように描かれているが、同じ人物の顔画像であっても、少し向きが変わるなどすればマッチング率が変動するため、実際は若干グラフの高さが異なってくる。以下、これら図を参照して制御動作について説明する。
 まず、リモート撮影モードを利用する前に、予め、ユーザによって自分の顔画像を登録する作業が行われる。カメラモジュール13よりユーザが撮影されている状態で、ユーザもしくは別の人が登録操作行うと、上述したように登録制御部503が動作して、ユーザの顔画像のパラメータが顔登録部504に登録される。こうして、ユーザは、リモート撮影モードの設定を行える状態となる。
 なお、上記のように登録する際に撮影を行うのではなく、予め撮影されてメモリ105に記憶されている画像から顔画像のパラメータを抽出し、顔登録部504に登録する構成とすることも可能である。
 次に、ユーザによって、リモート撮影モードのためのキー操作が行われると、リモート撮影モードが起動する。
 リモート撮影モードが起動すると、モード起動中は常に顔抽出部501、顔パラメータ抽出部502およびマッチング判定部505が動作し、一定時間間隔(1コマまたは数コマ間隔)で1画面分の全ての顔画像のマッチング率がマッチング判定部505から撮影制御部506へ出力される。
 撮影制御部506は、まず、初期設定として、リモートフラグ(RFG)およびシャッターフラグ(SFG)をリセットする。
 次に、撮影制御部506は、1画面分の顔画像のマッチング率を取得し(S102)、1画面毎に、取得したマッチング率を閾値と比較し、閾値を超えるものがあるか否かを判定する(S103)。
 顔画像を登録したユーザ(以下、「登録ユーザ」という)が、カメラモジュール13の撮影領域に入っていない場合(図5Aの画面(A))には、画像中に他の人物がいてその顔画像が抽出されたとしても、そのマッチング率は低い値となる(図5Bの時間領域(A))。
 この場合、撮影制御部506は、閾値を超えるマッチング率の顔画像がないと判定し(S103:NO)、さらに、RFGはリセットされたままであるため(S105:NO)、ステップS102の処理に戻り、次に送られてくる1画面分の顔画像のマッチング率を取得する。
 その後、登録ユーザが撮影領域に入ってくると(図5Aの画面(B))、登録ユーザの顔画像が抽出される。そして、その顔画像のマッチング率は高い値となる(図5Bの時間領域(B))。
 これにより、撮影制御部506は、閾値を超えるマッチング率の顔画像があると判定すると(S103:YES)、リセット状態にあるRFGをセット状態とする(S104:NO→S107)。これにより、リモート撮影の準備状態となる。その後、撮影制御部506は、ステップS102の処理に戻り、次に送られてくる1画面分の顔画像のマッチング率を取得する。
 さて、撮影位置に着いた登録ユーザは、撮影準備が整うと、撮影を行うための動作を行う。即ち、撮影指示の合図として、自分の顔を一旦隠して再び現す動作を行う。たとえば、登録ユーザは顔を一旦下に向けた後にもとに戻す動作を行う(図5Aの画面(C)→(D))。登録ユーザが顔を隠す動作を行うと、その顔画像が抽出されなくなるため、マッチング率が閾値を超える顔画像がなくなり、そして、再び顔を現す動作を行うと、マッチング率が閾値を超える顔画像が再び現れる(図5Bの時間領域(C)→(D))。
 撮影制御部506は、リモート撮影の準備状態において、マッチング率が閾値を超える顔画像がないと判定すると(S103:NO)、このときは、RFGがセットさており(S105:YES)、かつSFGは未だリセット状態であるため(S108:NO)、SFGをセットする(S109)。
 その後、撮影制御部506は、再び、マッチング率が閾値を超える顔画像があると判定すると(S103:YES)、このときは、RFGおよびSFGがともにセット状態であるため(S104:YES→S106:YES)、自動撮影を開始する(S110)。
 撮影制御部506は、たとえば、一定の遅延時間(3秒後など)が経過した後に、シャッター動作を行い、そのときにカメラモジュール13が撮影した画像の画像データをメモリ105に記憶させる。このとき、登録ユーザ等に撮影することを知らせるため、「ピッ、ピッ、ピッ、カシャ」というような報知音を、スピーカ109から出力させるようにすると良い。また、報知音とともに、あるいは報知音に変えて、LED等の発光部を発光させたり、ディスプレイ21の表示状態を変えるようにしたりすることもできる。
 なお、自動撮影の動作としては、上記のものに限られず、上記遅延時間の経過を待たずに、直ちにシャッター動作を行うようにしても良いし、オートフォーカス機能が設けられていれば、フォーカス調整後にシャッター動作を行うにしても良い。
 こうして、撮影が完了する(図5Aの画面(E))。続けて撮影を行いたい場合、登録ユーザは、先と同様に、顔を隠した後に現す動作を行う。こうすると、撮影処理が実行され(ステップS103:YES→S104:YES→S106:YES→S110)、新たに撮影された画像の画像データがメモリ105記憶される。
 その後、ユーザによって、リモート撮影モード解除のためのキー操作が行われると、リモート撮影モードが停止される。
 以上、本実施の形態によれば、登録ユーザは、顔を一旦下に向けた後にもとに戻すなど、自分の顔を隠して再び現す動作を行うだけで、自分の意図する所望のタイミングで写真撮影(画像記憶)を行うことができる。しかも、リモコンがいらないので、リモコンを携帯するのを忘れるなどしても、リモート撮影が行えなくなる心配がない。
 したがって、カメラの操作性に優れた携帯電話機を実現することができる。
本発明の第2実施例
 上記実施の形態では、検出タイミング毎の画像中においてマッチング率が閾値を超える顔画像があれば、撮影領域に登録ユーザが存在するとみなしている。このため、画像中に登録ユーザと顔の似た人物がいたときには、登録ユーザの顔画像がなくなっても、似た人物の顔画像が閾値を超えていれば、登録ユーザの顔画像があると判定されてしまう。これにより、登録ユーザが撮影動作を行っても適正に写真撮影がなされない、という問題が起こり得る。
 これを解消するための一つの方法としては、閾値を高く設定する方法がある。しかし、登録ユーザとの撮影距離が遠くなり抽出される顔画像が小さくなると、マッチング率が低下するため、このような場合に閾値が高すぎると、登録ユーザを検出できない惧れが生じる。また、登録ユーザが顔の向きを変えるだけでマッチング率は変動するので、閾値が高すぎる場合には、この変動によってマッチング率が閾値を下回ったり上回ったりし、登録ユーザが意図しないのにシャッター動作が行われて写真撮影されてしまう、という事態も起こり得る。
 そこで、上記実施の形態に比べて、制御処理は複雑になるものの、登録ユーザの顔画像の有無を精度よく判定できるよう、以下に示す変更例1のような構成を採用することができる。
 図6は、変更例1に係るリモート撮影モードを実現するための機能ブロック図である。
 本変更例では、マッチング判定部505と撮影制御部506との間に、ターゲット特定部511と、ターゲット追跡部512と、顔有無検出部513とが配されている。その他の構成は、上記実施の形態と同様である。
 ターゲット特定部511は、マッチング判定部505から取得したマッチング率と、顔抽出部501から送られてくる顔領域情報とに基づいて、どの顔領域の顔画像が登録ユーザの顔画像であると推定されるかを特定し、その顔画像の顔領域情報をターゲット追跡部512に出力する。
 ターゲット追跡部512は、登録ユーザの顔画像の顔領域情報を受け取ると、カメラモジュール13からの画像データを一定間隔(1コマあるいは数コマ間隔)で取得することにより、ターゲットである顔領域の動きを追跡し、その位置の情報(以下、「ターゲット位置情報」という)を顔有無検出部513に出力する。なお、ターゲットの追跡手法としては、たとえば、動きベクトルを用いた周知の手法(たとえば、特開2006-323437号公報を参照)を採用することができる。
 顔有無検出部513は、顔抽出部501から送られてくる顔領域情報とターゲット追跡部512から送られてくるターゲット位置情報とに基づいて、画像中の登録ユーザの顔画像の有無を検出する。顔有無検出部513は、ターゲット位置情報に適合するような顔領域情報があれば、すなわち、追跡中のターゲットの位置に顔画像が検出されれば、画像中
に登録ユーザの顔画像が存在するとして、顔有り信号を撮影制御部506へ出力する。一方、ターゲット位置情報に適合するような顔領域情報がなければ、すなわち、追跡中のターゲットの位置に顔画像が検出されなければ、画像中に登録ユーザの顔画像が存在しないとして、顔無し信号を撮影制御部506へ出力する。
 撮影制御部506は、顔有無検出部513により検出された顔有無の結果に基づいて所定の撮影動作を行う。
 図7は、変更例1に係るリモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。同図Aは、登録ユーザの顔画像を特定するための処理(ターゲット特定処理)を示す図である。このターゲット特定処理は、ターゲット特定部511とターゲット追跡部512によって実行される。また、同図Bは、登録ユーザの顔有無の検出結果に基づいて撮影を行うための処理(自動撮影処理)の処理フローを示す図である。この自動撮影処理は、ターゲット追跡部512、顔有無検出部513および撮影制御部506によって実行される。以下、図7を参照して、制御動作について説明する。
 リモート撮影モードが起動すると、まず、ターゲット特定処理が行われる。ターゲット特定部511は、1画面分の顔画像のマッチング率と顔領域情報を取得し(S201)、1画面毎に、取得したマッチング率を閾値と比較して閾値を超えるものがあるか否かを判定する(S202)。そして、閾値を超えるものがあれば(S202:YES)、その顔画像のマッチング率がターゲット特定処理を開始してから最高のマッチング率であるか否かを判定し(S203)、最高のマッチング率であれば(S203:YES)、その顔画像が登録ユーザの顔画像のであると判定して、その顔画像に関する顔領域情報をターゲット追跡部512に送る。ターゲット追跡部512は、その顔領域情報で特定される顔領域をターゲット候補とし、その動きの追跡を開始する(S204)。
 ターゲット特定部511は、リモート撮影モードが起動してからの時間を計測している。本変更例では、登録ユーザがリモート撮影モードの設定操作を行ってから撮影位置に移動するまでの時間を見越して、登録ユーザを最終的に特定するためサーチ時間が設定されている。
 ターゲット特定部511は、サーチ時間が経過していなければ(S205:NO)、ステップS201の処理に戻り、次に送られてくる1画面分の顔画像のマッチング率と顔領域情報を取得する。こうして、サーチ時間が経過するまで、ステップS201からS204の処理が繰り返される。この間、マッチング率が最高の顔画像が検出される度に、ターゲット候補が更新され、更新されたターゲット候補の動きが追跡される。なお、この間にターゲット候補が画像中からいなくなれば、ターゲット追跡部512は、追跡を中断して次の顔領域情報を受け取るまで待機する。
 こうして、サーチ時間が経過すると(S205:YES)、ターゲット特定部511は、ターゲット候補が存在しているか否かを判定する(S206)。そして、ターゲット候補が存在していれば(S206:YES)、そのときのターゲット候補を正式なターゲットとして確定し(S207)、ターゲット特定処理を終了する。以降、ターゲット追跡部512は、確定したターゲットの追跡を行うこととなる。
 このように、本変更例では、サーチ時間を設けて、その時間の中でマッチング率が最も高い顔画像を登録ユーザの顔画像と特定することで、撮影領域に登録ユーザと顔の似た人物がいても、その人物の顔画像を登録ユーザの顔画像とみなしてしまうのを防止することができる。
 一方、登録ユーザが、移動するのに手間取るなどしてサーチ時間内に撮影領域内に入ることができず、サーチ時間内にターゲット候補が特定されない場合(S206:NO)には、サーチ時間の計測がリセットされ(S208)、S201に戻って、再度、ターゲット候補のサーチ動作が行われる。
 なお、ターゲット特定部511は、ターゲット特定処理が完了すると、ターゲット追跡部512に対してターゲットが確定した旨の信号を送る。ターゲット追跡部512はこの確定信号を受け取ると、顔有無検出部513へのターゲット位置情報の出力を開始する。
 ターゲット特定処理が完了すると、続いて、自動撮影処理が開始される。撮影制御部506は、まず、シャッターフラグ(SFG)をリセット状態とする(S301)。
 ターゲット追跡部512は、ターゲット、即ち登録ユーザと推定された顔画像の追跡を行い(S302)、ターゲットが撮影領域内から外れなければ(S303:NO)、顔抽出部501から顔領域情報が出力されるタイミングに合わせて、ターゲット位置情報を顔有無検出部513へ出力する。
 顔有無検出部513は、上述のように、顔抽出部501から送られてくる顔領域情報とターゲット追跡部512から送られてくるターゲット位置情報とに基づいて、登録ユーザの顔画像の有無を検出し、顔有り信号または顔無し信号を撮影制御部506へ出力する(S304)。
 登録ユーザが、上記実施の形態と同様、自分の顔を隠した後に現す動作を行うと、顔有無検出部513からは顔無し信号が出力され、その後、顔有り信号が出力される。
 撮影制御部506は、顔無し信号を受け取ると、ターゲットとなる顔画像、即ち登録ユーザの顔画像がないと判定し(S305:NO)、このときはSFGがリセット状態にあるため(S307:NO)、SFGをセットする(S308)。そして、次に、顔有り信号を受け取ると、登録ユーザの顔画像があると判定し(S305:YES)、このときはSFGがセット状態にあるため(S306:YES)、自動撮影を行う(S309)。自動撮影の動作については、上記実施の形態と同様である。
 なお、登録ユーザが、何らかの事情で撮影領域から出た場合、ターゲット追跡部512はステップS303でターゲットが撮影領域から外れたと判定する(S303:YES)。この場合、自動撮影処理が終了し、ターゲット追跡部512からは、ターゲット特定部511、顔有無検出部513および撮影制御部506にリセット信号がされる。これに基づいて、図7Aに示すターゲット特定処理から再び自動撮影のための処理が開始される。
 以上、本変更例の構成によれば、登録ユーザであると判定した顔画像の動き追跡するようにしているので、同じ画像中に登録ユーザと似た顔の人物がいた場合でも、登録ユーザの顔画像の有無を精度よく検出でき、適正に自動撮影処理に移ることができる。
本発明の第3実施例
 写真撮影を行う際、その時々の状況に応じて、撮影に関する所定の設定や調整が行われ得る。たとえば、自動撮影における上記遅延時間の有無の設定やフラッシュのオン/オフの設定、ズームの調整等が行われ得る。登録ユーザは、これらの設定等を、リモート撮影モードの設定を行う際あるいはそれ以前に行う場合もあるが、撮影位置に着いてから行う場合もある。
 そこで、本変更例では、登録ユーザの顔の状態(顔が左右に向いている状態)や他の部分(手など)の状態に基づいて、撮影に関する設定等を行うことができる構成とされている。
 図8は、変更例2に係るリモート撮影モードを実現するための機能ブロック図である。本変更例では、図6に示す変更例1の機能ブロックに対し、状態検出部521が付加されている。
 状態検出部521には、ターゲット追跡部512から登録ユーザの顔画像に関するターゲット位置情報が入力される。また、状態検出部521には、画像データが入力される。状態検出部521は、これら入力に基づいて、登録ユーザの顔画像の状態を検出し、その状態に応じた設定等の指示信号を撮影制御部506へ出力する。
 状態検出部521には、顔画像の状態とそれに対応する指示内容とが予め設定されている。たとえば、遅延時間の有無が顔の左右の向きにより設定される場合、右向きの顔画像に対して遅延時間有りの指示内容が、左向きの顔画像に対して遅延時間無しの指示内容が設定されている。
 顔の向きを検出する方法としては、公知の検出方法、たとえば、特開2000-97676号公報に示されている手法を用いることができる。この場合、状態検出部521は、顔領域となる肌色領域の重心位置に対する目、鼻、口等の相対位置に基づいて、顔画像が右向きであるのか左向きであるのかを検出する。即ち、登録ユーザの顔が右を向けば、肌色領域において目、鼻、口等が右に偏るので、状態検出部521は、顔が右を向いていると判定し、遅延時間有りの指示信号を出力する。一方、登録ユーザの顔が左を向けば、肌色領域において目、鼻、口等が左に偏るので、状態検出部521は、顔が左を向いていると判定し、遅延時間無しの指示信号を出力する。なお、顔画像が左右に向く範囲は、勿論、顔抽出部501によって顔画像が検出される範囲となる。
 撮影制御部506は、動作検出部521から設定等の指示信号を受けると、これに従って設定等の処理を行う。
 図9は、変更例2に係る自動撮影処理の処理フローを示す図である。同図の処理フローでは、撮影に関する設定等を実行するため、図7の処理フローに対し、撮影制御部506によるステップS311およびS312の処理が付加されている。
 撮影制御部506は、登録ユーザの顔画像(ターゲット)が特定された後に顔画像があると判定すると(S305:YES→S306:NO)、動作検出部521から機能設定等の指示があったか否かを判定する(S311)。そして、機能設定等の指示があれば、その指示に従った処理を行う(S312)。
 たとえば、上記遅延時間の有無が設定される場合、登録ユーザが顔を右に向ければ遅延時間有りの設定が行われ、登録ユーザが顔を左に向ければ遅延時間無しの設定が行われる。
 以上、本変更例の構成によれば、登録ユーザが携帯電話機とは離れた場所から撮影に関する設定や調整を行うことが可能となるため、使い勝手が向上する。
 なお、本変更例では、顔画像の状態に応じて上記遅延時間以外の設定等がなされる構成とされても良い。たとえば、携帯電話機にフラッシュ機能が具備されている場合には、フラッシュのオン/オフが設定されても良く、また、ズーム機能が具備されている場合には
、ズームのイン/アウトの調整が行われても良い。この場合は、ディスプレイ21がカメラのレンズ窓と同じ向きに切り替えられる機構を設けて、被写体(登録ユーザ)方向からズーム状況を確認できるようにすることが望ましい。
 また、本変更例では、顔の状態ではなく、顔以外の部分の状態に応じて機能設定等がなされる構成とされても良い。たとえば、指で方向を指す状態が検出され、指の向きに応じて機能設定等がなされても良い。ただし、本変更例の場合は、登録ユーザの顔領域が追跡される構成であるため、顔以外の状態を検出する場合には、登録ユーザの状態であることが判別できるよう、登録ユーザの顔画像の周辺の状態のみが検出される構成とされることが望ましい。
本発明の第4実施例
 上記実施の形態および変更例1、2では、リモート撮影モードの設定/解除が所定のキー操作により行われる。よって、登録ユーザは、リモート撮影モードを利用する度に、設定および解除の操作をしなければならない。
 そこで、本変更例では、リモート撮影モードの設定/解除(起動/停止)が、キー操作によらずに自動で行われる構成としている。
 図10は、変更例3に係るリモート撮影モードを実現するための機能ブロック図である。本変更例では、図6に示す変更例1の機能ブロックに対し、モード制御部531が付加されている。
 変更例1では、ターゲット追跡部512からのリセット信号が、顔有無検出部513、撮影制御部506およびターゲット特定部511に出力されていたが、本変更例では、モード制御部531に出力される。
 また、本変更例では、リモート撮影モードが起動していないときでも、顔抽出部501、顔パラメータ抽出部502およびマッチング判定部505が動作し、モード制御部531には、マッチング判定部505からマッチング率が入力されるとともに、顔抽出部501から顔位置情報が入力される。
 モード制御部531は、リモート撮影モードが起動されていない状態において、入力されたマッチング率に基づいてリモート撮影モードを起動させる。また、リモート撮影モードが起動している状態において、入力されたマッチング率、顔領域情報およびリセット信号に基づいてリモート撮影モードを停止させる。
 図11は、変更例3に係るリモート撮影モードを自動設定する処理、および自動解除する処理の処理フローを示す図である。同図Aは自動設定の処理フローを示し、同図Bは自動解除の処理フローを示す。また、図12は、変更例3に係るリモート撮影モードの自動設定/解除の流れを、イラスト画を用いて示した図である。同図Aは自動設定の流れを示し、同図B、Cは自動解除の流れを示す。以下、これらの図を参照して制御動作について説明する。
 図11Aを参照して、モード制御部531は、1画面分の顔画像のマッチング率を取得し(S401)、1画面毎に、取得したマッチング率を閾値と比較し、閾値を超えるものがあるか否かを判定する(S402)。
 登録ユーザが、写真撮影に加わらず撮影領域に入らなければ、マッチング率が閾値を超えないので(S402:NO)、リモート撮影モードはオフのままとなる(図12Aの画面(A))。
 一方、登録ユーザが、撮影に加わるために撮影領域に入ると、マッチング率が閾値を超えるので(S402:YES)、モード制御部531は、画像中に登録ユーザの顔画像があると判定して、リモート撮影モードを起動する(S403;図12Aの画面(B))。
 本変更例では、リモート撮影モードが起動すると同時に撮影準備状態に移行する。即ち、本変更例では、変更例1の場合と違って、図7Aのターゲット特定処理が行われず、ステップS402で閾値を超えたと判定した顔画像(複数あれば、マッチング率が最高のもの)を登録ユーザの顔画像とみなして、その顔領域情報をターゲット追跡部512へ出力する。これにより、以降は図7Bの自動撮影処理が行われる。
 次に、図11Bを参照して、モード制御部531は、リモート撮影モードの起動中、1画面分の顔画像のマッチング率と顔領域情報を取得し(S501)、マッチング率を超える顔画像、即ち登録ユーザの顔画像の顔領域のサイズが閾値を超えたか(拡大したか)否かを判定する(S502)。また、顔領域のサイズが閾値を超えなければ(S502:NO)、顔領域(ターゲット)が撮影領域から外れたか否か、即ちターゲット追跡部512からリセット信号が出力されたか否かを判定する(S503)。
 撮影が継続されている間、登録ユーザは遠近方向にあまり大きく動くことがなく、また、撮影領域から離れることもないので、その顔領域のサイズは閾値を超えず(S502:NO)、また、リセット信号が入力されることもない(S503:NO)。よって、この場合は、リモート撮影モードが起動したままとなる(図12Bの画面(C)、図12Cの画面(E))。
 一方、撮影が終了すると、登録ユーザは、携帯電話機(カメラモジュール13)の方に向かう。このとき、登録ユーザの顔画像は、撮影領域内で携帯電話機に近づくか、撮影領域から外れるかする。
 モード制御部531は、顔画像が撮影領域内で携帯電話機に近づくことによって、その顔領域のサイズが閾値を超えたと判定すると(S502:YES)、リモート撮影モードを停止する(S504;図12Bの画面(D))。あるいは、顔領域が撮影領域から外れることにより、リセット信号が入力されると(S503:YES)、リモート撮影モードを停止する(S504;図12Bの画面(F))。
 以上、本変更例の構成によれば、登録ユーザが逐一キー操作を行うことなく、リモート撮影モードの起動、停止を行うことができるので、操作性をより一層向上させることができる。
 なお、本変更例では、リモート撮影モードの起動および停止の双方が自動で行われる構成とされているが、どちらか一方のみが自動で行われる構成とされても良い。
 また、本変更例では、登録ユーザの顔領域のサイズが閾値を超えたときと顔領域が画像中から外れたときの双方が判定され、リモート撮影モードが停止される構成とされているが、どちらか一方のみが判定される構成とされても良い。
 さらに、本変更例は、図3ないし図5に示す上記実施の形態にも適用され得る。ただし、上記実施の形態においては、ターゲット追跡部512が具備されていないため、登録ユーザの顔領域のサイズが閾値を超えたときのみに、リモート撮影モードが停止される構成とされる。
 図13は、変更例3に係る構成を、上記実施の形態に適用する場合の機能ブロック図である。同図に示すように、モード制御部531には、マッチング判定部505からマッチング率が入力されるとともに、顔抽出部501から顔領域情報が入力される。
 この構成においては、リモート撮影モードを起動させる処理として、図11Aと同様の処理が行われる。一方、リモート撮影モードを停止させる処理として、図11Bと同様な処理がなされるが、ステップS503の処理は除かれる。この場合は、ステップS502で顔領域のサイズが閾値を超えていないと判定されると、ステップS511の処理に戻るような処理フローとなる。
その他
 本発明の実施形態は、上記以外にさらに種々の変更が可能である。
 たとえば、上記実施の形態では、シャッター動作が行われると、直ちに撮影された画像の画像データがメモリ105に正式に記憶される構成とされている。しかしながら、このような構成に限らず、メモリ105やCPU100などに一時的な記憶領域が設けられ、シャッター動作が行われると、この一時記憶領域に撮影画像が一旦保存され、その後、登録ユーザ等により所定の保存操作がなされると、メモリ105に正式に記憶される構成とされても良い。
 このように、特許請求の範囲に記載された本発明の記憶部は、上記実施の形態のメモリ105のように撮影画像を正式に記憶するための手段のみに限られるものでなく、上記一時記憶領域のように撮影画像を一時的に記憶するための手段をも含む概念である。
 また、上記実施の形態では、カメラ付き携帯電話機を例示したが、本発明のカメラ付き機器は、携帯電話機に限られず、カメラ付きPDA(Personal Digital Assistant)やデジタルカメラ等とすることができる。
 この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
 したがって、撮影者は、自分の顔を用いて、自分の意図する所望のタイミングで写真撮影(画像記憶)を行うことができる。しかも、リモコンがいらないので、リモコンを携帯するのを忘れるなどしても、リモート撮影が行えなくなる心配がない。
 本発明のカメラ付き機器において、前記リモート記憶部は、前記顔検出部によって前記顔画像が検出された後、前記顔画像が検出されなくなり、その後、再び、前記顔画像が検出されたことに基づいて、前記画像情報を前記記憶部に記憶させるための制御処理を実行するよう構成され得る。
 この構成によれば、撮影者の顔が隠れて再び現れる動作が行われると、これに基づいてシャッター動作が行われて画像情報が記憶される。
 したがって、撮影者は、上記の動作を行うことで、自分の意図する所望のタイミングで写真撮影(画像記憶)を行うことができる。
 また、本発明のカメラ付き機器においては、前記リモート記憶部による制御処理は、前記カメラ部による撮像が開始された後、前記顔検出部によって前記顔画像が検出されたことに応じて起動される構成とされ得る。
 このような構成とすれば、撮影者が逐一設定操作を行うことなく、リモート撮影のための制御処理を起動させることができるので、さらに操作性が良くなる。
 さらに、本発明のカメラ付き機器においては、前記顔検出部によって検出された前記顔画像を前記撮像画像中において追跡する追跡部をさらに備える構成とされ得る。この場合、前記リモート記憶部による制御処理が起動された後、前記追跡部により前記顔画像が前記撮像画像から抜け出たことが検出されたことに応じて、前記リモート記憶部による制御処理が停止される構成とされ得る。
 あるいは本発明のカメラ付き機器においては、前記リモート記憶部による制御処理が起動された後、前記顔検出部によって検出された前記顔画像の大きさが閾値を超えたことに応じて、前記リモート記憶部による制御処理が停止される構成とされ得る。
 これらのような構成とすれば、撮影者が逐一設定操作を行うことなく、リモート撮影のための制御処理を停止させることができるので、さらに操作性が良くなる。
 さらに、本発明のカメラ付き機器においては、前記顔検出部により前記撮像画像から検出された前記顔画像の対象となる人物の動作状態を検出する状態検出部をさらに備える構成とされ得る。この場合、前記リモート記憶部は、前記動作状態に応じて撮影に関連する機能設定を行うよう構成され得る。
 このような構成とすれば、撮影者は、機器とは離れた場所から撮影に関する機能設定を行うことが可能となる。
 本発明の実施例によれば、所望のタイミングでシャッター動作を行わせることができる、操作性に優れたカメラ付き機器を提供することができる。
 本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態に記載されたものに何ら制限されるものではない。
 本発明は、カメラ付き機器に関し、所望のタイミングでシャッター動作を行わせるカメラ付き機器に利用することができる。
 

Claims (10)

  1.  撮像画像を画像情報として出力するカメラ部と、
     前記画像情報を記憶する記憶部と、
     顔画像に関する情報を保持する顔登録部と、
     前記顔画像に関する情報を前記撮像画像から検出する顔検出部と、
     前記顔画像が検出されたことに基づいて、前記画像情報を前記記憶部に記憶させるための制御処理を実行するリモート記憶部と、を有する、
    ことを特徴とするカメラ付き機器。
  2.  請求項1に記載のカメラ付き機器において、
     前記リモート記憶部は、前記顔検出部によって前記顔画像が検出された後、前記顔画像が検出されなくなり、その後、再び、前記顔画像が検出されたことに基づいて、前記画像情報を前記記憶部に記憶させるための制御処理を実行する、
    ことを特徴とするカメラ付き機器。
  3.  請求項2に記載のカメラ付き機器において、
     前記リモート記憶部による制御処理は、前記カメラ部による撮像が開始された後、前記顔検出部によって前記顔画像が検出されたことに応じて起動される、
    ことを特徴とするカメラ付き機器。
  4.  請求項3に記載のカメラ付き機器において、
     前記顔検出部によって検出された前記顔画像を前記撮像画像中において追跡する追跡部をさらに備え、
     前記リモート記憶部による制御処理が起動された後、前記追跡部により前記顔画像が前記撮像画像から抜け出たことが検出されたことに応じて、前記リモート記憶部による制御処理が停止される、
    ことを特徴とするカメラ付き機器。
  5.  請求項3に記載のカメラ付き機器において、
     前記リモート記憶部による制御処理が起動された後、前記顔検出部によって検出された前記顔画像の大きさが閾値を超えたことに応じて、前記リモート記憶部による制御処理が停止される、
    ことを特徴とするカメラ付き機器。
  6.  請求項1に記載のカメラ付き機器において、
     前記顔検出部により前記撮像画像から検出された前記顔画像の対象となる人物の動作状態を検出する状態検出部をさらに備え、
     前記リモート記憶部は、前記動作状態に応じて撮影に関連する機能設定を行う、
    ことを特徴とするカメラ付き機器。
  7.  請求項2に記載のカメラ付き機器において、
     前記顔検出部により前記撮像画像から検出された前記顔画像の対象となる人物の動作状態を検出する状態検出部をさらに備え、
     前記リモート記憶部は、前記動作状態に応じて撮影に関連する機能設定を行う、
    ことを特徴とするカメラ付き機器。
  8.  請求項3に記載のカメラ付き機器において、
     前記顔検出部により前記撮像画像から検出された前記顔画像の対象となる人物の動作状態を検出する状態検出部をさらに備え、
     前記リモート記憶部は、前記動作状態に応じて撮影に関連する機能設定を行う、
    ことを特徴とするカメラ付き機器。
  9.  請求項4に記載のカメラ付き機器において、
     前記顔検出部により前記撮像画像から検出された前記顔画像の対象となる人物の動作状態を検出する状態検出部をさらに備え、
     前記リモート記憶部は、前記動作状態に応じて撮影に関連する機能設定を行う、
    ことを特徴とするカメラ付き機器。
  10.  請求項5に記載のカメラ付き機器において、
     前記顔検出部により前記撮像画像から検出された前記顔画像の対象となる人物の動作状態を検出する状態検出部をさらに備え、
     前記リモート記憶部は、前記動作状態に応じて撮影に関連する機能設定を行う、
    ことを特徴とするカメラ付き機器。
     
PCT/JP2009/069870 2008-11-26 2009-11-25 カメラ付き機器 WO2010061850A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/131,594 US8803997B2 (en) 2008-11-26 2009-11-25 Method and device for controlling remote capturing of an image based on detection of a predetermined change in the image
KR1020117012162A KR101248721B1 (ko) 2008-11-26 2009-11-25 카메라 부착 기기
US13/229,602 US8947552B2 (en) 2008-11-26 2011-09-09 Method and device with camera for capturing an image based on detection of the image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-300761 2008-11-26
JP2008300761A JP4927808B2 (ja) 2008-11-26 2008-11-26 カメラ付き機器

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/131,594 A-371-Of-International US8803997B2 (en) 2008-11-26 2009-11-25 Method and device for controlling remote capturing of an image based on detection of a predetermined change in the image
US13/229,602 Continuation US8947552B2 (en) 2008-11-26 2011-09-09 Method and device with camera for capturing an image based on detection of the image

Publications (1)

Publication Number Publication Date
WO2010061850A1 true WO2010061850A1 (ja) 2010-06-03

Family

ID=42225723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/069870 WO2010061850A1 (ja) 2008-11-26 2009-11-25 カメラ付き機器

Country Status (4)

Country Link
US (2) US8803997B2 (ja)
JP (1) JP4927808B2 (ja)
KR (1) KR101248721B1 (ja)
WO (1) WO2010061850A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246355A (zh) * 2018-09-19 2019-01-18 北京云迹科技有限公司 利用机器人生成全景图像的方法、装置及机器人

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478071B2 (en) * 2009-12-16 2013-07-02 Nvidia Corporation System and method for constructing a motion-compensated composite image
WO2012169606A1 (ja) * 2011-06-10 2012-12-13 Necカシオモバイルコミュニケーションズ株式会社 携帯端末、制御方法及びプログラム
US20150054984A1 (en) * 2012-03-15 2015-02-26 Nec Display Solutions, Ltd. Image display apparatus and image display method
US9007508B2 (en) * 2012-03-29 2015-04-14 Sony Corporation Portable device, photographing method, and program for setting a target region and performing an image capturing operation when a target is detected in the target region
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US20130335587A1 (en) * 2012-06-14 2013-12-19 Sony Mobile Communications, Inc. Terminal device and image capturing method
JP5780569B1 (ja) * 2014-03-19 2015-09-16 株式会社 テクノミライ デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
JP6504808B2 (ja) * 2014-12-22 2019-04-24 キヤノン株式会社 撮像装置、音声コマンド機能の設定方法、コンピュータプログラム、及び記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290529A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 携帯通信端末、情報表示装置、制御入力装置および制御入力方法
JP2003224761A (ja) * 2002-01-28 2003-08-08 Konica Corp 撮像装置
JP2005051472A (ja) * 2003-07-28 2005-02-24 Nikon Corp 自動撮影制御装置、自動撮影用プログラム、カメラ
JP2007052780A (ja) * 2005-08-11 2007-03-01 Samsung Electronics Co Ltd 移動通信端末のユーザー入力方法及び装置
JP2007281760A (ja) * 2006-04-05 2007-10-25 Nikon Corp 電子カメラ
JP2008160280A (ja) * 2006-12-21 2008-07-10 Sanyo Electric Co Ltd 撮像装置および自動撮像方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454726B2 (ja) 1998-09-24 2003-10-06 三洋電機株式会社 顔向き検出方法及びその装置
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
CA2568633C (en) * 2004-10-15 2008-04-01 Oren Halpern A system and a method for improving the captured images of digital still cameras
JP2007041205A (ja) 2005-08-02 2007-02-15 Sanyo Electric Co Ltd カメラ付携帯電話機
JP4654974B2 (ja) * 2006-05-23 2011-03-23 富士フイルム株式会社 撮影装置および撮影方法
JP4338047B2 (ja) * 2006-07-25 2009-09-30 富士フイルム株式会社 撮像装置
JP4197019B2 (ja) 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
GB2448221B (en) * 2007-04-02 2012-02-01 Samsung Electronics Co Ltd Method and apparatus for providing composition information in digital image processing device
JP4600435B2 (ja) * 2007-06-13 2010-12-15 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4356778B2 (ja) * 2007-06-25 2009-11-04 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4998122B2 (ja) * 2007-07-10 2012-08-15 カシオ計算機株式会社 撮像装置及びそのプログラム
US8111874B2 (en) * 2007-12-04 2012-02-07 Mediatek Inc. Method and apparatus for image capturing
JP5030022B2 (ja) * 2007-12-13 2012-09-19 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4466770B2 (ja) * 2008-06-26 2010-05-26 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
JP4770929B2 (ja) * 2009-01-14 2011-09-14 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム。

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290529A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 携帯通信端末、情報表示装置、制御入力装置および制御入力方法
JP2003224761A (ja) * 2002-01-28 2003-08-08 Konica Corp 撮像装置
JP2005051472A (ja) * 2003-07-28 2005-02-24 Nikon Corp 自動撮影制御装置、自動撮影用プログラム、カメラ
JP2007052780A (ja) * 2005-08-11 2007-03-01 Samsung Electronics Co Ltd 移動通信端末のユーザー入力方法及び装置
JP2007281760A (ja) * 2006-04-05 2007-10-25 Nikon Corp 電子カメラ
JP2008160280A (ja) * 2006-12-21 2008-07-10 Sanyo Electric Co Ltd 撮像装置および自動撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246355A (zh) * 2018-09-19 2019-01-18 北京云迹科技有限公司 利用机器人生成全景图像的方法、装置及机器人
CN109246355B (zh) * 2018-09-19 2020-12-18 北京云迹科技有限公司 利用机器人生成全景图像的方法、装置及机器人

Also Published As

Publication number Publication date
JP4927808B2 (ja) 2012-05-09
US8947552B2 (en) 2015-02-03
KR101248721B1 (ko) 2013-04-01
US20120086833A1 (en) 2012-04-12
US20110294545A1 (en) 2011-12-01
KR20110082057A (ko) 2011-07-15
US8803997B2 (en) 2014-08-12
JP2010130156A (ja) 2010-06-10

Similar Documents

Publication Publication Date Title
JP4927808B2 (ja) カメラ付き機器
JP4659088B2 (ja) カメラ付き携帯端末
US10270975B2 (en) Preview image display method, apparatus and storage medium
WO2017020498A1 (zh) 图像拍摄方法和装置
US8957981B2 (en) Imaging device for capturing self-portrait images
CN104982024B (zh) 一种移动终端和启动移动终端拍摄的方法
JP6426484B2 (ja) 携帯端末
EP2991336B1 (en) Image capturing method and apparatus
CN107426502B (zh) 拍摄方法及装置、电子设备、存储介质
KR20100027700A (ko) 촬영 방법 및 장치
KR20080089839A (ko) 영상 촬영 장치 및 방법
JP2004032442A (ja) 携帯端末及びその報知方法
JP4876836B2 (ja) 撮像装置及び方法並びにプログラム
JP2006145629A (ja) 撮像装置
JP2008311885A (ja) デジタルカメラ、カメラ付き携帯電話
EP3211879A1 (en) Method and device for automatically capturing photograph, electronic device
KR20120126842A (ko) 카메라 모듈을 포함하는 휴대용 전자기기 및 그 영상 촬영 방법
JP2006081113A (ja) 携帯端末装置
JP2014045404A (ja) 携帯端末
JP2008022280A (ja) 撮影装置、方法およびプログラム
JP5225446B2 (ja) カメラ付き機器
JP2005333582A (ja) カメラ
JP2010161704A (ja) 携帯端末、その撮影制御方法、プログラム及び記録媒体
JP2005027002A (ja) 通信機能付カメラ
JP2010026459A (ja) 撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09829098

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20117012162

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13131594

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09829098

Country of ref document: EP

Kind code of ref document: A1