WO2017221741A1 - 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム - Google Patents

画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム Download PDF

Info

Publication number
WO2017221741A1
WO2017221741A1 PCT/JP2017/021446 JP2017021446W WO2017221741A1 WO 2017221741 A1 WO2017221741 A1 WO 2017221741A1 JP 2017021446 W JP2017021446 W JP 2017021446W WO 2017221741 A1 WO2017221741 A1 WO 2017221741A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
state
image
image sensor
user
Prior art date
Application number
PCT/JP2017/021446
Other languages
English (en)
French (fr)
Inventor
淳 江尻
真透 舘
佑輔 皆川
望月　輝彦
伸幸 朝倉
通雅 尾花
悠史 西牧
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/308,590 priority Critical patent/US10986264B2/en
Publication of WO2017221741A1 publication Critical patent/WO2017221741A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present technology relates to an image processing device, an image processing method, an image sensor, an information processing device, and a program.
  • an image processing device, an image processing method, an image sensor, The present invention relates to an information processing apparatus and a program.
  • This technology has been made in view of such a situation, and is intended to improve operability until an application is started.
  • An image processing apparatus uses a data from a plurality of sensors to detect a predetermined state and to detect a predetermined subject when the predetermined state is detected by the detection unit.
  • An imaging unit uses a data from a plurality of sensors to detect a predetermined state and to detect a predetermined subject when the predetermined state is detected by the detection unit.
  • An image processing method includes a step of detecting a predetermined state using data from a plurality of sensors and imaging a predetermined subject when the predetermined state is detected.
  • a program according to an aspect of the present technology includes a process including a step of detecting a predetermined state using data from a plurality of sensors in a computer and imaging a predetermined subject when the predetermined state is detected. This is a program to be executed.
  • An image sensor uses a data from a plurality of sensors to detect a predetermined state, and captures a predetermined subject when the predetermined state is detected by the detection unit.
  • An imaging unit uses a data from a plurality of sensors to detect a predetermined state, and captures a predetermined subject when the predetermined state is detected by the detection unit.
  • An information processing apparatus includes a plurality of sensors, an image sensor, and an application processor, and the image sensor includes a plurality of input interfaces for inputting data from the plurality of sensors, and the input interface.
  • a detection unit that detects a predetermined state using data from the plurality of sensors input via the imaging unit, and an imaging unit that images a predetermined subject when the detection unit detects the predetermined state; Is provided.
  • data from a plurality of sensors is used to detect a predetermined state, and when a predetermined state is detected, a predetermined subject is detected. Imaged.
  • data from a plurality of sensors is used to detect a predetermined state, and when a predetermined state is detected, a predetermined subject is imaged.
  • the information processing apparatus includes a plurality of sensors, an image sensor, and an application processor.
  • An image sensor includes a plurality of input interfaces for inputting data from a plurality of sensors, a detection unit for detecting a predetermined state using data from the plurality of sensors input via the input interface, and a detection unit. When a predetermined state is detected, an imaging unit that images a predetermined subject is provided.
  • image processing apparatus or the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • operability until the application is started can be improved.
  • FIG. 1 is a diagram illustrating an external configuration of an embodiment of an information processing apparatus including an image processing apparatus to which the present technology is applied.
  • a terminal 10 as an information processing apparatus includes a display unit 11, an imaging unit 12, a microphone 13, and a speaker 14 on the surface of a housing.
  • a touch sensor is superimposed on the display unit 11, a so-called GUI (Graphical User Interface) is displayed on the display unit 11, and an instruction from the user is input by operating the GUI.
  • GUI Graphic User Interface
  • it can be set as the structure from which the instruction
  • it can also be set as the structure by which the instruction
  • the terminal 10 is an example of an information processing apparatus in which the operability of the application activation operation from the locked state is improved.
  • the terminal 10 is an information processing device such as a mobile phone including a smartphone, a portable music playback device, a portable video processing device, a portable game device, a notebook PC (Personal Computer), and a tablet PC.
  • a portable terminal device will be described as an example, but the present technology can be applied to any information processing device having a lock function.
  • FIG. 2 is a diagram illustrating an internal configuration of the terminal 10. Note that when the terminal 10 is, for example, a smartphone, it has a plurality of functions such as a call function and a function of connecting to a network. Here, a configuration for realizing a function related to unlocking is illustrated and described.
  • the terminal 10 includes an application processor 51, an image sensor 52, an acceleration sensor 53, a geomagnetic sensor 54, and a proximity sensor 55.
  • the image sensor 52 includes a mode control unit 61, a sensor control unit 62, a sensor input interface 63, a sensor input interface 64, a sensor input interface 65, a state detection unit 66, an imaging unit 67, and a face detection recognition unit 68. It is configured to include.
  • the application processor 51 can be composed of a semiconductor integrated circuit capable of processing various applications, and controls each unit in the terminal 10.
  • the image sensor 52 has a function of detecting the state of the terminal 10 for unlocking, which will be described later, and a function of recognizing the user, in addition to the function of imaging by the imaging unit 67. It also functions as an image processing device that processes captured images.
  • the terminal 10 has a plurality of sensors, and here, has three sensors as shown in FIG.
  • the acceleration sensor 53 is a sensor that detects acceleration as a voltage value.
  • the acceleration sensor 53 can be a three-axis acceleration sensor that detects acceleration along the X-axis direction, acceleration along the Y-axis direction, and acceleration along the Z-axis direction.
  • the acceleration sensor 53 supplies the detected acceleration data to the state detection unit 66 via the sensor input interface 63 provided in the image sensor 52.
  • the geomagnetic sensor 54 is a sensor that detects geomagnetism as a voltage value.
  • the geomagnetic sensor 54 can be a three-axis geomagnetic sensor that detects geomagnetism in the X-axis direction, the Y-axis direction, and the Z-axis direction, respectively.
  • the geomagnetic sensor 54 supplies the detected geomagnetic data to the state detection unit 66 via the sensor input interface 64 provided in the image sensor 52.
  • the proximity sensor 55 is a sensor that detects that the detection object approaches without contact.
  • the proximity sensor 55 is a sensor that detects an environment around the terminal 10, for example, an environment in a bag or an environment in a pocket.
  • the proximity sensor 55 supplies the detected environment data to the state detection unit 66 via the sensor input interface 65 provided in the image sensor 52.
  • the image sensor 52 includes a plurality of input interfaces for inputting data detected by the plurality of sensors.
  • the terminal 10 is configured to include a plurality of input interfaces for inputting data from each of the plurality of sensors.
  • the image sensor 52 will continue to be described as having a plurality of input interfaces for inputting data from each of the plurality of sensors.
  • the image sensor 52 includes an acceleration sensor 53, a geomagnetic sensor 54, and a proximity sensor. It is good also as a structure in which sensors, such as 55, are included.
  • the image sensor 52 may be configured not to include a plurality of input interfaces for inputting data from each of the plurality of sensors.
  • the mode control unit 61 of the image sensor 52 switches modes or controls each unit in the image sensor 52 in a predetermined mode according to an instruction from the application processor 51. Modes will be described in order below.
  • the sensor control unit 62 controls a plurality of sensors such as the acceleration sensor 53, the geomagnetic sensor 54, and the proximity sensor 55 in a predetermined mode according to an instruction from the application processor 51. As will be described later, the sensor control unit 62 controls the sensors in the terminal 10 when in the locked state. When not in the locked state, the sensor may be configured to be controlled by a control unit (operation system) (not shown).
  • a control unit operation system
  • the state detection unit 66 detects the state of the terminal 10 based on data obtained from a plurality of sensors such as the acceleration sensor 53, the geomagnetic sensor 54, and the proximity sensor 55. For example, the state is detected when the terminal 10 is lifted and held by the user.
  • the terminal 10 when the terminal 10 is in a locked state, it is placed on a desk or the like, and is lifted and held by the user when the user desires to use the terminal 10.
  • the state detection unit 66 detects a state in which the terminal 10 is lifted and held by such a user using data from a plurality of sensors.
  • the imaging unit 67 constitutes the imaging unit 12 shown in FIG.
  • the imaging unit 67 has a configuration described with reference to FIG. 3 and has a function of imaging a subject.
  • the face detection recognizing unit 68 determines whether or not a face has been detected using the image captured by the image capturing unit 67. When it is determined that a face has been detected, the detected face is further registered. It is recognized whether it is a user's face.
  • FIG. 3 shows a configuration example of the imaging unit 67.
  • the imaging unit 67 shown in FIG. 3 is a diagram showing an outline of the configuration of a CMOS image sensor which is a kind of XY address type imaging device, for example.
  • the CMOS image sensor is an image sensor created by applying or partially using a CMOS process.
  • the peripheral circuit unit includes, for example, a vertical drive unit 112, a column processing unit 113, a horizontal drive unit 114, and a system control unit 115.
  • the imaging unit 67 further includes a signal processing unit 118 and a data storage unit 119.
  • the signal processing unit 118 and the data storage unit 119 may be mounted on the same substrate as the imaging unit 67, or may be arranged on a different substrate from the imaging unit 67.
  • Each processing of the signal processing unit 118 and the data storage unit 119 may be processing by an external signal processing unit provided on a substrate different from the imaging unit 67, for example, a DSP (Digital Signal Processor) circuit or software. .
  • DSP Digital Signal Processor
  • the pixel array unit 111 includes unit pixels (hereinafter also simply referred to as “pixels”) having a photoelectric conversion unit that generates and accumulates photoelectric charges according to the received light amount in the row direction and the column direction, that is, The configuration is two-dimensionally arranged in a matrix.
  • the row direction refers to the pixel arrangement direction (that is, the horizontal direction) of the pixel row
  • the column direction refers to the pixel arrangement direction (that is, the vertical direction) of the pixel column.
  • pixel drive lines 116 are wired along the row direction for each pixel row, and vertical signal lines 117 are wired along the column direction for each pixel column, in a matrix-like pixel arrangement. .
  • the pixel drive line 116 transmits a drive signal for driving when reading a signal from the pixel.
  • the pixel driving line 116 is shown as one wiring, but is not limited to one.
  • One end of the pixel drive line 116 is connected to an output end corresponding to each row of the vertical drive unit 112.
  • the vertical drive unit 112 is configured by a shift register, an address decoder, and the like, and drives each pixel of the pixel array unit 111 at the same time or in units of rows. That is, the vertical driving unit 112 constitutes a driving unit that drives each pixel of the pixel array unit 111 together with the system control unit 115 that controls the vertical driving unit 112.
  • the vertical drive unit 112 is not shown in the figure for its specific configuration, but generally has a configuration having two scanning systems, a reading scanning system and a sweeping scanning system.
  • the readout scanning system sequentially selects and scans the unit pixels of the pixel array unit 111 in units of rows in order to read out signals from the unit pixels.
  • the signal read from the unit pixel is an analog signal.
  • the sweep-out scanning system performs sweep-out scanning with respect to the readout row on which the readout scanning is performed by the readout scanning system, preceding the readout scanning by the time corresponding to the shutter speed.
  • This sweep-out scanning by the sweep-out scanning system resets the photoelectric conversion unit by sweeping unnecessary charges from the photoelectric conversion unit of the unit pixel in the readout row.
  • a so-called electronic shutter operation is performed by sweeping out (resetting) unnecessary charges by the sweep-out scanning system.
  • the electronic shutter operation refers to an operation in which the photoelectric charge of the photoelectric conversion unit is discarded and exposure is newly started (photocharge accumulation is started).
  • the signal read out by the readout operation by the readout scanning system corresponds to the amount of light received after the immediately preceding readout operation or electronic shutter operation.
  • the period from the read timing by the immediately preceding read operation or the sweep timing by the electronic shutter operation to the read timing by the current read operation is the photo charge exposure period in the unit pixel.
  • a signal output from each unit pixel of the pixel row selectively scanned by the vertical driving unit 112 is input to the column processing unit 113 through each of the vertical signal lines 117 for each pixel column.
  • the column processing unit 113 performs predetermined signal processing on signals output from the pixels in the selected row through the vertical signal line 117 for each pixel column of the pixel array unit 111, and temporarily outputs the pixel signals after the signal processing. Hold on.
  • the column processing unit 113 performs at least noise removal processing, for example, CDS (Correlated Double Sampling) processing as signal processing.
  • CDS Correlated Double Sampling
  • the CDS processing by the column processing unit 113 removes pixel-specific fixed pattern noise such as reset noise and threshold variation of amplification transistors in the pixel.
  • the column processing unit 113 may have, for example, an AD (analog-digital) conversion function to convert an analog pixel signal into a digital signal and output the digital signal.
  • AD analog-digital
  • the horizontal driving unit 114 includes a shift register, an address decoder, and the like, and sequentially selects unit circuits corresponding to the pixel columns of the column processing unit 113. By the selective scanning by the horizontal driving unit 114, pixel signals that are signal-processed for each unit circuit in the column processing unit 113 are sequentially output.
  • the system control unit 115 includes a timing generator that generates various timing signals, and the vertical driving unit 112, the column processing unit 113, and the horizontal driving unit 114 based on various timings generated by the timing generator. Drive control is performed.
  • the signal processing unit 118 has at least an arithmetic processing function, and performs various signal processing such as arithmetic processing on the pixel signal output from the column processing unit 113.
  • the data storage unit 119 temporarily stores data necessary for the signal processing in the signal processing unit 118.
  • the imaging unit 67 having such a configuration captures an image when an instruction is received from the mode control unit 61, and supplies the captured image (image data thereof) to the face detection recognition unit 68.
  • FIG. 4 is a diagram illustrating a configuration example of the state detection unit 66 (FIG. 2) included in the image sensor 52.
  • the state detection unit 66 includes a movement determination unit 151, a handheld hold determination unit 152, a stillness determination unit 153, a terminal state detection unit 154, an environment detection unit 155, and a state determination unit 156.
  • Data from the acceleration sensor 53 is supplied to the movement determination unit 151, the hand hold determination unit 152, the stationary determination unit 153, and the terminal state detection unit 154 via the sensor input interface 63.
  • Data from the geomagnetic sensor 54 is also supplied to the terminal state detection unit 154 via the sensor input interface 64.
  • the data from the proximity sensor 55 is supplied to the environment detection unit 155 via the sensor input interface 65.
  • the motion determination unit 151 determines whether or not the terminal 10 has been moved based on the acceleration, using data from the acceleration sensor 53, mainly data in the Z-axis direction.
  • the handheld hold determination unit 152 determines whether or not the terminal 10 is stationary while being held by the user, using data from the acceleration sensor 53, mainly data in the Z-axis direction.
  • the stationary determination unit 153 determines whether or not the terminal 10 is stationary by using data from the acceleration sensor 53, mainly data in the X-axis direction and the Y-axis direction.
  • Both the handheld hold determination unit 152 and the stationary determination unit 153 determine whether or not the terminal 10 is stationary.
  • the handheld hold determination unit 152 is stationary while the terminal 10 is held by the user's hand.
  • the stationary determination unit 153 is different in that it determines whether or not the terminal 10 is stationary while being placed on a desk or the like.
  • the terminal state detection unit 154 uses the data from the acceleration sensor 53 and the geomagnetic sensor 54 to detect the state of the terminal 10, for example, what angle the terminal 10 has with respect to the ground. It is determined whether the state of 10 is a state where detection is prohibited.
  • a state in which detection is prohibited is a state in which a face cannot be imaged.
  • the imaging unit 12 of the terminal 10 is facing downward, in other words, when the terminal 10 is in a state parallel to the ground, even if the image is taken, only the ground is photographed, and the user's face is It is thought that imaging cannot be performed. Therefore, when a face is detected in this way, the state in which the face cannot be detected is set as a state where detection is prohibited (detection prohibited state).
  • the environment detection unit 155 uses the data from the proximity sensor 55 to determine whether the environment around the terminal 10 is a detection prohibited environment.
  • the detection-prohibited environment indicates a case where the possibility that a face is photographed is low even if photographing is performed.
  • an environment in which such a terminal 10 is in a bag is a detection-prohibited environment. It is.
  • an environment in which such a terminal 10 is in a pocket is also detected. It is a prohibited environment.
  • the state determination unit 156 determines the state of the terminal 10 using the determination results from the movement determination unit 151, the handheld hold determination unit 152, the stillness determination unit 153, the terminal state detection unit 154, and the environment detection unit 155. .
  • the use start state can be determined from the determination results of the motion determination unit 151, the handheld hold determination unit 152, and the stillness determination unit 153. However, only the determination results from the movement determination unit 151, the handheld hold determination unit 152, and the stillness determination unit 153 may erroneously detect the use start state, for example, when the user is walking or riding a vehicle. there is a possibility.
  • the state determination unit 156 uses the determination results from the motion determination unit 151, the handheld hold determination unit 152, the stationary determination unit 153, the terminal state detection unit 154, and the environment detection unit 155.
  • the description will be continued by taking the case of determining the state of the terminal 10 as an example.
  • FIG. 5 is a diagram illustrating an internal configuration of the face detection / recognition unit 68.
  • the face detection / recognition unit 68 includes a face detection unit 201, a feature amount extraction unit 202, a matching unit 203, and a feature amount storage unit 204.
  • the face detection unit 201 analyzes the image supplied from the imaging unit 67 and detects an area determined to be a face. When an area that can be determined as a face is detected by the face detection unit 201, a feature amount is extracted from the face by the feature amount detection unit 202.
  • the feature amount extraction unit 202 detects, for example, parts constituting the face such as eyes, nose, and mouth from the area determined to be a face, and extracts the size, positional relationship, and the like as feature amounts.
  • the extracted feature amount is supplied to the matching unit 203.
  • the feature amount extracted by the feature amount extraction unit 202 is supplied to the feature amount storage unit 204 and registered. That is, the feature amount storage unit 204 stores a feature amount extracted from the face image of the user registered as the user of the terminal 10.
  • Each feature amount of a plurality of users may be stored, or only a feature amount of one user may be stored. That is, as a user of the terminal 10, it may be configured so that a plurality of users can be registered, or only one user may be registered.
  • the lock state of the terminal 10 can be released by face authentication (face recognition), for example, when a plurality of people are registered, a screen that matches the user when the lock is released, For example, it is possible to take action for each recognized user such as starting a standby screen or a predetermined application.
  • face authentication face recognition
  • the matching unit 203 performs matching between the feature amount supplied from the feature amount extraction unit 202 and the feature amount stored in the feature amount storage unit 204, and a user to be processed (an imaged user) It is determined whether or not the user is registered as the user of the terminal 10.
  • the matching unit 203 may perform a determination as to whether or not the user is a registered user, and the determination result may be supplied to the mode control unit 61, or a matching that represents the probability of being a registered user.
  • the degree may be calculated, and the degree of matching may be supplied to the mode control unit 61 to determine whether or not the user is registered in the mode control unit 61.
  • the mode control unit 61 determines whether or not the user is a registered matching degree, for example. If the numerical value is within the difficult range, the imaging unit 67 is instructed to perform re-shooting, or the face detection / recognition unit 68 is instructed to perform face detection and face recognition again. Can be configured.
  • the application processor 51 operates in a normal operation in step S11.
  • the application processor 51 is activated and controls a predetermined application. Further, when the application processor 51 is in a normal operation, the user is using the terminal 10 and is not locked.
  • the operation system of the terminal 10 is also activated and executes processing according to an instruction from the user.
  • the sleep mode is entered.
  • the instruction to shift to the sleep state is issued from the operation system to the application processor 51.
  • the operation system and the application processor 51 are not activated, and the power consumption is suppressed.
  • the transition to the sleep state is also performed when an instruction is issued by the user, but also when the terminal 10 is not operated and only a predetermined time has elapsed.
  • the state is shifted to the locked state so as not to cause a malfunction and to prevent unauthorized operation by a user other than the registered user.
  • the terminal 10 In a locked state, the terminal 10 cannot be operated. For example, an application is activated, and a process by the application cannot be executed or a telephone call cannot be made.
  • the description will be continued assuming that the lock state is entered when the sleep state is entered, but the sleep state may be set but the lock state may not be entered. In other words, the sleep state is entered and the operation is performed with low power, but the state where the instruction from the user can be accepted instead of the lock state may be continued.
  • the application of the present technology is not limited only when the lock state is released, but can also be applied when releasing some state, for example, releasing the sleep state.
  • step S12 the application processor 51 determines whether there is a sleep request from the operation system.
  • the application processor 51 returns the process to step S11 and continues normal operation until it is determined that a sleep request has been made.
  • step S12 determines in step S12 that there is a request for sleep
  • the process proceeds to step S13.
  • step S ⁇ b> 13 the application processor 51 issues an instruction to shift to the state detection mode to the image sensor 52. While issuing such an instruction, the application processor 51 shifts to a sleep state in step S14.
  • step S31 the image sensor 52 receives an instruction from the application processor 51 to shift to the state detection mode.
  • the state detection mode is a mode in which the lock state of the terminal 10 is released and it is detected that the user has indicated that the terminal 10 will be used. Specifically, this is a mode for detecting that the terminal 10 is held by the user while the user's face is being photographed.
  • a sensor control unit 62 in the image sensor 52 controls an acceleration sensor 53, a geomagnetic sensor 54, and a proximity sensor 55 provided outside the image sensor 52. For example, these sensors are driven, and control is performed so that data is input to the state detection unit 66 via the sensor input interfaces 63 to 65 at a predetermined cycle.
  • the image sensor 52 receives an instruction from the image sensor 52 in step S51, starts detection in step S52, and outputs the detection result to the state detection unit 66.
  • step S34 When the image sensor 52 receives the output from the sensor in step S33, the image sensor 52 performs an unlock instruction determination in step S34.
  • This unlocking instruction determination will be described later with reference to the flowchart of FIG. 7, but a face is detected from the captured image whether the user has held the terminal 10, and the detected face is detected by the terminal 10. Processing including determination as to whether or not the user is registered is performed.
  • step S35 the determination result of the unlocking instruction determination in step S34 is used to determine whether or not unlocking is instructed.
  • the process returns to step S33 until it is determined that unlocking has been instructed, and the process in the state detection mode is continued.
  • step S35 if it is determined in step S35 that an instruction for unlocking has been issued, the process proceeds to step S36.
  • step S ⁇ b> 36 the mode control unit 61 of the image sensor 52 issues an activation instruction to the application processor 51. That is, in this case, since the application processor 51 is in a sleep state and is in a state where activation is stopped, an instruction for restarting is issued.
  • step S15 when receiving the activation instruction from the image sensor 52, the application processor 51 proceeds to step S16 to cancel the sleep state and shift from the sleep state to the normal operation state.
  • step S17 the application processor 51 starts a normal operation. When the application processor 51 starts normal operation, the locked state is released.
  • the image sensor 52 when the terminal 10 is in the locked state, the image sensor 52 performs processing for enabling immediate response when an instruction to release the locked state is issued. Since such processing is executed in the image sensor 52, it is possible to reduce power consumption.
  • step S101 the state detection unit 66 acquires data from each of the plurality of sensors.
  • the acceleration sensor 53, the geomagnetic sensor 54, and the proximity sensor 55 are provided as a plurality of sensors, data is acquired from each of these three sensors.
  • the image sensor 52 includes a plurality of input interfaces (in FIG. 2, sensor input interfaces 63 to 65) for inputting data from sensors outside the image sensor 52. Data from the sensor is supplied to the state detection unit 66 in the image sensor 52 via this input interface.
  • step S102 the state detection unit 66 detects the state of the terminal 10.
  • the state detection unit 66 has the configuration described with reference to FIG. 4, performs motion determination, hand-hold determination, stillness determination, terminal state detection determination, and environment detection determination. Detect the state of.
  • the detected state of the terminal 10 is that it is placed on a desk or the like (stationary state), a state of walking (a state of riding on a vehicle), a bag or a pocket. It is detected whether or not the user has moved from a state where the user is not using the terminal 10 to a state held by the user.
  • step S103 the state detection unit 66 (the state determination unit 156 of the state detection unit 66 (FIG. 4)) determines whether or not the terminal 10 is held in a state where the user's face can be imaged. In step S103, the process returns to step S101 until it is determined that the state is held, and the subsequent processes are repeated.
  • step S104 If it is determined in step S103 that the state is held, the process proceeds to step S104. If the state detection unit 66 detects that the terminal 10 is being held (capable of imaging), the state detection unit 66 notifies the mode control unit 61 (FIG. 2) of this. Upon receiving the notification from the state detection unit 66, the mode control unit 61 activates the imaging unit 67 in the power saving mode in step S104.
  • the state detection unit 66 is in a activated state, but the imaging unit 67 and the face detection recognition unit 68 are not activated. From such a state, the imaging unit 67 is activated in step S104.
  • the mode when the processing of steps S101 to S103 is being executed is described as a state detection mode. Further, the mode when the processes of steps S104 to S107 are executed is described as a face authentication mode.
  • the mode control unit 61 waits for an instruction in the image sensor 52 when there is a request for sleep to the application processor 51 and the application processor 51 is instructed to shift to the detection mode (steps S13 and S31 in FIG. 6). Change from mode to state detection mode.
  • the instruction waiting mode is a state waiting for an instruction from the application processor 51.
  • the state detection unit 66, the imaging unit 67, and the face detection recognition unit 68 are not activated.
  • the image capturing unit 67 is also used when capturing an image or video, and thus is appropriately started when the application processor 51 is starting an application that captures an image or video.
  • the state detection unit 66 In the state detection mode, the state detection unit 66 is activated.
  • the mode control unit 61 shifts from the instruction waiting mode to the state detection mode, the mode control unit 61 activates the state detection unit 66, accepts data from a plurality of external sensors, and issues an instruction to determine the state of the terminal 10.
  • the mode control unit 61 When the mode control unit 61 receives the determination result that the terminal 10 is held in the state detection mode, the mode control unit 61 shifts to the face recognition mode. When the face recognition mode is entered, the imaging unit 67 and the face detection / recognition unit 68 are activated. Note that, in the face recognition mode, whether the activation of the state detection unit 66 is maintained as it is or whether it is stopped may be set.
  • imaging unit 67 When the imaging unit 67 is activated, imaging is performed. That is, the imaging unit 67 captures an image in step S105 (FIG. 7). In the face recognition mode, the imaging unit 67 is set to the low power mode.
  • the imaging unit 67 includes the pixel array unit 111 in which a plurality of pixels are two-dimensionally arranged, but in the low power mode (face recognition mode). In some cases, imaging is not performed using all the pixels in the pixel array unit 111, but imaging is performed using a small number of pixels.
  • the number of pixels tends to increase as the resolution increases, but in the face recognition mode, it is sufficient that the resolution is sufficient to recognize the face.
  • One person to be recognized can be limited to a person who is imaged in the central portion of the image.
  • step S105 the image (image data) captured by the imaging unit 67 is supplied to the face detection recognition unit 68.
  • the face detection / recognition unit 68 executes face authentication processing in step S106.
  • the face detection / recognition unit 68 has the configuration described with reference to FIG. 5. An area that can be determined as a face is detected from the image supplied by the face detection unit 201, and a feature amount is detected from the area determined as a face. A feature amount is extracted by the extraction unit 202.
  • the feature quantity extracted by the matching unit 203 is compared with the feature quantity stored in the feature quantity storage unit 204, and it is determined whether or not the user is a registered user. That is, user authentication (user recognition) is performed.
  • step S107 it is determined whether or not the user is a registered user. This determination can be performed by the face detection unit recognition unit 68 and the result can be supplied to the mode control unit 61. Alternatively, the matching level indicating the probability of being a registered user is supplied from the face detecting unit recognizing unit 68 to the mode control unit 61, and it is determined whether or not the mode control unit 61 is a registered user. Can be configured.
  • step S106 the face authentication process is executed as described above. However, if a face is not detected by the face detection unit 201 (FIG. 5), the process after the face detection unit 201 is not performed. It may be configured. Further, when the face detection unit 201 (FIG. 5) detects no face, if the processing after the face detection unit 201 is not performed, it is determined in step S107 that the user is not a registered user. Is done.
  • step S107 If it is determined in step S107 that the user is not registered, the process returns to step S101, and the subsequent processes are repeated.
  • step S107 if it is determined in step S107 that the user is a registered user, the process proceeds to step S108.
  • the mode control unit 61 instructs the application processor 51 (FIG. 2) to release the lock state.
  • the image sensor 52 detects the state of the terminal 10 in the locked state, and when it detects that the terminal 10 is in a held state, the image sensor 52 captures the user and the photographed user is registered. It is determined whether the user is a registered user, and when it is determined that the user is a registered user, an instruction to release the lock state is issued.
  • the processing is performed in the image sensor 52, so that the user can release the lock state with a simple operation. That is, the user can release the locked state by simply holding the terminal 10 in front of his / her face.
  • the locked state of the terminal 10 can be released without performing an explicit operation for the user.
  • FIG. 8 is a diagram showing the relationship between the operation mode of the image sensor 52 and the power mode.
  • the standby power mode is set.
  • the standby power mode is, for example, a mode until the transition from the application processor 51 to the state detection mode is instructed in step S31 (FIG. 6).
  • the standby power mode for example, when an application that captures an image is activated and the image capturing unit 67 performs capturing, power for that is consumed.
  • the power consumed by the image sensor 52 varies depending on the operation of other parts.
  • the image sensor 52 shifts from the instruction waiting mode to the state detection mode.
  • the state detection mode it is the minimum power mode.
  • the state detection unit 66 is activated.
  • the minimum power mode is, for example, a mode when the processes of steps S101 to S103 (FIG. 7) are executed.
  • the image sensor 52 changes from the state detection mode to the face authentication mode. Transition.
  • the face authentication mode the low power mode is set.
  • the imaging unit 67 (a part of the imaging unit 67) and the face detection recognition unit 68 are activated.
  • the low power mode is a mode when the processes of steps S104 to S107 (FIG. 7) are executed, for example.
  • the start instruction mode is a mode in which a notification can be issued to the application processor 51, and requires more power than when only the inside of the image sensor 52 is controlled.
  • the normal power mode is a mode when the process of step S16 (FIG. 6) (step S108 (FIG. 7)) is executed, for example.
  • the mode is returned to the instruction waiting mode, and the power mode is returned from the normal power mode to the standby power mode. Such mode transition is repeated.
  • Minimum power mode ⁇ low power mode ⁇ normal power mode Arranging these power modes in the order of power consumption, Minimum power mode ⁇ low power mode ⁇ normal power mode. Since power consumption may change in the standby power mode, comparison with these modes is not performed here.
  • the power consumed by the image sensor 52 itself can be reduced.
  • processing such as state detection and face recognition is performed in the image sensor 52, the power consumed by the terminal 10 can be reduced.
  • the application processor 51 controls the face recognition application. In this case, even when the terminal 10 is in the locked state, the above-described processing cannot be performed unless the application processor 51 is activated and the face recognition application is activated.
  • the application processor 51 when the terminal 10 is in the locked state, the application processor 51 is not activated, so obviously, the power consumption can be reduced by applying this embodiment.
  • the image sensor 52 operates in a plurality of power modes, it is possible to perform fine power control and reduce power consumption.
  • the image sensor 52 shown in FIG. 2 may be formed as one package by forming each part on one substrate. That is, the mode control unit 61, the sensor control unit 62, the sensor input interfaces 63 to 65, the state detection unit 66, the imaging unit 67, and the face detection recognition unit 68 constituting the image sensor 52 are formed on one substrate. It may be formed as one package.
  • the image sensor 52 shown in FIG. 2 can be configured by a laminated image sensor in which a plurality of substrates (dies) are laminated.
  • FIG. 9 is a diagram illustrating a configuration example of a stacked image sensor in which the image sensor 52 of FIG. 2 is incorporated.
  • the stacked image sensor in FIG. 9 has a two-layer structure in which a pixel substrate 301 and a signal processing substrate 302 are stacked.
  • An imaging unit 67 included in the image sensor 52 is formed on the pixel substrate 301.
  • the pixel array unit 111 (FIG. 3) included in the imaging unit 67 is formed on the pixel substrate 301, and the parts other than the pixel array unit 111 of the imaging unit 67 are formed on the signal processing substrate 302. You can also.
  • the signal processing board 302 includes a mode control unit 61, a sensor control unit 62, sensor input interfaces 63 to 65, a state detection unit 66, and a face detection recognition unit 68.
  • the image sensor 52 may be formed as a laminated image sensor.
  • the laminated image sensor can be configured by laminating three or four or more substrates in addition to a two-layer substrate.
  • a memory for example, a feature amount storage unit 204 (FIG. 5) included in the face detection / recognition unit 68
  • a layer memory layer
  • a structure may be provided between the pixel substrate 301 and the signal processing substrate 302 or below the signal processing substrate 302.
  • the sensor control unit 62, the sensor input interfaces 63 to 65, and the state detection unit 66 are formed on the third layer, and the mode control unit 61 and the face detection recognition unit 68 are formed on the second layer.
  • the imaging unit 67 may be formed in the first layer.
  • the image sensor 52 can be configured as a stacked image sensor and configured as one package.
  • the terminal 10 has been described as an example.
  • the image sensor 52 may be mounted on a device other than the terminal 10 and a function of releasing the above-described locked state may be added. . That is, the present technology can be applied to a device that has a locked state and has a function of releasing such a locked state.
  • the present technology can be applied to an authentication device that authenticates a user. That is, in the above description, the example in which the user is authenticated and the lock state is released has been described, but the present technology can also be applied to an apparatus that authenticates the user.
  • the present technology can be applied to an apparatus that authenticates a user and executes some process associated with the authenticated user, for example, a process of starting a predetermined application.
  • the face detection recognition unit 68 is included in the image sensor 52 and the user authentication is performed in the image sensor 52.
  • the processing related to the user authentication is performed by the image sensor 52. It is also possible to configure so as to be performed in parts other than 52.
  • the face detection recognition unit 68 may be provided outside the image sensor 52 and controlled by the application processor 51.
  • the mode control unit 61 instructs the application processor 51 to start.
  • the application processor 51 may be configured such that the application processor 51 is activated by using the activation trigger of the application processor 51 that the image sensor 52 detects a predetermined state. With this configuration, it is possible to perform the above-described user authentication and release the locked state under the control of the application processor 51, and to perform other processing by the application processor 51. It is also possible to configure.
  • the activation trigger of the application processor 51 can be variously changed so as to be issued when a predetermined object is detected regardless of the state in which the user holds the terminal 10. is there.
  • the case of authenticating a user has been described as an example.
  • the present technology can also be applied to the case of authenticating (detecting) other than a user.
  • the above-described image sensor 52 is mounted on a vehicle, and in the state detection mode, it is detected whether or not the vehicle has started running.
  • the mode shifts to the face recognition mode, and a mode for detecting a person is set (thus, the person recognition mode may be set).
  • the vehicle is controlled to perform a predetermined process such as decelerating. Even in such a case, the present technology can be applied.
  • FIG. 10 is a diagram illustrating a usage example in which the above-described image sensor 52 is used.
  • the image sensor 52 can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures
  • Equipment used for medical and health care ⁇
  • Security equipment such as security surveillance cameras and personal authentication cameras
  • Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports such as action cameras and wearable cameras for sports applications etc.
  • Equipment used for agriculture such as cameras for monitoring the condition of fields and crops
  • the image sensor 52 can be applied to both an electron having a signal charge and a hole having a signal charge.
  • the present disclosure is not limited to application to an imaging device that senses the distribution of the amount of incident light of visible light and captures it as an image, but also an imaging device that captures the distribution of the incident amount of infrared rays, X-rays, or particles as an image.
  • the present invention can be applied to all imaging devices (physical quantity distribution detection devices) such as a fingerprint detection sensor that senses other physical quantity distributions such as pressure and capacitance and captures images as images.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 11 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in, for example, a removable medium 511 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • system represents the entire apparatus composed of a plurality of apparatuses.
  • a detection unit for detecting a predetermined state using data from a plurality of sensors An image processing apparatus comprising: an imaging unit that captures an image of a predetermined subject when the predetermined state is detected by the detection unit.
  • An image processing apparatus comprising: an imaging unit that captures an image of a predetermined subject when the predetermined state is detected by the detection unit.
  • the image processing apparatus according to (1) further including a plurality of input interfaces for inputting data from the plurality of sensors.
  • detection by the detection unit is started when the application processor is activated and transitioned to a non-activated state.
  • the image processing device according to any one of (1) to (3), wherein the imaging unit is activated when the predetermined state is detected by the detection unit.
  • the image processing apparatus according to any one of (1) to (4), wherein the detection unit detects, as the predetermined state, whether or not the imaging unit is in a state in which a user's face can be captured.
  • the image processing apparatus according to any one of (1) to (5), further including: a recognition unit that determines whether the user is a registered user using an image captured by the imaging unit.
  • the detection unit performs detection when in a locked state, The image processing apparatus according to (6), wherein when the user is determined to be registered by the recognition unit, the lock state is released.
  • the image processing apparatus according to (7), wherein an instruction to release the locked state is issued to an application processor.
  • the image processing apparatus performs imaging with the number of pixels required for authentication performed by the recognition unit.
  • An image processing method including a step of imaging a predetermined subject when the predetermined state is detected.
  • On the computer Using data from multiple sensors to detect a given condition, A program for executing processing for imaging a predetermined subject when the predetermined state is detected.
  • (15) Perform the detection when locked, The image sensor according to (14), wherein the lock state is released when it is determined that the user is a registered user.
  • (16) The image sensor according to any one of (12) to (15), wherein the image sensor has a laminated structure.
  • the image sensor is A plurality of input interfaces for inputting data from the plurality of sensors; A detection unit for detecting a predetermined state using data from the plurality of sensors input via the input interface; An information processing apparatus comprising: an imaging unit configured to image a predetermined subject when the predetermined state is detected by the detection unit.
  • the image sensor is The information processing apparatus according to (18), further including a recognition unit that determines whether or not the user is a registered user using an image captured by the imaging unit.
  • the detection unit starts detection when receiving an instruction to shift to a locked state by the application processor, The information processing apparatus according to (19), wherein when the recognition unit determines that the user is a registered user, the application processor is instructed to release the locked state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

本技術は、ロック状態を簡便に解除できるようにする画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラムに関する。 複数のセンサからのデータを用いて、所定の状態を検出する検出部と、検出部により所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える。アプリケーションプロセッサが起動している状態から、起動していない状態に移行したとき、検出部による検出が開始される。本技術は、例えば、スマートフォンに適用できる。

Description

画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
　本技術は画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラムに関し、例えば、ロックを解除する際のユーザの処理を軽減するようにした画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラムに関する。
　近年、スマートフォンをはじめとして、タッチセンサなどを搭載し、表示画面に対する操作体の位置により入力操作を行う情報処理装置が普及している。このような情報処理装置においては、入力操作を制限するロック機能を使用することによって、意図しない入力操作を防止している（例えば特許文献１）。ロック状態からアプリケーションの機能を利用するためには、ユーザは、ロック解除操作とアプリケーション起動操作とを行う。
特開２０１１－４８６６５号公報
　ところが上記のような情報処理装置においては、操作性向上への要求が近年特に高まっている。このような事情に鑑みれば、アプリケーションを起動させるまでの操作性についても向上させることが望ましい。
　本技術は、このような状況に鑑みてなされたものであり、アプリケーションを起動させるまでの操作性を向上させることができるようにするものである。
　本技術の一側面の画像処理装置は、複数のセンサからのデータを用いて、所定の状態を検出する検出部と、前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。
　本技術の一側面の画像処理方法は、複数のセンサからのデータを用いて、所定の状態を検出し、前記所定の状態が検出された場合、所定の被写体を撮像するステップを含む。
　本技術の一側面のプログラムは、コンピュータに、複数のセンサからのデータを用いて、所定の状態を検出し、前記所定の状態が検出された場合、所定の被写体を撮像するステップを含む処理を実行させるためのプログラムである。
　本技術の一側面のイメージセンサは、複数のセンサからのデータを用いて、所定の状態を検出する検出部と、前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。
　本技術の一側面の情報処理装置は、複数のセンサと、イメージセンサと、アプリケーションプロセッサとを備え、前記イメージセンサは、前記複数のセンサからのデータを入力する複数の入力インタフェースと、前記入力インタフェースを介して入力される前記複数のセンサからのデータを用いて、所定の状態を検出する検出部と、前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。
　本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、複数のセンサからのデータが用いられて、所定の状態を検出され、所定の状態が検出された場合、所定の被写体が撮像される。
　本技術の一側面のイメージセンサにおいては、複数のセンサからのデータが用いられて、所定の状態が検出され、所定の状態が検出された場合、所定の被写体が撮像される。
　本技術の一側面の情報処理装置においては、複数のセンサと、イメージセンサと、アプリケーションプロセッサとが備えられる。イメージセンサは、複数のセンサからのデータを入力する複数の入力インタフェースと、入力インタフェースを介して入力される複数のセンサからのデータを用いて、所定の状態を検出する検出部と、検出部により所定の状態が検出された場合、所定の被写体を撮像する撮像部とが備えられる。
　なお、画像処理装置または情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
　本技術の一側面によれば、アプリケーションを起動させるまでの操作性を向上させることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術が適用される端末の一実施の形態の外観の構成を示す図である。 端末の内部構成例を示す図である。 撮像部の内部構成例を示す図である。 状態検出部の内部構成例を示す図である。 顔検出認識部の内部構成例を示す図である。 端末の動作について説明するためのフローチャートである。 イメージセンサの動作について説明するためのフローチャートである。 動作モードと電力モードについて説明するための図である。 積層イメージセンサについて説明するための図である。 イメージセンサの使用例について説明するための図である。 記録媒体について説明するためのフローチャートである。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜情報処理装置の外観の構成＞
　図１は、本技術が適用される画像処理装置を含む情報処理装置の一実施の形態の外観の構成を示す図である。図１に示すように、情報処理装置としての端末１０は、筐体の表面に表示部１１、撮像部１２、マイクロフォン１３、およびスピーカ１４を備える。
　表示部１１には、タッチセンサが重畳され、表示部１１に所謂ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）が表示され、そのＧＵＩが操作されることで、ユーザからの指示が入力される構成とされている。また図示していない複数のボタンを含む操作部からも、ユーザからの指示が入力される構成とすることができる。また、音声入力によりユーザからの指示が入力される構成とすることもできる。
　端末１０は、ロック状態からのアプリケーション起動操作の操作性が向上された情報処理装置の一例である。例えば、端末１０は、スマートフォンを含む携帯電話をはじめとし、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、ノートＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット型ＰＣなどの情報処理装置である。またここでは携帯型の端末装置を例に説明を行うが、本技術はロック機能を有するあらゆる情報処理装置に適用することができる。
　＜情報処理装置の内部の構成＞
　図２は、端末１０の内部の構成を示す図である。なお、端末１０が、例えば、スマートフォンである場合、通話機能やネットワークに接続する機能など複数の機能を有するが、ここでは、ロック解除に係わる機能を実現する構成を図示し、説明する。
　端末１０は、アプリケーションプロセッサ５１、イメージセンサ５２、加速度センサ５３、地磁気センサ５４、近接センサ５５を含む構成とされている。またイメージセンサ５２は、モード制御部６１、センサ制御部６２、センサ用入力インタフェース６３、センサ用入力インタフェース６４、センサ用入力インタフェース６５、状態検出部６６、撮像部６７、および顔検出認識部６８を含む構成とされている。
　アプリケーションプロセッサ５１は、さまざまなアプリケーションの処理が可能な半導体集積回路で構成することができ、端末１０内の各部を制御する。イメージセンサ５２は、本実施の形態においては、撮像部６７で撮像する機能の他に、後述するロック解除のための端末１０の状態を検出したり、ユーザを認識したりする機能も有し、撮像した画像を処理する画像処理装置としても機能する。
　端末１０は、複数のセンサを有しており、ここでは、図５３に示したように３個のセンサを有している。加速度センサ５３は、加速度を電圧値として検出するセンサである。加速度センサ５３は、Ｘ軸方向に沿った加速度、Ｙ軸方向に沿った加速度、およびＺ軸方向に沿った加速度をそれぞれ検出する３軸加速度センサであるようにすることができる。加速度センサ５３は、検出した加速度データを、イメージセンサ５２に備えられているセンサ用入力インタフェース６３を介して、状態検出部６６に供給する。
　地磁気センサ５４は、地磁気を電圧値として検出するセンサである。地磁気センサ５４は、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向の地磁気をそれぞれ検出する３軸地磁気センサであるようにすることができる。地磁気センサ５４は、検出した地磁気データを、イメージセンサ５２に備えられているセンサ用入力インタフェース６４を介して、状態検出部６６に供給する。
　近接センサ５５は、非接触で検出物体が近づいたことを検出するセンサである。ここでは、近接センサ５５は、端末１０の周りの環境、例えば、鞄の中という環境や、ポケットの中という環境を検出するセンサである。近接センサ５５は、検出した環境データを、イメージセンサ５２に備えられているセンサ用入力インタフェース６５を介して、状態検出部６６に供給する。
　イメージセンサ５２には、上記したように、複数のセンサで検出されたデータを内部に入力する複数の入力インタフェースを備える。
　なおここでは、加速度センサ５３、地磁気センサ５４、近接センサ５５という３つのセンサを例に挙げて説明を続けるが、ジャイロセンサ、気圧センサなど、他のセンサも備えられる構成としても良い。また、端末１０に備えられている複数のセンサのそれぞれからデータを入力する複数の入力インタフェースを備える構成とされる。
　またここでは、イメージセンサ５２は、複数のセンサのそれぞれからデータを入力する複数の入力インタフェースを備える構成であるとして説明を続けるが、イメージセンサ５２内に、加速度センサ５３、地磁気センサ５４、近接センサ５５などのセンサが含まれる構成としても良い。このように構成した場合、イメージセンサ５２に、複数のセンサのそれぞれからデータを入力する複数の入力インタフェースを備えない構成とすることも可能である。
　イメージセンサ５２のモード制御部６１は、アプリケーションプロセッサ５１からの指示により、モードを切り替えたり、所定のモード時におけるイメージセンサ５２内の各部を制御したりする。なおモードなどについては以下に順次説明を加える。
　センサ制御部６２は、アプリケーションプロセッサ５１からの指示により、所定のモード時に、加速度センサ５３、地磁気センサ５４、近接センサ５５などの複数のセンサを制御する。後述するように、センサ制御部６２は、ロック状態のときに、端末１０内のセンサを制御する。ロック状態ではないときには、センサは、図示していない制御部（オペレーションシステム）により制御されるように構成することも可能である。
　状態検出部６６は、加速度センサ５３、地磁気センサ５４、近接センサ５５などの複数のセンサから得られるデータに基づき、端末１０の状態を検出する。状態として検出されるのは、例えば、端末１０がユーザにより持ち上げられ、保持されたという状態である。
　例えば、端末１０がロック状態のときには、机の上などに置かれており、ユーザが端末１０を使用したいと所望したとき、ユーザにより持ち上げられ、保持される。このようなユーザにより端末１０が持ち上げられ、保持されたという状態を、状態検出部６６は、複数のセンサからのデータを用いて検出する。
　撮像部６７は、図１に示した撮像部１２を構成する。撮像部６７は、図３を参照して説明するような構成を有し、被写体を撮像する機能を有する。
　顔検出認識部６８は、撮像部６７により撮像された画像を用いて、顔が検出されたか否かを判定し、顔が検出されたと判定されるときには、さらにその検出された顔が、登録されているユーザの顔であるか否かを認識する。
　＜撮像部の構成＞
　図３に、撮像部６７の構成例を示す。図３に示した撮像部６７は、例えばＸ－Ｙアドレス方式撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示す図である。ここで、ＣＭＯＳイメージセンサとは、ＣＭＯＳプロセスを応用して、または、部分的に使用して作成されたイメージセンサである。
　図３に示した撮像部６７は、図示せぬ半導体基板上に形成された画素アレイ部１１１と、当該画素アレイ部１１１と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、垂直駆動部１１２、カラム処理部１１３、水平駆動部１１４およびシステム制御部１１５から構成されている。
　撮像部６７はさらに、信号処理部１１８およびデータ格納部１１９を備えている。信号処理部１１８およびデータ格納部１１９については、撮像部６７と同じ基板上に搭載しても構わないし、撮像部６７とは別の基板上に配置するようにしても構わない。また、信号処理部１１８およびデータ格納部１１９の各処理については、撮像部６７とは別の基板に設けられる外部信号処理部、例えば、ＤＳＰ（Digital Signal Processor）回路やソフトウエアによる処理でも構わない。
　画素アレイ部１１１は、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素（以下、単に「画素」と記述する場合もある）が行方向および列方向に、即ち、行列状に２次元配置された構成となっている。ここで、行方向とは画素行の画素の配列方向（即ち、水平方向）を言い、列方向とは画素列の画素の配列方向（即ち、垂直方向）を言う。
　画素アレイ部１１１において、行列状の画素配列に対して、画素行毎に画素駆動線１１６が行方向に沿って配線され、画素列毎に垂直信号線１１７が列方向に沿って配線されている。画素駆動線１１６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図３では、画素駆動線１１６について１本の配線として示しているが、１本に限られるものではない。画素駆動線１１６の一端は、垂直駆動部１１２の各行に対応した出力端に接続されている。
　垂直駆動部１１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部１１２は、当該垂直駆動部１１２を制御するシステム制御部１１５と共に、画素アレイ部１１１の各画素を駆動する駆動部を構成している。この垂直駆動部１１２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃き出し走査系の２つの走査系を有する構成となっている。
　読出し走査系は、単位画素から信号を読み出すために、画素アレイ部１１１の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃き出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃き出し走査を行う。
　この掃き出し走査系による掃き出し走査により、読出し行の単位画素の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃き出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃き出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の露光期間となる。
　垂直駆動部１１２によって選択走査された画素行の各単位画素から出力される信号は、画素列毎に垂直信号線１１７の各々を通してカラム処理部１１３に入力される。カラム処理部１１３は、画素アレイ部１１１の画素列毎に、選択行の各画素から垂直信号線１１７を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
　具体的には、カラム処理部１１３は、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated Double Sampling;相関二重サンプリング）処理を行う。このカラム処理部１１３によるＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理部１１３にノイズ除去処理以外に、例えば、ＡＤ（アナログ－デジタル）変換機能を持たせ、アナログの画素信号をデジタル信号に変換して出力することも可能である。
　水平駆動部１１４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１１３の画素列に対応する単位回路を順番に選択する。この水平駆動部１１４による選択走査により、カラム処理部１１３において単位回路毎に信号処理された画素信号が順番に出力される。
　システム制御部１１５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部１１２、カラム処理部１１３、および、水平駆動部１１４などの駆動制御を行う。
　信号処理部１１８は、少なくとも演算処理機能を有し、カラム処理部１１３から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部１１９は、信号処理部１１８での信号処理に当たって、その処理に必要なデータを一時的に格納する。
　このような構成を有する撮像部６７は、モード制御部６１からの指示があったときに、撮像し、撮像した画像（の画像データ）を、顔検出認識部６８に供給する。
　＜状態検出部の構成＞
　図４は、イメージセンサ５２に含まれる状態検出部６６（図２）の構成例を示す図である。状態検出部６６は、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４、環境検出部１５５、および状態判定部１５６を含む構成とされている。
　動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４には、それぞれ加速度センサ５３からのデータが、センサ用入力インタフェース６３を介して供給される。端末状態検出部１５４には、地磁気センサ５４からのデータもセンサ用入力インタフェース６４を介して供給される。
　環境検出部１５５には、近接センサ５５からのデータがセンサ用入力インタフェース６５を介して供給される。
　動き判定部１５１は、加速度センサ５３からのデータ、主にＺ軸方向のデータを用いて、加速度から端末１０が動かされたか否かの判定を行う。
　手持ちホールド判定部１５２は、加速度センサ５３からのデータ、主にＺ軸方向のデータを用いて、端末１０がユーザにより手持ちされている状態で静止しているか否かの判定を行う。
　静止判定部１５３は、加速度センサ５３からのデータ、主にＸ軸方向とＹ軸方向のデータを用いて、端末１０が静止しているか否かの判定を行う。
　手持ちホールド判定部１５２と静止判定部１５３は、共に端末１０が静止しているか否かの判定を行うが、手持ちホールド判定部１５２は、端末１０がユーザの手により持たれている状態で静止しているか否かを判定し、静止判定部１５３は、端末１０が机などに置かれている状態で静止している否かを判定する点で異なる。
　端末状態検出部１５４は、加速度センサ５３と地磁気センサ５４からのデータを用いて、端末１０の状態、例えば、端末１０が地面に対してどのような角度を有しているかなどを検出し、端末１０の状態が、検出が禁止されている状態であるか否かを判定する。
　後述するように、顔を検出する処理が行われるため、検出が禁止されている状態とは、顔を撮像できない状態である。例えば、端末１０の撮像部１２が、下を向いている状態、換言すれば、端末１０が地面と平行な状態にあるときには、撮像しても地面が撮影されるだけであり、ユーザの顔は撮像できないと考えられる。よって、このように、顔を検出するときには、顔が検出できない状態が、検出が禁止されている状態（検出禁止状態）であると設定されている。
　環境検出部１５５は、近接センサ５５からのデータを用いて、端末１０の周りの環境が、検出禁止環境であるか否かを判定する。検出禁止環境とは、仮に撮影を行っても顔が撮影されている可能性が低い環境である場合を示す。
　例えば、端末１０が鞄の中にあるという環境下では、撮影しても、顔が撮像されている可能性は低いため、そのような端末１０が鞄の中にあるという環境は、検出禁止環境である。また、例えば、端末１０がポケットの中にあるという環境下も、撮影しても、顔が撮像されている可能性は低いため、そのような端末１０がポケットの中にあるという環境も、検出禁止環境である。
　状態判定部１５６は、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４、および環境検出部１５５からのそれぞれの判定結果を用いて、端末１０の状態を判定する。
　ここで、ロックがかかっている端末１０を、ユーザが使用したいと所望したときを、使用開始状態と記述する。
　動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３のそれぞれの判定結果から、使用開始状態の判定を行うことはできる。しかしながら、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３からの判定結果だけでは、例えば、ユーザが歩行時や乗り物に乗車しているときなどに、使用開始状態を誤検出してしまう可能性がある。
　さらに、端末状態検出部１５４と環境検出部１５５からのそれぞれの判定結果も用いるようにすることで、そのような誤検出してしまう可能性を低減させることができる。よって、本実施の形態の一例として状態判定部１５６は、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４、および環境検出部１５５からのそれぞれの判定結果を用いて、端末１０の状態を判定する場合を例に挙げて説明を続ける。
　＜顔検出認識部の構成＞
　図５は、顔検出認識部６８の内部構成を示す図である。顔検出認識部６８は、顔検出部２０１、特徴量抽出部２０２、マッチング部２０３、および特徴量記憶部２０４を含む構成とされている。
　顔検出部２０１は、撮像部６７から供給される画像を解析し、顔と判定される領域を検出する。顔検出部２０１により顔と判定できる領域が検出された場合、その顔から、特徴量が、特徴量検出部２０２により抽出される。
　特徴量抽出部２０２は、例えば、顔と判定された領域から、目、鼻、口などの顔を構成するパーツを検出し、その大きさや位置関係などを特徴量として抽出する。抽出された特徴量は、マッチング部２０３に供給される。
　端末１０のユーザを登録する処理が実行されたときには、特徴量抽出部２０２により抽出された特徴量は、特徴量記憶部２０４に供給され、登録される。すなわち、特徴量記憶部２０４には、端末１０のユーザとして登録されたユーザの顔画像から抽出された特徴量が記憶されている。
　複数のユーザのそれぞれの特徴量が記憶されていても良いし、１人のユーザの特徴量のみが記憶されていても良い。すなわち端末１０のユーザとして、複数人登録できるように構成されていても良いし、１人のみ登録できるように構成されていても良い。
　本技術によれば、顔認証（顔認識）により端末１０のロック状態を解除することができるため、例えば、複数人登録されている場合、ロックが解除されたときに、ユーザにあった画面、例えば、待ち受け画面や所定のアプリケーションを起動するといった認識されたユーザ毎の対応を取ることが可能である。
　マッチング部２０３は、特徴量抽出部２０２から供給された特徴量と、特徴量記憶部２０４に記憶されている特徴量とのマッチングを取り、処理対象とされているユーザ（撮像されたユーザ）が、端末１０のユーザとして登録されているユーザであるか否かを判定する。
　マッチング部２０３により、登録されているユーザであるか否かの判定まで行い、その判定結果がモード制御部６１に供給されるようにしても良いし、登録されているユーザである確率を表すマッチング度が算出され、そのマッチング度がモード制御部６１に供給され、モード制御部６１で登録されているユーザであるか否かの判定が行われるようにしても良い。
　例えば、モード制御部６１で登録されているユーザであるか否かの判定を行うようにした場合、モード制御部６１は、例えば、マッチング度が登録されているユーザであるか否かを判定しづらい範囲内の数値であった場合、撮像部６７に再度の撮影を行うように指示を出したり、顔検出認識部６８に再度の顔検出、顔認識を行うように指示を出したりするように構成することができる。
　＜端末の動作＞
　図６に示したフローチャートを参照し、図２に示したアプリケーションプロセッサ５１、イメージセンサ５２、および加速度センサ５３などのセンサの動作について説明する。
　アプリケーションプロセッサ５１は、ステップＳ１１において、通常動作で動作している。アプリケーションプロセッサ５１が通常動作のときは、アプリケーションプロセッサ５１は起動され、所定のアプリケーションを制御している状態である。また、アプリケーションプロセッサ５１が通常動作のときには、ユーザが端末１０を使用している状態であり、ロックはかかっていない状態である。
　なお、図示していないが、端末１０のオペレーションシステムも起動しており、ユーザからの指示などに応じた処理を実行している。
　ユーザからの指示があった場合や、操作されていない状態が所定の時間継続した場合など、スリープ状態に移行する。スリープ状態への移行の指示は、オペレーションシステムから、アプリケーションプロセッサ５１に対して出される。
　スリープの状態のときには、オペレーションシステムやアプリケーションプロセッサ５１は起動されていない状態とされ、消費電力が抑えられている状態とされる。また、スリープの状態への移行は、上記したように、ユーザにより指示が出されたときにも行われるが、端末１０が操作されずに、所定の時間だけ経過した場合にも行われる。
　また、スリープの状態に移行した場合、誤動作が発生しないように、また登録されているユーザ以外のユーザに不正に操作されないように、ロックがかかった状態に移行される。ロックがかかった状態では、端末１０は操作できない状態とされる。例えばアプリケーションを起動させ、そのアプリケーションによる処理を実行したり、電話をかけたりすることができない状態とされる。
　なお、ここでは、スリープ状態になるとロック状態になるとして説明を続けるが、スリープ状態にはなるが、ロック状態にならないという設定であっても良い。すなわち、スリープ状態になり、低電力で動作するような状態になるが、ロック状態ではなく、ユーザからの指示を受け付けられる状態が継続されるようにしても良い。
　以下の説明においては、スリープ状態なるとロック状態になり、以下に説明する処理により、ロック状態が解除されるとして説明を続けるが、例えば、スリープ状態であるが、ロック状態ではないときに、そのスリープ状態を解除するような場合にも、以下に説明する処理を適用できる。
　すなわち、本技術はロック状態を解除するときにのみ適用が限定されるわけではなく、何らかの状態を解除する、例えばスリープ状態を解除するなどのときにも適用可能である。
　ステップＳ１２において、アプリケーションプロセッサ５１は、オペレーションシステムからスリープの要求があったか否かを判定する。アプリケーションプロセッサ５１は、スリープの要求があったと判定するまで、ステップＳ１１に処理を戻し、通常動作を継続する。
　一方、ステップＳ１２において、アプリケーションプロセッサ５１は、スリープの要求があったと判定した場合、ステップＳ１３に処理を進める。ステップＳ１３において、アプリケーションプロセッサ５１は、状態検出モードへの移行の指示を、イメージセンサ５２に対して出す。このような指示を出すとともに、アプリケーションプロセッサ５１は、ステップＳ１４において、スリープ状態に移行する。
　ステップＳ３１において、イメージセンサ５２は、アプリケーションプロセッサ５１からの状態検出モードへの移行の指示を受け取る。状態検出モードとは、端末１０のロックの状態を解除し、使用するとの意志表示がユーザによりなされたことを検出するモードである。具体的には、ユーザの顔が撮影される状態で、端末１０がユーザにより保持されたことを検出するモードである。
　イメージセンサ５２は、状態検出モードに移行すると、ステップＳ３２において、センサの制御を開始する。イメージセンサ５２内のセンサ制御部６２は、イメージセンサ５２外に設けられている加速度センサ５３、地磁気センサ５４、および近接センサ５５を制御する。例えば、これらのセンサを駆動させ、所定の周期で、センサ用入力インタフェース６３乃至６５を介して、状態検出部６６にデータを入力させるように制御する。
　イメージセンサ５２は、ステップＳ５１において、イメージセンサ５２からの指示を受け取り、ステップＳ５２において、検出を開始し、検出結果を、状態検出部６６に出力する。
　イメージセンサ５２は、ステップＳ３３において、センサからの出力を受け取ると、ステップＳ３４において、ロック解除の指示判定を行う。このロック解除の指示判定については、図７のフローチャートを参照して後述するが、ユーザが端末１０を保持したか否か、撮像された画像から顔を検出し、検出された顔が、端末１０のユーザとして登録されているか否かなどの判定を含む処理が行われる。
　ステップＳ３５において、ステップＳ３４におけるロック解除の指示判定の判定結果が用いられ、ロック解除が指示されたか否かが判定される。ステップＳ３５において、ロック解除が指示されたと判定されるまで、ステップＳ３３に処理が戻され、状態検出モードにおける処理が継続される。
　一方、ステップＳ３５において、ロック解除が指示されたと判定された場合、処理はステップＳ３６に進められる。ステップＳ３６において、イメージセンサ５２のモード制御部６１は、アプリケーションプロセッサ５１に対して、起動指示を出す。すなわちこの場合、アプリケーションプロセッサ５１は、スリープ状態にあり、起動を停止している状態であるため、再起動させるための指示が出される。
　ステップＳ１５において、アプリケーションプロセッサ５１は、イメージセンサ５２からの起動指示を受け取ると、ステップＳ１６に処理を進め、スリープ状態を解除し、スリープ状態から通常動作状態に移行する。そして、ステップＳ１７において、アプリケーションプロセッサ５１は、通常動作を開始する。アプリケーションプロセッサ５１が通常動作を開始することで、ロック状態は解除される。
　このように、端末１０がロック状態にされているとき、そのロック状態を解除する指示が出されたときに即座に対応できるようにするための処理が、イメージセンサ５２により行われる。イメージセンサ５２内で、このような処理が実行されるため、消費電力を低減させることが可能となる。
　＜イメージセンサにおけるロック解除の指示判定処理＞
　図７のフローチャートを参照し、イメージセンサ５２において、ステップＳ３４における処理として実行されるロック解除の指示判定に係わる処理について説明する。
　ステップＳ１０１において、状態検出部６６は、複数のセンサからそれぞれデータを取得する。図２に示した端末１０の場合、複数のセンサとして、加速度センサ５３、地磁気センサ５４、および近接センサ５５が備えられているため、これら３個のセンサから、それぞれデータが取得される。
　イメージセンサ５２は、イメージセンサ５２外のセンサからのデータを入力するための複数の入力インタフェース（図２では、センサ用入力インタフェース６３乃至６５）を備えている。この入力インタフェースを介して、センサからのデータがイメージセンサ５２内の状態検出部６６に供給される。
　ステップＳ１０２において、状態検出部６６は、端末１０の状態を検出する。状態検出部６６は、図４を参照して説明したような構成を有し、動き判定、手持ちホールド判定、静止判定、端末状態検出判定、環境検出判定を行い、それらの判定結果から、端末１０の状態を検出する。
　検出される端末１０の状態として検出されるのは、机の上などに載置されている状態（静止状態）、歩いている状態（乗り物に乗っている状態）、鞄やポケットなどに入れられている状態など、ユーザが端末１０を使用していない状態から、ユーザに保持された状態に移行したか否かが検出される。
　さらに、ユーザが端末１０を保持した状態から、顔を撮像できる位置に端末１０を静止した状態で保持したか否かが検出される。
　このような状態の変化を検出するには、複数のセンサを用いて行う方が、１つのセンサを用いて行うよりも精度良く検出できるため、ここでは、上記したように、複数のセンサを用いて検出する場合を例に挙げて説明する。
　ステップＳ１０３において、状態検出部６６（状態検出部６６の状態判定部１５６（図４））は、端末１０が、ユーザの顔を撮像できる状態で保持されたか否かを判定する。ステップＳ１０３において、保持された状態であると判定されるまで、ステップＳ１０１に処理が戻され、それ以降の処理が繰り返される。
　一方で、ステップＳ１０３において、保持された状態であると判定された場合、ステップＳ１０４に処理が進められる。状態検出部６６は、端末１０が保持されている状態である（撮像可能な状態である）ことを検出した場合、そのことをモード制御部６１（図２）に通知する。モード制御部６１は、状態検出部６６からの通知を受け取ると、ステップＳ１０４において、撮像部６７を省電力モードで起動させる。
　すなわち、ステップＳ１０１乃至Ｓ１０３の処理が実行されている間は、状態検出部６６は、起動されている状態であるが、撮像部６７と顔検出認識部６８は、起動されていない状態である。そのような状態から、ステップＳ１０４において、撮像部６７が起動される。
　以下の説明において、ステップＳ１０１乃至Ｓ１０３の処理が実行されているときのモードを、状態検出モードと記述する。また、ステップＳ１０４乃至Ｓ１０７の処理が実行されているときのモードを、顔認証モードと記述する。
　モード制御部６１は、アプリケーションプロセッサ５１にスリープの要求があり、アプリケーションプロセッサ５１から検出モードへの移行が指示されたとき（図６のステップＳ１３、ステップＳ３１の処理）、イメージセンサ５２内を指示待ちモードから状態検出モードにする。
　指示待ちモードとは、アプリケーションプロセッサ５１からの指示を待っている状態である。この指示待ちモードのときには、状態検出部６６、撮像部６７、顔検出認識部６８は、起動されていない状態である。なお、撮像部６７は、画像や映像を撮像するときにも用いられるため、アプリケーションプロセッサ５１が画像や映像を撮像するアプリケーションを起動しているときなど、適宜起動される。
　状態検出モードのときには、状態検出部６６が起動されている状態である。モード制御部６１は、指示待ちモードから状態検出モードに移行するとき、状態検出部６６を起動し、外部の複数のセンサからのデータを受け入れ、端末１０の状態を判定するように指示を出す。
　モード制御部６１は、状態検出モードのときに、端末１０が保持されたとの判定結果を受け取ると、顔認識モードに移行する。顔認識モードに移行した場合、撮像部６７と顔検出認識部６８が起動される。なお、顔認識モードのときに、状態検出部６６の起動をそのまま維持するか、または停止するかは、どちらに設定されていても良い。
　撮像部６７が起動されると、撮像が行われる。すなわち撮像部６７は、ステップＳ１０５（図７）において、撮像する。顔認識モードのときには、撮像部６７は、小電力モードに設定される。
　例えば、図３を参照して説明したように、撮像部６７は、複数の画素が２次元的に配置されている画素アレイ部１１１を有しているが、小電力モード（顔認識モード）のときには、画素アレイ部１１１内の全ての画素を用いて撮像を行うのではなく、少ない画素を用いて撮像が行われる。
　近年、高解像化に伴い、画素数が増加する傾向にあるが、顔認識モードのときには、顔を認識できる程の解像度があれば良い。また、同時に複数の人を認識する必要はなく、１枚の画像から１人を認識できれば良い。また、認識すべき１人は、画像内の中央部分に撮像されている人に限定することが可能である。
　このようなことから、画素アレイ部１１１内の全ての画素を用いるのではなく、間引いた画素を用いたり、所定の領域、例えば中央の領域にある画素のみを用いたりする設定とすることができる。画素アレイ部１１１内の限定された画素のみを用いることで、画素アレイ部１１１内の全ての画素を用いる場合に比べて、消費電力を低減させることができる。
　ステップＳ１０５において、撮像部６７により撮像された画像（画像データ）は、顔検出認識部６８に供給される。顔検出認識部６８は、ステップＳ１０６において顔認証処理を実行する。顔検出認識部６８は、図５を参照して説明したような構成を有し、顔検出部２０１により供給された画像から顔と判定できる領域が検出され、顔と判定された領域から特徴量抽出部２０２により特徴量が抽出される。
　そして、マッチング部２０３により抽出された特徴量と特徴量記憶部２０４に記憶されている特徴量が比較され、登録されているユーザであるか否かの判定が行われる。すなわちユーザ認証（ユーザの認識）が行われる。
　ステップＳ１０７において、登録されているユーザであるか否かが判定される。この判定は、顔検出部認識部６８が行い、その結果を、モード制御部６１に供給するよう構成することができる。または、顔検出部認識部６８からは、登録されているユーザである確率を表すマッチング度がモード制御部６１に供給され、モード制御部６１が、登録されているユーザであるか否かの判定を行うように構成することができる。
　なお、ステップＳ１０６において、上述したようにして顔認証処理が実行されるが、顔検出部２０１（図５）で顔が検出されなかった場合、顔検出部２０１以降の処理は行われないように構成しても良い。また顔検出部２０１（図５）で顔が検出されなかった場合に、顔検出部２０１以降の処理は行われないように構成した場合、ステップＳ１０７においては、登録されているユーザではないと判定される。
　ステップＳ１０７において、登録されているユーザではないと判定された場合、処理は、ステップＳ１０１に戻され、それ以降の処理が繰り返される。
　一方、ステップＳ１０７において、登録されているユーザであると判定された場合、処理は、ステップＳ１０８に進められる。ステップＳ１０８において、モード制御部６１は、アプリケーションプロセッサ５１（図２）に対して、ロック状態を解除する指示を出す。
　このようにして、イメージセンサ５２は、ロック状態の端末１０の状態を検出し、端末１０が保持された状態であると検出したときに、ユーザを撮影し、その撮影されたユーザが、登録されているユーザであるか否かを判定し、登録されているユーザであると判定されたときに、ロック状態を解除する指示を出す。
　このようにイメージセンサ５２において処理がなされることで、ユーザは、簡便な操作だけで、ロック状態を解除することが可能となる。すなわちユーザは、端末１０を、自己の顔の前で保持するだけで、ロック状態を解除することができる。
　このように、本技術によれば、ユーザに明示的な動作を行わせずに、端末１０のロック状態を解除することが可能となる。
　＜イメージセンサの動作モードと電力モードについて＞
　本技術によれば、消費電力を低減させることができる。このことについて、図８を参照して説明する。
　図８は、イメージセンサ５２の動作モードと電力モードとの関係を示した図である。イメージセンサ５２が、アプリケーションプロセッサ５１からの指示を待つ指示待ちモードのときは、スタンバイ電力モードである。スタンバイ電力モードは、例えば、ステップＳ３１（図６）において、アプリケーションプロセッサ５１から状態検出モードへの移行が指示されるまでのモードである。
　スタンバイ電力モードのときは、例えば、画像を撮影するアプリケーションが起動され、撮像部６７による撮影が行われるときには、そのための電力が消費されるモードである。換言すれば、スタンバイ電力モードのときは、イメージセンサ５２で消費される電力は、他の部分の動作に依存して変化する。
　指示待ちモードのときに、アプリケーションプロセッサ５１から、状態検出モードへの移行が指示されると、イメージセンサ５２は、指示待ちモードから状態検出モードへと移行する。状態検出モードのときは、最小電力モードである。最小電力モードのときは、状態検出部６６が起動された状態である。最小電力モードは、例えば、ステップＳ１０１乃至Ｓ１０３（図７）の処理が実行されるときのモードである。
　状態検出モードのときに、状態検出部６６により、端末１０がユーザの顔の前で保持された状態であることが検出されると、イメージセンサ５２は、状態検出モードから、顔認証モードへと移行する。顔認証モードのときは、小電力モードである。小電力モードのときは、撮像部６７（撮像部６７の一部）と顔検出認識部６８が起動された状態である。小電力モードは、例えば、ステップＳ１０４乃至Ｓ１０７（図７）の処理が実行されるときのモードである。
　顔認証モードのときに、顔検出認識部６８により、端末１０のユーザとして登録されているユーザが撮影されたと判定されると、イメージセンサ５２は、顔認証モードから、起動指示モードに移行する。起動指示モードは、アプリケーションプロセッサ５１に対して通知を出すことができるモードであり、イメージセンサ５２内部だけを制御するときよりも多くの電力が必要とされる。
　起動指示モードのときは、通常電力モードである。通常電力モードは、例えば、ステップＳ１６（図６）（ステップＳ１０８（図７））の処理が実行されるときのモードである。
　起動指示モードの後、指示待ちモードに戻され、電力モードは、通常電力モードからスタンバイ電力モードに戻される。このようなモードの遷移が繰り返される。
　これらの電力モードを消費電力順に並べると、
　　最小電力モード＜小電力モード＜通常電力モード
となる。スタンバイ電力モードのときは、消費電力が変化する可能性があるため、これらのモードとの比較はここでは行わない。
　このように、イメージセンサ５２は、動作モードにより電力モードが異なるため、イメージセンサ５２自体で消費する電力を低減させることができる。また、状態検出や顔認識などの処理をイメージセンサ５２内で行うため、端末１０で消費する電力を低減させることができる。
　例えば、顔認識をイメージセンサ５２外で行う場合、アプリケーションプロセッサ５１により顔認識のアプリケーションが制御されることで行う構成とされる。このようにした場合、端末１０がロック状態のときにも、アプリケーションプロセッサ５１を起動させ、顔認識のアプリケーションを起動させていなければ、上記したような処理を行うことはできない。
　これに対して、本実施の形態においては、端末１０がロック状態のときには、アプリケーションプロセッサ５１は起動されていないため、明らかに本実施の形態を適用することで消費電力を低減させることができる。
　また、イメージセンサ５２は複数の電力モードで動作するため、細かな電力の制御を行うことが可能となり、消費電力を低減させることができる。
　このように、本実施の形態によれば、消費電力を低減させることもできる。
　＜イメージセンサを積層構造で構成した場合について＞
　図２に示したイメージセンサ５２は、１つの基板上に各部が形成され、１つのパッケージとして形成されていても良い。すなわち、イメージセンサ５２を構成する、モード制御部６１、センサ制御部６２、センサ用入力インタフェース６３乃至６５、状態検出部６６、撮像部６７、および顔検出認識部６８を、１つの基板上に形成し、１つのパッケージとして形成されるようにしても良い。
　また図２に示したイメージセンサ５２を、複数の基板（ダイ）を積層した積層イメージセンサで構成することもできる。図９は、図２のイメージセンサ５２を内蔵させた積層イメージセンサの構成例を示す図である。図９の積層イメージセンサは、画素基板３０１と信号処理基板３０２とが積層された２層構造になっている。
　画素基板３０１には、イメージセンサ５２に含まれる撮像部６７が形成されている。また図示はしないが、撮像部６７に含まれる画素アレイ部１１１（図３）を画素基板３０１に形成し、撮像部６７の画素アレイ部１１１以外は、信号処理基板３０２に形成するようにすることもできる。
　信号処理基板３０２には、モード制御部６１、センサ制御部６２、センサ用入力インタフェース６３乃至６５、状態検出部６６、および顔検出認識部６８が形成されている。
　このように、積層イメージセンサとして、イメージセンサ５２を形成しても良い。また、積層イメージセンサは、２層の基板の他、３層や４層以上の基板を積層して構成することができる。例えば、メモリ（例えば、顔検出認識部６８に含まれる特徴量記憶部２０４（図５））を、画素基板３０１と信号処理基板３０２以外の層（メモり層）に設け、そのメモリ層を、画素基板３０１と信号処理基板３０２の間や、信号処理基板３０２の下側に設ける構成としても良い。
　また、３層構造とし、３層目に、センサ制御部６２、センサ用入力インタフェース６３乃至６５、状態検出部６６を形成し、２層目に、モード制御部６１と顔検出認識部６８を形成し、１層目に撮像部６７を形成するようにしても良い。
　このように構成した場合、状態検出モード（最小電力モード）のときには、３層目に電力が供給され、顔認証モード（小電力モード）のときには、２層目と１層目に電力が供給されるようにすることができる。すなわち、電力モードに基づき、電力を供給する層を選択的に制御することが可能な構成とすることができる。
　このように、イメージセンサ５２を積層イメージセンサとして構成し、１つのパッケージとして構成することも可能である。
　なお、上述した実施の形態においては、端末１０を例に挙げて説明したが、端末１０以外の装置にイメージセンサ５２を搭載し、上記したロック状態を解除する機能を付加することも可能である。すなわち、本技術は、ロック状態があり、そのようなロック状態を解除する機能がある装置に適用することができる。
　また、上述した実施の形態においては、ロック状態を解除する場合を例に挙げて説明したが、ユーザを認証する認証装置に本技術を適用できる。すなわち、上記した説明においては、ユーザを認証し、ロック状態を解除する例を挙げて説明したが、ユーザを認証する装置に対しても本技術を適用することができる。例えば、ユーザを認証し、認証されたユーザに紐付けられている何らかの処理、例えば、所定のアプリケーションを起動するといった処理が実行されるような装置に対しても本技術を適用できる。
　また、上述した実施の形態においては、イメージセンサ５２に顔検出認識部６８が含まれ、イメージセンサ５２内でユーザ認証まで行われる例を挙げて説明したが、ユーザ認証に係わる処理は、イメージセンサ５２以外の部分で行われるように構成することも可能である。
　例えば、顔検出認識部６８は、イメージセンサ５２外に設けられ、アプリケーションプロセッサ５１が制御する構成としても良い。また、このように構成した場合、状態検出部６６でユーザが保持した状態であることを検出されたとき、モード制御部６１から、アプリケーションプロセッサ５１の起動が指示される。
　すなわち、イメージセンサ５２で、所定の状態が検出されたことを、アプリケーションプロセッサ５１の起動トリガーとし、アプリケーションプロセッサ５１が起動されるように構成しても良い。このように構成することで、アプリケーションプロセッサ５１による制御により、上記したユーザ認証を行い、ロック状態を解除する処理を行うことも可能であるし、アプリケーションプロセッサ５１による他の処理が実行されるように構成することも可能である。
　また、アプリケーションプロセッサ５１の起動トリガーが発行されるのは、上記したユーザが端末１０を保持した状態に係わらず、所定の物体を検知した場合などに発行されるように種々変更することも可能である。
　また、上記した実施の形態では、ユーザを認証する場合を例に挙げて説明したが、ユーザ以外を認証（検出）するような場合にも本技術を適用することはできる。例えば、車に上記したイメージセンサ５２を搭載し、状態検出モードのときには、車が走行を開始したか否かを検出するようにする。
　そして、車が走行しているときには顔認識モードに移行し、人を検出するモードとする（よって、人認識モードとしても良い）。人を検出したときには、減速するなど所定の処理を行うように車を制御するように構成する。このような場合にも本技術を適用することはできる。
　そこで、本技術を適用できる例を以下に示す。
　＜イメージセンサの使用例＞
　図１０は、上述のイメージセンサ５２を使用する使用例を示す図である。
　イメージセンサ５２は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングするさまざまなケースに使用することができる。
　・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　イメージセンサ５２は、電子を信号電荷とするもの、正孔を信号電荷とするものの両方に適用できる。
　また、本開示は、可視光の入射光量の分布を検知して画像として撮像する撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の撮像装置（物理量分布検知装置）全般に対して適用可能である。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
　前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
　を備える画像処理装置。
（２）
　前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
　前記（１）に記載の画像処理装置。
（３）
　アプリケーションプロセッサが起動している状態から、起動していない状態に移行したとき、前記検出部による検出が開始される
　前記（１）または（２）に記載の画像処理装置。
（４）
　前記検出部により前記所定の状態が検出されたとき、前記撮像部が起動される
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
　前記検出部は、前記所定の状態として、前記撮像部がユーザの顔を撮像できる状態にされたか否かを検出する
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記検出部は、ロック状態のときに、検出を行い、
　前記認識部で登録されているユーザであると判定された場合、前記ロック状態を解除する
　前記（６）に記載の画像処理装置。
（８）
　前記ロック状態の解除の指示は、アプリケーションプロセッサに対して出される
　前記（７）に記載の画像処理装置。
（９）
　前記撮像部は、前記認識部で行われる認証に必要とされる画素数で撮像を行う
　前記（７）に記載の画像処理装置。
（１０）
　複数のセンサからのデータを用いて、所定の状態を検出し、
　前記所定の状態が検出された場合、所定の被写体を撮像する
　ステップを含む画像処理方法。
（１１）
　コンピュータに、
　複数のセンサからのデータを用いて、所定の状態を検出し、
　前記所定の状態が検出された場合、所定の被写体を撮像する
　処理を実行させるためのプログラム。
（１２）
　複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
　前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
　を備えるイメージセンサ。
（１３）
　前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
　前記（１２）に記載のイメージセンサ。
（１４）
　前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
　前記（１２）または（１３）に記載のイメージセンサ。
（１５）
　ロック状態のときに前記検出を行い、
　登録されているユーザであると判定された場合、前記ロック状態を解除する
　前記（１４）に記載のイメージセンサ。
（１６）
　積層構造とされている
　前記（１２）乃至（１５）のいずれかに記載のイメージセンサ。
（１７）
　１つのパッケージとして形成されている
　前記（１２）乃至（１６）のいずれかに記載のイメージセンサ。
（１８）
　複数のセンサと、
　イメージセンサと、
　アプリケーションプロセッサと
　を備え、
　前記イメージセンサは、
　前記複数のセンサからのデータを入力する複数の入力インタフェースと、
　前記入力インタフェースを介して入力される前記複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
　前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
　を備える
　情報処理装置。
（１９）
　前記イメージセンサは、
　前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
　前記（１８）に記載の情報処理装置。
（２０）
　前記検出部は、前記アプリケーションプロセッサによりロック状態に移行するとの指示を受けたときから検出を開始し、
　前記認識部により、登録されているユーザであると判定された場合、前記アプリケーションプロセッサに前記ロック状態の解除の指示が出される
　前記（１９）に記載の情報処理装置。
　１０　端末，　１１　表示部，　１２　撮像部，　１３　マイクロフォン，　５１　アプリケーションプロセッサ，　５２　イメージセンサ，　５３　加速度センサ，　５４　地磁気センサ，　５５　近接センサ，　６１　モード制御部，　６２　センサ制御部，　６３乃至６５　センサ用入力インタフェース，　６６　状態検出部，　６７　撮像部，　６８　顔検出認識部

Claims (20)

  1. 　複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
    　前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
    　を備える画像処理装置。
  2. 　前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
    　請求項１に記載の画像処理装置。
  3. 　アプリケーションプロセッサが起動している状態から、起動していない状態に移行したとき、前記検出部による検出が開始される
    　請求項１に記載の画像処理装置。
  4. 　前記検出部により前記所定の状態が検出されたとき、前記撮像部が起動される
    　請求項１に記載の画像処理装置。
  5. 　前記検出部は、前記所定の状態として、前記撮像部がユーザの顔を撮像できる状態にされたか否かを検出する
    　請求項１に記載の画像処理装置。
  6. 　前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
    　請求項１に記載の画像処理装置。
  7. 　前記検出部は、ロック状態のときに、検出を行い、
    　前記認識部で登録されているユーザであると判定された場合、前記ロック状態を解除する
    　請求項６に記載の画像処理装置。
  8. 　前記ロック状態の解除の指示は、アプリケーションプロセッサに対して出される
    　請求項７に記載の画像処理装置。
  9. 　前記撮像部は、前記認識部で行われる認識に必要とされる画素数で撮像を行う
    　請求項７に記載の画像処理装置。
  10. 　複数のセンサからのデータを用いて、所定の状態を検出し、
    　前記所定の状態が検出された場合、所定の被写体を撮像する
    　ステップを含む画像処理方法。
  11. 　コンピュータに、
    　複数のセンサからのデータを用いて、所定の状態を検出し、
    　前記所定の状態が検出された場合、所定の被写体を撮像する
    　ステップを含む処理を実行させるためのプログラム。
  12. 　複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
    　前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
    　を備えるイメージセンサ。
  13. 　前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
    　請求項１２に記載のイメージセンサ。
  14. 　前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
    　請求項１２に記載のイメージセンサ。
  15. 　ロック状態のときに前記検出を行い、
    　登録されているユーザであると判定された場合、前記ロック状態を解除する
    　請求項１４に記載のイメージセンサ。
  16. 　積層構造とされている
    　請求項１２に記載のイメージセンサ。
  17. 　１つのパッケージとして形成されている
    　請求項１２に記載のイメージセンサ。
  18. 　複数のセンサと、
    　イメージセンサと、
    　アプリケーションプロセッサと
    　を備え、
    　前記イメージセンサは、
    　前記複数のセンサからのデータを入力する複数の入力インタフェースと、
    　前記入力インタフェースを介して入力される前記複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
    　前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
    　を備える
    　情報処理装置。
  19. 　前記イメージセンサは、
    　前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
    　請求項１８に記載の情報処理装置。
  20. 　前記検出部は、前記アプリケーションプロセッサによりロック状態に移行するとの指示を受けたときから検出を開始し、
    　前記認識部により、登録されているユーザであると判定された場合、前記アプリケーションプロセッサに前記ロック状態の解除の指示が出される
    　請求項１９に記載の情報処理装置。
PCT/JP2017/021446 2016-06-23 2017-06-09 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム WO2017221741A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/308,590 US10986264B2 (en) 2016-06-23 2017-06-09 Image processing device, image processing method, image sensor, and information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-124648 2016-06-23
JP2016124648A JP2017228975A (ja) 2016-06-23 2016-06-23 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2017221741A1 true WO2017221741A1 (ja) 2017-12-28

Family

ID=60783863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021446 WO2017221741A1 (ja) 2016-06-23 2017-06-09 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム

Country Status (3)

Country Link
US (1) US10986264B2 (ja)
JP (1) JP2017228975A (ja)
WO (1) WO2017221741A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820194B (zh) 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11159520B1 (en) * 2018-12-20 2021-10-26 Wells Fargo Bank, N.A. Systems and methods for passive continuous session authentication
CN111868800A (zh) * 2019-02-21 2020-10-30 Lg电子株式会社 用于记录停车位置的方法以及设备
US11863552B1 (en) * 2019-03-06 2024-01-02 Wells Fargo Bank, N.A. Systems and methods for continuous session authentication utilizing previously extracted and derived data
US11310228B1 (en) 2019-03-06 2022-04-19 Wells Fargo Bank, N.A. Systems and methods for continuous authentication and monitoring
EP4130868A4 (en) * 2020-03-31 2023-08-09 Sony Group Corporation SENSOR DEVICE, SENSOR-EQUIPPED DEVICE AND METHOD OF PROCESSING A SENSOR
CN112351194A (zh) * 2020-08-31 2021-02-09 华为技术有限公司 一种业务处理方法及设备
JPWO2023032275A1 (ja) * 2021-08-31 2023-03-09

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116602A (ja) * 2005-10-24 2007-05-10 Sharp Corp 電子機器
JP2014110009A (ja) * 2012-12-04 2014-06-12 Sharp Corp 携帯端末装置
JP2016052132A (ja) * 2015-09-18 2016-04-11 株式会社ニコン 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5517435B2 (ja) * 2008-10-22 2014-06-11 キヤノン株式会社 自動合焦装置および自動合焦方法、ならびに、撮像装置
JP5482023B2 (ja) 2009-08-27 2014-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8886953B1 (en) * 2012-09-14 2014-11-11 Google Inc. Image processing
WO2015182753A1 (ja) * 2014-05-29 2015-12-03 株式会社ニコン 撮像装置および車両
KR101688168B1 (ko) * 2015-08-17 2016-12-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9769307B2 (en) * 2015-12-26 2017-09-19 Intel Corporation User detection and recognition for electronic devices
JP2017152947A (ja) * 2016-02-25 2017-08-31 京セラ株式会社 携帯端末

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116602A (ja) * 2005-10-24 2007-05-10 Sharp Corp 電子機器
JP2014110009A (ja) * 2012-12-04 2014-06-12 Sharp Corp 携帯端末装置
JP2016052132A (ja) * 2015-09-18 2016-04-11 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
JP2017228975A (ja) 2017-12-28
US20190158730A1 (en) 2019-05-23
US10986264B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
WO2017221741A1 (ja) 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
KR102171616B1 (ko) 단말기 오접촉 방지 방법 및 장치
US8994499B2 (en) Locking and unlocking a mobile device using facial recognition
WO2021104197A1 (zh) 对象跟踪方法及电子设备
JP6196398B2 (ja) タッチボタン及び指紋認証を実現する装置、方法、端末機器、並びにプログラム及び記録媒体
US8929725B2 (en) Image capturing apparatus and control method thereof
WO2013174354A2 (zh) 一种单摄像头测距的方法和***
KR102392751B1 (ko) 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
WO2019144956A1 (zh) 图像传感器、镜头模组、移动终端、人脸识别方法及装置
KR20140125078A (ko) 전자 장치 및 전자 장치에서 잠금 해제 방법
WO2019091426A1 (zh) 摄像头组件、图像获取方法及移动终端
CN103685909A (zh) 影像撷取方法与***
US20120313897A1 (en) Display control device, display control method, program, and recording medium
WO2019026925A1 (ja) 個人認証装置
CN102830794A (zh) 信息处理装置和程序
CN113879923B (zh) 电梯控制方法、***、装置、电子设备和存储介质
JP5865034B2 (ja) カメラ機能付き機器、プログラムおよび盗撮防止制御方法
CN102411463B (zh) 触控屏幕解锁方法及其具有摄像功能的电子装置
US20190258843A1 (en) Electronic device and control method
WO2022247761A1 (zh) 电子设备及其指纹解锁方法、指纹解锁装置
CN111723615B (zh) 对检测物图像进行检测物匹配判定的方法和装置
KR101350068B1 (ko) 관심 영역 이미지를 출력하기 위한 전자 장치
CN113556734A (zh) 一种认证方法及装置
CN113706807A (zh) 发出报警信息的方法、装置、设备及存储介质
CN112068721A (zh) 触控信号响应方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815210

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17815210

Country of ref document: EP

Kind code of ref document: A1