WO2021256091A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021256091A1
WO2021256091A1 PCT/JP2021/016643 JP2021016643W WO2021256091A1 WO 2021256091 A1 WO2021256091 A1 WO 2021256091A1 JP 2021016643 W JP2021016643 W JP 2021016643W WO 2021256091 A1 WO2021256091 A1 WO 2021256091A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
sensor information
information
sensors
processing apparatus
Prior art date
Application number
PCT/JP2021/016643
Other languages
English (en)
French (fr)
Inventor
賢吾 内田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/000,739 priority Critical patent/US20230237131A1/en
Priority to JP2022532353A priority patent/JPWO2021256091A1/ja
Priority to EP21825579.2A priority patent/EP4167183A4/en
Publication of WO2021256091A1 publication Critical patent/WO2021256091A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/40—User authentication by quorum, i.e. whereby two or more security principals are required
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type

Definitions

  • This disclosure relates to information processing devices, information processing methods, and programs.
  • Patent Document 1 discloses a composite authentication system that authenticates a user based on a plurality of biometric information.
  • Patent Document 1 when authentication is performed based on a plurality of information, the processing may be complicated and the load on the device may increase.
  • the authentication unit comprises an authentication unit that authenticates the user based on the collected sensor information, and the authentication unit is simply extracted based on the sensor information collected by at least two sensors.
  • An information processing apparatus is provided that authenticates a user based on one feature amount and a single registered feature amount extracted based on sensor information previously collected by at least two sensors.
  • the processor authenticates the user based on the collected sensor information, and the authentication includes the sensor information collected by at least two sensors. To authenticate the user based on a single feature quantity extracted based on the above and a single registered feature quantity extracted based on the sensor information previously collected by at least two sensors.
  • Information processing methods are provided, including further.
  • the computer is provided with an authentication unit that authenticates the user based on the collected sensor information, and the authentication unit is based on the sensor information collected by at least two sensors.
  • Information processing that authenticates the user based on a single feature quantity extracted based on and a single registered feature quantity extracted based on sensor information previously collected by at least two sensors.
  • a program for functioning as a device is provided.
  • the above authentication technology includes, for example, a technology for acquiring biometric information such as a user's fingerprint or vein and performing authentication using the biometric information.
  • a criterion for example, an acquired fingerprint and a registered fingerprint. It is required to strictly set the judgment threshold value regarding the degree of similarity of.
  • the acquired image is likely to differ due to differences in the state of the user's finger, the shooting position, and other shooting environments.
  • Patent Document 1 According to the technology disclosed in Patent Document 1, the probability that certification is established can be increased, and the effect of improving usability is expected.
  • Patent Document 1 when the technique disclosed in Patent Document 1 is used, when a plurality of authentications are combined and executed, the processing may be complicated and the load on the device may increase.
  • the technical idea related to this disclosure was conceived by paying attention to the above points, and it is possible to suppress the processing load and guarantee the security in the authentication using the sensor information at the same time.
  • the information processing apparatus 10 includes an authentication unit 130 that performs authentication based on the collected sensor information.
  • the authentication unit 130 includes a single feature amount extracted based on the sensor information collected by at least two sensors 110, and a sensor previously collected by at least two sensors 110.
  • One of the features is that the user is authenticated based on a single registered feature amount extracted based on the information.
  • FIG. 1 is a block diagram showing a functional configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing device 10 according to the present embodiment may be various devices that authenticate the user based on the sensor information.
  • the information processing device 10 may be realized as, for example, a smartphone, a tablet, a PC, a wearable device, or the like.
  • An example of a wearable device is an earable device (hearable device) worn on the user's ear.
  • the information processing apparatus 10 may include at least two sensors 110, an integration unit 120, an authentication unit 130, a storage unit 140, and a notification unit 150.
  • the sensor 110 acquires sensor information related to the physical characteristics and operational characteristics of the user.
  • the sensor information according to the present embodiment includes, for example, biometric information of the user.
  • biometric information include images of fingerprints, veins, irises, faces, postures, and the like, and voices of recorded voices.
  • FIG. 1 illustrates a case where the information processing apparatus 10 according to the present embodiment includes two sensors 110a and 110b.
  • the number of sensors 110 according to the present embodiment is not limited to the above example.
  • the information processing apparatus 10 according to the present embodiment may include three or more sensors 110.
  • Each of at least two sensors 110 according to the present embodiment may, for example, acquire biometric information of the same type of user.
  • each of the sensors 110a and 110b according to the present embodiment may be an image pickup sensor that captures a user's fingerprint.
  • At least two sensors 110 according to the present embodiment may acquire different types of biometric information, for example.
  • the senor 110a may be an image pickup sensor that captures the iris of the user, and the sensor 110b may be a microphone that collects the voice of the user.
  • the integration unit 120 integrates each sensor information acquired by at least two sensors 110 to generate integrated sensor information.
  • the integrated unit 120 may integrate the partial sensor information extracted from each of the sensor information acquired by at least two sensors to generate the integrated sensor information.
  • the function of the integrated unit 120 according to the present embodiment is realized by various processors. Details of the functions of the integrated unit 120 according to the present embodiment will be described separately.
  • the authentication unit 130 authenticates the user based on the collected sensor information.
  • the authentication unit 130 according to the present embodiment is divided into a single feature amount extracted based on the sensor information collected by at least two sensors 110 and the sensor information previously collected by at least two sensors 110.
  • One of the features is to authenticate the user based on a single registered feature amount extracted based on the above.
  • the authentication unit 130 may authenticate the user based on the single feature amount extracted from the integrated sensor information generated by the integrated unit 120 and the registered feature amount. ..
  • the function of the authentication unit 130 according to this embodiment is realized by various processors. The details of the function of the authentication unit 130 according to the present embodiment will be described separately.
  • the storage unit 140 stores various information used in the information processing apparatus 10.
  • the storage unit 140 according to the present embodiment stores the program used by the integration unit 120, the authentication unit 130, and the notification unit 150.
  • the storage unit 140 stores the above-mentioned registered feature amount, integrated sensor information, and the like.
  • the notification unit 150 notifies the user based on the result of the user's authentication by the authentication unit 130.
  • the notification unit 150 provides feedback indicating that the authentication has been established and feedback requesting re-input of biometric information.
  • the notification unit 150 includes various displays for displaying visual information, speakers, amplifiers, and the like for outputting sound.
  • the functional configuration example of the information processing apparatus 10 according to the present embodiment has been described above.
  • the above-mentioned functional configuration described with reference to FIG. 1 is merely an example, and the functional configuration of the information processing apparatus 10 according to the present embodiment is not limited to such an example.
  • the information processing apparatus 10 according to the present embodiment may have a further configuration other than the configuration shown in FIG.
  • the information processing apparatus 10 according to the present embodiment may further include a processing unit that executes various processes based on the authentication result by the authentication unit 130.
  • the functions described above may be realized by the collaboration of a plurality of devices.
  • the sensor 110 according to the present embodiment may be provided in a sensor device separate from the information processing device 10.
  • the information processing device 10 may execute each process based on the sensor information received from the sensor device via the network.
  • the functional configuration of the information processing apparatus 10 according to this embodiment can be flexibly modified according to specifications and operations.
  • At least two sensors 110 according to the present embodiment may be arranged at a position where there is a high possibility that the biometric information of the user can be acquired when the user attaches or uses the information processing apparatus 10. ..
  • the information processing apparatus 10 is an earable to be worn on the user's ear will be described as an example. Further, in the following, a user's fingerprint will be described as a main example as biometric information used for authentication.
  • FIG 2 and 3 are diagrams for explaining the arrangement of at least two sensors 110 according to the present embodiment.
  • FIG. 2 shows a scene in which the information processing device 10 is pinched by a finger when the user wears the information processing device 10 which is an earable device to his / her ear.
  • the area where the user's finger comes into contact with the information processing device 10 is likely to be naturally limited according to the shape of the information processing device 10.
  • the area may be particularly limited.
  • the two or more sensors 110 may be arranged according to the area where the user's finger is expected to come into contact with the information processing apparatus 10.
  • the senor 110a is arranged at a position where the finger F1 is expected to come into contact with the information processing device 10 when the user wears the information processing device 10. Further, the sensor 110b is arranged at a position where the finger F2 is expected to come into contact with the sensor 110b.
  • the user can take a fingerprint without difficulty in the natural movement when the information processing apparatus 10 is attached or used, and the position of the sensor 110 is visually recognized each time. It is possible to effectively reduce the burden on the user related to the input of biometric information.
  • the effect of suppressing the variation in the angle and position of the finger F in contact with the sensor 110 and improving the authentication accuracy is expected.
  • the authentication unit 130 may authenticate the user based on the integrated sensor information that integrates the respective sensor information acquired by the sensor 110.
  • authentication based on a plurality of sensor information can be realized by a single processing, and the burden on the information processing apparatus 10 can be effectively reduced.
  • FIG. 4 is a diagram for explaining the generation of integrated sensor information by the integrated unit 120 according to the present embodiment.
  • FIG. 4 shows a process of generating an integrated sensor information UI from images I1 and I2 acquired by the two sensors 110a and 110b, respectively.
  • the integrated unit 120 In generating the integrated sensor information UI, the integrated unit 120 according to the present embodiment first has a high certainty region CR having a high degree of certainty, which is the biometric information of the user, in each of the sensor information acquired by at least two sensors 110. May be specified.
  • the integration unit 120 identifies a high certainty region CR1 having a high certainty, which is a region corresponding to the fingerprint of the user in the image I1 acquired by the sensor 110a.
  • the integration unit 120 identifies a high certainty region CR2 having a high certainty, which is a region corresponding to the fingerprint of the user.
  • a neural network that recognizes the biometric information used for authentication and other information and has learned to calculate the certainty of the biometric information is used. May be done.
  • a recognition task is set to distinguish between an area that can be estimated as a fingerprint valley line and an area that cannot be estimated as a fingerprint valley line in the acquired image, and the estimation error is equal to or less than a certain value. Learning may be performed based on whether or not the area is possible.
  • the integration unit 120 may calculate the certainty degree by using the neural network trained as described above, and specify the high certainty area CR based on the certainty degree.
  • the integrated unit 120 extracts a partial sensor information PI from each of the specified certainty region CRs and integrates the extracted partial sensor information PI to generate an integrated sensor information UI.
  • the integration unit 120 extracts the partial sensor information PI1 from the high certainty region CR1 specified in the image I1 acquired by the sensor 110a.
  • the integration unit 120 extracts the partial sensor information PI2 from the high certainty region CR2 specified in the image I2 acquired by the sensor 110b.
  • the integrated unit 120 integrates the extracted partial sensor information PI1 and the partial sensor information PI2 to generate an integrated sensor information UI.
  • the integrated unit 120 partially crops the sensor information in the region where the certainty of the biometric information used for the authentication is high, and the cropped sensor information is processed in the subsequent stage by the authentication unit 130. It may be synthesized according to the size.
  • the sizes of the images I1 and I2 acquired by the sensors 110a and 110b may be the same as or larger than the processing size of the subsequent stage.
  • the integrated unit 120 crops and synthesizes the partial sensor information PI1 and the partial sensor information P2 so that the ratio of the partial sensor information PI1 and the partial sensor information P2 in the generated integrated sensor information UI is ⁇ : ⁇ . You may.
  • the integrated unit 120 may use the calculated certainty only for the position determination when cropping the partial sensor information PI, and may perform the partial sensor information at a fixed ratio (1: 1) of the same area.
  • the integrated unit has a plurality of parts according to a certain probability distribution (for example, beta distribution Beta ( ⁇ , ⁇ )) (or at the same ratio of 1: 1) so that the ratio of the partial sensor information PI is ⁇ : ⁇ .
  • the images of may be superimposed as a vector sum whose weight is the output of the distribution.
  • the extraction of the feature amount from the integrated sensor information UI will be described.
  • the feature amount extracted from the integrated sensor information UI is stored in the storage unit 140 for use as the reference information of the user book in the authentication phase.
  • the above-mentioned feature amount is referred to as a registered feature amount.
  • a single feature quantity is extracted from the integrated sensor information UI generated based on the sensor information acquired in real time and used for comparison with the registered feature quantity.
  • a method based on machine learning may be used for feature quantity extraction from the integrated sensor information UI according to the present embodiment.
  • the authentication unit 130 may perform feature quantity extraction using, for example, an extractor that converts the entire integrated sensor information UI as a single feature quantity (feature vector).
  • the above extractor has a high degree of similarity between the feature quantities extracted from the integrated sensor information UI derived from the same user, and the similarity between the feature quantities extracted from the integrated sensor information UI derived from different users. It may be generated by learning based on a lesser loss criterion.
  • the extractor may be shared with a classifier that calculates the degree of similarity between feature quantities by the authentication unit 130.
  • FIG. 5 is a diagram for explaining the authentication process by the authentication unit 130 according to the present embodiment.
  • the authentication unit 130 has a single feature amount V1 extracted from the integrated sensor information UI1 generated by the integrated unit 120 based on the sensor information acquired in real time, and a registered unit stored in the storage unit 140.
  • the similarity with the feature amount V2 exceeds the threshold value, the authenticity of the user may be recognized.
  • the authentication unit 130 uses the classifier 135 that calculates the similarity based on the single feature amount extracted from the input integrated sensor information UI1 and the registered feature amount UI2. You may authenticate the user.
  • the classifier 135 can separate an input group derived from the person and an input group derived from another person (other than the person) so that the degree of similarity is sufficiently low in the layer of the feature amount (feature vector).
  • it is generated based on the deep distance learning approach that makes it possible to realize the learning of the feature extraction mechanism based on the neural network so that the similarity between the features of the input group derived from the person is sufficiently high.
  • the above can be realized by optimizing the loss function for distance learning, such as filter expression by convolution of images and feature extraction network that can extract complex features of images by combining pooling in high layers.
  • an input having the same specifications as the integrated sensor information UI, or an input expanded in the manner of data augmentation when creating an input in learning from an unintegrated image set may be used.
  • the integrated sensor information UI since the ratio of the partial sensor information PI is expected to change for each trial, there are various variations of the above ratio in the learning for generating the classifier 135.
  • the input may be prepared so as to be.
  • the classifier 135 generated by learning using the input as described above, when the integrated sensor information UI contains sufficient feature information, the user can be identified with high accuracy regardless of the above ratio. Is stipulated to be able to do.
  • the integrated sensor information UI that integrates a plurality of sensor information as in the present embodiment, the input of another person having a feature amount that is fairly close to a single feature point (for example, a maneuver in a fingerprint) can be input.
  • the effect of realizing more robust authentication is expected.
  • the processing by the information processing apparatus 10 is mainly classified into a registration phase in which the registered feature amount is stored and an authentication phase in which the authentication unit 130 performs authentication.
  • FIG. 6 is a flowchart showing an example of the processing flow of the information processing apparatus 10 in the registration phase according to the present embodiment.
  • At least two sensors 110 acquire sensor information (S102).
  • the sensor information includes the biometric information of the user.
  • the integration unit 120 identifies a high certainty region in each of the sensor information acquired in step S102 (S104).
  • the integration unit 120 extracts partial sensor information from the high certainty region specified in step S104 (S106).
  • identification of the high certainty region in step S104 and the extraction of the partial sensor information in step S106 do not have to be clearly separated as processing.
  • identification of the high certainty region in step S104 and the extraction of the partial sensor information in step S106 may be realized as a series of processes by the trained neural network.
  • the integration unit 120 integrates the partial sensor information extracted in step S106 to generate integrated sensor information (S108).
  • the authentication unit 130 determines whether or not the feature amount extracted from the integrated sensor information generated in step S108 satisfies the registration criteria (S110).
  • the feature amount is stored in the storage unit 140 as the registered feature amount (S112).
  • the notification unit 150 presents feedback to the user indicating that the registration is completed (S114).
  • the notification unit 150 presents feedback prompting the user to re-input (S116), and the information processing apparatus 10 returns to step S102.
  • FIG. 7 is a flowchart showing an example of the processing flow of the information processing apparatus 10 in the authentication phase according to the present embodiment.
  • steps S202 to S208 shown in FIG. 7 may be substantially the same as the processing in steps S102 to S108 shown in FIG. 6, detailed description thereof will be omitted.
  • the authentication unit 130 calculates the similarity between the feature amount of the integrated sensor information and the registered feature amount stored in the storage unit 140 (S210).
  • the authentication unit 130 may perform the above-mentioned similarity calculation using the above-mentioned classifier 135.
  • the authentication unit 130 determines whether or not the similarity calculated in step S210 exceeds the threshold value (S212).
  • the authentication unit 130 recognizes the authenticity of the user, and the notification unit 150 presents feedback to the user indicating that the authentication is successful (S214).
  • the authentication unit 130 does not recognize the authenticity of the user, and the notification unit 150 presents the user with feedback prompting re-input (S216).
  • authentication may be performed by the conventional method of collating each of the sensor information acquired in step S202.
  • the processing and features of the information processing apparatus 10 described above are merely examples, and the information processing apparatus 10 according to the present embodiment can be flexibly deformed according to specifications and operations.
  • the information processing device 10 according to the present embodiment is an earable device has been described as a main example, but the information processing device 10 according to the present embodiment is another type of device such as a smartphone. May be good.
  • FIG. 8 is a diagram showing an arrangement example of the sensor 110 when the information processing device 10 according to the present embodiment is realized as a smartphone.
  • the information processing device 10 When the information processing device 10 according to the present embodiment is realized as a smartphone, at least two sensors 110 are arranged on the back surface of the touch panel like the sensors 110a and 110b in the figure, and the finger of the user who comes into contact with the touch panel. Fingerprints of F1 and F2 may be photographed, respectively.
  • At least two sensors 110 may be arranged on the side of the information processing device 10 which is a smartphone, as in the sensors 110c and 110d in the figure. In this case, it is possible to efficiently capture the fingerprint of the finger of the user holding the information processing apparatus 10 with one hand without making the user aware of it.
  • the information processing device 10 may be a wearable device such as a bed mount display.
  • FIG. 9 is a diagram showing an arrangement example of the sensor 110 when the information processing device 10 according to the present embodiment is realized as a head-mounted display.
  • the senor 110a may be an imaging sensor that captures the iris of the user.
  • the senor 110b may be an image pickup sensor that captures a fingerprint of a user who comes into contact with the sensor, or a microphone that collects the voice of the user.
  • At least two sensors 110 according to the present embodiment may acquire different types of biometric information.
  • the integration unit 120 makes a spectral image of the collected voice by using a short-time Fourier transform or the like, and extracts partial sensor information from the spectral image. You may go.
  • the integration unit 120 does not generate the integrated information in the image layer, but converts a plurality of images into feature vectors by a neural network.
  • the integration may be performed as the weighted sum of each vector.
  • FIG. 10 is a block diagram showing a hardware configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing unit 10 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device. It has an 879, a storage 880, a drive 881, a connection port 882, and a communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, components other than the components shown here may be further included.
  • the processor 871 functions as, for example, an arithmetic processing unit or a control device, and controls all or a part of the operation of each component based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable storage medium 901. ..
  • the ROM 872 is a means for storing programs read into the processor 871 and data used for operations.
  • the RAM 873 temporarily or permanently stores, for example, a program read by the processor 871 and various parameters that change as appropriate when the program is executed.
  • the processors 871, ROM 872, and RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to the external bus 876, which has a relatively low data transmission speed, via, for example, the bridge 875.
  • the external bus 876 is connected to various components via the interface 877.
  • Input device 8708 For the input device 878, for example, a mouse, a keyboard, a touch panel, buttons, switches, levers, and the like are used. Further, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone.
  • the output device 879 for example, a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, a facsimile, or the like, provides the user with the acquired information. It is a device capable of visually or audibly notifying. Further, the output device 879 according to the present disclosure includes various vibration devices capable of outputting a tactile stimulus.
  • the storage 880 is a device for storing various types of data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like is used.
  • the drive 881 is a device for reading information recorded on a removable storage medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writing information to the removable storage medium 901.
  • a removable storage medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable storage medium 901 is, for example, a DVD media, a Blu-ray (registered trademark) media, an HD DVD media, various semiconductor storage media, and the like.
  • the removable storage medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal General Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • an external connection device 902 such as a USB (Universal General Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • the externally connected device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 883 is a communication device for connecting to a network, and is, for example, a communication card for wired or wireless LAN, Wireless (registered trademark), or WUSB (Wireless USB), a router for optical communication, and ADSL (Asymmetric Digital). A router for Subscriber Line), a modem for various communications, and the like.
  • the information processing apparatus 10 includes an authentication unit 130 that performs authentication based on the collected sensor information. Further, the authentication unit 130 according to the embodiment of the present disclosure includes a single feature amount extracted based on the sensor information collected by at least two sensors 110, and a sensor previously collected by at least two sensors 110. One of the features is that the user is authenticated based on a single registered feature amount extracted based on the information.
  • each step related to the processing described in the present specification does not necessarily have to be processed in chronological order according to the order described in the flowchart or the sequence diagram.
  • each step related to the processing of each device may be processed in an order different from the order described, or may be processed in parallel.
  • the series of processes by each device described in the present specification may be realized by using any of software, hardware, and a combination of software and hardware.
  • the programs constituting the software are stored in advance in, for example, a storage medium (non-transitory medium: non-transitory media) provided inside or outside each device. Then, each program is read into RAM at the time of execution by a computer and executed by various processors, for example.
  • the storage medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network without using a storage medium.
  • Authentication unit that authenticates the user based on the collected sensor information, Equipped with The authentication unit has a single feature amount extracted based on sensor information collected by at least two sensors and a single registration extracted based on sensor information previously collected by at least two sensors. Authenticate the user based on the completed features and Information processing device.
  • the authentication unit authenticates the user based on a single feature amount extracted from the integrated sensor information that integrates each sensor information acquired from the at least two sensors and the registered feature amount.
  • the information processing device according to (1) above.
  • (3) The authentication unit recognizes the authenticity of the user when the similarity between the single feature amount extracted from the integrated sensor information and the registered feature amount exceeds the threshold value.
  • the information processing device according to (2) above.
  • the authentication unit authenticates the user by using a classifier that outputs the similarity based on the single feature amount extracted from the input integrated sensor information and the registered feature amount.
  • the information processing device according to (3) above.
  • the authentication unit uses an extractor generated by learning based on a loss criterion that increases the similarity between features extracted from the integrated sensor information derived from the same user, and is single from the integrated sensor information. Extract the features of The information processing apparatus according to any one of (2) to (4).
  • the integrated unit that generates the integrated sensor information, Further prepare, The information processing apparatus according to any one of (2) to (5).
  • the integrated unit integrates the partial sensor information extracted from each of the sensor information acquired by the at least two sensors, and generates the integrated sensor information.
  • the information processing apparatus In each of the sensor information acquired by the at least two sensors, the integrated unit identifies a high certainty region having high certainty, which is the biometric information of the user, and the partial sensor information is obtained from each of the high certainty regions. To extract, The information processing device according to (7) above. (9) The at least two sensors, Further prepare, The information processing apparatus according to any one of (1) to (8). (10) Each of the at least two sensors acquires the same type of biometric information. The information processing apparatus according to (9) above. (11) The at least two sensors each acquire different types of biometric information. The information processing apparatus according to (9) above. (12) The at least two sensors include an imaging sensor. The information processing apparatus according to any one of (9) to (11).
  • the at least two sensors capture the user's fingerprint.
  • Each of the at least two sensors is arranged at a position where there is a high possibility that the biometric information of the user can be acquired when the user attaches or uses the information processing apparatus.
  • a wearable device The information processing apparatus according to any one of (1) to (14).
  • An earable device worn on the user's ear The information processing apparatus according to (15) above.
  • the processor authenticates the user based on the collected sensor information, Including The authentication is performed by a single feature quantity extracted based on the sensor information collected by at least two sensors and a single feature extracted based on the sensor information previously collected by at least two sensors. Authenticate the user based on the registered features of Including, Information processing method. (18) Computer, Authentication unit that authenticates the user based on the collected sensor information, Equipped with The authentication unit has a single feature amount extracted based on sensor information collected by at least two sensors and a single registration extracted based on sensor information previously collected by at least two sensors. Authenticate the user based on the completed features and Information processing equipment, A program to function as.
  • Information processing device 110 Sensor 120 Integration unit 130 Authentication unit 140 Storage unit 150 Notification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】センサ情報を用いた認証において、処理負担の抑制とセキュリティ性の担保とを両立する。 【解決手段】収集されたセンサ情報に基づいてユーザの認証を行う認証部、を備え、前記認証部は、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、取得されたセンサ情報に基づいてユーザの認証を行う種々の認証技術が開発されている。また、認証の精度を高めるための提案も多くなされている。例えば、特許文献１には、複数の生体情報に基づいてユーザの認証を行う複合認証システムが開示されている。
特開２０１６－４０６８４号公報
　しかし、特許文献１に開示されるように、複数の情報に基づいて認証を行う場合、処理が複雑化し、装置の負担が増大する可能性がある。
　本開示のある観点によれば、収集されたセンサ情報に基づいてユーザの認証を行う認証部、を備え、前記認証部は、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、情報処理装置が提供される。
　また、本開示の別の観点によれば、プロセッサが、収集されたセンサ情報に基づいてユーザの認証を行うこと、を含み、前記認証を行うことは、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行うこと、をさらに含む、情報処理方法が提供される。
　また、本開示の別の観点によれば、コンピュータを、収集されたセンサ情報に基づいてユーザの認証を行う認証部、を備え、前記認証部は、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、情報処理装置、として機能させるためのプログラムが提供される。
本開示の一実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。 同実施形態に係る少なくとも２つのセンサ１１０の配置について説明するための図である。 同実施形態に係る少なくとも２つのセンサ１１０の配置について説明するための図である。 同実施形態に係る統合部１２０による統合センサ情報の生成について説明するための図である。 同実施形態に係る認証部１３０による認証処理について説明するための図である。 同実施形態に係る登録フェーズにおける情報処理装置１０の処理の流れの一例を示すフローチャートである。 同実施形態に係る認証フェーズにおける情報処理装置１０の処理の流れの一例を示すフローチャートである。 同実施形態に係る情報処理装置１０がスマートフォンとして実現される場合におけるセンサ１１０の配置例を示す図である。 同実施形態に係る情報処理装置１０がヘッドマウントディスプレイとして実現される場合におけるセンサ１１０の配置例を示す図である。 同実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．背景
　　１．２．情報処理装置１０の機能構成例
　　１．３．詳細
　　１．４．処理の流れ
　　１．５．変形例
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．背景＞＞
　上述したように、近年においては、取得されたセンサ情報に基づいてユーザの認証を行う種々の認証技術が開発されている。
　上記の認証技術には、例えば、ユーザの指紋や静脈等の生体情報を取得し、当該生体情報を用いて認証を行う技術が含まれる。
　ここで、単一の入力に基づいて認証を行う場合、第三者を正規のユーザとして誤認してしまう事態を回避するためには、判定基準（例えば、取得された指紋と登録済の指紋との類似度に関する判定閾値）を厳しく設定することが求められる。
　しかし、例えば、指紋の画像を取得し、当該画像を認証に用いる場合、ユーザの指の状態や撮影位置、その他の撮影環境の差異により、取得される画像には差異が生じやすい。
　このため、上記のように取得されるセンサ情報にばらつきが生じやすい環境においては、正規のユーザと判定するために十分な特徴が捉えられず、正規のユーザであってもその真正性が認められない場合も起こり得る。また、正規のユーザと判定されるまでに複数回の試行が求められる状況も少なくなく、ユーザビリティを低下させる要因となっている。
　上記のような状況を回避するためには、例えば、取得された複数のセンサ情報に基づいて複合的に認証を行うことも想定される。
　この場合、例えば、指紋による認証と静脈による認証等、複数の認証を組み合わせることで、個々の認証における判定基準を緩和することも可能である。
　しかし、この場合、複数の認証において、それぞれ判定基準を満たすことが求められるため、いずれか認証において低水準なセンサ情報が用いられると、認証の成立（ユーザの真正性の肯定）が困難となる可能性がある。
　上記のような状況に鑑み、特許文献１に開示される技術では、いずれかの認証においてユーザの真正性の肯定に至らなかった場合、当該認証の結果と他の認証の結果とを複合的に評価することで、最終的な判定を行っている。
　特許文献１に開示される技術によれば、認証が成立する確率を高めることができ、ユーザビリティを改善する効果が期待される。
　一方、特許文献１に開示される技術を用いる場合であっても、複数の認証を組み合わせて実行する場合には、処理が複雑化し、装置の負担が増大する可能性がある。
　本開示に係る技術思想は上記の点に着目して発想されてものであり、センサ情報を用いた認証において、処理負担の抑制とセキュリティ性の担保とを両立することを可能とする。
　このために、本開示の一実施形態に係る情報処理装置１０は、収集されたセンサ情報に基づく認証を行う認証部１３０を備える。また、本開示の一実施形態に係る認証部１３０は、少なくとも２つのセンサ１１０により収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め少なくとも２つのセンサ１１０により収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、ことを特徴の一つする。
　以下、上記のような特徴を有する情報処理装置１０の機能構成例について詳細に説明する。
　＜＜１．２．情報処理装置１０の機能構成例＞＞
　図１は、本開示の一実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。本実施形態に係る情報処理装置１０は、センサ情報に基づいてユーザの認証を行う各種の装置であってよい。
　本実施形態に係る情報処理装置１０は、例えば、スマートフォン、タブレット、ＰＣ、ウェアラブルデバイス等として実現されてもよい。ウェアラブルデバイスの一例としては、ユーザの耳に装着されるイヤラブルデバイス（ヒアラブルデバイス）が挙げられる。
　図１に示すように、本実施形態に係る情報処理装置１０は、少なくとも２つのセンサ１１０、統合部１２０、認証部１３０、記憶部１４０、および通知部１５０を備えてもよい。
　（センサ１１０）
　本実施形態に係るセンサ１１０は、ユーザの身体的特徴や動作的特徴に係るセンサ情報を取得する。本実施形態に係るセンサ情報には、例えば、ユーザの生体情報が含まれる。生体情報の一例としては、指紋、静脈、虹彩、顔、姿勢等を撮影した画像や、声を録音した音声等が挙げられる。
　なお、図１においては、本実施形態に係る情報処理装置１０が２つのセンサ１１０ａおよび１１０ｂを備える場合が例示されている。一方、本実施形態に係るセンサ１１０の数は係る例に限定されない。本実施形態に係る情報処理装置１０は、３つ以上のセンサ１１０を備えてもよい。
　本実施形態に係る少なくとも２つのセンサ１１０の各々は、例えば、ユーザの同一種の生体情報を取得してもよい。
　一例として、本実施形態に係るセンサ１１０ａおよび１１０ｂの各々は、ユーザの指紋を撮影する撮像センサであってもよい。
　一方、本実施形態に係る少なくとも２つのセンサ１１０は、例えば、それぞれ別種の生体情報を取得してもよい。
　一例として、本実施形態に係るセンサ１１０ａはユーザの虹彩を撮影する撮像センサであり、センサ１１０ｂは、ユーザの声を集音するマイクロフォンであってもよい。
　（統合部１２０）
　本実施形態に係る統合部１２０は、少なくとも２つのセンサ１１０により取得された各々のセンサ情報を統合し、統合センサ情報を生成する。
　この際、本実施形態に係る統合部１２０は、少なくとも２つのセンサにより取得されたセンサ情報の各々から抽出した部分センサ情報を統合し、統合センサ情報を生成してもよい。
　本実施形態に係る統合部１２０が有する機能は、各種のプロセッサにより実現される。本実施形態に係る統合部１２０が有する機能の詳細については別途説明する。
　（認証部１３０）
　本実施形態に係る認証部１３０は、収集されたセンサ情報に基づいてユーザの認証を行う。この際、本実施形態に係る認証部１３０は、少なくとも２つのセンサ１１０により収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め少なくとも２つのセンサ１１０により収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、ことを特徴の一つとする。
　この際、本実施形態に係る認証部１３０は、統合部１２０が生成した統合センサ情報から抽出された単一の特徴量と、上記登録済特徴量とに基づいてユーザの認証を行ってもよい。
　本実施形態に係る認証部１３０が有する機能は、各種のプロセッサにより実現される。本実施形態に係る認証部１３０が有する機能の詳細については別途説明する。
　（記憶部１４０）
　本実施形態に係る記憶部１４０は、情報処理装置１０に用いられる各種の情報を記憶する。例えば、本実施形態に係る記憶部１４０は、統合部１２０、認証部１３０、通知部１５０により用いられるプログラムを記憶する。
　また、例えば、本実施形態に係る記憶部１４０は、上述の登録済特徴量や、統合センサ情報などを記憶する。
　（通知部１５０）
　本実施形態に係る通知部１５０は、認証部１３０によるユーザの認証の結果に基づいて、当該ユーザに対する通知を行う。
　例えば、本実施形態に係る通知部１５０は、認証が成立した旨を示すフィードバックや、生体情報の再入力を求めるフィードバックを行う。
　このために、本実施形態に係る通知部１５０は、視覚情報を表示するための各種のディスプレイや、音響を出力するためのスピーカやアンプ等を備える。
　以上、本実施形態に係る情報処理装置１０の機能構成例について述べた。なお、図１を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。
　例えば、本実施形態に係る情報処理装置１０は、図１に示す構成以外のさらなる構成を備えてもよい。例えば、本実施形態に係る情報処理装置１０は、認証部１３０により認証の結果に基づいて各種の処理を実行する処理部などをさらに備えてもよい。
　また、上記で述べた機能は、複数の装置の協働により実現されてもよい。例えば、本実施形態に係るセンサ１１０は、情報処理装置１０とは別途のセンサ装置に備えられてもよい。この場合、情報処理装置１０は、ネットワークを介してセンサ装置から受信したセンサ情報に基づいて各処理を実行してもよい。
　本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　＜＜１．３．詳細＞＞
　続いて、本実施形態に係る情報処理装置１０が有する機能の特徴について詳細に説明する。まず、本実施形態に係る情報処理装置１０が備えるセンサ１１０の配置に関する特徴について述べる。
　生体情報に基づく認証が行われる際、ユーザは生体情報を装置に入力するための動作を求められるのが一般的である。しかし、このような動作は、認証の試行回数や装置の使用回数が増加するほど、ユーザの負担となり得る。
　このために、本実施形態に係る少なくとも２つのセンサ１１０は、ユーザが情報処理装置１０の装着または使用を行う際に、当該ユーザの生体情報を取得できる可能性が高い位置に配置されてもよい。
　以下においては、本実施形態に係る情報処理装置１０が、ユーザの耳に装着されるイヤラブルである場合を例に挙げて説明する。また、以下においては、認証に用いられる生体情報としてユーザの指紋を主な例として説明する。
　図２および図３は、本実施形態に係る少なくとも２つのセンサ１１０の配置について説明するための図である。
　図２には、イヤラブルデバイスである情報処理装置１０をユーザが耳に装着するにあたり、情報処理装置１０を指でつまむ場面が示されている。
　上記のような動作において、ユーザの指が情報処理装置１０と接触する領域は、情報処理装置１０の形状に応じて自ずと限定される可能性が高い。イヤラブルデバイスのようなサイズの小さい装置である場合、上記領域は特に限定され得る。
　上記に鑑み、本実施形態に係る２つ以上のセンサ１１０は、ユーザの指が情報処理装置１０と接触することが予想される領域に合わせて配置されてもよい。
　図３に示す一例の場合、センサ１１０ａは、ユーザが情報処理装置１０を装着する際に、指Ｆ１が接触することが予想される位置に配置される。また、センサ１１０ｂは、指Ｆ２が接触することが予想される位置に配置される。
　上記のようなセンサ１１０の配置によれば、ユーザが情報処理装置１０を装着または使用する際の自然な動きの中で無理なく指紋を撮影することができ、都度センサ１１０の位置を視認する等の生体情報の入力に係るユーザの負担を効果的に低減することができる。
　また、上記のようなセンサ１１０の配置によれば、センサ１１０に接触する指Ｆの角度や位置のばらつきを抑え、認証精度を向上させる効果が期待される。
　次に、本実施形態に係る統合センサ情報の生成について述べる。上述したように、本実施形態に係る認証部１３０は、センサ１１０により取得された各々のセンサ情報を統合した統合センサ情報に基づいてユーザの認証を行ってもよい。
　上記のような処理によれば、複数のセンサ情報に基づく認証を単一の処理で実現することができ、情報処理装置１０の負担を効果的に低減することが可能となる。
　図４は、本実施形態に係る統合部１２０による統合センサ情報の生成について説明するための図である。図４には、２つのセンサ１１０ａおよび１１０ｂによりそれぞれ取得された画像Ｉ１およびＩ２から統合センサ情報ＵＩが生成される処理の過程が示されている。
　統合センサ情報ＵＩの生成にあたり、本実施形態に係る統合部１２０は、まず、少なくとも２つのセンサ１１０により取得されたセンサ情報の各々において、ユーザの生体情報である確信度が高い高確信度領域ＣＲを特定してもよい。
　図４に示す一例の場合、統合部１２０は、センサ１１０ａにより取得された画像Ｉ１において、ユーザの指紋に相当する領域である確信度が高い高確信度領域ＣＲ１を特定している。
　同様に、統合部１２０は、センサ１１０ｂにより取得された画像Ｉ２において、ユーザの指紋に相当する領域である確信度が高い高確信度領域ＣＲ２を特定している。
　上記のような高確信度領域ＣＲの特定には、認証に用いられる生体情報とそれ以外の情報とを認識し、当該生体情報としての確信度を計算するための学習を行ったニューラルネットワークが用いられてもよい。
　例えば、指紋認証の場合、取得された画像において指紋の谷線として推定が可能な領域と、指紋の谷線として推定ができない領域とを区別する認識タスクを設定し、推定誤差がある定数以下とできる領域か否かの基準で学習が行われてもよい。
　本実施形態に係る統合部１２０は、上記のような学習を行ったニューラルネットワークを用いて確信度を算出し、当該確信度に基づいて高確信度領域ＣＲの特定を行ってもよい。
　また、本実施形態に係る統合部１２０は、特定した確信度領域ＣＲの各々から部分センサ情報ＰＩを抽出し、抽出した部分センサ情報ＰＩを統合することで、統合センサ情報ＵＩを生成する。
　上記のような処理によれば、取得されたセンサ情報のうち対象とする生体情報である確信度が高い領域のみを入力として扱うことができ、認証精度を向上させるとともに、認証の試行回数を効果的に低減する効果が期待される。
　図４に示す一例の場合、統合部１２０は、センサ１１０ａにより取得された画像Ｉ１において特定した高確信度領域ＣＲ１から部分センサ情報ＰＩ１を抽出している。
　同様に、統合部１２０は、センサ１１０ｂにより取得された画像Ｉ２において特定した高確信度領域ＣＲ２から部分センサ情報ＰＩ２を抽出している。
　また、統合部１２０は、抽出した部分センサ情報ＰＩ１と部分センサ情報ＰＩ２とを統合し、統合センサ情報ＵＩを生成している。
　このように、本実施形態に係る統合部１２０は、認証に用いられる生体情報としての確信度が高い領域におけるセンサ情報を部分的にクロップし、当該クロップしたセンサ情報を認証部１３０による後段の処理サイズに合わせて合成してもよい。
　なお、この場合、センサ１１０ａおよび１１０ｂが取得する画像Ｉ１およびＩ２のサイズは、後段の処理サイズと同一またはそれ以上であってよい。
　例えば、画像Ｉ１における高確信度領域ＣＰ１と画像Ｉ２における高確信度領域ＣＰ２との比率がα：β（α＋β＝１）である場合を想定する。この場合、統合部１２０は、生成する統合センサ情報ＵＩにおける部分センサ情報ＰＩ１と部分センサ情報Ｐ２との比率がα：βとなるように、部分センサ情報ＰＩ１と部分センサ情報Ｐ２をクロップし合成してもよい。
　一方、統合部１２０は、算出した確信度を部分センサ情報ＰＩをクロップする際の位置決定にのみ用い、同面積の固定比率（１：１）で部分センサ情報をしてもよい。
　また、統合部は、部分センサ情報ＰＩの比率がα：βとなるように、ある確率分布（例えば、ベータ分布Ｂｅｔａ（α，β））に従い（あるいは、１：１の同比率で）、複数の画像を分布の出力を重みとするベクトル和として重ね合わせてもよい。
　次に、本実施形態に係る統合センサ情報ＵＩからの特徴量の抽出について述べる。認証フェーズに先立ち、統合センサ情報ＵＩから抽出された特徴量は、認証フェーズにおいてユーザ本の基準情報として用いるために記憶部１４０に保存される。本開示においては、上記特徴量を登録済特徴量と称する。
　また、認証フェーズにおいては、リアルタイムに取得されたセンサ情報に基づいて生成された統合センサ情報ＵＩから単一の特徴量が抽出され、登録済特徴量との比較に用いられる。
　本実施形態に係る統合センサ情報ＵＩからの特徴量抽出には、機械学習をベースとした手法が用いられてもよい。
　本実施形態に係る認証部１３０は、例えば、統合センサ情報ＵＩの全体を単一の特徴量（特徴ベクトル）として変換する抽出器を用いて特徴量抽出を行ってもよい。
　一例として、上記の抽出器は、同一のユーザに由来する統合センサ情報ＵＩから抽出される特徴量同士の類似度が高く、異なるユーザに由来する統合センサ情報ＵＩから抽出される特徴量同士の類似度が低くなる損失基準に基づく学習により生成されてもよい。
　また、上記抽出器は、認証部１３０による特徴量間の類似度を算出する識別器と共用されてもよい。
　続いて、本実施形態に係る認証部１３０による認証処理について詳細に説明する。図５は、本実施形態に係る認証部１３０による認証処理について説明するための図である。
　本実施形態に係る認証部１３０は、リアルタイムに取得されたセンサ情報に基づいて統合部１２０が生成した統合センサ情報ＵＩ１から抽出した単一の特徴量Ｖ１と、記憶部１４０に記憶される登録済特徴量Ｖ２との類似度が閾値を超える場合に、ユーザの真正性を認めてもよい。
　この際、本実施形態に係る認証部１３０は、入力された統合センサ情報ＵＩ１から抽出される単一の特徴量と登録済特徴量ＵＩ２とに基づいて上記類似度を算出する識別器１３５を用いてユーザの認証を行ってもよい。
　本実施形態のように、入力に複数の情報が混在する場合、一般的な生体情報の特徴点（例えば、指紋におけるマニューシャ等）の粒度でルールベースで対応するのみでは、本人を識別する指標として扱い難い。
　このため、統合された画像全体の特徴と超局所的な特徴量とを扱えるよう、ニューラルネットワークで画像を特徴ベクトル化して捉える手段が有効である。
　一例として、本実施形態に係る識別器１３５は、本人に由来する入力群と他人(本人以外)に由来する入力群とを特徴量(特徴ベクトル)のレイヤーで類似度が十分低くなるよう分離でき、かつ本人に由来する入力群の特徴量同士の類似度が十分に高くなるような特徴抽出機構の学習をニューラルネットワークベースで実現可能とする深層距離学習のアプローチに基づいて生成される。
　上記は、画像の畳み込みによるフィルタ表現や、Poolingを高層に組み合わせて画像の複雑な特徴を抽出可能とした特徴抽出ネットワークを距離学習用の損失関数を最適化するなどして実現することができる。
　また、上記学習においては、統合センサ情報ＵＩと同一仕様の入力、あるいは統合されていない画像セットから学習における入力作成時にdata augmentationの要領で拡張処理した入力が用いられてよい。
　また、本実施形態に係る統合センサ情報ＵＩは、部分センサ情報ＰＩの比率が試行ごとに変化することが予想されることから、識別器１３５を生成するための学習では、上記比率のバリエーションが多様になるよう入力が用意されてよい。
　上記のような入力を用いた学習により生成された識別器１３５によれば、統合センサ情報ＵＩに十分な特徴情報が含まれている場合、上記比率にはほぼ左右されずに精度高くユーザの識別を行えることが規定される。
　また、本実施形態のように複数のセンサ情報を統合した統合センサ情報ＵＩを用いることにより、単一の特徴点（例えば、指紋におけるマニューシャ等）に関してかなり近しい特徴量を有する他人の入力に対しても、より頑健さを持つ認証を実現する効果が期待される。
　＜＜１．４．処理の流れ＞＞
　次に、本実施形態に情報処理装置１０による処理の流れについて詳細に説明する。本実施形態に係る情報処理装置１０による処理は、主に、登録済特徴量の保存を行う登録フェーズと、認証部１３０による認証が実施される認証フェーズに大別される。
　まず、本実施形態に係る登録フェーズにおける処理の流れについて述べる。図６は、本実施形態に係る登録フェーズにおける情報処理装置１０の処理の流れの一例を示すフローチャートである。
　まず、少なくとも２つのセンサ１１０がセンサ情報を取得する（Ｓ１０２）。上述したように、上記センサ情報には、ユーザの生体情報が含まれる。
　次に、統合部１２０が、ステップＳ１０２において取得されたセンサ情報の各々において高確信度領域を特定する（Ｓ１０４）。
　次に、統合部１２０は、ステップＳ１０４において特定した高確信度領域から部分センサ情報を抽出する（Ｓ１０６）。
　なお、ステップＳ１０４における高確信度領域の特定と、ステップＳ１０６における部分センサ情報の抽出は、処理として明確に分離せずともよい。例えば、ステップＳ１０４における高確信度領域の特定と、ステップＳ１０６における部分センサ情報の抽出とは、学習済みのニューラルネットワークによる一連の処理として実現されてもよい。
　次に、統合部１２０は、ステップＳ１０６において抽出した部分センサ情報を統合し、統合センサ情報を生成する（Ｓ１０８）。
　次に、認証部１３０が、ステップＳ１０８において生成された統合センサ情報から抽出した特徴量が登録基準を満たすか否かを判定する（Ｓ１１０）。
　ここで、上記特徴量が登録基準を満たす場合（Ｓ１１０：Ｙｅｓ）、当該特徴量が登録済特徴量として記憶部１４０にされる（Ｓ１１２）。
　また、通知部１５０が、登録が完了した旨を示すフィードバックをユーザに対し提示する（Ｓ１１４）。
　一方、抽出した特徴量が登録基準を満たさない場合（Ｓ１１０：Ｎｏ）、通知部１５０が、再入力を促すフィードバックをユーザに対し提示し（Ｓ１１６）、情報処理装置１０がステップＳ１０２に復帰する。
　続いて、本実施形態に係る認証フェーズにおける情報処理装置１０による処理の流れについて述べる。図７は、本実施形態に係る認証フェーズにおける情報処理装置１０の処理の流れの一例を示すフローチャートである。
　なお、図７に示すステップＳ２０２～Ｓ２０８における処理は、図６に示すステップＳ１０２～Ｓ１０８における処理と実質的に同一であってよいため、詳細な説明を省略する。
　ステップＳ２０８において統合センサ情報が生成されると、認証部１３０は、当該統合センサ情報の特徴量と、記憶部１４０に保存される登録済特徴量との類似度を算出する（Ｓ２１０）。
　認証部１３０は、上述した識別器１３５を用いて上記の類似度算出を行ってもよい。
　次に、認証部１３０は、ステップＳ２１０において算出した類似度が閾値を超えるか否かを判定する（Ｓ２１２）。
　ここで、上記類似度が閾値を超える場合（Ｓ２１２：Ｙｅｓ）、認証部１３０がユーザの真正性を認め、通知部１５０により認証成立を示すフィードバックがユーザに提示される（Ｓ２１４）。
　一方、類似度が閾値を超えない場合（Ｓ２１２：Ｎｏ）、認証部１３０がユーザの真正性を認めず、通知部１５０により再入力を促すフィードバックがユーザに提示される（Ｓ２１６）。
　または、類似度が閾値を超えない場合（Ｓ２１２：Ｎｏ）には、ステップＳ２０２において取得されたセンサ情報の各々をそれぞれ照合する従前の方式による認証が行われてもよい。
　＜＜１．５．変形例＞＞
　以上説明したように、本実施形態に係る情報処理装置１０によれば、複数のセンサ情報に基づく認証処理を単純化することができ、処理負担の抑制とセキュリティ性の担保とを両立することが可能となる。
　なお、上記で説明した情報処理装置１０の処理や特徴は、あくまで一例であり、本実施形態に係る情報処理装置１０は、仕様や運用に応じて柔軟に変形可能である。
　例えば、上記では、本実施形態に係る情報処理装置１０がイヤラブルデバイスである場合を主な例として述べたが、本実施形態に係る情報処理装置１０は、スマートフォン等の別種のデバイスであってもよい。
　図８は、本実施形態に係る情報処理装置１０がスマートフォンとして実現される場合におけるセンサ１１０の配置例を示す図である。
　本実施形態に係る情報処理装置１０がスマートフォンとして実現される場合、少なくとも２つのセンサ１１０は、図中のセンサ１１０ａおよび１１０ｂのように、タッチパネルの背面に配置され、当該タッチパネルに接触するユーザの指Ｆ１およびＦ２の指紋をそれぞれ撮影してもよい。
　また、少なくとも２つのセンサ１１０は、図中のセンサ１１０ｃおよび１１０ｄのように、スマートフォンである情報処理装置１０の側方に配置されてもよい。この場合、片手で情報処理装置１０を把持するユーザの指の指紋を、ユーザに意識させることなく、効率的に撮影することが可能である。
　また、本実施形態に係る情報処理装置１０は、例えば、ベッドマウントディスプレイ等のウェアラブルデバイスであってもよい。
　図９は、本実施形態に係る情報処理装置１０がヘッドマウントディスプレイとして実現される場合におけるセンサ１１０の配置例を示す図である。
　図９に示す一例の場合、センサ１１０ａは、ユーザの虹彩を撮影する撮像センサであってもよい。
　また、センサ１１０ｂは、接触するユーザの指紋を撮影する撮像センサや、ユーザの音声を集音するマイクロフォンであってもよい。
　このように、本実施形態に係る少なくとも２つのセンサ１１０は、それぞれ別種の生体情報を取得してもよい。
　なお、センサ１１０ｂがユーザの音声を集音するマイクロフォンである場合、統合部１２０は、集音された音声を短時間フーリエ変換等を用いてスペクトル画像化し、当該スペクトル画像から部分センサ情報の抽出を行ってもよい。
　また、別種の生体情報を統合する際、確信度の算出が困難な場合には、統合部１２０は、画像のレイヤーで統合した情報を生成するのではなく、複数画像をニューラルネットワークによって特徴ベクトル化し、ベクトル化されたレイヤー（一般に、学習における損失関数への代入が行われる前段のレイヤー）において各ベクトルの重みづけ和として統合を行ってもよい。
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１０は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　図１０に示すように、情報処理装置１０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記憶媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体９０１に記録された情報を読み出し、又はリムーバブル記憶媒体９０１に情報を書き込む装置である。
　（リムーバブル記憶媒体９０１）
リムーバブル記憶媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示の一実施形態に係る情報処理装置１０は、収集されたセンサ情報に基づく認証を行う認証部１３０を備える。また、本開示の一実施形態に係る認証部１３０は、少なくとも２つのセンサ１１０により収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め少なくとも２つのセンサ１１０により収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、ことを特徴の一つする。
　上記の構成によれば、センサ情報を用いた認証において、処理負担の抑制とセキュリティ性の担保とを両立することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書において説明した処理に係る各ステップは、必ずしもフローチャートやシーケンス図に記載された順序に沿って時系列に処理される必要はない。例えば、各装置の処理に係る各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、各種のプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　収集されたセンサ情報に基づいてユーザの認証を行う認証部、
　を備え、
　前記認証部は、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、
情報処理装置。
（２）
　前記認証部は、前記少なくとも２つのセンサより取得された各々のセンサ情報を統合した統合センサ情報から抽出された単一の特徴量と、前記登録済特徴量とに基づいてユーザの認証を行う、
前記（１）に記載の情報処理装置。
（３）
　前記認証部は、前記統合センサ情報から抽出された単一の特徴量と前記登録済特徴量との類似度が閾値を超える場合に、ユーザの真正性を認める、
前記（２）に記載の情報処理装置。
（４）
　前記認証部は、入力された前記統合センサ情報から抽出される単一の特徴量と前記登録済特徴量とに基づいて前記類似度を出力する識別器を用いてユーザの認証を行う、
前記（３）に記載の情報処理装置。
（５）
　前記認証部は、同一のユーザに由来する前記統合センサ情報から抽出される特徴量同士の類似度が高くなる損失基準に基づく学習により生成された抽出器を用いて、前記統合センサ情報から単一の特徴量を抽出する、
前記（２）～（４）のいずれかに記載の情報処理装置。
（６）
　前記統合センサ情報を生成する統合部、
　をさらに備える、
前記（２）～（５）のいずれかに記載の情報処理装置。
（７）
　前記統合部は、前記少なくとも２つのセンサにより取得されたセンサ情報の各々から抽出した部分センサ情報を統合し、前記統合センサ情報を生成する、
前記（６）に記載の情報処理装置。
（８）
　前記統合部は、前記少なくとも２つのセンサにより取得されたセンサ情報の各々において、ユーザの生体情報である確信度が高い高確信度領域を特定し、前記高確信度領域の各々から前記部分センサ情報を抽出する、
前記（７）に記載の情報処理装置。
（９）
　前記少なくとも２つのセンサ、
　をさらに備える、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記少なくとも２つのセンサの各々は、同一種の生体情報を取得する、
前記（９）に記載の情報処理装置。
（１１）
　前記少なくとも２つのセンサは、それぞれ別種の生体情報を取得する、
前記（９）に記載の情報処理装置。
（１２）
　前記少なくとも２つのセンサは、撮像センサを含む、
前記（９）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記少なくとも２つのセンサは、ユーザの指紋を撮影する、
前記（１２）に記載の情報処理装置。
（１４）
　前記少なくとも２つのセンサの各々は、ユーザが前記情報処理装置の装着または使用を行う際に、当該ユーザの生体情報を取得できる可能性が高い位置に配置される、
前記（９）～（１３）のいずれかに記載の情報処理装置。
（１５）
　ウェアラブルデバイスである、
前記（１）～（１４）のいずれかに記載の情報処理装置。
（１６）
　ユーザの耳に装着されるイヤラブルデバイスである、
前記（１５）に記載の情報処理装置。
（１７）
　プロセッサが、収集されたセンサ情報に基づいてユーザの認証を行うこと、
　を含み、
　前記認証を行うことは、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行うこと、
　をさらに含む、
情報処理方法。
（１８）
　コンピュータを、
　収集されたセンサ情報に基づいてユーザの認証を行う認証部、
　を備え、
　前記認証部は、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、
　情報処理装置、
として機能させるためのプログラム。
　１０　　　情報処理装置
　１１０　　センサ
　１２０　　統合部
　１３０　　認証部
　１４０　　記憶部
　１５０　　通知部
 

Claims (18)

  1. 　収集されたセンサ情報に基づいてユーザの認証を行う認証部、
    　を備え、
    　前記認証部は、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、
    情報処理装置。
  2. 　前記認証部は、前記少なくとも２つのセンサより取得された各々のセンサ情報を統合した統合センサ情報から抽出された単一の特徴量と、前記登録済特徴量とに基づいてユーザの認証を行う、
    請求項１に記載の情報処理装置。
  3. 　前記認証部は、前記統合センサ情報から抽出された単一の特徴量と前記登録済特徴量との類似度が閾値を超える場合に、ユーザの真正性を認める、
    請求項２に記載の情報処理装置。
  4. 　前記認証部は、入力された前記統合センサ情報から抽出される単一の特徴量と前記登録済特徴量とに基づいて前記類似度を出力する識別器を用いてユーザの認証を行う、
    請求項３に記載の情報処理装置。
  5. 　前記認証部は、同一のユーザに由来する前記統合センサ情報から抽出される特徴量同士の類似度が高くなる損失基準に基づく学習により生成された抽出器を用いて、前記統合センサ情報から単一の特徴量を抽出する、
    請求項２に記載の情報処理装置。
  6. 　前記統合センサ情報を生成する統合部、
    　をさらに備える、
    請求項２に記載の情報処理装置。
  7. 　前記統合部は、前記少なくとも２つのセンサにより取得されたセンサ情報の各々から抽出した部分センサ情報を統合し、前記統合センサ情報を生成する、
    請求項６に記載の情報処理装置。
  8. 　前記統合部は、前記少なくとも２つのセンサにより取得されたセンサ情報の各々において、ユーザの生体情報である確信度が高い高確信度領域を特定し、前記高確信度領域の各々から前記部分センサ情報を抽出する、
    請求項７に記載の情報処理装置。
  9. 　前記少なくとも２つのセンサ、
    　をさらに備える、
    請求項１に記載の情報処理装置。
  10. 　前記少なくとも２つのセンサの各々は、同一種の生体情報を取得する、
    請求項９に記載の情報処理装置。
  11. 　前記少なくとも２つのセンサは、それぞれ別種の生体情報を取得する、
    請求項９に記載の情報処理装置。
  12. 　前記少なくとも２つのセンサは、撮像センサを含む、
    請求項９に記載の情報処理装置。
  13. 　前記少なくとも２つのセンサは、ユーザの指紋を撮影する、
    請求項１２に記載の情報処理装置。
  14. 　前記少なくとも２つのセンサの各々は、ユーザが前記情報処理装置の装着または使用を行う際に、当該ユーザの生体情報を取得できる可能性が高い位置に配置される、
    請求項９に記載の情報処理装置。
  15. 　ウェアラブルデバイスである、
    請求項１に記載の情報処理装置。
  16. 　ユーザの耳に装着されるイヤラブルデバイスである、
    請求項１５に記載の情報処理装置。
  17. 　プロセッサが、収集されたセンサ情報に基づいてユーザの認証を行うこと、
    　を含み、
    　前記認証を行うことは、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行うこと、
    　をさらに含む、
    情報処理方法。
  18. 　コンピュータを、
    　収集されたセンサ情報に基づいてユーザの認証を行う認証部、
    　を備え、
    　前記認証部は、少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の特徴量と、予め前記少なくとも２つのセンサにより収集されたセンサ情報に基づいて抽出された単一の登録済特徴量と、に基づいてユーザの認証を行う、
    　情報処理装置、
    として機能させるためのプログラム。
     
PCT/JP2021/016643 2020-06-15 2021-04-26 情報処理装置、情報処理方法、およびプログラム WO2021256091A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/000,739 US20230237131A1 (en) 2020-06-15 2021-04-26 Information processing device, information processing method, and program
JP2022532353A JPWO2021256091A1 (ja) 2020-06-15 2021-04-26
EP21825579.2A EP4167183A4 (en) 2020-06-15 2021-04-26 INFORMATION PROCESSING DEVICE AND METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020102773 2020-06-15
JP2020-102773 2020-06-15

Publications (1)

Publication Number Publication Date
WO2021256091A1 true WO2021256091A1 (ja) 2021-12-23

Family

ID=79267845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016643 WO2021256091A1 (ja) 2020-06-15 2021-04-26 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20230237131A1 (ja)
EP (1) EP4167183A4 (ja)
JP (1) JPWO2021256091A1 (ja)
WO (1) WO2021256091A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003745A (ja) * 2005-06-23 2007-01-11 Aruze Corp 画像表示装置及び画像表示システム
JP2010086546A (ja) * 2000-03-31 2010-04-15 Fujitsu Ltd 指紋データ合成装置
JP2015197708A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
JP2017527045A (ja) * 2014-06-20 2017-09-14 深▲ちぇん▼印象認知技術有限公司 画像取得装置、端末装置、及び画像取得方法
CN110162953A (zh) * 2019-05-31 2019-08-23 Oppo（重庆）智能科技有限公司 生物识别方法及相关产品

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160191511A1 (en) * 2014-12-24 2016-06-30 Paypal Inc. Wearable device authentication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086546A (ja) * 2000-03-31 2010-04-15 Fujitsu Ltd 指紋データ合成装置
JP2007003745A (ja) * 2005-06-23 2007-01-11 Aruze Corp 画像表示装置及び画像表示システム
JP2015197708A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
JP2017527045A (ja) * 2014-06-20 2017-09-14 深▲ちぇん▼印象認知技術有限公司 画像取得装置、端末装置、及び画像取得方法
CN110162953A (zh) * 2019-05-31 2019-08-23 Oppo（重庆）智能科技有限公司 生物识别方法及相关产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4167183A4 *

Also Published As

Publication number Publication date
EP4167183A4 (en) 2023-08-02
EP4167183A1 (en) 2023-04-19
JPWO2021256091A1 (ja) 2021-12-23
US20230237131A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
JP7365445B2 (ja) コンピューティング装置及び方法
US20210350346A1 (en) System and method for using passive multifactor authentication to provide access to secure services
US11316699B2 (en) Method for authenticating user contactlessly based on decentralized identifier using verifiable credential and authentication supporting server using the same
US20120110341A1 (en) Mobile Device Transaction Using Multi-Factor Authentication
KR20190053602A (ko) 얼굴 인증 방법 및 장치
US11711215B2 (en) Methods, systems, and media for secure authentication of users based on a biometric identifier and knowledge-based secondary information
KR102514036B1 (ko) 전자 장치 및 그 제어 방법
Deb et al. Matching fingerphotos to slap fingerprint images
CN114127801A (zh) 跨设备网络使用人物可识别性的***和方法
JP7428242B2 (ja) 認証装置、認証システム、認証方法および認証プログラム
Ramachandra et al. Smartphone multi-modal biometric authentication: Database and evaluation
WO2022268183A1 (zh) 一种基于视频的随机手势认证方法及***
Debnath et al. Multimodal authentication system based on audio-visual data: a review
Li et al. Adaptive deep feature fusion for continuous authentication with data augmentation
Silasai et al. The study on using biometric authentication on mobile device
US20200204365A1 (en) Apparatus, system and method for application-specific biometric processing in a computer system
WO2021256091A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Pakulova et al. Multi-path multimodal authentication system for remote information system
Alharbi et al. Face-voice based multimodal biometric authentication system via FaceNet and GMM
Gofman et al. Hidden markov models for feature-level fusion of biometrics on mobile devices
Vasavi et al. RSA Cryptography based Multi-Modal Biometric Identification System for High-Security Application.
KR101689258B1 (ko) 동작 기반 개인 식별 시스템 및 방법
Dliwati et al. Face Recognition in the Context of Website Authentication
Singla et al. Performance Analysis of Authentication system: A Systematic Literature Review
JP2010044588A (ja) 認証装置、認証システム、認証方法、そのプログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825579

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532353

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021825579

Country of ref document: EP

Effective date: 20230116