WO2021019807A1 - 端末装置、情報処理方法、及びプログラム - Google Patents

端末装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021019807A1
WO2021019807A1 PCT/JP2020/004582 JP2020004582W WO2021019807A1 WO 2021019807 A1 WO2021019807 A1 WO 2021019807A1 JP 2020004582 W JP2020004582 W JP 2020004582W WO 2021019807 A1 WO2021019807 A1 WO 2021019807A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
authentication information
information
unit
terminal device
Prior art date
Application number
PCT/JP2020/004582
Other languages
English (en)
French (fr)
Inventor
真旭 徳山
Original Assignee
真旭 徳山
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 真旭 徳山 filed Critical 真旭 徳山
Priority to JP2020547230A priority Critical patent/JP6979135B2/ja
Priority to US17/631,294 priority patent/US11615171B2/en
Priority to CN202080055264.0A priority patent/CN114207610B/zh
Publication of WO2021019807A1 publication Critical patent/WO2021019807A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/86—Secure or tamper-resistant housings

Definitions

  • the present invention relates to a terminal device, an information processing method, and a program.
  • the terminal device is equipped with an authentication function to prevent unauthorized use, and each function can be used when the authentication is successful.
  • various biometric information and the like are also used in the authentication process.
  • biometric information is often misrecognized, and there are cases where a legitimate user cannot be authenticated. Therefore, for example, in Patent Document 1, when authentication by one biometric information cannot be performed, a plurality of biometric information can be combined and authenticated, or biometric information and non-biological information such as a login-only IC card and a personal identification number can be used.
  • the technology for certifying by combining the above is disclosed.
  • Patent Document 1 when authentication cannot be performed, the user inputs a plurality of biometric information and a plurality of non-biological information used for the authentication process in order. For example, if fingerprint authentication cannot be performed, vein authentication, login with a login-only IC card, input of a personal identification number, and the like are input in order. Therefore, there is a problem that the operation burden on the user in authentication is heavy.
  • the present invention solves the above-mentioned problems, and an object of the present invention is to provide a terminal device, an information processing method, and a program that can reduce the operational burden on the user in authentication.
  • the terminal device includes an authentication information acquisition unit that acquires a plurality of authentication information, and at least one authentication information or a plurality of the authentication information acquired by the authentication information acquisition unit. Based on the authentication information of, the authentication judgment unit that determines whether or not the authentication was successful, and when the authentication judgment unit determines that the authentication was successful, the plurality of authentication information acquired by the authentication information acquisition unit is used. It is provided with an authentication information update unit that updates a plurality of stored authentication information. In the background, the authentication judgment unit determines that the authentication is successful when the one authentication information acquired by the authentication information acquisition unit is below the predetermined authentication threshold, and the one authentication information is equal to or more than the authentication threshold. , If it is equal to or less than the predetermined authentication allowable value, it is determined whether or not the authentication is successful based on the second authentication information acquired by the authentication information acquisition unit.
  • the terminal device it is possible to determine in the background whether or not the authentication is successful based on at least one authentication information or a plurality of authentication information among the acquired plurality of authentication information. , It is possible to reduce the operational burden on the user in authentication.
  • FIG. 6A Block diagram of the terminal device shown in FIG.
  • the figure of the information processing block of the terminal apparatus shown in FIG. The figure which shows the table of the biometric information database for authentication acquired from the terminal apparatus shown in FIG.
  • the figure which shows the table of the behavior information database for authentication acquired from the terminal device shown in FIG. The figure which shows the inclination information table of the terminal apparatus shown in FIG.
  • Flowchart of authentication process according to the embodiment A flowchart following the flowchart of the authentication process shown in FIG. 6A.
  • the terminal device 1 is based on biological information such as a face image, fingerprint, and voiceprint of the user himself / herself, and behavior information based on a peculiar behavior when the user operates the terminal device 1, an operation state, and the like.
  • biological information such as a face image, fingerprint, and voiceprint of the user himself / herself
  • behavior information based on a peculiar behavior when the user operates the terminal device 1, an operation state, and the like.
  • This is a device that can authenticate the user himself / herself and execute various functions in the terminal device 1.
  • the user authentication process performed in the terminal device 1 is executed in the background while the terminal device 1 is in operation, and the authentication system is improved by updating the user's biometric information and behavior information. It is a process that can be done.
  • the terminal device 1 is a so-called smartphone, and the terminal device 1 has an in-camera 11A for photographing the user's face in front, a speaker 12A, a microphone 12B which is a microphone for calling, and a tilt for detecting the tilt of the terminal device 1.
  • a touch panel that also serves as a detection unit 13, an operation input unit 14 and a display unit 19, a left fingerprint sensor 15A and a right fingerprint sensor 15B that detect a user's fingerprint, and a position detection unit 16 that detects the current position of the terminal device 1. Be prepared.
  • the terminal device 1 is provided with a main camera 11B on the back surface capable of photographing a person, a landscape, an object, etc. as seen by the user.
  • the in-camera 11A and the main camera 11B are collectively referred to as a shooting unit 11.
  • the speaker 12A and the microphone 12B which is a microphone for telephone calls, are collectively referred to as a voice input / output unit 12.
  • the left fingerprint sensor 15A and the right fingerprint sensor 15B are collectively referred to as a fingerprint detection unit 15.
  • FIG. 2 is a block diagram showing the configuration of the terminal device 1.
  • the terminal device 1 includes a communication unit 10, a photographing unit 11, a voice input / output unit 12, a tilt detection unit 13, an operation input unit 14, a fingerprint detection unit 15, a position detection unit 16, and a terminal storage unit 17.
  • a terminal control unit 18 and a display unit 19 are provided.
  • the communication unit 10 communicates with an external server, cloud, etc. via a communication network (not shown) to transmit / receive various data, and a wireless signal for telephone communication between a data communication unit (not shown) and a base station (not shown).
  • a communication network not shown
  • a wireless signal for telephone communication between a data communication unit (not shown) and a base station not shown.
  • the data communication unit can be configured by using a wireless LAN (Local Area Network), Wi-fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the voice communication unit can be configured by using a communication device that transmits / receives a wireless signal for telephone communication with the base station.
  • the photographing unit 11 includes the in-camera 11A and the main camera 11B shown in FIG.
  • the photographing unit 11 captures a still image or a moving image such as a camera using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a video camera, or the like, and captures the still image or the moving image.
  • an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a video camera, or the like.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the audio input / output unit 12 includes the speaker 12A shown in FIG. 1 and the microphone 12B.
  • the speaker 12A outputs voice received in a voice call, music data acquired from the outside via a communication network, and the like.
  • the microphone 12B is a device that picks up the voice of the user.
  • the tilt detection unit 13 is a device capable of detecting the tilt, shaking, etc. of the terminal device 1.
  • the tilt detection unit 13 can be configured by using various sensors that can detect the tilt of the terminal device 1, such as an acceleration sensor, an angle sensor, and a magnetic sensor that detects the geomagnetism.
  • the number and types of sensors constituting the tilt detection unit 13 may be either a single number or a plurality of sensors.
  • the operation input unit 14 is a device capable of inputting an operation from the user shown in FIG.
  • the fingerprint detection unit 15 is a sensor that detects the user's fingerprint.
  • the fingerprint detection unit 15 includes the left fingerprint sensor 15A and the right fingerprint sensor 15B shown in FIG.
  • the fingerprint detection unit 15 is not limited to the fingerprint sensor, and any sensor, device, or the like capable of detecting the user's fingerprint may be used.
  • the position detection unit 16 is a device capable of detecting the current position of the terminal device 1.
  • the position detection unit 16 can be configured by using a device such as GPS (Global Positioning System) that can detect the current position of the terminal device 1.
  • GPS Global Positioning System
  • the terminal storage unit 17 includes an authentication processing program 170 for performing user authentication processing, an authentication biometric information database 171 that summarizes user biometric information acquired by the terminal device 1, and user behavior acquired by the terminal device 1. It includes an authentication behavior information database 172 that summarizes information, and a tilt information table 173 for storing the tilt state of the terminal device 1. Further, the terminal storage unit 17 stores programs of various applications executed by the terminal device 1.
  • the authentication processing program 170 is a program that authenticates a user based on the biometric information and behavior information of the user acquired by the terminal device 1.
  • the authentication biometric information database 171 is a database for storing information on the biometric information of the user and the authentication value used for authentication.
  • the authentication behavior information database 172 is a database for storing information on user-specific behavior when operating the terminal device 1, authentication pass conditions, and the like.
  • the behavior peculiar to the user is the behavior when the user operates the terminal device 1, the distance between the screen of the display unit 19 and the user's face, the keystroke, the way of holding, the position where the terminal device 1 is used, and the specification. Refers to user-specific things such as the number of connections to the communication network, launching of a specific application, and operation.
  • the tilt information table 173 is a table for storing the tilt angle of the terminal device 1 detected by the tilt detection unit 13, the acquisition date and time, and the waiting time for acquisition.
  • the details of the authentication processing program 170, the authentication biometric information database 171, the authentication behavior information database 172, and the inclination information table 173 will be described later.
  • the terminal control unit 18 executes various programs stored in the terminal storage unit 17. Further, the terminal control unit 18 includes a communication unit 10, a photographing unit 11, an audio input / output unit 12, a tilt detection unit 13, an operation input unit 14, a fingerprint detection unit 15, and a position detection unit 16. Data is acquired, processed, and stored in various databases and tables of the terminal storage unit 17. Further, the terminal control unit 18 can cause the photographing unit 11 to take a picture at an arbitrary timing by transmitting an instruction to take a picture to the taking picture unit 11.
  • the display unit 19 displays the processing contents of various programs executed by the terminal control unit 18. Further, the display unit 19 can also display images such as still images and moving images shot by the shooting unit 11, data input from the operation input unit 14, and the like.
  • the display unit 19 is laminated on the operation input unit 14 and constitutes the touch panel shown in FIG.
  • the terminal device 1 includes a processor 21 for executing various programs, a memory 22 for deploying various programs, a display controller 23 for outputting various display data, a display device 24 for displaying various display data, and photographing. It includes an I / O port 25 for connecting a unit 11, an audio input / output unit 12, and a storage device 26 for storing various programs and various data, and a communication device 27 for communicating with the outside and transmitting and receiving various data.
  • the processor 21, the memory 22, the display controller 23, the display device 24, the I / O port 25, the storage device 26, and the communication device 27 are connected to each other via the data bus 28.
  • the processor 21 reads various programs stored in the storage device 26, expands them in the memory 22, and executes them.
  • the processor 21 can be configured by using a processing device such as a CPU (Central Processing Unit) and an MPU (Micro-processing Unit).
  • the memory 22 can be configured by using a storage element and a storage medium such as a volatile or non-volatile semiconductor memory such as a RAM (Random Access Memory) and a flash memory.
  • the display controller 23 is a controller that outputs various display data to the display device 24.
  • the display controller 23 can be configured by using a video signal output device such as a video card, a GPU (Graphics Processing Unit), or a graphic board.
  • the display device 24 can be configured by using a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) monitor.
  • the I / O port 25 is for connection that can connect the photographing unit 11, the audio input / output unit 12, the tilt detection unit 13, the operation input unit 14, the fingerprint detection unit 15, and the position detection unit 16. It is a port.
  • the I / O port 25 can be configured by using various ports to which devices can be connected, such as a USB (Universal Serial Bus) port and an IEEE1394 port.
  • USB Universal Serial Bus
  • the storage device 26 is a device that stores various programs executed by the processor 21 and various data for use in the various programs.
  • the storage device 26 can be configured by using a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the communication device 27 communicates with an external server, cloud, etc. via a communication network (not shown), and transmits / receives various data between a data communication unit and a base station (not shown), which is a wireless signal for telephone communication.
  • a voice communication unit that transmits and receives data.
  • the data communication unit can be configured by using a wireless LAN, Wi-fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the voice communication unit can be configured by using a communication device that transmits / receives a wireless signal for telephone communication with the base station.
  • the information processing block shown in FIG. 4 is realized in the terminal control unit 18 by executing the authentication processing program 170 stored in the terminal storage unit 17 of the terminal device 1 shown in FIG. 2 by the processor 21 described above.
  • the terminal device 1 is based on biological information such as an image, fingerprint, and voiceprint of the user's face, and behavior information based on the user's unique behavior when operating the terminal device 1, the operation state, and the like.
  • the person can be authenticated and various functions in the terminal device 1 can be executed.
  • the information processing block includes an authentication information acquisition unit 181 that acquires biometric information and behavior information for authentication from the communication unit 10, the photographing unit 11, and the like, an authentication determination unit 182 that authenticates whether or not the user is the person, and a display unit 19.
  • the authentication result display unit 183 that displays the authentication result
  • the authentication information update unit 184 that is stored in the terminal storage unit 17 and updates the information of various databases and tables according to the instruction from the authentication determination unit 182.
  • the authentication information acquisition unit 181 acquires biometric information and behavior information for authentication from the communication unit 10, the photographing unit 11, and the like.
  • the authentication determination unit 182 authenticates the user based on the biometric information and behavior information for authentication acquired from the authentication information acquisition unit 181 and the authentication values, pass conditions, etc. stored in various databases of the terminal storage unit 17. Do.
  • the authentication result display unit 183 receives the user's authentication result from the authentication determination unit 182, and causes the display unit 19 to display a message, an image, or the like according to the authentication result.
  • the authentication information update unit 184 updates the data stored in various databases and tables stored in the terminal storage unit 17 based on the instruction from the authentication determination unit 182.
  • the biological information and behavior information acquired by the authentication information acquisition unit 181 are examples of authentication information in the claims. Further, each biometric information acquired by the authentication information acquisition unit 181 is an example of one information and three information in the claims. Each behavior information acquired by the authentication information acquisition unit 181 is an example of the second information in the claims.
  • the configurations of the authentication biometric information database 171, the authentication behavior information database 172, and the tilt information table 173 stored in the terminal storage unit 17 are described below with reference to FIGS. 5A to 5C. explain.
  • the types of biometric information such as face and voice, the registration information which is the biometric information of the user himself, the registration information, and the registration information are shown in FIG.
  • the authentication value obtained by comparing with the biological information acquired by the authentication information acquisition unit 181 is stored.
  • the registered information stored in the table of the authentication biometric information database 171 is the biometric information of the user himself / herself.
  • the registration information is information registered in advance before the authentication process is performed on the terminal device 1, and is updated when the user himself / herself can be authenticated.
  • the registered information includes, for example, a feature amount obtained from a face image if the type of biometric information is a face, and a feature amount or voice data obtained from voice data or voice data if the type of biometric information is voice and its features. If the type of biometric information is iris, the iris data is stored, and if the type of biometric information is fingerprint, the feature amount obtained from the fingerprint image is stored.
  • the determination of similarity of biometric information is performed based on the authentication value.
  • the authentication value is a value obtained based on the result of comparing the registered information with the biological information acquired by the authentication information acquisition unit 181 shown in FIG.
  • the authentication value approaches 0 when the registered information and the biometric information acquired by the authentication information acquisition unit 181 are similar, and approaches 1 when they are not similar.
  • the biometric information database 171 for authentication includes an average value of authentication values, an authentication threshold that is a threshold for determining the authentication value, and an authentication permissible value that indicates that the user is gray in the authentication threshold. And are included.
  • the average value of the authentication value is the average value of the authentication value obtained by comparing the registered information with the biometric information acquired by the authentication information acquisition unit 181.
  • the authentication threshold is determined by comparing the registered information with the biometric information acquired by the authentication information acquisition unit 181 and determining that the user is the user if the authentication value obtained based on the comparison result is less than or equal to this value. It is a standard value for.
  • the authentication threshold is a value that fluctuates according to the authentication status of the user, and an upper limit value is set in advance.
  • the upper limit value is a value at which the user should not be authenticated only with the user himself / herself and biometric information when the value exceeds the value.
  • the default value of the authentication threshold value is 0.4 between the authentication value 0 that approaches the case where the registration information and the biometric information acquired by the authentication information acquisition unit 181 are similar and the authentication value 1 that approaches the case where the registration information is not similar.
  • the upper limit of the authentication threshold is the default value of the authentication threshold plus 0.5, which is half of the authentication value 0 that approaches the similar case and the authentication value 1 that approaches the dissimilar case. That is, it is set to 0.45.
  • the authentication allowable value is obtained by comparing the registered information with the biometric information acquired by the authentication information acquisition unit 181 and when the authentication value obtained based on the comparison result is equal to or more than this value, the user is the user himself / herself. It is a reference value for determining that there is no such thing.
  • the authentication tolerance value is a value including the authentication tolerance range value indicating the case where the user is gray in the authentication threshold value as described above. Therefore, the authentication tolerance value is a value that fluctuates according to the fluctuation between the authentication threshold value and the authentication tolerance range value. An upper limit is set in advance for the authentication tolerance, and this is called the maximum authentication tolerance. If the maximum authentication tolerance value is equal to or more than this value, the user should be judged as another person.
  • the maximum authentication allowable value is 0.5, which is intermediate between the authentication value 0 that approaches the case where the registered information and the biometric information acquired by the authentication information acquisition unit 181 are similar and the authentication value 1 that approaches the case where the registration information is not similar. To do.
  • the value between the authentication threshold and the authentication tolerance is called the authentication tolerance value.
  • the authentication allowable range value is a value indicating a case where it is gray whether or not the user is the user himself / herself.
  • the authentication value is within the authentication allowable range value, it is determined whether or not the user is the user himself / herself, not only by the biometric information but also by including the behavior information peculiar to the user. Specifically, when the authentication value is within the authentication allowable range value and the behavior information peculiar to the user matches the acceptance condition, the user is authenticated. In addition, if the authentication value is within the authentication allowable range value, and if the behavior information peculiar to the user does not meet the acceptance conditions, the user is not authenticated.
  • User authentication based on behavior information is hereinafter referred to as auxiliary authentication.
  • the authentication allowable range value is a predetermined value that the user can generally consider as long as the authentication value falls within this range.
  • the authentication allowable range value is 0. It is set to 08.
  • the authentication allowable range value is the value obtained by subtracting the upper limit value of the authentication threshold value from the maximum authentication allowable value. For example, when the upper limit of the authentication threshold is 0.45 and the maximum authentication tolerance is 0.5, the authentication tolerance is 0.05. Therefore, when the authentication threshold value is the upper limit value, the value of the authentication allowable range value is smaller than that when the authentication threshold value is not the upper limit value.
  • the table of the behavior information database 172 for authentication will be described below with reference to FIG. 5B.
  • the types of user behavior such as communication connection and event execution
  • the acquisition information acquired by the authentication information acquisition unit 181 shown in FIG. 4 the latest status in each behavior, and the latest status in each behavior are displayed.
  • the pass conditions for each behavior are stored.
  • the acquired information includes, for example, the connection destination address, SSID (Service Set Identifier), BSSID (Basic Service Set Identifier) if the behavior type is a communication connection, and the schedule book in advance if the behavior type is event execution.
  • SSID Service Set Identifier
  • BSSID Basic Service Set Identifier
  • the location information such as the name and address of the place where the event is held stored in is the distance between the face and the terminal device, the distance is the distance, and if the device is connected, the name and ID indicating the connected device. (Identifier) and the like are stored respectively.
  • the latest status of each behavior is, for example, if the behavior type is communication connection, the total number of times that the communication connection destination indicated in the acquired information has been connected so far. The initial value of the total number of connections to the communication connection destination is 0, and the number of times is added by the connection to the communication connection destination.
  • the type of behavior is event execution, the distance between the location stored in the acquired information and the user's current location is stored. If the type of behavior is the distance between the face and the terminal device 1, the average distance between the face and the terminal device 1 calculated when the user is authenticated as the user himself / herself is stored. The average distance between the face and the terminal device 1 is updated each time the user is authenticated as the user himself / herself.
  • the initial value of the average distance between the face and the terminal device 1 is the distance obtained when the biometric information shown in FIG. 5A is registered in advance before the user is authenticated by the terminal device 1.
  • the type of behavior is device connection, whether or not the device is connected to the device indicated by the name, ID, etc. stored in the acquired information is stored.
  • the device connection is, for example, a connection between a device paired by Bluetooth (registered trademark) and a terminal device 1.
  • the pass condition for each behavior is a predetermined condition that can guarantee the reliability of each behavior.
  • the tilt information table 173 stores an angle indicating the tilt of the terminal device 1 acquired from the tilt detection unit 13 shown in FIG. 4, the acquisition date and time when the angle was acquired, and a waiting time which is an interval for detecting the tilt. doing.
  • the angle indicating the inclination of the terminal device 1 is acquired from the inclination detection unit 13 by the authentication information acquisition unit 181 shown in FIG. 4 and updated every time the standby time elapses. Also, when updating the angle, the acquisition date and time when the angle was acquired is also updated.
  • the terminal device 1 When the terminal device 1 according to the present embodiment completes the execution of the initialization process of the post-power-on process or returns from the sleep state, the terminal device 1 enters a locked state in which the operation of each function is not permitted until the authentication is successful.
  • the terminal control unit 18 shown in FIG. 2 executes the authentication processing program 170 stored in the terminal storage unit 17. Determine if the user is the user himself / herself. The processing of the authentication processing program 170 executed by the terminal control unit 18 will be described below with reference to the flowcharts of the authentication processing shown in FIGS. 6A and 6B.
  • the user's face image is used as biometric information.
  • the authentication information acquisition unit 181 shown in FIG. 4 causes the photographing unit 11 to take a face photograph of the user who is operating the terminal device 1. Specifically, the authentication information acquisition unit 181 causes the in-camera 11A to take a photograph of the face of the user facing the front of the terminal device 1.
  • the authentication information acquisition unit 181 acquires a user's face photograph taken from the photographing unit 11 (step S101).
  • the authentication information acquisition unit 181 determines whether or not the acquired user's face photo is blurred (step S102).
  • the authentication information acquisition unit 181 causes the photographing unit 11 to retry taking the user's face photo (step S103). If the user's face photo is not blurred (step S102; YES), the authentication information acquisition unit 181 determines whether the user's face can be detected from the user's face photo taken by the photographing unit 11 (step). S104).
  • the authentication information acquisition unit 181 causes the photographing unit 11 to retry taking the user's face photograph (step S103). If the user's face cannot be detected from the user's face photo, lock the user who is currently operating to prevent further operations, display a message to the effect that another authentication method will be used, and so on. May be good. Further, when the user's face can be detected from the user's face photograph (step S104; YES), the authentication information acquisition unit 181 obtains the feature amount of the detected user's face image. The authentication information acquisition unit 181 transmits the obtained feature amount of the user's face image to the authentication determination unit 182.
  • the authentication determination unit 182 acquires the authentication biometric information database 171 stored in the terminal storage unit 17 shown in FIG. From the table of the biometric information database 171 for authentication shown in FIG. 6A, the authentication determination unit 182 sets the feature amount of the face image stored in the registration information associated with the "face" among the types of biometric information and the authentication value. Acquire the authentication tolerance and the authentication threshold of. The authentication determination unit 182 compares the feature amount of the face image of the registered information acquired from the biometric information database 171 for authentication with the feature amount of the face image received from the authentication information acquisition unit 181 and based on the comparison result. Find the face recognition value. The authentication determination unit 182 determines whether or not the obtained face authentication value is equal to or greater than the authentication threshold value acquired from the authentication biometric information database 171 (step S105).
  • the authentication determination unit 182 determines whether or not the obtained face authentication value is equal to or less than the authentication allowable value acquired from the authentication biometric information database 171. (Step S106). When the obtained face authentication value is equal to or less than the authentication allowable value (step S106; YES), it is gray whether or not the user using the terminal device 1 is the user himself / herself. Therefore, the authentication determination unit 182 performs authentication based on the behavior information. Perform some auxiliary authentication. First, the authentication determination unit 182 causes the authentication information acquisition unit 181 to acquire the communication connection destination currently connected from the communication unit 10. The authentication determination unit 182 receives the current communication connection destination of the acquired communication unit 10 from the authentication information acquisition unit 181.
  • the authentication determination unit 182 acquires the authentication behavior information database 172 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 acquires the acquisition information, the number of times, and the acceptance conditions associated with the "communication connection" among the types of behavior stored in the table of the authentication behavior information database 172 shown in FIG. 5B.
  • the SSIDs ABC_WLAN and 123 WLAN are stored in the acquired information of the "communication connection".
  • the number of connections is 31 times and the number of connections is 100 times or more as a pass condition.
  • 123 WLAN the number of connections is 157 times, and the number of connections is 100 times or more as a pass condition.
  • the passing condition is satisfied is referred to as trusting
  • the case where the passing condition is not satisfied is referred to as not being trusted.
  • the authentication determination unit 182 compares the current communication connection destination of the communication unit 10 received from the authentication information acquisition unit 181 with the acquisition information acquired from the authentication behavior information database 172, and the current communication connection destination trusts. It is determined whether or not it is a connection destination (step S107).
  • a connection destination For example, it is assumed that the ABC_WLAN of the SSID has been acquired as the current communication connection destination of the communication unit 10.
  • the ABC_WLAN in the acquisition information of the behavior type "communication connection" stored in the authentication behavior information database 172 is connected 31 times, and the pass condition is connected 100 times or more. Therefore, since the current communication connection destination is not a trusted communication connection destination (step S107; YES), it is determined whether or not a trusted event is being executed (step S108).
  • the authentication determination unit 182 causes the authentication information acquisition unit 181 to acquire the content of the event executed immediately before from the operation input unit 14.
  • the authentication determination unit 182 acquires from the calendar provided in the terminal device 1 whether or not there is a schedule at the current date and time, and information on the place where the schedule is performed. If there is no schedule on that day, the authentication determination unit 182 assumes that the event is not executed with confidence (step S108; YES), and calculates the distance between the face and the terminal device 1 (step S109). If there is a schedule on that day, the authentication determination unit 182 causes the authentication information acquisition unit 181 to acquire the current position information from the position detection unit 16. Subsequently, the authentication determination unit 182 acquires the authentication behavior information database 172 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 acquires the acquisition information associated with "event execution” and the acceptance conditions among the types of behavior stored in the table of the authentication behavior information database 172 shown in FIG. 5B. For example, as shown in FIG. 5B, " ⁇ ⁇ park” and “ ⁇ ⁇ movie theater” are stored as places where the event is held in the acquired information of "event execution", and "distance is 100 m” as a pass condition for both. It is assumed that "within” is remembered.
  • the authentication determination unit 182 compares the current position information acquired from the position detection unit 16 by the authentication information acquisition unit 181 with the position information of " ⁇ ⁇ park" which is the location of the event held at the current date and time. ..
  • the distance between the current location information and the location information of the event location " ⁇ ⁇ Park” is 113 m.
  • the event is not executed with confidence (step S108; YES), and the distance between the face and the terminal device 1 is calculated (step S109).
  • the distance between the user's face and the terminal device 1 is calculated based on the ratio of the user's face in the photograph of the user's face facing the front of the terminal device 1 taken by the in-camera 11A shown in FIG.
  • the authentication determination unit 182 acquires the authentication behavior information database 172 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 acquires the average distance and the pass condition corresponding to the "distance between the face and the terminal device" among the types of behavior stored in the table of the authentication behavior information database 172 shown in FIG. 5B. To do.
  • the average distance of the "distance between the face and the terminal device" is 262 mm, and the passing condition stores that the average distance is within plus or minus 20 mm.
  • the authentication determination unit 182 determines whether or not the distance between the user's face and the terminal device 1 calculated in step S109 is within the setting range set in the pass condition acquired from the authentication behavior information database 172 (step S110). .. Specifically, the average distance acquired from the authentication behavior information database 172 is 262 mm, and the acceptance condition is within plus or minus 20 mm of the average distance, so it is determined whether or not it is in the range of 242 mm to 282 mm.
  • the authentication determination unit 182 refers to the user who is using the terminal device 1 as the user himself / herself. Authenticate with.
  • the authentication determination unit 182 causes the authentication information update unit 184 to update various data stored in the authentication biometric information database 171 and the authentication behavior information database 172 shown in FIG. 2 (step S111).
  • the authentication information update unit 184 stores the registration information associated with the biometric information type "face” in the table of the authentication biometric information database 171 shown in FIG. 5A in the registration information.
  • the feature amount of the face image received by the authentication determination unit 182 from the authentication information acquisition unit 181 is added to the feature amount of the face image and updated.
  • the authentication information update unit 184 adds 1 to the number of times stored in the latest status associated with the behavior type "communication connection" of the table of the authentication behavior information database 172 shown in FIG. 5B.
  • Update the authentication information update unit 184 stores the latest status corresponding to the behavior type "distance between the face and the terminal device" stored in the table of the authentication behavior information database 172 shown in FIG. 5B.
  • the average distance obtained from the average distance obtained and the "distance between the face and the terminal device" calculated in step S109 is used for updating.
  • the authentication determination unit 182 currently connects to the authentication information acquisition unit 181 from the communication unit 10. Get the communication connection destination you are using.
  • the authentication determination unit 182 receives the current communication connection destination of the acquired communication unit 10 from the authentication information acquisition unit 181. Subsequently, the authentication determination unit 182 acquires the authentication behavior information database 172 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 acquires the acquisition information, the number of times, and the acceptance conditions associated with the "communication connection" among the types of behavior stored in the table of the authentication behavior information database 172 shown in FIG. 5B.
  • the authentication determination unit 182 compares the current communication connection destination of the communication unit 10 received from the authentication information acquisition unit 181 with the acquisition information acquired from the authentication behavior information database 172, and the current communication connection destination trusts. It is determined whether or not it is a connection destination (step S112).
  • the authentication determination unit 182 authenticates the user using the terminal device 1 as the user himself / herself. After that, the authentication determination unit 182 makes the authentication interval longer than the current authentication interval (step S113). This is because if the current communication connection destination is a reliable communication connection destination, the user himself / herself is considered to be in a reliable environment such as home or work. In this case, the authentication interval may be longer than the current authentication interval, the frequency of authentication may be reduced, and the minimum number of authentications required may be performed.
  • the SSID ABC_WLAN has been acquired as the current communication connection destination of the communication unit 10.
  • the ABC_WLAN in the acquisition information of the behavior type "communication connection" stored in the authentication behavior information database 172 is connected 31 times, and the pass condition is connected 100 times or more. Therefore, since the current communication connection destination is not a reliable communication connection destination (step S112; NO), the authentication determination unit 182 does not authenticate the user using the terminal device 1 with the user himself / herself, and sets the authentication interval. Do not make it longer than the current authentication interval.
  • step S107 for example, it is assumed that 123 WLAN of SSID is acquired as the current communication connection destination of the communication unit 10.
  • the 123 WLAN in the acquisition information of the behavior type "communication connection" stored in the authentication behavior information database 172 has been connected 156 times, and the pass condition has been connected 100 times or more. Therefore, since the current communication connection destination is a reliable communication connection destination (step S107; NO), the authentication determination unit 182 authenticates the user using the terminal device 1 as the user himself / herself.
  • step S108 for example, it is assumed that " ⁇ ⁇ movie theater" is stored as the place of the event to be held at the current date and time in the calendar provided in the terminal device 1.
  • the authentication determination unit 182 compares the current position information acquired from the position detection unit 16 by the authentication information acquisition unit 181 with the position information of the " ⁇ ⁇ movie theater" which is the location of the event held at the current date and time. To do. For example, the distance between the current location information and the location information of the event location “ ⁇ ⁇ movie theater” is 72 m. In this case, the execution of the trusted event (step S108; NO), the authentication determination unit 182 authenticates the user using the terminal device 1 as the user himself / herself.
  • the authentication determination unit 182 makes the authentication interval longer than the current authentication interval (step S113).
  • the authentication determination unit 182 calculates the distance between the user's face and the terminal device 1 (step S114). Subsequently, the authentication determination unit 182 acquires the authentication behavior information database 172 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 determines whether or not the distance between the user's face and the terminal device 1 calculated in step S114 is within the setting range set in the pass condition acquired from the authentication behavior information database 172 (step S115). ..
  • the authentication determination unit 182 authenticates the user using the terminal device 1 as the user himself / herself. .
  • the authentication determination unit 182 causes the authentication information update unit 184 to update various data stored in the authentication biometric information database 171 and the authentication behavior information database 172 shown in FIG. 2 (step S111).
  • the authentication information update unit 184 stores the registration information associated with the biometric information type "face" in the table of the authentication biometric information database 171 shown in FIG. 5A in the registration information.
  • the authentication determination unit 182 adds the feature amount of the face image received from the authentication information acquisition unit 181 to the feature amount of the face image, and updates the feature amount.
  • the authentication information update unit 184 adds 1 to the number of times stored in the latest status, which is associated with the behavior type "communication connection" of the table of the authentication behavior information database 172 shown in FIG. 5B. ,Update. Subsequently, the authentication information update unit 184 obtains the latest status corresponding to the behavior type "event execution" of the table of the authentication behavior information database 172 in step S108; NO, the location of the event and the terminal device 1. Write and update the distance between and. In addition, the authentication information update unit 184 updates the latest status corresponding to the behavior type "distance between the face and the terminal device" stored in the table of the authentication behavior information database 172 shown in FIG. 5B. It is updated with the average distance obtained from the average distance stored in the situation and the "distance between the face and the terminal device" calculated in step S114.
  • step S115 the authentication determination unit 182 tells the authentication information update unit 184 to the authentication living body shown in FIG.
  • Various data stored in the information database 171 and the authentication behavior information database 172 are not updated.
  • step S110 determines that the user using the terminal device 1 is not the user himself / herself.
  • the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. 4 to display to the display unit 19 that the authentication has not been performed.
  • the authentication determination unit 182 calls the existing biometric authentication means provided in the terminal device 1.
  • fingerprint authentication is called as an existing biometric authentication means.
  • the authentication determination unit 182 executes fingerprint authentication (step S116).
  • the authentication information acquisition unit 181 causes the photographing unit 11 to take a face photograph of the user operating the terminal device 1 according to the instruction from the authentication determination unit 182.
  • the authentication information acquisition unit 181 acquires an image of the user's face photograph taken from the photographing unit 11 and obtains a feature amount of the user's face image.
  • the authentication information acquisition unit 181 transmits the feature amount of the user's face image obtained to the authentication determination unit 182.
  • the authentication determination unit 182 transmits the received feature amount of the user's face image to the authentication information update unit 184 shown in FIG.
  • the authentication information update unit 184 stores the feature amount of the received user's face image in the registration information associated with the biometric information type "face" in the table of the authentication biometric information database 171 shown in FIG. 5A. In addition to the feature amount of the face image that has been performed, it is updated (step S118).
  • the authentication determination unit 182 returns to step S101 and executes the steps after step S101.
  • step S117 If fingerprint authentication could not be performed (step S117; NO), the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. 4 to display to the display unit 19 that the authentication could not be performed. Subsequently, the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. 4 to display the login screen on the display unit 19 (step S119).
  • the authentication determination unit 182 determines whether or not the biometric authentication and the auxiliary authentication have succeeded in a predetermined set number of times (step S120).
  • the set number of times is an arbitrary number of times, for example, 10 times in a row, 20 times in total after the terminal device 1 is started, and the like.
  • the authentication determination unit 182 obtains the average value of the face authentication values obtained by the set number of authentications (step S121). .. Specifically, the authentication determination unit 182 acquires the authentication biometric information database 171 shown in FIG. 2 from the terminal storage unit 17.
  • the authentication determination unit 182 acquires the average value of the authentication values associated with the "face" among the types of biometric information from the table of the biometric information database 171 for authentication shown in FIG. 6A.
  • the authentication determination unit 182 adds the face authentication value obtained in step S105 and the average value of the authentication values acquired from the authentication biometric information database 171 and divides by 2, to calculate the average value of the face authentication values. If biometric authentication and auxiliary authentication are not successful for a predetermined set number of times (step S120; NO), the process of step S121 to step S123 is skipped and the process proceeds to step S124.
  • the authentication determination unit 182 transmits the average value of the face authentication values obtained in step S121 to the authentication information update unit 184.
  • the authentication information update unit 184 compares the average value of the received face authentication values with the preset upper limit value of the authentication threshold value. When the average value of the face authentication values is equal to or more than the preset upper limit value of the authentication threshold value, the authentication information update unit 184 sets the type of biometric information in the table of the authentication biometric information database 171 shown in FIG. 6A. Of these, the upper limit of the authentication threshold is written and updated in the authentication threshold associated with the "face".
  • the authentication information update unit 184 can use the authentication biometric information database 171 table shown in FIG. 6A to display the biometric information.
  • the average value of the face authentication values obtained in step S121 is written and updated in the authentication threshold associated with the "face" among the types (step S122).
  • the authentication information update unit 184 updates the authentication allowable value (step S123). Specifically, when the average value of the face authentication values obtained in step S121 is equal to or greater than the preset upper limit value of the authentication threshold value, the authentication information update unit 184 sets the preset maximum authentication allowable value. Set to the authentication tolerance. Further, when the average value of the face authentication values obtained in step S121 is equal to or less than the upper limit of the preset authentication threshold value, the average value of the face authentication values obtained in step S121 and the default authentication allowable range value are used. If the sum of the values is less than or equal to the maximum authentication tolerance, the sum is the authentication tolerance.
  • the authentication information update unit 184 acquires the authentication biometric information database 171 shown in FIG. 2 from the terminal storage unit 17. The authentication information update unit 184 writes the obtained authentication tolerance value in the authentication tolerance value associated with the "face" of the types of biometric information in the table of the authentication biometric information database 171 shown in FIG. 6A. Update.
  • the authentication information acquisition unit 181 shown in FIG. 4 acquires the inclination angle of the terminal device 1 from the inclination detection unit 13. Subsequently, the authentication information acquisition unit 181 acquires the current date and time information from a timer (not shown) (step S124). The authentication information acquisition unit 181 transmits the acquired tilt angle of the terminal device 1 and the current date and time information to the authentication determination unit 182. The authentication determination unit 182 transmits the received tilt angle of the terminal device 1 and the current date and time information to the authentication information update unit 184. The authentication information update unit 184 writes and saves the received inclination angle of the terminal device 1 and the current date and time information in the inclination information table 173 stored in the terminal storage unit 17 shown in FIG. 2 (step S125). ).
  • the authentication determination unit 182 acquires the waiting time stored in the table of the inclination information table 173 shown in FIG. 5C.
  • the authentication determination unit 182 transmits the acquired waiting time to the authentication information acquisition unit 181.
  • the authentication information acquisition unit 181 waits for data acquisition from the communication unit 10, the photographing unit 11, and the like during the received standby time (step S126).
  • the authentication information acquisition unit 181 acquires the inclination angle of the terminal device 1 from the inclination detection unit 13.
  • the authentication information acquisition unit 181 acquires the current date and time information from a timer (not shown) (step S127).
  • the authentication information acquisition unit 181 transmits the acquired tilt angle of the terminal device 1 and the current date and time information to the authentication determination unit 182.
  • the authentication determination unit 182 acquires the angle of the terminal device 1 stored in the table of the tilt information table 173 shown in FIG. 5C.
  • the authentication determination unit 182 compares the tilt angle of the terminal device 1 received from the authentication information acquisition unit 181 with the angle of the terminal device 1 acquired from the tilt information table 173, and determines whether or not the angle has changed. Is determined (step S128).
  • the change in the angle of the terminal device 1 is an angle of a predetermined set value, for example, 30 degrees or more (step S128; NO)
  • the authentication determination unit 182 moves the terminal device 1 by the user to perform some operation. Is determined to have been performed, and the process returns to step S101 shown in FIG. 6A. After that, the authentication determination unit 182 executes the processes after step S101.
  • step S129 determines whether or not it is time to authenticate the user.
  • the timing for authenticating the user is the timing at which the preset authentication interval time has elapsed.
  • step S129; YES the authentication determination unit 182 returns to step S101 shown in FIG. 6A.
  • the authentication determination unit 182 executes the processes after step S101.
  • step S129; NO the authentication determination unit 182 returns to step S125.
  • the authentication determination unit 182 executes the processes from step S125 to step S129.
  • the authentication value obtained from the biometric information is equal to or less than the authentication threshold value, or is obtained from the biometric information. In either case, where the authenticated authentication value is equal to or greater than the authentication threshold value, it may be determined whether or not the authentication is successful. If the authentication value obtained from the biometric information and the authentication permissible value are the same, the authentication value obtained from the biometric information is less than or equal to the authentication permissible value, or the authentication value obtained from the biometric information is In either case, which is equal to or greater than the authentication allowable value, it may be determined whether or not the authentication is successful.
  • the terminal device 1 is based on biological information such as a face image, fingerprint, and voiceprint of the user himself / herself, and behavior, an operation state, and the like when the user operates the terminal device 1. Based on the information, the user can be authenticated and various functions in the terminal device 1 can be executed. Further, the user authentication process performed in the terminal device 1 is executed in the background while the terminal device 1 is in operation, and the authentication system is improved by updating the user's biometric information and behavior information. Can be made to. As a result, security can be ensured while reducing the operational burden on the user.
  • the authentication by the biometric information of the user the authentication by the face image of the user and the fingerprint authentication are used.
  • the authentication by the user's biometric information may be any method such as voiceprint authentication and iris authentication.
  • the authentication by the user's face image is used as the condition for the determination to use the auxiliary authentication, but the determination may be made by a plurality of biometric information.
  • the user authentication process is realized by executing the authentication process program 170 shown in FIG. All or part of each step performed by the authentication processing program 170 is realized by a semiconductor chip such as an ASIC (Application Specific Integrated Circuit), a system LSI (Large-scale Integration), a circuit composed of various circuit elements, and the like. You may do so.
  • ASIC Application Specific Integrated Circuit
  • LSI Large-scale Integration
  • the connection to the trusted connection destination, the execution of the trusted event, and the distance between the user's face and the face of the terminal device 1 are used as the determination conditions for the auxiliary authentication.
  • other methods may be used or included. For example, it is determined whether or not the device owned by the user and the terminal device 1 are connected by Bluetooth (registered trademark), and if they are connected, the user is authenticated. In order to use devices connected by Bluetooth®, it is necessary to "pair" the devices. Therefore, the connection of the device by Bluetooth (registered trademark) has strong individual specificity, and it is possible to authenticate the user himself / herself by using it as auxiliary authentication.
  • the authentication determination unit 182 makes the authentication interval longer than the current authentication interval in step S113 of the flowchart shown in FIG. 6A, and lowers the authentication frequency. ing.
  • the authentication interval does not need to be longer than the current authentication interval, and the frequency of authentication does not have to be reduced.
  • step S113 of the flowchart shown in FIG. 6A does not have to be performed.
  • background authentication is performed at a predetermined authentication interval.
  • authentication may be performed randomly in the background without defining the timing and interval of authentication.
  • the authentication may be performed at any time.
  • authentication may be performed when the user performs an operation for performing a special process on the terminal device 1, an irregular operation, or the like.
  • the terminal device 1 can be realized by using a normal computer system without using a dedicated system.
  • a program for realizing each function in the terminal device 1 is stored in a recording medium such as a computer-readable CD-ROM (Compact Disc Read Only Memory) or a DVD-ROM (Digital Amsterdam Disc Read Only Memory).
  • a computer capable of realizing each of the above-mentioned functions may be configured.
  • OS Operating System
  • only the application may be stored in the recording medium.
  • the present invention can be suitably used for a terminal device.
  • 1 terminal device 10 communication unit, 11 shooting unit, 11A in-camera, 11B main camera, 12 audio input / output unit, 12A speaker, 12B microphone, 13 tilt detection unit, 14 operation input unit, 15 fingerprint detection unit, 15A left fingerprint Sensor, 15B right fingerprint sensor, 16 position detection unit, 17 terminal storage unit, 18 terminal control unit, 19 display unit, 21 processor, 22 memory, 23 display controller, 24 display device, 25 I / O port, 26 storage device, 27 communication equipment, 28 data bus, 170 authentication processing program, 171 biometric information database for authentication, 172 behavior information database for authentication, 173 tilt information table, 181 information acquisition unit for authentication, 182 authentication judgment unit, 183 authentication result display unit, 184 Authentication information update department.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Telephone Function (AREA)

Abstract

端末装置（１）は、複数の認証情報を取得する認証用情報取得部と、認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、認証判定部で認証が成功したと判定した場合に、認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備える。認証判定部は、バックグラウンドにおいて、認証用情報取得部で取得した一の認証情報が予め定められた認証閾値を下回る場合に認証が成功したと判定し、一の認証情報が認証閾値以上、且つ、予め定められた認証許容値以下の場合に、認証用情報取得部で取得した二の認証情報に基づいて認証が成功したか否かを判定する。

Description

端末装置、情報処理方法、及びプログラム
　本発明は、端末装置、情報処理方法、及びプログラムに関する。
　通常、端末装置は、不正使用を防止するための認証機能を備え、認証が成功した場合に各機能を使用可能としている。認証処理には、一般的なパスワードに加え、各種の生体情報等も活用されている。しかし、生体情報は、誤認識が多く、正当な使用者を認証できない場合が生じる。そこで、例えば特許文献１には、１つの生体情報による認証ができなかった場合に、複数の生体情報を複合して認証したり、生体情報とログイン専用ＩＣカード、暗証番号等の非生体情報とを複合して認証する技術が開示されている。
特開２０１６－０４０６８４号公報
　特許文献１に開示された技術では、認証できなかった場合、認証処理に用いられる複数の生体情報及び複数の非生体情報をそれぞれ、順番に使用者が入力している。例えば、指紋認証ができなかった場合、静脈認証、ログイン専用ＩＣカードによるログイン、暗証番号の入力等を順番に入力することになる。このため、認証における使用者の操作負担が大きいという課題がある。
　本発明は上述の課題を解決するものであり、認証における使用者の操作負担を軽減することができる端末装置、情報処理方法、及びプログラムを提供することを目的とする。
　上記の目的を達するため、本発明に係る端末装置は、複数の認証情報を取得する認証用情報取得部と、認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、認証判定部で認証が成功したと判定した場合に、認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備える。認証判定部は、バックグラウンドにおいて、認証用情報取得部で取得した一の認証情報が予め定められた認証閾値を下回る場合に認証が成功したと判定し、一の認証情報が認証閾値以上、且つ、予め定められた認証許容値以下の場合に、認証用情報取得部で取得した二の認証情報に基づいて認証が成功したか否かを判定する。
　本発明に係る端末装置によれば、バックグラウンドにおいて、取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定することができるので、認証における使用者の操作負担を軽減することができる。
本発明の実施の形態に係る端末装置の正面図 図１に示す端末装置のブロック図 図１に示す端末装置のハードウエア構成の一例を示す図 図１に示す端末装置の情報処理ブロックの図 図４に示す端末装置から取得する認証用生体情報データベースのテーブルを示す図 図４に示す端末装置から取得する認証用振舞情報データベースのテーブルを示す図 図４に示す端末装置の傾き情報テーブルを示す図 実施の形態に係る認証処理のフローチャート 図６Ａに示す認証処理のフローチャートの続きのフローチャート
　以下に、本発明を実施するための形態に係る端末装置、情報処理方法、及びプログラムについて、図面を参照して詳細に説明する。なお、図中同一または相当する部分には同一符号を付す。
　本実施の形態に係る端末装置１は、ユーザ本人の顔の画像、指紋、声紋等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができるようにした装置である。端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の制度を向上させることができる処理である。
　端末装置１の正面図を、図１に示す。端末装置１は、いわゆるスマートフォンであり端末装置１は、正面にユーザの顔を撮影するインカメラ１１Ａと、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂと、端末装置１の傾きを検出する傾き検出部１３と、操作入力部１４及び表示部１９を兼ねるタッチパネルと、ユーザの指紋を検出する左指紋センサ１５Ａ及び右指紋センサ１５Ｂと、端末装置１の現在位置を検出する位置検出部１６とを備える。また、端末装置１は、背面に、ユーザから見た人間、風景、物体等を撮影することができるメインカメラ１１Ｂを備える。
　ここで、以下では、インカメラ１１Ａとメインカメラ１１Ｂとを総称して、撮影部１１と称する。以下では、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂとを総称して、音声入出力部１２と称する。また、以下では、左指紋センサ１５Ａ及び右指紋センサ１５Ｂを総称して、指紋検出部１５と称する。
　図２は、端末装置１の構成を示すブロック図である。端末装置１は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６と、端末記憶部１７と、端末制御部１８と、表示部１９とを備える。
　通信部１０は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。
　撮影部１１は、図１に示したインカメラ１１Ａとメインカメラ１１Ｂとを含む。撮影部１１には、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、撮影した静止画または動画を取得することが可能な各種カメラを用いることができる。
　音声入出力部１２は、図１に示したスピーカ１２Ａと、マイクロフォン１２Ｂとを含む。スピーカ１２Ａは、音声通話で受信した音声、通信網を介して外部から取得した音楽データ等を出力する。マイクロフォン１２Ｂは、ユーザの音声をピックアップする装置である。
　傾き検出部１３は、端末装置１の傾き、揺れ等を検出することができる装置である。傾き検出部１３は、加速度センサ、角度センサ、地磁気を検出する磁気センサ等の端末装置１の傾きを検出できる各種センサを用いて構成することができる。なお、傾き検出部１３を構成するセンサの個数及び種類は、単数又は複数のどちらでもよい。
　操作入力部１４は、図１に示したユーザからの操作を入力することができる装置である。指紋検出部１５は、ユーザの指紋を検出するセンサである。指紋検出部１５は、図１に示した左指紋センサ１５Ａ及び右指紋センサ１５Ｂを含む。なお、指紋検出部１５には、指紋センサに限らず、ユーザの指紋を検出することができるセンサ、機器等であれば、いずれのものを用いてもよい。
　位置検出部１６は、端末装置１の現在位置を検出することができる装置である。位置検出部１６は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等の、端末装置１の現在位置を検出することができる機器を用いて構成することができる。
　端末記憶部１７は、ユーザの認証処理を行うための認証処理プログラム１７０と、端末装置１で取得したユーザの生体情報をまとめた認証用生体情報データベース１７１と、端末装置１で取得したユーザの振舞情報をまとめた認証用振舞情報データベース１７２と、端末装置１の傾き状態を記憶するための傾き情報テーブル１７３とを備える。また、端末記憶部１７には、端末装置１で実行される各種アプリケーションのプログラムが記憶されている。
　認証処理プログラム１７０は、端末装置１で取得したユーザの生体情報及び振舞情報に基づいてユーザを認証する処理を行うプログラムである。認証用生体情報データベース１７１は、ユーザの生体情報に関する情報と認証に用いる認証値とを保存するためのデータベースである。
　認証用振舞情報データベース１７２は、端末装置１を操作する際のユーザ特有の振舞に関する情報、認証の合格条件等を保存するためのデータベースである。ここで、ユーザ特有の振舞とは、ユーザが端末装置１を操作する際の挙動、表示部１９の画面とユーザの顔の距離、キーストローク、持ち方、端末装置１が使用される位置、特定の通信網への接続回数、特定のアプリケーションの起動、操作等、ユーザ固有のものをいう。
　傾き情報テーブル１７３は、傾き検出部１３により検出された端末装置１の傾き角度と、取得日時、取得のための待機時間を記憶するためのテーブルである。なお、認証処理プログラム１７０と、認証用生体情報データベース１７１と、認証用振舞情報データベース１７２と、傾き情報テーブル１７３とについては、その詳細を後述する。
　端末制御部１８は、端末記憶部１７に記憶された各種プログラムを実行する。また、端末制御部１８は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とから各種データを取得して処理し、端末記憶部１７の各種データベース、テーブルに記憶する。また、端末制御部１８は、撮影部１１に撮影する指示を送信することで、任意のタイミングで撮影部１１に撮影をさせることができる。
　表示部１９は、端末制御部１８で実行される各種プログラムの処理内容を表示する。また、表示部１９は、撮影部１１で撮影された静止画、動画等の画像、操作入力部１４から入力されたデータ等を表示することもできる。表示部１９は、操作入力部１４上に積層されており、図１に示したタッチパネルを構成する。
　次に、端末装置１のハードウエア構成の一例を、図３を参照しつつ説明する。端末装置１は、各種プログラムを実行するプロセッサ２１と、各種プログラムを展開するためのメモリ２２と、各種表示用データを出力する表示コントローラ２３と、各種表示用データを表示する表示機器２４と、撮影部１１、音声入出力部１２等を接続するためのＩ／Ｏポート２５と、各種プログラム及び各種データを記憶する記憶機器２６と、外部と通信し各種データを送受信する通信機器２７とを備える。このプロセッサ２１と、メモリ２２と、表示コントローラ２３と、表示機器２４と、Ｉ／Ｏポート２５と、記憶機器２６と、通信機器２７とは、データバス２８を介して相互に接続されている。
　プロセッサ２１は、記憶機器２６に記憶された各種プログラムを読み出してメモリ２２に展開し、実行する。プロセッサ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の処理装置を用いて構成することができる。また、メモリ２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の揮発性または不揮発性の半導体メモリといった記憶素子および記憶媒体を用いて構成することができる。
　表示コントローラ２３は、表示機器２４に各種表示用データを出力するコントローラである。表示コントローラ２３は、ビデオカード、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、グラフィックボード等の映像信号出力装置を用いて構成することができる。また、表示機器２４は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）モニタ等の表示装置を用いて構成することができる。
　Ｉ／Ｏポート２５は、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とを接続することができる接続用ポートである。Ｉ／Ｏポート２５には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート等、機器を接続可能な各種ポートを用いて構成することができる。
　記憶機器２６は、プロセッサ２１で実行する各種プログラム、各種プログラムで使用するための各種データを記憶する機器である。記憶機器２６は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置を用いて構成することができる。
　通信機器２７は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。
　上述のプロセッサ２１により、図２に示した端末装置１の端末記憶部１７に記憶された認証処理プログラム１７０を実行することにより、端末制御部１８に図４に示す情報処理ブロックが実現される。これにより、端末装置１は、ユーザ本人の顔の画像、指紋、声紋等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。
　情報処理ブロックは、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する認証用情報取得部１８１と、ユーザを本人か否か認証する認証判定部１８２と、表示部１９に認証結果を表示させる認証結果表示部１８３と、認証判定部１８２からの指示により端末記憶部１７に記憶されは各種データベース及びテーブルの情報を更新する認証用情報更新部１８４とを備える。
　認証用情報取得部１８１は、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する。認証判定部１８２は、認証用情報取得部１８１から取得した認証用の生体情報及び振舞情報と、端末記憶部１７の各種データベースに記憶された認証値、合格条件等に基づいて、ユーザの認証を行う。認証結果表示部１８３は、認証判定部１８２からユーザの認証結果を受信し、表示部１９に認証結果に応じてメッセージ、画像等を表示させる。認証用情報更新部１８４は、認証判定部１８２からの指示に基づいて、端末記憶部１７に記憶された各種データベース、テーブルに記憶されたデータを更新する。なお、認証用情報取得部１８１で取得される生体情報及び振舞情報は、請求の範囲における認証情報の一例である。また、認証用情報取得部１８１で取得される各生体情報は、請求の範囲における一の情報及び三の情報の一例である。認証用情報取得部１８１で取得される各振舞情報は、請求の範囲における二の情報の一例である。
　次に、端末記憶部１７に記憶される認証用生体情報データベース１７１と、認証用振舞情報データベース１７２と、傾き情報テーブル１７３との各テーブルの構成について、図５Ａから図５Ｃを参照しつつ以下に説明する。まず、認証用生体情報データベース１７１のテーブルには、図５Ａに示すように、顔、音声等の生体情報の種類と、ユーザ本人の生体情報である登録情報と、登録情報と図４に示した認証用情報取得部１８１で取得した生体情報とを比較して求める認証値が記憶されている。認証用生体情報データベース１７１のテーブルに記憶されている登録情報は、ユーザ本人の生体情報である。登録情報には、端末装置１で認証処理を行う前に予め登録された情報であり、ユーザ本人を認証できた場合に更新される。登録情報には、例えば、生体情報の種類が顔であれば顔画像から求めた特徴量が、生体情報の種類が音声であれば音声データまたは音声データから求めた特徴量または音声データとその特徴量の両方が、生体情報の種類が虹彩であれば虹彩データが、生体情報の種類が指紋であれば指紋の画像から求めた特徴量が、それぞれ記憶されている。
　本実施の形態において、生体情報の類似の判定は、認証値により行われる。認証値は、登録情報と、図４に示した認証用情報取得部１８１で取得した生体情報とを比較した結果を基に求められる値である。認証値は、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に０に近づき、類似しない場合に１に近づく。認証用生体情報データベース１７１には、認証値の平均値と、認証値を判定するための閾値である認証閾値と、認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた認証許容値とが含まれる。
　まず、認証値の平均値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し求められた認証値の平均の値である。認証閾値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以下の場合、ユーザをユーザ本人と判定するための基準となる値である。認証閾値は、ユーザの認証の状況に合わせて変動する値であり、予め上限値が定めされている。上限値は、その値以上となった場合、ユーザをユーザ本人と生体情報のみで認証すべきではないとされる値である。例えば、認証閾値のデフォルト値を、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と類似しない場合に近づく認証値１との間の０．４とする。この場合、認証閾値の上限値は、認証閾値のデフォルト値に、類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との一割の半分である０．５を加えた値、すなわち、０．４５とする。
　また、認証許容値は、登録情報と認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以上の場合、ユーザをユーザ本人ではないと判定するための基準となる値である。認証許容値は、上述のとおり認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値である。このため、認証許容値は、認証閾値と認証許容範囲値との変動に応じて、変動する値である。認証許容値には、予め上限値が定められており、これを最大認証許容値と呼ぶ。最大認証許容値は、この値以上の場合、ユーザを他人と判断すべきとされる値である。例えば、最大認証許容値は、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との中間の０．５とする。
　認証閾値と認証許容値との間の値を認証許容範囲値という。認証許容範囲値は、ユーザがユーザ本人か否かグレーな場合を示す値である。認証値が認証許容範囲値内である場合、ユーザがユーザ本人か否かを生体情報だけで判断せず、ユーザ特有の振舞情報を含めて判断する。具体的には、認証値が認証許容範囲値内である場合、ユーザ特有の振舞情報が合格条件に合致している場合に、ユーザ本人と認証する。また、認証値が認証許容範囲値内である場合、ユーザ特有の振舞情報が合格条件に合致してない場合に、ユーザ本人と認証しないものとする。振舞情報によるユーザの認証を、以下では、補助認証と称する。認証許容範囲値は、この範囲に収まる認証値であればユーザ本人として概ね考えても良いと思われる値を、予め定めたものである。認証許容範囲値は、例えば、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との一割以下の０．０８とする。なお、認証閾値が上限値になった場合、認証許容範囲値は、最大認証許容値から認証閾値の上限値を引いた値とする。例えば、認証閾値の上限値を０．４５とし、最大認証許容値を０．５とした場合、認証許容範囲値は０．０５となる。したがって、認証閾値が上限値になっている場合、認証許容範囲値の値は、認証閾値が上限値になっていない場合よりも小さな値をとる。
　次に、認証用振舞情報データベース１７２のテーブルについて、図５Ｂを参照しつつ、以下に説明する。認証用振舞情報データベース１７２のテーブルには、通信接続、イベント実行等のユーザの振舞の種類と、図４に示した認証用情報取得部１８１で取得した取得情報と、各振舞における最新状況と、各振舞の合格条件とが記憶されている。取得情報には、例えば、振舞の種類が通信接続であれば接続先のアドレス、ＳＳＩＤ（Ｓｅｒｖｉｃｅ　Ｓｅｔ　Ｉｄｅｎｔｉｆｉｅｒ）、ＢＳＳＩＤ（Ｂａｓｉｃ　Ｓｅｒｖｉｃｅ　Ｓｅｔ　Ｉｄｅｎｔｉｆｉｅｒ）等が、振舞の種類がイベント実行であれば予めスケジュール帳に保存されたイベントの行われる場所の名称、住所等の場所情報が、振舞の種類が顔と端末装置との距離であれば距離が、デバイス接続であれば接続先のデバイスを示す名称、ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）等が、それぞれ記憶されている。
　各振舞における最新状況は、例えば、振舞の種類が通信接続であれば、取得情報に示された通信接続先にこれまで接続等された合計回数である。通信接続先への接続等の合計回数は、初期値が０であり、通信接続先への接続等により回数が加算されていく。また、振舞の種類がイベント実行であれば、取得情報に記憶されている場所とユーザの現在地との間の距離が記憶される。振舞の種類が顔と端末装置１との距離であれば、それまでユーザがユーザ本人と認証された際に算出された顔と端末装置１との距離の平均距離が記憶される。顔と端末装置１との平均距離は、ユーザがユーザ本人と認証される度に更新される。なお、顔と端末装置１との平均距離の初期値は、図５Ａに示した生体情報を、端末装置１でユーザ本人の認証を行う前に予め登録する際に求められた距離とする。
　また、振舞の種類がデバイス接続であれば、取得情報に記憶された名称、ＩＤ等が示すデバイスに接続されているか否かが記憶されている。デバイス接続は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によりペア設定されたデバイスと端末装置１との接続である。各振舞の合格条件は、各振舞の信頼性を担保できる条件を予め定めた条件である。
　次に、傾き情報テーブル１７３のテーブルを、図５Ｃに示す。傾き情報テーブル１７３は、図４に示した傾き検出部１３から取得された端末装置１の傾きを示す角度と、その角度を取得した取得日時、傾きを検出するめのインターバルとなる待機時間とを記憶している。端末装置１の傾きを示す角度は、待機時間が経過する毎に図４に示した認証用情報取得部１８１により傾き検出部１３から取得され、更新される。また、その角度を更新する際、角度を取得した取得日時も更新される。
　本実施の形態に係る端末装置１は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図２に示した端末制御部１８は、端末記憶部１７に記憶された認証処理プログラム１７０を実行し、ユーザがユーザ本人か否かを判別する。端末制御部１８により実行される認証処理プログラム１７０の処理について、図６Ａ及び図６Ｂに示す認証処理のフローチャートを参照しつつ、以下に説明する。
　まず、図６Ａを参照する。本実施の形態においては、生体情報としてユーザの顔画像を用いるものとする。図４に示した認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。具体的には、認証用情報取得部１８１は、端末装置１の正面に向き合っているユーザの顔写真を、インカメラ１１Ａで撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真を取得する（ステップＳ１０１）。認証用情報取得部１８１は、取得したユーザの顔写真がブレていないか判定する（ステップＳ１０２）。ユーザの顔写真がブレていた場合（ステップＳ１０２；ＮＯ）、認証用情報取得部１８１は、撮影部１１にユーザの顔写真の撮影をリトライさせる（ステップＳ１０３）。また、ユーザの顔写真がブレていなかった場合（ステップＳ１０２；ＹＥＳ）、認証用情報取得部１８１は、撮影部１１に撮影させたユーザの顔写真からユーザの顔が検出できるか判定する（ステップＳ１０４）。
　ユーザの顔写真からユーザの顔が検出できない場合（ステップＳ１０４；ＮＯ）、認証用情報取得部１８１は、撮影部１１にユーザの顔写真の撮影をリトライさせる（ステップＳ１０３）。なお、ユーザの顔写真からユーザの顔が検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。また、ユーザの顔写真からユーザの顔が検出できた場合（ステップＳ１０４；ＹＥＳ）、認証用情報取得部１８１は、検出したユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、求めたユーザの顔の画像の特徴量を認証判定部１８２に送信する。
　認証判定部１８２は、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７１を取得する。認証判定部１８２は、図６Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「顔」に対応付けられた登録情報に記憶された顔画像の特徴量と、認証値の認証許容値及び認証閾値を取得する。認証判定部１８２は、認証用生体情報データベース１７１から取得した登録情報の顔画像の特徴量と、認証用情報取得部１８１から受信した顔画像の特徴量とを比較し、比較の結果を基に顔の認証値を求める。認証判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７１から取得した認証閾値以上か否かを判定する（ステップＳ１０５）。
　求めた顔の認証値が認証閾値以上の場合（ステップＳ１０５；ＹＥＳ）、認証判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７１から取得した認証許容値以下か否かを判定する（ステップＳ１０６）。求めた顔の認証値が認証許容値以下の場合（ステップＳ１０６；ＹＥＳ）、端末装置１を使用しているユーザがユーザ本人か否かグレーであるため、認証判定部１８２は振舞情報による認証である補助認証を実行する。まず、認証判定部１８２は、認証用情報取得部１８１に通信部１０から現在接続している通信接続先を取得させる。認証判定部１８２は、認証用情報取得部１８１から、取得させた通信部１０の現在の通信接続先を受信する。
　続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。例えば、図５Ｂに示すように、「通信接続」の取得情報にはＳＳＩＤであるＡＢＣ＿ＷＬＡＮと１２３ＷＬＡＮとが記憶されている。このＡＢＣ＿ＷＬＡＮでは、接続した回数に３１回、合格条件として接続回数が１００回以上と記憶されている。また、１２３ＷＬＡＮでは、接続した回数に１５７回、合格条件として接続回数が１００回以上と記憶されている。なお、以下では合格条件を満たす場合を信頼するものと呼び、合格条件を満たさない場合を信頼しないものと呼ぶ。
　認証判定部１８２は、認証用情報取得部１８１から受信した通信部１０の現在の通信接続先と、認証用振舞情報データベース１７２から取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する（ステップＳ１０７）。ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤのＡＢＣ＿ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報におけるＡＢＣ＿ＷＬＡＮは、接続した回数が３１回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため（ステップＳ１０７；ＹＥＳ）、信頼するイベントを実行しているか否かを判定する（ステップＳ１０８）。
　認証判定部１８２は、認証用情報取得部１８１に操作入力部１４から直前に実行したイベントの内容を取得させる。認証判定部１８２は、端末装置１に備えられたカレンダーから現在の日時に予定があるか否かと、その予定が行われる場所の情報とを取得する。認証判定部１８２は、その日に予定が無かった場合、信頼するイベントの実行ではないものとし（ステップＳ１０８；ＹＥＳ）、顔と端末装置１との距離を算出する（ステップＳ１０９）。また、その日に予定があった場合、認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から、現在の位置情報を取得させる。続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。
　認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち、「イベント実行」に対応つけられた取得情報と合格条件とを取得する。例えば、図５Ｂに示すように、「イベント実行」の取得情報にはイベントが行われる場所として「○×公園」及び「△●映画館」が記憶され、その両方の合格条件として「距離が１００ｍ以内」と記憶されているものとする。
　ここで、例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「○×公園」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「○×公園」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「○×公園」の位置情報との間の距離が１１３ｍとする。この場合、信頼するイベントの実行ではないものとし（ステップＳ１０８；ＹＥＳ）、顔と端末装置１との距離を算出する（ステップＳ１０９）。ユーザの顔と端末装置１との距離は、図１に示したインカメラ１１Ａで撮影した端末装置１の正面に向き合うユーザの顔写真における、ユーザの顔の占める割合を基づいて算出する。
　続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「顔と端末装置との距離」に対応つけられた平均距離、合格条件を取得する。例えば、図５Ｂに示すように、「顔と端末装置との距離」の平均距離には２６２ｍｍ、合格条件に平均距離のプラスマイナス２０ｍｍ以内と記憶されている。
　認証判定部１８２は、ステップＳ１０９で算出したユーザの顔と端末装置１との距離が、認証用振舞情報データベース１７２から取得した合格条件に設定された設定範囲内か否か判定する（ステップＳ１１０）。具体的には、認証用振舞情報データベース１７２から取得した平均距離は２６２ｍｍ、合格条件は、平均距離のプラスマイナス２０ｍｍ以内であるので、２４２ｍｍから２８２ｍｍの範囲か否かを判定する。
　ステップＳ１０９で算出したユーザの顔と端末装置１との距離が、２４２ｍｍから２８２ｍｍの範囲である場合（ステップＳ１１０；ＹＥＳ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。認証判定部１８２は、認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データを更新させる（ステップＳ１１１）。
　具体的には、認証用情報更新部１８４は、図５Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量に認証判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、更新する。続いて、認証用情報更新部１８４は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルの振舞の種類「通信接続」に対応つけられた最新状況に記憶されている回数に１を加え、更新する。また、認証用情報更新部１８４は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離とステップＳ１０９で算出された「顔と端末装置との距離」とから求めた平均距離で更新する。
　このように、認証用生体情報データベース１７１に記憶された生体情報、及び、認証用振舞情報データベース１７２に記憶された振舞情報を更新することにより、ユーザの生体情報及び振舞情報の精度が向上する。このため、ユーザの認証の精度を向上させることができる。
　また、認証判定部１８２により求められた顔の認証値が、認証値の認証閾値以上でない場合（ステップＳ１０５；ＮＯ）、認証判定部１８２は、認証用情報取得部１８１に通信部１０から現在接続している通信接続先を取得させる。認証判定部１８２は、認証用情報取得部１８１から、取得させた通信部１０の現在の通信接続先を受信する。続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。認証判定部１８２は、認証用情報取得部１８１から受信した通信部１０の現在の通信接続先と、認証用振舞情報データベース１７２から取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する（ステップＳ１１２）。
　ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤの１２３ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報における１２３ＷＬＡＮは、接続した回数が１５６回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先であるため（ステップＳ１１２；ＹＥＳ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。その後、認証判定部１８２は、認証間隔を現在の認証間隔よりも長くする（ステップＳ１１３）。これは、現在の通信接続先が信頼する通信接続先であれば、ユーザ本人は自宅、職場等の信頼する環境に居るものと考えられるためである。この場合、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げ必要最低限の回数認証を行うようにすれば良い。
　ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤのＡＢＣ＿ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報におけるＡＢＣ＿ＷＬＡＮは、接続した回数が３１回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため（ステップＳ１１２；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証せず、認証間隔を現在の認証間隔よりも長くしない。
　ここで、ステップＳ１０７において、例えば、通信部１０の現在の通信接続先としてＳＳＩＤの１２３ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報における１２３ＷＬＡＮは、接続した回数が１５６回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先であるため（ステップＳ１０７；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。
　また、ここで、ステップＳ１０８において、例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「△●映画館」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「△●映画館」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「△●映画館」の位置情報との間の距離が７２ｍとする。この場合、信頼するイベントの実行であるもとのし（ステップＳ１０８；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。
　認証判定部１８２は、認証間隔を現在の認証間隔よりも長くする（ステップＳ１１３）。認証判定部１８２は、ユーザの顔と端末装置１との距離を算出する（ステップＳ１１４）。続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。認証判定部１８２は、ステップＳ１１４で算出したユーザの顔と端末装置１との距離が、認証用振舞情報データベース１７２から取得した合格条件に設定された設定範囲内か否か判定する（ステップＳ１１５）。ステップＳ１０９で算出したユーザの顔と端末装置１との距離が、設定範囲である場合（ステップＳ１１５；ＹＥＳ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。認証判定部１８２は、認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データを更新させる（ステップＳ１１１）。
　具体的には、認証用情報更新部１８４は、図５Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量にステップＳ１０５で認証判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、更新する。
　続いて、認証用情報更新部１８４は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルの振舞の種類「通信接続」に対応つけられた、最新状況に記憶されている回数に１を加え、更新する。続いて、認証用情報更新部１８４は、認証用振舞情報データベース１７２のテーブルの振舞の種類「イベント実行」に対応つけられた最新状況を、ステップＳ１０８；ＮＯで求めたイベントの場所と端末装置１との間の距離を書き込み、更新する。また、認証用情報更新部１８４は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、最新状況に記憶されている平均距離とステップＳ１１４で算出された「顔と端末装置との距離」とから求められた平均距離で更新する。
　ステップＳ１１４で算出したユーザの顔と端末装置１との距離が、設定範囲でない場合（ステップＳ１１５；ＮＯ）、認証判定部１８２は、認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データを更新させない。
　また、認証判定部１８２により求められた顔の認証値が、認証値の認証許容値以下でない場合（ステップＳ１０６；ＮＯ）、及び、ステップＳ１１０で顔と端末装置との距離が設定範囲内でなかった場合（ステップＳ１１０；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人ではないと判断する。認証判定部１８２は、図４に示した認証結果表示部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、認証判定部１８２は、端末装置１に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部１８２は、指紋認証を実行する（ステップＳ１１６）。
　指紋認証ができた場合（ステップＳ１１７；ＹＥＳ）、認証判定部１８２からの指示により、認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真の画像を取得し、ユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、認証判定部１８２に求めたユーザの顔の画像の特徴量を送信する。認証判定部１８２は、受信したユーザの顔の画像の特徴量を図４に示した認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信したユーザの顔の画像の特徴量を、図５Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報に記憶されていた顔画像の特徴量に加え、更新する（ステップＳ１１８）。認証判定部１８２は、ステップＳ１０１へ戻り、ステップＳ１０１以降のステップを実行する。
　また、指紋認証ができなかった場合（ステップＳ１１７；ＮＯ）、認証判定部１８２は、図４に示した認証結果表示部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、認証判定部１８２は、図４に示した認証結果表示部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１９）。
　ここで、図６Ｂに移動する。認証判定部１８２は、生体認証及び補助認証が予め定めされた設定回数成功したか否かを判定する（ステップＳ１２０）。この設定回数は、例えば、連続で１０回、端末装置１が起動してから合計で２０回等、任意の回数である。生体認証及び補助認証が予め定めされた設定回数成功した場合（ステップＳ１２０；ＹＥＳ）、認証判定部１８２は、設定回数分の認証で求められた顔の認証値の平均値を求める（ステップＳ１２１）。具体的には、認証判定部１８２は、図２に示した認証用生体情報データベース１７１を、端末記憶部１７から取得する。認証判定部１８２は、図６Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。認証判定部１８２は、ステップＳ１０５で求めた顔の認証値と、認証用生体情報データベース１７１から取得した認証値の平均値とを足して２で割り、顔の認証値の平均値を算出する。また、生体認証及び補助認証が予め定めされた設定回数成功しなかった場合（ステップＳ１２０；ＮＯ）、ステップＳ１２１からステップＳ１２３の処理をスキップし、ステップＳ１２４へ進む。
　認証判定部１８２は、ステップＳ１２１で求めた顔の認証値の平均値を、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信した顔の認証値の平均値と、予め設定された認証閾値の上限値とを比較する。顔の認証値の平均値が予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、認証閾値の上限値を書き込み、更新する。また、顔の認証値の平均値が予め設定された認証閾値の上限値以下である場合、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、ステップＳ１２１で求めた顔の認証値の平均値を書き込み、更新する（ステップＳ１２２）。
　続いて、認証用情報更新部１８４は、認証許容値を更新する（ステップＳ１２３）。具体的には、ステップＳ１２１で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、予め設定された最大認証許容値を認証許容値とする。また、ステップＳ１２１で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以下である場合、ステップＳ１２１で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以下であれば、その足した値を認証許容値とする。ステップＳ１２１で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以上であれば、最大認証許容値を認証許容値とする。認証用情報更新部１８４は、図２に示した認証用生体情報データベース１７１を、端末記憶部１７から取得する。認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証許容値に、求めた認証許容値を書き込み、更新する。
　図４に示した認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１２４）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。認証判定部１８２は、受信した端末装置１の傾きの角度と現在の日時情報とを、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、図２に示した端末記憶部１７に記憶された傾き情報テーブル１７３に、受信した端末装置１の傾きの角度と現在の日時情報とを書き込み、保存する（ステップＳ１２５）。
　認証判定部１８２は、図５Ｃに示した傾き情報テーブル１７３のテーブルに記憶されている待機時間を取得する。認証判定部１８２は、認証用情報取得部１８１に取得した待機時間を送信する。認証用情報取得部１８１は、受信した待機時間の間、通信部１０、撮影部１１等からのデータの取得を待機する（ステップＳ１２６）。待機時間が終了すると、認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１２７）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。
　認証判定部１８２は、図５Ｃに示した傾き情報テーブル１７３のテーブルに記憶されている端末装置１の角度を取得する。認証判定部１８２は、認証用情報取得部１８１から受信した端末装置１の傾きの角度と、傾き情報テーブル１７３から取得した端末装置１の角度とを比較し、角度が変化してないか否かを判定する（ステップＳ１２８）。端末装置１の角度の変化が、予め定められた設定値の角度、例えば、３０度以上の場合（ステップＳ１２８；ＮＯ）、認証判定部１８２は、ユーザにより端末装置１が動かされ何某かの操作が行われたものと判断し、図６Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。
　また、端末装置１の角度の変化が、予め定められた設定値の角度以下の場合（ステップＳ１２８；ＹＥＳ）、認証判定部１８２は、ユーザにより端末装置１が動かされていないものと判断する。続いて、認証判定部１８２は、ユーザを認証するタイミングになったか否かを判定する（ステップＳ１２９）。ユーザを認証するタイミングは、予め設定された認証間隔の時間が経過したタイミングである。ユーザを認証するタイミングになっている場合（ステップＳ１２９；ＹＥＳ）、認証判定部１８２は、図６Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。ユーザを認証するタイミングになっていない場合（ステップＳ１２９；ＮＯ）、認証判定部１８２はステップＳ１２５に戻る。認証判定部１８２は、ステップＳ１２５からステップＳ１２９までの処理を実行する。
　なお、上記の実施の形態において、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。
　以上の通り、上記実施の形態に係る端末装置１は、ユーザ本人の顔の画像、指紋、声紋等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。また、端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の制度を向上させることができる。これにより、使用者の操作負担を軽減しつつ、セキュリティを確保することができる。
　（変形例１）
　上記の実施の形態において、ユーザの生体情報による認証として、ユーザの顔画像による認証と指紋認証とを使用した。これに限らず、ユーザの生体情報による認証は、声紋認証、虹彩認証等、いずれの方法であってもよい。また、上記の実施の形態においては、補助認証を使用する判定の条件としてユーザの顔画像による認証だけを使用したが、複数の生体情報により判定してもよい。
　（変形例２）
　上記の実施の形態では、ユーザの認証処理を図２に示した認証処理プログラム１７０を実行することにより実現するものとした。この認証処理プログラム１７０で行われる各ステップの全部または一部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ（Ｌａｒｇｅ－ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の半導体チップ、各種回路素子により構成される回路等により実現するようにしてもよい。
　（変形例３）
　上記の実施の形態において、補助認証の判定条件として信頼する接続先への接続、信頼するイベントの実行、ユーザの顔と端末装置１との顔の距離を用いた。これに限らず、他の方法を用いる又は含めても良い。例えば、ユーザ本人が所有するデバイスと端末装置１とをＢｌｕｅｔｏｏｔｈ（登録商標）で接続しているか否かを判定し、接続している場合にユーザ本人と認証する。Ｂｌｕｅｔｏｏｔｈ（登録商標）により接続される機器を使用するためには、機器同士を「ペアリング」する必要がある。このため、Ｂｌｕｅｔｏｏｔｈ（登録商標）による機器の接続は、個人の特定性が強く、補助認証として利用することでユーザ本人を認証することが可能である。また、さらに、図２に示した位置検出部３６により取得したユーザの行動ルートのパターン、規則性等により、ユーザ本人か否かを判定し、行動ルートのパターン、規則性等が一致する場合にユーザ本人と認証としてもよい。
　（変形例４）
　上記の実施の形態においては、補助認証のうち、一つの認証が成功した場合に、ユーザ本人と認証した。これに限らず、複数の補助認証がすべて成功した場合にのみユーザ本人と認証するようにしてもよい。これにより、さらに認証の精度を高めることができる。
　（変形例５）
　上記の実施の形態において、生体認証及び補助認証が成功した場合、図６Ａに示したフローチャートのステップＳ１１３において認証判定部１８２は、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げている。しかしながら、これに限らず、生体認証及び補助認証が成功した場合、認証間隔を現在の認証間隔よりも長くせずにおき、認証の頻度を下げなくてもよい。具体的には、図６Ａに示したフローチャートのステップＳ１１３を行わなくてもよい。
　（変形例６）
　上記の実施の形態において、ユーザの認証が成功し、ユーザが継続的に端末装置１を操作し続ける状態、且つ端末装置１の傾きの変更がない場合、ユーザ本人が端末装置１を操作し続けているものと判断することができる。この場合、生体認証の認証閾値及び認証許容値を緩めに設定する、認証間隔を長くする等してもよい。こうすることにより、ユーザ本人に対する必要最低限の認証をバックグラウンドで行いつつ、端末装置１のリソースの利用を節約する事ができる。
　（変形例７）
　上記の実施の形態において、予め定められた認証間隔によりバックグラウンドでの認証を行うようにした。これに限らず、認証のタイミング及び間隔を定めず、ランダムにバックグラウンドで認証を行うようにしてもよい。例えば、端末装置１に搭載されている各種センサの何れかにより、端末装置１の位置の変更、傾きの変更などの空間的な変化があった場合に、随時認証を行うようにしてもよい。また、ユーザが端末装置１に対し特別な処理を行うための操作、イレギュラーな操作等を行った場合に、認証を行うようにしてもよい。
　また、本発明の実施の形態に係る端末装置１は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、端末装置１における各機能を実現するためのプログラムを、コンピュータが読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記録媒体に格納して配布し、このプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合には、アプリケーションのみを記録媒体に格納してもよい。
　本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。
　本出願は、２０１９年７月３１日に出願された、日本国特許出願特願２０１９－１４１６４８号に基づく。本明細書中に日本国特許出願特願２０１９－１４１６４８号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　本発明は、端末装置に好適に利用することができる。
　１　端末装置、１０　通信部、１１　撮影部、１１Ａ　インカメラ、１１Ｂ　メインカメラ、１２　音声入出力部、１２Ａ　スピーカ、１２Ｂ　マイクロフォン、１３　傾き検出部、１４　操作入力部、１５　指紋検出部、１５Ａ　左指紋センサ、１５Ｂ　右指紋センサ、１６　位置検出部、１７　端末記憶部、１８　端末制御部、１９　表示部、２１　プロセッサ、２２　メモリ、２３　表示コントローラ、２４　表示機器、２５　Ｉ／Ｏポート、２６　記憶機器、２７　通信機器、２８　データバス、１７０　認証処理プログラム、１７１　認証用生体情報データベース、１７２　認証用振舞情報データベース、１７３　傾き情報テーブル、１８１　認証用情報取得部、１８２　認証判定部、１８３　認証結果表示部、１８４　認証用情報更新部。

Claims (5)

  1. 　複数の認証情報を取得する認証用情報取得部と、
    　前記認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
    　前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
    　前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報が予め定められた認証閾値を下回る場合に認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以下の場合に、前記認証用情報取得部で取得した二の認証情報に基づいて認証が成功したか否かを判定する、
    　端末装置。
  2. 　前記認証判定部は、さらに、前記一の認証情報が前記認証許容値以上、または、前記二の認証情報に基づく認証を失敗と判定した場合に、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定する、
    　請求項１に記載の端末装置。
  3. 　前記端末装置は、端末装置の傾きの角度を検出する傾き検出部を備え、
    　前記認証判定部、ユーザが前記端末装置を使用している状態で、前記傾き検出部で検出された端末装置の角度が、保存されている角度と異なる場合、または、予め定められた認証間隔の時間が経過した場合、前記認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する、
    　請求項１または２に記載の端末装置。
  4. 　端末装置において実行される情報処理方法であって、
    　複数の認証情報を取得し、
    　取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定し、
    　前記認証が成功したと判定された場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新し、
    　バックグラウンドにおいて、取得した一の認証情報が予め定められた認証閾値を下回る場合に認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以下の場合に、取得した二の認証情報に基づいて認証が成功したか否かを判定する、
    　情報処理方法。
  5. 　コンピュータに、
    　複数の認証情報を取得する処理、
    　取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する処理、
    　前記認証が成功したと判定された場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新する処理、
    　バックグラウンドにおいて、取得した一の認証情報が予め定められた認証閾値を下回る場合に認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以下の場合に、取得した二の認証情報に基づいて認証が成功したか否かを判定する処理、
    　を実行させるためのプログラム。
PCT/JP2020/004582 2019-07-31 2020-02-06 端末装置、情報処理方法、及びプログラム WO2021019807A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020547230A JP6979135B2 (ja) 2019-07-31 2020-02-06 端末装置、情報処理方法、及びプログラム
US17/631,294 US11615171B2 (en) 2019-07-31 2020-02-06 Terminal device, information processing method, and computer-readable recording medium storing program for authentication
CN202080055264.0A CN114207610B (zh) 2019-07-31 2020-02-06 终端装置、信息处理方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-141648 2019-07-31
JP2019141648 2019-07-31

Publications (1)

Publication Number Publication Date
WO2021019807A1 true WO2021019807A1 (ja) 2021-02-04

Family

ID=74230272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004582 WO2021019807A1 (ja) 2019-07-31 2020-02-06 端末装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11615171B2 (ja)
JP (1) JP6979135B2 (ja)
CN (1) CN114207610B (ja)
WO (1) WO2021019807A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230177126A1 (en) * 2021-12-02 2023-06-08 Capital One Services, Llc Dynamic user authentication

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001338295A (ja) * 2000-05-26 2001-12-07 Wens Network Kk 生態情報による本人認証システム
JP2006259925A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証方法、及び被写体認証プログラム
JP2008310743A (ja) * 2007-06-18 2008-12-25 Mitsubishi Electric Corp 顔指複合認証システム
JP2011118561A (ja) * 2009-12-02 2011-06-16 Hitachi Information & Control Solutions Ltd 個人認証装置及び個人認証方法
JP2018507461A (ja) * 2015-01-09 2018-03-15 クアルコム，インコーポレイテッド 連続的および離散的ユーザ認証を提供するモバイルデバイス

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054496A (ja) 2002-07-18 2004-02-19 Niyokai Matsushima 認証再生システム
JP4495545B2 (ja) 2003-09-25 2010-07-07 パナソニック株式会社 不正使用防止装置及び方法
JP4539952B2 (ja) 2003-11-05 2010-09-08 日本電信電話株式会社 情報分散保管システム、その装置、プログラム及び記録媒体
JP2005173930A (ja) 2003-12-10 2005-06-30 Sony Corp 電子機器、認証方法
US9281945B2 (en) * 2003-12-30 2016-03-08 Entrust, Inc. Offline methods for authentication in a client/server authentication system
US20070283418A1 (en) * 2005-02-01 2007-12-06 Florida Atlantic University System, apparatus, and methods for performing state-based authentication
US7567568B2 (en) * 2005-05-24 2009-07-28 The Boeing Company Method and apparatus for user identification in computer traffic
US8943309B1 (en) * 2006-12-12 2015-01-27 Google Inc. Cookie security system with interloper detection and remedial actions to protest personal data
US7930264B2 (en) * 2007-12-06 2011-04-19 First Data Corporation Multi-module authentication platform
US9286742B2 (en) * 2008-03-31 2016-03-15 Plantronics, Inc. User authentication system and method
US8863261B2 (en) * 2008-07-04 2014-10-14 Samsung Electronics Co., Ltd. User authentication apparatus, method thereof and computer readable recording medium
US8464339B2 (en) * 2008-08-12 2013-06-11 Infosys Technologies Limited Method for password based authentication trust generation and authorization thereof
US8448230B2 (en) 2008-08-22 2013-05-21 International Business Machines Corporation System and method for real world biometric analytics through the use of a multimodal biometric analytic wallet
US20100058460A1 (en) * 2008-08-28 2010-03-04 International Business Machines Corporation System and method for authenticating an end user
JP2010074640A (ja) 2008-09-19 2010-04-02 Panasonic Corp 制御端末、制御信号処理装置、および情報管理方法
US9734419B1 (en) * 2008-12-30 2017-08-15 Cognex Corporation System and method for validating camera calibration in a vision system
US8498618B2 (en) * 2009-06-22 2013-07-30 Mourad Ben Ayed Systems for intelligent authentication based on proximity
JP2011008529A (ja) 2009-06-25 2011-01-13 Hitachi Ltd 生体認証装置、生体認証方法およびそのプログラム
WO2011033594A1 (ja) * 2009-09-18 2011-03-24 富士通株式会社 生体認証システム及び制御方法
JP2011193426A (ja) 2010-03-15 2011-09-29 Shinten Sangyo Co Ltd リモコン機能付き携帯電話端末
US8464083B1 (en) * 2010-06-20 2013-06-11 Google Inc. Exiting low-power state without requiring user authentication
US8832810B2 (en) * 2010-07-09 2014-09-09 At&T Intellectual Property I, L.P. Methods, systems, and products for authenticating users
EP2669833A4 (en) 2011-01-27 2014-07-09 Ntt Docomo Inc MOBILE INFORMATION TERMINAL, METHOD FOR SAVING GRIP PROPERTIES, AND METHOD FOR AUTHENTICATING GRIP PROPERTIES
US8839358B2 (en) * 2011-08-31 2014-09-16 Microsoft Corporation Progressive authentication
US9195900B2 (en) * 2011-11-21 2015-11-24 Pixart Imaging Inc. System and method based on hybrid biometric detection
US9119539B1 (en) * 2011-12-23 2015-09-01 Emc Corporation Performing an authentication operation during user access to a computerized resource
JP2013164835A (ja) * 2012-01-13 2013-08-22 Ricoh Co Ltd 認証システム、認証方法、機器、及びプログラム
US8925058B1 (en) * 2012-03-29 2014-12-30 Emc Corporation Authentication involving authentication operations which cross reference authentication factors
US10805523B2 (en) * 2012-05-30 2020-10-13 Easy Printing Network Limited Article authentication apparatus having a built-in light emitting device and camera
US8396265B1 (en) * 2012-06-26 2013-03-12 Google Inc. Facial recognition
US10567376B2 (en) * 2012-08-24 2020-02-18 Sensible Vision, Inc. System and method for providing secure access to an electronic device using multifactor authentication
US8625796B1 (en) * 2012-11-30 2014-01-07 Mourad Ben Ayed Method for facilitating authentication using proximity
US20140282868A1 (en) * 2013-03-15 2014-09-18 Micah Sheller Method And Apparatus To Effect Re-Authentication
US9336372B2 (en) * 2013-10-28 2016-05-10 Tencent Technology (Shenzhen) Company Limited Lost account information recovery method and associated apparatus and system
EP3077999B1 (en) * 2013-12-06 2022-02-02 The ADT Security Corporation Voice activated application for mobile devices
US9456343B1 (en) * 2013-12-18 2016-09-27 Emc Corporation Assessing mobile user authenticity based on communication activity
US11288346B1 (en) * 2014-03-03 2022-03-29 Charles Schwab & Co., Inc. System and method for authenticating users using weak authentication techniques, with differences for different features
JP6404011B2 (ja) * 2014-06-25 2018-10-10 株式会社日立製作所 生体情報を利用する認証システム
JP2016009453A (ja) * 2014-06-26 2016-01-18 オムロン株式会社 顔認証装置および顔認証方法
JP2016040684A (ja) 2014-08-12 2016-03-24 株式会社ディー・ディー・エス 複合認証システム
GB2529632A (en) * 2014-08-26 2016-03-02 Ibm Authentication management
US9560030B2 (en) * 2014-11-07 2017-01-31 Kaiser Foundation Hospitals Nodal random authentication
US10223549B2 (en) * 2015-01-21 2019-03-05 Onion ID Inc. Techniques for facilitating secure, credential-free user access to resources
US9552505B2 (en) * 2015-03-16 2017-01-24 The Code Corporation Barcode reader and barcode reading system having an age verification capability
US10547610B1 (en) * 2015-03-31 2020-01-28 EMC IP Holding Company LLC Age adapted biometric authentication
WO2016175333A1 (ja) 2015-04-30 2016-11-03 真旭 徳山 端末装置およびコンピュータプログラム
US10929550B2 (en) 2015-04-30 2021-02-23 Masaaki Tokuyama Terminal device and computer program
JP6550963B2 (ja) * 2015-06-25 2019-07-31 株式会社リコー 認証システム、画像形成装置、端末装置及びプログラム
US10705723B2 (en) * 2015-11-23 2020-07-07 Verifone, Inc. Systems and methods for authentication code entry in touch-sensitive screen enabled devices
US11341573B1 (en) * 2016-02-04 2022-05-24 United Services Automobile Association (Usaa) Using voice biometrics for trade of financial instruments
US10354126B1 (en) * 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
US10255738B1 (en) * 2016-07-25 2019-04-09 United Services Automobile Association (Usaa) Authentication based on through-body signals detected in body area networks
US11070703B2 (en) * 2016-07-29 2021-07-20 Robert Bosch Tool Corporation 3D printer touchscreen interface lockout
US10455025B2 (en) * 2016-08-02 2019-10-22 Micro Focus Software Inc. Multi-factor authentication
US10318722B2 (en) * 2016-10-31 2019-06-11 International Business Machines Corporation Power charger authorization for a user equipment via a cryptographic handshake
JP6828459B2 (ja) 2017-01-25 2021-02-10 富士ゼロックス株式会社 文書閲覧システム及びプログラム
US10216311B2 (en) * 2017-02-03 2019-02-26 International Business Machines Corporation User authentication
US20180260567A1 (en) * 2017-03-13 2018-09-13 Got Ur 6 Technologies Llc Automatic protection system
US10778450B1 (en) * 2017-04-28 2020-09-15 Wells Fargo Bank, N.A. Gesture-extracted passwords for authenticated key exchange
JP2018190354A (ja) * 2017-05-11 2018-11-29 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、認証手段決定方法及び認証手段決定プログラム
JP6919381B2 (ja) * 2017-07-13 2021-08-18 トヨタ自動車株式会社 認証装置
JP2019021055A (ja) 2017-07-18 2019-02-07 富士ゼロックス株式会社 管理サーバ、データ閲覧システム及びプログラム
US10445487B2 (en) * 2017-07-20 2019-10-15 Singou Technology (Macau) Ltd. Methods and apparatus for authentication of joint account login
JP6819543B2 (ja) * 2017-10-26 2021-01-27 京セラドキュメントソリューションズ株式会社 認証装置
US20190130082A1 (en) * 2017-10-26 2019-05-02 Motorola Mobility Llc Authentication Methods and Devices for Allowing Access to Private Data
US10691781B2 (en) * 2017-10-30 2020-06-23 Qualcomm Incorporated Apparatus and method for device security
EP3709566B1 (en) * 2017-11-10 2023-08-23 Nippon Telegraph And Telephone Corporation Key exchange device, key exchange system, key exchange method, and key exchange program
US10803186B2 (en) * 2017-12-12 2020-10-13 Fmr Llc Systems and methods for dynamic application management
JP7007177B2 (ja) * 2017-12-20 2022-01-24 マクセル株式会社 端末機器、本人認証システムおよび本人認証方法
JP7036582B2 (ja) * 2017-12-22 2022-03-15 株式会社東芝 画像形成装置及び制御方法
US10986123B2 (en) * 2017-12-29 2021-04-20 Paypal, Inc. Passive and active identity verification for online communications
US10728241B2 (en) * 2018-01-26 2020-07-28 Jumio Corporation Triage engine for document authentication
KR102532746B1 (ko) * 2018-02-21 2023-05-16 삼성전자주식회사 전자 장치 및 그 제어 방법
US10931663B2 (en) * 2018-02-26 2021-02-23 Ncr Corporation Terminal authenticated access
US10911464B2 (en) * 2018-04-27 2021-02-02 Oracle International Corporation Framework for multi-level and multi-factor inline enrollment
WO2019236272A1 (en) * 2018-06-04 2019-12-12 Halliburton Energy Services, Inc. Velocity measurement of drilled cuttings on a shaker
US10944742B2 (en) * 2018-08-02 2021-03-09 Bank Of America Corporation Digital integration token
US11967174B2 (en) * 2018-09-11 2024-04-23 Hitachi Kokusai Electric Inc. Verification system and verification server
US10860840B2 (en) * 2018-11-14 2020-12-08 Microsoft Technology Licensing, Llc Face recognition in noisy environments
CN111341284A (zh) * 2018-12-19 2020-06-26 富泰华工业（深圳）有限公司 电子装置及其显示屏亮度调节方法
US11206258B2 (en) * 2018-12-27 2021-12-21 Paypal, Inc. Identity confirmation during authentication requests using nearby mobile computing devices
US11315122B2 (en) * 2019-04-18 2022-04-26 Coolbitx Ltd. Authentication method for e-wallet carrier
US11935059B2 (en) * 2019-05-31 2024-03-19 Visa International Service Association System to reduce false declines using supplemental devices
US20220335111A1 (en) * 2019-07-16 2022-10-20 Nec Corporation Processing management system, processing management apparatus, processing management method, and computer program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001338295A (ja) * 2000-05-26 2001-12-07 Wens Network Kk 生態情報による本人認証システム
JP2006259925A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証方法、及び被写体認証プログラム
JP2008310743A (ja) * 2007-06-18 2008-12-25 Mitsubishi Electric Corp 顔指複合認証システム
JP2011118561A (ja) * 2009-12-02 2011-06-16 Hitachi Information & Control Solutions Ltd 個人認証装置及び個人認証方法
JP2018507461A (ja) * 2015-01-09 2018-03-15 クアルコム，インコーポレイテッド 連続的および離散的ユーザ認証を提供するモバイルデバイス

Also Published As

Publication number Publication date
CN114207610B (zh) 2023-03-24
US20220261462A1 (en) 2022-08-18
CN114207610A (zh) 2022-03-18
JPWO2021019807A1 (ja) 2021-09-13
JP6979135B2 (ja) 2021-12-08
US11615171B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
US20220417359A1 (en) Remote control device, information processing method and recording program
JP6580783B2 (ja) 人物再識別システム及び方法
JP7203955B2 (ja) 顔認識方法および装置
KR20190101841A (ko) 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
WO2017208519A1 (ja) 生体認証装置、携帯端末装置、制御プログラム
JP6979135B2 (ja) 端末装置、情報処理方法、及びプログラム
KR20190100716A (ko) 전자 장치 및 그 제어 방법
US20220286451A1 (en) Information processing system, information processing method, and program
JP6926351B1 (ja) 端末装置、情報処理方法、及びプログラム
JP6946592B1 (ja) 認証システム、認証装置、認証方法、及びプログラム
US10509899B2 (en) Information device operating system, information device operating method and program for operating information device based on authentication
JP6964174B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7015408B1 (ja) 端末装置、情報処理方法、及びプログラム
JP6008660B2 (ja) 情報処理装置、情報処理方法
JP7433018B2 (ja) 情報処理システム、情報処理方法、及びプログラム
JP7012190B1 (ja) 認証装置、認証方法、認証システム、及びプログラム
JP6652664B2 (ja) 端末装置、および制御プログラム
CN110619201A (zh) 一种终端控制方法、终端及计算机可读存储介质
TW201131517A (en) Access control system and computer system

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020547230

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846385

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20846385

Country of ref document: EP

Kind code of ref document: A1