WO2023058424A1 - 端末装置、情報処理方法、及びプログラム - Google Patents

端末装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023058424A1
WO2023058424A1 PCT/JP2022/034511 JP2022034511W WO2023058424A1 WO 2023058424 A1 WO2023058424 A1 WO 2023058424A1 JP 2022034511 W JP2022034511 W JP 2022034511W WO 2023058424 A1 WO2023058424 A1 WO 2023058424A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
value
voice
unit
user
Prior art date
Application number
PCT/JP2022/034511
Other languages
English (en)
French (fr)
Inventor
真旭 徳山
Original Assignee
真旭 徳山
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 真旭 徳山 filed Critical 真旭 徳山
Publication of WO2023058424A1 publication Critical patent/WO2023058424A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Definitions

  • the present invention relates to a terminal device, an information processing method, and a program.
  • Terminal devices usually have an authentication function to prevent unauthorized use, and each function can be used when authentication is successful.
  • authentication processing in addition to general passwords, various biometric information and the like are utilized.
  • Patent Literature 1 discloses a technique for authenticating a user by using the user's voice reading out a character string displayed on a display device.
  • Patent Literature 1 With the technology disclosed in Patent Literature 1, the user needs to read out the character string displayed on the display device each time authentication is performed, in the specified pronunciation, the number of characters, and the like. For this reason, there is a problem that the burden on the user who reads out the character string is heavy. In addition, since the user needs to intentionally perform authentication by stopping other work one by one, there is also a problem that the work efficiency deteriorates.
  • the present invention aims to solve the above-mentioned problems, and aims to provide a terminal device, an information processing method, and a program that can reduce the user's burden and easily authenticate the user.
  • the terminal device includes: an authentication information acquisition unit that acquires a plurality of pieces of authentication information; a voice authentication processing unit that executes processing for creating a voice authentication value for authenticating a user based on voice data among the plurality of authentication information acquired by the authentication information acquisition unit; an authentication determination unit that determines whether or not authentication is successful based on the voice authentication value created by the voice authentication processing unit; with The voice authentication processing unit creates the voice authentication value based on the vocal tract characteristic data obtained from the pitch feature amount indicating the pitch of the sound of the filler contained in the voice data and the voice waveform of the filler.
  • the authentication determination unit determines that authentication is successful when the authentication value of the voice generated by the voice authentication processing unit is less than a predetermined authentication threshold, and the authentication value of the voice is equal to the authentication threshold. In addition, if the authentication threshold is equal to or greater than the authentication allowable value, which is a value including an authentication allowable range value indicating whether or not the user is the real person, it is assumed that the authentication based on the voice authentication value has failed. It is determined whether or not the authentication is successful based on the one authentication information which is the other authentication information acquired by the authentication information acquisition unit.
  • the user can be authenticated based on the filler included in normal speech, so the user's burden can be reduced and the user can be easily authenticated.
  • FIG. 1 is a front view of a terminal device according to Embodiment 1 of the present invention
  • Block diagram of the terminal device shown in FIG. FIG. 2 is a diagram showing an example of the hardware configuration of the terminal device shown in FIG. 1
  • a diagram of an information processing block of the terminal device shown in FIG. Block diagram of the voice authentication determination unit of the information processing block shown in FIG.
  • FIG. 6B A diagram showing a table of the vocal tract characteristic model database of the filler word shown in FIG. 6B A diagram showing a table of the biometric information database for authentication acquired from the terminal device shown in FIG. A diagram showing a table of the behavior information database for authentication acquired from the terminal device shown in FIG. A diagram showing an inclination information table of the terminal device shown in FIG.
  • Flowchart of authentication processing according to the first embodiment A flow chart following the flow chart of authentication processing shown in FIG. 8A Flowchart of face authentication value acquisition processing according to the first embodiment Flowchart of auxiliary authentication processing according to Embodiment 1 Flowchart of voice acquisition processing according to Embodiment 1 Flowchart following the flow chart of the audio acquisition process shown in FIG.
  • the terminal device 1 combines biometric information such as the user's face image, fingerprint, voice, etc., and behavior information based on the user's specific behavior when operating the terminal device 1, operation state, etc. Based on this, the terminal device 1 is a device capable of authenticating the user himself/herself and executing various functions of the terminal device 1 .
  • the voice authentication used in the terminal device 1 can authenticate the user based on fillers included in normal speech, the burden on the user can be reduced and the user can be easily authenticated.
  • the user authentication processing performed in the terminal device 1 is executed in the background while the terminal device 1 is in operation, and by updating the user's biometric information and behavior information, the accuracy of authentication is improved. It is a process that allows
  • the terminal device 1 is a so-called smart phone, and includes an in-camera 11A that captures the user's face in front, a speaker 12A, a microphone 12B that is a microphone for calling, and a tilt that detects the tilt of the terminal device 1.
  • a detection unit 13 a touch panel that also serves as an operation input unit 14 and a display unit 19, a left fingerprint sensor 15A and a right fingerprint sensor 15B that detect the user's fingerprint, and a position detection unit 16 that detects the current position of the terminal device 1.
  • the terminal device 1 has a main camera 11B on the rear surface thereof, which can photograph people, landscapes, objects, etc. seen by the user.
  • the in-camera 11A and the main camera 11B are collectively referred to as the photographing unit 11.
  • the speaker 12A and the microphone 12B which is a microphone for calling, are collectively referred to as the voice input/output unit 12.
  • the left fingerprint sensor 15A and the right fingerprint sensor 15B are collectively referred to as the fingerprint detection unit 15. As shown in FIG.
  • FIG. 2 is a block diagram showing the configuration of the terminal device 1.
  • the terminal device 1 includes a communication unit 10, an imaging unit 11, an audio input/output unit 12, an inclination detection unit 13, an operation input unit 14, a fingerprint detection unit 15, a position detection unit 16, and a terminal storage unit 17. , a terminal control unit 18 , and a display unit 19 .
  • the communication unit 10 communicates with an external server, cloud, or the like via a communication network (not shown), and transmits and receives radio signals for telephone communication between a data communication unit that transmits and receives various data and a base station (not shown). and a voice communication unit for transmitting and receiving.
  • the data communication unit can be configured using a wireless LAN (Local Area Network), Wi-fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the voice communication unit can be configured using a communication device that transmits/receives radio signals for telephone communication to/from the base station.
  • the photographing unit 11 includes the in-camera 11A and the main camera 11B shown in FIG.
  • the imaging unit 11 includes a camera, a video camera, or the like, which uses an imaging element such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor, or a video camera, which shoots a still image or a moving image, and transmits the shot still image or moving image.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the voice input/output unit 12 includes the speaker 12A and the microphone 12B shown in FIG.
  • the speaker 12A outputs audio received in a voice call, music data externally acquired via a communication network, and the like.
  • the microphone 12B is a device that picks up the user's voice.
  • the tilt detection unit 13 is a device that can detect the tilt, shake, etc. of the terminal device 1 .
  • the tilt detection unit 13 can be configured using various sensors that can detect the tilt of the terminal device 1, such as an acceleration sensor, an angle sensor, and a magnetic sensor that detects geomagnetism. It should be noted that the number and types of sensors constituting the tilt detection unit 13 may be either singular or plural.
  • the operation input unit 14 is a device that can input operations from the user shown in FIG.
  • the fingerprint detection unit 15 is a sensor that detects a user's fingerprint. Fingerprint detection unit 15 includes left fingerprint sensor 15A and right fingerprint sensor 15B shown in FIG.
  • the fingerprint detection unit 15 is not limited to the fingerprint sensor, and any sensor, device, or the like that can detect the fingerprint of the user may be used.
  • the position detection unit 16 is a device that can detect the current position of the terminal device 1 .
  • the position detection unit 16 can be configured using a device capable of detecting the current position of the terminal device 1, such as GPS (Global Positioning System).
  • the terminal storage unit 17 stores an authentication processing program 170 for performing user authentication processing, a voice authentication processing program 171 for performing authentication processing by user's voice, and the user's biometric information acquired by the terminal device 1.
  • An authentication biometric information database 172 an authentication behavior information database 173 that summarizes user behavior information acquired by the terminal device 1, an inclination information table 174 for storing the inclination state of the terminal device 1, and a table used for speech recognition. It comprises a word database 175 that stores filler words, a time series model database 176 that stores time series characteristics of filler words, and a vocal tract characteristics model database 177 that stores vocal tract characteristics of filler words.
  • the terminal storage unit 17 stores programs of various applications executed by the terminal device 1 .
  • the authentication processing program 170 is a program that performs processing for authenticating the user based on the user's biometric information and behavior information acquired by the terminal device 1 .
  • the biometric information database for authentication 172 is a database for storing information on user biometric information and authentication values used for authentication.
  • the authentication behavior information database 173 is a database for storing information on user-specific behavior when operating the terminal device 1, conditions for passing authentication, and the like.
  • the behavior peculiar to the user means the behavior when the user operates the terminal device 1, the distance between the screen of the display unit 19 and the user's face, keystrokes, how to hold the terminal device 1, the position where the terminal device 1 is used, and the specific User-specific items such as the number of times a user connects to a communication network, the activation and operation of a specific application, etc.
  • the tilt information table 174 is a table for storing the tilt angle of the terminal device 1 detected by the tilt detection unit 13, the date and time of acquisition, and the waiting time for acquisition.
  • the word database 175 is a database that stores filler words used for speech recognition. A filler is a place-spanning interjection that does not have a specific meaning, such as "ah” or "um” included in an utterance.
  • the time-series model database 176 is a database that stores the time-series characteristics of filler words. Time-series characteristics of filler words are pitch features that indicate the pitch of the sound.
  • the vocal tract characteristics model database 177 is a database that stores vocal tract characteristics of filler words. Note that the authentication processing program 170, the biometric information database for authentication 172, the behavior information database for authentication 173, the tilt information table 174, the word database 175, the time series model database 176, and the vocal tract characteristics model database 177 will be described later in detail.
  • the terminal control unit 18 executes various programs stored in the terminal storage unit 17. Further, the terminal control unit 18 includes the communication unit 10, the imaging unit 11, the voice input/output unit 12, the tilt detection unit 13, the operation input unit 14, the fingerprint detection unit 15, and the position detection unit 16. Data is acquired, processed, and stored in various databases and tables in the terminal storage unit 17 . Further, the terminal control unit 18 can cause the image capturing unit 11 to perform image capturing at an arbitrary timing by transmitting an instruction to image capturing to the image capturing unit 11 .
  • the display unit 19 displays the processing contents of various programs executed by the terminal control unit 18.
  • the display unit 19 can also display images such as still images and moving images captured by the imaging unit 11, data input from the operation input unit 14, and the like.
  • the display unit 19 is laminated on the operation input unit 14 and constitutes the touch panel shown in FIG.
  • the terminal device 1 includes a processor 21 for executing various programs, a memory 22 for developing various programs, a display controller 23 for outputting various display data, a display device 24 for displaying various display data, and a photographing device. 11, an I/O port 25 for connecting the voice input/output unit 12, etc., a storage device 26 for storing various programs and various data, and a communication device 27 for communicating with the outside and transmitting and receiving various data. .
  • the processor 21 , memory 22 , display controller 23 , display device 24 , I/O port 25 , storage device 26 and communication device 27 are interconnected via data bus 28 .
  • the processor 21 reads various programs stored in the storage device 26, develops them in the memory 22, and executes them.
  • the processor 21 can be configured using a processing device such as a CPU (Central Processing Unit) or an MPU (Micro-processing Unit).
  • the memory 22 can be configured using storage elements and storage media such as RAM (Random Access Memory), volatile or non-volatile semiconductor memory such as flash memory.
  • the display controller 23 is a controller that outputs various display data to the display device 24 .
  • the display controller 23 can be configured using a video signal output device such as a video card, GPU (Graphics Processing Unit), or graphic board.
  • the display device 24 can be configured using a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) monitor.
  • the I/O port 25 is a connecting port that can connect the imaging unit 11, the audio input/output unit 12, the tilt detection unit 13, the operation input unit 14, the fingerprint detection unit 15, and the position detection unit 16. is a port.
  • the I/O port 25 can be configured using various ports to which devices can be connected, such as a USB (Universal Serial Bus) port and an IEEE1394 port.
  • USB Universal Serial Bus
  • the storage device 26 is a device that stores various programs executed by the processor 21 and various data to be used by the various programs.
  • the storage device 26 can be configured using storage devices such as HDDs (Hard Disk Drives) and SSDs (Solid State Drives).
  • the communication device 27 communicates with an external server, cloud, etc. via a communication network (not shown), and transmits and receives radio signals for telephone communication between a data communication unit that transmits and receives various data and a base station (not shown). and a voice communication unit for transmitting and receiving.
  • the data communication unit can be configured using a wireless LAN, Wi-fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the voice communication unit can be configured using a communication device that transmits/receives radio signals for telephone communication to/from the base station.
  • the processor 21 described above executes the authentication processing program 170 and the voice authentication processing program 171 stored in the terminal storage unit 17 of the terminal device 1 shown in FIG. blocks are realized.
  • the terminal device 1 recognizes the user based on the biometric information such as the user's face image, fingerprint, voice, etc., and the behavior information such as the behavior specific to the user when operating the terminal device 1 and the operation state.
  • the person can be authenticated and various functions in the terminal device 1 can be executed.
  • the information processing block includes an authentication information acquisition unit 181 that acquires biometric information and behavior information for authentication from the communication unit 10, the imaging unit 11, and the like; and an authentication result display unit 183 for displaying the authentication result on the terminal, and an authentication information update unit 184 for updating information in various databases and tables stored in the terminal storage unit 17 according to instructions from the authentication determination unit 182 .
  • the authentication information acquisition unit 181 acquires biometric information and behavior information for authentication from the communication unit 10, the imaging unit 11, and the like.
  • the authentication determination unit 182 authenticates the user based on the biometric information and behavior information for authentication acquired from the authentication information acquisition unit 181, the authentication value stored in various databases of the terminal storage unit 17, the pass conditions, and the like. I do.
  • Authentication determination unit 182 also includes a voice authentication processing unit 300 that performs voice authentication. Details of the voice authentication processing unit 300 will be described later.
  • the authentication result display unit 183 receives the user's authentication result from the authentication determination unit 182 and causes the display unit 19 to display a message, an image, etc. according to the authentication result.
  • the authentication information update unit 184 updates data stored in various databases and tables stored in the terminal storage unit 17 based on instructions from the authentication determination unit 182 .
  • the biometric information and behavior information acquired by the authentication information acquisition unit 181 are examples of authentication information in the scope of claims. Further, each biometric information acquired by the authentication information acquisition unit 181 is an example of one authentication information and second authentication information in the scope of claims. Each piece of behavior information acquired by the authentication information acquiring unit 181 is an example of the third authentication information in the scope of claims.
  • FIG. 5 is a block diagram showing the configuration of the voice authentication processing section 300 included in the authentication determination section 182 shown in FIG.
  • the voice authentication processing unit 300 includes a word acquisition unit 310 that acquires filler words from the word database 175, a voice waveform cutout unit 311 that cuts out a voice waveform corresponding to the filler, and a time series change that is extracted from the voice waveform.
  • an extraction unit 312 a time-series change matching unit 313 that compares the extracted time-series changes with data stored in the time-series model database 176, a vocal-tract characteristics extraction unit 314 that extracts vocal-tract characteristics from the speech waveform, It includes a vocal tract characteristics matching unit 315 that compares the extracted vocal tract characteristics with data stored in the vocal tract characteristics model database 177, and a voice authentication value creation unit 316 that obtains an authentication value for voice authentication.
  • the word acquisition unit 310 acquires filler words stored in the word database 175 stored in the terminal storage unit 17 .
  • the speech waveform extracting unit 311 extracts speech waveforms corresponding to the filler words obtained by the word obtaining unit 310 from the speech data obtained from the speech input/output unit 12 shown in FIG.
  • the time-series extraction unit 312 extracts time-series changes from the voice waveform cut out by the voice waveform cut-out unit 311 .
  • the time-series change extracted by the time-series extraction unit 312 is a pitch feature amount indicating the pitch of the sound, and is obtained based on the pitch of the voice waveform.
  • the time-series change matching unit 313 compares the pitch feature amount, which is the time-series change extracted by the time-series extraction unit 312, and the corresponding filler words stored in the time-series model database 176 stored in the terminal storage unit 17. Match with the pitch feature quantity.
  • the vocal tract characteristic extraction unit 314 extracts vocal tract characteristic data from the speech waveform extracted by the speech waveform extraction unit 311 .
  • Vocal tract characteristic data are low-order and high-order cepstrum, each of which can be represented by a different quefrency value.
  • the vocal tract characteristics matching unit 315 compares the vocal tract characteristics data extracted by the vocal tract characteristics extraction unit 314 with the voice of the corresponding filler words stored in the vocal tract characteristics model database 177 stored in the terminal storage unit 17. Compare with road characteristics data.
  • a voice authentication value creation unit 316 obtains a voice recognition authentication value based on the matching results of the time series change matching unit 313 and the vocal tract characteristics matching unit 315 .
  • FIG. 6A shows a summary of filler words included in the user's utterance.
  • a filler is a place-by-place insertion word that does not have a specific meaning, such as "ah” or "um” included in an utterance.
  • fillers contained in general spoken words, arbitrary vocabulary defined by the user who uses the terminal device 1, etc. are preset in the table of the word database 175 shown in FIG. 6B as filler words. and Then, the filler words set in the table of the word database 175 are searched from the user's utterance, and the chronological changes and vocal tract characteristics of the filler words that are the search results are extracted.
  • filler words, speech feature amounts of the filler words, and the number of appearances in the user's utterance are associated and stored. It is assumed that the filler word and the speech feature amount of the filler word are set in advance by the user who uses the terminal device 1 . The number of occurrences in the user's utterance counts the number of times the filler word appears in the user's utterance. For example, as shown in FIG. 6B, in the word database 175, the filler word "ah" is associated with the speech feature amount and the appearance count "154". In addition, the word database 175 arranges filler words, speech feature amounts of the words, and the number of appearances in ascending order of the number of appearances.
  • a table of the time series model database 176 is shown in FIG. 6C.
  • the table of the time-series model database 176 associates and stores filler words with pitch feature amounts that are time-series characteristics of the words.
  • the filler words stored in the table of the time-series model database 176 are any number of words in descending order of frequency of appearance among the filler words stored in the table of the word database 175 shown in FIG. 6B. do.
  • the arbitrary number of cases is, for example, 50 cases, 100 cases, etc., which is predetermined by the user who uses the terminal device 1 .
  • the order of appearance frequency is called an appearance rank.
  • the order that matches the arbitrary number of cases will be referred to as the prescribed order.
  • time-series model database 176 for example, as shown in FIG. 6C, "ah”, “ja”, etc. corresponding to the filler words stored in the table of the word database 175 shown in FIG. Together, they are arranged in order from the top and stored in correspondence with the pitch feature amount, which is the time-series characteristic of the word.
  • a table of the vocal tract characteristic model database 177 is shown in FIG. 6D.
  • filler words and quefrency values which are low-order and high-order cepstrum which are vocal tract characteristics of the words, are stored in association with each other.
  • the filler words stored in the table of the vocal tract characteristic model database 177 are the same words as the filler words stored in the table of the time series model database 176 shown in FIG. 6C.
  • the vocal tract characteristics model database 177 for example, as shown in FIG. 6D, "ah”, "ja”, etc. corresponding to the filler words stored in the table of the word database 175 shown in FIG. Together, they are arranged in order from the top, and the vocal tract characteristics of the words are associated and stored.
  • the configurations of the authentication biometric information database 172, the authentication behavior information database 173, and the tilt information table 174 stored in the terminal storage unit 17 will be described below with reference to FIGS. 7A to 7C. explain.
  • types of biometric information such as face and iris, registration information that is biometric information of the user himself/herself, registration information, and registration information shown in FIG.
  • An authentication value obtained by comparing it with the biometric information acquired by the authentication information acquisition unit 181 is stored.
  • the authentication biometric information database 172 stores the average authentication value, the allowable authentication value, and the authentication threshold.
  • the registration information stored in the table of the biometric information database for authentication 172 is the biometric information of the user himself/herself.
  • the registered information is information registered in advance before authentication processing is performed in the terminal device 1, and is updated when the user himself/herself is authenticated. For example, if the type of biometric information is a face, the feature amount obtained from the face image is stored as the registered information. If the type of biometric information is iris, the iris data is stored. are stored.
  • face is an example of first biometric information in the scope of claims.
  • voice is an example of the second biometric information in the scope of claims.
  • the authentication value is a value obtained based on the result of comparing the registered information with the biometric information acquired by the authentication information acquisition unit 181 shown in FIG.
  • the authentication value approaches 0 when the registered information and the biometric information acquired by the authentication information acquisition unit 181 are similar, and approaches 1 when they are not similar.
  • the biometric information database for authentication 172 stores an average authentication value, an authentication threshold that is a threshold for determining the authentication value, and an authentication allowable value including an authentication allowable range value indicating a case where the user is gray in the authentication threshold. and are included.
  • the average authentication value is the average authentication value obtained by comparing the registration information and the biometric information acquired by the authentication information acquisition unit 181 .
  • the average value of the certified values is an example of the first certified value in the scope of claims.
  • the authentication threshold compares the registered information with the biometric information acquired by the authentication information acquisition unit 181, and if the authentication value obtained based on the comparison result is equal to or less than this value, the user is determined to be the user himself/herself. It is a reference value for
  • the authentication threshold is a value that varies according to the authentication status of the user, and the upper limit is set in advance.
  • the upper limit value is a value at which the user should not be authenticated only by the user himself/herself and the biometric information when the upper limit value is exceeded.
  • the default value of the authentication threshold is set to 0.4 between the authentication value 0, which approaches when the registered information and the biometric information acquired by the authentication information acquisition unit 181 are similar, and the authentication value 1, which approaches when they are not similar.
  • the upper limit of the authentication threshold is a value obtained by adding 0.05, which is half of 10% of the authentication value 0 approaching when similar and the authentication value 1 approaching when dissimilar, to the default value of the authentication threshold. , that is, 0.45.
  • the allowable authentication value the registered information is compared with the biometric information acquired by the authentication information acquisition unit 181. If the authentication value obtained based on the result of the comparison is equal to or greater than this value, the user is identified as the user himself/herself. It is a value that serves as a reference for determining that there is no
  • the authentication allowable value is a value including the authentication threshold value including the authentication allowable range value indicating the case where the user is gray as described above. For this reason, the authentication allowable value is a value that fluctuates according to fluctuations in the authentication threshold value and the authentication allowable range value.
  • the allowable authentication value has a predetermined upper limit, which is called the maximum allowable authentication value.
  • the maximum permissible authentication value is a value above which the user should be judged to be a stranger.
  • 0.5 is the middle value between the authentication value 0, which approaches when the registered information and the biometric information acquired by the authentication information acquisition unit 181 are similar, and the authentication value 1, which approaches when they are not similar.
  • the allowable authentication range value is a value indicating whether the user is the user himself/herself or not.
  • the allowable authentication range value it is determined whether or not the user is the real user based only on the biometric information, but includes the behavior information specific to the user. Specifically, if the authentication value is within the allowable authentication range value, and if the behavior information unique to the user meets the pass conditions, the user is authenticated. Also, if the authentication value is within the authentication allowable range value, or if the user-specific behavior information does not match the pass conditions, the user is not authenticated.
  • User authentication based on behavior information is hereinafter referred to as auxiliary authentication.
  • the permissible authentication range value is a predetermined value that is generally considered good for the user if the authentication value falls within this range.
  • the allowable authentication range value is, for example, one of the authentication value 0 approaching when the registered information shown in FIG. 0.08, which is less than 10%. Note that when the authentication threshold reaches the upper limit, the allowable authentication range value becomes a value obtained by subtracting the upper limit of the authentication threshold from the maximum authentication value. For example, if the upper limit of the authentication threshold is 0.45 and the maximum allowable authentication value is 0.5, the allowable authentication range value is 0.05. Therefore, when the authentication threshold is the upper limit, the value of the allowable authentication range value is smaller than when the authentication threshold is not the upper limit.
  • the table of the authentication behavior information database 173 includes types of user behavior such as communication connection and event execution, information obtained by the authentication information obtaining unit 181 shown in FIG. 4, the latest status of each behavior, Passing conditions for each behavior are stored.
  • the behavior type is communication connection, the connection destination address, SSID (Service Set Identifier), BSSID (Basic Service Set Identifier), etc.
  • schedule book Location information such as the name and address of the place where the event is held stored in . Names, IDs (Identifiers), etc. to be indicated are stored, and if the type of behavior is location information, latitude/longitude, address, etc. indicating the current location of the terminal device 1 are stored.
  • the latest status of each behavior is the total number of times the device has been connected to the communication connection destination indicated in the acquired information.
  • the initial value of the total number of times of connection to the communication connection destination is 0, and the number of times is incremented by connecting to the communication connection destination.
  • the type of behavior is event execution, the distance between the location stored in the acquired information and the user's current location is stored.
  • the latest situation stores the average distance between the face and the terminal device 1 that has been calculated when the user has been authenticated. be.
  • the average distance between the face and the terminal device 1 is updated each time the user is authenticated.
  • the initial value of the average distance between the face and the terminal device 1 is the distance obtained when the biometric information shown in FIG. 7A is registered in advance before the terminal device 1 authenticates the user.
  • the latest status stores whether or not it is connected to the device indicated by the name, ID, etc. stored in the acquired information.
  • a device connection is, for example, a connection between a device paired with Bluetooth (registered trademark) and the terminal device 1 .
  • the type of behavior is location information
  • the latest situation stores the latitude/longitude, address, etc. indicating the location where the user was when the user was authenticated.
  • the acceptance condition of each behavior is a predetermined condition that can ensure the reliability of each behavior.
  • the tilt information table 174 stores the angle indicating the tilt of the terminal device 1 acquired from the tilt detection unit 13 shown in FIG. 4, the date and time when the angle was acquired, and the standby time that is the interval for detecting the tilt. are doing.
  • the angle indicating the tilt of the terminal device 1 is acquired from the tilt detection unit 13 by the authentication information acquisition unit 181 shown in FIG. 4 and updated each time the standby time elapses. Also, when updating the angle, the date and time when the angle was acquired is also updated.
  • the terminal device 1 When the terminal device 1 according to the first embodiment completes the initialization process of the post-power-on process or returns from the sleep state, the terminal device 1 enters a locked state in which operation of each function is not permitted until authentication succeeds.
  • the terminal control unit 18 shown in FIG. A program 171 is executed to determine whether or not the user is the user himself/herself. Processing of the authentication processing program 170 and the voice authentication processing program 171 executed by the terminal control unit 18 will be described below with reference to flowcharts of each processing shown in FIGS. 8A to 13B.
  • the authentication determination unit 182 of the terminal control unit 18 shown in FIG. 4 executes face authentication value acquisition processing (step S101).
  • the face authentication value acquisition process will be described below with reference to the flowchart of the face authentication value acquisition process shown in FIG.
  • the authentication determination unit 182 of the terminal control unit 18 sets the number of retries to 0 (step S201).
  • the authentication information acquisition unit 181 shown in FIG. 4 causes the photographing unit 11 to photograph the face of the user operating the terminal device 1 .
  • the authentication information acquisition unit 181 causes the in-camera 11A to take a facial photograph of the user facing the front of the terminal device 1 .
  • the authentication information acquisition unit 181 acquires the photograph of the user's face taken from the photographing unit 11 (step S202).
  • the authentication information acquiring unit 181 determines whether or not the acquired facial photograph of the user is blurry (step S203).
  • the authentication information acquiring unit 181 determines whether or not the user's face can be detected from the user's facial photograph taken by the photographing unit 11 (step S204). ). If the user's face can be detected from the user's facial photograph (step S204; YES), the authentication information acquisition unit 181 obtains the feature amount of the detected user's face image. The authentication information acquisition unit 181 transmits the obtained feature amount of the user's face image to the authentication determination unit 182 shown in FIG.
  • the authentication determination unit 182 acquires the authentication biometric information database 172 stored in the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 retrieves the feature amount of the face image stored in the registration information associated with the “face” among the types of biometric information, and the authentication value from the table of the authentication biometric information database 172 shown in FIG. 7A.
  • the authentication determination unit 182 compares the feature amount of the face image in the registration information acquired from the authentication biometric information database 172 with the feature amount of the face image received from the authentication information acquisition unit 181, and based on the comparison result, Obtain the face authentication value.
  • step S202 determines whether or not the number of retries is less than the prescribed number (step S206). This specified number of times is a predetermined number of retry attempts, and is stored in the terminal storage unit 17 shown in FIG.
  • step S206 If the number of retries is less than the specified number (step S206; YES), the authentication information acquisition unit 181 adds 1 to the number of retries (step S207). The authentication information acquisition unit 181 causes the photographing unit 11 to retry photographing the user's face (step S208).
  • the authentication information acquisition unit 181 causes the authentication determination unit 182 to acquire the face authentication value stored in the terminal storage unit 17 (step S209). . Specifically, the authentication information acquisition unit 181 causes the authentication determination unit 182 to acquire the authentication biometric information database 172 stored in the terminal storage unit 17 shown in FIG. The authentication determination unit 182 acquires the average value of the authentication values associated with "face" among the types of biometric information from the table of the authentication biometric information database 172 shown in FIG. 7A. In addition, if the user's face cannot be detected from the user's face photo, lock the user who is currently operating to prevent further operations, or display a message to the effect that another authentication method will be used. good too.
  • the authentication determination unit 182 ends the face authentication acquisition process. Returning now to FIG. 8A.
  • the authentication determination unit 182 determines whether or not the face authentication value obtained in the face authentication value acquisition process in step S101 is equal to or greater than the authentication threshold value acquired from the authentication biometric information database 172 (step S102). If the face authentication value obtained in the face authentication value obtaining process is equal to or greater than the authentication threshold value (step S102; YES), the authentication determination unit 182 determines that the obtained face authentication value is the authentication allowable value obtained from the authentication biometric information database 172. It is determined whether or not (step S103).
  • step S103 If the obtained face authentication value is equal to or less than the authentication allowable value (step S103; YES), it is gray whether the user using the terminal device 1 is the user himself/herself. Therefore, the authentication determination unit 182 executes auxiliary authentication processing, which is authentication processing based on behavior information (step S104).
  • auxiliary authentication processing which is authentication processing based on behavior information (step S104). The auxiliary authentication process will be described below with reference to the flowchart shown in FIG.
  • the authentication determination unit 182 causes the authentication information acquisition unit 181 shown in FIG. 4 to acquire the currently connected communication connection destination from the communication unit 10 .
  • the authentication determination unit 182 receives the acquired current communication connection destination of the communication unit 10 from the authentication information acquisition unit 181 .
  • the authentication determination unit 182 acquires the authentication behavior information database 173 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 acquires acquisition information, the number of times, and acceptance conditions associated with "communication connection" among the behavior types stored in the table of the authentication behavior information database 173 shown in FIG. 7B.
  • the acquired information for "communication connection” stores the SSIDs ABC_WLAN and 123WLAN.
  • the number of times of connection is stored as 31 times, and the number of times of connection is 100 times or more as a pass condition.
  • the number of times of connection is stored as 157 times, and the number of times of connection is stored as 100 times or more as a pass condition.
  • a reliable one a case that satisfies the passing condition
  • a non-reliable one a case that does not satisfy the passing condition.
  • the authentication determination unit 182 compares the current communication connection destination of the communication unit 10 received from the authentication information acquisition unit 181 with the acquired information acquired from the authentication behavior information database 173, and determines whether the current communication connection destination is reliable. It is determined whether or not it is a communication connection destination (step S301).
  • SSID 123 WLAN is acquired as the current communication connection destination of the communication unit 10 .
  • the authentication determination unit 182 authenticates the user using the terminal device 1 as the user himself/herself.
  • the authentication determination unit 182 makes the authentication interval longer than the current authentication interval (step S302). This is because if the current communication connection destination is a reliable communication connection destination, the user himself/herself is considered to be in a trusted environment such as home or office. In this case, the authentication interval should be set longer than the current authentication interval, the frequency of authentication should be lowered, and authentication should be performed the minimum necessary number of times. Further, the authentication determination unit 182 sets a return value indicating that the auxiliary authentication has been completed (step S303).
  • step S301 for example, it is assumed that the SSID ABC_WLAN has been acquired as the current communication connection destination of the communication unit 10 .
  • ABC_WLAN in the acquisition information of the behavior type "communication connection" stored in the authentication behavior information database 173 has a connection count of 31 times and a pass condition of the connection count of 100 or more. Therefore, the authentication determination unit 182 determines that the current communication connection destination is not a reliable communication connection destination (step S301; NO). In this case, the authentication determination unit 182 determines whether or not a reliable event is currently being executed (step S304).
  • the authentication determination unit 182 acquires the authentication behavior information database 173 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 acquires acquisition information and acceptance conditions associated with "event execution" among the behavior types stored in the table of the authentication behavior information database 173 shown in FIG. 7B. For example, as shown in FIG. 7B, in the acquired information of "execution of event”, “ ⁇ park” and “ ⁇ movie theater” are stored as places where the event is held, and "distance is 100 m” is stored as a pass condition for both. within”.
  • the authentication determination unit 182 compares the current location information acquired from the location detection unit 16 by the information acquisition unit 181 for authentication with the location information of the event location “ ⁇ movie theater” at the current date and time. do. For example, it is assumed that the distance between the current location information and the location information of the event location, ie, “ ⁇ movie theater” is 72 m. This distance is the pass condition "distance within 100 m" in " ⁇ movie theater” of "event execution” shown in FIG. 7B. In this case, the authentication determination unit 182 determines that it is execution of a reliable event (step S304; YES). After that, the authentication determination unit 182 executes steps S302 and S303.
  • the authentication determination unit 182 causes the authentication information acquisition unit 181 to acquire from the operation input unit 14 the details of the event that is being executed immediately before or at present.
  • the authentication determination unit 182 acquires from the calendar provided in the terminal device 1 whether or not there is a schedule on the last day or the current date and time, and the information on the location where the schedule will be held. If there is no schedule immediately before or at the current date and time, the authentication determination unit 182 determines that the event is not a reliable event (step S304; NO). In this case, the authentication determination unit 182 calculates the distance between the face and the terminal device 1 (step S305).
  • step S304 if there is a schedule immediately before or at present, the authentication determination unit 182 causes the authentication information acquisition unit 181 to acquire the current location information from the location detection unit 16.
  • the authentication determination unit 182 compares the current location information acquired from the location detection unit 16 by the authentication information acquisition unit 181 with the location information of “ ⁇ Park”, which is the location of the event held at the current date and time. .
  • step S304 assumes that the execution of the event is not reliable (step S304; NO), and calculates the distance between the face and the terminal device 1 (step S305).
  • the distance between the user's face and the terminal device 1 is calculated based on the proportion of the user's face in the photograph of the user facing the front of the terminal device 1 taken with the in-camera 11A shown in FIG.
  • the authentication determination unit 182 acquires the authentication behavior information database 173 from the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 acquires the average distance and acceptance condition associated with the “distance between the face and the terminal device” among the behavior types stored in the table of the authentication behavior information database 173 shown in FIG. 7B. do.
  • an average distance of 262 mm is stored for the "distance between the face and the terminal device", and plus or minus 20 mm of the average distance is stored as the acceptance condition.
  • the authentication determination unit 182 determines whether or not the distance between the user's face and the terminal device 1 calculated in step S109 is within the set range set as the pass condition acquired from the authentication behavior information database 173 (step S306). . Specifically, the average distance acquired from the authentication behavior information database 173 is 262 mm, and the acceptance condition is plus or minus 20 mm of the average distance, so it is determined whether or not the range is from 242 mm to 282 mm.
  • step S305 If the distance between the user's face and the terminal device 1 calculated in step S305 is within the set range, specifically, if it is within the range of 242 mm to 282 mm (step S306; YES), the authentication determination unit 182 , step S302 and step S303 are executed.
  • the authentication determination unit 182 obtains the current location of the terminal device 1 (step S307). Specifically, the authentication determination unit 182 causes the authentication information acquisition unit 181 shown in FIG. 4 to acquire the latitude and longitude indicating the current location of the terminal device 1 from the position detection unit 16 .
  • the authentication determination unit 182 determines whether or not the latitude and longitude indicating the current location of the terminal device 1 acquired from the position detection unit 16 is within the setting range set as the pass condition of the authentication behavior information database 173 (step S308). Specifically, the authentication determination unit 182 acquires the authentication behavior information database 173 from the terminal storage unit 17 shown in FIG. The authentication determination unit 182 determines the latitude and longitude stored in the latest situation associated with the “location information” among the behavior types stored in the table of the authentication behavior information database 173 shown in FIG. and get.
  • the authentication determination unit 182 obtains the distance based on the difference between the latitude and longitude indicating the current location of the terminal device 1 acquired by the authentication information acquisition unit 181 and the latitude and longitude acquired from the authentication behavior information database 173 .
  • the authentication determination unit 182 determines whether or not the obtained distance is within the set range set as the pass condition of the authentication behavior information database 173 .
  • step S308 If the latitude and longitude indicating the current location of the terminal device 1 is within the setting range set as the pass condition of the authentication behavior information database 173 (step S308; YES), the authentication determination unit 182 executes steps S302 and S303. do. Further, when the latitude and longitude indicating the current location of the terminal device 1 is not within the set range set as the pass condition of the authentication behavior information database 173 (step S308; NO), the authentication determination unit 182 determines that auxiliary authentication could not be performed. is set as a return value (step S309). The authentication determination unit 182 terminates the auxiliary authentication process.
  • the authentication determination unit 182 determines whether or not auxiliary authentication has been completed (step S105). If the auxiliary authentication could not be performed (step S105; NO), the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. ).
  • This keyword is an arbitrary keyword stored in advance in the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 determines whether or not the voice-inputted keyword is correct (step S107). If the voice-inputted keyword is not correct (step S107; NO), the authentication determination section 182 causes the authentication result display section 183 to display a password input request on the display section 19 (step S108). This password is an arbitrary password pre-stored in the terminal storage unit 17 shown in FIG.
  • the authentication determination unit 182 determines whether the entered password is correct (step S109). If the entered password is not correct (step S109; NO), then the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. 4 to display a login screen on the display unit 19. (Step S110). This login screen is for personal authentication by the OS included in the terminal device 1, such as password input and fingerprint authentication.
  • step S102 if the face authentication value obtained in the face authentication value acquisition process is not equal to or greater than the authentication threshold (step S102; NO), if auxiliary authentication is successful in step S105 (step S105; YES), step S107. (step S107; YES), or if the password input in step S109 is correct (step S109; YES), the authentication determination unit 182 executes voice acquisition processing (step S111). .
  • step S102 if the face authentication value obtained in the face authentication value acquisition process is not equal to or greater than the authentication threshold value (step S102; NO), if auxiliary authentication is successful in step S105 (step S105; YES), in other words, for example, this is the case where authentication by the user's face is successful.
  • the terminal device 1 is in a state in which the user's face image can be acquired, such as a state in which the user is holding the terminal device 1 or a state in which the user is operating various functions.
  • step S107 If the keyword input by voice in step S107 is correct (step S107; YES), or if the password input in step S109 is correct (step S109; YES), the keyword or password displayed on the display unit 19
  • the terminal device 1 similarly to the states in steps S102 and S105, the terminal device 1 is in a state in which the user's face image can be acquired, such as being held by the user or being operated by the user with various functions.
  • the state in which the user's face image can be acquired is an example of the first usage state in the claims.
  • the authentication determination unit 182 determines whether or not there is a user's voice (step S401). Specifically, when the authentication information acquisition unit 181 can acquire the user's voice from the voice input/output unit 12 shown in FIG. 4, the authentication determination unit 182 determines that there is a user's voice. If the authentication information acquisition unit 181 cannot acquire the user's voice from the voice input/output unit 12 shown in FIG. 4, the authentication determination unit 182 determines that there is no user's voice.
  • the voice input/output unit 12 is assumed to be the microphone 12B shown in FIG.
  • step S401; NO the authentication determination unit 182 ends the voice acquisition process, as shown in FIG. 11B. If there is a user's voice (step S401; YES), the authentication determination unit 182 sets the recording time to 0 seconds (step S402). The authentication determination unit 182 causes the authentication information acquisition unit 181 to acquire the user's voice from the voice input/output unit 12 shown in FIG. 4 (step S403).
  • the authentication determination unit 182 determines whether or not the recording time has exceeded the specified time (step S404).
  • This prescribed time is the time required to acquire predetermined audio data. For example, an arbitrary time such as 10 seconds or 30 seconds is set.
  • the specified time that has been set is stored in the terminal storage unit 17 .
  • step S404 If the recording time does not exceed the specified time (step S404; NO), the authentication determination unit 182 returns to step S403 and causes the authentication information acquisition unit 181 to acquire the user's voice from the voice input/output unit 12. If the recording time exceeds the prescribed time (step S404; YES), the authentication determination unit 182 loads the word database 175 from the terminal storage unit 17 into the word acquisition unit 310 of the voice authentication processing unit 300 shown in FIG. Acquire (step S405).
  • the word acquisition unit 310 determines whether or not the user's voice data acquired by the authentication information acquisition unit 181 contains filler (step S406). Specifically, the word acquisition unit 310 sequentially searches the acquired data of the user's voice from the beginning to the end. It is determined whether or not the same feature amount is included in the voice data.
  • step S406 If there is no filler in the user's voice data (step S406; NO), the authentication determination unit 182 ends the voice acquisition process, as shown in FIG. 11B. If there is a filler in the user's voice data (step S406; YES), the voice waveform extraction unit 311 of the voice authentication processing unit 300 shown in FIG. , the filler is cut out (step S407). Specifically, the voice waveform cutout unit 311 cuts out the voice waveform of the portion corresponding to the filler word found in step S406 from the user's voice data acquired by the authentication information acquisition unit 181 .
  • the authentication determination unit 182 updates the number of appearances and the order of appearance of filler words (step S408). Specifically, the authentication determination unit 182 adds 1 to the number of appearances of filler words stored in the table of the word database 175 shown in FIG. 6B. Subsequently, the authentication determination unit 182 rearranges the filler word, the speech feature amount of the word, and the number of times of appearance in the word database 175 in ascending order of the number of times of appearance.
  • the authentication determination unit 182 determines whether or not the order of appearance of the filler words cut out in step S407 is within a specified order (step S409). If the order of appearance of the filler words is not within the prescribed order (step S409; NO), the authentication determination unit 182 returns to step S406. Then, the authentication determination unit 182 executes each step after step S406.
  • step S409 when the order of appearance of filler words is within the specified order (step S409; YES), the authentication determination unit 182 instructs the voice waveform extraction unit 311 of the voice authentication processing unit 300 shown in FIG.
  • the extracted speech waveform is transmitted to the time-series change extraction unit 312 of the unit 300 .
  • FIG. 11B The time-series change extraction unit 312 obtains the pitch feature quantity based on the level of the received speech waveform (step S410).
  • the time-series change extraction unit 312 stores the obtained pitch feature amount in the time-series model database 176 of the terminal storage unit 17 shown in FIG. 5 in association with the filler word (step S411).
  • the speech waveform extraction unit 311 transmits the extracted speech waveform to the vocal tract characteristic extraction unit 314 of the speech authentication processing unit 300 shown in FIG.
  • the vocal tract characteristic extraction unit 314 obtains vocal tract characteristic data from the received speech waveform (step S412).
  • the vocal tract characteristic extraction unit 314 stores the obtained vocal tract characteristic data in the vocal tract characteristic model database 177 of the terminal storage unit 17 shown in FIG. 5 in association with filler words (step S413).
  • the authentication determination unit 182 determines whether there is any remaining data of the voice of the user whose filler was determined in step S406 (step S414). For example, it is assumed that the same feature amount as the filler word is included in the middle of the voice data. In this case, since there is remaining audio data (step S414; YES), the process returns to step 406 shown in FIG. 11A. Then, the authentication determination unit 182 executes each step after step S406. Also, for example, it is assumed that the same feature amount as that of the filler word is included at the end of the voice data. In this case, since there is no voice data remaining (step S414; NO), the authentication determination unit 182 terminates the voice acquisition process.
  • the authentication determination unit 182 causes the authentication information update unit 184 shown in FIG. 4 to update various data stored in the authentication biometric information database 172 and the authentication behavior information database 173 shown in FIG. 2 (step S112). .
  • the authentication information updating unit 184 updates the registration information stored in the registration information associated with the biometric information type “face” in the table of the authentication biometric information database 172 shown in FIG. 7A.
  • the feature amount of the face image received by the authentication determination unit 182 from the authentication information acquisition unit 181 is added to the feature amount of the face image, and the registered information is updated.
  • the authentication information updating unit 184 updates the number of times stored in the latest status associated with the behavior type “communication connection” or “event execution” in the table of the authentication behavior information database 173 shown in FIG. 7B. Add 1 to and update. Also, the latest situation associated with the behavior type “distance between the face and the terminal device” stored in the table of the authentication behavior information database 173 shown in FIG. is updated with the average distance obtained from the "distance between the face and the terminal device" calculated in step S305 shown in FIG. Also, the latest situation associated with the behavior type "location information" stored in the table of the authentication behavior information database 173 shown in FIG. Based on the latitude and longitude of the current location of the terminal device 1 acquired in S307, the average latitude and longitude is calculated and updated.
  • the authentication determination unit 182 determines whether or not biometric authentication and auxiliary authentication have been successful for a predetermined set number of times (step S113).
  • the set number of times is an arbitrary number, such as 10 times in succession, or 20 times in total after the terminal device 1 is activated. If the biometric authentication and the auxiliary authentication are successful for the set number of times (step S113; YES), the authentication determination unit 182 obtains the average face authentication value obtained by the set number of authentications (step S114). .
  • the authentication determination unit 182 acquires the authentication biometric information database 172 shown in FIG.
  • the authentication determination unit 182 acquires the average value of the authentication values associated with "face" among the types of biometric information from the table of the authentication biometric information database 172 shown in FIG. 7A.
  • the authentication determination unit 182 adds the face authentication value obtained in step S101 and the average authentication value acquired from the authentication biometric information database 172, divides the result by 2, and calculates the average face authentication value. Also, if the biometric authentication and auxiliary authentication have not been successful for the predetermined set number of times (step S113; NO), the process from step S114 to step S116 is skipped, and the process proceeds to step S117.
  • the authentication determining unit 182 transmits the average face authentication value obtained in step S114 to the authentication information updating unit 184.
  • the authentication information updating unit 184 compares the received average value of face authentication values with a preset upper limit value of the authentication threshold. When the average face authentication value is equal to or greater than the upper limit of the authentication threshold set in advance, the authentication information update unit 184 updates the biometric information type in the table of the authentication biometric information database 172 shown in FIG. 7A. The upper limit value of the authentication threshold value is written in the authentication threshold value associated with "face" and updated.
  • the authentication information updating unit 184 updates the authentication threshold (step S115). Specifically, in step S114, the authentication information update unit 184 adds the value to the authentication threshold value associated with "face" among the types of biometric information in the table of the authentication biometric information database 172 shown in FIG. 7A. The average face authentication value obtained is written to update the authentication threshold.
  • the authentication information updating unit 184 updates the authentication allowable value (step S116). Specifically, when the average face authentication value obtained in step S114 is equal to or greater than the upper limit of the authentication threshold set in advance, the authentication information updating unit 184 updates the preset maximum allowable authentication value. Acceptable value for certification. If the average value of face authentication values obtained in step S114 is equal to or lower than the upper limit value of the authentication threshold set in advance, the average value of face authentication values obtained in step S114 and the default authentication allowable range value If the added value is less than or equal to the maximum certification allowable value, the added value is taken as the certification allowable value. If the sum of the average face authentication value obtained in step S114 and the default authentication allowable range value is equal to or greater than the maximum authentication allowable value, the maximum authentication allowable value is set as the authentication allowable value.
  • the authentication information updating unit 184 acquires the authentication biometric information database 172 shown in FIG.
  • the authentication information update unit 184 adds the obtained authentication allowable value to the authentication allowable value column associated with "face" among the types of biometric information in the table of the authentication biometric information database 172 shown in FIG. 7A. write and update.
  • the authentication information acquisition unit 181 shown in FIG. 4 acquires the tilt angle of the terminal device 1 from the tilt detection unit 13 . Subsequently, the authentication information acquisition unit 181 acquires current date and time information from a timer (not shown) (step S117). The authentication information acquisition unit 181 transmits the acquired inclination angle of the terminal device 1 and the current date and time information to the authentication determination unit 182 .
  • the authentication determination unit 182 transmits the received tilt angle of the terminal device 1 and the current date and time information to the authentication information update unit 184 .
  • the authentication information update unit 184 writes and saves the received tilt angle of the terminal device 1 and the current date and time information in the tilt information table 174 stored in the terminal storage unit 17 shown in FIG. 2 (step S118). ).
  • the authentication determination unit 182 acquires the standby time stored in the tilt information table 174 shown in FIG. 7C.
  • the authentication determination unit 182 transmits the acquired standby time to the authentication information acquisition unit 181 .
  • the authentication information acquisition unit 181 waits for acquisition of data from the communication unit 10, the imaging unit 11, and the like during the received standby time (step S119).
  • the authentication information acquisition section 181 acquires the tilt angle of the terminal device 1 from the tilt detection section 13 . Subsequently, the authentication information acquisition unit 181 acquires current date and time information from a timer (not shown) (step S120). The authentication information acquisition unit 181 transmits the acquired inclination angle of the terminal device 1 and the current date and time information to the authentication determination unit 182 .
  • the authentication determination unit 182 acquires the angle of the terminal device 1 stored in the tilt information table 174 shown in FIG. 7C.
  • the authentication determination unit 182 compares the inclination angle of the terminal device 1 received from the authentication information acquisition unit 181 with the angle of the terminal device 1 acquired from the inclination information table 174, and determines whether the angle has changed. is determined (step S121).
  • step S121 If the change in the angle of the terminal device 1 is greater than or equal to a predetermined set value, for example, 30 degrees (step S121; NO), the authentication determination unit 182 determines that the user has moved the terminal device 1 and performed some operation. is performed, and the process returns to step S101 shown in FIG. 8A. After that, the authentication determination unit 182 executes the processes after step S101.
  • a predetermined set value for example, 30 degrees
  • step S121 determines that the change in the angle of the terminal device 1 is equal to or less than the angle of the predetermined set value.
  • the authentication determination unit 182 determines that the terminal device 1 has not been moved by the user. Subsequently, the authentication determination unit 182 determines whether or not it is time to authenticate the user (step S122).
  • the timing of authenticating the user is the timing when the preset authentication interval has elapsed.
  • step S122 If it is time to authenticate the user (step S122; YES), the authentication determination unit 182 returns to step S101 shown in FIG. 8A. After that, the authentication determination unit 182 executes the processes after step S101. If it is not time to authenticate the user (step S122; NO), the authentication determination unit 182 returns to step S118. After that, the authentication determination unit 182 executes steps S118 to S122.
  • step S103 if the face authentication value obtained by the authentication determination unit 182 is not equal to or less than the authentication allowable value acquired from the biometric information database for authentication 172 (step S103; NO), the authentication determination unit 182 starts voice authentication processing. Execute (step S123).
  • this face authentication value is not equal to or less than the authentication allowable value acquired from the biometric information database 172 for authentication, in other words, authentication using the user's face has failed.
  • the terminal device 1 is used in a bag, pocket, or the like, authentication by the user's face fails because the user's face image is not acquired.
  • the terminal device 1 is used hands-free from a remote position, even if the user's face image can be acquired, the image of the user's face is unclear, or the image of the user's face in the image is too small, resulting in the face authentication value.
  • Authentication by the user's face fails because In this case, by switching to the authentication by the user's voice, the user can be stably authenticated as the person himself/herself.
  • the state in which the authentication is switched to the user's voice is an example of the second use state in the scope of claims.
  • the authentication determination unit 182 determines whether or not there is a user's voice (step S501). Specifically, when the authentication information acquisition unit 181 can acquire the user's voice from the voice input/output unit 12 shown in FIG. 4, the authentication determination unit 182 determines that there is a user's voice. If the authentication information acquisition unit 181 cannot acquire the user's voice from the voice input/output unit 12 shown in FIG. 4, the authentication determination unit 182 determines that there is no user's voice.
  • the voice input/output unit 12 is assumed to be the microphone 12B shown in FIG.
  • step S501 If the user does not speak (step S501; NO), the authentication determination unit 182 sets the return value to the effect that voice authentication was not possible (step S509). If there is a user's voice (step S501; YES), the authentication determination unit 182 causes the authentication information acquisition unit 181 shown in FIG. 4 to acquire the user's voice from the voice input/output unit 12 (step S502). . The authentication determination unit 182 causes the voice authentication processing unit 300 shown in FIG. 4 to execute voice authentication value acquisition processing (step S503). The voice authentication value acquisition process will be described below with reference to the flowcharts shown in FIGS. 13A and 13B.
  • the word acquisition unit 310 of the voice authentication processing unit 300 shown in FIG. 5 acquires the word database 175 from the terminal storage unit 17 shown in FIG. 5 (step S601).
  • the word acquisition unit 310 determines whether or not the user's voice data acquired by the authentication information acquisition unit 181 in step S502 of FIG. 12 includes filler (step S602). Specifically, the word acquisition unit 310 sequentially searches the acquired data of the user's voice from the beginning to the end. It is determined whether or not the same feature amount is included in the audio data.
  • step S602 If there is no filler in the user's voice data (step S602; NO), the process moves to step S613 in FIG. 13B.
  • the authentication determination unit 182 sets, as an authentication value, a value larger than the authentication allowable value associated with the biometric information type "voice" stored in the table of the authentication biometric information database 172 shown in FIG. 7A (step S613). This makes it impossible to perform personal authentication by voice.
  • a value larger than the authentication allowable value is obtained by adding 0.1 to the authentication allowable value associated with the biometric information type “voice” stored in the table of the authentication biometric information database 172 shown in FIG. 7A, for example. value. Note that the value to be added is an arbitrary value.
  • the voice authentication value creation unit 316 ends the voice authentication value acquisition process.
  • step S602 If there is a filler in the user's voice data (step S602; YES), the voice waveform extraction unit 311 of the voice authentication processing unit 300 shown in FIG. , the filler is cut out (step S603). Specifically, the speech waveform extraction unit 311 extracts the speech waveform of the portion corresponding to the filler word found in step S602 from the user's speech data acquired by the authentication information acquisition unit 181 .
  • the authentication determination unit 182 updates the number of appearances and the order of appearance of filler words (step S604). Specifically, the authentication determination unit 182 adds 1 to the number of appearances of filler words stored in the table of the word database 175 shown in FIG. 6B. Subsequently, the authentication determination unit 182 rearranges the filler word, the speech feature amount of the word, and the number of times of appearance in the word database 175 in ascending order of the number of times of appearance.
  • the authentication determination unit 182 determines whether or not the order of appearance of the filler words cut out in step S603 is within a specified order (step S605). If the order of appearance of filler words is not within the specified order (step S605; NO), the authentication determination unit 182 returns to step S602. Then, the authentication determination unit 182 executes each step after step S602.
  • step S605 when the order of appearance of filler words is within the specified order (step S605; YES), the authentication determination unit 182 instructs the voice waveform extraction unit 311 of the voice authentication processing unit 300 shown in FIG.
  • the extracted speech waveform is transmitted to the time-series change extraction unit 312 of the unit 300 .
  • FIG. 13B The time-series change extraction unit 312 obtains the pitch feature quantity based on the level of the received speech waveform (step S606).
  • the time-series change matching unit 313 acquires the time-series model database 176 from the terminal storage unit 17 shown in FIG.
  • the time-series change matching unit 313 acquires pitch feature amount data of filler words corresponding to the speech waveform extracted in step S603 from the table of the time-series model database 176 shown in FIG. 6C (step S607).
  • the time-series change matching unit 313 compares the pitch feature data obtained from the time-series change extraction unit 312 with the pitch feature data obtained from the time-series model database 176 in step S607 (step S608). Subsequently, the speech waveform extraction unit 311 transmits the speech waveform extracted in step S603 to the vocal tract characteristic extraction unit 314 of the speech authentication processing unit 300 shown in FIG. The vocal tract characteristic extraction unit 314 obtains vocal tract characteristic data from the received speech waveform (step S609).
  • the vocal tract characteristic extraction unit 314 transmits vocal tract characteristic data to the vocal tract characteristic matching unit 315 of the voice authentication processing unit 300 .
  • the vocal tract characteristics matching unit 315 acquires the vocal tract characteristics model database 177 from the terminal storage unit 17 shown in FIG.
  • the vocal tract characteristics matching unit 315 acquires the vocal tract characteristics data of the filler word corresponding to the speech waveform extracted in step S603, stored in the table of the vocal tract characteristics model database 177 shown in FIG. 6D (step S610).
  • the vocal tract characteristics matching unit 315 compares the vocal tract characteristics data acquired from the vocal tract characteristics extraction unit 314 with the vocal tract characteristics data acquired from the vocal tract characteristics model database 177 in step S610 (step S611).
  • the voice authentication value creation unit 316 of the voice authentication processing unit 300 shown in FIG. is obtained (step S612).
  • the voice authentication value creation unit 316 ends the voice authentication value acquisition process.
  • the authentication determination unit 182 determines whether or not the voice authentication value obtained in step S503 is equal to or greater than the authentication threshold (step S504). If the voice authentication value is greater than or equal to the authentication threshold (step S504; YES), the authentication determination unit 182 determines whether or not the voice authentication value is less than or equal to the allowable authentication value (step S505). If the voice authentication value is not equal to or greater than the authentication threshold (step S504; NO), the authentication determination unit 182 sets the return value to the effect that voice authentication was successful (step S508).
  • step S506 If the voice authentication value is equal to or less than the authentication allowable value (step S505; YES), the authentication determination unit 182 executes auxiliary authentication processing (step S506). As for the auxiliary authentication process, the process of the flowchart shown in FIG. 10 is executed. If the voice authentication value is not equal to or less than the authentication allowable value (step S505; NO), the authentication determination unit 182 sets the return value to the effect that voice authentication was not possible (step S509).
  • the authentication determination unit 182 determines whether or not auxiliary authentication has been completed (step S507). If the auxiliary authentication is successful (step S507; YES), the authentication determination unit 182 sets the return value to the effect that the voice authentication is successful (step S508). If the auxiliary authentication is not possible (step S507; NO), the authentication determination unit 182 sets the return value to the effect that the voice authentication was not possible (step S509). Authentication determination unit 182 terminates the voice authentication process.
  • the authentication determination unit 182 determines whether or not the voice authentication is successful (step S124). If voice authentication is successful (step S124; YES), the authentication determination unit 182 updates the voice authentication value (step S125). Specifically, the authentication determination unit 182 stores the average value of the authentication values associated with the biometric information type “voice” stored in the table of the authentication biometric information database 172 shown in FIG. The voice authentication values obtained in step S612 are added and divided by 2 to obtain an average value. The authentication determination unit 182 stores the obtained average value of the voice authentication values in the table of the biometric information database for authentication 172 shown in FIG. 7A.
  • the authentication determination unit 182 updates the time series model database 176 and the vocal tract characteristics model database 177 stored in the terminal storage unit 17 shown in FIG. 5 (step S126). Specifically, authentication determination unit 182 causes time-series extraction unit 312 of voice authentication processing unit 300 shown in FIG. 176 is stored in association with the filler word.
  • the authentication determination unit 182 causes the vocal tract characteristics extraction unit 314 of the voice authentication processing unit 300 shown in FIG. are stored in association with the words of The authentication determination unit 182 returns to step S101 and executes the processes after step S101.
  • step S124 if the voice authentication fails (step S124; NO), the authentication determination unit 182 determines that the user using the terminal device 1 is not the user himself/herself.
  • the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. 4 to display on the display unit 19 that the authentication has failed.
  • the authentication determination unit 182 calls existing biometric authentication means provided in the terminal device 1 .
  • fingerprint authentication is called as an existing biometric authentication means.
  • Authentication determination unit 182 executes fingerprint authentication (step S127).
  • biometric information used in the existing biometric authentication means provided in the terminal device 1 is an example of the fourth authentication information in the scope of claims.
  • the authentication information acquisition unit 181 causes the photographing unit 11 to photograph the face of the user operating the terminal device 1 according to the instruction from the authentication determination unit 182.
  • the authentication information acquisition unit 181 acquires the image of the user's facial photograph taken from the imaging unit 11, and obtains the feature amount of the user's facial image.
  • the authentication information acquisition unit 181 transmits the requested feature amount of the user's face image to the authentication determination unit 182 .
  • the authentication determining unit 182 transmits the received feature amount of the user's face image to the authentication information updating unit 184 shown in FIG.
  • the authentication information update unit 184 stores the received feature amount of the user's face image in the registration information associated with the biometric information type "face" in the table of the authentication biometric information database 172 shown in FIG. 7A. In addition to the feature amount of the face image that has been set, it is updated (step S129). The authentication determination unit 182 returns to step S101 and executes steps after step S101.
  • the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. 4 to display the login screen on the display unit 19 (step S110).
  • This login screen is for personal authentication by the OS included in the terminal device 1, such as password input and fingerprint authentication.
  • the authentication value obtained from the biometric information and the authentication threshold are the same value, the authentication value obtained from the biometric information is equal to or less than the authentication threshold, or In whichever case the obtained authentication value is greater than or equal to the authentication threshold, it may be determined whether or not the authentication is successful. Also, if the authentication value obtained from the biometric information and the authentication allowable value are the same value, the authentication value obtained from the biometric information is less than the authentication allowable value, or the authentication value obtained from the biometric information is less than the authentication allowable value. In either case of greater than or equal to the authentication tolerance, it may be determined whether the authentication was successful.
  • the terminal device 1 has biometric information such as the user's face image, fingerprint, voice, etc., and the specific behavior and operation state when the user operates the terminal device 1. Based on the behavior information, the user can be authenticated and various functions of the terminal device 1 can be executed. In particular, since the voice authentication used in the terminal device 1 can authenticate the user based on fillers included in normal speech, the burden on the user can be reduced and the user can be easily authenticated.
  • the user's voice can be used to authenticate the user. shall be able to authenticate As a result, the user can be stably authenticated regardless of the state of use of the terminal device 1 .
  • the user authentication processing performed in the terminal device 1 is executed in the background while the terminal device 1 is in operation, and by updating the user's biometric information and behavior information, the accuracy of authentication is improved. can be made As a result, security can be ensured without burdening the user with operations.
  • Embodiment 2 In Embodiment 1, when the user cannot be authenticated by the face image of the user, the user can be authenticated by the user's voice. Without being limited to this, when the user cannot be authenticated by the user's voice, the user may be authenticated by the image of the user's face. As a result, authentication can be performed even if the type and order of the biometric information for authenticating the user are changed, so that convenience for the user can be improved. This authentication processing will be described below as the authentication processing of the second embodiment.
  • the terminal device 1 When the terminal device 1 according to the second embodiment completes the initialization process of the post-power-on process or returns from the sleep state, the terminal device 1 enters a locked state in which operation of each function is not permitted until authentication succeeds.
  • the terminal control unit 18 shown in FIG. A program 171 is executed to determine whether or not the user is the user himself/herself. Processing of the authentication processing program 170 and the voice authentication processing program 171 executed by the terminal control unit 18 will be described below with reference to flowcharts of each processing shown in FIGS. 14A to 16 .
  • the terminal control unit 18 shown in FIG. 4 executes voice authentication value acquisition processing (step S701).
  • the voice authentication value acquisition process will be described below with reference to the flowchart of the voice authentication value acquisition process shown in FIG.
  • the authentication determination unit 182 determines whether or not there is a user's voice (step S801). Specifically, when the authentication information acquisition unit 181 can acquire the user's voice from the voice input/output unit 12 shown in FIG. 4, the authentication determination unit 182 determines that there is a user's voice. If the authentication information acquisition unit 181 cannot acquire the user's voice from the voice input/output unit 12 shown in FIG. 4, the authentication determination unit 182 determines that there is no user's voice.
  • the voice input/output unit 12 is assumed to be the microphone 12B shown in FIG.
  • the authentication information acquisition unit 181 instructs the authentication determination unit 182 to tell the authentication determination unit 182 that the type of biometric information stored in the table of the authentication biometric information database 172 shown in FIG. ” is set as an authentication value (step S804).
  • a value larger than the authentication allowable value is, for example, a value obtained by adding 0.1 to the authentication allowable value associated with the biometric information type “voice” stored in the table of the authentication biometric information database 172 . Note that the value to be added is an arbitrary value.
  • the authentication determination unit 182 ends the voice authentication value acquisition process. If the user's utterance cannot be detected, it may be possible to lock the currently operating user so that no further operations are allowed, or to display a message to the effect that another authentication method is to be used.
  • the authentication determination unit 182 causes the authentication information acquisition unit 181 shown in FIG. 4 to acquire the user's voice from the voice input/output unit 12 (step S802). .
  • the authentication determination unit 182 causes the voice authentication processing unit 300 shown in FIG. 4 to execute voice authentication value acquisition processing (step S803).
  • steps S601 to S613 in the flowcharts shown in FIGS. 13A and 13B are executed.
  • Authentication determination unit 182 ends the voice authentication value acquisition process.
  • the authentication determination unit 182 determines whether or not the voice authentication value obtained in the voice authentication value acquisition process is equal to or greater than the authentication threshold value acquired from the authentication biometric information database 172 (step S702). If the voice authentication value obtained in the voice authentication value obtaining process is equal to or greater than the authentication threshold value (step S702; YES), the authentication determination unit 182 determines that the obtained voice authentication value is equal to the authentication allowable value obtained from the authentication biometric information database 172. It is determined whether or not (step S703).
  • step S703 If the obtained voice authentication value is equal to or less than the authentication allowable value (step S703; YES), it is gray whether the user using the terminal device 1 is the user himself/herself. Therefore, the authentication determination unit 182 executes auxiliary authentication processing, which is authentication processing based on behavior information (step S704). As for the auxiliary authentication processing, steps S301 to S309 in the flowchart shown in FIG. 10 are executed.
  • the authentication determination unit 182 executes steps S705 to S710. Steps S705 to S710 are the same as steps S105 to S110 shown in FIG. 8A.
  • step S702 if the voice authentication value obtained in the voice authentication value acquisition process is not equal to or greater than the authentication threshold (step S702; NO), if auxiliary authentication is successful in step S705 (step S705; YES), voice authentication is performed in step S707. If the entered keyword is correct (step S707; YES), or if the password entered in step S709 is correct (step S709; YES), the authentication determination unit 182 stores the password in the terminal storage unit 17 shown in FIG. The time series model database 176 and the vocal tract characteristics model database 177 are updated (step S711). Specifically, authentication determination unit 182 causes time-series extraction unit 312 of voice authentication processing unit 300 shown in FIG. 176 is stored in association with the filler word. Further, the authentication determination unit 182 sends the vocal tract characteristics data obtained in step S609 shown in FIG. 13B to the vocal tract characteristics extraction unit 314 of the voice authentication processing unit 300 shown in FIG. are associated with filler words and stored.
  • the authentication determination unit 182 causes the authentication information update unit 184 shown in FIG. 4 to update various data stored in the authentication biometric information database 172 and the authentication behavior information database 173 shown in FIG. 2 (step S712). .
  • the authentication information updating unit 184 updates the registration information stored in the registration information associated with the biometric information type “face” in the table of the authentication biometric information database 172 shown in FIG. 7A.
  • the feature amount of the face image received by the authentication determination unit 182 from the authentication information acquisition unit 181 is added to the feature amount of the face image, and the registered information is updated.
  • the authentication information updating unit 184 updates the number of times stored in the latest status associated with the behavior type “communication connection” or “event execution” in the table of the authentication behavior information database 173 shown in FIG. 7B. Add 1 to and update. Also, the latest situation associated with the behavior type “distance between the face and the terminal device” stored in the table of the authentication behavior information database 173 shown in FIG. is updated with the average distance obtained from the "distance between the face and the terminal device" calculated in step S305 shown in FIG. Also, the latest situation associated with the behavior type "location information" stored in the table of the authentication behavior information database 173 shown in FIG. Based on the latitude and longitude of the current location of the terminal device 1 acquired in S307, the average latitude and longitude is calculated and updated.
  • the authentication determination unit 182 executes steps S713 to S722 of the flowchart shown in FIG. 14B.
  • the processing from step S713 to step S722 is the same as the processing from step S113 to step S122 of the flowchart shown in FIG. 8B.
  • step S703 if the voice authentication value obtained by the authentication determination unit 182 is not equal to or less than the authentication allowable value acquired from the biometric information database for authentication 172 (step S103; NO), the authentication determination unit 182 performs face authentication processing. Execute (step S723). Face authentication processing will be described below with reference to the flowchart shown in FIG.
  • the authentication determination unit 182 executes face authentication value acquisition processing (step S901). For face authentication value acquisition processing, steps S201 to S209 in the flowchart shown in FIG. 9 are executed.
  • the authentication determination unit 182 determines whether or not the face authentication value obtained in the face authentication value acquisition process in step S901 is equal to or greater than the authentication threshold value acquired from the authentication biometric information database 172 (step S902). If the face authentication value is not equal to or greater than the authentication threshold (step S902; NO), the authentication determination unit 182 proceeds to step S906 and sets a return value indicating that the face authentication process has been completed (step S906). If the face authentication value is greater than or equal to the authentication threshold value (step S902; YES), the authentication determination unit 182 determines whether the obtained face authentication value is less than or equal to the authentication allowable value acquired from the authentication biometric information database 172. (Step S903).
  • step S903 If the face authentication value obtained by the authentication determination unit 182 is not equal to or less than the authentication allowable value acquired from the biometric information database for authentication 172 (step S903; NO), the authentication determination unit 182 proceeds to step S907 to perform face authentication processing. A return value is set to the effect that the operation could not be performed (step S907).
  • step S903 If the face authentication value obtained by the authentication determination unit 182 is equal to or less than the authentication allowable value acquired from the authentication biometric information database 172 (step S903; YES), the authentication determination unit 182 executes auxiliary authentication processing. (step S904).
  • steps S301 to S309 in the flowchart shown in FIG. 10 are executed.
  • the authentication determination unit 182 determines whether or not auxiliary authentication has been completed (step S905). If the auxiliary authentication is successful (step S905; YES), the authentication determination unit 182 sets a return value indicating that the face authentication process was successful (step S906). Also, if auxiliary authentication could not be performed (step S905; NO), the authentication determination unit 182 sets a return value to the effect that face authentication processing could not be performed (step S907). Authentication determination unit 182 terminates the face authentication process.
  • the authentication determination unit 182 determines whether or not face authentication has been successfully performed (step S724). If face authentication is successful (step S724; YES), the authentication determination unit 182 updates the face authentication value (step S725). Specifically, first, the authentication determination unit 182 acquires the average value of authentication values associated with “face” among the types of biometric information from the table of the authentication biometric information database 172 shown in FIG. 7A. . Subsequently, the authentication determination unit 182 adds the obtained average face authentication value to the face authentication value obtained in the face authentication processing in step S723, divides the result by 2, and calculates the average face authentication value. .
  • the authentication determining unit 182 calculates the average value of the authentication values of the face as the average value of the authentication values associated with “face” among the types of biometric information in the table of the authentication biometric information database 172 shown in FIG. 7A. Fill in the column and update.
  • the authentication determination unit 182 executes voice acquisition processing (step S726). As for the voice acquisition processing, steps S401 to S414 in the flowcharts shown in FIGS. 11A and 11B are executed.
  • step S724 if face authentication fails (step S724; NO), the authentication determination unit 182 determines that the user using the terminal device 1 is not the user himself/herself.
  • the authentication determination unit 182 causes the authentication result display unit 183 shown in FIG. 4 to display on the display unit 19 that the authentication has failed. Subsequently, the authentication determination unit 182 calls existing biometric authentication means provided in the terminal device 1 . Here, it is assumed that fingerprint authentication is called as an existing biometric authentication means.
  • Authentication determination unit 182 executes fingerprint authentication (step S727).
  • the authentication determination unit 182 executes steps S728 and S729.
  • the processes of steps S728 and S729 are the same as the processes of steps S128 and S129 shown in FIG. 8A.
  • the authentication determination unit 182 returns to step S701 and executes steps after step S701.
  • the authentication value obtained from the biometric information is Whether the authentication is successful or not may be determined whether the authentication value is equal to or less than the authentication threshold value or the authentication value obtained from the biometric information is equal to or greater than the authentication threshold value. Also, if the authentication value obtained from the biometric information and the authentication allowable value are the same value, the authentication value obtained from the biometric information is less than the authentication allowable value, or the authentication value obtained from the biometric information is less than the authentication allowable value. In either case of greater than or equal to the authentication tolerance, it may be determined whether the authentication was successful.
  • the terminal device 1 according to the second embodiment has the effect that the user himself/herself can be authenticated by the user's voice when the user himself/herself cannot be authenticated by the face image of the user himself/herself. can be authenticated. As a result, authentication can be performed even if the type and order of the biometric information for authenticating the user are changed, so that convenience for the user can be improved.
  • Embodiments 1 and 2 described above authentication using a user's face image, voice authentication, and fingerprint authentication are used as authentication based on the user's biometric information.
  • the authentication based on the user's biometric information may be any method such as finger vein authentication or iris authentication.
  • authentication based on the user's face image and voice authentication are used as conditions for determining whether to use auxiliary authentication. can be
  • the user authentication processing is realized by executing the authentication processing program 170 shown in FIG. All or part of each step performed by the authentication processing program 170 is realized by a semiconductor chip such as an ASIC (Application Specific Integrated Circuit), a system LSI (Large-scale Integration), or a circuit composed of various circuit elements. You may do so.
  • ASIC Application Specific Integrated Circuit
  • LSI Large-scale Integration
  • connection to a trusted connection destination In Embodiments 1 and 2 above, connection to a trusted connection destination, execution of a trusted event, and distance between the user's face and the terminal device 1 are used as the determination conditions for auxiliary authentication. It is not limited to this, and other methods may be used or included. For example, it is determined whether or not a device owned by the user himself/herself is connected to the terminal device 1 via Bluetooth (registered trademark), and if there is a connection, the user is authenticated. In order to use devices connected by Bluetooth (registered trademark), it is necessary to "pair" the devices with each other.
  • Bluetooth registered trademark
  • connection of devices by Bluetooth has a strong individual specificity, and it is possible to authenticate the user himself/herself by using it as an auxiliary authentication. Furthermore, based on the pattern, regularity, etc. of the user's action route obtained by the position detection unit 16 shown in FIG. Authentication may be performed with the user himself/herself.
  • step S302 of the flowchart shown in FIG. lowering the frequency.
  • the present invention is not limited to this, and when biometric authentication and auxiliary authentication are successful, the authentication interval may not be made longer than the current authentication interval, and the authentication frequency may not be lowered. Specifically, step S302 of the flowchart shown in FIG. 10 may not be performed.
  • authentication is performed in the background at predetermined authentication intervals.
  • authentication may be performed randomly in the background without specifying the timing and interval of authentication.
  • the authentication may be performed as needed.
  • authentication may be performed when the user performs an operation for performing a special process on the terminal device 1, an irregular operation, or the like.
  • registration information of various data stored in the authentication biometric information database 172 and the authentication behavior information database 173 shown in FIG. 2 is updated.
  • the authentication determination unit 182 updates the authentication information updating unit 184 with the biometric for authentication.
  • the registration information of various data stored in the information database 172 and the authentication behavior information database 173 may be updated.
  • the authentication determination unit 182 causes the authentication information updating unit 184 to Part of the registered information of the various data stored in the authentication biometric information database 172 and the authentication behavior information database 173 may be updated.
  • voice authentication in the background has not been performed immediately before, or voice authentication has failed, for example, other biometric authentication such as authentication of the user's face image, fingerprint authentication, etc. You may Furthermore, when other biometric authentication such as authentication of the user himself/herself by the user's face image or fingerprint authentication fails, the user may be explicitly uttered again to perform voice authentication.
  • the filler words stored in the word database 175 shown in FIG. 6B are each one word. Not limited to this, a plurality of filler words may be stored in the word database 175 in combinations that appear frequently in speech, for example. In addition to filler words, various words such as conjunctions, adverbs, and interjections may be combined.
  • various data related to the filler word stored in advance in the word database 175 or the like are updated based on the voice data of the user's utterance. good too.
  • each data related to the new filler word may be added to the word database 175 or the like. good.
  • various data related to pre-registered filler words can be updated, and new filler words included in the user's utterance can also be used for user authentication. accuracy can be improved.
  • the terminal device 1 can be realized using a normal computer system without depending on a dedicated system.
  • a program for realizing each function in the terminal device 1 is stored in a computer-readable recording medium such as a CD-ROM (Compact Disc Read Only Memory) or a DVD-ROM (Digital Versatile Disc Read Only Memory).
  • a computer-readable recording medium such as a CD-ROM (Compact Disc Read Only Memory) or a DVD-ROM (Digital Versatile Disc Read Only Memory).
  • the present invention can be suitably used for terminal devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Collating Specific Patterns (AREA)

Abstract

端末装置は、複数の認証情報を取得する認証用情報取得部（１８１）と、複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部（３００）と、音声認証処理部（３００）が作成した音声の認証値に基づいて、認証が成功したか否かを判定する認証判定部（１８２）とを備える。認証判定部（１８２）は、音声認証処理部（３００）で作成された音声の認証値が、予め定められた認証閾値未満の場合に認証が成功したと判定し、音声の認証値が認証閾値以上、且つ、認証許容値以上の場合に、音声の認証値による認証が失敗したものとして認証用情報取得部（１８１）で取得した他の認証情報である一の認証情報に基づいて認証が成功したか否かを判定する。

Description

端末装置、情報処理方法、及びプログラム
　本発明は、端末装置、情報処理方法、及びプログラムに関する。
　通常、端末装置は、不正使用を防止するための認証機能を備え、認証が成功した場合に各機能を使用可能としている。認証処理には、一般的なパスワードに加え、各種の生体情報等も活用されている。例えば特許文献１には、表示装置に表示された文字列を読み上げるユーザの音声を用いて、ユーザを本人と認証する技術が開示されている。
特開２０２１－３３３１５号公報
　特許文献１に開示された技術では、ユーザは、認証の度に表示装置に表示された文字列を、読み仮名、文字数等を指定されたとおりに読み上げる必要がある。このため、文字列を読み上げるユーザに負担が大きいという課題がある。また、ユーザは、一々他の作業を止めて意図的に認証を行う必要があるため、作業効率が悪くなるという課題もある。
　本発明は上述の課題を解決するものであり、ユーザの負担を軽減し簡易にユーザを認証することがきる端末装置、情報処理方法、及びプログラムを提供することを目的とする。
　上記の目的を達するため、本発明に係る端末装置は、
　複数の認証情報を取得する認証用情報取得部と、
　前記認証用情報取得部で取得した前記複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部と、
　前記音声認証処理部が作成した前記音声の認証値に基づいて、認証が成功したか否かを判定する認証判定部と、
　を備え、
　前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、前記音声の認証値を作成する処理を実行し、
　前記認証判定部は、前記音声認証処理部で作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値に前記ユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして前記認証用情報取得部で取得した他の認証情報である一の認証情報に基づいて認証が成功したか否かを判定する。
　本発明に係る端末装置によれば、通常の発話に含まれるフィラーに基づいてユーザを認証することができるため、ユーザの負担を軽減し簡易にユーザを認証することができる。
本発明の実施の形態１に係る端末装置の正面図 図１に示す端末装置のブロック図 図１に示す端末装置のハードウエア構成の一例を示す図 図１に示す端末装置の情報処理ブロックの図 図５に示す情報処理ブロックの音声認証判定部のブロック図 本実施の形態１に係るユーザの発話に含まれるフィラーの単語の概要を示す図 本実施の形態１に係るユーザの発話に含まれるフィラーの単語を記憶する単語データベースのテーブルを示す図 図６Ｂに示したフィラーの単語の時系列モデルデータベースのテーブルを示す図 図６Ｂに示したフィラーの単語の声道特性モデルデータベースのテーブルを示す図 図４に示す端末装置から取得する認証用生体情報データベースのテーブルを示す図 図４に示す端末装置から取得する認証用振舞情報データベースのテーブルを示す図 図４に示す端末装置の傾き情報テーブルを示す図 実施の形態１に係る認証処理のフローチャート 図８Ａに示す認証処理のフローチャートの続きのフローチャート 実施の形態１に係る顔認証値取得処理のフローチャート 実施の形態１に係る補助認証処理のフローチャート 実施の形態１に係る音声取得処理のフローチャート 図１１Ａに示す音声取得処理のフローチャートの続きのフローチャート 実施の形態１に係る音声認証処理のフローチャート 実施の形態１に係る音声の認証値取得処理のフローチャート 図１３Ａに示す音声の認証値取得処理のフローチャートの続きのフローチャート 実施の形態２に係る認証処理のフローチャート 図１４Ａに示す認証処理のフローチャートの続きのフローチャート 実施の形態２に係る声認証値取得処理のフローチャート 実施の形態２に係る顔認証処理のフローチャート
（実施の形態１）
　以下に、本発明を実施するための形態に係る端末装置、情報処理方法、及びプログラムについて、図面を参照して詳細に説明する。なお、図中同一または相当する部分には同一符号を付す。
　本実施の形態１に係る端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができるようにした装置である。特に、端末装置１で用いられる音声認証は、通常の発話に含まれるフィラーに基づいてユーザを認証することができるため、ユーザの負担を軽減し簡易にユーザを認証することがきる。
　また、端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の精度を向上させることができる処理である。
　端末装置１の正面図を、図１に示す。端末装置１は、いわゆるスマートフォンであり端末装置１は、正面にユーザの顔を撮影するインカメラ１１Ａと、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂと、端末装置１の傾きを検出する傾き検出部１３と、操作入力部１４及び表示部１９を兼ねるタッチパネルと、ユーザの指紋を検出する左指紋センサ１５Ａ及び右指紋センサ１５Ｂと、端末装置１の現在位置を検出する位置検出部１６とを備える。また、端末装置１は、背面に、ユーザから見た人間、風景、物体等を撮影することができるメインカメラ１１Ｂを備える。
　ここで、以下では、インカメラ１１Ａとメインカメラ１１Ｂとを総称して、撮影部１１と称する。以下では、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂとを総称して、音声入出力部１２と称する。また、以下では、左指紋センサ１５Ａ及び右指紋センサ１５Ｂを総称して、指紋検出部１５と称する。
　図２は、端末装置１の構成を示すブロック図である。端末装置１は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６と、端末記憶部１７と、端末制御部１８と、表示部１９とを備える。
　通信部１０は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。
　撮影部１１は、図１に示したインカメラ１１Ａとメインカメラ１１Ｂとを含む。撮影部１１には、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、撮影した静止画または動画を取得することが可能な各種カメラを用いることができる。
　音声入出力部１２は、図１に示したスピーカ１２Ａと、マイクロフォン１２Ｂとを含む。スピーカ１２Ａは、音声通話で受信した音声、通信網を介して外部から取得した音楽データ等を出力する。マイクロフォン１２Ｂは、ユーザの音声をピックアップする装置である。
　傾き検出部１３は、端末装置１の傾き、揺れ等を検出することができる装置である。傾き検出部１３は、加速度センサ、角度センサ、地磁気を検出する磁気センサ等の端末装置１の傾きを検出できる各種センサを用いて構成することができる。なお、傾き検出部１３を構成するセンサの個数及び種類は、単数又は複数のどちらでもよい。
　操作入力部１４は、図１に示したユーザからの操作を入力することができる装置である。指紋検出部１５は、ユーザの指紋を検出するセンサである。指紋検出部１５は、図１に示した左指紋センサ１５Ａ及び右指紋センサ１５Ｂを含む。なお、指紋検出部１５には、指紋センサに限らず、ユーザの指紋を検出することができるセンサ、機器等であれば、いずれのものを用いてもよい。
　位置検出部１６は、端末装置１の現在位置を検出することができる装置である。位置検出部１６は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等の、端末装置１の現在位置を検出することができる機器を用いて構成することができる。
　端末記憶部１７は、ユーザの認証処理を行うための認証処理プログラム１７０と、ユーザの音声による認証処理を行うための音声認証処理プログラム１７１と、端末装置１で取得したユーザの生体情報をまとめた認証用生体情報データベース１７２と、端末装置１で取得したユーザの振舞情報をまとめた認証用振舞情報データベース１７３と、端末装置１の傾き状態を記憶するための傾き情報テーブル１７４と、音声認識に用いるフィラーの単語を記憶する単語データベース１７５と、フィラーの単語の時系列特性を記憶する時系列モデルデータベース１７６と、フィラーの単語の声道特性を保存する声道特性モデルデータベース１７７と、を備える。また、端末記憶部１７には、端末装置１で実行される各種アプリケーションのプログラムが記憶されている。
　認証処理プログラム１７０は、端末装置１で取得したユーザの生体情報及び振舞情報に基づいてユーザを認証する処理を行うプログラムである。認証用生体情報データベース１７２は、ユーザの生体情報に関する情報と認証に用いる認証値とを保存するためのデータベースである。
　認証用振舞情報データベース１７３は、端末装置１を操作する際のユーザ特有の振舞に関する情報、認証の合格条件等を保存するためのデータベースである。ここで、ユーザ特有の振舞とは、ユーザが端末装置１を操作する際の挙動、表示部１９の画面とユーザの顔の距離、キーストローク、持ち方、端末装置１が使用される位置、特定の通信網への接続回数、特定のアプリケーションの起動、操作等、ユーザ固有のものをいう。
　傾き情報テーブル１７４は、傾き検出部１３により検出された端末装置１の傾き角度と、取得日時、取得のための待機時間を記憶するためのテーブルである。単語データベース１７５は、音声認識に用いるフィラーの単語を記憶するデータベースである。フィラーは、発話に含まれる「あー」、「えぇっと」等の固有の意味を持たない、場つなぎの挿入語のことをいう。
　時系列モデルデータベース１７６は、フィラーの単語の時系列特性を記憶するデータベースである。フィラーの単語の時系列特性は、音の高低を示すピッチ特徴量である。声道特性モデルデータベース１７７は、フィラーの単語の声道特性を保存するデータベースである。なお、認証処理プログラム１７０と、認証用生体情報データベース１７２と、認証用振舞情報データベース１７３と、傾き情報テーブル１７４と、単語データベース１７５と、時系列モデルデータベース１７６と、声道特性モデルデータベース１７７とについては、その詳細を後述する。
　端末制御部１８は、端末記憶部１７に記憶された各種プログラムを実行する。また、端末制御部１８は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とから各種データを取得して処理し、端末記憶部１７の各種データベース、テーブルに記憶する。また、端末制御部１８は、撮影部１１に撮影する指示を送信することで、任意のタイミングで撮影部１１に撮影をさせることができる。
　表示部１９は、端末制御部１８で実行される各種プログラムの処理内容を表示する。また、表示部１９は、撮影部１１で撮影された静止画、動画等の画像、操作入力部１４から入力されたデータ等を表示することもできる。表示部１９は、操作入力部１４上に積層されており、図１に示したタッチパネルを構成する。
　次に、端末装置１のハードウエア構成の一例を、図３を参照しつつ説明する。端末装置１は、各種プログラムを実行するプロセッサ２１と、各種プログラムを展開するためのメモリ２２と、各種表示用データを出力する表示コントローラ２３と、各種表示用データを表示する表示機器２４と、撮影部１１、音声入出力部１２等を接続するためのＩ／Ｏポート２５と、各種プログラム及び各種データを記憶する記憶機器２６と、外部との通信し各種データを送受信する通信機器２７とを備える。このプロセッサ２１と、メモリ２２と、表示コントローラ２３と、表示機器２４と、Ｉ／Ｏポート２５と、記憶機器２６と、通信機器２７とは、データバス２８を介して相互に接続されている。
　プロセッサ２１は、記憶機器２６に記憶された各種プログラムを読み出してメモリ２２に展開し、実行する。プロセッサ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の処理装置を用いて構成することができる。また、メモリ２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の揮発性または不揮発性の半導体メモリといった記憶素子および記憶媒体を用いて構成することができる。
　表示コントローラ２３は、表示機器２４に各種表示用データを出力するコントローラである。表示コントローラ２３は、ビデオカード、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、グラフィックボード等の映像信号出力装置を用いて構成することができる。また、表示機器２４は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）モニタ等の表示装置を用いて構成することができる。
　Ｉ／Ｏポート２５は、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とを接続することができる接続用ポートである。Ｉ／Ｏポート２５には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート等、機器を接続可能な各種ポートを用いて構成することができる。
　記憶機器２６は、プロセッサ２１で実行する各種プログラム、各種プログラムで使用するための各種データを記憶する機器である。記憶機器２６は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置を用いて構成することができる。
　通信機器２７は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。
　上述のプロセッサ２１により、図２に示した端末装置１の端末記憶部１７に記憶された認証処理プログラム１７０、音声認証処理プログラム１７１を実行することにより、端末制御部１８に図４に示す情報処理ブロックが実現される。これにより、端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。
　情報処理ブロックは、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する認証用情報取得部１８１と、ユーザを本人か否か認証する認証判定部１８２と、表示部１９に認証結果を表示させる認証結果表示部１８３と、認証判定部１８２からの指示により端末記憶部１７に記憶されは各種データベース及びテーブルの情報を更新する認証用情報更新部１８４とを備える。
　認証用情報取得部１８１は、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する。認証判定部１８２は、認証用情報取得部１８１はから取得した認証用の生体情報及び振舞情報と、端末記憶部１７の各種データベースに記憶された認証値、合格条件等に基づいて、ユーザの認証を行う。また、認証判定部１８２は、音声による認証を行う音声認証処理部３００を含む。この音声認証処理部３００の詳細については後述する。
　認証結果表示部１８３は、認証判定部１８２からユーザの認証結果を受信し、表示部１９に認証結果に応じてメッセージ、画像等を表示させる。認証用情報更新部１８４は、認証判定部１８２からの指示に基づいて、端末記憶部１７に記憶された各種データベース、テーブルに記憶されたデータを更新する。なお、認証用情報取得部１８１で取得される生体情報及び振舞情報は、特許請求の範囲における認証情報の一例である。また、認証用情報取得部１８１で取得される各生体情報は、特許請求の範囲における一の認証情報及び二の認証情報の一例である。認証用情報取得部１８１で取得される各振舞情報は、特許請求の範囲における三の認証情報の一例である。
　図５に示すのは、図４に示した認証判定部１８２に含まれる音声認証処理部３００の構成を示すブロック図である。音声認証処理部３００は、単語データベース１７５からフィラーの単語を取得する単語取得部３１０と、フィラーに対応する音声波形を切り出す音声波形切出部３１１と、音声波形から時系列変化を抽出する時系列抽出部３１２と、抽出された時系列変化と時系列モデルデータベース１７６に記憶されたデータと照合する時系列変化照合部３１３と、音声波形から声道特性を抽出する声道特性抽出部３１４と、抽出された声道特性と声道特性モデルデータベース１７７に記憶されたデータと照合する声道特性照合部３１５と、音声認証の認証値を求める音声認証値作成部３１６と、を備える。
　単語取得部３１０は、端末記憶部１７に記憶された単語データベース１７５に記憶されているフィラーの単語を取得する。音声波形切出部３１１は、図４に示した音声入出力部１２から取得した音声データから、単語取得部３１０で取得したフィラーの単語に対応する音声波形を切り出す。
　時系列抽出部３１２は、音声波形切出部３１１で切り出した音声波形から時系列変化を抽出する。時系列抽出部３１２が抽出する時系列変化は、音の高低を示すピッチ特徴量であり、音声波形の高低を基に求められる。時系列変化照合部３１３は、時系列抽出部３１２で抽出された時系列変化であるピッチ特徴量と、端末記憶部１７に記憶された時系列モデルデータベース１７６に記憶された対応するフィラーの単語のピッチ特徴量とを照合する。
　声道特性抽出部３１４は、音声波形切出部３１１で切り出した音声波形から声道特性のデータを抽出する。声道特性のデータは、低次および高次のケプストラムであり、それぞれが異なるケフレンシー（Ｑｕｅｆｒｅｎｃｙ）の値で表すことができる。声道特性照合部３１５は、声道特性抽出部３１４で抽出された声道特性のデータと、端末記憶部１７に記憶された声道特性モデルデータベース１７７に記憶された対応するフィラーの単語の声道特性のデータとを照合する。音声認証値作成部３１６は、時系列変化照合部３１３と、声道特性照合部３１５との照合結果をもとに、音声認識の認証値を求める。
　続いて、図５に示した端末記憶部１７に記憶された単語データベース１７５と、時系列モデルデータベース１７６と、声道特性モデルデータベース１７７との各テーブルの構成について、図６Ａから図６Ｄを参照しつつ以下に説明する。まず、図６Ａに示すのは、ユーザの発話に含まれるフィラーの単語の概要である。フィラーは、発話に含まれる「あー」、「えぇっと」等の固有の意味を持たない、場つなぎの挿入語である。
　例えば、図６Ａに示すように、ユーザのｎ回目の発話が「あのー　では　早速始めたいと思います」である場合、発話に含まれる「あのー」、「では」がフィラーとなる。また、ユーザのｎ＋１回目の発話が「ところで　最近の調子はどうです・・・」である場合、発話に含まれる「ところで」がフィラーとなる。ユーザのｎ＋２回目の発話が「・・・と思います　えぇっと　次の議題ですが・・・」である場合、発話に含まれる「えぇっと」がフィラーとなる。ユーザのｎ＋３回目の発話が「じゃあ　こうしよう」である場合、発話に含まれる「じゃあ」がフィラーとなる。
　本実施の形態では、一般的な話ことばに含まれるフィラー、端末装置１を使用するユーザが定めた任意の語彙等を、フィラーの単語として図６Ｂに示す単語データベース１７５のテーブルに予め設定するものとする。そして、単語データベース１７５のテーブルに設定されたフィラーの単語を、ユーザの発話から検索し、検索結果であるフィラーの単語について時系列変化および声道特性を抽出するものとする。
　まず、図６Ｂに示す単語データベース１７５のテーブルには、フィラーの単語と、フィラーの単語の音声の特徴量と、ユーザの発話内における出現回数とを対応つけて記憶している。フィラーの単語と、フィラーの単語の音声の特徴量とは、端末装置１を使用するユーザが予め設定するものとする。ユーザの発話内における出現回数は、ユーザの発話内にフィラーの単語が出現した回数を計上したものである。例えば、図６Ｂに示すとおり、単語データベース１７５には、フィラーの単語「あのー」には、その音声の特徴量と、出現回数「１５４」とが対応つけられている。また、単語データベース１７５は、フィラーの単語、その単語の音声の特徴量、および出現回数を、出現回数の多い順に昇順に並べるものとする。
　図６Ｃに示すのは、時系列モデルデータベース１７６のテーブルである。時系列モデルデータベース１７６のテーブルは、フィラーの単語とその単語の時系列特性であるピッチ特徴量とを対応つけて記憶している。ここで、時系列モデルデータベース１７６テーブルに記憶されているフィラーの単語は、図６Ｂに示した単語データベース１７５のテーブルに記憶されたフィラーの単語うち、出現回数の多い順に任意の件数分の単語とする。この任意の件数は、例えば、５０件、１００件など、端末装置１を使用するユーザが予め定めた件数とする。なお、以下では出現回数の多い順の順位を出現順位と称する。また、以下では、この任意の件数に合致する順位を、規定順位と称する。
　時系列モデルデータベース１７６には、例えば、図６Ｃに示すとおり、図６Ｂに示した単語データベース１７５のテーブルに記憶されたフィラーの単語に対応する「あのー」、「じゃあ」等が、その出現順位に合わせて上から順番に並べられ、その単語の時系列特性であるピッチ特徴量と対応つけられて記憶されている。
　図６Ｄに示すのは、声道特性モデルデータベース１７７のテーブルである。声道特性モデルデータベース１７７のテーブルには、フィラーの単語とその単語の声道特性である低次および高次のケプストラムであるケフレンシーの値とを対応つけて記憶している。ここで声道特性モデルデータベース１７７のテーブルに記憶されているフィラーの単語は、図６Ｃに示した時系列モデルデータベース１７６のテーブルに記憶されているフィラーの単語と同じ単語である。声道特性モデルデータベース１７７には、例えば、図６Ｄに示すとおり、図６Ｂに示した単語データベース１７５のテーブルに記憶されたフィラーの単語に対応する「あのー」、「じゃあ」等がその出現順位に合わせて上から順番に並べられ、その単語の声道特性が対応つけられ、記憶されている。
　次に、端末記憶部１７に記憶される認証用生体情報データベース１７２と、認証用振舞情報データベース１７３と、傾き情報テーブル１７４との各テーブルの構成について、図７Ａから図７Ｃを参照しつつ以下に説明する。まず、認証用生体情報データベース１７２のテーブルには、図７Ａに示すように、顔、虹彩等の生体情報の種類と、ユーザ本人の生体情報である登録情報と、登録情報と図４に示した認証用情報取得部１８１で取得した生体情報とを比較して求める認証値が記憶されている。
　なお、本実施の形態１では、音声の生体情報について、図６Ｃに示した時系列モデルデータベース１７６、および、図６Ｄに示した声道特性モデルデータベース１７７に記憶するため、認証用生体情報データベース１７２には記憶されない。このため、音声については、認証用生体情報データベース１７２に、認証値の平均値、認証許容値、認証閾値を記憶するものとする。
　認証用生体情報データベース１７２のテーブルに記憶されている登録情報は、ユーザ本人の生体情報である。登録情報には、端末装置１で認証処理を行う前に予め登録された情報であり、ユーザ本人を認証できた場合に更新される。登録情報には、例えば、生体情報の種類が顔であれば顔画像から求めた特徴量が、生体情報の種類が虹彩であれば虹彩データが、生体情報の種類が指紋であれば指紋の画像から求めた特徴量が、それぞれ記憶されている。なお、生体情報の種類のうち「顔」は、特許請求の範囲における第１生体情報の一例である。また、生体情報の種類のうち「音声」は、特許請求の範囲における第２生体情報の一例である。
　本実施の形態１において、生体情報の類似の判定は、認証値により行われる。認証値は、登録情報と、図４に示した認証用情報取得部１８１で取得した生体情報とを比較した結果を基に求められる値である。認証値は、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に０に近づき、類似しない場合に１に近づく。認証用生体情報データベース１７２には、認証値の平均値と、認証値を判定するための閾値である認証閾値と、認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた認証許容値とが含まれる。
　まず、認証値の平均値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し求められた認証値の平均の値である。なお、認証値の平均値は、特許請求の範囲における第１認証値の一例である。
　認証閾値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以下の場合、ユーザをユーザ本人と判定するための基準となる値である。認証閾値は、ユーザの認証の状況に合わせて変動する値であり、予め上限値が定めされている。上限値は、その値以上となった場合、ユーザをユーザ本人と生体情報のみで認証すべきではないとされる値である。例えば、認証閾値のデフォルト値が登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と類似しない場合に近づく認証値１との間の０．４とする。この場合、認証閾値の上限値は、認証閾値のデフォルト値に、類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との一割の半分である０．０５を加えた値、すなわち、０．４５とする。
　また、認証許容値は、登録情報と認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以上の場合、ユーザをユーザ本人ではないと判定するための基準となる値である。認証許容値は、上述のとおり認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値である。このため、認証許容値は、認証閾値と認証許容範囲値との変動に応じて、変動する値である。認証許容値には、予め上限値が定められており、これを最大認証許容値と呼ぶ。最大認証許容値は、この値以上の場合、ユーザを他人と判断すべきとされる値である。例えば、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との中間の０．５とする。
　認証閾値と認証許容値との間の値を認証許容範囲値という。認証許容範囲値は、ユーザがユーザ本人か否かグレーな場合を示す値である。認証値が認証許容範囲値内である場合、ユーザがユーザ本人か否かを生体情報だけで判断せず、ユーザ特有の振舞情報を含めて判断する。具体的には、認証値が認証許容範囲値内である場合、ユーザ特有の振舞情報が合格条件に合致している場合に、ユーザ本人と認証する。また、認証値が認証許容範囲値内である場合、ユーザ特有の振舞情報が合格条件に合致してない場合に、ユーザ本人と認証しないものとする。振舞情報によるユーザの認証を、以下では、補助認証と称する。認証許容範囲値は、この範囲に収まる認証値であればユーザ本人として概ね考え良いと思われる値を、予め定めたものである。
　認証許容範囲値は、例えば、図４に示した登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との一割以下の０．０８とする。なお、認証閾値が上限値になった場合、認証許容範囲値は、最大認証値から認証閾値の上限値を引いた値になる。例えば、認証閾値の上限値が０．４５、最大認証許容値を０．５とした場合、認証許容範囲値は０．０５となる。したがって、認証閾値が上限値になっている場合、認証許容範囲値の値は、認証閾値が上限値になっていない場合よりも小さな値をとる。
　次に、認証用振舞情報データベース１７３のテーブルについて、図７Ｂを参照しつつ、以下に説明する。認証用振舞情報データベース１７３のテーブルには、通信接続、イベント実行等のユーザの振舞の種類と、図４に示した認証用情報取得部１８１で取得した取得情報と、各振舞における最新状況と、各振舞の合格条件とが記憶されている。
　取得情報には、例えば、振舞の種類が通信接続であれば接続先のアドレス、ＳＳＩＤ（Ｓｅｒｖｉｃｅ　Ｓｅｔ　Ｉｄｅｎｔｉｆｉｅｒ）、ＢＳＳＩＤ（Ｂａｓｉｃ　Ｓｅｒｖｉｃｅ　Ｓｅｔ　Ｉｄｅｎｔｉｆｉｅｒ）等が、振舞の種類がイベント実行であれば予めスケジュール帳に保存されたイベントの行われる場所の名称、住所等の場所情報が、振舞の種類が顔と端末装置との距離であれば距離が、振舞の種類がデバイス接続であれば接続先のデバイスを示す名称、ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）等が、振舞の種類が位置情報であれば端末装置１の現在地を示す緯度経度、住所等が、それぞれ記憶されている。
　各振舞における最新状況には、例えば、振舞の種類が通信接続であれば、取得情報に示された通信接続先にこれまで接続等された合計回数である。通信接続先への接続等の合計回数は、初期値が０であり、通信接続先への接続等により回数が加算されていく。また、振舞の種類がイベント実行であれば、取得情報に記憶されている場所とユーザの現在地との間の距離が記憶される。
　振舞の種類が顔と端末装置１との距離であれば、最新状況には、それまでユーザがユーザ本人と認証された際に算出された顔と端末装置１との距離の平均距離が記憶される。顔と端末装置１との平均距離は、ユーザがユーザ本人と認証される度に更新される。なお、顔と端末装置１との平均距離の初期値は、図７Ａに示した生体情報を、端末装置１でユーザ本人の認証を行う前に予め登録する際に求められた距離とする。
　また、振舞の種類がデバイス接続であれば、最新状況には、取得情報に記憶された名称、ＩＤ等が示すデバイスに接続されているか否かが記憶されている。デバイス接続は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によりペア設定されたデバイスと端末装置１との接続である。振舞の種類が位置情報であれば、最新状況には、それまでユーザがユーザ本人と認証された際に居た所在地を示す緯度経度、住所等が記憶されている。また、各振舞の合格条件は、各振舞の信頼性を担保できる条件を予め定めた条件である。
　次に、傾き情報テーブル１７４のテーブルを、図７Ｃに示す。傾き情報テーブル１７４は、図４に示した傾き検出部１３から取得された端末装置１の傾きを示す角度と、その角度を取得した取得日時、傾きを検出するめのインターバルとなる待機時間とを記憶している。端末装置１の傾きを示す角度は、待機時間が経過する毎に図４に示した認証用情報取得部１８１により傾き検出部１３から取得され、更新される。また、その角度を更新する際、角度を取得した取得日時も更新される。
　本実施の形態１に係る端末装置１は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図２に示した端末制御部１８は、端末記憶部１７に記憶された認証処理プログラム１７０および音声認証処理プログラム１７１を実行し、ユーザがユーザ本人か否かを判別する。端末制御部１８により実行される認証処理プログラム１７０および音声認証処理プログラム１７１の処理について、図８Ａから図１３Ｂに示す各処理のフローチャートを参照しつつ、以下に説明する。
　まず、図８Ａに示す認証処理のフローチャートを参照する。図４に示した端末制御部１８の認証判定部１８２は、顔認証値取得処理を実行する（ステップＳ１０１）。顔認証値取得処理については、図９に示す顔認証値取得処理のフローチャートを参照しつつ、以下に説明する。
　端末制御部１８の認証判定部１８２は、リトライ回数に０回を設定する（ステップＳ２０１）。図４に示した認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。具体的には、認証用情報取得部１８１は、端末装置１の正面に向き合っているユーザの顔写真を、インカメラ１１Ａに撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真を取得する（ステップＳ２０２）。認証用情報取得部１８１は、取得したユーザの顔写真がブレているか否か判定する（ステップＳ２０３）。
　ユーザの顔写真がブレていない場合（ステップＳ２０３；ＮＯ）、認証用情報取得部１８１は、撮影部１１に撮影させたユーザの顔写真からユーザの顔が検出できるか否か判定する（ステップＳ２０４）。ユーザの顔写真からユーザの顔が検出できた場合（ステップＳ２０４；ＹＥＳ）、認証用情報取得部１８１は、検出したユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、求めたユーザの顔の画像の特徴量を図４に示した認証判定部１８２に送信する。
　認証判定部１８２は、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７２を取得する。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた登録情報に記憶された顔画像の特徴量と、認証値の認証許容値及び認証閾値を取得する。認証判定部１８２は、認証用生体情報データベース１７２から取得した登録情報の顔画像の特徴量と、認証用情報取得部１８１から受信した顔画像の特徴量とを比較し、比較の結果を基に顔の認証値を求める。
　また、ステップＳ２０２で取得したユーザの顔写真がブレている場合（ステップＳ２０３；ＹＥＳ）、または、ステップＳ２０４でユーザの顔写真からユーザの顔が検出できなかった場合（ステップＳ２０４；ＮＯ）、認証用情報取得部１８１は、リトライ回数が、規定回数未満か否か判定する（ステップＳ２０６）。この規定回数は、予め定められたリトライできる回数であり、図２に示した端末記憶部１７に記憶されているものとする。
　リトライ回数が規定回数未満である場合（ステップＳ２０６；ＹＥＳ）、認証用情報取得部１８１は、リトライ回数に１を足す（ステップＳ２０７）。認証用情報取得部１８１は、撮影部１１にユーザの顔写真の撮影をリトライさせる（ステップＳ２０８）。
　また、リトライ回数が規定回数未満でない場合（ステップＳ２０６；ＮＯ）、認証用情報取得部１８１は、認証判定部１８２に端末記憶部１７に記憶されている顔の認証値を取得させる（ステップＳ２０９）。具体的には、認証用情報取得部１８１は、認証判定部１８２に、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７２を取得させる。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。なお、ユーザの顔写真からユーザの顔が検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。
　認証判定部１８２は、顔認証取得処理を終了する。ここで、図８Ａに戻る。認証判定部１８２は、ステップＳ１０１の顔認証値取得処理で求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証閾値以上か否か判定する（ステップＳ１０２）。顔認証値取得処理で求めた顔の認証値が認証閾値以上の場合（ステップＳ１０２；ＹＥＳ）、認証判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７２から取得した認証許容値以下か否か判定する（ステップＳ１０３）。
　求めた顔の認証値が認証許容値以下の場合（ステップＳ１０３；ＹＥＳ）、端末装置１を使用しているユーザは、ユーザ本人か否かグレーである。このため、認証判定部１８２は、振舞情報による認証の処理である補助認証処理を実行する（ステップＳ１０４）。補助認証処理については、図１０に示すフローチャートを参照しつつ、以下に説明する。
　まず、認証判定部１８２は、図４に示した認証用情報取得部１８１に通信部１０から現在接続している通信接続先を取得させる。認証判定部１８２は、認証用情報取得部１８１から、取得させた通信部１０の現在の通信接続先を受信する。
　続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。
　例えば、図７Ｂに示すように、「通信接続」の取得情報にはＳＳＩＤであるＡＢＣ＿ＷＬＡＮと１２３ＷＬＡＮとが記憶されている。このＡＢＣ＿ＷＬＡＮでは、接続した回数に３１回、合格条件として接続回数が１００回以上と記憶されている。また、１２３ＷＬＡＮでは、接続した回数に１５７回、合格条件として接続回数が１００回以上と記憶されている。なお、以下では合格条件を満たす場合を信頼するものと呼び、合格条件を満たさない場合を信頼しないものと呼ぶ。
　認証判定部１８２は、認証用情報取得部１８１から受信した通信部１０の現在の通信接続先と、認証用振舞情報データベース１７３から取得した取得情報とを比較し、現在の通信接続先が信頼する通信接続先か否か判定する（ステップＳ３０１）。
　ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤの１２３ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７３に記憶された振舞の種類「通信接続」の取得情報における１２３ＷＬＡＮは、接続した回数が１５６回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先であるため（ステップＳ３０１；ＹＥＳ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。
　続いて、認証判定部１８２は、認証間隔を現在の認証間隔よりも長くする（ステップＳ３０２）。これは、現在の通信接続先が信頼する通信接続先であれば、ユーザ本人は自宅、職場等の信頼する環境に居るものと考えられるためである。この場合、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げ必要最低限の回数認証を行うようにすれば良い。また、認証判定部１８２は、補助認証ができた旨を戻り値として設定する（ステップＳ３０３）。
　また、ステップＳ３０１において、例えば、通信部１０の現在の通信接続先としてＳＳＩＤのＡＢＣ＿ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７３に記憶された振舞の種類「通信接続」の取得情報におけるＡＢＣ＿ＷＬＡＮは、接続した回数が３１回であり、合格条件の接続回数が１００回以上である。このため、認証判定部１８２は、現在の通信接続先は信頼する通信接続先ではないものと判定する（ステップＳ３０１；ＮＯ）。この場合、認証判定部１８２は、直前もしくは現在、信頼するイベントを実行しているか否かを判定する（ステップＳ３０４）。
　認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち、「イベント実行」に対応つけられた取得情報と合格条件とを取得する。例えば、図７Ｂに示すように、「イベント実行」の取得情報にはイベントが行われる場所として「○×公園」及び「△●映画館」が記憶され、その両方の合格条件として「距離が１００ｍ以内」と記憶されているものとする。
　ここで、例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「△●映画館」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「△●映画館」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「△●映画館」の位置情報との間の距離が７２ｍとする。この距離は、図７Ｂに示す「イベント実行」の「△●映画館」における合格条件「距離が１００ｍ以内」である。この場合、認証判定部１８２は、信頼するイベントの実行であるもと判定する（ステップＳ３０４；ＹＥＳ）。その後、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。
　また、認証判定部１８２は、認証用情報取得部１８１に操作入力部１４から直前もしくは現在に実行しているイベントの内容を取得させる。認証判定部１８２は、端末装置１に備えられたカレンダーから、直前もしくは現在の日時に予定があるか否かと、その予定が行われる場所の情報とを取得する。認証判定部１８２は、直前もしくは現在の日時に予定が無かった場合、信頼するイベントの実行ではないもの判定する（ステップＳ３０４；ＮＯ）。この場合、認証判定部１８２は、顔と端末装置１との距離を算出する（ステップＳ３０５）。
　また、ステップＳ３０４において、直前もしくは現在に予定があった場合、認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から、現在の位置情報を取得させる。例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「○×公園」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「○×公園」の位置情報とを比較する。
　例えば、現在の位置情報と、イベントの場所である「○×公園」の位置情報との間の距離が１１３ｍとする。この距離は、図７Ｂに示す「イベント実行」の「○×公園」における合格条件「距離が１００ｍ以内」ではない。この場合、証判定部１８２は、信頼するイベントの実行ではないものとし（ステップＳ３０４；ＮＯ）、顔と端末装置１との距離を算出する（ステップＳ３０５）。
　ユーザの顔と端末装置１との距離は、図１に示したインカメラ１１Ａで撮影した端末装置１の正面に向き合うユーザの顔写真における、ユーザの顔の占める割合を基づいて算出する。
　続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち「顔と端末装置との距離」に対応つけられた平均距離、合格条件を取得する。例えば、図７Ｂに示すように、「顔と端末装置との距離」の平均距離には２６２ｍｍ、合格条件に平均距離のプラスマイナス２０ｍｍと記憶されている。
　認証判定部１８２は、ステップＳ１０９で算出したユーザの顔と端末装置１との距離が、認証用振舞情報データベース１７３から取得した合格条件に設定された設定範囲内か否か判定する（ステップＳ３０６）。具体的には、認証用振舞情報データベース１７３から取得した平均距離は２６２ｍｍ、合格条件は、平均距離のプラスマイナス２０ｍｍであるので、２４２ｍｍから２８２ｍｍの範囲か否かを判定する。
　ステップＳ３０５で算出したユーザの顔と端末装置１との距離が、設定範囲内である場合、具体的には、２４２ｍｍから２８２ｍｍの範囲内である場合（ステップＳ３０６；ＹＥＳ）、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。
　また、ステップＳ３０５で算出したユーザの顔と端末装置１との距離が、設定範囲内ではない場合、具体的には、２４２ｍｍから２８２ｍｍの範囲内ではない場合（ステップＳ３０６；ＮＯ）、認証判定部１８２は、端末装置１の現在地を求める（ステップＳ３０７）。具体的には、認証判定部１８２は、図４に示した認証用情報取得部１８１に、位置検出部１６から端末装置１の現在地を示す緯度経度を取得させる。
　続いて、認証判定部１８２は、位置検出部１６から取得した端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７３の合格条件に設定された設定範囲内か否か判定する（ステップＳ３０８）。具体的には、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち「位置情報」に対応つけられた最新状況に記憶された緯度経度と、合格条件とを取得する。認証判定部１８２は、認証用情報取得部１８１に取得させた端末装置１の現在地を示す緯度経度と、認証用振舞情報データベース１７３から取得した緯度経度との差分に基づいて距離を求める。認証判定部１８２は、求めた距離が認証用振舞情報データベース１７３の合格条件に設定された設定範囲内か否か判定する。
　端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７３の合格条件に設定された設定範囲内である場合（ステップＳ３０８；ＹＥＳ）、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。また、端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７３の合格条件に設定された設定範囲内でない場合（ステップＳ３０８；ＮＯ）、認証判定部１８２は、補助認証ができなかった旨を戻り値として設定する（ステップＳ３０９）。認証判定部１８２は、補助認証処理を終了する。
　ここで、図８Ａに戻る。認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ１０５）。補助認証ができなかった場合（ステップＳ１０５；ＮＯ）、認証判定部１８２は、図４に示した認証結果表示部１８３に、キーワードの音声入力を要求する旨を表示部１９に表示させる（ステップＳ１０６）。このキーワードは、図４に示す端末記憶部１７に予め記憶された任意のキーワードとする。
　認証判定部１８２は、音声入力されたキーワードが正しいか否か判定する（ステップＳ１０７）。音声入力されたキーワードが正しくない場合（ステップＳ１０７；ＮＯ）、認証判定部１８２は、認証結果表示部１８３に、パスワードの入力を要求する旨を表示部１９に表示させる（ステップＳ１０８）。このパスワードは、図４に示す端末記憶部１７に予め記憶された任意のパスワードとする。
　認証判定部１８２は、入力されたパスワードが正しいか否か判定する（ステップＳ１０９）。入力されたパスワードが正しくない場合（ステップＳ１０９；ＮＯ）、認証判定部１８２は、続いて、認証判定部１８２は、図４に示した認証結果表示部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１０）。このログイン画面は、パスワードの入力、指紋認証等の端末装置１に含まれるＯＳによる本人認証である。
　また、ステップＳ１０２において、顔認証値取得処理で求めた顔の認証値が認証閾値以上ではない場合（ステップＳ１０２；ＮＯ）、ステップＳ１０５で補助認証ができた場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１０７で音声入力されたキーワードが正しい場合（ステップＳ１０７；ＹＥＳ）、または、ステップＳ１０９で入力されたパスワードが正しい場合（ステップＳ１０９；ＹＥＳ）、認証判定部１８２は音声取得処理を実行する（ステップＳ１１１）。
　なお、ステップＳ１０２において、顔認証値取得処理で求めた顔の認証値が認証閾値以上ではない場合（ステップＳ１０２；ＮＯ）、ステップＳ１０５で補助認証ができた場合（ステップＳ１０５；ＹＥＳ）は、言い換えれば、ユーザの顔による認証が成功した場合である。この場合、端末装置１は、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態にある。
　また、ステップＳ１０７で音声入力されたキーワードが正しい場合（ステップＳ１０７；ＹＥＳ）、または、ステップＳ１０９で入力されたパスワードが正しい場合（ステップＳ１０９；ＹＥＳ）は、表示部１９に表示させたキーワードまたはパスワードの入力の要求を、ユーザが見られる状態である。この場合、ステップＳ１０２、Ｓ１０５における状態と同様に、端末装置１は、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態にある。
　なお、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態は、特許請求の範囲における第１使用状態の一例である。
　続いて、音声取得処理について、図１１Ａ、図１１Ｂに示すフローチャートを参照しつつ、以下に説明する。まず、図１１Ａにおいて、認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ４０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。
　ユーザの発声がない場合（ステップＳ４０１；ＮＯ）、図１１Ｂに示すとおり、認証判定部１８２は音声取得処理を終了する。また、ユーザの発声がある場合（ステップＳ４０１；ＹＥＳ）、認証判定部１８２は、録音時間に０秒を設定する（ステップＳ４０２）。認証判定部１８２は、認証用情報取得部１８１に、図４に示した音声入出力部１２からユーザの音声を取得させる（ステップＳ４０３）。
　認証判定部１８２は、録音時間が規定時間を超えたか否か判定する（ステップＳ４０４）。この規定時間は、予め定められた音声のデータを取得するのに必要な時間である。例えば、１０秒、３０秒等、任意の時間が設定される。設定された規定時間は、端末記憶部１７に記憶されている。
　録音時間が規定時間を超えていない場合（ステップＳ４０４；ＮＯ）、認証判定部１８２は、ステップＳ４０３に戻り、認証用情報取得部１８１に音声入出力部１２からユーザの音声を取得させる。また、録音時間が規定時間を超えた場合（ステップＳ４０４；ＹＥＳ）、認証判定部１８２は、図５に示した音声認証処理部３００の単語取得部３１０に、端末記憶部１７から単語データベース１７５を取得させる（ステップＳ４０５）。
　続いて、単語取得部３１０は、認証用情報取得部１８１で取得したユーザの音声のデータにフィラーがあるか否かを判定する（ステップＳ４０６）。具体的には、単語取得部３１０は、取得したユーザの音声のデータを最初から最後まで順次検索し、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の特徴量と、同じ特徴量が音声のデータに含まれているか否か判定する。
　ユーザの音声のデータにフィラーがない場合（ステップＳ４０６；ＮＯ）、図１１Ｂに示すとおり、認証判定部１８２は音声取得処理を終了する。また、ユーザの音声のデータにフィラーがある場合（ステップＳ４０６；ＹＥＳ）、図５に示した音声認証処理部３００の音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、フィラーを切り出す（ステップＳ４０７）。具体的には、音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、ステップＳ４０６で見つけたフィラーの単語に対応する部分の音声波形を切り出す。
　認証判定部１８２は、フィラーの単語の出現回数と出現順位とを更新する（ステップＳ４０８）。具体的には、認証判定部１８２は、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の出現回数の値に１を加算する。続いて、認証判定部１８２は、単語データベース１７５は、フィラーの単語、その単語の音声の特徴量、および出現回数を、出現回数の多い順に昇順に並べなおす。
　認証判定部１８２は、ステップＳ４０７で切り出したフィラーの単語の出現順位は、規定順位以内か否かを判定する（ステップＳ４０９）。フィラーの単語の出現順位が規定順位以内ではない場合（ステップＳ４０９；ＮＯ）、認証判定部１８２はステップＳ４０６に戻る。そして、認証判定部１８２は、ステップＳ４０６以降の各ステップを実行する。
　また、フィラーの単語の出現順位が規定順位以内である場合（ステップＳ４０９；ＹＥＳ）、認証判定部１８２は、図５に示した音声認証処理部３００の音声波形切出部３１１に、音声認証処理部３００の時系列変化抽出部３１２へ切り出した音声波形を送信させる。ここで、図１１Ｂに移る。時系列変化抽出部３１２は、受信した音声波形の高低をもとに、ピッチ特徴量を求める（ステップＳ４１０）。時系列変化抽出部３１２は、求めたピッチ特徴量を、図５に示す端末記憶部１７の時系列モデルデータベース１７６に、フィラーの単語と対応つけて記憶させる（ステップＳ４１１）。
　続いて、音声波形切出部３１１は、図５に示した音声認証処理部３００の声道特性抽出部３１４に切り出した音声波形を送信する。声道特性抽出部３１４は、受信した音声波形から声道特性のデータを求める（ステップＳ４１２）。声道特性抽出部３１４は、求めた声道特性のデータを、図５に示す端末記憶部１７の声道特性モデルデータベース１７７に、フィラーの単語と対応つけて記憶させる（ステップＳ４１３）。
　認証判定部１８２は、ステップＳ４０６でフィラーがあるか否かを判定したユーザの音声のデータに残りがあるか否か判定する（ステップＳ４１４）。例えば、フィラーの単語の特徴量と、同じ特徴量が音声のデータの半ばに含まれていたものとする。この場合、音声のデータに残りがあるため（ステップＳ４１４；ＹＥＳ）、図１１Ａに示すステップ４０６に戻る。そして、認証判定部１８２は、ステップＳ４０６以降の各ステップを実行する。また、例えば、フィラーの単語の特徴量と、同じ特徴量が音声のデータの終わりに含まれていたものとする。この場合、音声のデータに残りが無いため（ステップＳ４１４；ＮＯ）、認証判定部１８２は、音声取得処理を終了する。
　ここで、図８Ａに戻る。認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データを更新させる（ステップＳ１１２）。具体的には、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの生体情報の種類「顔」に対応つけられた登録情報に、登録情報に記憶されていた顔画像の特徴量に認証判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、登録情報を更新する。
　続いて、認証用情報更新部１８４は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルの振舞の種類「通信接続」または「イベント実行」に対応つけられた最新状況に記憶されている回数に１を加え、更新する。また、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離と図１０に示したステップＳ３０５で算出された「顔と端末装置との距離」から求められた平均距離で更新する。また、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類「位置情報」に対応つけられた最新状況を、記憶されている緯度経度と、図１０に示したステップＳ３０７で取得した端末装置１の現在地の緯度経度とから、平均の緯度経度を求め、更新する。
　このように、認証用生体情報データベース１７２に記憶された生体情報、及び、認証用振舞情報データベース１７３に記憶された振舞情報を更新することにより、ユーザの生体情報及び振舞情報の精度が向上する。このため、ユーザの認証の精度を向上させることができる。
　ここで、図８Ｂに移動する。認証判定部１８２は、生体認証及び補助認証が予め定めされた設定回数成功したか否かを判定する（ステップＳ１１３）。この設定回数は、例えば、連続で１０回、端末装置１が起動してから合計で２０回等、任意の回数である。生体認証及び補助認証が予め定めされた設定回数成功した場合（ステップＳ１１３；ＹＥＳ）、認証判定部１８２は、設定回数分の認証で求められた顔の認証値の平均値を求める（ステップＳ１１４）。
　具体的には、認証判定部１８２は、図２に示した認証用生体情報データベース１７２を、端末記憶部１７から取得する。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。認証判定部１８２は、ステップＳ１０１で求めた顔の認証値と、認証用生体情報データベース１７２から取得した認証値の平均値とを足して２で割り、顔の認証値の平均値を算出する。また、生体認証及び補助認証が予め定めされた設定回数成功しなかった場合（ステップＳ１１３；ＮＯ）、ステップＳ１１４からステップＳ１１６の処理をスキップし、ステップＳ１１７へ進む。
　認証判定部１８２は、ステップＳ１１４で求めた顔の認証値の平均値を、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信した顔の認証値の平均値と、予め設定された認証閾値の上限値とを比較する。顔の認証値の平均値が予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、認証閾値の上限値を書き込み、更新する。
　また、顔の認証値の平均値が予め設定された認証閾値の上限値以下である場合、認証用情報更新部１８４は、認証閾値を更新する（ステップＳ１１５）。具体的には、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値の欄にステップＳ１１４で求めた顔の認証値の平均値を書き込み、認証閾値を更新する。
　続いて、認証用情報更新部１８４は、認証許容値を更新する（ステップＳ１１６）。具体的には、ステップＳ１１４で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、予め設定された最大認証許容値を認証許容値とする。また、ステップＳ１１４で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以下である場合、ステップＳ１１４で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以下であれば、その足した値を認証許容値とする。ステップＳ１１４で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以上であれば、最大認証許容値を認証許容値とする。
　認証用情報更新部１８４は、図２に示した認証用生体情報データベース１７２を、端末記憶部１７から取得する。認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証許容値の欄に、求めた認証許容値を書き込み、更新する。
　図４に示した認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１１７）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。
　認証判定部１８２は、受信した端末装置１の傾きの角度と現在の日時情報とを、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、図２に示した端末記憶部１７に記憶された傾き情報テーブル１７４に、受信した端末装置１の傾きの角度と現在の日時情報とを書き込み、保存する（ステップＳ１１８）。
　認証判定部１８２は、図７Ｃに示した傾き情報テーブル１７４のテーブルに記憶されている待機時間を取得する。認証判定部１８２は、認証用情報取得部１８１に取得した待機時間を送信する。認証用情報取得部１８１は、受信した待機時間の間、通信部１０、撮影部１１等からのデータの取得を待機する（ステップＳ１１９）。
　待機時間が終了すると、認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１２０）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。
　認証判定部１８２は、図７Ｃに示した傾き情報テーブル１７４のテーブルに記憶されている端末装置１の角度を取得する。認証判定部１８２は、認証用情報取得部１８１から受信した端末装置１の傾きの角度と、傾き情報テーブル１７４から取得した端末装置１の角度とを比較し、角度が変化してないか否かを判定する（ステップＳ１２１）。
　端末装置１の角度の変化が、予め定められた設定値の角度、例えば、３０度以上の場合（ステップＳ１２１；ＮＯ）、認証判定部１８２は、ユーザにより端末装置１が動かされ何某かの操作が行われたものと判断し、図８Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。
　また、端末装置１の角度の変化が、予め定められた設定値の角度以下の場合（ステップＳ１２１；ＹＥＳ）、認証判定部１８２は、ユーザにより端末装置１が動かされていないものと判断する。続いて、認証判定部１８２は、ユーザを認証するタイミングになったか否かを判定する（ステップＳ１２２）。ユーザを認証するタイミングは、予め設定された認証間隔の時間が経過したタイミングである。
　ユーザを認証するタイミングになっている場合（ステップＳ１２２；ＹＥＳ）、認証判定部１８２は、図８Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。ユーザを認証するタイミングになっていない場合（ステップＳ１２２；ＮＯ）、認証判定部１８２はステップＳ１１８に戻る。その後、認証判定部１８２は、ステップＳ１１８からステップＳ１２２を実行する。
　ここで、図８Ａに戻る。ステップＳ１０３において、認証判定部１８２の求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合（ステップＳ１０３；ＮＯ）、認証判定部１８２は、音声認証処理を実行する（ステップＳ１２３）。
　この顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合は、言い換えれば、ユーザの顔による認証が失敗した場合である。例えば、端末装置１を鞄、ポケット等に仕舞ったままで使用する場合には、ユーザの顔画像が取得ないためユーザの顔による認証が失敗する。また、例えば、端末装置１を離れた位置からハンズフリーで使用する場合、ユーザの顔画像を取得できても顔の像が不鮮明、画像内のユーザの顔の像が小さすぎて顔の認証値を求められない等の理由から、ユーザの顔による認証が失敗する。この場合、ユーザの音声による認証に切り替えることにより、安定してユーザを本人と認証することができる。なお、ユーザの音声による認証に切り替えられた状態は、特許請求の範囲における第２使用状態の一例である。
　音声認証処理については、図１２に示すフローチャートを参照しつつ、以下に説明する。認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ５０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。
　ユーザの発声がない場合（ステップＳ５０１；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５０９）。また、ユーザの発声がある場合（ステップＳ５０１；ＹＥＳ）、認証判定部１８２は、図４に示した認証用情報取得部１８１に、音声入出力部１２からユーザの音声を取得させる（ステップＳ５０２）。認証判定部１８２は、図４に示した音声認証処理部３００に音声の認証値取得処理を実行させる（ステップＳ５０３）。音声の認証値取得処理については、図１３Ａ、図１３Ｂに示すフローチャートを参照しつつ、以下に説明する。
　まず、図１３Ａに示すフローチャートを参照する。図５に示した音声認証処理部３００の単語取得部３１０は、図５に示した端末記憶部１７から単語データベース１７５を取得する（ステップＳ６０１）。単語取得部３１０は、図１２のステップＳ５０２で認証用情報取得部１８１が取得したユーザの音声のデータにフィラーがあるか否かを判定する（ステップＳ６０２）。具体的には、単語取得部３１０は、取得したユーザの音声のデータを最初から最後まで順次検索し、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の特徴量と、同じ特徴量が音声のデータに含まれているか否かを判定する。
　ユーザの音声のデータにフィラーがない場合（ステップＳ６０２；ＮＯ）、図１３ＢのステップＳ６１３に移動する。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値よりも大きい値を、認証値として設定する（ステップＳ６１３）。これにより、音声による本人認証をできないようにする。
　認証許容値よりも大きい値は、例えば、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値に０．１を加算した値とする。なお、加算される値は任意の値とする。音声認証値作成部３１６は、音声の認証値取得処理を終了する。
　ここで、図１３ＡのステップＳ６０２に戻る。ユーザの音声のデータにフィラーがある場合（ステップＳ６０２；ＹＥＳ）、図５に示した音声認証処理部３００の音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、フィラーを切り出す（ステップＳ６０３）。具体的には、音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、ステップＳ６０２で見つけたフィラーの単語に対応する部分の音声波形を切り出す。
　認証判定部１８２は、フィラーの単語の出現回数と出現順位とを更新する（ステップＳ６０４）。具体的には、認証判定部１８２は、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の出現回数の値に１を加算する。続いて、認証判定部１８２は、単語データベース１７５は、フィラーの単語、その単語の音声の特徴量、および出現回数を、出現回数の多い順に昇順に並べなおす。
　認証判定部１８２は、ステップＳ６０３で切り出したフィラーの単語の出現順位は、規定順位以内か否かを判定する（ステップＳ６０５）。フィラーの単語の出現順位が規定順位以内ではない場合（ステップＳ６０５；ＮＯ）、認証判定部１８２はステップＳ６０２に戻る。そして、認証判定部１８２は、ステップＳ６０２以降の各ステップを実行する。
　また、フィラーの単語の出現順位が規定順位以内である場合（ステップＳ６０５；ＹＥＳ）、認証判定部１８２は、図５に示した音声認証処理部３００の音声波形切出部３１１に、音声認証処理部３００の時系列変化抽出部３１２へ切り出した音声波形を送信させる。ここで、図１３Ｂに移る。時系列変化抽出部３１２は、受信した音声波形の高低をもとに、ピッチ特徴量を求める（ステップＳ６０６）。
　図５に示した音声認証処理部３００の時系列変化抽出部３１２は、ピッチ特徴量を音声認証処理部３００の時系列変化照合部３１３に送信する。時系列変化照合部３１３は、図５に示した端末記憶部１７から時系列モデルデータベース１７６を取得する。時系列変化照合部３１３は、図６Ｃに示した時系列モデルデータベース１７６のテーブルから、ステップＳ６０３で切り出した音声波形に対応するフィラーの単語の、ピッチ特徴量のデータを取得する（ステップＳ６０７）。
　時系列変化照合部３１３は、時系列変化抽出部３１２から取得したピッチ特徴量のデータと、ステップＳ６０７で時系列モデルデータベース１７６から取得したピッチ特徴量のデータとを照合する（ステップＳ６０８）。続いて、音声波形切出部３１１は、図５に示した音声認証処理部３００の声道特性抽出部３１４に、ステップＳ６０３で切り出した音声波形を送信する。声道特性抽出部３１４は、受信した音声波形から声道特性のデータを求める（ステップＳ６０９）。
　声道特性抽出部３１４は、声道特性のデータを音声認証処理部３００の声道特性照合部３１５に送信する。声道特性照合部３１５は、図５に示す端末記憶部１７から声道特性モデルデータベース１７７を取得する。声道特性照合部３１５は、図６Ｄに示した声道特性モデルデータベース１７７のテーブルに記憶された、ステップＳ６０３で切り出した音声波形に対応するフィラーの単語の声道特性のデータを取得する（ステップＳ６１０）。
　声道特性照合部３１５は、声道特性抽出部３１４から取得した声道特性のデータと、ステップＳ６１０で声道特性モデルデータベース１７７から取得した声道特性のデータとを照合する（ステップＳ６１１）。図５に示した音声認証処理部３００の音声認証値作成部３１６は、ステップＳ６０８で求めた時系列変化照合部３１３の照合結果と、声道特性照合部３１５の照合結果とを基に、音声の認証値を求める（ステップＳ６１２）。音声認証値作成部３１６は、音声の認証値取得処理を終了する。
　ここで、図１２に戻る。認証判定部１８２は、ステップＳ５０３で求めた音声の認証値が認証閾値以上か否か判定する（ステップＳ５０４）。音声の認証値が認証閾値以上である場合（ステップＳ５０４；ＹＥＳ）、認証判定部１８２は、音声の認証値は認証許容値以下か否か判定する（ステップＳ５０５）。また、音声の認証値が認証閾値以上でない場合（ステップＳ５０４；ＮＯ）認証判定部１８２は、戻り値に音声認証ができた旨を設定する（ステップＳ５０８）。
　音声の認証値が認証許容値以下である場合（ステップＳ５０５；ＹＥＳ）、認証判定部１８２は、補助認証処理を実行する（ステップＳ５０６）。補助認証処理については、図１０に示したフローチャートの処理を実行する。また、音声の認証値が認証許容値以下でない場合（ステップＳ５０５；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５０９）。
　認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ５０７）。補助認証ができた場合（ステップＳ５０７；ＹＥＳ）、認証判定部１８２は、戻り値に音声認証ができた旨を設定する（ステップＳ５０８）。また、補助認証ができなかった場合（ステップＳ５０７；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５０９）。認証判定部１８２は、音声認証処理を終了する。
　ここで、図８Ａに戻る。認証判定部１８２は、音声認証ができたか否か判定する（ステップＳ１２４）。音声認証ができた場合（ステップＳ１２４；ＹＥＳ）、認証判定部１８２は、音声の認証値を更新する（ステップＳ１２５）。具体的には、認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証値の平均値に、図１３Ｂに示したステップＳ６１２で求めた音声の認証値を足して２で割り、平均値を求める。認証判定部１８２は、求めた音声の認証値の平均値を図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶する。
　認証判定部１８２は、図５に示した端末記憶部１７に記憶した時系列モデルデータベース１７６と声道特性モデルデータベース１７７を更新する（ステップＳ１２６）。具体的には、認証判定部１８２は、図５に示した音声認証処理部３００の時系列抽出部３１２に、図１３Ｂに示したステップＳ６０６で求めたピッチ特徴量のデータを、時系列モデルデータベース１７６にフィラーの単語と対応つけて記憶させる。
　認証判定部１８２は、図５に示した音声認証処理部３００の声道特性抽出部３１４に、図１３Ｂに示したステップＳ６０９で求めた声道特性のデータを、声道特性モデルデータベース１７７にフィラーの単語と対応つけて記憶させる。認証判定部１８２は、ステップＳ１０１に戻り、ステップＳ１０１以降の処理を実行する。
　また、ステップＳ１２４において、音声認証ができなかった合（ステップＳ１２４；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人ではないと判断する。認証判定部１８２は、図４に示した認証結果表示部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、認証判定部１８２は、端末装置１に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部１８２は、指紋認証を実行する（ステップＳ１２７）。なお、端末装置１に備えられている既存の生体認証手段で用いられる各種生体情報は、特許請求の範囲における四の認証情報の一例である。
　指紋認証ができた場合（ステップＳ１２８；ＹＥＳ）、認証判定部１８２からの指示により、認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真の画像を取得し、ユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、認証判定部１８２に求めたユーザの顔の画像の特徴量を送信する。認証判定部１８２は、受信したユーザの顔の画像の特徴量を図４に示した認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信したユーザの顔の画像の特徴量を、図７Ａに示した認証用生体情報データベース１７２のテーブルの生体情報の種類「顔」に対応つけられた登録情報に記憶されていた顔画像の特徴量に加え、更新する（ステップＳ１２９）。認証判定部１８２は、ステップＳ１０１へ戻り、ステップＳ１０１以降のステップを実行する。
　また、指紋認証ができなかった場合（ステップＳ１２８；ＮＯ）、認証判定部１８２は、図４に示した認証結果表示部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１０）。このログイン画面は、パスワードの入力、指紋認証等の端末装置１に含まれるＯＳによる本人認証である。
　なお、上記の実施の形態１において、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。
　以上の通り、上記実施の形態１に係る端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。特に、端末装置１で用いられる音声認証は、通常の発話に含まれるフィラーに基づいてユーザを認証することができるため、ユーザの負担を軽減し簡易にユーザを認証することがきる。
　また、端末装置１を鞄、ポケット等にいれたまま使用する場合といった、端末装置１の使用状況によってユーザ本人の顔の画像によってユーザ本人を認証できなかった場合に、ユーザ本人の音声によりユーザ本人を認証できるものとする。これにより、端末装置１の使用状態に関わらず、安定してユーザを認証することがきる。
　さらに、端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の精度を向上させることができる。これにより、ユーザに操作の負担をかけることなく、セキュリティを確保することができる。
（実施の形態２）
　実施の形態１では、ユーザ本人の顔の画像によってユーザ本人を認証できなかった場合に、ユーザ本人の音声によりユーザ本人を認証できるものとした。これに限らず、ユーザ本人の音声によりユーザ本人を認証できなかった場合に、ユーザ本人の顔の画像によりユーザ本人を認証できるものとしてもよい。これにより、ユーザを認証するための生体情報の種類と順番とを変更しても認証をすることができるため、ユーザの利便性を向上させることができる。この認証処理について、実施の形態２の認証処理として以下に示す。
　本実施の形態２に係る端末装置１は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図２に示した端末制御部１８は、端末記憶部１７に記憶された認証処理プログラム１７０および音声認証処理プログラム１７１を実行し、ユーザがユーザ本人か否かを判別する。端末制御部１８により実行される認証処理プログラム１７０および音声認証処理プログラム１７１の処理について、図１４Ａから図１６に示す各処理のフローチャートを参照しつつ、以下に説明する。
　まず、図１４Ａに示す認証処理のフローチャートを参照する。図４に示した端末制御部１８は、声認証値取得処理を実行する（ステップＳ７０１）。声認証値取得処理については、図１５に示す声認証値取得処理のフローチャートを参照しつつ、以下に説明する。
　認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ８０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。
　ユーザの発声がない場合（ステップＳ８０１；ＮＯ）、認証用情報取得部１８１は、認証判定部１８２に、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値よりも大きい値を、認証値として設定する（ステップＳ８０４）。認証許容値よりも大きい値は、例えば、認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値に０．１を加算した値とする。なお、加算される値は任意の値とする。
　その後、認証判定部１８２は、声認証値取得処理を終了する。なお、ユーザの発声を検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。
　また、ユーザの発声がある場合（ステップＳ８０１；ＹＥＳ）、認証判定部１８２は、図４に示した認証用情報取得部１８１に、音声入出力部１２からユーザの音声を取得させる（ステップＳ８０２）。認証判定部１８２は、図４に示した音声認証処理部３００に音声の認証値取得処理を実行させる（ステップＳ８０３）。音声の認証値取得処理については、図１３Ａ、図１３Ｂに示したフローチャートのステップＳ６０１からステップＳ６１３を実行するものとする。認証判定部１８２は、声認証値取得処理を終了する。
　ここで、図１４Ａに戻る。認証判定部１８２は、声認証値取得処理で求めた音声の認証値が認証用生体情報データベース１７２から取得した認証閾値以上か否か判定する（ステップＳ７０２）。声認証値取得処理で求めた音声の認証値が認証閾値以上の場合（ステップＳ７０２；ＹＥＳ）、認証判定部１８２は、求めた音声の認証値が認証用生体情報データベース１７２から取得した認証許容値以下か否か判定する（ステップＳ７０３）。
　求めた音声の認証値が認証許容値以下の場合（ステップＳ７０３；ＹＥＳ）、端末装置１を使用しているユーザは、ユーザ本人か否かグレーである。このため、認証判定部１８２は、振舞情報による認証の処理である補助認証処理を実行する（ステップＳ７０４）。補助認証処理については、図１０に示したフローチャートのステップＳ３０１からステップＳ３０９を実行するものとする。
　認証判定部１８２は、ステップＳ７０５からステップＳ７１０を実行する。ステップＳ７０５からステップＳ７１０は、図８Ａに示したステップＳ１０５からステップＳ１１０と同様である。
　ステップＳ７０２において、声認証値取得処理で求めた音声の認証値が認証閾値以上ではない場合（ステップＳ７０２；ＮＯ）、ステップＳ７０５で補助認証ができた場合（ステップＳ７０５；ＹＥＳ）、ステップＳ７０７で音声入力されたキーワードが正しい場合（ステップＳ７０７；ＹＥＳ）、または、ステップＳ７０９で入力されたパスワードが正しい場合（ステップＳ７０９；ＹＥＳ）、認証判定部１８２は、図５に示した端末記憶部１７に記憶した時系列モデルデータベース１７６と声道特性モデルデータベース１７７を更新する（ステップＳ７１１）。具体的には、認証判定部１８２は、図５に示した音声認証処理部３００の時系列抽出部３１２に、図１３Ｂに示したステップＳ６０６で求めたピッチ特徴量のデータを、時系列モデルデータベース１７６にフィラーの単語と対応つけて記憶させる。また、認証判定部１８２は、図５に示した音声認証処理部３００の声道特性抽出部３１４に、図１３Ｂに示したステップＳ６０９で求めた声道特性のデータを、声道特性モデルデータベース１７７にフィラーの単語と対応つけて記憶させる。
　認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データを更新させる（ステップＳ７１２）。具体的には、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの生体情報の種類「顔」に対応つけられた登録情報に、登録情報に記憶されていた顔画像の特徴量に認証判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、登録情報を更新する。
　続いて、認証用情報更新部１８４は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルの振舞の種類「通信接続」または「イベント実行」に対応つけられた最新状況に記憶されている回数に１を加え、更新する。また、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離と図１０に示したステップＳ３０５で算出された「顔と端末装置との距離」から求められた平均距離で更新する。また、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類「位置情報」に対応つけられた最新状況を、記憶されている緯度経度と、図１０に示したステップＳ３０７で取得した端末装置１の現在地の緯度経度とから、平均の緯度経度を求め、更新する。
　このように、認証用生体情報データベース１７２に記憶された生体情報、及び、認証用振舞情報データベース１７３に記憶された振舞情報を更新することにより、ユーザの生体情報及び振舞情報の精度が向上する。このため、ユーザの認証の精度を向上させることができる。
　続いて、認証判定部１８２は、図１４Ｂに示すフローチャートのステップＳ７１３からステップＳ７２２を実行する。ステップＳ７１３からステップＳ７２２の処理は、図８Ｂに示したフローチャートのステップＳ１１３からステップＳ１２２の処理と同様である。
　ここで、図１４Ａに戻る。ステップＳ７０３において、認証判定部１８２の求めた音声の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合（ステップＳ１０３；ＮＯ）、認証判定部１８２は、顔認証処理を実行する（ステップＳ７２３）。顔認証処理については、図１６に示すフローチャートを参照しつつ、以下に説明する。
　認証判定部１８２は、顔認証値取得処理を実行する（ステップＳ９０１）。顔認証値取得処理ついては、図９に示したフローチャートのステップＳ２０１からステップＳ２０９を実行するものとする。
　認証判定部１８２は、ステップＳ９０１の顔認証値取得処理で求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証閾値以上か否か判定する（ステップＳ９０２）。顔の認証値が認証閾値以上ではない場合（ステップＳ９０２；ＮＯ）、認証判定部１８２は、ステップＳ９０６に進み、顔認証処理ができた旨を戻り値として設定する（ステップＳ９０６）。また、顔の認証値が認証閾値以上の場合（ステップＳ９０２；ＹＥＳ）、認証判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７２から取得した認証許容値以下か否か判定する（ステップＳ９０３）。
　認証判定部１８２の求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合（ステップＳ９０３；ＮＯ）、認証判定部１８２は、ステップＳ９０７に進み、顔認証処理ができなかった旨を戻り値として設定する（ステップＳ９０７）。
　また、認証判定部１８２の求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下であった場合（ステップＳ９０３；ＹＥＳ）、認証判定部１８２は、補助認証処理を実行する（ステップＳ９０４）。補助認証処理については、図１０に示したフローチャートのステップＳ３０１からステップＳ３０９を実行するものとする。
　認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ９０５）。補助認証ができた場合（ステップＳ９０５；ＹＥＳ）、認証判定部１８２は、顔認証処理ができた旨を戻り値として設定する（ステップＳ９０６）。また、補助認証ができなかった場合（ステップＳ９０５；ＮＯ）、認証判定部１８２は、顔認証処理ができなかった旨を戻り値として設定する（ステップＳ９０７）。認証判定部１８２は、顔認証処理を終了する。
　ここで、図１４Ａに戻る。認証判定部１８２は、顔認証ができたか否か判定する（ステップＳ７２４）。顔認証ができた場合（ステップＳ７２４；ＹＥＳ）、認証判定部１８２は、顔の認証値を更新する（ステップＳ７２５）。具体的には、まず、認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。続いて、認証判定部１８２は、取得した顔の認証値の平均値とステップＳ７２３の顔認証処理で取得した顔の認証値とを足して２で割り、顔の認証値の平均値を算出する。認証判定部１８２は、算出した顔の認証値の平均値を、図７Ａ示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証値の平均値の欄に書き込み、更新する。
　認証判定部１８２は、音声取得処理を実行する（ステップＳ７２６）。音声取得処理については、図１１Ａ、１１Ｂに示したフローチャートのステップＳ４０１からステップＳ４１４を実行するものとする。
　また、ステップＳ７２４において、顔認証ができなかった場合（ステップＳ７２４；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人ではないと判断する。認証判定部１８２は、図４に示した認証結果表示部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、認証判定部１８２は、端末装置１に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部１８２は、指紋認証を実行する（ステップＳ７２７）。
　続いて、認証判定部１８２は、ステップＳ７２８、ステップＳ７２９を実行する。ステップＳ７２８、ステップＳ７２９の処理は、図８Ａに示したステップＳ１２８、ステップＳ１２９の処理と同様である。認証判定部１８２は、ステップＳ７０１へ戻り、ステップＳ７０１以降のステップを実行する。
　なお、実施の形態２においては、上記の実施の形態１と同様に、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。
　以上の通り、上記実施の形態２に係る端末装置１は、実施の形態１の効果に加えて、ユーザ本人の顔の画像によってユーザ本人を認証できなかった場合に、ユーザ本人の音声によりユーザ本人を認証できるものとすることができる。これにより、ユーザを認証するための生体情報の種類と順番とを変更しても認証をすることができるため、ユーザの利便性を向上させることができる。
　（変形例１）
　上記の実施の形態１および２において、ユーザの生体情報による認証として、ユーザの顔画像による認証と、音声認証と、指紋認証とを使用した。これに限らず、ユーザの生体情報による認証は、指静脈認証、虹彩認証等、いずれの方法であってもよい。また、上記の実施の形態においては、補助認証を使用する判定の条件としてユーザの顔画像による認証と音声認証とを使用したが、他の生体情報による判定結果に応じて補助認証を使用するようにしてもよい。
　（変形例２）
　上記の実施の形態１および２では、ユーザの認証処理を図２に示した認証処理プログラム１７０を実行することにより実現するものとした。この認証処理プログラム１７０で行われる各ステップの全部または一部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ（Ｌａｒｇｅ－ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の半導体チップ、各種回路素子により構成される回路等により実現するようにしてもよい。
　（変形例３）
　上記の実施の形態１および２において、補助認証の判定条件として信頼する接続先への接続、信頼するイベントの実行、ユーザの顔と端末装置１との顔の距離を用いた。これに限らず、他の方法を用いる又は含めても良い。例えば、ユーザ本人が所有するデバイスと端末装置１とをＢｌｕｅｔｏｏｔｈ（登録商標）で接続しているか否かを判定し、接続している場合にユーザ本人と認証する。Ｂｌｕｅｔｏｏｔｈ（登録商標）により接続される機器を使用するためには、機器同士を「ペアリング」する必要がある。このため、Ｂｌｕｅｔｏｏｔｈ（登録商標）による機器の接続は、個人の特定性が強く、補助認証として利用することでユーザ本人を認証することが可能である。また、さらに、図２に示した位置検出部１６により取得したユーザの行動ルートのパターン、規則性等により、ユーザ本人か否かを判定し、行動ルートのパターン、規則性等が一致する場合にユーザ本人と認証としてもよい。
　（変形例４）
　上記の実施の形態１および２においては、補助認証のうち、一つの認証が成功した場合に、ユーザ本人と認証した。これに限らず、複数の補助認証がすべて成功した場合にのみユーザ本人と認証するようにしてもよい。これにより、さらに認証の精度を高めることができる。
　（変形例５）
　上記の実施の形態１および２において、生体認証及び補助認証が成功した場合、図１０に示したフローチャートのステップＳ３０２において認証判定部１８２は、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げている。しかしながら、これに限らず、生体認証及び補助認証が成功した場合、認証間隔を現在の認証間隔よりも長くせずにおき、認証の頻度を下げなくてもよい。具体的には、図１０に示したフローチャートのステップＳ３０２を行わなくてもよい。
　（変形例６）
　上記の実施の形態１および２において、ユーザの認証が成功し、ユーザが継続的に端末装置１を操作し続ける状態、且つ端末装置１の傾きの変更がない場合、ユーザ本人が端末装置１を操作し続けているものと判断することができる。この場合、生体認証の認証閾値及び認証許容値を緩めに設定する、認証間隔を長くする等してもよい。こうすることにより、ユーザ本人に対する必要最低限の認証をバックグラウンドで行いつつ、端末装置１のリソースの利用を節約する事ができる。
　（変形例７）
　上記の実施の形態１および２において、予め定められた認証間隔によりバックグラウンドでの認証を行うようにした。これに限らず、認証のタイミング及び間隔を定めず、ランダムにバックグラウンドで認証を行うようにしてもよい。例えば、端末装置１に搭載されている各種センサの何れかにより、端末装置１の位置の変更、傾きの変更などの空間的な変化があった場合に、随時認証を行うようにしてもよい。また、ユーザが端末装置１に対し特別な処理を行うための操作、イレギュラーな操作等を行った場合に、認証を行うようにしてもよい。
　（変形例８）
　上記の実施の形態１の図８Ａに示した認証処理のステップＳ１１２および上記の実施の形態２の図１４Ａに示したステップＳ７１２では、認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データの登録情報を更新させるものとした。これに限らず、認証判定部１８２は、例えば、予め定められた回数だけユーザ本人を認証できた場合、予め定められた時間を経過した場合等に、認証用情報更新部１８４に、認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データの登録情報を更新させるものとしてもよい。
　また、上記の実施の形態１の図８Ａに示した認証処理のステップＳ１１２および上記の実施の形態２の図１４Ａに示したステップＳ７１２では、認証判定部１８２は、認証用情報更新部１８４に、認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データの登録情報のうち、一部を更新させるようにしてもよい。
　（変形例９）
　上記の実施の形態１において、図８Ａに示した認証処理では、ユーザの顔画像によるユーザ本人の認証ができなかった場合に、音声によるユーザ本人の認証をするものとした。これに限らず、例えば、バックグラウンドにおいて、常時ユーザの音声を取得し、音声によるユーザ本人の認証をしてもよい。また、この場合、ユーザ本人の認証が必要になった際に、直前にバックグラウンドで音声による認証が成功していた場合には、認証は成功したものとしてもよい。
　また、直前にバックグラウンドでの音声の認証がされていない、音声による認証が失敗していた等の場合に、例えば、ユーザの顔画像によるユーザ本人の認証、指紋認証等の他の生体認証をしてもよい。さらに、ユーザの顔画像によるユーザ本人の認証、指紋認証等の他の生体認証が失敗した場合には、再度、明示的にユーザに発声させ、音声による認証をするようしてもよい。
　（変形例１０）
　上記の実施の形態１および２において、図６Ｂに示した単語データベース１７５に記憶されたフィラーの単語は、各々一語とした。これに限らず、複数のフィラーの単語を、例えば、話中によく出る組み合わせで単語データベース１７５に記憶するようにしてもよい。また、フィラーの単語だけではなく、接続詞、副詞、感動詞等、多種の単語を組み合わせてもよい。
　（変形例１１）
　上記の実施の形態１および２では、図６Ｂに示した単語データベース１７５に記憶されたフィラーの単語がユーザの発話に含まれている場合に、そのフィラーの単語のピッチ特徴量および声道特性を抽出し、図６Ｃに示した時系列モデルデータベース１７６および図６Ｄに示した声道特性モデルデータベース１７７に記憶された各種データを追加または更新するものとした。これに限らず、予め、ユーザがよく言うフィラーの単語を図６Ｂに示した単語データベース１７５に記憶しておき、さらにその単語のピッチ特徴量および声道特性を、図６Ｃに示した時系列モデルデータベース１７６および図６Ｄに示した声道特性モデルデータベース１７７に記憶しておくようにしても良い。これにより、ユーザは、端末装置１を使い始めた時からフィラーによるユーザの認証を利用することができる。
　さらに、予め単語データベース１７５等に記憶されたフィラーの単語に関連する各種データは、そのフィラーの単語がユーザの発話に含まれる場合に、ユーザの発話の音声のデータを基に更新するようにしてもよい。さらに、ユーザの発話に予め単語データベース１７５等に記憶されていない新たなフィラーの単語が含まれる場合には、新たなフィラーの単語に関連する各データを単語データベース１７５等に追加するようにしてもよい。これにより、予め登録されたフィラーの単語に関連する各種データを更新し、さらに、ユーザの発話に含まれる新たなフィラーの単語もユーザの認証に用いることができるため、フィラーの単語によるユーザの認証の精度を向上することができる。
　また、本発明の実施の形態１および２では、端末装置１は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、端末装置１における各機能を実現するためのプログラムを、コンピュータが読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記録媒体に格納して配布し、このプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合には、アプリケーションのみを記録媒体に格納してもよい。
　本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。
　本出願は、２０２１年１０月７日に出願された日本国特許出願特願２０２１－１６５３５４号に基づく。本明細書中に日本国特許出願特願２０２１－１６５３５４号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　本発明は、端末装置に好適に利用することができる。
　１　端末装置、１０　通信部、１１　撮影部、１１Ａ　インカメラ、１１Ｂ　メインカメラ、１２　音声入出力部、１２Ａ　スピーカ、１２Ｂ　マイクロフォン、１３　検出部、１４　操作入力部、１５　指紋検出部、１５Ａ　左指紋センサ、１５Ｂ　右指紋センサ、１６　位置検出部、１７　端末記憶部、１８　端末制御部、１９　表示部、２１　プロセッサ、２２　メモリ、２３　表示コントローラ、２４　表示機器、２５　Ｉ／Ｏポート、２６　記憶機器、２７　通信機器、２８　データバス、１７０　認証処理プログラム、１７１　音声認証処理プログラム、１７２　認証用生体情報データベース、１７３　認証用振舞情報データベース、１７４　傾き情報テーブル、１７５　単語データベース、１７６　時系列モデルデータベース、１７７　声道特性モデルデータベース、１８１　認証用情報取得部、１８２　認証判定部、１８３　認証結果表示部、１８４　認証用情報更新部、３００　音声認証処理部、３１０　単語取得部、３１１　音声波形切出部、３１２　時系列抽出部、３１３　時系列変化照合部、３１４　声道特性抽出部、３１５　声道特性照合部、３１６　音声認証値作成部。

Claims (10)

  1. 　複数の認証情報を取得する認証用情報取得部と、
    　前記認証用情報取得部で取得した前記複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部と、
    　前記音声認証処理部が作成した前記音声の認証値に基づいて、認証が成功したか否かを判定する認証判定部と、
    　を備え、
    　前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、前記音声の認証値を作成する処理を実行し、
    　前記認証判定部は、前記音声認証処理部で作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値に前記ユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして前記認証用情報取得部で取得した他の認証情報である一の認証情報に基づいて認証が成功したか否かを判定する、
    　端末装置。
  2. 　複数のデータを記憶する端末記憶部をさらに備え、
    　前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量のデータを求める時系列変化抽出部と、前記フィラーの音声波形から前記声道特性のデータを求める声道特性抽出部と、前記端末記憶部に記憶された前記フィラーに対応するピッチ特徴量のデータおよび声道特性のデータと、前記時系列変化抽出部で求めた前記ピッチ特徴量および声道特性抽出部で求めた声道特性のデータとを照合した照合結果に基づいて前記音声の認証値を作成する音声認証値作成部とを含む、
    　請求項１に記載の端末装置。
  3. 　前記一の認証情報は、前記音声のデータとは異なる生体情報のデータであり、
    　前記認証判定部は、さらに、前記一の認証情報が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した前記一の認証情報とは異なる二の認証情報に基づいて認証が成功したか否かを判定する、
    　請求項１また２に記載の端末装置。
  4. 　前記認証判定部は、さらに、前記二の認証情報に基づく認証を失敗と判定した場合に、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定する、
    　請求項３に記載の端末装置。
  5. 　前記二の認証情報は、前記認証用情報取得部で取得された前記一の認証情報の生体情報とは異なるユーザの第２生体情報であり、
    　前記三の認証情報は、ユーザの特有の挙動を含む振舞情報である、
    　請求項４に記載の端末装置。
  6. 　複数の認証情報を取得する認証用情報取得部と、
    　前記認証用情報取得部で取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
    　前記認証用情報取得部で取得した前記複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部と、
    　を備え、
    　前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、前記音声の認証値を作成する処理を実行し、
    　前記認証判定部は、前記認証用情報取得部で取得した前記複数の認証情報のうち前記音声のデータとは異なる一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声認証処理部で作成された前記音声の認証値に基づいて認証が成功したか否かを判定する、
    　端末装置。
  7. 　端末装置が実行する情報処理方法であって、
    　複数の認証情報を取得し、
    　取得した前記複数の認証情報のうち、音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて音声の認証値を作成し、
    　作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして他の認証情報に基づいて認証が成功したか否かを判定する、
    　情報処理方法。
  8. 　端末装置が実行する情報処理方法であって
    　複数の認証情報を取得し、
    　取得した前記複数の認証情報のうち音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、ユーザを認証するための音声の認証値を作成し、
    　取得した前記複数の認証情報のうち前記音声のデータとは異なる一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値に基づいて認証が成功したか否かを判定する、
    　情報処理方法。
  9. 　コンピュータに、
    　複数の認証情報を取得する処理、
    　取得した前記複数の認証情報のうち、音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて音声の認証値を作成する処理、
    　作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして他の認証情報に基づいて認証が成功したか否かを判定する処理、
    　を実行させるためのプログラム。
  10. 　コンピュータに、
    　複数の認証情報を取得する処理、
    　取得した前記複数の認証情報のうち音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、ユーザを認証するための音声の認証値を作成する処理、
    　取得した前記複数の認証情報のうち前記音声のデータとは異なる一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値に基づいて認証が成功したか否かを判定する処理、
    　を実行させるためのプログラム。
PCT/JP2022/034511 2021-10-07 2022-09-15 端末装置、情報処理方法、及びプログラム WO2023058424A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-165354 2021-10-07
JP2021165354A JP7015408B1 (ja) 2021-10-07 2021-10-07 端末装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023058424A1 true WO2023058424A1 (ja) 2023-04-13

Family

ID=80781083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034511 WO2023058424A1 (ja) 2021-10-07 2022-09-15 端末装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7015408B1 (ja)
WO (1) WO2023058424A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175090A (ja) * 1997-12-10 1999-07-02 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 話者クラスタリング処理装置及び音声認識装置
JP2018005120A (ja) * 2016-07-07 2018-01-11 学校法人立命館 音声認識装置、音声認識方法及びコンピュータプログラム
JP2019185117A (ja) * 2018-04-02 2019-10-24 積水ハウス株式会社 雰囲気推測装置
WO2021075012A1 (ja) * 2019-10-17 2021-04-22 日本電気株式会社 話者認証システム、方法およびプログラム
JP6926351B1 (ja) * 2021-02-01 2021-08-25 真旭 徳山 端末装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175090A (ja) * 1997-12-10 1999-07-02 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 話者クラスタリング処理装置及び音声認識装置
JP2018005120A (ja) * 2016-07-07 2018-01-11 学校法人立命館 音声認識装置、音声認識方法及びコンピュータプログラム
JP2019185117A (ja) * 2018-04-02 2019-10-24 積水ハウス株式会社 雰囲気推測装置
WO2021075012A1 (ja) * 2019-10-17 2021-04-22 日本電気株式会社 話者認証システム、方法およびプログラム
JP6926351B1 (ja) * 2021-02-01 2021-08-25 真旭 徳山 端末装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2023056179A (ja) 2023-04-19
JP7015408B1 (ja) 2022-02-02

Similar Documents

Publication Publication Date Title
KR101921037B1 (ko) 사용자로부터의 스피치 구문에 응답하여 컨텍스트 데이터에 기초하여 통지를 생성하는 전자 디바이스
JP6151858B2 (ja) 情報処理装置、アプリケーションソフトウェア起動システム及びアプリケーションソフトウェア起動方法
US9119068B1 (en) Authentication using geographic location and physical gestures
JP6580783B2 (ja) 人物再識別システム及び方法
US20220417359A1 (en) Remote control device, information processing method and recording program
US20200019688A1 (en) Voice activated authentication
WO2023058424A1 (ja) 端末装置、情報処理方法、及びプログラム
US20220286451A1 (en) Information processing system, information processing method, and program
US20180182393A1 (en) Security enhanced speech recognition method and device
JP6926351B1 (ja) 端末装置、情報処理方法、及びプログラム
US11615171B2 (en) Terminal device, information processing method, and computer-readable recording medium storing program for authentication
JP6946592B1 (ja) 認証システム、認証装置、認証方法、及びプログラム
JP6450803B2 (ja) 情報処理装置、アプリケーションソフトウェア起動システム及びアプリケーションソフトウェア起動方法
US9111133B2 (en) Use of unknown user data for identifying known users
JP6964174B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015095795A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
WO2018003225A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7012190B1 (ja) 認証装置、認証方法、認証システム、及びプログラム
TWI468983B (zh) 服務啟動方法及系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878295

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE