WO2022044085A1 - 情報処理装置、システム、情報処理方法、及び、記録媒体 - Google Patents
情報処理装置、システム、情報処理方法、及び、記録媒体 Download PDFInfo
- Publication number
- WO2022044085A1 WO2022044085A1 PCT/JP2020/031875 JP2020031875W WO2022044085A1 WO 2022044085 A1 WO2022044085 A1 WO 2022044085A1 JP 2020031875 W JP2020031875 W JP 2020031875W WO 2022044085 A1 WO2022044085 A1 WO 2022044085A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information processing
- processing apparatus
- image
- information
- immigrant
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 345
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000005856 abnormality Effects 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 140
- 238000012545 processing Methods 0.000 claims description 62
- 206010037660 Pyrexia Diseases 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 22
- 230000036760 body temperature Effects 0.000 claims description 18
- 230000020169 heat generation Effects 0.000 claims description 18
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 8
- 238000007726 management method Methods 0.000 description 48
- 230000015654 memory Effects 0.000 description 23
- 210000003128 head Anatomy 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 230000003028 elevating effect Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
- G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
- G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
- G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
Definitions
- This disclosure relates to information processing devices, systems, information processing methods, and recording media.
- the examiner confirms the contents of the passport of the traveler and compares the face photo attached to the passport with the face of the traveler to determine whether or not to enter or leave the country.
- a device has been proposed in which a photograph of a traveler's face is taken and collated with a photograph of the traveler's passport (see Patent Documents 1 and 2).
- information processing devices for acquiring passport information, facial images, fingerprints, etc., mainly for foreign immigrants, prior to examination by an examiner are known.
- One purpose of this disclosure is to improve the technology disclosed in the prior art document described above.
- the information processing method Obtain the personal identification information of the target and Using the sensor, detect the abnormality related to the target and Based on the abnormality, the acquisition of the personal identification information is controlled.
- the recording medium is: Obtain the personal identification information of the target and Using the sensor, detect the abnormality related to the target and A program that causes a computer to execute a process for controlling the acquisition of the personal identification information based on the abnormality is recorded.
- the overall configuration of the immigration system according to the first embodiment is shown. It is a figure which shows the appearance of an information processing apparatus. The internal structure of the base of the information processing device is shown. It is a block diagram which shows the functional structure of an information processing apparatus. It is a block diagram which shows the functional structure of a management server. It is a flowchart of information acquisition processing. It is a flowchart of a passport process and a face recognition process. It is a flowchart of fingerprint collection processing and ED card processing.
- a display example of the touch panel is shown. Other display examples of the touch panel are shown. Other display examples of the touch panel are shown. Other display examples of the touch panel are shown. Other display examples of the touch panel are shown. Other display examples of the touch panel are shown. Other display examples of the touch panel are shown. Other display examples of the touch panel are shown.
- a display example of a tablet is shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. Other display examples of the tablet are shown. It is a flowchart of information acquisition processing which concerns on 2nd Embodiment.
- thermo image in which two people are illegally operating an information processing device is shown.
- fingerprint collection process according to 3rd Embodiment.
- heat-generating person detection process by 4th Embodiment.
- An example of an image to be sent to a tablet when a fever is found is shown.
- block diagram which shows the structure of the information processing apparatus which concerns on 5th Embodiment.
- the immigration system of this embodiment is installed at an airport or the like and is mainly used for immigration of foreigners.
- Immigration for foreigners is basically carried out in two steps: acquisition of personal identification information and immigration by an examiner. Specifically, when a foreign immigrant gets off an airplane and enters the immigration area, he / she first operates an information processing device to provide personal identification information. Next, the immigrants proceed to the examination booth where the examiner is, and are examined by the examiner. When the examiner's examination is completed, entry is permitted.
- FIG. 1 shows the overall configuration of the immigration system according to the first embodiment.
- the immigration system 1 includes a plurality of information processing devices 100, a management server 200, a tablet 300, and a PC 5.
- the information processing apparatus 100 is provided to acquire the personal identification information of the immigrant P.
- the immigrant P is not limited to foreigners, but can be targeted at all persons who wish to enter the country.
- the immigrant P may be not only a human but also an animal such as a dog, a cat, or a snake. These immigrants P are examples of "targets".
- Personal identification information includes facial images and fingerprints.
- a concierge stands by in the vicinity of the information processing apparatus 100, and assists in the management and operation of the information processing apparatus 100.
- a predetermined number of information processing devices 100 in charge are assigned to the concierge.
- the concierge possesses a tablet 300 used for managing the information processing apparatus 100 and the like.
- the tablet 300 is an example, and any terminal such as a PC or a smartphone may be used as long as it is a terminal device that can manage the information processing device 100.
- an assistant who performs auxiliary work is assigned to the concierge, but in this specification, the assistant is also referred to as a concierge.
- An examiner is waiting at the examination booth to examine the immigrant P who has provided personal identification information.
- the PC5 used by the examiner is installed in the examination booth.
- the examiner displays the personal identification information of the immigrant P on the PC5 and conducts the examination. Although only one examination booth is shown in FIG. 1 for convenience, a plurality of examination booths are actually installed.
- the management server 200 manages and controls the information processing device 100 and the tablet 300 by wireless communication. Further, the management server 200 communicates with the PC 5 used by the examiner by wire or wirelessly. Specifically, the information processing apparatus 100 transmits the information provided by the immigrant P by operating the information processing apparatus 100 to the management server 200. The management server 200 stores the information acquired from the information processing apparatus 100 and transmits it to the tablet 300 and the PC 5. The tablet 300 receives information and the like indicating the operation status of the information processing apparatus 100 from the management server 200 and displays the information. As a result, the concierge can grasp the status of the information processing apparatus 100 in charge of the concierge.
- the management server 200 transmits the personal identification information provided by the immigrant P by operating the information processing device 100 to the PC 5 of the examination booth.
- the examiner displays the personal identification information of the immigrant P received from the management server 200 on the PC5, and examines the contents by looking at the contents.
- the information processing device 100, the tablet 300 of the concierge, and the PC 5 of the examination booth exchange information via the management server 200, but the information processing is performed between the information processing device 100 and the tablet 300, and information processing. Information may be directly exchanged between the apparatus 100 and the PC 5 in the examination booth without going through the management server 200.
- FIG. 2 is a diagram showing the appearance of the information processing apparatus 100.
- the information processing device 100 includes a thermo sensor 115, a surveillance camera 116, a touch panel 117, two face recognition cameras 118A and 118B, a passport reader 119, a pair of fingerprint scanners 120R and 120L, and a pair of hand cameras 121R. It includes a 121L, an elevating mechanism 122, a pair of moving handles 131R and 131L, a base 132, a moving caster 133, a bar 134, and a table 135.
- fingerprint scanner 120R and 120R when any one is specified, it is described as “fingerprint scanner 120R”, “fingerprint scanner 120L” or the like, and when any of them is not specified, it is simply described as “fingerprint scanner 120".
- the thermo sensor 115 is provided at the top of the information processing device 100 and detects the approach of a person to the information processing device 100. Basically, when the thermo sensor 115 does not detect a person, the information processing apparatus 100 is in a standby (sleep) state. When the immigrant P stands in front of the thermo sensor 115, the thermo sensor 115 detects the immigrant P as a heat source, and the information processing apparatus 100 is activated. Further, as will be described later, the thermo sensor 115 is also used to detect the heat generation of the immigrant P.
- the surveillance camera 116 is also provided at the top of the information processing apparatus 100, and photographs a predetermined range in front of the information processing apparatus 100 from diagonally above.
- the surveillance camera 116 is used to capture the behavior of the immigrant P in front of the information processing apparatus 100.
- the touch panel 117 is provided at a position corresponding to the upper body of the immigrant P standing in front of the information processing apparatus 100, and can move up and down along the bar 134.
- the touch panel 117 has a role as an input unit and a display unit when the immigrant P operates the information processing apparatus 100.
- the touch panel 117 displays guidance information necessary for the immigrant P to operate the information processing apparatus 100. Further, when the immigrant P needs to make some selection with respect to the guidance information, a selection button is displayed on the touch panel 117.
- a face recognition camera 118A is provided at the upper end of the touch panel 117, and a face recognition camera 118B is provided at the lower end.
- the upper face recognition camera 118A is used to take a face image of a tall person
- the lower face recognition camera 118B is used to take a face image of a short person such as a child. Will be done.
- an image suitable for face recognition for example, a front face image
- the upper face recognition camera 118A may take a face image of a short person
- the lower face recognition camera 118B may take a face image of a tall person. Further, by using a plurality of face recognition cameras, it is possible to acquire not only the front face image but also the face image of various angles.
- one face recognition camera may be provided near the center in the vertical direction of the touch panel 117.
- the face recognition cameras 118A and 118B are provided outside the upper and lower display areas of the touch panel 117, but instead, a half mirror is provided on the touch panel 117 and arbitrarily inside the half mirror. A face recognition camera may be provided at the position.
- a table 135 is provided below the touch panel 117.
- a passport reader 119 and a pair of fingerprint scanners 120R and 120L are provided on the upper surface of the table 135.
- the passport reader 119 reads the recorded information by wireless communication from the IC chip in the passport placed on the passport reader 119.
- the passport reader 119 includes identification items such as nationality, name, date of birth, passport number, etc. from the passport, and a facial image of a photograph affixed to the passport application form, etc. Also called "passport information").
- the fingerprint scanner 120 reads the fingerprints of the index fingers of the left and right hands of the immigrant P.
- the fingerprint scanner 120R is for the right hand
- the fingerprint scanner 120L is for the left hand.
- the elevating mechanism 122 moves the table 135 in the vertical direction.
- the elevating mechanism 122 can move the table 135 to a height suitable for the height of the immigrant P, that is, a height at which the immigrant P can easily place his / her finger on the fingerprint scanners 120R and 120L.
- the elevating mechanism 122 moves the touch panel 117 along the bar 134. Any mechanism may be used to move the touch panel 117 along the bar 134.
- the touch panel 117 can be moved up and down by providing a rail on the front surface of the bar, fixing the slider to a slider that can move up and down in the rail, and moving the slider up and down by the elevating mechanism 122.
- a pair of handheld cameras 121R and 121L are provided above the table 135.
- the handheld cameras 121R and 121L capture a state in which the immigrant P puts his / her passport on the passport reader 119 and a state in which his / her left and right fingers are placed on the fingerprint scanner 120.
- the hand camera 121R photographs the right hand side of the immigrant P, that is, the fingerprint scanner 120R side
- the hand camera 121L photographs the left hand side of the immigrant P, that is, the fingerprint scanner 120L side.
- the handheld camera 121 may be provided at the lower end of the touch panel 117, or may be provided at the bar 134 at a position behind the touch panel 117.
- the base 132 is a housing provided at the lower end of the information processing device 100, and a removable battery, a spare battery, and the like are stored inside. Since the information processing device 100 is powered by a removable battery, it can be moved to a place where there is no outlet and can be used.
- a moving caster 133 is provided below the base 132, and a pair of moving handles 131R and 131L are provided at the lower end of the table 135. The concierge and other workers can move the information processing device 100 by holding the moving handle 131.
- FIG. 3 shows the internal structure of the base 132.
- FIG. 3 shows a state in which the front panel of the base 132 is removed and the inside is viewed from the front.
- An operation panel 152 is provided in the center of the base 132, and a battery 151 is installed in the space on the left and right of the operation panel 152.
- One of the batteries 151 is in use and the other is a spare.
- the battery 151 is electrically connected to the terminal in a state of being placed in a predetermined position and is charged.
- the operation panel 152 is provided with a power button 153 and an elevating button 154 and 155.
- the power button 153 is a button for the main power supply of the information processing apparatus 100.
- the elevating buttons 154 and 155 are buttons for elevating and lowering the touch panel 117 and the table 135 by the elevating mechanism 122, respectively.
- the operation panel 152 includes a remaining amount indicator 156, an in-use lamp 157, a replacement lamp 158, and a charging lamp 159, corresponding to each battery.
- the remaining amount indicator 156 displays the remaining amount of the battery.
- the in-use lamp 157 lights up when the battery is in use.
- the replacement lamp 158 lights up when the battery needs to be replaced.
- the charging lamp 159 lights up when the battery is charging.
- FIG. 4 is a block diagram showing a functional configuration of the information processing apparatus 100.
- the information processing apparatus 100 includes a communication unit 111, a processor 112, a memory 113, and a recording medium 114. Further, the information processing apparatus 100 includes a thermo sensor 115, a surveillance camera 116, a touch panel 117, a face recognition camera 118, a passport reader 119, a fingerprint scanner 120, a hand camera 121, and an elevating mechanism 122 described with reference to FIG.
- the communication unit 111 transmits / receives data to / from an external device. Specifically, the communication unit 111 transmits / receives information to / from the management server 200. Further, when the information processing apparatus 100 can directly communicate with the tablet 300 or the PC 5 of the examination booth, the communication unit 111 transmits / receives information to / from the tablet 300 or the PC 5.
- the processor 112 is a computer such as a CPU (Central Processing Unit), and controls the entire information processing apparatus 100 by executing a program prepared in advance.
- the processor 112 may be a GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), DSP (Demand-Side Platform), ASIC (Application Specific Integrated Circuit), or the like.
- the processor 112 executes various processes such as passport processing, face image processing, fingerprint collection processing, and ED card processing, which will be described later.
- the memory 113 is composed of a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
- the memory 113 is also used as a working memory during execution of various processes by the processor 112.
- the recording medium 114 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be removable from the information processing apparatus 100.
- the recording medium 114 records various programs executed by the processor 112. When the information processing apparatus 100 executes various processes, the program recorded in the recording medium 114 is loaded into the memory 113 and executed by the processor 112.
- FIG. 5A is a block diagram showing a functional configuration of the management server 200.
- the management server 200 includes a communication unit 211, a processor 212, a memory 213, a recording medium 214, and a database 215.
- the communication unit 211 transmits / receives data to / from an external device. Specifically, the communication unit 211 transmits / receives information to / from the information processing device 100, the tablet 300 used by the concierge, and the PC 5 in the examination booth.
- the processor 212 is a computer such as a CPU, and controls the entire management server 200 by executing a program prepared in advance.
- the processor 212 may be a GPU, FPGA, DSP, ASIC, or the like. Specifically, the processor 212 receives the information acquired from the immigrant P by the information processing apparatus 100 and stores it in the DB 215, or transmits the immigrant information to the PC 5 of the examination booth.
- the memory 213 is composed of a ROM, a RAM, and the like.
- the memory 213 is also used as a working memory during execution of various processes by the processor 212.
- the recording medium 214 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be detachable from the management server 200.
- the recording medium 214 records various programs executed by the processor 212. When the management server 200 executes various processes, the program recorded in the recording medium 214 is loaded into the memory 213 and executed by the processor 212.
- the database 215 stores personal identification information of the immigrant P received through the communication unit 211, information indicating the operating state of the information processing apparatus 100, and the like.
- the management server 200 may include an input unit such as a keyboard and a mouse for an administrator or the like to give an instruction or input, and a display unit such as a liquid crystal display.
- FIG. 5B is a block diagram showing the internal configuration of the tablet 300 used by the concierge.
- the tablet 300 includes a communication unit 311, a processor 312, a memory 313, and a touch panel 314.
- Communication unit 311 sends and receives data to and from an external device. Specifically, the communication unit 311 transmits / receives information to / from the management server 200. Further, when the tablet 300 can directly communicate with the information processing device 100 and the PC 5 of the examination booth, the communication unit 311 transmits / receives information to / from the information processing device 100 and the PC 5.
- the processor 312 is a computer such as a CPU, and controls the entire tablet 300 by executing a program prepared in advance.
- the processor 312 may be a GPU, FPGA, DSP, ASIC, or the like.
- the processor 312 receives information indicating the status of the information processing apparatus 100 and the operation status by the immigrant P from the management server 200 or the information processing apparatus 100, and displays the information on the touch panel 314.
- the memory 313 is composed of a ROM, a RAM, and the like.
- the memory 313 is also used as a working memory during execution of various processes by the processor 312.
- the touch panel 314 displays information indicating the state of the information processing apparatus 100 in charge of the concierge possessing the tablet 300 and the operation status by the immigrant P.
- FIG. 6 is a flowchart of the information acquisition process executed by the information processing apparatus 100. This process is realized by the processor 112 shown in FIG. 4 executing a program prepared in advance.
- the information processing device 100 is in a sleep state when the immigrant P is not operating, and the thermo sensor 115 detects the front of the information processing device 100 (step S1).
- the "front" of the information processing apparatus 100 is an area where the immigrant P who operates the information processing apparatus 100 stands, for example, an area shown by a broken line 170 in FIG.
- the thermo sensor 115 detects the immigrant P (step S1: Yes), and the information processing apparatus 100 executes passport processing (step S10).
- the passport process is a process of reading passport information from the passport of the immigrant P.
- FIG. 7A is a flowchart of passport processing.
- the information processing apparatus 100 detects the passport by the passport reader 119 (step S11). If the passport cannot be detected (step S11: No), the information processing apparatus 100 displays a message such as "Please put the passport” on the touch panel 117 (step S12). On the other hand, when the passport is detected (step S11: Yes), the passport reader 119 reads the passport information from the IC chip in the passport (step S13).
- the passport information includes identification items such as nationality, name, date of birth, passport number, and a face image read from a photograph attached to the passport application form.
- the information processing apparatus 110 temporarily stores the read passport information in the memory 113 or the like (step S14). Then, the process returns to the main routine of FIG.
- the face authentication process is a process of taking a face image of the immigrant P and collating it with the face image included in the passport information to perform face authentication.
- FIG. 7B is a flowchart of the face recognition process.
- the information processing apparatus 100 displays a message such as "take a face image" on the touch panel 117. Further, if necessary, the information processing apparatus 100 may display a countdown number or the like indicating the shooting timing.
- the face recognition camera 118 captures a face image of the immigrant P (step S22). At this time, the information processing apparatus 100 photographs the immigrant P using one of 118B of the face recognition camera 118A according to the height of the immigrant P.
- the information processing apparatus 100 temporarily stores the face image taken by the face recognition camera 118 in the memory 113 (step S23).
- the information processing apparatus 110 collates the face image taken by the face recognition camera 118 with the face image included in the passport information read from the passport, performs face recognition, and stores the authentication result in the memory 113 ( Step S24). Then, the process returns to the main routine of FIG.
- the fingerprint collection process is a process for collecting the fingerprint of the immigrant P. Specifically, the fingerprint collection process collects the fingerprints of the index fingers of the left and right hands of the immigrant P.
- FIG. 8A is a flowchart of the fingerprint collection process.
- the information processing apparatus 100 displays a guidance screen for collecting fingerprints on the touch panel 117 (step S31). For example, the information processing apparatus 100 displays a guide image showing a method of arranging a finger on the fingerprint scanner 120 on the touch panel 117.
- the fingerprint scanners 120R and 120L each read the fingerprint of the index finger of the immigrant P (step S32), and temporarily store the fingerprint image in the memory 113 (step S33). Then, the process returns to the main routine of FIG.
- an ED card is a card that fills in necessary information when entering or leaving a destination country, and is also called an entry / exit card.
- the ED card process is a process of reading the ED information pre-registered by the immigrant P from a terminal device such as a smartphone of the immigrant P.
- a QR code registered trademark
- FIG. 8B is a flowchart of ED card processing.
- the information processing apparatus 100 asks whether the immigrant P has pre-registered the ED information (step S41). If the ED information has not been pre-registered (step S41: No), the process ends. On the other hand, when the ED information is pre-registered (step S41: Yes), the information processing apparatus 100 reads the QR code displayed on the smartphone or the like by the immigrant P (step S42). Specifically, the immigrant P displays the QR code on a smartphone and holds it over a passport reader 119 or the like. The passport reader 119 reads the QR code from the smartphone. Then, the information processing apparatus 100 temporarily stores the read ED information in the memory 113 (step S43). Then, the process returns to the main routine of FIG.
- the QR code is read by the passport reader 119, but the QR code may also be read by the face recognition camera 118 or the handheld camera 121.
- the information processing apparatus 100 may be provided with an IC card reader, and the registered ED information may be acquired from the immigrant P's smartphone by performing wireless communication between the immigrant P's smartphone and the information processing apparatus 100. good.
- the information processing apparatus 100 transmits the personal identification information acquired in steps S10 to S40 to the management server 200 (step S50).
- the personal identification information transmitted to the management server 200 includes passport information acquired by passport processing, face image and face authentication result acquired by face authentication processing, fingerprint image acquired by fingerprint collection processing, and ED card processing. Includes ED information acquired in.
- the information processing apparatus 100 displays a message such as "Please proceed to the examination booth" on the touch panel 117, and urges the immigrant P to proceed to the examination booth.
- the information processing apparatus 100 displays a guide image for passport scanning. Specifically, the information processing apparatus 100 displays the images 402 to 404 shown in FIGS. 9 (B) to 9 (D) in order. Images 402 to 404 all include a message requesting that the passport be placed in the passport reader 119. Image 402 shows the appearance of the passport reader, image 403 shows the outer surface of the passport overlaid on the passport reader 119, and image 404 shows the inner surface of the passport overlaid on the passport reader 119.
- the help button 482 included in the image 402 and the replay button 483 included in the image 404 will be described later.
- the reading image 405 shown in FIG. 10A is displayed on the touch panel 117. If the passport is successfully read, an image 406 showing the reading is OK is displayed as shown in FIG. 10 (B). On the other hand, if the reading of the passport fails, an image 407 showing the reading NG is displayed as shown in FIG. 10 (C). If the reading fails, the immigrant P redoes the passport reading operation.
- the guide image 410 for face photography is displayed as shown in FIG. 11 (A).
- the information processing apparatus 100 determines whether to use the upper face recognition camera 118A or the lower face recognition camera 118B according to the height of the immigrant P. Then, when the upper face recognition camera 118A is used, the information processing apparatus 100 displays the image 411 shown in FIG. 11B and urges the immigrant P to look at the upper face recognition camera 118A. On the other hand, when the lower face recognition camera 118B is used, the information processing apparatus 100 displays the image 412 shown in FIG. 11C and prompts the immigrant P to look at the lower face recognition camera 118B.
- the face recognition camera 118 starts shooting the face image
- the image being shot 413 shown in FIG. 12A is displayed.
- the shooting OK image 414 shown in FIG. 12B is displayed.
- the capture NG image 415 shown in FIG. 12 (C) is displayed.
- the information processing device 100 displays guidance information for correctly shooting a face image. For example, when the face of the immigrant P does not fit in the shooting frame 490 as shown in the image 416 of FIG. 13 (A), the information processing apparatus 100 prompts the immigrant P to enter the shooting frame 490. indicate.
- the information processing apparatus 100 displays a message at a position corresponding to the face authentication camera 118 used for capturing the face image. Specifically, when a face image is taken using the upper face recognition camera 118A, the information processing apparatus 100 sends a message to the upper side of the shooting frame 490 as shown in the image 416 of FIG. 13 (A). indicate.
- the information processing apparatus 100 sends a message to the lower side of the shooting frame 490 as shown in the image 417 of FIG. 13 (B). indicate. Further, when the face image is taken by using the two face recognition cameras 118, the information processing apparatus 100 is based on the height of the immigrant, the position of the immigrant's face in the image 416, or the face image. The place where the message is displayed can be appropriately set according to the position of the line of sight of the detected immigrant.
- the information processing apparatus 100 displays a guide image explaining a method of collecting fingerprints. Specifically, the information processing apparatus 100 displays the images 421 and 422 shown in FIGS. 13 (C) and 13 (D) in order. Image 421 displays the fingerprint scanner, and image 422 shows an example of finger placement with respect to the fingerprint scanner. Subsequently, the information processing apparatus 100 displays the image 423 shown in FIG. 14 (A). In the image 423, the guide hand 512 indicating the correct arrangement of the fingers of the left and right hands is displayed on the image near the left and right fingerprint scanners 120 taken by the hand camera 121. Further, a dashed circle 511 indicating that the index finger is placed on the fingerprint scanner 120 is displayed. The replay button 483 will be described later.
- the information processing apparatus 100 displays an image 424 including the hand 513 of the immigrant P taken by the hand camera 121.
- the immigrant P refers to the position of the guide hand 512 in the image 424 and places his / her hand in the correct position.
- the fingerprint scanner 120 starts reading the fingerprint, and the image being read 425 shown in FIG. 14 (C) is displayed. If the fingerprint is successfully read, the read OK image 426 shown in FIG. 14 (D) is displayed. On the other hand, if the fingerprint reading fails, the read NG image 427 shown in FIG. 15A is displayed. There are several reasons why fingerprint reading fails. For example, when the immigrant P has only one hand on the fingerprint scanner 120, the information processing apparatus 100 displays the image 428 shown in FIG. 15 (B). In image 428, a message is displayed requesting that both hands be placed on the fingerprint scanner 120.
- the information processing apparatus 100 displays the image 429 shown in FIG. 15 (C).
- image 429 a message indicating that the position of the right hand is displaced is displayed.
- the position of the finger of the right hand is displaced, but the position of the finger of the left hand is not displaced, so that the message of "misalignment” is displayed only under the image of the right hand. If only the position of the finger of the left hand is misaligned, the message “misalignment” is displayed only below the image of the left hand. If the fingers of both hands are misaligned, a message of "misalignment" is displayed below the images of both hands.
- the hand image is displayed.
- a message may be displayed above.
- the color of the guide hand 512, the thickness of the line, and the like may be changed depending on whether or not the position of the finger is correct. For example, the guide hand 512 is displayed on the first display (for example, the dotted red line) until the finger is placed in the correct position, and the guide hand is displayed on the second display (for example, the solid green line) when the finger is placed in the correct position. 512 may be displayed.
- the information processing apparatus 100 displays the image 430 shown in FIG. 15 (D).
- the image 430 a message indicating that the index finger of the right hand is not sufficiently pressed against the fingerprint scanner 120 is displayed. Also in this case, the message is displayed below the image of the left and right fingers that are not sufficiently pressed. In this way, the information processing apparatus 100 displays the reason why the fingerprint reading failed on the touch panel 117, and prompts the fingerprint collection again.
- the information processing apparatus 100 displays the image 441 shown in FIG. 16A and asks the immigrant P whether or not to use the pre-registered ED information.
- Image 411 includes a YES button 531 and a NO button 532.
- the immigrant P presses the NO button 532 the ED card processing ends.
- the information processing apparatus 100 displays a guide image of the QR code reading operation. Specifically, the information processing apparatus 100 displays the images 442 to 444 of FIGS. 16B to 16D in order.
- the image 442 is an image that encourages the smartphone to display the QR code corresponding to the pre-registered ED information.
- Image 443 shows the passport reader 119 used to read the QR code.
- Image 444 shows how the QR code is held over the passport reader 119.
- the replay button 483 is displayed in the image 444, which will be described later.
- the reading of the QR code starts and the image being read 445 shown in FIG. 17A is displayed.
- the image 446 shown in FIG. 17B is displayed.
- the image 446 includes pre-registered ED information, a message prompting the immigrant P to confirm the necessity of correction, a YES button 541, and a NO button 542.
- the immigrant P presses the YES button 541 or the NO button 542 depending on the necessity of correction.
- the YES button 541 is pressed, the image 446 can be input, and the immigrant P makes necessary corrections. If there is no correction or the correction is completed, the confirmation image 447 shown in FIG. 17C is displayed.
- the confirmation image 447 includes a YES button 543 and a NO button 544.
- the image returns to the image 446 shown in FIG. 17 (B).
- the end screen 448 as shown in FIG. 17D is displayed, and the information acquisition process ends.
- the language selection button and the help button can be displayed in all the images or any image among the images illustrated in FIGS. 9 to 17.
- FIG. 9A shows an example of an image in which the language selection button 481 is displayed.
- the image 451 shown in FIG. 18A is displayed, and the immigrant P can select the language to be used in the operation of the information processing apparatus 100.
- the help button is a button for calling the concierge.
- FIG. 9B shows an example of an image in which the help button 482 is displayed.
- the help button 482 is pressed, first, the image 452 shown in FIG. 18B is displayed.
- the YES button 551 is pressed in the image 452
- the information processing apparatus 100 transmits the call information to the tablet 300 of the concierge and displays the image 453 shown in FIG. 18C.
- the concierge arrives at the information processing apparatus 100 and performs a predetermined operation, the display of the image 453 ends.
- a replay button can be displayed on the image following the guidance image of the operation method of the information processing apparatus 100.
- the replay button is a button for instructing the replay of the guide image showing the operation method of the information processing apparatus 100.
- the replay button 483 is displayed in the image 404 of FIG. 9 (D), the image 423 of FIG. 14 (A), the image 444 of FIG. 16 (D), and the like.
- the replay button 483 is a button for replaying the previously displayed guide image. For example, when the immigrant P presses the replay button 483 in the image 404 of FIG. 9 (D), the images 402 to 404 of FIGS.
- a replay button can be provided in the last image of the series of guide images.
- the replay button displayed at the end of the series of guide images related to the face recognition process is pressed, the series of guide images related to the face recognition process is replayed. Further, when the replay button displayed at the end of the series of guide images related to the ED card processing is pressed, the series of guide images related to the ED card processing is replayed.
- the replay button 483 is selected more than a predetermined number of times, the information processing apparatus 100 determines that the immigrant P is having trouble with the operation method, and automatically sends an alert to call the concierge to the tablet 300. May be good.
- FIG. 19 is a flowchart of information management processing by the management server 200. This process is realized by the processor 212 shown in FIG. 5A executing a program prepared in advance.
- the information processing apparatus 100 transmits the acquired personal identification information to the management server 200 (step S50), and the management server 200 receives the personal identification information (step S51).
- the management server 200 stores the received personal identification information in the DB 215 in association with the passport number (step S52). In this way, the personal identification information provided by the immigrant P operating the information processing apparatus 100 is stored in the DB 215 of the management server 200.
- the immigrant P After completing the operation on the information processing device 100, the immigrant P proceeds to the examination booth.
- the examiner reads the passport of the immigrant P using the PC5 (step S53).
- the PC 5 displays the read passport information on a monitor or the like, and transmits the passport number to the management server 200 (step S54).
- the management server 200 receives the passport number (step S55), acquires the personal identification information corresponding to the passport number from the DB 215, and transmits it to the PC 5 of the examination booth (step S56).
- the examination booth PC5 displays the received personal identification information on a monitor or the like (step S57). In this way, the personal identification information acquired by the information processing apparatus 100 for the immigrant P who came to the examination booth is displayed on the monitor of the PC 5 of the examination booth.
- the examiner examines the admission of the country by referring to the face image included in the displayed personal identification information and the face recognition result.
- the PC 5 of the examination booth notifies the tablet 300 of the concierge.
- the ID of the information processing device 100 that can be used (not used by anyone else) and the map information indicating the route to the information processing device 100 may be displayed on the monitor of the PC 5.
- the examiner can print out the above map information and pass it to the immigrant P, and can correctly guide the immigrant P to the information processing apparatus 100.
- FIG. 20 shows a display example of the tablet 300 of the concierge.
- a plurality of information processing devices 100 are associated with one concierge.
- the example of FIG. 20 shows the display screen of the tablet 300 of the concierge X.
- the tablet 300 displays a device list screen that displays information of a plurality of information processing devices 100 associated with the concierge X.
- the device list screen includes an individual information area 320 that displays individual information for each information processing device 100, and an overall information area 330 that displays overall information.
- the concierge is in charge of the seven information processing devices 100 of the device numbers "01" to "07”, and the seven individual information areas 320 corresponding to each information processing device 100 are displayed. ing.
- Each individual information area 320 includes a camera display button 321, an individual alert area 322, and a process display area 323.
- the camera display button 321 is a button for displaying the captured image of the surveillance camera 116.
- the surveillance camera image 324 taken by the surveillance camera 116 is displayed as shown in the individual information area 320 of the device number “04” in FIG.
- the concierge presses the close button 325 in the surveillance camera image 324 while the surveillance camera image 324 is displayed the display of the surveillance camera image 324 ends.
- the surveillance camera image 324 is an image of the immigrant P taken by the surveillance camera 116 of the information processing apparatus 100. As shown in FIG. 2, since the surveillance camera 116 is provided at the upper end of the information processing apparatus 100, the surveillance camera image 324 looks like an image of the immigrant P looking down from diagonally above. Since the surveillance camera image 324 is an image including the immigrant P and the table 135 of the information processing apparatus 100 in front of the immigrant P, the concierge can see the situation in which the immigrant P is operating by looking at the surveillance camera image 324. Can be grasped. In addition to the image of the surveillance camera 116, the face recognition camera 118 or the hand camera 121 may be used as the surveillance camera. In that case, the images of the face recognition camera 118 and the hand camera 121 can also be displayed as the surveillance camera image 324.
- the individual alert area 322 is an area for displaying alerts individually generated for each information processing device 100 when the immigrant P operates the information processing device.
- four marks of "call”, “illegal”, “failure”, and “battery” are displayed.
- the "call” mark lights up when the immigrant P has trouble operating the information processing device 100 and calls the concierge by pressing a call button or the like.
- the “injustice” mark is lit when the information processing apparatus 100 detects an injustice in the operation of the immigrant P, and is lit, for example, when two or more persons are standing around one information processing apparatus 100.
- the "failure” mark lights up when an abnormality occurs in the hardware of the information processing apparatus 100 or the like.
- the “battery” mark lights up when the remaining battery level of the information processing apparatus 100 is equal to or less than a predetermined value.
- the corresponding mark in the individual alert area 322 lights up and the alert occurrence time is displayed.
- the individual information area 320 of the device number “01” in FIG. 20 the “illegal” alert mark is lit, and the alert occurrence time “10:51” is displayed.
- the concierge can know the type of alert generated in the information processing apparatus 100 in charge of the concierge and the time when the alert is generated.
- the information processing apparatus 100 transmits an alert signal to that effect to the management server 200 or directly to the tablet 300.
- the tablet 300 receives and displays the alert signal via or directly from the management server 200.
- the process display area 323 indicates which process of the above-mentioned information acquisition process is performed by the immigrant P of each information processing apparatus 100.
- the process display area 323 includes the "passport", “face”, “fingerprint” and “ED” marks.
- "Passport” indicates passport processing
- "face” indicates face recognition processing
- "fingerprint” indicates fingerprint collection processing
- "ED” indicates ED card processing.
- the immigrant P of the device numbers “01” and “02” performs the fingerprint collection process
- the immigrant P of the device number “03” performs the face recognition process. It is shown that the immigrants P having the device numbers “04” to “07” are performing the fingerprint collection process.
- the corresponding mark lights up.
- the mark of the process lights up.
- an alert is generated in the fingerprint collection process of the immigrant P having the device number “06”, and the “fingerprint” mark is lit.
- the tablet 300 communicates with each information processing device 100 in order to display the process in the process display area 300, and acquires information indicating the process executed by each information processing device 100.
- the information processing apparatus 100 may specify the process being executed based on the operation input of the immigrant P, or the immigrant may be identified based on the images of the surveillance camera 116, the face recognition camera 118, the hand camera 121, and the like.
- the behavior of P may be analyzed to determine the running process. For example, the information processing apparatus 100 may determine that the fingerprint collection process is being executed if the immigrant P has both hands placed at the fingerprint scanner 120.
- the whole information area 330 includes the marks 332 to 335 of the whole alert, the concierge ID 336, the logout button 337, the linking button 338, and the linking button 339.
- the marks 332 to 335 of the general alert include the call mark 332, the fraud mark 333, the failure mark 334, and the battery mark 335.
- the marks 332 to 335 of the general alert are lit when an alert occurs in any of the plurality of information processing devices 100 in charge of the concierge X.
- the call mark 332 lights up when any one of the information processing devices 100 of the device numbers "01" to "07” managed by the concierge X makes a call.
- FIG. 21 shows an example of an alert list 370 when the fraud mark 333 is pressed.
- the alert list 370 displays a list of information processing devices 100 in which fraudulent alerts have occurred.
- the alert list 370 shows that an unauthorized alert has occurred in the information processing apparatus 100 of the apparatus numbers “01” and “07”.
- the concierge X presses the bar 371 of the displayed device number "01” the device list screen as shown in FIG. 20 is displayed, and the individual information area 320 of the device number "01” is temporarily lit.
- the cancel button 372 the display of the alert list 370 ends, and the screen returns to the device list screen as shown in FIG. 20.
- the alert list of the alert corresponding to the mark is displayed.
- an alert list including all four types of alerts occurring at that time may be displayed.
- the linking button 338 shown in FIG. 20 is a button for linking the information processing device 100 to the concierge X.
- the linking window 340 shown in FIG. 22 is displayed.
- each information processing apparatus 100 is displayed with an apparatus mark indicating an apparatus number.
- the colored device mark 341 indicates the information processing device 100 associated with the concierge X that operates the tablet 300.
- the broken line device mark 342 indicates the information processing device 100 associated with another concierge.
- the solid line device mark 343 indicates an information processing device 100 that is not associated with any concierge.
- the device numbers "01" to "07” are linked to the concierge X
- the information processing device 100 of the device numbers "09" to "24” is linked to another concierge.
- the device numbers "08" and "25" to "27” are not associated with any concierge.
- FIG. 23 shows a device list screen after associating the information processing device 100 having the device number “08” with the concierge X. As can be seen by comparison with FIG. 20, an individual information area 320 for the information processing device of the device number “08” has been added.
- Unstringing is the work of removing part or all of the equipment in charge from one's own charge.
- the concierge X presses the string button 338 to display the string window 340 shown in FIG. Then, the concierge X may press the device mark 341 of the device number to be removed.
- Stringing means handing over your device to another concierge.
- the concierge X presses the stringing button 339 shown in FIG. 20
- the stringing window 340 shown in FIG. 24 is displayed.
- a button 347 for designating the target concierge is displayed at the right end of the linking window 340.
- the confirmation window 350 is displayed on the tablet 300 of the concierge A of the string delivery destination as shown in FIG.
- the confirmation window 350 includes a message indicating that the stringing has been requested, an consent button 351 and a refusal button 352.
- the concierge A of the string delivery destination presses the consent button 351
- the string is delivered and the information processing device 100 in charge of the concierge X is handed over to the concierge A.
- the concierge A presses the refusal button 352 the string is not handed over.
- Stealing means changing the equipment in charge of another concierge to the equipment in charge of yourself.
- the concierge X presses the stringing button 339 shown in FIG. 20
- the linking window 340 shown in FIG. 24 is displayed.
- the concierge X presses, for example, the device mark of the device number “16” in charge of another concierge, as shown in FIG. 27, the selected information processing device 100 is displayed at the right end of the linking window 340.
- a message indicating that the device is in charge of another concierge referred to as concierge B
- an OK button 353 and a cancel button 354 are displayed.
- the confirmation window 350 is displayed on the tablet 300 of the concierge B, which is in charge of the device number 16, as shown in FIG. 28.
- the confirmation window 350 includes a message indicating that the capture has been requested, an consent button 351 and a refusal button 352.
- the capture is performed and the information processing device 100 of the device number "16" in charge of the concierge B is handed over to the concierge X.
- the refusal button 352 the capture is not performed.
- the page feed of the device list screen will be explained.
- the number of devices in charge of the concierge X is 8 or less, but when one concierge is in charge of 9 or more information processing devices 100, the device list screen illustrated in FIG. 20 spans a plurality of pages. It will be.
- the concierge can move between a plurality of pages by flicking a page on the device list screen. For example, if the concierge X is in charge of nine or more information processing devices, the concierge X flicks the first page of the device list screen to the left to display the second page corresponding to the ninth and subsequent devices. It can be displayed. Also, the concierge X can return to the first page by flicking the second page to the right. Further, instead of using a flick, as illustrated in FIG. 29, a page movement button 348 may be provided so that the page is moved when the page movement button 348 is pressed.
- the confirmation window 365 includes a button 366 for disassociating the responsible device, a button 367 for leaving the association, and a button 368 for canceling the logout.
- the concierge X selects the button 366, the association of the information processing apparatus 100 in charge is released, and the concierge X can log out.
- the concierge X presses the button 367, the association of the information processing apparatus 100 in charge is maintained, and the concierge X can log out.
- Concierge X presses button 368 the logout is cancelled.
- the configuration of the information processing apparatus 100 according to the second embodiment is basically the same as that of the first embodiment, and includes the external configuration shown in FIG. 2 and the internal configuration shown in FIG. However, in the information processing apparatus 100 according to the second embodiment, the face recognition process executed in step S20 of the information acquisition process shown in FIG. 6 is different from that of the first embodiment.
- the information processing apparatus 100 takes a face image of the immigrant P in the face recognition process after the passport process is completed in the information acquisition process, and performs face recognition.
- the information processing apparatus 100 starts taking a face image of the immigrant P when the immigrant enters the detection range of the thermo sensor 115 in front of the information processing apparatus 100. That is, the information processing apparatus 100 captures a face image of the immigrant P before and during the execution of the passport processing.
- the usage state of the information processing device 100 (for example, usable or unusable) is placed on the touch panel 117 or the floor near the information processing device 100 so that the immigrant P can determine the usage state of the information processing device 100 from a distance.
- Etc. may be displayed. Then, if a face image suitable for face authentication (hereinafter referred to as "compatible face image”) is obtained by the time the passport process is completed, the face authentication process is executed using the face image. .. That is, if a conforming face image is obtained during the passport process, the process of capturing the face image of the immigrant P in the face authentication process is omitted.
- a face image suitable for face authentication hereinafter referred to as "compatible face image”
- the face authentication process is executed using the face image. .. That is, if a conforming face image is obtained during the passport process, the process of capturing the face image of the immigrant P in the face authentication process is omitted.
- the "compatible face image” means a face image that can be used for face recognition. Specifically, whether or not it corresponds to a compatible face image is whether the direction of the face in the face image is appropriate, that is, whether all parts of the face such as eyes, nose, and mouth are shown in the image. It is determined in consideration of whether the resolution is sufficient and whether the image is blurred.
- FIG. 32 is a flowchart of the information acquisition process according to the second embodiment. This process is realized by the processor 112 executing a program prepared in advance.
- the information processing device 100 is in a sleep state when the immigrant P is not operating, and the thermo sensor 115 detects the front of the information processing device 100 (step S1).
- the thermo sensor 115 detects the immigrant P (step S1: Yes), and the information processing device 100 turns on the face recognition camera 118 to take a picture of the immigrant P. Is started (step S2). Subsequently, the information processing apparatus 100 executes passport processing (step S10).
- the face recognition camera 118 captures the face image of the immigrant P from the time when the immigrant P enters the detection range of the thermo sensor 115 until the immigrant P comes in front of the information processing device 100 and completes the passport processing. Will continue.
- the information processing apparatus 100 executes the face authentication process (step S20).
- FIG. 33 is a flowchart of the face recognition process of the second embodiment.
- the information processing apparatus 100 determines the suitability of the facial images acquired so far (step S51). Specifically, the information processing apparatus 100 analyzes the face image of the immigrant P taken after turning on the face recognition camera 118 in step S2, and determines whether or not the face image corresponds to the above-mentioned compatible face image. ..
- the information processing apparatus 100 determines that the conforming face image has not been acquired (step S52: No)
- the information processing apparatus 100 performs face recognition processing in the same manner as in the first embodiment. That is, the information processing apparatus 100 displays a message such as "take a face image" on the touch panel 117 (step S54), and takes a face image (step S55). Then, the information processing apparatus 100 temporarily stores the captured face image in the memory 113 (step S56), performs face recognition using the captured face image and the face image included in the passport information, and obtains the result. It is stored in the memory 113 (step S57
- step S52 determines that the conforming face image has been acquired (step S52: Yes)
- the information processing apparatus 100 displays a message such as "the face image has been acquired" on the touch panel 117 (step S53).
- the process proceeds to step S56 without taking a face image.
- the information processing apparatus 100 temporarily stores the matching face image acquired before the start of the face recognition process in the memory 113 (step S56), and uses the matching face image and the face image included in the passport information. Face recognition is performed and the result is stored in the memory 113 (step S57). In this way, the face recognition process is completed, and the process proceeds to the fingerprint collection process. Since the processing after the fingerprint collection processing is the same as that of the first embodiment, the description thereof will be omitted.
- the face image of the immigrant P is photographed by the face authentication camera 118 until the immigrant P finishes the passport process. If a compatible face image of a quality that can be used for face recognition can be obtained during that period, the face image is not taken in the face recognition process, and the face recognition process is performed using the matched face image. As a result, the time required for the face recognition process can be shortened.
- the second embodiment can be implemented in combination with the first embodiment.
- step S51 the information processing apparatus 100 determines a conforming face image based on whether the direction of the face reflected in the face image is appropriate, whether the resolution of the image is sufficient, and the like. There is. Instead, the information processing apparatus 100 actually performs face recognition processing using the face image obtained by the end of the passport processing and the face image included in the passport information obtained by the passport processing, and is obtained. When the collation score (match score) is equal to or higher than a predetermined value, the face image may be determined as a matching face image.
- the face image of the immigrant P is taken by the face recognition camera 118 even during the passport processing, but the face image is taken without the immigrant P knowing. Become. Therefore, it is preferable that the information processing apparatus 100 informs the immigrant P that he / she is photographing the face image when he / she starts taking the face image of the immigrant P in step S2 of FIG. For example, the information processing apparatus 100 may display a message such as "during face image shooting" or a mark indicating that the camera is shooting on the touch panel 117. This makes it possible to inform the immigrant P that the face image is being taken.
- the immigrant P learns that the face image is being taken, it is considered that he / she cooperates with the shooting by turning his / her face toward the touch panel 117, so that there is a high possibility that a suitable face image can be obtained in parallel with the passport processing. , The efficiency of information acquisition processing can be expected. Further, when informing the immigrant P that the image is being taken, the immigrant P may be informed at the timing when the compatible face image can be acquired. For example, the information processing apparatus 100 may display a message or mark such as "face image OK" on the touch panel 117 at the timing when the conforming face image can be acquired.
- the configuration of the information processing apparatus 100 according to the third embodiment is basically the same as that of the first embodiment, and includes the external configuration shown in FIG. 2 and the internal configuration shown in FIG. However, in the information processing apparatus 100 according to the second embodiment, the fingerprint collection process executed in step S30 of the information acquisition process shown in FIG. 6 is different from that of the first embodiment.
- the fingerprint collected by the information processing device 100 is collated with the so-called watch list.
- the immigrant P who is concerned about being on the watch list, uses the fingerprint of another person (hereinafter referred to as "cooperator") who is with him instead of his own fingerprint in the fingerprint collection process. I may think of providing it.
- a plurality of persons including an immigrant who commits fraud hereinafter referred to as "fraudulent person” and a collaborator will operate the fingerprint collection process in front of the information processing apparatus 100.
- the information processing apparatus 100 detects that there are a plurality of persons in front of the information processing apparatus 100 as an abnormality by using the thermo image output by the thermo sensor 115 during the fingerprint collection process. If there are multiple people, an alert will be issued to notify the concierge and the fingerprint collection process will be interrupted. This makes it possible to prevent a type of fraud in which a fraudster provides a collaborator's fingerprint instead of his own fingerprint.
- FIG. 34 (A) shows an example of a thermo image in a state where two persons, a fraudulent person X and a collaborator Y, are operating the information processing apparatus 100.
- the fraudster X stands almost in front of the information processing apparatus 100, and the head X1, body X2, and arm X3 of the fraudster X are detected.
- the arm X3 of the fraudster X extends to the table 135 of the information processing apparatus 100.
- the temperature of the heat source is shown in gray scale
- the high temperature region is shown in a color close to black
- the low temperature region is shown in a color close to white.
- the head X1 is represented by a blacker color than the body X2 and the arms X3 because a higher temperature is detected in the area not covered by clothes such as the head than in the area covered by clothes such as the body and arms. ing.
- the collaborator Y stands at a position slightly laterally away from the front of the information processing apparatus 100, and the head Y1, the body Y2, and the arms Y3 of the collaborator Y are detected.
- the arm Y3 of the collaborator Y also extends to the table 135 of the information processing apparatus 100.
- FIG. 34B shows another example of a thermo image in which two persons, a fraudulent person X and a collaborator Y, are operating the information processing apparatus 100. Similar to the example of FIG. 16A, the fraudulent person X stands substantially in front of the information processing apparatus 100, and the head X1, the body X2, and the arm X3 of the fraudulent person X are detected. The arm X3 of the fraudster X extends to the table 135 of the information processing apparatus 100.
- the collaborator Y is hidden behind the cheating person X, but the head Y1, the body Y2, and the arm Y3 of the collaborator Y are detected by the thermo image. The arm Y3 of the collaborator Y extends to the table 135 of the information processing apparatus 100.
- FIG. 34 (C) shows another example of a thermo image in which two persons, a fraudulent person X and a collaborator Y, are operating the information processing apparatus 100.
- the collaborator Y is behind the cheating person X as in the example of FIG. 16B, but since the two bodies are close to each other, the regions in the thermo image are integrated into one large mass. Has been detected.
- the body X2 of the fraudster X and the body Y2 of the collaborator Y are integrated into a large area
- the body X2 of the fraudster X and the body Y2 of the collaborator Y are integrated into one thick arm. It has become like.
- the head since the head has a higher temperature than the body, it can be detected as a region of a color different from that of the body. Also, even when the collaborator Y is hidden behind the fraudster X, each head can often be detected as a separate area. Therefore, even when the detected body and arms are integrated in front of the information processing apparatus 100, it can be determined that there are a plurality of persons based on the number of detected heads. In addition to the judgment based on the number of heads, the size and area of a general adult body area is determined in advance by experiments, etc., and is excessively larger than the general body size. When the area is detected, it may be determined that there is a high possibility that there are a plurality of persons.
- thermo image In reality, when two people are included in the thermo image, it is not possible to distinguish which is the fraudulent person and which is the cooperator, but in the information processing apparatus 100, which is the fraudulent person and which is the cooperator. There is no need to distinguish between them, just alert when multiple people are detected in the thermo image.
- thermo image output by the thermo sensor 115 it is possible to detect that there are a plurality of people in front of the information processing apparatus 100. Therefore, when a plurality of persons are detected in front of the information processing device 100 during the information acquisition process, particularly during the fingerprint collection process, the information processing device 100 may be fraudulent by an immigrant. Judge and output an alert to the concierge. Since the alert output by the information processing apparatus 100 is displayed on the tablet 300 possessed by the concierge, the concierge can move to the location of the information processing apparatus 100 that outputs the alert and confirm whether or not the fraud is performed.
- the face recognition camera 118, the passport reader 119, and the fingerprint scanner 120 are examples of information acquisition means
- the thermo sensor 115 or the surveillance camera 116 is an example of abnormality detection means
- the processor 112 is a control means. This is an example.
- FIG. 35 is a flowchart of the fingerprint collection process according to the third embodiment. This process is executed as step S30 of the information acquisition process shown in FIG.
- the information processing apparatus 100 displays a guidance screen for collecting fingerprints on the touch panel 117 (step S61). For example, as illustrated in FIG. 14A, the information processing apparatus 100 displays a guide image showing a method of arranging a finger on the fingerprint scanner 120 on the touch panel 117.
- the information processing apparatus 100 acquires a thermo image from the thermo sensor 115 (step S62).
- the information processing apparatus 100 determines whether or not a plurality of persons have been detected in front of the information processing apparatus 100 based on the thermo image (step S63).
- step S63: No When a plurality of persons are not detected (step S63: No), that is, when there is only one person in front of the information processing apparatus 100, the information processing apparatus 100 uses the fingerprint scanners 120R and 120L to left and right of the immigrant P. The fingerprint of the index finger is read (step S64), and the fingerprint image is temporarily stored in the memory 113 (step S65). Then, the process returns to the main routine of FIG.
- step S63 when a plurality of persons are detected (step S63: Yes), the information processing apparatus 100 outputs an alert to the tablet 300 of the concierge (step S66).
- the concierge goes to the location of the target information processing device 100 and takes necessary measures. For example, if the concierge can correctly collect the fingerprint of the fraudulent person by assisting on the spot, the process proceeds to the main routine of FIG.
- the immigrant P can read the fingerprints of other persons. It is possible to detect fraudulent activities such as fake.
- the third embodiment can be implemented in combination with one or both of the first and second embodiments.
- the information processing apparatus 100 detects a plurality of people based on the thermo image output by the thermo sensor 115, but instead, the information processing apparatus 100 detects a plurality of persons based on the captured image of the surveillance camera 116. A person may be detected. Further, a plurality of people may be detected by using both the thermo image output by the thermo sensor 115 and the captured image of the surveillance camera 116. Further, the information processing apparatus 100 may further activate the face recognition camera 118 and use the captured image of the face recognition camera 118 together.
- Modification 2 Even if it is detected that there are a plurality of persons in front of the information processing apparatus 100 based on the thermo image, it may not mean that the fraud is performed.
- a plurality of persons are parents and children, and the parents assist the operation of the information processing apparatus 100 by the children.
- the concierge is assisting the operation of the immigrant P who does not understand the operation method of the information processing apparatus 100. Therefore, when the parent assists the operation of the child or the concierge assists the operation, the information processing apparatus 100 may not output the alert.
- the information processing apparatus 100 can determine whether or not the status of the detected plurality of persons corresponds to the above-mentioned operation assistance by image analysis of the captured image of the surveillance camera 116.
- the surveillance camera 116 may be kept on all the time during the operation of the information processing device 100 by the immigrant P, or may be activated when the information processing device 100 detects a plurality of persons. For example, when the two persons in the captured image of the surveillance camera 116 are a combination of an adult and a child, the information processing apparatus 100 can determine that the situation corresponds to the operation assistance of the parent and child. Whether or not the person in the captured image is a child may be determined by estimating the age from the face image captured by the face recognition camera 118, and the image of the surveillance camera 116 or the output of the thermo camera 115. It may be performed based on (the size and shape of the heat source) or the like, or it may be performed based on the passport information.
- the information processing apparatus 100 determines that the situation corresponds to the operation assistance by the concierge. can. If the information processing device 100 dedicated to multiple people (for example, dedicated to family members, dedicated to persons with disabilities, etc.) is provided on the premise that it is operated by multiple people, an alert will be issued even if multiple people are detected. You should not output it.
- step S63 when a plurality of persons are detected in step S63 (step S63: Yes), the information processing apparatus 100 describes the situation of the detected plurality of persons as described above. Judge whether or not it corresponds to operation assistance. When the situation of a plurality of persons corresponds to the operation assistance, the process proceeds to step S64, and the information processing apparatus 100 reads the fingerprint. On the other hand, if the situation of the plurality of persons does not correspond to the operation assistance, the process proceeds to step S66, and the information processing apparatus 100 outputs an alert.
- the information processing apparatus 100 detects a plurality of persons based on the thermo image, even if the information processing device 100 does not output an alert because it corresponds to the operation assistance after that, the thermo image at that time or the captured image of the surveillance camera 116 is taken.
- Etc. may be stored in the memory 113 and transmitted to the management server 200 together with the personal identification information of the immigrant P.
- the management server 200 transmits the thermo image and the captured image of the surveillance camera 116 to the PC 5 of the examination booth at the time of the immigration examination of the immigrant P. Therefore, when the immigrant P undergoes immigration at the examination booth, the examiner can see the fact that a plurality of persons have been detected, the thermo image at that time, the image of the surveillance camera 116, and the like.
- the configuration of the information processing apparatus 100 according to the fourth embodiment is basically the same as that of the first embodiment, and includes the external configuration shown in FIG. 2 and the internal configuration shown in FIG.
- the information processing apparatus 100 detects the heat generation of the immigrant P by using the thermo sensor 115.
- thermo sensor or the like is placed in a place where the immigrant P passes, the body temperature of the fever is detected based on the thermo image, and when the detected body temperature is equal to or higher than a predetermined threshold value, the immigrant P Judge that there is fever.
- the surface of the immigrant P is based on the thermo image output by the information processing apparatus 100 by the thermo sensor 115. Detect temperature.
- the information processing apparatus 100 determines that the immigrant P is generating heat, and outputs an alert to the tablet 300 of the concierge. Further, the information processing apparatus 100 may display a message such as "suspicion of heat generation" on the touch panel 117. This allows the concierge to take the immigrant P, who is suspected of having a fever, to a predetermined inspection area.
- the temperature detected by the thermo sensor 115 is the surface temperature of the body of the immigrant P, and the surface temperature of exposed parts such as the head and parts wearing clothes is affected by the temperature of the outside air and its environment. Easy to receive. Therefore, in the fourth embodiment, the information processing apparatus 100 corrects the threshold value used for determining that there is heat generation based on an external factor regarding the immigrant P.
- the specific correction method is as follows. (1) Correction based on the area passed by the immigrant P If all the routes from the immigrant P getting off the plane to the immigration checkpoint are indoors, the route to which the immigrant P travels is temperature-controlled by air conditioning. Therefore, the information processing apparatus 100 does not correct the threshold value. On the other hand, when the route to the immigration checkpoint passes outdoors, the surface temperature of the immigrant P is affected by the outside air temperature, so the information processing apparatus 100 corrects the threshold value. Specifically, at an airport in a cold region where the outside air temperature is below freezing point, the surface temperature of the immigrant P is lowered due to the low outside air temperature, so that the information processing apparatus 100 lowers the threshold value.
- the information processing device 100 raises the threshold value because the surface temperature of the immigrant P rises due to the high outside air temperature.
- the route including the outdoors is, for example, a route that travels from an airplane to an airport terminal by bus.
- the correction amount of the threshold value may be a constant amount, and may be changed according to the outdoor outside air temperature.
- the correction amount is a constant amount, for example, the information processing apparatus 100 lowers the threshold value by a predetermined amount (for example, 0.5 degree) when the route to the immigration checkpoint includes the outdoors.
- the information processing apparatus 100 may increase the correction amount as the outside air temperature is lower or higher, and the larger the difference between the outside air temperature and the temperature inside the airport terminal, the larger the correction amount.
- the correction amount may be increased.
- the route from the immigration P getting off the plane to the immigration checkpoint is predetermined for each plane to be boarded, and can be determined by the flight number of the target immigrant. Specifically, the flight number on which the immigrant boarded is managed in association with the immigrant identification information (name, member ID, etc.), and the flight number is managed using the immigrant identification information specified by the information processing apparatus 100. Can be identified. Therefore, when the correction amount of the threshold value is set to a constant amount, the information processing apparatus 100 may perform correction of a predetermined correction amount according to the flight number.
- the temperature detected by the thermo sensor 115 is the exposed part such as the head, hand, etc. of the immigrant P (hereinafter referred to as "exposed part”). .) Is almost equal to body temperature, but the part covered with clothes (hereinafter referred to as "non-exposed part”) is easily affected by the outside temperature. For example, when exposed to the outside air at an airport in a cold region, even if the temperature of the exposed part of the immigrant P detected by the thermo sensor 115 maintains a value close to the body temperature, the temperature of the non-exposed part is outside. It may drop considerably due to the influence of temperature.
- the information processing apparatus 100 corrects the threshold value based on the temperature difference between the exposed portion and the unexposed portion of the immigrant P detected by the thermo sensor 115. Specifically, the information processing apparatus 100 does not correct the threshold value when the temperature difference between the exposed portion and the unexposed portion is less than a predetermined value. On the other hand, when the temperature difference between the exposed portion and the unexposed portion is equal to or larger than a predetermined value, the information processing apparatus 100 corrects the threshold value according to the temperature of the unexposed portion. For example, when the temperature difference between the exposed portion and the unexposed portion is equal to or greater than a predetermined value and the temperature of the unexposed portion is lower than the temperature of the exposed portion, the information processing apparatus 100 lowers the threshold value. On the contrary, when the temperature difference between the exposed portion and the unexposed portion is equal to or more than a predetermined value and the temperature of the unexposed portion is higher than the temperature of the exposed portion, the information processing apparatus 100 raises the threshold value.
- the threshold value may be corrected based on the temperature of the non-exposed portion. That is, the information processing apparatus 100 may raise the threshold value when the temperature of the non-exposed portion is higher than the first predetermined temperature and lower the threshold value when the temperature of the non-exposed portion is lower than the second predetermined temperature.
- thermo sensor 115 and the processor 112 are examples of body temperature estimation means, and the processor 112 is an example of heat generation estimation means and threshold value correction means.
- FIG. 36 is a flowchart of the heat generation detection process according to the fourth embodiment. This process is realized by the processor 112 shown in FIG. 4 executing a program prepared in advance.
- the information processing device 100 acquires a thermo image from the thermo sensor 115 (step S71).
- the information processing apparatus 100 acquires status information indicating the status of the immigrant P (step S72).
- the status information is information used to determine whether or not the threshold needs to be corrected.
- the situation information is whether or not the immigrant P has passed outdoors, the surface temperature of the immigrant P detected from the thermo image, and the like.
- the situation information is whether or not alcohol is detected in the immigrant P.
- the situation information is the temperature of the exposed portion and the unexposed portion of the entry P detected from the thermo image.
- the information processing apparatus 100 determines whether or not it is necessary to correct the threshold value for determining the presence or absence of heat generation based on the situation information (step S73).
- the information processing apparatus 100 corrects the threshold value by at least one of the methods described in (1) to (3) above (step S74). In addition, a plurality of the methods described in the above (1) to (3) may be used in combination.
- the information processing apparatus 100 does not correct the threshold value.
- the information processing apparatus 100 compares the body temperature of the immigrant P acquired from the thermo image, specifically the detected temperature of the head or the like with the threshold value, and determines whether or not the immigrant P has a fever (step S75). ..
- the information processing apparatus 100 determines that if the body temperature of the immigrant P is higher than the threshold value, the immigrant P may have a fever, and if the body temperature of the immigrant P is lower than the threshold value, the immigrant P may have a fever. Judge that there is no.
- the information processing apparatus 100 outputs an alert to the tablet 300 of the concierge (step S77), and ends the process.
- step S77 the information processing apparatus 100 may display "there is a possibility of heat generation" on the touch panel 117.
- step S76 No
- the fourth embodiment when the body temperature of the immigrant P is measured by the thermo sensor 115 and the possibility of fever is inspected, whether or not the immigrant P has passed outdoors and alcohol is ingested. Since the threshold value for determining the presence or absence of fever is corrected in consideration of whether or not it has been ingested or the detection temperature of the unexposed part of the immigrant P, the influence of external factors is reduced and the detection accuracy of the fever is reduced. Can be improved.
- the fourth embodiment can be implemented in combination with one or more of the first to third embodiments.
- Modification example (Modification 1)
- the information processing apparatus 100 sends an alert to the tablet 300 of the concierge.
- the information processing apparatus 100 may simultaneously transmit the thermo image output by the thermo sensor 115 to the tablet 300 so that the concierge can be seen.
- FIG. 37 shows an example of an image to be transmitted to the tablet 300 when a fever is found.
- the information processing apparatus 100 transmits an image 60 including the thermo image 61 output by the thermo sensor 115 and the face image 62 of the immigrant P determined to have a possibility of heat generation to the tablet 300, and the tablet The 300 displays the received image 60.
- thermo image 61 the region used by the information processing apparatus 100 to determine the presence or absence of heat generation and the detection temperature of the region are displayed.
- the detected temperature of the head of the immigrant P is displayed as "37.8 degrees” and the detected temperature of the chest is displayed as "28.5 degrees”.
- displaying the face image 62 makes it easier for the concierge to find the target immigrant P.
- the information processing apparatus 100 may transmit the image 60 to the management server 200 and, if necessary, to the PC 5 of the examination booth so that the examiner can see it.
- the information processing apparatus 100 may be temporarily stopped.
- the information processing apparatus 100 itself may be automatically stopped when it is determined by the program in the information processing apparatus 100 that there is a possibility of heat generation. Instead, when it is determined that there is a possibility of heat generation, the information processing apparatus 100 may transmit the determination result to the management server 2 and stop the information processing apparatus 100 under the control of the management server 200.
- the touch panel 117 of the information processing apparatus 100 that has been stopped may display "use prohibited" or the like, or the display of the touch panel 117 may be turned off. Further, the concierge who sees the alert on the tablet 300 may operate the target information processing device 100 to temporarily stop the information processing device 100.
- the stopped information processing apparatus 100 may be restored after performing necessary work such as disinfection.
- the immigrant P is guided to the immigration office on a group-by-group basis for each airplane on which the immigrant P is on board, all the passengers on the same flight as the immigration P who has been determined to have a fever.
- the immigrant may be separated from the passengers of other flights by guiding the immigrants to a route different from the route of another flight.
- the information processing apparatus 100 that has detected the immigrant P who may have a fever notifies the management server 200 to that effect, and the management server 200 is the same as the immigrant P who is determined to have the possibility of fever.
- a list of all passengers on the flight and facial images may be sent to the concierge tablet 300. This allows the concierge to isolate the passenger on the flight while looking at the facial image.
- a person (a person in the seat around the immigrant P or a person in the front seat) may be specified as an isolation target, and a face image may be transmitted to the tablet 300 of the concierge.
- FIG. 38 is a block diagram showing the configuration of the information processing apparatus according to the fifth embodiment.
- the information processing apparatus 500 includes an information acquisition means 501, an abnormality detecting means 502, and a control means 503.
- the information acquisition means 501 acquires the target personal identification information.
- the abnormality detecting means 502 detects an abnormality related to the target by using a sensor.
- the control means 503 controls the acquisition of the personal identification information based on the abnormality.
- FIG. 39 is a flowchart of information processing according to the fifth embodiment. This process is realized by the processor 112 shown in FIG. 4 executing a program prepared in advance.
- the information acquisition means 501 acquires the target personal identification information (step S501).
- the abnormality detecting means 502 detects an abnormality related to the target by using the sensor (step S502).
- the control means 503 controls the acquisition of the personal identification information based on the abnormality (step S503). Then, the process ends.
- the information processing apparatus 500 if an abnormality related to the target is detected while the personal identification information is acquired from the target, it is possible to control the acquisition of the personal identification information based on the abnormality.
- Information acquisition means to acquire the personal identification information of the target Anomaly detection means that uses a sensor to detect anomalies related to the target, A control means for controlling the acquisition of the personal identification information based on the abnormality, and Information processing device equipped with.
- the sensor includes a thermo sensor.
- the abnormality detecting means detects that there are a plurality of persons in front of the information processing apparatus as the abnormality, and detects that the abnormality is present.
- the information processing device according to Appendix 1, wherein the control means transmits an alert to a terminal device when the abnormality is detected.
- Appendix 3 The information processing device according to Appendix 2, wherein the abnormality detecting means detects the presence of a plurality of persons based on the number of heads of an object in the thermo image output by the thermo sensor.
- the sensor includes a thermo sensor.
- a body temperature estimation means for estimating the body temperature of the target based on the thermo image output by the thermo sensor, and a body temperature estimation means.
- a fever determining means for determining that the subject may have fever
- a fever determining means for determining that the subject may have fever
- Threshold correction to correct the threshold based on the route the subject has traveled, whether the subject is ingesting alcohol, and at least one of the detected temperatures of the unexposed portion of the subject in the thermo image.
- the heat generation determining means determines that the target may generate heat
- the heat generation determining means transmits an image of the target to the terminal device.
- the information processing device according to Appendix 5, wherein the target image includes the target thermo image generated by the thermo sensor and the target face image.
- the sensor includes a camera.
- the personal identification information includes the passport information of the target and the face image of the target.
- the information acquisition means executes a passport information acquisition process for acquiring the target passport information, and then executes a face image acquisition process for acquiring the target face image.
- the information acquisition means can acquire a face image satisfying a predetermined quality by the camera either during the passport information acquisition process or before the passport information acquisition process, the face image acquisition after the passport information acquisition process is performed.
- the information processing apparatus according to Appendix 1, which omits processing.
- Appendix 8 A system including the information processing device according to Appendix 2 and the terminal device.
- the terminal device is a system that displays a captured image of the target while operating the information processing device and information indicating an executing process among a plurality of processes for acquiring the personal identification information.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Input (AREA)
Abstract
情報処理装置は、情報取得手段と、異常検知手段と、制御手段とを備える。情報取得手段は、対象の個人識別情報を取得する。異常検知手段は、センサを利用して、前記対象に関する異常を検知する。制御手段は、異常に基づいて、前記個人識別情報の取得を制御する。
Description
この開示は、情報処理装置、システム、情報処理方法、及び、記録媒体に関する。
出入国の審査では、審査官が渡航者の旅券の内容を確認するとともに、旅券に添付された顔写真と渡航者の顔とを比較して出入国の可否を判定する。審査官による審査を効率化するため、渡航者の顔画像を撮影し、渡航者の旅券の写真と照合する装置が提案されている(特許文献1、2を参照)。また、近年では、主として外国人入国者に対し、審査官による審査に先立ってパスポート情報、顔画像、指紋などを取得する情報処理装置が知られている。
この開示の1つの目的は、上述した先行技術文献に開示されている技術を改善することである。
この開示の一つの観点では、情報処理装置は、
対象の個人識別情報を取得する情報取得手段と、
センサを利用して、前記対象に関する異常を検知する異常検知手段と、
前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
を備える。
対象の個人識別情報を取得する情報取得手段と、
センサを利用して、前記対象に関する異常を検知する異常検知手段と、
前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
を備える。
この開示の他の観点では、情報処理方法は、
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する。
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する。
この開示のさらに他の観点では、記録媒体は、
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する処理をコンピュータに実行させるプログラムを記録する。
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する処理をコンピュータに実行させるプログラムを記録する。
以下、図面を参照して、この開示の好適な実施形態について説明する。
<第1実施形態>
本実施形態の入国審査システムは、空港などに設置され、主として外国人の入国審査に使用される。外国人に対する入国審査は、基本的に個人識別情報の取得と、審査官による入国審査の2ステップで行われる。具体的に、外国人入国者は、飛行機を降りて入国審査エリアに入ると、まず、情報処理装置を操作して個人識別情報を提供する。次に、入国者は、審査官のいる審査ブースへ進み、審査官による審査を受ける。審査官による審査が完了すると、入国が許可される。
<第1実施形態>
本実施形態の入国審査システムは、空港などに設置され、主として外国人の入国審査に使用される。外国人に対する入国審査は、基本的に個人識別情報の取得と、審査官による入国審査の2ステップで行われる。具体的に、外国人入国者は、飛行機を降りて入国審査エリアに入ると、まず、情報処理装置を操作して個人識別情報を提供する。次に、入国者は、審査官のいる審査ブースへ進み、審査官による審査を受ける。審査官による審査が完了すると、入国が許可される。
[全体構成]
図1は、第1実施形態に係る入国審査システムの全体構成を示す。入国審査システム1は、複数の情報処理装置100と、管理サーバ200と、タブレット300と、PC5とを備える。情報処理装置100は、入国者Pの個人識別情報を取得するために設けられている。入国者Pは、外国人に限らず、入国を希望する人物全員を対象とすることができる。なお、入国者Pは、人間のみならず、犬、猫、蛇などの動物であっても構わない。これらの入国者Pは「対象」の一例である。個人識別情報は、顔画像と指紋を含む。情報処理装置100の付近には、コンシェルジュが待機しており、情報処理装置100の管理や操作の補助を行う。コンシェルジュには、担当する所定数の情報処理装置100が割り当てられている。コンシェルジュは、情報処理装置100の管理などを行う際に使用するタブレット300を所持している。なお、タブレット300は一例であり、情報処理装置100の管理を行える端末装置であれば、PC、スマートフォンなど、どのような端末を使用してもよい。なお、コンシェルジュに対して、補助業務を行う補助者(サポーター)が割り当てられている場合もあるが、本明細書では補助者も含めてコンシェルジュと呼ぶ。
図1は、第1実施形態に係る入国審査システムの全体構成を示す。入国審査システム1は、複数の情報処理装置100と、管理サーバ200と、タブレット300と、PC5とを備える。情報処理装置100は、入国者Pの個人識別情報を取得するために設けられている。入国者Pは、外国人に限らず、入国を希望する人物全員を対象とすることができる。なお、入国者Pは、人間のみならず、犬、猫、蛇などの動物であっても構わない。これらの入国者Pは「対象」の一例である。個人識別情報は、顔画像と指紋を含む。情報処理装置100の付近には、コンシェルジュが待機しており、情報処理装置100の管理や操作の補助を行う。コンシェルジュには、担当する所定数の情報処理装置100が割り当てられている。コンシェルジュは、情報処理装置100の管理などを行う際に使用するタブレット300を所持している。なお、タブレット300は一例であり、情報処理装置100の管理を行える端末装置であれば、PC、スマートフォンなど、どのような端末を使用してもよい。なお、コンシェルジュに対して、補助業務を行う補助者(サポーター)が割り当てられている場合もあるが、本明細書では補助者も含めてコンシェルジュと呼ぶ。
審査ブースには、審査官が待機しており、個人識別情報の提供を済ませた入国者Pに対する審査を行う。審査ブースには、審査官が使用するPC5が設置されている。審査官は、入国者Pの個人識別情報などをPC5に表示し、審査を行う。なお、図1では便宜上1つの審査ブースのみを図示しているが、実際には複数の審査ブースが設置されている。
管理サーバ200は、無線通信により、情報処理装置100及びタブレット300を管理、制御する。また、管理サーバ200は、審査官が使用するPC5と有線又は無線により通信する。具体的に、情報処理装置100は、入国者Pが情報処理装置100を操作することにより提供した情報を、管理サーバ200に送信する。管理サーバ200は、情報処理装置100から取得した情報を記憶するとともに、タブレット300及びPC5へ送信する。タブレット300は、情報処理装置100の操作状態を示す情報などを管理サーバ200から受信し、表示する。これにより、コンシェルジュは、自分が担当する情報処理装置100の状況を把握することができる。
また、管理サーバ200は、入国者Pが情報処理装置100を操作して提供した個人識別情報を審査ブースのPC5へ送信する。審査官は、管理サーバ200から受信した入国者Pの個人識別情報をPC5に表示させ、その内容を見て審査を行う。なお、上記の例では、情報処理装置100、コンシェルジュのタブレット300及び審査ブースのPC5は管理サーバ200を介して情報を授受しているが、情報処理装置100とタブレット300の間、及び、情報処理装置100と審査ブースのPC5との間で、管理サーバ200を介さずに直接情報の授受を行う構成としてもよい。
[情報処理装置]
次に、情報処理装置について説明する。
(外観構成)
図2は、情報処理装置100の外観を示す図である。情報処理装置100は、サーモセンサ115と、監視カメラ116と、タッチパネル117と、2つの顔認証カメラ118A、118Bと、パスポートリーダ119と、一対の指紋スキャナ120R、120Lと、一対の手元カメラ121R、121Lと、昇降機構122と、一対の移動用ハンドル131R、131Lと、ベース132と、移動用キャスター133と、バー134と、テーブル135とを備える。なお、以下の説明では、ペアで構成されている要素について、個々を特定する必要がない場合には添え字を省略して表記する。例えば、指紋スキャナ120R、120Rについて、いずれかを特定する場合は「指紋スキャナ120R」、「指紋スキャナ120L」などと表記し、いずれかを特定しない場合には単に「指紋スキャナ120」と表記する。
次に、情報処理装置について説明する。
(外観構成)
図2は、情報処理装置100の外観を示す図である。情報処理装置100は、サーモセンサ115と、監視カメラ116と、タッチパネル117と、2つの顔認証カメラ118A、118Bと、パスポートリーダ119と、一対の指紋スキャナ120R、120Lと、一対の手元カメラ121R、121Lと、昇降機構122と、一対の移動用ハンドル131R、131Lと、ベース132と、移動用キャスター133と、バー134と、テーブル135とを備える。なお、以下の説明では、ペアで構成されている要素について、個々を特定する必要がない場合には添え字を省略して表記する。例えば、指紋スキャナ120R、120Rについて、いずれかを特定する場合は「指紋スキャナ120R」、「指紋スキャナ120L」などと表記し、いずれかを特定しない場合には単に「指紋スキャナ120」と表記する。
サーモセンサ115は、情報処理装置100の最上部に設けられ、情報処理装置100に対する人物の接近を検知する。基本的に、サーモセンサ115が人物を検知していない状態では、情報処理装置100は待機(スリープ)状態となっている。入国者Pがサーモセンサ115の前に立つと、サーモセンサ115が入国者Pを熱源として検知し、情報処理装置100が起動する。また、後述するように、サーモセンサ115は、入国者Pの発熱を検知するためにも使用される。
監視カメラ116も情報処理装置100の最上部に設けられており、情報処理装置100の前方の所定の範囲を斜め上から撮影する。監視カメラ116は、情報処理装置100の前にいる入国者Pの挙動などを撮影するために使用される。
タッチパネル117は、情報処理装置100の前に立った入国者Pの上半身に相当する位置に設けられており、バー134に沿って上下方向に移動可能である。タッチパネル117は、入国者Pが情報処理装置100を操作する際の入力部及び表示部としての役割を有する。タッチパネル117には、入国者Pが情報処理装置100を操作する際に必要な案内情報が表示される。また、案内情報に対して入国者Pが何らかの選択を行う必要がある場合には、タッチパネル117に選択ボタンが表示される。
タッチパネル117の上端には顔認証カメラ118Aが設けられ、下端には顔認証カメラ118Bが設けられている。基本的に、上側の顔認証カメラ118Aは背の高い人の顔画像を撮影するために使用され、下側の顔認証カメラ118Bは子供などの背の低い人の顔画像を撮影するために使用される。このように、撮影対象に応じて使用する顔認証カメラを選択することで、顔認証に適した画像(例えば、正面の顔画像)を撮影できる可能性が高くなる。なお、上側の顔認証カメラ118Aで背の低い人の顔画像を撮影しても構わないし、下側の顔認証カメラ118Bで背の高い人の顔画像を撮影しても構わない。また、複数の顔認証カメラを使用することにより、正面の顔画像だけでなく、様々な角度の顔画像を取得することが可能となる。
なお、本実施形態のようにタッチパネル117をバー134に沿って上下方向に移動可能とした場合には、タッチパネル117の上下方向における中央付近に1つの顔認証カメラを設けることとしてもよい。また、図2の例では、顔認証カメラ118A、118Bをタッチパネル117の上下の表示エリア外に設けているが、その代わりに、タッチパネル117の上にハーフミラーを設け、ハーフミラーの内側において任意の位置に顔認証カメラを設けてもよい。このようにハーフミラーの内側に顔認証カメラを設けることで、入国者にカメラの存在を意識させることなく、顔画像を撮影することが可能となる。
タッチパネル117の下方にはテーブル135が設けられている。テーブル135の上面には、パスポートリーダ119と、一対の指紋スキャナ120R、120Lとが設けられている。パスポートリーダ119は、パスポートリーダ119上に置かれたパスポート内のICチップから、無線通信により記録情報を読みとる。具体的には、パスポートリーダ119は、パスポートから国籍、氏名、生年月日、旅券番号などの身分事項、及び、パスポートの申請書に貼られた写真の顔画像など(以下、これらをまとめて「パスポート情報」とも呼ぶ。)を読み取る。指紋スキャナ120は、入国者Pの左右の手の人差し指の指紋を読み取る。指紋スキャナ120Rは右手用、指紋スキャナ120Lは左手用である。
昇降機構122は、テーブル135を上下方向に移動させる。昇降機構122により、入国者Pの身長に合った高さ、即ち、入国者Pが指紋スキャナ120R、120Lに指を置きやすい高さにテーブル135を移動させることができる。また、昇降機構122は、タッチパネル117をバー134に沿って移動させる。なお、タッチパネル117をバー134に沿って移動させる機構はどのようなものでも良い。例えば、バーの前面にレールを設け、レール内を上下移動可能なスライダーにタッチパネル117に固定し、昇降機構122によりスライダーを上下移動させることにより、タッチパネル117を昇降させることができる。
テーブル135の上方には、一対の手元カメラ121R、121Lが設けられている。手元カメラ121R、121Lは、入国者Pがパスポートリーダ119にパスポートを置いた状態や、指紋スキャナ120に左右の指を置いた状態などを撮影する。手元カメラ121Rは入国者Pの右手側、即ち、指紋スキャナ120R側を撮影し、手元カメラ121Lは入国者Pの左手側、即ち、指紋スキャナ120L側を撮影する。手元カメラ121は、タッチパネル117の下端に設けてもよく、タッチパネル117の背後の位置でバー134に設けてもよい。
ベース132は、情報処理装置100の下端に設けられた筐体であり、内部には取り外し可能なバッテリーや予備バッテリーなどが収納される。情報処理装置100は、取り外し可能なバッテリーで電源供給されるため、コンセントが無い場所に移動して使用可能である。ベース132の下には移動用キャスター133が設けられ、テーブル135の下端には一対の移動用ハンドル131R、131Lが設けられている。コンシェルジュや他の作業者は、移動用ハンドル131を持って情報処理装置100を移動することができる。
図3は、ベース132の内部構造を示す。図3は、ベース132の前面パネルを外し、正面から内部を見た状態を示す。ベース132の中央には操作パネル152が設けられ、操作パネル152の左右のスペースにバッテリー151が設置される。バッテリー151は一方が使用中であり、もう一方が予備である。バッテリー151は、所定位置に置かれた状態で端子に電気的に接続され、充電が行われる。操作パネル152には、電源ボタン153と、昇降ボタン154、155とが設けられる。電源ボタン153は情報処理装置100の主電源のボタンである。昇降ボタン154、155は、それぞれ昇降機構122によりタッチパネル117及びテーブル135を昇降させるためのボタンである。
また、操作パネル152は、各バッテリーに対応して、残量インジケータ156と、使用中ランプ157と、交換ランプ158と、充電中ランプ159を備える。残量インジケータ156は、バッテリーの残量を表示する。使用中ランプ157は、バッテリーが使用中であるときに点灯する。交換ランプ158は、バッテリーの交換が必要な場合に点灯する。充電中ランプ159は、バッテリーが充電中である場合に点灯する。
(機能構成)
図4は、情報処理装置100の機能構成を示すブロック図である。図示のように、情報処理装置100は、通信部111と、プロセッサ112と、メモリ113と、記録媒体114とを備える。また、情報処理装置100は、図2を参照して説明したサーモセンサ115、監視カメラ116、タッチパネル117、顔認証カメラ118、パスポートリーダ119、指紋スキャナ120、手元カメラ121及び昇降機構122を備える。
図4は、情報処理装置100の機能構成を示すブロック図である。図示のように、情報処理装置100は、通信部111と、プロセッサ112と、メモリ113と、記録媒体114とを備える。また、情報処理装置100は、図2を参照して説明したサーモセンサ115、監視カメラ116、タッチパネル117、顔認証カメラ118、パスポートリーダ119、指紋スキャナ120、手元カメラ121及び昇降機構122を備える。
通信部111は、外部装置との間でデータの送受信を行う。具体的に、通信部111は、管理サーバ200との間で情報を送受信する。また、情報処理装置100がタブレット300又は審査ブースのPC5と直接に通信可能な場合、通信部111はタブレット300又はPC5との間で情報を送受信する。
プロセッサ112は、CPU(Central Processing Unit)などのコンピュータであり、予め用意されたプログラムを実行することにより、情報処理装置100の全体を制御する。なお、プロセッサ112は、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)などであってもよい。具体的に、プロセッサ112は、後述するパスポート処理、顔画像処理、指紋採取処理、EDカード処理などの各種の処理を実行する。
メモリ113は、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。メモリ113は、プロセッサ112による各種の処理の実行中に作業メモリとしても使用される。
記録媒体114は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、情報処理装置100に対して着脱可能に構成される。記録媒体114は、プロセッサ112が実行する各種のプログラムを記録している。情報処理装置100が各種の処理を実行する際には、記録媒体114に記録されているプログラムがメモリ113にロードされ、プロセッサ112により実行される。
[管理サーバ]
図5(A)は、管理サーバ200の機能構成を示すブロック図である。図示のように、管理サーバ200は、通信部211と、プロセッサ212と、メモリ213と、記録媒体214と、データベース215と、を備える。
図5(A)は、管理サーバ200の機能構成を示すブロック図である。図示のように、管理サーバ200は、通信部211と、プロセッサ212と、メモリ213と、記録媒体214と、データベース215と、を備える。
通信部211は、外部装置との間でデータの送受信を行う。具体的に、通信部211は、情報処理装置100、コンシェルジュが使用するタブレット300、及び、審査ブースのPC5との間で情報を送受信する。
プロセッサ212は、CPUなどのコンピュータであり、予め用意されたプログラムを実行することにより、管理サーバ200の全体を制御する。なお、プロセッサ212は、GPU、FPGA、DSP、ASICなどであってもよい。具体的に、プロセッサ212は、情報処理装置100が入国者Pから取得した情報を受信してDB215に記憶したり、審査ブースのPC5へ入国者の情報を送信したりする。
メモリ213は、ROM、RAMなどにより構成される。メモリ213は、プロセッサ212による各種の処理の実行中に作業メモリとしても使用される。
記録媒体214は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、管理サーバ200に対して着脱可能に構成される。記録媒体214は、プロセッサ212が実行する各種のプログラムを記録している。管理サーバ200が各種の処理を実行する際には、記録媒体214に記録されているプログラムがメモリ213にロードされ、プロセッサ212により実行される。
データベース215は、通信部211を通じて受信した入国者Pの個人識別情報や情報処理装置100の動作状態を示す情報などを記憶する。なお、管理サーバ200は、管理者などが指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
[タブレット]
図5(B)は、コンシェルジュが使用するタブレット300の内部構成を示すブロック図である。図示のように、タブレット300は、通信部311と、プロセッサ312と、メモリ313と、タッチパネル314と、を備える。
図5(B)は、コンシェルジュが使用するタブレット300の内部構成を示すブロック図である。図示のように、タブレット300は、通信部311と、プロセッサ312と、メモリ313と、タッチパネル314と、を備える。
通信部311は、外部装置との間でデータの送受信を行う。具体的に、通信部311は、管理サーバ200との間で情報を送受信する。また、タブレット300が、情報処理装置100や審査ブースのPC5と直接通信可能である場合、通信部311は情報処理装置100及びPC5との間で情報を送受信する。
プロセッサ312は、CPUなどのコンピュータであり、予め用意されたプログラムを実行することにより、タブレット300の全体を制御する。なお、プロセッサ312は、GPU、FPGA、DSP、ASICなどであってもよい。具体的に、プロセッサ312は、情報処理装置100の状態や入国者Pによる操作状況などを示す情報を管理サーバ200又は情報処理装置100から受信し、タッチパネル314に表示する。
メモリ313は、ROM、RAMなどにより構成される。メモリ313は、プロセッサ312による各種の処理の実行中に作業メモリとしても使用される。タッチパネル314は、タブレット300を所持するコンシェルジュが担当する情報処理装置100の状態や入国者Pによる操作状況を示す情報を表示する。
[情報処理装置の処理]
次に、情報処理装置100で実行される処理について説明する。図6は、情報処理装置100で実行される情報取得処理のフローチャートである。この処理は、図4に示すプロセッサ112が予め用意されたプログラムを実行することにより実現される。
次に、情報処理装置100で実行される処理について説明する。図6は、情報処理装置100で実行される情報取得処理のフローチャートである。この処理は、図4に示すプロセッサ112が予め用意されたプログラムを実行することにより実現される。
情報処理装置100は、入国者Pが操作していないときはスリープ状態となっており、サーモセンサ115で情報処理装置100の前方を検知している(ステップS1)。なお、情報処理装置100の「前方」とは、情報処理装置100を操作する入国者Pが立つ領域であり、例えば図2の破線170で示す領域である。入国者Pが情報処理装置100の前に立つと、サーモセンサ115は入国者Pを検知し(ステップS1:Yes)、情報処理装置100はパスポート処理を実行する(ステップS10)。パスポート処理は、入国者Pのパスポートからパスポート情報を読み取る処理である。
図7(A)は、パスポート処理のフローチャートである。具体的に、情報処理装置100は、パスポートリーダ119によりパスポートを検出する(ステップS11)。パスポートを検出できない場合(ステップS11:No)、情報処理装置100は、タッチパネル117に「パスポートを置いて下さい。」などのメッセージを表示する(ステップS12)。一方、パスポートを検出すると(ステップS11:Yes)、パスポートリーダ119は、パスポート内のICチップからパスポート情報を読み取る(ステップS13)。ここで、パスポート情報は、国籍、氏名、生年月日、旅券番号などの身分事項、及び、パスポートの申請書に貼られた写真から読み取った顔画像などを含む。次に、情報処理装置110は、読み取ったパスポート情報をメモリ113などに一時的に記憶する(ステップS14)。そして、処理は図6のメインルーチンへ戻る。
次に、情報処理装置100は、顔認証処理を実行する(ステップS20)。顔認証処理は、入国者Pの顔画像を撮影し、パスポート情報に含まれる顔画像と照合して顔認証を行う処理である。図7(B)は、顔認証処理のフローチャートである。まず、情報処理装置100は、タッチパネル117に「顔画像を撮影します。」などのメッセージを表示する。また、必要に応じて、情報処理装置100は、撮影タイミングを示すカウントダウンの数字などを表示してもよい。次に、顔認証カメラ118は、入国者Pの顔画像を撮影する(ステップS22)。この際、情報処理装置100は、入国者Pの身長に応じて顔認証カメラ118Aの118Bのうちの一方を用いて入国者Pを撮影する。
次に、情報処理装置100は、顔認証カメラ118で撮影した顔画像をメモリ113に一時的に記憶する(ステップS23)。次に、情報処理装置110は、顔認証カメラ118で撮影した顔画像と、パスポートから読み取ったパスポート情報に含まれる顔画像とを照合して顔認証を行い、認証結果をメモリ113に保存する(ステップS24)。そして、処理は図6のメインルーチンへ戻る。
次に、情報処理装置100は、指紋採取処理を実行する(ステップS30)。指紋採取処理は、入国者Pの指紋を採取する処理である。具体的に、指紋採取処理は、入国者Pの左右の手の人差し指の指紋を採取する。図8(A)は、指紋採取処理のフローチャートである。まず、情報処理装置100は、タッチパネル117に指紋を採取するための案内画面を表示する(ステップS31)。例えば、情報処理装置100は、指紋スキャナ120に対する指の配置方法などを示す案内画像をタッチパネル117に表示する。次に、指紋スキャナ120R、120Lはそれぞれ入国者Pの人差し指の指紋を読み取り(ステップS32)、指紋画像をメモリ113に一時的に記憶する(ステップS33)。そして、処理は図6のメインルーチンへ戻る。
次に、情報処理装置100は、ED(Embarkation Disembarkation)カード処理を行う(ステップS40)。EDカードとは、渡航先の国に入出国する際に必要事項を記入するカードであり、入出国カードとも呼ばれる。EDカード処理は、入国者Pが事前登録したED情報を入国者Pのスマートフォンなどの端末装置から読み取る処理である。入国者PがED情報を事前登録すると、登録したED情報と関連付けされたQRコード(登録商標)が発行され、入国者Pはこれをスマートフォンに記憶している。
図8(B)は、EDカード処理のフローチャートである。まず、情報処理装置100は、入国者PがED情報を事前登録済みであるか否かを尋ねる(ステップS41)。ED情報が事前登録済みで無い場合(ステップS41:No)、処理は終了する。一方、ED情報が事前登録済みである場合(ステップS41:Yes)、情報処理装置100は、入国者Pがスマートフォンなどに表示したQRコードを読み取る(ステップS42)。具体的には、入国者PはQRコードをスマートフォンに表示させ、パスポートリーダ119などにかざす。パスポートリーダ119は、スマートフォンからQRコードを読み取る。そして、情報処理装置100は、読み取ったED情報をメモリ113に一時的に記憶する(ステップS43)。そして、処理は図6のメインルーチンへ戻る。
なお、上記の例では、QRコードをパスポートリーダ119で読み取っているが、QRコードを顔認証カメラ118や手元カメラ121でも読み取れるようにしてもよい。また、情報処理装置100にICカードリーダを設け、入国者Pのスマートフォンと情報処理装置100との間で無線通信を行うことで登録済のED情報を入国者Pのスマートフォンから取得する構成としてもよい。
次に、情報処理装置100は、ステップS10~S40で取得した個人識別情報を管理サーバ200へ送信する(ステップS50)。ここで、管理サーバ200へ送信される個人識別情報は、パスポート処理で取得したパスポート情報、顔認証処理で取得した顔画像及び顔認証結果、指紋採取処理で取得した指紋画像、及び、EDカード処理で取得したED情報を含む。このとき、情報処理装置100は、「審査ブースへ進んでください。」などのメッセージをタッチパネル117に表示し、入国者Pに審査ブースへ進むよう促す。
[情報処理装置の表示例]
次に、上記の情報取得処理において情報処理装置100がタッチパネル117に表示する画像の例を説明する。なお、以下に示す表示例の順序は一例に過ぎず、表示する順序を任意に変更することが可能である。まず、入国者Pが情報処理装置100の前に来てサーモセンサ115が入国者Pを検知すると、情報処理装置100はタッチパネル117に図9(A)に示す初期画像401を表示する。なお、初期画像401に含まれる言語選択ボタン481については後述する。
次に、上記の情報取得処理において情報処理装置100がタッチパネル117に表示する画像の例を説明する。なお、以下に示す表示例の順序は一例に過ぎず、表示する順序を任意に変更することが可能である。まず、入国者Pが情報処理装置100の前に来てサーモセンサ115が入国者Pを検知すると、情報処理装置100はタッチパネル117に図9(A)に示す初期画像401を表示する。なお、初期画像401に含まれる言語選択ボタン481については後述する。
次に、情報処理装置100は、パスポートスキャンの案内画像を表示する。具体的に、情報処理装置100は、図9(B)~(D)に示す画像402~404を順に表示する。画像402~404はいずれもパスポートリーダ119にパスポートを置くことを求めるメッセージを含む。画像402はパスポートリーダの外観を示し、画像403はパスポートの外側面をパスポートリーダ119に重ねることを示し、画像404はパスポートの内側面をパスポートリーダ119に重ねることを示す。なお、画像402に含まれるヘルプボタン482、及び、画像404に含まれるリプレイボタン483については後述する。
入国者Pがパスポートをパスポートリーダ119に重ねると、タッチパネル117には図10(A)に示す読取中画像405が表示される。パスポートの読取が成功すると、図10(B)に示すように、読取OKを示す画像406が表示される。一方、パスポートの読取が失敗すると、図10(C)に示すように、読取NGを示す画像407が表示される。読取が失敗した場合、入国者Pはパスポートの読取操作をやり直す。
パスポートの読取に成功すると、図11(A)に示すように、顔撮影の案内画像410が表示される。情報処理装置100は、入国者Pの身長に応じて、上側の顔認証カメラ118Aと下側の顔認証カメラ118Bのいずれを使用するかを決定する。そして、情報処理装置100は、上側の顔認証カメラ118Aを使用する場合、図11(B)に示す画像411を表示し、入国者Pに上側の顔認証カメラ118Aを見るように促す。一方、情報処理装置100は、下側の顔認証カメラ118Bを使用する場合、図11(C)に示す画像412を表示し、入国者Pに下側の顔認証カメラ118Bを見るように促す。
その後、顔認証カメラ118が顔画像の撮影を開始すると、図12(A)に示す撮影中画像413が表示される。適正な顔画像が撮影された場合、図12(B)に示す撮影OK画像414が表示される。一方、適正な顔画像が撮影できなかった場合、図12(C)に示す撮影NG画像415が表示される。
撮影NGの場合、情報処理装置100は、顔画像を正しく撮影するための案内情報を表示する。例えば、図13(A)の画像416に示すように入国者Pの顔が撮影枠490内に収まっていない場合、情報処理装置100は入国者Pに撮影枠490内に入るように促すメッセージを表示する。ここで、情報処理装置100は、顔画像の撮影に使用する顔認証カメラ118に対応する位置にメッセージを表示する。具体的に、上側の顔認証カメラ118Aを使用して顔画像を撮影している場合、情報処理装置100は、図13(A)の画像416に示すように、撮影枠490の上側にメッセージを表示する。一方、下側の顔認証カメラ118Bを使用して顔画像を撮影している場合、情報処理装置100は、図13(B)の画像417に示すように、撮影枠490の下側にメッセージを表示する。また、2つの顔認証カメラ118を使用して顔画像を撮影している場合、情報処理装置100は、入国者の身長、画像416内における入国者の顔の位置、又は、顔画像に基づいて検知した入国者の視線の位置に応じてメッセージを表示する場所を適宜設定することができる。
なお、顔画像の撮影がNGになる他の原因としては、入国者Pがカメラの方向を見ていないこと、入国者Pがサングラスやマスクをしていることなどが挙げられる。入国者Pが正しくカメラの方向を見ていない場合には、画像416又は417で「カメラの方向を見てください。」などのメッセージが表示され、入国者Pがサングラスやマスクをしている場合には、画像416又は417で「サングラス(又はマスク)を外して下さい。」などのメッセージが表示される。
顔認証処理が終了すると、指紋採取処理が行われる。情報処理装置100は、まず、指紋の採取方法を説明する案内画像を表示する。具体的には、情報処理装置100は、図13(C)、(D)に示す画像421、422を順に表示する。画像421は指紋スキャナを表示し、画像422は指紋スキャナに対する指の配置例を示す。続いて、情報処理装置100は図14(A)に示す画像423を表示する。画像423では、手元カメラ121で撮影した左右の指紋スキャナ120付近の画像上に、左右の手の指の正しい配置を示すガイドハンド512が表示される。さらに、人差し指を指紋スキャナ120上に置くことを示す破線の円511が表示される。なお、リプレイボタン483については後述する。
入国者Pが実際に指紋スキャナ120上に指を置くと、その様子が手元カメラ121で撮影される。情報処理装置100は、図14(B)に示すように、手元カメラ121が撮影した入国者Pの手513を含む画像424を表示する。入国者Pは、画像424におけるガイドハンド512の位置を参照して、自分の手を正しい位置に配置する。
入国者Pの指が接触すると、指紋スキャナ120は指紋の読取を開始し、図14(C)に示す読取中画像425が表示される。指紋の読取が成功すると、図14(D)に示す読取OK画像426が表示される。一方、指紋の読取が失敗すると、図15(A)に示す読取NG画像427が表示される。指紋の読取が失敗する原因はいくつかある。例えば、入国者Pが指紋スキャナ120に片手しか置いていない場合、情報処理装置100は図15(B)に示す画像428を表示する。画像428では、両手を指紋スキャナ120に置くことを求めるメッセージが表示される。
指紋スキャナ120に対する指の位置がずれている場合、情報処理装置100は図15(C)に示す画像429を表示する。画像429では、右手の位置がずれていることを示すメッセージが表示される。なお、画像429では、右手の指の位置がずれているが、左手の指の位置はずれていないため、右手の画像の下にのみ「位置ずれ」のメッセージが表示されている。仮に左手の指の位置のみがずれている場合、左手の画像の下にのみ「位置ずれ」のメッセージが表示される。また、両手の指の位置がずれている場合、両手の画像の下にそれぞれ「位置ずれ」のメッセージが表示される。なお、下側の顔認証カメラ118Bを用いて顔認証を行った場合は手の画像の下側にメッセージを表示し、上側の顔認証カメラ118Aを用いて顔認証を行った場合は手の画像の上側にメッセージを表示してもよい。また、指の位置が正しいか否かに応じて、ガイドハンド512の色や線の太さなどを変えてもよい。例えば、指が正しい位置に置かれるまでは第1の表示(例えば赤の点線)でガイドハンド512を表示し、指が正しい位置に置かれたら第2の表示(例えば緑の実線)でガイドハンド512を表示してもよい。
指紋スキャナ120に対する指の押し付けが不足している場合、情報処理装置100は図15(D)に示す画像430を表示する。画像430では、指紋スキャナ120に対する右手の人差し指の押し付けが不足していることを示すメッセージが表示されている。なお、この場合も、左右の指のうち、押し付け不足となっている方の画像の下にメッセージが表示される。こうして、情報処理装置100は、指紋の読取が失敗した理由をタッチパネル117に表示し、再度の指紋採取を促す。
指紋採取処理が終了すると、EDカード処理が行われる。情報処理装置100は、まず、図16(A)に示す画像441を表示し、事前登録したED情報を使用するか否かを入国者Pに尋ねる。画像411は、YESボタン531と、NOボタン532を含む。入国者PがNOボタン532を押すと、EDカード処理は終了する。一方、入国者PがYESボタン531を押すと、情報処理装置100はQRコードの読取操作の案内画像を表示する。具体的には、情報処理装置100は、図16(B)~(D)の画像442~444を順に表示する。画像442は、事前登録済みのED情報に対応するQRコードをスマートフォンに表示させることを促す画像である。画像443は、QRコードの読取に使用するパスポートリーダ119を示す。画像444は、QRコードをパスポートリーダ119にかざす様子を示す。なお、画像444にはリプレイボタン483が表示されているが、これについては後述する。
入国者PがQRコードをパスポートリーダ119にかざすと、QRコードの読取が開始し、図17(A)に示す読取中画像445が表示される。QRコードが正しく読み取られると、図17(B)に示す画像446が表示される。画像446は、事前登録したED情報と、入国者Pに修正の要否の確認を促すメッセージと、YESボタン541と、NOボタン542とを含む。入国者Pは、修正の要否に応じて、YESボタン541又はNOボタン542を押す。YESボタン541が押されると、画像446に対する入力が可能となり、入国者Pは必要な修正を行う。修正が無い場合又は修正が終了した場合、図17(C)に示す確認画像447が表示される。確認画像447は、YESボタン543とNOボタン544を含む。入国者PがNOボタン544を押すと、図17(B)に示す画像446に戻る。一方、入国者PがYESボタン543を押すと、図17(D)のような終了画面448が表示され、情報取得処理は終了する。
図9~17に例示した画像のうち、全ての画像又は任意の画像において、言語選択ボタン及びヘルプボタンを表示することができる。図9(A)は、言語選択ボタン481が表示された画像の一例を示す。言語選択ボタン481が押されると、図18(A)に示す画像451が表示され、入国者Pは情報処理装置100の操作において使用する言語を選択することができる。
ヘルプボタンは、コンシェルジュを呼び出すためのボタンである。図9(B)は、ヘルプボタン482が表示された画像の一例を示す。ヘルプボタン482が押されると、まず、図18(B)に示す画像452が表示される。画像452において、YESボタン551が押されると、情報処理装置100はコンシェルジュのタブレット300に呼び出し情報を送信し、図18(C)に示す画像453を表示する。コンシェルジュが情報処理装置100に到着し、所定の操作を行うと、画像453の表示は終了する。
また、上記のパスポート処理、顔認証処理、指紋採取処理、及び、EDカード処理の各々において、情報処理装置100の操作方法の案内画像に続く画像にリプレイボタンを表示することができる。リプレイボタンは、情報処理装置100の操作方法を示す案内画像のリプレイを指示するためのボタンである。具体的に、リプレイボタン483は、図9(D)の画像404、図14(A)の画像423、図16(D)の画像444などに表示されている。リプレイボタン483は、先行して表示された案内画像のリプレイを行うためのボタンである。例えば、図9(D)の画像404において入国者Pがリプレイボタン483を押すと、図9(B)~(D)の画像402~404がこの順でリプレイされる。図14(A)の画像423において入国者Pがリプレイボタン483を押すと、図13(C)、(D)、図14(A)の画像421~423がこの順でリプレイされる。また、図16(D)の画像444において入国者Pがリプレイボタン483を押すと、図16(B)~(D)の画像442~444がこの順でリプレイされる。これら以外に、顔認証処理やEDカード処理においても一連の案内画像の最後の画像においてリプレイボタンを設けることができる。この場合、顔認証処理に関する一連の案内画像の最後に表示されたリプレイボタンが押された場合、顔認証処理に関する一連の案内画像がリプレイされる。また、EDカード処理に関する一連の案内画像の最後に表示されたリプレイボタンが押された場合、EDカード処理に関する一連の案内画像がリプレイされる。なお、リプレイボタン483が所定回数以上選択された場合、情報処理装置100は、入国者Pが操作方法で困っていると判断し、自動的にコンシェルジュを呼び出すアラートをタブレット300に送信するようにしてもよい。
[管理サーバの処理]
次に、情報取得処理と並行して行われる管理サーバの処理について説明する。図19は、管理サーバ200による情報管理処理のフローチャートである。この処理は、図5(A)に示すプロセッサ212が予め用意されたプログラムを実行することにより実現される。
次に、情報取得処理と並行して行われる管理サーバの処理について説明する。図19は、管理サーバ200による情報管理処理のフローチャートである。この処理は、図5(A)に示すプロセッサ212が予め用意されたプログラムを実行することにより実現される。
まず、情報処理装置100は、取得した個人識別情報を管理サーバ200へ送信し(ステップS50)、管理サーバ200は個人識別情報を受信する(ステップS51)。次に、管理サーバ200は、受信した個人識別情報を、パスポート番号に関連付けてDB215に記憶する(ステップS52)。こうして、入国者Pが情報処理装置100を操作して提供した個人識別情報が管理サーバ200のDB215に蓄積される。
入国者Pは情報処理装置100での操作を終了すると、審査ブースへ進む。入国者Pが審査ブースで審査官にパスポートを提示すると、審査官はPC5を用いて入国者Pのパスポートを読み取る(ステップS53)。PC5は、読み取ったパスポート情報をモニタなどに表示するとともに、パスポート番号を管理サーバ200へ送信する(ステップS54)。
管理サーバ200は、パスポート番号を受信し(ステップS55)、そのパスポート番号に対応する個人識別情報をDB215から取得し、審査ブースのPC5へ送信する(ステップS56)。審査ブースのPC5は、受信した個人識別情報をモニタなどに表示する(ステップS57)。こうして、審査ブースに来た入国者Pについて情報処理装置100が取得した個人識別情報が、審査ブースのPC5のモニタに表示される。審査官は、表示された個人識別情報に含まれる顔画像や、顔認証結果などを参照して入国の可否の審査を行う。
なお、情報処理装置100による情報提供が必要な入国者Pが、情報処理装置100での操作を行わずに審査ブースに来てしまった場合、審査ブースのPC5は、コンシェルジュのタブレット300に通知するとともに、使用可能な(他に誰も使用していない)情報処理装置100のIDと当該情報処理装置100までの道のりを示す地図情報をPC5のモニタに表示してもよい。この場合、審査官は上記の地図情報をプリントアウトして入国者Pに渡すことができ、入国者Pを正しく情報処理装置100へ案内することができる。
[タブレットの表示例]
次に、コンシェルジュが使用するタブレット300の表示例を説明する。入国者Pが情報処理装置100を操作している間、情報処理装置100は入国者Pの個人識別情報を取得し、管理サーバ200へ送信する。管理サーバ200は、取得した情報を担当のコンシェルジュが所持するタブレット300へ送信する。図20は、コンシェルジュのタブレット300の表示例を示す。1人のコンシェルジュには、複数の情報処理装置100が紐づけされる。図20の例は、コンシェルジュXのタブレット300の表示画面を示す。
次に、コンシェルジュが使用するタブレット300の表示例を説明する。入国者Pが情報処理装置100を操作している間、情報処理装置100は入国者Pの個人識別情報を取得し、管理サーバ200へ送信する。管理サーバ200は、取得した情報を担当のコンシェルジュが所持するタブレット300へ送信する。図20は、コンシェルジュのタブレット300の表示例を示す。1人のコンシェルジュには、複数の情報処理装置100が紐づけされる。図20の例は、コンシェルジュXのタブレット300の表示画面を示す。
図示のように、タブレット300は、コンシェルジュXに紐付けられた複数の情報処理装置100の情報を表示する装置一覧画面を表示する。装置一覧画面は、情報処理装置100毎の個別情報を表示する個別情報エリア320と、全体的な情報を表示する全体情報エリア330とを含む。図20の例では、コンシェルジュは、装置番号「01」~「07」の7台の情報処理装置100を担当しており、各情報処理装置100に対応する7個の個別情報エリア320が表示されている。
各個別情報エリア320は、カメラ表示ボタン321と、個別アラートエリア322と、プロセス表示エリア323とを備える。カメラ表示ボタン321は、監視カメラ116の撮影画像を表示させるためのボタンである。コンシェルジュがカメラ表示ボタン321を押すと、図20の装置番号「04」の個別情報エリア320に示すように、監視カメラ116により撮影された監視カメラ画像324が表示される。監視カメラ画像324が表示された状態で、コンシェルジュが監視カメラ画像324内の閉じるボタン325を押すと、監視カメラ画像324の表示が終了する。
監視カメラ画像324は、情報処理装置100の監視カメラ116が撮影した入国者Pの画像である。図2に示すように、監視カメラ116は情報処理装置100の上端に設けられているため、監視カメラ画像324は、入国者Pを斜め上から見下ろしたような画像となる。監視カメラ画像324は、入国者P及びその前方にある情報処理装置100のテーブル135を含む画像となるので、コンシェルジュは監視カメラ画像324を見ることにより、入国者Pが操作を行っている状況を把握することができる。なお、監視カメラ116の画像だけでなく、顔認証カメラ118や手元カメラ121を監視カメラとして使用してもよい。その場合、顔認証カメラ118や手元カメラ121の画像も監視カメラ画像324として表示することができる。
個別アラートエリア322は、入国者Pが情報処理装置を操作する際に、情報処理装置100毎に個別に発生したアラートを表示するエリアである。図20の例では、「呼出」、「不正」、「故障」、及び、「バッテリー」の4つのマークが表示されている。「呼出」マークは、入国者Pが情報処理装置100の操作に困り、呼び出しボタンなどを押してコンシェルジュを呼び出したときに点灯する。「不正」マークは、情報処理装置100が入国者Pの操作における不正を検出した場合に点灯し、例えば1つの情報処理装置100の周辺に2人以上の人物が立っている場合に点灯する。「故障」マークは、情報処理装置100のハードウェアなどに異常が発生した場合に点灯する。「バッテリー」マークは、情報処理装置100のバッテリー残量が所定値以下となった場合に点灯する。
情報処理装置100においてアラートが発生すると、個別アラートエリア322内の対応するマークが点灯するとともに、そのアラートの発生時刻が表示される。図20の装置番号「01」の個別情報エリア320では、「不正」のアラートマークが点灯し、そのアラートの発生時刻「10:51」が表示されている。これにより、コンシェルジュは、自分が担当する情報処理装置100に発生しているアラートの種類及びその発生時刻を知ることができる。実際の処理としては、情報処理装置100は、上記のいずれかの状態になったときに、その旨を示すアラート信号を管理サーバ200へ送信するか、もしくはタブレット300へ直接送信する。タブレット300は、アラート信号を、管理サーバ200経由又は直接に受信し、表示する。
プロセス表示エリア323は、各情報処理装置100の入国者Pが前述の情報取得処理のどのプロセスを行っているかを示す。具体的に、プロセス表示エリア323は、「旅券」、「顔」、「指紋」及び「ED」のマークを含む。「旅券」はパスポート処理を示し、「顔」は顔認証処理を示し、「指紋」は指紋採取処理を示し、「ED」はEDカード処理を示す。図20の表示例において、プロセス表示エリア323は、装置番号「01」及び「02」の入国者Pは指紋採取処理を行っており、装置番号「03」の入国者Pは顔認証処理を行っており、装置番号「04」~「07」の入国者Pは指紋採取処理を行っていることを示している。なお、各処理(プロセス)に関してアラートが発生した場合には、対応するマークが点灯する。例えば、各処理において、入国者Pが2回以上エラーを起こしたときや、入国者Pの操作時間が既定の時間を超えたときなどには、そのプロセスのマークが点灯する。図20の表示画面例では、装置番号「06」の入国者Pの指紋採取処理においてアラートが発生し、「指紋」のマークが点灯している。監視カメラ画像とプロセスとを同時に表示することにより、コンシェルジュは入国者が行っているプロセスとその様子を示す画像とを併せて見ることができ、不審な行動を行っていないかなどを確認しやすくなる。
なお、タブレット300は、プロセス表示エリア300への表示を行うために、各情報処理装置100と通信し、各情報処理装置100が実行しているプロセスを示す情報を取得する。この場合、情報処理装置100は、入国者Pの操作入力に基づいて実行中のプロセスを特定してもよいし、監視カメラ116、顔認証カメラ118、手元カメラ121などの画像に基づいて入国者Pの行動を解析し、実行中のプロセスを判定してもよい。例えば、情報処理装置100は、入国者Pが両手を指紋スキャナ120の所に置いていたら、指紋採取処理を実行中であると判定してもよい。
全体情報エリア330は、全体アラートのマーク332~335と、コンシェルジュID336と、ログアウトボタン337と、紐づけボタン338と、紐渡しボタン339とを含む。全体アラートのマーク332~335は、呼出マーク332と、不正マーク333と、故障マーク334と、バッテリーマーク335を含む。全体アラートのマーク332~335は、コンシェルジュXが担当する複数の情報処理装置100のいずれかにアラートが発生した場合に点灯する。例えば、呼出マーク332は、コンシェルジュXの管理する装置番号「01」~「07」の情報処理装置100のいずれか1つが呼び出しを行った場合に点灯する。不正マーク333、故障マーク334、バッテリーマーク335についても同様である。
点灯した全体アラートのマーク332~335のいずれかをコンシェルジュXが押すと、そのアラートの詳細を示すアラートリスト370が表示される。図21は、不正マーク333が押されたときのアラートリスト370の例を示す。アラートリスト370は、不正アラートが発生している情報処理装置100のリストを表示する。図21の例では、アラートリスト370は装置番号「01」と「07」の情報処理装置100で不正アラートが発生していることを示している。表示されている装置番号「01」のバー371をコンシェルジュXが押すと、図20のような装置一覧画面が表示され、その装置番号「01」の個別情報エリア320が一時的に点灯する。また、コンシェルジュXがキャンセルボタン372を押すと、アラートリスト370の表示が終了し、図20のような装置一覧画面に戻る。
なお、上記の例では、全体アラートのマーク332~335のいずれかが選択されると、そのマークに対応するアラートのアラートリストが表示される。その代わりに、マーク332~335のいずれかが選択されると、そのときに発生している4種類のアラート全てを含むアラートリストを表示することとしてもよい。
次に、情報処理装置の紐づけについて説明する。図20に示す紐づけボタン338はコンシェルジュXに対して情報処理装置100を紐づけするためのボタンである。コンシェルジュXが紐付けボタン338を押すと、図22に示す紐づけウィンドウ340が表示される。紐づけウィンドウ340では、個々の情報処理装置100が、装置番号を示す装置マークで表示される。このうち、色付きの装置マーク341は、このタブレット300を操作するコンシェルジュXに紐づけされている情報処理装置100を示している。破線の装置マーク342は、他のコンシェルジュに紐づけされている情報処理装置100を示している。また、実線の装置マーク343は、いずれのコンシェルジュにも紐づけされていない情報処理装置100を示している。図22の例では、装置番号「01」~「07」がコンシェルジュXに紐づけされており、装置番号「09」~「24」の情報処理装置100は他のコンシェルジュに紐づけされており、装置番号「08」、「25」~「27」はいずれのコンシェルジュにも紐づけされていない。
ここで、コンシェルジュXが装置番号「08」の装置マーク343を押すと、装置番号「08」の情報処理装置100がコンシェルジュXに紐づけされる。閉じるボタン344を押すことにより、紐づけウィンドウ340が閉じる。図23は、装置番号「08」の情報処理装置100をコンシェルジュXに紐づけた後の装置一覧画面を示す。図20との比較によりわかるように、装置番号「08」の情報処理装置についての個別情報エリア320が追加されている。
次に、情報処理装置100の紐外しについて説明する。紐外しとは、担当装置の一部又は全部を、自分の担当から外す作業である。紐外しを行う場合、コンシェルジュXは紐づけボタン338を押し、図22に示す紐づけウィンドウ340を表示させる。そして、コンシェルジュXは、紐外しの対象となる装置番号の装置マーク341を押せばよい。
次に、情報処理装置100の紐渡しについて説明する。紐渡しとは、自分の担当装置を他のコンシェルジュに渡すことをいう。コンシェルジュXが図20に示す紐渡しボタン339を押すと、図24に示す紐づけウィンドウ340が表示される。ここで、コンシェルジュが紐渡しボタン345を押すと、図25に示すように、紐づけウィンドウ340の右端に対象となるコンシェルジュを指定するボタン347が表示される。コンシェルジュXが紐渡し先のコンシェルジュ(コンシェルジュAとする。)のボタン347を選択すると、紐渡し先のコンシェルジュAのタブレット300には、図26に示すように確認ウィンドウ350が表示される。確認ウィンドウ350は、紐渡しが要求されたことを示すメッセージと、同意ボタン351と、拒否ボタン352とを含む。紐渡し先のコンシェルジュAが同意ボタン351を押すと、紐渡しが行われ、コンシェルジュXの担当していた情報処理装置100がコンシェルジュAに渡される。一方、コンシェルジュAが拒否ボタン352を押すと、紐渡しは行われない。
次に、情報処理装置100の奪取について説明する。奪取とは、他のコンシェルジュの担当している装置を自分の担当装置に変更することをいう。奪取を行う場合、コンシェルジュXが図20に示す紐渡しボタン339を押すと、図24に示す紐づけウィンドウ340が表示される。ここで、コンシェルジュXが、例えば他のコンシェルジュが担当している装置番号「16」の装置マークを押すと、図27に示すように、紐づけウィンドウ340の右端に、選択した情報処理装置100が他のコンシェルジュ(コンシェルジュBとする。)の担当装置であることを示すメッセージと、OKボタン353と、キャンセルボタン354とが表示される。コンシェルジュXがOKボタン353を押すと、装置番号16を担当しているコンシェルジュBのタブレット300には図28に示すように、確認ウィンドウ350が表示される。確認ウィンドウ350は、奪取が要求されたことを示すメッセージと、同意ボタン351と、拒否ボタン352とを含む。コンシェルジュBが同意ボタン351を押すと、奪取が行われ、コンシェルジュBの担当していた装置番号「16」の情報処理装置100がコンシェルジュXに渡される。一方、コンシェルジュBが拒否ボタン352を押すと、奪取は行われない。
次に、装置一覧画面のページ送りについて説明する。上記の例では、コンシェルジュXの担当装置が8個以内であるが、1人のコンシェルジュが9個以上の情報処理装置100を担当する場合、図20に例示する装置一覧画面は複数のページにまたがることになる。この場合、コンシェルジュは、装置一覧画面のページをフリックすることにより、複数のページ間を移動することができる。例えば、コンシェルジュXが9個以上の情報処理装置を担当している場合、コンシェルジュXは装置一覧画面の第1ページを左へフリックすることにより、9個目以降の装置に対応する第2ページを表示させることができる。また、コンシェルジュXは、第2ページを右へフリックすることにより、第1ページに戻ることができる。また、フリックを使用する代わりに、図29に例示するように、ページ移動ボタン348を設け、ページ移動ボタン348が押されたときにページを移動するようにしてもよい。
次に、タブレットからのログアウトについて説明する。コンシェルジュXが図20に示すログアウトボタン337を押すと、図30に例示するように、ログアウトウィンドウ360が表示される。コンシェルジュXがログアウトウィンドウ360内のログアウトボタン361を押すと、図31に例示する確認ウィンドウ365が表示される。確認ウィンドウ365は、担当装置の紐づけを外すためのボタン366と、紐づけを残すためのボタン367と、ログアウトをキャンセルするためのボタン368とを含む。コンシェルジュXがボタン366を選択すると、担当している情報処理装置100の紐づけが外され、コンシェルジュXはログアウトできる。コンシェルジュXがボタン367を押すと、担当している情報処理装置100の紐づけが維持されたままとされ、コンシェルジュXはログアウトできる。コンシェルジュXがボタン368を押すと、ログアウトがキャンセルされる。
<第2実施形態>
次に、この開示の第2実施形態について説明する。
[基本概念]
第2実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、図2に示す外観構成及び図4に示す内部構成を備える。但し、第2実施形態に係る情報処理装置100は、図6に示す情報取得処理のステップS20で実行される顔認証処理が第1実施形態とは異なる。
次に、この開示の第2実施形態について説明する。
[基本概念]
第2実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、図2に示す外観構成及び図4に示す内部構成を備える。但し、第2実施形態に係る情報処理装置100は、図6に示す情報取得処理のステップS20で実行される顔認証処理が第1実施形態とは異なる。
具体的に、第1実施形態では、情報処理装置100は、情報取得処理においてパスポート処理が終了した後、顔認証処理において入国者Pの顔画像を撮影し、顔認証を行っている。これに対し、第2実施形態では、情報処理装置100は、情報処理装置100の前方のサーモセンサ115の検知範囲に入国者が入ったときに入国者Pの顔画像の撮影を開始する。即ち、情報処理装置100は、パスポート処理の実行前及び実行中に入国者Pの顔画像の撮影を行う。なお、入国者Pが情報処理装置100の使用状態を遠くからでも判断できるように、タッチパネル117や情報処理装置100の付近の床などに情報処理装置100の使用状態(例えば、使用可能、使用不可など)を表示しておいてもよい。そして、パスポート処理が終了するまでに、顔認証に適した顔画像(以下、「適合顔画像」と呼ぶ。)が得られた場合には、その顔画像を使用して顔認証処理を実行する。即ち、パスポート処理中に適合顔画像が得られた場合には、顔認証処理において入国者Pの顔画像を撮影する処理を省略する。
ここで、「適合顔画像」とは、顔認証に使用可能な顔画像を意味する。具体的には、適合顔画像に該当するか否かは、顔画像に写っている顔の方向が適正か、即ち、目、鼻、口などの顔の全てのパーツが写っているか、画像の解像度が十分であるか、画像のブレがないか、などを考慮して決定される。
[処理フロー]
図32は、第2実施形態に係る情報取得処理のフローチャートである。この処理は、プロセッサ112が予め用意されたプログラムを実行することにより実現される。
図32は、第2実施形態に係る情報取得処理のフローチャートである。この処理は、プロセッサ112が予め用意されたプログラムを実行することにより実現される。
情報処理装置100は、入国者Pが操作していないときはスリープ状態となっており、サーモセンサ115で情報処理装置100の前方を検知している(ステップS1)。入国者Pが情報処理装置100の前に立つと、サーモセンサ115は入国者Pを検知し(ステップS1:Yes)、情報処理装置100は、顔認証カメラ118をオンにして入国者Pの撮影を開始する(ステップS2)。続いて、情報処理装置100は、パスポート処理を実行する(ステップS10)。これにより、入国者Pがサーモセンサ115の検出範囲に入ってから、情報処理装置100の前に来てパスポート処理を終了するまでの間、顔認証カメラ118は入国者Pの顔画像を撮影し続けることになる。パスポート処理が終了すると、情報処理装置100は、顔認証処理を実行する(ステップS20)。
図33は、第2実施形態の顔認証処理のフローチャートである。まず、情報処理装置100は、それまでに取得した顔画像の適否を判定する(ステップS51)。具体的には、情報処理装置100は、ステップS2で顔認証カメラ118をオンにしてから撮影された入国者Pの顔画像を分析し、前述の適合顔画像に該当するか否かを判定する。情報処理装置100は、適合顔画像が取得できていないと判定した場合(ステップS52:No)、第1実施形態と同様に顔認証処理を行う。即ち、情報処理装置100は、「顔画像を撮影します。」などのメッセージをタッチパネル117に表示し(ステップS54)、顔画像を撮影する(ステップS55)。そして、情報処理装置100は、撮影した顔画像を一時的にメモリ113に記憶し(ステップS56)、撮影した顔画像とパスポート情報に含まれる顔画像とを用いて顔認証を行ってその結果をメモリ113に記憶する(ステップS57)。
一方、情報処理装置100は、適合顔画像が取得できていると判定した場合(ステップS52:Yes)、「顔画像は取得済みです。」などのメッセージをタッチパネル117に表示し(ステップS53)、顔画像の撮影を行わずにステップS56へ進む。そして、情報処理装置100は、顔認証処理の開始前に取得された適合顔画像を一時的にメモリ113に記憶し(ステップS56)、その適合顔画像とパスポート情報に含まれる顔画像とを用いて顔認証を行ってその結果をメモリ113に記憶する(ステップS57)。こうして顔認証処理は終了し、処理は指紋採取処理へ進む。なお、指紋採取処理以降の処理は第1実施形態と同様であるので、説明を省略する。
なお、図32及び図33の処理では、適合顔画像が得られている場合でも、パスポート処理が完了するまでは適合顔画像を用いた認証処理を行わないこととしている。その代わりに、適合顔画像が取得できた場合は、パスポート処理と並行して適合顔画像を用いた顔認証処理を行ってもよい。この場合、タッチパネル117には「顔画像は取得済みです。」の代わりに、「顔認証処理は完了しています。」などのメッセージを表示すればよい。また、「顔画像は取得済みです。」や「顔認証処理は完了しています。」などのメッセージの表示を省略し、パスポート処理が終了すると直ちに指紋採取処理に移行するようにしてもよい。
以上のように、第2実施形態の情報取得処理では、入国者Pがパスポート処理を終了するまでの間に顔認証カメラ118で入国者Pの顔画像を撮影しておく。そして、その間に顔認証に使用可能な品質の適合顔画像が取得できた場合には、顔認証処理において顔画像の撮影は行わず、その適合顔画像を用いて顔認証処理を行う。これにより、顔認証処理に要する時間を短縮することができる。なお、第2実施形態は、第1実施形態と組み合わせて実施することができる。
[変形例]
(変形例1)
第2実施形態では、情報処理装置100は、ステップS51において、顔画像に写っている顔の方向が適正か、画像の解像度が十分であるか、などに基づいて適合顔画像の判定を行っている。その代わりに、情報処理装置100は、パスポート処理の終了までに得られた顔画像と、パスポート処理により得られたパスポート情報に含まれる顔画像とを用いて実際に顔認証処理を行い、得られた照合スコア(一致スコア)が所定値以上である場合に、その顔画像を適合顔画像と判定してもよい。
(変形例1)
第2実施形態では、情報処理装置100は、ステップS51において、顔画像に写っている顔の方向が適正か、画像の解像度が十分であるか、などに基づいて適合顔画像の判定を行っている。その代わりに、情報処理装置100は、パスポート処理の終了までに得られた顔画像と、パスポート処理により得られたパスポート情報に含まれる顔画像とを用いて実際に顔認証処理を行い、得られた照合スコア(一致スコア)が所定値以上である場合に、その顔画像を適合顔画像と判定してもよい。
(変形例2)
第2実施形態では、パスポート処理を行っている間も顔認証カメラ118で入国者Pの顔画像を撮影しているが、入国者Pとしては知らないうちに顔画像を撮影されていることになる。そこで、情報処理装置100は、図32のステップS2で入国者Pの顔画像の撮影を開始したときに、顔画像を撮影していることを入国者Pに知らせることが好ましい。例えば、情報処理装置100は、タッチパネル117に「顔画像撮影中」などのメッセージやカメラにより撮影していることを表すマークなどを表示してもよい。これにより、顔画像の撮影中であることを入国者Pに伝えることができる。入国者Pは顔画像の撮影中であることを知ると、顔をタッチパネル117に向けるなどして撮影に協力すると考えられるので、パスポート処理と並行して適合顔画像を取得できる可能性が高くなり、情報取得処理の効率化が期待できる。また、入国者Pに撮影中であることを伝える場合には、適合顔画像が取得できたタイミングでその旨を入国者Pに伝えてもよい。例えば、情報処理装置100は、適合顔画像が取得できたタイミングで「顔画像OK」などのメッセージやマークをタッチパネル117に表示してもよい。
第2実施形態では、パスポート処理を行っている間も顔認証カメラ118で入国者Pの顔画像を撮影しているが、入国者Pとしては知らないうちに顔画像を撮影されていることになる。そこで、情報処理装置100は、図32のステップS2で入国者Pの顔画像の撮影を開始したときに、顔画像を撮影していることを入国者Pに知らせることが好ましい。例えば、情報処理装置100は、タッチパネル117に「顔画像撮影中」などのメッセージやカメラにより撮影していることを表すマークなどを表示してもよい。これにより、顔画像の撮影中であることを入国者Pに伝えることができる。入国者Pは顔画像の撮影中であることを知ると、顔をタッチパネル117に向けるなどして撮影に協力すると考えられるので、パスポート処理と並行して適合顔画像を取得できる可能性が高くなり、情報取得処理の効率化が期待できる。また、入国者Pに撮影中であることを伝える場合には、適合顔画像が取得できたタイミングでその旨を入国者Pに伝えてもよい。例えば、情報処理装置100は、適合顔画像が取得できたタイミングで「顔画像OK」などのメッセージやマークをタッチパネル117に表示してもよい。
<第3実施形態>
次に、この開示の第3実施形態について説明する。
[基本概念]
第3実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、図2に示す外観構成及び図4に示す内部構成を備える。但し、第2実施形態に係る情報処理装置100は、図6に示す情報取得処理のステップS30で実行される指紋採取処理が第1実施形態とは異なる。
次に、この開示の第3実施形態について説明する。
[基本概念]
第3実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、図2に示す外観構成及び図4に示す内部構成を備える。但し、第2実施形態に係る情報処理装置100は、図6に示す情報取得処理のステップS30で実行される指紋採取処理が第1実施形態とは異なる。
情報処理装置100で採取された指紋はいわゆるウオッチリストと照合される。入国審査においては、入国者Pの指紋がウオッチリストに載っている場合、その入国者Pは入国を拒否される。このため、ウオッチリストに載っていることが懸念される入国者Pは、指紋採取処理において、自分の指紋の代わりに一緒にいる他の人物(以下、「協力者」と呼ぶ。)の指紋を提供しようと考えることがある。このような場合には、不正を行う入国者(以下、「不正者」と呼ぶ。)と協力者を含む複数の人物が情報処理装置100の前で指紋採取処理の操作を行うことになる。そこで、第3実施形態では、情報処理装置100は、指紋採取処理中にサーモセンサ115が出力するサーモ画像を用いて、情報処理装置100の前に複数の人物がいることを異常として検出し、複数の人物がいる場合には、アラートを発してコンシェルジュに通知するとともに、指紋採取処理を中断する。これにより、不正者が自分の指紋の代わりに協力者の指紋を提供するタイプの不正を防止することができる。
図34(A)は、不正者Xと協力者Yの2名が情報処理装置100を操作している状態のサーモ画像の例を示す。不正者Xは情報処理装置100のほぼ正面に立っており、不正者Xの頭X1、体X2、腕X3が検出されている。不正者Xの腕X3は情報処理装置100のテーブル135に伸びている。なお、図16においては、図示の便宜上、熱源の温度をグレースケールで示し、温度の高い領域を黒に近い色で示し、温度の低い領域を白に近い色で示すものとする。通常、頭などの衣服に覆われていない領域は、体や腕などの衣服に覆われている領域よりも高い温度が検出されるので、頭X1は体X2や腕X3より黒い色で表されている。各領域の温度を取得し、分析することで、サーモ画像から頭の領域、体の領域などの各領域を判別することができる。一方、協力者Yは情報処理装置100の正面から少し横方向に外れた位置に立っており、協力者Yの頭Y1、体Y2、腕Y3が検出されている。協力者Yの腕Y3は同じく情報処理装置100のテーブル135へ伸びている。
図34(B)は、不正者Xと協力者Yの2名が情報処理装置100を操作している状態のサーモ画像の他の例を示す。図16(A)の例と同様に、不正者Xは情報処理装置100のほぼ正面に立っており、不正者Xの頭X1、体X2、腕X3が検出されている。不正者Xの腕X3は情報処理装置100のテーブル135に伸びている。一方、協力者Yは不正者Xの背後に隠れているが、サーモ画像により協力者Yの頭Y1、体Y2、腕Y3が検出されている。協力者Yの腕Y3は情報処理装置100のテーブル135へ伸びている。
図34(C)は、不正者Xと協力者Yの2名が情報処理装置100を操作している状態のサーモ画像の他の例を示す。この例も図16(B)の例と同様に協力者Yが不正者Xの背後にいるが、2人の体が接近しているため、サーモ画像における領域が一体化し、1つの大きな塊となって検出されている。具体的に、不正者Xの体X2と協力者Yの体Y2が一体化して大きな領域となっており、不正者Xの体X2と協力者Yの体Y2が一体化して1つの太い腕のようになっている。しかし、頭は体よりも温度が高いため体とは別の色の領域として検出することができる。また、協力者Yが不正者Xの背後に隠れている場合でも、それぞれの頭は別個の領域として検出できることが多い。よって、情報処理装置100の前方に検出された体や腕が一体化している場合でも、検出された頭の数に基づいて、複数の人物がいると判定することができる。なお、頭の数に基づく判定に加えて、一般的な大人の体の領域がどの程度のサイズ、面積になるかを予め実験などにより決定しておき、一般的な体のサイズより過剰に大きい領域が検出された場合には、複数の人物がいる可能性が高いと判定してもよい。
なお、実際には、サーモ画像に2人の人物が含まれている場合に、どちらが不正者でどちらが協力者であるかは区別できないが、情報処理装置100は、どちらが不正者でどちらが協力者であるかを区別する必要はなく、単にサーモ画像から複数の人物が検出された場合にアラートを発すればよい。
このように、サーモセンサ115が出力したサーモ画像を用いて、情報処理装置100の前に複数の人物がいることを検出することができる。よって、情報取得処理中、特に指紋採取処理中に情報処理装置100の前に複数の人物が検出された場合には、情報処理装置100は、入国者が不正を行っている可能性があると判定し、コンシェルジュに対してアラートを出力する。情報処理装置100が出力したアラートはコンシェルジュが所持するタブレット300に表示されるため、コンシェルジュはアラートを出力した情報処理装置100の場所に移動して不正が行われているかを確認することができる。
なお、第3実施形態において、顔認証カメラ118、パスポートリーダ119及び指紋スキャナ120は情報取得手段の一例であり、サーモセンサ115又は監視カメラ116は異常検知手段の一例であり、プロセッサ112は制御手段の一例である。
[処理フロー]
図35は、第3実施形態による指紋採取処理のフローチャートである。この処理は、図6に示す情報取得処理のステップS30として実行される。まず、情報処理装置100は、タッチパネル117に指紋を採取する案内画面を表示する(ステップS61)。例えば、情報処理装置100は、図14(A)に例示するように、指紋スキャナ120に対する指の配置方法などを示す案内画像をタッチパネル117に表示する。次に、情報処理装置100は、サーモセンサ115からサーモ画像を取得する(ステップS62)。次に、情報処理装置100は、サーモ画像に基づいて、情報処理装置100の前に複数の人物を検出したか否かを判定する(ステップS63)。
図35は、第3実施形態による指紋採取処理のフローチャートである。この処理は、図6に示す情報取得処理のステップS30として実行される。まず、情報処理装置100は、タッチパネル117に指紋を採取する案内画面を表示する(ステップS61)。例えば、情報処理装置100は、図14(A)に例示するように、指紋スキャナ120に対する指の配置方法などを示す案内画像をタッチパネル117に表示する。次に、情報処理装置100は、サーモセンサ115からサーモ画像を取得する(ステップS62)。次に、情報処理装置100は、サーモ画像に基づいて、情報処理装置100の前に複数の人物を検出したか否かを判定する(ステップS63)。
複数の人物を検出しなかった場合(ステップS63:No)、即ち、情報処理装置100の前方にいる人物が1人である場合、情報処理装置100は指紋スキャナ120R、120Lにより入国者Pの左右の人差し指の指紋を読み取り(ステップS64)、指紋画像をメモリ113に一時的に記憶する(ステップS65)。そして、処理は図6のメインルーチンへ戻る。
一方、複数の人物を検出した場合(ステップS63:Yes)、情報処理装置100はコンシェルジュのタブレット300にアラートを出力する(ステップS66)。アラートを確認すると、コンシェルジュは対象の情報処理装置100の場所に行き、必要な対応を行う。例えば、コンシェルジュがその場で補助するなどして不正者の指紋を正しく採取できた場合、処理は図6のメインルーチンへ進む。
以上のように、第3実施形態によれば、サーモセンサ115を利用して情報処理装置100の前に複数の人物がいることを検出することができるので、入国者Pが他人の指紋を読み取らせるなどの不正行為を検出することが可能となる。なお、第3実施形態は、第1~第2実施形態の一方又は両方と組み合わせて実施することができる。
[変形例]
(変形例1)
上記の実施形態では、情報処理装置100は、サーモセンサ115が出力するサーモ画像に基づいて、複数の人物を検出しているが、その代わりに、監視カメラ116の撮影画像に基づいて、複数の人物を検出してもよい。また、サーモセンサ115が出力するサーモ画像と、監視カメラ116の撮影画像の両方を用いて、複数の人物を検出してもよい。また、情報処理装置100はさらに顔認証カメラ118を起動し、顔認証カメラ118の撮影画像を併用してもよい。
(変形例1)
上記の実施形態では、情報処理装置100は、サーモセンサ115が出力するサーモ画像に基づいて、複数の人物を検出しているが、その代わりに、監視カメラ116の撮影画像に基づいて、複数の人物を検出してもよい。また、サーモセンサ115が出力するサーモ画像と、監視カメラ116の撮影画像の両方を用いて、複数の人物を検出してもよい。また、情報処理装置100はさらに顔認証カメラ118を起動し、顔認証カメラ118の撮影画像を併用してもよい。
(変形例2)
サーモ画像に基づいて情報処理装置100の前に複数の人物がいることが検出された場合でも、不正が行われているわけではないことがある。例えば、複数の人物が親子であり、子供による情報処理装置100の操作を親が補助しているという状況も考えられる。また、情報処理装置100の操作方法がよくわからない入国者Pに対して、コンシェルジュが操作の補助を行っているという状況も考えられる。よって、親が子の操作を補助している場合や、コンシェルジュが操作補助を行っている場合には、情報処理装置100は、アラートを出力しないようにしてもよい。なお、情報処理装置100は、検出された複数の人物の状況が上記の操作補助に該当するか否かを、監視カメラ116の撮影画像の画像解析により行うことができる。監視カメラ116は入国者Pによる情報処理装置100の操作中に常時オンにしておいてもよく、情報処理装置100が複数の人物を検出したときに起動してもよい。例えば、監視カメラ116の撮影画像中の2人の人物が大人と子供の組み合わせである場合、情報処理装置100は、その状況が親子の操作補助に該当すると判定することができる。なお、撮影画像中の人物が子供であるか否かの判断は、顔認証カメラ118が撮影した顔画像から年齢を推定することにより行ってもよく、監視カメラ116の画像やサーモカメラ115の出力(熱源の大きさや形状)などに基づいて行ってもよく、パスポート情報に基づいて行ってもよい。また、監視カメラ116の撮影画像中の2人の人物のうち、1名が既知のユニフォームを着用したコンシェルジュである場合、情報処理装置100はその状況がコンシェルジュによる操作補助に該当すると判定することができる。なお、複数人で操作することを前提として複数人専用(例えば、家族専用、障害のある方専用など)の情報処理装置100を設けた場合には、複数の人物が検出されたとしてもアラートを出力しないようにすればよい。
サーモ画像に基づいて情報処理装置100の前に複数の人物がいることが検出された場合でも、不正が行われているわけではないことがある。例えば、複数の人物が親子であり、子供による情報処理装置100の操作を親が補助しているという状況も考えられる。また、情報処理装置100の操作方法がよくわからない入国者Pに対して、コンシェルジュが操作の補助を行っているという状況も考えられる。よって、親が子の操作を補助している場合や、コンシェルジュが操作補助を行っている場合には、情報処理装置100は、アラートを出力しないようにしてもよい。なお、情報処理装置100は、検出された複数の人物の状況が上記の操作補助に該当するか否かを、監視カメラ116の撮影画像の画像解析により行うことができる。監視カメラ116は入国者Pによる情報処理装置100の操作中に常時オンにしておいてもよく、情報処理装置100が複数の人物を検出したときに起動してもよい。例えば、監視カメラ116の撮影画像中の2人の人物が大人と子供の組み合わせである場合、情報処理装置100は、その状況が親子の操作補助に該当すると判定することができる。なお、撮影画像中の人物が子供であるか否かの判断は、顔認証カメラ118が撮影した顔画像から年齢を推定することにより行ってもよく、監視カメラ116の画像やサーモカメラ115の出力(熱源の大きさや形状)などに基づいて行ってもよく、パスポート情報に基づいて行ってもよい。また、監視カメラ116の撮影画像中の2人の人物のうち、1名が既知のユニフォームを着用したコンシェルジュである場合、情報処理装置100はその状況がコンシェルジュによる操作補助に該当すると判定することができる。なお、複数人で操作することを前提として複数人専用(例えば、家族専用、障害のある方専用など)の情報処理装置100を設けた場合には、複数の人物が検出されたとしてもアラートを出力しないようにすればよい。
具体的な処理としては、図35に示すフローチャートにおいて、ステップS63で複数の人物が検出された場合(ステップS63:Yes)、情報処理装置100は、検出された複数の人物の状況が、前述の操作補助に該当するか否かを判定する。複数の人物の状況が操作補助に該当する場合、処理はステップS64へ進み、情報処理装置100は指紋の読み取りを行う。一方、複数の人物の状況が操作補助に該当しない場合、処理はステップS66へ進み、情報処理装置100はアラートを出力する。
なお、情報処理装置100は、サーモ画像に基づいて複数の人物を検出した場合、その後に操作補助に該当するとしてアラートを出力しなかったとしても、そのときのサーモ画像や監視カメラ116の撮影画像などをメモリ113に記憶し、その入国者Pの個人識別情報とともに管理サーバ200へ送信してもよい。この場合、管理サーバ200は、その入国者Pの入国審査の際に審査ブースのPC5へサーモ画像や監視カメラ116の撮影画像を送信する。よって、その入国者Pが審査ブースで入国審査を受ける際に、審査官は複数の人物が検出されたという事実や、そのときのサーモ画像、監視カメラ116の画像などを見ることができる。
<第4実施形態>
次に、この開示の第4実施形態について説明する。
[基本概念]
第4実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、図2に示す外観構成及び図4に示す内部構成を備える。第4実施形態では、情報処理装置100はサーモセンサ115を用いて入国者Pの発熱を検出する。
次に、この開示の第4実施形態について説明する。
[基本概念]
第4実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、図2に示す外観構成及び図4に示す内部構成を備える。第4実施形態では、情報処理装置100はサーモセンサ115を用いて入国者Pの発熱を検出する。
空港では、ウィルス対策などの観点から入国者の発熱を検査することがある。通常は、入国者Pが通過する場所にサーモセンサなどを配置し、サーモ画像に基づいて発熱者の体温を検出し、検出された体温が所定の閾値以上である場合に、その入国者Pは発熱があると判定する。第4実施形態では、入国者Pが情報処理装置100の前に立って情報取得処理を行っている間、情報処理装置100がサーモセンサ115の出力するサーモ画像に基づいて、入国者Pの表面温度を検出する。そして、情報処理装置100は、検出した表面温度が所定の閾値より高い場合、その入国者Pが発熱していると判定し、コンシェルジュのタブレット300へアラートを出力する。また、情報処理装置100は、タッチパネル117に「発熱の疑いあり」などのメッセージを表示してもよい。これにより、コンシェルジュは、発熱の疑いがある入国者Pを所定の検査エリアへ連行することができる。
但し、サーモセンサ115で検出される温度は入国者Pの身体の表面温度であり、頭などの露出している箇所や衣服を着ている箇所の表面温度は、外気やその環境の温度による影響を受けやすい。そこで、第4実施形態では、情報処理装置100は、入国者Pに関する外的要因に基づいて、発熱ありとの判定に使用する閾値を補正する。
具体的な補正方法は以下の通りである。
(1)入国者Pが通過したエリアに基づく補正
入国者Pが飛行機を降りてから入国審査場に至るルートが全て屋内である場合、入国者Pが移動するルートは空調により温度管理されているので、情報処理装置100は閾値を補正しない。一方、入国審査場に至るルートが屋外を通過する場合、入国者Pの表面温度は外気温による影響を受けるので、情報処理装置100は閾値を補正する。具体的に、外気温が氷点下になるような寒冷地の空港では、外気温が低いことによって入国者Pの表面温度が下がるので、情報処理装置100は閾値を低くする。一方、砂漠地帯など、外気温が体温より高い空港では、情報処理装置100は外気温が高いことによって入国者Pの表面温度が上がるので、情報処理装置100は閾値を高くする。なお、屋外を含むルートとは、例えば、飛行機から空港ターミナルまでバスで移動するルートである。
(1)入国者Pが通過したエリアに基づく補正
入国者Pが飛行機を降りてから入国審査場に至るルートが全て屋内である場合、入国者Pが移動するルートは空調により温度管理されているので、情報処理装置100は閾値を補正しない。一方、入国審査場に至るルートが屋外を通過する場合、入国者Pの表面温度は外気温による影響を受けるので、情報処理装置100は閾値を補正する。具体的に、外気温が氷点下になるような寒冷地の空港では、外気温が低いことによって入国者Pの表面温度が下がるので、情報処理装置100は閾値を低くする。一方、砂漠地帯など、外気温が体温より高い空港では、情報処理装置100は外気温が高いことによって入国者Pの表面温度が上がるので、情報処理装置100は閾値を高くする。なお、屋外を含むルートとは、例えば、飛行機から空港ターミナルまでバスで移動するルートである。
また、閾値の補正量は一定量としてもよく、屋外の外気温に応じて変化させてもよい。補正量を一定量とする場合、例えば、情報処理装置100は、入国審査場までのルートが屋外を含む場合、閾値を所定量(例えば0.5度)下げる。また、補正量を外気温に応じて変化させる場合、情報処理装置100は、外気温が低い又は高いほど補正量を大きくしてもよく、外気温と空港ターミナル内の温度との差が大きいほど補正量を大きくしてもよい。
なお、入国者Pが飛行機を降りてから入国審査場に至るルートは、搭乗する飛行機毎に予め決まっており、対象となる入国者が搭乗した便名により判定することができる。具体的に、入国者が搭乗した便名は、入国者識別情報(名前、会員IDなど)と紐付けられて管理されており、情報処理装置100で特定した入国者識別情報を用いて便名を特定することができる。よって、閾値の補正量を一定量とする場合、情報処理装置100は便名に応じて、予め決められた補正量の補正を行うこととしてもよい。
(2)入国者Pがアルコールを摂取している場合の補正
入国者Pがアルコールを摂取している場合、サーモセンサ115が検出する入国者Pの表面温度は上がる傾向になる。よって、情報処理装置100にアルコールセンサを設け、入国者Pがアルコールを摂取している場合、情報処理装置100は、閾値を所定量高くする。
入国者Pがアルコールを摂取している場合、サーモセンサ115が検出する入国者Pの表面温度は上がる傾向になる。よって、情報処理装置100にアルコールセンサを設け、入国者Pがアルコールを摂取している場合、情報処理装置100は、閾値を所定量高くする。
(3)入国者Pの洋服を着ている領域の温度を考慮した補正
サーモセンサ115による検出温度は、入国者Pの頭、手などの露出している部分(以下、「露出部」と呼ぶ。)ではほぼ体温に等しいが、洋服などでおおわれている部分(以下、「非露出部」と呼ぶ。)は外気温の影響を受けやすい。例えば、寒冷地の空港などで外気にさらされた場合、サーモセンサ115で検出された入国者Pの露出部の温度は体温に近い値を維持していたとしても、非露出部の温度は外気温の影響を受けてかなり低下してしまうおそれがある。
サーモセンサ115による検出温度は、入国者Pの頭、手などの露出している部分(以下、「露出部」と呼ぶ。)ではほぼ体温に等しいが、洋服などでおおわれている部分(以下、「非露出部」と呼ぶ。)は外気温の影響を受けやすい。例えば、寒冷地の空港などで外気にさらされた場合、サーモセンサ115で検出された入国者Pの露出部の温度は体温に近い値を維持していたとしても、非露出部の温度は外気温の影響を受けてかなり低下してしまうおそれがある。
そこで、情報処理装置100は、サーモセンサ115により検出された入国者Pの露出部と非露出部の温度差に基づいて、閾値を補正する。具体的には、情報処理装置100は、露出部と非露出部との温度差が所定値未満である場合、閾値の補正を行わない。一方、情報処理装置100は、露出部と非露出部の温度差が所定値以上である場合、非露出部の温度に応じて閾値を補正する。例えば、露出部と非露出部の温度差が所定値以上であり、かつ、非露出部の温度が露出部の温度より低い場合、情報処理装置100は、閾値を下げる。逆に、露出部と非露出部の温度差が所定値以上であり、かつ、非露出部の温度が露出部の温度より高い場合、情報処理装置100は閾値を上げる。
なお、上記のように、露出部と非露出部との温度差に基づいて閾値を補正する代わりに、非露出部の温度に基づいて閾値を補正してもよい。即ち、情報処理装置100は、非露出部の温度が第1の所定温度より高い場合に閾値を上げ、非露出部の温度が第2の所定温度より低い場合に閾値を下げてもよい。
なお、第4実施形態において、サーモセンサ115及びプロセッサ112は体温推定手段の一例であり、プロセッサ112は発熱推定手段及び閾値補正手段の一例である。
[処理フロー]
図36は、第4実施形態による発熱者検出処理のフローチャートである。この処理は、この処理は、図4に示すプロセッサ112が予め用意されたプログラムを実行することにより実現される。
図36は、第4実施形態による発熱者検出処理のフローチャートである。この処理は、この処理は、図4に示すプロセッサ112が予め用意されたプログラムを実行することにより実現される。
まず、入国者Pが情報処理装置100の前に立つと、情報処理装置100はサーモセンサ115からのサーモ画像を取得する(ステップS71)。次に、情報処理装置100は、入国者Pの状況を示す状況情報を取得する(ステップS72)。状況情報は、閾値の補正が必要であるか否かを判定するために使用される情報である。例えば、上記(1)の例では、状況情報は、入国者Pが屋外を通ったか否か、サーモ画像から検出された入国者Pの表面温度などである。上記(2)の例では、状況情報は、入国者Pからアルコールが検出されたか否かである。また、上記(3)の例では、状況情報は、サーモ画像から検出された入国Pの露出部及び非露出部の温度である。
次に、情報処理装置100は、状況情報に基づいて、発熱の有無を判定する閾値の補正が必要であるか否かを判定する(ステップS73)。閾値の補正が必要と判定した場合(ステップS73:Yes)、情報処理装置100は、上記(1)~(3)で説明した方法の少なくとも1つの方法で閾値を補正する(ステップS74)。なお、上記(1)~(3)で説明した方法のうちの複数を組み合わせて使用してもよい。一方、閾値の補正が必要でないと判定した場合(ステップS73:No)、情報処理装置100は閾値を補正しない。
次に、情報処理装置100は、サーモ画像から取得した入国者Pの体温、具体的には頭部などの検出温度と閾値を比較し、入国者Pの発熱の有無を判定する(ステップS75)。情報処理装置100は、入国者Pの体温が閾値より高い場合、入国者Pは発熱の可能性があると判定し、入国者Pの体温が閾値より低い場合、入国者Pは発熱の可能性が無いと判定する。発熱の可能性があると判定した場合(ステップS76:Yes)、情報処理装置100は、コンシェルジュのタブレット300にアラートを出力し(ステップS77)、処理を終了する。これにより、コンシェルジュはアラートを出力した情報処理装置100の場所に来て、発熱の疑いのある入国者Pを所定のエリアに連行する。なお、ステップS77において、情報処理装置100は、タッチパネル117に「発熱の可能性あり」などと表示してもよい。一方、発熱の可能性が無いと判定された場合(ステップS76:No)、処理は終了する。
以上のように、第4実施形態によれば、サーモセンサ115により入国者Pの体温を計測して発熱の可能性を検査する際に、入国者Pが屋外を通過したか否か、アルコールを摂取したか否か、又は、入国者Pの非露出部の検出温度などを考慮して、発熱の有無を判定する閾値を補正するので、外的要因による影響を低減して発熱者の検出精度を向上させることができる。なお、第4実施形態は、第1~第3実施形態の1つ又は複数と組み合わせて実施することができる。
[変形例]
(変形例1)
上記の処理フローでは、入国者Pに発熱の疑いがある場合、情報処理装置100はコンシェルジュのタブレット300にアラートを送信している。この際、情報処理装置100は、サーモセンサ115が出力したサーモ画像を同時にタブレット300に送信し、コンシェルジュが見られるようにしてもよい。図37は、発熱者が見つかった場合にタブレット300へ送信する画像の例を示す。この例では、情報処理装置100は、サーモセンサ115が出力したサーモ画像61と、発熱の可能性ありと判定された入国者Pの顔画像62とを含む画像60をタブレット300へ送信し、タブレット300は受信した画像60を表示する。サーモ画像61では、情報処理装置100が発熱の有無の判定に使用した領域及びその領域の検出温度が表示されている。図37の例では、入国者Pの頭部の検出温度が「37.8度」、胸部の検出温度が「28.5度」と表示されている。また、顔画像62を表示することにより、コンシェルジュが対象の入国者Pを見つけやすくなる。また、情報処理装置100は、画像60を管理サーバ200へ送信し、必要に応じて審査ブースのPC5に送信して審査官が見られるようにしてもよい。
(変形例1)
上記の処理フローでは、入国者Pに発熱の疑いがある場合、情報処理装置100はコンシェルジュのタブレット300にアラートを送信している。この際、情報処理装置100は、サーモセンサ115が出力したサーモ画像を同時にタブレット300に送信し、コンシェルジュが見られるようにしてもよい。図37は、発熱者が見つかった場合にタブレット300へ送信する画像の例を示す。この例では、情報処理装置100は、サーモセンサ115が出力したサーモ画像61と、発熱の可能性ありと判定された入国者Pの顔画像62とを含む画像60をタブレット300へ送信し、タブレット300は受信した画像60を表示する。サーモ画像61では、情報処理装置100が発熱の有無の判定に使用した領域及びその領域の検出温度が表示されている。図37の例では、入国者Pの頭部の検出温度が「37.8度」、胸部の検出温度が「28.5度」と表示されている。また、顔画像62を表示することにより、コンシェルジュが対象の入国者Pを見つけやすくなる。また、情報処理装置100は、画像60を管理サーバ200へ送信し、必要に応じて審査ブースのPC5に送信して審査官が見られるようにしてもよい。
(変形例2)
発熱の可能性がある入国者Pが見つかった場合、その情報処理装置100を一時的に停止させてもよい。この場合、情報処理装置100内のプログラムにより、発熱の可能性ありと判定した場合に、情報処理装置100自体が自動的に停止するようにしてもよい。その代わりに、発熱の可能性ありと判定した場合に、情報処理装置100がその判定結果を管理サーバ2へ送信し、管理サーバ200の制御によりその情報処理装置100を停止させてもよい。停止させた情報処理装置100のタッチパネル117には、「使用禁止」などの表示を行ってもよく、タッチパネル117の表示をオフにしてもよい。また、タブレット300でアラートを見たコンシェルジュが対象の情報処理装置100を操作して一時的に停止させてもよい。停止された情報処理装置100は、消毒などの必要な作業が施された後、復帰させればよい。
発熱の可能性がある入国者Pが見つかった場合、その情報処理装置100を一時的に停止させてもよい。この場合、情報処理装置100内のプログラムにより、発熱の可能性ありと判定した場合に、情報処理装置100自体が自動的に停止するようにしてもよい。その代わりに、発熱の可能性ありと判定した場合に、情報処理装置100がその判定結果を管理サーバ2へ送信し、管理サーバ200の制御によりその情報処理装置100を停止させてもよい。停止させた情報処理装置100のタッチパネル117には、「使用禁止」などの表示を行ってもよく、タッチパネル117の表示をオフにしてもよい。また、タブレット300でアラートを見たコンシェルジュが対象の情報処理装置100を操作して一時的に停止させてもよい。停止された情報処理装置100は、消毒などの必要な作業が施された後、復帰させればよい。
また、入国者Pが搭乗していた飛行機毎のグループ単位で入国審査場に誘導するような場合には、発熱の可能性があると判定された入国者Pと同じ便に乗っていた全ての入国者を、別の便のルートと異なるルートに誘導するなどして、他の便の搭乗者と分離してもよい。また、発熱の可能性がある入国者Pを検出した情報処理装置100は、その旨を管理サーバ200へ通知し、管理サーバ200は、発熱の可能性があると判定された入国者Pと同じ便に乗っていた全ての搭乗者のリスト及び顔画像をコンシェルジュのタブレット300へ送信してもよい。これにより、コンシェルジュは、顔画像を見ながら、その便の搭乗者を隔離することができる。なお、上記のように発熱の可能性がある入国者Pと同じ便に乗っていた全ての入国者を対象とする代わりに、発熱の可能性のある入国者Pの近くの座席に座っていた人(その入国者Pの周りの座席の人や前方座席の人)を隔離対象として特定し、コンシェルジュのタブレット300へ顔画像を送信してもよい。
<第5実施形態>
次に、本開示の第5実施形態について説明する。図38は、第5実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置500は、情報取得手段501と、異常検知手段502と、制御手段503とを備える。情報取得手段501は、対象の個人識別情報を取得する。異常検知手段502は、センサを利用して、前記対象に関する異常を検知する。制御手段503は、異常に基づいて、前記個人識別情報の取得を制御する。
次に、本開示の第5実施形態について説明する。図38は、第5実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置500は、情報取得手段501と、異常検知手段502と、制御手段503とを備える。情報取得手段501は、対象の個人識別情報を取得する。異常検知手段502は、センサを利用して、前記対象に関する異常を検知する。制御手段503は、異常に基づいて、前記個人識別情報の取得を制御する。
図39は、第5実施形態による情報処理のフローチャートである。この処理は、図4に示すプロセッサ112が、予め用意されたプログラムを実行することにより実現される。まず、情報取得手段501は、対象の個人識別情報を取得する(ステップS501)。次に、異常検知手段502は、センサを利用して、前記対象に関する異常を検知する(ステップS502)。制御手段503は、異常に基づいて、前記個人識別情報の取得を制御する(ステップS503)。そして、処理は終了する。
上記の情報処理装置500によれば、対象から個人識別情報を取得している間に、対象に関する異常が検出された場合、異常に基づいて個人識別情報の取得を制御することができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
対象の個人識別情報を取得する情報取得手段と、
センサを利用して、前記対象に関する異常を検知する異常検知手段と、
前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
を備える情報処理装置。
対象の個人識別情報を取得する情報取得手段と、
センサを利用して、前記対象に関する異常を検知する異常検知手段と、
前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
を備える情報処理装置。
(付記2)
前記センサは、サーモセンサを含み、
前記異常検知手段は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
前記制御手段は、前記異常が検知された場合、端末装置へアラートを送信する付記1に記載の情報処理装置。
前記センサは、サーモセンサを含み、
前記異常検知手段は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
前記制御手段は、前記異常が検知された場合、端末装置へアラートを送信する付記1に記載の情報処理装置。
(付記3)
前記異常検知手段は、前記サーモセンサが出力するサーモ画像における対象の頭部の数に基づいて、複数の人物がいることを検知する付記2に記載の情報処理装置。
前記異常検知手段は、前記サーモセンサが出力するサーモ画像における対象の頭部の数に基づいて、複数の人物がいることを検知する付記2に記載の情報処理装置。
(付記4)
前記情報処理装置の前方に複数の人物がいることを前記異常検知手段が検知した場合、前記制御手段は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない付記2又は3に記載の情報処理装置。
前記情報処理装置の前方に複数の人物がいることを前記異常検知手段が検知した場合、前記制御手段は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない付記2又は3に記載の情報処理装置。
(付記5)
前記センサは、サーモセンサを含み、
前記サーモセンサが出力するサーモ画像に基づいて、前記対象の体温を推定する体温推定手段と、
前記体温が予め決められた閾値より高い場合、前記対象に発熱の可能性があると判定する発熱判定手段と、
前記対象が移動してきたルート、前記対象がアルコールを摂取しているか否か、及び、前記サーモ画像における前記対象の非露出部の検出温度の少なくとも1つに基づいて、前記閾値を補正する閾値補正手段と、
を備える付記2に記載の情報処理装置。
前記センサは、サーモセンサを含み、
前記サーモセンサが出力するサーモ画像に基づいて、前記対象の体温を推定する体温推定手段と、
前記体温が予め決められた閾値より高い場合、前記対象に発熱の可能性があると判定する発熱判定手段と、
前記対象が移動してきたルート、前記対象がアルコールを摂取しているか否か、及び、前記サーモ画像における前記対象の非露出部の検出温度の少なくとも1つに基づいて、前記閾値を補正する閾値補正手段と、
を備える付記2に記載の情報処理装置。
(付記6)
前記発熱判定手段は、前記対象に発熱の可能性があると判定した場合、端末装置へ前記対象の画像を送信し、
前記対象の画像は、前記サーモセンサが生成した前記対象のサーモ画像、及び、前記対象の顔画像を含む付記5に記載の情報処理装置。
前記発熱判定手段は、前記対象に発熱の可能性があると判定した場合、端末装置へ前記対象の画像を送信し、
前記対象の画像は、前記サーモセンサが生成した前記対象のサーモ画像、及び、前記対象の顔画像を含む付記5に記載の情報処理装置。
(付記7)
前記センサは、カメラを含み、
前記個人識別情報は、前記対象のパスポート情報及び前記対象の顔画像を含み、
前記情報取得手段は、前記対象パスポート情報を取得するパスポート情報取得処理を実行した後、前記対象の顔画像を取得する顔画像取得処理を実行し、
前記情報取得手段は、前記パスポート情報取得処理中又は前記パスポート情報取得処理以前のいずれかに、前記カメラにより所定の品質を満たす顔画像を取得できた場合、パスポート情報取得処理後の前記顔画像取得処理を省略する付記1に記載の情報処理装置。
前記センサは、カメラを含み、
前記個人識別情報は、前記対象のパスポート情報及び前記対象の顔画像を含み、
前記情報取得手段は、前記対象パスポート情報を取得するパスポート情報取得処理を実行した後、前記対象の顔画像を取得する顔画像取得処理を実行し、
前記情報取得手段は、前記パスポート情報取得処理中又は前記パスポート情報取得処理以前のいずれかに、前記カメラにより所定の品質を満たす顔画像を取得できた場合、パスポート情報取得処理後の前記顔画像取得処理を省略する付記1に記載の情報処理装置。
(付記8)
付記2に記載の情報処理装置と、前記端末装置とを備えるシステムであって、
前記端末装置は、前記情報処理装置を操作中の前記対象の撮影画像と、前記個人識別情報を取得する複数のプロセスのうちの実行中のプロセスを示す情報とを表示するシステム。
付記2に記載の情報処理装置と、前記端末装置とを備えるシステムであって、
前記端末装置は、前記情報処理装置を操作中の前記対象の撮影画像と、前記個人識別情報を取得する複数のプロセスのうちの実行中のプロセスを示す情報とを表示するシステム。
(付記9)
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する情報処理方法。
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する情報処理方法。
(付記10)
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する処理をコンピュータに実行させるプログラムを記録した記録媒体。
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する処理をコンピュータに実行させるプログラムを記録した記録媒体。
以上、実施形態及び実施例を参照してこの開示を説明したが、この開示は上記実施形態及び実施例に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 入国審査システム
5 PC
100 情報処理装置
115 サーモセンサ
116 監視カメラ
117 タッチパネル
118 顔認証カメラ
119 パスポートリーダ
120 指紋スキャナ
121 手元カメラ
122 昇降機構
200 管理サーバ
212 プロセッサ
300 タブレット
312 プロセッサ
314 タッチパネル
P 入国者
5 PC
100 情報処理装置
115 サーモセンサ
116 監視カメラ
117 タッチパネル
118 顔認証カメラ
119 パスポートリーダ
120 指紋スキャナ
121 手元カメラ
122 昇降機構
200 管理サーバ
212 プロセッサ
300 タブレット
312 プロセッサ
314 タッチパネル
P 入国者
Claims (10)
- 対象の個人識別情報を取得する情報取得手段と、
センサを利用して、前記対象に関する異常を検知する異常検知手段と、
前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
を備える情報処理装置。 - 前記センサは、サーモセンサを含み、
前記異常検知手段は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
前記制御手段は、前記異常が検知された場合、端末装置へアラートを送信する請求項1に記載の情報処理装置。 - 前記異常検知手段は、前記サーモセンサが出力するサーモ画像における対象の頭部の数に基づいて、複数の人物がいることを検知する請求項2に記載の情報処理装置。
- 前記情報処理装置の前方に複数の人物がいることを前記異常検知手段が検知した場合、前記制御手段は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない請求項2又は3に記載の情報処理装置。
- 前記センサは、サーモセンサを含み、
前記サーモセンサが出力するサーモ画像に基づいて、前記対象の体温を推定する体温推定手段と、
前記体温が予め決められた閾値より高い場合、前記対象に発熱の可能性があると判定する発熱判定手段と、
前記対象が移動してきたルート、前記対象がアルコールを摂取しているか否か、及び、前記サーモ画像における前記対象の非露出部の検出温度の少なくとも1つに基づいて、前記閾値を補正する閾値補正手段と、
を備える請求項2に記載の情報処理装置。 - 前記発熱判定手段は、前記対象に発熱の可能性があると判定した場合、端末装置へ前記対象の画像を送信し、
前記対象の画像は、前記サーモセンサが生成した前記対象のサーモ画像、及び、前記対象の顔画像を含む請求項5に記載の情報処理装置。 - 前記センサは、カメラを含み、
前記個人識別情報は、前記対象のパスポート情報及び前記対象の顔画像を含み、
前記情報取得手段は、前記対象のパスポート情報を取得するパスポート情報取得処理を実行した後、前記対象の顔画像を取得する顔画像取得処理を実行し、
前記情報取得手段は、前記パスポート情報取得処理中又は前記パスポート情報取得処理以前のいずれかに、前記カメラにより所定の品質を満たす顔画像を取得できた場合、パスポート情報取得処理後の前記顔画像取得処理を省略する請求項1に記載の情報処理装置。 - 請求項2に記載の情報処理装置と、前記端末装置とを備えるシステムであって、
前記端末装置は、前記情報処理装置を操作中の前記対象の撮影画像と、前記個人識別情報を取得する複数のプロセスのうちの実行中のプロセスを示す情報とを表示するシステム。 - 対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する情報処理方法。 - 対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する処理をコンピュータに実行させるプログラムを記録した記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/031875 WO2022044085A1 (ja) | 2020-08-24 | 2020-08-24 | 情報処理装置、システム、情報処理方法、及び、記録媒体 |
EP20951341.5A EP4202873A4 (en) | 2020-08-24 | 2020-08-24 | INFORMATION PROCESSING DEVICE, SYSTEM, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM |
JP2022544905A JP7468668B2 (ja) | 2020-08-24 | 2020-08-24 | 情報処理装置、システム、情報処理方法、及び、プログラム |
US18/020,825 US20230290206A1 (en) | 2020-08-24 | 2020-08-24 | Information processing device, system, information processing method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/031875 WO2022044085A1 (ja) | 2020-08-24 | 2020-08-24 | 情報処理装置、システム、情報処理方法、及び、記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022044085A1 true WO2022044085A1 (ja) | 2022-03-03 |
Family
ID=80352767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/031875 WO2022044085A1 (ja) | 2020-08-24 | 2020-08-24 | 情報処理装置、システム、情報処理方法、及び、記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230290206A1 (ja) |
EP (1) | EP4202873A4 (ja) |
JP (1) | JP7468668B2 (ja) |
WO (1) | WO2022044085A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008070A (ja) | 2000-06-26 | 2002-01-11 | Toshiba Corp | 通行審査システム |
JP2013039878A (ja) * | 2011-08-17 | 2013-02-28 | Seiko Epson Corp | 座席装置および人体支持具装置 |
JP2016053896A (ja) | 2014-09-04 | 2016-04-14 | グローリー株式会社 | ゲートシステムおよびゲート通過の制御方法 |
WO2018061812A1 (ja) * | 2016-09-30 | 2018-04-05 | パナソニックIpマネジメント株式会社 | ゲート装置 |
JP2018112945A (ja) * | 2017-01-12 | 2018-07-19 | 株式会社アビスト | 受付装置、受付システム、及び受付プログラム |
WO2019064743A1 (ja) * | 2017-09-28 | 2019-04-04 | パナソニックIpマネジメント株式会社 | 認証装置、認証システム、認証方法、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100774029B1 (ko) * | 2006-08-09 | 2007-11-06 | 엄익식 | 보안구역의 출입 통제 장치 |
CN206726313U (zh) * | 2017-04-21 | 2017-12-08 | 杭州铭景科技有限公司 | 一种智能闸机装置 |
EP3503045A1 (en) * | 2017-12-22 | 2019-06-26 | Gunnebo Entrance Control Limited | Turnstile with tailgating detection and alarm |
JP7115551B2 (ja) * | 2018-10-12 | 2022-08-09 | 日本電気株式会社 | 装置、方法及びプログラム |
-
2020
- 2020-08-24 US US18/020,825 patent/US20230290206A1/en active Pending
- 2020-08-24 EP EP20951341.5A patent/EP4202873A4/en active Pending
- 2020-08-24 JP JP2022544905A patent/JP7468668B2/ja active Active
- 2020-08-24 WO PCT/JP2020/031875 patent/WO2022044085A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008070A (ja) | 2000-06-26 | 2002-01-11 | Toshiba Corp | 通行審査システム |
JP2013039878A (ja) * | 2011-08-17 | 2013-02-28 | Seiko Epson Corp | 座席装置および人体支持具装置 |
JP2016053896A (ja) | 2014-09-04 | 2016-04-14 | グローリー株式会社 | ゲートシステムおよびゲート通過の制御方法 |
WO2018061812A1 (ja) * | 2016-09-30 | 2018-04-05 | パナソニックIpマネジメント株式会社 | ゲート装置 |
JP2018112945A (ja) * | 2017-01-12 | 2018-07-19 | 株式会社アビスト | 受付装置、受付システム、及び受付プログラム |
WO2019064743A1 (ja) * | 2017-09-28 | 2019-04-04 | パナソニックIpマネジメント株式会社 | 認証装置、認証システム、認証方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4202873A4 |
Also Published As
Publication number | Publication date |
---|---|
US20230290206A1 (en) | 2023-09-14 |
EP4202873A1 (en) | 2023-06-28 |
JPWO2022044085A1 (ja) | 2022-03-03 |
JP7468668B2 (ja) | 2024-04-16 |
EP4202873A4 (en) | 2024-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102444277B1 (ko) | 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램 | |
KR101978264B1 (ko) | 비접촉식 체온 모니터링 시스템 | |
JP2011067371A (ja) | 体温検査装置、体温検査システムおよび体温検査方法 | |
KR102354510B1 (ko) | 음주 측정 기반 근태 관리 키오스크 시스템 및 그 방법 | |
JPWO2020075307A1 (ja) | 装置、方法及びプログラム | |
JP7165892B2 (ja) | 病原体情報管理システム、病原体情報管理方法及び情報端末 | |
JP7351505B2 (ja) | 生体情報測定システム、不正測定判定方法、及び不正測定判定プログラム | |
CN106412357A (zh) | 认证设备和处理设备 | |
JP6813842B1 (ja) | イベント用マスク、検出装置、サーバー、イベントの入場許否処理方法 | |
KR20140126400A (ko) | 바이오메트릭 및 바이오그래픽 데이터를 획득하기 위한 스테이션 | |
US20220383402A1 (en) | Battery management system and battery management method | |
KR100998617B1 (ko) | 중앙 통제 방식의 cbt 시스템 및 그 방법 | |
WO2022044085A1 (ja) | 情報処理装置、システム、情報処理方法、及び、記録媒体 | |
WO2022044086A1 (ja) | 情報処理装置、情報処理方法、及び、記録媒体 | |
KR200488699Y1 (ko) | 유아교육기관용 스마트 도어락 시스템 | |
CN115620436A (zh) | 一种车行口管理***、防疫管控方法和防疫管控装置 | |
JP4430128B1 (ja) | アルコール検査装置 | |
JP2009055934A (ja) | 生体情報登録装置 | |
JP7375900B1 (ja) | 入域管理システム、入域管理方法、及びプログラム | |
KR102381529B1 (ko) | 비접촉식 체온측정장치 및 이를 이용한 체온정보 관리 시스템 | |
JP2022097829A5 (ja) | ||
US20240157007A1 (en) | Information processing system, information processing method, and computer program | |
JP5909174B2 (ja) | 書類読取装置および書類読取装置における書類回収方法 | |
JP2022162333A (ja) | アルコール検査システムおよび方法 | |
JP2006528474A (ja) | 複合イメージングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20951341 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022544905 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020951341 Country of ref document: EP Effective date: 20230324 |