WO2014057912A1 - 端末装置、情報処理方法及びプログラム - Google Patents
端末装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2014057912A1 WO2014057912A1 PCT/JP2013/077263 JP2013077263W WO2014057912A1 WO 2014057912 A1 WO2014057912 A1 WO 2014057912A1 JP 2013077263 W JP2013077263 W JP 2013077263W WO 2014057912 A1 WO2014057912 A1 WO 2014057912A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- terminal device
- unit
- user
- contact
- display
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 6
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 16
- 238000013459 approach Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
- H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
- H04B5/72—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes for local intradevice communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
- H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
- H04B5/79—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes for data transfer in combination with power transfer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
- H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
- H04B5/77—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes for interrogation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/04—Details of telephonic subscriber devices including near field communication means, e.g. RFID
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Definitions
- the present invention relates to a terminal device, an information processing method, and a program.
- Non-contact receiving function such as non-contact communication between non-contact IC (Integrated Circuit) and reader / writer using RFID (Radio Frequency IDentification) technology, infrared communication between mobile phones, wireless power supply that supplies energy to smartphone battery
- RFID Radio Frequency IDentification
- a user can smoothly pass through a ticket gate of a station by bringing a card equipped with a non-contact IC close to the reader / writer at the ticket gate. You can get on. If a technology using infrared communication, which is one of the non-contact receiving functions, is used, the user can exchange information such as an e-mail address by performing infrared communication with mobile phones facing each other. If a technique using wireless power feeding, which is one of contactless receiving functions, is used, the user can charge the battery of the mobile phone without using a power cord.
- the radio waves used in these non-contact communication functions such as non-contact communication, infrared communication, and wireless power feeding have directivity and have a limited communication range. For this reason, alignment is required between the terminal device handled by the user and the opposing device that is the target of the non-contact receiving function performed by the terminal device.
- Patent Document 3 senses the posture of the terminal device and cuts off the non-contact IC power supply according to the posture, thereby restricting the operation so that the terminal device does not react even when the reader / writer is approached. It is increasing.
- Japanese Unexamined Patent Publication No. 2007-53424 Japanese Unexamined Patent Publication No. 2007-300579 Japanese Unexamined Patent Publication No. 2008-92304
- Patent Document 1 the technology consciously performs selection that the user uses the non-contact receiving function.
- a mark that serves as a guide for positioning the terminal device with respect to the opposing device is displayed on the display unit. Therefore, when the user uses the technique of Patent Document 1, when the terminal device is aligned with the opposite device, the user consciously performs some user operation and becomes a mark for alignment on the terminal device screen. Need to be displayed. Therefore, there arises a problem that convenience when the user aligns the terminal device with respect to the opposite device is lowered.
- the terminal device determines that the terminal device has entered the communicable area based on the size of the target mark drawn on the antenna installation surface of the opposite device. Therefore, the terminal device must record information on the shape and size of the target mark in the storage unit in advance. As a result, there arises a problem that it cannot be used for a counter device that is used for the first time without knowing the shape and size of the target mark.
- the technique disclosed in Patent Document 3 described above is not a technique for aligning the terminal device with respect to the opposing device when communicating between the non-contact IC mounted on the terminal device and the opposing device.
- the technology disclosed in Patent Document 3 is a technology that senses the attitude of a terminal device and cuts off the non-contact IC power supply in accordance with the attitude. That is, the technique disclosed in Patent Document 3 is not a technique for detecting the attitude of the terminal device and automatically displaying a mark serving as a guide for alignment on the screen of the terminal device. Therefore, even if the technique of Patent Document 3 is applied to the techniques of Patent Document 1 and Patent Document 2, the problem that the convenience when the user aligns the terminal device with respect to the opposite device cannot be solved.
- An example of an object of the present invention is to provide a terminal device, an information processing method, and a program that can solve the above-described problems.
- the terminal device determines whether the user has an intention to use the non-contact receiving function based on information indicating the state of the terminal device, and outputs a determination result;
- a display unit configured to display a mark used for alignment between the terminal device and the opposing device based on a determination result.
- An information processing method determines whether a user has an intention to use a non-contact receiving function based on information indicating a state of a terminal device, outputs a determination result, and performs the determination And displaying a mark used for alignment between the terminal device and the opposite device based on the result.
- a program determines whether a user has an intention to use a non-contact receiving function based on information indicating a state of the terminal device, and outputs a determination result. And a display unit that displays a mark used for alignment between the terminal device and the opposite device based on the determination result.
- the user can perform alignment of the terminal device with respect to the opposite device by displaying a mark serving as a guide for alignment on the screen of the terminal device without performing conscious user operation.
- FIG. 1 It is a figure which shows the example of a display of a display part when a user performs position alignment with a terminal device and facing clothing in the terminal device by 1st embodiment of this invention. It is a figure which shows the processing flow of the terminal device by 1st embodiment of this invention. It is a functional block diagram which shows the structure in the case of utilizing the attitude
- FIG. 1 is a functional block diagram showing a minimum configuration of a terminal device 1 according to an embodiment of the present invention.
- the terminal device 1 includes at least a non-contact unit 2, a use intention determination unit (hereinafter also simply referred to as “determination unit”) 3, and a display unit 4.
- the non-contact unit 2 includes a non-contact IC, and the non-contact unit 2 is a functional unit that receives one or both of a signal and energy from the opposing device 11 that is a target of the non-contact receiving function.
- the non-contact part 2 is a functional part that sends either one or both of a signal and energy to the opposing device 11.
- the non-contact receiving function is a function that receives at least one of a signal and energy by non-contact.
- the determination unit 3 is a functional unit that determines whether or not the user intends to use the non-contact receiving function based on the state of the terminal device 1.
- the determination unit 3 acquires information I indicating the state of the terminal device 1.
- the display unit 4 is a functional unit that provides the user with information necessary for alignment between the terminal device 1 and the opposing device 11 when using the non-contact receiving function.
- FIG. 2 is a functional block diagram showing the configuration of the terminal device 1 according to the first embodiment of the present invention.
- the terminal device 1 according to the first embodiment of the present invention has functions of a non-contact unit 2, a use intention determination unit 3, a display unit 4, a proximity detection unit 5, a photographing unit 6, and a storage unit 10. Department.
- the function units of the determination unit 3, the proximity detection unit 5, and the imaging unit 6 are configured in the terminal device 1 when a control unit (for example, a CPU) of the terminal device 1 executes a program.
- a control unit for example, a CPU
- the non-contact unit 2 is a functional unit that the terminal device 1 receives a signal or energy from the opposing device 11 that is the target of the non-contact receiving function.
- the non-contact part 2 is a functional part that sends a signal or energy to the opposing device 11.
- the determination unit 3 is a functional unit that determines whether or not the user intends to use the non-contact receiving function based on the state of the terminal device 1.
- the display unit 4 displays the non-contact part mark 2b and the image photographed by the photographing unit 6 at the time of alignment between the terminal device 1 and the opposing device 11 when using the non-contact receiving function.
- the non-contact part mark 2 b is a virtual position of the non-contact part 2.
- the display unit 4 may be a capacitive touch panel, for example.
- the display unit 4 functions as an LCD (Liquid Crystal Display), an organic EL display, and the like, and as a capacitive sensor that senses information on the screen position where a hand, a pen, or the like approaches or comes into contact. It has a function.
- the terminal device 1 may have a function of guiding the movement of the terminal device 1 to a user using a speaker or the like.
- the proximity detection unit 5 is a functional unit that detects an area where the body is close to or in contact with the terminal device 1.
- the proximity detector 5 may be, for example, a capacitive sensor provided on the surface of the display unit 4.
- the proximity detection unit 5 may use a capacitive sensor of the display unit 4.
- the proximity detection unit 5 may be provided on the outer frame of the display unit 4.
- the proximity detector 5 compares the values of the capacitances of the plurality of capacitive sensors with a predetermined threshold value. Then, the proximity detection unit 5 detects the area of the user's hand that is in proximity to or in contact with the terminal device 1 based on the area of the display unit 4 including the capacitive sensor that indicates a value exceeding the threshold value. .
- the imaging unit 6 is a functional unit that images the target mark 121 and the like and outputs the captured image data to the display unit 4.
- the target mark 121 indicates the position of the non-contact part 12 provided in the opposing device 11.
- the storage unit 10 stores various necessary information.
- the facing device 11 includes a non-contact part 12 and functional parts of a control part 13.
- the non-contact unit 12 is a functional unit that receives one or both of a signal and energy from the terminal device 1.
- the non-contact unit 12 is a functional unit that sends one or both of a signal and energy to the terminal device 1.
- the non-contact part 12 may be comprised with the antenna for non-contact communication, for example.
- FIG. 3A and 3B are diagrams showing an external appearance example of the terminal device 1 according to the first embodiment of the present invention.
- FIG. 3A is an external view of the surface of the terminal device 1.
- FIG. 3B is an external view of the back surface of the terminal device 1.
- the non-contact part 2 is arrange
- the arrangement of the non-contact part 2 is not limited to this.
- the photographing unit 6 is disposed at an upper left position when the terminal device 1 is viewed from the back surface. However, the arrangement of the photographing unit 6 is not limited to this.
- FIG. 4A and 4B are diagrams showing an outline of processing of the terminal device 1 according to the first embodiment of the present invention.
- FIG. 4A shows an example when the terminal device 1 and the opposing device 11 are viewed from the side, in a state in which the photographing unit 6 is located immediately above the target mark 121 marked on the surface S of the opposing device 11.
- FIG. 4B shows a display example of the non-contact part mark 2 b on the display unit 4.
- the shooting area A1 shot by the shooting unit 6 of the terminal device 1 is an area having a center o1 at a position where the center line L1 of the shooting range of the shooting unit 6 and the surface S of the opposing device 11 intersect. is there.
- the display unit 4 displays an image in which the center o1 of the photographing area A1 is located at the center o2 of the display unit 4.
- the terminal device 1 includes the non-contact part 2 as described above.
- the position of the non-contact portion 2 provided in the terminal device 1 and the position o4 of the photographing unit 6 provided in the terminal device 1 are a distance X1 in the horizontal direction of the terminal device 1 and a distance Y1 in the vertical direction of the terminal device 1. Just away.
- the position of the target mark 121 is a position corresponding to the position o4 of the photographing unit 6. That is, in this state, the target mark 121 does not exist at a position corresponding to (opposed to) the position of the non-contact portion 2. Therefore, in this state, since the terminal device 1 cannot communicate with the opposing device 11 or is away from the opposing device 11, the communication efficiency of the non-contact receiving function is deteriorated.
- the terminal device 1 in the present embodiment displays the non-contact part mark 2b at the correction position moved from the actual position of the non-contact part 2 by the distance ⁇ X1 in the horizontal direction and the distance ⁇ Y1 in the vertical direction.
- FIG. 5 is a diagram illustrating a display example of the display unit 4 when the user performs alignment between the terminal device 1 and the opposing device 11 according to the first embodiment of the present invention.
- the display unit 4 displays a target mark 121 that serves as a guide for alignment at the correction position.
- the display unit 4 superimposes and displays the non-contact part mark 2 b provided in the terminal device 1 on the image of the opposite device 11 captured by the imaging unit 6.
- the display unit 4 displays the non-contact part mark 2b only while the determination unit 3 determines that the user intends to use the non-contact receiving function.
- the user moves the terminal device 1 so that the non-contact part mark 2b displayed on the display unit 4 overlaps the target mark of the counter device 11 on the display unit 4, so that the terminal device 1 and the counter device 11 Can be aligned.
- FIG. 6 is a diagram showing a processing flow of the terminal device 1 according to the first embodiment of the present invention.
- the processing flow of the terminal device 1 according to the embodiment will be described by taking as an example a case where the user pays for shopping using the terminal device 1 such as a smartphone having an electronic money function.
- the electronic money function uses non-contact communication which is an example of a non-contact receiving function.
- the user can make a payment with the terminal device 1 equipped with an electronic money function that uses a non-contact receiving function.
- the user When the product is settled with the terminal device 1, first, the user approaches the terminal device 1 with his hand trying to use the terminal device 1 to pay for the purchase of the product. Then, the user picks up the terminal device 1 and brings the non-contact part 2 in the terminal device 1 close to the opposing device 11 such as a reader / writer installed in the accounting device.
- the opposing device 11 such as a reader / writer installed in the accounting device.
- the proximity detection unit 5 in the terminal device 1 covers how much or how much the hand approaching the terminal device 1 covers the predetermined area except the non-contact part 2 of the terminal device 1. It is detected whether the area is touched (step S1).
- the terminal device 1 is a smartphone
- the plurality of capacitive sensors of the touch panel which is an example of the display unit 4 detects a place where the user's hand covers the touch panel.
- the proximity detection unit 5 compares the value of each of the capacitances of the plurality of capacitance type sensors with a predetermined threshold value.
- the proximity detection part 5 calculates what percentage the area of the touch panel (display part 4) including the capacitive sensor which shows the value exceeding the threshold value is with respect to the area of the whole touch panel.
- the proximity detection unit 5 outputs the detected area information to the determination unit 3 (step S2).
- the determination unit 3 receives input of area information detected by the proximity detection unit 5. The determination unit 3 determines whether the covered or touched area is equal to or larger than a predetermined area based on the area information (step S3). If the determination unit 3 determines that the covered or touched area is equal to or larger than the predetermined area, the determination unit 3 determines that the user intends to use the non-contact receiving function (to step S4). When the determination unit 3 determines that the covered or touched area is not equal to or greater than the predetermined area, the determination unit 3 determines that the user does not intend to use the non-contact receiving function, and detects the next detection unit 5 Prepare for the determination on the area (return to step S1).
- the determination unit 3 It is determined that the user has an intention to use the non-contact receiving function at some timing of the user's action.
- the determination unit 3 determines that the user intends to use the non-contact receiving function, the determination unit 3 outputs a shooting signal that instructs the shooting unit 6 to start shooting so that the user can confirm the position of the target mark 121 in the opposing device 11. It outputs to the imaging
- the imaging unit 6 starts imaging in response to the input of the imaging signal (step S5).
- the imaging unit 6 outputs the captured image data to the display unit 4 (step S6).
- the display unit 4 When receiving the input of the image data, the display unit 4 displays an image based on the image data (step S7).
- the terminal device is provided for alignment between the terminal device 1 and the opposing device 11 performed by the user in order to use the non-contact receiving function. 1 is displayed at the correction position of the display unit 4 (step S8).
- the user While viewing the image displayed on the display unit 4, the user translates the relative position of the terminal device 1 with respect to the opposing device 11 and aligns the non-contact part mark 2 b and the target mark 121 on the display unit 4 so as to overlap. I do.
- the terminal device 1 and the opposing device 11 can use the non-contact receiving function.
- the terminal device 1 exchanges either or both of the signal and energy with the opposing device 11 through the non-contact part 2 (step S9).
- the accounting process is performed between the terminal device 1 and the accounting apparatus based on the total price of the products purchased by the user displayed on the accounting apparatus.
- the counter apparatus 11 reads the total amount displayed on the accounting apparatus.
- the user brings the terminal device 1 close to the opposite device 11 and performs the communication in step S9 described above.
- the opposing device 11 outputs to the terminal device 1 a reduction signal for reducing the total amount read from the accounting device from the balance stored in the storage unit 10 provided in the terminal device 1.
- the terminal device 1 reduces the total amount from the balance stored in the storage unit 10 and records the balance after the reduction in the storage unit 10.
- FIG. 7 is a functional block diagram showing a configuration when using the attitude detection function of the terminal device 1 according to the first embodiment of the present invention.
- the posture detection unit 7 is a functional unit that detects the posture of the terminal device 1 such as horizontal or vertical and outputs the detection result to the determination unit 3.
- the posture detection unit 7 may be configured by, for example, an acceleration sensor or a magnetic sensor.
- FIG. 8 is a diagram showing a processing flow when using the posture detection function of the terminal device 1 according to the first embodiment of the present invention.
- the determination unit 3 may determine whether the user intends to use the non-contact receiving function based on the posture detected by the posture detection unit 7 together with the area detection result by the proximity detection unit 5.
- the posture detection unit 7 periodically detects the angle of the terminal device 1 with respect to the horizontal (for example, every 0.1 second), and outputs the detection result of the angle with respect to the horizontal to the determination unit (step S21).
- the determination unit 3 receives an input of an angle detection result from the posture detection unit 7.
- the determination unit 3 determines whether or not the terminal device 1 is kept horizontal for a predetermined time based on the detection result of the angle (step S22). If the determination unit 3 determines that the terminal device 1 is kept horizontal for a predetermined time, the determination unit 3 performs the processes of steps S4 to S9. If the determination unit 3 determines that the terminal device 1 is not kept horizontal for a predetermined time, the determination unit 3 returns to step S1.
- the determination unit 3 sets a threshold value used for determining whether or not the user intends to use the non-contact receiving function based on the area detection result by the proximity detection unit 5 as a touch panel (display unit 4 ) Is set to 25 percent of the total area. Further, the determination unit 3 sets a threshold for determining whether or not the user intends to use the non-contact receiving function based on the angle detection result by the posture detection unit 7 to an angle of 10 with respect to the horizontal. Within 2 degrees, set to be 2 seconds maintenance time.
- the proximity detection unit 5 uses 30% of the touch panel, which is the display unit 4 of the terminal device 1, And the detection result is output to the determination unit 3 (step S2).
- the determination unit 3 compares the detection result (that is, 30 percent) of the proximity detection unit 5 with a threshold value (that is, 25 percent). As a result, the determination unit 3 determines that the detection result of the proximity detection unit 5 is larger than the threshold value (step S3).
- the posture detection unit 7 detects that the terminal device 1 has held the posture for 2 seconds at an angle between 5 degrees and 8 degrees with respect to the horizontal.
- the posture detection unit 7 outputs a detection result to the determination unit 3 every 0.1 seconds, for example (step S21).
- the determination unit 3 receives an input of a detection result every 0.1 second from the posture detection unit 7.
- the determination unit 3 compares these detection results with a threshold value (that is, an angle of 10 degrees). Then, when the comparison result that the detection result is smaller than the threshold value continues for 20 times (2 seconds), the determination unit 3 determines that the user intends to use the non-contact receiving function (step S22).
- the processing flow of the terminal device 1 according to the first embodiment has been described above.
- the non-contact part mark 2 b is displayed at the correction position of the display unit 4 according to the state of the terminal device 1. Therefore, the user can easily perform the positioning of the terminal device with respect to the opposing device by displaying a mark serving as a guide for positioning on the screen of the terminal device without performing a conscious user operation.
- FIG. 9 is a functional block diagram showing the configuration of the terminal device 1 according to the second embodiment of the present invention.
- the functional block diagram shown in FIG. 9 is a block diagram in which a display correction unit 8 and an image processing unit 9 are added to the functional block showing the configuration of the terminal device 1 in the first embodiment shown in FIG.
- the display correction unit 8 displays the display unit 4 so that the center o 3 of the image indicating the center o 1 of the image capturing area matches the actual position o 4 of the image capturing unit 6.
- It is a functional unit that performs data processing so that it is displayed on the screen.
- the image processing unit 9 is a functional unit that synthesizes images captured by the imaging unit 6 and outputs the data to the display unit 4.
- the functional units of the display correction unit 8 and the image processing unit 9 are configured in the terminal device 1 when the control unit executes a program.
- FIG. 10 is a diagram showing a display example 1 of the display unit 4 included in the terminal device 1 according to the second embodiment of the present invention.
- the center o ⁇ b> 2 of the display unit 4 and the position o ⁇ b> 4 of the photographing unit 6 are separated by a distance X ⁇ b> 2 in the horizontal direction of the terminal device 1 and a distance Y ⁇ b> 2 in the vertical direction of the terminal device 1.
- the display correction unit 8 translates the original image data using the distance X2 and the distance Y2 so that the center o3 of the image is displayed on the display unit 4 so as to match the position o4 of the actual photographing unit 6. Then, a process of displaying on the display unit 4 is performed.
- the display unit 4 displays the non-contact part mark 2 b at the position of the display unit 4 that is directly behind the non-contact part 2.
- the center o3 of the image captured by the imaging unit 6 coincides with the position o4 of the imaging unit 6.
- the area of the image displayed on the display unit 4 is an actual captured image display area indicated by a dotted rectangular area a.
- the virtual captured image display area indicated by the area b in the display unit 4 is an area without image information.
- the size of the virtual captured image display area changes according to the size of the actual captured image display area.
- the virtual photographed image display area may display monochrome white, for example.
- FIG. 11 is a diagram showing a display example 2 of the display unit 4 included in the terminal device 1 according to the second embodiment of the present invention.
- FIG. 11 shows a display example of an image displayed on the display unit 4 when the user moves the terminal device 1 in the direction of the arrow.
- the terminal device 1 indicated by a dotted line indicates the terminal device 1 before movement.
- the terminal device 1 indicated by a solid line indicates the terminal device 1 after movement.
- the display unit 4 displays the area a and the area b with respect to the imaging area A2 of the imaging unit 6 illustrated in FIG. 10, when the user moves the terminal device 1 in the direction of the arrow, the imaging unit 6 A new photographing area A3 is photographed. Then, the photographing unit 6 outputs the photographed image data to the image processing unit 9.
- the image processing unit 9 receives input of image data captured by the imaging unit 6.
- the image processing unit 9 combines image data (image data of the area a1) newly captured by the imaging unit 6 after the user moves the terminal device 1 and image data (image data of the area a) previously captured.
- the image processing unit 9 outputs the combined image data to the display unit 4.
- the virtual captured image display area in the display unit 4 is an area b1.
- the image processing unit 9 repeats this processing periodically (for example, every 0.2 seconds). At this time, when the terminal device 1 is moved so as to cover the already captured area, the virtual captured image display area is smaller than the area b1. And the display part 4 displays the image, whenever the input of image data is received. Then, the user checks the position of the target mark 121 while viewing the image displayed on the display unit 4, and aligns the terminal device 1 and the opposing device 11.
- a known technique may be used for the synthesis of the image data performed by the image processing unit 9. For example, a feature such as the external shape of the opposing device 11 and the target mark 121 that is common to the image data immediately before the photographing unit 6 photographed and the newly photographed image data are extracted, and the image data is synthesized based on the feature. That's fine.
- FIG. 12 is a diagram showing a processing flow of the terminal device 1 according to the second embodiment of the present invention.
- the terminal device 1 such as a smartphone equipped with an electronic money function when shopping is taken as an example.
- a processing flow of the terminal device 1 according to the embodiment will be described.
- steps S10 to S15 and S21 in the processing flow of the terminal device 1 according to the second embodiment of the present invention the processing flow is the same as that of the terminal device 1 according to the first embodiment.
- Steps S10 to S15 and Step S21 in the processing flow of the terminal device 1 according to the second embodiment of the present invention will be described.
- the imaging unit 6 outputs the captured image data to the display correction unit 8 (step S10).
- the display correction unit 8 accepts input of image data.
- the display correction unit 8 translates the image based on the image data by the horizontal distance X2 and the vertical distance Y2 of the terminal device 1, which is the distance difference between the center of the display unit 4 and the center of the photographing unit 6.
- a new image is generated (step S11).
- the display correction unit 8 records the image data of the newly generated image in the storage unit 10 (step S12).
- the display correction unit 8 outputs the newly generated image data to the image processing unit 9 (step S13).
- the image processing unit 9 accepts input of image data newly generated by the display correction unit 8.
- the image processing unit 9 extracts a common feature image between the newly generated image data and the image data generated once and recorded in the storage unit 10, and both image data are based on the feature image. Are connected (synthesized) (step S14).
- the image processing unit 9 records the joined (combined) image data in the recording unit 10 (step S15).
- the process of step S7 is performed similarly to the process flow of the terminal device 1 according to the first embodiment.
- the display unit 4 displays the non-contact part mark 2b at a position corresponding to the actual position of the non-contact part 2 on the display unit 4 (step S21).
- the process of step S9 is performed similarly to the process flow of the terminal device 1 according to the first embodiment.
- FIG. 13 is a functional block diagram showing a configuration when using the attitude detection function of the terminal device 1 according to the second embodiment of the present invention.
- the posture detection unit 7 may be an acceleration sensor.
- the image processing unit 9 may use the moving distance and moving direction of the terminal device 1 obtained from the acceleration detected by the posture detecting unit 7 as information for combining image data.
- the user may use the moving distance and moving direction of the terminal device 1 obtained from the acceleration detected by the posture detection unit 7 as information for positioning the terminal device 1 and the opposing device 11.
- the processing flow of the terminal device 1 according to the second embodiment has been described above. According to the processing of the terminal device 1 described above, the terminal device 1 and the opposing device 11 can be aligned even for the terminal device 1 in which it is difficult to capture the target mark 121 in the display unit 4.
- FIG. 14 is a functional block diagram showing the configuration of the terminal device 1 according to the third embodiment of the present invention.
- the functional block diagram shown in FIG. 14 is a block diagram in which a position calculation unit 14 is added to the functional blocks showing the configuration of the terminal device 1 in the first embodiment shown in FIG.
- the posture detection unit 7 may be, for example, an acceleration sensor.
- the acceleration sensor is used to measure the moving distance and direction when the user moves the terminal device 1.
- the position calculation unit 14 uses a detection result detected by the posture detection unit 7 to determine a base position (home position) (details will be described later). It is a functional unit that calculates the direction.
- the functional unit of the position calculation unit 14 is configured in the terminal device 1 when the control unit executes a program.
- FIG. 15 is a diagram showing a processing flow of the terminal device 1 according to the third embodiment of the present invention.
- the terminal device 1 according to the first embodiment when the user makes a purchase, the case where the user pays using the terminal device 1 having the electronic money function using the non-contact receiving function is taken as an example.
- a processing flow of the terminal device 1 according to the embodiment will be described.
- steps S16 to S20 in the processing flow of the terminal device 1 according to the third embodiment of the present invention the processing flow is the same as that of the terminal device 1 according to the first embodiment.
- steps S16 to S20 in the processing flow of the terminal device 1 according to the third embodiment of the present invention will be described.
- FIG. 16 is a diagram showing a display example of the display unit 4 in the terminal device 1 according to the third embodiment of the present invention.
- FIG. 16 is a display example of the display unit 4 in a state where the user has moved the photographing unit 6 provided in the terminal device 1 to a position just above the target mark 121 on the surface S of the opposing device 11, as in FIG. 4A.
- the processing flow of the terminal device 1 of the third embodiment performs the processing of steps S1 to S5 as in the first embodiment.
- the user moves the terminal device 1 to a predetermined location in the shooting area A4 of the shooting unit 6 with the target mark 121.
- FIG. 16 is a diagram showing a display example of the display unit 4 in the terminal device 1 according to the third embodiment of the present invention.
- FIG. 16 is a display example of the display unit 4 in a state where the user has moved the photographing unit 6 provided in the terminal device 1 to a position just above the target mark 121 on the surface S of the opposing device 11, as in FIG. 4
- the user moves the terminal device 1 to a position where the target mark 121 is located in the center of the photographing unit 6. And a user performs operation which sets the position to a base point position by user operation, such as touching the display part 4, for example.
- the position calculation unit 14 of the terminal device 1 receives an input of a signal for recognizing the base point position as a calculation reference from the display unit 4.
- the position calculation unit 14 starts detecting the movement state of the terminal device 1 (step S16).
- the photographing unit 6 and the target mark 121 provided in the terminal device 1 are relatively opposed to each other.
- the positional relationship between the imaging unit 6 and the non-contact unit 2 in the terminal device 1 is physically known. Accordingly, as indicated by an arrow R in FIG. 16 (an offset between the non-contact part 2 and the photographing unit 6), the user physically places the non-contact part 2 at the current time so as to be the position of the current photographing part 6.
- the terminal device 1 is moved. That is, if the user moves the terminal device 1 by the distance X3 in the horizontal direction and the distance Y3 in the vertical direction, the non-contact portion 2 and the target mark 121 are relatively opposed to each other.
- the display unit 4 of the terminal device 1 causes the user to move the terminal device 1 to the distance X3 in the horizontal direction and the distance Y3 in the vertical direction based on the calculation result of the position calculation unit 14. Instruct to move.
- the posture detection unit 7 which is an acceleration sensor, detects the acceleration in the movement for positioning the terminal device 1 by the user, and outputs the detection result of the acceleration to the position calculation unit 14 (step S 17).
- the position calculation unit 14 receives an input of the acceleration detection result from the posture detection unit 7.
- the position calculation unit 14 integrates the acceleration twice, for example, and calculates a distance based on the acceleration detection result (step S18).
- the position calculation unit 14 outputs the calculation result to the display unit 4 (step S19).
- the display unit 4 receives an input of a calculation result from the position calculation unit 14. For example, the display unit 4 indicates the moving direction and the moving distance of the terminal device 1 by numerical values, and displays a moving instruction of the terminal device 1 to the user (step S20). A program necessary for this display is stored in the storage unit 10 in advance.
- the display unit 4 may indicate the moving direction with an arrow in real time while the user moves the terminal device 1.
- the position calculation unit 14 reads information associated with movement data recorded by the storage unit 10 and instruction data such as voice data, and the voice data associated with movement corresponding to the calculation result is displayed on the speaker of the display unit 4.
- the display unit 4 may instruct the user to move the terminal device 1 by voice based on the voice data.
- the processing flow of the terminal device 1 of 3rd embodiment performs the process of step S9 similarly to 1st embodiment.
- the processing flow of the terminal device 1 according to the third embodiment has been described above.
- the user can make the non-contact portion 2 and the target mark 121 relatively face each other if the user moves the terminal device 1 in accordance with an instruction displayed on the display unit 4.
- the terminal device 1 and the opposing device 11 can be aligned.
- the determination unit 3 determines that the user intends to use the non-contact receiving function, part or all of the functions other than the non-contact receiving function of the terminal device 1 are temporarily performed. May be stopped. In the embodiment of the present invention described above, when the determination unit 3 determines that the user intends to use the non-contact receiving function, the operation input received from the outside of the own device (of the terminal device 1) is received. May be restricted.
- the terminal device may have a computer system inside.
- the process described above may be stored in a computer-readable recording medium 70 in the form of a program, and the above process may be performed by the computer reading and executing this program.
- the computer-readable recording medium 70 includes a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory.
- the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
- the program may realize some of the functions described above.
- the program may be a so-called difference file (difference program) that can realize the functions described above in combination with a program already recorded in the computer system.
- difference file difference program
- the present invention can be applied to a terminal device, an information processing method, and a program.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Environmental & Geological Engineering (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
非接触受給機能の1つである赤外線通信を利用する技術を用いれば、ユーザは、携帯電話同士を向い合せて赤外線通信を行うことで、メールアドレス等の情報を交換することができる。
非接触受給機能の1つである無線給電を利用する技術を用いれば、ユーザは、携帯電話のバッテリを電源コードを使用せずに充電することができる。
しかしながら、これらの非接触通信、赤外線通信、無線給電等の非接触受給機能において使用する電波には指向性があり、通信できる範囲に限りがある。このため、ユーザが扱う端末装置とその端末装置が行う非接触受給機能の対象である対向装置との間で位置合わせが必要である。
そのため、ユーザが特許文献1の技術を使用した場合、対向装置に対する端末装置の位置合わせを行う際に、ユーザは意識的に何らかのユーザ操作を行い端末装置の画面上に位置合わせの目安となるマークを表示させる必要がある。
したがって、ユーザが対向装置に対する端末装置の位置合わせを行う際の利便性が低下するという問題が生じる。
そのため、端末装置は、ターゲットマークの形状や大きさの情報を予め記憶部に記録しなければならい。その結果、ターゲットマークの形状や大きさのわからない初めて利用する対向装置には利用できないという問題が生じる。
特許文献3に開示の技術は、端末装置の姿勢を感知し、その姿勢に応じて非接触IC電源供給を遮断する技術である。すなわち、特許文献3に開示の技術は、端末装置の姿勢を感知し、端末装置の画面上に位置合わせの目安となるマークの表示を自動的に行う技術ではない。
そのため、特許文献1や特許文献2の技術に特許文献3の技術を適用しても、ユーザが対向装置に対する端末装置の位置合わせを行う際の利便性が低下するという問題は解決できない。
図1は、本発明の実施形態に係る端末装置1の最小構成を示す機能ブロック図である。
図1で示すように、端末装置1は、少なくとも、非接触部2と、利用意思判定部(以下、単に「判定部」と称することもある)3と、表示部4とを備える。
非接触部2は、非接触ICを備えており、非接触部2は、非接触受給機能の対象である対向装置11から、信号とエネルギの何れか一方または両方を受け取る機能部である。また、非接触部2は、対向装置11に、信号とエネルギの何れか一方または両方を送る機能部である。非接触受給機能とは、非接触により信号およびエネルギの少なくとも一方を受給する機能である。
判定部3は、端末装置1の状態に基づいて、ユーザが非接触受給機能を利用する意思があるか否かを判定する機能部である。判定部3は、端末装置1の状態を示す情報Iを取得する。
表示部4は、非接触受給機能を利用する際の端末装置1と対向装置11との間の位置合わせに必要な情報をユーザに提供する機能部である。
本発明の第一の実施形態による端末装置1は、図2で示すように、非接触部2、利用意思判定部3、表示部4、近接検出部5、撮影部6、記憶部10の機能部を備えている。判定部3、近接検出部5、撮影部6の機能部は、端末装置1の制御部(例えばCPU)がプログラムを実行することにより、端末装置1に構成される。
表示部4は、例えば静電容量方式のタッチパネルであってもよい。表示部4は、LCD(Liquid Crystal Display、液晶表示装置)、有機ELディスプレイなどによる表示を行う機能と、手やペン等が近接または接触した画面位置の情報を感知する静電容量型センサとしての機能を有している。
端末装置1は、スピーカ等を用いたユーザに端末装置1の移動を誘導する機能を有していてもよい。
近接検出部5は、例えば、表示部4の面に多数設けられている静電容量型センサであってもよい。近接検出部5は、表示部4の静電容量型センサを利用してもよい。近接検出部5は、表示部4の外枠に設けられていてもよい。近接検出部5は、複数の静電容量型センサの静電容量それぞれの値を所定のしきい値と比較する。そして、近接検出部5は、しきい値を超えた値を示す静電容量型センサを含む表示部4の面積に基づいて端末装置1に近接または接触しているユーザの手の面積を検出する。
記憶部10は、必要な種々の情報を記憶する。
非接触部12は、端末装置1から信号とエネルギの一方または両方を受け取る機能部である。また、非接触部12は、端末装置1に信号とエネルギの一方または両方を送る機能部である。非接触部12は、例えば、非接触通信用アンテナで構成されていてもよい。
図3Aは、端末装置1の表面の外観図である。図3Bは、端末装置1の裏面の外観図である。
本実施形態において、非接触部2は、図3Bに表示されている破線の星印の位置のように裏面の中央やや上方の端末装置1の内部に配置されている。しかしながら、非接触部2の配置はこれに限定されない。
本実施形態において、撮影部6は、端末装置1を裏面から見て左上の位置に配置されている。しかしながら、撮影部6の配置はこれに限定されない。
図4Aは、撮影部6が対向装置11の表面Sに印されたターゲットマーク121の真上に位置する状態を、端末装置1および対向装置11を真横から見たときの例を示している。図4Bは、表示部4における非接触部マーク2bの表示例を示している。
端末装置1は、上述したように非接触部2を備えている。端末装置1に設けられた非接触部2の位置と、端末装置1に設けられた撮影部6の位置o4とは、端末装置1の横方向に距離X1、端末装置1の縦方向に距離Y1だけ離れている。したがって、撮影領域A1の中心o1にターゲットマーク121が位置するように撮影した状態では、ターゲットマーク121の位置は、撮影部6の位置o4に対応する位置である。すなわち、この状態では、ターゲットマーク121は非接触部2の位置に対応する(対向する)位置には存在しない。したがって、この状態では、端末装置1は、対向装置11と通信できないか、対向装置11と距離が離れているため非接触受給機能の通信効率が悪くなる。
そこで、本実施形態における端末装置1は、実際の非接触部2の位置から横方向に距離-X1、縦方向に距離-Y1だけ移動した補正位置に非接触部マーク2bを表示する。
このように非接触部マーク2bを表示することで、ユーザが、非接触部マーク2bとターゲットマーク121とを合わせると、実際の非接触部2の位置と、ターゲットマーク121との位置が合う。
図5で示すように表示部4は、補正位置に、位置合わせの目安となるターゲットマーク121を表示している。
このとき、表示部4は、撮影部6が撮影する対向装置11の画像に端末装置1に備わる非接触部マーク2bを重ねて表示している。
表示部4は、ユーザが非接触受給機能を利用する意思があると判定部3が判定している間のみ非接触部マーク2bを表示する。
ユーザは、表示部4が表示している非接触部マーク2bを、表示部4上で対向装置11のターゲットマークと重なるように端末装置1を移動することで、端末装置1と対向装置11との位置合わせを行うことができる。
次に、電子マネー機能を備えたスマートフォン等の端末装置1を利用して、ユーザが買い物をする際に代金を支払う場合を例に、実施形態による端末装置1の処理フローを説明する。電子マネー機能は、非接触受給機能の一例である非接触通信を利用する。
具体例として、端末装置1がスマートフォンである場合について説明する。この場合、表示部4の一例であるタッチパネルの複数の静電容量型センサは、ユーザの手がタッチパネルを覆っている箇所を検出する。近接検出部5は、複数の静電容量型センサの静電容量それぞれの値と所定のしきい値とを比較する。そして、近接検出部5は、しきい値を超えた値を示す静電容量型センサを含むタッチパネル(表示部4)の面積がタッチパネル全体の面積に対して何パーセントであるかを算出する。
近接検出部5は、検出した面積情報を判定部3に出力する(ステップS2)。
判定部3は、覆われたまたは接触された面積が所定の面積以上になっていると判定した場合、ユーザが非接触受給機能を利用する意思があると判定する(ステップS4へ)。
判定部3は、覆われたまたは接触された面積が所定の面積以上になっていないと判定した場合、ユーザが非接触受給機能を利用する意思がないと判定し、次の検出部5の検出した面積に対する判定に備える(ステップS1に戻る)。
撮影部6は撮影した画像データを表示部4に出力する(ステップS6)。
具体的には、まず、対向装置11が会計装置に表示されている合計金額を読み取る。そして例えば、ユーザが端末装置1を対向装置11に近付けて上述のステップS9の通信を行う。すると対向装置11は、会計装置から読み取った合計金額を端末装置1に備わる記憶部10が記憶している残高から減額するための減額信号を端末装置1に出力する。端末装置1は、減額信号の入力を受け付けると、記憶部10が記憶している残高から合計金額を減額し、減額後の残高を記憶部10に記録する。
姿勢検出部7は、端末装置1が水平や垂直等の姿勢を検出し、その検出結果を判定部3に出力する機能部である。姿勢検出部7は、例えば加速度センサや磁気センサ等で構成されていてもよい。
図8は、本発明の第一の実施形態による端末装置1の姿勢検出機能を利用する場合の処理フローを示す図である。
判定部3は、近接検出部5による面積の検出結果と共に、姿勢検出部7が検出した姿勢に基づいてユーザが非接触受給機能を利用する意思がある否かを判定してもよい。
具体例として、ユーザが、商品の代金を電子マネーでお店に支払うために端末装置1を対向装置11に水平に近付ける場合について説明する。この場合、上述のステップS1~ステップS3の処理を行った後、ユーザは、端末装置1を対向装置11に水平に近付け、位置合わせのために所定の時間端末装置1を水平に保とうとする。このとき、姿勢検出部7は、水平に対する端末装置1の角度を定期的(例えば0.1秒毎)に検出し、その水平に対する角度の検出結果を判定部に出力する(ステップS21)。
判定部3は、姿勢検出部7から角度の検出結果の入力を受け付ける。判定部3は、その角度の検出結果に基づいて、端末装置1が所定の時間水平に保たれているか否かを判定する(ステップS22)。
判定部3は、端末装置1が所定の時間水平に保たれていると判定した場合、ステップS4~ステップS9の処理を行う。
判定部3は、端末装置1が所定の時間水平に保たれていないと判定した場合、ステップS1に戻る。
例えば、判定部3は、近接検出部5による面積の検出結果に基づいてユーザが非接触受給機能を利用する意思があるか否かを判定するために用いるしきい値を、タッチパネル(表示部4)の全面積の25パーセントに設定する。また、判定部3は、姿勢検出部7による角度の検出結果に基づいてユーザが非接触受給機能を利用する意思があるか否かを判定するためのしきい値を、水平に対して角度10度以内で、2秒維持時間されることと設定する。
具体例として、ユーザが電子マネーでお店に支払いをするために端末装置1を対向装置11に近付けた際に、近接検出部5は端末装置1の表示部4であるタッチパネルの30パーセントを身体で覆っていることを検出し、検出結果を判定部3に出力する(ステップS2)。
判定部3は、近接検出部5の検出結果(すなわち、30パーセント)と、しきい値(すなわち、25パーセント)とを比較する。その結果、判定部3は、近接検出部5の検出結果がしきい値よりも大きいと判定する(ステップS3)。
次に、具体例として、姿勢検出部7は、端末装置1が水平に対して角度5度~8度の間で姿勢を2秒間保ったことを検出する。その検出の間、姿勢検出部7は、判定部3に例えば0.1秒毎に検出結果を出力している(ステップS21)。
判定部3は、姿勢検出部7からの0.1秒毎の検出結果の入力を受け付ける。判定部3は、それらの検出結果としきい値(すなわち、角度10度)とを比較する。そして、判定部3は、検出結果がしきい値よりも小さいという比較結果が20回(2秒)連続すると、ユーザが非接触受給機能を利用する意思があると判定する(ステップS22)。
図9は、本発明の第二の実施形態による端末装置1の構成を示す機能ブロック図である。
図9で示す機能ブロック図は、図2で示した第一の実施形態における端末装置1の構成を示す機能ブロックに表示補正部8と画像処理部9を追加したブロック図である。
表示補正部8は、表示部4が撮影部6の撮影した画像を表示したときに、撮影領域の中心o1を示す画像の中心o3が実際の撮影部6の位置o4に合うように表示部4に表示するようデータ処理を行う機能部である。
画像処理部9は、撮影部6が撮影した画像を合成して、そのデータを表示部4に出力する機能部である。
表示補正部8、画像処理部9の機能部は、制御部がプログラムを実行することにより、端末装置1に構成される。
図10で示すように、表示部4の中心o2と撮影部6の位置o4とは、端末装置1の横方向に距離X2、端末装置1の縦方向に距離Y2だけ離れている。本実施形態において表示補正部8は、距離X2と距離Y2とを用いて画像の中心o3が実際の撮影部6の位置o4に合うように表示部4に表示するよう元の画像データを平行移動して表示部4に表示する処理を行う。
第二の実施形態において、表示部4は、非接触部マーク2bを、非接触部2の真裏に当たる表示部4の位置に表示する。
このように表示を行うことで、撮影部6が撮影する画像の中心o3は、撮影部6の位置o4と一致する。そのとき表示部4が表示する画像の領域は、破線の長方形の領域aで示した実撮影画像表示領域である。表示部4における領域bで示した仮想撮影画像表示領域は、画像情報が無い領域である。そして、この仮想撮影画像表示領域の大きさは、実撮影画像表示領域の大きさに応じて変化する。仮想撮影画像表示領域は、例えば単色の白を表示してもよい。
図11は、ユーザが端末装置1を矢印の方向に移動した場合に、表示部4が表示する画像の表示例を示している。
図11において、点線で示す端末装置1は移動前における端末装置1を示す。図11において、実線で示す端末装置1は移動後における端末装置1を示す。
画像処理部9は、撮影部6が撮影した画像データの入力を受け付ける。画像処理部9は、ユーザが端末装置1を移動した後に撮影部6が新たに撮影した画像データ(領域a1の画像データ)と前回撮影した画像データ(領域aの画像データ)とを合成する。画像処理部9は、その合成した画像データを表示部4に出力する。図11において、表示部4における仮想撮影画像表示領域は領域b1である。画像処理部9は、この処理を定期的(例えば0.2秒毎)に繰り返す。このとき既に撮影した領域を覆うように端末装置1を移動させた場合には、仮想撮影画像表示領域は領域b1よりも小さくなる。そして、表示部4は画像データの入力を受け付ける度に、その画像を表示する。そして、ユーザは表示部4が表示する画像を見ながらターゲットマーク121の位置を確認し、端末装置1と対向装置11との位置合わせを行う。
画像処理部9が行う画像データの合成は、公知の技術を用いればよい。例えば撮影部6が撮影した直前の画像データと新たに撮影した画像データとで共通する対向装置11の外形やターゲットマーク121等の特徴物を抽出し、その特徴物に基づいて画像データを合成すればよい。
次に、第一の実施形態による端末装置1と同様に、ユーザが買い物をする際に、電子マネー機能を備えたスマートフォン等の端末装置1を利用して代金を支払う場合を例に、第二の実施形態による端末装置1の処理フローを説明する。
以下では、本発明の第二の実施形態による端末装置1の処理フローにおけるステップS10~ステップS15およびステップS21を説明する。
画像処理部9は、つなぎ合わせた(合成した)画像データを記録部10に記録する(ステップS15)。
第一の実施形態による端末装置1の処理フローと同様にステップS7の処理を行う。
表示部4は、非接触部マーク2bを、表示部4上における非接触部2の実際の位置に相当する位置に表示する(ステップS21)。
第一の実施形態による端末装置1の処理フローと同様にステップS9の処理を行う。
第一の実施形態と同様に姿勢検出部7は加速度センサであってもよい。この場合、画像処理部9は、その姿勢検出部7が検出する加速度から求められる端末装置1の移動距離や移動方向を画像データの合成のための情報として利用してもよい。また、ユーザは、その姿勢検出部7が検出する加速度から求められる端末装置1の移動距離や移動方向を端末装置1と対向装置11との位置合わせのための情報として利用してもよい。
図14は、本発明の第三の実施形態による端末装置1の構成を示す機能ブロック図である。
図14で示す機能ブロック図は、図2で示した第一の実施形態における端末装置1の構成を示す機能ブロックに位置演算部14を追加したブロック図である。
第三の実施形態による端末装置1の構成において、姿勢検出部7は例えば加速度センサであってもよい。加速度センサは、ユーザが端末装置1を移動させた場合の移動距離や方向を測定するために用いられる。
第三の実施形態による端末装置1の構成において、位置演算部14は、姿勢検出部7が検出する検出結果を用いて基点位置(ホームポジション)を決定した時(詳細は後述)からの移動距離や方向を演算する機能部である。
位置演算部14の機能部は、制御部がプログラムを実行することにより、端末装置1に構成される。
第一の実施形態による端末装置1と同様に、ユーザが買い物をする際に、非接触受給機能を利用する電子マネー機能を備えた端末装置1を利用して支払いする場合を例に、第三の実施形態による端末装置1の処理フローを説明する。
以下では、本発明の第三の実施形態による端末装置1の処理フローにおけるステップS16~ステップS20を説明する。
図16は、図4Aと同様に、ユーザが端末装置1に備わる撮影部6を対向装置11の表面S上のターゲットマーク121の真上に移動した状態における表示部4の表示例である。
まず、第三の実施形態の端末装置1の処理フローは、第一の実施形態と同様にステップS1~ステップS5の処理を行う。次に、ユーザは、ターゲットマーク121を撮影部6の撮影領域A4の所定の場所まで端末装置1を移動する。具体例としては、図16で示すようにユーザは、ターゲットマーク121が撮影部6の中央に収まる位置に端末装置1を移動する。
そしてユーザが、例えば表示部4にタッチする等のユーザ操作によりその位置を基点位置に設定する操作を行う。そのユーザ操作により端末装置1の位置演算部14は、基点位置を演算の基準と認識するための信号の入力を表示部4から受け付ける。次に、位置演算部14は端末装置1の移動状態の検知を開始する(ステップS16)。
したがって、ステップS16で基点位置を決定した以降は、端末装置1の表示部4が、位置演算部14の演算結果に基づいて、ユーザが端末装置1を横方向に距離X3、縦方向に距離Y3移動するように指示する。
位置演算部14は、記憶部10が記録する移動データと音声データ等の指示データの対応付けされた情報を読み出し、演算結果に対応する移動と対応付けられた音声データを表示部4のスピーカ等に出力し、表示部4が音声データに基づいて、音声でユーザに端末装置1の移動を指示してもよい。
そして、第三の実施形態の端末装置1の処理フローは、第一の実施形態と同様にステップS9の処理を行う。
上述の本発明の実施形態において、判定部3が、ユーザが非接触受給機能を利用する意思があると判定したときに、自装置(端末装置1の)の外部から入力される動作入力の受付を制限してもよい。
上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解し得る様々な変更をすることができる。
2、12・・・非接触部
2b・・・非接触部マーク
3・・・利用意思判定部
4・・・表示部
5・・・近接検出部
6・・・撮影部
7・・・姿勢検出部
8・・・表示補正部
9・・・画像処理部
10・・・記憶部
11・・・対向装置
13・・・制御部
14・・・位置演算部
121・・・ターゲットマーク
A1、A2、A3、A4・・・撮影領域
o1・・・撮影領域A1の中心
o2・・・表示部4の中心
o3・・・画像の中心
o4・・・撮影部6の位置
Claims (10)
- 端末装置の状態を示す情報に基づいてユーザが非接触受給機能を利用する意思があるか否かを判定し、判定結果を出力する判定部と、
前記判定結果に基づいて、前記端末装置と前記対向装置との位置合わせに利用するマークを表示する表示部と、
を備える端末装置。 - 所定の領域に対して前記ユーザの身体が近接または接触した面積を検出し、前記検出された面積を前記端末装置の状態を示す情報として前記判定部に出力する検出部をさらに備え、
前記判定部は、前記検出された面積と、しきい値とを比較することで前記ユーザが非接触受給機能を利用する意思があるか否かを判定する
請求項1に記載の端末装置。 - 画像を撮影する撮影部と、
前記判定結果に基づいて、非接触で前記対向装置と信号とエネルギの少なくとも一方を授受する非接触部とをさらに備え、
前記表示部は、前記非接触部の位置と前記撮影部の位置との距離に基づいて前記マークの表示位置を補正し、前記補正された表示位置に前記マークを表示する
請求項1または請求項2に記載の端末装置。 - 少なくとも第1および第2の画像を撮影する撮影部と、
前記第1の画像の中心が前記撮影部の位置に合うように前記第1の画像を移動する表示補正部と、
前記移動された第1の画像と前記第2の画像とを合成して、画像を得る画像処理部とをさらに備え、
前記表示部は、前記画像処理部により得られた画像を表示する
請求項1または請求項2に記載の端末装置。 - 前記端末装置の移動を検出し、検出結果を出力する姿勢検出部と、
前記検出結果を用いて、基点位置からの前記端末装置の移動距離および前記端末装置の移動方向の少なくとも一方を演算する位置演算部と、
をさらに備える請求項1から請求項3の何れか一項に記載の端末装置。 - 前記判定部は、ユーザが非接触受給機能を利用する意思があると判定したときに、前記非接触受給機能を除く前記端末装置の少なくとも一部の機能を一時的に停止する
請求項1から請求項5の何れか一項に記載の端末装置。 - 前記判定部は、ユーザが非接触受給機能を利用する意思があると判定したときに、前記端末装置の外部からの動作入力の受け付けを制限する
請求項1から請求項6の何れか一項に記載の端末装置。 - 前記判定結果に基づいて、非接触で対向装置と信号とエネルギの少なくとも一方を授受する非接触部
をさらに備える請求項1、2および4~7の何れか一項に記載の端末装置。 - 端末装置の状態を示す情報に基づいてユーザが非接触受給機能を利用する意思があるか否かを判定して、判定結果を出力し、
前記判定結果に基づいて、前記端末装置と対向装置との位置合わせに利用するマークを表示する
ことを含む情報処理方法。 - 端末装置のコンピュータを、
前記端末装置の状態を示す情報に基づいてユーザが非接触受給機能を利用する意思があるか否かを判定し、判定結果を出力する判定部、および
前記判定結果に基づいて、前記端末装置と対向装置との位置合わせに利用するマークを表示する表示部、
として機能させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014540841A JP6344238B2 (ja) | 2012-10-12 | 2013-10-07 | 端末装置、情報処理方法及びプログラム |
CN201380052891.9A CN104704799B (zh) | 2012-10-12 | 2013-10-07 | 终端装置、信息处理方法 |
US14/434,310 US9407750B2 (en) | 2012-10-12 | 2013-10-07 | Terminal device, information processing method and program |
EP13845980.5A EP2908506B1 (en) | 2012-10-12 | 2013-10-07 | Terminal device, information processing method and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012226498 | 2012-10-12 | ||
JP2012-226498 | 2012-10-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014057912A1 true WO2014057912A1 (ja) | 2014-04-17 |
Family
ID=50477379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/077263 WO2014057912A1 (ja) | 2012-10-12 | 2013-10-07 | 端末装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9407750B2 (ja) |
EP (1) | EP2908506B1 (ja) |
JP (1) | JP6344238B2 (ja) |
CN (1) | CN104704799B (ja) |
WO (1) | WO2014057912A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10440263B2 (en) * | 2017-05-12 | 2019-10-08 | Microsoft Technology Licensing, Llc | Synchronized display on hinged multi-screen device |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002169645A (ja) * | 2000-12-01 | 2002-06-14 | Toshiba Corp | 移動通信端末 |
JP2003163739A (ja) * | 2001-11-27 | 2003-06-06 | Nec Corp | 携帯電話装置のセキュリティ方法及びセキュリティシステム |
JP2005328130A (ja) * | 2004-05-12 | 2005-11-24 | Sony Ericsson Mobilecommunications Japan Inc | 無線通信システム、無線通信端末および基地局 |
JP2006345016A (ja) * | 2005-06-07 | 2006-12-21 | Nec Saitama Ltd | 非接触icカード機能を有する携帯電話機及びその制御方法 |
JP2007053424A (ja) | 2005-08-15 | 2007-03-01 | Nec Saitama Ltd | 近距離無線通信装置及びこれを搭載した携帯型情報処理端末並びに近距離無線通信方法 |
JP2007300579A (ja) | 2006-05-08 | 2007-11-15 | Sony Ericsson Mobilecommunications Japan Inc | 携帯端末、非接触通信制御方法及びプログラム |
JP2008092304A (ja) | 2006-10-02 | 2008-04-17 | Matsushita Electric Ind Co Ltd | 携帯端末装置 |
JP2011034196A (ja) * | 2009-07-30 | 2011-02-17 | Nec Casio Mobile Communications Ltd | 携帯端末装置及びプログラム |
JP2011166630A (ja) * | 2010-02-12 | 2011-08-25 | Kyocera Corp | 携帯電子機器 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7769345B2 (en) * | 2006-09-29 | 2010-08-03 | Sony Ericsson Mobile Communications Ab | Device and method for guiding a user to a communication position |
EP2211480B1 (en) | 2009-01-26 | 2013-10-23 | Motorola Mobility LLC | Wireless communication device for providing at least one near field communication service |
CN102763400B (zh) * | 2010-02-12 | 2015-07-15 | 京瓷株式会社 | 便携式电子设备 |
US9390414B2 (en) | 2011-09-18 | 2016-07-12 | Google Inc. | One-click offline buying |
US8929810B2 (en) * | 2012-04-23 | 2015-01-06 | Qualcomm Incorporated | Methods and apparatus for improving NFC connection through device positioning |
-
2013
- 2013-10-07 WO PCT/JP2013/077263 patent/WO2014057912A1/ja active Application Filing
- 2013-10-07 EP EP13845980.5A patent/EP2908506B1/en not_active Not-in-force
- 2013-10-07 JP JP2014540841A patent/JP6344238B2/ja not_active Expired - Fee Related
- 2013-10-07 US US14/434,310 patent/US9407750B2/en not_active Expired - Fee Related
- 2013-10-07 CN CN201380052891.9A patent/CN104704799B/zh not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002169645A (ja) * | 2000-12-01 | 2002-06-14 | Toshiba Corp | 移動通信端末 |
JP2003163739A (ja) * | 2001-11-27 | 2003-06-06 | Nec Corp | 携帯電話装置のセキュリティ方法及びセキュリティシステム |
JP2005328130A (ja) * | 2004-05-12 | 2005-11-24 | Sony Ericsson Mobilecommunications Japan Inc | 無線通信システム、無線通信端末および基地局 |
JP2006345016A (ja) * | 2005-06-07 | 2006-12-21 | Nec Saitama Ltd | 非接触icカード機能を有する携帯電話機及びその制御方法 |
JP2007053424A (ja) | 2005-08-15 | 2007-03-01 | Nec Saitama Ltd | 近距離無線通信装置及びこれを搭載した携帯型情報処理端末並びに近距離無線通信方法 |
JP2007300579A (ja) | 2006-05-08 | 2007-11-15 | Sony Ericsson Mobilecommunications Japan Inc | 携帯端末、非接触通信制御方法及びプログラム |
JP2008092304A (ja) | 2006-10-02 | 2008-04-17 | Matsushita Electric Ind Co Ltd | 携帯端末装置 |
JP2011034196A (ja) * | 2009-07-30 | 2011-02-17 | Nec Casio Mobile Communications Ltd | 携帯端末装置及びプログラム |
JP2011166630A (ja) * | 2010-02-12 | 2011-08-25 | Kyocera Corp | 携帯電子機器 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2908506A4 |
Also Published As
Publication number | Publication date |
---|---|
EP2908506B1 (en) | 2018-04-18 |
JP6344238B2 (ja) | 2018-06-20 |
US20150271310A1 (en) | 2015-09-24 |
EP2908506A4 (en) | 2016-06-01 |
CN104704799A (zh) | 2015-06-10 |
EP2908506A1 (en) | 2015-08-19 |
CN104704799B (zh) | 2018-03-20 |
US9407750B2 (en) | 2016-08-02 |
JPWO2014057912A1 (ja) | 2016-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10096012B2 (en) | Payment terminal system and method of use | |
US20160260086A1 (en) | Mobile terminal and method for controlling the same | |
US20110176705A1 (en) | Information processing device, information processing system and program | |
US10510063B2 (en) | Mobile terminal and method for controlling the same | |
EP3996358B1 (en) | Display method for foldable electronic device, and electronic device | |
EP2000877B1 (en) | Display apparatus and method for recognizing location | |
CN104345972A (zh) | 用于操作电子装置的方法、电子装置和计算机可读介质 | |
KR101697599B1 (ko) | 이동 단말기 및 그 제어 방법 | |
US8792862B1 (en) | Providing enhanced security for wireless telecommunications devices | |
KR20160147340A (ko) | 디스플레이 장치 및 제어 방법 | |
KR20160101580A (ko) | 터치 스크린 패널의 활성화 영역 제어 방법 및 그 전자 장치 | |
US9412090B2 (en) | System, mobile communication terminal and method for providing information | |
KR20150109597A (ko) | 터치 패널, 이동 단말기 그리고 무선 입력장치 | |
JP6344238B2 (ja) | 端末装置、情報処理方法及びプログラム | |
KR101867450B1 (ko) | 식별 코드를 이용하여 결제를 수행할 수 있는 이동단말기, 결제 서버, 그것들의 결제시스템 및 그 제어방법 | |
KR101994841B1 (ko) | 위치기반 복지 포인트 가맹점에 대한 정보 제공과 복지 포인트 결제를 위한 시스템의 제어 방법 | |
JP5963285B1 (ja) | 非接触通信装置および精算装置 | |
US8934940B1 (en) | Providing enhanced security for wireless telecommunications devices | |
CN205405738U (zh) | 一种具有双摄像头的收银机 | |
KR20120041611A (ko) | 휴대용 전자화폐 충전 단말기 및 이를 이용한 비접촉식 전자화폐 충전 방법 | |
KR20160147694A (ko) | 마이크로 sd카드를 이용한 nfc 결제 방법 | |
KR20180010848A (ko) | 이동 단말기 및 그 제어방법 | |
WO2014207844A1 (ja) | 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理プログラムが記録された記録媒体 | |
KR20160104794A (ko) | 엔에프씨 단말부 연동 주차관리 시스템 | |
KR20120053375A (ko) | 이동통신 단말기의 무선보조장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13845980 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014540841 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14434310 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013845980 Country of ref document: EP |