JP7018630B2 - Correspondence method and mapping system between user and terminal, and management method and management system of connection status of terminal - Google Patents

Correspondence method and mapping system between user and terminal, and management method and management system of connection status of terminal Download PDF

Info

Publication number
JP7018630B2
JP7018630B2 JP2018078597A JP2018078597A JP7018630B2 JP 7018630 B2 JP7018630 B2 JP 7018630B2 JP 2018078597 A JP2018078597 A JP 2018078597A JP 2018078597 A JP2018078597 A JP 2018078597A JP 7018630 B2 JP7018630 B2 JP 7018630B2
Authority
JP
Japan
Prior art keywords
terminal
information
data
hand
motion data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018078597A
Other languages
Japanese (ja)
Other versions
JP2019185609A (en
Inventor
優一 槙
卓矢 合田
尚司 松川
拓也 犬童
理志 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyoto University
Nippon Telegraph and Telephone Corp
Original Assignee
Kyoto University
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto University, Nippon Telegraph and Telephone Corp filed Critical Kyoto University
Priority to JP2018078597A priority Critical patent/JP7018630B2/en
Publication of JP2019185609A publication Critical patent/JP2019185609A/en
Application granted granted Critical
Publication of JP7018630B2 publication Critical patent/JP7018630B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システムに関する。 An embodiment of the present invention relates to a method and system for associating a user with a terminal, and a method and system for managing a connection state of the terminal.

近年、美術館および博物館などの屋内環境においてＩＣＴ（Information and Communication Technology）を用いて映像配信および音声案内などをするおもてなしサービスが、開発されている。このおもてなしサービスでは、配信すべき情報および音声案内の言語などが、端末を用いるユーザの人種および性別などに対応して、異なる。非特許文献１では、カメラなどの撮影機器によって、端末を用いるユーザの情報を取得する。そして、カメラなどからのユーザの情報が、コンテンツ配信および端末の通信制御などに活用される。ただし、非特許文献１のようにカメラによってユーザの情報を取得する場合、カメラ映像に映っているユーザ、および、ユーザが用いる端末のＩＰアドレスは、互いに独立する。このため、カメラ映像のユーザとユーザが用いる端末とを、一対一で対応付ける必要がある。 In recent years, hospitality services such as video distribution and voice guidance using ICT (Information and Communication Technology) have been developed in indoor environments such as museums. In this hospitality service, the information to be delivered and the language of voice guidance differ depending on the race and gender of the user who uses the terminal. In Non-Patent Document 1, information on a user who uses a terminal is acquired by a photographing device such as a camera. Then, the user's information from the camera or the like is utilized for content distribution and communication control of the terminal. However, when the user's information is acquired by the camera as in Non-Patent Document 1, the user shown in the camera image and the IP address of the terminal used by the user are independent of each other. Therefore, it is necessary to have a one-to-one correspondence between the user of the camera image and the terminal used by the user.

非特許文献２の対応付けシステムでは、カメラ映像からユーザの移動速度を推定するとともに、端末に設けられる加速度センサの情報からユーザ（端末）の移動速度を推定する。そして、カメラ映像に基づく移動速度、および、加速度センサの情報に基づく移動速度を用いてマッチングを行うことにより、ユーザと端末との対応付けを行う。図１は、非特許文献２の対応付けシステム１´のブロック構成を示す。非特許文献２では、マッチング用サーバ２´、カメラ（撮影機器）３´および端末４´が設けられ、端末（通信端末）４´には加速度センサ６´が設けられる。 In the mapping system of Non-Patent Document 2, the moving speed of the user is estimated from the camera image, and the moving speed of the user (terminal) is estimated from the information of the acceleration sensor provided in the terminal. Then, the user and the terminal are associated with each other by performing matching using the moving speed based on the camera image and the moving speed based on the information of the acceleration sensor. FIG. 1 shows a block configuration of the mapping system 1'of Non-Patent Document 2. In Non-Patent Document 2, a matching server 2', a camera (shooting device) 3'and a terminal 4'are provided, and the terminal (communication terminal) 4'is provided with an acceleration sensor 6'.

情報処理装置（マッチング処理ユニット）であるマッチング用サーバ２´は、マッチング用サーバ２´からの情報の送信、および、マッチング用サーバ２´への情報の受信を行う情報送受信部５´を備える。カメラ３´は、画像情報を生成し、生成した画像情報をマッチング用サーバ２´に送信する。また、端末４´は、センサ情報取得部７´と、通信制御部８´とを備える。センサ情報取得部７´は、加速度センサ６´での検知結果に関するセンサ情報を取得する。通信制御部８´は、端末４´とマッチング用サーバ２´の情報送受信部５´との間の無線通信等による通信状態を制御する。通信制御部８´は、センサ情報取得部７´が取得したセンサ情報を、マッチング用サーバ２´に送信させる。 The matching server 2', which is an information processing device (matching processing unit), includes an information transmission / reception unit 5'that transmits information from the matching server 2'and receives information to the matching server 2'. The camera 3'generates image information and transmits the generated image information to the matching server 2'. Further, the terminal 4'includes a sensor information acquisition unit 7'and a communication control unit 8'. The sensor information acquisition unit 7'acquires sensor information regarding the detection result of the acceleration sensor 6'. The communication control unit 8'controls the communication state by wireless communication or the like between the terminal 4'and the information transmission / reception unit 5'of the matching server 2'. The communication control unit 8'sends the sensor information acquired by the sensor information acquisition unit 7'to the matching server 2'.

マッチング用サーバ２´は、位置検出部１１´と、速度データ算出部１２´とを備える。位置検出部１１´は、カメラ３´からの画像情報に基づいて、ユーザの位置を検出する。この際、ユーザの位置に加えて、そのユーザを検出した画像の時刻も、ユーザの位置情報として取得する。速度データ算出部１２´は、ユーザの位置情報を用いて、ユーザの歩行速度を算出する。そして、速度データ算出部１２´は、ユーザの位置情報に基づくユーザの歩行速度に関する時系列データである速度データを、生成する。 The matching server 2'includes a position detection unit 11'and a speed data calculation unit 12'. The position detection unit 11'detects the user's position based on the image information from the camera 3'. At this time, in addition to the position of the user, the time of the image in which the user is detected is also acquired as the position information of the user. The speed data calculation unit 12'calculates the walking speed of the user by using the position information of the user. Then, the speed data calculation unit 12'generates speed data which is time-series data regarding the walking speed of the user based on the position information of the user.

また、マッチング用サーバ２´は、加速度検出部１３´と、加速度データの鉛直方向成分（ｚ成分）の標準編差を算出する標準偏差算出部１４´とを備える。加速度検出部１３´は、端末４´からのセンサ情報に基づいて、端末４´の加速度を検出する。この際、端末４´の加速度に加えて、検出した加速度になった時刻も、端末４´の加速度情報として取得する。標準偏差算出部１４´は、端末４´の加速度情報を用いて、ある一定時間の間の加速度データの鉛直方向成分の標準偏差データを算出する。なお、端末４´の加速度の鉛直方向成分の標準偏差とユーザの歩行速度との関係を、図２に一例を示す。 Further, the matching server 2 ′ includes an acceleration detection unit 13 ′ and a standard deviation calculation unit 14 ′ for calculating the standard deviation of the vertical component (z component) of the acceleration data. The acceleration detection unit 13'detects the acceleration of the terminal 4'based on the sensor information from the terminal 4'. At this time, in addition to the acceleration of the terminal 4', the time when the detected acceleration is reached is also acquired as the acceleration information of the terminal 4'. The standard deviation calculation unit 14'calculates the standard deviation data of the vertical component of the acceleration data for a certain period of time by using the acceleration information of the terminal 4'. FIG. 2 shows an example of the relationship between the standard deviation of the vertical component of the acceleration of the terminal 4'and the walking speed of the user.

また、マッチング用サーバ２´は、マッチング処理部１５´を備える。マッチング処理部１５´は、ユーザの位置情報に基づくユーザの歩行速度を示す速度データ、および、端末４´の加速度データの鉛直方向成分の標準偏差データを用いて、マッチング処理を行う。この際、速度データ、および、加速度データの鉛直方向成分の標準偏差データについて、互いに対する相関値を算出する。そして、算出した相関値を用いて、カメラ画像上のユーザと端末４´との対応付けを行う。 Further, the matching server 2'includes a matching processing unit 15'. The matching processing unit 15'performs matching processing using speed data indicating the walking speed of the user based on the position information of the user and standard deviation data of the vertical component of the acceleration data of the terminal 4'. At this time, the correlation value with respect to each other is calculated for the velocity data and the standard deviation data of the vertical component of the acceleration data. Then, the calculated correlation value is used to associate the user on the camera image with the terminal 4'.

Chen, Min and et al., "EMC: Emotion-aware mobile cloud computing in 5G," Proceedings of the IEEE Network, Vol.29, Issue 2, pp. 32-38, March, 24, 2015.Chen, Min and et al., "EMC: Emotion-aware mobile cloud computing in 5G," Proceedings of the IEEE Network, Vol.29, Issue 2, pp. 32-38, March, 24, 2015. Deokwoo Jung, Thiago Teixeira, Andreas Savvides and et al., "Towards cooperative localization of wearable sensors using accelerometers and cameras," Proceedings of the IEEE INFOCOM 2010, pp. 1-9, SanDiego, USA, March, 18, 2010.Deokwoo Jung, Thiago Teixeira, Andreas Savvides and et al., "Towards cooperative localization of wearable sensors using accelerometers and cameras," Proceedings of the IEEE INFOCOM 2010, pp. 1-9, SanDiego, USA, March, 18, 2010.

ここで、図２等で示されるように、ユーザの歩行速度が１ｍ/ｓ以下の範囲では、端末の加速度の鉛直方向成分の標準偏差は、ユーザの歩行速度が変化しても、ほとんど変化しない。したがって、ユーザの歩行速度が遅い場合、非特許文献２に示すようなカメラ画像上でのユーザの歩行速度と端末の加速度の鉛直方向成分の標準偏差との相関値による対応付けでは、ユーザと端末との適切な対応付けを行い難くなる。特に、美術館および博物館などのユーザの歩行速度が遅いことが想定される場所では、ユーザと端末との対応付けをさらに行い難くなる。 Here, as shown in FIG. 2 and the like, in the range where the walking speed of the user is 1 m / s or less, the standard deviation of the vertical component of the acceleration of the terminal hardly changes even if the walking speed of the user changes. .. Therefore, when the walking speed of the user is slow, the user and the terminal are associated with each other by the correlation value between the walking speed of the user on the camera image and the standard deviation of the vertical component of the acceleration of the terminal as shown in Non-Patent Document 2. It becomes difficult to make an appropriate correspondence with. In particular, in places such as museums and museums where the walking speed of the user is expected to be slow, it becomes more difficult to associate the user with the terminal.

本発明は、上記事情に着目してなされたものであり、ユーザの歩行速度が遅い場合、および、ユーザが静止している場合のそれぞれにおいても、ユーザと端末との対応付けが適切に行われる、ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システムを提供するものである。 The present invention has been made by paying attention to the above circumstances, and the correspondence between the user and the terminal is appropriately performed even when the walking speed of the user is slow and when the user is stationary. , A method and a system for associating a user with a terminal, and a method and a system for managing the connection status of the terminal.

上記目的を達成するために、本発明の第１態様は、情報処理装置を含むシステムが実行する、ユーザと前記ユーザの端末との対応付け方法であって、画像情報を取得することと、前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、取得した前記画像情報から、前記ユーザの手の位置情報を検出することと、検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、取得した前記センサ情報から、前記端末の加速度情報を検出することと、検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、を備える。 In order to achieve the above object, the first aspect of the present invention is a method of associating a user with a terminal of the user, which is executed by a system including an information processing apparatus, to acquire image information, and to obtain image information. Acquiring sensor information regarding the detection result by the sensor provided in the terminal, detecting the position information of the user's hand from the acquired image information, and using the detected position information of the hand, By calculating the first motion data regarding the motion state in the vertical direction of the hand, detecting the acceleration information of the terminal from the acquired sensor information, and using the detected acceleration information of the terminal, The calculation of the second motion data regarding the motion state of the terminal in the vertical direction, and the matching process of associating the user with the terminal by using the first motion data and the second motion data. , Equipped with.

本発明の第２態様は、第１態様の対応付け方法であって、前記第１運動データを算出することは、前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出することと、算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第１運動データとして算出することと、を備え、前記第２運動データを算出することは、前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出することと、前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第２運動データとして算出することと、を備える。 The second aspect of the present invention is the associating method of the first aspect, and the calculation of the first motion data is performed by time-differentiating the position of the hand in the vertical direction. Calculation of speed data in the vertical direction, and based on the calculated speed data of the hand, data indicating the ascending time when the hand is rising and the descending time when the hand is descending are obtained. The calculation as the first motion data and the calculation of the second motion data include the force acting on the terminal based on the acceleration of the terminal in the vertical direction included in the acceleration information. Based on the calculation of the data indicating the direction of the force and the data indicating the direction of the force, the data indicating the ascending time at which the terminal is rising and the descending time at which the terminal is descending are obtained. It is provided with the calculation as the second exercise data.

本発明の第３態様は、第１態様または第２態様の対応付け方法であって、前記マッチング処理を行うことは、前記ユーザと前記端末とを一対一で対応付けるアルゴリズムを用いて、前記マッチング処理を行うことを備える。 The third aspect of the present invention is the matching method of the first aspect or the second aspect, and the matching process is performed by using an algorithm that associates the user with the terminal on a one-to-one basis. Be prepared to do.

本発明の第４態様は、画像情報を生成する撮影機器と、センサを備える端末と、前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、を備える、前記端末と前記端末のユーザとの対応付けシステムであって、前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、を備える。 A fourth aspect of the present invention comprises the terminal and the terminal comprising a photographing device for generating image information, a terminal including a sensor, and an information processing device capable of exchanging information with the photographing device and the terminal. A position detection unit that detects the position information of the user's hand from the image information generated by the photographing device, and the position information of the hand detected by the position detection unit. Acceleration detection that detects the acceleration information of the terminal from the sensor information of the sensor of the terminal and the first motion data calculation unit that calculates the first motion data regarding the motion state of the hand in the vertical direction. A second motion data calculation unit that calculates second motion data related to the motion state of the terminal in the vertical direction using the acceleration information of the terminal detected by the acceleration detection unit, and the first motion. A matching processing unit that performs matching processing for associating the user with the terminal by using the data and the second motion data is provided.

本発明の第５態様は、第４態様の対応付けシステムであって、前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、前記加速度検出部、前記第２運動データ算出部、および、前記マッチング処理部を備える。 A fifth aspect of the present invention is the mapping system of the fourth aspect, wherein the information processing apparatus includes the position detection unit, the first motion data calculation unit, the acceleration detection unit, and the second motion data calculation unit. , And the matching processing unit.

本発明の第６態様は、第４態様の対応付けシステムであって、前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、および、前記マッチング処理部を備え、前記端末が、前記加速度検出部、および、前記第２運動データ算出部を備える。 A sixth aspect of the present invention is the mapping system of the fourth aspect, wherein the information processing apparatus includes the position detection unit, the first motion data calculation unit, and the matching processing unit, and the terminal has the same. The acceleration detection unit and the second motion data calculation unit are provided.

本発明の第７態様は、情報処理装置を含むシステムが実行する、端末の接続状態の管理方法であって、画像情報を取得することと、前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、取得した前記画像情報から、ユーザの手の位置情報を検出することと、検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、取得した前記センサ情報から、前記端末の加速度情報を検出することと、検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、前記マッチング処理の処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理することと、管理される前記マッチング情報を用いて、複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理することと、を備える。 A seventh aspect of the present invention is a method of managing the connection state of a terminal executed by a system including an information processing apparatus, which is sensor information regarding acquisition of image information and detection results by a sensor provided in the terminal. The first movement regarding the motion state in the vertical direction of the hand by using the acquired position information of the user's hand from the acquired image information and the detected position information of the hand. The second aspect regarding the motion state of the terminal in the vertical direction by calculating the data, detecting the acceleration information of the terminal from the acquired sensor information, and using the detected acceleration information of the terminal. The user is calculated based on the calculation of the motion data, the matching process of associating the user with the terminal using the first motion data and the second motion data, and the processing result of the matching process. And managing the matching information with the terminal, and using the managed matching information to switch the connection destination of the terminal among a plurality of access points, and to control and manage the connection destination of the terminal. , Equipped with.

本発明の第８態様は、画像情報を生成する撮影機器と、センサを備える端末と、前記端末を無線で接続可能な複数のアクセスポイントと、前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、を備える、前記端末の接続状態の管理システムであって、前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、前記マッチング処理部での処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理するマッチング情報管理ユニットと、前記マッチング情報管理ユニットで管理される前記マッチング情報を用いて、前記複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理する接続状態管理ユニットと、を備える。 Eighth aspect of the present invention is capable of exchanging information with a photographing device for generating image information, a terminal provided with a sensor, a plurality of access points to which the terminal can be wirelessly connected, and the photographing device and the terminal. A position detection unit that detects the position information of the user's hand from the image information generated by the photographing device, and the position detection, which is a connection state management system of the terminal including the information processing device. From the first motion data calculation unit that calculates the first motion data regarding the motion state in the vertical direction of the hand using the position information of the hand detected by the unit, and the sensor information in the sensor of the terminal. Using the acceleration detection unit that detects the acceleration information of the terminal and the acceleration information of the terminal detected by the acceleration detection unit, a second motion data regarding the motion state of the terminal in the vertical direction is calculated. Based on the processing results of the motion data calculation unit, the matching processing unit that performs matching processing for associating the user with the terminal using the first motion data and the second motion data, and the matching processing unit. Using the matching information management unit that manages the matching information between the user and the terminal and the matching information managed by the matching information management unit, the connection destination of the terminal is switched between the plurality of access points, and the connection destination is switched. It includes a connection state management unit that controls and manages the connection destination of the terminal.

本発明の第１態様乃至第８態様によれば、ユーザが手を上下動させる動作に基づいて、撮影機器の画像上のユーザと端末とが、対応付けられる。ユーザの手の上下動に基づいて対応付けが行われるため、ユーザの歩行速度が遅い場合、および、ユーザが静止している場合のそれぞれにおいても、ユーザと端末との対応付けを適切に行うことができる。したがって、第１態様乃至第８態様によって、ユーザの歩行速度が遅い場合、および、ユーザが静止している場合のそれぞれにおいても、ユーザと端末との対応付けが適切に行われる、ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システムを提供することができる。 According to the first to eighth aspects of the present invention, the user and the terminal on the image of the photographing device are associated with each other based on the action of the user moving his / her hand up and down. Since the correspondence is performed based on the vertical movement of the user's hand, the correspondence between the user and the terminal should be appropriately performed even when the walking speed of the user is slow and when the user is stationary. Can be done. Therefore, according to the first to eighth aspects, the user and the terminal are appropriately associated with each other even when the walking speed of the user is slow and when the user is stationary. It is possible to provide a mapping method and a mapping system of the above, and a management method and a management system of the connection state of the terminal.

本発明の第２態様では、前述のように第１運動データが算出されため、第１運動データにおいて、手が上昇している上昇時刻、および、手が下降している下降時刻が適切に算出される。同様に、第２態様では、前述のように第２運動データが算出されるため、第２運動データにおいて、端末４が上昇している上昇時刻、および、端末４が下降している下降時刻が適切に算出される。 In the second aspect of the present invention, since the first motion data is calculated as described above, the ascending time when the hand is rising and the descending time when the hand is descending are appropriately calculated in the first motion data. Will be done. Similarly, in the second aspect, since the second motion data is calculated as described above, in the second motion data, the ascending time when the terminal 4 is rising and the descending time when the terminal 4 is descending are set. Calculated appropriately.

本発明の第３態様では、ユーザと端末とを一対一で対応付けるアルゴリズムを用いられるため、各ユーザは対応する端末に一対一で適切にマッチングされる。したがって、１つのユーザが複数の端末と対応付けられたり、１つの端末が複数のユーザと対応付けられたりすることが、有効に防止される。 In the third aspect of the present invention, since an algorithm for associating a user with a terminal on a one-to-one basis is used, each user is appropriately matched to the corresponding terminal on a one-to-one basis. Therefore, it is effectively prevented that one user is associated with a plurality of terminals and one terminal is associated with a plurality of users.

本発明の第６態様では、情報処理装置において、第１運動データおよび第２運動データが適切に算出される。そして、情報処理装置は、適切に算出された第１運動データおよび第２運動データを用いて、ユーザと端末を適切にマッチングする。 In the sixth aspect of the present invention, the first motion data and the second motion data are appropriately calculated in the information processing apparatus. Then, the information processing apparatus appropriately matches the user and the terminal by using the appropriately calculated first motion data and the second motion data.

本発明の第７態様では、情報処理装置において、第１運動データが適切に算出され、端末において、第２運動データが適切に算出される。そして、情報処理装置は、適切に算出された第１運動データおよび第２運動データを用いて、ユーザと端末とを適切にマッチングする。 In the seventh aspect of the present invention, the first motion data is appropriately calculated in the information processing apparatus, and the second motion data is appropriately calculated in the terminal. Then, the information processing apparatus appropriately matches the user and the terminal by using the appropriately calculated first motion data and the second motion data.

本発明の第８態様および第９態様では、適切なマッチング情報を用いて、複数のアクセスポイント間で端末の接続先が切替られ、端末の接続先が制御および管理される。したがって、端末の接続先、すなわち、端末を複数のアクセスポイントのいずれに接続するかが、適切に管理される。 In the eighth and ninth aspects of the present invention, the connection destination of the terminal is switched between the plurality of access points, and the connection destination of the terminal is controlled and managed by using appropriate matching information. Therefore, the connection destination of the terminal, that is, which of the plurality of access points the terminal is connected to is appropriately managed.

図１は、非特許文献２の対応付けシステムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a mapping system of Non-Patent Document 2. 図２は、端末の加速度の鉛直方向成分の標準偏差に対するユーザの歩行速度の関係について、一例を示す概略図である。FIG. 2 is a schematic diagram showing an example of the relationship between the user's walking speed and the standard deviation of the vertical component of the acceleration of the terminal. 図３は、第１実施形態の対応付けシステムのシステムモデルを示す概略図である。FIG. 3 is a schematic diagram showing a system model of the mapping system of the first embodiment. 図４は、第１実施形態の対応付けシステムの構成を示すブロック図である。FIG. 4 is a block diagram showing the configuration of the mapping system of the first embodiment. 図５は、第１実施形態の対応付けシステムで行われる処理を示すフローチャートである。FIG. 5 is a flowchart showing a process performed by the mapping system of the first embodiment. 図６は、図５のＳ３，Ｓ４の処理で生成された、手の鉛直方向についての位置情報に関するデータの一例を示す概略図である。FIG. 6 is a schematic diagram showing an example of data regarding position information in the vertical direction of the hand generated by the processes of S3 and S4 of FIG. 図７は、第１実施形態で行われる手が上昇中であるか否かの判断の一例を説明する概略図である。FIG. 7 is a schematic diagram illustrating an example of determining whether or not the hand is ascending, which is performed in the first embodiment. 図８は、第１実施形態において算出される第１運動データの一例を示す概略図である。FIG. 8 is a schematic diagram showing an example of the first motion data calculated in the first embodiment. 図９は、図５のＳ１１の処理の一例を示す概略図である。FIG. 9 is a schematic diagram showing an example of the process of S11 in FIG. 図１０は、第１実施形態で行われる端末が上昇中であるか否かの判断の一例を説明する概略図である。FIG. 10 is a schematic diagram illustrating an example of determining whether or not the terminal is ascending, which is performed in the first embodiment. 図１１は、第１実施形態において算出される第２運動データの一例を示す概略図である。FIG. 11 is a schematic diagram showing an example of the second motion data calculated in the first embodiment. 図１２は、第１実施形態のある実施例で行われるゲーリーシャプレーアルゴリズムを適用したユーザと端末との対応付けについて説明する概略図である。FIG. 12 is a schematic diagram illustrating the correspondence between the user and the terminal to which the Gary Shaplay algorithm applied in the embodiment of the first embodiment is applied. 図１３は、第１実施形態のある変形例の対応付けシステムの構成を示すブロック図である。FIG. 13 is a block diagram showing a configuration of a mapping system of a modification of the first embodiment. 図１４は、第２実施形態の端末の接続状態を管理する管理システムの構成を示すブロック図である。FIG. 14 is a block diagram showing a configuration of a management system that manages the connection state of the terminal of the second embodiment.

以下、図面を参照しながら、本発明の実施形態について説明する。以下の実施形態では、カメラ画像上のユーザと端末（制御端末）との対応付け方法を提案する。この対応付け方法は、館内などの歩行速度が遅い場面においても、適用可能である。以下の対応付け方法では、端末の画面閲覧に伴って手が上下動する時刻を検出する。そして、手の上下動の時刻に関する検出結果に基づいて、対応付けを行う。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following embodiment, we propose a method of associating a user on a camera image with a terminal (control terminal). This associative method can be applied even in situations where the walking speed is slow, such as in a hall. In the following mapping method, the time when the hand moves up and down as the screen of the terminal is browsed is detected. Then, the correspondence is performed based on the detection result regarding the time of the vertical movement of the hand.

［第１実施形態］
以下、第１実施形態について説明する。図３は、本実施形態の対応付けシステム（通信システム）１のシステムモデルを示す。対応付けシステム１は、情報処理装置（マッチング処理ユニット）としてマッチング用サーバ２を備える。また、対応付けシステム１には、撮影機器であるカメラ３、および、ユーザＵの端末４が設けられる。マッチング用サーバ２は、カメラ３から情報を取得するとともに、端末４から情報を取得する。すなわち、情報処理装置であるマッチング用サーバ２は、カメラ３及び端末４に対して、情報交換が可能である。 [First Embodiment]
Hereinafter, the first embodiment will be described. FIG. 3 shows a system model of the mapping system (communication system) 1 of the present embodiment. The matching system 1 includes a matching server 2 as an information processing device (matching processing unit). Further, the mapping system 1 is provided with a camera 3 which is a photographing device and a terminal 4 of the user U. The matching server 2 acquires information from the camera 3 and also acquires information from the terminal 4. That is, the matching server 2, which is an information processing device, can exchange information with the camera 3 and the terminal 4.

マッチング用サーバ２は、カメラ３からの情報に基づいて、ユーザＵが端末４を上下させる動作、および、その上下動が行われた時刻を算出する。また、マッチング用サーバ２は、端末４からの情報に基づいても、ユーザＵが端末４を上下させる動作、および、その上下動が行われた時刻を算出する。そして、マッチング用サーバ２は、カメラ３からの情報に基づく上下動が行われた時刻の算出結果、および、端末４からの情報に基づく上下動が行われた時刻の算出結果を用いて、カメラ画像上のユーザＵと端末４との対応付けを行う。 The matching server 2 calculates the time when the user U moves the terminal 4 up and down and the up and down movement is performed based on the information from the camera 3. Further, the matching server 2 calculates the time when the user U moves the terminal 4 up and down and the up and down movement is performed, even based on the information from the terminal 4. Then, the matching server 2 uses the calculation result of the time when the vertical movement is performed based on the information from the camera 3 and the calculation result of the time when the vertical movement is performed based on the information from the terminal 4 to be used by the camera. The user U on the image is associated with the terminal 4.

図４は、本実施形態における対応付けシステム１の構成をブロック図で示す。本実施形態では、情報処理装置（対応付け装置）であるマッチング用サーバ２は、情報送受信部５を備える。情報送受信部５は、マッチング用サーバ２からの情報の送信、および、マッチング用サーバ２への情報の受信を行う。情報送受信部５は、有線または無線のインターフェースから形成される。また、本実施形態では、カメラ３としてＫｉｎｅｃｔ－ｖ２が用いられ、用いられる。カメラ３では、深度画像情報を生成し、生成した深度画像情報をマッチング用サーバ２に送信する。 FIG. 4 is a block diagram showing the configuration of the mapping system 1 in the present embodiment. In the present embodiment, the matching server 2 which is an information processing device (correspondence device) includes an information transmission / reception unit 5. The information transmission / reception unit 5 transmits information from the matching server 2 and receives information from the matching server 2. The information transmission / reception unit 5 is formed of a wired or wireless interface. Further, in the present embodiment, Kinect-v2 is used and used as the camera 3. The camera 3 generates depth image information and transmits the generated depth image information to the matching server 2.

端末４には、加速度センサ６が設けられる。また、端末４は、センサ情報取得部７と、通信制御部８とを備える。ここで、端末４は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、センサ情報取得部７および通信制御部８のそれぞれの機能が、実現される。センサ情報取得部７は、加速度センサ６での検知結果に関するセンサ情報を取得する。通信制御部８は、端末４とマッチング用サーバ２の情報送受信部５との間の無線通信等による通信状態を制御する。通信制御部８は、センサ情報取得部７が取得したセンサ情報を、マッチング用サーバ２に送信させる。 The terminal 4 is provided with an acceleration sensor 6. Further, the terminal 4 includes a sensor information acquisition unit 7 and a communication control unit 8. Here, the terminal 4 includes a processor including a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), and a memory. Then, when the processor executes the program stored in the memory, the functions of the sensor information acquisition unit 7 and the communication control unit 8 are realized. The sensor information acquisition unit 7 acquires sensor information regarding the detection result of the acceleration sensor 6. The communication control unit 8 controls the communication state by wireless communication or the like between the terminal 4 and the information transmission / reception unit 5 of the matching server 2. The communication control unit 8 causes the matching server 2 to transmit the sensor information acquired by the sensor information acquisition unit 7.

マッチング用サーバ２は、位置検出部１１と、第１運動データ算出部１２と、加速度検出部１３と、第２運動データ算出部１４と、マッチング処理部１５とを備える。ここで、マッチング用サーバ２は、ＣＰＵ、ＡＳＩＣまたはＦＰＧＡなどを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、位置検出部１１、第１運動データ算出部１２、加速度検出部１３、第２運動データ算出部１４およびマッチング処理部１５のそれぞれの機能が、実現される。 The matching server 2 includes a position detection unit 11, a first motion data calculation unit 12, an acceleration detection unit 13, a second motion data calculation unit 14, and a matching processing unit 15. Here, the matching server 2 includes a CPU, a processor including an ASIC or FPGA, and a memory. Then, by executing the program stored in the memory by the processor, each function of the position detection unit 11, the first motion data calculation unit 12, the acceleration detection unit 13, the second motion data calculation unit 14, and the matching processing unit 15 is performed. However, it will be realized.

位置検出部１１は、カメラ３からの深度画像情報に基づいて、ユーザＵの手の位置を検出する。この際、ユーザＵの手の位置に加えて、その手を検出した画像の時刻も、ユーザＵの手の位置情報として取得する。第１運動データ算出部１２は、ユーザＵの手の位置情報を用いて、ユーザＵの手の上下動に関する時刻情報を算出する。そして、第１運動データ算出部１２は、手の鉛直方向についての運動状態に関する時系列データである第１運動データを、生成する。第１運動データでは、ユーザＵの手の位置情報に基づくユーザＵの手の上下動に関する時刻情報が、示される。 The position detection unit 11 detects the position of the user U's hand based on the depth image information from the camera 3. At this time, in addition to the position of the hand of the user U, the time of the image in which the hand is detected is also acquired as the position information of the hand of the user U. The first motion data calculation unit 12 calculates the time information regarding the vertical movement of the user U's hand by using the position information of the user U's hand. Then, the first motion data calculation unit 12 generates the first motion data which is the time series data regarding the motion state in the vertical direction of the hand. In the first motion data, time information regarding the vertical movement of the user U's hand based on the position information of the user U's hand is shown.

加速度検出部１３は、端末４からのセンサ情報に基づいて、端末４の加速度を検出する。この際、端末４の加速度に加えて、検出した加速度になった時刻も、端末４の加速度情報として取得する。第２運動データ算出部１４は、端末４の加速度情報を用いて、端末４（ユーザＵの手）の上下動に関する時刻情報を算出する。そして、第２運動データ算出部１４は、端末４の鉛直方向についての運動状態に関する時系列データである第２運動データを、生成する。第２運動データでは、端末４の加速度情報に基づく端末４の上下動に関する時刻情報が、示される。 The acceleration detection unit 13 detects the acceleration of the terminal 4 based on the sensor information from the terminal 4. At this time, in addition to the acceleration of the terminal 4, the time when the detected acceleration is reached is also acquired as the acceleration information of the terminal 4. The second motion data calculation unit 14 calculates the time information regarding the vertical movement of the terminal 4 (the hand of the user U) by using the acceleration information of the terminal 4. Then, the second motion data calculation unit 14 generates the second motion data which is the time series data regarding the motion state in the vertical direction of the terminal 4. In the second motion data, time information regarding the vertical movement of the terminal 4 based on the acceleration information of the terminal 4 is shown.

マッチング処理部１５は、第１運動データ算出部１２が算出したユーザＵの手の上下動に関する時刻情報、および、第２運動データ算出部１４が算出した端末４の上下動に関する時刻情報を用いて、マッチング処理を行う。すなわち、マッチング処理部１５は、ユーザＵの手の位置情報に基づく手の鉛直方向についての運動状態を示す第１運動データ、および、端末４の加速度情報に基づく端末４の鉛直方向についての運動状態を示す第２運動データを用いて、カメラ画像上のユーザＵと端末（通信端末）４との対応付けを行う。本実施形態では、ユーザＵの手の上下動に関する時刻情報、および、端末４の上下動に関する時刻情報に基づいてマッチング処理が行われるため、後述のように、歩行速度が遅い場合、および、停止中の場合のそれぞれでも、ユーザＵと端末４との対応付けが適切に行われる。 The matching processing unit 15 uses the time information regarding the vertical movement of the user U's hand calculated by the first motion data calculation unit 12 and the time information regarding the vertical movement of the terminal 4 calculated by the second motion data calculation unit 14. , Perform matching processing. That is, the matching processing unit 15 has the first motion data showing the motion state in the vertical direction of the hand based on the position information of the hand of the user U, and the motion state in the vertical direction of the terminal 4 based on the acceleration information of the terminal 4. The user U on the camera image and the terminal (communication terminal) 4 are associated with each other by using the second motion data indicating the above. In the present embodiment, the matching process is performed based on the time information regarding the vertical movement of the user U's hand and the time information regarding the vertical movement of the terminal 4, and therefore, as described later, when the walking speed is slow and when the walking speed is stopped. In each of the cases, the user U and the terminal 4 are appropriately associated with each other.

図５は、本実施形態の対応付けシステム１で行われる処理を示す。対応付けシステム１では、Ｓ１において、撮影機器であるカメラ３が、館内などの画像を取得する。この際、カメラ３は、画像として、深度画像を取得する。また、Ｓ２において、カメラ３は、Ｓ１で深度画像を取得した時点の時刻、すなわち、画像を撮影した時点の時刻を取得する。そして、カメラ３は、Ｓ１で取得した深度画像、および、Ｓ２で取得した時刻を含む深度画像情報を生成する。そして、カメラ３は、生成した深度画像情報を、マッチング用サーバ２に送信する。 FIG. 5 shows the processing performed by the mapping system 1 of the present embodiment. In the association system 1, in S1, the camera 3, which is a photographing device, acquires an image of the hall or the like. At this time, the camera 3 acquires a depth image as an image. Further, in S2, the camera 3 acquires the time when the depth image is acquired in S1, that is, the time when the image is taken. Then, the camera 3 generates the depth image acquired in S1 and the depth image information including the time acquired in S2. Then, the camera 3 transmits the generated depth image information to the matching server 2.

そして、Ｓ３で、マッチング用サーバ２の位置検出部１１は、深度画像情報からユーザＵの手の位置を検出する。この際、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔのライブラリを用いて、深度画像からユーザ（人）Ｕの手の位置を抽出し、ユーザＵの手の高さについてのデータを算出する。また、この際、位置検出部１１は、手を抽出した画像を取得した時刻、すなわち、手を抽出した画像が撮影された時刻も、取得する。これにより、ユーザＵの手の位置、および、その手を抽出した画像を取得した時刻を含む、ユーザＵの手の位置情報が生成される。 Then, in S3, the position detection unit 11 of the matching server 2 detects the position of the user U's hand from the depth image information. At this time, using the Kinect library of Microsoft Corporation, the position of the hand of the user (person) U is extracted from the depth image, and the data about the height of the hand of the user U is calculated. At this time, the position detection unit 11 also acquires the time when the image from which the hand is extracted is acquired, that is, the time when the image from which the hand is extracted is taken. As a result, the position information of the hand of the user U including the position of the hand of the user U and the time when the image obtained by extracting the hand is acquired is generated.

ここで、画像が撮影されたタイミングが一定でないため、手の位置情報を示すデータでは、互いに対して隣り合うデータ点間の時間間隔が一定でない。このため、Ｓ４において、第１運動データ算出部１２は、手の位置情報を示すデータのテータ点間を線形補間する。線形補間が行われることにより、手の位置情報を示すデータにおいて、互いに対して隣り合うデータ点間のある時点における手の位置も、算出可能になる。そして、第１運動データ算出部１２は、線形補間の結果を用いて、観察開始から観察終了まで一定のサンプリング間隔Ｔでサンプリングされたデータに変換する。これにより、手の位置情報について、一定のサンプリング間隔Ｔでサンプリングされたデータが生成される。 Here, since the timing at which the image is taken is not constant, the time interval between the data points adjacent to each other is not constant in the data indicating the position information of the hand. Therefore, in S4, the first motion data calculation unit 12 linearly interpolates between the data points of the data indicating the position information of the hand. By performing linear interpolation, it becomes possible to calculate the position of the hand at a certain point in time between the data points adjacent to each other in the data indicating the position information of the hand. Then, the first motion data calculation unit 12 converts the data sampled at a constant sampling interval T from the start of observation to the end of observation by using the result of linear interpolation. As a result, data sampled at a constant sampling interval T is generated for the position information of the hand.

図６は、Ｓ３，Ｓ４の処理で生成された、手の鉛直方向についての位置情報に関するデータの一例を示す。手の位置情報を示すデータでは、鉛直方向についての手の位置（高さ）の経時的な変化が示される。図６の一例では、範囲ΔＴ１において、手が上昇中であり、範囲ΔＴ２において、手が下降中である。 FIG. 6 shows an example of data regarding the position information in the vertical direction of the hand generated by the processes of S3 and S4. The data showing the position information of the hand shows the change over time in the position (height) of the hand in the vertical direction. In one example of FIG. 6, the hand is rising in the range ΔT1 and the hand is descending in the range ΔT2.

そして、図５に示すように、Ｓ５において、第１運動データ算出部１２は、手の位置情報についてサンプリングされたデータから、手の鉛直方向についての速度ｖを示すデータを算出する。この際、鉛直方向についての手の位置を時間微分することにより、手の鉛直方向についての速度データが算出される。例えば、サンプリングされたデータにおいてデータ点（ｔ１，ｈ１）とそのテータ点（ｔ１，ｈ１）の１つ後のデータ点（ｔ２，ｈ２）との間での手の鉛直方向についての速度ｖ１→２は、式（１）のようにして算出される。 Then, as shown in FIG. 5, in S5, the first motion data calculation unit 12 calculates data indicating the velocity v in the vertical direction of the hand from the data sampled for the position information of the hand. At this time, the velocity data in the vertical direction of the hand is calculated by time-differentiating the position of the hand in the vertical direction. For example, in the sampled data, the vertical direction of the hand between the data point (t 1 , h 1 ) and the data point (t 2 , h 2 ) one after the data point (t 1 , h 1 ). The velocity v 1 → 2 for is calculated as in the equation (1).

Figure 0007018630000001
Figure 0007018630000001

そして、Ｓ６において、第１運動データ算出部１２は、手の鉛直方向についての速度データから、手の鉛直方向についての運動状態に関する第１運動データを算出する。第１運動データでは、観察開始から観察終了までの間のデータ点のそれぞれにおいて、ユーザＵの手が、上昇中、下降中、および、上下の変化なしの３つの状態のいずれであるかが、示される。したがって、第１運動データでは、手が上昇している上昇時刻、および、手が下降している下降時刻を示すデータである。 Then, in S6, the first motion data calculation unit 12 calculates the first motion data regarding the motion state in the vertical direction of the hand from the velocity data in the vertical direction of the hand. In the first motion data, at each of the data points from the start of the observation to the end of the observation, which of the three states the user U's hand is in the three states of ascending, descending, and unchanged up and down is determined. Shown. Therefore, the first motion data is data showing the ascending time when the hand is rising and the descending time when the hand is descending.

ここで、鉛直方向についての手の速度ｖに関して、上側を正とし、下側を負とする。手を上昇させる動作では、鉛直方向についての手の速度ｖは正になり、０から離れた値になる。一方、手を下降させる動作では、鉛直方向についての手の速度ｖは負になり、０から離れた値になる。前述のような特徴を利用して、第１運動データ算出部１２は、それぞれの時点（データ点）において、ユーザＵの手が、上昇中、下降中、および、上下の変化なしのいずれであるかを、判断する。 Here, regarding the speed v of the hand in the vertical direction, the upper side is positive and the lower side is negative. In the action of raising the hand, the velocity v of the hand in the vertical direction becomes positive and becomes a value away from 0. On the other hand, in the action of lowering the hand, the velocity v of the hand in the vertical direction becomes negative and becomes a value away from 0. Utilizing the above-mentioned characteristics, the first motion data calculation unit 12 indicates that the user U's hand is ascending, descending, or unchanged up and down at each time point (data point). To judge.

また、第１運動データでは、各データ点において、手の運動状態を示すパラメータが設定される。すなわち、第１運動データでは、手の運動状態を示すパラメータの経時的な変化が示される。手が上昇中であると判断されたデータ点では、パラメータは、１に設定され、手が下降中であると判断されたデータ点では、パラメータは、－１に設定される。そして、手の上下の変化なしと判断されたデータ点では、パラメータは、０に設定される。 Further, in the first motion data, a parameter indicating the motion state of the hand is set at each data point. That is, the first motion data shows changes over time in the parameters indicating the motion state of the hand. For data points where the hand is determined to be ascending, the parameter is set to 1, and for data points where the hand is determined to be descending, the parameter is set to -1. Then, at the data point where it is determined that there is no change in the vertical movement of the hand, the parameter is set to 0.

まず、手が上昇中であるか否かの判断について、説明する。手が上昇中であるか否かの判断では、第１運動データ算出部１２は、鉛直方向の速度ｖに関して、２つの閾値β＋，γ＋を正の閾値として設定する。ここで、閾値β＋，γ＋は、０より大きく、閾値（第１閾値）β＋は、閾値（第２閾値）γ＋より大きい。すなわち、閾値β＋の絶対値は、閾値γ＋の絶対値より大きく、０＜γ＋＜β＋の関係が成立する。なお、ある一例では、閾値β＋は１ｍ/ｓであり、閾値γ＋は０．１ｍ/ｓである。 First, the judgment as to whether or not the hand is rising will be described. In determining whether or not the hand is climbing, the first motion data calculation unit 12 sets two threshold values β + and γ + as positive threshold values with respect to the velocity v in the vertical direction. Here, the threshold value β + and γ + are larger than 0, and the threshold value (first threshold value) β + is larger than the threshold value (second threshold value) γ + . That is, the absolute value of the threshold value β + is larger than the absolute value of the threshold value γ + , and the relationship of 0 <γ + <β + is established. In one example, the threshold value β + is 1 m / s, and the threshold value γ + is 0.1 m / s.

手が上昇中であるか否かの判断では、第１運動データ算出部１２は、速度データのデータ点の中で、速度ｖが閾値β＋以上になるデータ点を検出する。そして、第１運動データ算出部１２は、速度ｖが閾値β＋以上になるデータ点およびそのデータ点の前後において、経時的に継続して速度ｖが閾値γ＋以上になる範囲を、検出する。そして、第１運動データ算出部１２は、速度ｖが経時的に継続して閾値γ＋以上になる範囲として検出した範囲では、手が上昇中であると判断する。また、第１運動データ算出部１２は、前述の検出した範囲内で一番早い時刻のデータ点を手の上昇開始時刻とし、前述の検出した範囲内で一番遅い時刻のデータ点を手の上昇終了時刻とする。 In determining whether or not the hand is climbing, the first motion data calculation unit 12 detects a data point whose velocity v is equal to or higher than the threshold value β + among the data points of the velocity data. Then, the first motion data calculation unit 12 detects a data point where the velocity v becomes the threshold value β + or more, and a range in which the velocity v continuously reaches the threshold value γ + or more over time before and after the data point. .. Then, the first motion data calculation unit 12 determines that the hand is rising in the range detected as the range in which the velocity v continuously becomes the threshold value γ + or more over time. Further, the first motion data calculation unit 12 sets the data point at the earliest time in the above-mentioned detected range as the ascending start time of the hand, and sets the data point at the latest time in the above-mentioned detected range as the hand. It is the end time of the climb.

図７は、手が上昇中であるか否かの判断の一例を説明する。図７の一例では、手の鉛直方向についての速度データが示される。図７の一例では、例えばデータ点Ｄ１が、速度ｖが閾値β＋以上になるデータ点として検出される。そして、データ点Ｄ１およびデータ点Ｄ１の前後において経時的に継続して速度ｖが閾値γ＋以上になる範囲として、範囲ΔＴ３が検出される。そして、範囲ΔＴ３では、手が上昇中であると判断される。また、範囲ΔＴ３内で一番早い時刻のデータ点Ｄ２が手の上昇開始時刻とされ、範囲ΔＴ３内で一番遅い時刻のデータ点Ｄ３が手の上昇終了時刻とされる。 FIG. 7 illustrates an example of determining whether or not the hand is rising. In one example of FIG. 7, velocity data in the vertical direction of the hand is shown. In one example of FIG. 7, for example, the data point D1 is detected as a data point whose velocity v is equal to or higher than the threshold value β + . Then, the range ΔT3 is detected as a range in which the velocity v continuously becomes the threshold value γ + or more over time before and after the data point D1 and the data point D1. Then, in the range ΔT3, it is determined that the hand is rising. Further, the data point D2 at the earliest time in the range ΔT3 is set as the ascending start time of the hand, and the data point D3 at the latest time in the range ΔT3 is set as the ascending end time of the hand.

次に、手が下降中であるか否かの判断について、説明する。手が下降中であるか否かの判断では、第１運動データ算出部１２は、鉛直方向の速度ｖに関して、２つの閾値β―，γ―を負の閾値として設定する。ここで、閾値β－，γ－は、０より小さく、閾値（第１閾値）β－は、閾値（第２閾値）γ－より小さい。すなわち、閾値β－の絶対値は、閾値γ－の絶対値より大きく、０＞γ－＞β－の関係が成立する。なお、ある一例では、閾値β－は－１ｍ/ｓであり、閾値γ―は－０．１ｍ/ｓである。 Next, the determination of whether or not the hand is descending will be described. In determining whether or not the hand is descending, the first motion data calculation unit 12 sets two threshold values β- and γ - as negative threshold values with respect to the velocity v in the vertical direction. Here, the threshold values β − and γ − are smaller than 0, and the threshold value (first threshold value) β − is smaller than the threshold value (second threshold value) γ − . That is, the absolute value of the threshold value β − is larger than the absolute value of the threshold value γ − , and the relationship of 0> γ − > β − is established. In one example, the threshold value β − is -1 m / s, and the threshold value γ − is −0.1 m / s.

手が下降中であるか否かの判断では、第１運動データ算出部１２は、速度データのデータ点の中で、速度ｖが閾値β－以下になるデータ点を検出する。そして、第１運動データ算出部１２は、速度ｖが閾値β－以下になるデータ点およびそのデータ点の前後において、経時的に継続して速度ｖが閾値γ－以下になる範囲を、検出する。そして、第１運動データ算出部１２は、速度ｖが経時的に継続して閾値γ－以下になる範囲として検出した範囲では、手が下降中であると判断する。また、第１運動データ算出部１２は、前述の検出した範囲内で一番早い時刻のデータ点を手の下降開始時刻とし、前述の検出した範囲内で一番遅い時刻のデータ点を手の下降終了時刻とする。 In determining whether or not the hand is descending, the first motion data calculation unit 12 detects a data point whose velocity v is equal to or less than the threshold value β − among the data points of the velocity data. Then, the first motion data calculation unit 12 detects a data point at which the velocity v becomes the threshold value β − or less and a range in which the velocity v continuously becomes the threshold value γ − or less over time before and after the data point. .. Then, the first motion data calculation unit 12 determines that the hand is descending in the range detected as the range in which the velocity v continuously becomes the threshold value γ − or less over time. Further, the first motion data calculation unit 12 sets the data point at the earliest time in the above-mentioned detected range as the descent start time of the hand, and sets the data point at the latest time in the above-mentioned detected range as the hand. It is the descent end time.

また、第１運動データ算出部１２は、手が上昇中と判断した範囲、および、手が下降中と判断した範囲のいずれにも該当しない範囲では、手の上下の変化なしと判断する。 Further, the first motion data calculation unit 12 determines that there is no change in the vertical movement of the hand in a range that does not correspond to either the range determined that the hand is ascending or the range determined that the hand is descending.

図８は、第１運動データの一例を示す。図８の一例の第１運動データでは、範囲ΔＴ４において、手が上昇中であると判断され、手の運動状態を示すパラメータが１に設定される。そして、範囲ΔＴ５において、手が下降中であると判断され、手の運動状態を示すパラメータが－１に設定される。そして、範囲ΔＴ４，ΔＴ５のいずれにも該当しない範囲では、手の上下の変化なしと判断され、手の運動状態を示すパラメータが０に設定される。 FIG. 8 shows an example of the first motion data. In the first motion data of the example of FIG. 8, it is determined that the hand is ascending in the range ΔT4, and the parameter indicating the motion state of the hand is set to 1. Then, in the range ΔT5, it is determined that the hand is descending, and the parameter indicating the motion state of the hand is set to -1. Then, in the range that does not correspond to any of the ranges ΔT4 and ΔT5, it is determined that there is no change in the vertical movement of the hand, and the parameter indicating the motion state of the hand is set to 0.

なお、前述の一例では、手の上昇中の速度について２つの閾値β＋，γ＋が設定され、手の下降中の速度について２つの閾値β－，γ－が設定されるが、これに限るものではない。手の上昇中の速度については、１つの閾値が設定されてもよく、３つ以上の閾値が設定されてもよい。同様に、手の下降中の速度についても、１つの閾値が設定されてもよく、３つ以上の閾値が設定されてもよい。速度についての閾値の数が増加することにより、手の運動状態を示すパラメータの数を増加させることも可能になる。 In the above example, two thresholds β + and γ + are set for the speed of the hand ascending, and two thresholds β − and γ − are set for the speed of the hand descending, but the present invention is limited to this. It's not a thing. For the ascending speed of the hand, one threshold may be set or three or more thresholds may be set. Similarly, one threshold value may be set or three or more threshold values may be set for the speed during descent of the hand. By increasing the number of thresholds for velocity, it is also possible to increase the number of parameters indicating the state of movement of the hand.

例えば、ある一例では、手の上昇中の速度について３つの閾値β＋，γ＋，ε＋が設定される。そして、上昇中の速度についての３つの閾値β＋，γ＋，ε＋に基づいて、第１の運動データ算出部１２は、ユーザＵの手が、上下の変化なし、比較的遅い速度で上昇中、および、比較的速い速度で上昇中のいずれであるかを、判断する。この場合、手の運動状態を示すパラメータは、手が比較的速い速度で上昇中と判断されたデータ点では２に設定され、手が比較的遅い速度で上昇中と判断されたデータ点では１に設定される。そして、手の上下の変化なしと判断されたデータ点では、パラメータは０に設定される。 For example, in one example, three thresholds β + , γ + , and ε + are set for the ascending speed of the hand. Then, based on the three thresholds β + , γ + , and ε + for the ascending speed, the first motion data calculation unit 12 causes the user U's hand to ascend at a relatively slow speed without any vertical change. Determine whether it is medium or ascending at a relatively high speed. In this case, the parameter indicating the motion state of the hand is set to 2 at the data point where the hand is judged to be climbing at a relatively high speed, and 1 at the data point where the hand is judged to be climbing at a relatively slow speed. Is set to. Then, the parameter is set to 0 at the data point where it is determined that there is no change in the vertical movement of the hand.

また、この一例では、手の下降中の速度について３つの閾値β－，γ－，ε－が設定される。そして、下降中の速度についての３つの閾値β－，γ－，ε－に基づいて、第１の運動データ算出部１２は、ユーザＵの手が、上下の変化なし、比較的遅い速度で下降中、および、比較的速い速度で下降中のいずれであるかを、判断する。この場合、手の運動状態を示すパラメータは、手が比較的速い速度で下降中と判断されたデータ点では－２に設定され、手が比較的遅い速度で下降中と判断されたデータ点では－１に設定される。そして、手の上下の変化なしと判断されたデータ点では、パラメータは０に設定される。 Further, in this example, three threshold values β − , γ − , and ε − are set for the speed during descent of the hand. Then , based on the three thresholds β- , γ- , and ε- for the speed during descent, the first motion data calculation unit 12 causes the user U's hand to descend at a relatively slow speed without any vertical change. Determine whether it is medium or descending at a relatively high speed. In this case, the parameter indicating the motion state of the hand is set to -2 at the data point where the hand is judged to be descending at a relatively high speed, and at the data point where the hand is judged to be descending at a relatively slow speed. Set to -1. Then, the parameter is set to 0 at the data point where it is determined that there is no change in the vertical movement of the hand.

また、図５に示すように、対応付けシステム１では、Ｓ７において、端末４のセンサ情報取得部７が、加速度センサ６での検知結果を取得する。また、Ｓ８において、センサ情報取得部７は、加速度センサ６が検知を行った時点の時刻を取得する。そして、端末４は、Ｓ７で取得した検知結果、および、Ｓ８で取得した時刻を含むセンサ情報を生成する。そして、端末４の通信制御部８は、生成したセンサ情報を、マッチング用サーバ２に送信させる。 Further, as shown in FIG. 5, in the mapping system 1, in S7, the sensor information acquisition unit 7 of the terminal 4 acquires the detection result of the acceleration sensor 6. Further, in S8, the sensor information acquisition unit 7 acquires the time at the time when the acceleration sensor 6 detects. Then, the terminal 4 generates the sensor information including the detection result acquired in S7 and the time acquired in S8. Then, the communication control unit 8 of the terminal 4 causes the matching server 2 to transmit the generated sensor information.

そして、Ｓ９で、マッチング用サーバ２の加速度検出部１３は、センサ情報から端末４の鉛直方向の加速度ａを検出する。加速度検出部１３は、端末４が検出した加速度ａになった時刻も、取得する。これにより、端末４の鉛直方向の加速度ａ、および、端末４がその加速度ａになった時刻を含む、端末４の鉛直方向の加速度情報が生成される。 Then, in S9, the acceleration detection unit 13 of the matching server 2 detects the acceleration a in the vertical direction of the terminal 4 from the sensor information. The acceleration detection unit 13 also acquires the time when the acceleration a detected by the terminal 4 is reached. As a result, the vertical acceleration information of the terminal 4 including the vertical acceleration a of the terminal 4 and the time when the terminal 4 reaches the acceleration a is generated.

ここで、加速度センサ６が検知を行うタイミングが一定でないため、端末４の加速度情報を示すデータでは、互いに対して隣り合うデータ点間の時間間隔が一定でない。このため、Ｓ１０において、第２運動データ算出部１４は、端末４の鉛直方向の加速度情報を示すデータのテータ点間を線形補間する。線形補間が行われることにより、端末４の加速度情報を示すデータにおいて、互いに対して隣り合うデータ点間のある時点における端末４の鉛直方向の加速度ａも、算出可能になる。そして、第２運動データ算出部１４は、線形補間の結果を用いて、観察開始から観察終了まで一定のサンプリング間隔Ｔでサンプリングされたデータに変換する。これにより、端末４の鉛直方向の加速度情報について、一定のサンプリング間隔Ｔでサンプリングされたデータが生成される。なお、Ｓ１０では、Ｓ４と同一のサンプリング間隔Ｔでサンプリングが行われる。 Here, since the timing at which the acceleration sensor 6 detects is not constant, the time interval between the data points adjacent to each other is not constant in the data showing the acceleration information of the terminal 4. Therefore, in S10, the second motion data calculation unit 14 linearly interpolates between the data points of the data indicating the acceleration information in the vertical direction of the terminal 4. By performing linear interpolation, in the data showing the acceleration information of the terminal 4, the vertical acceleration a of the terminal 4 at a certain point in time between the data points adjacent to each other can also be calculated. Then, the second motion data calculation unit 14 uses the result of linear interpolation to convert the data into data sampled at a constant sampling interval T from the start of observation to the end of observation. As a result, data sampled at a constant sampling interval T is generated for the acceleration information in the vertical direction of the terminal 4. In S10, sampling is performed at the same sampling interval T as in S4.

そして、Ｓ１１において、第２運動データ算出部１４は、端末４の加速度情報についてサンプリングされたデータから、端末４に作用する力の方向に関するデータを算出する。端末４に作用する力の方向に関するデータでは、観察開始から観察終了までの間のデータ点のそれぞれにおいて、端末４に力が、上方向に作用している、下方向に作用している、および、作用していないまたはほとんど作用していない、の３つの状態のいずれであるかが、示される。 Then, in S11, the second motion data calculation unit 14 calculates the data regarding the direction of the force acting on the terminal 4 from the data sampled for the acceleration information of the terminal 4. In the data regarding the direction of the force acting on the terminal 4, at each of the data points from the start of observation to the end of observation, the force acts on the terminal 4 in the upward direction, in the downward direction, and in the downward direction. It is indicated whether it is in one of the three states, that is, it is not working or it is hardly working.

端末４に作用する力の方向に関するデータでは、各データ点において、力の方向を示すパラメータが設定される。すなわち、力の方向に関するデータでは、力の方向を示すパラメータの経時的な変化が示される。力が上方向に作用していると判断されたデータ点では、パラメータは、１に設定され、力が下方向にしていると判断されたデータ点では、パラメータは、－１に設定される。そして、力が作用していないまたはほとんど作用していないと判断されたデータ点では、パラメータは、０に設定される。 In the data regarding the direction of the force acting on the terminal 4, a parameter indicating the direction of the force is set at each data point. That is, the data regarding the direction of force shows the change over time of the parameter indicating the direction of force. At data points where it is determined that the force is acting upwards, the parameter is set to 1, and at data points where it is determined that the force is acting downwards, the parameter is set to -1. Then, at the data point where it is determined that the force is not acting or hardly is acting, the parameter is set to 0.

ここで、鉛直方向についての端末４の加速度ａに関して、上側を正とし、下側を負とする。端末４に作用する力の方向に関するデータの算出においては、第２運動データ算出部１４は、鉛直方向の加速度ａに関して、２つの閾値θ，φを設定する。閾値θは、閾値φより大きく、φ＜θの関係が成立する。ある実施例では、鉛直方向の加速度ａとして、加速度センサでの検知された鉛直方向の加速度から重力加速度（９．８ｍ／ｓ２）を減算した値が、用いられる。そして、閾値θは、０より大きく、閾値φは、０より小さい。このため、φ＜０＜θの関係が成立する。この場合、例えば、閾値θは、２ｍ/ｓ２であり、閾値φは－２ｍ/ｓ２である。また、別のある実施例では、鉛直方向の加速度ａの算出において、重量加速度の減算等が行われず、加速度ａとして、加速度センサでの検知された鉛直方向の加速度が、そのまま用いられる。そして、閾値θは、重力加速度より大きく、閾値φは、重力加速度より小さい。このため、φ＜９．８＜θの関係が成立する。 Here, regarding the acceleration a of the terminal 4 in the vertical direction, the upper side is positive and the lower side is negative. In the calculation of the data regarding the direction of the force acting on the terminal 4, the second motion data calculation unit 14 sets two thresholds θ and φ with respect to the acceleration a in the vertical direction. The threshold value θ is larger than the threshold value φ, and the relationship of φ <θ is established. In one embodiment, as the vertical acceleration a, a value obtained by subtracting the gravitational acceleration (9.8 m / s 2 ) from the vertical acceleration detected by the acceleration sensor is used. Then, the threshold value θ is larger than 0, and the threshold value φ is smaller than 0. Therefore, the relationship of φ <0 <θ is established. In this case, for example, the threshold value θ is 2 m / s 2 , and the threshold value φ is −2 m / s 2 . Further, in another embodiment, the weight acceleration is not subtracted in the calculation of the vertical acceleration a, and the vertical acceleration detected by the acceleration sensor is used as the acceleration a as it is. The threshold value θ is larger than the gravitational acceleration, and the threshold value φ is smaller than the gravitational acceleration. Therefore, the relationship of φ <9.8 <θ is established.

力の方向に関するデータの算出では、第２運動データ算出部１４は、加速度ａが閾値θより大きいデータ点、すなわち、ａ＞θになるデータ点において、端末４に力が上方向に作用していると、判断する。また、第２運動データ算出部１４は、加速度ａが閾値φより小さいデータ点、すなわち、φ＞ａになるデータ点において、端末４に力が下方向に作用していると、判断する。そして、第２運動データ算出部１４は、加速度ａが閾値φ以上閾値θ以下になるデータ点、すなわち、φ≦ａ≦θになるデータ点において、端末４に力が作用していないまたはほとんど作用していないと、判断する。 In the calculation of the data regarding the direction of the force, the second motion data calculation unit 14 exerts the force upward on the terminal 4 at the data point where the acceleration a is larger than the threshold value θ, that is, the data point where a> θ. Judge that there is. Further, the second motion data calculation unit 14 determines that the force is acting downward on the terminal 4 at the data point where the acceleration a is smaller than the threshold value φ, that is, the data point where φ> a. Then, the second motion data calculation unit 14 has no or almost no force acting on the terminal 4 at the data point where the acceleration a is equal to or greater than the threshold value and equal to or less than the threshold value θ, that is, the data point where φ ≦ a ≦ θ. Judge that you have not done so.

図９は、Ｓ１１の処理の一例を示す。図９の一例では、Ｓ１１において、端末４の鉛直方向についての加速度ａを示すデータＢ１が、端末４に作用する力の方向を示すデータＢ２に変換される。そして、図９の一例では、範囲ΔＴ６，ΔＴ９において、端末４に上方向の力が作用していると、判断される。このため、データＢ２では、範囲ΔＴ６，ΔＴ９において、作用する力の方向を示すパラメータが１に設定される。また、範囲ΔＴ７，ΔＴ８において、端末４に下方向の力が作用していると、判断される。このため、データＢ２では、範囲ΔＴ７，ΔＴ８において、作用する力の方向を示すパラメータが－１に設定される。そして、範囲ΔＴ６～ΔＴ９のいずれにも該当しない範囲では、端末４に鉛直方向の力が作用していないまたはほとんど作用していないと、判断される。このため、データＢ２では、範囲ΔＴ６～ΔＴ９のいずれにも該当しない範囲において、作用する力の方向を示すパラメータが０に設定される。 FIG. 9 shows an example of the processing of S11. In an example of FIG. 9, in S11, the data B1 indicating the acceleration a in the vertical direction of the terminal 4 is converted into the data B2 indicating the direction of the force acting on the terminal 4. Then, in one example of FIG. 9, it is determined that an upward force is acting on the terminal 4 in the ranges ΔT6 and ΔT9. Therefore, in the data B2, the parameter indicating the direction of the acting force is set to 1 in the ranges ΔT6 and ΔT9. Further, in the ranges ΔT7 and ΔT8, it is determined that a downward force is acting on the terminal 4. Therefore, in the data B2, the parameter indicating the direction of the acting force is set to -1 in the ranges ΔT7 and ΔT8. Then, in the range that does not correspond to any of the ranges ΔT6 to ΔT9, it is determined that the force in the vertical direction does not act on the terminal 4 or hardly acts on the terminal 4. Therefore, in the data B2, the parameter indicating the direction of the acting force is set to 0 in the range that does not correspond to any of the ranges ΔT6 to ΔT9.

なお、前述の一例では、加速度ａについて２つの閾値θ，φが設定されるが、これに限るものではない。例えば、加速度ａについては、３つ以上の閾値が設定されてもよい。加速度ａについての閾値の数が増加することにより、端末４に作用する力に関するパラメータの数を増加させることも可能になる。 In the above example, two threshold values θ and φ are set for the acceleration a, but the present invention is not limited to this. For example, for the acceleration a, three or more threshold values may be set. By increasing the number of thresholds for the acceleration a, it is also possible to increase the number of parameters related to the force acting on the terminal 4.

ある一例では、加速度ａについての閾値が３つ以上設定される。そして、第２運動データ算出部１４は、端末４に上方向に作用していると判断した場合に、端末４への上方向への大きさを判断する。そして、端末４に作用する力に関するパラメータは、端末４への上方向の力が比較的大きいと判断されたデータ点では２に設定され、端末４への上方向の力が比較的小さいと判断されたデータ点では１に設定される。 In one example, three or more thresholds for the acceleration a are set. Then, when it is determined that the second motion data calculation unit 14 is acting on the terminal 4 in the upward direction, the second motion data calculation unit 14 determines the size of the terminal 4 in the upward direction. Then, the parameter related to the force acting on the terminal 4 is set to 2 at the data point where the upward force on the terminal 4 is determined to be relatively large, and it is determined that the upward force on the terminal 4 is relatively small. It is set to 1 at the set data points.

また、この一例では、第２運動データ算出部１４は、端末４に下方向に作用していると判断した場合に、端末４への下方向への大きさを判断する。そして、端末４に作用する力に関するパラメータは、端末４への下方向の力が比較的大きいと判断されたデータ点では－２に設定され、端末４への下方向の力が比較的小さいと判断されたデータ点では－１に設定される。本一例でも、端末４に力が作用しないまたはほとんど作用しないと判断されたデータ点では、パラメータは０に設定される。 Further, in this example, when the second motion data calculation unit 14 determines that the terminal 4 is acting downward, the second motion data calculation unit 14 determines the size of the terminal 4 in the downward direction. The parameter relating to the force acting on the terminal 4 is set to -2 at the data point where it is determined that the downward force on the terminal 4 is relatively large, and the downward force on the terminal 4 is relatively small. The determined data point is set to -1. Even in this example, the parameter is set to 0 at the data points where it is determined that no force acts on the terminal 4 or almost no force acts on the terminal 4.

そして、図５に示すように、Ｓ１２において、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータを用いて、端末４の鉛直方向についての運動状態に関する第２運動データを算出する。第２運動データでは、観察開始から観察終了までの間のデータ点のそれぞれにおいて、端末４が、上昇中、下降中、および、上下の変化なしの３つの状態のいずれであるかが、示される。したがって、第２運動データは、端末４が上昇している上昇時刻、および、端末４が下降している下降時刻を示すデータである。 Then, as shown in FIG. 5, in S12, the second motion data calculation unit 14 uses the data regarding the direction of the force acting on the terminal 4 to obtain the second motion data regarding the motion state in the vertical direction of the terminal 4. calculate. The second motion data indicates whether the terminal 4 is in the three states of ascending, descending, and unchanged up and down at each of the data points from the start of observation to the end of observation. .. Therefore, the second motion data is data indicating the ascending time when the terminal 4 is ascending and the descending time when the terminal 4 is descending.

端末４（手）を上昇させる動作では、上昇開始時およびその直後において、端末４に上方向への力が作用する。そして、上昇終了時およびその直前において、端末４に下方向への力が作用する。このため、端末４の上昇中は、端末４に作用する力が上方向から下方向へ変化する。一方、端末４（手）を下降させる動作では、下降開始時およびその直後において、端末４に下方向への力が作用する。そして、下降終了時およびその直前において、端末４に上方向への力が作用する。このため、端末４の下降中は、端末４に作用する力が下方向から上方向へ変化する。前述のような特徴を利用して、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータに基づいて、それぞれの時点（データ点）において、端末４が、上昇中、下降中、および、上下の変化なしのいずれであるかを、判断する。 In the operation of raising the terminal 4 (hand), an upward force acts on the terminal 4 at the start of the ascent and immediately after that. Then, at the end of the ascent and immediately before that, a downward force acts on the terminal 4. Therefore, while the terminal 4 is ascending, the force acting on the terminal 4 changes from the upward direction to the downward direction. On the other hand, in the operation of lowering the terminal 4 (hand), a downward force acts on the terminal 4 at the start of the descent and immediately after that. Then, an upward force acts on the terminal 4 at the end of the descent and immediately before the descent. Therefore, while the terminal 4 is descending, the force acting on the terminal 4 changes from the downward direction to the upward direction. Utilizing the above-mentioned characteristics, the second motion data calculation unit 14 determines that the terminal 4 is ascending and descending at each time point (data point) based on the data regarding the direction of the force acting on the terminal 4. Judge whether it is medium or no change up and down.

また、第２運動データでは、各データ点において、端末４の運動状態を示すパラメータが設定される。すなわち、第２運動データでは、端末４の運動状態を示すパラメータの経時的な変化が示される。端末４が上昇中であると判断されたデータ点では、パラメータは１に設定され、端末４が下降中であると判断されたデータ点では、パラメータは－１に設定される。そして、端末４の上下の変化なしと判断されたデータ点では、パラメータは０に設定される。 Further, in the second motion data, a parameter indicating the motion state of the terminal 4 is set at each data point. That is, the second motion data shows changes over time in the parameters indicating the motion state of the terminal 4. At the data point where the terminal 4 is determined to be ascending, the parameter is set to 1, and at the data point where the terminal 4 is determined to be descending, the parameter is set to -1. Then, at the data point determined that there is no change in the vertical direction of the terminal 4, the parameter is set to 0.

以下、第２運動データの算出について詳細に説明する。なお、以下の説明では、加速度ａについての２つの閾値θ，φに基づいて端末４に作用する力の方向に関する前述のデータが算出された場合について、説明する。 Hereinafter, the calculation of the second exercise data will be described in detail. In the following description, the case where the above-mentioned data regarding the direction of the force acting on the terminal 4 is calculated based on the two threshold values θ and φ for the acceleration a will be described.

まず、端末４が上昇中であるか否かの判断について、説明する。端末４が上昇中であるか否かの判断では、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータから、次の２つの条件を満たす基準データ点（第１基準データ点）を検出する。１つ目の条件として、基準データ点において力が下方向に作用していることが、必要になる。また、２つ目の条件は、基準データ点に対して１つ前のデータ点以前で、かつ、ｐ個前のデータ点以後のデータ点、すなわち、基準データ点の直前のｐ個のデータ点に基づいて、設定される。そして、２つ目の条件として、基準データ点の直前のｐ個のデータ点の中で、ｑ個以上のデータ点で力が上方向に作用していることが、必要になる。ここで、ｐ＞ｑである。 First, the determination of whether or not the terminal 4 is rising will be described. In determining whether or not the terminal 4 is climbing, the second motion data calculation unit 14 determines the reference data points (first reference data) that satisfy the following two conditions from the data regarding the direction of the force acting on the terminal 4. Point) is detected. As the first condition, it is necessary that the force acts downward at the reference data point. The second condition is the data points before the data point one before the reference data point and after the data point p before, that is, the p data points immediately before the reference data point. Is set based on. Then, as the second condition, it is necessary that the force acts upward at q or more data points among the p data points immediately before the reference data point. Here, p> q.

そして、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点の直前において、経時的に継続して力が上方向に作用している範囲を検出する。経時的に継続して力が上方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が上方向に作用し、力の方向を示すパラメータが１である。そして、第２運動データ算出部１４は、継続して力が上方向に作用している範囲として検出した範囲内の中で、一番早い時刻のデータ点を、端末４の上昇開始時刻とする。 Then, when the second motion data calculation unit 14 detects a reference data point satisfying the above-mentioned condition, it detects a range in which the force continuously acts upward over time immediately before the detected reference data point. do. Within the range detected as the range in which the force is continuously acting in the upward direction over time, the force acts in the upward direction at all the data points, and the parameter indicating the direction of the force is 1. Then, the second motion data calculation unit 14 sets the data point at the earliest time in the range detected as the range in which the force is continuously acting upward as the ascending start time of the terminal 4. ..

また、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点およびその直後において、経時的に継続して力が下方向に作用している範囲を検出する。経時的に継続して力が下方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が下方向に作用していると判断され、力の方向を示すパラメータが－１である。そして、第２運動データ算出部１４は、継続して力が下方向に作用している範囲として検出した範囲内の中で、一番遅い時刻のデータ点を、端末４の上昇終了時刻とする。 Further, when the second motion data calculation unit 14 detects a reference data point satisfying the above-mentioned conditions, the detected reference data point and immediately after that, the range in which the force continuously acts downward over time is determined. To detect. Within the range detected as the range in which the force is continuously acting downward over time, it is judged that the force is acting downward at all data points, and the parameter indicating the direction of the force is-. It is 1. Then, the second motion data calculation unit 14 sets the data point at the latest time in the range detected as the range in which the force is continuously acting downward as the ascending end time of the terminal 4. ..

そして、第２運動データ算出部１４は、端末４の上昇開始時刻と判断したデータ点以後で、かつ、端末４の上昇終了時刻と判断したデータ点以前の範囲において、端末４が上昇中と判断する。このため、端末４の上昇開始時刻と判断したデータ点以後で、かつ、端末４の上昇終了時刻と判断したデータ点以前の範囲では、全てのデータ点において、端末４が上昇中と判断され、端末４の運動状態を示すパラメータが１である。 Then, the second motion data calculation unit 14 determines that the terminal 4 is ascending within the range after the data point determined to be the ascending start time of the terminal 4 and before the data point determined to be the ascending end time of the terminal 4. do. Therefore, in the range after the data point determined to be the ascending start time of the terminal 4 and before the data point determined to be the ascending end time of the terminal 4, it is determined that the terminal 4 is ascending at all the data points. The parameter indicating the motion state of the terminal 4 is 1.

図１０は、端末４が上昇中であるか否かの判断の一例を説明する。図１０の一例では、端末４に作用する力の方向に関するデータが示される。また、図１０の一例では、前述のｐが７であり、前述のｑが３に設定される。図１０の一例では、例えば、端末４に作用する力の方向を示すデータにおいて、データ点Ｄ１１が、基準データ点として検出される。データ点Ｄ１１では、端末４に力が下方向に作用している。そして、データ点Ｄ１１の直前の７個のデータ点Ｄ４～Ｄ１０の中、すなわち、範囲ΔＴ１０内では、データ点Ｄ５～Ｄ９で、端末４に力が上方向に作用している。すなわち、データ点（基準データ点）Ｄ１１の直前の７個のデータ点Ｄ４～Ｄ１０の中で、３個以上（５個）のデータ点Ｄ５～Ｄ９で、力が上方向に作用している。 FIG. 10 describes an example of determining whether or not the terminal 4 is rising. In one example of FIG. 10, data regarding the direction of the force acting on the terminal 4 is shown. Further, in an example of FIG. 10, the above-mentioned p is 7, and the above-mentioned q is set to 3. In one example of FIG. 10, for example, in the data indicating the direction of the force acting on the terminal 4, the data point D11 is detected as a reference data point. At the data point D11, a force acts downward on the terminal 4. Then, in the seven data points D4 to D10 immediately before the data point D11, that is, within the range ΔT10, the force acts upward on the terminal 4 at the data points D5 to D9. That is, among the seven data points D4 to D10 immediately before the data point (reference data point) D11, the force acts upward at three or more (five) data points D5 to D9.

また、図１０の一例では、データ点Ｄ１１の直前において、データ点Ｄ５以後データ点Ｄ９以前の範囲ΔＴ１１内で、力が経時的に継続して上方向に作用している。このため、データ点Ｄ５が、端末４の上昇開始時刻と判断される。そして、図１０の一例では、データ点（基準データ点）Ｄ１１およびその直後において、データ点Ｄ１１～Ｄ１５で、力が下方向に作用している。すなわち、データ点Ｄ１１以後データ点Ｄ１５以前の範囲ΔＴ１２内で、力が経時的に継続して下方向に作用している。このため、データ点Ｄ１５が、端末４の上昇終了時刻と判断される。そして、端末４の上昇開始時刻と判断されたデータ点Ｄ５以後で、かつ、端末４の上昇終了時刻と判断したデータ点Ｄ１５以前の範囲ΔＴ１３で、端末４が上昇中と判断される。 Further, in an example of FIG. 10, immediately before the data point D11, the force continuously acts upward over time within the range ΔT11 after the data point D5 and before the data point D9. Therefore, the data point D5 is determined to be the rising start time of the terminal 4. Then, in one example of FIG. 10, a force acts downward at the data points (reference data points) D11 and immediately after that, at the data points D11 to D15. That is, within the range ΔT12 after the data point D11 and before the data point D15, the force continues to act downward over time. Therefore, the data point D15 is determined to be the rising end time of the terminal 4. Then, it is determined that the terminal 4 is ascending in the range ΔT13 after the data point D5 determined to be the ascending start time of the terminal 4 and before the data point D15 determined to be the ascending end time of the terminal 4.

次に、端末４が下降中であるか否かの判断について、説明する。端末４が下降中であるか否かの判断では、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータから、次の２つの条件を満たす基準データ点（第２基準データ点）を検出する。１つ目の条件として、基準データ点において力が上方向に作用していることが、必要になる。また、２つ目の条件は、基準データ点に対して１つ前のデータ点以前で、かつ、ｋ個前のデータ点以後のデータ点、すなわち、基準データ点の直前のｋ個のデータ点に基づいて、設定される。そして、２つ目の条件として、基準データ点の直前のｋ個のデータ点の中で、ｌ個以上のデータ点で力が下方向に作用していることが、必要になる。ここで、ｋ＞ｌである。ｋは、前述のｐに対して、同一の値であってもよく、異なる値であってもよい。同様に、ｌは、前述のｑに対して、同一の値であってもよく、異なる値であってもよい。 Next, the determination of whether or not the terminal 4 is descending will be described. In determining whether or not the terminal 4 is descending, the second motion data calculation unit 14 determines the reference data point (second reference data) that satisfies the following two conditions from the data regarding the direction of the force acting on the terminal 4. Point) is detected. As the first condition, it is necessary that the force acts upward at the reference data point. The second condition is the data points before the data point one before the reference data point and after the data point k before, that is, the k data points immediately before the reference data point. Is set based on. Then, as the second condition, it is necessary that the force acts downward at l or more data points among the k data points immediately before the reference data point. Here, k> l. k may have the same value or different values with respect to p described above. Similarly, l may have the same value or different values with respect to q described above.

そして、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点の直前において、経時的に継続して力が下方向に作用している範囲を検出する。経時的に継続して力が下方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が下方向に作用し、力の方向を示すパラメータが－１である。そして、第２運動データ算出部１４は、継続して力が下方向に作用している範囲として検出した範囲内の中で、一番早い時刻のデータ点を、端末４の下降開始時刻とする。 Then, when the second motion data calculation unit 14 detects a reference data point satisfying the above-mentioned condition, it detects a range in which the force continuously acts downward over time immediately before the detected reference data point. do. Within the range detected as the range in which the force is continuously acting in the downward direction over time, the force acts in the downward direction at all the data points, and the parameter indicating the direction of the force is -1. Then, the second motion data calculation unit 14 sets the data point at the earliest time in the range detected as the range in which the force is continuously acting downward as the descent start time of the terminal 4. ..

また、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点およびその直後において、経時的に継続して力が上方向に作用している範囲を検出する。経時的に継続して力が上方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が上方向に作用していると判断され、力の方向を示すパラメータが１である。そして、第２運動データ算出部１４は、継続して力が上方向に作用している範囲として検出した範囲内の中で、一番遅い時刻のデータ点を、端末４の下降終了時刻とする。 Further, when the second motion data calculation unit 14 detects a reference data point satisfying the above-mentioned conditions, the detected reference data point and immediately after that, the range in which the force continuously acts upward over time is determined. To detect. Within the range detected as the range in which the force is continuously acting upward over time, it is determined that the force is acting upward at all data points, and the parameter indicating the direction of the force is 1. Is. Then, the second motion data calculation unit 14 sets the data point at the latest time in the range detected as the range in which the force is continuously acting upward as the descent end time of the terminal 4. ..

そして、第２運動データ算出部１４は、端末４の下降開始時刻と判断したデータ点以後で、かつ、端末４の下降終了時刻と判断したデータ点以前の範囲において、端末４が下降中と判断する。このため、端末４の下降開始時刻と判断したデータ点以後で、かつ、端末４の下降終了時刻と判断したデータ点以前の範囲では、全てのデータ点において、端末４が下降中と判断され、端末４の運動状態を示すパラメータが－１である。 Then, the second motion data calculation unit 14 determines that the terminal 4 is descending within the range after the data point determined to be the descent start time of the terminal 4 and before the data point determined to be the descent end time of the terminal 4. do. Therefore, in the range after the data point determined to be the descent start time of the terminal 4 and before the data point determined to be the descent end time of the terminal 4, it is determined that the terminal 4 is descending at all the data points. The parameter indicating the motion state of the terminal 4 is -1.

また、第２運動データ算出部１４は、端末４が上昇中と判断した範囲、および、端末４が下降中と判断した範囲のいずれにも該当しない範囲では、端末４の上下の変化なしと判断する。 Further, the second motion data calculation unit 14 determines that there is no vertical change of the terminal 4 in a range that does not correspond to either the range determined that the terminal 4 is ascending or the range determined that the terminal 4 is descending. do.

図１１は、第２運動データの一例を示す。図１１の一例の第２運動データでは、範囲ΔＴ１４において、端末４が上昇中であると判断され、端末４の運動状態を示すパラメータが１に設定される。そして、範囲ΔＴ１５において、端末４が下降中であると判断され、端末４の運動状態を示すパラメータが－１に設定される。そして、範囲ΔＴ１４，ΔＴ１５のいずれにも該当しない範囲では、端末４の上下の変化なしと判断され、手の運動状態を示すパラメータが０に設定される。 FIG. 11 shows an example of the second motion data. In the second motion data of the example of FIG. 11, it is determined that the terminal 4 is ascending in the range ΔT14, and the parameter indicating the motion state of the terminal 4 is set to 1. Then, in the range ΔT15, it is determined that the terminal 4 is descending, and the parameter indicating the motion state of the terminal 4 is set to -1. Then, in the range that does not correspond to any of the ranges ΔT14 and ΔT15, it is determined that there is no vertical change of the terminal 4, and the parameter indicating the hand movement state is set to 0.

また、図９の一例の端末４に作用する力の方向を示すデータＢ２を、第２の運動データに変換する場合を考える。データＢ２の第２の運動データへの変換では、範囲ΔＴ１６において、端末４が上昇中と判断され、端末４の運動状態を示すパラメータが１に設定される。範囲ΔＴ１６には、前述の範囲ΔＴ６，ΔＴ７が含まれる。また、データＢ２の第２の運動データへの変換では、範囲ΔＴ１７において、端末４が下降中と判断され、端末４の運動状態を示すパラメータが－１に設定される。範囲ΔＴ１７には、前述の範囲ΔＴ８，ΔＴ９が含まれる。また、データＢ２の第２の運動データへの変換では、範囲ΔＴ１６，ΔＴ１７のいずれにも該当しない範囲において、端末４の上下の変化なしと判断され、端末４の運動状態を示すパラメータが０に設定される。 Further, consider a case where the data B2 indicating the direction of the force acting on the terminal 4 of the example of FIG. 9 is converted into the second motion data. In the conversion of the data B2 to the second motion data, it is determined that the terminal 4 is ascending in the range ΔT16, and the parameter indicating the motion state of the terminal 4 is set to 1. The range ΔT16 includes the above-mentioned ranges ΔT6 and ΔT7. Further, in the conversion of the data B2 to the second motion data, it is determined that the terminal 4 is descending in the range ΔT17, and the parameter indicating the motion state of the terminal 4 is set to -1. The range ΔT17 includes the above-mentioned ranges ΔT8 and ΔT9. Further, in the conversion of the data B2 to the second motion data, it is determined that there is no vertical change of the terminal 4 in the range that does not correspond to any of the ranges ΔT16 and ΔT17, and the parameter indicating the motion state of the terminal 4 becomes 0. Set.

また、図５に示すように、対応付けシステム１では、Ｓ１３において、マッチング処理部１５は、Ｓ６で算出されたユーザＵの手の第１運動データとＳ１２で算出された端末４の第２運動データとの相関値ｒを、算出する。例えば、カメラ３の撮影範囲に複数のユーザＵが存在し、ユーザＵのそれぞれが１つの端末４を所有するものとする。そして、Ｓ６で、全てのユーザＵのそれぞれについて、手の運動状態に関する第１運動データが算出され、Ｓ１２で、全てのユーザの端末４のそれぞれについて、端末４の運動状態に関する第２運動データが算出されるものとする。この場合、Ｓ１３では、各第１運動データに関して、全ての第２運動データのそれぞれに対する相関値ｒが、算出される。すなわち、各第２運動データに関して、全ての第１運動データのそれぞれに対する相関値ｒが、算出される。 Further, as shown in FIG. 5, in the mapping system 1, in S13, the matching processing unit 15 uses the first movement data of the user U's hand calculated in S6 and the second movement of the terminal 4 calculated in S12. The correlation value r with the data is calculated. For example, it is assumed that there are a plurality of users U in the shooting range of the camera 3, and each user U owns one terminal 4. Then, in S6, the first movement data regarding the movement state of the hand is calculated for each of all the users U, and in S12, the second movement data regarding the movement state of the terminal 4 is calculated for each of the terminals 4 of all the users. It shall be calculated. In this case, in S13, for each first movement data, the correlation value r for each of all the second movement data is calculated. That is, for each second movement data, the correlation value r for each of all the first movement data is calculated.

以下、相関値ｒの算出について詳細に説明する。なお、以下の説明では、加速度ａについての２つの閾値θ，φに基づいて端末４に作用する力の方向に関する前述のデータが算出された場合について、説明する。この場合、相関値ｒは、以下の式（２）を用いて算出される。 Hereinafter, the calculation of the correlation value r will be described in detail. In the following description, the case where the above-mentioned data regarding the direction of the force acting on the terminal 4 is calculated based on the two threshold values θ and φ for the acceleration a will be described. In this case, the correlation value r is calculated using the following equation (2).

Figure 0007018630000002
Figure 0007018630000002

式（２）では、第１運動データ及び第２運動データのそれぞれにおいて、１～ｎのｎ個のデータ点が存在する。そして、ｘｉは、第１運動データの各データ点での手の運動状態を示すパラメータであり、－１，０，１のいずれかの値である。同様に、ｙｉは、第２運動データの各データ点での端末４の運動状態を示すパラメータであり、－１，０，１のいずれかの値である。そして、ｘａｖは、第１運動データの全てのデータ点での手の運動状態を示すパラメータの平均値であり、ｙａｖは、第２運動データの全てのデータ点での端末４の運動状態を示すパラメータの平均値である。 In the formula (2), there are n data points of 1 to n in each of the first motion data and the second motion data. Then, xi is a parameter indicating the movement state of the hand at each data point of the first movement data, and is a value of -1, 0, or 1. Similarly, y i is a parameter indicating the motion state of the terminal 4 at each data point of the second motion data, and is a value of -1, 0, or 1. Then, x av is the average value of the parameters indicating the movement state of the hand at all the data points of the first movement data, and y av is the movement state of the terminal 4 at all the data points of the second movement data. It is the average value of the parameters indicating.

なお、式（２）で示される相関値ｒの算出では、第１運動データの全てのデータ点の標準偏差を算出するとともに、第２運動データの全てのデータ点の標準偏差を算出する。また、第１運動データと第２運動データとの共分散を算出する。そして、第１運動データと第２運動データとの共分散を第１運動データの標準偏差と第２運動データの標準偏差との積で除算することにより、相関値ｒが算出される。 In the calculation of the correlation value r represented by the equation (2), the standard deviations of all the data points of the first motion data are calculated, and the standard deviations of all the data points of the second motion data are calculated. In addition, the covariance between the first motion data and the second motion data is calculated. Then, the correlation value r is calculated by dividing the covariance between the first motion data and the second motion data by the product of the standard deviation of the first motion data and the standard deviation of the second motion data.

そして、Ｓ１４において、マッチング処理部１５は、算出された相関値ｒに基づいて、ユーザＵと端末４とを対応付ける。ある実施例では、各端末４について、相関値ｒが最も高いカメラ３上のユーザＵと対応付ける。別のある実施例では、各ユーザＵについて、相関値ｒが最も高い端末４と対応付ける。 Then, in S14, the matching processing unit 15 associates the user U with the terminal 4 based on the calculated correlation value r. In one embodiment, each terminal 4 is associated with a user U on the camera 3 having the highest correlation value r. In another embodiment, each user U is associated with the terminal 4 having the highest correlation value r.

また、マッチング処理は、ユーザＵと端末４とを一対一で対応付けるアルゴリズムを用いて、行われることが好ましい。この場合、例えば、マッチング処理を安定結婚問題とみなして、ゲーリーシャプレーアルゴリズムを適用して、ユーザＵと端末４とを一対一で対応付ける。ゲーリーシャプレーアルゴリズムを適用した対応付け方法については、参照文献１（久保幹雄・田村明久・松井友己編 (2012) 『応用数理計画ハンドブック』朝倉書店）等に詳細に示される。 Further, it is preferable that the matching process is performed by using an algorithm that associates the user U with the terminal 4 on a one-to-one basis. In this case, for example, the matching process is regarded as a stable marriage problem, and the Gary Shaplay algorithm is applied to associate the user U with the terminal 4 on a one-to-one basis. The mapping method to which the Gary Shaprey algorithm is applied is described in detail in Reference 1 (Mikio Kubo, Akihisa Tamura, Tomomi Matsui (2012) "Handbook of Applied Mathematical Planning" Asakura Shoten).

図１２では、ゲーリーシャプレーアルゴリズムを適用したユーザＵと端末４との対応付けについて説明する。図１２の一例では、ユーザＵａ～Ｕｅのそれぞれについて、端末４ａ～４ｅのそれぞれに対する相関値ｒが示される。例えば、端末４ａの第２運動データは、ユーザＵａの第１運動データに対して相関値ｒが０．８２４３、ユーザＵｂの第１運動データに対して相関値ｒが０．１２３４、ユーザＵｃの第１運動データに対して相関値ｒが０．２０８７、ユーザＵｄの第１運動データに対して相関値ｒが０．０１４９、ユーザＵｅの第１運動データに対して相関値ｒが０．２１０８となる。 FIG. 12 describes the correspondence between the user U and the terminal 4 to which the Gary Shaplay algorithm is applied. In one example of FIG. 12, for each of the users Ua to Ue, the correlation value r for each of the terminals 4a to 4e is shown. For example, the second motion data of the terminal 4a has a correlation value r of 0.8243 with respect to the first motion data of the user Ua, a correlation value r of 0.1234 with respect to the first motion data of the user Ub, and a user Uc. The correlation value r is 0.2087 with respect to the first exercise data, the correlation value r is 0.0149 with respect to the first exercise data of the user Ud, and the correlation value r is 0.2108 with respect to the first exercise data of the user Ue. It becomes.

ここで、図１２の一例において、いずれの端末４ａ～４ｅもユーザＵａ～Ｕｅとマッチングされていない状態で、端末４ａをユーザＵａ～Ｕｅのいずれか１つとマッチングする場合を考える。この場合、端末４ａは、ユーザＵａ～Ｕｅの中で相関値ｒが最も高いユーザＵａとマッチングされる。 Here, in an example of FIG. 12, consider a case where the terminal 4a is matched with any one of the users Ua to Ue in a state where none of the terminals 4a to 4e is matched with the users Ua to Ue. In this case, the terminal 4a is matched with the user Ua having the highest correlation value r among the users Ua to Ue.

また、端末４ｂがユーザＵｂと既にマッチングされた状態で、端末４ｄをユーザＵａ～Ｕｅのいずれか１つとマッチングする場合を考える。この場合、端末４ｄは、ユーザＵａ～Ｕｅの中で相関値ｒが最も高いユーザＵｂにマッチングの要求をする。ただし、ユーザＵｂは、端末４ｂと既にマッチングされている。このため、端末４ｂのユーザＵｂに対する相関値ｒと端末４ｄのユーザＵｂに対する相関値ｒとを、比較する。図１２の一例では、端末４ｄのユーザＵｂに対する相関値ｒは、端末４ｂのユーザＵｂに対する相関値ｒに比べて、低い。このため、端末４ｂとユーザＵｂとのマッチングが維持される。また、端末４ｄのユーザＵｂへのマッチング要求は、拒絶され、端末４ｄは、ユーザＵｂとマッチングされない。そして、端末４ｄは、ユーザＵａ～Ｕｅの中で相関値ｒがユーザＵｂの次に高いユーザＵｄにマッチングの要求をする。これにより、端末４ｄは、ユーザＵｄとマッチングされる。 Further, consider a case where the terminal 4d is matched with any one of the users Ua to Ue in a state where the terminal 4b is already matched with the user Ub. In this case, the terminal 4d requests matching to the user Ub having the highest correlation value r among the users Ua to Ue. However, the user Ub has already been matched with the terminal 4b. Therefore, the correlation value r with respect to the user Ub of the terminal 4b and the correlation value r with respect to the user Ub of the terminal 4d are compared. In one example of FIG. 12, the correlation value r of the terminal 4d with respect to the user Ub is lower than the correlation value r of the terminal 4b with respect to the user Ub. Therefore, the matching between the terminal 4b and the user Ub is maintained. Further, the matching request to the user Ub of the terminal 4d is rejected, and the terminal 4d is not matched with the user Ub. Then, the terminal 4d requests matching to the user Ud having the next highest correlation value r after the user Ub among the users Ua to Ue. As a result, the terminal 4d is matched with the user Ud.

また、端末４ｄがユーザＵｂと既にマッチングされた状態で、端末４ｂをユーザＵａ～Ｕｅのいずれか１つとマッチングする場合を考える。この場合、端末４ｂは、ユーザＵａ～Ｕｅの中で相関値ｒが最も高いユーザＵｂにマッチングの要求をする。ただし、ユーザＵｂは、端末４ｄと既にマッチングされている。このため、端末４ｂのユーザＵｂに対する相関値ｒと端末４ｄのユーザＵｂに対する相関値ｒとを、比較する。図１２の一例では、端末４ｂのユーザＵｂに対する相関値ｒは、端末４ｄのユーザＵｂに対する相関値ｒに比べて、高い。このため、端末４ｄとユーザＵｂとのマッチングが解消される。また、端末４ｂのユーザＵｂへのマッチング要求は、許可され、端末４ｂは、ユーザＵｂとマッチングされる。そして、マッチングが解消された端末４ｄは、ユーザＵａ～Ｕｅの中で相関値ｒがユーザＵｂの次に高いユーザＵｄにマッチングの要求をする。これにより、端末４ｄは、ユーザＵｄとマッチングされる。 Further, consider a case where the terminal 4b is matched with any one of the users Ua to Ue in a state where the terminal 4d is already matched with the user Ub. In this case, the terminal 4b requests matching to the user Ub having the highest correlation value r among the users Ua to Ue. However, the user Ub has already been matched with the terminal 4d. Therefore, the correlation value r with respect to the user Ub of the terminal 4b and the correlation value r with respect to the user Ub of the terminal 4d are compared. In one example of FIG. 12, the correlation value r of the terminal 4b with respect to the user Ub is higher than the correlation value r of the terminal 4d with respect to the user Ub. Therefore, the matching between the terminal 4d and the user Ub is eliminated. Further, the matching request of the terminal 4b to the user Ub is permitted, and the terminal 4b is matched with the user Ub. Then, the terminal 4d from which the matching has been canceled requests the user Ud whose correlation value r is next to that of the user Ub among the users Ua to Ue for matching. As a result, the terminal 4d is matched with the user Ud.

前述のようにゲーリーシャプレーアルゴリズムを適用した対応付けが行われることにより、ユーザＵａと端末４ａとが一対一で対応付けられ、ユーザＵｂと端末４ｂとが一対一で対応付けられる。そして、ユーザＵｃと端末４ｃとが一対一で対応付けられ、ユーザＵｄと端末４ｄとが一対一で対応付けられ、ユーザＵｅと端末４ｅとが一対一で対応付けられる。したがって、ユーザＵａ～Ｕｅのそれぞれは、対応する端末（４ａ～４ｅの対応する１つ）と一対一で対応付けられる。なお、図１２では、一対一に対応付けられるユーザＵと端末４との相関値ｒを、強調して示す。 As described above, the user Ua and the terminal 4a are associated one-to-one, and the user Ub and the terminal 4b are associated one-to-one by performing the association applying the Gary Shaplay algorithm. Then, the user Uc and the terminal 4c are associated one-to-one, the user Ud and the terminal 4d are associated one-to-one, and the user Ue and the terminal 4e are associated one-to-one. Therefore, each of the users Ua to Ue is associated one-to-one with the corresponding terminal (corresponding one of 4a to 4e). Note that FIG. 12 emphasizes the correlation value r between the user U and the terminal 4, which are associated one-to-one with each other.

前述のような処理が行われることにより、本実施形態では、ユーザＵが手を上下動させる動作に基づいて、カメラ３の画像上のユーザＵと端末（制御端末）４とが、対応付けられる。ユーザＵの手の上下動に基づいて対応付けが行われるため、ユーザＵの歩行速度が遅い場合、および、ユーザＵが静止している場合のそれぞれにおいても、ユーザＵと端末との対応付けを適切に行うことができる。 By performing the above-mentioned processing, in the present embodiment, the user U on the image of the camera 3 and the terminal (control terminal) 4 are associated with each other based on the action of the user U moving his / her hand up and down. .. Since the association is performed based on the vertical movement of the user U's hand, the association between the user U and the terminal is performed even when the walking speed of the user U is slow and when the user U is stationary. Can be done properly.

また、本実施形態では、手の鉛直方向についての位置を時間微分することにより、手の鉛直方向についての速度データが算出される。そして、算出された速度データに基づいて、手の上下動、すなわち、手の鉛直方向についての運動状態に関する第１運動データが算出される。前述のように第１運動データが算出されるため、第１運動データでは、手が上昇している上昇時刻、および、手が下降している下降時刻が適切に算出される。 Further, in the present embodiment, the velocity data in the vertical direction of the hand is calculated by time-differentiating the position in the vertical direction of the hand. Then, based on the calculated velocity data, the first motion data regarding the vertical motion of the hand, that is, the motion state in the vertical direction of the hand is calculated. Since the first movement data is calculated as described above, in the first movement data, the ascending time when the hand is rising and the descending time when the hand is descending are appropriately calculated.

また、本実施形態では、端末４の鉛直方向についての加速度ａに基づいて、端末４に作用する力の方向を示すデータが、算出される。そして、算出された力の方向を示すデータに基づいて、端末４の鉛直方向についての運動状態に関する第２運動データが算出される。前述のように第２運動データが算出されるため、第２運動データでは、端末４が上昇している上昇時刻、および、端末４が下降している下降時刻が適切に算出される。 Further, in the present embodiment, data indicating the direction of the force acting on the terminal 4 is calculated based on the acceleration a in the vertical direction of the terminal 4. Then, based on the calculated data indicating the direction of the force, the second motion data regarding the motion state in the vertical direction of the terminal 4 is calculated. Since the second motion data is calculated as described above, in the second motion data, the ascending time when the terminal 4 is rising and the descending time when the terminal 4 is descending are appropriately calculated.

また、本実施形態では、第１運動データ及び第２運動データに基づくユーザＵと端末４との対応付けにおいて、ユーザＵと端末４とを一対一で対応付けるアルゴリズムを用いられる。このため、各ユーザＵは対応する端末４に一対一で適切にマッチングされる。したがって、１つのユーザＵが複数の端末４と対応付けられたり、１つの端末４が複数のユーザＵと対応付けられたりすることが、有効に防止される。 Further, in the present embodiment, in the correspondence between the user U and the terminal 4 based on the first motion data and the second motion data, an algorithm for associating the user U with the terminal 4 on a one-to-one basis is used. Therefore, each user U is appropriately matched to the corresponding terminal 4 on a one-to-one basis. Therefore, it is effectively prevented that one user U is associated with a plurality of terminals 4 or one terminal 4 is associated with a plurality of users U.

［第１実施形態の変形例］
なお、前述の第１実施形態では、位置検出部１１、第１運動データ算出部１２、加速度検出部１３、第２運動データ算出部１４およびマッチング処理部１５での前述の処理は、マッチング用サーバ２のプロセッサなどによって行われるが、これに限るものではない。例えば、図１３に示す第１の実施形態のある変形例では、端末４に、加速度検出部１３および第２運動データ算出部１４が設けられる。すなわち、加速度検出部１３および第２運動データ算出部１４での前述した処理は、端末４のプロセッサなどによって行われる。 [Modified example of the first embodiment]
In the above-mentioned first embodiment, the above-mentioned processing by the position detection unit 11, the first motion data calculation unit 12, the acceleration detection unit 13, the second motion data calculation unit 14, and the matching processing unit 15 is performed by the matching server. It is performed by the processor of 2, but is not limited to this. For example, in a modification of the first embodiment shown in FIG. 13, the terminal 4 is provided with an acceleration detection unit 13 and a second motion data calculation unit 14. That is, the above-mentioned processing in the acceleration detection unit 13 and the second motion data calculation unit 14 is performed by the processor of the terminal 4 or the like.

本変形例では、端末４において、第２運動データが算出される。そして、算出された第２運動データは、無線通信などによって、端末４からマッチング用サーバ（マッチング処理ユニット）２に送信される。なお、本変形例でも、位置検出部１１、第１運動データ算出部１２およびマッチング処理部１５での処理は、マッチング用サーバ２によって行われる。したがって、マッチング処理部１５は、第１運動データ算出部１２で算出された第１運動データ、および、端末４から送信された第２運動データを用いて、マッチング処理を行う。 In this modification, the second motion data is calculated at the terminal 4. Then, the calculated second motion data is transmitted from the terminal 4 to the matching server (matching processing unit) 2 by wireless communication or the like. Also in this modification, the processing by the position detection unit 11, the first motion data calculation unit 12, and the matching processing unit 15 is performed by the matching server 2. Therefore, the matching processing unit 15 performs matching processing using the first movement data calculated by the first movement data calculation unit 12 and the second movement data transmitted from the terminal 4.

［第２実施形態］
以下、第２実施形態として、第１実施形態と同様の対応付けシステム１の適用例について説明する。図１４は、端末４の接続状態を管理する管理システム１０を示す。管理システム１０では、対応付けシステム１が適用され、管理システム１０は、マッチング用サーバ２、カメラ３および端末４を備える。マッチング用サーバ２、カメラ３および端末４では、第１実施形態と同様の処理が行われる。 [Second Embodiment]
Hereinafter, as the second embodiment, an application example of the matching system 1 similar to that of the first embodiment will be described. FIG. 14 shows a management system 10 that manages the connection state of the terminal 4. In the management system 10, the mapping system 1 is applied, and the management system 10 includes a matching server 2, a camera 3, and a terminal 4. The matching server 2, the camera 3, and the terminal 4 perform the same processing as in the first embodiment.

また、管理システム１０は、複数のアクセスポイント（ＡＰ）Ａ１～Ａｋと、マッチング情報管理サーバ（マッチング情報管理ユニット）２０と、接続状態管理サーバ（接続状態管理ユニット）３０とを備える。本実施形態では、マッチング用サーバ２、マッチング情報管理サーバ２０および接続状態管理サーバ３０によって、情報処理装置が構成される。端末４は、アクセスポイントＡ１～Ａｋの中から接続先となる１つに、無線通信によって、接続される。ここで、アクセスポイントＡ１～Ａｋの１つであるアクセスポイントＡαが端末４の接続先となる場合を考える。この場合、前述のセンサ情報などの情報が、端末４からアクセスポイントＡαに送信される。そして、センサ情報は、端末４からの情報を受けたアクセスポイントＡαを介して、マッチング用サーバ２に送信される。マッチング用サーバ２は、アクセスポイントＡαを介して送信されたセンサ情報を用いて、第１実施形態などと同様の処理を行う。 Further, the management system 10 includes a plurality of access points (APs) A1 to Ak, a matching information management server (matching information management unit) 20, and a connection state management server (connection state management unit) 30. In the present embodiment, the information processing device is configured by the matching server 2, the matching information management server 20, and the connection status management server 30. The terminal 4 is connected to one of the access points A1 to Ak, which is the connection destination, by wireless communication. Here, consider a case where the access point Aα, which is one of the access points A1 to Ak, becomes the connection destination of the terminal 4. In this case, information such as the sensor information described above is transmitted from the terminal 4 to the access point Aα. Then, the sensor information is transmitted to the matching server 2 via the access point Aα that has received the information from the terminal 4. The matching server 2 performs the same processing as in the first embodiment or the like by using the sensor information transmitted via the access point Aα.

マッチング情報管理サーバ２０は、マッチング情報登録部２１、マッチング情報読取部２２およびマッチング情報管理データベース（ＤＢ）２３を備える。ここで、マッチング情報管理サーバ２０は、ＣＰＵ、ＡＳＩＣまたはＦＰＧＡなどを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、マッチング情報登録部２１およびマッチング情報読取部２２のそれぞれの機能が、実現される。 The matching information management server 20 includes a matching information registration unit 21, a matching information reading unit 22, and a matching information management database (DB) 23. Here, the matching information management server 20 includes a CPU, a processor including an ASIC, an FPGA, and the like, and a memory. Then, when the processor executes the program stored in the memory, the functions of the matching information registration unit 21 and the matching information reading unit 22 are realized.

マッチング情報管理サーバ２０のマッチング情報登録部２１は、マッチング処理部１５からマッチング処理の処理結果を受取る。すなわち、マッチング処理部１５は、マッチング情報管理サーバ２０に、ユーザＵと端末４とのマッチング情報を送信する。そして、マッチング情報管理サーバ２０は、ユーザＵと端末４とのマッチング情報を管理する。 The matching information registration unit 21 of the matching information management server 20 receives the processing result of the matching process from the matching process unit 15. That is, the matching processing unit 15 transmits matching information between the user U and the terminal 4 to the matching information management server 20. Then, the matching information management server 20 manages the matching information between the user U and the terminal 4.

マッチング情報管理ＤＢ２３には、ユーザＵと端末４とのマッチング情報が記憶される。そして、マッチング情報登録部２１は、受取ったマッチング情報を、マッチング情報管理ＤＢ２３に登録する。また、マッチング情報登録部２１は、受取ったマッチング情報に基づいて、マッチング情報管理ＤＢ２３に記憶されるマッチング情報を更新する。そして、マッチング情報読取部２２は、マッチング情報管理ＤＢ２３に記憶されたマッチング情報を読取る。 The matching information management DB 23 stores matching information between the user U and the terminal 4. Then, the matching information registration unit 21 registers the received matching information in the matching information management DB 23. Further, the matching information registration unit 21 updates the matching information stored in the matching information management DB 23 based on the received matching information. Then, the matching information reading unit 22 reads the matching information stored in the matching information management DB 23.

接続状態管理サーバ３０は、接続状態登録部３１、接続状態読取部３２、接続状態制御部３３および接続状態管理データベース（ＤＢ）３４を備える。ここで、接続状態管理サーバ３０は、ＣＰＵ、ＡＳＩＣまたはＦＰＧＡなどを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、接続状態登録部３１、接続状態読取部３２および接続状態制御部３３のそれぞれの機能が、実現される。 The connection state management server 30 includes a connection state registration unit 31, a connection state reading unit 32, a connection state control unit 33, and a connection state management database (DB) 34. Here, the connection state management server 30 includes a processor including a CPU, an ASIC, an FPGA, and the like, and a memory. Then, when the processor executes the program stored in the memory, the functions of the connection state registration unit 31, the connection state reading unit 32, and the connection state control unit 33 are realized.

接続状態管理サーバ３０は、アクセスポイントＡ１～Ａｋの中で端末４の接続先となる１つ（例えばＡα）を介して、端末４と情報交換可能である。そして、接続状態登録部３１は、端末４のリアルタイムの接続状態を取得し、端末４のリアルタイムの接続先を取得する。すなわち、接続状態登録部３１は、端末４がリアルタイムでアクセスポイントＡ１～Ａｋの中のいずれに接続されているかを、認識する。 The connection state management server 30 can exchange information with the terminal 4 via one of the access points A1 to Ak that is the connection destination of the terminal 4 (for example, Aα). Then, the connection state registration unit 31 acquires the real-time connection state of the terminal 4 and acquires the real-time connection destination of the terminal 4. That is, the connection state registration unit 31 recognizes which of the access points A1 to Ak the terminal 4 is connected to in real time.

接続状態管理ＤＢ３４には、端末４の接続状態に関する情報が記憶される。接続状態登録部３１は、端末４のリアルタイムの接続状態に関する情報を、接続状態管理ＤＢ３４に登録する。この際、端末４のリアルタイムの接続先が、接続状態管理ＤＢ３４に登録される。また、アクセスポイントＡ１～Ａｋ間で端末４の接続先が切替えられた場合は、接続状態登録部３１は、接続状態管理ＤＢ３４に記憶される接続状態に関する情報を更新する。この際、接続状態管理ＤＢ３４において、端末４のリアルタイムの接続先に関する情報も、更新される。そして、接続状態読取部３２は、接続状態管理ＤＢ３４に記憶された接続状態に関する情報を読取る。この際、接続状態読取部３２は、端末４のリアルタイムの接続先、すなわち、端末４がリアルタイムにおいてアクセスポイントＡ１～Ａｋのいずれに接続されているかを、読取る。 Information about the connection state of the terminal 4 is stored in the connection state management DB 34. The connection status registration unit 31 registers information regarding the real-time connection status of the terminal 4 in the connection status management DB 34. At this time, the real-time connection destination of the terminal 4 is registered in the connection state management DB 34. Further, when the connection destination of the terminal 4 is switched between the access points A1 and Ak, the connection state registration unit 31 updates the information regarding the connection state stored in the connection state management DB 34. At this time, in the connection state management DB 34, the information regarding the real-time connection destination of the terminal 4 is also updated. Then, the connection state reading unit 32 reads the information regarding the connection state stored in the connection state management DB 34. At this time, the connection state reading unit 32 reads the real-time connection destination of the terminal 4, that is, which of the access points A1 to Ak the terminal 4 is connected to in real time.

接続状態読取部３２は、接続状態制御部３３に、接続状態管理ＤＢ３４から読取ったリアルタイムの接続状態に関する情報を送信する。また、接続状態制御部３３は、マッチング情報読取部２２から、マッチング情報管理ＤＢ２３に記憶されるマッチング情報を受取る。すなわち、マッチング情報読取部２２は、接続状態管理サーバ３０に、マッチング情報管理ＤＢ２３から読取ったマッチング情報を送信する。 The connection state reading unit 32 transmits information on the real-time connection state read from the connection state management DB 34 to the connection state control unit 33. Further, the connection state control unit 33 receives the matching information stored in the matching information management DB 23 from the matching information reading unit 22. That is, the matching information reading unit 22 transmits the matching information read from the matching information management DB 23 to the connection state management server 30.

接続状態管理サーバ３０の接続状態制御部３３は、アクセスポイントＡ１～Ａｋの中で端末４の接続先となる１つ（例えばＡα）を介して、端末４を制御する。この際、接続状態制御部３３は、マッチング情報管理サーバ２０によって管理されるマッチング情報、および、接続状態読取部３２から受取った端末４のリアルタイムの接続状態に関する情報を用いて、端末４の接続先を制御および管理する。すなわち、接続状態制御部３３は、マッチング情報、及び、端末４のリアルタイムの接続状態に基づいて、アクセスポイントＡ１～Ａｋの中のいずれに端末４を接続するかを、制御および管理する。 The connection state control unit 33 of the connection state management server 30 controls the terminal 4 via one of the access points A1 to Ak that is the connection destination of the terminal 4 (for example, Aα). At this time, the connection state control unit 33 uses the matching information managed by the matching information management server 20 and the information regarding the real-time connection state of the terminal 4 received from the connection state reading unit 32 to connect to the terminal 4. Control and manage. That is, the connection state control unit 33 controls and manages which of the access points A1 to Ak to connect the terminal 4 based on the matching information and the real-time connection state of the terminal 4.

接続状態制御部３３は、マッチング情報管理サーバ２０に、マッチング情報を定期的に問合わせる。そして、接続状態制御部３３は、マッチング情報管理サーバ２０から取得したマッチング情報に基づいて、端末４がいずれのカメラ３の視野に位置するかに関する情報、及び、端末４がいずれのユーザＵと対応付けられているかに関する情報などを、取得する。そして、接続状態制御部３３は、取得した情報に基づいて、端末４がアクセスポイントＡ１～Ａｋのいずれに接続すべきか判断する。そして、判断結果、端末４のリアルタイムの接続先が適切でない場合、接続状態制御部３３は、アクセスポイントＡ１～Ａｋ間で端末４の接続先を切替える制御信号を生成する。 The connection state control unit 33 periodically inquires of the matching information management server 20 for matching information. Then, the connection state control unit 33 corresponds to information regarding which camera 3 the terminal 4 is in the field of view of which camera 3 and which user U the terminal 4 corresponds to, based on the matching information acquired from the matching information management server 20. Get information about whether it is attached. Then, the connection state control unit 33 determines which of the access points A1 to Ak the terminal 4 should connect to based on the acquired information. Then, as a result of the determination, when the real-time connection destination of the terminal 4 is not appropriate, the connection state control unit 33 generates a control signal for switching the connection destination of the terminal 4 between the access points A1 and Ak.

アクセスポイントＡ１～Ａｋ間で端末４の接続先を切替える制御信号は、アクセスポイントＡ１～Ａｋの中で端末４のリアルタイムの接続先となる１つ（例えばＡα）を介して、端末４に伝達される。端末４は、接続状態制御部３３からの制御信号に基づいて、接続先を切替える。この際、接続状態制御部３３が端末４の接続先として適切だと判断したアクセスポイントに、接続先が切替えられる。端末４の接続先として適切だと判断したアクセスポイントとしては、端末４に対応付けられたユーザＵを撮影したカメラに近いアクセスポイント、及び、通信エリアが広いアクセスポイント等である。 The control signal for switching the connection destination of the terminal 4 between the access points A1 and Ak is transmitted to the terminal 4 via one of the access points A1 to Ak which is the real-time connection destination of the terminal 4 (for example, Aα). To. The terminal 4 switches the connection destination based on the control signal from the connection state control unit 33. At this time, the connection destination is switched to the access point determined by the connection state control unit 33 to be appropriate as the connection destination of the terminal 4. The access points determined to be appropriate as the connection destination of the terminal 4 include an access point close to the camera that captured the user U associated with the terminal 4, and an access point having a wide communication area.

例えば、端末４がアクセスポイントＡαに接続されている状態で、接続状態制御部３３が、端末４の接続先としてアクセスポイントＡβが適切であると判断したとする。この場合、接続状態制御部３３は、端末４の接続先をアクセスポイントＡαからアクセスポイントＡβへ切替える指令を含む制御信号を生成する。そして、制御信号は、リアルタイムの接続先であるアクセスポイントＡαを介して、端末４に送信される。制御信号を受取ると、端末４は、アクセスポイントＡαとの接続を遮断する。そして、端末４は、アクセスポイントＡβに対して接続の要求を行い、端末４がアクセスポイントＡβに接続される。 For example, it is assumed that the connection state control unit 33 determines that the access point Aβ is appropriate as the connection destination of the terminal 4 while the terminal 4 is connected to the access point Aα. In this case, the connection state control unit 33 generates a control signal including a command for switching the connection destination of the terminal 4 from the access point Aα to the access point Aβ. Then, the control signal is transmitted to the terminal 4 via the access point Aα which is a real-time connection destination. Upon receiving the control signal, the terminal 4 cuts off the connection with the access point Aα. Then, the terminal 4 makes a connection request to the access point Aβ, and the terminal 4 is connected to the access point Aβ.

本実施形態でも、第１の実施形態と同様に、ユーザＵと端末４とが適切にマッチングされる。このため、ユーザＵと端末４とのマッチング情報が、適切に生成される。そして、本実施形態では、適切なマッチング情報を用いて、端末４の接続先を含む端末４の接続状態が制御および管理される。したがって、端末４の接続状態が、適切に管理される。 Also in this embodiment, the user U and the terminal 4 are appropriately matched as in the first embodiment. Therefore, matching information between the user U and the terminal 4 is appropriately generated. Then, in the present embodiment, the connection state of the terminal 4 including the connection destination of the terminal 4 is controlled and managed by using appropriate matching information. Therefore, the connection state of the terminal 4 is appropriately managed.

［第２の実施形態の変形例］
なお、第２の実施形態では、マッチング用サーバ２、マッチング情報管理サーバ２０および接続状態管理サーバ３０が別個に設けられるが、これに限るものではない。ある変形例では、１つのサーバが、マッチング情報管理サーバ２０の前述の処理、および、接続状態管理サーバ３０の前述の処理の両方を、行う。また、ある変形例では、１つのサーバが、マッチング用サーバ２の前述の処理に加えて、マッチング情報管理サーバ２０の前述の処理、および、接続状態管理サーバ３０の前述の処理の少なくとも一方を行う。 [Modified example of the second embodiment]
In the second embodiment, the matching server 2, the matching information management server 20, and the connection status management server 30 are separately provided, but the present invention is not limited to this. In one modification, one server performs both the above-mentioned processing of the matching information management server 20 and the above-mentioned processing of the connection state management server 30. Further, in a modification, one server performs at least one of the above-mentioned processing of the matching information management server 20 and the above-mentioned processing of the connection state management server 30 in addition to the above-mentioned processing of the matching server 2. ..

また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 Further, the present invention is not limited to the above embodiment, and can be variously modified at the implementation stage without departing from the gist thereof. In addition, each embodiment may be carried out in combination as appropriate, in which case the combined effect can be obtained. Further, the above-described embodiment includes various inventions, and various inventions can be extracted by a combination selected from a plurality of disclosed constituent requirements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, if the problem can be solved and the effect is obtained, the configuration in which the constituent elements are deleted can be extracted as an invention.

１…対応付けシステム、２…マッチング用サーバ、３…カメラ、４…端末、５…情報送受信部、６…加速度センサ、７…センサ情報取得部、８…通信制御部、１０…管理システム、１１…位置検出部、１２…第１運動データ算出部、１３…加速度検出部、１４…第２運動データ算出部、１５…マッチング処理部、２０…マッチング情報管理サーバ、３０…接続状態管理サーバ。 1 ... Correspondence system, 2 ... Matching server, 3 ... Camera, 4 ... Terminal, 5 ... Information transmission / reception unit, 6 ... Acceleration sensor, 7 ... Sensor information acquisition unit, 8 ... Communication control unit, 10 ... Management system, 11 ... Position detection unit, 12 ... 1st motion data calculation unit, 13 ... Acceleration detection unit, 14 ... Second motion data calculation unit, 15 ... Matching processing unit, 20 ... Matching information management server, 30 ... Connection status management server.

Claims (7)

情報処理装置を含むシステムが実行する、ユーザと前記ユーザの端末との対応付け方法であって、
画像情報を取得することと、
前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、
取得した前記画像情報から、前記ユーザの手の位置情報を検出することと、
検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、
取得した前記センサ情報から、前記端末の加速度情報を検出することと、
検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、
前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、
を備え、
前記第１運動データを算出することは、
前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出することと、
算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第１運動データとして算出することと、
を備え、
前記第２運動データを算出することは、
前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出することと、
前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第２運動データとして算出することと、
を備える、
対応付け方法。 It is a method of associating a user with a terminal of the user, which is executed by a system including an information processing device.
Acquiring image information and
Acquiring sensor information regarding the detection result of the sensor provided in the terminal, and
Detecting the position information of the user's hand from the acquired image information,
Using the detected position information of the hand, the first motion data regarding the motion state in the vertical direction of the hand is calculated, and
To detect the acceleration information of the terminal from the acquired sensor information,
Using the detected acceleration information of the terminal, the second motion data regarding the motion state of the terminal in the vertical direction is calculated, and
Using the first motion data and the second motion data, matching processing for associating the user with the terminal is performed.
Equipped with
To calculate the first exercise data
By time-differentiating the position of the hand in the vertical direction, the velocity data in the vertical direction of the hand can be calculated.
Based on the calculated speed data of the hand, data indicating the ascending time when the hand is rising and the descending time when the hand is descending are calculated as the first motion data.
Equipped with
To calculate the second movement data is
To calculate data indicating the direction of the force acting on the terminal based on the acceleration of the terminal in the vertical direction included in the acceleration information.
Based on the data indicating the direction of the force, the data indicating the ascending time when the terminal is ascending and the descending time when the terminal is descending are calculated as the second motion data.
To prepare
Mapping method. 前記マッチング処理を行うことは、前記ユーザと前記端末とを一対一で対応付けるアルゴリズムを用いて、前記マッチング処理を行うことを備える、請求項１の対応付け方法。 The matching method according to claim 1 , wherein the matching process is performed by using an algorithm for associating the user with the terminal on a one-to-one basis. 画像情報を生成する撮影機器と、
センサを備える端末と、
前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、
を備える、前記端末と前記端末のユーザとの対応付けシステムであって、
前記撮影機器で生成された前記画像情報から、前記ユーザの手の位置情報を検出する位置検出部と、
前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、
前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、
前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、
前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、
を備え、
前記第１運動データ算出部は、前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出するとともに、算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第１運動データとして算出し、
前記第２運動データ算出部は、前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出するとともに、前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第２運動データとして算出する、
対応付けシステム。 Shooting equipment that generates image information and
With a terminal equipped with a sensor,
An information processing device capable of exchanging information with the photographing device and the terminal,
A system for associating the terminal with a user of the terminal.
A position detection unit that detects the position information of the user's hand from the image information generated by the photographing device, and
Using the position information of the hand detected by the position detection unit, a first motion data calculation unit that calculates first motion data regarding a motion state in the vertical direction of the hand, and a first motion data calculation unit.
An acceleration detection unit that detects the acceleration information of the terminal from the sensor information of the sensor of the terminal, and
A second motion data calculation unit that calculates second motion data regarding the motion state of the terminal in the vertical direction using the acceleration information of the terminal detected by the acceleration detection unit.
A matching processing unit that performs matching processing for associating the user with the terminal using the first movement data and the second movement data.
Equipped with
The first motion data calculation unit calculates the velocity data of the hand in the vertical direction by time-differentiating the position of the hand in the vertical direction, and is based on the calculated velocity data of the hand. Then, the data indicating the ascending time when the hand is rising and the descending time when the hand is descending are calculated as the first motion data.
The second motion data calculation unit calculates data indicating the direction of the force acting on the terminal based on the acceleration in the vertical direction of the terminal included in the acceleration information, and indicates the direction of the force. Based on the data, the data indicating the ascending time when the terminal is ascending and the descending time when the terminal is descending are calculated as the second motion data.
Mapping system. 前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、前記加速度検出部、前記第２運動データ算出部、および、前記マッチング処理部を備える、請求項３の対応付けシステム。 The matching system according to claim 3 , wherein the information processing apparatus includes the position detection unit, the first motion data calculation unit, the acceleration detection unit, the second motion data calculation unit, and the matching processing unit. 前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、および、前記マッチング処理部を備え、
前記端末が、前記加速度検出部、および、前記第２運動データ算出部を備える、
請求項３の対応付けシステム。 The information processing device includes the position detection unit, the first motion data calculation unit, and the matching processing unit.
The terminal includes the acceleration detection unit and the second motion data calculation unit.
The mapping system of claim 3 . 情報処理装置を含むシステムが実行する、端末の接続状態の管理方法であって、
画像情報を取得することと、
前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、
取得した前記画像情報から、ユーザの手の位置情報を検出することと、
検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、
取得した前記センサ情報から、前記端末の加速度情報を検出することと、
検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、
前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、
前記マッチング処理の処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理することと、
管理される前記マッチング情報を用いて、複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理することと、
を備え、
前記第１運動データを算出することは、
前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出することと、
算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第１運動データとして算出することと、
を備え、
前記第２運動データを算出することは、
前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出することと、
前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第２運動データとして算出することと、
を備える、
管理方法。 It is a management method of the connection status of the terminal executed by the system including the information processing device.
Acquiring image information and
Acquiring sensor information regarding the detection result of the sensor provided in the terminal, and
Detecting the position information of the user's hand from the acquired image information,
Using the detected position information of the hand, the first motion data regarding the motion state in the vertical direction of the hand is calculated, and
To detect the acceleration information of the terminal from the acquired sensor information,
Using the detected acceleration information of the terminal, the second motion data regarding the motion state of the terminal in the vertical direction is calculated, and
Using the first motion data and the second motion data, matching processing for associating the user with the terminal is performed.
To manage matching information between the user and the terminal based on the processing result of the matching process.
Using the managed matching information, the connection destination of the terminal is switched between a plurality of access points, and the connection destination of the terminal is controlled and managed.
Equipped with
To calculate the first exercise data
By time-differentiating the position of the hand in the vertical direction, the velocity data in the vertical direction of the hand can be calculated.
Based on the calculated speed data of the hand, data indicating the ascending time when the hand is rising and the descending time when the hand is descending are calculated as the first motion data.
Equipped with
To calculate the second movement data is
To calculate data indicating the direction of the force acting on the terminal based on the acceleration of the terminal in the vertical direction included in the acceleration information.
Based on the data indicating the direction of the force, the data indicating the ascending time when the terminal is ascending and the descending time when the terminal is descending are calculated as the second motion data.
To prepare
Management method. 画像情報を生成する撮影機器と、
センサを備える端末と、
前記端末を無線で接続可能な複数のアクセスポイントと、
前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、
を備える、前記端末の接続状態の管理システムであって、
前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、
前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、
前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、
前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、
前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、
前記マッチング処理部での処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理するマッチング情報管理ユニットと、
前記マッチング情報管理ユニットで管理される前記マッチング情報を用いて、前記複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理する接続状態管理ユニットと、
を備え、
前記第１運動データ算出部は、前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出するとともに、算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第１運動データとして算出し、
前記第２運動データ算出部は、前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出するとともに、前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第２運動データとして算出する、
管理システム。 Shooting equipment that generates image information and
With a terminal equipped with a sensor,
With multiple access points that can connect the terminals wirelessly,
An information processing device capable of exchanging information with the photographing device and the terminal,
It is a management system of the connection state of the terminal, which comprises
A position detection unit that detects the position information of the user's hand from the image information generated by the photographing device, and
Using the position information of the hand detected by the position detection unit, a first motion data calculation unit that calculates first motion data regarding a motion state in the vertical direction of the hand, and a first motion data calculation unit.
An acceleration detection unit that detects the acceleration information of the terminal from the sensor information of the sensor of the terminal, and
A second motion data calculation unit that calculates second motion data regarding the motion state of the terminal in the vertical direction using the acceleration information of the terminal detected by the acceleration detection unit.
A matching processing unit that performs matching processing for associating the user with the terminal using the first movement data and the second movement data.
A matching information management unit that manages matching information between the user and the terminal based on the processing result in the matching processing unit.
A connection state management unit that switches the connection destination of the terminal between the plurality of access points and controls and manages the connection destination of the terminal by using the matching information managed by the matching information management unit.
Equipped with
The first motion data calculation unit calculates the velocity data of the hand in the vertical direction by time-differentiating the position of the hand in the vertical direction, and is based on the calculated velocity data of the hand. Then, the data indicating the ascending time when the hand is rising and the descending time when the hand is descending are calculated as the first motion data.
The second motion data calculation unit calculates data indicating the direction of the force acting on the terminal based on the acceleration in the vertical direction of the terminal included in the acceleration information, and indicates the direction of the force. Based on the data, the data indicating the ascending time when the terminal is ascending and the descending time when the terminal is descending are calculated as the second motion data.
Management system.
JP2018078597A 2018-04-16 2018-04-16 Correspondence method and mapping system between user and terminal, and management method and management system of connection status of terminal Active JP7018630B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018078597A JP7018630B2 (en) 2018-04-16 2018-04-16 Correspondence method and mapping system between user and terminal, and management method and management system of connection status of terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018078597A JP7018630B2 (en) 2018-04-16 2018-04-16 Correspondence method and mapping system between user and terminal, and management method and management system of connection status of terminal

Publications (2)

Publication Number Publication Date
JP2019185609A JP2019185609A (en) 2019-10-24
JP7018630B2 true JP7018630B2 (en) 2022-02-14

Family

ID=68341456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018078597A Active JP7018630B2 (en) 2018-04-16 2018-04-16 Correspondence method and mapping system between user and terminal, and management method and management system of connection status of terminal

Country Status (1)

Country Link
JP (1) JP7018630B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212675A (en) 2015-05-11 2016-12-15 株式会社デンソー Object recognition system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212675A (en) 2015-05-11 2016-12-15 株式会社デンソー Object recognition system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宮崎 修一，安定マッチング問題，情報処理 第５４巻 第１０号 ，日本，一般社団法人情報処理学会，2013年，第54巻
進藤 康孝，外２名，人物の姿勢情報を用いた加速度・角速度センサの所持位置と向きの推定，電子情報通信学会技術研究報告 Ｖｏｌ．１１３ Ｎｏ．３８，日本，一般社団法人電子情報通信学会，2013年，第113巻

Also Published As

Publication number Publication date
JP2019185609A (en) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6696615B2 (en) Monitoring system, monitoring method, and recording medium storing monitoring program
JP4478510B2 (en) Camera system, camera, and camera control method
US20190132570A1 (en) Dynamically adjusting sampling of a real-time depth map
JP5526860B2 (en) Spatial information visualization system
EP3553739B1 (en) Image recognition system and image recognition method
JP2007201556A (en) Congestion information providing system and method therefor
CN110706255A (en) Fall detection method based on self-adaptive following
EP3073726A1 (en) Method for configuring a camera
WO2018084191A1 (en) Congestion state analysis system
EP3398029B1 (en) Intelligent smart room control system
WO2016042946A1 (en) Monitoring system
JP7018630B2 (en) Correspondence method and mapping system between user and terminal, and management method and management system of connection status of terminal
JP6206405B2 (en) Information processing apparatus, information processing method, program, and surveillance camera system
KR20180007615A (en) Network camera and method for monitoring violence using the same
JP2016076791A (en) Object tracking device, object tracking method, and program
JP2021033646A (en) Information processor, information processing method, and program
EP2713605B1 (en) Vision angle acquisition method, apparatus and system
CN115273401B (en) Method and system for automatically sensing falling of person
KR102107137B1 (en) Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera
KR101061012B1 (en) Moving object tracking method using wide angle image
JP2022032103A (en) Walking estimation system, walking estimation method, and program
JP2021022783A (en) Control device, tracking system, control method, and program
JP2015219833A (en) Degree-of-congestion estimation system
Kosono et al. Mobile user identification by camera-based motion capture and mobile device acceleration sensors
US20230082044A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R150 Certificate of patent or registration of utility model

Ref document number: 7018630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150