JP6088414B2

JP6088414B2 - 端末制御装置、端末制御方法及び端末制御プログラム

Info

Publication number: JP6088414B2
Application number: JP2013258961A
Authority: JP
Inventors: 崇裕松元; 俊一瀬古; 山田　智広; 智広山田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-12-16
Filing date: 2013-12-16
Publication date: 2017-03-01
Anticipated expiration: 2033-12-16
Also published as: JP2015115031A

Description

本発明は、マイク付きタッチパネル端末の制御技術に関する。

現在、様々な種類のタッチパネル端末を利用できる。例えば、スマートウォッチ、スマートフォン、タブレットＰＣ、ノートＰＣ、電子黒板、テーブル型タッチパネル等である。それゆえ、同一のユーザが同じ場所で複数のタッチパネル端末を併用する事例が増えてきており、パネル上の表示情報をタッチパネル端末間で簡単に素早く移動又はコピーさせたい場合が生じ得る。

そのため、複数のタッチパネル端末を連携する技術が求められている。また、金銭的労力的な負担の増加を防止するため、特別なコントローラデバイスを用いることなく、タッチパネル端末に標準搭載されているマイク等の機能を用いて上記の技術を実現する事が望まれている。

上記技術の実現方法としては非特許文献１〜非特許文献３の技術がある。

非特許文献１は、ペン型のコントローラデバイスを用いるものである。コントローラデバイスで情報の移動元又はコピー元のパネルにタッチ操作を行い、続けて同じコントローラデバイスで情報の移動先又はコピー先のパネルにタッチ操作を行うことにより、端末間での情報の移動又はコピーを実現している。

非特許文献２は、スマートフォンやタブレットＰＣに搭載されている加速度センサを用いるものである。情報の移動元又はコピー元の端末と情報の移動先又はコピー先の端末とを手で振り端末に振動を与えることにより、情報の移動又はコピーを行う両端末を指定するようにしている。

非特許文献３は、マルチタッチを識別可能なタッチパネル端末を用いるものである。３本以上の指で情報の移動元又はコピー元の端末と情報の移動先又はコピー先の端末とをそれぞれタッチ操作することにより、複数の端末の中から情報の移動元又はコピー元となる端末と情報の移動先又はコピー先となる端末とを判定している。３本以上の指によって形成される２つの多角形の形状を比較し、両端末でその形状が合同であった場合に情報の移動又はコピーを行う両端末としている。

J.Rekimoto、"Pick-and-drop: A Direct Manipulation Technique for Multiple Computer Environments"、Proceedings of the 10th annual ACM symposium on User interface software and technology、UIST'97、New York、NY、USA、ACM、p.31‐39 R.Mayrhofer、外１名、"Shake Well Before Use: Authentication Based on Accelerometer Data"、Proceedings of the 5th international conference on Pervasive computing、PERVASIVE'07、Berlin、Heidelberg、Springer-Verlag、2007年、p.144‐161 池松、外１名、"記憶の石：マルチタッチを用いた複数計算機間情報移動"、インタラクション 2012 論文集、情報処理学会シンポジウムシリーズ、ISSN:1882-0840、Vol.2013、No.1、p.80‐86

しかしながら、非特許文献１の技術は、ペン型のコントローラデバイスを用いるため、そのコントローラデバイスを必ず手元に用意しなければならず、ユーザに対して金銭的負担を与えてしまう。

また、非特許文献２の技術は、加速度センサを利用するものであり、ユーザが端末を手で振らなければならないため、加速度センサがないタッチパネル端末や、ノートＰＣやテーブル型タッチパネル端末等のようなサイズの大きいタッチパネル端末については適用が難しい。

更に、非特許文献３の技術は、マルチタッチを識別可能なタッチパネル端末を用いるため、マルチタッチを識別不能なタッチパネル端末については適用することができない。また、３本以上の指でタッチ操作するため、スマートウォッチのようなパネル面積が小さいタッチパネル端末については適用が難しい。

本発明は、上記事情を鑑みてなされたものであり、端末間の連携動作時における端末の種類等への依存度を改善することを目的とする。

請求項１に記載の端末制御装置は、複数の音声情報の発話者が同一である複数のタッチパネル端末を連携動作させ、発話者が異なる複数のタッチパネル端末は連携動作させない制御手段、を有することを要旨とする。

本発明によれば、複数の音声情報の発話者が同一である複数のタッチパネル端末を連携動作させるため、タッチパネル端末間の連携動作時における端末の種類等への依存度を低減できる。

請求項２に記載の端末制御装置は、請求項１に記載の端末制御装置において、前記タッチパネル端末に対するタッチ操作を契機に発話者の音声情報を受信する受信手段を更に有することを要旨とする。

請求項３に記載の端末制御装置は、請求項２に記載の端末制御装置において、前記制御手段は、連携動作させる複数のタッチパネル端末のうち、最も早くタッチ操作された第１のタッチパネル端末に表示されている情報を他のタッチパネル端末にも表示し、又は、前記第１のタッチパネル端末から前記情報を削除して他のタッチパネル端末に表示することを要旨とする。

請求項４に記載の端末制御方法は、コンピュータにより、複数の音声情報の発話者が同一である複数のタッチパネル端末を連携動作させ、発話者が異なる複数のタッチパネル端末は連携動作させないステップ、を有することを要旨とする。

請求項５に記載の端末制御プログラムは、請求項１乃至３のいずれかに記載の端末制御装置としてコンピュータを機能させることを要旨とする。

本発明によれば、端末間の連携動作時における端末の種類等への依存度を低減できる。

タッチパネル端末間でのファイルの移動シーンを示す図である。端末制御装置の機能ブロック構成を示す図である。タッチパネル端末の動作フローを示す図である。端末イベント処理部の動作フローを示す図である。タッチ情報の構成例を示す図である。音声情報の構成例を示す図である。位置情報の構成例を示す図である。端末情報の構成例を示す図である。ユーザ指定端末判定部の動作フローを示す図である。端末情報表示操作部の動作フローを示す図である。

本発明は、タッチパネル端末に発話した発話者が同一である複数のタッチパネル端末を連携することを特徴としている。これにより、タッチパネル端末間の連携動作時における端末の種類等への依存度を低減できるので、特別なコントローラデバイスを必要とせず、テーブル型タッチパネル端末のような大きな端末から腕時計型タッチパネル端末のような小さなタッチパネル端末までをもその対象に含めることができる。

はじめに、本実施の形態の技術的特徴について説明する。本実施の形態では、上述した発明の特徴を実現するため、以下のような技術的特徴を備えている。

１つ目は、情報を移動又はコピーしたい両方のタッチパネル端末へのタッチ操作と、情報の移動又はコピーを指示するユーザの発話に対する音声認識とを組み合わせて、タッチパネル端末間で情報を移動又はコピーすることである。

図１に、１つ目の技術を利用した２つのマイク付きタッチパネル端末間でのファイルの移動シーンを示す。ユーザ５００は、第１のタッチパネル端末１００ａと第２のタッチパネル端末１００ｂとの両パネルにそれぞれタッチし、その後に例えば「ムーブ」と発話することにより、第１のタッチパネル端末１００ａに表示されている画像ファイルを、第２のタッチパネル端末１００ｂに表示されているテキストファイルの上に移動させる。同様に「コピー」と発話した場合には、その画像ファイルをそのテキストファイルの上にコピーする。

ユーザ５００によるタッチ操作入力が行われた場合、第１のタッチパネル端末１００ａ及び第２のタッチパネル端末１００ｂは、ユーザ５００からの発話音声がマイクから入力されるのを待つ。そして、入力された各音声情報に対して音声認識を行い、音声認識結果を比較した結果、一致した両端末を情報の移動又はコピーを行うタッチパネル端末と判定する。

２つ目は、複数のタッチパネル端末が情報の移動元又はコピー元と情報の移動先又はコピー先とのどちらであるかを、タッチ操作の時刻に基づいて判定することである。例えば、両端末に対するユーザのタッチ時刻を比較し、先にタッチされたタッチパネル端末を情報の移動元又はコピー元の端末と判定し、後にタッチされたタッチパネル端末を情報の移動先又はコピー先の端末と判定する。

３つ目は、音声認識結果の比較等を高精度かつ少ない計算量で実行できるように、端末の位置情報を用いてタッチパネル端末の候補を絞り込むことである。例えば、ＧＰＳやＷｉＦｉ、基地局情報等を用いて、タッチ操作された際における各タッチパネル端末の位置情報を取得し、各位置情報を比較して予め定められた距離内の両端末を情報の移動又はコピーを行うタッチパネル端末候補とする。候補以外の端末を音声認識結果の比較処理から除外することにより、候補の推定精度の向上と計算量の削減を実現する。

４つ目は、３つ目と同様に音声認識結果の比較等を高精度かつ少ない計算量で実行可能とするため、タッチされた時刻情報を用いてタッチパネル端末の候補を絞り込むことである。例えば、あるマイク付きタッチパネル端末に対してタッチ操作が行われた場合、その時刻の前後において予め定められた時間内にタッチ操作が行われたタッチパネル端末を情報の移動又はコピーを行うタッチパネル端末候補とする。候補以外の端末を音声認識結果の比較処理から除外することにより、候補の推定精度の向上と計算量の削減を実現する。

５つ目は、情報がユーザの意図しないタッチパネル端末に誤って送信されないように、音声情報の類似度に基づいてペアとなるタッチパネル端末を決定することである。例えば、付近で他人がタッチパネル端末を偶然操作していた場合や、悪意ある第三者が故意に情報を奪おうと付近でタッチパネル端末をタッチした場合には、情報がユーザの意図しない端末に送信されてしまう可能性がある。ここでは、誤って送信されてしまう可能性を低減するようにしている。

例えば、前述した音声認識結果の比較の結果から同じ認識結果の端末が３つ以上計測された場合、入力された音声情報を用いて、同じ認識結果の端末の中からユーザが指定した情報の移動又はコピーを行う２つのタッチパネル端末を判定する。この判定を行うことにより、３つ以上計測された場合を単にエラーとして扱わなくてよくなり、入力に対して移動又はコピーを行う両端末の偽陽性の判定確率を下げ精度を向上させることができる。

その判定の際には、各端末に入力された音声情報間の類似度を計算する。同じ音声認識結果の端末における全端末ペアに対して音声情報の類似度を計算し、最も類似度が高かった端末ペアの類似度が予め決められた閾値よりも高い場合にその端末ペアを情報の移動又はコピーを行う両タッチパネル端末とする。なお、音声情報の類似度を計算する方法としては、例えば、各音声情報から音声区間を抽出し、抽出結果の周波数成分の差の逆数を取る方法や、音声情報で一致する波長の入力時刻の差の絶対値の逆数を取る方法が挙げられる。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

図２は、本実施の形態に係る端末制御装置３００の機能ブロック構成を示す図である。この端末制御装置３００は、複数のタッチパネル端末１００の各パネル上にそれぞれ表示されている表示情報を制御する装置である。本実施例では、端末イベント処理部３１と、ユーザ指定端末判定部３２と、端末情報表示操作部３３と、データ記憶部３４とを備えて構成される。例えば、通信機能・情報記憶機能・計算機能を持つハードウェア装置で実現可能である。

端末イベント処理部３１は、タッチパネル端末１００で発生したイベントに関する各種情報を受信して、データ記憶部３４に記憶させる。例えば、タッチパネル端末１００に入力された発話者の音声情報を、データ記憶部３４が備える音声情報記録エリア３４ｂに記憶する。具体的な動作は後述する。

ユーザ指定端末判定部３２は、タッチパネル端末１００に対するタッチ操作と、タッチパネル端末１００に入力された発話者の音声情報とを用いて、同一のユーザが操作した複数のタッチパネル端末１００を判定する。例えば、複数の音声情報を比較し、合致する音声情報の送信元を同一ユーザのタッチパネル端末と判定する。具体的な動作は後述する。

端末情報表示操作部３３は、ユーザ指定端末判定部３２での判定の結果、ユーザが同一である複数のタッチパネル端末１００を連携動作させ、ユーザが異なるタッチパネル端末１００は連携動作させないように、複数のタッチパネル端末１００をそれぞれ操作する。具体的な動作は後述する。

データ記憶部３４は、端末イベント処理部３１が受信した各情報を記憶する。情報の内容に応じて、タッチ情報記録エリア３４ａと、音声情報記録エリア３４ｂと、位置情報記録エリア３４ｃと、端末情報記録エリア３４ｄとを備えている。

以上が端末制御装置の備える機能である。

一方、タッチパネル端末１００は、通信機能・集音機能・緯度経度取得機能等の標準的な機能を備えた端末である。例えば、スマートウォッチ、スマートフォン、タブレットＰＣ、ノートＰＣ、電子黒板、テーブル型タッチパネル等である。本発明では、形状やパネル面積が様々なサイズの端末を利用できる。

次に、本システムの動作を説明する。

最初に、タッチパネル端末１００の動作について説明する。図３は、タッチパネル端末１００の動作フローを示す図である。本動作フローは、タッチパネル端末１００に対して何らかの入力があった場合に開始される。

まず、ステップＳ１０１において、自端末に入力された入力情報が、タッチ操作に基づくタッチ入力か否かを判定する。入力情報がタッチ入力の場合はステップＳ１０２へ進み、タッチ入力以外の場合はステップＳ１０１へ戻る。

次に、ステップＳ１０２において、タッチ入力が行われた時刻情報と、タッチ入力が行われた時刻の端末の位置情報とを取得し、タッチ時刻情報と端末位置情報と端末ＩＤ情報とで構成されるタッチ・位置情報を端末制御装置３００へ送信する。そして、その送信後はステップＳ１０３へ進む。

次に、ステップＳ１０３において、ユーザによる音声入力を待機し、マイクによって音情報が取得された場合、その音情報から音声区間が検出されるか否かを判定する。音声区間が検出された場合はステップＳ１０４へ進み、検出されなかった場合はステップＳ１０５へ進む。

そして、ステップＳ１０４において、検出された音声区間の音声ファイルと、音声ファイルの開始時刻と一致する音声ファイルの時刻情報と、タッチされた際に端末に表示されていた画像・テキスト等の表示情報ファイルと、端末ＩＤ情報とで構成される音声・端末情報を端末制御装置３００へ送信する。そして、その送信後は本動作フローを終了する。その後、再度ユーザから端末に対して何らかの入力があった場合はステップＳ１０１からフローを開始する。

一方、ステップＳ１０３で音声区間が検出されなかった場合は、ステップＳ１０５において、初期化された情報として時刻が「９９：９９：９９：９９」で表現されるタッチ時刻情報と端末ＩＤ情報とを端末制御装置３００へ送信する。その送信後はステップＳ１０１へ戻る。

次に、端末制御装置３００の動作について説明する。最初に、端末イベント処理部３１の動作を説明する。図４は、端末イベント処理部３１の動作フローを示す図である。本動作フローは、タッチパネル端末１００から何らかの情報を受信した場合に開始される。

まず、ステップＳ２０１において、タッチパネル端末１００から端末制御装置３００へ送信されたタッチ・位置情報と音声・端末情報とを受信する。

次に、ステップＳ２０２において、受信した各情報の内容に応じてデータ記憶部３４の各エリア３４ａ〜３４ｄをそれぞれ更新する。

最後に、ステップＳ２０３において、ユーザ指定端末判定部３２に対して、ユーザによるタッチパネル端末１００への操作を判定するためのユーザ操作判定命令を送信する。

ここで、各エリア３４ａ〜３４ｄに記録される各情報を説明する。図５は、タッチ情報記録エリア３４ａに記憶されるタッチ情報の構成例を示している。タッチ情報は、端末ＩＤとタッチ時刻情報とで構成される。端末ＩＤは、タッチパネル端末１００を構成する各端末に対して一意に設定される識別子である。また、タッチ時刻情報は、タッチ入力の時刻を時・分・秒・ミリ秒で表したものであり、値が無い場合の初期値を特別に「９９：９９：９９：９９」で表す。

図６は、音声情報記録エリア３４ｂに記憶される音声情報の構成例を示している。音声情報は、端末ＩＤと音声ファイル時刻情報と音声ファイルとで構成される。端末ＩＤは、各エリア３４ａ〜３４ｂと共通のタッチパネル端末１００を構成する各端末に対して一意に設定される値である。また、音声ファイル時刻情報は、音声ファイルの０秒時点の時刻を示しており、時・分・秒・ミリ秒で表される。端末ＩＤに紐づく音声ファイルが存在しない場合は、音声ファイルの時刻情報の値を初期値として特別に「９９：９９：９９：９９」として表し、音声ファイルの値を「ｎｕｌｌ」として表す。

図７は、位置情報記録エリア３４ｃに記憶される位置情報の構成例を示している。位置情報は、端末ＩＤと緯度情報及び経度情報とで構成される。端末ＩＤは、各エリア３４ａ〜３４ｂと共通のタッチパネル端末１００を構成する各端末に対して一意に設定される値である。

図８は、端末情報記録エリア３４ｄに記憶される端末情報の構成例を示している。端末情報は、端末ＩＤと端末アドレスと表示情報ファイルとで構成される。端末ＩＤは、各エリア３４ａ〜３４ｂと共通のタッチパネル端末１００を構成する各端末に対して一意に設定される値である。また、端末アドレスは、タッチパネル端末１００を構成する各端末をネットワーク上で一意に識別可能なアドレスである。また、表示情報ファイルは、ユーザがパネルをタッチした際に当該パネル上に表示されている画像やテキストファイルである。

続いて、ユーザ指定端末判定部３２の動作を説明する。図９は、ユーザ指定端末判定部３２の動作フローを示す図である。本動作フローは、端末イベント処理部３１からユーザ操作判定命令を受信した場合に開始される。

まず、ステップＳ３０１において、タッチ情報記録エリア３４ａ，音声情報記録エリア３４ｂ，位置情報記録エリア３４ｃにそれぞれ記憶されているタッチ情報，音声情報，位置情報を取得する。各情報を取得した後はステップＳ３０２へ進む。

次に、ステップＳ３０２において、取得したタッチ情報，音声情報，位置情報に基づき、候補となるタッチイベントがあるか否かを判定する。例えば、まず、タッチ時刻情報で最も新しい時刻のタッチ入力と現在時刻との差を計算する。そして、その差分が予め定められた一定時間よりも大きい場合は、候補となるタッチイベントが存在しないと判定し、ステップＳ３０１へ戻る。

一方、その差分が一定時間よりも小さい場合は、全てのタッチ情報の組に対してタッチ時刻の差を計算し、その差分が予め定められた一定時間よりも小さい組が１つもなかった場合は、候補となるタッチイベントが存在しないと判定し、ステップＳ３０１へ戻る。

一方、１組以上のタッチ情報の組が存在する場合は、続いて各組の位置情報間の距離を計算し、全組の中で両端末の距離が予め定められた一定距離内にある組が１組以上存在する場合は候補となるタッチイベントが存在すると判定し、ステップＳ３０３へ進む。一方、１組もない場合は、候補となるタッチイベントが存在しないと判定し、ステップＳ３０１へ戻る。

次に、ステップＳ３０３において、両端末の距離が予め定められた一定距離内にあったタッチ情報の組に対して、その組を構成する全ての端末ＩＤの音声情報があるか否かを判定する。そして、全ての端末ＩＤに対応する音声情報が存在する場合はステップＳ３０４へ進む。一方、音声情報が存在しない端末ＩＤが存在した場合はステップＳ３０１へ戻る。

次に、ステップＳ３０４において、全ての端末ＩＤに対応する音声情報が存在する組に対して、その組を構成する端末ＩＤと一致する音声情報の音声ファイルから、組内の２端末間の音情報の類似度を計算する。そして、その計算の結果、音情報の類似度が予め決められたスレッショルドよりも高い組があった場合はステップＳ３０５へ進む。一方、１組もない場合はステップＳ３０１へ戻る。

最後に、ステップＳ３０５において、音情報の類似度が予め決められたスレッショルドよりも高かった組の端末ＩＤのペア情報を含む情報移動命令を端末情報表示操作部３３へ送信する。その際、１つの端末ＩＤが複数の組を構成する場合は、複数の組を構成する端末ＩＤの端末ＩＤペアのうち類似度が最も高かった組の端末ＩＤペア情報のみを送信する。そして、その送信後は本動作フローを終了する。

続いて、端末情報表示操作部３３の動作を説明する。図１０は、端末情報表示操作部３３の動作フローを示す図である。本動作フローは、ユーザ指定端末判定部３２から端末ＩＤのペア情報を情報移動命令として受信した場合に開始される。

まず、ステップＳ４０１において、音声情報記録エリア３４ｂから各端末ＩＤペアと同一の端末ＩＤを持つ音声情報を取得し、音声情報に含まれるユーザ命令が「ムーブ」等の情報の移動を指示する移動命令か、「コピー」等の情報の複製を指示するコピー命令を判定する。

次に、ステップＳ４０２において、タッチ情報記録エリア３４ａから各端末ＩＤペアと同一の端末ＩＤを持つタッチ情報を取得し、タッチ情報のタッチ時刻情報を比較することにより、ペアを構成する２つの端末ＩＤのうち、どちらが情報の移動元又はコピー元で、どちらが情報の移動先又はコピー先かを判定する。そして、タッチ時刻の早い端末ＩＤを情報の移動元又はコピー元とし、タッチ時刻の遅い端末ＩＤを情報の移動先又はコピー先とする。

最後に、ステップＳ４０３において、端末情報記録エリア３４ｄから各端末ＩＤペアと同一の端末ＩＤを持つ端末情報を取得し、情報の移動元又はコピー元の端末ＩＤと一致する表示情報ファイルを、情報の移動先又はコピー先の端末ＩＤと一致する端末ＩＤを持つ端末アドレスのタッチパネル端末１００へ端末情報更新命令として送信する。

更に、ユーザ命令が移動命令の場合は、情報の移動元の端末ＩＤと一致する端末ＩＤを持つ端末アドレスのタッチパネル端末１００に対しても端末情報更新命令を送信することにより表示情報ファイルを削除させる。そして、端末情報更新命令を送信した後は、情報の移動命令として受信した端末ＩＤペアに含まれる端末ＩＤと一致するタッチ情報を初期化する。

以上より、本実施の形態によれば、ユーザが同一である複数のタッチパネル端末１００を連携動作させるため、タッチパネル端末間の連携動作時における端末の種類等への依存度を低減できる。これにより、特別なコントローラデバイスを必要とせず、テーブル型タッチパネル端末のように手で振ることが困難な端末や、マルチタッチの難しい腕時計型タッチパネル端末のような小さなタッチパネル端末までをもその対象に含めることができる。

１００…マイク付きタッチパネル端末
３００…端末制御装置
３１…端末イベント処理部
３２…ユーザ指定端末判定部
３３…端末情報表示操作部
３４…データ記憶部
３４ａ…タッチ情報記録エリア
３４ｂ…音声情報記録エリア
３４ｃ…位置情報記録エリア
３４ｄ…端末情報記録エリア
５００…ユーザ
Ｓ１０１〜Ｓ１０５、Ｓ２０１〜Ｓ２０３、Ｓ３０１〜Ｓ３０５、Ｓ４０１〜Ｓ４０３…ステップ

Claims

タッチパネル端末に対するタッチ操作を契機に発話者の音声情報を受信する受信手段と、
複数の音声情報の発話者が同一である複数のタッチパネル端末を連携動作させ、発話者が異なる複数のタッチパネル端末は連携動作させない制御手段と、を有し、
前記制御手段は、
連携動作させる複数のタッチパネル端末のうち、最も早くタッチ操作された第１のタッチパネル端末に表示されている情報を他のタッチパネル端末にも表示し、又は、前記第１のタッチパネル端末から前記情報を削除して他のタッチパネル端末に表示することを特徴とする端末制御装置。
コンピュータにより、
タッチパネル端末に対するタッチ操作を契機に発話者の音声情報を受信する受信ステップと、
複数の音声情報の発話者が同一である複数のタッチパネル端末を連携動作させ、発話者が異なる複数のタッチパネル端末は連携動作させない制御ステップと、を有し、
前記制御ステップでは、
連携動作させる複数のタッチパネル端末のうち、最も早くタッチ操作された第１のタッチパネル端末に表示されている情報を他のタッチパネル端末にも表示し、又は、前記第１のタッチパネル端末から前記情報を削除して他のタッチパネル端末に表示することを特徴とする端末制御方法。
請求項１に記載の端末制御装置としてコンピュータを機能させるための端末制御プログラム。