JP6557981B2 - Display device, display program, and display method - Google Patents
Display device, display program, and display method Download PDFInfo
- Publication number
- JP6557981B2 JP6557981B2 JP2015017314A JP2015017314A JP6557981B2 JP 6557981 B2 JP6557981 B2 JP 6557981B2 JP 2015017314 A JP2015017314 A JP 2015017314A JP 2015017314 A JP2015017314 A JP 2015017314A JP 6557981 B2 JP6557981 B2 JP 6557981B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- user
- display
- sight
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000013459 approach Methods 0.000 claims description 8
- 239000003550 marker Substances 0.000 description 162
- 230000033001 locomotion Effects 0.000 description 54
- 230000005540 biological transmission Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示装置、表示プログラム及び表示方法に関する。 The present invention relates to a display device, a display program, and a display method.
従来より、遠隔会議システムやｅラーニングシステム等では、話し手側の表示装置と聞き手側の表示装置とをネットワークを介して接続し、コンテンツを共有しながら音声データの送受信を行うことでコミュニケーションを行っている。このようなシステムでは、例えば、話し手の視線位置を検出する視線センサを配し、聞き手側の表示画面上に話し手の視線位置を示す表示を行うことで、聞き手の視線位置を話し手の視線位置に誘導することができる。 Conventionally, in a teleconference system, an e-learning system, etc., communication is performed by connecting a display device on the speaker side and a display device on the listener side via a network, and transmitting and receiving audio data while sharing content. Yes. In such a system, for example, a gaze sensor for detecting the gaze position of the speaker is arranged, and the gaze position of the speaker is displayed on the display screen on the listener side, so that the gaze position of the listener is changed to the gaze position of the speaker. Can be guided.
しかしながら、話し手である第１の利用者の視線位置に聞き手である第２の利用者が視線を向けたくない場合もある。例えば、第２の利用者が、表示画面上に表示されたコンテンツの一部を注視したい場合や、コンテンツ内の文章を先に読み進めたい場合等が挙げられる。 However, there are cases where the second user who is the listener does not want to direct his / her line of sight to the position of the first user who is the speaker. For example, there may be a case where the second user wants to watch a part of the content displayed on the display screen, or a case where he wants to read a sentence in the content first.
このような場合において、第２の利用者側の表示画面上に第１の利用者の視線位置を示す表示を行うとすると、第２の利用者にとっては第１の利用者の視線位置を示す表示によって気が散ってしまう等の不都合が生じる。 In such a case, if the display indicating the first user's line-of-sight position is performed on the display screen on the second user side, the line-of-sight position of the first user is indicated for the second user. Inconveniences such as distraction from the display occur.
一方で、第１の利用者の視線位置を示す表示を第２の利用者の操作によって非表示とさせることもできるが、この場合、第１の利用者との間の円滑なコミュニケーションが阻害されることになる。 On the other hand, the display indicating the first user's line-of-sight position can be hidden by the operation of the second user, but in this case, smooth communication with the first user is hindered. Will be.
一つの側面では、第２の利用者が、第１の利用者の視線位置に視線を向けたくない場合に、第１の利用者の視線位置を示す表示で気が散ることを防ぐことを目的としている。 In one aspect, when the second user does not want to direct the line of sight to the first user's line of sight, it is intended to prevent distraction from the display indicating the line of sight of the first user It is said.
一態様によれば、表示装置は、第１及び第２の利用者のうち、前記第２の利用者の状態に基づいて、前記第１の利用者の視線位置を示す表示が行われる表示画面において、前記第１の利用者の視線位置を示す表示が行われた後、所定の期間が経過しても、前記第２の利用者の視線位置が前記第１の利用者の視線位置に近づかないと判断した場合であって、前記第２の利用者の視線位置が所定距離間隔で同一方向に複数回移動したと判断した場合、前記第１の利用者の視線位置を示す表示を変更する表示部を有することを特徴とする。
According to one aspect, the display device is a display screen on which a display indicating a line-of-sight position of the first user is performed based on a state of the second user among the first and second users. In this case, after the display indicating the first user's line-of-sight position is performed, the second user's line-of-sight position approaches the first user's line-of-sight position even if a predetermined period has elapsed. If it is determined that the second user's line-of-sight position has moved a plurality of times in the same direction at predetermined distance intervals, the display indicating the line-of-sight position of the first user is changed. It has a display part.
第２の利用者が、第１の利用者の視線位置に視線を向けたくない場合に、第１の利用者の視線位置を示す表示で気が散ることを防ぐことができる。 When the second user does not want to direct his / her line of sight to the first user's line of sight, it is possible to prevent distraction from being displayed with the display indicating the line of sight of the first user.
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。 Each embodiment will be described below with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.
［第１の実施形態］
第１の実施形態に係る表示装置を含む表示システムについて説明する。図１は、表示システムの一例を示す図である。
[First Embodiment]
A display system including the display device according to the first embodiment will be described. FIG. 1 is a diagram illustrating an example of a display system.
表示システム１００は、表示装置１１０、１３０と、サーバ装置１５０とを有し、表示装置１１０、１３０と、サーバ装置１５０とは、インターネットやＬＡＮ（Local Area Network）等に代表されるネットワーク１６０を介して接続されている。表示システム１００は、例えば、遠隔会議やｅラーニング等のように、第１の利用者側の表示装置１１０と第２の利用者側の表示装置１３０との間で、表示画面に表示する表示画像データ（コンテンツ）を共有しながら音声データを送受信する。
The
表示装置１１０には、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがインストールされている。これにより、表示装置１１０は、マーカ表示制御部１１１、画像表示制御部１１２、音声制御部１１３として機能する。
The
表示装置１１０には、第１の利用者の視線位置を検出する視線センサ１２１、第１の利用者の発話を検出するマイク等の音声取得装置１２２、表示装置１３０より送信された音声データを出力するスピーカ等の音声出力装置１２３が接続されている。
The
同様に、表示装置１３０には、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがインストールされている。これにより、表示装置１３０は、マーカ表示制御部１３１、画像表示制御部１３２、音声制御部１３３として機能する。
Similarly, the
表示装置１３０には、第２の利用者の視線位置を検出する視線センサ１４１、第２の利用者の発話を検出するマイク等の音声取得装置１４２、表示装置１１０より送信された音声データを出力するスピーカ等の音声出力装置１４３が接続されている。
The
サーバ装置１５０は、ネットワーク１６０を介して接続された表示装置１１０と表示装置１３０との間のデータ通信を制御する。
The
なお、以下では、便宜上、第１の利用者を話し手、第２の利用者を聞き手として説明するが、第１の利用者が聞き手、第２の利用者が話し手であってもよい。つまり、表示装置１１０及び表示装置１３０には、話し手のための機能と聞き手のための機能の両方が配されているものとし、以下では、主に、表示装置１１０に配された話し手のための機能と、表示装置１３０に配された聞き手のための機能について説明する。
In the following, for the sake of convenience, the first user is described as a speaker and the second user as a listener, but the first user may be a listener and the second user may be a speaker. That is, it is assumed that the
また、図１では、聞き手である第２の利用者が利用する表示装置１３０を１台のみ示したが、表示装置１３０は複数台であってもよい。また、図１では、表示装置１１０と表示装置１３０との間の通信をサーバ装置１５０を介して行うようにしたが、表示装置１１０または表示装置１３０のいずれかにサーバ装置１５０の機能を内蔵させ、サーバ装置１５０を介さずに通信を行うようにしてもよい。
In FIG. 1, only one
次に、表示システム１００の利用例について説明する。図２は、表示システムの利用例を示す図である。図２に示すように、表示装置１１０は第１の利用者２１０により利用される。第１の利用者２１０は、表示装置１１０の表示画面２０１に表示された表示画像データについての説明を行う。表示画面２０１に表示された表示画像データは、表示装置１１０によって表示装置１３０にも送信される。
Next, a usage example of the
第１の利用者２１０による説明時の発話は、音声取得装置１２２により検出され、音声データとして表示装置１３０に送信される。また、第１の利用者２１０が説明を行う際の視線位置は視線センサ１２１により検出され、表示画面２０１上の視線座標データとして表示装置１３０に送信される。
The speech at the time of explanation by the first user 210 is detected by the
一方、表示装置１３０は第２の利用者２２０により利用される。表示装置１３０は、表示装置１１０より送信されたデータ群２３０に含まれる表示画像データを表示画面２０２に表示する。これにより、表示装置１１０と表示装置１３０との間で、表示画像データを共有することができる。
On the other hand, the
また、表示装置１３０に接続された音声出力装置１４３は、表示装置１１０より送信されたデータ群２３０に含まれる音声データを出力する。これにより、第２の利用者２２０は、第１の利用者２１０による説明時の発話を視聴することができる。
The
表示装置１３０に接続された視線センサ１４１は、第２の利用者２２０が第１の利用者２１０による説明時の発話を視聴している間、第２の利用者２２０の視線位置を検出する。視線センサ１４１により検出された視線位置は、第２の利用者２２０の表示画面２０２上の視線座標データとして表示装置１３０にて処理される。なお、第２の利用者２２０の視線座標データは、表示装置１１０より送信されたデータ群２３０に含まれる第１の利用者２１０の視線座標データとともに処理される。これにより、表示装置１３０では表示画面２０２上に表示される第１の利用者２１０の視線位置を示す表示（マーカ）の表示態様を制御する。
The line-of-
次に、表示装置１１０、１３０のハードウェア構成について説明する。図３は、表示装置のハードウェア構成を示す図である。図３に示すように、表示装置１１０、１３０は、ＣＰＵ３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を備える。また、表示装置１１０、１３０は、補助記憶部３０４、入力部３０５、表示部３０６、インタフェース部３０７、通信部３０８、ドライブ部３０９を備える。なお、表示装置１１０、１３０の各部は、バス３１０を介して相互に接続されている。
Next, the hardware configuration of the
ＣＰＵ３０１は、補助記憶部３０４に格納された各種プログラム（例えば、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラム等）を実行するコンピュータである。
The
ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶部３０４に格納された各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
The
ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ３０３は、補助記憶部３０４に格納された各種プログラムがＣＰＵ３０１によって実行される際に展開される、作業領域を提供する。
The
補助記憶部３０４は、表示装置１１０、１３０にインストールされた各種プログラムや、各種プログラムを実行することで生成されるデータ等を格納する。入力部３０５は、第１の利用者２１０または第２の利用者２２０が表示装置１１０、１３０に対して各種指示（例えば、表示画面２０１、２０２に表示される表示画像データの切り換え指示等）を入力する際に用いられる。表示部３０６は、表示画面２０１、２０２に表示画像データ等を表示する。
The
インタフェース部３０７は、表示装置１１０、１３０に接続される外部機器を接続するためのデバイスである。視線センサ１２１、１４１、音声取得装置１２２、１４２、音声出力装置１２３、１４３は、インタフェース部３０７を介して、表示装置１１０、１３０に接続される。
The
通信部３０８はネットワーク１６０に接続され、例えば、データ群２３０のネットワーク１６０への送信、及びデータ群２３０のネットワーク１６０からの受信を行う。
The
ドライブ部３０９は記録媒体３２０をセットするためのデバイスである。ここでいう記録媒体３２０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３２０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
The
なお、補助記憶部３０４に格納される各種プログラムは、例えば、配布された記録媒体３２０がドライブ部３０９にセットされ、該記録媒体３２０に記録された各種プログラムがドライブ部３０９により読み出されることでインストールされるものとする。あるいは、通信部３０８を介してネットワーク１６０からダウンロードされることでインストールされるものとする。
The various programs stored in the
サーバ装置１５０のハードウェア構成も図２に示す表示装置１１０、１３０のハードウェア構成と概ね同じである。このため、サーバ装置１５０のハードウェア構成の説明は省略する。
The hardware configuration of the
次に、表示システム１００の各装置（ここでは表示装置１１０、１３０）の機能構成について説明する。図４は、表示システムの各装置の機能構成を示す図である。
Next, the functional configuration of each device (here, the
表示装置１１０は、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがそれぞれＣＰＵ３０１によって実行されることで、マーカ表示制御部１１１、画像表示制御部１１２、音声制御部１１３として機能する。
The
同様に、表示装置１３０は、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがそれぞれＣＰＵ３０１により実行されることで、マーカ表示制御部１３１、画像表示制御部１３２、音声制御部１３３として機能する。
Similarly, the
なお、図４では、第１の利用者２１０が話し手、第２の利用者が聞き手とした場合の表示装置１１０、１３０それぞれの機能を実線で示している。また、第１の利用者２１０が聞き手、第２の利用者２２０が話し手とした場合の表示装置１１０、１３０それぞれの機能を点線で示している。以下、実線で示した機能について説明する。
In FIG. 4, the functions of the
図４に示すように、マーカ表示制御部１１１は、センサ情報取得部４０１、視線座標算出部４０２、状態判定部４０３、視線座標送信部４０４、視線座標受信部４０５、視線距離算出部４０６、マーカ表示部４０７を有する。
As shown in FIG. 4, the marker
センサ情報取得部４０１は、第１の利用者２１０の視線位置を視線センサ１２１が検出することで得られたセンサ情報を取得する。
The sensor
視線座標算出部４０２は、センサ情報取得部４０１により取得されたセンサ情報に基づいて、第１の利用者２１０の視線の表示画面２０１上の座標位置を視線座標データとして算出する。
The line-of-sight coordinate
状態判定部４０３は、第１の利用者２１０が話し手の状態にあるのか、聞き手の状態にあるのか、あるいはその両方の状態にあるのかを識別する。第１の利用者２１０が話し手の状態にあると識別した場合には、視線座標算出部４０２により算出された視線座標データを視線座標送信部４０４に通知する。一方、第１の利用者２１０が聞き手の状態にあると識別した場合には、視線座標算出部４０２により算出された視線座標データを視線距離算出部４０６に通知する。
The
なお、状態判定部４０３による識別は、デフォルトで設定されている設定内容に基づいて行ってもよいし、第１の利用者２１０が入力部３０５を介して入力した操作指示に基づいて行ってもよい。あるいは、音声取得装置１２２により取得された音声データに基づいて行ってもよい。なお、音声取得装置１２２により取得された音声データに基づいて識別を行う場合にあっては、第２の利用者２２０の発話の状態も含めて総合的に判断するようにしてもよい。
The identification by the
視線座標送信部４０４は、通信部３０８を制御することで、状態判定部４０３より通知された視線座標データを表示装置１３０に送信する。
The line-of-sight coordinate
画像表示制御部１１２は、表示画像取得部４２１、表示画像送信部４２２を有する。表示画像取得部４２１は、表示部３０６の表示画面２０１に現在表示されている表示画像データ（共有されたファイルやＷｅｂページ等の場合にあっては制御信号）を取得し、表示画像送信部４２２に通知する。
The image
表示画像送信部４２２は、通信部３０８を制御することで、表示画像取得部４２１より通知された表示画像データ（あるいは制御信号）を表示装置１３０に送信する。
The display
音声制御部１１３は、音声取得部４４１と、音声送信部４４２と、音声受信部４４４と、音声出力部４４３とを有する。音声取得部４４１は、音声取得装置１２２により検出された第１の利用者２１０の発話を音声データに変換し、音声送信部４４２に通知する。
The
音声送信部４４２は、通信部３０８を制御することで、音声取得部４４１より通知された音声データを表示装置１３０に送信する。
The
同様に、マーカ表示制御部１３１は、センサ情報取得部４１１と、視線座標算出部４１２と、状態判定部４１３と、視線座標送信部４１４と、視線座標受信部４１５と、視線距離算出部４１６と、マーカ表示部４１７とを有する。
Similarly, the marker
センサ情報取得部４１１は、第１の利用者２１０による説明時の発話を視聴する際に、第２の利用者の視線位置を視線センサ１４１が検出することで得られたセンサ情報を取得する。
The sensor
視線座標算出部４１２は、センサ情報取得部４１１により取得されたセンサ情報に基づいて、第２の利用者２２０の視線の表示画面２０２上の座標位置を視線座標データとして算出する。
The line-of-sight coordinate
状態判定部４１３は、第２の利用者２２０が話し手の状態にあるのか、聞き手の状態にあるのか、あるいはその両方の状態にあるのかを識別する。第２の利用者２２０が聞き手の状態にあると識別した場合には、視線座標算出部４１２により算出された視線座標データを視線距離算出部４１６に通知する。一方、第２の利用者２２０が話し手の状態にあると識別した場合には、視線座標算出部４１２により算出された視線座標データを視線座標送信部４１４に通知する。
The
なお、状態判定部４１３による識別は、デフォルトで設定されている設定内容に基づいて行ってもよいし、第２の利用者２２０が入力部３０５を介して入力した操作指示に基づいて行ってもよい。あるいは、音声取得装置１４２により取得された音声データに基づいて行ってもよいし、表示装置１１０の状態判定部４０３からの通知に基づいて行ってもよい。また、音声取得装置１４２により取得された音声データに基づいて識別を行う場合にあっては、第１の利用者２１０の発話の状態も含めて総合的に判断するようにしてもよい。
The identification by the
視線座標受信部４１５は、表示装置１１０の視線座標送信部４０４によって送信された視線座標データを受信し、表示装置１３０の表示部３０６の表示画面２０２に応じた視線座標データに変換したうえで、視線距離算出部４１６に通知する。なお、以下では、説明の便宜上、表示装置１１０の表示部３０６の表示画面２０１と、表示装置１３０の表示部３０６の表示画面２０２とは同じ構成であるものとする。このため、視線座標受信部４１５では、視線座標送信部４０４によって送信された表示画面２０１上の視線座標データを変換することなく、視線距離算出部４１６に、表示画面２０２上の視線座標データとして通知するものとして説明する。
The line-of-sight coordinate receiving
視線距離算出部４１６は、視線座標受信部４１５より通知された視線座標データ（第１の利用者２１０の表示画面２０２上の視線座標データ）を取得し、マーカ表示部４１７に通知する。また、状態判定部４１３より通知された視線座標データ（第２の利用者２２０の表示画面２０２上の視線座標データ）を取得する。
The line-of-sight
また、視線距離算出部４１６は、第１の利用者２１０の表示画面２０２上の視線座標データと、第２の利用者２２０の表示画面２０２上の視線座標データとの間の距離ｄａを算出し、算出結果である距離ｄａをマーカ表示部４１７に通知する。
Moreover, line-of-sight
マーカ表示部４１７は、第１の利用者２１０の視線座標データにより特定される表示画面２０２上の座標位置にマーカを表示する。また、マーカ表示部４１７は、視線距離算出部４１６より通知された距離ｄａを所定の距離閾値ｄｔｈと比較する。なお、距離閾値ｄｔｈは、例えば、表示画像データの画像解像度、表示画像データの種別、視野領域、第１の利用者２１０または第２の利用者２２０の属性等に応じて決定されるものとする。
The
マーカ表示部４１７は、更に、比較結果に応じて第１の利用者２１０の視線位置を示すマーカの表示態様を制御する。具体的には、マーカ表示部４１７は、比較結果に基づいて、距離ｄａが距離閾値ｄｔｈ以上の状態のまま所定の期間が経過したのか否か（距離ｄａが距離閾値ｄｔｈ以上の状態が所定の時間閾値Ｔｔｈ以上継続したか否か）を判断する。
The
マーカ表示部４１７は、所定の時間閾値Ｔｔｈ以上継続したと判断した場合、表示画面２０２上に表示されているマーカの表示態様を変更する。なお、マーカの表示態様の変更には、例えば、マーカを非表示とすること（消去すること）、マーカの色を薄くすること、マーカの色を表示画面２０２の背景色と同一または類似の色にすること、マーカの大きさを大きくまたは小さくすること、等が含まれる。また、マーカを点滅表示させる場合にあっては、点灯間隔を長くすること等が含まれる。つまり、マーカの表示態様の変更とは、第２の利用者２２０から見てマーカを目立ちにくくすることをいう。
The
一方、マーカ表示部４１７は、距離ｄａが距離閾値ｄｔｈ未満であると判断した場合、あるいは、距離ｄａが距離閾値ｄｔｈ以上の状態が所定の時間閾値Ｔｔｈ以上継続していないと判断した場合には、マーカの表示態様を変更前の元の表示態様に戻す。
On the other hand, if the
画像表示制御部１３２は、表示画像受信部４３１と、表示画像制御部４３２とを有する。表示画像受信部４３１は、表示装置１１０の表示画像送信部４２２より送信された表示画像データ（または制御信号）を受信し、表示画像制御部４３２に通知する。
The image
表示画像制御部４３２は、表示画像受信部４３１より通知された表示画像データ（または制御信号に基づいて取得された表示画像データ）を、表示装置１３０の表示部３０６の表示画面２０２の大きさに応じて変換する。また、変換した表示画像データを表示部３０６の表示画面２０２に表示するよう制御する。なお、上述したとおり、表示装置１１０の表示部３０６の表示画面２０１と、表示装置１３０の表示部３０６の表示画面２０２とは同じ構成である。このため、以下の説明では、表示画像制御部４３２は、表示画像受信部４３１より通知された表示画像データを変換することなく、表示画面２０２に表示するものとする。
The display
音声制御部１３３は、音声受信部４５４と、音声出力部４５３と、音声取得部４５１と、音声送信部４５２とを有する。音声受信部４５４は、表示装置１１０の音声送信部４４２より送信された音声データを受信し、音声出力部４５３に通知する。
The
音声出力部４５３は、音声受信部４５４より通知された音声データを出力するよう、音声出力装置１４３を制御する。
The
次に、表示装置１３０のマーカ表示制御部１３１によるマーカ表示制御処理の流れについて説明する。図５は、表示装置によるマーカ表示制御処理のフローチャートである。
Next, the flow of marker display control processing by the marker
図５に示すマーカ表示制御処理は、表示装置１１０と表示装置１３０との間の通信が確立し、表示画像データが共有可能となった場合に実行される。
The marker display control process shown in FIG. 5 is executed when communication between the
ステップＳ５０１において、視線座標受信部４１５は、第１の利用者２１０の視線座標データＰ１を受信し視線距離算出部４１６に通知する。
In step S <b> 501, the line-of-sight coordinate receiving
ステップＳ５０２において、センサ情報取得部４１１は、第２の利用者２２０の視線位置を視線センサ１４１が検出することで得たセンサ情報を取得する。また、視線座標算出部４１２は、取得されたセンサ情報に基づいて、第２の利用者２２０の視線の表示画面２０２上の座標位置を示す視線座標データＰ２を算出し、視線距離算出部４１６に通知する。
In step S <b> 502, the sensor
ステップＳ５０３において、視線距離算出部４１６は、ステップＳ５０１において視線座標受信部４１５より通知された視線座標データＰ１と、ステップＳ５０２において視線座標算出部４１２より通知された視線座標データＰ２との間の距離ｄａを算出する。更に、視線距離算出部４１６は、算出した距離ｄａをマーカ表示部４１７に通知する。
In step S503, the line-of-sight
ステップＳ５０４において、マーカ表示部４１７は視線距離算出部４１６より通知された距離ｄａに基づいて、第２の利用者２２０の視線動作を判定する。なお、第２の利用者２２０の視線動作判定処理の詳細は後述する。
In step S504, the
ステップＳ５０４における視線動作判定処理の結果、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定した場合には、ステップＳ５０５からステップＳ５０６へと進む。
As a result of the line-of-sight movement determination process in step S504, when it is determined that the line-of-sight movement of the
ステップＳ５０６において、マーカ表示部４１７は、表示態様が変更されていないマーカが表示画面２０２に表示されている場合にあっては、当該マーカの表示態様を変更したうえで、視線座標データＰ１に基づいてマーカを表示する。また、表示態様が変更されているマーカが表示画面２０２に表示されている場合にあっては、当該変更されている表示態様を継続し、視線座標データＰ１に基づいてマーカを表示する。
In step S506, when a marker whose display mode is not changed is displayed on the
一方、ステップＳ５０４における視線動作判定処理の結果、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"ではないと判定した場合には、ステップＳ５０５からステップＳ５０７へと進む。
On the other hand, as a result of the line-of-sight movement determination process in step S504, when it is determined that the line-of-sight movement of the
ステップＳ５０７において、マーカ表示部４１７は、表示態様が変更されているマーカが表示画面２０２に表示されている場合にあっては、当該マーカの表示態様を変更前の元の表示態様に戻したうえで、視線座標データＰ１に基づいてマーカを表示する。また、表示態様が変更されていないマーカが表示画面２０２に表示されている場合にあっては、当該変更されていない表示態様を継続し、視線座標データＰ１に基づいてマーカを表示する。
In step S507, when the marker whose display mode is changed is displayed on the
ステップＳ５０８において、マーカ表示部４１７は、マーカ表示制御処理の停止指示が検知されたか否かを判定する。なお、マーカ表示制御処理の停止指示が検知される場合とは、例えば、表示装置１１０と表示装置１３０との間の通信が切断されたことを視線座標受信部４１５が検知した場合が挙げられる。あるいは、第２の利用者２２０が聞き手から話し手に変更になったことを状態判定部４１３が識別した場合等が挙げられる。
In step S508, the
ステップＳ５０８において、停止指示が検知されていないと判定された場合には、ステップＳ５０１に戻り、停止指示が検知されたと判定されるまで、ステップＳ５０１からステップＳ５０７までの処理を繰り返す。一方、ステップＳ５０８において、停止指示が検知されたと判定された場合には、表示装置１３０によるマーカ表示制御処理を終了する。
If it is determined in step S508 that a stop instruction has not been detected, the process returns to step S501, and the processes from step S501 to step S507 are repeated until it is determined that a stop instruction has been detected. On the other hand, if it is determined in step S508 that a stop instruction has been detected, the marker display control process by the
このように、表示装置１３０では、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であるか否かを判定し、判定結果に応じてマーカの表示態様を制御する。これにより、第２の利用者２２０が第１の利用者２１０の視線位置に視線を向けたくない（誘導されたくない）場合に、第１の利用者２１０の視線位置を示す表示によって気が散ってしまうといった事態を防ぐことができる。
As described above, the
次に、第２の利用者２２０の視線動作判定処理（ステップＳ５０４）の詳細について説明する。図６は、第２の利用者の視線動作判定処理の第１のフローチャートである。
Next, details of the line-of-sight movement determination process (step S504) of the
ステップＳ６０１において、マーカ表示部４１７は、視線距離算出部４１６より通知された距離ｄａが所定の距離閾値ｄｔｈ以上であるか否かを判断する。ステップＳ６０１において、所定の距離閾値ｄｔｈ以上であると判断した場合には、ステップＳ６０２に進む。
In step S601, the
ステップＳ６０２において、マーカ表示部４１７は、所定の距離閾値ｄｔｈ以上の状態が、所定の時間閾値Ｔｔｈ以上継続したか否かを判断する。ステップＳ６０２において、所定の時間閾値Ｔｔｈ以上継続したと判断した場合には、ステップＳ６０３に進む。
In step S602, the
ステップＳ６０３において、マーカ表示部４１７は、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定する。
In step S <b> 603, the
一方、ステップＳ６０１において、所定の距離閾値ｄｔｈ以上ではないと判断された場合、または、ステップＳ６０２において、所定の時間閾値Ｔｔｈ以上継続していないと判断された場合には、ステップＳ６０４に進む。 On the other hand, if it is determined in step S601 that the distance is not equal to or greater than the predetermined distance threshold d th, or if it is determined in step S602 that the distance does not continue for the predetermined time threshold T th or more, the process proceeds to step S604. .
ステップＳ６０４において、マーカ表示部４１７は、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"ではないと判定する。ステップＳ６０３またはステップＳ６０４により判定が行われると、第２の利用者の視線動作判定処理を終了する。
In step S <b> 604, the
このように、表示装置１３０では、第１の利用者２１０の視線位置と第２の利用者２２０の視線位置との間の距離が距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続したか否かを判断する。そして、当該判断結果に基づいて、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であるか否かを判定する。
As described above, in the
次に、第１の利用者２１０の視線座標データＰ１と第２の利用者２２０の視線座標データＰ２について説明する。図７は、第１の利用者の視線座標データと第２の利用者の視線座標データの変化を示す図である。
Next, the line-of-sight coordinate data P1 of the first user 210 and the line-of-sight coordinate data P2 of the
図７に示すように、視線距離算出部４１６は、各時刻Ｔ１、Ｔ２、・・・において、第１の利用者２１０の視線座標データＰ１＝（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、・・・と第２の利用者２２０の視線座標データＰ２＝（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・を取得する。そして、距離ｄａ＝ｄａ１、ｄａ２、・・・を算出する。
As shown in FIG. 7, the line-of-sight
視線距離算出部４１６において算出された距離ｄａは、マーカ表示部４１７において距離閾値ｄｔｈと比較される。なお、図７の例では、"距離ｄａ"の項目において、白塗りされた領域は、マーカ表示部４１７により距離閾値ｄｔｈ以上であると判断され、ハッチングされた領域は、マーカ表示部４１７により距離閾値ｄｔｈ未満であると判断されたことを示している。
The distance d a calculated by the line-of-sight
ここで、マーカ表示部４１７では、距離ｄａが距離閾値ｄｔｈ以上の状態が、時刻Ｔ１〜時刻Ｔ１０の時間分継続した場合に、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定するものとする。
Here, the
このため、図７の例の場合、マーカ表示部４１７は、時刻Ｔ１０、Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４において、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定することになる。つまり、マーカ表示部４１７は、時刻Ｔ１０においてマーカの表示態様を変更し、時刻Ｔ１４までの間、変更した表示態様による表示を継続し、時刻Ｔ１５においてマーカの表示態様を元の表示態様に戻して表示することになる。
For this reason, in the example of FIG. 7, the
次に、第２の利用者２２０が利用する表示画面２０２の表示例について説明する。図８は、表示画面の表示例を示す第１の図である。図８において、実線の丸はマーカ８００を示しており、点線の丸は第１の利用者２１０の視線位置８０１または第２の利用者２２０の視線位置８１１を示している。
Next, a display example of the
図８の例は、表示画面２０２に表示された表示画像データに対して、第１の利用者２１０が表示画像データ内の説明文を読みながら説明を行い、第２の利用者２２０が表示画像データ内のグラフを注視しているシーンを想定したものである。
In the example of FIG. 8, the first user 210 explains the display image data displayed on the
図８（ａ）、（ｂ）に示すように、第１の利用者２１０の視線位置に応じて表示されたマーカ８００が、表示画像データ内の説明文上を移動するのに対して、第２の利用者２２０の視線位置８１１はほとんど移動しない。
As shown in FIGS. 8A and 8B, the
このため、第１の利用者２１０の視線位置と第２の利用者２２０の視線位置８１１との間の距離ｄａは、距離閾値ｄｔｈ以上のまま推移する。この状態が時間閾値Ｔｔｈ以上継続すると、マーカ表示部４１７では、マーカ８００の表示態様を変更する。
For this reason, the distance d a between the line-of-sight position of the first user 210 and the line-of-
図８（ｃ）は、マーカ８００の表示態様が変更され、マーカ８００が非表示とされた様子を示している。このように、マーカ８００が非表示とされることで、第２の利用者２２０は、マーカ８００の表示が原因で気が散ってしまうことがなくなり、表示画像データ内のグラフを注視することができる。
FIG. 8C shows a state where the display mode of the
なお、図８（ｄ）に示すように、表示装置１３０ではマーカ８００を非表示とした後も、第１の利用者２１０の視線位置８０１と第２の利用者２２０の視線位置８１１との間の距離ｄａの算出を継続する。このため、第２の利用者２２０がグラフを注視することを止め、第１の利用者２１０が説明している説明文の方に視線を移動させた場合には、マーカ８００の表示態様が変更前（非表示とされる前）の表示態様に戻る。
Note that, as shown in FIG. 8D, even after the
図８（ｅ）は、第２の利用者２２０の視線位置８１１が、第１の利用者２１０が説明している説明文の方に移動した様子を示している。図８（ｅ）に示すように、表示装置１３０では、第１の利用者２１０の視線位置と第２の利用者２２０の視線位置８１１との間の距離ｄａが距離閾値ｄｔｈ未満であると判断すると、マーカ８００の表示態様を元に戻す。これにより、第２の利用者２２０は、第１の利用者２１０が説明中の箇所を直ちに認識することができる。
FIG. 8E shows a state in which the line-of-
以上の説明から明らかなように、本実施形態に係る表示装置１３０では、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置８０１によって誘導されたくない視線動作"であると判定すると、マーカ８００の表示態様を変更する。
As is clear from the above description, in the
この結果、本実施形態に係る表示装置１３０によれば、第２の利用者２２０が第１の利用者２１０の視線位置８０１に視線を向けたくない場合に、第１の利用者２１０の視線位置を示す表示によって、第２の利用者２２０の気が散ることを防ぐことができる。
As a result, according to the
なお、本実施形態では、第２の利用者２２０の視線動作判定処理（ステップＳ５０４）において、時間閾値Ｔｔｈが経過するまでの間に、距離ｄａが距離閾値ｄｔｈ未満の状態が１回でも発生すれば、マーカ８００の表示態様を元に戻すようにした。しかしながら、第２の利用者２２０の視線動作判定処理（ステップＳ５０４）はこれに限定されない。例えば、時間閾値Ｔｔｈが経過するまでの間に、距離ｄａが距離閾値ｄｔｈ以上の状態が所定割合以下となった場合に、マーカ８００の表示態様を元に戻すようにしてもよい。また、時間閾値Ｔｔｈが経過するまでの間に、距離ｄａが距離閾値ｄｔｈ以上の状態が所定割合を超えた場合に、マーカ８００の表示態様を変更するようにしてもよい。
In the present embodiment, the line-of-sight operation determination process of the second user 220 (step S504), until the elapse of the time threshold T th, the distance d a is one state less than the distance threshold value d th However, if it occurs, the display mode of the
また、本実施形態では、第２の利用者２２０の視線動作判定処理（ステップＳ５０４）において、距離ｄａと該距離ｄａが所定の距離閾値ｄｔｈ以上となっている時間とを用いることとした。しかしながら、第２の利用者２２０の視線動作判定処理（ステップＳ５０４）はこれに限定されない。例えば、更に、第２の利用者２２０の視線位置８１１が所定時間移動していないかどうかの判断を加えるようにしてもよい。この場合、距離ｄａが距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続し、第２の利用者２２０の視線位置が所定時間移動しない場合、第２の利用者２２０の視線動作が"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定される。
In the present embodiment, in the line-of-sight movement determination process (step S504) of the
［第２の実施形態］
上記第１の実施形態では、第２の利用者２２０の視線動作判定処理（ステップＳ５０４）において、第１の利用者２１０の視線位置８０１と第２の利用者２２０の視線位置８１１との間の距離ｄａと、距離ｄａが所定の距離閾値ｄｔｈ以上となっている時間とを用いた。これに対して、第２の実施形態では、更に、第２の利用者２２０の視線位置８１１が所定の距離間隔で同一方向にｎ回移動したか否かの判断を加える。
[Second Embodiment]
In the first embodiment, in the line-of-sight movement determination process (step S504) of the
図９は、第２の利用者の視線動作判定処理の第２のフローチャートである。なお、図９に示すフローチャートのうち、図６に示したフローチャートと同じ処理については同じ参照番号を付すこととし、ここでは説明を省略する。 FIG. 9 is a second flowchart of the gaze movement determination process of the second user. In the flowchart shown in FIG. 9, the same processes as those in the flowchart shown in FIG. 6 are denoted by the same reference numerals, and the description thereof is omitted here.
図６との相違点は、ステップＳ９０１である。ステップＳ９０１において、マーカ表示部４１７は、第２の利用者２２０の視線位置が、所定の距離間隔（Ｌｔｈ）で同一方向に所定の回数（ｎ回）移動したか否かを判断する。
The difference from FIG. 6 is step S901. In step S901, the
ステップＳ９０１において、所定の距離間隔（Ｌｔｈ）で同一方向に所定の回数（ｎ回）移動したと判断した場合には、ステップＳ６０４に進む。この場合、マーカ表示部４１７では、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定する。
If it is determined in step S901 that the movement has been performed a predetermined number of times (n times) in the same direction at a predetermined distance interval (L th ), the process proceeds to step S604. In this case, the
一方、ステップＳ９０１において、第２の利用者２２０の視線位置が、所定の距離間隔（Ｌｔｈ）で移動していないか、所定の距離間隔（Ｌｔｈ）で移動したが所定の回数（ｎ回）は移動していないと判断した場合には、ステップＳ６０５に進む。この場合、マーカ表示部４１７では、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"ではないと判定する。
On the other hand, in step S901, the line-of-sight position of the
次に、第２の利用者２２０が利用する表示画面２０２の表示例について説明する。図１０は、表示画面の表示例を示す第２の図である。図１０の例は、表示画面２０２に表示された表示画像データに対して、第１の利用者２１０が表示画像データ内のグラフを説明し、第２の利用者２２０が表示画像データ内の説明文を先に読み進めているシーンを想定したものである。
Next, a display example of the
図１０（ａ）〜（ｃ）に示すように、第１の利用者２１０の視線位置に応じて表示されたマーカ８００が、表示画像データ内のグラフの位置に表示されているのに対して、第２の利用者２２０の視線位置８１１は、表示画像データ内の説明文上を移動する。
As shown in FIGS. 10A to 10C, the
このため、第１の利用者２１０の視線位置と第２の利用者２２０の視線位置８１１との距離ｄａは、距離閾値ｄｔｈ以上のまま推移する。この状態が時間閾値Ｔｔｈ以上継続すると、マーカ表示部４１７では、第２の利用者２２０の視線位置が所定の距離間隔（Ｌｔｈ）で同一方向に所定の回数（ｎ回）移動したか否かを判断する。
For this reason, the distance d a between the line-of-sight position of the first user 210 and the line-of-
図１０（ａ）〜（ｃ）に示したように、第２の利用者２２０は、表示画像データ内の説明文を読み進めているため、第２の利用者２２０の視線位置８１１は、説明文に沿って所定の距離間隔（Ｌｔｈ）で同一方向に所定の回数（ｎ回）移動する。
As shown in FIGS. 10A to 10C, since the
そこで、図１０（ｃ）に示すように、マーカ表示部４１７では、マーカ８００の表示態様を変更する。図１０（ｃ）は、マーカ８００の表示態様が変更され、マーカ８００が非表示となった様子を示している。このように、マーカ８００が非表示となることで、第２の利用者２２０は、マーカ８００の表示が原因で気が散ってしまうことなく、表示画像データ内の説明文を読み進めることができる。
Therefore, as shown in FIG. 10C, the
ここで、図１０（ｄ）に示すように、第２の利用者２２０が説明文を読み進める動作を止めたとする。このとき、マーカ表示部４１７では、第２の利用者２２０の視線位置が、所定の距離間隔（Ｌｔｈ）で移動していないか、所定の距離間隔（Ｌｔｈ）で移動したが所定の回数（ｎ回）は移動していないと判断する。このため、マーカ表示部４１７では、距離ｄａが距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続している場合であっても、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"ではないと判定する。
Here, as shown in FIG. 10D, it is assumed that the
この結果、図１０（ｅ）に示すように、距離ｄａが距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続している場合であっても、マーカ８００は元の表示態様で直ちに表示されることになる。
As a result, as shown in FIG. 10E, even when the distance d a is equal to or greater than the distance threshold d th for a time threshold T th or longer, the
このように、本実施形態に係る表示装置１３０によれば、第２の利用者２２０は、説明文を読み進める動作を止めた後に、第１の利用者２１０の視線位置８１１を直ちに認識することができる。
As described above, according to the
［第３の実施形態］
上記第２の実施形態では、距離ｄａが距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続していると判断した場合に、第２の利用者２２０が説明文を読み進める動作をしているか否かを判断した。これに対して、第３の実施形態では、距離ｄａが距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続しているか否かに関わらず、第２の利用者２２０が説明文を読み進める動作をしているか否かを判断する。
[Third Embodiment]
In the second embodiment, when it is determined that the state in which the distance d a is equal to or greater than the distance threshold d th continues for the time threshold T th or longer, the
図１１は、第２の利用者の視線動作判定処理の第３のフローチャートである。なお、図１１に示すフローチャートのうち、図９に示したフローチャートと同じ処理については同じ参照番号を付すこととし、ここでは説明を省略する。 FIG. 11 is a third flowchart of the gaze movement determination process of the second user. In the flowchart shown in FIG. 11, the same processes as those in the flowchart shown in FIG. 9 are denoted by the same reference numerals, and the description thereof is omitted here.
図９との相違点は、ステップＳ１１０１である。ステップＳ１１０１の処理は、ステップＳ６０２において、距離ｄａが所定の距離閾値ｄｔｈ以上でないと判断された場合、または、ステップＳ６０３において、所定の時間閾値Ｔｔｈ以上継続していないと判断された場合に実行される。なお、ステップＳ１１０１の判断内容は、図９のステップＳ９０１の判断内容と同じである。 The difference from FIG. 9 is step S1101. Processing in step S1101, in step S602, if the distance d a is determined not the predetermined distance threshold d th or more, or, in step S603, if it is determined not to have continued for the predetermined time threshold T th or more To be executed. Note that the determination content in step S1101 is the same as the determination content in step S901 in FIG.
このように、距離ｄａが距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続しているか否かに関わらず、第２の利用者２２０が説明文を読み進める動作をしているか否かを判断することで、マーカの表示態様を確実に変更させることが可能となる。
As described above, whether or not the
具体的に説明する。例えば、図１０のように第２の利用者２２０が説明文を読み進める動作をしている場合であっても、説明文の位置が、第１の利用者２１０の視線位置８０１に近い場合もありうる。この場合、上記第２の実施形態によれば、ステップＳ６０２の判断において、距離ｄａが距離閾値ｄｔｈ以上にならないため、マーカの表示態様が変更前の状態のままマーカの表示を継続してしまうこととなる。これに対して、本実施形態に係る表示装置１３０によれば、ステップＳ１１０１において、第２の利用者２２０が説明文を読み進める動作をしていると判断された場合には、直ちにマーカの表示態様が変更されることになる。
This will be specifically described. For example, even when the
つまり、本実施形態に係る表示装置１３０によれば、説明文を読み進める動作をしているときに、マーカの表示態様を確実に変更させることが可能になる。
That is, according to the
［第４の実施形態］
上記第１乃至第３の実施形態では、第１の利用者２１０が説明文の説明等を行っている間、第２の利用者２２０がグラフを注視するシーンと、第１の利用者２１０がグラフの説明等を行っている間、第２の利用者２２０が説明文を読み進めるシーンとを例示した。そして、これらのシーンに適用可能な判断方法により第２の利用者２２０の視線動作判定処理（ステップＳ５０４）を実行することとした。しかしながら、第２の利用者２２０の視線動作判定処理（ステップＳ５０４）の判断方法は、第１乃至第３の実施形態で説明した判断方法に限定されない。つまり、第２の利用者２２０の視線動作が第１の利用者２１０の視線位置によって誘導されたくないという意思表示の表れであると判断できる判断方法であれば、他の任意の判断方法であってもよい。
[Fourth Embodiment]
In the first to third embodiments, the scene in which the
［第５の実施形態］
上記第１乃至第４の実施形態の表示システム１００では、サーバ装置１５０に対して、表示装置１１０と表示装置１３０との間のデータ通信を制御する機能を配した。しかしながら、サーバ装置１５０に配する機能はこれに限定されず、例えば、表示装置１１０または表示装置１３０の機能の一部を配するようにしてもよい。
[Fifth Embodiment]
In the
図１２は、表示システムの各装置の機能構成を示す第２の図である。図１２に示すように、表示装置１１０のマーカ表示制御部１２００は、センサ情報取得部４０１と、視線座標算出部４０２と、視線座標送信部４０４と、マーカ受信部１２０１と、マーカ表示部１２０２とを有する。
FIG. 12 is a second diagram illustrating a functional configuration of each device of the display system. As illustrated in FIG. 12, the marker
表示装置１３０のマーカ表示制御部１２１０は、センサ情報取得部４１１と、視線座標算出部４１２と、視線座標送信部４１４と、マーカ受信部１２１１と、マーカ表示部１２１２とを有する。
The marker
サーバ装置１５０は、表示装置１１０のマーカ表示制御プログラムまたは表示装置１３０のマーカ表示制御プログラムの一部のプログラムがインストールされている。サーバ装置１５０にインストールされている一部のプログラムは、サーバ装置１５０のＣＰＵ３０１により実行される。これにより、サーバ装置１５０は、視線座標受信部１２２１、状態判定部１２２２、視線距離算出部１２２３、マーカ制御部１２２４として機能する。
The
視線座標受信部１２２１は、視線座標送信部４０４より送信される視線座標データＰ１を受信する。また、視線座標受信部１２２１は、視線座標送信部４１４より送信される視線座標データＰ２を受信する。また、受信した視線座標データＰ１、Ｐ２を状態判定部１２２２を介して視線距離算出部１２２３に通知する。
The line-of-sight coordinate receiving
状態判定部１２２２は、第１の利用者２１０が話し手の状態にあるのか、聞き手の状態にあるのかを識別する。また、第２の利用者２２０が話し手の状態にあるのか、聞き手の状態にあるのかを識別する。更に、識別結果を視線距離算出部１２２３及びマーカ制御部１２２４に通知する。
The
視線距離算出部１２２３は、状態判定部１２２２より通知された識別結果を受信し、マーカの表示用として視線座標データＰ１と視線座標データＰ２のいずれを送信するかを決定する。ここでは、第１の利用者２１０が話し手の状態にあり、第２の利用者２２０が聞き手の状態にあるため、視線座標データＰ１をマーカの表示用として送信すると決定し、視線座標受信部１２２１より受信した視線座標データＰ１をマーカ制御部１２２４に通知する。また、視線座標受信部１２２１より受信した視線座標データＰ１と視線座標データＰ２とに基づいて第１の利用者２１０の視線位置と第２の利用者２２０の視線位置との間の距離ｄａを算出する。更に、視線距離算出部１２２３は、算出した距離ｄａをマーカ制御部１２２４に通知する。
The line-of-sight
マーカ制御部１２２４は、状態判定部１２２２より通知された識別結果を受信し、視線座標データＰ１の送信先を決定する。ここでは、第１の利用者２１０が話し手の状態にあり、第２の利用者が聞き手の状態にあるため、表示装置１３０を送信先と決定する。また、マーカ制御部１２２４では、視線距離算出部１２２３より通知された距離ｄａに基づいて、第１の利用者２１０の視線位置を示すマーカの表示態様を制御する。
The
具体的には、視線距離算出部１２２３より通知された距離ｄａが距離閾値ｄｔｈより大きいと判断した時間が時間閾値Ｔｔｈ以上継続した場合には、マーカの表示態様の変更指示を含む表示設定情報と視線座標データＰ１とを送信する。一方、距離ｄａが距離閾値ｄｔｈ未満であると判断した場合、または距離ｄａが距離閾値ｄｔｈ以上の状態が時間閾値Ｔｔｈ以上継続していないと判断した場合には、マーカの表示態様を元に戻す指示を含む表示設定情報と視線座標データＰ１とを送信する。
Specifically, when the time when the distance d a notified from the line-of-sight
なお、送信先である表示装置１３０のマーカ表示制御部１２１０が有するマーカ受信部１２１１は、サーバ装置１５０より送信された視線座標データＰ１を受信し、マーカ表示部１２１２に通知する。また、マーカ表示部１２１２は、マーカ受信部１２１１より通知された視線座標データＰ１に基づいて、表示画面２０２上にマーカを表示する。このとき、表示設定情報にマーカの表示態様の変更指示が含まれていた場合には、表示態様を変更した上で表示画面２０２上にマーカを表示する。また、表示設定情報にマーカの表示態様を元に戻す指示が含まれていた場合には、表示態様を変更前の表示態様に戻した上で表示画面２０２上にマーカを表示する。
Note that the
次に、サーバ装置１５０により実行されるマーカ表示制御処理の流れについて説明する。図１３は、サーバ装置によるマーカ表示制御処理のフローチャートである。図１３に示すマーカ表示制御処理は、表示装置１１０とサーバ装置１５０及びサーバ装置１５０と表示装置１３０との間の通信が確立し、表示装置１１０と表示装置１３０との間で表示画像データが共有可能となった場合に実行される。
Next, the flow of marker display control processing executed by the
ステップＳ１３０１において、視線座標受信部１２２１は、第１の利用者２１０の視線座標データＰ１を受信し視線距離算出部１２２３に通知する。
In step S1301, the line-of-sight coordinate receiving
ステップＳ１３０２において、視線座標受信部１２２１は、第２の利用者２２０の視線座標データＰ２を受信し視線距離算出部１２２３に通知する。
In step S <b> 1302, the line-of-sight coordinate receiving
ステップＳ１３０３において、視線距離算出部１２２３は、視線座標受信部１２２１より通知された視線座標データＰ１と、視線距離算出部１２２３より通知された視線座標データＰ２との間の距離ｄａを算出する。なお、第１の利用者２１０または第２の利用者２２０のいずれかまたは両方がまばたきを行うなどして、視線座標データＰ１またはＰ２のいずれかまたは両方が視線距離算出部１２２３に通知されない場合もある。この場合、視線距離算出部１２２３では、直前の１以上の視線座標データＰ１またはＰ２を用いて距離ｄａを算出する。
In step S1303, gaze
ステップＳ１３０４において、マーカ制御部１２２４は視線距離算出部４１６により通知された距離ｄａに基づいて、第２の利用者２２０の視線動作を判定する。なお、第２の利用者２２０の視線動作判定処理は、上記第１乃至第４の実施形態と同様であるため、ここでは説明を省略する。
In step S1304, the
ステップＳ１３０４における視線動作判定処理の結果、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定した場合には、ステップＳ１３０５からＳ１３０６へと進む。ステップＳ１３０６において、マーカ制御部１２２４は、マーカの表示態様の変更指示を含む表示設定情報を生成する。
As a result of the line-of-sight movement determination process in step S1304, if it is determined that the line-of-sight movement of the
一方、ステップＳ１３０４における視線動作判定処理の結果、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"ではないと判定した場合には、ステップＳ１３０５からステップＳ１３０７へと進む。ステップＳ１３０７において、マーカ制御部１２２４は、マーカの表示態様を変更前の元の表示態様に戻す指示を含む表示設定情報を生成する。
On the other hand, as a result of the line-of-sight movement determination process in step S1304, when it is determined that the line-of-sight movement of the
ステップＳ１３０８において、マーカ制御部１２２４は、視線座標データＰ１及びマーカの表示設定情報を表示装置１３０に送信する。これにより、表示装置１３０では、マーカ制御部１２２４より送信された視線座標データＰ１及び表示設定情報に応じたマーカの表示が行われる。
In step S <b> 1308, the
ステップＳ１３０９において、マーカ制御部１２２４は、マーカ表示制御処理の停止指示が検知されたか否かを判定する。ステップＳ１３０９において、停止指示が検知されていないと判定された場合には、ステップＳ１３０１に戻り、停止指示が検知されたと判定されるまで、ステップＳ１３０１からステップＳ１３０８までの処理を繰り返す。一方、ステップＳ１３０９において、停止指示が検知されたと判定された場合には、サーバ装置１５０によるマーカ表示制御処理を終了する。
In step S1309, the
以上のとおり、本実施形態によれば、表示装置１１０または表示装置１３０の機能の一部をサーバ装置１５０に配することが可能となる。
As described above, according to the present embodiment, part of the functions of the
なお、本実施形態では、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であるか否かに関わらず、視線座標データＰ１及びマーカの表示設定情報を送信することとした。しかしながら、第２の利用者２２０の視線動作が、"第１の利用者２１０の視線位置によって誘導されたくない視線動作"であると判定された際、マーカを非表示とする場合にあっては、視線座標データＰ１を送信しなくてもよい。
In the present embodiment, the line-of-sight coordinate data P1 and the line-of-sight coordinate data P1 and the line-of-sight movement of the
また、本実施形態では、視線座標データＰ１とマーカの表示設定情報とを同じタイミングで送信することとした。しかしながら、視線座標データＰ１とマーカの表示設定情報とは異なるタイミングで送信するようにしてもよい。例えば、視線座標データＰ１は、ステップＳ１３０１において受信した直後に、表示装置１３０に送信するようにしてもよい。
In this embodiment, the line-of-sight coordinate data P1 and the marker display setting information are transmitted at the same timing. However, the line-of-sight coordinate data P1 and the marker display setting information may be transmitted at different timings. For example, the line-of-sight coordinate data P1 may be transmitted to the
また、本実施形態では、表示装置１１０、１３０がそれぞれ視線座標データＰ１、Ｐ２を送信することとしたが、表示装置１１０、１３０のいずれか一方または両方が、例えば、センサ情報を送信するようにしてもよい。この場合、表示装置１１０、１３０では、センサ情報取得部４０１、４１１より出力されるセンサ情報を送信し、サーバ装置１５０では、当該センサ情報に基づいて視線座標データＰ１、Ｐ２を算出することとなる。つまり、サーバ装置１５０に視線座標算出部４０２、４１２が配されることとなる。
In the present embodiment, the
［第６の実施形態］
上記第１乃至第４の実施形態では、表示装置１１０より送信されたデータ群２３０を、リアルタイムに表示装置１３０にて処理する場合について説明した。これに対して、第６の実施形態では、表示装置１１０より送信されたデータ群２３０を、表示装置１３０内の補助記憶部３０４に記録しておき、所定時間が経過してから表示装置１３０にて処理する場合について説明する。
[Sixth Embodiment]
In the first to fourth embodiments, the case has been described in which the
図１４は、表示システムの各装置の機能構成を示す第３の図である。なお、図１４に示す各構成要素のうち、図４に示す構成要素と同じ構成要素については同じ参照番号を付し、ここでは説明を省略する。 FIG. 14 is a third diagram illustrating a functional configuration of each device of the display system. Of the constituent elements shown in FIG. 14, the same constituent elements as those shown in FIG. 4 are designated by the same reference numerals, and the description thereof is omitted here.
図４との相違点は、マーカ表示制御部１４００が、状態判定部４０３、視線座標受信部４０５、視線距離算出部４０６、マーカ表示部４０７を有していない点である。また、表示装置１３０が配信情報データベース（以下、ＤＢと略す）１４２０を有している点、マーカ表示制御部１４１０が視線座標読出部１４１１を有している点である。また、画像表示制御部１４３０が表示画像読出部１４３１を有している点、音声制御部１４５０が、音声読出部１４５１を有している点である。
The difference from FIG. 4 is that the marker
配信情報ＤＢ１４２０は、視線座標受信部４１５より視線座標データＰ１を取得し、配信情報に記録する。また、表示画像受信部４３１より表示画像データを取得し、配信情報に記録する。更に、音声受信部４５４より音声データを取得し、配信情報に記録する。
The
視線座標読出部１４１１は、配信情報ＤＢ１４２０の配信情報に記録された視線座標データＰ１を読み出し、視線距離算出部４１６に通知する。表示画像読出部１４３１は、配信情報ＤＢ１４２０の配信情報に記録された表示画像データを読み出し、表示画像制御部４３２に通知する。更に、音声読出部１４５１は、配信情報ＤＢ１４２０の配信情報に記録された音声データを読み出し、音声出力部４５３に通知する。
The line-of-sight coordinate
なお、視線座標読出部１４１１による視線座標データＰ１の読み出し、表示画像読出部１４３１による表示画像データの読み出し、音声読出部１４５１による音声データの読み出しは互いに同期して実行されるものとする。
Note that the reading of the line-of-sight coordinate data P1 by the line-of-sight coordinate
次に、配信情報ＤＢ１４２０に格納される配信情報について説明する。図１５は、配信情報の一例を示す図である。図１５に示すように、配信情報１５００は情報の項目として、"時間"、"第１の利用者の視線座標データＰ１"、"表示画像データ"、"音声データ"が含まれる。
Next, distribution information stored in the
"時間"には、表示装置１１０から表示装置１３０に対して、データ群２３０の送信が開始されてからの経過時間が記録される。"第１の利用者の視線座標データＰ１"には、各時間において、視線座標算出部４０２により算出され、視線座標送信部４０４より送信された視線座標データＰ１が記録される。
In “time”, an elapsed time from the start of transmission of the
"表示画像データ"には、各時間において、表示画像送信部４２２より送信された表示画像データが記録される。"音声データ"には、各時間において、音声送信部４４２より送信された音声データが記録される。
In the “display image data”, display image data transmitted from the display
以上のとおり、本実施形態によれば、表示装置１１０より送信されたデータ群２３０を、所定時間が経過してから表示装置１３０にて処理する場合においても、上記第１乃至第４の実施形態で説明したマーカ表示制御処理を適用することができる。
As described above, according to the present embodiment, even when the
なお、上記説明では、配信情報ＤＢ１４２０を表示装置１３０に配することとしたが、例えば、表示装置１１０に配するようにしてもよい。その場合、例えば、配信情報ＤＢ１４２０の配信情報１５００に記録された、視線座標データＰ１、表示画像データ、音声データを記憶媒体等にコピーし、第２の利用者２２０に配布する。これにより、表示装置１３０において、上記第１乃至第４の実施形態で説明したマーカ表示制御処理に配信情報１５００を適用することができる。
In the above description, the
［第７の実施形態］
上記第１乃至第６の実施形態では、第１の利用者２１０、第２の利用者２２０から一定の距離、離れた位置に表示装置１１０、１３０を配置したが、表示装置１１０、１３０は、第１の利用者２１０、第２の利用者２２０に装着してもよい。すなわち、表示装置１１０、１３０は、例えば、ＨＭＤ（Head mounted display）として実現されてもよい。
[Seventh Embodiment]
In the first to sixth embodiments, the
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
第１の利用者の視線位置を示す表示を行い、
前記第１の利用者の視線位置を示す表示が行われた後、所定の期間が経過しても、第２の利用者の視線位置が前記第１の利用者の視線位置に近づかないと判断した場合、前記第１の利用者の視線位置を示す表示を変更する表示部、
を有することを特徴とする表示装置。
（付記２）
前記表示部は、前記第１の利用者の視線位置を示す表示を非表示とすることを特徴とする付記１に記載の表示装置。
（付記３）
前記第１の利用者の視線位置を示す表示を変更することには、前記第１の利用者の視線位置を示す表示の色を薄くすること、背景色と同一または類似の色にすること、前記第１の利用者の視線位置を示す表示の大きさを大きくすること、前記第１の利用者の視線位置を示す表示の点灯間隔を長くすること、が含まれることを特徴とする付記１に記載の表示装置。
（付記４）
前記表示部が前記第１の利用者の視線位置を示す表示を変更した後、前記第２の利用者の視線位置が前記第１の利用者の視線位置に近づいたと判断した場合、前記表示部は、変更された前記第１の利用者の視線位置を示す表示を、変更前の表示に戻すことを特徴とする付記１乃至３のいずれかの付記に記載の表示装置。
（付記５）
前記第１の利用者の視線位置を示す表示が行われた後、所定の期間が経過しても、前記第２の利用者の視線位置が前記第１の利用者の視線位置に近づかないと判断した場合であって、前記第２の利用者の視線位置が所定の距離間隔で所定回数移動したと判断した場合に、前記表示部は、前記第１の利用者の視線位置を示す表示を変更することを特徴とする付記１乃至３のいずれかの付記に記載の表示装置。
（付記６）
前記表示部が前記第１の利用者の視線位置を示す表示を変更した後、前記第２の利用者の視線位置が所定の距離間隔で移動していないと判断した場合または前記第２の利用者の視線位置が所定の距離間隔で移動したが所定回数移動していないと判断した場合、前記表示部は、前記第１の利用者の視線位置を示す表示を、変更前の表示に戻すことを特徴とする付記５に記載の表示装置。
（付記７）
第１の利用者の視線位置を示す表示をした後、所定の期間が経過しても、第２の利用者の視線位置が前記第１の利用者の視線位置に近づかないと判断した場合、前記第１の利用者の視線位置を示す表示を変更する、
処理を、コンピュータに実行させることを特徴とする表示プログラム。
（付記８）
コンピュータが、
第１の利用者の視線位置を第２の利用者が利用する表示装置に表示する際の表示態様を設定する第１の設定情報を生成し、
前記表示装置に前記第１の利用者の視線位置を前記設定情報に基づいて表示させた後、前記第１の利用者の視線位置を示す情報と、前記第２の利用者の視線位置を示す情報とを受信し、所定の期間が経過しても、前記第２の利用者の視線位置が前記第１の利用者の視線位置に近づかないと判断した場合、前記表示態様を変更する第２の設定情報を生成する、
ことを特徴とする表示方法。
In addition, in the disclosed technology, forms such as the following supplementary notes are conceivable.
(Appendix 1)
Display the line of sight of the first user,
After the display indicating the first user's line-of-sight position is performed, it is determined that the second user's line-of-sight position does not approach the first user's line-of-sight position even if a predetermined period has elapsed. A display unit for changing a display indicating the line-of-sight position of the first user,
A display device comprising:
(Appendix 2)
The display device according to
(Appendix 3)
To change the display indicating the first user's line-of-sight position, the display color indicating the first user's line-of-sight position is lightened, the color is the same as or similar to the background color,
(Appendix 4)
When it is determined that the second user's line-of-sight position has approached the first user's line-of-sight position after the display unit has changed the display indicating the line-of-sight position of the first user, the display unit The display device according to any one of
(Appendix 5)
After the display showing the line-of-sight position of the first user is performed, the line-of-sight position of the second user does not approach the line-of-sight position of the first user even after a predetermined period has elapsed. When it is determined that the second user's line-of-sight position has been moved a predetermined number of times at predetermined distance intervals, the display unit displays a display indicating the line-of-sight position of the first user. The display device according to any one of
(Appendix 6)
When the display unit changes the display indicating the line-of-sight position of the first user and then determines that the line-of-sight position of the second user has not moved at a predetermined distance interval or the second use When it is determined that the user's line-of-sight position has moved at a predetermined distance interval but has not moved a predetermined number of times, the display unit returns the display indicating the line-of-sight position of the first user to the display before the change. The display device according to appendix 5, characterized by:
(Appendix 7)
When it is determined that the second user's line-of-sight position does not approach the first user's line-of-sight position even after a predetermined period has elapsed after displaying the first user's line-of-sight position, Changing the display indicating the line-of-sight position of the first user;
A display program that causes a computer to execute processing.
(Appendix 8)
Computer
Generating first setting information for setting a display mode when displaying the line-of-sight position of the first user on the display device used by the second user;
After the first user's line-of-sight position is displayed on the display device based on the setting information, information indicating the line-of-sight position of the first user and the line-of-sight position of the second user are displayed. And changing the display mode when it is determined that the line-of-sight position of the second user does not approach the line-of-sight position of the first user even after a predetermined period has passed. Generate configuration information for
A display method characterized by that.
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.
１００ ：表示システム
１１０ ：表示装置
１１１ ：マーカ表示制御部
１１２ ：画像表示制御部
１１３ ：音声制御部
１２１ ：視線センサ
１２２ ：音声取得装置
１２３ ：音声出力装置
１３０ ：表示装置
１３１ ：マーカ表示制御部
１３２ ：画像表示制御部
１３３ ：音声制御部
１４１ ：視線センサ
１４２ ：音声取得装置
１４３ ：音声出力装置
１５０ ：サーバ装置
２０１、２０２ ：表示画面
４０１、４１１ ：センサ情報取得部
４０２、４１２ ：視線座標算出部
４０３、４１３ ：状態判定部
４０４、４１４ ：視線座標送信部
４０５、４１５ ：視線座標受信部
４０６、４１６ ：視線距離算出部
４０７、４１７ ：マーカ表示部
８００ ：マーカ
８０１、８１１ ：視線位置
100: Display system 110: Display device 111: Marker display control unit 112: Image display control unit 113: Audio control unit 121: Eye sensor 122: Audio acquisition device 123: Audio output device 130: Display device 131: Marker display control unit 132 : Image display control unit 133: Audio control unit 141: Visual sensor 142: Audio acquisition device 143: Audio output device 150: Server devices 201 and 202:
Claims (5)
を有することを特徴とする表示装置。 Among the first and second users, the first user's line of sight on a display screen on which a display showing the line of sight of the first user is performed based on the state of the second user. after the display indicating the position is carried out, even if a predetermined period of time even after the elapse of line-of-sight position of the second user is determined to not approach the line-of-sight position of the first user, wherein A display unit for changing a display indicating the line-of-sight position of the first user when it is determined that the line-of-sight position of the second user has moved a plurality of times in the same direction at predetermined distance intervals ;
A display device comprising:
処理を、コンピュータに実行させることを特徴とする表示プログラム。 Among the first and second users, the first user's line-of-sight position on a display screen that displays the line-of-sight position of the first user based on the state of the second user after an indication, even after a predetermined period of time, even when the line-of-sight position of the second user is determined to not approach the line-of-sight position of the first user, the second When it is determined that the user's line-of-sight position has moved multiple times in the same direction at a predetermined distance interval, the display indicating the first user's line-of-sight position is changed.
A display program that causes a computer to execute processing.
第１及び第２の利用者のうち、前記第２の利用者の状態に基づいて、前記第１の利用者の視線位置を前記第２の利用者が利用する表示装置に表示する際の表示態様を設定する第１の設定情報を生成し、
前記表示装置に前記第１の利用者の視線位置を前記第１の設定情報に基づいて表示させた後、前記第１の利用者の視線位置を示す情報と、前記第２の利用者の視線位置を示す情報とを受信し、所定の期間が経過しても、前記第２の利用者の視線位置が前記第１の利用者の視線位置に近づかないと判断した場合であって、前記第２の利用者の視線位置が所定距離間隔で同一方向に複数回移動したと判断した場合、前記表示態様を変更する第２の設定情報を生成する、
ことを特徴とする表示方法。 Computer
Display when displaying the line-of-sight position of the first user on the display device used by the second user based on the state of the second user among the first and second users Generating first setting information for setting an aspect;
After the first user's line-of-sight position is displayed on the display device based on the first setting information, information indicating the line-of-sight position of the first user and the line of sight of the second user Information indicating a position is received and it is determined that the line-of-sight position of the second user does not approach the line-of-sight position of the first user after a predetermined period of time has elapsed , If it is determined that the line-of-sight position of the second user has moved a plurality of times in the same direction at predetermined distance intervals, second setting information for changing the display mode is generated.
A display method characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015017314A JP6557981B2 (en) | 2015-01-30 | 2015-01-30 | Display device, display program, and display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015017314A JP6557981B2 (en) | 2015-01-30 | 2015-01-30 | Display device, display program, and display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016143159A JP2016143159A (en) | 2016-08-08 |
| JP6557981B2 true JP6557981B2 (en) | 2019-08-14 |
Family
ID=56568634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015017314A Expired - Fee Related JP6557981B2 (en) | 2015-01-30 | 2015-01-30 | Display device, display program, and display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6557981B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6696357B2 (en) * | 2016-08-26 | 2020-05-20 | アイシン・エィ・ダブリュ株式会社 | Pointer control system and pointer control program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3048927B2 (en) * | 1996-07-29 | 2000-06-05 | 北海道日本電気ソフトウェア株式会社 | Pointing device for large screen presentation system |
| JP3959354B2 (en) * | 2003-01-10 | 2007-08-15 | 株式会社東芝 | Image generation apparatus, image generation method, and image generation program |
| JP2007274621A (en) * | 2006-03-31 | 2007-10-18 | Victor Co Of Japan Ltd | Image transmission system and image transmission method |
| JP2012253478A (en) * | 2011-06-01 | 2012-12-20 | Konica Minolta Business Technologies Inc | Conference support system, conference support device, conference support method, and computer program |
| WO2013033842A1 (en) * | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
| US20140002352A1 (en) * | 2012-05-09 | 2014-01-02 | Michal Jacob | Eye tracking based selective accentuation of portions of a display |
-
2015
- 2015-01-30 JP JP2015017314A patent/JP6557981B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016143159A (en) | 2016-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11190856B2 (en) | Synchronizing content and metadata | |
| US11789522B2 (en) | Generating and/or adapting automated assistant content according to a distance between user(s) and an automated assistant interface | |
| US8766912B2 (en) | Environment-dependent dynamic range control for gesture recognition | |
| US20190041985A1 (en) | Information processing apparatus and information processing method | |
| US11720179B1 (en) | System and method for redirecting content based on gestures | |
| US20140036022A1 (en) | Providing a conversational video experience | |
| JP6175969B2 (en) | Information processing apparatus, information processing system, and program | |
| US20160054895A1 (en) | Method of providing visual sound image and electronic device implementing the same | |
| US20210327146A1 (en) | Virtual anchoring systems and methods for extended reality | |
| US9207761B2 (en) | Control apparatus based on eyes and method for controlling device thereof | |
| JP6932206B2 (en) | Equipment and related methods for the presentation of spatial audio | |
| KR20150081430A (en) | Auto-adjusting content size rendered on a display | |
| US20230291977A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
| GB2485145A (en) | Audio command routing method for voice-controlled applications in multi-display systems | |
| JP6365267B2 (en) | Display device, display method, and display program | |
| JP6557981B2 (en) | Display device, display program, and display method | |
| US10386933B2 (en) | Controlling navigation of a visual aid during a presentation | |
| US20240171418A1 (en) | Information processing device and information processing method | |
| US11375138B1 (en) | Combining video streams having different information-bearing levels | |
| JP6289038B2 (en) | Display control apparatus, method and program | |
| KR101810188B1 (en) | Device and method for displaying image, device and method for creating image, computer program for executing the methods, and image providing server | |
| WO2019044572A1 (en) | Information processing device, method, and program | |
| JP5909475B2 (en) | Remote dialogue apparatus and method | |
| US20210081697A1 (en) | Storage medium, information processing apparatus, and line-of-sight information processing method | |
| US20240056761A1 (en) | Three-dimensional (3d) sound rendering with multi-channel audio based on mono audio input |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190701 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6557981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |