JP6557981B2 - Display device, display program, and display method - Google Patents
Display device, display program, and display method Download PDFInfo
- Publication number
- JP6557981B2 JP6557981B2 JP2015017314A JP2015017314A JP6557981B2 JP 6557981 B2 JP6557981 B2 JP 6557981B2 JP 2015017314 A JP2015017314 A JP 2015017314A JP 2015017314 A JP2015017314 A JP 2015017314A JP 6557981 B2 JP6557981 B2 JP 6557981B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- user
- display
- sight
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000013459 approach Methods 0.000 claims description 8
- 239000003550 marker Substances 0.000 description 162
- 230000033001 locomotion Effects 0.000 description 54
- 230000005540 biological transmission Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示装置、表示プログラム及び表示方法に関する。 The present invention relates to a display device, a display program, and a display method.
従来より、遠隔会議システムやeラーニングシステム等では、話し手側の表示装置と聞き手側の表示装置とをネットワークを介して接続し、コンテンツを共有しながら音声データの送受信を行うことでコミュニケーションを行っている。このようなシステムでは、例えば、話し手の視線位置を検出する視線センサを配し、聞き手側の表示画面上に話し手の視線位置を示す表示を行うことで、聞き手の視線位置を話し手の視線位置に誘導することができる。 Conventionally, in a teleconference system, an e-learning system, etc., communication is performed by connecting a display device on the speaker side and a display device on the listener side via a network, and transmitting and receiving audio data while sharing content. Yes. In such a system, for example, a gaze sensor for detecting the gaze position of the speaker is arranged, and the gaze position of the speaker is displayed on the display screen on the listener side, so that the gaze position of the listener is changed to the gaze position of the speaker. Can be guided.
しかしながら、話し手である第1の利用者の視線位置に聞き手である第2の利用者が視線を向けたくない場合もある。例えば、第2の利用者が、表示画面上に表示されたコンテンツの一部を注視したい場合や、コンテンツ内の文章を先に読み進めたい場合等が挙げられる。 However, there are cases where the second user who is the listener does not want to direct his / her line of sight to the position of the first user who is the speaker. For example, there may be a case where the second user wants to watch a part of the content displayed on the display screen, or a case where he wants to read a sentence in the content first.
このような場合において、第2の利用者側の表示画面上に第1の利用者の視線位置を示す表示を行うとすると、第2の利用者にとっては第1の利用者の視線位置を示す表示によって気が散ってしまう等の不都合が生じる。 In such a case, if the display indicating the first user's line-of-sight position is performed on the display screen on the second user side, the line-of-sight position of the first user is indicated for the second user. Inconveniences such as distraction from the display occur.
一方で、第1の利用者の視線位置を示す表示を第2の利用者の操作によって非表示とさせることもできるが、この場合、第1の利用者との間の円滑なコミュニケーションが阻害されることになる。 On the other hand, the display indicating the first user's line-of-sight position can be hidden by the operation of the second user, but in this case, smooth communication with the first user is hindered. Will be.
一つの側面では、第2の利用者が、第1の利用者の視線位置に視線を向けたくない場合に、第1の利用者の視線位置を示す表示で気が散ることを防ぐことを目的としている。 In one aspect, when the second user does not want to direct the line of sight to the first user's line of sight, it is intended to prevent distraction from the display indicating the line of sight of the first user It is said.
一態様によれば、表示装置は、第1及び第2の利用者のうち、前記第2の利用者の状態に基づいて、前記第1の利用者の視線位置を示す表示が行われる表示画面において、前記第1の利用者の視線位置を示す表示が行われた後、所定の期間が経過しても、前記第2の利用者の視線位置が前記第1の利用者の視線位置に近づかないと判断した場合であって、前記第2の利用者の視線位置が所定距離間隔で同一方向に複数回移動したと判断した場合、前記第1の利用者の視線位置を示す表示を変更する表示部を有することを特徴とする。
According to one aspect, the display device is a display screen on which a display indicating a line-of-sight position of the first user is performed based on a state of the second user among the first and second users. In this case, after the display indicating the first user's line-of-sight position is performed, the second user's line-of-sight position approaches the first user's line-of-sight position even if a predetermined period has elapsed. If it is determined that the second user's line-of-sight position has moved a plurality of times in the same direction at predetermined distance intervals, the display indicating the line-of-sight position of the first user is changed. It has a display part.
第2の利用者が、第1の利用者の視線位置に視線を向けたくない場合に、第1の利用者の視線位置を示す表示で気が散ることを防ぐことができる。 When the second user does not want to direct his / her line of sight to the first user's line of sight, it is possible to prevent distraction from being displayed with the display indicating the line of sight of the first user.
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。 Each embodiment will be described below with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.
[第1の実施形態]
第1の実施形態に係る表示装置を含む表示システムについて説明する。図1は、表示システムの一例を示す図である。
[First Embodiment]
A display system including the display device according to the first embodiment will be described. FIG. 1 is a diagram illustrating an example of a display system.
表示システム100は、表示装置110、130と、サーバ装置150とを有し、表示装置110、130と、サーバ装置150とは、インターネットやLAN(Local Area Network)等に代表されるネットワーク160を介して接続されている。表示システム100は、例えば、遠隔会議やeラーニング等のように、第1の利用者側の表示装置110と第2の利用者側の表示装置130との間で、表示画面に表示する表示画像データ(コンテンツ)を共有しながら音声データを送受信する。
The
表示装置110には、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがインストールされている。これにより、表示装置110は、マーカ表示制御部111、画像表示制御部112、音声制御部113として機能する。
The
表示装置110には、第1の利用者の視線位置を検出する視線センサ121、第1の利用者の発話を検出するマイク等の音声取得装置122、表示装置130より送信された音声データを出力するスピーカ等の音声出力装置123が接続されている。
The
同様に、表示装置130には、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがインストールされている。これにより、表示装置130は、マーカ表示制御部131、画像表示制御部132、音声制御部133として機能する。
Similarly, the
表示装置130には、第2の利用者の視線位置を検出する視線センサ141、第2の利用者の発話を検出するマイク等の音声取得装置142、表示装置110より送信された音声データを出力するスピーカ等の音声出力装置143が接続されている。
The
サーバ装置150は、ネットワーク160を介して接続された表示装置110と表示装置130との間のデータ通信を制御する。
The
なお、以下では、便宜上、第1の利用者を話し手、第2の利用者を聞き手として説明するが、第1の利用者が聞き手、第2の利用者が話し手であってもよい。つまり、表示装置110及び表示装置130には、話し手のための機能と聞き手のための機能の両方が配されているものとし、以下では、主に、表示装置110に配された話し手のための機能と、表示装置130に配された聞き手のための機能について説明する。
In the following, for the sake of convenience, the first user is described as a speaker and the second user as a listener, but the first user may be a listener and the second user may be a speaker. That is, it is assumed that the
また、図1では、聞き手である第2の利用者が利用する表示装置130を1台のみ示したが、表示装置130は複数台であってもよい。また、図1では、表示装置110と表示装置130との間の通信をサーバ装置150を介して行うようにしたが、表示装置110または表示装置130のいずれかにサーバ装置150の機能を内蔵させ、サーバ装置150を介さずに通信を行うようにしてもよい。
In FIG. 1, only one
次に、表示システム100の利用例について説明する。図2は、表示システムの利用例を示す図である。図2に示すように、表示装置110は第1の利用者210により利用される。第1の利用者210は、表示装置110の表示画面201に表示された表示画像データについての説明を行う。表示画面201に表示された表示画像データは、表示装置110によって表示装置130にも送信される。
Next, a usage example of the
第1の利用者210による説明時の発話は、音声取得装置122により検出され、音声データとして表示装置130に送信される。また、第1の利用者210が説明を行う際の視線位置は視線センサ121により検出され、表示画面201上の視線座標データとして表示装置130に送信される。
The speech at the time of explanation by the first user 210 is detected by the
一方、表示装置130は第2の利用者220により利用される。表示装置130は、表示装置110より送信されたデータ群230に含まれる表示画像データを表示画面202に表示する。これにより、表示装置110と表示装置130との間で、表示画像データを共有することができる。
On the other hand, the
また、表示装置130に接続された音声出力装置143は、表示装置110より送信されたデータ群230に含まれる音声データを出力する。これにより、第2の利用者220は、第1の利用者210による説明時の発話を視聴することができる。
The
表示装置130に接続された視線センサ141は、第2の利用者220が第1の利用者210による説明時の発話を視聴している間、第2の利用者220の視線位置を検出する。視線センサ141により検出された視線位置は、第2の利用者220の表示画面202上の視線座標データとして表示装置130にて処理される。なお、第2の利用者220の視線座標データは、表示装置110より送信されたデータ群230に含まれる第1の利用者210の視線座標データとともに処理される。これにより、表示装置130では表示画面202上に表示される第1の利用者210の視線位置を示す表示(マーカ)の表示態様を制御する。
The line-of-
次に、表示装置110、130のハードウェア構成について説明する。図3は、表示装置のハードウェア構成を示す図である。図3に示すように、表示装置110、130は、CPU301、ROM(Read Only Memory)302、RAM(Random Access Memory)303を備える。また、表示装置110、130は、補助記憶部304、入力部305、表示部306、インタフェース部307、通信部308、ドライブ部309を備える。なお、表示装置110、130の各部は、バス310を介して相互に接続されている。
Next, the hardware configuration of the
CPU301は、補助記憶部304に格納された各種プログラム(例えば、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラム等)を実行するコンピュータである。
The
ROM302は、不揮発性メモリである。ROM302は、補助記憶部304に格納された各種プログラムをCPU301が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ROM302はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
The
RAM303は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリであり、主記憶部として機能する。RAM303は、補助記憶部304に格納された各種プログラムがCPU301によって実行される際に展開される、作業領域を提供する。
The
補助記憶部304は、表示装置110、130にインストールされた各種プログラムや、各種プログラムを実行することで生成されるデータ等を格納する。入力部305は、第1の利用者210または第2の利用者220が表示装置110、130に対して各種指示(例えば、表示画面201、202に表示される表示画像データの切り換え指示等)を入力する際に用いられる。表示部306は、表示画面201、202に表示画像データ等を表示する。
The
インタフェース部307は、表示装置110、130に接続される外部機器を接続するためのデバイスである。視線センサ121、141、音声取得装置122、142、音声出力装置123、143は、インタフェース部307を介して、表示装置110、130に接続される。
The
通信部308はネットワーク160に接続され、例えば、データ群230のネットワーク160への送信、及びデータ群230のネットワーク160からの受信を行う。
The
ドライブ部309は記録媒体320をセットするためのデバイスである。ここでいう記録媒体320には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体320には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
The
なお、補助記憶部304に格納される各種プログラムは、例えば、配布された記録媒体320がドライブ部309にセットされ、該記録媒体320に記録された各種プログラムがドライブ部309により読み出されることでインストールされるものとする。あるいは、通信部308を介してネットワーク160からダウンロードされることでインストールされるものとする。
The various programs stored in the
サーバ装置150のハードウェア構成も図2に示す表示装置110、130のハードウェア構成と概ね同じである。このため、サーバ装置150のハードウェア構成の説明は省略する。
The hardware configuration of the
次に、表示システム100の各装置(ここでは表示装置110、130)の機能構成について説明する。図4は、表示システムの各装置の機能構成を示す図である。
Next, the functional configuration of each device (here, the
表示装置110は、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがそれぞれCPU301によって実行されることで、マーカ表示制御部111、画像表示制御部112、音声制御部113として機能する。
The
同様に、表示装置130は、マーカ表示制御プログラム、画像表示制御プログラム、音声制御プログラムがそれぞれCPU301により実行されることで、マーカ表示制御部131、画像表示制御部132、音声制御部133として機能する。
Similarly, the
なお、図4では、第1の利用者210が話し手、第2の利用者が聞き手とした場合の表示装置110、130それぞれの機能を実線で示している。また、第1の利用者210が聞き手、第2の利用者220が話し手とした場合の表示装置110、130それぞれの機能を点線で示している。以下、実線で示した機能について説明する。
In FIG. 4, the functions of the
図4に示すように、マーカ表示制御部111は、センサ情報取得部401、視線座標算出部402、状態判定部403、視線座標送信部404、視線座標受信部405、視線距離算出部406、マーカ表示部407を有する。
As shown in FIG. 4, the marker
センサ情報取得部401は、第1の利用者210の視線位置を視線センサ121が検出することで得られたセンサ情報を取得する。
The sensor
視線座標算出部402は、センサ情報取得部401により取得されたセンサ情報に基づいて、第1の利用者210の視線の表示画面201上の座標位置を視線座標データとして算出する。
The line-of-sight coordinate
状態判定部403は、第1の利用者210が話し手の状態にあるのか、聞き手の状態にあるのか、あるいはその両方の状態にあるのかを識別する。第1の利用者210が話し手の状態にあると識別した場合には、視線座標算出部402により算出された視線座標データを視線座標送信部404に通知する。一方、第1の利用者210が聞き手の状態にあると識別した場合には、視線座標算出部402により算出された視線座標データを視線距離算出部406に通知する。
The
なお、状態判定部403による識別は、デフォルトで設定されている設定内容に基づいて行ってもよいし、第1の利用者210が入力部305を介して入力した操作指示に基づいて行ってもよい。あるいは、音声取得装置122により取得された音声データに基づいて行ってもよい。なお、音声取得装置122により取得された音声データに基づいて識別を行う場合にあっては、第2の利用者220の発話の状態も含めて総合的に判断するようにしてもよい。
The identification by the
視線座標送信部404は、通信部308を制御することで、状態判定部403より通知された視線座標データを表示装置130に送信する。
The line-of-sight coordinate
画像表示制御部112は、表示画像取得部421、表示画像送信部422を有する。表示画像取得部421は、表示部306の表示画面201に現在表示されている表示画像データ(共有されたファイルやWebページ等の場合にあっては制御信号)を取得し、表示画像送信部422に通知する。
The image
表示画像送信部422は、通信部308を制御することで、表示画像取得部421より通知された表示画像データ(あるいは制御信号)を表示装置130に送信する。
The display
音声制御部113は、音声取得部441と、音声送信部442と、音声受信部444と、音声出力部443とを有する。音声取得部441は、音声取得装置122により検出された第1の利用者210の発話を音声データに変換し、音声送信部442に通知する。
The
音声送信部442は、通信部308を制御することで、音声取得部441より通知された音声データを表示装置130に送信する。
The
同様に、マーカ表示制御部131は、センサ情報取得部411と、視線座標算出部412と、状態判定部413と、視線座標送信部414と、視線座標受信部415と、視線距離算出部416と、マーカ表示部417とを有する。
Similarly, the marker
センサ情報取得部411は、第1の利用者210による説明時の発話を視聴する際に、第2の利用者の視線位置を視線センサ141が検出することで得られたセンサ情報を取得する。
The sensor
視線座標算出部412は、センサ情報取得部411により取得されたセンサ情報に基づいて、第2の利用者220の視線の表示画面202上の座標位置を視線座標データとして算出する。
The line-of-sight coordinate
状態判定部413は、第2の利用者220が話し手の状態にあるのか、聞き手の状態にあるのか、あるいはその両方の状態にあるのかを識別する。第2の利用者220が聞き手の状態にあると識別した場合には、視線座標算出部412により算出された視線座標データを視線距離算出部416に通知する。一方、第2の利用者220が話し手の状態にあると識別した場合には、視線座標算出部412により算出された視線座標データを視線座標送信部414に通知する。
The
なお、状態判定部413による識別は、デフォルトで設定されている設定内容に基づいて行ってもよいし、第2の利用者220が入力部305を介して入力した操作指示に基づいて行ってもよい。あるいは、音声取得装置142により取得された音声データに基づいて行ってもよいし、表示装置110の状態判定部403からの通知に基づいて行ってもよい。また、音声取得装置142により取得された音声データに基づいて識別を行う場合にあっては、第1の利用者210の発話の状態も含めて総合的に判断するようにしてもよい。
The identification by the
視線座標受信部415は、表示装置110の視線座標送信部404によって送信された視線座標データを受信し、表示装置130の表示部306の表示画面202に応じた視線座標データに変換したうえで、視線距離算出部416に通知する。なお、以下では、説明の便宜上、表示装置110の表示部306の表示画面201と、表示装置130の表示部306の表示画面202とは同じ構成であるものとする。このため、視線座標受信部415では、視線座標送信部404によって送信された表示画面201上の視線座標データを変換することなく、視線距離算出部416に、表示画面202上の視線座標データとして通知するものとして説明する。
The line-of-sight coordinate receiving
視線距離算出部416は、視線座標受信部415より通知された視線座標データ(第1の利用者210の表示画面202上の視線座標データ)を取得し、マーカ表示部417に通知する。また、状態判定部413より通知された視線座標データ(第2の利用者220の表示画面202上の視線座標データ)を取得する。
The line-of-sight
また、視線距離算出部416は、第1の利用者210の表示画面202上の視線座標データと、第2の利用者220の表示画面202上の視線座標データとの間の距離daを算出し、算出結果である距離daをマーカ表示部417に通知する。
Moreover, line-of-sight
マーカ表示部417は、第1の利用者210の視線座標データにより特定される表示画面202上の座標位置にマーカを表示する。また、マーカ表示部417は、視線距離算出部416より通知された距離daを所定の距離閾値dthと比較する。なお、距離閾値dthは、例えば、表示画像データの画像解像度、表示画像データの種別、視野領域、第1の利用者210または第2の利用者220の属性等に応じて決定されるものとする。
The
マーカ表示部417は、更に、比較結果に応じて第1の利用者210の視線位置を示すマーカの表示態様を制御する。具体的には、マーカ表示部417は、比較結果に基づいて、距離daが距離閾値dth以上の状態のまま所定の期間が経過したのか否か(距離daが距離閾値dth以上の状態が所定の時間閾値Tth以上継続したか否か)を判断する。
The
マーカ表示部417は、所定の時間閾値Tth以上継続したと判断した場合、表示画面202上に表示されているマーカの表示態様を変更する。なお、マーカの表示態様の変更には、例えば、マーカを非表示とすること(消去すること)、マーカの色を薄くすること、マーカの色を表示画面202の背景色と同一または類似の色にすること、マーカの大きさを大きくまたは小さくすること、等が含まれる。また、マーカを点滅表示させる場合にあっては、点灯間隔を長くすること等が含まれる。つまり、マーカの表示態様の変更とは、第2の利用者220から見てマーカを目立ちにくくすることをいう。
The
一方、マーカ表示部417は、距離daが距離閾値dth未満であると判断した場合、あるいは、距離daが距離閾値dth以上の状態が所定の時間閾値Tth以上継続していないと判断した場合には、マーカの表示態様を変更前の元の表示態様に戻す。
On the other hand, if the
画像表示制御部132は、表示画像受信部431と、表示画像制御部432とを有する。表示画像受信部431は、表示装置110の表示画像送信部422より送信された表示画像データ(または制御信号)を受信し、表示画像制御部432に通知する。
The image
表示画像制御部432は、表示画像受信部431より通知された表示画像データ(または制御信号に基づいて取得された表示画像データ)を、表示装置130の表示部306の表示画面202の大きさに応じて変換する。また、変換した表示画像データを表示部306の表示画面202に表示するよう制御する。なお、上述したとおり、表示装置110の表示部306の表示画面201と、表示装置130の表示部306の表示画面202とは同じ構成である。このため、以下の説明では、表示画像制御部432は、表示画像受信部431より通知された表示画像データを変換することなく、表示画面202に表示するものとする。
The display
音声制御部133は、音声受信部454と、音声出力部453と、音声取得部451と、音声送信部452とを有する。音声受信部454は、表示装置110の音声送信部442より送信された音声データを受信し、音声出力部453に通知する。
The
音声出力部453は、音声受信部454より通知された音声データを出力するよう、音声出力装置143を制御する。
The
次に、表示装置130のマーカ表示制御部131によるマーカ表示制御処理の流れについて説明する。図5は、表示装置によるマーカ表示制御処理のフローチャートである。
Next, the flow of marker display control processing by the marker
図5に示すマーカ表示制御処理は、表示装置110と表示装置130との間の通信が確立し、表示画像データが共有可能となった場合に実行される。
The marker display control process shown in FIG. 5 is executed when communication between the
ステップS501において、視線座標受信部415は、第1の利用者210の視線座標データP1を受信し視線距離算出部416に通知する。
In step S <b> 501, the line-of-sight coordinate receiving
ステップS502において、センサ情報取得部411は、第2の利用者220の視線位置を視線センサ141が検出することで得たセンサ情報を取得する。また、視線座標算出部412は、取得されたセンサ情報に基づいて、第2の利用者220の視線の表示画面202上の座標位置を示す視線座標データP2を算出し、視線距離算出部416に通知する。
In step S <b> 502, the sensor
ステップS503において、視線距離算出部416は、ステップS501において視線座標受信部415より通知された視線座標データP1と、ステップS502において視線座標算出部412より通知された視線座標データP2との間の距離daを算出する。更に、視線距離算出部416は、算出した距離daをマーカ表示部417に通知する。
In step S503, the line-of-sight
ステップS504において、マーカ表示部417は視線距離算出部416より通知された距離daに基づいて、第2の利用者220の視線動作を判定する。なお、第2の利用者220の視線動作判定処理の詳細は後述する。
In step S504, the
ステップS504における視線動作判定処理の結果、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定した場合には、ステップS505からステップS506へと進む。
As a result of the line-of-sight movement determination process in step S504, when it is determined that the line-of-sight movement of the
ステップS506において、マーカ表示部417は、表示態様が変更されていないマーカが表示画面202に表示されている場合にあっては、当該マーカの表示態様を変更したうえで、視線座標データP1に基づいてマーカを表示する。また、表示態様が変更されているマーカが表示画面202に表示されている場合にあっては、当該変更されている表示態様を継続し、視線座標データP1に基づいてマーカを表示する。
In step S506, when a marker whose display mode is not changed is displayed on the
一方、ステップS504における視線動作判定処理の結果、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"ではないと判定した場合には、ステップS505からステップS507へと進む。
On the other hand, as a result of the line-of-sight movement determination process in step S504, when it is determined that the line-of-sight movement of the
ステップS507において、マーカ表示部417は、表示態様が変更されているマーカが表示画面202に表示されている場合にあっては、当該マーカの表示態様を変更前の元の表示態様に戻したうえで、視線座標データP1に基づいてマーカを表示する。また、表示態様が変更されていないマーカが表示画面202に表示されている場合にあっては、当該変更されていない表示態様を継続し、視線座標データP1に基づいてマーカを表示する。
In step S507, when the marker whose display mode is changed is displayed on the
ステップS508において、マーカ表示部417は、マーカ表示制御処理の停止指示が検知されたか否かを判定する。なお、マーカ表示制御処理の停止指示が検知される場合とは、例えば、表示装置110と表示装置130との間の通信が切断されたことを視線座標受信部415が検知した場合が挙げられる。あるいは、第2の利用者220が聞き手から話し手に変更になったことを状態判定部413が識別した場合等が挙げられる。
In step S508, the
ステップS508において、停止指示が検知されていないと判定された場合には、ステップS501に戻り、停止指示が検知されたと判定されるまで、ステップS501からステップS507までの処理を繰り返す。一方、ステップS508において、停止指示が検知されたと判定された場合には、表示装置130によるマーカ表示制御処理を終了する。
If it is determined in step S508 that a stop instruction has not been detected, the process returns to step S501, and the processes from step S501 to step S507 are repeated until it is determined that a stop instruction has been detected. On the other hand, if it is determined in step S508 that a stop instruction has been detected, the marker display control process by the
このように、表示装置130では、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であるか否かを判定し、判定結果に応じてマーカの表示態様を制御する。これにより、第2の利用者220が第1の利用者210の視線位置に視線を向けたくない(誘導されたくない)場合に、第1の利用者210の視線位置を示す表示によって気が散ってしまうといった事態を防ぐことができる。
As described above, the
次に、第2の利用者220の視線動作判定処理(ステップS504)の詳細について説明する。図6は、第2の利用者の視線動作判定処理の第1のフローチャートである。
Next, details of the line-of-sight movement determination process (step S504) of the
ステップS601において、マーカ表示部417は、視線距離算出部416より通知された距離daが所定の距離閾値dth以上であるか否かを判断する。ステップS601において、所定の距離閾値dth以上であると判断した場合には、ステップS602に進む。
In step S601, the
ステップS602において、マーカ表示部417は、所定の距離閾値dth以上の状態が、所定の時間閾値Tth以上継続したか否かを判断する。ステップS602において、所定の時間閾値Tth以上継続したと判断した場合には、ステップS603に進む。
In step S602, the
ステップS603において、マーカ表示部417は、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定する。
In step S <b> 603, the
一方、ステップS601において、所定の距離閾値dth以上ではないと判断された場合、または、ステップS602において、所定の時間閾値Tth以上継続していないと判断された場合には、ステップS604に進む。 On the other hand, if it is determined in step S601 that the distance is not equal to or greater than the predetermined distance threshold d th, or if it is determined in step S602 that the distance does not continue for the predetermined time threshold T th or more, the process proceeds to step S604. .
ステップS604において、マーカ表示部417は、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"ではないと判定する。ステップS603またはステップS604により判定が行われると、第2の利用者の視線動作判定処理を終了する。
In step S <b> 604, the
このように、表示装置130では、第1の利用者210の視線位置と第2の利用者220の視線位置との間の距離が距離閾値dth以上の状態が時間閾値Tth以上継続したか否かを判断する。そして、当該判断結果に基づいて、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であるか否かを判定する。
As described above, in the
次に、第1の利用者210の視線座標データP1と第2の利用者220の視線座標データP2について説明する。図7は、第1の利用者の視線座標データと第2の利用者の視線座標データの変化を示す図である。
Next, the line-of-sight coordinate data P1 of the first user 210 and the line-of-sight coordinate data P2 of the
図7に示すように、視線距離算出部416は、各時刻T1、T2、・・・において、第1の利用者210の視線座標データP1=(X1,Y1)、(X2,Y2)、・・・と第2の利用者220の視線座標データP2=(x1,y1)、(x2,y2)、・・・を取得する。そして、距離da=da1、da2、・・・を算出する。
As shown in FIG. 7, the line-of-sight
視線距離算出部416において算出された距離daは、マーカ表示部417において距離閾値dthと比較される。なお、図7の例では、"距離da"の項目において、白塗りされた領域は、マーカ表示部417により距離閾値dth以上であると判断され、ハッチングされた領域は、マーカ表示部417により距離閾値dth未満であると判断されたことを示している。
The distance d a calculated by the line-of-sight
ここで、マーカ表示部417では、距離daが距離閾値dth以上の状態が、時刻T1〜時刻T10の時間分継続した場合に、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定するものとする。
Here, the
このため、図7の例の場合、マーカ表示部417は、時刻T10、T11、T12、T13、T14において、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定することになる。つまり、マーカ表示部417は、時刻T10においてマーカの表示態様を変更し、時刻T14までの間、変更した表示態様による表示を継続し、時刻T15においてマーカの表示態様を元の表示態様に戻して表示することになる。
For this reason, in the example of FIG. 7, the
次に、第2の利用者220が利用する表示画面202の表示例について説明する。図8は、表示画面の表示例を示す第1の図である。図8において、実線の丸はマーカ800を示しており、点線の丸は第1の利用者210の視線位置801または第2の利用者220の視線位置811を示している。
Next, a display example of the
図8の例は、表示画面202に表示された表示画像データに対して、第1の利用者210が表示画像データ内の説明文を読みながら説明を行い、第2の利用者220が表示画像データ内のグラフを注視しているシーンを想定したものである。
In the example of FIG. 8, the first user 210 explains the display image data displayed on the
図8(a)、(b)に示すように、第1の利用者210の視線位置に応じて表示されたマーカ800が、表示画像データ内の説明文上を移動するのに対して、第2の利用者220の視線位置811はほとんど移動しない。
As shown in FIGS. 8A and 8B, the
このため、第1の利用者210の視線位置と第2の利用者220の視線位置811との間の距離daは、距離閾値dth以上のまま推移する。この状態が時間閾値Tth以上継続すると、マーカ表示部417では、マーカ800の表示態様を変更する。
For this reason, the distance d a between the line-of-sight position of the first user 210 and the line-of-
図8(c)は、マーカ800の表示態様が変更され、マーカ800が非表示とされた様子を示している。このように、マーカ800が非表示とされることで、第2の利用者220は、マーカ800の表示が原因で気が散ってしまうことがなくなり、表示画像データ内のグラフを注視することができる。
FIG. 8C shows a state where the display mode of the
なお、図8(d)に示すように、表示装置130ではマーカ800を非表示とした後も、第1の利用者210の視線位置801と第2の利用者220の視線位置811との間の距離daの算出を継続する。このため、第2の利用者220がグラフを注視することを止め、第1の利用者210が説明している説明文の方に視線を移動させた場合には、マーカ800の表示態様が変更前(非表示とされる前)の表示態様に戻る。
Note that, as shown in FIG. 8D, even after the
図8(e)は、第2の利用者220の視線位置811が、第1の利用者210が説明している説明文の方に移動した様子を示している。図8(e)に示すように、表示装置130では、第1の利用者210の視線位置と第2の利用者220の視線位置811との間の距離daが距離閾値dth未満であると判断すると、マーカ800の表示態様を元に戻す。これにより、第2の利用者220は、第1の利用者210が説明中の箇所を直ちに認識することができる。
FIG. 8E shows a state in which the line-of-
以上の説明から明らかなように、本実施形態に係る表示装置130では、第2の利用者220の視線動作が、"第1の利用者210の視線位置801によって誘導されたくない視線動作"であると判定すると、マーカ800の表示態様を変更する。
As is clear from the above description, in the
この結果、本実施形態に係る表示装置130によれば、第2の利用者220が第1の利用者210の視線位置801に視線を向けたくない場合に、第1の利用者210の視線位置を示す表示によって、第2の利用者220の気が散ることを防ぐことができる。
As a result, according to the
なお、本実施形態では、第2の利用者220の視線動作判定処理(ステップS504)において、時間閾値Tthが経過するまでの間に、距離daが距離閾値dth未満の状態が1回でも発生すれば、マーカ800の表示態様を元に戻すようにした。しかしながら、第2の利用者220の視線動作判定処理(ステップS504)はこれに限定されない。例えば、時間閾値Tthが経過するまでの間に、距離daが距離閾値dth以上の状態が所定割合以下となった場合に、マーカ800の表示態様を元に戻すようにしてもよい。また、時間閾値Tthが経過するまでの間に、距離daが距離閾値dth以上の状態が所定割合を超えた場合に、マーカ800の表示態様を変更するようにしてもよい。
In the present embodiment, the line-of-sight operation determination process of the second user 220 (step S504), until the elapse of the time threshold T th, the distance d a is one state less than the distance threshold value d th However, if it occurs, the display mode of the
また、本実施形態では、第2の利用者220の視線動作判定処理(ステップS504)において、距離daと該距離daが所定の距離閾値dth以上となっている時間とを用いることとした。しかしながら、第2の利用者220の視線動作判定処理(ステップS504)はこれに限定されない。例えば、更に、第2の利用者220の視線位置811が所定時間移動していないかどうかの判断を加えるようにしてもよい。この場合、距離daが距離閾値dth以上の状態が時間閾値Tth以上継続し、第2の利用者220の視線位置が所定時間移動しない場合、第2の利用者220の視線動作が"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定される。
In the present embodiment, in the line-of-sight movement determination process (step S504) of the
[第2の実施形態]
上記第1の実施形態では、第2の利用者220の視線動作判定処理(ステップS504)において、第1の利用者210の視線位置801と第2の利用者220の視線位置811との間の距離daと、距離daが所定の距離閾値dth以上となっている時間とを用いた。これに対して、第2の実施形態では、更に、第2の利用者220の視線位置811が所定の距離間隔で同一方向にn回移動したか否かの判断を加える。
[Second Embodiment]
In the first embodiment, in the line-of-sight movement determination process (step S504) of the
図9は、第2の利用者の視線動作判定処理の第2のフローチャートである。なお、図9に示すフローチャートのうち、図6に示したフローチャートと同じ処理については同じ参照番号を付すこととし、ここでは説明を省略する。 FIG. 9 is a second flowchart of the gaze movement determination process of the second user. In the flowchart shown in FIG. 9, the same processes as those in the flowchart shown in FIG. 6 are denoted by the same reference numerals, and the description thereof is omitted here.
図6との相違点は、ステップS901である。ステップS901において、マーカ表示部417は、第2の利用者220の視線位置が、所定の距離間隔(Lth)で同一方向に所定の回数(n回)移動したか否かを判断する。
The difference from FIG. 6 is step S901. In step S901, the
ステップS901において、所定の距離間隔(Lth)で同一方向に所定の回数(n回)移動したと判断した場合には、ステップS604に進む。この場合、マーカ表示部417では、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定する。
If it is determined in step S901 that the movement has been performed a predetermined number of times (n times) in the same direction at a predetermined distance interval (L th ), the process proceeds to step S604. In this case, the
一方、ステップS901において、第2の利用者220の視線位置が、所定の距離間隔(Lth)で移動していないか、所定の距離間隔(Lth)で移動したが所定の回数(n回)は移動していないと判断した場合には、ステップS605に進む。この場合、マーカ表示部417では、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"ではないと判定する。
On the other hand, in step S901, the line-of-sight position of the
次に、第2の利用者220が利用する表示画面202の表示例について説明する。図10は、表示画面の表示例を示す第2の図である。図10の例は、表示画面202に表示された表示画像データに対して、第1の利用者210が表示画像データ内のグラフを説明し、第2の利用者220が表示画像データ内の説明文を先に読み進めているシーンを想定したものである。
Next, a display example of the
図10(a)〜(c)に示すように、第1の利用者210の視線位置に応じて表示されたマーカ800が、表示画像データ内のグラフの位置に表示されているのに対して、第2の利用者220の視線位置811は、表示画像データ内の説明文上を移動する。
As shown in FIGS. 10A to 10C, the
このため、第1の利用者210の視線位置と第2の利用者220の視線位置811との距離daは、距離閾値dth以上のまま推移する。この状態が時間閾値Tth以上継続すると、マーカ表示部417では、第2の利用者220の視線位置が所定の距離間隔(Lth)で同一方向に所定の回数(n回)移動したか否かを判断する。
For this reason, the distance d a between the line-of-sight position of the first user 210 and the line-of-
図10(a)〜(c)に示したように、第2の利用者220は、表示画像データ内の説明文を読み進めているため、第2の利用者220の視線位置811は、説明文に沿って所定の距離間隔(Lth)で同一方向に所定の回数(n回)移動する。
As shown in FIGS. 10A to 10C, since the
そこで、図10(c)に示すように、マーカ表示部417では、マーカ800の表示態様を変更する。図10(c)は、マーカ800の表示態様が変更され、マーカ800が非表示となった様子を示している。このように、マーカ800が非表示となることで、第2の利用者220は、マーカ800の表示が原因で気が散ってしまうことなく、表示画像データ内の説明文を読み進めることができる。
Therefore, as shown in FIG. 10C, the
ここで、図10(d)に示すように、第2の利用者220が説明文を読み進める動作を止めたとする。このとき、マーカ表示部417では、第2の利用者220の視線位置が、所定の距離間隔(Lth)で移動していないか、所定の距離間隔(Lth)で移動したが所定の回数(n回)は移動していないと判断する。このため、マーカ表示部417では、距離daが距離閾値dth以上の状態が時間閾値Tth以上継続している場合であっても、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"ではないと判定する。
Here, as shown in FIG. 10D, it is assumed that the
この結果、図10(e)に示すように、距離daが距離閾値dth以上の状態が時間閾値Tth以上継続している場合であっても、マーカ800は元の表示態様で直ちに表示されることになる。
As a result, as shown in FIG. 10E, even when the distance d a is equal to or greater than the distance threshold d th for a time threshold T th or longer, the
このように、本実施形態に係る表示装置130によれば、第2の利用者220は、説明文を読み進める動作を止めた後に、第1の利用者210の視線位置811を直ちに認識することができる。
As described above, according to the
[第3の実施形態]
上記第2の実施形態では、距離daが距離閾値dth以上の状態が時間閾値Tth以上継続していると判断した場合に、第2の利用者220が説明文を読み進める動作をしているか否かを判断した。これに対して、第3の実施形態では、距離daが距離閾値dth以上の状態が時間閾値Tth以上継続しているか否かに関わらず、第2の利用者220が説明文を読み進める動作をしているか否かを判断する。
[Third Embodiment]
In the second embodiment, when it is determined that the state in which the distance d a is equal to or greater than the distance threshold d th continues for the time threshold T th or longer, the
図11は、第2の利用者の視線動作判定処理の第3のフローチャートである。なお、図11に示すフローチャートのうち、図9に示したフローチャートと同じ処理については同じ参照番号を付すこととし、ここでは説明を省略する。 FIG. 11 is a third flowchart of the gaze movement determination process of the second user. In the flowchart shown in FIG. 11, the same processes as those in the flowchart shown in FIG. 9 are denoted by the same reference numerals, and the description thereof is omitted here.
図9との相違点は、ステップS1101である。ステップS1101の処理は、ステップS602において、距離daが所定の距離閾値dth以上でないと判断された場合、または、ステップS603において、所定の時間閾値Tth以上継続していないと判断された場合に実行される。なお、ステップS1101の判断内容は、図9のステップS901の判断内容と同じである。 The difference from FIG. 9 is step S1101. Processing in step S1101, in step S602, if the distance d a is determined not the predetermined distance threshold d th or more, or, in step S603, if it is determined not to have continued for the predetermined time threshold T th or more To be executed. Note that the determination content in step S1101 is the same as the determination content in step S901 in FIG.
このように、距離daが距離閾値dth以上の状態が時間閾値Tth以上継続しているか否かに関わらず、第2の利用者220が説明文を読み進める動作をしているか否かを判断することで、マーカの表示態様を確実に変更させることが可能となる。
As described above, whether or not the
具体的に説明する。例えば、図10のように第2の利用者220が説明文を読み進める動作をしている場合であっても、説明文の位置が、第1の利用者210の視線位置801に近い場合もありうる。この場合、上記第2の実施形態によれば、ステップS602の判断において、距離daが距離閾値dth以上にならないため、マーカの表示態様が変更前の状態のままマーカの表示を継続してしまうこととなる。これに対して、本実施形態に係る表示装置130によれば、ステップS1101において、第2の利用者220が説明文を読み進める動作をしていると判断された場合には、直ちにマーカの表示態様が変更されることになる。
This will be specifically described. For example, even when the
つまり、本実施形態に係る表示装置130によれば、説明文を読み進める動作をしているときに、マーカの表示態様を確実に変更させることが可能になる。
That is, according to the
[第4の実施形態]
上記第1乃至第3の実施形態では、第1の利用者210が説明文の説明等を行っている間、第2の利用者220がグラフを注視するシーンと、第1の利用者210がグラフの説明等を行っている間、第2の利用者220が説明文を読み進めるシーンとを例示した。そして、これらのシーンに適用可能な判断方法により第2の利用者220の視線動作判定処理(ステップS504)を実行することとした。しかしながら、第2の利用者220の視線動作判定処理(ステップS504)の判断方法は、第1乃至第3の実施形態で説明した判断方法に限定されない。つまり、第2の利用者220の視線動作が第1の利用者210の視線位置によって誘導されたくないという意思表示の表れであると判断できる判断方法であれば、他の任意の判断方法であってもよい。
[Fourth Embodiment]
In the first to third embodiments, the scene in which the
[第5の実施形態]
上記第1乃至第4の実施形態の表示システム100では、サーバ装置150に対して、表示装置110と表示装置130との間のデータ通信を制御する機能を配した。しかしながら、サーバ装置150に配する機能はこれに限定されず、例えば、表示装置110または表示装置130の機能の一部を配するようにしてもよい。
[Fifth Embodiment]
In the
図12は、表示システムの各装置の機能構成を示す第2の図である。図12に示すように、表示装置110のマーカ表示制御部1200は、センサ情報取得部401と、視線座標算出部402と、視線座標送信部404と、マーカ受信部1201と、マーカ表示部1202とを有する。
FIG. 12 is a second diagram illustrating a functional configuration of each device of the display system. As illustrated in FIG. 12, the marker
表示装置130のマーカ表示制御部1210は、センサ情報取得部411と、視線座標算出部412と、視線座標送信部414と、マーカ受信部1211と、マーカ表示部1212とを有する。
The marker
サーバ装置150は、表示装置110のマーカ表示制御プログラムまたは表示装置130のマーカ表示制御プログラムの一部のプログラムがインストールされている。サーバ装置150にインストールされている一部のプログラムは、サーバ装置150のCPU301により実行される。これにより、サーバ装置150は、視線座標受信部1221、状態判定部1222、視線距離算出部1223、マーカ制御部1224として機能する。
The
視線座標受信部1221は、視線座標送信部404より送信される視線座標データP1を受信する。また、視線座標受信部1221は、視線座標送信部414より送信される視線座標データP2を受信する。また、受信した視線座標データP1、P2を状態判定部1222を介して視線距離算出部1223に通知する。
The line-of-sight coordinate receiving
状態判定部1222は、第1の利用者210が話し手の状態にあるのか、聞き手の状態にあるのかを識別する。また、第2の利用者220が話し手の状態にあるのか、聞き手の状態にあるのかを識別する。更に、識別結果を視線距離算出部1223及びマーカ制御部1224に通知する。
The
視線距離算出部1223は、状態判定部1222より通知された識別結果を受信し、マーカの表示用として視線座標データP1と視線座標データP2のいずれを送信するかを決定する。ここでは、第1の利用者210が話し手の状態にあり、第2の利用者220が聞き手の状態にあるため、視線座標データP1をマーカの表示用として送信すると決定し、視線座標受信部1221より受信した視線座標データP1をマーカ制御部1224に通知する。また、視線座標受信部1221より受信した視線座標データP1と視線座標データP2とに基づいて第1の利用者210の視線位置と第2の利用者220の視線位置との間の距離daを算出する。更に、視線距離算出部1223は、算出した距離daをマーカ制御部1224に通知する。
The line-of-sight
マーカ制御部1224は、状態判定部1222より通知された識別結果を受信し、視線座標データP1の送信先を決定する。ここでは、第1の利用者210が話し手の状態にあり、第2の利用者が聞き手の状態にあるため、表示装置130を送信先と決定する。また、マーカ制御部1224では、視線距離算出部1223より通知された距離daに基づいて、第1の利用者210の視線位置を示すマーカの表示態様を制御する。
The
具体的には、視線距離算出部1223より通知された距離daが距離閾値dthより大きいと判断した時間が時間閾値Tth以上継続した場合には、マーカの表示態様の変更指示を含む表示設定情報と視線座標データP1とを送信する。一方、距離daが距離閾値dth未満であると判断した場合、または距離daが距離閾値dth以上の状態が時間閾値Tth以上継続していないと判断した場合には、マーカの表示態様を元に戻す指示を含む表示設定情報と視線座標データP1とを送信する。
Specifically, when the time when the distance d a notified from the line-of-sight
なお、送信先である表示装置130のマーカ表示制御部1210が有するマーカ受信部1211は、サーバ装置150より送信された視線座標データP1を受信し、マーカ表示部1212に通知する。また、マーカ表示部1212は、マーカ受信部1211より通知された視線座標データP1に基づいて、表示画面202上にマーカを表示する。このとき、表示設定情報にマーカの表示態様の変更指示が含まれていた場合には、表示態様を変更した上で表示画面202上にマーカを表示する。また、表示設定情報にマーカの表示態様を元に戻す指示が含まれていた場合には、表示態様を変更前の表示態様に戻した上で表示画面202上にマーカを表示する。
Note that the
次に、サーバ装置150により実行されるマーカ表示制御処理の流れについて説明する。図13は、サーバ装置によるマーカ表示制御処理のフローチャートである。図13に示すマーカ表示制御処理は、表示装置110とサーバ装置150及びサーバ装置150と表示装置130との間の通信が確立し、表示装置110と表示装置130との間で表示画像データが共有可能となった場合に実行される。
Next, the flow of marker display control processing executed by the
ステップS1301において、視線座標受信部1221は、第1の利用者210の視線座標データP1を受信し視線距離算出部1223に通知する。
In step S1301, the line-of-sight coordinate receiving
ステップS1302において、視線座標受信部1221は、第2の利用者220の視線座標データP2を受信し視線距離算出部1223に通知する。
In step S <b> 1302, the line-of-sight coordinate receiving
ステップS1303において、視線距離算出部1223は、視線座標受信部1221より通知された視線座標データP1と、視線距離算出部1223より通知された視線座標データP2との間の距離daを算出する。なお、第1の利用者210または第2の利用者220のいずれかまたは両方がまばたきを行うなどして、視線座標データP1またはP2のいずれかまたは両方が視線距離算出部1223に通知されない場合もある。この場合、視線距離算出部1223では、直前の1以上の視線座標データP1またはP2を用いて距離daを算出する。
In step S1303, gaze
ステップS1304において、マーカ制御部1224は視線距離算出部416により通知された距離daに基づいて、第2の利用者220の視線動作を判定する。なお、第2の利用者220の視線動作判定処理は、上記第1乃至第4の実施形態と同様であるため、ここでは説明を省略する。
In step S1304, the
ステップS1304における視線動作判定処理の結果、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定した場合には、ステップS1305からS1306へと進む。ステップS1306において、マーカ制御部1224は、マーカの表示態様の変更指示を含む表示設定情報を生成する。
As a result of the line-of-sight movement determination process in step S1304, if it is determined that the line-of-sight movement of the
一方、ステップS1304における視線動作判定処理の結果、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"ではないと判定した場合には、ステップS1305からステップS1307へと進む。ステップS1307において、マーカ制御部1224は、マーカの表示態様を変更前の元の表示態様に戻す指示を含む表示設定情報を生成する。
On the other hand, as a result of the line-of-sight movement determination process in step S1304, when it is determined that the line-of-sight movement of the
ステップS1308において、マーカ制御部1224は、視線座標データP1及びマーカの表示設定情報を表示装置130に送信する。これにより、表示装置130では、マーカ制御部1224より送信された視線座標データP1及び表示設定情報に応じたマーカの表示が行われる。
In step S <b> 1308, the
ステップS1309において、マーカ制御部1224は、マーカ表示制御処理の停止指示が検知されたか否かを判定する。ステップS1309において、停止指示が検知されていないと判定された場合には、ステップS1301に戻り、停止指示が検知されたと判定されるまで、ステップS1301からステップS1308までの処理を繰り返す。一方、ステップS1309において、停止指示が検知されたと判定された場合には、サーバ装置150によるマーカ表示制御処理を終了する。
In step S1309, the
以上のとおり、本実施形態によれば、表示装置110または表示装置130の機能の一部をサーバ装置150に配することが可能となる。
As described above, according to the present embodiment, part of the functions of the
なお、本実施形態では、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であるか否かに関わらず、視線座標データP1及びマーカの表示設定情報を送信することとした。しかしながら、第2の利用者220の視線動作が、"第1の利用者210の視線位置によって誘導されたくない視線動作"であると判定された際、マーカを非表示とする場合にあっては、視線座標データP1を送信しなくてもよい。
In the present embodiment, the line-of-sight coordinate data P1 and the line-of-sight coordinate data P1 and the line-of-sight movement of the
また、本実施形態では、視線座標データP1とマーカの表示設定情報とを同じタイミングで送信することとした。しかしながら、視線座標データP1とマーカの表示設定情報とは異なるタイミングで送信するようにしてもよい。例えば、視線座標データP1は、ステップS1301において受信した直後に、表示装置130に送信するようにしてもよい。
In this embodiment, the line-of-sight coordinate data P1 and the marker display setting information are transmitted at the same timing. However, the line-of-sight coordinate data P1 and the marker display setting information may be transmitted at different timings. For example, the line-of-sight coordinate data P1 may be transmitted to the
また、本実施形態では、表示装置110、130がそれぞれ視線座標データP1、P2を送信することとしたが、表示装置110、130のいずれか一方または両方が、例えば、センサ情報を送信するようにしてもよい。この場合、表示装置110、130では、センサ情報取得部401、411より出力されるセンサ情報を送信し、サーバ装置150では、当該センサ情報に基づいて視線座標データP1、P2を算出することとなる。つまり、サーバ装置150に視線座標算出部402、412が配されることとなる。
In the present embodiment, the
[第6の実施形態]
上記第1乃至第4の実施形態では、表示装置110より送信されたデータ群230を、リアルタイムに表示装置130にて処理する場合について説明した。これに対して、第6の実施形態では、表示装置110より送信されたデータ群230を、表示装置130内の補助記憶部304に記録しておき、所定時間が経過してから表示装置130にて処理する場合について説明する。
[Sixth Embodiment]
In the first to fourth embodiments, the case has been described in which the
図14は、表示システムの各装置の機能構成を示す第3の図である。なお、図14に示す各構成要素のうち、図4に示す構成要素と同じ構成要素については同じ参照番号を付し、ここでは説明を省略する。 FIG. 14 is a third diagram illustrating a functional configuration of each device of the display system. Of the constituent elements shown in FIG. 14, the same constituent elements as those shown in FIG. 4 are designated by the same reference numerals, and the description thereof is omitted here.
図4との相違点は、マーカ表示制御部1400が、状態判定部403、視線座標受信部405、視線距離算出部406、マーカ表示部407を有していない点である。また、表示装置130が配信情報データベース(以下、DBと略す)1420を有している点、マーカ表示制御部1410が視線座標読出部1411を有している点である。また、画像表示制御部1430が表示画像読出部1431を有している点、音声制御部1450が、音声読出部1451を有している点である。
The difference from FIG. 4 is that the marker
配信情報DB1420は、視線座標受信部415より視線座標データP1を取得し、配信情報に記録する。また、表示画像受信部431より表示画像データを取得し、配信情報に記録する。更に、音声受信部454より音声データを取得し、配信情報に記録する。
The
視線座標読出部1411は、配信情報DB1420の配信情報に記録された視線座標データP1を読み出し、視線距離算出部416に通知する。表示画像読出部1431は、配信情報DB1420の配信情報に記録された表示画像データを読み出し、表示画像制御部432に通知する。更に、音声読出部1451は、配信情報DB1420の配信情報に記録された音声データを読み出し、音声出力部453に通知する。
The line-of-sight coordinate
なお、視線座標読出部1411による視線座標データP1の読み出し、表示画像読出部1431による表示画像データの読み出し、音声読出部1451による音声データの読み出しは互いに同期して実行されるものとする。
Note that the reading of the line-of-sight coordinate data P1 by the line-of-sight coordinate
次に、配信情報DB1420に格納される配信情報について説明する。図15は、配信情報の一例を示す図である。図15に示すように、配信情報1500は情報の項目として、"時間"、"第1の利用者の視線座標データP1"、"表示画像データ"、"音声データ"が含まれる。
Next, distribution information stored in the
"時間"には、表示装置110から表示装置130に対して、データ群230の送信が開始されてからの経過時間が記録される。"第1の利用者の視線座標データP1"には、各時間において、視線座標算出部402により算出され、視線座標送信部404より送信された視線座標データP1が記録される。
In “time”, an elapsed time from the start of transmission of the
"表示画像データ"には、各時間において、表示画像送信部422より送信された表示画像データが記録される。"音声データ"には、各時間において、音声送信部442より送信された音声データが記録される。
In the “display image data”, display image data transmitted from the display
以上のとおり、本実施形態によれば、表示装置110より送信されたデータ群230を、所定時間が経過してから表示装置130にて処理する場合においても、上記第1乃至第4の実施形態で説明したマーカ表示制御処理を適用することができる。
As described above, according to the present embodiment, even when the
なお、上記説明では、配信情報DB1420を表示装置130に配することとしたが、例えば、表示装置110に配するようにしてもよい。その場合、例えば、配信情報DB1420の配信情報1500に記録された、視線座標データP1、表示画像データ、音声データを記憶媒体等にコピーし、第2の利用者220に配布する。これにより、表示装置130において、上記第1乃至第4の実施形態で説明したマーカ表示制御処理に配信情報1500を適用することができる。
In the above description, the
[第7の実施形態]
上記第1乃至第6の実施形態では、第1の利用者210、第2の利用者220から一定の距離、離れた位置に表示装置110、130を配置したが、表示装置110、130は、第1の利用者210、第2の利用者220に装着してもよい。すなわち、表示装置110、130は、例えば、HMD(Head mounted display)として実現されてもよい。
[Seventh Embodiment]
In the first to sixth embodiments, the
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
第1の利用者の視線位置を示す表示を行い、
前記第1の利用者の視線位置を示す表示が行われた後、所定の期間が経過しても、第2の利用者の視線位置が前記第1の利用者の視線位置に近づかないと判断した場合、前記第1の利用者の視線位置を示す表示を変更する表示部、
を有することを特徴とする表示装置。
(付記2)
前記表示部は、前記第1の利用者の視線位置を示す表示を非表示とすることを特徴とする付記1に記載の表示装置。
(付記3)
前記第1の利用者の視線位置を示す表示を変更することには、前記第1の利用者の視線位置を示す表示の色を薄くすること、背景色と同一または類似の色にすること、前記第1の利用者の視線位置を示す表示の大きさを大きくすること、前記第1の利用者の視線位置を示す表示の点灯間隔を長くすること、が含まれることを特徴とする付記1に記載の表示装置。
(付記4)
前記表示部が前記第1の利用者の視線位置を示す表示を変更した後、前記第2の利用者の視線位置が前記第1の利用者の視線位置に近づいたと判断した場合、前記表示部は、変更された前記第1の利用者の視線位置を示す表示を、変更前の表示に戻すことを特徴とする付記1乃至3のいずれかの付記に記載の表示装置。
(付記5)
前記第1の利用者の視線位置を示す表示が行われた後、所定の期間が経過しても、前記第2の利用者の視線位置が前記第1の利用者の視線位置に近づかないと判断した場合であって、前記第2の利用者の視線位置が所定の距離間隔で所定回数移動したと判断した場合に、前記表示部は、前記第1の利用者の視線位置を示す表示を変更することを特徴とする付記1乃至3のいずれかの付記に記載の表示装置。
(付記6)
前記表示部が前記第1の利用者の視線位置を示す表示を変更した後、前記第2の利用者の視線位置が所定の距離間隔で移動していないと判断した場合または前記第2の利用者の視線位置が所定の距離間隔で移動したが所定回数移動していないと判断した場合、前記表示部は、前記第1の利用者の視線位置を示す表示を、変更前の表示に戻すことを特徴とする付記5に記載の表示装置。
(付記7)
第1の利用者の視線位置を示す表示をした後、所定の期間が経過しても、第2の利用者の視線位置が前記第1の利用者の視線位置に近づかないと判断した場合、前記第1の利用者の視線位置を示す表示を変更する、
処理を、コンピュータに実行させることを特徴とする表示プログラム。
(付記8)
コンピュータが、
第1の利用者の視線位置を第2の利用者が利用する表示装置に表示する際の表示態様を設定する第1の設定情報を生成し、
前記表示装置に前記第1の利用者の視線位置を前記設定情報に基づいて表示させた後、前記第1の利用者の視線位置を示す情報と、前記第2の利用者の視線位置を示す情報とを受信し、所定の期間が経過しても、前記第2の利用者の視線位置が前記第1の利用者の視線位置に近づかないと判断した場合、前記表示態様を変更する第2の設定情報を生成する、
ことを特徴とする表示方法。
In addition, in the disclosed technology, forms such as the following supplementary notes are conceivable.
(Appendix 1)
Display the line of sight of the first user,
After the display indicating the first user's line-of-sight position is performed, it is determined that the second user's line-of-sight position does not approach the first user's line-of-sight position even if a predetermined period has elapsed. A display unit for changing a display indicating the line-of-sight position of the first user,
A display device comprising:
(Appendix 2)
The display device according to
(Appendix 3)
To change the display indicating the first user's line-of-sight position, the display color indicating the first user's line-of-sight position is lightened, the color is the same as or similar to the background color,
(Appendix 4)
When it is determined that the second user's line-of-sight position has approached the first user's line-of-sight position after the display unit has changed the display indicating the line-of-sight position of the first user, the display unit The display device according to any one of
(Appendix 5)
After the display showing the line-of-sight position of the first user is performed, the line-of-sight position of the second user does not approach the line-of-sight position of the first user even after a predetermined period has elapsed. When it is determined that the second user's line-of-sight position has been moved a predetermined number of times at predetermined distance intervals, the display unit displays a display indicating the line-of-sight position of the first user. The display device according to any one of
(Appendix 6)
When the display unit changes the display indicating the line-of-sight position of the first user and then determines that the line-of-sight position of the second user has not moved at a predetermined distance interval or the second use When it is determined that the user's line-of-sight position has moved at a predetermined distance interval but has not moved a predetermined number of times, the display unit returns the display indicating the line-of-sight position of the first user to the display before the change. The display device according to appendix 5, characterized by:
(Appendix 7)
When it is determined that the second user's line-of-sight position does not approach the first user's line-of-sight position even after a predetermined period has elapsed after displaying the first user's line-of-sight position, Changing the display indicating the line-of-sight position of the first user;
A display program that causes a computer to execute processing.
(Appendix 8)
Computer
Generating first setting information for setting a display mode when displaying the line-of-sight position of the first user on the display device used by the second user;
After the first user's line-of-sight position is displayed on the display device based on the setting information, information indicating the line-of-sight position of the first user and the line-of-sight position of the second user are displayed. And changing the display mode when it is determined that the line-of-sight position of the second user does not approach the line-of-sight position of the first user even after a predetermined period has passed. Generate configuration information for
A display method characterized by that.
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.
100 :表示システム
110 :表示装置
111 :マーカ表示制御部
112 :画像表示制御部
113 :音声制御部
121 :視線センサ
122 :音声取得装置
123 :音声出力装置
130 :表示装置
131 :マーカ表示制御部
132 :画像表示制御部
133 :音声制御部
141 :視線センサ
142 :音声取得装置
143 :音声出力装置
150 :サーバ装置
201、202 :表示画面
401、411 :センサ情報取得部
402、412 :視線座標算出部
403、413 :状態判定部
404、414 :視線座標送信部
405、415 :視線座標受信部
406、416 :視線距離算出部
407、417 :マーカ表示部
800 :マーカ
801、811 :視線位置
100: Display system 110: Display device 111: Marker display control unit 112: Image display control unit 113: Audio control unit 121: Eye sensor 122: Audio acquisition device 123: Audio output device 130: Display device 131: Marker display control unit 132 : Image display control unit 133: Audio control unit 141: Visual sensor 142: Audio acquisition device 143: Audio output device 150: Server devices 201 and 202:
Claims (5)
を有することを特徴とする表示装置。 Among the first and second users, the first user's line of sight on a display screen on which a display showing the line of sight of the first user is performed based on the state of the second user. after the display indicating the position is carried out, even if a predetermined period of time even after the elapse of line-of-sight position of the second user is determined to not approach the line-of-sight position of the first user, wherein A display unit for changing a display indicating the line-of-sight position of the first user when it is determined that the line-of-sight position of the second user has moved a plurality of times in the same direction at predetermined distance intervals ;
A display device comprising:
処理を、コンピュータに実行させることを特徴とする表示プログラム。 Among the first and second users, the first user's line-of-sight position on a display screen that displays the line-of-sight position of the first user based on the state of the second user after an indication, even after a predetermined period of time, even when the line-of-sight position of the second user is determined to not approach the line-of-sight position of the first user, the second When it is determined that the user's line-of-sight position has moved multiple times in the same direction at a predetermined distance interval, the display indicating the first user's line-of-sight position is changed.
A display program that causes a computer to execute processing.
第1及び第2の利用者のうち、前記第2の利用者の状態に基づいて、前記第1の利用者の視線位置を前記第2の利用者が利用する表示装置に表示する際の表示態様を設定する第1の設定情報を生成し、
前記表示装置に前記第1の利用者の視線位置を前記第1の設定情報に基づいて表示させた後、前記第1の利用者の視線位置を示す情報と、前記第2の利用者の視線位置を示す情報とを受信し、所定の期間が経過しても、前記第2の利用者の視線位置が前記第1の利用者の視線位置に近づかないと判断した場合であって、前記第2の利用者の視線位置が所定距離間隔で同一方向に複数回移動したと判断した場合、前記表示態様を変更する第2の設定情報を生成する、
ことを特徴とする表示方法。 Computer
Display when displaying the line-of-sight position of the first user on the display device used by the second user based on the state of the second user among the first and second users Generating first setting information for setting an aspect;
After the first user's line-of-sight position is displayed on the display device based on the first setting information, information indicating the line-of-sight position of the first user and the line of sight of the second user Information indicating a position is received and it is determined that the line-of-sight position of the second user does not approach the line-of-sight position of the first user after a predetermined period of time has elapsed , If it is determined that the line-of-sight position of the second user has moved a plurality of times in the same direction at predetermined distance intervals, second setting information for changing the display mode is generated.
A display method characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015017314A JP6557981B2 (en) | 2015-01-30 | 2015-01-30 | Display device, display program, and display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015017314A JP6557981B2 (en) | 2015-01-30 | 2015-01-30 | Display device, display program, and display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016143159A JP2016143159A (en) | 2016-08-08 |
JP6557981B2 true JP6557981B2 (en) | 2019-08-14 |
Family
ID=56568634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015017314A Expired - Fee Related JP6557981B2 (en) | 2015-01-30 | 2015-01-30 | Display device, display program, and display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6557981B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6696357B2 (en) * | 2016-08-26 | 2020-05-20 | アイシン・エィ・ダブリュ株式会社 | Pointer control system and pointer control program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3048927B2 (en) * | 1996-07-29 | 2000-06-05 | 北海道日本電気ソフトウェア株式会社 | Pointing device for large screen presentation system |
JP3959354B2 (en) * | 2003-01-10 | 2007-08-15 | 株式会社東芝 | Image generation apparatus, image generation method, and image generation program |
JP2007274621A (en) * | 2006-03-31 | 2007-10-18 | Victor Co Of Japan Ltd | Image transmission system and image transmission method |
JP2012253478A (en) * | 2011-06-01 | 2012-12-20 | Konica Minolta Business Technologies Inc | Conference support system, conference support device, conference support method, and computer program |
WO2013033842A1 (en) * | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
US20140002352A1 (en) * | 2012-05-09 | 2014-01-02 | Michal Jacob | Eye tracking based selective accentuation of portions of a display |
-
2015
- 2015-01-30 JP JP2015017314A patent/JP6557981B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016143159A (en) | 2016-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11190856B2 (en) | Synchronizing content and metadata | |
US11789522B2 (en) | Generating and/or adapting automated assistant content according to a distance between user(s) and an automated assistant interface | |
US8766912B2 (en) | Environment-dependent dynamic range control for gesture recognition | |
US20190041985A1 (en) | Information processing apparatus and information processing method | |
US11720179B1 (en) | System and method for redirecting content based on gestures | |
US20140036022A1 (en) | Providing a conversational video experience | |
JP6175969B2 (en) | Information processing apparatus, information processing system, and program | |
US20160054895A1 (en) | Method of providing visual sound image and electronic device implementing the same | |
US20210327146A1 (en) | Virtual anchoring systems and methods for extended reality | |
US9207761B2 (en) | Control apparatus based on eyes and method for controlling device thereof | |
JP6932206B2 (en) | Equipment and related methods for the presentation of spatial audio | |
KR20150081430A (en) | Auto-adjusting content size rendered on a display | |
US20230291977A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
GB2485145A (en) | Audio command routing method for voice-controlled applications in multi-display systems | |
JP6365267B2 (en) | Display device, display method, and display program | |
JP6557981B2 (en) | Display device, display program, and display method | |
US10386933B2 (en) | Controlling navigation of a visual aid during a presentation | |
US20240171418A1 (en) | Information processing device and information processing method | |
US11375138B1 (en) | Combining video streams having different information-bearing levels | |
JP6289038B2 (en) | Display control apparatus, method and program | |
KR101810188B1 (en) | Device and method for displaying image, device and method for creating image, computer program for executing the methods, and image providing server | |
WO2019044572A1 (en) | Information processing device, method, and program | |
JP5909475B2 (en) | Remote dialogue apparatus and method | |
US20210081697A1 (en) | Storage medium, information processing apparatus, and line-of-sight information processing method | |
US20240056761A1 (en) | Three-dimensional (3d) sound rendering with multi-channel audio based on mono audio input |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6557981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |