JP2023056880A

JP2023056880A - Information processing device and control method thereof, and program

Info

Publication number: JP2023056880A
Application number: JP2021166357A
Authority: JP
Inventors: 幸司川北; Koji Kawakita; 一男藤井; Kazuo Fujii
Original assignee: Lenovo Singapore Pte Ltd
Current assignee: Lenovo Singapore Pte Ltd
Priority date: 2021-10-08
Filing date: 2021-10-08
Publication date: 2023-04-20
Anticipated expiration: 2041-10-08
Also published as: JP7275226B2

Abstract

To reduce the probability of a user missing a mouse cursor.SOLUTION: An information processing device 10 has a multi-display function. The information processing device 10 includes: a line-of-sight detection unit 32 that detects a line of sight of a user by using a video of the user that has been obtained by imaging by a camera; a display specification unit 33 that specifies as a display of interest a display on the line of sight of the user from a plurality of displays, based on both arrangement information of the plurality of displays and a detection result obtained by the line-of-sight detection unit 32; a mouse cursor control unit 34 that moves a mouse cursor based on an input signal from an input device different from the camera; and a barrier generation unit 36 that when the mouse cursor is displayed on the display of interest, generates a virtual barrier for preventing the mouse cursor from moving from the display of interest to another display.SELECTED DRAWING: Figure 3

Description

本発明は、マルチディスプレイ機能を有する情報処理装置及びその制御方法並びにプログラムに関するものである。 The present invention relates to an information processing apparatus having a multi-display function, a control method thereof, and a program.

情報処理装置には、複数のディスプレイに対して表示を行うマルチディスプレイ機能が搭載されており、近年その使用頻度は増加している。 2. Description of the Related Art Information processing apparatuses are equipped with a multi-display function for displaying images on a plurality of displays, and the frequency of use thereof has been increasing in recent years.

特開２０００－８９８９１号公報JP-A-2000-89891

マルチディスプレイ環境で作業を行う場合、マウスカーソルは複数のディスプレイ間を移動することから、マウスカーソルを見失うことがしばしば発生する。このような場合、マウスカーソルを見つけるのに時間を要し、作業効率が低下するおそれがある。 When working in a multi-display environment, it is often easy to lose sight of the mouse cursor as it moves between multiple displays. In such a case, it takes time to find the mouse cursor, which may reduce work efficiency.

本発明は、このような事情に鑑みてなされたものであって、マウスカーソルを見失う確率を低下させることのできる情報処理装置及びその制御方法並びにプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an information processing apparatus, a control method thereof, and a program capable of reducing the probability of losing sight of a mouse cursor.

本発明の第１態様は、マルチディスプレイ機能を有する情報処理装置であって、カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出する視線検出部と、複数のディスプレイの配置情報及び前記視線検出部の検出結果に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定するディスプレイ特定部と、前記カメラとは異なる入力デバイスからの入力信号に基づいてマウスカーソルを移動させるマウスカーソル制御部と、前記注目ディスプレイに前記マウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへマウスカーソルが移動することを防ぐための仮想的な障壁を生成する障壁生成部とを具備する情報処理装置である。 A first aspect of the present invention is an information processing apparatus having a multi-display function, comprising: a line-of-sight detection unit that detects the user's line of sight using an image of the user captured by a camera; arrangement information of a plurality of displays; a display identification unit that identifies, from among the plurality of displays, a display located ahead of the user's line of sight as a display of interest based on the detection result of the line-of-sight detection unit; and a virtual barrier for preventing the mouse cursor from moving from the attention display to another display when the mouse cursor is displayed on the attention display. is an information processing device comprising a barrier generation unit that generates a .

本発明の第２態様は、カメラと、複数のディスプレイと、マウスカーソルを移動させるための前記カメラとは異なる入力デバイスと、上記情報処理装置とを備えるコンピュータシステムである。 A second aspect of the present invention is a computer system comprising a camera, a plurality of displays, an input device different from the camera for moving a mouse cursor, and the information processing apparatus.

本発明の第３態様は、コンピュータを上記情報処理装置として機能させるためのプログラムである。 A third aspect of the present invention is a program for causing a computer to function as the information processing apparatus.

本発明の第４態様は、マルチディスプレイ機能を有する情報処理装置の制御方法であって、カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出する工程と、複数のディスプレイの配置情報及び前記ユーザの視線に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定する工程と、前記カメラとは異なる入力デバイスからの入力信号に基づいてマウスカーソルを移動させる工程と、前記注目ディスプレイにマウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへマウスカーソルが移動することを防ぐための仮想的な障壁を生成する工程とを有する情報処理装置の制御方法である。 A fourth aspect of the present invention is a control method for an information processing apparatus having a multi-display function, comprising a step of detecting the line of sight of the user using an image of the user captured by a camera; and identifying, from among the plurality of displays, a display located ahead of the user's line of sight as a target display based on the user's line of sight; and a mouse cursor based on an input signal from an input device different from the camera. and generating a virtual barrier to prevent the mouse cursor from moving from the display of interest to another display when a mouse cursor is displayed on the display of interest. A control method for a processing device.

マウスカーソルを見失う確率を低下させることができるという効果を奏する。 This has the effect of reducing the probability of losing sight of the mouse cursor.

本発明の一実施形態に係るコンピュータシステムの概略構成の一例を示した図である。1 is a diagram showing an example of a schematic configuration of a computer system according to one embodiment of the present invention; FIG. 本発明の一実施形態に係る情報処理装置のハードウェアの概略構成の一例を示した図である。1 is a diagram showing an example of a schematic hardware configuration of an information processing apparatus according to an embodiment of the present invention; FIG. 本発明の一実施形態に係る情報処理装置が有する機能の一例を示した機能ブロック図である。1 is a functional block diagram showing an example of functions possessed by an information processing apparatus according to an embodiment of the present invention; FIG. 本発明の一実施形態に係る仮想的な障壁について説明するための図である。FIG. 4 is a diagram for explaining a virtual barrier according to one embodiment of the present invention; FIG. 本発明の一実施形態に係る情報処理装置によって実行される処理の一例を示したフローチャートである。4 is a flow chart showing an example of processing executed by an information processing apparatus according to an embodiment of the present invention; 本発明の他の実施形態に係るコンピュータシステムの概略構成の一例を示した図である。FIG. 10 is a diagram showing an example of a schematic configuration of a computer system according to another embodiment of the present invention;

以下に、本発明の一実施形態に係る情報処理装置及びその制御方法並びにプログラムについて、図面を参照して説明する。本実施形態では、情報処理装置１０の一例としてデスクトップ型ＰＣを例に挙げて説明する。 An information processing apparatus, a control method thereof, and a program according to an embodiment of the present invention will be described below with reference to the drawings. In this embodiment, a desktop PC will be described as an example of the information processing apparatus 10 .

図１は本発明の一実施形態に係るコンピュータシステム１の概略外観図である。図１に示すように、コンピュータシステム１は、情報処理装置１０、複数のディスプレイ１５（１５ａ、１５ｂ）、入力デバイス１６、カメラ１７等を備えている。情報処理装置１０は、複数のディスプレイ１５に対して表示を行うマルチディスプレイ機能を有している。図１では、２台のディスプレイ１５が情報処理装置１０と接続されている場合を例示しているが、ディスプレイ１５の台数は、これに限定されない。以下、ディスプレイ１５ａ、１５ｂをそれぞれ区別する必要がある場合には、ディスプレイ１５ａ、１５ａと称し、区別する必要がない場合には、単にディスプレイ１５と称する。 FIG. 1 is a schematic external view of a computer system 1 according to one embodiment of the present invention. As shown in FIG. 1, the computer system 1 includes an information processing device 10, multiple displays 15 (15a, 15b), an input device 16, a camera 17, and the like. The information processing apparatus 10 has a multi-display function of displaying on a plurality of displays 15 . Although FIG. 1 illustrates a case where two displays 15 are connected to the information processing apparatus 10, the number of displays 15 is not limited to this. Hereinafter, the displays 15a and 15b will be referred to as displays 15a and 15a when they need to be distinguished from each other, and simply referred to as display 15 when they do not need to be distinguished from each other.

図２は、本発明の一実施形態に係る情報処理装置１０のハードウェアの概略構成の一例を示した図である。図２に示すように、情報処理装置１０は、例えば、処理回路２０、通信部１４、及び外部インターフェース１８を備えている。
処理回路２０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１、メインメモリ１２、及び記憶部１３を備えている。これら各部は、バスを介して直接または間接的に接続されている。 FIG. 2 is a diagram showing an example of a schematic hardware configuration of the information processing apparatus 10 according to one embodiment of the present invention. As shown in FIG. 2, the information processing device 10 includes, for example, a processing circuit 20, a communication section 14, and an external interface 18. FIG.
The processing circuit 20 includes, for example, a CPU (Central Processing Unit) 11 , a main memory 12 and a storage section 13 . These units are directly or indirectly connected via a bus.

ＣＰＵ１１は、例えば、バスを介して接続された記憶部１３に格納されたＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）により情報処理装置１０全体の制御を行うとともに、記憶部１３に格納された各種プログラムを実行することにより各種処理を実行する。 The CPU 11 controls the entire information processing apparatus 10 by, for example, an OS (Operating System) stored in a storage unit 13 connected via a bus, and executes various programs stored in the storage unit 13. Executes various processing.

メインメモリ１２は、例えば、キャッシュメモリ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の書き込み可能なメモリで構成され、ＣＰＵ１１の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。 The main memory 12 is composed of a writable memory such as a cache memory and a RAM (Random Access Memory), and is used as a work area for reading the execution program of the CPU 11 and writing processing data by the execution program.

記憶部１３は、非一時的な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒｒｅａｄａｂｌｅｓｔｏｒａｇｅｍｅｄｉｕｍ）であり、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、フラッシュメモリ等が一例として挙げられ、目的に応じて複数設けられていてもよい。記憶部１３は、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の情報処理装置１０全体の制御を行うためのＯＳ、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア、及び各種データやファイル等を格納する。また、記憶部１３には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。 The storage unit 13 is a non-transitory computer readable storage medium, and examples thereof include a ROM (Read Only Memory), an HDD (Hard Disk Drive), a flash memory, and the like. A plurality may be provided. The storage unit 13 stores, for example, an OS such as Windows (registered trademark), iOS (registered trademark), and Android (registered trademark) for controlling the entire information processing apparatus 10, BIOS (Basic Input/Output System), and peripheral devices. It stores various device drivers, various application software, and various data and files for operating the hardware. The storage unit 13 also stores programs for implementing various processes and various data required for implementing various processes.

通信部１４は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。例えば、通信部１４は、有線又は無線により他の装置と通信を行う。無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、専用の通信プロトコルを用いた通信等が挙げられる。有線通信の一例として、有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等が挙げられる。 The communication unit 14 functions as an interface for connecting to a network, communicating with other devices, and transmitting and receiving information. For example, the communication unit 14 communicates with other devices by wire or wirelessly. Examples of wireless communication include communication using Bluetooth (registered trademark), Wi-Fi, and a dedicated communication protocol. An example of wired communication is a wired LAN (Local Area Network).

外部インターフェース１８は、外部機器と接続するためのインターフェースである。外部インターフェース１８を介して、複数のディスプレイ１５ａ、１５ｂ、入力デバイス１６、及びカメラ１７が処理回路２０等に接続されている。外部インターフェース１８は、例えば、接続される機器に応じてそれぞれ適切な入出力端子およびインターフェースを備えている。 The external interface 18 is an interface for connecting with an external device. A plurality of displays 15a and 15b, an input device 16, and a camera 17 are connected to a processing circuit 20 and the like via an external interface 18. FIG. The external interface 18 has, for example, appropriate input/output terminals and interfaces according to the equipment to be connected.

ディスプレイ１５は、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）等で構成される表示画面を有し、情報処理装置１０によって実行されたアプリケーションソフトウェアプログラムの結果等を表示するものである。 The display 15 has a display screen configured by, for example, an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence), or the like, and displays the result of the application software program executed by the information processing apparatus 10. .

入力デバイス１６は、ユーザが情報処理装置１０に対して指示を与えるためのユーザインタフェースである。入力デバイス１６の一例として、マウス、タッチパッド等のポインティングデバイス、キーボード等が挙げられる。 The input device 16 is a user interface for the user to give instructions to the information processing apparatus 10 . Examples of the input device 16 include a mouse, a pointing device such as a touch pad, a keyboard, and the like.

カメラ１７は、例えば、レンズ等の撮像部とＩＳＰ（ＩｍａｇｅＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）を備えており、ユーザによる入力デバイス１６からの入力操作等に基づいてＣＰＵ１１によって制御される。 The camera 17 includes, for example, an imaging unit such as a lens and an ISP (Image Signal Processor), and is controlled by the CPU 11 based on input operations from the input device 16 by the user.

図３は、本実施形態に係る情報処理装置１０が有する機能の一例を示した機能ブロック図である。 FIG. 3 is a functional block diagram showing an example of the functions of the information processing apparatus 10 according to this embodiment.

図３に示すように、情報処理装置１０は、一例として、記憶部３１、視線検出部３２、ディスプレイ特定部３３、マウスカーソル制御部３４、表示制御部３５、障壁生成部３６、及び障壁解除部３７を備えている。 As shown in FIG. 3, the information processing apparatus 10 includes, for example, a storage unit 31, a line-of-sight detection unit 32, a display identification unit 33, a mouse cursor control unit 34, a display control unit 35, a barrier generation unit 36, and a barrier cancellation unit. 37.

後述する機能の全て又は一部は、例えば、処理回路（ｐｒｏｃｅｓｓｉｎｇｃｉｒｃｕｉｔｒｙ）２０によって実現される。例えば、以下に示す機能を実現するための一連の処理は、一例として、プログラムの形式で記憶部１３に記憶されており、このプログラムをＣＰＵ１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。 All or part of the functions described below are implemented by, for example, processing circuitry 20 . For example, a series of processes for realizing the functions shown below are stored in the storage unit 13 in the form of a program, as an example, and the CPU 11 reads this program into the main memory 12 to process and process information. Various functions are realized by executing

なお、プログラムは、記憶部１３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。 The program may be pre-installed in the storage unit 13, may be provided in a state stored in another computer-readable storage medium, or may be distributed via wired or wireless communication means. may apply. Computer-readable storage media include magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, and the like.

記憶部３１には、マルチディスプレイを実現させるために必要な情報が格納されている。記憶部３１には、例えば、複数のディスプレイの配置情報（以下「ディスプレイ配置情報」という。）が格納されている。図１に示すようにディスプレイ１５が配置されている場合、記憶部３１には、左側にディスプレイ１５ａが、右側にディスプレイ１５ｂが配置されているとの情報が格納されている。また、記憶部３１には、メインディスプレイ、サブディスプレイの情報等についても格納されていてもよい。また、記憶部３１には、カメラ１７の設置位置と、ディスプレイ１５との相対的な位置関係を示す情報が格納されている。図１に示した配置の場合、カメラ１７が取り付けられている場所として、ディスプレイ１５ａの情報が格納されている。 The storage unit 31 stores information necessary for realizing a multi-display. The storage unit 31 stores, for example, layout information of a plurality of displays (hereinafter referred to as “display layout information”). When the display 15 is arranged as shown in FIG. 1, the storage unit 31 stores information that the display 15a is arranged on the left side and the display 15b is arranged on the right side. The storage unit 31 may also store information about the main display and the sub-display. The storage unit 31 also stores information indicating the relative positional relationship between the installation position of the camera 17 and the display 15 . In the arrangement shown in FIG. 1, the information of the display 15a is stored as the place where the camera 17 is installed.

視線検出部３２は、カメラ１７によって取得されたユーザの映像を用いてユーザの視線を検出する。例えば、視線検出部３２は、カメラ１７によって取得された映像に含まれる人物の目の動きをトラッキングすることで、ユーザがどの方向を見ているのかを検出する。なお、視線検出技術や視線追跡技術は、種々の公知の手法が提案されていることから、適切なものを適宜採用すればよい。 The line-of-sight detection unit 32 detects the user's line of sight using the image of the user acquired by the camera 17 . For example, the line-of-sight detection unit 32 detects which direction the user is looking by tracking the eye movement of a person included in the video captured by the camera 17 . Since various well-known methods have been proposed for the line-of-sight detection technology and the line-of-sight tracking technology, an appropriate one may be adopted as appropriate.

ディスプレイ特定部３３は、記憶部３１に格納されているディスプレイ配置情報と視線検出部３２によって検出されたユーザの視線とに基づいて、複数のディスプレイの中からユーザの視線の先にあるディスプレイを注目ディスプレイとして特定する。 Based on the display arrangement information stored in the storage unit 31 and the line of sight of the user detected by the line of sight detection unit 32, the display specifying unit 33 selects the display located ahead of the user's line of sight from among the plurality of displays. Identify as a display.

マウスカーソル制御部３４は、入力デバイス１６からの入力信号に基づいてマウスカーソルを移動させる。例えば、マウスカーソル制御部３４は、ポインティングデバイスから入力される入力信号に基づいてマウスカーソルを移動させる。 A mouse cursor control unit 34 moves the mouse cursor based on an input signal from the input device 16 . For example, the mouse cursor control section 34 moves the mouse cursor based on an input signal input from a pointing device.

表示制御部３５は、記憶部３１に格納されているディスプレイ配置情報等を用いて、ディスプレイ１５ａ、１５ｂに表示を行う。表示制御部３５は、ＣＰＵ１１の他、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）によって実現されてもよい。ＧＵＩは、一般にＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と呼ばれるコントローラチップを備え、ローカルメモリ上（図示略）に表示データを作成し、ディスプレイ１５ａ、１５ｂに表示データをそれぞれ出力する。表示制御部３５は、例えば、ディスプレイ１５ａ、１５ｂがそれぞれ備える表示画面に対して個別に表示制御を行う。 The display control unit 35 performs display on the displays 15a and 15b using display arrangement information and the like stored in the storage unit 31. FIG. The display control unit 35 may be realized by a GUI (Graphical User Interface) other than the CPU 11 . The GUI has a controller chip generally called a GPU (Graphics Processing Unit), creates display data on a local memory (not shown), and outputs the display data to the displays 15a and 15b. The display control unit 35, for example, individually controls the display screens of the displays 15a and 15b.

障壁生成部３６は、注目ディスプレイにマウスカーソルが表示されている場合に、マウスカーソルが注目ディスプレイから他のディスプレイへ移動することを防ぐための仮想的な障壁を注目ディスプレイに生成する。 The barrier generating unit 36 generates a virtual barrier on the focused display for preventing the mouse cursor from moving from the focused display to another display when the mouse cursor is displayed on the focused display.

例えば、図４に示すように、注目ディスプレイとしてディスプレイ１５ｂが特定されており、かつ、ディスプレイ１５ｂにマウスカーソルが表示されている場合には、マウスカーソルが、注目ディスプレイ（ディスプレイ１５ｂ）から他のディスプレイ（ディスプレイ１５ａ）へ移動することを防ぐための仮想的な障壁を設ける。この障壁は、例えば、注目ディスプレイ上であって、注目ディスプレイと注目ディスプレイに隣接する他のディスプレイとの境界付近に生成される。例えば、図４では、ディスプレイ１５ｂとディスプレイ１５ａとの境界付近に障壁４０が生成されている。なお、障壁４０の生成場所についてはこれに限定されない。例えば、注目ディスプレイに隣接する他のディスプレイ上に障壁４０が仮想的に設けられてもよい。この場合、障壁４０は、注目ディスプレイに隣接するディスプレイにおいて、注目ディスプレイとの境界付近に生成される。また、障壁４０は、非可視化状態で生成される。 For example, as shown in FIG. 4, when the display 15b is specified as the target display and the mouse cursor is displayed on the display 15b, the mouse cursor moves from the target display (display 15b) to another display. A virtual barrier is provided to prevent movement to (display 15a). This barrier is generated, for example, on the display of interest near the boundary between the display of interest and other displays adjacent to the display of interest. For example, in FIG. 4, a barrier 40 is generated near the boundary between displays 15b and 15a. Note that the place where the barrier 40 is generated is not limited to this. For example, barriers 40 may be virtually provided on other displays adjacent to the display of interest. In this case, a barrier 40 is generated in the display adjacent to the display of interest near the border with the display of interest. Also, the barrier 40 is generated in an invisible state.

障壁４０が生成されている表示画面上における座標情報は、表示制御部３５に出力される。表示制御部３５は、マウスカーソルが障壁４０に接触した場合に、障壁４０を可視化状態で表示する。これにより、ユーザに障壁４０の存在を認識させることができる。 The coordinate information on the display screen on which the barrier 40 is generated is output to the display control section 35 . The display control unit 35 displays the barrier 40 in a visible state when the mouse cursor touches the barrier 40 . This allows the user to recognize the existence of the barrier 40 .

また、障壁生成部３６は、注目ディスプレイにマウスカーソルが表示されている状態が所定期間継続した場合に、障壁４０を生成することとしてもよい。これにより、障壁４０の生成及び解除が頻繁に繰り返されることを回避することができる。
また、上記所定期間は、ユーザによって設定可能とされていてもよいし、過去の経験データ等に基づいて自動的に調整されてもよい。 Further, the barrier generation unit 36 may generate the barrier 40 when the state in which the mouse cursor is displayed on the focused display continues for a predetermined period of time. As a result, frequent repetition of generation and release of the barrier 40 can be avoided.
Further, the predetermined period may be settable by the user, or may be automatically adjusted based on past experience data or the like.

障壁解除部３７は、ユーザが視線を他のディスプレイに移すことにより、注目ディスプレイが切り替わった場合に、障壁４０を解除する。 The barrier release unit 37 releases the barrier 40 when the display of interest is switched by the user moving the line of sight to another display.

次に、本実施形態に係る情報処理装置１０によって実行される制御方法について、図５を参照して説明する。図５は、本実施形態に係る情報処理装置１０によって実行される処理の一例を示したフローチャートである。以下の一連の処理は、主に処理回路（ｐｒｏｃｅｓｓｉｎｇｃｉｒｃｕｉｔｒｙ）２０によって実行され、より具体的には、記憶部１３に記憶されているプログラムをＣＰＵ１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより実行される。
また、以下の処理は、マルチディスプレイ環境で使用されている場合に実行される。 Next, a control method executed by the information processing apparatus 10 according to this embodiment will be described with reference to FIG. FIG. 5 is a flowchart showing an example of processing executed by the information processing apparatus 10 according to this embodiment. The following series of processes are mainly executed by the processing circuit 20, and more specifically, the CPU 11 reads out the program stored in the storage unit 13 to the main memory 12, and processes/calculates the information. It is executed by executing a process.
Also, the following processing is executed when used in a multi-display environment.

まず、カメラ１７によって取得された映像に基づきユーザの視線が検出され（ＳＡ１）、検出されたユーザの視線とディスプレイ配置情報とに基づいて、注目ディスプレイが特定される（ＳＡ２）。次に、注目ディスプレイにマウスカーソルが表示されているか否かを判定する（ＳＡ３）。この結果、注目ディスプレイにマウスカーソルが表示されている場合には（ＳＡ３：ＹＥＳ）、注目ディスプレイに障壁が生成されているか否かを判定する（ＳＡ４）。この結果、障壁が生成されていない場合には（ＳＡ４：ＮＯ）、注目ディスプレイにマウスカーソルが表示されている状態が所定期間維持されたか否かを判定する（ＳＡ５）。この結果、上記状態が所定期間維持されていない場合には（ＳＡ５：ＮＯ）、ステップＳＡ１に戻る。一方、ステップＳＡ５において、注目ディスプレイにマウスカーソルが表示されている状態が所定期間維持されている場合には（ＳＡ５：ＹＥＳ）、障壁４０を生成し（ＳＡ６）、ステップＳＡ１に戻る。また、ステップＳＡ４において、障壁４０が生成されている場合には（ＳＡ４：ＹＥＳ）、障壁４０を維持し（ＳＡ７）、ステップＳＡ１に戻る。 First, the line of sight of the user is detected based on the image acquired by the camera 17 (SA1), and the target display is specified based on the detected line of sight of the user and the display arrangement information (SA2). Next, it is determined whether or not the mouse cursor is displayed on the focused display (SA3). As a result, when the mouse cursor is displayed on the attention display (SA3: YES), it is determined whether or not a barrier is generated on the attention display (SA4). As a result, if no barrier is generated (SA4: NO), it is determined whether or not the state in which the mouse cursor is displayed on the focused display has been maintained for a predetermined period (SA5). As a result, when the above state is not maintained for a predetermined period (SA5: NO), the process returns to step SA1. On the other hand, in step SA5, if the state where the mouse cursor is displayed on the attention display is maintained for a predetermined period (SA5: YES), the barrier 40 is generated (SA6), and the process returns to step SA1. Also, in step SA4, if the barrier 40 is generated (SA4: YES), the barrier 40 is maintained (SA7) and the process returns to step SA1.

また、ステップＳＡ３において、注目ディスプレイにマウスカーソルが表示されていない場合には、ユーザが視線を移動させることによって、注目ディスプレイの切り替えが行われたと推定できることから、障壁４０を解除し（ＳＡ８）、ステップＳＡ１に戻る。 Further, in step SA3, if the mouse cursor is not displayed on the attention display, it can be assumed that the attention display has been switched by moving the user's line of sight, so the barrier 40 is released (SA8), Return to step SA1.

以上説明してきたように、本実施形態に係るコンピュータシステム１、情報処理装置１０及びその制御方法、並びにプログラムによれば、以下の作用効果を奏する。 As described above, the computer system 1, the information processing apparatus 10, the control method thereof, and the program according to the present embodiment have the following effects.

ユーザの視線の先にあるディスプレイ１５、換言すると、ユーザが注目しているディスプレイ１５を注目ディスプレイとして特定し、注目ディスプレイにマウスカーソルが表示されている場合には、そのマウスカーソルが注目ディスプレイとは異なる他のディスプレイへ移動することを防ぐための仮想的な障壁４０を生成する。これにより、ユーザが注目しているディスプレイから視線を移さない限りは、マウスカーソルはその注目ディスプレイに表示されていることとなる。したがって、マウスカーソルを見失う確率が低下し、作業効率の向上を期待することができる。 The display 15 located ahead of the user's line of sight, in other words, the display 15 that the user is paying attention to is specified as the target display, and if the mouse cursor is displayed on the target display, the mouse cursor is not the target display. Create a virtual barrier 40 to prevent movement to a different display. As a result, the mouse cursor is displayed on the focused display as long as the user does not look away from the focused display. Therefore, the probability of losing sight of the mouse cursor is reduced, and an improvement in work efficiency can be expected.

また、障壁生成部３６は、注目ディスプレイに生成された仮想的な障壁４０にマウスカーソルが接触した場合には、障壁４０を可視化して表示するので、ユーザに障壁４０の存在を認識させることが可能となる。 Further, when the mouse cursor touches the virtual barrier 40 generated on the display of interest, the barrier generation unit 36 visualizes and displays the barrier 40, so that the user can recognize the existence of the barrier 40. It becomes possible.

また、注目ディスプレイが切り替わった場合に、障壁４０を解除する障壁解除部３７を備えるので、ユーザが視線を他のディスプレイに移した場合に、自動的に障壁４０を解除することが可能となる。これにより、ユーザの意思に沿ったスムーズなマウスカーソルの移動を実現することが可能となる。 Moreover, since the barrier release unit 37 for releasing the barrier 40 is provided when the display of interest is switched, the barrier 40 can be automatically released when the user shifts his or her line of sight to another display. This makes it possible to realize smooth movement of the mouse cursor according to the user's intention.

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above-described embodiments without departing from the gist of the invention, and forms with such changes or improvements are also included in the technical scope of the present invention.

また、上記実施形態で説明した制御フローも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。 Further, the control flow described in the above embodiment is also an example, and unnecessary steps may be deleted, new steps added, or the order of processing may be changed without departing from the gist of the present invention. .

例えば、上述した実施形態では、ユーザの視線が他のディスプレイに移ることにより、注目ディスプレイが変更された場合には、自動的に障壁４０を解除していたが、これに加えて、以下の条件を満たした場合に、障壁４０を解除することとしてもよい。 For example, in the above-described embodiment, the barrier 40 is automatically released when the focus display is changed by moving the user's line of sight to another display. is satisfied, the barrier 40 may be released.

例えば、障壁解除部３７は、障壁４０に対してマウスカーソルが所定の時間内に所定の回数接触した場合に、障壁４０を解除することとしてもよい。また、障壁解除部３７は、マウスカーソルが障壁４０に所定の期間継続して接触した場合に、障壁４０を解除することとしてもよい。 For example, the barrier release unit 37 may release the barrier 40 when the mouse cursor touches the barrier 40 a predetermined number of times within a predetermined period of time. Further, the barrier release unit 37 may release the barrier 40 when the mouse cursor continues to touch the barrier 40 for a predetermined period of time.

例えば、視線検出部３２の精度が十分でない等の理由によって、ユーザが注目ディスプレイから他のディスプレイへ視線を移しているにもかかわらず、その視線の移動を正確に検出できないような場合、換言すると、視線検出部３２による視線の誤検出が生じている場合、障壁４０を自動的に解除することができず、マウスカーソルの動きが阻害されるおそれがある。このような場合でも、ユーザがポインティングデバイスを操作して、上述したようなマウスカーソルの動きをさせることによって、強制的に障壁４０を解除することが可能となる。これにより、視線検出部３２の誤検知等が発生している場合でも、障壁４０を意図的に解除させることができ、マウスカーソルの移動が阻害されることを回避することができる。 For example, due to insufficient accuracy of the line-of-sight detection unit 32, even though the user's line of sight has moved from the display of interest to another display, the movement of the line of sight cannot be detected accurately. If the line-of-sight detection unit 32 erroneously detects the line-of-sight, the barrier 40 cannot be automatically released, and the movement of the mouse cursor may be hindered. Even in such a case, the barrier 40 can be forcibly removed by the user operating the pointing device to move the mouse cursor as described above. As a result, even when an erroneous detection or the like of the line-of-sight detection unit 32 occurs, the barrier 40 can be intentionally released, and obstruction of movement of the mouse cursor can be avoided.

また、上記実施形態では、情報処理装置１０としてデスクトップ型ＰＣを例示して説明したが、この例に限られない。例えば、情報処理装置１０は、ノートＰＣ、タブレット端末、ハイブリッド型ＰＣ等であってもよい。また、この場合、例えば、図６に示すように、情報処理装置１０がディスプレイ１５ａ、入力デバイス１６、カメラ１７を搭載していてもよい。換言すると、図２において外部機器として接続されていた機器の一部が情報処理装置１０に搭載されていてもよい。 Further, in the above-described embodiment, the desktop PC is described as an example of the information processing apparatus 10, but the information processing apparatus 10 is not limited to this example. For example, the information processing device 10 may be a notebook PC, a tablet terminal, a hybrid PC, or the like. In this case, for example, the information processing apparatus 10 may include a display 15a, an input device 16, and a camera 17, as shown in FIG. In other words, some of the devices connected as external devices in FIG. 2 may be installed in the information processing apparatus 10 .

このように、複数のディスプレイ１５、カメラ１７、及び入力デバイス１６については、情報処理装置１０が備える処理回路２０（図２参照）と情報の授受が可能な構成とされていればよく、その搭載場所や接続態様については特に限定されない。 In this manner, the plurality of displays 15, cameras 17, and input devices 16 may be configured to be capable of exchanging information with the processing circuit 20 (see FIG. 2) included in the information processing apparatus 10. The location and connection mode are not particularly limited.

また、情報処理装置１０に、ユーザの視線によってマウスカーソルの動きを制御するような機能（例えば、マルチディスプレイ環境で、ユーザが見ているディスプレイ（注目ディスプレイ）に自動的にマウスカーソルを移動させる機能）が搭載されている場合には、そのような機能と本実施形態に係る障壁４０の生成及び解除を組み合わせることで、作業効率のさらなる向上が期待できる。 The information processing apparatus 10 also has a function of controlling the movement of the mouse cursor according to the line of sight of the user (for example, in a multi-display environment, a function of automatically moving the mouse cursor to the display the user is looking at (display of interest)). ) is installed, a further improvement in work efficiency can be expected by combining such a function with the generation and release of the barrier 40 according to the present embodiment.

１：コンピュータシステム
１０：情報処理装置
１１：ＣＰＵ
１２：メインメモリ
１３：記憶部
１４：通信部
１５：ディスプレイ
１５ａ：ディスプレイ
１５ｂ：ディスプレイ
１６：入力デバイス
１７：カメラ
１８：外部インターフェース
２０：処理回路
３１：記憶部
３２：視線検出部
３３：ディスプレイ特定部
３４：マウスカーソル制御部
３５：表示制御部
３６：障壁生成部
３７：障壁解除部
４０：障壁 1: computer system 10: information processing device 11: CPU
12 : Main memory 13 : Storage unit 14 : Communication unit 15 : Display 15a : Display 15b : Display 16 : Input device 17 : Camera 18 : External interface 20 : Processing circuit 31 : Storage unit 32 : Line-of-sight detection unit 33 : Display identification unit 34: mouse cursor control unit 35: display control unit 36: barrier generation unit 37: barrier removal unit 40: barrier

本発明の第１態様は、マルチディスプレイ機能を有する情報処理装置であって、プロセッサが、カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出し、検出した前記ユーザの視線及び複数のディスプレイの配置情報に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定し、前記カメラとは異なる入力デバイスからの入力信号に基づいてマウスカーソルを移動させ、前記注目ディスプレイにマウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへ前記マウスカーソルが移動することを防ぐための仮想的な障壁を生成するとともに、前記注目ディスプレイが切り替わった場合に、前記障壁を解除する情報処理装置である。
本発明の第２態様は、マルチディスプレイ機能を有する情報処理装置であって、カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出する視線検出部と、複数のディスプレイの配置情報及び前記視線検出部の検出結果に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定するディスプレイ特定部と、前記カメラとは異なる入力デバイスからの入力信号に基づいてマウスカーソルを移動させるマウスカーソル制御部と、前記注目ディスプレイに前記マウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへマウスカーソルが移動することを防ぐための仮想的な障壁を生成する障壁生成部と、前記注目ディスプレイが切り替わった場合に、前記障壁を解除する障壁解除部とを具備する情報処理装置である。 A first aspect of the present invention is an information processing device having a multi-display function, wherein a processor detects the user's line of sight using an image of the user captured by a camera, and detects the detected user's line of sight and a plurality of a display located ahead of the user's line of sight from among the plurality of displays is specified as a display of interest based on the display arrangement information, and a mouse cursor is moved based on an input signal from an input device different from the camera. and, when the mouse cursor is displayed on the display of interest, a virtual barrier is generated to prevent the mouse cursor from moving from the display of interest to another display, and the display of interest is switched. The information processing device removes the barrier when
A second aspect of the present invention is an information processing apparatus having a multi-display function, comprising: a line-of-sight detection unit that detects the user's line of sight using an image of the user captured by a camera; arrangement information of a plurality of displays; a display identification unit that identifies, from among the plurality of displays, a display located ahead of the user's line of sight as a display of interest based on the detection result of the line-of-sight detection unit; and a virtual barrier for preventing the mouse cursor from moving from the attention display to another display when the mouse cursor is displayed on the attention display. and a barrier release unit that releases the barrier when the display of interest is switched .

本発明の第３態様は、カメラと、複数のディスプレイと、マウスカーソルを移動させるための前記カメラとは異なる入力デバイスと、上記情報処理装置とを備えるコンピュータシステムである。 A third aspect of the present invention is a computer system comprising a camera, a plurality of displays, an input device different from the camera for moving a mouse cursor, and the information processing apparatus.

本発明の第４態様は、コンピュータを上記情報処理装置として機能させるためのプログラムである。 A fourth aspect of the present invention is a program for causing a computer to function as the information processing apparatus.

本発明の第５態様は、マルチディスプレイ機能を有する情報処理装置の制御方法であって、カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出する工程と、複数のディスプレイの配置情報及び前記ユーザの視線に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定する工程と、前記カメラとは異なる入力デバイスからの入力信号に基づいてマウスカーソルを移動させる工程と、前記注目ディスプレイにマウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへマウスカーソルが移動することを防ぐための仮想的な障壁を生成する工程と、前記注目ディスプレイが切り替わった場合に、前記障壁を解除する工程とを有する情報処理装置の制御方法である。 A fifth aspect of the present invention is a control method for an information processing apparatus having a multi-display function, comprising a step of detecting the line of sight of the user using an image of the user captured by a camera; and identifying, from among the plurality of displays, a display located ahead of the user's line of sight as a target display based on the user's line of sight; and a mouse cursor based on an input signal from an input device different from the camera. generating a virtual barrier to prevent the mouse cursor from moving from the display of interest to another display when the mouse cursor is displayed on the display of interest; and releasing the barrier when the display is switched .

Claims

マルチディスプレイ機能を有する情報処理装置であって、
プロセッサが、
カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出し、
検出した前記ユーザの視線及び複数のディスプレイの配置情報に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定し、
前記注目ディスプレイにマウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへ前記マウスカーソルが移動することを防ぐための仮想的な障壁を生成する情報処理装置。 An information processing device having a multi-display function,
the processor
Detecting the line of sight of the user using the image of the user captured by a camera,
based on the detected line of sight of the user and arrangement information of a plurality of displays, identifying a display located ahead of the line of sight of the user from among the plurality of displays as a display of interest;
An information processing apparatus that generates a virtual barrier for preventing the mouse cursor from moving from the attention display to another display when the mouse cursor is displayed on the attention display.

マルチディスプレイ機能を有する情報処理装置であって、
カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出する視線検出部と、
複数のディスプレイの配置情報及び前記視線検出部の検出結果に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定するディスプレイ特定部と、
前記カメラとは異なる入力デバイスからの入力信号に基づいてマウスカーソルを移動させるマウスカーソル制御部と、
前記注目ディスプレイに前記マウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへマウスカーソルが移動することを防ぐための仮想的な障壁を生成する障壁生成部と
を具備する情報処理装置。 An information processing device having a multi-display function,
a line-of-sight detection unit that detects the user's line of sight using an image of the user captured by a camera;
a display identification unit that identifies, as a focused display, a display located ahead of the user's line of sight from among the plurality of displays based on arrangement information of the plurality of displays and detection results of the line-of-sight detection unit;
a mouse cursor control unit for moving a mouse cursor based on an input signal from an input device different from the camera;
an information processing apparatus comprising: a barrier generation unit that generates a virtual barrier for preventing the mouse cursor from moving from the attention display to another display when the mouse cursor is displayed on the attention display. .

前記障壁生成部は、前記注目ディスプレイにおいて、隣接する他のディスプレイとの境界付近に前記障壁を生成する請求項２に記載の情報処理装置。 3. The information processing apparatus according to claim 2, wherein the barrier generation unit generates the barrier in the vicinity of a boundary between the display of interest and another adjacent display.

前記障壁にマウスカーソルが接触した場合に、前記障壁を可視化して表示する請求項２又は３に記載の情報処理装置。 4. The information processing apparatus according to claim 2, wherein when a mouse cursor touches the barrier, the barrier is visualized and displayed.

前記注目ディスプレイにマウスカーソルが表示されている状態が所定期間継続した場合に、前記障壁生成部は前記障壁を生成する請求項２から４のいずれかに記載の情報処理装置。 5. The information processing apparatus according to any one of claims 2 to 4, wherein the barrier generator generates the barrier when a mouse cursor is displayed on the attention display for a predetermined period of time.

前記所定期間は、ユーザによって設定可能とされている請求項５に記載の情報処理装置。 6. The information processing apparatus according to claim 5, wherein the predetermined period can be set by a user.

前記注目ディスプレイが切り替わった場合に、前記障壁を解除する障壁解除部を備える請求項２から６のいずれかに記載の情報処理装置。 7. The information processing apparatus according to any one of claims 2 to 6, further comprising a barrier release unit that releases the barrier when the display of interest is switched.

前記障壁解除部は、前記障壁に対して前記マウスカーソルが所定の時間内に所定の回数接触した場合に、前記障壁を解除する請求項７に記載の情報処理装置。 8. The information processing apparatus according to claim 7, wherein the barrier release unit releases the barrier when the mouse cursor touches the barrier a predetermined number of times within a predetermined time.

前記障壁解除部は、前記障壁に対して前記マウスカーソルが所定の期間継続して接触した場合に、前記障壁を解除する請求項７又は８に記載の情報処理装置。 9. The information processing apparatus according to claim 7, wherein the barrier release unit releases the barrier when the mouse cursor continuously touches the barrier for a predetermined period.

カメラと、
複数のディスプレイと、
マウスカーソルを移動させるための前記カメラとは異なる入力デバイスと、
請求項１から９のいずれかに記載の情報処理装置と
を備えるコンピュータシステム。 camera and
multiple displays and
an input device different from the camera for moving a mouse cursor;
A computer system comprising the information processing apparatus according to any one of claims 1 to 9.

コンピュータを請求項１から９のいずれかに記載の情報処理装置として機能させるためのプログラム。 A program for causing a computer to function as the information processing apparatus according to any one of claims 1 to 9.

マルチディスプレイ機能を有する情報処理装置の制御方法であって、
カメラによって撮像されたユーザの映像を用いて前記ユーザの視線を検出する工程と、
複数のディスプレイの配置情報及び前記ユーザの視線に基づいて、複数の前記ディスプレイの中から前記ユーザの視線の先にあるディスプレイを注目ディスプレイとして特定する工程と、
前記カメラとは異なる入力デバイスからの入力信号に基づいてマウスカーソルを移動させる工程と、
前記注目ディスプレイにマウスカーソルが表示されている場合に、前記注目ディスプレイから他のディスプレイへマウスカーソルが移動することを防ぐための仮想的な障壁を生成する工程と
を有する情報処理装置の制御方法。 A control method for an information processing device having a multi-display function, comprising:
a step of detecting the line of sight of the user using an image of the user captured by a camera;
a step of identifying, from among the plurality of displays, a display located ahead of the user's line of sight as a focused display, based on arrangement information of the plurality of displays and the line of sight of the user;
moving a mouse cursor based on an input signal from an input device different from the camera;
and generating a virtual barrier for preventing a mouse cursor from moving from the display of interest to another display when the mouse cursor is displayed on the display of interest.