JP6440799B1 - Correction apparatus, program, and service providing method for correcting position of display pointer for multi-screen system - Google Patents
Correction apparatus, program, and service providing method for correcting position of display pointer for multi-screen system Download PDFInfo
- Publication number
- JP6440799B1 JP6440799B1 JP2017207853A JP2017207853A JP6440799B1 JP 6440799 B1 JP6440799 B1 JP 6440799B1 JP 2017207853 A JP2017207853 A JP 2017207853A JP 2017207853 A JP2017207853 A JP 2017207853A JP 6440799 B1 JP6440799 B1 JP 6440799B1
- Authority
- JP
- Japan
- Prior art keywords
- display pointer
- screen
- adjacent
- screens
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】マルチ画面の境界部分における表示ポインタの移動を円滑にする。【解決手段】複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対し、表示ポインタの位置補正を行う補正装置である。この補正装置は、「座標空間において複数の画面が仮想的に隣接する隣接境界域」と「隣接境界域から画面の一方がはみ出して他の画面と隣接しないはみ出し域」とを求める判定部と、入力により表示ポインタがはみ出し域に位置すると表示ポインタの位置を隣接境界域または隣接画面に移動処理する補正部とを備える。この作用により、はみ出し域に表示ポインタが停止することを軽減する。【選択図】図１To smoothly move a display pointer at a boundary portion of a multi-screen. A correction device that corrects the position of a display pointer for a multi-screen system that manages the movement of the display pointer in a coordinate space in which a plurality of screens are virtually arranged. The correction device determines a “adjacent boundary area where a plurality of screens are virtually adjacent in a coordinate space” and a “protrusion area where one of the screens protrudes from the adjacent boundary area and is not adjacent to the other screens”; And a correction unit that moves the position of the display pointer to the adjacent boundary area or the adjacent screen when the display pointer is positioned in the protruding area by input. This action reduces the stop of the display pointer in the protruding area. [Selection] Figure 1
Description
本開示は、マルチ画面システムに対して表示ポインタの位置補正を行う補正装置、プログラム、および補正方法に関する。特に、マルチ画面システムにおける表示ポインタの移動を円滑にする技術に関する。 The present disclosure relates to a correction apparatus, a program, and a correction method for correcting the position of a display pointer with respect to a multi-screen system. In particular, the present invention relates to a technique for facilitating movement of a display pointer in a multi-screen system.
従来、複数の表示装置の画面を組み合わせて、拡張画面を表示するマルチ画面システムが知られている。
図９は、この種のマルチ画面システムを示す図である。
このマルチ画面システムは、少なくとも２つの表示装置それぞれの画面１，２と、不図示のコンピュータとを備える。この画面１，２には表示ポインタが表示される。表示ポインタは、画面上でのＧＵＩ（グラフィック・ユーザ・インターフェース）や、プレゼンテーション時に注目箇所を指示する用途などに供せられる。コンピュータは、この表示ポインタの位置を、複数の画面を仮想配置した座標空間（例えばデスクトップ座標）の上で管理する。この管理により、ユーザは、複数の画面の間で表示ポインタを行き来させることができる。
Conventionally, a multi-screen system that displays an extended screen by combining the screens of a plurality of display devices is known.
FIG. 9 is a diagram showing this type of multi-screen system.
This multi-screen system includes
また、特許文献１（段落００１８〜００１９および図１）は、マルチ画面の境界にトンネルの図柄のアイコンを対向表示するカーソル制御装置を開示する。ユーザは、表示ポインタ（カーソル）を隣接画面に越境させる場合、ポインティングデバイスを用いて表示ポインタを現画面のトンネル型アイコンの位置まで移動させ、ポインティングデバイスのボタンを押す。このユーザ操作に応じて、カーソル制御装置は、表示ポインタを現画面のトンネル型アイコンから隣接画面のトンネル型アイコンへ移動する。この処理により、ユーザは、トンネル型アイコンを通して、マルチ画面の間で表示ポインタを行き来させることが可能になる。 Patent Document 1 (paragraphs 0018 to 0019 and FIG. 1) discloses a cursor control device that displays a tunnel symbol icon oppositely on the boundary of a multi-screen. When the user moves the display pointer (cursor) to the adjacent screen, the user moves the display pointer to the position of the tunnel-type icon on the current screen using the pointing device, and presses the button on the pointing device. In response to this user operation, the cursor control device moves the display pointer from the tunnel type icon on the current screen to the tunnel type icon on the adjacent screen. This process allows the user to move the display pointer between the multi-screens through the tunnel icon.
このようなマルチ画面システムにおいては、表示ポインタの移動操作が円滑かつ自由に行えないという問題点があった。
例えば、図９に示すマルチ画面システムは、画面１，２の画素数が異なる。そのため、画面１は画面２に対して縦方向にはみ出す。このはみ出した位置の表示ポインタＱ１は、画面２へ通過（越境）することができず、画面１の縁にぶつかって停止する。ユーザは、この表示ポインタＱ１を越境させるために、画面２に通過可能な位置（高さ）まで表示ポインタＱ１を意識的にずらさなければならない。そのため、ユーザは、表示ポインタの移動操作を円滑かつ自由に行えなかった。
In such a multi-screen system, there has been a problem that the display pointer cannot be moved smoothly and freely.
For example, in the multi-screen system shown in FIG. Therefore, the
また、図９に示す表示ポインタＱ２の位置では、画面１，２の画面サイズや画素数が異なるため、表示ポインタＱ２が画面１，２の境界を通過する際に段差が生じる。このように生じる段差は表示ポインタの円滑な移動軌跡をギクシャクとさせる。そのため、ユーザは、表示ポインタの移動操作を円滑に行えなかった。
Further, at the position of the display pointer Q2 shown in FIG. 9, the screen size and the number of pixels of the
なお、特許文献１の先行技術においても、ユーザはトンネル型アイコンまで表示ポインタを逐一移動させなければならない。そのため、ユーザは、表示ポインタの移動操作を円滑かつ自由に行えなかった。
そこで、本開示は、これら課題の少なくとも一部を解決することを目的として、マルチ画面の境界部における表示ポインタの移動を円滑にすることを目的とする。
In the prior art disclosed in
In view of this, the present disclosure aims to solve the problem described above and to facilitate the movement of the display pointer at the boundary of the multi-screen.
本開示１は、複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対し、表示ポインタの位置補正を行う補正装置である。この補正装置は、座標空間において複数の画面が仮想的に隣接する隣接境界域と、隣接境界域から画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定部と、表示ポインタがはみ出し域に位置すると表示ポインタの位置を隣接境界域または隣接画面に移動処理する補正部とを備える。この作用により、はみ出し域に表示ポインタが停止することを軽減する。
The
本開示２は、表示ポインタが隣接境界域に位置すると、隣接する２画面の境界線方向における画素幅の実寸比に応じて、補正部が表示ポインタの境界線方向の位置を縮尺補正する。この縮尺補正により、表示ポインタが画面間を越境する際に生じる段差を軽減する。 In the second disclosure, when the display pointer is located in the adjacent boundary area, the correction unit performs scale correction on the position of the display pointer in the boundary line direction according to the actual size ratio of the pixel width in the boundary line direction between the two adjacent screens. This scale correction reduces the level difference that occurs when the display pointer crosses the screen.
本開示３は、補正部が、表示ポインタが表示される画面から隣接画面への越境を禁止する禁止部と、入力により表示ポインタが隣接境界域に位置すると、禁止を解除する越境部とを含む。この禁止部および越境部による段階的な処理により、入力により表示ポインタが隣接境界域を飛び越えることを一旦は抑止して、隣接境界域における表示ポインタの捕捉率を高め、縮尺補正の失敗を軽減する。 In the third disclosure, the correction unit includes a prohibition unit that prohibits the border from the screen on which the display pointer is displayed to the adjacent screen, and a border boundary that cancels the prohibition when the display pointer is positioned in the adjacent boundary region by input. . This step-by-step processing by the prohibition section and the cross-border section temporarily suppresses the display pointer from jumping over the adjacent boundary area by input, thereby increasing the display pointer capture rate in the adjacent boundary area and reducing the scale correction failure. .
本開示４は、コンピュータを本開示１〜３のいずれか記載の判定部、および補正部として機能させるためのプログラムである。
The present disclosure 4 is a program for causing a computer to function as the determination unit and the correction unit according to any one of the
本開示５は、上述したマルチ画面システムに対し、表示ポインタの位置補正を行う補正方法である。この補正方法では、座標空間において複数の画面が仮想的に隣接する隣接境界域と、隣接境界域から画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定ステップと、表示ポインタがはみ出し域に位置すると表示ポインタの位置を隣接境界域または隣接画面に移動処理する補正ステップとを備える。この作用により、はみ出し域に表示ポインタが停止することを軽減する。 The present disclosure 5 is a correction method for correcting the position of the display pointer for the above-described multi-screen system. In this correction method, a determination step for obtaining an adjacent boundary area where a plurality of screens are virtually adjacent to each other in the coordinate space, an extended area where one of the screens protrudes from the adjacent boundary area and is not adjacent to the other screen, and a display pointer is provided. And a correction step for moving the position of the display pointer to the adjacent boundary area or the adjacent screen when positioned in the protruding area. This action reduces the stop of the display pointer in the protruding area.
本開示１の補正装置は、ユーザ入力などによってマルチ画面のはみ出し域に表示ポインタが位置すると、隣接境界域または隣接画面に表示ポインタを自動的に移動する。そのため、表示ポインタがマルチ画面のはみ出し域に停止することが少なくなり、隣接画面への表示ポインタの移動が円滑になる。
The correction device according to the
さらに、本開示２の補正装置は、ユーザ入力などによって隣接境界域を通過する表示ポインタに対して、「仮想的に隣接する２画面の境界線方向における画素幅の実寸比」に応じた縮尺補正を行う。この縮尺補正により、表示ポインタが画面間を越境する際に生じる段差（図９参照）を軽減することができる。その結果、隣接画面への表示ポインタの移動軌跡が円滑になる。
Furthermore, the correction device according to the
本開示３の補正装置は、表示ポインタが隣接画面へ越境することを一旦禁止して、隣接境界域に表示ポインタを止める。その結果、隣接境界域において表示ポインタをより確実に捕捉して、縮尺補正の失敗を軽減できる。縮尺補正の失敗による移動軌跡のギクシャクした動き（図６［ｂ］参照）を軽減し、隣接画面への表示ポインタの移動が円滑になる。 The correction device according to the present disclosure 3 temporarily prohibits the display pointer from crossing the adjacent screen and stops the display pointer in the adjacent boundary area. As a result, it is possible to more reliably capture the display pointer in the adjacent boundary area and reduce the failure of scale correction. The jerky movement (see FIG. 6B) of the movement trajectory due to the scale correction failure is reduced, and the movement of the display pointer to the adjacent screen becomes smooth.
本開示４のプログラムは、コンピュータを本開示１〜３のいずれか補正装置として機能させることができる。その結果、上述した本開示１〜３のいずれかと同様に、マルチ画面の境界部分における表示ポインタの移動を円滑にすることができる。
The program of the present disclosure 4 can cause a computer to function as any one of the
本開示５の補正方法は、ユーザ入力などによってマルチ画面のはみ出し域に表示ポインタが位置すると、隣接境界域または隣接画面に表示ポインタを自動的に移動する。そのため、表示ポインタがマルチ画面のはみ出し域に停止することが少なくなり、隣接画面への表示ポインタの移動が円滑になる。 In the correction method of the present disclosure 5, when the display pointer is positioned in the protruding area of the multi-screen by user input or the like, the display pointer is automatically moved to the adjacent boundary area or the adjacent screen. For this reason, the display pointer is less likely to stop in the protruding area of the multi-screen, and the display pointer can be smoothly moved to the adjacent screen.
（１）システム構成の説明
図１は、本実施形態のシステム構成を説明するブロック図である。
マルチ画面システムＭは、複数画面分の映像出力を有するコンピュータなどから構成される。このコンピュータなどは、単独のシステムの場合もあれば、ネットワークを介したシステムの場合もある。
(1) Description of System Configuration FIG. 1 is a block diagram illustrating the system configuration of the present embodiment.
The multi-screen system M is composed of a computer having a video output for a plurality of screens. This computer or the like may be a single system or a system via a network.
このマルチ画面システムＭの個々の映像出力は、例えばモニタやプロジェクタなどからなる複数の表示装置へそれぞれ出力される。複数の表示装置の各画面はなるべく隣接するように組み合わせて配置される。この組み合わせ配置により、複数画面に拡張されたマルチ画面表示を実現することができる。 Each video output of the multi-screen system M is output to a plurality of display devices such as monitors and projectors. The screens of the plurality of display devices are arranged in combination so as to be adjacent as much as possible. By this combination arrangement, multi-screen display extended to a plurality of screens can be realized.
このマルチ画面システムＭには、不図示のマウスやトラックボールや視線入力や音声入力やＡＩ入力や自動制御により生成される移動信号などの信号が入力される。この入力によりマルチ画面にまたがる表示ポインタの移動がなされる。
このマルチ画面システムＭには、補正装置１００が付随する。この補正装置１００は、判定部１０および補正部１２を備える。さらに補正部１２は、禁止部１４および越境部１６を含む。
The multi-screen system M receives a mouse, a trackball, a line-of-sight input, a voice input, an AI input, and a movement signal generated by automatic control. By this input, the display pointer is moved across multiple screens.
The multi-screen system M is accompanied by a correction device 100. The correction apparatus 100 includes a
（２）初期設定の説明
図２は、補正装置１００の初期設定を説明する流れ図である。
以下、この図２に示すステップ番号に沿って説明する。
(2) Explanation of Initial Setting FIG. 2 is a flowchart for explaining initial setting of the correction apparatus 100.
Hereinafter, description will be made along the step numbers shown in FIG.
ステップＳ０１：判定部１０は、マルチ画面システムＭからマルチ画面を構成する各画面の情報を取得する。例えば、次のような情報を取得することが好ましい。
・画面の個数
・デスクトップ座標（複数の画面を仮想配置した座標空間）における各画面の原点位置の座標値（Left,Top）
・各画面の縦横画素数（Width,Height）
・各画面の縦横の実寸長（又は各画面の画素幅の実寸長）
・各画面の機種別情報
なお、マルチ画面システムＭから取得できない情報については、ユーザからの設定入力により情報を取得してもよい。また、一般的な情報については予め定められるデフォルト値を設定してもよい。
Step S01: The
-Number of screens-Coordinate values of the origin position of each screen (Left, Top) in desktop coordinates (coordinate space in which multiple screens are virtually arranged)
・ Number of vertical and horizontal pixels of each screen (Width, Height)
・ The actual length of each screen (or the actual pixel width of each screen)
-Model-specific information of each screen Note that information that cannot be acquired from the multi-screen system M may be acquired by a setting input from the user. Further, for general information, a predetermined default value may be set.
ステップＳ０２：判定部１０は、隣接する２画面の組ごとに、画面の揃え方基準を情報取得する。この揃え方基準としては、次のような標準的な分類でもよい。
（下端揃え／上端揃え／右端揃え／左端揃え／垂直中央揃え／水平中央揃え）
また、上述したデスクトップ座標（複数の画面を仮想配置した座標空間）における各画面の原点位置の座標値（Left,Top）と各画面の縦横画素数（Width,Height）との関係から、この揃え方基準の位置をデフォルト決定してもよい。
なお、表示装置の現実の画面配置は、モニタ台の高さの違いなどにより、デスクトップ座標上の仮想配置と必ずしも一致しないため、ユーザの設定入力によって揃え方基準の情報を詳細に取得することがより好ましい。
Step S02: The
(Bottom alignment / Top alignment / Right edge alignment / Left edge alignment / Vertical center alignment / Horizontal center alignment)
In addition, this alignment is based on the relationship between the coordinate value (Left, Top) of the origin position of each screen and the number of vertical and horizontal pixels (Width, Height) of each screen in the desktop coordinates (coordinate space where a plurality of screens are virtually arranged). The default position may be determined.
Note that the actual screen layout of the display device does not necessarily match the virtual layout on the desktop coordinates due to the difference in the height of the monitor stand, etc., so it is possible to obtain the alignment standard information in detail by the user's setting input. More preferred.
ステップＳ０３：判定部１０は、隣接する２画面の組ごとに、各画面の原点位置の座標値（Left,Top）と各画面の縦横画素数（Width,Height）とに基づいて、上述したデスクトップ座標（複数の画面を仮想配置した座標空間）において隣接境界域Ｎとはみ出し域Ｂとを求める。
Step S03: For each set of two adjacent screens, the
この隣接境界域Ｎは、デスクトップ座標の空間上で２画面の隣接境界を含む領域であり、例えば図４〜７に示す短冊状の領域に設定される。この短冊の短尺方向の幅はデスクトップ座標の２画素分（隣接する画面の両側に1画素ずつまたがる）である。また、短冊の長尺方向の幅は、２画面が共有する画素数分である。より具体的には、デスクトップ座標の設計仕様による。 This adjacent boundary area N is an area including the adjacent boundary of two screens in the desktop coordinate space, and is set to a strip-shaped area shown in FIGS. The width of the strip in the short direction is two pixels of desktop coordinates (one pixel on both sides of the adjacent screen). Further, the width of the strip in the longitudinal direction is the number of pixels shared by the two screens. More specifically, it depends on the design specification of desktop coordinates.
一方、はみ出し域Ｂは、隣接境界域Ｎから画面の一方がはみ出して他の画面と隣接しない領域であり、例えば図４〜６に示す短冊状の領域に設定される。この短冊の短尺方向の幅は実質1画素であるが、後述する検出ウィンドウＤを設定する都合上から隣接境界域Ｎと同じデスクトップ座標の２画素幅とする。また、短冊の長尺方向の幅は、２画面が共有しない画素数差の分である。より具体的には、デスクトップ座標の設計仕様による。このはみ出し域Ｂは、隣接境界域Ｎを中央に挟むことによって２つに分断される場合もある。 On the other hand, the protruding area B is an area in which one of the screens protrudes from the adjacent boundary area N and is not adjacent to the other screens. For example, the protruding area B is set to a strip-shaped area shown in FIGS. The width of the strip in the short direction is substantially one pixel, but for the convenience of setting a detection window D described later, the width is set to two pixels having the same desktop coordinates as the adjacent boundary area N. Also, the width of the strip in the long direction is the difference in the number of pixels that the two screens do not share. More specifically, it depends on the design specification of desktop coordinates. This protrusion area B may be divided into two by sandwiching the adjacent boundary area N in the center.
ステップＳ０４：判定部１０は、隣接する２画面の組ごとに、隣接境界域Ｎとはみ出し域Ｂとからなる非表示の隠しウィンドウ（以下『検出ウィンドウＤ』という）をマルチ画面システムＭに登録する。この処理は、マルチ画面システムＭのＯＳ（オペレーティング・システム）のウィンドウ登録処理を通して行われる。
Step S04: The
この検出ウィンドウＤの登録により、検出ウィンドウＤに表示ポインタが入るイベントメッセージが、マルチ画面システムＭから補正装置１００に送られる（sendまたはpost）ようになる。したがって、補正装置１００としては、表示ポインタの位置を常時監視する必要がなくなり、補正装置１００の処理負荷が軽くなる。 By registering the detection window D, an event message in which the display pointer enters the detection window D is sent from the multi-screen system M to the correction device 100 (send or post). Therefore, it is not necessary for the correction apparatus 100 to constantly monitor the position of the display pointer, and the processing load on the correction apparatus 100 is reduced.
ステップＳ０５：判定部１０は、２画面の隣接する辺の組ごとに、ステップＳ０１で求めた情報（各画面の縦横画素数，各画面の縦横の実寸長）に基づいて境界線方向における画素幅の実寸の比αを算出する。ここでの画素「幅」は、隣接する画素同士の中心間などの間隔幅に相当する。
Step S05: The
なお、表示装置独自で入力映像を拡大縮小して表示する場合など、マルチ画面システムＭが管理するデスクトップ座標の仮想的な１画素と、表示装置の現実の１画素とが一対一に対応しない場合がある。その場合、表示装置独自の拡大縮小率を表示装置の画素幅に乗じたものを画素幅（デスクトップ座標の画素の表示幅）とする。 In the case where the input image is enlarged and reduced by the display device, the virtual pixel of the desktop coordinates managed by the multi-screen system M and the actual pixel of the display device do not correspond one-to-one. There is. In that case, the pixel width (display width of the pixel in the desktop coordinates) is obtained by multiplying the pixel width of the display device by the enlargement / reduction ratio unique to the display device.
また、カラー表示装置の多くは、１画素をＲＧＢ三色に区切るが、これをまとめて１画素とするか色別の３画素とするかは、デスクトップ座標の設計仕様による。
この実寸比αは、「画面間の縮尺の違いにより生じる表示位置の実寸ずれを抑制する縮尺補正」に使用するために、補正装置１００に記憶される。
In many color display devices, one pixel is divided into three colors of RGB. Whether the pixels are combined into one pixel or three pixels for each color depends on the design specification of desktop coordinates.
This actual size ratio α is stored in the correction device 100 for use in “scale correction for suppressing the actual size shift of the display position caused by the difference in scale between screens”.
ステップＳ０６：禁止部１４は、デスクトップ座標の空間上において、表示ポインタの座標（Ｘ，Ｙ）をマルチ画面システムＭから取得する。
Step S06: The
ステップＳ０７：禁止部１４は、表示ポインタの座標（Ｘ，Ｙ）に基づいて、表示ポインタが現時点で位置する画面（「現画面」という）が、マルチ画面の内のどの画面かを判断する。禁止部１４は、マルチ画面システムＭのＯＳ（オペレーティング・システム）が備える“ClipCursor関数”などを用いて、その現画面の範囲内に表示ポインタの移動範囲を制限する。この制限により、表示ポインタは隣接画面への越境が禁止される。
Step S07: The
これら一連の動作により補正装置１００は初期設定を完了する。以降、補正装置１００は、「検出ウィンドウＤに表示ポインタが入るイベントメッセージ」がマルチ画面システムＭから送られるまで、休止する。 Through these series of operations, the correction apparatus 100 completes the initial setting. Thereafter, the correction apparatus 100 pauses until “an event message indicating that the display pointer enters the detection window D” is sent from the multi-screen system M.
（３）イベント処理の説明
図３は、補正装置１００のイベント処理を説明する流れ図である。
以下、この図３に示すステップ番号に沿って説明する。
(3) Explanation of Event Processing FIG. 3 is a flowchart for explaining event processing of the correction apparatus 100.
In the following, description will be made along the step numbers shown in FIG.
ステップＳ１１：ユーザの操作入力などにより表示ポインタが検出ウィンドウＤ（隣接境界域Ｎ，はみ出し域Ｂ）に入ると、その旨のイベントメッセージがマルチ画面システムＭから発行される。このイベントメッセージを受け取ることにより、補正装置１００は以降のイベント処理（ステップＳ１２〜Ｓ１７）を実施する。 Step S11: When the display pointer enters the detection window D (adjacent boundary area N, protrusion area B) by a user operation input or the like, an event message to that effect is issued from the multi-screen system M. By receiving this event message, the correction apparatus 100 performs subsequent event processing (steps S12 to S17).
ステップＳ１２：補正部１２は、前回イベントからの経過時間が閾値Ｔthを超える否かを判定する。この閾値Ｔthは、ユーザの意図しない手ぶれによるイベントの短時間繰り返し（いわゆるチャタリング）に反応しないための時間であり、例えば３５０msecに設定される。 Step S12: The correcting unit 12 determines whether or not the elapsed time from the previous event exceeds the threshold value Tth. This threshold value Tth is a time for not reacting to a short-time repetition (so-called chattering) of an event caused by a camera shake not intended by the user, and is set to 350 msec, for example.
経過時間が閾値Ｔthを超えている場合、補正部１２は、手ぶれなどによるイベント発生の繰り返し（いわゆるチャタリング）ではないと判定し、ステップＳ１３に動作を移行する。
一方、経過時間が閾値Ｔthを超えない場合、補正部１２は、チャタリングと判定してイベント処理を行わず、次のイベントメッセージがマルチ画面システムＭから送られるまで休止する。
When the elapsed time exceeds the threshold value Tth, the correction unit 12 determines that the event has not been repeated due to camera shake or the like (so-called chattering), and the operation proceeds to step S13.
On the other hand, when the elapsed time does not exceed the threshold value Tth, the correction unit 12 determines that chattering is performed, does not perform event processing, and pauses until the next event message is sent from the multi-screen system M.
ステップＳ１３：越境部１６は、マルチ画面システムＭに“ClipCursor関数”などの指示を出して、隣接画面（移動先）に表示ポインタの移動範囲を制限する。この処理により、表示ポインタは隣接画面への越境が解除される。（この解除と同時に、表示ポインタが元画面へ戻る越境は逆に制限される。）
Step S13: The
ステップＳ１４：補正部１２は、マルチ画面システムＭから取得したイベントメッセージの引数などに基づいて、表示ポインタのデスクトップ座標を求める。このデスクトップ座標の隣接境界線方向の座標値に基づいて表示ポインタがはみ出し域Ｂ／隣接境界域Ｎのいずれに位置するかを判定する。表示ポインタがはみ出し域Ｂに位置する場合、補正部１２はステップＳ１５に動作を移行する。一方、表示ポインタが隣接境界域Ｎに位置する場合、補正部１２はステップＳ１６に動作を移行する。 Step S14: The correction unit 12 obtains the desktop coordinates of the display pointer based on the argument of the event message acquired from the multi-screen system M. Based on the coordinate value of the desktop coordinate in the adjacent boundary line direction, it is determined whether the display pointer is located in the protruding area B or the adjacent boundary area N. When the display pointer is located in the protruding area B, the correction unit 12 moves the operation to step S15. On the other hand, when the display pointer is located in the adjacent boundary area N, the correction unit 12 shifts the operation to step S16.
ステップＳ１５：図４［ａ］に示す表示ポインタＳ（Ｘ０，Ｙout）のように、本ステップでは表示ポインタＳがデスクトップ座標上のはみ出し域Ｂに位置する。このはみ出し域Ｂには隣接する画面２が存在しないため、はみ出し域Ｂは越境先の無い画面端部であって、通常であれば表示ポインタＳ（Ｘ０，Ｙout）はその場に停止し滞留する。
Step S15: Like the display pointer S (X0, Yout) shown in FIG. 4A, in this step, the display pointer S is located in the protruding area B on the desktop coordinates. Since there is no
補正部１２は、このはみ出し域Ｂの表示ポインタＳ（Ｘ０，Ｙout）を、隣接境界域Ｎの表示ポインタＳ′（Ｘ０＋１，Ｙin）に逐次移動させることで、隣接画面(移動先)の隣接境界域Ｎに表示ポインタを通過させる。
この場合、図４［ｂ］に示す現実空間において画面２の四隅付近に表示ポインタＳ′を出現することで、表示ポインタＳ→Ｓ′の移動距離をなるべく短くすることが好ましい。このように越境時の移動距離が近づくことにより表示ポインタの移動がさらに円滑になる。
補正部１２は、これら一連の処理の後にイベント処理を完了すると、次のイベントメッセージがマルチ画面システムＭから送られるまで休止する。
The correcting unit 12 sequentially moves the display pointer S (X0, Yout) in the protruding area B to the display pointer S ′ (X0 + 1, Yin) in the adjacent boundary area N, thereby adjacent boundaries of the adjacent screen (movement destination). The display pointer is passed through area N.
In this case, it is preferable to make the moving distance of the display pointer S → S ′ as short as possible by causing the display pointer S ′ to appear near the four corners of the
When the event processing is completed after the series of processing, the correction unit 12 pauses until the next event message is sent from the multi-screen system M.
ステップＳ１６：本ステップでは、表示ポインタＰ１（Ｘ０，Ｙ）は隣接境界域Ｎに位置する。
デスクトップ座標の仮想空間（画素単位の空間）において、この表示ポインタＰ１（Ｘ０，Ｙ）と最も近い移動先は、１画素隣りでＹ座標の等しい表示ポインタＰ２（Ｘ０＋１，Ｙ）となる（図４［ａ］を参照）。このような関係が現実空間において成り立つには、２つの画面において画素幅の実寸長が等しい必要がある（例えば、同一仕様のモニタを並べるなど）。
Step S16: In this step, the display pointer P1 (X0, Y) is located in the adjacent boundary area N.
In the desktop coordinate virtual space (pixel-unit space), the closest destination to the display pointer P1 (X0, Y) is the display pointer P2 (X0 + 1, Y) adjacent to one pixel and having the same Y coordinate (FIG. 4). (See [a]). In order for such a relationship to be established in the real space, the actual size of the pixel width needs to be equal on the two screens (for example, monitors having the same specifications are arranged, for example).
しかし、現実の表示装置は同一仕様とは限らず、画素幅の実寸長は装置ごとに異なる。そのため、現実空間上において、２つの表示ポインタＰ１，Ｐ２は画素幅の縮尺ずれに伴う段差が生じる（図４［ｂ］を参照）。
この段差は、画面１，２の位置合わせの基準を意味する揃え方基準（図４の場合はＹ座標値Ｙ０に相当）と、２画面の境界線方向における画素幅の実寸比α（縮尺比）とに応じて生じる。
However, actual display devices are not always of the same specification, and the actual pixel width varies from device to device. For this reason, in the real space, the two display pointers P1 and P2 have a level difference due to the scale shift of the pixel width (see FIG. 4B).
This level difference is an alignment standard (corresponding to the Y coordinate value Y0 in the case of FIG. 4) that means the alignment standard for the
そこで、この段差を揃え方基準と実寸比αに応じて算出補正することにより、実寸長の空間において、表示ポインタＰ１（Ｘ０，Ｙ）と最も近い移動先は、図４［ｂ］に示す表示ポインタＰ２′となる。この表示ポインタＰ２′の境界線方向の位置Ｙ′は、例えば［１］式で示される。 Therefore, by calculating and correcting the step according to the alignment standard and the actual size ratio α, the movement destination closest to the display pointer P1 (X0, Y) in the actual size space is displayed as shown in FIG. It becomes the pointer P2 '. The position Y ′ of the display pointer P2 ′ in the boundary line direction is expressed by, for example, the expression [1].
Ｙ′＝αＹ＋（１−α）Ｙ０ …［１］ Y ′ = αY + (1-α) Y0 [1]
ここで、Ｙは越境前の表示ポインタの境界線方向における画素位置、Ｙ０は画面１，２の境界線方向における位置合わせの基準位置である。また、αは画面１，２の境界線方向における画素幅の実寸比であって［２］式となる。
Here, Y is a pixel position in the boundary line direction of the display pointer before crossing the border, and Y0 is a reference position for alignment in the boundary line direction of the
α＝（画面１の境界線方向における画素幅の実寸）／（画面２の境界線方向における画素幅の実寸） …［２］ α = (actual size of the pixel width in the boundary direction of the screen 1) / (actual size of the pixel width in the direction of the boundary line of the screen 2) [2]
補正部１２は、この表示ポインタＰ１（Ｘ０，Ｙ）を表示ポインタＰ２′（Ｘ０＋１，αＹ＋（１−α）Ｙ０）に縮尺補正する。この縮尺補正により、画面１から画面２へ越境する際に生じる段差は視覚的に軽減する（段差ゼロも可能である）。
The correction unit 12 corrects the scale of the display pointer P1 (X0, Y) to the display pointer P2 ′ (X0 + 1, αY + (1−α) Y0). By this scale correction, the level difference generated when crossing from the
同様にして、補正部１２は画面２から画面１への縮尺補正も行う（図５参照）。図５［ａ］に示すデスクトップ座標上の隣接画素Ｐ１，Ｐ２は、図５［ｂ］に示す現実空間において段差を生じる。この現実空間において、表示ポインタＰ１（Ｘ０＋１，Ｙ）に最も近い移動先は、図５［ｂ］に示す表示ポインタＰ２′となる。この表示ポインタＰ２′の境界線方向の位置Ｙ′は、例えば［３］式で示される。
Similarly, the correction unit 12 also performs scale correction from the
Ｙ′＝Ｙ／α＋（１−１／α）Ｙ０ …［３］ Y ′ = Y / α + (1-1 / α) Y0 ... [3]
補正部１２は、この表示ポインタＰ１の境界線方向の位置Ｙを、［式３］に示す位置Ｙ′に縮尺補正する。この縮尺補正により、画面２から画面１へ越境する際に生じる段差は視覚的に軽減する（段差ゼロも可能である）。
補正部１２は、これら一連の処理の後にイベント処理を完了すると、次のイベントメッセージがマルチ画面システムＭから送られるまで休止する。
The correcting unit 12 corrects the scale of the position Y in the boundary line direction of the display pointer P1 to the position Y ′ shown in [Expression 3]. By this scale correction, the level difference that occurs when crossing the
When the event processing is completed after the series of processing, the correction unit 12 pauses until the next event message is sent from the multi-screen system M.
（４）本実施形態の作用効果など
本実施形態では、ユーザが表示ポインタをはみ出し域Ｂまで運んでも、従来のように停止することがない。補正装置１００によって、表示ポインタは隣接画面へ自動的に運ばれるため、ユーザは円滑かつ自由に表示ポインタを隣接画面間で往き来させることが可能になる。
(4) Effects and the like of this embodiment In this embodiment, even if the user carries the display pointer to the protruding area B, it does not stop as in the prior art. Since the display pointer is automatically carried to the adjacent screen by the correction device 100, the user can smoothly and freely move the display pointer between the adjacent screens.
また、本実施形態では、補正装置１００によって、表示ポインタは越境時に自動的に縮尺補正される。そのため、画面サイズ（実寸長・画素数）に差があっても、越境時の段差は自動的に軽減され、隣接画面間を往来する表示ポインタの軌跡は円滑になる。 In the present embodiment, the display pointer is automatically scaled by the correction device 100 when crossing the border. For this reason, even when there is a difference in screen size (actual size length / number of pixels), the step at the time of crossing the border is automatically reduced, and the trajectory of the display pointer that moves between adjacent screens becomes smooth.
なお、本実施形態では、越境の禁止と解除とを段階的に実行する。
一般に、マルチ画面表示システムは、表示ポインタの位置座標を離散的に管理する。そのため、表示ポインタの移動が速くなるにつれて移動軌跡の出現位置が離散的に開き、隣接境界域Ｎを表示ポインタが飛び越える事態を生じる。
In the present embodiment, the prohibition and cancellation of cross-border are executed in stages.
In general, the multi-screen display system discretely manages the position coordinates of the display pointer. For this reason, as the movement of the display pointer becomes faster, the appearance positions of the movement trajectory open discretely, causing a situation where the display pointer jumps over the adjacent boundary area N.
図６は、検出ウィンドウＤ（隣接境界域Ｎ）を表示ポインタが飛び越える現象を説明する図である。
図６［ａ］では、表示ポインタの移動が比較的遅く、移動軌跡の離散間隔が密である。この場合は、隣接境界域Ｎにおいて表示ポインタを捕捉し、縮尺補正による段差解消に成功する。
FIG. 6 is a diagram illustrating a phenomenon in which the display pointer jumps over the detection window D (adjacent boundary area N).
In FIG. 6A, the movement of the display pointer is relatively slow, and the discrete intervals of the movement locus are dense. In this case, the display pointer is captured in the adjacent boundary area N, and the level difference is successfully eliminated by the scale correction.
一方、図６［ｂ］は、表示ポインタの移動が比較的速く、移動軌跡の離散間隔が広くなる。そのため、検出ウィンドウＤ（隣接境界域Ｎ）を表示ポインタが容易に飛び越えてしまい、検出ウィンドウＤは表示ポインタの侵入メッセージを受け取れない。そのため、縮尺補正の機会を失い、縮尺ずれによる段差が生じてしまう（縮尺補正の失敗）。 On the other hand, in FIG. 6B, the movement of the display pointer is relatively fast, and the discrete interval of the movement locus is wide. Therefore, the display pointer easily jumps over the detection window D (adjacent boundary area N), and the detection window D cannot receive the display pointer intrusion message. Therefore, the opportunity for scale correction is lost, and a step due to scale shift occurs (scale correction failure).
この失敗に対処するため、本実施形態では、上述したステップＳ０７，Ｓ１３で説明したように、越境の一旦禁止と解除とを段階的に実行する。
図７は、この越境の一旦禁止と解除とによる作用効果を説明する図である。
図７［ａ］では、表示ポインタは画面１側に位置する。このとき、補正装置１００は、マルチ画面システムＭに指示して表示ポインタの移動範囲を現画面内にクリップ（ClipCursor関数など）する。そのため、表示ポインタは、画面１の範囲内を自由に移動できるが、画面１から画面２への越境は禁止される。
In order to cope with this failure, in the present embodiment, as described in steps S07 and S13 described above, the prohibition and cancellation of the border crossing are executed in stages.
FIG. 7 is a diagram for explaining the operational effects of temporarily prohibiting and canceling the crossing.
In FIG. 7A, the display pointer is located on the
この越境禁止の状態では、表示ポインタの移動速度（離散間隔）に拘わらず、表示ポインタは越境禁止ラインＣの手前に強制的に停止する。そのため、図６［ｂ］で説明した表示ポインタの飛び越し現象は起こらず、図７［ａ］に示すように、表示ポインタを隣接境界域Ｎで確実に捕捉することが可能になる。 In this state of prohibiting crossing borders, the display pointer is forcibly stopped before the border crossing prohibition line C regardless of the moving speed (discrete intervals) of the display pointer. Therefore, the jumping phenomenon of the display pointer described in FIG. 6B does not occur, and the display pointer can be reliably captured in the adjacent boundary area N as shown in FIG.
この捕捉に応じて、補正装置１００は、図７［ｂ］に示すように表示ポインタの越境解除および縮尺補正を瞬時に実施する。これにより飛び越え現象による段差解消の失敗（図６［ｂ］参照）は防止され、隣接画面への表示ポインタの移動は円滑になる。
なお、これら一連の動作をユーザが知覚しない程度の時間内に実施することにより、隣接画面への表示ポインタの移動はより一層円滑に保たれる。
In response to this capture, the correction apparatus 100 instantaneously performs the crossing border cancellation and the scale correction of the display pointer as shown in FIG. 7B. As a result, the step resolution failure due to the jumping phenomenon (see FIG. 6B) is prevented, and the movement of the display pointer to the adjacent screen becomes smooth.
In addition, by performing these series of operations within a time that is not perceived by the user, the movement of the display pointer to the adjacent screen can be maintained more smoothly.
また、本実施形態では、画面１から画面２への越境解除を、表示ポインタの移動範囲を画面１から画面２へ切り替えることにより、越境解除と新たな越境禁止とを一度に実施する。その結果、これら一連の動作をより短時間で完了して、表示ポインタの移動の円滑さをなお一段と高めることが可能になる。
Further, in the present embodiment, the cross-border cancellation from the
さらに、本実施形態では、図３のステップＳ１２のように、イベント処理の短時間繰り返しに反応しない。ユーザがマルチ画面の境界において表示ポインタを微動させた場合、隣接境界域Ｎへの侵入イベントが短時間に繰り返される。表示ポインタの位置更新と縮尺補正とのタイミング差によっては、縮尺補正が多重にかかり、表示ポインタが境界線の方向に勝手に移動するという現象が発生する。しかしながら、本実施形態は、イベント処理の短時間繰り返しに反応しない対策を行うため、この表示ポインタの勝手な移動現象を改善することができる。 Furthermore, in this embodiment, it does not react to short-time repetition of event processing as in step S12 of FIG. When the user finely moves the display pointer at the boundary of the multi-screen, the intrusion event to the adjacent boundary area N is repeated in a short time. Depending on the timing difference between the position update of the display pointer and the scale correction, the scale correction is applied in multiple ways, and a phenomenon occurs in which the display pointer moves freely in the direction of the boundary line. However, since the present embodiment takes measures that do not react to short-term repetition of event processing, this arbitrary movement phenomenon of the display pointer can be improved.
また、本実施形態では、実寸長の現実空間における２画面の揃え方基準に従って、縮尺補正のオフセット調整を行う。一般に、モニタ台の高さの違いやピボット機能（画面回転機能）による高さ変化により、表示装置の画面の揃え方基準は、デスクトップ座標上の設定とずれている場合がある。このズレは縮尺補正のオフセットズレとなる。しかしながら、本実施形態は、実寸長の現実空間における２画面の揃え方基準に従って、縮尺補正のオフセット補正を行い得るため、表示ポインタの移動軌跡をより正確に円滑化することができる。 In the present embodiment, the offset adjustment for the scale correction is performed in accordance with the alignment standard for the two screens in the actual space of the actual size. In general, the screen alignment standard of the display device may deviate from the setting on the desktop coordinates due to the difference in the height of the monitor base and the height change due to the pivot function (screen rotation function). This deviation becomes an offset deviation for scale correction. However, according to the present embodiment, since the offset correction of the scale correction can be performed according to the alignment standard of the two screens in the actual space of the actual size, the movement locus of the display pointer can be smoothed more accurately.
また、本実施形態では、複数画面の仮想配置の情報をマルチ画面システムＭから収集し、隣接する２画面の組ごとに隣接境界域Ｎとはみ出し域Ｂとを略自動的に初期設定する。そのため、ユーザは多様なマルチ画面の配置関係を詳しく知る必要なく、補正装置１００の初期設定を略自動的に完了できる。 In this embodiment, information on virtual arrangement of a plurality of screens is collected from the multi-screen system M, and the adjacent boundary area N and the protruding area B are initialized almost automatically for each set of two adjacent screens. Therefore, the user can complete the initial setting of the correction apparatus 100 almost automatically without having to know the arrangement relationship of various multi-screens in detail.
（５）本実施形態の補足など
なお、本実施形態では、説明を簡単にするため、横並びの２画面について特に説明しているが、本開示はこれに限定されない。複数画面の間の隣接辺（縦または横）ごとに本実施形態の処理を行うことにより、３画面以上の画面並びにおいて本実施形態を実施することができる。また、画面の並び方も、縦横斜めのいずれでもよい。また、組み合わせによる平面的、立体的又は曲面的な配列画面でもよい。
(5) Supplement of this embodiment etc. In addition, in this embodiment, in order to simplify the description, two side-by-side images are particularly described, but the present disclosure is not limited to this. By performing the processing of the present embodiment for each adjacent side (vertical or horizontal) between a plurality of screens, the present embodiment can be implemented in a screen arrangement of three or more screens. Further, the screen may be arranged either vertically or horizontally. Further, it may be a planar, stereoscopic, or curved array screen by combination.
さらに、本実施形態では、マルチ画面システムＭからマルチ画面の配置関係を取得したり、ユーザ設定やデフォルト設定によりマルチ画面の配置関係を決定したりしている。しかし、本開示はこれに限定されない。例えば、実寸長の現実空間におけるマルチ画面の配置関係を撮影し、その撮影画像から画面の並び方や、画面サイズの比率（各画面の画素数比で除算すれば画素幅の実寸比が求まる）を自動検出してもよい。その場合に、補正装置１００は、目盛り相当のテストチャートをマルチ画面に表示する（させる）などして、表示装置独自の拡大縮小率を撮影画像から自動的に計測して、拡大縮小率を反映した画素幅の実寸比を求めてもよい。 Furthermore, in the present embodiment, the multi-screen layout relationship is acquired from the multi-screen system M, or the multi-screen layout relationship is determined by user settings or default settings. However, the present disclosure is not limited to this. For example, you can shoot the layout relationship of multiple screens in the actual space of actual size, and arrange the screen layout and screen size ratio from the captured image (the actual size ratio of the pixel width can be obtained by dividing by the pixel number ratio of each screen). Automatic detection may be performed. In such a case, the correction apparatus 100 automatically measures the enlargement / reduction ratio unique to the display apparatus from the captured image by displaying a test chart corresponding to the scale on the multi-screen, and reflecting the enlargement / reduction ratio. The actual size ratio of the obtained pixel width may be obtained.
また、本実施形態では、マルチモニタへの適用について説明しているが、本開示はこれに限定されない。本実施形態は、プロジェクタによりマルチ画面を投影するシステムに適用することもできる。なお、このマルチ画面の投影状況によっては、投影画面の実寸大が投影拡大率により大きく変化し、マルチ画面の揃え方基準も大きく変化する。この投影画面の実寸大については投影レンズの合焦距離と画角に応じて自動検出することができる。また、マルチ画面の揃え方基準については、各プロジェクタの投影軸の検出によって自動検出することができる。また、スクリーン上のマルチ画面の投影状況を検出する検出装置（撮影装置など）を別に設けて、マルチ画面の揃え方基準や辺の実寸長を自動検出してもよい。その場合にテストチャートなどを投影して台形歪みや周辺歪みなどを自動計測し、歪みを反映した画素幅の実寸比を求めてもよい。このような自動検出により、ユーザにおける情報入力の手間を省くことができる。 Moreover, although this embodiment demonstrates application to a multi-monitor, this indication is not limited to this. This embodiment can also be applied to a system that projects a multi-screen with a projector. Note that, depending on the projection state of the multi-screen, the actual size of the projection screen greatly varies depending on the projection magnification, and the alignment standard of the multi-screen greatly varies. The actual size of the projection screen can be automatically detected according to the focus distance and angle of view of the projection lens. In addition, the multi-screen alignment standard can be automatically detected by detecting the projection axis of each projector. In addition, a detection device (such as an imaging device) that detects the projection status of the multi-screen on the screen may be provided separately to automatically detect the alignment method of the multi-screen and the actual size of the side. In that case, a test chart or the like may be projected to automatically measure trapezoidal distortion, peripheral distortion, etc., and the actual size ratio of the pixel width reflecting the distortion may be obtained. Such automatic detection can save the user from inputting information.
なお、本実施形態では、検出ウィンドウＤに表示ポインタが入るイベントメッセージのタイミングで処理を行っているが、本開示はこれに限定されるものではない。ＲａｗＩｎｐｕｔなどの物理層に近い仕組みを用いて表示ポインタの位置や移動などの動作情報を取得してもよい。その場合には、より遅滞なく表示ポインタの位置補正が可能となるため、より迅速かつ円滑な位置補正が可能になる。 In the present embodiment, the processing is performed at the timing of the event message where the display pointer enters the detection window D, but the present disclosure is not limited to this. Operation information such as the position and movement of the display pointer may be acquired using a mechanism close to the physical layer such as RawInput. In that case, the position of the display pointer can be corrected without delay, so that the position can be corrected more quickly and smoothly.
また、非表示の検出ウィンドウＤに別のウィンドウが重なり、検出ウィンドウＤが背面に後退すると、表示ポインタの侵入がマルチ画面システムＭから検出ウィンドウＤに通知されない場合がある。その場合、検出ウィンドウＤが常時最前面になるようマルチ画面システムＭに指示することが好ましい。また、マルチ画面システムＭがアイドル状態になるなどのタイミングで、非表示の検出ウィンドウＤが最前面にくるよう重ね順（Ｚオーダー）の制御を行うことが好ましい。 Further, if another window overlaps the non-display detection window D and the detection window D moves backward, the multi-screen system M may not notify the detection window D of the entry of the display pointer. In that case, it is preferable to instruct the multi-screen system M so that the detection window D is always at the forefront. In addition, it is preferable to perform the stacking order (Z order) control so that the non-display detection window D comes to the forefront at a timing such as when the multi-screen system M becomes idle.
なお、図３に示すイベント処理では、表示ポインタの移動先の座標計算を先に済ませることで、越境解除と表示ポインタの強制移動を極力短い時間間隔で連続的に行うことが好ましい。この処理により両動作の時間間隔に別のイベントメッセージが発生するなどの事態を防止し、不測の動作を排することができる。 In the event processing shown in FIG. 3, it is preferable that the border calculation and the forcible movement of the display pointer are continuously performed at a time interval as short as possible by completing the coordinate calculation of the movement destination of the display pointer first. By this process, it is possible to prevent a situation such as another event message being generated at the time interval between both operations, and to eliminate unexpected operations.
また、図３に示すイベント処理では、ステップＳ１３の越境解除を先に行い、表示ポインタの強制移動（ステップＳ１４，Ｓ１５）をその直後に行っている。これは、マルチ画面システムＭにおいて処理順による移動軌跡の不具合を減らす上で有効な順番である。しかし、本開示はこの順番に限定されず、順番を入れ替えて実施してもよい。また、ユーザが補正装置１００の実行順を入れ替えて表示ポインタに移動軌跡に不具合がないかを確認し、ユーザ又は補正装置１００がより適切な実行順や実行タイミングを選択設定できるようにしてもよい。 Further, in the event processing shown in FIG. 3, the border crossing cancellation in step S13 is performed first, and the display pointer is forcibly moved (steps S14 and S15) immediately thereafter. This is an effective order for reducing the problem of the movement trajectory due to the processing order in the multi-screen system M. However, the present disclosure is not limited to this order, and the order may be changed. Further, the user may change the execution order of the correction apparatus 100 to check whether the display pointer has a defect in the movement locus, and the user or the correction apparatus 100 may select and set a more appropriate execution order and execution timing. .
また、本実施形態は、はみ出し域Ｂや隣接境界域Ｎに位置する表示ポインタを「隣接画面側の隣接境界域Ｎ」に移動する。しかしながら、本開示はこれに限定されない。
例えば、本開示は、はみ出し域Ｂや隣接境界域Ｎに位置する表示ポインタを「隣接境界域Ｎを越えた隣接画面」に移動させてもよい。このような処理は移動方向に対してヒステリシスを加えることになるため、越境直後のチャタリング発生（手ぶれなどにより表示ポインタが元画面に逆に戻る現象）を一層抑制することが可能になる。
In the present embodiment, the display pointer located in the protruding area B or the adjacent boundary area N is moved to the “adjacent boundary area N on the adjacent screen side”. However, the present disclosure is not limited to this.
For example, the present disclosure may move the display pointer located in the protruding area B or the adjacent boundary area N to “adjacent screen beyond the adjacent boundary area N”. Since such processing adds hysteresis to the moving direction, it is possible to further suppress chattering immediately after crossing the border (a phenomenon in which the display pointer returns to the original screen due to camera shake or the like).
その場合に、隣接境界域Ｎに入る前の表示ポインタの移動変位（離散間隔）の経過を補正部１２が監視し、その移動速度や更には複数次の移動変化分（移動加速度等）に応じて（例えば離散間隔の経過から越境後に出現すると予測される位置の近傍に）表示ポインタを越境させることが好ましい。
例えば、図８に示す表示ポインタの時刻ｔ０〜ｔ２における表示ポインタの移動速度に基づいて、越境後の時刻ｔ３の表示ポインタの出現位置は図８に示すように予測される。
In that case, the correction unit 12 monitors the progress of the movement displacement (discrete interval) of the display pointer before entering the adjacent boundary area N, and according to the movement speed and further a plurality of movement changes (movement acceleration, etc.). It is preferable to cross the display pointer (for example, in the vicinity of a position predicted to appear after crossing borders from the passage of discrete intervals).
For example, based on the moving speed of the display pointer at time t0 to t2 of the display pointer shown in FIG. 8, the appearance position of the display pointer at time t3 after crossing the border is predicted as shown in FIG.
このようにして表示ポインタの速度補正が可能になる。その結果、越境する瞬間に表示ポインタの移動速度がもたつくことが少なくなり、より円滑な表示ポインタの越境が実現する。なお、この速度補正は、境界線に直交する方向のみで実施してもよい。
また例えば、本開示は、はみ出し域Ｂや隣接境界域Ｎに位置する表示ポインタを「現画面側」に条件的または時間的に「保留」させてもよい。この動作により隣接画面へ表示ポインタが強制移動されることが条件的または時間的に抑制され、現画面の隣接境界付近での細かなＧＵＩ操作など表示ポインタに関する操作性を高めることができる。
In this way, the display pointer speed can be corrected. As a result, the moving speed of the display pointer is less likely to move at the moment of crossing the border, and a smoother border of the display pointer is realized. Note that this speed correction may be performed only in a direction orthogonal to the boundary line.
Further, for example, in the present disclosure, display pointers located in the protruding area B and the adjacent boundary area N may be “held” conditionally or temporally on the “current screen side”. By this operation, the forced movement of the display pointer to the adjacent screen is suppressed conditionally or temporally, and operability related to the display pointer such as a fine GUI operation near the adjacent boundary of the current screen can be improved.
なお、この「保留」タイプの処理では、表示ポインタの移動速度を検出し、移動速度の大小に応じて越境か保留かを決定することが好ましい。例えば、補正装置１００は、表示ポインタの境界へ向かう速度成分が比較的遅い場合、ユーザは現画面の隣接境界付近での細かな操作を行うものと判定して表示ポインタを現画面に保留する。逆に、補正装置１００は、表示ポインタの境界へ向かう速度成分が比較的速い場合、ユーザは隣接画面へ表示ポインタを移動させるものと判定して表示ポインタを隣接画面（または隣接画面側の隣接境界域Ｎ）へ移動させる。この越境／保留の判定には、表示ポインタの移動方向や移動軌跡（ユーザが越境を意図している場合は一直線または低曲率の軌道になる）を加味してユーザの意図を判定することが好ましい。さらに、ユーザによる表示ポインタの操作履歴を蓄積してＡＩ処理することにより、越境／保留の判定ルーチンを自動生成してもよい。 In this “holding” type process, it is preferable to detect the moving speed of the display pointer and determine whether to cross the border or hold depending on the magnitude of the moving speed. For example, when the velocity component toward the boundary of the display pointer is relatively slow, the correction device 100 determines that the user performs a fine operation near the adjacent boundary of the current screen and holds the display pointer on the current screen. Conversely, when the velocity component toward the boundary of the display pointer is relatively fast, the correction device 100 determines that the user moves the display pointer to the adjacent screen, and sets the display pointer to the adjacent screen (or the adjacent boundary on the adjacent screen side). Move to zone N). For the determination of crossing border / holding, it is preferable to determine the intention of the user in consideration of the movement direction and movement locus of the display pointer (in the case where the user intends to cross the border, it becomes a straight line or a low curvature orbit). . Furthermore, a crossing border / holding determination routine may be automatically generated by accumulating the operation history of the display pointer by the user and performing AI processing.
また、上述した補正装置１００の少なくとも一部（または全部）を、マルチ画面システムＭを構成するＣＰＵやＧＰＵ（グラフィック・プロセッシング・ユニット）や表示ユニットや周辺回路や周辺装置などの一部としてハードウェア的に実現してもよい。また、上述した補正装置１００の少なくとも一部（または全部）を、コンピュータ（ＣＰＵやＧＰＵ）を補正装置１００として機能させるプログラム（ＯＳ又はアプリケーション）によってソフトウェア的に実現してもよい。さらに、サーバなどからサービスをクライアント側に提供するシステムにおいて、上述したような補正方法の一部処理（または全部）を、単体サービスや、別のアプリケーションに付随するサービスとして提供してもよい。なお、本実施形態は、マルチ画面システムＭを、通信路やネットワークなど介した複数装置からなるシステムとして構成してもよい。 Further, at least a part (or all) of the correction device 100 described above is hardware as a part of a CPU, a GPU (graphic processing unit), a display unit, a peripheral circuit, a peripheral device, etc. constituting the multi-screen system M. May be realized. Further, at least a part (or all) of the correction device 100 described above may be realized in software by a program (OS or application) that causes a computer (CPU or GPU) to function as the correction device 100. Further, in a system that provides a service from the server or the like to the client side, the partial processing (or all) of the correction method as described above may be provided as a stand-alone service or a service associated with another application. In the present embodiment, the multi-screen system M may be configured as a system including a plurality of devices via a communication path or a network.
以上説明したように、本開示はマルチ画面システムにおける表示ポインタの移動を円滑化する用途に利用することができる。 As described above, the present disclosure can be used for the purpose of facilitating the movement of the display pointer in the multi-screen system.
Ｂ…はみ出し域、Ｄ…検出ウィンドウ、Ｍ…マルチ画面システム、Ｎ…隣接境界域、１０…判定部、１２…補正部、１４…禁止部、１６…越境部、１００…補正装置 B ... Extruding area, D ... Detection window, M ... Multi-screen system, N ... Adjacent boundary area, 10 ... Determining section, 12 ... Correction section, 14 ... Inhibiting section, 16 ... Transboundary section, 100 ... Correction device
Claims (3)
前記座標空間において、複数の前記画面が仮想的に隣接する隣接境界域と、前記隣接境界域から前記画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定部と、
前記表示ポインタが前記はみ出し域に位置すると、前記表示ポインタの位置を前記隣接境界域または隣接画面に移動処理し、前記表示ポインタが前記隣接境界域に位置すると、仮想的に隣接する２画面の境界線方向における画素幅の実寸比に応じて、前記表示ポインタの境界線方向の位置を縮尺補正する補正部とを備え、
前記補正部は、
前記表示ポインタの移動可能な範囲を、表示ポインタが位置する画面域内に制限しておくことで、事前に、前記表示ポインタが位置する画面から隣接画面への越境を禁止する禁止部と、
前記表示ポインタが前記隣接境界域に位置すると、前記表示ポインタの移動可能な範囲を、前記表示ポインタの越境先の画面域内に切り替えて、前記表示ポインタを越境させる越境部とを含み、
前記禁止部および前記越境部による段階的な処理により、前記表示ポインタが前記隣接境界域を飛び越えることを一旦は抑止して、前記隣接境界域における前記表示ポインタの捕捉率を高め、前記縮尺補正の失敗を軽減する
ことを特徴とする補正装置。 A correction device that corrects the position of the display pointer for a multi-screen system that manages the movement of the display pointer in a coordinate space in which a plurality of screens are virtually arranged,
In the coordinate space, a determination unit that obtains an adjacent boundary area in which the plurality of screens are virtually adjacent to each other, and an protrusion area in which one of the screens protrudes from the adjacent boundary area and is not adjacent to the other screens;
When the display pointer is located in the protruding area, the position of the display pointer is moved to the adjacent boundary area or the adjacent screen . When the display pointer is located in the adjacent boundary area, a boundary between two virtually adjacent screens is displayed. A correction unit that corrects the position of the display pointer in the boundary line direction according to the actual size ratio of the pixel width in the line direction ,
The correction unit is
By restricting the movable range of the display pointer within the screen area where the display pointer is located, in advance, a prohibition unit that prohibits crossing from the screen where the display pointer is located to the adjacent screen,
When the display pointer is located in the adjacent boundary area, the movable range of the display pointer is switched to the screen area beyond the boundary of the display pointer to cross the display pointer,
Step-by-step processing by the prohibition section and the cross-border section temporarily prevents the display pointer from jumping over the adjacent boundary area, thereby increasing the capture rate of the display pointer in the adjacent boundary area, and reducing the scale correction. A correction device characterized by reducing failure .
請求項１に記載の前記判定部、および前記補正部として
機能させるためのプログラム。 Computer
The program for functioning as the said determination part of Claim 1 , and the said correction | amendment part.
前記座標空間において、複数の前記画面が仮想的に隣接する隣接境界域と、前記隣接境界域から前記画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定ステップと、
前記表示ポインタが前記はみ出し域に位置すると、前記表示ポインタの位置を前記隣接境界域または隣接画面に移動処理し、前記表示ポインタが前記隣接境界域に位置すると、仮想的に隣接する２画面の境界線方向における画素幅の実寸比に応じて、前記表示ポインタの境界線方向の位置を縮尺補正する補正ステップとを備え、
前記補正ステップは、
前記表示ポインタの移動可能な範囲を、表示ポインタが位置する画面域内に制限しておくことで、事前に、前記表示ポインタが位置する画面から隣接画面への越境を禁止する禁止ステップと、
前記表示ポインタが前記隣接境界域に位置すると、前記表示ポインタの移動可能な範囲を、前記表示ポインタの越境先の画面域内に切り替えて、前記表示ポインタを越境させる越境ステップとを含み、
前記禁止ステップおよび前記越境ステップによる段階的な処理により、前記表示ポインタが前記隣接境界域を飛び越えることを一旦は抑止して、前記隣接境界域における前記表示ポインタの捕捉率を高め、前記縮尺補正の失敗を軽減する
ことを特徴とするサービス提供方法。 A service providing method for providing a correction service for correcting a position of the display pointer from a server to a client for a multi-screen system that manages movement of a display pointer on a coordinate space in which a plurality of screens are virtually arranged,
In the coordinate space, a determination step for obtaining an adjacent boundary area where the plurality of screens are virtually adjacent to each other, and an protruding area where one of the screens protrudes from the adjacent boundary area and is not adjacent to the other screens;
When the display pointer is located in the protruding area, the position of the display pointer is moved to the adjacent boundary area or the adjacent screen . When the display pointer is located in the adjacent boundary area, a boundary between two virtually adjacent screens is displayed. A correction step for correcting the scale of the position of the display pointer in the boundary line direction according to the actual size ratio of the pixel width in the line direction ,
The correction step includes
By prohibiting the movable range of the display pointer within the screen area where the display pointer is located, a prohibiting step for prohibiting the crossing from the screen where the display pointer is located to the adjacent screen in advance;
When the display pointer is located in the adjacent boundary area, a range in which the display pointer can move is switched to a screen area beyond the display pointer to cross the display pointer;
The stepwise processing by the prohibition step and the cross-border step temporarily prevents the display pointer from jumping over the adjacent boundary area, thereby increasing the capture rate of the display pointer in the adjacent boundary area, and reducing the scale correction. A service providing method characterized by reducing failures .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017207853A JP6440799B1 (en) | 2017-10-27 | 2017-10-27 | Correction apparatus, program, and service providing method for correcting position of display pointer for multi-screen system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017207853A JP6440799B1 (en) | 2017-10-27 | 2017-10-27 | Correction apparatus, program, and service providing method for correcting position of display pointer for multi-screen system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6440799B1 true JP6440799B1 (en) | 2018-12-19 |
| JP2019079450A JP2019079450A (en) | 2019-05-23 |
Family
ID=64668661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017207853A Active JP6440799B1 (en) | 2017-10-27 | 2017-10-27 | Correction apparatus, program, and service providing method for correcting position of display pointer for multi-screen system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6440799B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024012402A1 (en) * | 2022-07-15 | 2024-01-18 | 华为技术有限公司 | Display method and electronic device |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399052B (en) * | 2019-07-24 | 2020-12-11 | 威创集团股份有限公司 | Mouse roaming method and device |
| JP7275226B2 (en) * | 2021-10-08 | 2023-05-17 | レノボ・シンガポール・プライベート・リミテッド | Information processing device and its control method and program |
| JP7449991B2 (en) | 2022-08-17 | 2024-03-14 | レノボ・シンガポール・プライベート・リミテッド | Information processing device, cursor movement management method, and cursor movement management program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004288048A (en) * | 2003-03-24 | 2004-10-14 | Ntt Data Corp | Pointing system |
| JP2005293292A (en) * | 2004-03-31 | 2005-10-20 | Toshiba Solutions Corp | Information processing device and cursor control program |
| JP2006059251A (en) * | 2004-08-23 | 2006-03-02 | Internatl Business Mach Corp <Ibm> | Multi-monitor system, multi-monitor method, and mark display program |
| JP2012108772A (en) * | 2010-11-18 | 2012-06-07 | Mitsubishi Electric Corp | Multi-monitor control device |
| JP2015082270A (en) * | 2013-10-24 | 2015-04-27 | 株式会社バッファロー | Multi-display device, method for controlling pointer display position in multi-display device, and program |
-
2017
- 2017-10-27 JP JP2017207853A patent/JP6440799B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004288048A (en) * | 2003-03-24 | 2004-10-14 | Ntt Data Corp | Pointing system |
| JP2005293292A (en) * | 2004-03-31 | 2005-10-20 | Toshiba Solutions Corp | Information processing device and cursor control program |
| JP2006059251A (en) * | 2004-08-23 | 2006-03-02 | Internatl Business Mach Corp <Ibm> | Multi-monitor system, multi-monitor method, and mark display program |
| JP2012108772A (en) * | 2010-11-18 | 2012-06-07 | Mitsubishi Electric Corp | Multi-monitor control device |
| JP2015082270A (en) * | 2013-10-24 | 2015-04-27 | 株式会社バッファロー | Multi-display device, method for controlling pointer display position in multi-display device, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024012402A1 (en) * | 2022-07-15 | 2024-01-18 | 华为技术有限公司 | Display method and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019079450A (en) | 2019-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6440799B1 (en) | Correction apparatus, program, and service providing method for correcting position of display pointer for multi-screen system | |
| JP5654340B2 (en) | Aspect ratio suggestions for resizable video windows | |
| US7852315B2 (en) | Camera and acceleration based interface for presentations | |
| JP5710589B2 (en) | Improved handheld screen detection pointer | |
| US20190221029A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20190114740A1 (en) | Image processing device, imaging system provided therewith, and calibration method | |
| US9007406B2 (en) | Display control apparatus and method of controlling the same | |
| US10416540B2 (en) | Display control apparatus, image projection system, and control method | |
| US20110216288A1 (en) | Real-Time Projection Management | |
| EP3001407A1 (en) | Display control device, display control method, and recording medium | |
| JP6429545B2 (en) | Control device and control method | |
| US20170351327A1 (en) | Information processing apparatus and method, and program | |
| JP2009031334A (en) | Projector and projection method for projector | |
| CN107710736B (en) | Method and system for assisting user in capturing image or video | |
| US10979700B2 (en) | Display control apparatus and control method | |
| JP2006259287A (en) | Apparatus and method for preventing both side printing | |
| WO2018010440A1 (en) | Projection picture adjusting method and apparatus, and projection terminal | |
| JP2022518083A (en) | Methods and Devices for Controlling Display Image Rotation, Display Devices and Computer Program Products | |
| JP5625839B2 (en) | Projector device, position detection program, and projector system | |
| JP4549212B2 (en) | Electronic board system | |
| US20150102998A1 (en) | Projection-type projector, anti-glare method, and program for anti-glare | |
| JP5966624B2 (en) | Information processing apparatus and information display system | |
| JP6280005B2 (en) | Information processing apparatus, image projection apparatus, and information processing method | |
| US11218662B2 (en) | Image processing device, image processing method, and projection system | |
| CN112214621A (en) | Image viewing method and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6440799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |