JP2017157135A - Input device and input method - Google Patents

Input device and input method Download PDF

Info

Publication number
JP2017157135A
JP2017157135A JP2016042121A JP2016042121A JP2017157135A JP 2017157135 A JP2017157135 A JP 2017157135A JP 2016042121 A JP2016042121 A JP 2016042121A JP 2016042121 A JP2016042121 A JP 2016042121A JP 2017157135 A JP2017157135 A JP 2017157135A
Authority
JP
Japan
Prior art keywords
touch pen
indicator
coordinates
rotation angle
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016042121A
Other languages
Japanese (ja)
Inventor
雅彦 石井
Masahiko Ishii
雅彦 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Priority to JP2016042121A priority Critical patent/JP2017157135A/en
Publication of JP2017157135A publication Critical patent/JP2017157135A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an input device that can easily change the color or the thickness of a drawing line.SOLUTION: An input device includes an indication body 104, an imaging unit 106, and a coordinate calculation unit 107. The indication body 104 has a plate-shaped portion 103 at an end. The imaging unit 106 includes a plurality of cameras 105a and 105b for detecting the indication body 104. Based on an image of the imaging unit 106, the coordinate calculation unit 107 calculates the coordinates of both ends of the indication body 104 and calculates the rotation angle of the indication body 104. In accordance with the rotation angle of the indication body 104, an input instruction is given to a control device 101.SELECTED DRAWING: Figure 9

Description

本発明は、入力装置及び入力方法に関する。   The present invention relates to an input device and an input method.

タッチパネル内蔵の表示装置を備えたコンピュータ環境で、描画ソフトウェアを実行すると、ユーザが指やタッチペンにより所望の画像を画面上に描画することで、コンピュータ上で所望の絵を描画することができる。また、このような描画ソフトウェアには、線の太さや色を設定するアイコンが表示されている。このアイコンをタッチすることで、線の色や太さを設定することができる。   When the drawing software is executed in a computer environment having a display device with a built-in touch panel, a user can draw a desired image on the screen by drawing a desired image on the screen with a finger or a touch pen. Also, such drawing software displays icons for setting line thickness and color. By touching this icon, the color and thickness of the line can be set.

例えば、プレゼンテーション等で、このような描画ソフトウェアを用いて画面上に絵や文字を書きながら、説明を行う場合がある。このような場合、要点に応じて、描画する線の色や太さを変えるようにすると、聴衆者は説明を理解しやすい。また、複数の人が画面上に絵や文字を書きながら説明を行う場合、説明した人によって描画する線の色や太さが異なっていると、聴衆者は説明を理解しやすい。   For example, in a presentation or the like, an explanation may be given while drawing pictures or characters on the screen using such drawing software. In such a case, if the color and thickness of the line to be drawn are changed according to the main points, the audience can easily understand the explanation. In addition, when a plurality of people make an explanation while writing pictures or characters on the screen, the audience can easily understand the explanation if the color or thickness of the drawn line differs depending on the person who explained.

しかしながら、通常の描画ソフトウェアでは、線の太さや色を設定するには、上述のように、アイコンをタッチする操作が必要である。プレゼンテーション中に、アイコンをタッチして描画する線の色や太さを変更するのでは、操作性が良くないとともに、説明の中断が生じ、理解の妨げの原因となる。そこで、電子ペン等の操作により、アイコンをタッチする操作を行わずに、線の太さや色を設定することが考えられる。   However, with normal drawing software, in order to set the thickness and color of a line, an operation of touching an icon is necessary as described above. Changing the color and thickness of a line to be drawn by touching an icon during a presentation is not good for operability and interrupts the explanation, which hinders understanding. Therefore, it is conceivable to set the thickness and color of the line without performing an operation of touching the icon by an operation of an electronic pen or the like.

特許文献1には、タッチペンに電子ペンを使用することにより入力操作の制御を行う方法が開示されている。また、特許文献2には、軸回転角度の検出できる電子ペンが開示されている。また、特許文献3には、3次元空間内の任意の箇所を指し示して座標を入力するものが開示されている。また、特許文献4には、イメージセンサを用いて検出領域に入力される指示体の指示位置を光学的に検出するものが開示されている。   Patent Document 1 discloses a method for controlling an input operation by using an electronic pen as a touch pen. Patent Document 2 discloses an electronic pen capable of detecting the shaft rotation angle. Japanese Patent Application Laid-Open No. H10-228688 discloses a technique for inputting coordinates by pointing to an arbitrary place in a three-dimensional space. Patent Document 4 discloses an apparatus that optically detects an indication position of an indicator input to a detection region using an image sensor.

特開2012−198798号公報JP 2012-198798 A 特開平10−133807号公報JP-A-10-133807 特開平11−134089号公報Japanese Patent Application Laid-Open No. 11-134089 特開2010−257089号公報JP 2010-257089 A

上述のように、画面上に絵や文字を書きながら説明を行う場合に、特許文献1から特許文献4に示されるような電子ペンを入力デバイスとして用いることが考えられる。しかしながら、特許文献1及び特許文献2に示されるような電子ペンは、そのペンの内部に電気回路を備えており、電子ペン自体のコストが高くなる。また、特許文献3及び特許文献4に示されるような入力デバイスでは、画面上絵を描画することは難しい。   As described above, when the description is made while writing a picture or character on the screen, it is conceivable to use an electronic pen as disclosed in Patent Document 1 to Patent Document 4 as an input device. However, an electronic pen as shown in Patent Document 1 and Patent Document 2 includes an electric circuit inside the pen, and the cost of the electronic pen itself increases. Moreover, it is difficult to draw a picture on the screen with the input devices as shown in Patent Document 3 and Patent Document 4.

上述の課題を鑑み、本発明は、描画する線の色や太さを簡単に変更できる入力装置及び入力方法を提供することを目的とする。   In view of the above-described problems, an object of the present invention is to provide an input device and an input method that can easily change the color and thickness of a line to be drawn.

上述の課題を鑑み、本発明の一態様に係る入力装置は、側面方向から撮像された場合に回転角度によって横方向の両端の長さが異なって撮像される板状部を有する指示体と、前記指示体を検出する複数のカメラを有する撮像部と、前記撮像部の画像に基づいて、前記指示体の前記両端の座標を算出し、前記指示体の前記回転角度を算出する座標算出部とを備え、指示体の回転角度に応じて前記制御装置に入力指示を与えるようにしたことを特徴とする。   In view of the above problems, an input device according to an aspect of the present invention includes an indicator having a plate-like portion that is imaged with different lengths at both ends in the lateral direction depending on the rotation angle when imaged from the side surface direction, An imaging unit having a plurality of cameras for detecting the indicator, a coordinate calculation unit for calculating the coordinates of the both ends of the indicator based on an image of the imaging unit, and calculating the rotation angle of the indicator; And an input instruction is given to the control device in accordance with the rotation angle of the indicator.

本発明の一態様に係る入力方法は、先端に板状部を有する指示体を設けるとともに、前記指示体を検出する複数のカメラを有する撮像部を設け、前記指示体を複数のカメラで撮影し、前記カメラで撮影された画像に基づいて、前記指示体の回転角度を算出し、前記指示体の回転角度に応じて制御装置に入力指示を与えるようにしたことを特徴とする。   According to an input method of one aspect of the present invention, an indicator having a plate-like portion is provided at a tip, and an imaging unit having a plurality of cameras for detecting the indicator is provided, and the indicator is photographed by a plurality of cameras. The rotation angle of the indicator is calculated based on the image photographed by the camera, and an input instruction is given to the control device in accordance with the rotation angle of the indicator.

本発明によれば、指示体の回転角度に応じて制御装置に入力指示を与えることができる。これにより、指示体の回転角を変えることで、線の色や太さを設定することができる。   According to the present invention, an input instruction can be given to the control device in accordance with the rotation angle of the indicator. Thereby, the color and thickness of the line can be set by changing the rotation angle of the indicator.

本発明の第1の実施形態に係るタッチパネル入力システムの構成を示すブロック図である。1 is a block diagram illustrating a configuration of a touch panel input system according to a first embodiment of the present invention. 本発明の第1の実施形態に係るタッチパネル入力システムにおけるタッチペンの構成を示す側面図及び底面図である。It is the side view and bottom view which show the structure of the touch pen in the touch-panel input system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るタッチパネル入力システムにおけるタッチペンの構成を示す側面図及び底面図である。It is the side view and bottom view which show the structure of the touch pen in the touch-panel input system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るタッチパネル入力システムにおけるカメラの検出範囲の説明図である。It is explanatory drawing of the detection range of the camera in the touchscreen input system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るタッチパネル入力システムにおけるタッチペンの両端座標の検出の説明図である。It is explanatory drawing of the detection of the both end coordinates of the touch pen in the touch-panel input system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るタッチパネル入力システムにおけるタッチペンの両端座標の検出の説明図である。It is explanatory drawing of the detection of the both end coordinates of the touch pen in the touch-panel input system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るタッチパネル入力システムにおけるタッチペンの両端座標の検出の説明図である。It is explanatory drawing of the detection of the both end coordinates of the touch pen in the touch-panel input system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るタッチパネル入力システムにおけるタッチペン座標算出部での処理を示すフローチャートである。It is a flowchart which shows the process in the touch pen coordinate calculation part in the touch-panel input system which concerns on the 1st Embodiment of this invention. 本発明による入力装置の基本構成を示す概略ブロック図である。It is a schematic block diagram which shows the basic composition of the input device by this invention.

以下、本発明の実施の形態について図面を参照しながら説明する。図1は、本発明の第1の実施形態に係るタッチパネル入力システム1の構成を示すものである。
図1に示すように、本発明の第1の実施形態に係るタッチパネル入力システム1は、タッチパネル内蔵表示装置10と、2台のカメラ12a及び12bと、タッチペン座標算出部13と、制御装置14と、タッチペン(指示体)15とから構成される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a touch panel input system 1 according to the first embodiment of the present invention.
As shown in FIG. 1, the touch panel input system 1 according to the first embodiment of the present invention includes a touch panel built-in display device 10, two cameras 12a and 12b, a touch pen coordinate calculation unit 13, and a control device 14. , And a touch pen (indicator) 15.

タッチパネル内蔵表示装置10は、タッチパネル表示部11を備えている。タッチパネル表示部11は、例えばLCD(Liquid Crystal Display;液晶ディスプレイ)パネル上にタッチパネルを積層して構成される。
カメラ12a及び12bは、タッチパネル表示部11の表示面の近傍で、タッチペン15をその側面方向から撮影する撮像部を構成する。
タッチペン座標算出部13は、カメラ12a及び12bで撮影されたタッチペン15の撮影画像を解析して、タッチペン15の両端座標及びタッチペン15の回転角を算出する。
制御装置14は、インストールされているプログラムに応じて、各種の処理を行う。
タッチペン15は、ユーザがタッチパネル内蔵表示装置10の表面を押圧して各種の入力操作を行う。
The touch panel built-in display device 10 includes a touch panel display unit 11. The touch panel display unit 11 is configured, for example, by stacking a touch panel on an LCD (Liquid Crystal Display) panel.
The cameras 12 a and 12 b constitute an imaging unit that captures an image of the touch pen 15 from the side surface in the vicinity of the display surface of the touch panel display unit 11.
The touch pen coordinate calculation unit 13 analyzes the captured image of the touch pen 15 captured by the cameras 12a and 12b, and calculates both end coordinates of the touch pen 15 and the rotation angle of the touch pen 15.
The control device 14 performs various processes according to the installed program.
The touch pen 15 allows the user to perform various input operations by pressing the surface of the display device 10 with a built-in touch panel.

図1に示すように、カメラ12a及び12bは、タッチパネル内蔵表示装置10の左上隅及び右上隅に取り付けられている。カメラ12a及び12bは、タッチペン座標算出部13に接続される。また、タッチペン座標算出部13は、制御装置14に接続される。タッチパネル内蔵表示装置10は、制御装置14が接続される。制御装置14としては、パーソナルコンピュータが用いられる。制御装置14には、描画ソフトウェアがインストールされている。タッチペン座標算出部13と制御装置14との接続には、例えばUSB(Universal Serial Bus;ユニバーサル・シリアル・バス)インターフェースが用いられる。タッチパネル内蔵表示装置10と制御装置14との接続には、例えばDVI(Digital Visual Interface;デジタル・ビジュアル・インターフェース)が用いられる。   As shown in FIG. 1, the cameras 12 a and 12 b are attached to the upper left corner and the upper right corner of the display device 10 with a built-in touch panel. The cameras 12 a and 12 b are connected to the touch pen coordinate calculation unit 13. In addition, the touch pen coordinate calculation unit 13 is connected to the control device 14. The control device 14 is connected to the display device 10 with a built-in touch panel. A personal computer is used as the control device 14. Drawing software is installed in the control device 14. For example, a USB (Universal Serial Bus) interface is used for connection between the touch pen coordinate calculation unit 13 and the control device 14. For example, DVI (Digital Visual Interface) is used for connection between the display device 10 with a built-in touch panel and the control device 14.

なお、カメラ12a及び12bは、タッチパネル内蔵表示装置10に一体的に取り付けても良いし、外付けしても良い。また、タッチペン座標算出部13は、タッチパネル内蔵表示装置10の内部に内蔵させても良いし、外付けしても良い。また、タッチペン座標算出部13の機能を制御装置14のソフトウェアにより実現しても良い。   The cameras 12a and 12b may be attached integrally to the touch panel built-in display device 10, or may be attached externally. Moreover, the touch pen coordinate calculation part 13 may be incorporated in the display apparatus 10 with a built-in touch panel, or may be attached externally. Further, the function of the touch pen coordinate calculation unit 13 may be realized by software of the control device 14.

タッチパネル内蔵表示装置10上に絵や文字を描画する際、ユーザは、制御装置14の描画ソフトウェアを起動し、タッチペン15でタッチパネル表示部11を押圧しながら、タッチペン15を動かす。タッチパネル表示部11上でタッチペン15が押圧されると、タッチペン15の押圧座標がタッチパネル内蔵表示装置10で検出され、タッチペン15を動かすと、その軌跡に応じて、タッチパネル表示部11上に絵や文字が描画される。   When drawing a picture or character on the touch panel built-in display device 10, the user activates the drawing software of the control device 14 and moves the touch pen 15 while pressing the touch panel display unit 11 with the touch pen 15. When the touch pen 15 is pressed on the touch panel display unit 11, the pressed coordinates of the touch pen 15 are detected by the touch panel built-in display device 10, and when the touch pen 15 is moved, pictures and characters are displayed on the touch panel display unit 11 according to the locus. Is drawn.

また、本実施形態では、タッチペン15として、ペンの先端部を側面方向から見たときの横方向の長さが、ペン軸を中心とする回転角により異なるものが用いられる。すなわち、図2及び図3は、タッチペン15の構成を示す側面図及び底面図である。図2及び図3に示すように、タッチペン15は、ユーザが把持する円筒形のペン軸部21と、タッチパネル表示部11を押圧する押圧部22と、板状部23とから構成される。   In the present embodiment, as the touch pen 15, a pen whose length in the horizontal direction when the tip of the pen is viewed from the side surface direction varies depending on the rotation angle around the pen axis. 2 and 3 are a side view and a bottom view showing the configuration of the touch pen 15, respectively. As shown in FIGS. 2 and 3, the touch pen 15 includes a cylindrical pen shaft portion 21 held by a user, a pressing portion 22 that presses the touch panel display portion 11, and a plate-like portion 23.

このようなタッチペン15では、図2及び図3に示すように、ペンの先端部を側面方向から見たときの長さが、ペン軸を中心とする回転角により異なるものとなる。つまり、タッチペン15の先端部には、板状部23が設けられる。
この板状部23の横方向の長さをL、板状部23の厚みをtとすると、図2に示すような回転角のときには、ペンの先端部を側面方向から見たときの横方向の長さは、板状部23の横方向の長さLとなる。これに対して、図3に示すように、ペン軸を中心として90度回転させると、ペンの先端部を側面方向から見たときの横方向の長さは、板状部23の厚みtとなる。
In such a touch pen 15, as shown in FIGS. 2 and 3, the length when the tip of the pen is viewed from the side surface direction varies depending on the rotation angle around the pen axis. That is, the plate-like portion 23 is provided at the tip of the touch pen 15.
When the length in the horizontal direction of the plate-like portion 23 is L and the thickness of the plate-like portion 23 is t, the horizontal direction when the tip of the pen is viewed from the side when the rotation angle is as shown in FIG. Is the horizontal length L of the plate-like portion 23. On the other hand, as shown in FIG. 3, when rotated 90 degrees around the pen axis, the lateral length when the tip of the pen is viewed from the side surface direction is equal to the thickness t of the plate-like portion 23. Become.

また、図4は、カメラ12a及び12bの検出範囲を示すものである。図4に示すように、カメラ12a及び12bは、タッチペン15の先端部だけが検出範囲となるように取り付けられる。   FIG. 4 shows the detection ranges of the cameras 12a and 12b. As shown in FIG. 4, the cameras 12a and 12b are attached so that only the tip of the touch pen 15 is within the detection range.

図1において、ユーザがタッチペン15によりタッチパネル表示部11上で絵や文字を描画する際に、カメラ12a及び12bは、タッチペン15の先端部をその側面方向から撮影する。このタッチペン15の側面方向からの撮像画像は、タッチペン座標算出部13に送られる。   In FIG. 1, when the user draws a picture or character on the touch panel display unit 11 with the touch pen 15, the cameras 12 a and 12 b capture the tip of the touch pen 15 from the side surface direction. The captured image from the side surface direction of the touch pen 15 is sent to the touch pen coordinate calculation unit 13.

タッチペン座標算出部13は、カメラ12a及び12bからの撮像画像を取得すると、カメラ12a及び12bの画像を解析して、タッチペン15の両端座標を求める。そして、タッチペン座標算出部13は、タッチペン15の両端座標から、タッチペン15の回転角を算出する。   When the touch pen coordinate calculation unit 13 acquires the captured images from the cameras 12a and 12b, the touch pen coordinate calculation unit 13 analyzes the images of the cameras 12a and 12b and obtains both end coordinates of the touch pen 15. Then, the touch pen coordinate calculation unit 13 calculates the rotation angle of the touch pen 15 from the both end coordinates of the touch pen 15.

制御装置14は、タッチペン座標算出部13から、タッチペン15の回転角の情報を入力する。そして、制御装置14のソフトウェアは、タッチペン15の回転角度と、その回転角度に対応する入力指示とを対応させて、処理を実行する。   The control device 14 inputs information about the rotation angle of the touch pen 15 from the touch pen coordinate calculation unit 13. And the software of the control apparatus 14 performs a process by making the rotation angle of the touch pen 15 correspond to the input instruction corresponding to the rotation angle.

例えば、制御装置14の描画ソフトウェアは、タッチペン15の回転角が0度のときには、描画する線の色を黒色に設定し、回転角が90度のときには、描画する線の色を赤色に設定する。また、制御装置14の描画ソフトウェアは、タッチペン15の回転角が0度のときには、描画する線の太さを標準のものとし、回転角が90度のときには、描画する線を太くするように設定する。また、タッチペン15の回転角を0度から90度にすると、線の太さが角度に応じて徐々に太くなるように設定しても良い。その他、タッチペン15の回転角が0度のときには、描画する線を実線にし、回転角が90度のときには、点線にする等、各種の応用が考えられる。   For example, the drawing software of the control device 14 sets the color of the line to be drawn to black when the rotation angle of the touch pen 15 is 0 degrees, and sets the color of the line to be drawn to red when the rotation angle is 90 degrees. . Further, the drawing software of the control device 14 is set so that when the rotation angle of the touch pen 15 is 0 degrees, the thickness of the line to be drawn is standard, and when the rotation angle is 90 degrees, the line to be drawn is thickened. To do. Further, when the rotation angle of the touch pen 15 is changed from 0 degrees to 90 degrees, the thickness of the line may be set so as to gradually increase depending on the angle. In addition, various applications such as a solid line for drawing when the rotation angle of the touch pen 15 is 0 degrees and a dotted line when the rotation angle is 90 degrees are conceivable.

このように、本発明の第1の実施形態に係るタッチパネル入力システム1では、タッチペン15の回転角により、描画する線の色や太さが設定できる。これにより、例えばプレゼンテーションを行う場合、ユーザは、タッチペン15の回転角を変えることで、要点に応じて描画する線の色を変えることができる。また、例えば、複数の人が画面上に絵や文字を書きながら説明を行う場合、説明する人毎にタッチペン15の回転角を決めておけば、説明した人によって描画する線の色を異なるようにすることができる。   As described above, in the touch panel input system 1 according to the first embodiment of the present invention, the color and thickness of the line to be drawn can be set by the rotation angle of the touch pen 15. Thereby, for example, when giving a presentation, the user can change the color of the line drawn according to the main point by changing the rotation angle of the touch pen 15. In addition, for example, when a plurality of people explain while writing pictures or characters on the screen, if the rotation angle of the touch pen 15 is determined for each person who explains, the color of the line drawn varies depending on the person who explains. Can be.

次に、タッチペン15の両端座標の検出について説明する。図5〜図7は、タッチペン15の両端座標の検出の説明図である。
図5に示すように、タッチパネル表示部11の画面の縦方向の長さをHとし、画面の横方向の長さをWとする。また、タッチパネル表示部11の画面の左下の座標を(0,0)とする。カメラ12aは、画面の左上の座標(0,H)に、その撮像方向が45度右下を向くように設置される。カメラ12bは、画面の右上の座標(W,H)に、撮像方向が45度左下を向くように設置される。
Next, detection of both end coordinates of the touch pen 15 will be described. 5-7 is explanatory drawing of the detection of the both-ends coordinate of the touch pen 15. FIG.
As shown in FIG. 5, the length of the screen of the touch panel display unit 11 in the vertical direction is H, and the length of the screen in the horizontal direction is W. Further, the lower left coordinate of the screen of the touch panel display unit 11 is set to (0, 0). The camera 12a is installed at the upper left coordinates (0, H) of the screen so that the imaging direction is 45 degrees to the lower right. The camera 12b is installed at the upper right coordinates (W, H) of the screen so that the imaging direction is 45 degrees lower left.

なお、カメラ12a及び12bの画角は90度以上である。また、カメラ12a及び12bは、その底面をタッチパネル表示部11の画面に対して平行に設置している。   The angles of view of the cameras 12a and 12b are 90 degrees or more. Further, the bottom surfaces of the cameras 12 a and 12 b are installed in parallel to the screen of the touch panel display unit 11.

図6は、タッチペン15の回転角θpを90度で使用した場合を示している。
カメラ12aにより、タッチペン15の長辺方向の一端A及び他端Bが撮影される。この例では、カメラ12aから検知したタッチペン15の左端部がタッチペン15の一端Aとなり、カメラ12aから検知したタッチペン15の右端部がタッチペン15の他端Bとなる。
FIG. 6 shows a case where the rotation angle θp of the touch pen 15 is used at 90 degrees.
One end A and the other end B of the touch pen 15 in the long side direction are photographed by the camera 12a. In this example, the left end portion of the touch pen 15 detected from the camera 12 a becomes one end A of the touch pen 15, and the right end portion of the touch pen 15 detected from the camera 12 a becomes the other end B of the touch pen 15.

カメラ12aから検知したタッチペン15の左端部と画面上辺との角度をθ1とする。また、カメラ12aから検知したタッチペン15の右端部と画面上辺との角度をθ1’とする。前述したように、カメラ12aの撮像方向は、45度右下を向くように固定されている。したがって、角度θ1及び角度θ1’は、カメラ12aから検知したタッチペン15の左端部及び右端部の撮像画面上での水平方向の位置から判定できる。   The angle between the left end of the touch pen 15 detected from the camera 12a and the upper side of the screen is defined as θ1. Further, the angle between the right end portion of the touch pen 15 detected from the camera 12a and the upper side of the screen is defined as θ1 ′. As described above, the imaging direction of the camera 12a is fixed so as to face 45 degrees to the lower right. Therefore, the angle θ1 and the angle θ1 ′ can be determined from the horizontal positions on the imaging screen of the left end and the right end of the touch pen 15 detected from the camera 12a.

また、カメラ12bにより、タッチペン15の一端A及び他端Bが撮影される。この例では、カメラ12bから検知したタッチペン15の右端部がタッチペン15の一端Aとなり、カメラ12bから検知したタッチペン15の左端部がタッチペン15の他端Bとなる。カメラ12bから検知したタッチペン15の右端部と画面上辺との角度をθ2とする。また、カメラ12bから検知したタッチペン15の左端部と画面上辺との角度をθ2’とする。角度θ2及び角度θ2’は、カメラ12bから検知したタッチペン15の右端部及び左端部の撮像画面上での水平方向の位置から判定できる。   Further, one end A and the other end B of the touch pen 15 are photographed by the camera 12b. In this example, the right end portion of the touch pen 15 detected from the camera 12b is one end A of the touch pen 15, and the left end portion of the touch pen 15 detected from the camera 12b is the other end B of the touch pen 15. An angle between the right end portion of the touch pen 15 detected from the camera 12b and the upper side of the screen is defined as θ2. Further, the angle between the left end portion of the touch pen 15 detected from the camera 12b and the upper side of the screen is defined as θ2 ′. The angle θ2 and the angle θ2 ′ can be determined from the horizontal positions on the imaging screen of the right and left ends of the touch pen 15 detected from the camera 12b.

図6において、タッチペン15の一端Aの座標を(x1,y1)とし、タッチペン15の他端Bの座標を(x3,y3)とする。タッチペン15の一端Aの座標(x1,y1)は、カメラ12aから検知したタッチペン15の左端部と画面上辺との角度θ1を用いて、以下のように求められる。   In FIG. 6, the coordinates of one end A of the touch pen 15 are (x1, y1), and the coordinates of the other end B of the touch pen 15 are (x3, y3). The coordinates (x1, y1) of one end A of the touch pen 15 are obtained as follows using the angle θ1 between the left end portion of the touch pen 15 detected from the camera 12a and the upper side of the screen.

tanθ1=(H−y1)/x1 … (1)   tan θ1 = (H−y1) / x1 (1)

また、タッチペン15の一端Aの座標(x1,y1)は、カメラ12bから検知したタッチペン15の右端部と画面上辺との角度θ2を用いて、以下のように求められる。   Further, the coordinates (x1, y1) of the one end A of the touch pen 15 are obtained as follows using the angle θ2 between the right end portion of the touch pen 15 detected from the camera 12b and the upper side of the screen.

tanθ2=(H−y1)/(W−x1)… (2)   tan θ2 = (H−y1) / (W−x1) (2)

(1)式及び(2)式から、タッチペン15の一端Aの座標(x1,y1)を求めることができる。   From the equations (1) and (2), the coordinates (x1, y1) of the one end A of the touch pen 15 can be obtained.

タッチペン15の他端Bの座標(x3,y3)は、カメラ12aから検知したタッチペン15の右端部と画面上辺との角度θ1’を用いて、以下のように求められる。   The coordinates (x3, y3) of the other end B of the touch pen 15 are obtained as follows using the angle θ1 'between the right end portion of the touch pen 15 detected from the camera 12a and the upper side of the screen.

tanθ1’=(H−y3)/x3 … (3)   tan θ1 ′ = (H−y3) / x3 (3)

また、タッチペン15の他端Bの座標(x3,y3)は、カメラ12bから検知したタッチペン15の左端部と画面上辺との角度θ2’を用いて、以下のように求められる。   Further, the coordinates (x3, y3) of the other end B of the touch pen 15 are obtained as follows using the angle θ2 ′ between the left end portion of the touch pen 15 and the upper side of the screen detected from the camera 12b.

tanθ2’=(H−y3)/(W−x3) … (4)   tan θ2 ′ = (H−y3) / (W−x3) (4)

(3)式及び(4)式から、タッチペン15の他端Bの座標(x3,y3)を求めることができる。   From the equations (3) and (4), the coordinates (x3, y3) of the other end B of the touch pen 15 can be obtained.

図7は、タッチペン15の回転角θpを0度にして使用した場合を示している。カメラ12aにより、タッチペン15の一端A及び他端Bが撮影される。この例では、カメラ12aから検知したタッチペン15の左端部がタッチペン15の一端Aとなり、カメラ12aから検知したタッチペン15の右端部がタッチペン15の他端Bとなる。   FIG. 7 shows a case where the rotation angle θp of the touch pen 15 is used with 0 degree. One end A and the other end B of the touch pen 15 are photographed by the camera 12a. In this example, the left end portion of the touch pen 15 detected from the camera 12 a becomes one end A of the touch pen 15, and the right end portion of the touch pen 15 detected from the camera 12 a becomes the other end B of the touch pen 15.

また、カメラ12bにより、タッチペン15の一端A及び他端Bが撮影される。この例では、カメラ12bから検知したタッチペン15の左端部がタッチペン15の一端Aとなり、カメラ12bから検知したタッチペン15の右端部がタッチペン15の他端Bとなる。   Further, one end A and the other end B of the touch pen 15 are photographed by the camera 12b. In this example, the left end portion of the touch pen 15 detected from the camera 12b is one end A of the touch pen 15, and the right end portion of the touch pen 15 detected from the camera 12b is the other end B of the touch pen 15.

図7において、タッチペン15の一端Aの座標を(x2,y2)とし、タッチペン15の他端Bの座標を(x4,y4)とする。タッチペン15の一端Aの座標(x2,y2)は、カメラ12aから検知したタッチペン15の左端部と画面上辺との角度θ1を用いて、以下のように求められる。   In FIG. 7, the coordinates of one end A of the touch pen 15 are (x2, y2), and the coordinates of the other end B of the touch pen 15 are (x4, y4). The coordinates (x2, y2) of one end A of the touch pen 15 are obtained as follows using the angle θ1 between the left end portion of the touch pen 15 detected from the camera 12a and the upper side of the screen.

tanθ1=(H−y2)/x2 … (5)   tan θ1 = (H−y2) / x2 (5)

また、タッチペン15の一端Aの座標(x2,y2)は、カメラ12bから検知したタッチペン15の左端部と画面上辺との角度θ2’を用いて、以下のように求められる。   Further, the coordinates (x2, y2) of the one end A of the touch pen 15 are obtained as follows using the angle θ2 ′ between the left end portion of the touch pen 15 and the upper side of the screen detected from the camera 12b.

tanθ2’=(H−y2)/(W−x2)… (6)   tan θ2 ′ = (H−y2) / (W−x2) (6)

(5)式及び(6)式から、タッチペン15の一端Aの座標(x2,y2)を求めることができる。   From the equations (5) and (6), the coordinates (x2, y2) of the one end A of the touch pen 15 can be obtained.

タッチペン15の他端Bの座標(x4,y4)は、カメラ12aから検知したタッチペン15の右端部と画面上辺との角度θ1’を用いて、以下のように求められる。   The coordinates (x4, y4) of the other end B of the touch pen 15 are obtained as follows using the angle θ1 ′ between the right end portion of the touch pen 15 detected from the camera 12a and the upper side of the screen.

tanθ1’=(H−y4)/x4 … (7)   tan θ1 ′ = (H−y4) / x4 (7)

タッチペン15の他端Bの座標(x4,y4)は、カメラ12bから検知したタッチペン15の右端部と画面上辺との角度θ2を用いて、以下のように求められる。   The coordinates (x4, y4) of the other end B of the touch pen 15 are obtained as follows using the angle θ2 between the right end portion of the touch pen 15 detected from the camera 12b and the upper side of the screen.

tanθ2=(H−y4)/(W−x4) … (8)   tan θ2 = (H−y4) / (W−x4) (8)

(7)式及び(8)式から、タッチペン15の他端Bの座標(x4,y4)を求めることができる。   From the equations (7) and (8), the coordinates (x4, y4) of the other end B of the touch pen 15 can be obtained.

以上のように、タッチペン15の両端座標は、タッチペン15が図6に示すような回転角の場合には、(1)式及び(2)式と、(3)式及び(4)式とにより求められる座標(x1,y1)及び座標(x3,y3)となる。また、タッチペン15が図7に示すような回転角の場合には、(5)式及び(6)式と、(7)式及び(8)式とにより求められる座標(x2,y2)及び座標(x4,y4)となる。座標(x1,y1)及び座標(x3,y3)と、座標(x2,y2)及び座標(x4,y4)とのどちらをタッチペン15の両端座標として採用するかは、座標間の長さがタッチペン15の横方向の実際の長さLと一致しているかどうかにより判定できる。   As described above, when the touch pen 15 has a rotation angle as shown in FIG. 6, the coordinates of both ends of the touch pen 15 are expressed by Equations (1) and (2), Equations (3), and (4). The obtained coordinates (x1, y1) and coordinates (x3, y3) are obtained. When the touch pen 15 has a rotation angle as shown in FIG. 7, the coordinates (x2, y2) and the coordinates obtained from the expressions (5) and (6) and the expressions (7) and (8) are used. (X4, y4). Which of the coordinates (x1, y1) and coordinates (x3, y3) and the coordinates (x2, y2) and coordinates (x4, y4) is adopted as the both end coordinates of the touch pen 15 depends on the length between the coordinates. It can be determined by whether or not it matches 15 actual lengths L in the horizontal direction.

図8は、タッチペン座標算出部13での処理を示すフローチャートである。
図8において、タッチペン座標算出部13は、カメラ12aの撮像画像から、タッチペン15の左端部と画面上辺との角度θ1と、タッチペン15の右端部と画面上辺との角度θ1’とを検出する(ステップS101)。
FIG. 8 is a flowchart showing processing in the touch pen coordinate calculation unit 13.
In FIG. 8, the touch pen coordinate calculation unit 13 detects an angle θ1 between the left end portion of the touch pen 15 and the upper side of the screen and an angle θ1 ′ between the right end portion of the touch pen 15 and the upper side of the screen from the captured image of the camera 12a ( Step S101).

また、タッチペン座標算出部13は、カメラ12bの撮像画像から、タッチペン15の右端部と画面上辺との角度θ2と、タッチペン15の左端部と画面上辺との角度θ2’とを検出する(ステップS102)。   Further, the touch pen coordinate calculation unit 13 detects an angle θ2 between the right end portion of the touch pen 15 and the upper side of the screen and an angle θ2 ′ between the left end portion of the touch pen 15 and the upper side of the screen from the captured image of the camera 12b (step S102). ).

次に、タッチペン座標算出部13は、(1)式及び(2)式により、座標(x1,y1)を算出する(ステップS103)。   Next, the touch pen coordinate calculation unit 13 calculates the coordinates (x1, y1) using the equations (1) and (2) (step S103).

また、タッチペン座標算出部13は、(3)式及び(4)式により、座標(x3,y3)を算出する(ステップS104)。   Further, the touch pen coordinate calculation unit 13 calculates the coordinates (x3, y3) by using the expressions (3) and (4) (step S104).

また、タッチペン座標算出部13は、(5)式及び(6)式により、座標(x2,y2)を算出する(ステップS105)。   Further, the touch pen coordinate calculation unit 13 calculates the coordinates (x2, y2) by using the equations (5) and (6) (step S105).

また、タッチペン座標算出部13は、(7)式及び(8)式により、座標(x4,y4)を算出する(ステップS106)。   Further, the touch pen coordinate calculation unit 13 calculates the coordinates (x4, y4) by using the equations (7) and (8) (step S106).

次に、タッチペン座標算出部13は、座標(x1,y1)と座標(x3,y3)との距離L1を算出する(ステップS107)。   Next, the touch pen coordinate calculation unit 13 calculates a distance L1 between the coordinates (x1, y1) and the coordinates (x3, y3) (step S107).

そして、タッチペン座標算出部13は、距離L1とタッチペン15の横方向の長さLとの誤差ΔL1を算出する(ステップS108)。   Then, the touch pen coordinate calculation unit 13 calculates an error ΔL1 between the distance L1 and the horizontal length L of the touch pen 15 (step S108).

また、タッチペン座標算出部13は、座標(x2,y2)と座標(x4,y4)との距離L2を算出する(ステップS109)。   In addition, the touch pen coordinate calculation unit 13 calculates a distance L2 between the coordinates (x2, y2) and the coordinates (x4, y4) (step S109).

そして、タッチペン座標算出部13は、距離L2とタッチペン15の横方向の長さLとの誤差ΔL2を算出する(ステップS110)。   Then, the touch pen coordinate calculation unit 13 calculates an error ΔL2 between the distance L2 and the horizontal length L of the touch pen 15 (step S110).

そして、タッチペン座標算出部13は、誤差ΔL1が誤差ΔL2より小さいか否かを判定する(ステップS111)。   Then, the touch pen coordinate calculation unit 13 determines whether or not the error ΔL1 is smaller than the error ΔL2 (step S111).

誤差ΔL1が誤差ΔL2より小さい場合には(ステップS111:Yes)、タッチペン座標算出部13は、座標(x1,y1)と座標(x3,y3)をタッチペン15の両端座標とする(ステップS112)。   When the error ΔL1 is smaller than the error ΔL2 (step S111: Yes), the touch pen coordinate calculation unit 13 sets the coordinates (x1, y1) and the coordinates (x3, y3) as the both end coordinates of the touch pen 15 (step S112).

誤差ΔL1が誤差ΔL2より小さくない場合には(ステップS111:No)、タッチペン座標算出部13は、座標(x2,y2)と座標(x4,y4)をタッチペン15の両端座標とする(ステップS113)。   When the error ΔL1 is not smaller than the error ΔL2 (step S111: No), the touch pen coordinate calculation unit 13 sets the coordinates (x2, y2) and the coordinates (x4, y4) as the both end coordinates of the touch pen 15 (step S113). .

そして、タッチペン座標算出部13は、決定された両端座標を用いて、タッチペン15の中心座標(x,y)を算出する(ステップS114)。タッチペン15の中心座標(x,y)は、タッチペン15の両端座標が座標(x1,y1)及び座標(x3,y3)の場合、以下のようにして算出できる。   Then, the touch pen coordinate calculation unit 13 calculates the center coordinates (x, y) of the touch pen 15 using the determined both end coordinates (step S114). The center coordinates (x, y) of the touch pen 15 can be calculated as follows when the both end coordinates of the touch pen 15 are the coordinates (x1, y1) and the coordinates (x3, y3).

x=(x1+x3)/2
y=(y1+y3)/2
x = (x1 + x3) / 2
y = (y1 + y3) / 2

また、タッチペン座標算出部13は、決定された両端座標を用いて、タッチペン15の回転角θpを算出する(ステップS115)。タッチペン15の回転角θpは、タッチペン15の両端座標が座標(x1,y1)及び座標(x3,y3)の場合、以下のようにして算出できる。   Further, the touch pen coordinate calculation unit 13 calculates the rotation angle θp of the touch pen 15 using the determined both end coordinates (step S115). The rotation angle θp of the touch pen 15 can be calculated as follows when the both end coordinates of the touch pen 15 are coordinates (x1, y1) and coordinates (x3, y3).

θp=tan−1(y1+y3)/(x1+x3) θp = tan −1 (y1 + y3) / (x1 + x3)

以上説明したように、本発明の第1の実施形態に係るタッチパネル入力システム1では、タッチパネル表示部11を操作するタッチペン15の回転角を変えることにより、描画する線の色や太さを変更することが可能となる。また、複数人で描画する場合、それぞれの人が描画する線の色や太さを分けることが可能となる。また、本発明の第1の実施形態に係るタッチパネル入力システム1では、タッチペン15に電子回路を組み込む必要がないため、コストダウンを図ることができる。   As described above, in the touch panel input system 1 according to the first embodiment of the present invention, the color and thickness of the line to be drawn are changed by changing the rotation angle of the touch pen 15 that operates the touch panel display unit 11. It becomes possible. In addition, when drawing by a plurality of people, it is possible to divide the color and thickness of the line drawn by each person. Further, in the touch panel input system 1 according to the first embodiment of the present invention, it is not necessary to incorporate an electronic circuit in the touch pen 15, so that the cost can be reduced.

図9は、本発明による入力装置の基本構成を示す概略ブロック図である。
本発明による入力装置は、画面100近傍で制御装置101に入力を行う入力装置であって、指示体104と、撮像部106と、座標算出部107とを備える。
指示体104は、先端に板状部103を有する。
撮像部106は、指示体104を検出する複数のカメラ105a、105bを有する。
座標算出部107は、撮像部106の画像に基づいて、指示体104の両端の座標を算出し、指示体104の回転角度を算出する。座標算出部107は、指示体104の回転角度に応じて制御装置101に入力指示を与える。
FIG. 9 is a schematic block diagram showing the basic configuration of the input device according to the present invention.
The input device according to the present invention is an input device that performs input to the control device 101 near the screen 100, and includes an indicator 104, an imaging unit 106, and a coordinate calculation unit 107.
The indicator 104 has a plate-like portion 103 at the tip.
The imaging unit 106 includes a plurality of cameras 105 a and 105 b that detect the indicator 104.
The coordinate calculation unit 107 calculates the coordinates of both ends of the indicator 104 based on the image of the imaging unit 106, and calculates the rotation angle of the indicator 104. The coordinate calculation unit 107 gives an input instruction to the control device 101 according to the rotation angle of the indicator 104.

なお、タッチパネル入力システム1の全部又は一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
A program for realizing all or part of the functions of the touch panel input system 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed. You may perform the process of each part. Here, the “computer system” includes an OS and hardware such as peripheral devices.
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。   The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention.

1:タッチパネル入力システム,
10:タッチパネル内蔵表示装置,
11:タッチパネル表示部,
12a,12b:カメラ,
13:タッチペン座標算出部,
14:制御装置,
15:タッチペン,
23:板状部
1: Touch panel input system,
10: Display device with built-in touch panel,
11: Touch panel display section,
12a, 12b: camera,
13: Touch pen coordinate calculation unit,
14: control device,
15: Touch pen,
23: Plate-shaped part

Claims (6)

画面近傍で制御装置に入力を行う入力装置であって、
側面方向から撮像された場合に回転角度によって横方向の両端の長さが異なって撮像される板状部を有する指示体と、
前記指示体を検出する複数のカメラを有する撮像部と、
前記撮像部の画像に基づいて、前記指示体の前記両端の座標を算出し、前記指示体の前記回転角度を算出する座標算出部とを備え、
前記指示体の前記回転角度に応じて前記制御装置に入力指示を与えるようにしたことを特徴とする入力装置。
An input device for inputting to the control device near the screen,
An indicator having a plate-like portion that is imaged with different lengths at both ends in the lateral direction depending on the rotation angle when imaged from the side surface;
An imaging unit having a plurality of cameras for detecting the indicator;
A coordinate calculation unit that calculates the coordinates of the both ends of the indicator based on the image of the imaging unit and calculates the rotation angle of the indicator;
An input device characterized in that an input instruction is given to the control device in accordance with the rotation angle of the indicator.
前記撮像部は、前記画面近傍を撮影する2つのカメラからなり、
前記座標算出部は、前記2つのカメラからの撮像画像から、前記指示体の両端の座標を算出し、前記両端の座標から前記指示体の回転角度を算出することを特徴とする請求項1に記載の入力装置。
The imaging unit is composed of two cameras that photograph the vicinity of the screen,
The coordinate calculation unit calculates coordinates of both ends of the indicator from the captured images from the two cameras, and calculates a rotation angle of the indicator from the coordinates of the both ends. The input device described.
前記指示体の回転角度と、前記制御装置の動作とを対応させるようにしたことを特徴とする請求項1又は2に記載の入力装置。   The input device according to claim 1, wherein a rotation angle of the indicator corresponds to an operation of the control device. 前記指示体の回転角度に応じて、描画する線の色を設定するようにしたことを特徴とする請求項3に記載の入力装置。   The input device according to claim 3, wherein a color of a line to be drawn is set according to a rotation angle of the indicator. 前記指示体の回転角度に応じて、描画する線の太さを設定するようにしたことを特徴とする請求項3に記載の入力装置。   The input device according to claim 3, wherein a thickness of a line to be drawn is set according to a rotation angle of the indicator. 先端に板状部を有する指示体を設けるとともに、前記指示体を検出する複数のカメラを有する撮像部を設け、
前記指示体を複数のカメラで撮影し、
前記カメラで撮影された画像に基づいて、前記指示体の回転角度を算出し、
前記指示体の回転角度に応じて制御装置に入力指示を与えるようにしたことを特徴とする入力方法。
Provided with an indicator having a plate-like portion at the tip, and provided with an imaging unit having a plurality of cameras for detecting the indicator,
Shooting the indicator with a plurality of cameras,
Based on the image taken by the camera, the rotation angle of the indicator is calculated,
An input method characterized in that an input instruction is given to the control device in accordance with the rotation angle of the indicator.
JP2016042121A 2016-03-04 2016-03-04 Input device and input method Pending JP2017157135A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016042121A JP2017157135A (en) 2016-03-04 2016-03-04 Input device and input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016042121A JP2017157135A (en) 2016-03-04 2016-03-04 Input device and input method

Publications (1)

Publication Number Publication Date
JP2017157135A true JP2017157135A (en) 2017-09-07

Family

ID=59809874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016042121A Pending JP2017157135A (en) 2016-03-04 2016-03-04 Input device and input method

Country Status (1)

Country Link
JP (1) JP2017157135A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016629B2 (en) 2018-10-25 2021-05-25 Seiko Epson Corporation Display device, method for controlling display device, and display system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016629B2 (en) 2018-10-25 2021-05-25 Seiko Epson Corporation Display device, method for controlling display device, and display system

Similar Documents

Publication Publication Date Title
JP5759660B2 (en) Portable information terminal having touch screen and input method
US9544556B2 (en) Projection control apparatus and projection control method
JP7005161B2 (en) Electronic devices and their control methods
US20170214856A1 (en) Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
JP2007121489A (en) Portable display device
EP2902867A1 (en) Portable apparatus and method for adjusting window size thereof
US20130120289A1 (en) Information processing apparatus and method of controlling same
US10979700B2 (en) Display control apparatus and control method
JP5384706B2 (en) Multi-touch operation method and system
TWI499938B (en) Touch control system
JP6792721B2 (en) Electronics, programs, controls and control methods
TW201523425A (en) Desktop-like device and method for displaying user interface
JP2017157135A (en) Input device and input method
JP2017162126A (en) Input system, input method, control program and storage medium
KR102278229B1 (en) Electronic device and its control method
JP2018116346A (en) Input control device, display device, and input control method
JP2018018308A (en) Information processing device and control method and computer program therefor
JP7005160B2 (en) Electronic devices and their control methods
KR101204868B1 (en) Projector with virtual input interface and Method of inputting data with virtual input interface
JP2014049023A (en) Input device
CN111373359A (en) Electronic device capable of changing display portion of image
JP2020149336A (en) Information processor, display control method, and program
JP2015216484A (en) Imaging device, image processing method, program, and recording medium
TW201913298A (en) Virtual reality system capable of showing real-time image of physical input device and controlling method thereof
JP2014160412A (en) Browsing device and browsing system