CN101730876A - 使用相机和输出标记的指点装置 - Google Patents

使用相机和输出标记的指点装置 Download PDF

Info

Publication number
CN101730876A
CN101730876A CN200880017306A CN200880017306A CN101730876A CN 101730876 A CN101730876 A CN 101730876A CN 200880017306 A CN200880017306 A CN 200880017306A CN 200880017306 A CN200880017306 A CN 200880017306A CN 101730876 A CN101730876 A CN 101730876A
Authority
CN
China
Prior art keywords
image
mark
pointing device
processing section
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880017306A
Other languages
English (en)
Other versions
CN101730876B (zh
Inventor
李汶基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN101730876A publication Critical patent/CN101730876A/zh
Application granted granted Critical
Publication of CN101730876B publication Critical patent/CN101730876B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

如鼠标或操纵杆等指点装置包括用于捕捉显示屏的相机以及用于从所捕捉图像辨识指点光标图标或标记并跟踪指点光标图标或标记且产生指点信号的图像处理构件。本发明的指点装置可与不具有如超声波传感器、红外线传感器或触摸传感器等额外跟踪构件的任何类型的显示器一起使用。本发明的指点装置包含标记输出部分、用于捕捉所述标记输出部分的相机部分以及用于从所捕捉图像辨识所述标记输出部分并产生指点信号的图像处理部分。

Description

使用相机和输出标记的指点装置
技术领域
本发明涉及如鼠标或操纵杆等指点装置，其具有用于捕捉如PC监视器等显示器的图像的相机以及用于辨识并跟踪指点光标或标记的图标的图像处理构件。本发明的指点装置可以TV遥控器或数字铁笔的形式来使用。存在类似的发明(第10-0532525-0000号韩国专利，使用相机的三维指点装置(3 dimensional pointing device using camera))。所述类似的发明具有这样的问题：其需要通过相机来捕捉附接在显示器上的光学标记(如红外线LED等光源)，且电子黑板的指点装置具有这样的问题：其需要超声波传感器或红外线传感器。PDA或平板PC的指点装置具有这样的问题：其需要压力传感器或触摸传感器。如OLED等便携式柔性薄膜显示器难以在其上采用此类常规的沉重且庞大的传感器***。
发明内容
技术问题
为了解决所述问题，本发明的目标是提供不需要任何附接在显示器上的传感器***(如红外线LED、超声波传感器、红外线传感器和压力传感器)的指点装置。
技术解决方案
本发明提供使用显示在屏幕上的光标图标或图案作为标记来代替如红外线光源或超声波源等物理标记的指点装置。
有利效用
通过使用本发明的指点装置，有可能在不在包含如OLED等柔性显示器的显示器上附接物理传感器***或跟踪标记的情况下，移动如鼠标或操纵杆光标等指点光标。
附图说明
图1是作为平板PC和笔型相机的本发明的实施例。
图2是在向左方向上移动的箭头标记。
图3是在向左下方向上移动的箭头标记。
图4是二维显示单元阵列。
图5是标记图像的实例。
图6是图5的负图像。
图7是正在输出二维图案单元阵列的标记图像的显示器。
<图中符号>
mo：监视器，mk：标记
ca：相机，st：铁笔
r：铁笔的旋转
mkb：二维图案单元阵列的标记图像
具体实施方式
实施例1
本发明的指点装置包含如常规显示器(计算机监视器、TV监视器、射束投影屏幕)等标记输出部分、用于捕捉所述标记输出部分的相机部分以及从所捕捉到的图像辨识标记且产生指点信号的图像处理部分。相机部分的外观可为用于数字TV的遥控器、用于平板PC的铁笔或用于射击游戏的***控制器。图像处理部分可为DSP(数字信号处理器)、微控制器或计算机中的图像处理程序。所述标记可为具有箭头形状的常规鼠标光标或任何类型的图案，如+、手或某种用户定义的游戏图标。如果标记可由图像处理部分辨识，那么标记的大小、形状和颜色没有限制。图1绘示本发明的指点装置，其为平板PC的显示器(mo)上的笔型相机(ca)。相机捕捉标记(mr)，其为显示器上的箭头图标(mk)，如微软视窗(Microsoft Windows)的常规鼠标光标图标。将所捕捉到的图像(运动视频)传送到图像处理部分，其辨识所述标记且产生指点信号。为了进行指点工作，首先，用户必须将笔型相机移动到显示器的光标图标上，使得光标图标可由笔型相机捕捉。而且，如果用户通过在显示器上书写字符或绘制多边形而移动笔型相机，那么标记在所捕捉图像中的位置从图像的中心移动到图像的边界，且标记在所捕捉图像中的移动(换句话说，运动向量)可由图像处理部分通过将先前帧图像与当前帧图像进行比较而辨识。图像处理部分将所检测到的运行向量传送到标记输出部分，且标记输出部分产生控制信号以将标记(光标图标)移回到所捕捉图像的中心，使得标记跟随笔型相机的移动。举例来说，如果图1中的笔型相机在x方向(dx)上移动，那么所捕捉图像中的标记在-x方向(-dx)上移动，如图2中所示，其中x方向是水平的且y方向是垂直的，如图1中所示。接着，图像处理部分产生信号，使得标记输出部分可增加标记的x坐标，其中增量的量与所捕捉图像的中心和标记在所捕捉图像中的位置之间的距离成比例。换句话说，图像处理部分找到标记在所捕捉图像中的运动向量，且标记输出部分改变标记在所找到的运动向量的负方向上的坐标。在微软视窗中，光标的此移动可通过使用视窗API(应用程序接口)来控制，所述视窗API可读取并改变鼠标光标的坐标。如果所捕捉图像中的标记位于所捕捉图像的中心，那么运动向量为零向量且不存在标记的位置改变。图3绘示标记从先前帧中的虚线箭头到当前帧中的实线箭头的运动向量。通过辨识标记的大小和形状失真，三维指点也是可能的。举例来说，较小的标记表示笔型相机与显示器之间的较大距离，且较大标记表示笔型相机与显示器之间的较小距离。标记的此大小信息可用作鼠标光标(x，y)的另一坐标(z)。标记在所捕捉图像中的方向也可用作另一坐标(图l中的旋转角度r)。可通过辨识含有如矩形或三角形的顶点等特征点的标记的失真来检测笔型相机的观看方向并将其用作指点信号。此失真分析和计算相机与特征点之间的相对方向是被称为图像处理技术中的透视n点问题的众所周知的技术，且可在http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL COPIES/MARBLE/high/pia/solving.htm中找到详细描述。
如果标记在笔型相机的观看方向之外，那么图像处理部分无法从所捕捉图像检测所述标记，且标记的移动停止。为了继续指点程序，用户必须将笔型相机搬运到标记处，并改变笔型相机的观看方向，使得所述标记可由笔型相机捕捉。通过向笔型相机添加复位按钮，可去除此搬运动作。如果用户按压复位按钮，那么标记改变其位置。更具体地说，标记输出部分通过复位按钮的触发信号来依序改变标记的位置，如图4中所示。标记以下列方式水平移动
从(0，0)到(5，0)，且
从(0，1)到(5，1)，且
从(0，2)到(5，2)，且
从(0，3)到(5，3)，且
从(0，4)到(5，4)，且
且最后从(0，5)到(5，5)。换句话说，标记依序扫描所有单元。如果标记图像在扫描期间被图像处理部分捕捉并辨识到，那么此时停止扫描且开始指点程序。图4中的6×6个显示单元是实例，且必须针对给定显示器和相机来调整单元的真实数目。推荐快速移动所述标记且使用快速相机，使得人眼无法辨识所述扫描。
本发明的模式
实施例2
以上实施例1是通过触摸显示器来使用的笔型相机。如果相机远离显示器，那么所捕捉标记太小而不能被辨识。在此情况下，推荐使用相机的自动对焦***且配合相机使用伸缩式镜头或变焦距镜头。通过使用此光学设备，有可能将本发明的指点装置用作用于平板PC的电子笔和用于数字TV的遥控器。
实施例3
以上实施例1中的标记是固定图案，但在此实施例中，标记是整个显示图像，且必须调整相机与显示器之间的距离，使得可捕捉整个显示图像。标记输出部分包含图像传送部分，其将显示图像传送到图像处理部分。图像处理部分通过将所捕捉图像的子区与所传送的显示图像进行比较来从所捕捉图像找出显示区(其被称为基于模型的视觉)。在微软视窗XP中，按压计算机键盘的打印屏幕Sys Rq键将捕捉显示图像，且将图像存储到剪贴板中。此图像传送可通过软件借助模拟按键或通过使用装置驱动器来进行。图像传送部分还可由硬件实施。图像处理部分从所找到的显示中找出特征点，且可通过使用透视n点问题的公式来获得相机与显示器之间的相对距离和方向，且此距离和方向信息可用于产生指点信号。第10-0532525-0000号韩国专利是借助于分析矩形的特征点的三维指点装置。本发明的指点装置实时地从显示图像选择特征点，且特征点对于每一帧并不固定。基于模型的视觉是用以找出已知模型(所传送的显示图像)与给定图像(相机所捕捉到的图像)之间的对应关系的技术，且在大卫·A·福塞斯(David A.Forsyth)和吉恩·庞塞(Jean Ponce)的计算机视觉----现代方法(ISBN：0-13-085198-1)的第18章中公开。
实施例4
如果显示的背景较简单(例如，射束投射到白墙上)，那么从所捕捉图像检测显示区是简单的程序，但如果显示的背景不简单，那么从所捕捉图像检测显示区并不如此简单。为了容易地从所捕捉图像检测显示区，可将闪光产生部分添加到实施例3的标记输出部分，且可将差异图像计算部分添加到实施例3的图像处理部分。更具体地说，标记输出部分针对每个偶数帧(0、2、4、……)输出空白图像，且针对每个奇数帧(1、3、5……)输出正常图像。(此奇数和偶数帧是实例，且在真实实施方案中，有可能使用0、4、8、……作为偶数帧，且使用1、2、3、5、6、7、……作为奇数帧，换句话说，可在真实实施方案中调整帧频率。)空白图像表示其所有像素均具有相同亮度和颜色的图像。推荐使显示的帧速率(每秒帧数目)保持较大，使得人眼无法辨识到闪光，且也使相机的帧速率保持较大，使得相机可捕捉显示的偶数和奇数帧。图像处理部分获得先前帧的所捕捉图像与当前帧的所捕捉图像之间的差异图像。差异图像是图像处理技术中众所周知的概念，其像素值被定义为两个图像的两个对应像素之间的差异。(两个图像的两个对应像素意味着两个像素的(x，y)位置是相同的。)图像处理部分所计算的差异图像的非零像素对应于闪光显示区，且差异图像的零像素对应于显示的背景(非闪光区)。换句话说，可通过计算差异图像并从差异图像选择非零像素来检测闪光显示。实际上，如果相机未固定，那么显示的背景的边缘线可对应于非零像素，但可通过使用高速闪光频率和高速相机来使此些非零像素减到最少。差异图像的非零像素的区是所捕捉图像中用于闪光显示区的候选者，且可由基于模型的视觉来确定比实施例3更精确的显示区。可将所找到的显示区与所传送的显示图像进行比较，且可如实施例3那样产生指点信号。
实施例5
实施例4的用于每个偶数帧(0、2、4……)的空白图像可由可辨识图案(标记)代替，且图像处理部分可通过仅分析偶数帧的所捕捉图像来辨识所述图案。图5绘示所述图案(标记)的实例，其含有开口矩形以及位于矩形中心处的+。所述+标记表示标记的中心，且矩形可用于三维指点。不存在对图案的大小、形状和颜色的限制。举例来说，多边形、线、条形码、字母和数字可为此图案。辨识字符是被称为OCR(光学字符辨识)的众所周知的技术。
实施例6
实施例5的可辨识图案可被***成图案图像和所述图案图像的负图像。如果标记输出部分以足够高的频率依序且重复输出图案图像(针对0、3、6、……帧)、负图案图像(针对1、4、7、……帧)和正常图像(针对2、5、8、……帧)，那么人眼无法辨识所述图案图像，但可仅辨识正常图像，因为图案和其负图案最终得到时间平衡。但是，高速相机可捕捉所述图案图像且可通过图像处理部分来辨识所述图案图像。图5和图6是图案图像和其负图像的实例。
实施例7
实施例4到6的标记图像可为二维图案阵列，其中每一图案表示显示的二维位置(x，y)。图案可为二维条形码或数字。图7绘示二维单元阵列，其中每一单元含有图案。可通过用笔型相机采用此些图案单元作为标记图像来去除实施例1的复位按钮。单元中的所捕捉图案图像可由图像处理部分辨识且可转换为对应于指点信号的二维位置(x，y)。存在类似的发明PCT/US1999/030507，其呈现具有特殊垫的用于输出绝对坐标的鼠标，其中所述垫含有图案且可由鼠标中的相机辨识。除了标记之外，当前实施例与实施例5到6之间没有差异。不存在对单元中的图案的限制。图案可为字母、数字、二维条形码。通过将矩形包含到图案中且对其进行辨识，有可能通过透视n点问题的公式来产生三维指点信号。

Claims (10)

1.一种指点装置，其包括：
标记输出部分，其用于显示标记；
相机部分，其用于捕捉所述标记输出部分的图像；
以及图像处理部分，其用于从所述相机部分的所述所捕捉图像辨识所述标记且产生指点信号。
2.根据权利要求1所述的指点装置，
所述标记为指点光标的图标，
所述图像处理部分检测从所捕捉图像的中心到所述图标在所述所捕捉图像中的位置的向量，
且所述标记输出部分控制图标的所述位置，使得通过在所述向量的相反方向上移动所述图标来使图标在所捕捉图像中的位置保持处于所述所捕捉图像的中心。
3.根据权利要求2所述的指点装置，
所述图像处理部分检测所述标记的旋转角度，且输出与所述角度成比例的指点信号。
4.根据权利要求2所述的指点装置，
所述图像处理部分检测所述标记的大小，且输出与所述大小成比例的指点信号。
5.根据权利要求2所述的指点装置，
所述图像处理部分通过检测标记的失真来检测所述相机与所述标记之间的方向向量，且输出与所述方向向量成比例的所述指点信号。
6.根据权利要求1所述的指点装置，
所述标记是整个显示图像；
所述标记输出部分包含用于将所述显示图像传送到所述图像处理部分的图像传送部分；
所述图像处理部分通过将子区的候选者与所述所传送的显示图像进行比较来检测对应于所述显示的所述子区，且产生由显示在所述所捕捉图像中的位置、大小和失真决定的所述指点信号。
7.根据权利要求6所述的指点装置，
所述标记输出部分依序且重复输出空白图像和正常图像；
所述图像处理部分通过从差异图像检测非零像素来从所述所捕捉图像检测所述显示，所述差异图像的像素值是当前帧的所捕捉图像与先前帧的所捕捉图像的差异。
8.根据权利要求1所述的指点装置，
所述标记输出部分依序且重复输出标记图像和正常图像，
所述图像处理部分从所述所捕捉图像检测所述标记，且产生由标记在所述所捕捉图像中的位置、大小和失真决定的所述指点信号。
9.根据权利要求1所述的指点装置，
所述标记输出部分依序且重复输出所述标记图像、所述标记图像的负图像和正常图像，
所述图像处理部分从所述所捕捉图像检测所述标记，且产生由标记在所述所捕捉图像中的位置、大小和失真决定的所述指点信号。
10.根据权利要求8到9中任一权利要求所述的指点装置，
所述标记是二维单元阵列，其中每一单元含有表示所述单元的位置的图案，
所述图像处理部分辨识所述单元图案，且产生由所述图案决定的所述指点信号。
CN2008800173060A 2007-05-26 2008-05-25 使用相机和输出标记的指点装置 Expired - Fee Related CN101730876B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR10-2007-0051168 2007-05-26
KR20070051168 2007-05-26
KR20070080925 2007-08-10
KR10-2007-0080925 2007-08-10
KR10-2007-0095580 2007-09-19
KR20070095580 2007-09-19
KR10-2007-0098528 2007-09-30
KR20070098528 2007-09-30
KR10-2008-0041623 2008-05-05
KR20080041623A KR100936816B1 (ko) 2007-05-26 2008-05-05 카메라와 마크 출력에의한 포인팅 장치
PCT/KR2008/002913 WO2008147083A2 (en) 2007-05-26 2008-05-25 Pointing device using camera and outputting mark

Publications (2)

Publication Number Publication Date
CN101730876A true CN101730876A (zh) 2010-06-09
CN101730876B CN101730876B (zh) 2012-12-12

Family

ID=40365952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800173060A Expired - Fee Related CN101730876B (zh) 2007-05-26 2008-05-25 使用相机和输出标记的指点装置

Country Status (6)

Country Link
US (1) US20100103099A1 (zh)
EP (1) EP2150880A2 (zh)
JP (3) JP5122641B2 (zh)
KR (1) KR100936816B1 (zh)
CN (1) CN101730876B (zh)
WO (1) WO2008147083A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103828357A (zh) * 2011-09-30 2014-05-28 李汶基 基于立体图像的图像处理***
CN104769486A (zh) * 2012-10-11 2015-07-08 李汶基 使用偏振差摄像机的图像处理***
CN104813341A (zh) * 2012-10-22 2015-07-29 李汶基 使用差分相机的图像处理设备
CN106775000A (zh) * 2016-10-18 2017-05-31 广州视源电子科技股份有限公司 智能终端光标跟随鼠标笔笔头移动的方法及装置
CN107479729A (zh) * 2017-06-20 2017-12-15 广州视源电子科技股份有限公司 触控点的定位方法、装置、***、显示终端以及书写笔
CN111656767A (zh) * 2018-04-03 2020-09-11 三星电子株式会社 电子装置及其操作方法
CN112882612A (zh) * 2021-01-12 2021-06-01 京东方科技集团股份有限公司 一种显示方法、显示设备及显示***

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936816B1 (ko) * 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
US20130187854A1 (en) 2007-05-26 2013-07-25 Moon Key Lee Pointing Device Using Camera and Outputting Mark
US8007522B2 (en) 2008-02-04 2011-08-30 Depuy Spine, Inc. Methods for correction of spinal deformities
KR101624505B1 (ko) * 2009-09-24 2016-05-26 삼성전자주식회사 3-ｄ 포인팅 감지 장치 및 방법
KR20110132260A (ko) * 2010-05-29 2011-12-07 이문기 모니터 기반 증강현실 시스템
KR20120013575A (ko) * 2010-08-05 2012-02-15 동우 화인켐 주식회사 좌표 인식용 프레임을 이용한 포인팅 시스템 및 방법
JP5829020B2 (ja) 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US8446364B2 (en) * 2011-03-04 2013-05-21 Interphase Corporation Visual pairing in an interactive display system
CN102710978B (zh) * 2012-04-12 2016-06-29 深圳Tcl新技术有限公司 电视机的光标移动方法及装置
US9782204B2 (en) 2012-09-28 2017-10-10 Medos International Sarl Bone anchor assemblies
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR102061881B1 (ko) 2012-10-10 2020-01-06 삼성전자주식회사 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
KR101951228B1 (ko) 2012-10-10 2019-02-22 삼성전자주식회사 멀티 디스플레이 장치 및 그 촬상 방법
KR102083918B1 (ko) 2012-10-10 2020-03-04 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
KR102083937B1 (ko) 2012-10-10 2020-03-04 삼성전자주식회사 멀티 디스플레이 장치 및 그 툴 제공 방법
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
KR20140046327A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 멀티 디스플레이 장치, 입력 펜, 멀티 디스플레이 장치의 제어 방법 및 멀티 디스플레이 시스템
CN103049111B (zh) * 2012-12-20 2015-08-12 广州视睿电子科技有限公司 一种触控笔及触控坐标计算方法
US20140277153A1 (en) 2013-03-14 2014-09-18 DePuy Synthes Products, LLC Bone Anchor Assemblies and Methods With Improved Locking
US9724145B2 (en) 2013-03-14 2017-08-08 Medos International Sarl Bone anchor assemblies with multiple component bottom loading bone anchors
US10342582B2 (en) 2013-03-14 2019-07-09 DePuy Synthes Products, Inc. Bone anchor assemblies and methods with improved locking
US9259247B2 (en) 2013-03-14 2016-02-16 Medos International Sarl Locking compression members for use with bone anchor assemblies and methods
US9775660B2 (en) 2013-03-14 2017-10-03 DePuy Synthes Products, Inc. Bottom-loading bone anchor assemblies and methods
TWI489352B (zh) * 2013-08-13 2015-06-21 Wistron Corp 光學觸控定位方法、系統及光學觸控***
CN103727899B (zh) * 2013-12-31 2015-07-01 京东方科技集团股份有限公司 一种电视***中检测遥控器旋转角度的方法及电视***
JP2021043705A (ja) * 2019-09-11 2021-03-18 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、撮像装置、情報処理システム、及びその入力処理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121293A (ja) * 1993-10-26 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 表示画面をアクセスするリモートコントローラ
JP3277052B2 (ja) * 1993-11-19 2002-04-22 シャープ株式会社 座標入力装置、および座標入力方法
JPH07200150A (ja) * 1993-12-28 1995-08-04 Casio Comput Co Ltd ペン入力装置
JPH07234755A (ja) * 1994-02-25 1995-09-05 Hitachi Ltd 座標入力手段および情報処理装置
JPH10198506A (ja) 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JPH1185395A (ja) * 1997-09-08 1999-03-30 Sharp Corp ポインティング機能付き液晶プロジェクタ装置
JP3554517B2 (ja) * 1999-12-06 2004-08-18 株式会社ナムコ ゲーム用の装置、位置検出用の装置及び情報記憶媒体
JP2001325069A (ja) * 2000-03-07 2001-11-22 Nikon Gijutsu Kobo:Kk 位置検出装置およびその方法
FR2812955A1 (fr) * 2000-08-11 2002-02-15 Yves Jean Paul Guy Reza Dispositif de pointage et de pilotage d'un curseur a distance, independant de la taille et de la technologie du dispositif d'affichage
JP2002222043A (ja) * 2001-01-29 2002-08-09 Nissan Motor Co Ltd カーソル制御装置
US6731330B2 (en) * 2001-01-30 2004-05-04 Hewlett-Packard Development Company, L.P. Method for robust determination of visible points of a controllable display within a camera view
JP4055388B2 (ja) * 2001-10-12 2008-03-05 ソニー株式会社 情報処理装置、情報処理システム、及びプログラム
JP2003280813A (ja) * 2002-03-25 2003-10-02 Ejikun Giken:Kk ポインティングデバイス、ポインタ制御装置、ポインタ制御方法及びその方法を記録した記録媒体
KR100532525B1 (ko) * 2002-05-07 2005-11-30 이문기 카메라를 이용한 삼차원 포인팅장치
JP2004171414A (ja) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> ３次元位置姿勢入力装置、方法、プログラムおよびプログラムを記録した媒体
CN1841290A (zh) * 2003-03-28 2006-10-04 精工爱普生株式会社 信息显示***及其信息处理装置、指示装置和标记显示法
US7256772B2 (en) * 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
JP2005052306A (ja) * 2003-08-01 2005-03-03 Sony Corp 位置検出システム
KR20050070870A (ko) * 2003-12-31 2005-07-07 엘지전자 주식회사 영상기기의 터치 펜 구현장치 및 그 제어방법
KR100860158B1 (ko) * 2004-01-27 2008-09-24 김철하 펜 형의 위치 입력 장치
JP2005258694A (ja) * 2004-03-10 2005-09-22 Asahi Kasei Microsystems Kk ポインティング装置
JPWO2005096129A1 (ja) * 2004-03-31 2008-02-21 株式会社タムラ製作所 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
US20060197742A1 (en) * 2005-03-04 2006-09-07 Gray Robert H Iii Computer pointing input device
JP4572758B2 (ja) * 2005-07-06 2010-11-04 ソニー株式会社 位置座標入力装置
JP2007086995A (ja) * 2005-09-21 2007-04-05 Sharp Corp ポインティング装置
JP2007114820A (ja) * 2005-10-18 2007-05-10 Sharp Corp 携帯型ポインタ装置及び表示システム
KR100708875B1 (ko) * 2006-02-10 2007-04-17 (주)소프트가족 표시화면을 가리키는 포인터의 포인팅 위치를 산출하는장치 및 방법
JP4725383B2 (ja) * 2006-03-24 2011-07-13 カシオ計算機株式会社 ポインティング装置、外部情報処理装置、指示位置特定装置、及び指示位置特定方法
US7852315B2 (en) * 2006-04-07 2010-12-14 Microsoft Corporation Camera and acceleration based interface for presentations
KR101040700B1 (ko) * 2006-11-16 2011-06-10 주식회사 엘지화학 테레프탈알데히드의 정제방법
KR100936816B1 (ko) * 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103828357A (zh) * 2011-09-30 2014-05-28 李汶基 基于立体图像的图像处理***
CN103828357B (zh) * 2011-09-30 2016-01-20 李汶基 图像处理***以及图像处理方法
CN104769486A (zh) * 2012-10-11 2015-07-08 李汶基 使用偏振差摄像机的图像处理***
CN104813341A (zh) * 2012-10-22 2015-07-29 李汶基 使用差分相机的图像处理设备
CN104813341B (zh) * 2012-10-22 2018-04-03 李汶基 图像处理***以及图像处理方法
CN106775000A (zh) * 2016-10-18 2017-05-31 广州视源电子科技股份有限公司 智能终端光标跟随鼠标笔笔头移动的方法及装置
CN106775000B (zh) * 2016-10-18 2020-09-29 广州视源电子科技股份有限公司 智能终端光标跟随鼠标笔笔头移动的方法及装置
CN107479729A (zh) * 2017-06-20 2017-12-15 广州视源电子科技股份有限公司 触控点的定位方法、装置、***、显示终端以及书写笔
CN111656767A (zh) * 2018-04-03 2020-09-11 三星电子株式会社 电子装置及其操作方法
CN111656767B (zh) * 2018-04-03 2023-03-28 三星电子株式会社 电子装置及其操作方法
CN112882612A (zh) * 2021-01-12 2021-06-01 京东方科技集团股份有限公司 一种显示方法、显示设备及显示***
CN112882612B (zh) * 2021-01-12 2024-01-23 京东方科技集团股份有限公司 一种显示方法、显示设备及显示***

Also Published As

Publication number Publication date
JP2012230702A (ja) 2012-11-22
US20100103099A1 (en) 2010-04-29
EP2150880A2 (en) 2010-02-10
JP6153564B2 (ja) 2017-06-28
JP2015187884A (ja) 2015-10-29
JP2010539557A (ja) 2010-12-16
JP5822400B2 (ja) 2015-11-24
WO2008147083A3 (en) 2009-01-29
KR100936816B1 (ko) 2010-01-14
JP5122641B2 (ja) 2013-01-16
CN101730876B (zh) 2012-12-12
KR20080104100A (ko) 2008-12-01
WO2008147083A2 (en) 2008-12-04

Similar Documents

Publication Publication Date Title
CN101730876B (zh) 使用相机和输出标记的指点装置
US8094204B2 (en) Image movement based device control method, program, and apparatus
EP2480955B1 (en) Remote control of computer devices
KR100953606B1 (ko) 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법
JP6539816B2 (ja) １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
US6594616B2 (en) System and method for providing a mobile input device
CN1361466A (zh) 应用图像传感器的电子设备
US8659577B2 (en) Touch system and pointer coordinate detection method therefor
US20120293555A1 (en) Information-processing device, method thereof and display device
US20120319945A1 (en) System and method for reporting data in a computer vision system
KR100532525B1 (ko) 카메라를 이용한 삼차원 포인팅장치
Sharma et al. Air-swipe gesture recognition using OpenCV in Android devices
KR101016095B1 (ko) 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법
US9785253B2 (en) Pointing device using camera and outputting mark
Yoo et al. Symmetrisense: Enabling near-surface interactivity on glossy surfaces using a single commodity smartphone
TWI506479B (zh) 光學觸控系統
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
Belo et al. Digital assistance for quality assurance: Augmenting workspaces using deep learning for tracking near-symmetrical objects
CN202443449U (zh) 一种摄像式多点触摸***
JP2008203538A (ja) 画像表示システム
KR102028726B1 (ko) 공간 내의 물체 운동 분석 장치 및 그 제어 방법
US12047674B2 (en) System for generating a three-dimensional scene of a physical environment
Koutlemanis et al. Tracking of multiple planar projection boards for interactive mixed-reality applications
US20230224576A1 (en) System for generating a three-dimensional scene of a physical environment
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1143875

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1143875

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121212

Termination date: 20180525