CN104461176A - 信息处理器、处理方法和投影*** - Google Patents

信息处理器、处理方法和投影*** Download PDF

Info

Publication number
CN104461176A
CN104461176A CN201410384547.6A CN201410384547A CN104461176A CN 104461176 A CN104461176 A CN 104461176A CN 201410384547 A CN201410384547 A CN 201410384547A CN 104461176 A CN104461176 A CN 104461176A
Authority
CN
China
Prior art keywords
vector
tri
coordinate
input operation
determiner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201410384547.6A
Other languages
English (en)
Inventor
渡边航
野中亮助
马场雅裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN104461176A publication Critical patent/CN104461176A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及信息处理器、处理方法和投影***。根据一个实施例,信息处理器包括:检测器;向量计算器;确定器。所述检测器检测存在于以离参考表面彼此不同距离设定的多个检测范围上的物体,并根据在检测范围中所检测到的位置来获得所述物体的代表点。向量计算器根据所述代表点来获得三维向量。以及确定器根据所述三维向量来确定所述物体的输入操作。

Description

信息处理器、处理方法和投影***
相关申请的交叉引用
本申请基于2013年9月25日提交的日本专利申请No.2013-197921并要求其优先权利益,其全部内容在此引用作为参考。
技术领域
本文介绍的若干实施例一般涉及信息处理器、处理方法和投影***。
背景技术
近来,在开发的装置和技术中,在墙面、桌子上表面、白板等上实现了触摸操作。不仅如此,该装置还能够与投影机等协作使任何物体表面成为虚拟触摸显示器。常规情况下,对物体表面的触摸检测一直需要连接大尺寸的传感器,并且对可用的物体表面一直有限制。近来,在提议的***中通过使用专用设备比如放射红外光的电子笔检测在任何物体表面上的操作。不过,以这样的装置检测不到指示器比如手指和指示物的操作。就这一点而言,提议的装置用传感器比如放置在远处的摄像机感测某物体表面并检测指示器比如手指或指示物。不过,以这样的装置检测指示器不如使用专用设备的***准确。不仅如此,在触摸坐标与指示器的位置之间可能出现错位。这使得操作不稳定。
附图简要说明
图1是框图,展示了根据某实施例的信息处理器;
图2是流程图,显示了该实施例的处理方法;
图3A和图3B是示意平面图,描述了检测范围和检测到的部分;
图4A和图4B是示意图,描述了鉴别处理和拒绝处理;
图5是示意平面图,描述了设定多个检测范围的情况下的实例;
图6是示意平面图,描述了计算向量的方法;
图7是示意平面图,展示了根据物体的角度改变输出内容的实例;
图8是示意平面图,展示了角度彼此接近的手指被当作一对的实例;
图9是示意平面图,展示了人为地从向量vi确定用户位置的实例;
图10是框图,展示了根据另一个实施例的信息处理器;
图11是流程图,显示了该实施例的处理方法;
图12是示意平面图,展示了用两个手指继续触摸情况下的实例;
图13是框图,显示了根据又一个实施例的信息处理器;
图14是框图,显示了根据又一个实施例的信息处理器;
图15是流程图,显示了该实施例的处理方法;
图16是示意平面图,展示了计算对应点的图案图像的实例;
图17是框图,展示了该实施例的计算机的实例。
具体实施方式
一般来说,根据一个实施例,信息处理器包括:检测器;向量计算器;确定器。所述检测器在离参考表面彼此不同距离设定的多个检测范围内检测物体存在,并根据在检测范围内检测到的位置获得所述物体的若干代表点。向量计算器根据这些代表点获得三维向量。确定器根据三维向量确定物体的输入操作。
下文参考附图介绍本发明的若干实施例。附图中,相似的组件以相同的引用号标注,并且酌情省略了细节描述。
图1是框图,展示了根据实施例的信息处理器。
该实施例涉及的信息处理器检测参考表面上的操作。在该实施例中,使用墙面、桌子上表面等作为参考表面介绍了检测参考表面上触摸操作的装置和方法。参考表面可以是非平坦表面,并且参考表面可以在空中。图1中所示的框图是根据该实施例的信息处理器10的主要部分配置的实例,并可以不一定与实际程序模块的配置一致。
图1所示的信息处理器10包括检测器200、向量计算器300和确定器400。检测器200包括多个检测器。例如,检测器200包括第一检测器201到第N检测器20N。
信息处理器10可以包括距离传感器100和计算机800。
也就是,距离传感器100可以是与信息处理器10不同的外部设备,也可以是信息处理器10中包括的设备。计算机800可以是与信息处理器10不同的外部计算机,也可以是信息处理器10中包括的计算机。作为替代,计算机800可以包括在后面介绍的显示单元600中。图1所示的硬件配置是例子,并且根据每个实施例的信息处理器的部分或全部可以被配置为集成电路比如LSI(大规模集成)或IC(集成电路)芯片组。每个功能块都可以单独地制成处理器,某些或全部功能块也可以集成到处理器中。形成集成电路的方法不限于LSI,使用专用电路或通用处理器也可以形成集成电路。
距离传感器100测量到参考表面或物体(例如,诸如手指或指示物的指示器)的距离。在该实施例中,红外线图案投影***的传感器用作距离传感器100。红外线图案投影***是这样一种方法,其中不可见图案被投影到物体上,所述图案被红外线摄像机捕捉,所捕捉图案的失真被用于获得距离信息d(x,y)。其中,d(x,y)是摄像机的坐标***中坐标(x,y)的像素的距离。d(x,y)被顺序地获得。被可视化为像素值的距离信息被称为距离图像。任何其他装置都可以用作距离测量装置。例如,距离传感器100可以是飞行时间***的传感器,从应用的光被反射后直到已经返回时刻的时差测量距离。作为替代,距离传感器100可以是使用投影的图案是可见光的***的传感器。距离传感器100可以是使用立体摄影机测量距离的传感器。
使用从距离传感器100获得的距离信息,第一检测器201到第N检测器20N检测进入离参考表面一定的距离的检测范围的该物体的一部分并计算该部分的代表点的位置。检测器200实际上可以不包括第一检测器201到第N检测器20N,只要一个检测器200能够检测在彼此不同距离设定的多个检测范围就够了。此时,这多个检测范围可以彼此重叠。作为替代,多个检测范围中的第一检测范围可以包括多个检测范围中的第二检测范围。后面介绍检测器200检测该物体的一部分并计算该部分的代表点的位置的方法细节。
向量计算器300根据由第一检测器201到第N检测器20N检测到的该部分的代表点的位置,计算与该物体朝向参考表面的方向对应的三维向量vi。根据所获得的多个代表点的位置计算向量vi。后面介绍向量计算器300计算三维向量vi的方法细节。
确定器400确定该物体在参考表面上的输入操作的内容。在根据该实施例的信息处理器10中,可以使用在常见触摸面板等上能够使用的手势,比如类似轻拍的轻击操作、类似在一定方向轻弹的轻拂操作、类似用两个手指拿着的捏操作以及保持一定时段的拿着。
确定器400也能够向计算机输出该物体的角度,方式为使用三维向量vi的角度。确定器400可以根据该物体的角度改变输出内容。后面介绍确定器400输出的手势的具体实例。
计算机800根据从确定器400输出的操作信号执行规定的操作。该实施例的处理方法和投影***由计算机800执行。后面介绍所述计算机的具体实例。
图2是流程图,显示了该实施例的处理方法。
图3A和图3B是示意平面图,描述了检测范围和检测到的部分。
图4A和图4B是示意图,描述了鉴别处理和拒绝处理。
图5是示意平面图,描述了设定多个检测范围的情况下的实例。
图6是示意平面图,描述了计算向量的方法。
图7是示意平面图,展示了根据物体的角度改变输出内容的实例。
图8是示意平面图,展示了角度彼此接近的手指被当作一对的实例。
图9是示意平面图,展示了人为地从向量vi确定用户位置的实例。
图3A是示意平面图,描述了检测范围。图3B是示意平面图,显示了检测到的部分
图4A是示意平面图,显示了执行鉴别处理和拒绝处理前的状态。图4B是示意平面图,显示了执行鉴别处理和拒绝处理后的状态。
在该实施例中,介绍了使用墙壁、桌子上表面等作为参考表面,检测在参考表面上触摸操作的方法。参考表面可以是非平坦表面,并且参考表面可以在空中。
首先,距离传感器100在距离传感器100与参考表面之间没有物体50的状态下测量离参考表面的距离Zsurface(x,y)(步骤S11,见图5)。此时,在没有物体50的状态下只有距离的一帧可以被获得并使用。作为替代,可以连续地获得近似几帧到几百帧,并且可以使用该时段内的平均值或最小值。这种情况更可取,因为测出的距离在时间方向上的起伏能够被吸收。可以参考在一定时段内测出的距离的直方图做出决定。参考表面的距离可以继续与物体50的检测并行地被更新。
随后,设置第一检测器201到第N检测器20N的检测范围(步骤S12)。例如,如图5所示,定义用于检测的参数Zmargin(x,y)和Zarea(x,y)。Zmargin(x,y)是为了不检测参考表面附近的噪声而提供的余量。Zarea(x,y)是确定整个检测范围的宽度的参数。对于Zmargin(x,y)和Zarea(x,y),根据物体50和距离传感器100的精准确度已经确定了最优值。作为替代,它们可以在检测处理期间动态地改变。
此时,设置整个检测范围的参数Znear(x,y)和Zfar(x,y)如下。
[数学公式1]
Zfar(x,y)=Zsurface(x,y)-zmargin(x,y)…公式(1)
[数学公式2]
Znear(x,y)=Zfar(x,y)-zarea(x,y)=Zsurface(x,y)-zmargin(x,y)-zarea(x,y)…公式(2)
随后,整个检测范围被分为多个检测范围。例如,如图5所示,整个检测范围被分为第一检测范围和第二检测范围。换言之,在该实施例中,检测范围被确定使得整个检测范围被分为两部分。
[数学公式3]
Z far 1 ( x , y ) = Z far ( x , y ) …公式(3)
[数学公式4]
Z near 1 ( x , y ) = Z far 2 ( x , y ) = Z far 1 ( x , y ) - α · z area ( x , y ) …公式(4)
[数学公式5]
Z near 2 ( x , y ) = Z near ( x , y ) …公式(5)
其中α是调整检测范围的划分比例的参数,并且0≤α≤1。
随后,开始检测(步骤S13)。
随后,每个检测器都评估该物体是否已经进入一定距离的检测范围(步骤S14)。在每个检测器都已经确定该物体已经进入一定距离的检测范围(步骤S14:是)的情况下,检测器检测该部分。例如,在物体50已经进入第一检测范围和第二检测范围的情况下,第一检测器201和第二检测器202检测到该部分。在这种情况下,物体50存在于第一检测器201和第二检测器202上方。作为替代,在物体50已经进入第一检测范围和第二检测范围之一的情况下,与物体50已经进入的检测范围对应的第一检测器201和第二检测器202之一可以检测该部分。当物体50已经进入全部这多个检测范围并且每个检测器都检测该部分时,例如由于噪声等的误检测能够被压制得更多。
如图3A和图3B所示,对于检测范围内检测到的部分只有在一定距离的范围内的像素才可以保持为“1”,例如,如以下公式所展示。
[数学公式6]
…公式(6)
其中是指定每个检测范围的参数。n表示每个检测器的数字。即0≤n≤1。
下一步,对于每个连接的部分都把检测到的部分分开。当进行多次触摸操作或多人操作时需要这样做。对于这些部分的鉴别,可以使用标记处理等。此时,具有一定面积的部分或更多的部分或者具有一定面积的部分或更少的部分被拒绝。从而能够防止由于测出距离上的噪声引起的误检测。根据该部分的形状可以做出拒绝。由红外图案投影的距离测量中,在物体边缘的距离测量结果中很容易出现误差。因此,通过拒绝围绕长方形具有一定的水平垂直比或以上的若干部分,能够防止沿边缘的误检测。
如图4A所示,对检测到的部分执行连接部分的鉴别处理和拒绝处理时,在部分检测之时可以执行预处理,从而能够改进物体的检测准确度。
下一步,计算每个检测到的部分的代表点(步骤S15,见图5)。例如,检测到的部分的质心被用作代表点。获得的代表点的三维坐标被表示为其中是检测到的部分的质心坐标。对于公式成立。在计算代表点的方法中,不限于质心,也可以使用检测到的部分的平均值等。注意,下标“i”是有多个部分的情况下的编号。在有多个物体50的情况下,如以两个手指操作的情况,检测到了多个部分。
随后,向量计算器300根据多个代表点的位置计算物体50关于参考表面的向量(步骤S16)。例如,如图6所示,从由第一检测器201检测的部分的代表点与由第二检测器202检测的部分的代表点之间的差异来计算向量vi。如图6所示,当使用相似三角形的比例时,物体50关于参考表面的三维向量vi能够由以下公式表示。
[数学公式7]
v i = b a ( x i 1 - x i 2 ) …公式(7)
注意,以下公式对公式7中的“a”和“b”成立。
[数学公式8]
a = | z i 2 - z i 1 | …公式(8)
[数学公式9]
b = | z i 2 - Z surface ( x i 2 , y i 2 ) | …公式(9)
在该实施例中,展示了根据两个代表点的位置计算向量vi的方法的实例。不过,计算向量vi的方法不限于此。例如,在提供了大量检测器的情况下,能够获得大量代表点的位置。从而可以对不同组的代表点计算向量vi并进行投票。在这种情况下,所述向量能够对抗距离信息的异常值稳健地计算。
随后,确定器400根据向量vi确定物体50输入操作的内容并输出它(步骤S17)。
确定器400可以根据物体50的角度改变输出内容。例如,如图7所示,能够通过倾斜手指(物体50)把输入操作输出。
执行手势输入时可以使用角度信息。在常规触摸操作中,通过组合多个手指做出的手势比如以两个手指的捏操作和旋转操作在很多情况下使用。当检测到多次触摸时,彼此相距很近的手指在很多情况下被组合。反之,通过该实例,也能够参考手指的角度做出决定。例如,如图8所示,角度彼此接近的手指(物体50)可被认为是一对。相反,具有一定角度差异或以上的手指(物体60)被确定为执行与物体50不同的操作。
例如,假定用户(物体50的操作者)存在于三维向量vi关于与物体50对应的参考表面的相反方向。那么,用户的位置能够从向量vi人为地被确定,如图9所示。从而输入操作能够根据用户的方向改变。例如,通过仅允许来自一定方向的输入,使得根据用户的方向等等限制输入操作变为可能。
随后,判断是否执行下一项输入操作(步骤S18)。在步骤S14每个检测器都已经确定物体尚未进入一定距离的检测范围内(步骤S14:否)的情况下,判断是否执行下一项输入操作(步骤S18)。在执行下一项输入操作(步骤18:是)的情况下,每个检测器都评估物体是否进入一定距离的检测范围内(步骤S14)。相反,在不执行下一项输入操作(步骤18:否)的情况下,流程结束。
通过该实施例,通过关于参考表面计算与物体50比如手指或指示物对应的三维向量vi,能够舒适且稳定地检测参考表面上的输入操作。
下一步,参考附图介绍另一个实施例。
图10是框图,展示了根据另一个实施例的信息处理器。
与以上关于图1介绍的信息处理器10相比,图10所示的信息处理器10a进一步包括坐标计算器500。
坐标计算器500计算参考表面上物体50的输入坐标。后面介绍坐标计算器500计算输入坐标(触摸坐标)的方法的细节。
在图10所示的信息处理器10a中,通过使用由坐标计算器500算出的坐标,确定器400能够向计算机输出触摸坐标。通过使用触摸坐标的暂时变化以及多个坐标之间的位置关系,确定器400能够向计算机输出多次触摸操作、手势等。
在其他方面,所述配置类似于以上关于图1介绍的信息处理器10的配置。
图11是流程图,显示了该实施例的处理方法。
图12是示意平面图,展示了继续用两个手指触摸情况下的实例。
步骤S11到步骤S16的处理方法类似于以上关于图2介绍的步骤S11到步骤S16的处理方法。
随后,坐标计算器500计算触摸坐标(步骤S19)。在该实施例中,介绍了当物体50已经触摸参考表面时计算触摸坐标的方法。向量计算器300已经计算了关于参考表面对应于物体50的三维向量vi。因此,触摸坐标能够被表示为通过添加向量一定次数可以调整坐标。注意,通过引用下标“i”,多个物体50能够彼此区分。这意味着对多次触摸的适应性。
坐标计算器500可以执行时间方向上的稳定化处理(追踪)以便抑制输入坐标的波动。IIR(无限冲击响应)滤波器、卡尔曼滤波器等可以用于此目的。在使用IIR滤波器的情况下,在时间t的触摸坐标能够由以下公式计算
[数学公式10]
X i ( t ) = β · ( x i 2 ( t ) + v i ( t ) ) + ( 1.0 - β ) X i ( t - 1 ) …公式(10)
其中β是时间常数。当β=1.0时不执行稳定化处理。
在执行这样的追踪处理的情况下,需要在不同时间创建在触摸坐标之间的关联。这可以通过诸如使彼此最邻近点相关联的方法做出。也可能设定关联成本并搜索成本最低的一对。在该实施例中,因为三维向量vi已经被计算,所以可以使用三维向量vi的角度信息。例如,如图12所示,继续用两个手指触摸时,可以使向量的角度彼此靠近的点相关联。
注意,作为相当的实例的触摸坐标计算方法,在提议的方法中检测到的部分的代表点(质心)未加改变地输入为触摸坐标。在这种情况下,在物体的尖端(例如指尖)与触摸坐标之间将产生“错位”,并且用户将难以对意图的位置进行输入。为了减小“错位”,需要减小为了不检测到噪声而提供的余量Zmargin(x,y)和检测到的部分的检测范围。在这种情况下,在由于噪声引起的距离变化与由于物体引起的距离变化之间难以区分,并且因此无法以良好的准确度检测触摸。否则将产生误检测。
反之,在该实施例中,向量计算器300已经计算了关于参考表面与物体50对应的三维向量vi。从而指尖(物体50的尖端)的坐标能够通过简单处理做成触摸坐标。不仅如此,与以上介绍的相当的实例的触摸坐标计算方法相比,余量Zmargin(x,y)和检测到的部分的检测范围能够设置得宽阔并且检测的稳定性能够增强。
随后,确定器400根据触摸坐标和向量vi确定物体50的输入操作的内容,并把它输出到计算机800(步骤S20)。
随后,步骤S18的处理方法类似于以上关于图2介绍的步骤S18的处理方法。
通过该实施例,在检测触摸操作时,即使距离测量装置(例如距离传感器100)的准确度例如不高,也能够稳定地检测指尖的触摸坐标。不仅如此,由于三维角度和用户的方向能够从物体50对应的三维向量vi输入,与常规输入***相比能够提供多种输入装置。
图13是框图,显示了根据又一个实施例的信息处理器。
与以上关于图10介绍的信息处理器10a相比,图13所示的信息处理器10b进一步包括显示单元600。
显示单元600是用于显示图像的装置,比如显示器或投影机。用户能够在参考表面上做出输入以操作由显示单元600显示的图像。在该实施例中,给出说明时作为实例使用的情况是显示单元600是投影机(投影单元),将图像投影到参考表面比如墙壁或桌子上表面。不过,显示单元600不限于投影机。显示单元600也可以是液晶显示屏器等。显示单元600和在其上输入操作的参考表面可以位于不同的地方。
在其他方面,所述配置类似于以上关于图10介绍的信息处理器10a的配置。
通过该实施例,墙壁、桌子上表面等能够作为可操作虚拟显示器。例如,当确定器400输出触摸操作时,墙壁、桌子上表面等能够作为虚拟触摸显示器。
图14是框图,显示了根据又一个实施例的信息处理器。
如以上关于图13的介绍,在信息处理器包括显示单元600的情况下,墙壁、桌子上表面等能够作为可操作虚拟显示器。不过,当显示单元600的坐标系与距离传感器100的坐标系不同时,需要在坐标系之间建立关联。尤其是需要把由坐标计算器500算出的坐标Xi与显示单元600中的坐标系相关的变换。
鉴于此,与以上关于图13介绍的信息处理器10b相比,图14所示的信息处理器10c进一步包括变换单元700。变换单元700根据显示单元600的坐标系变换由确定器400确定的输入操作。换言之,变换单元700做出的变换类似在显示单元600的坐标系与距离传感器100的坐标系之间建立关联。从而在触摸投影的图像后,有可能在投影的图像中的对应位置执行触摸操作或显示例如光标。
图15是流程图,显示了该实施例的处理方法。
图16是示意平面图,展示了计算对应点的图案图像的实例。
步骤S11到步骤S19的处理方法类似于以上关于图2和图11介绍的步骤S11到S19的处理方法。
随后,确定器400根据触摸坐标和向量vi确定物体50的输入操作的内容并把它输出到变换单元700(步骤S21)。随后,变换单元700根据显示单元600的坐标系变换输入操作(步骤S22)。
在该实施例中,介绍了当参考表面是平面时关联显示单元600的坐标系与距离传感器100的坐标系的方法。
当参考表面是平面时,显示单元600的坐标系和距离传感器100的坐标系的变换能够由线性矩阵变换的二维投影变换表示。二维投影变换需要的3×3矩阵表示为H,矩阵H也称为单应性(homography)矩阵。当四组或更多的对应点能够在显示单元600的坐标系与距离传感器100的坐标系之间获得时,矩阵H能够被解析地计算。
这些对应点也可以被人工设定。使用类似图16所示的图案很便利,从而对应点能够容易地自动获得。在使用类似图16的图案的情况下,通过使用常规角点检测装置能够容易地获得对应点。确切地说,通过以显示单元600显示图案图像并以与距离传感器100的坐标系预校准的摄像机捕捉所述图案,能够自动获得对应点。在图16所示图案由红外光再现的情况下,距离传感器100的红外摄像机能够用于捕捉和检测图案。从而,能够计算矩阵H以变换坐标。
下一步,介绍了当参考表面为非平面时关联显示单元600的坐标系与距离传感器100的坐标系的方法。
当显示单元600是例如投影机时,图像甚至能够被显示在非平面上。因此,参考表面是非平面,并且不能由以上介绍的二维投影变换处理。在这样的情况下,使用三维投影变换做出关联。确切地说,距离传感器100的坐标系中的触摸坐标一旦重建为真实空间(世界坐标系)中的坐标,然后重新投影到投影机的坐标系;从而在距离传感器100与显示单元600之间建立了坐标的关联。
作为把世界坐标系变换为摄像机或投影机中图像坐标的模型,以下公式的投影模型是众所周知的。
[数学公式11]
…公式(11)
世界坐标(X,Y,Z)以形式X=X1/X4,Y=X2/X4和Z=X3/X4被获得。图像坐标(x,y)以形式x=x1/x3和y=x2/x3获得。当坐标由均匀坐标表示时,有以下性质:即使当每个分量都乘以一定数时,世界坐标和图像坐标的值也不会变化。所述一定倍数的不确定性由系数λ表示。
A是内部参数矩阵,并且由内部信息比如焦距和分辨率确定。R和T为被称为外部参数矩阵的矩阵,并且由摄像机或投影机的姿态确定。这些能够由校准事先找到。
现在将介绍根据以上介绍的投影模型,显示单元600与距离传感器100之间的坐标关联。
首先,显示单元(本实例中为投影机)600的投影模型定义如下。
[数学公式12]
λ p x ~ p = A p [ R p | T p ] X ~ …公式(12)
距离传感器的投影模型定义如下。
[数学公式13]
λ c x ~ c = A c [ R c | T c ] X ~ …公式(13)
注意,当距离传感器100的坐标被当作为世界坐标系的原点时,能够做出设定Rc=1和Tc=0。由于图像坐标(xc,yc)的距离d(xc,yc)能够由距离传感器100获得,因此一定倍数的不确定性能够被消除。
由上可知,以下公式能够从公式13得出,并且甚至对于非平面也能够做出坐标的关联。
[数学公式14]
X Y Z = A c - 1 x c · d ( x c , y c ) y c · d ( x c , y c ) d ( x c , y c ) …公式(14)
公式14意味着从距离传感器100的图像坐标(右侧)到世界坐标(左侧)的变换。
最后,变换后的世界坐标被替换为投影机的投影模型;因此,能够做出从距离传感器100的图像坐标到投影机的图像坐标的变换。
[数学公式15]
λ p x ~ p = A p [ R p | T p ] A c - 1 x c · d ( x c , y c ) x c · d ( x c , y c ) d ( x c , y c ) 1 …公式(15)
以上介绍了当投影表面为平面时以及投影表面为非平面时的关联方法。不过,本发明不限于此。例如,可以事先人工做出关联。
通过该实施例,墙壁、桌子上表面等能够作为可操作虚拟显示器而不使用专用设备比如电子笔和附属于所述墙壁或桌子上表面的传感器。
图17是框图,展示了该实施例的计算机的实例。
计算机800根据从确定器400输出的操作信号在显示单元600上显示例如指定颜色的线、指定种类的线、指定图形等。
计算机800包括中央处理器(CPU)801、输入单元802、输出单元803和存储单元804。输入单元802包括读取在记录介质M中记录的信息的功能。
本实施例的操作***(OS)和投影***存储在存储单元804中。中央处理器801根据从确定器400和操作***输出的操作信号确定并执行显示单元600上显示的内容。
本实施例的投影***可以记录在计算机可读的记录介质M中。记录介质M可以是存储器件比如连接到网络的服务器。本实施例的投影***可以经由网络分布。
虽然已经介绍了一定的实施例,但是这些实施例仅以实例的方式呈现,并非意在限制本发明的范围。事实上,本文介绍的新颖实施例可以用多种其他形式实施;不仅如此,在本文介绍的实施例的形式中可以做出各种省略、替换和改变而不脱离本发明的精神。附带的权利要求书及其等价内容旨在涵盖这样的形式或修改,作为将落入本发明的范围和精神之内。

Claims (19)

1.一种信息处理器,包括:
检测器,检测存在于以离参考表面彼此不同距离设定的多个检测范围上的物体,并根据在检测范围中所检测到的位置来获得所述物体的代表点;
向量计算器,根据所述代表点来获得三维向量;以及
确定器,根据所述三维向量来确定所述物体的输入操作。
2.根据权利要求1的处理器,其中,所述确定器根据所述三维向量的角度来确定所述输入操作。
3.根据权利要求1的处理器,其中,所述确定器根据所述三维向量的角度来确定操作所述物体的操作者的位置。
4.根据权利要求1的处理器,其中,
当所述检测器检测到多个物体时,所述确定器根据所述三维向量的角度确定至少两个物体作为彼此对应的组。
5.根据权利要求1的处理器,进一步包括:
距离传感器,测量到所述物体的距离,
检测器,根据由所述距离传感器测出的距离检测所述物体并获得所述代表点的位置。
6.根据权利要求1的处理器,进一步包括:
坐标计算器,获得所述物体的输入坐标,
其中,所述确定器根据所述输入坐标和所述三维向量中的至少一个来确定所述输入操作。
7.根据权利要求6的处理器,其中,所述坐标计算器使用所述三维向量来获得所述输入坐标。
8.根据权利要求6的处理器,其中,所述确定器根据所述输入坐标的位置和所述输入坐标的暂时变化中的至少一个来确定输入操作。
9.根据权利要求1的处理器,进一步包括:
将光投影到所述参考表面的至少一部分上的投影机。
10.根据权利要求9的处理器,进一步包括:
变换单元,根据所述投影单元的坐标系来变换由所述确定器确定的所述输入操作。
11.根据权利要求9的处理器,进一步包括:
中央处理器,根据由所述确定器确定的所述输入操作来控制将由所述投影机投影的图像。
12.一种处理方法,包括:
检测存在于以离参考表面彼此不同距离设定的多个检测范围上的物体,并根据在所述检测范围中检测到的位置来获得所述物体的代表点;
根据所述代表点来获得三维向量;以及
根据所述三维向量来确定所述物体的输入操作。
13.根据权利要求12的处理方法,其中,根据所述三维向量的角度来确定所述输入操作。
14.根据权利要求12的处理方法,其中,根据所述三维向量的角度来确定操作所述物体的操作者的位置。
15.根据权利要求12的处理方法,其中,
当检测到多个物体时,根据所述三维向量的角度来确定至少两个物体作为彼此对应的组。
16.一种投影***,包括:
投影机;
存储器件,用于存储计算机可读的程序代码;以及
与所述存储器件通信的处理器,所述处理器以所述计算机可读的程序代码操作地用于:
检测存在于以离参考表面彼此不同距离设定的多个检测范围上的物体,并根据在所述检测范围中检测到的位置来获得所述物体的代表点;
根据所述代表点来获得三维向量;以及
根据所述三维向量来确定所述物体的输入操作。
17.根据权利要求16的***,被配置为使计算机执行根据所述三维向量的角度来确定所述输入操作的处理。
18.根据权利要求16的***,被配置为使计算机执行根据所述三维向量的角度来确定操作所述物体的操作者的位置的处理。
19.根据权利要求16的***,其中,
所述***使计算机执行当多个物体被检测到时,根据所述三维向量的角度来确定至少两个物体作为彼此对应的组的处理。
CN201410384547.6A 2013-09-25 2014-08-07 信息处理器、处理方法和投影*** Withdrawn CN104461176A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-197921 2013-09-25
JP2013197921A JP5802247B2 (ja) 2013-09-25 2013-09-25 情報処理装置

Publications (1)

Publication Number Publication Date
CN104461176A true CN104461176A (zh) 2015-03-25

Family

ID=52690545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410384547.6A Withdrawn CN104461176A (zh) 2013-09-25 2014-08-07 信息处理器、处理方法和投影***

Country Status (3)

Country Link
US (1) US9639212B2 (zh)
JP (1) JP5802247B2 (zh)
CN (1) CN104461176A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557209A (zh) * 2016-10-28 2017-04-05 青岛海信电器股份有限公司 红外触摸屏触控信号的处理方法、装置及终端设备
CN108109581A (zh) * 2018-01-16 2018-06-01 深圳鑫亿光科技有限公司 交互式led显示装置及其显示方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5852050B2 (ja) * 2013-05-27 2016-02-03 株式会社ジャパンディスプレイ タッチ検出装置、タッチ検出機能付き表示装置、及び電子機器
KR20150068001A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 센서를 이용한 동작 인식 방법 및 장치
JP6385729B2 (ja) 2014-06-13 2018-09-05 株式会社東芝 画像処理装置および画像投影装置
JP6317635B2 (ja) 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
JP6280005B2 (ja) 2014-08-28 2018-02-14 株式会社東芝 情報処理装置、画像投影装置および情報処理方法
JP6460094B2 (ja) * 2014-12-26 2019-01-30 株式会社ニコン 検出装置、空中像制御装置、検出方法および検出プログラム
JP6528964B2 (ja) * 2015-05-25 2019-06-12 株式会社リコー 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
US11275498B2 (en) * 2016-08-31 2022-03-15 Sony Corporation Information processing system, information processing method, and program
JP6501806B2 (ja) 2017-01-05 2019-04-17 キヤノン株式会社 情報処理装置、操作検出方法、及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784715A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置
KR101520689B1 (ko) * 2008-10-22 2015-05-21 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
JP5488082B2 (ja) * 2010-03-17 2014-05-14 セイコーエプソン株式会社 情報認識システム及びその制御方法
JP4858631B2 (ja) 2010-06-17 2012-01-18 パナソニック株式会社 画像投影装置、判定方法及び判定プログラム
JP5783828B2 (ja) * 2010-08-25 2015-09-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5197777B2 (ja) 2011-02-01 2013-05-15 株式会社東芝 インターフェイス装置、方法、およびプログラム
JP5754216B2 (ja) * 2011-04-04 2015-07-29 セイコーエプソン株式会社 入力システム及びペン型入力機器
US9470922B2 (en) * 2011-05-16 2016-10-18 Panasonic Intellectual Property Corporation Of America Display device, display control method and display control program, and input device, input assistance method and program
JP2013061552A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd プロジェクタ装置および操作検出方法
JP2013065061A (ja) * 2011-09-15 2013-04-11 Funai Electric Co Ltd プロジェクタ
JP5971053B2 (ja) * 2012-09-19 2016-08-17 船井電機株式会社 位置検出装置及び画像表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557209A (zh) * 2016-10-28 2017-04-05 青岛海信电器股份有限公司 红外触摸屏触控信号的处理方法、装置及终端设备
CN106557209B (zh) * 2016-10-28 2019-09-17 青岛海信电器股份有限公司 红外触摸屏触控信号的处理方法、装置及终端设备
CN108109581A (zh) * 2018-01-16 2018-06-01 深圳鑫亿光科技有限公司 交互式led显示装置及其显示方法
CN108109581B (zh) * 2018-01-16 2018-12-25 深圳鑫亿光科技有限公司 交互式led显示装置及其显示方法

Also Published As

Publication number Publication date
US9639212B2 (en) 2017-05-02
JP2015064724A (ja) 2015-04-09
JP5802247B2 (ja) 2015-10-28
US20150084930A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
CN104461176A (zh) 信息处理器、处理方法和投影***
US7256772B2 (en) Auto-aligning touch system and method
GB2498299B (en) Evaluating an input relative to a display
TWI498580B (zh) 長度量測方法與長度量測裝置
US20060269124A1 (en) Method and apparatus for aligning three-dimensional shape data
CN103279225B (zh) 投影式人机交互***及触控识别方法
CN105807914A (zh) 虚拟输入设备和用于使用其来接收用户输入的方法
WO2022116281A1 (zh) 一种新的非接触式人机交互方法及***
CN103512548A (zh) 距离测量装置及距离测量方法
CN107506162A (zh) 坐标映射方法、计算机可读存储介质和投影仪
US9213439B2 (en) Optical imaging device and imaging processing method for optical imaging device
CN112001886A (zh) 一种温度检测方法、装置、终端及可读存储介质
Zhang et al. Reading recognition of pointer meter based on pattern recognition and dynamic three-points on a line
US20130016069A1 (en) Optical imaging device and imaging processing method for optical imaging device
CN105653101B (zh) 触控点感测方法及光学触控***
CN116974400B (zh) 屏幕触显识别方法、装置、设备及存储介质
CN102929434B (zh) 投影***与其影像处理方法
Wang et al. An eye gaze-aided virtual tape measure for smart construction
EP4292777A1 (en) Assistance system, image processing device, assistance method and program
Korkalo et al. Construction and evaluation of multi-touch screens using multiple cameras located on the side of the display
CN202404557U (zh) 一种基于图像处理技术的虚拟触摸屏***
CN106020651A (zh) 一种基于触摸的图片显示控制方法及***
Ji et al. Research on Infrared Touch Screen Multi-Touch Recognition Algorithm and Simulation
Zhu et al. An automatic laser sheet calibration method for laser scan range measurement system
CN113449373A (zh) 重叠检测方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C04 Withdrawal of patent application after publication (patent law 2001)
WW01 Invention patent application withdrawn after publication

Application publication date: 20150325