CN105373266A - 一种新型的基于双目视觉的交互方法和电子白板*** - Google Patents

一种新型的基于双目视觉的交互方法和电子白板*** Download PDF

Info

Publication number
CN105373266A
CN105373266A CN201510744308.1A CN201510744308A CN105373266A CN 105373266 A CN105373266 A CN 105373266A CN 201510744308 A CN201510744308 A CN 201510744308A CN 105373266 A CN105373266 A CN 105373266A
Authority
CN
China
Prior art keywords
coordinate
screen
space
target
pure color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510744308.1A
Other languages
English (en)
Inventor
李仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI YINGHUO SMART Co Ltd
Original Assignee
SHANGHAI YINGHUO SMART Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YINGHUO SMART Co Ltd filed Critical SHANGHAI YINGHUO SMART Co Ltd
Priority to CN201510744308.1A priority Critical patent/CN105373266A/zh
Publication of CN105373266A publication Critical patent/CN105373266A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种基于双目视觉的交互方法,主要包括:双目相机安装在屏幕前方,视野覆盖屏幕前方的一定范围。用户移动纯色目标,计算单元控制双目相机同步采集左右目图像,并识别纯色目标,计算它的空间三维信息。如果纯色目标进入预先设定的有效空间区域范围,计算单元映射纯色目标空间坐标为屏幕坐标系的坐标,并通过通信接口将有效的位置信息和控制信息传输到屏幕的计算机设备。相应地,本发明还公开了一种交互式电子白板***。实施本发明,可实现准确可靠的接触式或者非接触式的定位,能够解决电子白板交互装置成本高、大尺寸限制、体积较大等问题。

Description

一种新型的基于双目视觉的交互方法和电子白板***
技术领域
本发明涉及电子白板领域,特别涉及基于双目立体视觉的人机交互方法,以及一种基于该方法的电子白板***。
背景技术
交互式电子白板***扩展丰富了传统计算机多媒体的工具功能,提高了视听效果,同时可以灵活方便地对电子白板上展现的多媒体内容进行编辑、注释、操作等,实现真正意义上的互动式教学与展示模式。因此交互式电子白板***被广泛地应用于办公会议、教学、讲座、发布会等场合。
人机交互是交互式电子白板***中的重要组成部分,现有的交互方法主要有电容屏、红外式、CCD光学式等。红外式原理是通过白板周围一圈的红外框来,红外框从X轴和Y轴发出信号,另外一边接收。如果被手指遮挡,则会感应到手指的触控位置,从而达到定位的效果。CCD光学式原理是显示区域的其中一边设置两个固定距离的CCD线阵探测器和红外发射器,另外三边设置可以反射光线的反射膜,分布在两个角的CCD分别检测遮挡区域反应在线阵CCD的对应区域,计算出物体在显示区域的位置。由于红外式和CCD光学式装置需要安装在电子白板上,造成电子白板体积变大,也难以适应较大尺寸的电子白板,并且上述电子白板的交互装置价格较高,而大尺寸的电容屏的价格更是昂贵。红外式交互装置还存在红外发射管老化问题。此外上述交互方式都是接触式交互方式,这也造成了用户需要靠近电子白板。为了实现非接触和操作大屏幕,专利CN201110006338.4利用一个操作台,通过安装在操作台正上方的两个图像摄入装置识别位于操作台上的指尖,并计算指尖在该操作台区域的三维信息,通过通信接口RS485将控制信息传给计算机,计算机的内容显示在显示大屏幕。但这种方法增加了一个操作台,且两个图像摄入装置需要在操作台正上方正对着操作台,此外指尖识别的计算复杂,具有一定的不可靠性。
有鉴于此,本发明提出了一种基于双目立体视觉的人机交互方法,以及一种基于该方法的电子白板***,采用把双目相机安装在电子白板显示屏幕的前方的斜上方,计算纯色目标的空间三维坐标,将有效的目标的三维坐标映射为在计算机屏幕坐标系的坐标。这样可以实现可靠准确地定位,减小电子白板的体积,通过简单调整即可适应不同尺寸的电子白板,从而降低电子白板交互装置的成本,实现接触式或者非接触式交互。
发明内容
本发明解决的问题是提供一种基于双目视觉的交互方法及基于该方法的电子白板***,能够解决电子白板交互装置成本高、大尺寸限制、体积较大等问题,从而实现接触式或者非接触式交互。
为了解决上述问题,本发明提出了一种基于双目视觉的交互方法,包括以下步骤:
目标空间坐标计算,双目相机同步采集双目图像,识别纯色目标并计算目标的空间坐标;
目标坐标转换,对目标的空间位置进行判断,如果进入设定的有效空间区域范围,目标的空间坐标有效,然后映射目标空间坐标到屏幕坐标系的坐标;
信息通信,将有效的目标的屏幕坐标系的坐标通过接口传输坐标信息到白板屏幕的计算机设备。
相应地,本发明还提供了一种基于上述方法的电子白板***,包括:
双目相机模块,固定双目相机在电子白板前方,同步采集左右目图像;
屏幕坐标计算模块,识别纯色目标,计算它的空间三维信息,并将有效的三维坐标位置转换为屏幕坐标系坐标;
电子白板,显示计算机设备的内容;
纯色目标,可移动的被检测目标。
因此,本发明通过安装在电子白板前方的双目相机,实现了接触式或者非接触式的交互,从而实现了交互式电子白板***。该***能够有效降低交互装置的成本和大尺寸交互问题,降低产品成本,提高企业的经济效益。
附图说明
图1显示为本发明的基于双目视觉的交互式电子白板***的一个实施例。
图2显示为本发明的双目相机的安装位置示意图。
图3显示为本发明的计算单元的一个实施装置。
图4显示为本发明的交互方法的流程图。
图5显示为本发明的步骤S1处理的详细步骤的流程图。
图6显示为本发明的步骤S2处理的详细步骤的流程图。
图7显示为本发明的有效空间区域的示意图。
图8显示为本发明的交互式电子白板***示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图8。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
图1示出了本发明的基于双目视觉的交互式电子白板的一个实施例。一种基于双目视觉的交互式电子白板的实施例10,包括:
双目相机单元101:同步采集左右图像,作为待处理双目图像;
白板屏幕单元102:显示计算机的显示内容;
纯色目标103:用于指示位置;
计算单元104:识别纯色目标,计算它的空间三维信息,映射为屏幕坐标系的位置坐标;
用户105:进行操作的电子白板的使用者。
根据本发明的方法,其计算处理主要是通过处理单元104来完成。其中,该处理单元设备包括但不限于:1)用户设备;2)网络设备。所述用户设备包括但不限于计算机、智能手机、PDA等;所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。双目相机单元101安装在白板屏幕单元102前方,视野覆盖白板屏幕单元102前方的一定范围。用户105移动纯色目标103,计算单元104控制双目相机单元101同步采集左右目图像,并识别纯色目标,计算它的空间三维信息。如果纯色目标103进入白板屏幕单元102前方的预先设定的空间范围内,这时纯色目标103的三维坐标位置有效,并由计算单元104映射为屏幕坐标系的位置坐标。计算单元104通过通信接口将位置信息和控制信息传输到白板屏幕单元102的控制设备。当纯色目标103离开白板屏幕单元102前方的设定的空间范围,则纯色目标103的三维坐标位置失效,计算单元104不再映射当前纯色目标103的三维坐标到屏幕坐标系的位置坐标。
优选地,双目相机单元101安装在白板屏幕单元102前方的斜上方,双目相机单元101的双目相机斜下地对着白板屏幕单元102,如图2所示。这种安装方式可以避免纯色目标被遮挡。
优选地,纯色目标103可以是纯色的小球,小球安装在教鞭顶端或者书写笔的顶端。
优选地,纯色目标103也可以是戴在手指上的纯色指环或者指套。
优选地,纯色目标103能够反射(或产生发射)与背景颜色具有明显区别的可见光或者特定波长的不可见光。为了检测特定波长的不可见光,双目相机单元101的双目相机可以添加只允许特定波长的不可见光透过的滤光片。
如图3所示,给出了上述实施例10所述的电子白板***实施例的计算单元104的一个实施装置,值得注意的是,计算单元104和白板屏幕单元102的计算机设备可以由相同的实施装置实现。在这个实施装置中,装置***104包括处理器201和图像输入接口207。在该实施***中,也包括了处理器201可访问的存储设备202和203。这些存储设备可以是随机存储单元RAM,也可以是程序存储器等,例如硬盘。处理器201从程序存储器加载程序并运行,从而能够输入和处理图像。此外,处理器201也可以连接到显示设备204,或者连接到白板屏幕单元102,以及一些输入输出人机交互设备205,如鼠标、键盘等。一些其他接口设备208也可以与处理器201相连接,实现一些其他处理功能。接口206可以实现一些图像或者视频的输出,而电源209为装置***提供电源。
图4示出了本发明的基于双目视觉的交互方法的流程图。所述的交互方法首先通过步骤S1同步采集双目图像,识别纯色目标并计算目标的空间坐标。步骤S2对目标的空间位置进行判断,如果进入设定的空间范围,目标的空间坐标有效,然后映射目标空间坐标到屏幕坐标系的坐标。步骤S3将有效的目标的屏幕坐标系的坐标通过接口传输坐标信息到白板屏幕的计算机设备。
图5是表示步骤S1处理的详细步骤的流程图。首先步骤301同步获取双目左右图像,步骤302分别对双目图像进行降噪处理,例如高斯滤波,这样可以减少噪声的影响。根据离线双目标定305得到的标定数据,对降噪后的双目图像进行重映射(re-map),消除镜头畸变等。步骤303分别检测双目图像中的纯色目标,并计算双目图像中目标区域的中心点。步骤304根据离线双目标定305得到的标定数据,计算中心点的视差,从而进一步根据三角测量原理计算得到目标在相机坐标系中的空间坐标。
所述的步骤303根据已知的待检测的纯色目标颜色分割出目标的候选区域,从候选区域中去掉面积较小的噪声区域,并去掉过大的干扰区域,进一步根据与待检测的纯色目标的形状的相似性,从而分别确定双目图像中的目标区域,并进一步计算双目图像中目标区域的中心点坐标。
所述的步骤304的目标的三维坐标(x,y,z),根据三角测量原理计算:
x y z = T d u v f - - - ( 1 )
其中,(u,v)为特征点在左图中的像素坐标,f为双目相机的焦距,由于双目相机经过了立体标定,因此左右相机的焦距相同;T为双目相机的光心距离,f和T通过相机的立体标定获得;d为目标中心点在左右图中的视差,由于双目图像进行了重映射(re-map),故视差d=u-ur,这里ur为目标中心点在右图中的像素横坐标。
图5是表示步骤S2处理的详细步骤的流程图。在步骤S2中,首先步骤401根据离线标定步骤403所得到的空间有效区域检测纯色目标,如果纯色目标位于空间有效区域则进行步骤402计算,否则不计算步骤402。步骤402转换有效的目标空间坐标到屏幕坐标系的坐标。离线标定步骤403通过离线方式标定白板屏幕的四个角的位置空间坐标,从而确定屏幕空间区域,由于屏幕一般是一个平面,因此屏幕空间区域位于空间平面上。步骤403进一步根据屏幕空间区域确定空间有效区域,该空间有效区域用来检测纯色目标坐标的有效性。
优选地,屏幕的四个角的位置空间坐标可以在屏幕的四个角放置特定的标志物,通过双目相机识别该标志物,根据式(1)分别计算四个标志物中心点的空间坐标。
优选地,屏幕的四个角的位置空间坐标也可以通过白板屏幕显示单一的易于检测的颜色,在左右目图像中根据颜色分割出屏幕区域,分别计算左右目图像中屏幕区域的四个角点,进一步根据左右目图像中屏幕区域的四个角点对应关系,根据式(1)计算屏幕四个角的空间坐标。
如图7所示,用来检测纯色目标的空间位置有效性的空间有效区域501是根据屏幕区域102确定。屏幕区域102是一个平面区域。空间有效区域501的前后两面均平行于屏幕区域102所在平面,其他面则垂直于屏幕区域102所在平面。空间有效区域501的前后两面的距离为D,即空间有效区域501的厚度。空间有效区域501在屏幕区域102所在平面上的投影区域即是屏幕区域102,且与屏幕区域102所在平面的最短距离为T。不失一般性,平面屏幕区域102为矩形,则空间有效区域501为厚度为D的长方体区域,最短距离T一般可设为0。
步骤402转换有效的目标空间坐标到屏幕坐标系的坐标。步骤402首先将空间有效区域501中的纯色目标中心点投影到屏幕区域102所在的平面,按照下式计算投影点,
x p = x c - A ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2 y p = y c - B ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2 z p = z c - C ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2 - - - ( 2 )
其中,(xp,yp,zp)为目标中心点(xc,yc,zc)在屏幕区域102所在平面上的投影坐标。屏幕区域102的平面Ax+By+Cz+D=0根据所检测的屏幕四个角的空间坐标通过最小二乘法计算得到。
然后,步骤402在屏幕区域102的平面上将投影点(xp,yp,zp)分别向屏幕坐标系的两个坐标轴作投影,从而得到目标在屏幕坐标系的坐标。不失一般性,选取屏幕区域102的左上角(xo,yo,zo)作为屏幕坐标系的坐标原点O,屏幕区域102的右上角P1坐标(x1,y1,z1),屏幕区域102的右下角P2坐标(x2,y2,z2),屏幕区域102的左下角P3坐标(x3,y3,z3)。目标在屏幕坐标系的坐标(X,Y)按照下式计算,
X = ( x o - x h ) 2 + ( y o - y h ) 2 + ( z o - z h ) 2 Y = ( x o - x v ) 2 + ( y o - y v ) 2 + ( z o - z v ) 2 - - - ( 3 )
其中,点(xh,yh,zh)是点(xp,yp,zp)在空间直线OP1上的投影,点(xv,yv,zv)是点(xp,yp,zp)在空间直线OP3上的投影。
步骤S3根据步骤S2的计算结果将有效的目标的屏幕坐标系的坐标通过接口传输坐标信息到白板屏幕的计算机设备。
图8示出了本发明的交互式电子白板***示意图。所述交互式电子白板***20实现了图4所示的本发明的基于双目视觉的交互式方法。该***包括:双目相机模块601、屏幕坐标计算模块602、电子白板603和纯色目标604。双目相机模块601同步采集左右目图像,屏幕坐标计算模块602识别纯色目标604,计算它的空间三维信息,并将有效的三维坐标位置转换为屏幕坐标系坐标。屏幕坐标计算模块602通过通信接口将位置信息和控制信息传输到电子白板603。
综上所述,本发明的基于双目视觉的交互方法及交互式电子白板***通过安装在电子白板前方的双目相机计算纯色目标相对应的白板屏幕坐标系的坐标,定位准确可靠,实现接触式或者非接触式的交互。此外,本发明不需要在电子白板上安装定位装置,这可以减小电子白板的体积和厚度,并且通过简单调整就能适应不同尺寸的电子白板,具有较高的灵活性和适用性。相对于目前主要的触摸交互装置,本发明能够降低电子白板交互装置的成本,如果交互***的计算模块由电子白板的计算机设备实现,则可以进一步降低***的成本。由于本发明采用了双目立体视觉,因此本发明所计算的三维信息能够为电子白板***的功能扩充提供比二维信息更有力的支持。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人员都可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种基于双目视觉的交互方法,其特征在于,具备以下步骤:
1)目标空间坐标计算。通过屏幕前方的双目相机同步采集左右图像,识别纯色目标并计算目标的空间坐标;
2)目标坐标转换,对目标的空间位置进行判断,如果进入设定的有效空间区域,目标的空间坐标有效,然后映射目标空间坐标到屏幕坐标系的坐标;
3)信息通信,将有效的目标在屏幕坐标系的坐标通过接口传输到屏幕的计算机设备。
2.根据权利要求1所述的交互方法,其特征在于,双目相机安装在屏幕前方,视野覆盖屏幕前方的一定空间范围。优选地,双目相机单元安装在屏幕单元前方的斜上方,双目相机斜下地对着屏幕单元。
3.根据权利要求1所述的交互方法,其特征在于,所述的纯色目标包括:纯色的小球、戴在手指上的纯色指环或者指套。小球安装在教鞭顶端或者书写笔的顶端。优选地,纯色目标能够反射(或产生发射)与背景颜色具有明显区别的可见光或者特定波长的不可见光。为了检测特定波长的不可见光,双目相机可添加只允许特定波长的不可见光透过的滤光片。
4.根据权利要求1所述的交互方法,其特征在于,所述步骤1)所述的目标的空间坐标是通过计算双目图像中目标区域的中心点的视差,根据三角测量原理计算得到的空间坐标。
5.根据权利要求1所述的交互方法,其特征在于,所述步骤2)包括两个步骤,
第一步根据离线标定的空间有效区域计算纯色目标空间坐标的有效性。如果目标空间坐标位于空间有效区域内,则目标空间坐标有效;否则,目标空间坐标无效。
第二步如果坐标有效,映射空间坐标到屏幕坐标系的坐标。
6.根据权利要求1和5所述的交互方法,其中,所述的空间有效区域,其特征在于:空间有效区域的前后两面均平行于屏幕区域所在平面,其他面则垂直于屏幕区域所在平面。空间有效区域在屏幕区域所在平面上的投影区域即是屏幕区域。空间有效区域的前后两面(厚度)的距离为D,且与屏幕区域所在平面的最短距离为T。不失一般性,平面屏幕区域为矩形,则空间有效区域为厚度为D的长方体区域,最短距离T一般可设为0。
7.根据权利要求1和5所述的交互方法,其特征在于,所述的空间坐标到屏幕坐标系的坐标映射按照下述步骤计算:
首先将得到的目标中心点投影到屏幕区域所在的平面,按照下式计算投影点,
x p = x c - A ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2 y p = y c - B ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2 z p = z c - C ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2
其中,(xp,yp,zp)为目标中心点(xc,yc,zc)在屏幕区域所在平面Ax+By+Cz+D=0上的投影坐标。
然后在屏幕区域平面上将投影点(xp,yp,zp)分别向屏幕坐标系的两个坐标轴作投影,目标在屏幕坐标系的坐标(X,Y)按照下式计算,
X = ( x o - x h ) 2 + ( y o - y h ) 2 + ( z o - z h ) 2 Y = ( x o - x v ) 2 + ( y o - y v ) 2 + ( z o - z v ) 2
其中,(X,Y)为目标在屏幕坐标系的坐标,点(xh,yh,zh)是点(xp,yp,zp)在空间直线OP1上的投影,点(xv,yv,zv)是点(xp,yp,zp)在空间直线OP3上的投影。不失一般性,选取屏幕区域的左上角(xo,yo,zo)作为屏幕坐标系的坐标原点O,屏幕区域的右上角P1坐标(x1,y1,z1),屏幕区域的左下角P3坐标(x3,y3,z3)。
8.一种交互式电子白板***,其特征在于,具备:
1)双目相机模块,安装在电子白板屏幕前方,用于同步采集双目图像;
2)屏幕坐标计算模块,识别纯色目标,计算目标的空间坐标,并将有效的空间坐标转换为电子白板屏幕坐标系坐标;
3)电子白板,包括计算机设备,显示计算机设备的内容;
4)纯色目标。
9.根据权利要求8所述的电子白板***,其特征在于,双目相机模块安装在电子白板屏幕前方,视野覆盖屏幕前方的一定空间范围。优选地,双目相机模块安装在电子白板屏幕单元前方的斜上方,双目相机斜下地对着屏幕单元。
10.根据权利要求8所述的电子白板***,其特征在于,所述的纯色目标包括:纯色的小球、戴在手指上的纯色指环或者指套。小球安装在教鞭顶端或者书写笔的顶端。优选地,纯色目标能够反射(或产生发射)与背景颜色具有明显区别的可见光或者特定波长的不可见光。为了检测特定波长的不可见光,双目相机可添加只允许特定波长的不可见光透过的滤光片。
11.根据权利要求8所述的电子白板***,其特征在于,模块2)所述的目标空间坐标是通过计算双目图像中目标区域的中心点的视差,根据三角测量原理计算得到的空间坐标。
12.根据权利要求8所述的电子白板***,其特征在于,模块2)按照下述步骤计算目标的屏幕坐标系的坐标:
第一步根据离线标定的空间有效区域计算纯色目标空间坐标的有效性。如果目标空间坐标位于空间有效区域内,则目标空间坐标有效;否则,目标空间坐标无效。
第二步如果坐标有效,映射空间坐标到屏幕坐标系的坐标。
13.根据权利要求8和12所述的电子白板***,其中,所述的空间有效区域,其特征在于:空间有效区域的前后两面均平行于屏幕区域所在平面,其他面则垂直于屏幕区域所在平面。空间有效区域在屏幕区域所在平面上的投影区域即是屏幕区域。空间有效区域的前后两面(厚度)的距离为D,且与屏幕区域所在平面的最短距离为T。不失一般性,平面屏幕区域为矩形,则空间有效区域为厚度为D的长方体区域,最短距离T一般可设为0。
14.根据权利要求8和12所述的电子白板***,其特征在于,所述的空间坐标到屏幕坐标系的坐标映射按照下述步骤计算:
首先将得到的目标中心点投影到屏幕区域所在的平面,按照下式计算投影点,
x p = x c - A ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2 y p = y c - B ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2 z p = z c - C ( Ax c + By c + Cz c + D ) A 2 + B 2 + C 2
其中,(xp,yp,zp)为目标中心点(xc,yc,zc)在屏幕区域所在平面Ax+By+Cz+D=0上的投影坐标。
然后在屏幕区域平面上将投影点(xp,yp,zp)分别向屏幕坐标系的两个坐标轴作投影,目标在屏幕坐标系的坐标(X,Y)按照下式计算,
X = ( x o - x h ) 2 + ( y o - y h ) 2 + ( z o - z h ) 2 Y = ( x o - x v ) 2 + ( y o - y v ) 2 + ( z o - z v ) 2
其中,(X,Y)为目标在屏幕坐标系的坐标,点(xh,yh,zh)是点(xp,yp,zp)在空间直线OP1上的投影,点(xv,yv,zv)是点(xp,yp,zp)在空间直线OP3上的投影。不失一般性,选取屏幕区域的左上角(xo,yo,zo)作为屏幕坐标系的坐标原点O,屏幕区域的右上角P1坐标(x1,y1,z1),屏幕区域的左下角P3坐标(x3,y3,z3)。
CN201510744308.1A 2015-11-05 2015-11-05 一种新型的基于双目视觉的交互方法和电子白板*** Pending CN105373266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510744308.1A CN105373266A (zh) 2015-11-05 2015-11-05 一种新型的基于双目视觉的交互方法和电子白板***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510744308.1A CN105373266A (zh) 2015-11-05 2015-11-05 一种新型的基于双目视觉的交互方法和电子白板***

Publications (1)

Publication Number Publication Date
CN105373266A true CN105373266A (zh) 2016-03-02

Family

ID=55375526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510744308.1A Pending CN105373266A (zh) 2015-11-05 2015-11-05 一种新型的基于双目视觉的交互方法和电子白板***

Country Status (1)

Country Link
CN (1) CN105373266A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及***
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端
CN106525003A (zh) * 2016-12-16 2017-03-22 深圳市未来感知科技有限公司 一种基于双目视觉的姿态测量方法
CN107578449A (zh) * 2017-09-14 2018-01-12 南京方瑞科技有限公司 一种免校准互动白板投影机
CN109491518A (zh) * 2018-11-13 2019-03-19 宁波视睿迪光电有限公司 一种定位交互方法、交互装置及交互***
CN109688318A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种录制教学视频的方法及装置
CN110442242A (zh) * 2019-08-13 2019-11-12 哈尔滨拓博科技有限公司 一种基于双目空间手势交互的智能镜***及控制方法
CN110969159A (zh) * 2019-11-08 2020-04-07 北京字节跳动网络技术有限公司 图像识别方法、装置及电子设备
CN112181211A (zh) * 2019-07-03 2021-01-05 Tcl集团股份有限公司 触控定位方法、装置及终端设备
CN112729128A (zh) * 2019-10-28 2021-04-30 阿丹电子企业股份有限公司 光学式体积测定装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639747A (zh) * 2009-08-31 2010-02-03 广东威创视讯科技股份有限公司 一种空间三维定位方法
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及***
CN102799317A (zh) * 2012-07-11 2012-11-28 联动天下科技(大连)有限公司 智能互动投影***
WO2014125272A1 (en) * 2013-02-13 2014-08-21 Light Blue Optics Ltd Touch sensing systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639747A (zh) * 2009-08-31 2010-02-03 广东威创视讯科技股份有限公司 一种空间三维定位方法
CN102799317A (zh) * 2012-07-11 2012-11-28 联动天下科技(大连)有限公司 智能互动投影***
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及***
WO2014125272A1 (en) * 2013-02-13 2014-08-21 Light Blue Optics Ltd Touch sensing systems

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及***
CN106125994B (zh) * 2016-06-17 2019-04-23 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端
CN106525003A (zh) * 2016-12-16 2017-03-22 深圳市未来感知科技有限公司 一种基于双目视觉的姿态测量方法
CN106525003B (zh) * 2016-12-16 2019-02-12 深圳市未来感知科技有限公司 一种基于双目视觉的姿态测量方法
CN107578449A (zh) * 2017-09-14 2018-01-12 南京方瑞科技有限公司 一种免校准互动白板投影机
CN109688318A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种录制教学视频的方法及装置
CN109688318B (zh) * 2017-10-18 2021-03-16 杭州海康威视数字技术股份有限公司 一种录制教学视频的方法及装置
CN109491518A (zh) * 2018-11-13 2019-03-19 宁波视睿迪光电有限公司 一种定位交互方法、交互装置及交互***
CN112181211A (zh) * 2019-07-03 2021-01-05 Tcl集团股份有限公司 触控定位方法、装置及终端设备
CN110442242A (zh) * 2019-08-13 2019-11-12 哈尔滨拓博科技有限公司 一种基于双目空间手势交互的智能镜***及控制方法
CN112729128A (zh) * 2019-10-28 2021-04-30 阿丹电子企业股份有限公司 光学式体积测定装置
CN110969159A (zh) * 2019-11-08 2020-04-07 北京字节跳动网络技术有限公司 图像识别方法、装置及电子设备
CN110969159B (zh) * 2019-11-08 2023-08-08 北京字节跳动网络技术有限公司 图像识别方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN105373266A (zh) 一种新型的基于双目视觉的交互方法和电子白板***
US9658765B2 (en) Image magnification system for computer interface
US9176628B2 (en) Display with an optical sensor
CN102508578B (zh) 投影定位装置及方法、交互***和交互方法
CA2670357C (en) Interactive input system and method
WO2020019548A1 (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
JP2015212849A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8664582B2 (en) Display with an optical sensor
CN106454311A (zh) 一种led三维成像***及方法
CN106919294A (zh) 一种3d触控交互装置、其触控交互方法及显示装置
CN102508548A (zh) 一种电子信息设备的操作方法及***
CN102426509A (zh) 一种手写输入的显示方法、装置及***
WO2018161564A1 (zh) 手势识别***、方法及显示设备
US10296098B2 (en) Input/output device, input/output program, and input/output method
Yasugi et al. Development of aerial interface by integrating omnidirectional aerial display, motion tracking, and virtual reality space construction
US9360888B2 (en) System and method for motion detection and interpretation
EP3088991B1 (en) Wearable device and method for enabling user interaction
WO2020141446A1 (en) Systems and/or methods for parallax correction in large area transparent touch interfaces
CN112306305B (zh) 三维触摸装置
CN103970367A (zh) 一种基于立体视觉的多点触摸屏***
CN104102332A (zh) 显示设备及其控制***和方法
CN103412680A (zh) 一种智能3d投影虚拟触控显示技术
Yu Large screen interactive touch system based on affine transformation
Narayan et al. Augmenting Moving Planar Surfaces and Spatial Control of Interactive Surfaces Application through Virtual Touch Screen (VIRTOS)-A Case Study

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160302