CN1698357B - 在物体上显示输出图像的方法 - Google Patents
在物体上显示输出图像的方法 Download PDFInfo
- Publication number
- CN1698357B CN1698357B CN2004800002317A CN200480000231A CN1698357B CN 1698357 B CN1698357 B CN 1698357B CN 2004800002317 A CN2004800002317 A CN 2004800002317A CN 200480000231 A CN200480000231 A CN 200480000231A CN 1698357 B CN1698357 B CN 1698357B
- Authority
- CN
- China
- Prior art keywords
- projecting apparatus
- output image
- posture
- group
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000011885 synergistic combination Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
一种方法在物体上显示输出图像。将一组唯一标记固定到物体的预定位置上。用与投影仪成固定物理关系的摄像机获取物体和多个标记的输入图像。从图像中确定投影仪相对于标记的姿势。然后,可依照该投影仪的姿势和唯一的标记将与物体相关的一个或多个输出图像投影到物体的预定位置。
Description
技术领域
本发明总体上涉及数字投影仪,更具体地是一种用于增强现实的投影仪。
背景技术
增强现实的领域是涉及增强我们在自然界中我们周围看到和听到的事物。本领域的研究人员把计算机图形引入到我们对真实世界物体的观察中。这增强了我们的感知和我们与真实世界的交互。它能够改善真实世界中任务的完成。
有多种实现增强现实的方法。一种提供增强的对世界的观察的方法就是通过使用基于LCD屏幕的数字个人助理(PDA)。这种技术存在一些缺陷。不管将来在像素分辨率方面的提高,PDA的物理尺寸都会限制能够呈现给用户的信息。在PDA上显示的信息是在摄像机的坐标面上,而不是用户自己的视野。使用PDA需要用户在物理环境和显示器之间进行情境切换。PDA必须带在用户本人身上或附近但很容易看到的地方。PDA只能对个人或最多对围绕一个非常小的设备的一群人提供增强。
另一种提供增强的对世界的观察的方法是通过使用“洞察(see-through)”图像显微镜。缺陷是用户的眼睛坐标面与显示图像坐标面之间的紧密耦合需要非常精确的用户头部运动的处理,例如,用户头部转动必须由显示图像中的附加转动来精确匹配。图像显微镜也只能限个人使用,不能共享使用。因为显示距离眼睛只有大约一个厘米,很难在一个增强的物体上工作,因为其它物体,如用户的手,很容易阻塞这种增强。最后,视觉疲劳显示的疲劳因素是众所周知的。
基于投影仪的增强的现实直接将增强投影到自然场景。它断开用户坐标面与从投影仪与自然物体之间的关系的耦合。它的一个优点是当显示投影信息时不需要确定用户头部运动的艰难工作。
旋转电影摄像机已经被用于拍摄一个装满家具和人的起居室的影像。然后把房间和家具涂成中性白,用一个能以原始摄像机精确登记的旋转投影仪将该影像投影回墙和家具,见Naimark,“Displacements”,展示在San Francisco Museum of Modern Art,SanFrancisco,CA 1984。这种关键的获取摄像机的共同定位和显示投影仪对使用预记录图像或图像序列来照亮自然物体的大多数***来说是普遍的。
一种投影仪和光纤束已经用于在一个真的水晶球内使虚构占卜师的头部更生动,见于1990年12月18日颁发给Liljegren等人的序号为4,978,216的美国专利“Figure with back projected image usingfiber optics”。用精细的细节来增强修改照片的幻灯片已经使用在非常亮的投影仪上去在一个非常大的建筑物规模上呈现图像。一种众所周知的这种想法的现代的实现是在法国的Loire Valley的Le Son etLumière onde Blois。另外,这种媒体现在正用于世界上别的地方以照亮如桥的大规模建筑物。
“发光房间”投影把一对共同定位的摄像-投影仪看作一个输入/输出球以感应和投影图像到房间或指定的工作空间的真实的自然的周围景物的平面上,见1999年SIGGRAPH Underkoffler等人的“Emancipated pixels:Real-world graphics in the luminous room”第385-392页。其主要的焦点是通过光的和有形的接口与信息交互。他们识别共面的二维(2D)实物,在平面中跟踪二维位置和方向,并从高处投射光线再现适当的日光影像。
所有这些***提供强大的图像显示。然而,即使一个单一的投影仪,繁重的对准处理也要花掉几个小时。许多同样的***是基于帮助处理器的一个或多个环境传感器的,处理器可以计算投影仪与显示器之间的欧几里得(Euclidean)或仿射关系。没有集中传感器,投影仪就不能增强目标物体。那些***在投影仪与增强的物体之间需要一个固定的特定关系。任一部分的任何移动都需要***校准。此外,那些***中的投影仪的固定的性质规定了只能增强物体的某些部分。
因此,希望提供一种没有现有技术***的局限性和问题的情境感知投影仪。
发明内容
该发明提供了一种用于唯一识别目标物体的方法,而且,发明提供一种用于确定投影仪和该物体之间的物理关系的方法。知道了物体的唯一识别和投影仪与物体的相对位置,能实现与该物体相关的校准图像的投影。
该发明可以应用于各种希望用专用于该物体的投影图像来增强物体的***。例子包括在物体上的信息显示,例如,包括打印队列或完成工作的期望时间的用于打印机的信息显示,用于书的信息显示可包括在空白处显现的注释。其中指令被显示在已知物体上的训练应用程序。其中例如通过在地面上的投影箭头和通过照亮在存储区域或工作空间中的特定区域将用户引导到请求物体的物理索引。已经被连到环境中的电数据项的恢复与投影。模仿不透明表面的透明度的“魔镜”。投影关于旅游者感兴趣的物体的特定于语言的信息。
本发明还提供用于依照几个因素调整投影内容的装置,几个因素包括交互的历史、投影仪的位置和运动、和其它类似设备的存在。
附图说明
图1是依照本发明的投影仪的方框图;
图2是由图1的投影仪显示的图像增强的物体的方框图;和
图3是依照本发明在物体上显示图像的方法的方框图。
具体实施方式
几何感知投影仪
图1显示了依照本发明的一个情境感知投影仪100。应该注意,该投影仪100可以单独使用或与其它类似的投影仪协同组合。
本投影仪100包括微处理器110、存储器120、和由总线140连接的输入/输出接口130、总体上为处理单元103。该处理单元的电结构是常规的,但是当执行这里描述的方法步骤时的操作不是常规的。
该投影仪也包括:投影仪子***150,用于显示输出图像102;和摄像机子***160,用于获取包括唯一识别物体的景象的输入图像101。
网络子***170允许该投影仪与本地的或远距离的其它类似设备或其它计算机设备通信。因此,该网络***可根据通信媒体连接到一个天线或红外收发信机180。
用户接口190能够提供输入和输出数据以方便投影仪的操作。例如,该接口可以包括通常在输入鼠标上发现的左、中、和右按钮。该接口还可以包括本领域公知的“滚动”轮。
例如倾斜传感器或加速器的内部传感器195能够确定投影仪的方向。应该注意,传感器仅在内部,不能感应投影仪外部的环境。应该注意,传感器是优化的。
投影仪操作
投影仪100能够执行多种功能,包括智能梯形失真校正、方向补偿图像亮度、自动亮、缩放和调焦、用于几何图形和文本捕获的3D扫描、和用于摄像机子***160的智能闪光。对最后一种功能,投影仪的功能对摄像机的功能来说是次要的。在这里,投影仪只照亮摄像机观察的景象中的特定区域。下面更详细地描述多个附加的适应性功能。
***结构和方法
如图2所示,我们使用我们的校准投影仪-摄像机***100来唯一识别物体201,及投影特定于物体的信息220。从连到物体201上的唯一可视标记211-214确定物体相对于投影仪100的相对位置。我们用姿势来指代投影仪在物体的同一坐标面中的(x,y,z)位置和投影仪的方向。我们用方向来指代围绕三个主轴中的任一个的转动量。
在优选实施例中,标记是圆形的,放大来看,具有多个彩色部分,比如4到6个。色彩的图形定义了不同的唯一标识,见2000年7月31日申请的美国专利申请序号09/628,461“Badge IdentificationSystem”,其在此引入作为参考。
色彩编码编码了唯一的身份。应该注意,可以使用其它的类似的标记。一个或多个标记可如下面详细描述的那样使用。
用在物体201上的4个或更多个点来获得利用校准摄像机子***160的摄像机姿势的唯一解决方案。该点是从多个标记的远距离处获得的图像或从较近距离处的单个标记的影子中获得的。
在摄像机的姿势确定之后,通过***校准知道投影仪的姿势。在知道投影仪的位置和方向之后,从存储器120恢复或通过网络210下载的增强信息则可以被显示。可以预定形状、大小和显示图像的位置。
其中使用基于情境的增强的重要应用包括:在物体上的信息显示,其或者是无源显示,或者是其中指令220作为步骤序列中的一部分显示的训练应用程序;其中用户被引导到被请求物体的物理索引;识别连到环境中的电数据项的存在并投影这些电数据项。
基于情境的增强对精确度要求不严格,因为增强信息的位置中的小偏移通常是无关紧要的。然而,更强调使用模式。例如,在投影增强220中距物体的距离可以用来调整详细水平。
校准***以便知道下面的信息:投影仪的固有参数、摄像机的固有参数、投影仪与摄像机的相对位置和方向。在***进行操作之前,可以作为一个预校准步骤运行该校准,或可以在***开始操作时作为启动处理执行。可以使用任何一种众所周知的摄像机校准技术。
摄像机的目的是获得***相对于景象中感兴趣的表面的姿势。这里用“姿势”指代(x,y,z)位置和方向。这可以通过处理物体的输入图像以确定摄像机姿势,然后使用校准信息推断投影仪的姿势来完成。知道投影仪的姿势之后,增强信息220可投影到在感兴趣的表面上的希望的地方。
如图3所示,本方法300首先获得景象的输入图像(Ii)301。该景象包括至少4个可视标记,这些可视标记被色彩编码,且色彩编码规定身份。这些标记可被想成类似于条形码,但是它基于色彩而不是条。
接下来,在输入图像301中检测315标记。标记被用于索引320数据库记录(R)321,其可能存储在存储器120中,或某些可通过网络120可访问的其它的存储器中。
该记录包括标记在一个相应的坐标面中的位置信息,例如,其所连到的在感兴趣的表面上的坐标面。该位置信息包括在真实世界中的标记的(x,y,z)位置及其外观和几何形状,例如色彩和尺寸。
用记录321的位置信息确定330摄像机相对于标记的姿势(CP)331,从而确定相对于感兴趣表面的姿势。摄像机姿势被用于推断335投影仪的姿势(PP)336。这个计算用已知的单应——一种众所周知的处理技术来执行。
接下来,从存储器中恢复140输出图像(Io)341,输出图像可以存储在记录321中或别处。该恢复的特定图像可以取决于唯一的识别、交互的历史、投影仪的位置和运动、和其它类似的设备的存在。
然后,输出图像依照投影仪位置和方向变形345。然后方法300投影该变形的图像346,以显示信息220。对于投影仪100的任意一种姿势,该变形调整输出图像中的像素,以便它们在与景象的坐标面垂直和水平对准地出现。结果是在实物的表面上不失真地出现显示信息。对内容进行变形的装置已经在2001年8月14日申请的美国专利申请序号08/930,426“Simulating Motion of Static Objects in Scenes”中详细描述,该申请在此引入作为参考。
增强的历史
我们提供了一种利用增强的历史的基础模式的变形。在步骤320中,数据库能够记录特定记录被访问。然后,在步骤340中,数据库可以不仅基于被查看的标记的身份,还基于标记在过去被查看的次数返回另外的内容。
使用4个标记的可选方案
我们提供了一种依靠更少的在目标上可见的可视标记的操作基础模式的可选方案。在操作基础模式的步骤315中,因为用于确定摄像机姿势的单应依靠4个已知点,该方法检测4个标记。该步骤用每个标记的中心作为一个已知点。因为对每个标记的记录不仅存储它的中心(x,y,z)位置还存储它的半径,一个单一标记能够提供多个已知点。使用这种特殊的几何图形信息,该方法仅需要正确检测和识别至少步骤315中的标记。
可视标记的可选方案
我们提供了一种消除可视标记的出现的操作的基础模式的可选方案。依照在记录321中的描述,通过在输出图像中消除可视标记或消除它们在输入图像中的出现,可以把它们变成人眼看不见的。
基于投影仪位置的可选内容
我们提供了一种进一步利用投影仪相对于正被增强的物体的位置的操作基础模式的变形。在该操作基础模式中,在步骤345,投影仪的姿势用于对正在投影的内容进行变形。我们还可以使用该姿势去从数据库中检索特定于姿势的内容。
这种变形的一个应用例子当用户远离增强物体时投影高水平轮廓信息,及然后当用户接近同一物体时,投影低水平详细信息。
基于投影仪运动的可选内容
我们提供了一种利用投影仪运动的操作基础模式的变形。在其中投影仪的位置被确定的步骤335期间,我们可以在数据库中记录该位置。然后,在步骤340中,当我们从数据库检索内容时,通过检查投影仪的先前位置的历史,我们可以基于投影仪的运动检索内容。
这种变形的一个应用例子当用户快速运动以移动被投影图像越过物体时投影低度详细信息,及当用户缓慢运动或一直站立时,投影高度详细的图像。
基于类似设备的存在的可选内容
我们提供了一种利用类似设备的存在的操作基础模式的变形。在步骤340中,当我们从数据库检索内容时,数据库可以记录该内容正在访问,及可以记录访问记录的设备的识别。如果多个设备访问一个记录,则该记录基于该知识可以被更改。
这种变形的一个应用例子是重新放置内容在物体表面上,以便从多个设备投影的图像不会出现互相交迭和模糊。如果多个人在打印机的表面正在投影他们的打印任务的一个列表,该设备能够重新放置这些列表以便它们之间不会出现交迭。
基于投影时间的可选内容
在步骤中从数据库恢复的内容也可以受恢复时间影响。
图像投影的可选方案
我们也提供了一种使图像内容变形并投影该内容而不是静止图像的操作基础模式的变形。
虽然已经通过优选实施例的例子描述了本发明,但是应当理解在该发明的精神和范围之内可以进行其它的各种调整和修改。因此,所附权利要求的目的是覆盖所有落在本发明的真实精神和范围内的这样的变化和修改。
Claims (13)
1.一种用于在物体上显示输出图像的方法,包括:
将一组唯一标记固定到物体的预定位置上;
用与投影仪成固定物理关系的摄像机获取物体和多个标记的输入图像;
确定投影仪相对于该组标记的姿势;
依照投影仪的姿势对输出图像进行变形,其中变形将输出图像水平地和垂直地对准物体的坐标面;以及
依照该投影仪的姿势和该组唯一的标记将输出图像投影到物体,其中
所述姿势是指投影仪在物体的同一坐标面中的位置和投影仪的方向。
2.权利要求1的方法,其中该组中的每个标记为带有不同色彩的段的圆形。
3.权利要求1的方法,其中该组中有4个标记。
4.权利要求1的方法,其中该标记的几何图形是预定的,及该组包括一个标记。
5.权利要求1的方法,其中每个标记的几何图形是预定的,及该标记在物体上的位置是预定的。
6.权利要求5的方法,进一步包括:
在投影仪可访问的存储器中存储几何图形和位置。
7.权利要求1的方法,其中该输出图像取决于投影仪与物体之间的交互历史。
8.权利要求1的方法,其中该输出图像取决于投影仪的姿势。
9.权利要求1的方法,进一步包括:
消除在输出图像中该组标记的出现,以使该组标记不可见。
10.权利要求1的方法,进一步包括:
从该姿势确定投影仪的运动;及
根据该运动选择输出图像。
11.权利要求1的方法,进一步包括:
根据投影的时间选择输出图像。
12.权利要求1的方法,进一步包括:
投影图像序列。
13.权利要求1的方法,其中该输出图像有预定形状,及在物体的预定位置投影。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/412,178 US7292269B2 (en) | 2003-04-11 | 2003-04-11 | Context aware projector |
US10/412,178 | 2003-04-11 | ||
PCT/JP2004/005069 WO2004093444A1 (en) | 2003-04-11 | 2004-04-08 | Method for displaying an output image on an object |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1698357A CN1698357A (zh) | 2005-11-16 |
CN1698357B true CN1698357B (zh) | 2010-04-28 |
Family
ID=33131159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2004800002317A Expired - Lifetime CN1698357B (zh) | 2003-04-11 | 2004-04-08 | 在物体上显示输出图像的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7292269B2 (zh) |
EP (1) | EP1504597B1 (zh) |
JP (1) | JP4584246B2 (zh) |
CN (1) | CN1698357B (zh) |
WO (1) | WO2004093444A1 (zh) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006513509A (ja) * | 2003-02-03 | 2006-04-20 | シーメンス アクチエンゲゼルシヤフト | 合成情報の投影 |
JP2007206618A (ja) * | 2006-02-06 | 2007-08-16 | Olympus Corp | 情報呈示装置 |
JP2007206619A (ja) * | 2006-02-06 | 2007-08-16 | Olympus Corp | 情報呈示装置及び情報呈示方法 |
US7717569B2 (en) * | 2006-04-13 | 2010-05-18 | Nokia Corporation | Projector screen with one or more markers |
EP2108135A4 (en) * | 2007-01-31 | 2013-02-20 | Micromentis Inc | ON THE HEADING DISPLAY DEVICE FOR A PROFILING SYSTEM |
US8994757B2 (en) | 2007-03-15 | 2015-03-31 | Scalable Display Technologies, Inc. | System and method for providing improved display quality by display adjustment and image processing using optical feedback |
JP2009008905A (ja) * | 2007-06-28 | 2009-01-15 | Ricoh Co Ltd | 情報表示装置および情報表示システム |
US7874681B2 (en) * | 2007-10-05 | 2011-01-25 | Huebner Kenneth J | Interactive projector system and method |
JP5286772B2 (ja) * | 2007-12-18 | 2013-09-11 | セイコーエプソン株式会社 | 画像表示装置 |
DE102008001629A1 (de) * | 2008-05-07 | 2009-11-12 | Robert Bosch Gmbh | Projektionsmittel umfassende Vorrichtung |
US9323422B2 (en) * | 2008-10-27 | 2016-04-26 | Autodesk, Inc. | Spatially-aware projection pen display |
JP2010166360A (ja) * | 2009-01-16 | 2010-07-29 | Seiko Epson Corp | プロジェクタ、その制御方法、及びその制御プログラム |
US9538167B2 (en) * | 2009-03-06 | 2017-01-03 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people |
US8393740B2 (en) * | 2009-03-12 | 2013-03-12 | Canon Kabushiki Kaisha | Image projection system with keystone correction |
US8231233B2 (en) * | 2009-06-17 | 2012-07-31 | Motorola Mobility, Inc. | Portable electronic device and method of power management for same to accommodate projector operation |
US20100321382A1 (en) | 2009-06-18 | 2010-12-23 | Scalable Display Technologies, Inc. | System and method for injection of mapping functions |
JP5573238B2 (ja) * | 2010-03-04 | 2014-08-20 | ソニー株式会社 | 情報処理装置、情報処理法方法およびプログラム |
JP5740822B2 (ja) * | 2010-03-04 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5598033B2 (ja) * | 2010-03-15 | 2014-10-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US20130201285A1 (en) | 2010-10-07 | 2013-08-08 | Sony Computer Entertainment Inc. | 3-d glasses with illuminated light guide |
EP2609731B1 (en) * | 2010-10-07 | 2017-03-29 | Sony Interactive Entertainment Inc. | Tracking head position and orientation |
CN102652322A (zh) * | 2010-10-12 | 2012-08-29 | 松下电器产业株式会社 | 显示处理装置、显示方法和程序 |
WO2012068112A1 (en) | 2010-11-15 | 2012-05-24 | Scalable Display Technologies, Inc. | System and method for calibrating a display system using manual and semi-automatic techniques |
US9111326B1 (en) | 2010-12-21 | 2015-08-18 | Rawles Llc | Designation of zones of interest within an augmented reality environment |
US8905551B1 (en) | 2010-12-23 | 2014-12-09 | Rawles Llc | Unpowered augmented reality projection accessory display device |
US9134593B1 (en) | 2010-12-23 | 2015-09-15 | Amazon Technologies, Inc. | Generation and modulation of non-visible structured light for augmented reality projection system |
US8845107B1 (en) | 2010-12-23 | 2014-09-30 | Rawles Llc | Characterization of a scene with structured light |
US8845110B1 (en) | 2010-12-23 | 2014-09-30 | Rawles Llc | Powered augmented reality projection accessory display device |
US9721386B1 (en) | 2010-12-27 | 2017-08-01 | Amazon Technologies, Inc. | Integrated augmented reality environment |
US9508194B1 (en) | 2010-12-30 | 2016-11-29 | Amazon Technologies, Inc. | Utilizing content output devices in an augmented reality environment |
US9607315B1 (en) | 2010-12-30 | 2017-03-28 | Amazon Technologies, Inc. | Complementing operation of display devices in an augmented reality environment |
CA2825726C (en) | 2011-02-11 | 2019-05-21 | Paul Ryznar | Light guided assembly system and method |
DE102011015987A1 (de) * | 2011-04-04 | 2012-10-04 | EXTEND3D GmbH | System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten |
US9497447B2 (en) | 2011-06-15 | 2016-11-15 | Scalable Display Technologies, Inc. | System and method for color and intensity calibrating of a display system for practical usage |
US9118782B1 (en) | 2011-09-19 | 2015-08-25 | Amazon Technologies, Inc. | Optical interference mitigation |
US20130271452A1 (en) * | 2011-09-30 | 2013-10-17 | Arvind Kumar | Mechanism for facilitating context-aware model-based image composition and rendering at computing devices |
CN103106665A (zh) * | 2011-11-11 | 2013-05-15 | 周建龙 | 一种空间增强现实***中自动跟踪移动物体的方法 |
US9132346B2 (en) | 2012-04-04 | 2015-09-15 | Kenneth J. Huebner | Connecting video objects and physical objects for handheld projectors |
EP2839454A4 (en) | 2012-04-19 | 2016-03-16 | Scalable Display Technologies Inc | ARRANGEMENT AND METHOD FOR CALIBRATING A VIBRATION-FREE DISPLAY SYSTEM IN A SYSTEM INPUT RESOLUTION |
WO2013173724A1 (en) | 2012-05-17 | 2013-11-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for utilizing synthetic animatronics |
CN103869961A (zh) * | 2012-12-18 | 2014-06-18 | 联想(北京)有限公司 | 投影仪和摄像机交互的方法及*** |
US9881383B2 (en) | 2013-01-28 | 2018-01-30 | Virtek Vision International Ulc | Laser projection system with motion compensation and method |
WO2014127836A1 (en) * | 2013-02-25 | 2014-08-28 | Abb Technology Ltd | Method and device for monitoring and controlling an industrial process |
WO2014144828A1 (en) | 2013-03-15 | 2014-09-18 | Scalable Display Technologies, Inc. | System and method for calibrating a display system using a short throw camera |
KR101465497B1 (ko) | 2013-07-09 | 2014-11-26 | 성균관대학교산학협력단 | 동적 프로젝션 매핑 장치 및 시스템과 그 방법 |
WO2015070258A1 (en) | 2013-11-11 | 2015-05-14 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for improved illumination of spatial augmented reality objects |
US9473913B2 (en) | 2013-11-12 | 2016-10-18 | At&T Intellectual Property I, L.P. | System and method for small cell based augmented reality |
WO2015086036A1 (de) * | 2013-12-12 | 2015-06-18 | Testo Ag | Verfahren zur ortsrichtigen projektion einer markierung auf ein objekt und projektionsvorrichtung |
WO2016103204A1 (en) | 2014-12-24 | 2016-06-30 | Verity Studios Ag | Flexibly supported movable platform |
US11062383B2 (en) | 2016-05-10 | 2021-07-13 | Lowe's Companies, Inc. | Systems and methods for displaying a simulated room and portions thereof |
WO2017223513A1 (en) * | 2016-06-23 | 2017-12-28 | Outernets, Inc. | Interactive content management |
US10009586B2 (en) * | 2016-11-11 | 2018-06-26 | Christie Digital Systems Usa, Inc. | System and method for projecting images on a marked surface |
JP6773609B2 (ja) * | 2017-06-23 | 2020-10-21 | ウエストユニティス株式会社 | 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム |
US20190052851A1 (en) | 2017-08-11 | 2019-02-14 | Hilti Aktiengesellschaft | System and Method for Recalibrating a Projector System |
KR102014095B1 (ko) * | 2017-09-29 | 2019-08-27 | 대한민국 | 인지 보조 시스템 및 방법 |
CN109788262A (zh) * | 2017-11-15 | 2019-05-21 | 中强光电股份有限公司 | 投影***及其影像投影方法 |
DE102017010683B4 (de) * | 2017-11-17 | 2019-08-14 | domeprojection.com GmbH | Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems |
US11188154B2 (en) * | 2018-05-30 | 2021-11-30 | International Business Machines Corporation | Context dependent projection of holographic objects |
FR3086383B1 (fr) | 2018-09-21 | 2020-08-28 | Diotasoft | Procede, module et systeme de projection sur une piece d’une image calculee a partir d’une maquette numerique |
WO2020210841A1 (en) * | 2019-04-12 | 2020-10-15 | Daniel Seidel | Projection system with interactive exclusion zones and topological adjustment |
JP7099497B2 (ja) * | 2020-07-28 | 2022-07-12 | セイコーエプソン株式会社 | 画像生成方法、画像生成システム、及びプログラム |
CN112991467B (zh) * | 2021-05-08 | 2021-07-20 | 光量信息科技(宁波)有限公司 | 基于相机的激光投影标识自动引导定位与实时校正方法 |
JP2022185342A (ja) * | 2021-06-02 | 2022-12-14 | セイコーエプソン株式会社 | プロジェクターおよびプロジェクターの制御方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19502459A1 (de) * | 1995-01-28 | 1996-08-01 | Wolf Henning | Verfahren zur dreidimensionalen optischen Vermessung der Oberfläche von Objekten |
US6520647B2 (en) * | 2000-08-17 | 2003-02-18 | Mitsubishi Electric Research Laboratories Inc. | Automatic keystone correction for projectors with arbitrary orientation |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4978216A (en) * | 1989-10-30 | 1990-12-18 | Walt Disney Company | Figure with back projected image using fiber optics |
JP3382045B2 (ja) * | 1995-01-24 | 2003-03-04 | 富士通株式会社 | イメージ投影システム |
SE510810C2 (sv) * | 1997-01-13 | 1999-06-28 | Qualisys Ab | Rörelseanalyssystem |
US6191812B1 (en) * | 1997-04-01 | 2001-02-20 | Rt-Set Ltd. | Method of providing background patterns for camera tracking |
JP2000241874A (ja) * | 1999-02-19 | 2000-09-08 | Nec Corp | プロジェクタの自動画面位置調整方法及び装置 |
US6554431B1 (en) * | 1999-06-10 | 2003-04-29 | Sony Corporation | Method and apparatus for image projection, and apparatus controlling image projection |
JP3509652B2 (ja) * | 1999-08-23 | 2004-03-22 | 日本電気株式会社 | プロジェクタ装置 |
JP3497805B2 (ja) * | 2000-08-29 | 2004-02-16 | オリンパス株式会社 | 画像投影表示装置 |
US6697761B2 (en) * | 2000-09-19 | 2004-02-24 | Olympus Optical Co., Ltd. | Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system |
JP2002247614A (ja) * | 2001-02-15 | 2002-08-30 | Ricoh Co Ltd | プロゼェクタ |
JP2003015218A (ja) * | 2001-07-03 | 2003-01-15 | Ricoh Co Ltd | 投影型表示装置 |
US7075587B2 (en) * | 2002-01-04 | 2006-07-11 | Industry-Academic Cooperation Foundation Yonsei University | Video display apparatus with separate display means for textual information |
JP2004274283A (ja) * | 2003-03-07 | 2004-09-30 | Casio Comput Co Ltd | 投影システム、及び投影装置、画像供給装置、プログラム |
-
2003
- 2003-04-11 US US10/412,178 patent/US7292269B2/en active Active
-
2004
- 2004-04-08 EP EP04726647.3A patent/EP1504597B1/en not_active Expired - Lifetime
- 2004-04-08 JP JP2006507713A patent/JP4584246B2/ja not_active Expired - Lifetime
- 2004-04-08 WO PCT/JP2004/005069 patent/WO2004093444A1/en active Application Filing
- 2004-04-08 CN CN2004800002317A patent/CN1698357B/zh not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19502459A1 (de) * | 1995-01-28 | 1996-08-01 | Wolf Henning | Verfahren zur dreidimensionalen optischen Vermessung der Oberfläche von Objekten |
US6520647B2 (en) * | 2000-08-17 | 2003-02-18 | Mitsubishi Electric Research Laboratories Inc. | Automatic keystone correction for projectors with arbitrary orientation |
Also Published As
Publication number | Publication date |
---|---|
EP1504597B1 (en) | 2015-02-11 |
JP2006523067A (ja) | 2006-10-05 |
WO2004093444A1 (en) | 2004-10-28 |
US20040201823A1 (en) | 2004-10-14 |
US7292269B2 (en) | 2007-11-06 |
JP4584246B2 (ja) | 2010-11-17 |
CN1698357A (zh) | 2005-11-16 |
EP1504597A1 (en) | 2005-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1698357B (zh) | 在物体上显示输出图像的方法 | |
CN108062776B (zh) | 相机姿态跟踪方法和装置 | |
US10083522B2 (en) | Image based measurement system | |
CN103875004B (zh) | 动态选择真实世界中的表面以用于在上面投影信息 | |
CN102831401B (zh) | 对无特定标记目标物体跟踪、三维叠加及交互的方法及*** | |
JP7480882B2 (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
CN105809619A (zh) | 用于线性全景图像拼接的图像获取用户界面 | |
CN107004279A (zh) | 自然用户界面相机校准 | |
US20170309075A1 (en) | Image to item mapping | |
CN108388341B (zh) | 一种基于红外摄像机-可见光投影仪的人机交互***及装置 | |
KR102209745B1 (ko) | 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법 | |
JP2015001875A (ja) | 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット | |
KR20230028532A (ko) | 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성 | |
CN112037314A (zh) | 图像显示方法、装置、显示设备及计算机可读存储介质 | |
US11263818B2 (en) | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects | |
CN104537705A (zh) | 基于增强现实的移动平台三维生物分子展示***和方法 | |
JP2018533121A (ja) | 現実シーンの写真に仮想画像を重ね合わせるための方法及び装置、並びに携帯デバイス | |
CN109146949B (zh) | 一种基于视频数据的3d测量及信息获取装置 | |
CN112912936A (zh) | 混合现实***、程序、移动终端装置和方法 | |
CN107077739A (zh) | 使用单目相机的三维标记模型构建和实时跟踪 | |
CN208506731U (zh) | 图像展示*** | |
CN113256724B (zh) | 一种手柄inside-out视觉6自由度定位方法及*** | |
US20100310161A1 (en) | Device and method for identification of objects using morphological coding | |
McIlroy et al. | Kinectrack: 3d pose estimation using a projected dense dot pattern | |
CN109816628A (zh) | 人脸评价方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term |
Granted publication date: 20100428 |
|
CX01 | Expiry of patent term |