CN111819603A - 虚拟物体显示控制装置、虚拟物体显示***、虚拟物体显示控制方法以及虚拟物体显示控制程序 - Google Patents

虚拟物体显示控制装置、虚拟物体显示***、虚拟物体显示控制方法以及虚拟物体显示控制程序 Download PDF

Info

Publication number
CN111819603A
CN111819603A CN201880089312.0A CN201880089312A CN111819603A CN 111819603 A CN111819603 A CN 111819603A CN 201880089312 A CN201880089312 A CN 201880089312A CN 111819603 A CN111819603 A CN 111819603A
Authority
CN
China
Prior art keywords
virtual object
image information
actual
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880089312.0A
Other languages
English (en)
Other versions
CN111819603B (zh
Inventor
金峰屹
仁平雅也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111819603A publication Critical patent/CN111819603A/zh
Application granted granted Critical
Publication of CN111819603B publication Critical patent/CN111819603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

虚拟物体显示控制装置(10)具有：识别部(110)，其接收表示实际空间的实际空间信息(A1，A2)；视点位置判定部(121)，其根据实际空间信息(A1，A2)判定观察者的视点位置；实际物体判定部(122)，其根据实际空间信息(A1，A2)判定实际物体的位置和形状；虚拟物体显示设定部(123)，其根据视点位置以及实际物体的位置和形状来设定虚拟物体的图像信息(B1)；引导显示控制部(126)，其根据视点位置、实际物体的位置和形状以及虚拟物体的图像信息(B1)来判定是否需要引导显示，在需要引导显示的情况下设定引导显示的图像信息(B2)；以及描绘部(127)，其输出虚拟物体的图像信息(B1)和引导显示的图像信息(B2)。

Description

虚拟物体显示控制装置、虚拟物体显示***、虚拟物体显示控 制方法以及虚拟物体显示控制程序
技术领域
本发明涉及进行用于显示虚拟物体图像的控制的虚拟物体显示控制装置、虚拟物体显示控制方法、虚拟物体显示控制程序以及包含所述虚拟物体显示控制装置的虚拟物体显示***。
背景技术
已提出在显示装置的画面显示实际物体的图像和与该实际物体的图像重叠的虚拟物体的图像的装置(例如，参照专利文献1、2)。虚拟物体的图像例如是增强现实(AR)图像。
现有技术文献
专利文献
专利文献1：日本特开2015-49039号公报(第0010、0068、0079段)
专利文献2：国际公开第2016/203792号(第0081段)
发明内容
发明要解决的课题
在上述现有的装置中，考虑到实际空间中的遮蔽(即，使得虚拟物体的图像不被实际物体的图像遮蔽)，将虚拟物体的图像显示在从本来应该显示的位置移动后的位置。但是，在这种情况下，观察者无法知晓虚拟物体的图像本来应该显示的位置。因此，在虚拟物体的图像是包含实际物体的注释的图像的情况下，很难知晓注释是关于哪个实际物体的。
本发明的目的在于提供一种虚拟物体显示控制装置、虚拟物体显示***、虚拟物体显示控制方法以及虚拟物体显示控制程序，即使在虚拟物体的图像显示于观察者看不到的位置的情况下，也能够使观察者识别虚拟物体的图像的位置。
本发明的一个方面的虚拟物体显示控制装置的特征在于，该虚拟物体显示控制装置具有：识别部，其接收表示实际空间的实际空间信息；视点位置判定部，其根据所述实际空间信息判定观察者的视点位置；实际物体判定部，其根据所述实际空间信息判定实际物体的位置和形状；虚拟物体显示设定部，其根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；引导显示控制部，其根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；以及描绘部，其输出所述虚拟物体的图像信息和所述引导显示的图像信息。
本发明的另一个方面的虚拟物体显示***的特征在于，该虚拟物体显示***具有：空间信息取得部，其取得表示实际空间的实际空间信息；识别部，其接收所述实际空间信息；视点位置判定部，其根据所述实际空间信息判定观察者的视点位置；实际物体判定部，其根据所述实际空间信息判定实际物体的位置和形状；虚拟物体显示设定部，其根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；引导显示控制部，其根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；描绘部，其输出所述虚拟物体的图像信息和所述引导显示的图像信息；以及显示装置，其根据所述虚拟物体的图像信息和所述引导显示的图像信息来显示图像。
发明效果
根据本发明，即使在虚拟物体的图像显示于观察者看不到的位置的情况下，也能够通过引导显示使观察者识别虚拟物体的图像的位置。
附图说明
图1是表示本发明的实施方式1的虚拟物体显示***的硬件结构的图。
图2是概略地表示视点位置与实际物体(遮蔽物)的位置关系的图。
图3是表示实施方式1的虚拟物体显示控制装置的功能框图。
图4是表示实施方式1的虚拟物体显示***的说明图。
图5是表示实施方式1的虚拟物体显示控制装置的动作的流程图
图6是表示实施方式1的变形例的虚拟物体显示***的硬件结构的图。
图7是表示实施方式1的变形例的虚拟物体显示***的说明图。
图8是表示本发明的实施方式2的虚拟物体显示***的硬件结构的图。
图9是表示实施方式2的虚拟物体显示***的说明图。
具体实施方式
以下，参照附图说明本发明的实施方式的虚拟物体显示控制装置、虚拟物体显示***、虚拟物体显示控制方法以及虚拟物体显示控制程序。以下的实施方式只是例子，能够在本发明的范围内进行各种变更。
另外，图中示出xyz直角坐标系。在xyz直角坐标系中，x轴表示实际空间中的横向(即水平横向)，y轴表示实际空间中的进深方向(即水平进深方向)，z轴表示实际空间中的高度方向(即纵向)。
实施方式1
首先，说明虚拟物体显示***1和虚拟物体显示控制装置10的结构。图1是表示实施方式1的虚拟物体显示***1的硬件结构的图。如图1所示，虚拟物体显示***1具有：空间信息取得部20，其是取得表示实际空间(即，实际世界)的实际空间信息的空间检测部；显示装置30，其显示图像；以及虚拟物体显示控制装置10，其使显示装置30显示图像。显示装置30例如显示实际物体的图像、虚拟物体的图像以及引导显示。虚拟物体的图像例如是AR图像。图像虚拟物体显示控制装置10是能够实施实施方式1的虚拟物体显示控制方法的装置。
空间信息取得部20例如具有取得实际空间的图像信息A1的1台以上的摄像部21和取得实际空间内存在的实际物体(即，对象物)的进深信息A2的1台以上的进深检测部22。空间信息取得部20也可以具有摄像部21和进深检测部22中的一方。摄像部21例如是取得彩色图像的彩色摄像机和从多个不同方向同时拍摄实际物体的立体摄像机等。进深检测部22例如是具有检测实际物体的进深(深度)的功能的进深摄像机等。在实施方式1中，实际空间信息包含实际空间的图像信息A1和实际物体的进深信息A2。
虚拟物体显示控制装置10具有作为信息处理部的CPU(Central ProcessingUnit：中央处理单元)11、作为图像处理部的GPU(Graphics Processing Unit：图形处理单元)12以及作为存储信息的存储部的存储器13。GPU12的功能也可以由CPU11来执行。虚拟物体显示控制装置10例如是个人计算机(PC)、智能手机或平板终端等。存储器13也可以存储实施方式1的虚拟物体显示控制程序。CPU11能够通过执行虚拟物体显示控制程序来控制显示装置30的显示动作。
显示装置30例如是PC的监视器、智能手机或平板终端等具有显示画面(即显示器)的装置。
图2是概略地表示观察者90的视点位置91与实际物体311的位置关系的图。实际物体311可以是遮蔽虚拟物体的遮蔽物。在实际空间内存在实际物体311的情况下，观察者90不能从视点位置91目视被实际物体311遮蔽的区域(斜线区域)314中显示的虚拟物体的图像。另外，在使虚拟物体的图像移动到不同位置的情况下，不知晓虚拟物体的图像与哪个实际物体相关联。因此，虚拟物体显示控制装置10根据实际空间信息判断观察者90的视点位置91以及实际物体311的位置和形状，根据视点位置91、实际物体311的位置和形状以及虚拟物体的图像信息B1，判断是否需要引导显示。虚拟物体显示控制装置10在需要引导显示的情况下设定引导显示的图像信息B2，输出虚拟物体的图像信息B1和引导显示的图像信息B2。虚拟物体显示控制装置10在不需要引导显示的情况下，输出虚拟物体的图像信息B1。
图3是表示实施方式1的虚拟物体显示控制装置10的功能框图。如图3所示，虚拟物体显示控制装置10具有识别部110和显示控制部120，识别部110接收作为实际空间信息的实际空间的图像信息A1和实际物体的进深信息A2。
例如，识别部110具有空间识别部111和实际物体识别部112，空间识别部111接收实际空间的图像信息A1，实施必要的处理并提供给显示控制部120，实际物体识别部112接收实际物体的进深信息A2，实施必要的处理并提供给显示控制部120。实际物体识别部112也可以输出将实际物体置换成实际物体的模型(即，预先保持的图像信息)而得到的数据。实际物体的模型是预先保持的图像信息，也可以是桌子或椅子等的图像信息，圆柱、长方体、三棱锥、球体等有代表性的三维形状。然而，识别部110的结构和功能不限于以上的例子。
显示控制部120具有：视点位置判定部121，其根据实际空间的图像信息A1和实际物体的进深信息A2判定观察者90的视点位置91；实际物体判定部122，其根据实际空间信息判定实际物体311的位置和形状；以及虚拟物体显示设定部123，其根据视点位置91以及实际物体311的位置和形状来设定虚拟物体312的图像信息B1。
另外，显示控制部120具有：引导显示判定部124，其根据视点位置91、实际物体311的位置和形状以及虚拟物体312的图像信息B1来判定是否需要引导显示323；以及引导显示设定部125，其在需要引导显示323的情况下设定引导显示的图像信息B2。引导显示判定部124和引导显示设定部125构成引导显示控制部126。引导显示判定部124例如在从视点位置观察时，虚拟物体的整体或一部分被实际物体遮蔽的情况下，判定为需要引导显示。另外，引导显示判定部124也可以在从视点位置观察时，虚拟物体的预先决定的一定比例以上(例如50％以上)被实际物体遮蔽的情况下，判定为需要引导显示。
此外，显示控制部120具有输出虚拟物体的图像信息B1和引导显示的图像信息B2的描绘部127。描绘部127也可以输出通过将虚拟物体的图像信息B1和引导显示的图像信息B2与实际空间的图像信息A1合成而得到的合成图像信息。
接着，说明虚拟物体显示控制装置10的动作。图4是表示虚拟物体显示***1的说明图。在图4中，作为图1的摄像部21示出2台摄像部21a、21b。在图4的例子中，空间信息取得部20的摄像部21a、21b将实际空间的图像信息A1和实际物体的进深信息A2提供给虚拟物体显示控制装置10。另外，图5是表示虚拟物体显示控制装置10的动作的流程图。
虚拟物体显示控制装置10在步骤S1中接收实际空间信息，在步骤S2中根据实际空间信息(例如，实际空间的图像信息A1)判定观察者90的视点位置91，在步骤S3中根据实际空间信息(例如，实际物体的进深信息A2)判定实际物体311的位置和形状，在步骤S4中根据视点位置91以及实际物体311的位置和形状来设定虚拟物体312的图像信息B1。
接着，虚拟物体显示控制装置10在步骤S5中根据视点位置91、实际物体311位置和形状以及虚拟物体的图像信息B1来判定是否需要引导显示。即，虚拟物体显示控制装置10判定从视点位置91观察，虚拟物体312的图像322是否被实际物体311的图像321遮蔽。
在虚拟物体312的图像322没有被遮蔽的情况下，虚拟物体显示控制装置10在步骤S6中描绘基于实际空间的图像信息的实际物体的图像321和虚拟物体的图像322。然后，虚拟物体显示控制装置10在步骤S7中使显示装置30显示实际物体的图像321和虚拟物体的图像322。
在虚拟物体312的图像322被遮蔽的情况下，虚拟物体显示控制装置10在步骤S8中判定引导显示323的位置，在步骤S9中设定引导显示的图像信息，在步骤S10中描绘基于实际空间的图像信息的实际物体的图像321、虚拟物体的图像322以及引导显示的图像323。然后，虚拟物体显示控制装置10使显示装置30显示实际物体的图像321、虚拟物体的图像322以及引导显示的图像323。引导显示323例如是表示虚拟物体的方向的箭头。引导显示323例如也可以包含“这里有虚拟物体。”或者“这里有实际物体的解说文。”等的消息。
如上所述，根据实施方式1的虚拟物体显示***1和虚拟物体显示控制装置10，即使在虚拟物体的图像322显示于观察者90看不到的位置的情况下，也能够通过引导显示323使观察者90识别虚拟物体的图像322的位置。
另外，根据实施方式1的虚拟物体显示***1和虚拟物体显示控制装置10，由于没有使虚拟物体的图像322的位置移动，因此，观察者90能够正确地识别虚拟物体的图像322是关于哪个实际物体的信息。
图6是表示实施方式1的变形例的虚拟物体显示***1a的硬件结构的图。在图6中，对与图1所示的构成要素相同或对应的构成要素标注与图1所示的符号相同的符号。图7是表示图6的虚拟物体显示***1a的说明图。在图7中，对与图4所示的构成要素相同或对应的构成要素标注与图4所示的符号相同的符号。
图6和图7所示的虚拟物体显示***1a与图1所示的虚拟物体显示***1的不同点在于，显示装置40具有：摄像部42，其取得从视点位置91观察到的摄像信息C1；显示画面41；以及合成部43，其使显示画面41显示将虚拟物体的图像信息B1和引导显示的图像信息B2重叠于摄像信息C1而成的图像。
在虚拟物体显示***1a中，虚拟物体显示控制装置10也可以从显示装置40接收观察者90的视点位置91。
另外，在虚拟物体显示***1a中，也可以将显示装置40的摄像部42用作空间信息取得部20的摄像部。
除了以上方面之外，图6和图7所示的虚拟物体显示***1a与图1和图4所示的虚拟物体显示***1相同。
实施方式2
图8是表示实施方式2的虚拟物体显示***2的硬件结构的图。在图8中，对与图1所示的构成要素相同或对应的构成要素标注与图1所示的符号相同的符号。图9是表示图8的虚拟物体显示***2的说明图。在图9中，对与图4所示的构成要素相同或对应的构成要素标注与图4所示的符号相同的符号。
图8和图9所示的虚拟物体显示***2与图1和图4所示的虚拟物体显示***1的不同点在于，显示装置50是向实际空间(即，实际世界)投射图像的投影仪，并且，引导显示333是实际空间的地板、墙壁、天花板、实际物体等上显示的投射图像。在图9的例子中，引导显示333是表示观察者90的移动路径的圆弧状的箭头。
如上所述，根据实施方式2的虚拟物体显示***2和虚拟物体显示控制装置10a，即使在虚拟物体的图像332显示于观察者90看不到的位置的情况下，也能够通过引导显示333使观察者90识别虚拟物体的图像332的位置。
另外，根据实施方式2的虚拟物体显示***2和虚拟物体显示控制装置10a，由于没有使虚拟物体的图像332的位置移动，因此，观察者90能够正确地识别虚拟物体的图像332是关于哪个实际物体的信息。
此外，引导显示333被直接投射到实际世界，能够直接使用实际世界的空间信息，因此，更容易知晓引导的意图。
除了以上方面之外，图8和图9所示的虚拟物体显示***2与图1和图4所示的虚拟物体显示***1或者图6和图7所示的虚拟物体显示***1a相同。
标号说明
1、1a、2：虚拟物体显示***；10、10a：虚拟物体显示控制装置；20：空间信息取得部；21、21a、21b：摄像部；22：进深检测部；30、40：显示装置；31、41：显示画面；42：摄像部；43：合成部；50：显示装置(投影仪)；90：观察者；91：视点位置；110：识别部；120：显示控制部；121：视点位置判定部；122：实际物体判定部；123：虚拟物体显示设定部；124：引导显示判定部；125：引导显示设定部；126：引导显示控制部；127：描绘部；311：实际物体；312：虚拟物体；321：实际物体的图像；322、332：虚拟物体的图像；323、333：引导显示；A1：实际空间的图像信息；A2：实际物体的进深信息；B1：虚拟物体的图像信息；B2引导显示的图像信息。

Claims (11)

1.一种虚拟物体显示控制装置，其特征在于，该虚拟物体显示控制装置具有：
识别部，其接收表示实际空间的实际空间信息；
视点位置判定部，其根据所述实际空间信息判定观察者的视点位置；
实际物体判定部，其根据所述实际空间信息判定实际物体的位置和形状；
虚拟物体显示设定部，其根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；
引导显示控制部，其根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；以及
描绘部，其输出所述虚拟物体的图像信息和所述引导显示的图像信息。
2.根据权利要求1所述的虚拟物体显示控制装置，其特征在于，
在从所述视点位置观察时，所述虚拟物体的整体或一部分被所述实际物体遮蔽的情况下，所述引导显示控制部判定为需要所述引导显示。
3.根据权利要求1或2所述的虚拟物体显示控制装置，其特征在于，
所述实际空间信息包含所述实际空间的图像信息和所述实际物体的进深信息。
4.根据权利要求1所述的虚拟物体显示控制装置，其特征在于，
所述描绘部输出通过将所述虚拟物体的图像信息和所述引导显示的图像信息与所述实际空间的图像信息合成而得到的合成图像信息。
5.一种虚拟物体显示***，其特征在于，该虚拟物体显示***具有：
空间信息取得部，其取得表示实际空间的实际空间信息；
识别部，其接收所述实际空间信息；
视点位置判定部，其根据所述实际空间信息判定观察者的视点位置；
实际物体判定部，其根据所述实际空间信息判定实际物体的位置和形状；
虚拟物体显示设定部，其根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；
引导显示控制部，其根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；
描绘部，其输出所述虚拟物体的图像信息和所述引导显示的图像信息；以及
显示装置，其根据所述虚拟物体的图像信息和所述引导显示的图像信息来显示图像。
6.根据权利要求5所述的虚拟物体显示***，其特征在于，
所述空间信息取得部具有取得所述实际空间的图像信息的摄像部和取得所述实际物体的进深信息的进深检测部。
7.根据权利要求5或6所述的虚拟物体显示***，其特征在于，
所述描绘部输出通过将所述虚拟物体的图像信息和所述引导显示的图像信息与所述实际空间的图像信息合成而得到的合成图像信息。
8.根据权利要求5或6所述的虚拟物体显示***，其特征在于，
所述显示装置具有：
其他摄像部，其取得从所述视点位置观察到的摄像信息；
显示画面；以及
合成部，其使所述显示画面显示将所述虚拟物体的图像信息和所述引导显示的图像信息重叠于所述摄像信息而成的图像。
9.根据权利要求5或6所述的虚拟物体显示***，其特征在于，
所述显示装置具有投影仪，该投影仪将所述虚拟物体的图像信息和所述引导显示的图像信息投射到所述实际空间上。
10.一种虚拟物体显示控制方法，其特征在于，该虚拟物体显示控制方法具有如下步骤：
接收表示实际空间的实际空间信息；
根据所述实际空间信息判定观察者的视点位置；
根据所述实际空间信息判定实际物体的位置和形状；
根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；
根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；以及
输出所述虚拟物体的图像信息和所述引导显示的图像信息。
11.一种虚拟物体显示控制程序，其特征在于，该虚拟物体显示控制程序使计算机执行如下处理：
接收表示实际空间的实际空间信息；
根据所述实际空间信息判定观察者的视点位置；
根据所述实际空间信息判定实际物体的位置和形状；
根据所述视点位置以及所述实际物体的位置和形状来设定虚拟物体的图像信息；
根据所述视点位置、所述实际物体的位置和形状以及所述虚拟物体的图像信息来判定是否需要引导显示，在需要所述引导显示的情况下设定所述引导显示的图像信息；以及
输出所述虚拟物体的图像信息和所述引导显示的图像信息。
CN201880089312.0A 2018-02-26 2018-02-26 虚拟物体显示控制装置、方法、记录介质及虚拟物体显示*** Active CN111819603B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006950 WO2019163128A1 (ja) 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Publications (2)

Publication Number Publication Date
CN111819603A true CN111819603A (zh) 2020-10-23
CN111819603B CN111819603B (zh) 2024-03-08

Family

ID=67688253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089312.0A Active CN111819603B (zh) 2018-02-26 2018-02-26 虚拟物体显示控制装置、方法、记录介质及虚拟物体显示***

Country Status (6)

Country Link
US (1) US20200394845A1 (zh)
JP (1) JP6698971B2 (zh)
KR (1) KR102279306B1 (zh)
CN (1) CN111819603B (zh)
DE (1) DE112018006936T5 (zh)
WO (1) WO2019163128A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7194752B2 (ja) 2018-12-13 2022-12-22 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法
KR102355733B1 (ko) * 2021-06-25 2022-02-09 주식회사 인터랙트 가상현실 훈련 시스템 및 이를 위한 바닥유닛

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0970030A (ja) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2005127996A (ja) * 2003-09-30 2005-05-19 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導プログラム
US20050116964A1 (en) * 2003-11-19 2005-06-02 Canon Kabushiki Kaisha Image reproducing method and apparatus for displaying annotations on a real image in virtual space
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
CN105139451A (zh) * 2015-08-10 2015-12-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示***
CN105408837A (zh) * 2013-06-18 2016-03-16 微软技术许可有限责任公司 Hmd上的混合世界/身体锁定的hud
US20170323480A1 (en) * 2016-05-05 2017-11-09 US Radar, Inc. Visualization Technique for Ground-Penetrating Radar

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281794A (ja) * 1997-04-03 1998-10-23 Toyota Motor Corp 車両用案内表示装置
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
JP2015049039A (ja) 2013-08-29 2015-03-16 キャンバスマップル株式会社 ナビゲーション装置、及びナビゲーションプログラム
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
WO2016203792A1 (ja) 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0970030A (ja) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2005127996A (ja) * 2003-09-30 2005-05-19 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導プログラム
US20050116964A1 (en) * 2003-11-19 2005-06-02 Canon Kabushiki Kaisha Image reproducing method and apparatus for displaying annotations on a real image in virtual space
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
CN105408837A (zh) * 2013-06-18 2016-03-16 微软技术许可有限责任公司 Hmd上的混合世界/身体锁定的hud
CN105139451A (zh) * 2015-08-10 2015-12-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示***
US20170323480A1 (en) * 2016-05-05 2017-11-09 US Radar, Inc. Visualization Technique for Ground-Penetrating Radar

Also Published As

Publication number Publication date
DE112018006936T5 (de) 2020-10-08
KR102279306B1 (ko) 2021-07-19
CN111819603B (zh) 2024-03-08
JPWO2019163128A1 (ja) 2020-05-28
WO2019163128A1 (ja) 2019-08-29
US20200394845A1 (en) 2020-12-17
JP6698971B2 (ja) 2020-05-27
KR20200104918A (ko) 2020-09-04

Similar Documents

Publication Publication Date Title
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
EP3101523B1 (en) Information processing apparatus, information processing method, computer-readable storage medium, and system
KR101930657B1 (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US9514574B2 (en) System and method for determining the extent of a plane in an augmented reality environment
EP3591966B1 (en) Image processing apparatus, image processing method, and program
US20190335115A1 (en) Display control device, head-mounted display, and control program
US9424689B2 (en) System,method,apparatus and computer readable non-transitory storage medium storing information processing program for providing an augmented reality technique
JP6380685B2 (ja) 寸法計測装置
US9478068B2 (en) Computer-readable medium, image processing device, image processing system, and image processing method
CN110418185B (zh) 一种增强现实视频画面中锚点的定位方法及其***
CN111819603B (zh) 虚拟物体显示控制装置、方法、记录介质及虚拟物体显示***
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
JP2017059041A (ja) 画像処理装置、画像処理方法、およびプログラム
US20160078684A1 (en) Information processing apparatus, information processing method, and recording medium
US20230388475A1 (en) Image processing apparatus and storage medium
JP6514386B1 (ja) プログラム、記録媒体及び画像生成方法
CN117170556A (zh) 图像处理设备、图像处理方法和存储介质
US20130057564A1 (en) Image processing apparatus, image processing method, and image processing program
EP3511898A1 (en) A method and a system for displaying a reality view
JP5683402B2 (ja) 画像合成装置及び画像合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant