CN113923437B - 信息显示方法及其处理装置与显示*** - Google Patents

信息显示方法及其处理装置与显示*** Download PDF

Info

Publication number
CN113923437B
CN113923437B CN202011382342.6A CN202011382342A CN113923437B CN 113923437 B CN113923437 B CN 113923437B CN 202011382342 A CN202011382342 A CN 202011382342A CN 113923437 B CN113923437 B CN 113923437B
Authority
CN
China
Prior art keywords
information
display
user
target object
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011382342.6A
Other languages
English (en)
Other versions
CN113923437A (zh
Inventor
苏育萱
余姿仪
蔡宇翔
陈冠廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN113923437A publication Critical patent/CN113923437A/zh
Application granted granted Critical
Publication of CN113923437B publication Critical patent/CN113923437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20—Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Alarm Systems (AREA)

Abstract

一种信息显示方法及其处理装置与显示***，此***包括可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置，其中处理装置连接在显示器、第一信息提取装置以及第二信息提取装置。第一信息提取装置用以提取使用者的位置信息以及姿态信息。第二信息提取装置用以提取目标物的位置信息以及姿态信息。处理装置用以根据使用者的位置信息以及姿态信息、目标物的位置信息以及姿态信息，进行坐标变换，以产生使用者与目标物之间的迭合信息，以及根据迭合信息，将目标物的立体相关信息显示在显示器上。

Description

信息显示方法及其处理装置与显示***
技术领域
本发明涉及一种信息显示技术。
背景技术
随着图像处理技术与空间定位技术的发展，透明显示器的应用已逐渐受到重视。此类的技术可让显示器搭配实体物件，再辅以虚拟相关信息，并且依照使用者的需求来产生互动式的体验，可使信息以更为直观的方式呈现。
然而，目前的显示***仅是利用图像辨识进行使用者以及实体物件的定位，再通过透明显示器将平面图资随着使用者视线与实体物件的相对位置进行移动。在使用者以及实体物件的姿态未被考虑的前提下，在显示器上所呈现的平面图资或是立体图资，皆难以与实体物件精准地迭合，而造成使用者观看上的不适。
发明内容
本公开提供一种信息显示方法及其处理装置与显示***。
在本公开的一范例实施例中，上述的显示***包括可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置，其中处理装置连接在显示器、第一信息提取装置以及第二信息提取装置。第一信息提取装置用以提取使用者的位置信息以及姿态信息。第二信息提取装置用以提取目标物的位置信息以及姿态信息。处理装置用以根据使用者的位置信息以及姿态信息、目标物的位置信息以及姿态信息，进行坐标变换，以产生使用者与目标物之间的迭合信息，以及根据迭合信息，将目标物的立体相关信息显示在显示器上。
在本公开的一范例实施例中，上述的信息显示方法适用于具有可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置的显示***。信息显示方法包括利用第一信息提取装置提取使用者的位置信息以及姿态信息，利用第二信息提取装置提取目标物的位置信息以及姿态信息，根据使用者的位置信息以及姿态信息、目标物的位置信息以及姿态信息，进行坐标变换，以产生使用者与目标物之间的迭合信息，以及根据迭合信息，将目标物的立体相关信息显示在显示器上。
在本公开的一范例实施例中，上述的处理装置连接在显示器、第一信息提取装置以及第二信息提取装置，其中第一信息提取装置用以提取使用者的位置信息以及姿态信息，第二信息提取装置用以提取目标物的位置信息以及姿态信息。处理装置包括存储器以及处理器。存储器用以存储数据。处理器用以取得第一信息提取装置所提取的使用者的位置信息以及姿态信息，取得第二信息提取装置所提取的目标物的位置信息以及姿态信息，根据使用者的位置信息以及姿态信息、目标物的位置信息以及姿态信息，进行坐标变换，以产生使用者与目标物之间的迭合信息，以及根据迭合信息，将目标物的立体相关信息显示在显示器上。
为让本公开能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据本公开一范例实施例所绘示的显示***的示意图。
图2是根据本公开一范例实施例所绘示的信息显示方法的流程图。
图3A以及图3B是根据本公开一范例实施例所绘示的迭合信息的计算方法的示意图。
图4A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图。
图4B是根据本公开一范例实施例所绘示的信息显示方法的流程图。
图5A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图。
图5B是根据本公开一范例实施例所绘示的信息显示方法的流程图。
图6A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图。
图6B是根据本公开一范例实施例所绘示的信息显示方法的流程图。
图7A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图。
图7B是根据本公开一范例实施例所绘示的信息显示方法的流程图。
【符号说明】
100：显示***
110：显示器
120：第一信息提取装置
130：第二信息提取装置
140：处理装置
141：存储器
142：处理器
S202～S208、S402～S412、S502～S512、S602～S612、
S702～S712：步骤
T3、T4、T5、T6、T7：目标物
U3、U4、U5、U6、U7：使用者
S3、S4、S5、S6、S7：立体相关信息
325：定位***
CL：相机中心点的连线
420A、520、620、720、730：相机模块
430、530：光学***
430A、430B、530B：定位光球
630：磁导空间定位***
630A：磁导探针
P：预设图案
具体实施方式
本公开的部分范例实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些范例实施例只是本公开的一部分，并未揭示所有本公开的可实施方式。更确切的说，这些范例实施例仅为本公开的专利申请范围中的方法、装置以及***的范例。
图1是根据本公开一范例实施例所绘示的显示***的示意图。首先图1先介绍***中的各个构件以及配置关系，详细功能将配合后续范例实施例的流程图一并公开。
请参照图1，本范例实施例中的显示***100包括显示器110、至少一个第一信息提取装置120、至少一个第二信息提取装置130以及处理装置140，其中处理装置140可以是以无线、有线或电性连接在显示器110、第一信息提取装置120以及第二信息提取装置130。
显示器110用以显示信息，其包括例如是液晶显示器(Liquid crystal display，LCD)、场色序(Field sequential color)LCD显示器、发光二极管(Light emitting diode，LED)显示器、电湿润显示器等穿透式可透光显示器，或者是投影式可透光显示器。使用者通过显示器110所观看到的内容可以是迭加虚拟图像的实体场景。
第一信息提取装置120用以提取使用者的位置信息以及姿态信息，而第二信息提取装置130用以提取实体场景中的目标物的位置信息以及姿态信息。第一信息提取装置120可以例如是至少一个图像传感器或者是至少一个图像传感器搭配至少一个深度传感器来对目标物进行图像辨识定位，其中图像传感器可为可见光传感器或非可见光传感器如红外线传感器等，深度传感器可为光场雷达或超声波传感器等。此外，第一信息提取装置120更可以例如是光学***来对使用者进行光学空间定位。在此，光学***可包括***装置以及定位光球。一般而言，***装置可以是主动式装置，而定位光球可以是被动式装置，然后本公开不在此设限，具体应用将在后续进行说明。也就是说，只要是可以定位出使用者所在位置信息以及姿态信息的装置或其组合，皆属于第一信息提取装置120的范围。
第二信息提取装置120则可以例如是至少一个图像传感器或者是至少一个图像传感器搭配至少一个深度传感器来对目标物进行图像辨识定位、光学***来对目标物进行光学空间定位、或者是磁性***来对目标物进行磁导空间定位。此外，因应特殊情境需求，第二信息提取装置130也可以是GPS***来定位显示器110外部的目标物(例如建筑物、车辆、行人等)，或是GPS***、相机、雷达等可提供测距装置的组合，以提取目标物的位置信息以及姿态信息。也就是说，只要是可以定位出目标物所在位置信息以及姿态信息的装置或其组合，皆属于第二信息提取装置130的范围。
本领域技术人员应明了，上述的图像传感器可用以提取图像并且包括具有透镜以及感光元件的摄像镜头。上述的深度传感器可用以检测深度信息，其可以分为主动式深度感测技术以及被动式深度感测技术来实现。主动式深度感测技术可藉由主动发出光源、红外线、超声波、激光等作为信号搭配时差测距技术来计算深度信息。被动式深度感测技术可以藉由两个图像传感器以不同视角提取其前方的两张图像，以利用两张图像的视差来计算深度信息。上述的光学***可配置在使用者和/或目标物上的发光体(例如追踪光球)，再搭配摄像镜头或是其它光学检测器，得以提供使用者和/或目标物的空间坐标，而此空间坐标可具有三自由度(three degrees of freedom，3-DOF)、六自由度(6-DOF)的信息。上述的磁性***(例如磁导探针)则可深入到目标物中，来根据所测量到的物理量(例如电压、电流)得到目标物的空间坐标。
处理装置140用以控制显示***100的操作，其包括存储器141以及处理器142。存储器141可以例如是任意型式的固定式或可移动式随机存取存储器(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器142可以例如是中央处理单元(centralprocessing unit，CPU)、应用处理器(application processor，AP)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signalprocessor，DSP)、图像信号处理器(image signal processor，ISP)、图形处理器(graphicsprocessing unit，GPU)或其他类似装置、集成电路及其组合。
在本范例实施例中，处理装置140可以是内建在显示器110。第一信息提取装置120以及第二信息提取装置130可以是分别设置在显示器110上的相对两侧、显示***100所属场域相对于显示器110的相对两侧等，用以对使用者以及目标物进行定位，并且通过各自的通信接口以有线或是无线的方式传输信息至处理装置140。在另一范例实施例中，显示***100可为单一整合***，其可以实作成头戴式显示装置、智能手机、平板计算机等，本公开不在此设限。以下范例实施例中将搭配显示***100的各元件来说明信息显示方法的实施细节。
图2是根据本公开一范例实施例所绘示的信息显示方法的流程图，而图2的方法流程可由图1的显示***100来实现。在此，使用者可通过显示***100的显示器110来观看目标物及其相关的立体相关信息。
请同时参照图1以及图2，首先，显示***100的处理装置140可利用第一信息提取装置120提取使用者的位置信息以及姿态信息(步骤S202)，并且利用第二信息提取装置130提取目标物的位置信息以及姿态信息(步骤S204)。如同前述，第一信息提取装置120以及第二信息提取装置130例如是可针对使用者以及目标物的所在位置以及姿态进行定位的图像传感器、深度传感器、光学***、磁性***及其组合，而具体设置方式将在后续范例实施例中分叙说明。
接着，处理装置140将根据使用者的位置信息以及姿态信息、目标物的位置信息以及姿态信息，进行坐标变换，以产生使用者与目标物之间的迭合信息(步骤S206)。在此，使用者的位置信息以及姿态信息可以是具有使用者相对于第一信息提取装置120的使用者位置坐标以及使用者朝向角度，而目标物的位置信息以及姿态信息可以是具有目标物相对于第二信息提取装置130的目标物位置坐标以及目标物朝向角度。处理装置140可将使用者位置坐标、使用者朝向角度、目标物位置坐标以及目标物朝向角度转换至相同的坐标***(例如是世界坐标***或相机坐标***)。接着，处理装置140再根据转换后的使用者位置坐标、转换后的使用者朝向角度、转换后的目标物位置坐标以及转换后的目标物朝向角度，计算出使用者与目标物两者相对于显示器110的位置以及角度，进而计算出适于使用者观看目标物时的迭合信息。
在一范例实施例中，迭合信息为使用者观看目标物时，立体相关信息显示在显示器110的显示位置、显示角度以及显示尺寸。在此，立体相关信息可以是存储在存储器141或者是通过通信接口(未绘示)自其它数据库所取得，而立体相关信息呈现在显示器110的显示位置以及显示角度皆关联于使用者相对于显示器110的深度距离、目标物相对于显示器110的深度距离、使用者相对于显示器110的深度轴的偏移角度以及目标物相对于显示器110的深度轴的偏移角度。立体相关信息在显示器110的显示大小关联于使用者相对于显示器110的深度距离以及目标物相对于显示器110的深度距离。
具体来说，图3A以及图3B是根据本公开一范例实施例所绘示的迭合信息的计算方法的示意图。为了方便说明，在此第一信息提取装置120以及第二信息提取装置130将合称为定位***325。
请先同时参照图3A以及图1，在本实施例中，目标物T3与使用者U3皆位于定位***325的同侧。假设第一信息提取装置120以及第二信息提取装置130实作为具有一或多个图像传感器的相机模块，则目标物T3与使用者U3皆是位于相机中心点连线CL的同侧。假设目标物T3以及使用者U3相对于显示器110的深度距离分别为d1以及d2，目标物T3以及使用者U3相对于显示器110的深度轴的偏移角度分别为θ1以及θ2。因此，处理装置140可以是根据方程式(1.1)～(1.3)所计算出的迭合信息来显示目标物T3的立体相关信息S3的位置坐标(u，v)在显示器110的平面u轴以及垂直v轴的偏移量：
其中x为立体相关信息S3在显示器110的平面u轴的偏移量，θrx为立体相关信息S3在显示器110的平面u轴的朝向角度，R(z)为立体相关信息S3的缩放比例。此外，立体相关信息S3在显示器110的垂直v轴的偏移量y以及朝向角度θry也可以类似的方式计算出。在此的缩放比例可以是相对于立体相关信息的原始大小的缩放比例，并且是根据使用者U3与目标物T3的相对距离关系来调整。
请再同时参照图3B以及图1，在本实施例中，目标物T3与使用者U3位于定位***325的不同侧。假设第一信息提取装置120以及第二信息提取装置130实作为具有一或多个图像传感器的相机模块，则目标物T3与使用者U3是位于相机中心点连线CL的相异两侧。因此，处理装置140可以是根据方程式(2.1)～(2.3)所计算出的迭合信息来显示目标物T3的立体相关信息S3的位置坐标(u，v)在显示器110的平面u轴以及垂直v轴的偏移量：
其中x为立体相关信息S3在显示器110的平面u轴的偏移量，θrx为立体相关信息S3在显示器110的平面u轴的朝向角度，R(z)为立体相关信息S3的缩放比例。此外，立体相关信息S3在显示器110的垂直v轴的偏移量y以及朝向角度θry也可以类似的方式计算出。
请再回到图2，处理装置140会根据所产生的迭合信息，将目标物的立体相关信息显示在显示器110(步骤S208)。如此一来，无论是使用者以任何位置、方位、姿态观看显示器110，处理装置140可自动地适应性调整立体相关信息在显示器110上的显示位置、显示角度以及显示尺寸，以实现多角度立体相关信息的显示。
为了方便明了，以下实施例将搭配显示***100的不同配置方式来具体地说明图2流程的使用情境和细节。
图4A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图，图4B是根据本公开一范例实施例所绘示的信息显示方法的流程图。在本范例实施例中，第一信息提取装置120将实作为具有一或多个图像传感器的相机模块以及光学***，而第二信息提取装置130将实作为光学***。
请先参照图1以及图4A以及图4B，在本范例实施例中，显示***100的处理装置140将利用光学***430以及置于目标物T4上的定位光球430B针对目标物T4进行光学空间定位(步骤S402)，而取得目标物T4的位置信息(xt，yt，zt)以及姿态信息(θtx，θty，θtz)。此外，处理装置140将利用相机模块420A针对使用者U4进行图像辨识定位(步骤S404A)以及利用光学***430以及置于使用者U4身上的定位光球430A针对使用者U4进行光学空间定位(步骤S404B)，以分别产生使用者U4的平面位置信息(xu，yu)以及深度位置信息(zu)。
接着，处理装置140将目标物T4的位置信息(xt，yt，zt)、姿态信息(θtx，θty，θtz)以及使用者U4的位置信息(xu，yu，zu)分别进行空间坐标变换(步骤S406A、步骤S406B)，以将此些信息转换至相同坐标***后，再进行目标物T4与使用者U4之间的迭合运算(步骤S408)，以产生迭合信息(即，位置信息(u，v)、朝向角度(θrx，θry)以及缩放比例R(z))。接着，处理装置140将会进行数据库存取(步骤S410)，以自数据库取得目标物T4的立体相关信息，并且根据迭合信息来进行多角度立体相关信息S4的显示(步骤S412)。此外，当使用者U4移动到其它位置时，流程将会回到步骤S404A、S404B，以重新计算不同的迭合信息，而使用者U4将会观看到位于显示器110上不同位置、不同朝向角度以及不同大小的立体相关信息。
图5A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图，图5B是根据本公开一范例实施例所绘示的信息显示方法的流程图。在本范例实施例中，第一信息提取装置120将实作为相机模块，而第二信息提取装置130将实作为光学***。
请先参照图1以及图5A以及图5B，在本范例实施例中，显示***100的处理装置140将利用光学***530以及置于目标物T5上的定位光球530B针对目标物T5进行光学空间定位(步骤S502)，而取得目标物T5的位置信息(xt，yt，zt)以及姿态信息(θtx，θty，θtz)。此外，处理装置140将利用相机模块520针对使用者U5进行图像辨识定位(步骤S504)，以产生使用者U5的位置信息(xu，yu，zu)以及姿态信息(θux，θuy，θuz)。此外，本领域技术人员应明了，处理装置140可根据使用者U5的图像来根据使用者眼睛位置以及面部旋转幅度来判断使用者观看的视角方向，以做为使用者U5的姿态信息的计算依据。
接着，处理装置140将目标物T5的位置信息(xt，yt，zt)、姿态信息(θtx，θty，θtz)以及使用者U5的位置信息(xu，yu，zu)以及姿态信息(θux，θuy，θuz)分别进行空间坐标变换(步骤S506A、步骤S506B)，以将此些信息转换至相同坐标***后，再进行目标物T5与使用者U5之间的迭合运算(步骤S508)，以产生迭合信息(即，位置信息(u，v)、朝向角度(θrx，θry)以及缩放比例R(z))。接着，处理装置140将会进行数据库存取(步骤S510)，以自数据库取得目标物T5的立体相关信息，并且根据迭合信息来进行多角度立体相关信息S5的显示(步骤S512)。
图6A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图，图6B是根据本公开一范例实施例所绘示的信息显示方法的流程图。在本范例实施例中，第一信息提取装置120将实作为相机模块，而第二信息提取装置130将实作为磁导空间定位***。
请先参照图1以及图6A以及图6B，在本范例实施例中，显示***100的处理装置140将利用磁导空间定位***630以及磁导探针630A针对目标物T6进行电磁空间定位(步骤S602)，而取得目标物T6的位置信息(xt，yt，zt)以及姿态信息(θtx，θty，θtz)。在本范例实施例中，磁导探针630A可进入目标物T6内，例如做为手术辅助用途。此外，处理装置140将利用相机模块620针对使用者U6进行图像辨识定位(步骤S604)，以产生使用者U6的位置信息(xu，yu，zu)以及姿态信息(θux，θuy，θuz)。
接着，处理装置140将目标物T6的位置信息(xt，yt，zt)、姿态信息(θtx，θty，θtz)以及使用者U6的位置信息(xu，yu，zu)以及姿态信息(θux，θuy，θuz)分别进行空间坐标变换(步骤S606A、步骤S606B)，以将此些信息转换至相同坐标***后，再进行目标物T6与使用者U6之间的迭合运算(步骤S608)，以产生迭合信息(即，位置信息(u，v)、朝向角度(θrx，θry)以及缩放比例R(z))。接着，处理装置140将会进行数据库存取(步骤S610)，以自数据库取得目标物T6的立体相关信息，并且根据迭合信息来进行多角度立体相关信息S6的显示(步骤S612)。
图7A是根据本公开的一范例实施例所绘示的显示***的应用情境的示意图，图7B是根据本公开一范例实施例所绘示的信息显示方法的流程图。在本范例实施例中，第一信息提取装置120以及第二信息提取装置130皆实作为相机模块。
请先参照图1以及图7A以及图7B，在本范例实施例中，显示***100的处理装置140将利用相机模块730针对目标物T7进行图像辨识定位(步骤S702)，而取得目标物T7的位置信息(xt，yt，zt)以及姿态信息(θtx，θty，θtz)。为了加速运算，在此可以是将预设图案P(例如二维条码)置于目标物T7上，而处理装置140可利用相机模块730提取到预设图案的不同分布、形变等等来推估出目标物T7的位置以及姿态。此外，处理装置140将利用相机模块720针对使用者U7进行图像辨识定位(步骤S704)，以产生使用者U7的位置信息(xu，yu，zu)以及姿态信息(θux，θuy，θuz)。
接着，处理装置140将目标物T7的位置信息(xt，yt，zt)、姿态信息(θtx，θty，θtz)以及使用者U7的位置信息(xu，yu，zu)以及姿态信息(θux，θuy，θuz)分别进行空间坐标变换(步骤S706A、步骤S706B)，以将此些信息转换至相同坐标***后，再进行目标物T7与使用者U7之间的迭合运算(步骤S708)，以产生迭合信息(即，位置信息(u，v)、朝向角度(θrx，θry)以及缩放比例R(z))。接着，处理装置140将会进行数据库存取(步骤S710)，以自数据库取得目标物T7的立体相关信息，并且根据迭合信息来进行多角度立体相关信息S7的显示(步骤S712)。
本公开的范例实施例所提出的信息显示方法及其处理装置与显示***，其利用目标物以及使用者的位置信息以及姿态信息进行坐标变换，以计算出目标物与使用者之间的迭合信息，来实现多角度的迭合图像显示，进而提升虚拟信息迭合至真实物件的精准度，可应用于例如医疗手术、育乐、移动载具、教育场域等各个需要图像或图资迭合的视觉需求技术中。
虽然本公开已以范例实施例公开如上，然其并非用以限定本公开，本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的更动与润饰，故本公开的保护范围当视所附的权利要求书及其均等范围所界定者为准。

Claims (19)

1.一种显示***，其特征在于，包括：
可透光的显示器；
至少一第一信息提取装置，用以提取使用者的位置信息以及姿态信息；
至少一第二信息提取装置，用以提取目标物的位置信息以及姿态信息；以及
处理装置，连接于该显示器、所述第一信息提取装置以及所述第二信息提取装置，用以：
根据该使用者的该位置信息以及该姿态信息、该目标物的该位置信息以及该姿态信息，进行坐标变换，以产生该使用者与该目标物之间的迭合信息；以及
根据该迭合信息，显示该目标物的立体相关信息在该显示器上，
其中，所述迭合信息包括该立体相关信息在该显示器上的显示角度，该立体相关信息在该显示器的该显示角度关联于该使用者相对于该显示器的深度距离、该目标物相对于该显示器的深度距离、该使用者相对于该显示器的深度轴的偏移角度以及该目标物相对于该显示器的该深度轴的偏移角度。
2.如权利要求1所述的显示***，其特征在于：
该使用者的该位置信息以及该姿态信息具有该使用者相对于所述第一信息提取装置的使用者位置坐标以及使用者朝向角度，该目标物的该位置信息以及该姿态信息具有该目标物相对于所述第二信息提取装置的目标物位置坐标以及目标物朝向角度；以及
该处理装置转换该使用者位置坐标、该使用者朝向角度、该目标物位置坐标以及该目标物朝向角度至相同的坐标***。
3.如权利要求2所述的显示***，其特征在于：
该处理装置根据转换后的使用者位置坐标、转换后的使用者朝向角度、转换后的目标物位置坐标以及转换后的目标物朝向角度，计算该使用者与该目标物之间相对于该显示器的位置以及角度，以产生该迭合信息。
4.如权利要求1所述的显示***，其特征在于：
该迭合信息还包括该使用者观看该目标物时，该立体相关信息在该显示器的显示位置以及显示尺寸。
5.如权利要求4所述的显示***，其特征在于：
该立体相关信息在该显示器的该显示位置关联于该使用者相对于该显示器的深度距离、该目标物相对于该显示器的深度距离、该使用者相对于该显示器的深度轴的偏移角度以及该目标物相对于该显示器的该深度轴的偏移角度。
6.如权利要求4所述的显示***，其特征在于：
该立体相关信息在该显示器的该显示大小关联于该使用者与该目标物的相对距离。
7.如权利要求1所述的显示***，其特征在于：
所述第一信息提取装置为至少一图像传感器以及第一光学***，所述第二信息提取装置为第二光学***；
该处理装置利用所述图像传感器取得该使用者的平面位置信息，并且利用该第一光学***取得该使用者的深度位置信息；
该处理装置利用该第二光学***取得该目标物的位置信息以及该姿态信息；以及
该处理装置根据该使用者的该平面位置信息、该深度位置信息以及该目标物的位置信息、该姿态信息，进行坐标变换，以产生该迭合信息。
8.如权利要求7所述的显示***，其特征在于：
该使用者身上以及该目标物上分别具有第一定位光球以及第二定位光球，其中该处理装置通过该第一光学***，利用该第一定位光球取得该使用者的该深度位置信息，该第二光学***根据该第二定位光球取得该目标物的位置信息以及该姿态信息。
9.如权利要求1所述的显示***，其特征在于：
所述第一信息提取装置为至少一图像传感器，所述第二信息提取装置为光学***；
该处理装置利用所述图像传感器取得该使用者的该位置信息以及该姿态信息；
该处理装置利用该光学***取得该目标物的位置信息以及该姿态信息；以及
该处理装置根据该使用者的该位置信息以及该姿态信息、该目标物的该位置信息以及该姿态信息，进行坐标变换，以产生该迭合信息。
10.如权利要求9所述的显示***，其特征在于：
该目标物上具有定位光球，其中该处理装置通过该光学***，利用该定位光球取得该目标物的位置信息以及该姿态信息。
11.如权利要求1所述的显示***，其特征在于：
所述第一信息提取装置为至少一图像传感器，所述第二信息提取装置为磁性***；
该处理装置利用所述图像传感器取得该使用者的该位置信息以及该姿态信息；
该处理装置利用该磁性***取得该目标物的该位置信息以及该姿态信息；以及
该处理装置根据该使用者的该位置信息以及该姿态信息、该目标物的该位置信息以及该姿态信息，进行坐标变换，以产生该迭合信息。
12.如权利要求11所述的显示***，其特征在于：
该磁性***包括磁导探针以及磁导空间定位***，其中该处理装置通过该磁导空间定位***，利用该磁导探针取得该目标物的位置信息以及该姿态信息。
13.如权利要求12所述的显示***，其特征在于：
该磁导探针可进入该目标物内。
14.如权利要求1所述的显示***，其特征在于：
所述第一信息提取装置为至少一第一图像传感器，所述第二信息提取装置为至少一第二图像传感器；
该处理装置利用所述第一图像传感器取得该使用者的该位置信息以及该姿态信息；
该处理装置利用所述第二图像传感器取得该目标物的位置信息以及该姿态信息；以及
该处理装置根据该使用者的该位置信息以及该姿态信息、该目标物的该位置信息以及该姿态信息，进行坐标变换，以产生该迭合信息。
15.如权利要求14所述的显示***，其特征在于：
该目标物上还包括预设图案；以及
该处理装置根据所述第二图像传感器所提取到的该预设图案，计算该目标物的位置信息以及该姿态信息。
16.如权利要求1所述的显示***，其特征在于：
所述第二信息提取装置包括GPS***，用以定位该目标物；以及
该处理装置利用该GPS***取得该目标物的该位置信息以及该姿态信息。
17.如权利要求1所述的显示***，其特征在于：
所述第二信息提取装置包括雷达测距装置，用以定位该目标物；以及
该处理装置利用该雷达测距装置取得该目标物的该位置信息以及该姿态信息。
18.一种信息显示方法，其特征在于，适用于具有可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置的显示***，其中该方法包括：
利用所述第一信息提取装置提取使用者的位置信息以及姿态信息；
利用所述第二信息提取装置提取目标物的位置信息以及姿态信息；
根据该使用者的该位置信息以及该姿态信息、该目标物的该位置信息以及该姿态信息，进行坐标变换，以产生该使用者与该目标物之间的迭合信息；以及
根据该迭合信息，显示该目标物的立体相关信息在该显示器上，
其中，所述迭合信息包括该立体相关信息在该显示器上的显示角度，该立体相关信息在该显示器的该显示角度关联于该使用者相对于该显示器的深度距离、该目标物相对于该显示器的深度距离、该使用者相对于该显示器的深度轴的偏移角度以及该目标物相对于该显示器的该深度轴的偏移角度。
19.一种处理装置，其特征在于，连接于可透光的显示器、至少一第一信息提取装置以及至少一第二信息提取装置，其中所述第一信息提取装置用以提取使用者的位置信息以及姿态信息，所述第二信息提取装置用以提取目标物的位置信息以及姿态信息，该处理装置包括：
存储器，用以存储数据；以及
处理器，用以：
取得所述第一信息提取装置所提取的该使用者的该位置信息以及该姿态信息；
取得所述第二信息提取装置所提取的该目标物的该位置信息以及该姿态信息；
根据该使用者的该位置信息以及该姿态信息、该目标物的该位置信息以及该姿态信息，进行坐标变换，以产生该使用者与该目标物之间的迭合信息；以及
根据该迭合信息，显示该目标物的立体相关信息在该显示器上，
其中，所述迭合信息包括该立体相关信息在该显示器上的显示角度，该立体相关信息在该显示器的该显示角度关联于该使用者相对于该显示器的深度距离、该目标物相对于该显示器的深度距离、该使用者相对于该显示器的深度轴的偏移角度以及该目标物相对于该显示器的该深度轴的偏移角度。
CN202011382342.6A 2020-07-09 2020-11-30 信息显示方法及其处理装置与显示*** Active CN113923437B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063050072P 2020-07-09 2020-07-09
US63/050,072 2020-07-09

Publications (2)

Publication Number Publication Date
CN113923437A CN113923437A (zh) 2022-01-11
CN113923437B true CN113923437B (zh) 2024-03-22

Family

ID=79173819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011382342.6A Active CN113923437B (zh) 2020-07-09 2020-11-30 信息显示方法及其处理装置与显示***

Country Status (3)

Country Link
US (1) US11393434B2 (zh)
CN (1) CN113923437B (zh)
TW (1) TWI792106B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7190919B2 (ja) * 2019-01-25 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント 画像解析システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744253A (zh) * 2014-12-26 2016-07-06 乐金显示有限公司 自动立体三维显示设备
CN107506032A (zh) * 2017-08-17 2017-12-22 深圳市华星光电半导体显示技术有限公司 基于透明显示器的增强现实显示方法和装置
TW202009877A (zh) * 2018-08-28 2020-03-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP5830987B2 (ja) * 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR20140045801A (ko) * 2012-10-09 2014-04-17 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
WO2015039302A1 (en) * 2013-09-18 2015-03-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd Method and system for guided ultrasound image acquisition
KR102170749B1 (ko) * 2013-11-29 2020-10-28 삼성전자주식회사 투명 디스플레이를 포함하는 전자 장치 및 제어 방법
WO2015162605A2 (en) * 2014-04-22 2015-10-29 Snapaid Ltd System and method for controlling a camera based on processing an image captured by other camera
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
IL241033B (en) 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
CA2997965C (en) 2015-10-14 2021-04-27 Surgical Theater LLC Augmented reality surgical navigation
US10231793B2 (en) * 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
CN109388233B (zh) * 2017-08-14 2022-07-29 财团法人工业技术研究院 透明显示装置及其控制方法
ES2945711T3 (es) 2017-08-15 2023-07-06 Holo Surgical Inc Sistema de navegación quirúrgica para proporcionar una imagen de realidad aumentada durante la operación
IL276510B2 (en) * 2018-02-15 2024-02-01 Magic Leap Inc Virtual reverberation in mixed reality
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11337023B2 (en) * 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744253A (zh) * 2014-12-26 2016-07-06 乐金显示有限公司 自动立体三维显示设备
CN107506032A (zh) * 2017-08-17 2017-12-22 深圳市华星光电半导体显示技术有限公司 基于透明显示器的增强现实显示方法和装置
TW202009877A (zh) * 2018-08-28 2020-03-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統

Also Published As

Publication number Publication date
TWI792106B (zh) 2023-02-11
US20220013090A1 (en) 2022-01-13
CN113923437A (zh) 2022-01-11
US11393434B2 (en) 2022-07-19
TW202203645A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
US9401050B2 (en) Recalibration of a flexible mixed reality device
US11423586B2 (en) Augmented reality vision system for tracking and geolocating objects of interest
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
US11237392B2 (en) System for virtual display and method of use
CA2888943C (en) Augmented reality system and method for positioning and mapping
CN107771342B (zh) 一种增强现实显示方法及头戴式显示设备
US11127380B2 (en) Content stabilization for head-mounted displays
US10037614B2 (en) Minimizing variations in camera height to estimate distance to objects
Ren et al. Marker-based surgical instrument tracking using dual kinect sensors
WO2016109121A1 (en) Virtual representations of real-world objects
WO2012041208A1 (zh) 信息处理设备以及信息处理方法
WO2023071381A1 (zh) 虚实融合方法、装置、设备、存储介质及程序产品
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
CN112525185A (zh) 基于定位的ar导览方法及ar头戴式显示装置
CN113923437B (zh) 信息显示方法及其处理装置与显示***
US10559131B2 (en) Mediated reality
CN107884930B (zh) 头戴式装置及控制方法
JP6210447B2 (ja) 視線計測装置、注視点の表示方法、注視領域の表示方法および注視点のガウス分布の表示方法
US20130155211A1 (en) Interactive system and interactive device thereof
CN110120062B (zh) 图像处理方法及装置
TWI832459B (zh) 資訊顯示方法及其處理裝置與資訊顯示系統
US20230162459A1 (en) Method, processing device, and display system for information display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant