CN105303557A - 一种可透视型智能眼镜及其透视方法 - Google Patents
一种可透视型智能眼镜及其透视方法 Download PDFInfo
- Publication number
- CN105303557A CN105303557A CN201510602596.7A CN201510602596A CN105303557A CN 105303557 A CN105303557 A CN 105303557A CN 201510602596 A CN201510602596 A CN 201510602596A CN 105303557 A CN105303557 A CN 105303557A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- extrinsic calibration
- intelligent glasses
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000000694 effects Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000005311 nuclear magnetism Effects 0.000 claims description 4
- 238000004017 vitrification Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C5/00—Constructions of non-optical parts
- G02C5/001—Constructions of non-optical parts specially adapted for particular purposes, not otherwise provided for or not fully classifiable according to technical characteristics, e.g. therapeutic glasses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明属于智能眼镜技术领域,尤其涉及一种可透视型智能眼镜及其透视方法。所述可透视型智能眼镜包括模型存储模块、图像处理模块和图像显示模块,所述模型存储模块用于存储目标物体的3D模型;所述图像处理模块用于根据使用者的观察角度识别目标物体的外部标定,根据目标物体3D模型找出外部标定和内部结构之间的相对空间关系,根据相对空间关系生成观察角度对应的目标物体内部图像,并通过所述图像显示模块显示所述内部图像。本发明在不破坏物体表面和整体结构的前提下,根据使用者的观察角度生成观察角度对应的内部结构图像,便于使用者正确、直观、形象地观测到物体的内部结构。
Description
技术领域
本发明属于智能眼镜技术领域,尤其涉及一种可透视型智能眼镜及其透视方法。
背景技术
随着电子技术的进步,智能眼镜逐渐发展,例如***glass和爱普生MoverioBT-200智能眼镜等。现有的智能眼镜像智能手机一样,具有独立的操作***,可以由用户安装软件、游戏等软件服务商提供的程序,可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能,并可以通过移动通讯网络来实现无线网络接入。
现有智能眼镜的缺陷在于:使用者无法通过智能眼镜透视物体,不便于使用者正确、直观、形象地了解到物体的内部结构。
发明内容
本发明提供了一种可透视型智能眼镜及其透视方法,旨在解决现有的智能眼镜无法通过智能眼镜透视物体,不便于使用者了解物体的内部结构的技术问题。
本发明是这样实现的:一种可透视型智能眼镜,包括模型存储模块、图像处理模块和图像显示模块,所述模型存储模块用于存储目标物体的3D模型;所述图像处理模块用于根据使用者的观察角度识别目标物体的外部标定,根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系,根据相对空间关系生成观察角度对应的目标物体内部图像,并通过所述图像显示模块显示所述内部图像。
本发明实施例采取的技术方案还包括:所述图像处理模块包括图像采集单元和关系建立单元,所述图像显示模块根据使用者的观察角度显示目标物体的表面图像,所述图像采集单元采集目标物体表面图像,通过特征提取算法识提取出特征点,识别目标物体的外部标定;所述关系建立单元根据目标物体的3D模型建立外部标定与内部结构之间的相对空间关系,并计算外部标定的旋转和位移值。
本发明实施例采取的技术方案还包括:所述图像处理模块还包括图像生成单元和图像覆盖单元;所述图像生成单元用于根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影;所述图像覆盖单元用于将投影得到的图像显示在图像显示模块中,并将该投影图像替换目标物体的表面图像。
本发明实施例采取的技术方案还包括:所述目标物体的3D模型包括目标物体的外部结构和内部结构,所述外部结构为目标物体外部可见部分,包括目标物体外部标定,所述内部结构为目标物体内部不可见部分,用于透视显示使用,所述目标物体的外部结构在内部结构透视时被透明化处理;所述3D模型的建立方式包括:由目标物体的生产厂家提供、根据目标物体的规格说明书建模或根据X光、CT和核磁设备的扫描结果生成,并导入所述模型存储模块中进行存储。
本发明实施例采取的技术方案还包括:所述图像显示模块为智能眼镜显示屏,图像显示方式包括单目显示或双目显示;所述图像采集单元为智能眼镜的摄像头,所述目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征。
本发明实施例采取的技术方案还包括:所述关系建立单元计算外部标定的旋转和位移值的计算方式为:所述图像处理模块根据使用者的观察角度识别目标物体的外部标定,根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系,根据相对空间关系生成观察角度对应的目标物体内部图像具体为:采集外部标定图像,将外部标定图像与已知目标物体3D模型的外部标定图像进行比对得出观察视角,从观察视角对整个目标物体进行投影,并在所述外部标定图像所在位置进行图像截面操作,用所得截面图像替换目标物体表面图像由此获得透视效果。
本发明实施例采取的另一技术方案为:一种可透视型智能眼镜的透视方法,包括:
步骤a:根据真实的目标物体建立3D模型,并通过智能眼镜存所述3D模型;
步骤b:根据使用者的观察角度识别目标物体的外部标定,根据目标物体3D模型找出外部标定与内部结构之间的相对空间关系;
步骤c:根据相对空间关系生成观察角度对应的目标物体内部图像,并通过智能眼镜显示所述内部图像。
本发明实施例采取的技术方案还包括:所述步骤b还包括:计算外部标定的旋转和位移值;所述外部标定的旋转和位移值的计算方式为:将外部标定部分近似考虑为平面,则至少采集4个特征点,将目标物体的外部标定与已知的外部标定进行比对变换,建立相对空间关系时求出3*3的变换矩阵T1;预估人眼所看显示屏的位置,并计算摄像头图像与人眼图像之间变换的校正矩阵,将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2,求出T2矩阵对应的角度和位移值,即为外部标定的旋转和位移值。
本发明实施例采取的技术方案还包括:在所述步骤c中,所述根据相对空间关系生成观察角度对应的目标物体内部图像,并通过智能眼镜显示所述内部图像具体为:根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影,将投影得到的图像显示在智能眼镜中,并将该投影图像替换目标物体的表面图像。
本发明实施例采取的技术方案还包括:所述步骤c后还包括:当采集到的目标物体表面图像发生变化时,判断该图像与原已识别外部标定的图像是否存在重叠的外部标定,如果存在重叠的外部标定,在原已识别外部标定的图像的相邻区域重新执行步骤b,如果不存在重叠的外部标定,则对整个图像重新执行步骤b。
本发明实施例的可透视型智能眼镜及其透视方法在不破坏物体表面和整体结构的前提下,通过建立目标物体3D模型,使用者佩戴智能眼镜,智能眼镜根据使用者的观察角度生成观察角度对应的内部结构图像,便于使用者正确、直观、形象地观测到物体的内部结构。
附图说明
图1是本发明实施例的可透视型智能眼镜的结构示意图;
图2是目标物体结构图;
图3是目标物体外部观察效果图;
图4是摄像头与显示器位置之间的校正关系图;
图5是本发明实施例的可透视型智能眼镜的透视方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,是本发明实施例的可透视型智能眼镜的结构示意图。本发明实施例的可透视型智能眼镜包括模型存储模块、图像显示模块和图像处理模块;具体地:
模型存储模块用于存储目标物体的3D模型;其中,目标物体的3D模型包括目标物体的外部结构和内部结构,外部结构为目标物体外部可见部分,包括目标物体外部标定,内部结构为目标物体内部不可见部分,用于透视显示使用,目标物体的外部结构在内部结构透视时被透明化处理;目标物体3D模型的建立方式包括:由目标物体的生产厂家提供、根据目标物体的规格说明书建模、根据X光、CT和核磁等设备的扫描结果生成或上述建模方式以外的其他建模方式取得,并导入模型存储模块中进行存储;具体如图2所示,为目标物体结构图。
图像显示模块用于根据使用者的观察角度显示目标物体的表面图像或内部图像;其中,图像显示模块为智能眼镜显示屏,图像显示方式包括单目显示或双目显示;图像显示模块允许自然光的穿透,从而在保证使用者观看智能眼镜显示图像的同时也可以看到自然真实视野。
图像处理模块用于根据使用者的观察角度识别目标物体的外部标定,找出外部标定和内部结构之间的相对空间关系,根据相对空间关系生成观察角度对应的目标物体内部图像,并通过图像显示模块显示所述内部图像;具体地,图像处理模块包括图像采集单元、关系建立单元、图像生成单元和图像覆盖单元;
图像采集单元用于采集目标物体表面图像,并通过特征提取算法提取特征点,识别出目标物体的外部标定;在本发明实施例中,图像采集单元为智能眼镜的摄像头;目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征,这些特征点被智能眼镜的摄像头采集并由相应的特征提取算法识别;具体如图3所示,为目标物体外部观察效果图。识别出外部标定后,由于视频中相邻两帧图像中的外部标定会有部分重叠,从而更容易在后续图像中识别出外部标定。
关系建立单元用于根据目标物体的3D模型建立外部标定和内部结构之间的相对空间关系,并计算外部标定的旋转和位移值;具体地,外部标定的旋转和位移值的计算方式为:如果将外部标定部分近似考虑为平面,则至少采集4个特征点,将目标物体的外部标定与已知的外部标定进行比对变换,建立相对空间关系时可以求出3*3的变换矩阵T1,由于智能眼镜的摄像头和人眼所看显示屏的位置并不完全重合,因此需要预估人眼所看显示屏的位置同时计算好摄像头图像与人眼图像之间变换的校正矩阵,将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2,求出T2矩阵对应的角度和位移值,即为外部标定的旋转和位移值。具体如图4所示,为摄像头与显示器位置之间的校正关系图。本发明通过标定手段求出此校正矩阵,此校正矩阵只由设备本身参数决定,与使用者和目标物体无关。如果使用相机标定技术可以得出该设备的校正矩阵。
图像生成单元用于根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影;
图像覆盖单元用于将投影得到的图像显示在图像显示模块中,并将该投影图像替换目标物体的表面图像,从而达到透视目标物体内部结构的效果;即:通过图像采集单元采集到外部标定图像,将外部标定图像与已知目标物体3D模型的外部标定图像进行比对得出观察视角,从观察视角对整个目标物体进行投影,并在所述外部标定图像所在位置进行图像截面操作,用所得截面图像替换目标物体表面图像由此获得透视效果;此刻使用者者通过图像显示模块看到的图像是目标物体的表面图像与图像生成单元生成的投影图像融合叠加后的结果,由于投影图像覆盖了部分目标物体表面的图像并将其替换为该角度下的目标物体内部结构透视图像,因此从智能眼镜使用者的角度来说,目标物体的外表面是透明的,从而达到透视目标物体内部结构的效果。其中,图像显示方式包括视频完全显示或者仅在图像显示模块上投射出目标物体内部结构;可以理解,本发明不仅仅可以显示物体内部结构,同时也可以在物体表面显示出原本不存在的图案或者其他本不存在的立体虚拟影像。
请参阅图5,是本发明实施例的可透视型智能眼镜的透视方法的流程图。本发明实施例的可透视型智能眼镜的透视方法包括以下步骤:
步骤100:根据真实的目标物体结构建立3D模型,并将该3D模型导入智能眼镜中进行存储;
在步骤100中,3D模型包括目标物体的外部结构和内部结构,外部结构为目标物体外部可见部分,包括目标物体外部标定,内部结构为目标物体内部不可见部分,用于透视显示使用,目标物体的外部结构在内部结构透视时被透明化处理;目标物体3D模型建立方式包括:由目标物体的生产厂家提供、根据目标物体的规格说明书建模、根据X光、CT和核磁等设备的扫描结果生成或上述建模方式以外的其他建模方式取得;具体如图2所示,为目标物体结构图。
步骤200:佩戴智能眼镜,通过图像显示模块根据使用者的观察角度显示目标物体的表面图像;
在步骤200中,图像显示模块为智能眼镜显示屏,图像显示方式包括单目显示或双目显示;图像显示模块允许自然光的穿透,从而在保证使用者观看智能眼镜显示图像的同时也可以看到自然真实视野。
步骤300:采集目标物体表面图像,并通过特征提取算法提取特征点,识别出目标物体的外部标定;
在步骤300中,目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征,这些特征点被可透视型智能眼镜的摄像头采集并由相应的特征提取算法识别;具体如图3所示,为目标物体外部观察效果图。
步骤400:根据目标物体的3D模型建立外部标定与内部结构之间的相对空间关系,并计算外部标定的旋转和位移值;
在步骤400中,外部标定的旋转和位移值的计算方式为:如果将外部标定部分近似考虑为平面,则至少采集4个特征点,将目标物体的外部标定与已知的外部标定进行比对变换,建立相对空间关系时可以求出3*3的变换矩阵T1,由于智能眼镜的摄像头和人眼所看显示屏的位置并不完全重合,因此需要预估人眼所看显示屏的位置同时计算好摄像头图像与人眼图像之间变换的校正矩阵,将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2,求出T2矩阵对应的角度和位移值,即为外部标定的旋转和位移值。具体如图4所示,为摄像头与显示器位置之间的校正关系图。本发明通过标定手段求出此校正矩阵,此校正矩阵只由设备本身参数决定,与使用者和目标物体无关。如果使用相机标定技术可以得出该设备的校正矩阵。
步骤500:根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影;
步骤600:将投影得到的图像显示在图像显示模块中,并将该投影图像替换目标物体的表面图像,从而达到透视目标物体内部结构的效果;
在步骤600中,当投影图像显示在图像显示模块时,使用者者通过图像显示模块看到的图像是目标物体的表面图像与图像生成单元生成的投影图像融合叠加后的结果,由于投影图像覆盖了部分目标物体表面的图像并将其替换为该角度下的目标物体内部结构透视图像,因此从智能眼镜使用者的角度来说,目标物体的外表面是透明的,从而达到透视目标物体内部结构的效果。其中,图像显示方式包括视频完全显示或者仅在图像显示模块上投射出目标物体内部结构;可以理解,本发明不仅仅可以显示物体内部结构,同时也可以在物体表面显示出原本不存在的图案或者其他本不存在的立体虚拟影像。
步骤700:当采集到的目标物体表面图像发生变化时,判断该图像与原已识别外部标定的图像是否存在重叠的外部标定,如果存在重叠的外部标定,在原已识别外部标定的图像的相邻区域重新执行步骤300,如果不存在重叠的外部标定,则对整个图像重新执行步骤300。
在步骤700中,原已识别外部标定的图像的相邻区域是指:发生变化的目标物体表面图像与已识别外部标定的图像存在重复外部标定的区域以外的其他区域,并且该其他区域与已识别外部标定区域相连通。识别出外部标定后,由于视频中相邻两帧图像中的外部标定会有部分重叠,以已识别图像为先验知识,从而更容易在后续图像中识别出外部标定。当目标物体发生位移或者使用者发生位移后,则重新采集目标物体的外部标定生成新的内部图像并做图像替换,使观察到的图像随观察角度发生变化,从而产生逼真的透视错觉。
本发明实施例的可透视型智能眼镜及其透视方法在不破坏物体表面和整体结构的前提下,通过在智能眼镜中存储目标物体的3D模型,智能眼镜根据使用者的观察角度生成观察角度对应的内部结构图像,便于使用者正确、直观、形象地观测到物体的内部结构。在本发明另一实施例中,还可以使用追踪器等技术加以辅助,通过追踪显示追踪器在目标内部所在的位置,使显示结果更直观、简单易用。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种可透视型智能眼镜,其特征在于,包括模型存储模块、图像处理模块和图像显示模块,所述模型存储模块用于存储目标物体的3D模型;所述图像处理模块用于根据使用者的观察角度识别目标物体的外部标定,根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系,根据相对空间关系生成观察角度对应的目标物体内部图像,并通过所述图像显示模块显示所述内部图像。
2.根据权利要求1所述的可透视型智能眼镜,其特征在于,所述图像处理模块包括图像采集单元和关系建立单元,所述图像显示模块根据使用者的观察角度显示目标物体的表面图像,所述图像采集单元采集目标物体表面图像,通过特征提取算法提取特征点,识别物体外部标定;所述关系建立单元根据目标物体的3D模型建立外部标定与内部结构之间的相对空间关系,并计算外部标定的旋转和位移值。
3.根据权利要求2所述的可透视型智能眼镜,其特征在于,所述图像处理模块还包括图像生成单元和图像覆盖单元;所述图像生成单元用于根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影;所述图像覆盖单元用于将投影得到的图像显示在图像显示模块中,并将该投影图像替换目标物体的表面图像。
4.根据权利要求1所述的可透视型智能眼镜,其特征在于,所述目标物体的3D模型包括目标物体的外部结构和内部结构,所述外部结构为目标物体外部可见部分,包括目标物体外部标定,所述内部结构为目标物体内部不可见部分,用于透视显示使用,所述目标物体的外部结构在内部结构透视时被透明化处理;所述3D模型的建立方式包括:由目标物体的生产厂家提供、根据目标物体的规格说明书建模或根据X光、CT和核磁设备的扫描结果生成,并导入所述模型存储模块中进行存储。
5.根据权利要求2所述的可透视型智能眼镜,其特征在于,所述图像显示模块为智能眼镜显示屏,图像显示方式包括单目显示或双目显示;所述图像采集单元为智能眼镜的摄像头,所述目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征。
6.根据权利要求1所述的可透视型智能眼镜,其特征在于,所述图像处理模块根据使用者的观察角度识别目标物体的外部标定,根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系,根据相对空间关系生成观察角度对应的目标物体内部图像具体为:采集外部标定图像,将外部标定图像与已知目标物体3D模型的外部标定图像进行比对得出观察视角,从观察视角对整个目标物体进行投影,并在所述外部标定图像所在位置进行图像截面操作,用所得截面图像替换目标物体表面图像由此获得透视效果。
7.一种可透视型智能眼镜的透视方法,包括:
步骤a:根据真实的目标物体建立3D模型,并通过智能眼镜存所述3D模型;
步骤b:根据使用者的观察角度识别目标物体的外部标定,根据目标物体3D模型找出外部标定与内部结构之间的相对空间关系;
步骤c:根据相对空间关系生成观察角度对应的目标物体内部图像,并通过智能眼镜显示所述内部图像。
8.根据权利要求7所述的可透视型智能眼镜的透视方法,其特征在于,所述步骤b还包括:计算外部标定的旋转和位移值;所述外部标定的旋转和位移值的计算方式为:将外部标定部分近似考虑为平面,则至少采集4个特征点,将目标物体的外部标定与已知的外部标定进行比对变换,建立相对空间关系时求出3*3的变换矩阵T1;预估人眼所看显示屏的位置,并计算摄像头图像与人眼图像之间变换的校正矩阵,将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2,求出T2矩阵对应的角度和位移值,即为外部标定的旋转和位移值。
9.根据权利要求7所述的可透视型智能眼镜的透视方法,其特征在于,在所述步骤c中,所述根据相对空间关系生成观察角度对应的目标物体内部图像,并通过智能眼镜显示所述内部图像具体为:根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影,将投影得到的图像显示在智能眼镜中,并将该投影图像替换目标物体的表面图像。
10.根据权利要求9所述的可透视型智能眼镜的透视方法,其特征在于,所述步骤c后还包括:当采集到的目标物体表面图像发生变化时,判断该图像与原已识别外部标定的图像是否存在重叠的外部标定,如果存在重叠的外部标定,在原已识别外部标定的图像的相邻区域重新执行步骤b,如果不存在重叠的外部标定,则对整个图像重新执行步骤b。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510602596.7A CN105303557B (zh) | 2015-09-21 | 2015-09-21 | 一种可透视型智能眼镜及其透视方法 |
KR1020177009100A KR101816041B1 (ko) | 2015-09-21 | 2015-12-15 | 시스루 스마트 안경 및 그 투시 방법 |
US15/328,002 US20170213085A1 (en) | 2015-09-21 | 2015-12-15 | See-through smart glasses and see-through method thereof |
PCT/CN2015/097453 WO2017049776A1 (zh) | 2015-09-21 | 2015-12-15 | 一种可透视型智能眼镜及其透视方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510602596.7A CN105303557B (zh) | 2015-09-21 | 2015-09-21 | 一种可透视型智能眼镜及其透视方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105303557A true CN105303557A (zh) | 2016-02-03 |
CN105303557B CN105303557B (zh) | 2018-05-22 |
Family
ID=55200779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510602596.7A Active CN105303557B (zh) | 2015-09-21 | 2015-09-21 | 一种可透视型智能眼镜及其透视方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170213085A1 (zh) |
KR (1) | KR101816041B1 (zh) |
CN (1) | CN105303557B (zh) |
WO (1) | WO2017049776A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096540A (zh) * | 2016-06-08 | 2016-11-09 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
CN106210468A (zh) * | 2016-07-15 | 2016-12-07 | 网易(杭州)网络有限公司 | 一种增强现实显示方法和装置 |
CN106710004A (zh) * | 2016-11-25 | 2017-05-24 | 中国科学院深圳先进技术研究院 | 透视物体内部结构的透视方法及*** |
CN106803988A (zh) * | 2017-01-03 | 2017-06-06 | 苏州佳世达电通有限公司 | 信息传送***以及信息传送方法 |
CN106817568A (zh) * | 2016-12-05 | 2017-06-09 | 网易(杭州)网络有限公司 | 一种增强现实显示方法和装置 |
WO2018035736A1 (zh) * | 2016-08-24 | 2018-03-01 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
CN109009473A (zh) * | 2018-07-14 | 2018-12-18 | 杭州三坛医疗科技有限公司 | 脊椎创伤定位***及其定位方法 |
CN110708530A (zh) * | 2019-09-11 | 2020-01-17 | 青岛小鸟看看科技有限公司 | 一种使用增强现实设备透视封闭空间的方法和*** |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US11544036B2 (en) | 2014-09-23 | 2023-01-03 | Zophonos Inc. | Multi-frequency sensing system with improved smart glasses and devices |
US11150868B2 (en) | 2014-09-23 | 2021-10-19 | Zophonos Inc. | Multi-frequency sensing method and apparatus using mobile-clusters |
US10192133B2 (en) | 2015-06-22 | 2019-01-29 | Seiko Epson Corporation | Marker, method of detecting position and pose of marker, and computer program |
US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
US10424117B2 (en) * | 2015-12-02 | 2019-09-24 | Seiko Epson Corporation | Controlling a display of a head-mounted display device |
US20180316877A1 (en) * | 2017-05-01 | 2018-11-01 | Sensormatic Electronics, LLC | Video Display System for Video Surveillance |
FR3115120A1 (fr) * | 2020-10-08 | 2022-04-15 | Renault | Dispositif de réalité augmentée |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1746822A (zh) * | 2004-09-07 | 2006-03-15 | 佳能株式会社 | 用于呈现与虚拟图像合成的图像的信息处理装置及方法 |
US20120235886A1 (en) * | 2010-02-28 | 2012-09-20 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
CN102945564A (zh) * | 2012-10-16 | 2013-02-27 | 上海大学 | 基于视频透视式增强现实的真三维建模***和方法 |
US20140063055A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific user interface and control interface based on a connected external device type |
CN103823553A (zh) * | 2013-12-18 | 2014-05-28 | 微软公司 | 对表面背后的场景的增强现实显示 |
CN104166237A (zh) * | 2013-05-15 | 2014-11-26 | 精工爱普生株式会社 | 虚像显示装置 |
CN104656880A (zh) * | 2013-11-21 | 2015-05-27 | 深圳先进技术研究院 | 一种基于智能眼镜的书写***及方法 |
CN104915947A (zh) * | 2014-03-13 | 2015-09-16 | 欧姆龙株式会社 | 图像处理装置、***、图像处理方法及图像处理程序 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4434890B2 (ja) | 2004-09-06 | 2010-03-17 | キヤノン株式会社 | 画像合成方法及び装置 |
US8517532B1 (en) * | 2008-09-29 | 2013-08-27 | Robert L. Hicks | Eyewear with reversible folding temples |
KR20100038645A (ko) * | 2008-10-06 | 2010-04-15 | (주)아리엘시스템 | 입체영상 구현용 안경 |
CN103211655B (zh) * | 2013-04-11 | 2016-03-09 | 深圳先进技术研究院 | 一种骨科手术导航***及导航方法 |
CN103336575B (zh) * | 2013-06-27 | 2016-06-29 | 深圳先进技术研究院 | 一种人机交互的智能眼镜***及交互方法 |
US20150042799A1 (en) * | 2013-08-07 | 2015-02-12 | GM Global Technology Operations LLC | Object highlighting and sensing in vehicle image display systems |
-
2015
- 2015-09-21 CN CN201510602596.7A patent/CN105303557B/zh active Active
- 2015-12-15 WO PCT/CN2015/097453 patent/WO2017049776A1/zh active Application Filing
- 2015-12-15 KR KR1020177009100A patent/KR101816041B1/ko active IP Right Grant
- 2015-12-15 US US15/328,002 patent/US20170213085A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1746822A (zh) * | 2004-09-07 | 2006-03-15 | 佳能株式会社 | 用于呈现与虚拟图像合成的图像的信息处理装置及方法 |
US20120235886A1 (en) * | 2010-02-28 | 2012-09-20 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
US20140063055A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific user interface and control interface based on a connected external device type |
CN102945564A (zh) * | 2012-10-16 | 2013-02-27 | 上海大学 | 基于视频透视式增强现实的真三维建模***和方法 |
CN104166237A (zh) * | 2013-05-15 | 2014-11-26 | 精工爱普生株式会社 | 虚像显示装置 |
CN104656880A (zh) * | 2013-11-21 | 2015-05-27 | 深圳先进技术研究院 | 一种基于智能眼镜的书写***及方法 |
CN103823553A (zh) * | 2013-12-18 | 2014-05-28 | 微软公司 | 对表面背后的场景的增强现实显示 |
CN104915947A (zh) * | 2014-03-13 | 2015-09-16 | 欧姆龙株式会社 | 图像处理装置、***、图像处理方法及图像处理程序 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096540A (zh) * | 2016-06-08 | 2016-11-09 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
CN106096540B (zh) * | 2016-06-08 | 2020-07-24 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
CN106210468A (zh) * | 2016-07-15 | 2016-12-07 | 网易(杭州)网络有限公司 | 一种增强现实显示方法和装置 |
CN106210468B (zh) * | 2016-07-15 | 2019-08-20 | 网易(杭州)网络有限公司 | 一种增强现实显示方法和装置 |
WO2018035736A1 (zh) * | 2016-08-24 | 2018-03-01 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
CN106710004A (zh) * | 2016-11-25 | 2017-05-24 | 中国科学院深圳先进技术研究院 | 透视物体内部结构的透视方法及*** |
CN106817568A (zh) * | 2016-12-05 | 2017-06-09 | 网易(杭州)网络有限公司 | 一种增强现实显示方法和装置 |
CN106803988A (zh) * | 2017-01-03 | 2017-06-06 | 苏州佳世达电通有限公司 | 信息传送***以及信息传送方法 |
CN106803988B (zh) * | 2017-01-03 | 2019-12-17 | 苏州佳世达电通有限公司 | 信息传送***以及信息传送方法 |
CN109009473A (zh) * | 2018-07-14 | 2018-12-18 | 杭州三坛医疗科技有限公司 | 脊椎创伤定位***及其定位方法 |
CN110708530A (zh) * | 2019-09-11 | 2020-01-17 | 青岛小鸟看看科技有限公司 | 一种使用增强现实设备透视封闭空间的方法和*** |
Also Published As
Publication number | Publication date |
---|---|
KR101816041B1 (ko) | 2018-01-08 |
WO2017049776A1 (zh) | 2017-03-30 |
KR20170046790A (ko) | 2017-05-02 |
CN105303557B (zh) | 2018-05-22 |
US20170213085A1 (en) | 2017-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105303557A (zh) | 一种可透视型智能眼镜及其透视方法 | |
CN104599243B (zh) | 一种多视频流与三维场景的虚实融合方法 | |
CN105814611B (zh) | 信息处理设备和方法以及非易失性计算机可读存储介质 | |
KR101841668B1 (ko) | 입체 모델 생성 장치 및 방법 | |
US20200349756A1 (en) | Generation apparatus, system and method for generating virtual viewpoint image | |
JP7261904B2 (ja) | 画像処理方法及びその装置、機器並びに記憶媒体 | |
CN107247834A (zh) | 一种基于图像识别的三维环境模型重构方法、设备及*** | |
US20150249815A1 (en) | Method for creating 3d virtual reality from 2d images | |
WO2018067213A1 (en) | Headset removal in virtual, augmented, and mixed reality using an eye gaze database | |
CN106127788B (zh) | 一种视觉避障方法和装置 | |
CN104883556A (zh) | 基于增强现实的三维显示方法和增强现实眼镜 | |
US20180218539A1 (en) | Rendering emthod in ar scene, processor and ar glasses | |
EP2919093A1 (en) | Method, system, and computer for identifying object in augmented reality | |
JP2019519128A (ja) | 両眼視野/単眼視野間の移行 | |
CN103034330B (zh) | 一种用于视频会议的眼神交互方法及*** | |
WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
WO2014070483A1 (en) | Fast initialization for monocular visual slam | |
WO2015090421A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
CN107368192B (zh) | Vr眼镜的实景观测方法及vr眼镜 | |
CN106527696A (zh) | 一种实现虚拟操作的方法以及可穿戴设备 | |
JP2024054137A (ja) | 画像表示システム | |
JP2013120556A (ja) | 被写体姿勢推定装置および映像描画装置 | |
JP2015114905A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN112802081B (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
CN109901290A (zh) | 注视区域的确定方法、装置及可穿戴设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |