CN107411706B - 多光谱投影装置和投影方法、多光谱摄像装置和摄像方法 - Google Patents
多光谱投影装置和投影方法、多光谱摄像装置和摄像方法 Download PDFInfo
- Publication number
- CN107411706B CN107411706B CN201710224226.3A CN201710224226A CN107411706B CN 107411706 B CN107411706 B CN 107411706B CN 201710224226 A CN201710224226 A CN 201710224226A CN 107411706 B CN107411706 B CN 107411706B
- Authority
- CN
- China
- Prior art keywords
- light
- image information
- image
- images
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Vascular Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种多光谱投影装置和投影方法、多光谱摄像装置和摄像方法。该多光谱投影装置包括:一第一半透反射镜;一投影元件;一第一视频采集组件及,一第一光源;一计算***,所述计算***分别连接所述投影元件和所述第一视频采集组件,所述计算***预存所述实际空间或物体的多类图像信息,根据实时采集的可见光的图像信息与预存的可见光的图像信息的对比,校正预存的红外图像或X射线图像等其它类的图像并通过所述投影元件投影至所述实际空间或物体。本发明的装置能够将人体的内部结构或组织用人眼可见图像的形式精准地投射在实际空间或人体皮肤的表面。
Description
技术领域
本发明涉及医疗辅助设备领域,尤其涉及一种多光谱投影装置和投影方法、多光谱摄像装置和摄像方法。
背景技术
人体内部的结构和组织是人眼无法直接看到的。仅仅依靠人体的外部轮廓和人体解剖知识是难以精确地找到和定位皮下的内部结构和组织的。
人体血管隐藏在表皮下面,往往被皮下脂肪,甚至骨骼所遮挡,在可见光的环境下从人体皮下组织反射回来的可见光图像信号及其微弱并混杂了各种噪声和幻影,甚至完全不为人眼可见。虽然在穿刺之前,医生往往会要求患者攥紧拳头或用拍打穿刺部位皮肤的方式让血管更加可见,但是根据患者的年龄,皮下脂肪的厚薄等因素,皮下血管的可视性依然非常不理想。根据隐约可见的血管图像和医学知识,对血管所做的穿刺往往错位,导致病患者的痛苦,延误治疗时机,甚至造成注射事故。除了直接对血管所做的抽血和注射以外,针灸和其它医疗手术等操作,都需要准确地知道血管的位置,以便在操作时能避开血管或者对血管做特别处理。
发明内容
本发明的目的在于提供一种多光谱投影装置、多光谱投影方法、多光谱摄像装置、多光谱摄像方法,其将人体内部的结构或者组织的空间位置信息和表面皮肤以及外部结构相互关联和定位,根据该定位方法,将人体的内部结构或组织用二维或者三维的人眼可见图像的形式投射在人体皮肤的表面,使得人眼直接和实时观测。
为实现上述目的,本发明一方面提供一种多光谱投影装置,包括:
一第一半透反射镜;
一投影元件,所述投影元件的出射光沿第一光路穿透所述第一半透反射镜;
一第一视频采集组件及一第一光源,所述第一光源发出可见光辐射,所述第一光源的出射光沿第二光路通过所述第一半透反射镜被反射至实际空间或物体,所述第一视频采集组件实时采集所述实际空间或物体自所述第二光路被所述第一半透反射镜反射的可见光的图像信息;
一计算***,所述计算***至少包括输入输出单元、存储单元和处理单元,所述计算***分别连接所述投影元件和所述第一视频采集组件,所述计算***预存所述实际空间或物体的多类图像信息,所述多类图像信息中包括可见光的图像和其它类的图像,预存的所述可见光的图像信息与所述其它类的图像信息之间均具有相互关联的图像位置的映射关系,根据实时采集的可见光的图像信息与预存的可见光的图像信息的对比,校正预存的和可见光的图像关联的其它类的图像并通过所述投影元件投影至所述实际空间或物体。
优选地,所述其它类的图像和有关的信息至少包括微波图像,红外图像,可见光图像,紫外线图像,X射线图像,核磁共振图像,超生波图像,通过以上图像和/或者医学知识人为或者计算机产生的虚拟图像,中的一种图像,以及和可见光的图像之间点对点的二维或三维空间位置关联的信息。
优选地,所述投影元件和所述第一视频采集组件分别位于所述第一半透反射镜的两侧。
优选地,所述第一光源的出射光为可见光和/或近红外光,对应地,所述第一视频采集组件是仅对可见光敏感的图像传感器、仅对近红外光敏感的图像传感器、或者是对可见光和近红外光都敏感并能够选择性地输出一种或者多种光谱图像的传感器中的一种。
优选地,所述虚拟图像包括根据医学知识和所述其它类的图像信息获得的人体的穴位和经络位置的图像信息。
优选地,所述实时采集的和/或者预存的可见光的图像信息还包括皮肤表面的纹路地图。
优选地,所述第一光源的出射光为偏振光,所述第一视频采集组件包括第一偏振片,所述第一视频采集组件实时采集所述实际空间或物体自所述第二光路被所述第一半透反射镜反射并通过所述第一偏振片的可见光的图像信息。
为了获得从人体内部组织的正面反射和漫反射的图像信息,以及这两种图像之间的差异所包含的重要的人体组织信息,所述第一光源的出射光的偏振方向与所述第一偏振片的偏振方向之间的夹角为可以变化的设定,设定为小于30度的锐角以便采集正面反射的图像信息,或者设定夹角在45度到90度之间以便采集漫反射的图像信息。
优选地,所述第一光源的出射光为具有偏振特性的波长为400nm~550nm蓝光或绿光。
本发明另一方面提供一种多光谱投影方法,采用上述多光谱投影装置,所述多光谱投影方法包括:
所述第一视频采集组件实时采集所述实际空间或物体自所述第一光源出射的所述第二光路被所述第一半透反射镜反射的可见光的图像信息;
所述计算***对实时采集的可见光的图像信息与预存的可见光的图像信息作对比,根据预存的所述可见光的图像信息与所述其它类的图像信息之间具有的相互关联的图像位置的映射关系,校正预存的其它类的图像;
所述投影元件的出射光沿第一光路穿透所述第一半透反射镜,以将校正后的其它类的图像投影至实际空间或物体。
优选地,通过改变所述第一光源的出射光的偏振方向,或者改变所述第一偏光片的偏振方向,所述第一视频采集组件分别采集不同偏振方向的图像信息,将二者相减并将经过处理后的图像直接投影到实际空间或物体上,或者用相减图像所包含的信息对其他类的图像进行强化或丰富处理。换言之,为了获得人体内部组织对于红外线的正面反射和漫反射的图像差异所隐含着的重要图像信息,本发明提供了一种方法,转动第一偏光片或者第一光源的偏振角度,获得两种不同偏振角度的红外图像,并在计算***中将两者相减,将获得的差异图像信息直接用可见光投影到现实空间或物体上,或者用来修正投影到现实空间或物体上的其他图像。
本发明另外一方面提供一种多光谱摄像装置,包括:
一第二半透反射镜;
一第二视频采集组件及一第二光源,所述第二光源的出射光沿第三光路通过所述第二半透反射镜被反射至实际空间或物体,所述第二视频采集组件实时采集所述实际空间或物体自所述第三光路被所述第二半透反射镜反射的第二光源的反射光的图像信息;
一X光视频采集组件与一X光光源,所述X光视频采集组件采集X光光源沿所述第四光路穿透物体和第二半透反射镜后的图像信息;
一计算***,所述计算***至少包括输入输出单元、存储单元和处理单元,所述计算***分别连接所述X光视频采集组件和所述第二视频采集组件。
优选地,所述X光视频采集组件和所述第二视频采集组件分别位于所述第二半透反射镜的两侧。
优选地,所述第二光源的出射光为可见光和/或近红外光,对应地,所述第二视频采集组件是仅对可见光敏感的图像传感器、仅对近红外光敏感的图像传感器、或者是对可见光和近红外光都敏感并能够选择性地输出一种或者多种光谱图像的传感器中的一种。
优选地,所述计算***储存所述第二视频采集组件采集的可见光图像、近红外光图像以及所述X光视频采集组件采集的X光图像,并对所述可见光图像、近红外光图像、X光图像建立点对点的二维或三维的空间位置映射关系。
优选地,所述第二光源的出射光为偏振光,所述第二视频采集组件包括第二偏振片,所述第二视频采集组件实时采集所述实际空间或物体自所述第三光路被所述第二半透反射镜反射并通过所述第二偏振片的可见光图像信息和/或近红外光图像信息。为了获得从人体内部组织的正面反射和漫反射的图像信息,以及这两种图像之间的差异所包含的重要的人体组织信息,所述第二光源的出射光的偏振方向与所述第二偏振片之间的夹角为可变的设定,设定为小于30度的锐角以便采集正面反射的图像信息,或者设定夹角在45度到90度之间以便采集漫反射的图像信息。
本发明另外一方面提供一种多光谱摄像方法,采用上述多光谱摄像装置,并包括下述的方法:
多光谱摄像的操作时序,红外光辐射源或者X射线辐射源的照射以及红外图像或者X射线图像的采集,和可见光辐射源的照射以及可见光图像的采集同步进行或者其时间间隔小于0.1秒。
优选地,所述计算***将采集的红外图像和/或者X射线图像与可见光图像建立点对点的二维或三维的空间映射关系,并存储。
与现有技术相比,本发明的多光谱投影装置、多光谱投影方法、多光谱摄像装置、多光谱摄像方法至少具有以下有益效果:本发明的装置和方法能够将人体的内部结构或组织用人眼可见图像的形式精准地投射在实际空间或人体皮肤的表面,使得人眼直接和实时观测,有助于对人体的内部结构和组织进行诊断和治疗。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显。
图1是本发明实施例的多光谱投影装置的示意图。
图2A是手掌的原始照片。
图2B是采集的手掌轮廓和血管的图像的示意图。
图3A是将手掌轮廓和血管的图像第一次投影到手掌上的示意图。
图3B是将校正后的手掌轮廓和血管的图像再次投影到手掌上的示意图。
图4是本发明中使用绿光或蓝光增强图像质量的示意图。
图5是本发明实施例的多光谱摄像装置的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明将全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构,因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员应意识到,没有特定细节中的一个或更多,或者采用其它的方法、组元、材料等,也可以实践本发明的技术方案。在某些情况下,不详细示出或描述公知结构、材料或者操作以避免模糊本发明。
参照图1,本发明一方面提供一种多光谱投影装置,包括:一第一半透反射镜11、一投影元件12、一第一视频采集组件13及一第一光源14、一计算***15。
投影元件12和第一视频采集组件13分别位于第一半透反射镜11的两侧。投影元件12的出射光沿第一光路穿透第一半透反射镜11。
第一光源14围绕第一视频采集组件13。第一光源14的出射光沿第二光路通过第一半透反射镜11被反射至实际空间或物体F1(和物体F1的皮肤表面下一定深度),第一视频采集组件13实时采集实际空间或物体F1自第二光路被第一半透反射镜11反射光线所携带的的图像信息F11。物体F1例如可以是人的手掌、脚掌或其它的人体结构。
第一光源14的出射光可选地为可见光,对应地,第一视频采集组件13是仅对可见光敏感的图像传感器;第一光源14的出射光选择性地为近红外光或者近红外光源和可见光源的组合,对应地,第一视频采集组件13为对红外光敏感或者对可见光和近红外光都敏感并能够选择性地同步或者分时地输出可见光和红外光谱图像的传感器。
第一半透反射镜11可选地包括一反射镜及该反射镜表面上设置的镀层。该镀层使得投影元件12的出射光沿第一光路能够部分或基本全部穿透该反射镜;而第一光源14的出射光沿第二光路能够部分或基本全部被该反射镜反射。当第一视频采集组件13对近红外光敏感时,第一半透反射镜11则为可以透射可见光、反射近红外光的所谓热镜。透射光和反射光的相对强度和镀层的材料、厚度、半透反射镜和光路的夹角以及光线的波长有关。
计算***15至少包括输入输出单元、存储单元和处理单元,计算***15分别连接投影元件12和第一视频采集组件13,如图1中示出,计算***15通过电线171连接投影元件12,通过电线172连接第一视频采集组件13。计算***15可选地为计算机、智能终端或其它具有图像处理能力的电子设备。
计算***15预存实际空间或物体F1的多类图像信息,多类图像信息中包括可见光的图像F21和其它类的图像,预存的可见光的图像信息F21与其它类的图像信息之间均具有相互关联的图像位置的映射关系,预存的图像F21将作为参照物图像和投影阶段采集的实时图像F11相比较来校正所述其它类的图像。在一些实施例中,所述其它类的图像和有关的信息至少包括微波图像,红外图像,可见光图像,紫外线图像,X射线图像,核磁共振图像,超生波图像,通过以上图像和/或者医学知识人为或者计算机产生的虚拟图像,中的一种图像,以及和可见光的图像之间点对点的二维或三维空间位置关联的信息。
在一些实施例中,虚拟图像包括根据医学知识和所述其它类的图像信息获得的人体的穴位和经络位置的图像信息。不仅仅是实际存在的人体具体的组织,比如骨骼和血管可以通过可见光形式投影再现到人体皮肤表面,中医针灸和按摩治疗的关键位置即穴位也可以通过这种方法投影在人体皮肤表面。针灸穴位是无法从电磁波的吸收和反射图像上获得的,但是可以根据现代中医的理论,根据血管和神经网络这些实际可见的人体组织,以及穴位和人体骨骼的相对位置关系的经验数值,能够计算得出穴位的位置。
可选地,预存的可见光的图像信息F21和实时采集的图像信息F11还包括皮肤表面的纹路地图。将人眼不可见的血管和骨骼定位于人眼可见的人体部位上,可以利用人体部位的外部轮廓做相互关联,但是由于人体软组织容易变形,仅仅依靠外部轮廓来定位会产生一定的误差。为了解决这个问题,同时为了提供更多的参考点和参考线来对看不见的骨骼和血管做精确定位,发明人经研究发现可以利用人体皮肤表面的纹路和毛发来定位。具体地说,人的皮肤上本来就存在纵横交错的粗细纹路,比如手掌和手指上的掌纹和指纹,这些纹路在人出生后基本就是固定的图像,只是随着人的年龄增长和胖瘦,而等比例放大或者缩小,这些纹路提供了一种天然的坐标***。将X射线照射骨骼影像和血管造影得到的血管分布影像与第一视频采集组件13(如可见光摄像机)获得的皮肤表面的纹路地图之间,点对点地、线对线地建立起对应关系。当需要在皮肤表面再现骨骼和血管影像时,可将计算***15预存的可见光的图像信息F21中包含的皮肤表面的纹路地图与第一视频采集组件13采集的图像信息F11中包含的皮肤表面纹路地图相互比较,对于原来的骨骼和血管的X射线图像做相应的比例放大或缩小、或平移或旋转,从而得出新的骨骼和血管的坐标位置,并将调整后的X射线图像投影到相应的皮肤表面。
上述通过皮肤表面的纹路地图进行定位的方法不仅适用于定位骨骼和血管等组织,还可以用于定位穴位。以手掌和手指为例,仅仅依靠手掌和手指的外部轮廓对穴位定位具有一定的难度,然而使用以上纹路地图的方法和手段,将各个穴位和皮肤的纹路甚至毛孔相互关联,就可以对穴位做精确的定位。本实施例中,将手掌的各个穴位按照手掌的纹络给出的精确坐标,然后用投影的方式将穴位直接投影在手掌上,针灸治疗医师就可以精确地将针扎入相关的穴位。
计算***15根据实时采集的可见光的图像信息F11与预存的可见光的图像信息F21的对比,校正预存的和图像信息F21关联的其它类的图像并通过投影元件12投影至实际空间或物体F1。可选地,预存的作为参照物的图像信息F21与实时采集的图像信息F11为同一类图像信息。例如,预存的可见光的图像信息F11为可见光图像,则第一光源14为可见光源,且第一视频采集组件13对可见光敏感和实时采集可见光图像。
具体地说,计算***15对实时采集的可见光的图像信息F11与预存的可见光的图像信息F21做点对点的比较,得出需要对输出到投影元件12的关联的其它类的图像做校正的矢量矩阵。计算***15将校正后的关联的其它类的图像通过电线171传输到投影元件12,并通过投影元件12经由第一半透反射镜11投影至实际空间或物体F1。这时候,物体F1的X射线图像就和物体F1当前的对应位置完全匹配和精确对位。
参照图2A、图2B、图3A和图3B,将采集的手掌轮廓和血管的图像第一次投影到实际人体部位,如图3A所示,第一次投影或许有一定的位置错位、角度倾斜或者大小比例不同的问题。将图3A中的实际手掌和投影图像一并拍摄,送入计算***15做图像处理,找出手掌的外形轮廓的错位,实施对手掌轮廓和血管的图像的校正。将校正后的手掌轮廓和血管的图像再一次投影到人体上,如图3B所示,就能够得到完全匹配和精确对位的手掌轮廓和血管的图像。
可选地,多光谱投影装置还包括支撑物体F1的旋转机构16,该旋转机构16例如可以是用线性马达带动的旋转桌,通过设置旋转机构16可以采集物体F1的不同侧面的可见光的图像信息F11,并向物体F1的不同侧面投影多类图像信息。
在一些实施例中,第一光源14的出射光为偏振光,例如该偏振光可以是线偏振光或椭圆偏振光。参照图4,第一视频采集组件13包括第一偏振片131,第一视频采集组件13实时采集实际空间或物体F1自第二光路被第一半透反射镜11反射并通过第一偏振片131的可见光的图像信息F11。
参照图4,使用波长比较短的光线31进行斜向入射,比如波长小于500nm的绿光甚至蓝光,然后在和主要反射光线32成一定夹角α的方向上放置第一视频采集组件13。这样就可以得到从皮肤表面凸起散射出来的比较强烈的散射光线33为主的皮肤表面图像。为了进一步获得高对比度或者高清晰度的图像,在第一视频采集组件13的入射透镜前放置一块第一偏振片18,过滤掉一部分和该偏光角度不同的光线,仅仅让与第一偏振片18具有大致相同偏光方向的电磁波矢量34进入第一视频采集组件13,这样就可以有选择性地得到和皮肤表面纹路或者凹凸方向密切相关的散射或者反射光线。
由于人的皮肤的光滑程度各异,同一人的不同部位的皮肤的纹路清晰程度也大不一样。为了获取清晰的皮肤纹路图像,采用线偏振光或者椭圆偏振光照射人体部位,并让从人体部位反射回来的反射光通过另一个和主要反射光线的偏振方向有一定夹角的偏振片后进入第一视频采集组件13。入射光线在人体皮肤表面的褶皱和纹路之处被散射,其散射光线的偏振方向和入射光以及主要反射光线不同,将夹角角度调整为大于30小于90度,就可以获得以散射光线为主的散射光图像(可见光的图像信息F11),从而获得高清晰度的皮肤表面纹路图像。
在一个实施例中,第一光源14的出射光的偏振方向与第一偏振片131的偏振方向之间的夹角为小于30度的锐角。在另一个实施例中,第一光源14的出射光的偏振方向与第一偏振片131的偏振方向之间的夹角为45度到90度。小角度(小于30度的锐角)能够获得全反射的图像,大角度(45度到90度)能够获得漫反射的图像,全反射和漫反射携带有不同的人体组织的细节,都是有价值的图像信息。
可选地,第一光源14通过第一半透反射镜11被反射至物体F1的入射光与皮肤表面的夹角小于60度。为了进一步地提高对于人体皮肤表面细微特征的获取,第一光源14投射到皮肤表面的入射光和人体皮肤表面的夹角小于60度时,在反射光线的方向上的反射光线,或者不同于反射光线的方向上的各种散射光线就能够携带更多的皮肤表面的细微凹凸信息,从而能够对皮下组织的定位有较精细的坐标刻度。
较佳地,为了获得皮肤表面小于几个微米的微小凸起结构的精细图像,第一光源14的出射光为具有偏振特性的蓝光或绿光,蓝光和绿光的波长为400纳米~550纳米。人体除了手掌和脚掌以外,根据年龄的不同,其它身体部位的皮肤纹路并不是特别的明显。为了利用皮肤表面更加精细的结构来定位,可以通过检测皮肤表面的汗毛和毛孔等人体组织以及结构来达成。为了强化细微汗毛和毛孔在图像上的对比度,在一个实施例中使用了有偏振特性的蓝光或者绿光,并让该光线以小于60度的角度入射到人体皮肤表面。蓝色和绿色光线的波长在400纳米~550纳米的范围之内,对于微米左右的凹凸结构有着比红光等长波电磁波更加强烈的散射,这样在偏离反射光线轴的角度上的散射光线携带了大量的皮肤表面的精细结构的信息,因此能够得到更精细的可见光的图像信息F11。
本发明另一方面提供一种多光谱投影方法,该多光谱投影方法采用上述多光谱投影装置,多光谱投影方法包括三个步骤。
步骤(1):第一视频采集组件13实时采集实际空间或物体F1自第一光源14出射的第二光路被第一半透反射镜11反射的可见光的图像信息F11。
步骤(2):计算***15对实时采集的可见光的图像信息F11与预存的作为参照物的可见光的图像信息F21作对比,根据预存图像信息F21与其它类的图像信息之间具有的相互关联的图像位置的映射关系,实时校正预存的其它类的图像。实时采集图像信息F11时,图像处理和投影都是实时和以极快的速度发生的。所以当物体F1有细微的晃动时,投影的图像也会不间断地追踪物体F1,将处理过的影像投影在物体F1上。
步骤(3):投影元件12的出射光沿第一光路穿透第一半透反射镜11,以将校正后的其它类的图像投影至实际空间或物体F1。
可选地,通过改变第一光源14的出射光的偏振方向,或者改变第一偏光片131的偏振方向,第一视频采集组件13分别采集不同偏振方向的红外图像信息,将二者相减并将经过处理后的图像直接投影到实际空间或物体F1上,或者用相减图像所包含的信息对其他类的图像进行强化或丰富处理。
参照图5,本发明再一方面提供一种多光谱摄像装置,该多光谱摄像装置包括:一第二半透反射镜21、一第二视频采集组件23及一第二光源24、一X光视频采集组件22与一X光光源28、一计算***25。
可选地,第二光源24围绕第二视频采集组件23。第二光源24的出射光沿第三光路通过第二半透反射镜21被反射至实际空间或物体F2(及物体F2表面下一定深度)。第二视频采集组件23实时采集实际空间或物体F2自第三光路被第二半透反射镜21反射的第二光源24的反射光的图像信息F21。所述图像信息F21被***存储起来,并在投影阶段被用做参照物的图像和实时采集的图像F11作比较,校正所述其它类的图像。物体F2例如可以是人的手掌、脚掌或其它的人体结构。物体F2和投影阶段的物体F1为出现在不同的时间和空间的同一个或者同一类物体,它们可以是实际空间的有固有形态和质量的物体,也可以是实际空间的光学合成影像。
第二光源24的出射光可选地为可见光,对应地,第二视频采集组件23是仅对可见光敏感的图像传感器;第二光源24的出射光可选地为近红外光,对应地,第二视频采集组件23是仅对近红外光敏感的图像传感器;第二光源24的出射光选择性地为可见光和/或近红外光,对应地,第二视频采集组件23为对可见光和近红外光都敏感并能够选择性地同步或分时输出可见光和近红外光的传感器。对应地,图像信息F21为可见光图像和/或近红外光图像,第一视频采集组件13能够选择性地输出可见光图像和/或近红外光图像。在一替换实施例中,若第二视频采集组件23对可见光及近红外光都敏感,则在第二视频采集组件23的镜头前或者光敏元器件之前安置带通滤光片或者反射镜片的装置,其选择性地只通过可见光,或者只通过近红外光的方式,使得第二视频采集组件23可以选择性地摄取物体F2的可见光图像或近红外光图像,以实现选择性对可见光或近红外光敏感。其中,可见光波长范围大约为400nm~760nm。近红外光波长范围大约为760nm~3000nm。
第二半透反射镜21位于X光视频采集组件22与X光光源28之间。X光视频采集组件22采集X光光源28沿第四光路穿透物体F2和第二半透反射镜21后的图像信息。
可选地,X光视频采集组件22和第二视频采集组件23分别位于第二半透反射镜21的两侧。第二半透反射镜21可选地包括一反射镜及该反射镜表面上设置的镀层。该镀层使得X光光源28的出射光沿第四光路能够穿透该反射镜;而第二光源24的出射光沿第三光路能够被该反射镜反射。该镀层可选地设置在反射镜朝向物体F2的一侧。
计算***25至少包括输入输出单元、存储单元和处理单元,计算***25分别连接X光视频采集组件22和第二视频采集组件23。如图5中示出,计算***25通过电线271连接X光视频采集组件22,通过电线272连接第二视频采集组件23。计算***25可选地为计算机、智能终端或其它具有图像处理能力的电子设备。
较佳地,通过第二视频采集组件23及X光视频采集组件22采集的可见光图像信息和/或近红外光图像信息F21、X光图像信息和其它类的图像信息都储存在计算***25中。且计算***25对图像信息F21和包括X光图像的其它类的图像信息建立点对点的二维或三维的空间位置映射关系,
可选地,多光谱摄像装置还包括支撑物体F2的旋转机构26,该旋转机构26例如可以是用线性马达带动的旋转桌,通过设置旋转机构26可以采集物体F2的不同侧面的图像信息F21,更重要的是能够获得物体F2的三维CT影像。对应地,计算***25储存第二视频采集组件23采集的可见光三维图像信息、近红外光三维图像信息以及X光视频采集组件22采集的X光三维图像信息,并对可见光三维图像信息、近红外光三维图像信息、X光三维图像信息建立点对点空间位置映射关系。
在一些实施例中,第二光源24的出射光为偏振光,例如该偏振光可以是线偏振光或椭圆偏振光。第二视频采集组件23包括第二偏振片(未示出),第二视频采集组件23实时采集实际空间或物体F2自第三光路被第二半透反射镜21反射并通过第二偏振片的可见光图像信息和/或近红外光图像信息F21,第二光源24的出射光的偏振方向与第一偏振片131的偏振方向之间的夹角为小于30度的角度,或者为45度到90度的角度。与第一光源14的出射光为偏振光时,第一视频采集组件13能够获得高清晰度的皮肤表面纹路图像类似,第二光源24的出射光为偏振光时,第二视频采集组件23同样能够获得高清晰度的皮肤表面纹路图像。
可选地,第二光源24通过第二半透反射镜21被反射至物体F2的入射光与皮肤表面的夹角小于60度,从而提高对于人体皮肤表面细微特征的获取,具体内容与第一光源14类似,在此不予赘述。
较佳地,第二光源24的出射光为具有偏振特性的蓝光或绿光,由此能够获得皮肤表面小于几个微米的微小凸起结构的精细图像,蓝光和绿光的波长优选为400nm~550nm。
本发明另一方面提供一种多光谱摄像方法,采用上述多光谱摄像装置,并包括下述的方法:
多光谱摄像的操作时序,红外光照射和红外图像的采集,与可见光的照射(在没有环境光或者需要辅助照明的场合)和可见光图像的采集,同步进行或者其时间间隔小于0.1秒,X射线照射和X射线图像的采集,与可见光的照射(在没有环境光或者需要辅助照明的场合)和可见光图像的采集,同步进行或者其时间间隔小于0.1秒,以所述操作时序来避免人体的晃动造成两幅图像的对位偏差。
可选地,计算***25将采集的红外图像和/或者X射线图像与可见光图像建立点对点的二维或三维的空间映射关系,并存储。
可选地,第二光源24为发射偏振光的红外光源,第二视频采集组件23的光入射一侧包括第二偏振片(未示出),通过改变第二光源24的出射光的偏振方向,或者改变第二偏光片的偏振方向,使得第二光源24的出射光的偏振方向和第二偏振片的偏振方向的夹角为小于30度的小角度,或者为45度到90度的大角度,第二视频采集组件23分别采集两个偏振方向的红外图像信息,将二者相减并用相减图像所包含的信息对其他类的图像进行强化或丰富处理。
以上对本发明的基本概念和具体的若干实施例进行了描述。这里需要声明的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。本发明也不局限于本发明中为了便于阐明基本概念所描述的医学影像应用,当然也包括其它领域的应用比如工业产品和环境检测,个人身份判定,虚拟空间和增强现实的游戏以及商业行为等。
Claims (15)
1.一种多光谱投影装置,其特征在于,包括:
一第一半透反射镜;
一投影元件,所述投影元件的出射光沿第一光路穿透所述第一半透反射镜;
一第一视频采集组件及一第一光源,所述第一光源发出可见光辐射,所述第一光源的出射光沿第二光路通过所述第一半透反射镜被反射至实际空间或物体,所述第一视频采集组件实时采集所述实际空间或物体自所述第二光路被所述第一半透反射镜反射的可见光的图像信息;
一计算***,所述计算***至少包括输入输出单元、存储单元和处理单元,所述计算***分别连接所述投影元件和所述第一视频采集组件,所述计算***预存所述实际空间或物体的多类图像信息,所述多类图像信息中包括可见光的图像和其它类的图像,预存的所述可见光的图像信息与所述其它类的图像信息之间均具有相互关联的图像位置的映射关系,根据实时采集的可见光的图像信息与预存的可见光的图像信息的对比,校正预存的和可见光的图像关联的其它类的图像并通过所述投影元件投影至所述实际空间或物体;
所述投影元件和所述第一视频采集组件分别位于所述第一半透反射镜的两侧;
所述第一光源的出射光为偏振光,所述第一视频采集组件包括第一偏振片,所述第一视频采集组件实时采集所述实际空间或物体自所述第二光路被所述第一半透反射镜反射并通过所述第一偏振片的可见光的图像信息。
2.根据权利要求1所述的多光谱投影装置,其特征在于,所述其它类的图像和有关的信息至少包括微波图像,红外图像,可见光图像,紫外线图像,X射线图像,核磁共振图像,超生波图像,通过以上图像和/或者医学知识人为或者计算机产生的虚拟图像,中的一种图像,以及和可见光的图像之间点对点的二维或三维空间位置关联的信息。
3.根据权利要求1所述的多光谱投影装置,其特征在于,所述第一光源的出射光为可见光和/或近红外光,对应地,所述第一视频采集组件是仅对可见光敏感的图像传感器、仅对近红外光敏感的图像传感器、或者是对可见光和近红外光都敏感并能够选择性地输出一种或者多种光谱图像的传感器中的一种。
4.根据权利要求2所述的多光谱投影装置,其特征在于,所述虚拟图像包括根据医学知识和所述其它类的图像信息获得的人体的穴位和经络位置的图像信息。
5.根据权利要求1所述的多光谱投影装置,其特征在于,所述实时采集的和/或者预存的可见光的图像信息还包括皮肤表面的纹路地图。
6.根据权利要求1所述的多光谱投影装置,其特征在于,所述第一光源的出射光的偏振方向与所述第一偏振片的偏振方向之间的夹角为小于30度的锐角。
7.根据权利要求1所述的多光谱投影装置,其特征在于,所述第一光源的出射光的偏振方向与所述第一偏振片的偏振方向之间的夹角为45度到90度。
8.根据权利要求1所述的多光谱投影装置,其特征在于,所述第一光源的出射光为具有偏振特性的波长从400纳米到550纳米的蓝光或绿光。
9.一种多光谱投影方法,其特征在于,采用权利要求1至8任一项所述多光谱投影装置,所述多光谱投影方法包括:
所述第一视频采集组件实时采集所述实际空间或物体自所述第一光源出射的所述第二光路被所述第一半透反射镜反射的可见光的图像信息;
所述计算***对实时采集的可见光的图像信息与预存的可见光的图像信息作对比,根据预存的所述可见光的图像信息与所述其它类的图像信息之间具有的相互关联的图像位置的映射关系,校正预存的其它类的图像;
所述投影元件的出射光沿第一光路穿透所述第一半透反射镜,以将校正后的其它类的图像投影至实际空间或物体;
所述投影元件和所述第一视频采集组件分别位于所述第一半透反射镜的两侧;
所述第一光源的出射光为偏振光,所述第一视频采集组件包括第一偏振片,所述第一视频采集组件实时采集所述实际空间或物体自所述第二光路被所述第一半透反射镜反射并通过所述第一偏振片的可见光的图像信息。
10.根据权利要求9所述的多光谱投影方法,其特征在于,通过改变所述第一光源的出射光的偏振方向,或者改变所述第一偏光片的偏振方向,所述第一视频采集组件分别采集不同偏振方向的图像信息,将二者相减并将经过处理后的图像直接投影到实际空间或物体上,或者用相减图像所包含的信息对其他类的图像进行强化或丰富处理。
11.一种多光谱摄像装置,其特征在于,包括:
一第二半透反射镜;
一第二视频采集组件及一第二光源,所述第二光源的出射光沿第三光路通过所述第二半透反射镜被反射至实际空间或物体,所述第二视频采集组件实时采集所述实际空间或物体自所述第三光路被所述第二半透反射镜反射的第二光源的反射光的图像信息;
一X光视频采集组件与一X光光源,所述X光视频采集组件采集X光光源沿第四光路穿透物体和第二半透反射镜后的图像信息;
一计算***,所述计算***至少包括输入输出单元、存储单元和处理单元,所述计算***分别连接所述X光视频采集组件和所述第二视频采集组件;
所述第二光源的出射光为偏振光,所述第二视频采集组件包括第二偏振片,所述第二视频采集组件实时采集所述实际空间或物体自所述第三光路被所述第二半透反射镜反射并通过所述第二偏振片的可见光图像信息和/或近红外光图像信息,所述第二光源的出射光的偏振方向与所述第二偏振片的偏振方向之间的夹角为小于30度的角度,或者为45度到90度的角度;
所述X光视频采集组件和所述第二视频采集组件分别位于所述第二半透反射镜的两侧。
12.根据权利要求11所述的多光谱摄像装置,其特征在于,所述第二光源的出射光为可见光和/或近红外光,对应地,所述第二视频采集组件是仅对可见光敏感的图像传感器、仅对近红外光敏感的图像传感器、或者是对可见光和近红外光都敏感并能够选择性地输出一种或者多种光谱图像的传感器中的一种。
13.根据权利要求11所述的多光谱摄像装置,其特征在于,所述计算***储存所述第二视频采集组件采集的可见光图像、近红外光图像以及所述X光视频采集组件采集的X光图像,并对所述可见光图像、近红外光图像、X光图像建立点对点的二维或三维的空间位置映射关系。
14.一种多光谱摄像方法,其特征在于,采用权利要求11至13任一项所述多光谱摄像装置,并包括下述的方法:
多光谱摄像的操作时序,红外光辐射源或者X射线辐射源的照射以及红外图像或者X射线图像的采集,和可见光辐射源的照射以及可见光图像的采集同步进行或者其时间间隔小于0.1秒。
15.根据权利要求14所述的多光谱摄像方法,其特征在于,所述计算***将采集的红外图像和/或者X射线图像与可见光图像建立点对点的二维或三维的空间映射关系,并存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710224226.3A CN107411706B (zh) | 2017-04-07 | 2017-04-07 | 多光谱投影装置和投影方法、多光谱摄像装置和摄像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710224226.3A CN107411706B (zh) | 2017-04-07 | 2017-04-07 | 多光谱投影装置和投影方法、多光谱摄像装置和摄像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107411706A CN107411706A (zh) | 2017-12-01 |
CN107411706B true CN107411706B (zh) | 2023-08-18 |
Family
ID=60423856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710224226.3A Active CN107411706B (zh) | 2017-04-07 | 2017-04-07 | 多光谱投影装置和投影方法、多光谱摄像装置和摄像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107411706B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110362071B (zh) * | 2019-05-24 | 2022-07-22 | 江西理工大学 | 基于多光谱成像技术的人工智能控制方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101563017A (zh) * | 2006-10-04 | 2009-10-21 | 拓普康株式会社 | 眼底观察装置、眼底图像显示装置和眼底图像显示方法 |
CN102813504A (zh) * | 2012-08-29 | 2012-12-12 | 北京理工大学 | 一种多光谱三维静脉图像显示装置 |
CN102974918A (zh) * | 2012-11-26 | 2013-03-20 | 清华大学 | 一种基于多光谱分光摄影的视觉监控*** |
CN103584836A (zh) * | 2013-10-25 | 2014-02-19 | 浙江大学 | 一种实时静脉定位显示装置和方法 |
CN105640582A (zh) * | 2016-03-02 | 2016-06-08 | 中国人民解放军第四军医大学 | 一种深部组织x射线激发多光谱断层成像***及方法 |
CN106959571A (zh) * | 2017-04-07 | 2017-07-18 | 展谱光电科技(上海)有限公司 | 多光谱投影及摄像装置以及多光谱投影方法 |
CN207768362U (zh) * | 2017-04-07 | 2018-08-28 | 展谱光电科技(上海)有限公司 | 多光谱投影装置及多光谱摄像装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7265350B2 (en) * | 2004-03-03 | 2007-09-04 | Advanced Biophotonics, Inc. | Integrated multi-spectral imaging systems and methods of tissue analyses using same |
-
2017
- 2017-04-07 CN CN201710224226.3A patent/CN107411706B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101563017A (zh) * | 2006-10-04 | 2009-10-21 | 拓普康株式会社 | 眼底观察装置、眼底图像显示装置和眼底图像显示方法 |
CN102813504A (zh) * | 2012-08-29 | 2012-12-12 | 北京理工大学 | 一种多光谱三维静脉图像显示装置 |
CN102974918A (zh) * | 2012-11-26 | 2013-03-20 | 清华大学 | 一种基于多光谱分光摄影的视觉监控*** |
CN103584836A (zh) * | 2013-10-25 | 2014-02-19 | 浙江大学 | 一种实时静脉定位显示装置和方法 |
CN105640582A (zh) * | 2016-03-02 | 2016-06-08 | 中国人民解放军第四军医大学 | 一种深部组织x射线激发多光谱断层成像***及方法 |
CN106959571A (zh) * | 2017-04-07 | 2017-07-18 | 展谱光电科技(上海)有限公司 | 多光谱投影及摄像装置以及多光谱投影方法 |
CN207768362U (zh) * | 2017-04-07 | 2018-08-28 | 展谱光电科技(上海)有限公司 | 多光谱投影装置及多光谱摄像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107411706A (zh) | 2017-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106959571B (zh) | 多光谱投影及摄像装置以及多光谱投影方法 | |
CN105848566B (zh) | 用于预定生物结构的无创检测的设备 | |
EP1566142A1 (en) | Imaging of buried structures | |
JP4499341B2 (ja) | 生体認証装置及び生体認証方法 | |
CN102894960A (zh) | 透射式手背静脉三维红外成像仪 | |
CN202821303U (zh) | 一种红外静脉血管显像装置 | |
CN102813504A (zh) | 一种多光谱三维静脉图像显示装置 | |
CN107397534A (zh) | 一种一体化的静脉血管识别***及方法 | |
CN106994001B (zh) | 便携式多光谱摄像装置及其使用方法 | |
KR102680512B1 (ko) | 3차원 피부 스캔 방법 | |
JP5310908B2 (ja) | 生体認証装置、生体認証方法、プログラム、電子機器及び生体認証システム | |
CN107411706B (zh) | 多光谱投影装置和投影方法、多光谱摄像装置和摄像方法 | |
CN207768362U (zh) | 多光谱投影装置及多光谱摄像装置 | |
Ahmed et al. | Enhanced vision based vein detection system | |
TWI664950B (zh) | 靜脈感測裝置 | |
CN110070522A (zh) | 多维影像信息检测方法及装置 | |
Ahmed et al. | A real time vein detection system | |
CN108143394A (zh) | 一种穿戴式便携静脉成像仪 | |
CN207424493U (zh) | 多光谱投影及摄像装置 | |
CN108158804B (zh) | 一种基于体表静脉特征实现目标定位的体表静脉模具及制作方法 | |
JP5299491B2 (ja) | 生体情報検出装置及び生体情報検出方法 | |
US20180192937A1 (en) | Apparatus and method for detection, quantification and classification of epidermal lesions | |
Weerasinghe et al. | Using Near-Infrared Spectroscopy for Vein Visualization | |
Van Tran et al. | Design and enhance the vein recognition using near infrared light and projector | |
CN206166901U (zh) | 一种多功能双红外血管显像仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |