CN111487320B - 基于三维光学成像传感器的三维超声成像方法和*** - Google Patents

基于三维光学成像传感器的三维超声成像方法和*** Download PDF

Info

Publication number
CN111487320B
CN111487320B CN201910086302.8A CN201910086302A CN111487320B CN 111487320 B CN111487320 B CN 111487320B CN 201910086302 A CN201910086302 A CN 201910086302A CN 111487320 B CN111487320 B CN 111487320B
Authority
CN
China
Prior art keywords
dimensional
information
marker
optical imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910086302.8A
Other languages
English (en)
Other versions
CN111487320A (zh
Inventor
郑永平
孟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefield Medical Imaging Ltd
Original Assignee
Telefield Medical Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefield Medical Imaging Ltd filed Critical Telefield Medical Imaging Ltd
Priority to CN201910086302.8A priority Critical patent/CN111487320B/zh
Priority to PCT/CN2020/073105 priority patent/WO2020156299A1/zh
Publication of CN111487320A publication Critical patent/CN111487320A/zh
Application granted granted Critical
Publication of CN111487320B publication Critical patent/CN111487320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/06—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/26—Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/265—Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the sensor relative to a stationary material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Remote Sensing (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种基于三维光学成像传感器的三维超声成像***，包括：超声探头，用于对目标的感兴趣区域进行超声扫描；二维超声成像装置，基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；三维光学成像传感器，获取在所述三维光学成像传感器的可视范围内至少一个标识物与所述三维光学成像传感器的摄像头之间的距离信息以及所述标识物的图像信息；空间信息处理模块，基于所述距离信息和所述图像信息获取所述超声探头的三维空间信息；三维重建模块，基于所述三维空间信息和所述二维超声图像重建三维超声图像。本发明还涉及基于三维光学成像传感器的三维超声成像方法。本发明可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。

Description

基于三维光学成像传感器的三维超声成像方法和***
技术领域
本发明涉及三维超声成像领域，更具体地说，涉及一种基于三维光学成像传感器的三维超声成像方法和***。
背景技术
自由臂(free-hand)三维成像，即由人手自由移动超声探头在目标物上作扫描，利用光学三维空间传感技术捕获超声探头的位置及方向信息。目前常用的三维空间传感技术包括空间参照物或信号及相应的探测器。举例来说，使用电磁发射器来发射电磁波作为参考信号，探测器根据电磁波场强的变化来判断探头的位置和方向变化。再比如，使用安放在探头表面的一个或多个的视觉标识物来作为参考物，并使用一个或多个环绕超声探头的摄像头来探测探头的位置及方向。
上述的三维空间传感技术各自存在着自身的优点与局限性。就电磁传感技术而言，其会受到周遭金属物体的干扰。而基于摄像头的传感***通常体积庞大，费用高昂。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种抗干扰能力强、成本低、体积小的基于三维光学成像传感器的三维超声成像方法和***。
本发明解决其技术问题所采用的技术方案是：构造一种基于三维光学成像传感器的三维超声成像***，包括：
超声探头，用于对目标的感兴趣区域进行超声扫描；
二维超声成像装置，用于基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
三维光学成像传感器，用于获取在所述三维光学成像传感器的可视范围内至少一个标识物与所述三维光学成像传感器的摄像头之间的距离信息以及所述标识物的图像信息；空间信息处理模块，用于基于所述距离信息和所述图像信息获取所述超声探头的三维空间信息；
三维重建模块，用于基于所述三维空间信息和所述二维超声图像重建三维超声图像。
在本发明所述基于三维光学成像传感器的三维超声成像***中，所述标识物为所述超声探头的至少一部分。
在本发明所述基于三维光学成像传感器的三维超声成像***中，所述标识物包括设置在所述超声探头上的至少一个视觉标识物。
在本发明所述基于三维光学成像传感器的三维超声成像***中，所述三维光学成像传感器设置在所述超声探头上，所述标识物包括设置在所述三维光学成像传感器的可视范围内的至少一个视觉标识物。
在本发明所述基于三维光学成像传感器的三维超声成像***中，所述空间信息处理模块包括：
标识物二维位置识别单元，用于基于所述标识物图像信息获取所述标识物的二维位置信息；
三维空间信息获取单元，用于基于所述距离信息图像和所述标识物图像信息识别所述标识物的图像信息中至少三个像素点与所述摄像头之间的各自距离以获得所述标识物的位置及方向信息，并基于所述标识物的位置及方向信息获得所述超声探头的三维空间信息。
在本发明所述基于三维光学成像传感器的三维超声成像***中，在所述三维光学成像传感器的可视范围内设置多个标识物；所述三维光学成像传感器用于获取每个所述标识物与所述摄像头之间的各组距离信息图像以及各组标识物图像信息；所述标识物二维位置识别单元用于基于各组所述标识物图像信息获取各个所述标识物的各组二维位置信息；所述三维空间信息获取单元用于基于各组所述距离信息图像和各组所述标识物图像信息识别各个所述标识物的图像信息中至少三个像素点与所述摄像头之间的各自距离以获得各个所述标识物的位置和方向信息，并基于各个所述标识物的位置和方向信息来获得所述超声探头的三维空间信息。
在本发明所述基于三维光学成像传感器的三维超声成像***中，所述标识物图像信息为RGB和/或红外图像信息，所述标识物二维位置识别单元，用于基于所述RGB和/或红外图像信息中所述标识物的色彩、形状、图形模式或光暗程度来获取所述标识物的二维位置信息。
在本发明所述基于三维光学成像传感器的三维超声成像***中，所述三维光学成像传感器进一步用于检测所述目标的感兴趣区域的目标三维轮廓信息；
所述空间信息处理模块进一步包括：
修正单元，用于基于所述目标三维轮廓信息获取所述目标在所述超声探头的扫描过程中的三维运动信息，并基于所述三维运动信息修正所述超声探头的三维空间信息。
在本发明所述基于三维光学成像传感器的三维超声成像***中，进一步包括：
校准单元，用于将所述二维超声图像的每一帧的像素点转换到三维空间来校准所述三维超声图像。
在本发明所述基于三维光学成像传感器的三维超声成像***中，所述超声探头上进一步设置用于获取所述超声探头的三维方向信息的至少一个角度传感器和/或所述基于三维光学成像传感器的三维超声成像***包括多个三维光学成像传感器。
在本发明所述基于三维光学成像传感器的三维超声成像***中，进一步包括显示装置，用于在同一三维空间上显示所述目标三维轮廓信息、所述三维超声图像和/或超声探头图像。
本发明解决其技术问题采用的另一技术方案是，构造一种基于三维光学成像传感器的三维超声成像方法，包括：
S1、采用超声探头用于对目标的感兴趣区域进行超声扫描并基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
S2、获取在所述三维光学成像传感器的可视范围内至少一个标识物与所述三维光学成像传感器的摄像头之间的距离信息以及所述标识物的图像信息；
S3、基于所述距离信息和所述图像信息获取所述超声探头的三维空间信息；
S4、基于所述三维空间信息和所述二维超声图像重建三维超声图像。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，所述标识物为所述超声探头的至少一部分。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，所述标识物包括设置在所述超声探头上的至少一个视觉标识物。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，所述三维光学成像传感器设置在所述超声探头上，所述标识物包括设置在所述三维光学成像传感器的可视范围内的至少一个视觉标识物。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，所述步骤S3进一步包括：
S31、基于所述标识物图像信息获取所述标识物的二维位置信息；
S32、基于所述距离信息图像和所述标识物图像信息识别所述标识物的图像信息中至少三个像素点与所述摄像头之间的各自距离以获得所述标识物的位置及方向信息，并基于所述标识物的位置及方向信息获得所述超声探头的三维空间信息。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，在所述步骤S2中，在所述三维光学成像传感器的可视范围内设置多个标识物，并获取每个所述标识物与所述摄像头之间的各组距离信息图像以及各组标识物图像信息；在所述步骤S31中，基于各组所述标识物图像信息获取各个所述标识物的各组二维位置信息；在所述步骤S32中，基于各组所述距离信息图像和各组所述标识物图像信息识别各个所述标识物的图像信息中至少三个像素点与所述摄像头之间的距离以获得各个所述标识物的位置和方向信息，并基于各个所述标识物的位置和方向信息来获得所述超声探头的三维空间信息。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，所述标识物图像信息为RGB和/或红外图像信息，在所述步骤S31中，基于所述RGB和/或红外图像信息中所述标识物的色彩、形状、图形模式或光暗程度来获取所述标识物的二维位置信息。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，进一步包括：在超声扫描之前，检测所述目标的感兴趣区域的目标三维轮廓信息；
所述步骤S3进一步包括：
S33、基于所述目标三维轮廓信息获取所述目标在所述超声探头的扫描过程中的三维运动信息，并基于所述三维运动信息修正所述超声探头的三维空间信息。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，所述步骤S3进一步包括：
S34、将所述二维超声图像的每一帧的像素点转换到三维空间来校准所述三维超声图像。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，进一步包括
S5、在同一三维空间上显示所述目标三维轮廓信息、所述三维超声图像和/或超声探头图像。
在本发明所述基于三维光学成像传感器的三维超声成像方法中，所述步骤S3进一步包括：
S35、利用在所述超声探头上设置的至少一个角度传感器来获取所述超声探头的三维方向信息并将所述的三维方向信息与所述三维光学成像传感器获得的所述超声探头的三维空间信息相融合以提高所述三维空间信息的测量精度。
实施本发明的基于三维光学成像传感器的三维超声成像***和方法，通过采用三维光学成像传感器获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。进一步地，通过采用标识物或者角度传感器的方式，可以提高所述三维空间信息的准确性，进而进一步提高三维超声图像的质量。再进一步地，通过设置多个标识物的方式，不但可以获相关的位置信息，还可以获得运动方向信息，从而使得所述三维空间信息的探测更加有效和可靠，进一步提升三维超声图像的质量。再进一步地，还可以对获得的所述三维空间信息和/或三维超声图像进行修正和/或校准，从而获得更加准确、可靠的三维超声图像。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的基于三维光学成像传感器的三维超声成像***的第一优选实施例的***示意图；
图2是本发明的基于三维光学成像传感器的三维超声成像***的第二优选实施例的***示意图；
图3A-3C是图2所示的基于三维光学成像传感器的三维超声成像***的标识物的不同设置位置的示意图；
图4是本发明的基于三维光学成像传感器的三维超声成像***的第三优选实施例的***示意图；
图5是本发明的基于三维光学成像传感器的三维超声成像***的第四优选实施例的***示意图；
图6A-6C是图5所示实施例中使用的典型的ArUco识别码的示意图；
图7是本发明的基于三维光学成像传感器的三维超声成像***的第五优选实施例的***示意图；
图8是本发明的基于三维光学成像传感器的三维超声成像***的第六优选实施例的***示意图；
图9是本发明的基于三维光学成像传感器的三维超声成像方法的第一优选实施例的流程图；
图10是本发明的基于三维光学成像传感器的三维超声成像方法的第二优选实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
传统的摄像头只能生成二维图像，而三维光学成像传感器由于在摄像头内使用多套光学传感***或运用各种距离测量方法，不仅可以记录物体的二维图像，而且可以获取二维图像中不同位置离摄像头的距离信息，可以是绝对距离也可以是相当距离。例如，微软的Kinect传感器与英特尔的Realsense传感器都属于上述的三维光学成像传感器。可以采用多种方法均可以获取这一距离信息，比如使用有若干距离的两个独立的光学摄像头可以生成具有景深的立体图像。或者外加一个红外摄像头用来探测物体表面的由光学成像传感器投射出来的红外图形模式来获取深度信息。上述后者在近年的三维光学成像传感器中应用广泛，如英特尔的Realsense三维光学成像传感器03，其自带集成的红外发射器和集成一对RGB摄像头的成像传感器。该三维光学成像传感器可以同时提供彩色的RGB图像，反映红外强度的红外图像，以及物体表面离摄像头的距离图。上述所有图像都可以实时(帧率高于每秒25帧)提供。
因此，本发明的一个发明构思是，采用由三维光学成像传感器提供的超声探头的三维空间信息和二维超声成像装置提供的二维超声影像信息进行三维图像重建。本发明的进一步的发明构思是，通过增加标识物的方式提高三维光学成像传感器提供的三维空间信息的准确性。本发明的进一步的发明构思是，将超声探头本身作为标识物；或者在超声探头上设置视觉标识物；或者将三维光学传感器设置在超声探头上而在三维光学传感器的可视范围内设置视觉标识物。
图1是本发明的基于三维光学成像传感器的三维超声成像***的第一优选实施例的***示意图。如图1所示，本发明的基于三维光学成像传感器的三维超声成像***包括超声探头01、二维超声成像装置05、三维光学成像传感器03、空间信息处理模块06、三维重建模块07以及显示装置08。所述超声探头01设置在三维光学成像传感器03的可视范围04之内，并用于对目标02的感兴趣区域进行超声扫描。所述二维超声成像装置05与所述超声探头01通信连接，从而基于所述超声扫描生成所述目标02的感兴趣区域的二维超声图像。本领域技术人员知悉，该感兴趣区域可以是所述目标02的至少一部分，或者其整体，并且可以采用本领域中已知的任何超声探头、二维超声成像装置构造本发明的超声探头01、二维超声成像装置05。
所述三维光学成像传感器03可与所述超声探头01和所述二维超声成像装置05通信连接，从而用于获取所述超声探头01与所述三维光学成像传感器03的摄像头之间的距离信息以及所述超声探头01的图像信息。本领域技术人员知悉，可以采用本领域中的任何三维光学成像传感器，尤其是微软的Kinect传感器与英特尔的Realsense传感器，以及未来发展出来的类似的设备。该图像信息可以是RGB和/或红外图像信息，也可以是任何可以用于获取物体的三维表面信息和/或运动信息的其他图像信息。优选可以采用英特尔的Realsense三维光学成像传感器03，其自带集成的红外发射器和集成一对RGB摄像头的成像传感器。该三维光学成像传感器可以同时提供彩色的RGB图像，反映红外强度的红外图像，以及物体表面离摄像头的距离图。上述所有图像都可以实时(帧率高于超声成像的帧率，比如每秒25帧)提供。在工作过程中，超声探头01将处于三维光学成像传感器03的实时监控中，超声探头01的三维表面信息(即轮廓)将被实时探测。根据所得的三维表面信息的运动情况，超声探头01如果运动的话，其在三维空间中的动作也可以得知。
空间信息处理模块06与所述三维光学成像传感器03通信连接，从而基于所述距离信息和所述图像信息获取所述超声探头01的三维空间信息。优选地，可以通过三维光学成像传感器提供的与超声探头的每个部位的距离信息得到所述超声探头的图像信息中至少三个像素点与三维光学成像传感器中的摄像头的各自距离，整个超声探头的与摄像头的距离可以通过计算图像信息中至少三个像素点与摄像头的平均距离而得到。如果目标或者目标的感兴趣区域与超声探头同时移动，目标或者目标的感兴趣区域的三维空间信息以及在三维空间的运动可以因此得知。此外，还可以根据所获得的超声探头的至少三个像素点与三维光学成像传感器的距离便可以推算出超声探头的指向(倾斜度，也即空间三维方向)，并可以与超声探头的方向相联系。在一个表面的至少三个像素的三维空间位置知道的情况下，计算物体表面指向有着标准化的方法，在此就不再累述了。本领域技术人员知悉，该通信连接可以采用无线通信连接，也可以采用有线通信连接。通过所述距离信息和所述图像信息获取所述超声探头的三维空间信息的方法还可以采用本领域中已知的任何标准化方法，因此在此就不再累述了。当然，在获取了该三维空间信息之后，本领域技术人员可以进一步对多种信号处理方法来降噪，比如对空间位置信息和空间角度信息作移动平均法等等。另外，在通过所述距离信息获取超声探头的空间三维方向时，可以利用超声探头图像的至少三个像素，最多全部像素的的距离信息。
所述三维重建模块07与所述空间信息处理模块06和二维超声成像装置05通信连接，从而基于所述三维空间信息和所述二维超声图像重建三维超声图像。本领域技术人员知悉，该通信连接可以采用无线通信连接，也可以采用有线通信连接。并且，可以采用本领域中已知的任何重建方法实现三维超声图像的重建，在此就不再累述了。
所述显示装置08与所述三维重建模块07从而显示该三维超声图像。该显示过程可以是实时的，也可以是非实时的。进一步的，所述三维光学成像传感器03还可以同时将所述目标02的三维表面轮廓信息传送给所述显示装置08，这样，所述显示装置08可以在同一三维空间中，优选以不同的颜色显示该目标02的三维表面轮廓信息和所述三维超声图像。在本发明的进一步的优选实施例中，还可以将所述超声探头01的图像发送给显示装置08，所述显示装置08可以在同一三维空间中，优选以不同的颜色显示该目标02的三维表面轮廓信息、所述三维超声图像以及所述超声探头01的图像，当然也可以显示三者中的任意一者，例如以切换的方式显示。在本发明的其他简化实施例中，可以省略该显示装置08。
实施本发明的基于三维光学成像传感器的三维超声成像***，通过采用三维光学成像传感器获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。
图2是本发明的基于三维光学成像传感器的三维超声成像***的第二优选实施例的***示意图。如图2所示，本发明的基于三维光学成像传感器的三维超声成像***包括超声探头01、二维超声成像装置05、三维光学成像传感器03、空间信息处理模块06、三维重建模块07以及显示装置13。在图2所示的优选实施例中，所述超声探头01设置在三维光学成像传感器03的可视范围04之内，并用于对目标02的感兴趣区域进行超声扫描。在超声探头01的前端部设置视觉标识物11，该视觉标识物11同样位于可视范围04之内。在本发明的其他优选实施例中，如图3A-3C所示，该视觉标识物11可以位于所述超声探头01的前端部、侧部、前端中部。在本发明的进一步的优选实施例中，该视觉标识物11还可以设置在所述超声探头01的其他位置，例如底部，后端等等。又或者视觉标识物11还可以是所述超声探头01的至少一部分，或者全部。进一步的，所述视觉标识物11可以是任何形状，例如圆形、三角形、以及任何规则或者不规则形状，其还可以是贴附在所述超声探头01的任何部位的编码，例如各种类型的ArUco识别码等等。上述视觉标识物11可以采用任何颜色(这样可以通过颜色将视觉标识物11和背景进行区分)，或者采用高反射的红外涂层(这样在红外成像中可以将视觉标识物11和背景进行明确区分)；或者自身具有发光特性，例如采用不同颜色的LED灯或红外灯(这样可以将其设置成需要时发光，由于其自身光亮可以让其在RGB或红外图像中更加清晰)。而所述的LED灯或者红外灯可以进一步与三维光学成像传感器同步，这样只有在三维光学成像传感器的的测量进行时所述的LED灯或者红外灯才会发光。这样，可以进一步增加视觉标识物11的测量的准确性。更进一步地，该视觉标识物11可以是可拆卸的或可以在不使用时缩进超声探头中，也可以是固定设置的。在本发明的其他优选实施例中，可以不是将视觉标识物11而是将三维光学成像传感器03设置在超声探头01上。例如，可以将三维光学成像传感器03设置在超声探头01上的任何位置，只要视觉标识物11还是位于可视范围04之内即可。该方法的优点在于，当我们采用大型的视觉标识物11时，和/或将其置于相关空间内的任何或者多个位置时，不管怎么调整角度和位置，都能检测到一些或者一部分视觉标识物11。在本发明的其他优选实施例中，还可以设置多个视觉标识物，例如在超声探头01的不同位置设置不同形状、类型或者颜色的视觉标识物，从而提升检测定位效果。
在本实施例中，所述二维超声成像装置05与所述超声探头01通信连接，从而基于所述超声扫描生成所述目标02的感兴趣区域的二维超声图像。所述三维光学成像传感器03可与所述超声探头01和所述二维超声成像装置05通信连接，用于获取所述视觉标识物与所述摄像头之间的距离信息图像以及视觉标识物图像信息。该视觉标识物图像信息优选可以是RGB和/或红外图像信息。
在本实施例中，所述空间信息处理模块06优选可以包括视觉标识物二维位置识别单元61和三维空间信息获取单元62。该视觉标识物二维位置识别单元61，用于基于所述视觉标识物图像信息获取所述视觉标识物的二维位置信息。优选地，所述视觉标识物二维位置识别单元61，用于基于所述RGB和/或红外图像信息中所述视觉标识物的色彩、形状、图形模式或光暗程度来获取所述视觉标识物的二维位置信息。该三维空间信息获取单元62，用于基于所述距离信息图像和所述视觉标识物图像信息识别所述视觉标识物的图像信息中至少三个像素点与所述摄像头之间的距离以获得所述视觉标识物的位置及方向信息，并基于所述视觉标识物的位置及方向信息获得所述超声探头01的三维空间信息。
如图2所示，当三维光学成像传感器03获取设置在超声探头01端部的圆形视觉标识物11的视觉标识物图像信息时，该视觉标识物二维位置识别单元61可以获取该视觉标识物图像信息中的至少三个(也可以是更多，甚至全部)像素的二维位置信息。而三维空间信息获取单元62基于该视觉标识物图像信息中的至少三个像素的二维位置信息和该视觉标识物图像信息中的至少三个像素与所述摄像头之间的距离信息图像就可以获得至少三个像素的三维空间信息(即左右上下以及与摄像头之间的距离)，从而推到出视觉标识物的位置及方向信息，进而获得所述超声探头01的三维空间信息。
在本发明的进一步的优选实施例中，可以采用三角形的视觉标识物，优选特定颜色或高反射的红外涂层标示的三角视觉标识物。当该种特别设计的视觉标识物被识别时，根据其相应图像中至少三个像素所含的三维空间信息(左右上下及与摄像头之间的距离)便可以推导出这一视觉标识物的位置和方向信息，从而可以得到超声探头的三维空间信息。举例来说，我们可以利用视觉标识物的中心来记录该视觉标识物的位置，并使用该视觉标识物所在的平面在三维空间中的指向来探测视觉标识物的方向。一旦视觉标识物所在的位置及方向可以探测得到，我们可以获取图像的位置及方向信息。
在本发明的进一步的优选实施例中，所述超声探头01上进一步设置用于获取所述超声探头01的三维方向信息的至少一个角度传感器。例如为了进一步提高超声探头三维空间方向探测的准确度，我们可以在超声探头10的内或表面额外安装一个或多个可以检测角度的角度传感器：比如加速度仪，陀螺仪或磁感器。这些额外探测的方向信息可以与三维光学成像传感器的结果相对比、结合，来降低环境因素的干扰。比如，其中一个传感器受到严重干扰，其他的传感器可以根据自身探测的结果来修正三维空间信息。因为这些传感器采用了完全不同的传感技术，在正常情况下，一个偶发独立的扰动不会影响全部传感器。比如三维光学成像传感器所获得的三维空间信息可以受到突然的强光所干扰，而加速度仪，陀螺仪及磁感器的运作则不会受到影响。这样，可以利用在所述超声探头上设置的至少一个角度传感器来获取所述超声探头的三维方向信息并将所述的三维方向信息与所述三维光学成像传感器获得的所述超声探头的三维空间信息相融合以提高所述三维空间信息的测量精度
在本发明的进一步的优选实施例中，也可以采用多个三维光学成像传感器03也可以用来监测视觉标识物11的情况，每个传感器分别记录超声探头的位置与方向信息，结合多个传感器的结果可以帮助提升***的稳定性与可靠度。此外，当超声探头自由转换不同的方向，至少有一个三维光学成像传感器03可以及时获取视觉标识物的位置与方向信息。
当然，在获取了该三维空间信息之后，本领域技术人员可以进一步对多种信号处理方法来降噪，比如移动平均法等等。所述三维重建模块07与所述空间信息处理模块06和二维超声成像装置05通信连接，从而基于所述三维空间信息和所述二维超声图像重建三维超声图像。本领域技术人员知悉，该通信连接可以采用无线通信连接，也可以采用有线通信连接。并且，可以采用本领域中已知的任何重建方法实现三维超声图像的重建，在此就不再累述了。
所述显示装置13与所述三维重建模块07从而显示该三维超声图像。该显示过程可以是实时的，也可以是非实时的。所述显示装置13还可以进一步显示视觉标识物11的坐标12。
在本实施例中，结合上述视觉标识物和三维光学成像传感器，可以获取图像中的二维位置信息以及由三维光学成像传感器提供的至少三个像素点与摄像头距离。因此，对于目标的感兴趣区域，我们可以通过选取的该目标的表面特征(即标识物)或者附加的标识物来得知其在三维空间中所处的位置。通过标识物的三维空间信息可以计算超声探头的三维空间信息。首先，探测所得的视觉标识物区域中的至少三个像素点与三维光学成像传感器中的摄像头的距离可以通过三维光学成像传感器提供的与标识物的每个部位的距离信息得到。整个标识物与摄像头的距离可以通过计算视觉标识物至少三个，也可是所有像素点与摄像头的平均距离而得到。如果物体与视觉标识物同时移动，物体在三维空间的运动可以因此得知。此外，还可以根据所获得的标识物区域的所有的像素点与传感器的距离便可以推算出标识物表面的指向(倾斜度)，并可以与物体，即超声探头的方向相联系。在一个表面的所有点的三维空间位置都知道的情况下，计算物体表面指向有着标准化的方法，因此在此不再累述。为了使得视觉标识物与三维光学成像传感器的距离以及视觉标识物自身的方向的探测更加可靠，可以采用多种增强算法：包括使用中值滤波器等来减少噪点，或用小波分析来处理标识物上所有像素点的距离数据。更进一步说，当获取了标识物的三维空间信息(包括三维位置与方向)之后，我们可以采用多种信号处理方法来降噪，比如移动平均法。
实施本发明的基于三维光学成像传感器的三维超声成像***，通过采用三维光学成像传感器获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。进一步地，通过采用视觉标识物或者角度传感器的方式，可以提高所述三维空间信息的准确性，进而进一步提高三维超声图像的质量。
图4是本发明的基于三维光学成像传感器的三维超声成像***的第三优选实施例的***示意图。在图4所示实施例中，其与图3所示实施例的区别在于，其设置了多个视觉标识物11。虽然在图4中仅示出了三个设置在超声探头11一侧的圆形视觉标识物，本领域技术人员可以知悉，可以在超声探头的不同位置，设置不同数量，不同形状或者类型的视觉标识物。这些视觉标识物11可以用不同的色彩作编码(即可以通过颜色来将物体与背景分开来)或者使用高反射的红外涂层标识(在红外下与背景明显区分开来的明亮标识)。应用多个视觉标识物可以探测到超声探头11的空间方向。举例来说，我们可以利用视觉标识物的中心来记录该标识物的位置，并使用该标识物所在的平面在三维空间中的指向来探测标识物的方向(图7所示的三角形标识物)。当采用多个标识物来定位，我们可以同时获得多组三维空间信息(位置及方向)，这些信息有助于增加三维定位的可靠性，比如利用多组信息的平均值来推算三维空间位置与方向。
因此，在本实施例中，所述三维光学成像传感器03用于获取每个所述标识物与所述摄像头之间的各组距离信息图像以及各组标识物图像信息；所述标识物二维位置识别单元用于基于各组所述标识物图像信息获取各个所述标识物的各组二维位置信息；所述三维空间信息获取单元用于基于各组所述距离信息图像和各组所述标识物图像信息识别各个所述标识物的图像信息中至少三个像素点与所述摄像头之间的距离以获得各个所述标识物的位置和方向信息，并基于各个所述标识物的位置和方向信息来获得所述超声探头01的三维空间信息。
同样的，在本实施例中，三维光学成像传感器与视觉标识物的位置可以互换。具体说来，三维光学成像传感器可以安装在超声探头的不同位置，而标识物可以放置于三维光学成像传感器的可视范围内。该方法的优点在于我们采用大型视觉标识物，并置于空间中的多个位置，不论怎么调整位置与角度，三维光学成像传感器总可以探测到一些标识物。同样的，为了进一步增强探测标识物距离的准确性，至少一个优选全部的视觉标识物可以覆以红外反射材料来提高投射于标识物表面的红外图形模式的效果。至少部分或者全部的视觉标识物也可以做成具有易拆卸的特征，这样当三维追踪的时候才需要使用(比如，使用磁性材料)。同样的，在三维光学成像传感器固定于超声探头上的方法中，该传感器也可以是可拆卸的。至少一个或者全部的视觉标识物也可以具有自身发光的特性，比如使用不同颜色的LED灯或者红外灯。而所述的LED灯或者红外灯可以进一步与三维光学成像传感器同步，这样只有在三维光学成像传感器的的测量进行时所述的LED灯或者红外灯才会发光。此外，发光可以具有不同的时间序列特征、空间变换模式以有利于定位探测。使用自生发光标识物的优势是可以设定自身发光的标识物在需要使用时才发光，或在昏暗的条件下使用，自身的光亮使得在RGB或红外图像中更加清晰。
实施本发明的基于三维光学成像传感器的三维超声成像***，通过采用三维光学成像传感器获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。进一步地，通过采用标识物或者角度传感器的方式，可以提高所述三维空间信息的准确性，进而进一步提高三维超声图像的质量。再进一步地，通过设置多个标识物的方式，不但可以获相关的位置及方向信息，还可以获得运动方向信息，从而使得所述三维空间信息的探测更加有效和可靠，进一步提升三维超声图像的质量。
图5是本发明的基于三维光学成像传感器的三维超声成像***的第四优选实施例的***示意图。图5所示实施例与图3所示实施例类似，其区别在于，在图5所示实施例中，采用了ArUco识别码作为视觉标识物。在本实施例中，为了使视觉标识物的探测更加有效和可靠，使用ArUco识别码。典型的ArUco识别码如图6A-6C所示。ArUco识别码在虚拟现实中追踪物体有着相当广泛的应用。通常来说，利用RGB摄像头拍摄含有ArUco识别码的图像，根据ArUco识别码的大小与形变来判断含有识别码的物体的深度与方向的信息。当然，在本发明的其他优选实施例中，还可以采用其他ArUco识别码，甚至其他编码。ArUco识别码或其他编码的使用，会使得标识物的检测和追踪更加容易，因为已经由许多的算法可以快速地将ArUco识别码在图像中的位置及方向可以识别出来。其中得到的识别码标识物的位置可以进一步进行得到其至少三个像素与摄像头之间的距离来进一步得到识别码标识物的三维方向信息。而由检测ArUco识别码得到的方向信息(相对不准确)也可以被融入到识别码标识物的三维方向信息的计算，比如协助消除在距离测量中可能存在的噪声。
图7是本发明的基于三维光学成像传感器的三维超声成像***的第五优选实施例的***示意图。在图7所示实施例中，其采用了三种不同类型的视觉标识物，即圆形视觉标识物111、三角形视觉标识物121和ArUco识别码131。并且这些标识物均不是设置在超声探头上，相反的，在超声探头01的端部设置三维光学成像传感器103，而将圆形视觉标识物111、三角形视觉标识物121和ArUco识别码131放置在三维光学传感器视觉范围中的不同位置，这样不论怎么调整位置与角度，三维光学成像传感器总可以探测到一些标识物。在具体实施中，视觉标识物的形状、大小、以及数目可以根据具体应用有不同组合。通过三维光学传感器所得的有关视觉标识物的距离及图像信息，可以计算出三维光学传感器自身的在三维空间中的位置和方向，从而可以获得与之相连的超声探头的三维空间信息。本领域技术人员知悉，该实施例中的基于三维光学成像传感器的三维超声成像***的其余部分，可以参照图1-6中所示的任何实施例构造，在此就不再累述了。
图8是本发明的基于三维光学成像传感器的三维超声成像***的第六优选实施例的***示意图。在图8所示实施例中，其与图2所示的实施例的区别在于，采用了覆以红外反射材料的三角形视觉标识物21，并且所述三维光学成像传感器03进一步用于检测所述目标02的感兴趣区域的目标02三维轮廓信息。采用三角形视觉标识物21，我们可以利用标识物的中心来记录该标识物的位置，并使用该标识物所在的平面在三维空间中的指向来探测标识物的方向。一旦标识物所在的位置和方向可以探测，我们可以获取图像的位置和方向。而所述空间信息处理模块06进一步包括：修正单元63和校准单元64。该修正单元63，用于基于所述目标02三维轮廓信息获取所述目标02在所述超声探头01的扫描过程中的三维运动信息，并基于所述三维运动信息修正所述超声探头01的三维空间信息。校准单元64用于将所述二维超声图像的每一帧的像素点转换到三维空间来校准所述三维超声图像。
在本实施例中，通过采用修正单元63检测到的探头的三维空间信息作修正。目标物的在扫描过程中的运动会对三维超声成像造成误差。所以这一步骤可以减少或消除目标物运动造成的干扰。采用校准单元64可以进一步校准获得的三维超声图像。相关的修正和校准方法，可以采用本领域中已知的任何修正和校准方法，在此就不再累述了。
实施本发明的基于三维光学成像传感器的三维超声成像***，通过采用三维光学成像传感器获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。进一步地，通过采用标识物或者角度传感器的方式，可以提高所述三维空间信息的准确性，进而进一步提高三维超声图像的质量。再进一步地，通过设置多个标识物的方式，不但可以获相关的位置及方向信息，还可以获得运动方向信息，从而使得所述三维空间信息的探测更加有效和可靠，进一步提升三维超声图像的质量。再进一步地，还可以对获得的所述三维空间信息和/或三维超声图像进行修正和/或校准，从而获得更加准确、可靠的三维超声图像。
图9是本发明的基于三维光学成像传感器的三维超声成像方法的第一优选实施例的流程图。如图9所示，在步骤S1中，采用超声探头用于对目标的感兴趣区域进行超声扫描并基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像。本领域技术人员知悉，所述超声探头可以采用图1-8中任意一个实施例中的超声探头构造。在步骤S2中，获取在所述三维光学成像传感器的可视范围内至少一个标识物与所述三维光学成像传感器的摄像头之间的距离信息以及所述标识物的图像信息。优选地，所述三维光学成像传感器可与所述超声探头和二维超声成像装置通信连接，从而用于获取所述超声探头与所述三维光学成像传感器的摄像头之间的距离信息以及所述超声探头的图像信息。本领域技术人员知悉，可以采用图1-8中任意一个实施例中的所述三维光学成像传感器03和二维超声成像装置05来实现本步骤。在本发明的一个优选实施例中，所述标识物为所述超声探头的至少一部分。在本发明的进一步的优选实施例，所述标识物包括设置在所述超声探头上的至少一个视觉标识物。在本发明的再进一步的优选实施例，所述三维光学成像传感器设置在所述超声探头上，所述标识物包括设置在所述三维光学成像传感器的可视范围内的至少一个视觉标识物。
在步骤S3中，基于所述距离信息和所述图像信息获取所述超声探头的三维空间信息。优选地，可以通过三维光学成像传感器提供的与超声探头的每个部位的距离信息得到所述超声探头的图像信息中至少三个像素点与三维光学成像传感器中的摄像头的距离，整个超声探头的与摄像头的距离可以通过计算图像信息中至少三个像素点与摄像头的平均距离而得到。如果目标或者目标的感兴趣区域与超声探头同时移动，目标或者目标的感兴趣区域在三维空间的运动可以因此得知。此外，还可以根据所获得的超声探头的所有的像素点与三维光学成像传感器的距离便可以推算出超声探头的指向(倾斜度)，并可以与超声探头的方向相联系。在一个表面的所有点的三维空间位置都知道的情况下，计算物体表面指向有着标准化的方法，在此就不再累述了。在步骤S4中，基于所述三维空间信息和所述二维超声图像重建三维超声图像。本领域技术人员知悉，可以采用本领域中已知的任何重建方法实现三维超声图像的重建，在此就不再累述了。
本领域技术人员知悉，在本发明的其他进一步的优选实施例中，可以采用图1-8中任意实施例中构造的基于三维光学成像传感器的三维超声成像***来实现上述基于三维光学成像传感器的三维超声成像方法。
实施本发明的基于三维光学成像传感器的三维超声成像方法，通过采用三维光学成像传感器获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。
图10是本发明的基于三维光学成像传感器的三维超声成像方法的第二优选实施例的流程图。在步骤S1中，在所述三维光学成像传感器的可视范围内设置至少一个标识物。在本优选实施例中，所述标识物设置在所述超声探头上。在本发明的其他优选实施例中，所述三维光学成像传感器设置在所述超声探头上。上述标识物的类型、数量、种类、设置位置可以参照图1-8所示的基于三维光学成像传感器的三维超声成像构造。在本发明的其他实施例中，也可以将所述三维光学成像传感器设置在所述超声探头上。
在步骤S2中，采用超声探头用于对目标的感兴趣区域进行超声扫描并基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像。本领域技术人员知悉，所述超声探头可以采用图1-8中任意一个实施例中的超声探头构造。
在步骤3中，获取所述标识物与所述摄像头之间的距离信息图像以及标识物图像信息。如前所述，可以采用本领域中的任何三维光学成像传感器，尤其是微软的Kinect传感器与英特尔的Realsense传感器。该图像信息可以是RGB和/或红外图像信息，也可以是任何可以用于获取物体的三维表面信息和/或运动信息的其他图像信息。
在步骤S4中基于所述标识物图像信息获取所述标识物的二维位置信息。在本发明的进一步的优选实施例中，可以基于所述RGB和/或红外图像信息中所述标识物的色彩、形状、图形模式或光暗程度来获取所述标识物的二维位置信息。在步骤S5中，基于所述距离信息图像和所述标识物图像信息识别所述标识物的图像信息中至少三个像素点与所述摄像头之间的距离以获得所述标识物的位置及方向信息，并基于所述标识物的位置及方向信息获得所述超声探头的三维空间信息。优选地，可以通过三维光学成像传感器提供的与标识物的每个部位的距离信息得到所述标识物的图像信息中至少三个像素点与三维光学成像传感器中的摄像头的距离，整个标识物与摄像头的距离可以通过计算图像信息中至少三个像素点与摄像头的平均距离而得到。如果目标或者目标的感兴趣区域与标识物同时移动，目标或者目标的感兴趣区域在三维空间的运动可以因此得知。此外，根据所获得的标识物的所有的像素点与三维光学成像传感器的距离便可以推算出标识物的指向(倾斜度)，并可以与标识物的方向相联系。在一个表面的所有点的三维空间位置都知道的情况下，计算物体表面指向有着标准化的方法，在此就不再累述了。当该种特别设计的标识物被识别时，根据其相应图像中至少三个像素所含的三维空间信息(左右上下及与摄像头之间的距离)便可以推导出这一标识物的位置和方向信息，从而可以得到超声探头的三维空间信息。本领域技术人员知悉，上述步骤S4-S5可以采用图2-8中任意一个实施例的所述空间信息处理模块06来实现。
在步骤S6中，基于所述三维空间信息和所述二维超声图像重建三维超声图像。本领域技术人员知悉，可以采用本领域中已知的任何重建方法实现三维超声图像的重建，在此就不再累述了。在步骤S7中，可以采用显示装置来显示该三维超声图像。
在本发明的进一步的优选实施例中，可以在所述三维光学成像传感器的可视范围内设置多个标识物。然而，采用超声探头用于对目标的感兴趣区域进行超声扫描并基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像。在进一步的实施例中，还可以在超声扫描之前，检测所述目标的感兴趣区域的目标三维轮廓信息。这样在后续步骤中，获取每个所述标识物与所述摄像头之间的各组距离信息图像以及各组标识物图像信息；基于各组所述标识物图像信息获取各个所述标识物的各组二维位置信息；基于各组所述距离信息图像和各组所述标识物图像信息识别各个所述标识物的图像信息中至少三个像素点与所述摄像头之间的距离以获得各个所述标识物的位置和方向信息，并基于各个所述标识物的位置和方向信息来获得所述超声探头的三维空间信息。
进一步地，在本发明的优选实施例中，还可以基于所述目标三维轮廓信息获取所述目标在所述超声探头的扫描过程中的三维运动信息，并基于所述三维运动信息修正所述超声探头的三维空间信息。目标的在扫描过程中的运动会对三维超声成像造成误差。所以这一步骤可以减少或消除目标物运动造成的干扰。
在本发明的进一步的优选实施例中，在所述超声探头上进一步设置用于获取所述超声探头的三维方向信息的至少一个角度传感器，这样可以基于该三维方向信息进一步进行后续校正。例如可以是通过超声探头内置或者外置的额外传感器(包括加速度仪，陀螺仪和磁感仪)来获取超声探头的三维方向信息。例如，可以利用在所述超声探头上设置的至少一个角度传感器来获取所述超声探头的三维方向信息并将所述的三维方向信息与所述三维光学成像传感器获得的所述超声探头的三维空间信息相融合以提高所述三维空间信息的测量精度
在本发明的进一步的优选实施例中，进一步包括将所述二维超声图像的每一帧的像素点转换到三维空间来校准所述三维超声图像。具体的校准方法可以采用本领域中任何的已知校准方法。
在本发明的进一步的优选实施例中，可以在同一三维空间上显示所述目标三维轮廓信息和所述三维超声图像。例如，可以结合目标的表面轮廓信息与三维超声图像的融合显示。即三维超声图像可以与目标物的三维表面轮廓信息图像在同一个三维空间上用不同的方式显示，比如用不同的颜色。这一步骤也可以在超声探头扫描过程中实时显示。在本发明的再进一步的优选实施例中，还可以展示超声探头与其位置/方向信息，让操作者可以看到超声探头的位置，方向与运动动作。这一功能可以与前述步骤中的三维表面轮廓形状图像相结合。即目标物的三维表面轮廓信息图像以某种颜色或灰度显示在显示模块中，而超声图像根据其相应的三维空间信息实时在同一个三维空间中显示。这样操作者可以更好地对目标物进行扫描。
实施本发明的基于三维光学成像传感器的三维超声成像方法，通过采用三维光学成像传感器获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。进一步地，通过采用标识物或者角度传感器的方式，可以提高所述三维空间信息的准确性，进而进一步提高三维超声图像的质量。再进一步地，通过设置多个标识物的方式，不但可以获相关的位置及方向信息，还可以获得运动方向信息，从而使得所述三维空间信息的探测更加有效和可靠，进一步提升三维超声图像的质量。再进一步地，还可以对获得的所述三维空间信息和/或三维超声图像进行修正和/或校准，从而获得更加准确、可靠的三维超声图像。
本领域技术人员进一步知悉，本发明的基于三维光学成像传感器的三维超声成像***和方法可以互为应证和说明，其中各自记载的功能和步骤都可以彼此组合，结合或者替换。
以上还借助于说明某些重要功能的功能模块对本发明进行了描述。为了描述的方便，这些功能组成模块的界限在此处被专门定义。当这些重要的功能被适当地实现时，变化其界限是允许的。类似地，流程图模块也在此处被专门定义来说明某些重要的功能，为广泛应用，流程图模块的界限和顺序可以被另外定义，只要仍能实现这些重要功能。上述功能模块、流程图功能模块的界限及顺序的变化仍应被视为在权利要求保护范围内。
本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机***中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使***具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、编码或符号；b)以不同的格式再现。
虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种基于三维光学成像传感器的三维超声成像***，其特征在于，包括：
超声探头，用于对目标的感兴趣区域进行超声扫描；
二维超声成像装置，用于基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
三维光学成像传感器，用于获取在所述三维光学成像传感器的可视范围内至少一个标识物与所述三维光学成像传感器的摄像头之间的距离信息图像以及所述标识物的图像信息；
空间信息处理模块，用于基于所述距离信息图像和所述图像信息获取所述超声探头的三维空间信息；所述空间信息处理模块包括：
标识物二维位置识别单元，用于基于所述标识物图像信息获取所述标识物的二维位置信息；
三维空间信息获取单元，用于基于所述距离信息图像和所述标识物图像信息识别所述标识物的图像信息中至少三个像素点与所述摄像头之间的各自距离以获得所述标识物的位置及方向信息，并基于所述标识物的位置及方向信息获得所述超声探头的三维空间信息；
所述三维光学成像传感器进一步用于检测所述目标的感兴趣区域的目标三维轮廓信息；
所述空间信息处理模块进一步包括：
修正单元，用于基于所述目标三维轮廓信息获取所述目标在所述超声探头的扫描过程中的三维运动信息，并基于所述三维运动信息修正所述超声探头的三维空间信息；
三维重建模块，用于基于所述三维空间信息和所述二维超声图像重建三维超声图像；
所述超声探头上进一步设置用于获取所述超声探头的三维方向信息的至少一个角度传感器，所述三维方向信息与所述三维光学成像传感器获得的所述超声探头的三维空间信息相融合以提高所述三维空间信息的测量精度。
2.根据权利要求1所述基于三维光学成像传感器的三维超声成像***，其特征在于，所述标识物为所述超声探头的至少一部分。
3.根据权利要求1所述基于三维光学成像传感器的三维超声成像***，其特征在于，所述标识物包括设置在所述超声探头上的至少一个视觉标识物。
4.根据权利要求1所述基于三维光学成像传感器的三维超声成像***，其特征在于，所述三维光学成像传感器设置在所述超声探头上，所述标识物包括设置在所述三维光学成像传感器的可视范围内的至少一个视觉标识物。
5.根据权利要求1所述基于三维光学成像传感器的三维超声成像***，其特征在于，在所述三维光学成像传感器的可视范围内设置多个标识物；所述三维光学成像传感器用于获取每个所述标识物与所述摄像头之间的各组距离信息图像以及各组标识物图像信息；所述标识物二维位置识别单元用于基于各组所述标识物图像信息获取各个所述标识物的各组二维位置信息；所述三维空间信息获取单元用于基于各组所述距离信息图像和各组所述标识物图像信息识别各个所述标识物的图像信息中至少三个像素点与所述摄像头之间的各自距离以获得各个所述标识物的位置和方向信息，并基于各个所述标识物的位置和方向信息来获得所述超声探头的三维空间信息。
6.根据权利要求5所述基于三维光学成像传感器的三维超声成像***，其特征在于，所述标识物图像信息为RGB和/或红外图像信息，所述标识物二维位置识别单元，用于基于所述RGB和/或红外图像信息中所述标识物的色彩、形状、图形模式或光暗程度来获取所述标识物的二维位置信息。
7.根据权利要求5所述基于三维光学成像传感器的三维超声成像***，其特征在于，进一步包括：
校准单元，用于将所述二维超声图像的每一帧的像素点转换到三维空间来校准所述三维超声图像。
8.根据权利要求1所述基于三维光学成像传感器的三维超声成像***，其特征在于，所述基于三维光学成像传感器的三维超声成像***包括多个三维光学成像传感器。
9.根据权利要求1所述基于三维光学成像传感器的三维超声成像***，其特征在于，进一步包括显示装置，用于在同一三维空间上显示所述目标三维轮廓信息、所述三维超声图像和/或超声探头图像。
10.一种基于三维光学成像传感器的三维超声成像方法，其特征在于，包括：
S1、采用超声探头用于对目标的感兴趣区域进行超声扫描并基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
S2、获取在所述三维光学成像传感器的可视范围内至少一个标识物与所述三维光学成像传感器的摄像头之间的距离信息图像以及所述标识物的图像信息；
S3、基于所述距离信息图像和所述图像信息获取所述超声探头的三维空间信息；所述步骤S3进一步包括：
S31、基于所述标识物图像信息获取所述标识物的二维位置信息；
S32、基于所述距离信息图像和所述标识物图像信息识别所述标识物的图像信息中至少三个像素点与所述摄像头之间的各自距离以获得所述标识物的位置及方向信息，并基于所述标识物的位置及方向信息获得所述超声探头的三维空间信息；进一步包括：在超声扫描之前，检测所述目标的感兴趣区域的目标三维轮廓信息；
所述步骤S3进一步包括：
S33、基于所述目标三维轮廓信息获取所述目标在所述超声探头的扫描过程中的三维运动信息，并基于所述三维运动信息修正所述超声探头的三维空间信息；
S35、利用在所述超声探头上设置的至少一个角度传感器来获取所述超声探头的三维方向信息并将所述的三维方向信息与所述三维光学成像传感器获得的所述超声探头的三维空间信息相融合以提高所述三维空间信息的测量精度；
S4、基于所述三维空间信息和所述二维超声图像重建三维超声图像。
11.根据权利要求10所述基于三维光学成像传感器的三维超声成像方法，其特征在于，所述标识物为所述超声探头的至少一部分。
12.根据权利要求10所述基于三维光学成像传感器的三维超声成像方法，其特征在于，所述标识物包括设置在所述超声探头上的至少一个视觉标识物。
13.根据权利要求10所述基于三维光学成像传感器的三维超声成像方法，其特征在于，所述三维光学成像传感器设置在所述超声探头上，所述标识物包括设置在所述三维光学成像传感器的可视范围内的至少一个视觉标识物。
14.根据权利要求10所述基于三维光学成像传感器的三维超声成像方法，其特征在于，在所述步骤S2中，在所述三维光学成像传感器的可视范围内设置多个标识物，并获取每个所述标识物与所述摄像头之间的各组距离信息图像以及各组标识物图像信息；在所述步骤S31中，基于各组所述标识物图像信息获取各个所述标识物的各组二维位置信息；在所述步骤S32中，基于各组所述距离信息图像和各组所述标识物图像信息识别各个所述标识物的图像信息中至少三个像素点与所述摄像头之间的距离以获得各个所述标识物的位置和方向信息，并基于各个所述标识物的位置和方向信息来获得所述超声探头的三维空间信息。
15.根据权利要求14所述基于三维光学成像传感器的三维超声成像方法，其特征在于，所述标识物图像信息为RGB和/或红外图像信息，在所述步骤S31中，基于所述RGB和/或红外图像信息中所述标识物的色彩、形状、图形模式或光暗程度来获取所述标识物的二维位置信息。
16.根据权利要求10所述基于三维光学成像传感器的三维超声成像方法，其特征在于，所述步骤S3进一步包括：
S34、将所述二维超声图像的每一帧的像素点转换到三维空间来校准所述三维超声图像。
17.根据权利要求10所述基于三维光学成像传感器的三维超声成像方法，其特征在于，进一步包括
S5、在同一三维空间上显示所述目标三维轮廓信息、所述三维超声图像和/或超声探头图像。
CN201910086302.8A 2019-01-29 2019-01-29 基于三维光学成像传感器的三维超声成像方法和*** Active CN111487320B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910086302.8A CN111487320B (zh) 2019-01-29 2019-01-29 基于三维光学成像传感器的三维超声成像方法和***
PCT/CN2020/073105 WO2020156299A1 (zh) 2019-01-29 2020-01-20 基于三维光学成像传感器的三维超声成像方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910086302.8A CN111487320B (zh) 2019-01-29 2019-01-29 基于三维光学成像传感器的三维超声成像方法和***

Publications (2)

Publication Number Publication Date
CN111487320A CN111487320A (zh) 2020-08-04
CN111487320B true CN111487320B (zh) 2023-07-21

Family

ID=71793920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910086302.8A Active CN111487320B (zh) 2019-01-29 2019-01-29 基于三维光学成像传感器的三维超声成像方法和***

Country Status (2)

Country Link
CN (1) CN111487320B (zh)
WO (1) WO2020156299A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617902A (zh) * 2020-12-31 2021-04-09 上海联影医疗科技股份有限公司 一种三维成像***及成像方法
CN115248446A (zh) * 2021-04-28 2022-10-28 中慧医学成像有限公司 一种基于激光雷达的三维超声成像方法和***
CN113576528A (zh) * 2021-08-31 2021-11-02 深圳迈瑞动物医疗科技有限公司 一种用于超声的***图信息的操作方法和超声成像***
CN114396904A (zh) * 2021-11-29 2022-04-26 北京银河方圆科技有限公司 定位装置及定位***
CN114469169B (zh) * 2021-12-30 2024-06-04 上海深至信息科技有限公司 一种超声三维重建方法及***
CN114533111A (zh) * 2022-01-12 2022-05-27 电子科技大学 一种基于惯性导航***的三维超声重建***
CN115291122B (zh) * 2022-08-24 2024-04-19 华中科技大学 一种基于超声反射图像获取锂离子电池内部信息的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451928B2 (en) * 2006-09-13 2016-09-27 Elekta Ltd. Incorporating internal anatomy in clinical radiotherapy setups
CN101569541B (zh) * 2008-04-29 2011-04-06 香港理工大学 三维超声波成像***
US9113817B2 (en) * 2010-10-20 2015-08-25 Siemens Medical Solutions Usa, Inc. System for locating anatomical objects in ultrasound imaging
CN103829973A (zh) * 2014-01-16 2014-06-04 华南理工大学 一种远程控制的超声探头扫描***及其方法
CN109223030B (zh) * 2017-07-11 2022-02-18 中慧医学成像有限公司 一种掌上式三维超声成像***和方法
CN107582098B (zh) * 2017-08-08 2019-12-06 南京大学 一种二维超声图像集合重构的三维超声成像方法
CN107714082A (zh) * 2017-09-04 2018-02-23 北京航空航天大学 一种基于光学定位的超声探头标定装置及方法
CN107944422B (zh) * 2017-12-08 2020-05-12 业成科技（成都）有限公司 三维摄像装置、三维摄像方法及人脸识别方法
CN107865671B (zh) * 2017-12-12 2023-05-26 成都优途科技有限公司 基于单目视觉定位的三维超声扫描***及控制方法
CN109171808A (zh) * 2018-09-07 2019-01-11 东南大学 基于三维轮廓测量的三维超声成像***

Also Published As

Publication number Publication date
WO2020156299A1 (zh) 2020-08-06
CN111487320A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111487320B (zh) 基于三维光学成像传感器的三维超声成像方法和***
CN101068344B (zh) 物体检测装置
CN106643699B (zh) 一种虚拟现实***中的空间定位装置和定位方法
JP6404954B2 (ja) 位置特定システム、ハンドヘルド型の位置特定ユニット、評価ユニット、及び、位置特定する方法
KR101506525B1 (ko) 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체
JP5576937B2 (ja) 車両の周辺監視装置
CN108022264B (zh) 相机位姿确定方法及设备
US20140375812A1 (en) Method for representing a vehicle's surrounding environment
US20130107052A1 (en) Driver Assistance Device Having a Visual Representation of Detected Objects
JP2004530144A (ja) 画像情報を提供する方法
JP2018518750A (ja) 反射マップ表現による奥行きマップ表現の増補
JP2015197344A (ja) 構造物変位の常時監視方法及びその装置
CN110009682A (zh) 一种基于单目视觉的目标识别定位方法
CN110895676B (zh) 动态对象跟踪
GB2602588A (en) Electronic device for automated user identification
CN111667526A (zh) 用于确定环境中的多个对象的尺寸和距离的方法和设备
AU2014310841A1 (en) Optical tracking
CN111095357A (zh) 定位***
EP3910451A1 (en) Display systems and methods for aligning different tracking means
JPH06189906A (ja) 視線方向計測装置
CN113340405A (zh) 桥梁振型的测量方法、装置及***
CN117804368A (zh) 一种基于高光谱成像技术的隧道围岩变形监测方法及***
KR100913165B1 (ko) 이동체의 위치 검출 장치 및 방법
JP2005326405A (ja) 画像処理方法により対象物の姿勢及び／又は位置を測定する方法
CN115388891A (zh) 一种大视场运动目标的空间定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant