CN108186053A - 一种基于超声和3d技术的胎儿全景展现仪 - Google Patents

一种基于超声和3d技术的胎儿全景展现仪 Download PDF

Info

Publication number
CN108186053A
CN108186053A CN201810039206.3A CN201810039206A CN108186053A CN 108186053 A CN108186053 A CN 108186053A CN 201810039206 A CN201810039206 A CN 201810039206A CN 108186053 A CN108186053 A CN 108186053A
Authority
CN
China
Prior art keywords
fetus
myo
armlets
image
panorama
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810039206.3A
Other languages
English (en)
Inventor
孙敏
黄昆霞
李怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fourth Military Medical University FMMU
Original Assignee
Fourth Military Medical University FMMU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fourth Military Medical University FMMU filed Critical Fourth Military Medical University FMMU
Priority to CN201810039206.3A priority Critical patent/CN108186053A/zh
Publication of CN108186053A publication Critical patent/CN108186053A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/481Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于超声和3D技术的胎儿全景展现方法,包括以下步骤:图像或数据获取,利用B超探头获得胎儿的断层图像序列;图像预处理及分割,将所述图像序列进行图像增强、滤波去噪等操作,采用基于最大类间方差法的三维分割法自动分割出胎儿图像区域;三维物体表面重建,根据所述预处理后的图像序列,利用由二维轮廓线重构三维形体的切片级方法进行三维重建,同时去除胎儿的性别特征;手臂运动识别,利用MYO臂环进行手臂运动的识别,如向左、向右、向上、向下,从而可以控制所建三维模型的旋转翻转等操作;使用OpenGL进行重建结果的显示,并结合手环的识别结果对三维模型进行操作。本发明将手臂运动识别运用于胎儿的3D全景展示,可以使得三维互动效果更直观便捷。

Description

一种基于超声和3D技术的胎儿全景展现仪
技术领域
本发明属于手臂运动识别控制3D模型技术领域,特别涉及一种基于超声和3D技术的胎儿全景展现方法。
背景技术
目前医院B超检查最常用的是二维B超,输出是一个断层平面图像,只适用于专业人士检查分析使用。对于父母构建胎儿的整体形象概念来说不够亲和直观。而大多数三维B超扫描建立的模型,都是通过鼠标在屏幕上点击拖拽进行旋转等操作,人机交互效果比较差,交互界面较不友好。
Myo臂环是加拿大Thalmic Labs公司于2013年初推出的一款控制终端设备。其包含个九轴惯性传感器单元、8个表面肌电传感器和1个蓝牙接收器。基本原理是:臂带上的感应器可以捕捉到用户手臂肌肉运动时产生的生物电变化,从而判断佩戴者的意图,再将电脑处理的结果通过蓝牙发送至受控设备。目前已有许多基于Myo臂环远程操作机器人的成果,如中国公开专利号:CN105014676,名称:一种机器人运动控制方法。该发明设计了一种利用Myo臂环远程控制机器人运动的***。
发明内容
本发明的目的在于提供一种基于超声和3D技术的胎儿全景展现方法,以使所建胎儿三维模型可以通过手臂运动来旋转观看。本发明的目的通过以下方案实现:
一种基于超声和3D技术的胎儿全景展现仪,其特征在于,包括B超仪、电脑主机、显示器、MYO臂环,所述的B超仪通过网线或者Wifi连接到电脑主机,MYO臂环通过蓝牙模块连接到电脑主机。
优选的,所述的B超仪用于胎儿超声波断层图像序列的获取,并通过网线或者Wifi将图像数据传送到电脑主机;
优选的,所述的电脑主机通过网线或者Wifi获取B超仪的图像数据,并对图像数据进行图像处理、3D建模;通过蓝牙获取MYO臂环的手臂运动信号数据,并对其进行处理获得用户手势信号,以对所述3D模型进行更新操作;
优选的,所述的显示器与电脑主机相连接,用于胎儿三维模型的显示;
优选的,所述的MYO臂环通过蓝牙与电脑主机相连接,用于对手臂运动进行识别,并通过蓝牙将手臂运动信号数据发送给电脑主机;
优选的,Myo臂环由Thalmic公司提供。
为实现上述目的,本发明一种技术方案为提供一种基于超声和3D技术的胎儿全景展现方法,其特征在于:包括以下步骤:
1)图像或数据获取,利用B超探头扫描获得断层图像序列,或者从历史数据直接获取胎儿的超声波图像序列;
2)图像预处理及分割,将所获的图像序列进行图像增强、滤波去噪等操作,采用基于最大类间方差法的三维分割法自动分割出胎儿图像区域;
3)三维物体表面重建,利用由二维轮廓线重构三维形体的切片级方法进行三维重建,同时去除胎儿的性别特征;
4)利用OpenGL对上述三维重建模型在屏幕上显示;
5)手臂运动识别,将Myo臂环戴在手臂上,通过Myo臂环检测手臂运动的姿态信号;
6)通过蓝牙将Myo臂环采集的手臂运动信号数据传输给电脑;电脑通过Myo臂环的SDK编程将信号数据解析还原成用户的手势信号;
7)结合手势信号与OpenGL函数库对三维模型进行操作并更新显示。
所述三维物体表面重建的方法为切片级重建。
切片级重建输入是一组平行的平面轮廓,需提取经图像处理后的待重建物体的边缘轮廓线,将其转换为凸多边形,然后利用轮廓匹配的思想,将相邻切片轮廓分成相似和不相似的两部分,再分别根据不同的准则和目标函数用三角面片连接对应的轮廓部分。
由Thalmic公司设计并生产的臂环,其包含个九轴惯性传感器单元、8个表面肌电传感器和1个蓝牙接收器。其中九轴惯性传感器单元用于检测手臂运动轨迹及方位,表面肌电传感器用于检测不同手势时的手臂肌电信号,蓝牙接收器用于Myo与电脑主机的通信。本发明主要利用Myo臂环中的惯性传感器单元和蓝牙接收器来实现用户手臂运动的识别。
所述的OpenGL是一个多平台的图形编程接口,可工作在Windows、Unix、MacOS等多个操作***上,目前支持OpenGL的语言有C/C++、Fortran、Ada、Java、Pascal等。OpenGL是一个图形函数库,可调用其函数来显示或操作三维模型。
本发明与现有技术相比具有的有益效果:基于超声和3D技术对胎儿的图像数据进行三维重建,并利用手臂运动识别来操作所建三维模型的旋转,实现对胎儿模型的全景观看。
附图说明
图1为本发明胎儿全景展示仪方法的流程图;
图2为本发明的可穿戴Myo臂环;
图3为本发明的总体设计图;
图4为本发明胎儿全景展示仪的流程图;
其中:1为图像数据获取;2为图像预处理及分割;3为三维物体表面重建;4为手臂运动识别;5为重建结果显示;6为B超仪;7为电脑主机;8显示器;9为Myo臂环;
具体实施方式
本发明的具体实施方式是:
1)利用B超仪6探头扫描获得断层图像序列,或者从历史数据直接获取胎儿的超声波图像序列;
2)将所获的图像序列进行图像增强、滤波去噪等操作,采用基于最大类间方差法的三维分割法自动分割出胎儿图像区域;
3)利用由二维轮廓线重构三维形体的切片级方法进行三维重建,同时去除胎儿的性别特征;
4)利用OpenGL对上述三维重建模型在屏幕上显示;
5)将Myo臂环9戴在手臂上,通过Myo臂环9检测手臂运动的姿态信号;
6)通过蓝牙将Myo臂环采集的手臂运动信号数据传输给电脑;电脑通过Myo臂环9的SDK编程将信号数据解析还原成用户的手势信号;
7)结合手势信号与OpenGL函数库对三维模型进行操作并更新显示。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种基于超声和3D技术的胎儿全景展现仪,其特征在于,包括B超仪、电脑主机、显示器、MYO臂环,所述的B超仪通过网线或者Wifi连接到电脑主机,MYO臂环通过蓝牙模块连接到电脑主机。
2.如权利要求1所述的胎儿全景展现仪,其特征在于,所述的B超仪用于胎儿超声波断层图像序列的获取,并通过网线或者Wifi将图像数据传送到电脑主机。
3.如权利要求1所述的胎儿全景展现仪,其特征在于,所述的电脑主机通过网线或者Wifi获取B超仪的图像数据,并对图像数据进行图像处理、3D建模;通过蓝牙获取MYO臂环的手臂运动信号数据,并对其进行处理获得用户手势信号,以对所述3D模型进行更新操作。
4.如权利要求1所述的胎儿全景展现仪,其特征在于,所述的显示器与电脑主机相连接,用于胎儿三维模型的显示。
5.如权利要求1所述的胎儿全景展现仪,其特征在于,所述的MYO臂环通过蓝牙与电脑主机相连接,用于对手臂运动进行识别,并通过蓝牙将手臂运动信号数据发送给电脑主机。
6.如权利要求5所述的胎儿全景展现仪,其特征在于:所述的Myo臂环由Thalmic公司提供。
7.使用权利要求1所述的胎儿全景展现仪进行胎儿全景展现方法,其特征在于,包括以下步骤:
1)利用B超探头扫描获得断层图像序列,或者从历史数据直接获取胎儿的超声波图像序列;
2)将所获的图像序列进行图像增强、滤波去噪等操作,采用基于最大类间方差法的三维分割法自动分割出胎儿图像区域;
3)利用由二维轮廓线重构三维形体的切片级方法进行三维重建,同时去除胎儿的性别特征;
4)利用OpenGL对上述三维重建模型在屏幕上显示;
5)将Myo臂环戴在手臂上,通过Myo臂环检测手臂运动的姿态信号;
6)通过蓝牙将Myo臂环采集的手臂运动信号数据传输给电脑;电脑通过Myo臂环的SDK编程将信号数据解析还原成用户的手势信号;
7)结合手势信号与OpenGL函数库对三维模型进行操作并更新显示。
CN201810039206.3A 2018-01-15 2018-01-15 一种基于超声和3d技术的胎儿全景展现仪 Pending CN108186053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810039206.3A CN108186053A (zh) 2018-01-15 2018-01-15 一种基于超声和3d技术的胎儿全景展现仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810039206.3A CN108186053A (zh) 2018-01-15 2018-01-15 一种基于超声和3d技术的胎儿全景展现仪

Publications (1)

Publication Number Publication Date
CN108186053A true CN108186053A (zh) 2018-06-22

Family

ID=62589248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810039206.3A Pending CN108186053A (zh) 2018-01-15 2018-01-15 一种基于超声和3d技术的胎儿全景展现仪

Country Status (1)

Country Link
CN (1) CN108186053A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102562A (zh) * 2018-07-24 2018-12-28 江西幸孕宝科技有限公司 一种超声成像智能建模方法
CN109741439A (zh) * 2018-12-07 2019-05-10 广州医科大学 一种二维mri胎儿图像的三维重建方法
CN110211654A (zh) * 2019-05-30 2019-09-06 湖南自兴智慧医疗科技有限公司 一种自动隐藏性别信息的核型检测***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489223A (zh) * 2013-09-29 2014-01-01 华南理工大学 一种面向3d封装ic的3d断层扫描成像方法
CN105030280A (zh) * 2015-09-02 2015-11-11 宁波友昌超声波科技有限公司 一种无线智能超声胎儿成像***
CN106814852A (zh) * 2016-12-12 2017-06-09 广东探金电子科技有限公司 一种手势臂环控制器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489223A (zh) * 2013-09-29 2014-01-01 华南理工大学 一种面向3d封装ic的3d断层扫描成像方法
CN105030280A (zh) * 2015-09-02 2015-11-11 宁波友昌超声波科技有限公司 一种无线智能超声胎儿成像***
CN106814852A (zh) * 2016-12-12 2017-06-09 广东探金电子科技有限公司 一种手势臂环控制器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102562A (zh) * 2018-07-24 2018-12-28 江西幸孕宝科技有限公司 一种超声成像智能建模方法
CN109741439A (zh) * 2018-12-07 2019-05-10 广州医科大学 一种二维mri胎儿图像的三维重建方法
CN109741439B (zh) * 2018-12-07 2023-12-15 广州医科大学 一种二维mri胎儿图像的三维重建方法
CN110211654A (zh) * 2019-05-30 2019-09-06 湖南自兴智慧医疗科技有限公司 一种自动隐藏性别信息的核型检测***及方法

Similar Documents

Publication Publication Date Title
US20210365492A1 (en) Method and apparatus for identifying input features for later recognition
US11861898B2 (en) Self-expanding augmented reality-based service instructions library
CN107194964B (zh) 一种基于实时人体三维重建的vr社交***及其方法
CN109389590B (zh) 结肠图像数据处理***及方法
US8743109B2 (en) System and methods for multi-dimensional rendering and display of full volumetric data sets
EP3462414A1 (en) Apparatus and method for visualizing anatomical elements in a medical image
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
CN108186053A (zh) 一种基于超声和3d技术的胎儿全景展现仪
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
CN109389669A (zh) 虚拟环境中人体三维模型构建方法及***
CN111815766B (zh) 基于2d-dsa图像重建血管三维模型处理方法及***
Krapichler et al. VR interaction techniques for medical imaging applications
CN110673721B (zh) 基于视觉与意念信号协同控制的机器人看护***
CN103530902A (zh) 医学影像二维处理及三维重建***
US11660040B2 (en) Methods and systems for displaying eye images to subjects and for interacting with virtual objects
US20210161596A1 (en) Augmented reality display of surgical imaging
CN104510568A (zh) 利用虚拟现实技术实现盲人可视化的方法
US11449135B2 (en) Terminal apparatus and method for controlling terminal apparatus
Krapichler et al. A human-machine interface for medical image analysis and visualization in virtual environments
CN114863567B (zh) 一种用于确定步态信息的方法和装置
CN113362472B (zh) 物品展示方法、装置、设备、存储介质及程序产品
Krapichler et al. Human-machine interface for a VR-based medical imaging environment
CN111782054A (zh) 一种虚拟现实多人互动的方法及***
CN114882975A (zh) 一种交互式智能医学影像浏览***
KR20240055528A (ko) 증강현실을 이용한 다기능 뇌-컴퓨터 인터페이스 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180622

WD01 Invention patent application deemed withdrawn after publication