CN115869009B - 一种远程超声诊断***及交互控制方法 - Google Patents
一种远程超声诊断***及交互控制方法 Download PDFInfo
- Publication number
- CN115869009B CN115869009B CN202310139469.2A CN202310139469A CN115869009B CN 115869009 B CN115869009 B CN 115869009B CN 202310139469 A CN202310139469 A CN 202310139469A CN 115869009 B CN115869009 B CN 115869009B
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- diagnosis
- ultrasonic probe
- image
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 11
- 239000000523 sample Substances 0.000 claims abstract description 154
- 238000012544 monitoring process Methods 0.000 claims abstract description 72
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 19
- 238000004171 remote diagnosis Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000001276 controlling effect Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及超声诊断技术领域，尤其涉及一种远程超声诊断***及交互控制方法。采用如下技术方案：包括操控端和远程执行端，操控端包括操控平台和上位机，操控平台上设置有诊断显示屏、操控触摸屏和操作器，远程执行端包括远程通讯模块、执行机械臂、监控摄像头和超声扫查设备，执行机械臂末端与监控摄像头和超声扫查设备的超声探头驱动连接。有益效果在于：设置操控触摸屏和操作器对对超声探头的动作进行控制，并在执行机械臂末端设置监控摄像头对诊断部位进行实时监控，将诊断部位的图像和超声图像在诊断显示屏上显示出来，从而可以使操作者在操作端对远程的诊断部位进行准确判断并精确控制超声探头的动作，提高远程超声诊断的准确性。
Description
技术领域
本发明涉及超声诊断技术领域，尤其涉及一种远程超声诊断***及交互控制方法。
背景技术
超声扫查作为一种简单便携、成本低且无副作用的检测诊断手段，在医疗行业中的应用越来越广泛。但是，超声扫查的诊断高度依赖于医生的经验，要想获得高分辨率的超声图像，对探头位置、方向的把握尤为重要。而经验丰富的超声专家资源较为缺乏且分配不均，在大部分小城市的基层医院对于超声疑难病例难以进行准确诊断。随着网络通讯技术的发展，目前通过远程会诊可有效解决超声专家资源不足和分配不均的问题。目前在远程超声诊断领域中，是采用常规的远程控制机械臂对超声探头进行控制，然而在进行超声扫查过程中，超声专家不仅需要控制超声探头进行移动，同时也需要根据诊断部位的实际反馈调整超声探头的角度和按压力度等，现有的远程诊断***无法满足超声专家对超声探头的控制需求。另外，超声专家在进行远程超声扫查并诊断的过程中，既要关注诊断部位的情况，同时还要查看超声探头扫查得到的超声图像，且是直接将超声图像直接进行传输并显示，这使得超声专家在进行远程超声诊断时，很难对超声图像以及诊断部位做很好的对应，影响远程超声诊断的效率和准确性。同时，在进行超声扫查诊断过程中，利用固定设置的摄像头对诊断部位进行拍摄时，探头或控制探头移动的机械手容易遮挡到诊断部位，导致在操作端无法清楚获取诊断部位的实时图像，而将摄像头设置于探头上则由于探头的移动导致诊断部位的图像移动变换，很容易影响操作端超声专家对诊断部位的具体判别。
发明内容
本发明的目的在于提供一种远程超声诊断***及交互控制方法，用于解决至少一个上述背景技术所提出的问题，提高对远程超声诊断的准确性。
为到达上述目的，本发明采用如下技术方案：一种远程超声诊断***，包括操控端和远程执行端，操控端包括操控平台和上位机，操控平台上设置有诊断显示屏、操控触摸屏和可移动的操作器，所述操作器内设置有三轴陀螺仪和轨迹传感器，远程执行端包括远程通讯模块、执行机械臂、监控摄像头和超声扫查设备，执行机械臂末端与监控摄像头和超声扫查设备的超声探头驱动连接；操控端和远程执行端之间通过上位机和远程通讯模块通讯连接。
具体的，操控平台上设置有眼睛识别摄像头，眼睛识别摄像头用于识别检测操控平台前操作者眼睛的位置。
具体的，操作器包括底座和手柄，所述轨迹传感器设置于底座上，手柄和底座之间转动连接，三轴陀螺仪设置于手柄内，手柄上设置有探头操作按钮。
具体的，手柄末端设置有弹性反馈部件，手柄与弹性反馈部件之间设置有第一压力传感器，执行机械臂末端与超声探头之间设置有第二压力传感器。
具体的，手柄上设置有第一激光测距传感器，执行机械臂末端设置有第二激光测距传感器。
具体的，监控摄像头为两个并分别设置于超声探头两侧。
一种远程超声诊断的交互控制方法，采用上述的远程超声诊断***进行远程超声诊断，具体的，操作者利用上位机对执行机械臂和超声扫查设备的参数进行设置，并在操控平台前利用操控触摸屏或操作器对执行机械臂进行控制，执行机械臂根据操控触摸屏和操作器的控制信号对超声扫查设备的超声探头进行驱动移动，远程执行端的监控摄像头对诊断部位进行图像采集并在操控平台的诊断显示屏上显示出来，超声扫查设备的超声探头对诊断部位进行超声扫查，由超声主机处理得到超声图像后同时在操控平台的诊断显示屏上显示出来；使用操控触摸屏对执行机械臂进行控制时，是通过在操控触摸屏上使用不同的触摸手势对执行机械臂的动作进行控制；使用操作器对执行机械臂进行控制时，是通过操作器在操控平台上移动并通过获取操作器的轨迹传感器和三轴陀螺仪的传感信息获取操作器的动作信息，以此控制执行机械臂驱动超声探头以操作器相同的动作进行动作。
进一步的，监控摄像头对诊断部位进行图像采集并在诊断显示屏上显示出来时，先由操控触摸屏或操作器控制执行机械臂驱动监控摄像头对准诊断部位，接着气动对诊断部位的监控程序，根据执行机械臂所驱动的超声探头所进行的X轴、Y轴和Z轴方向的移动或旋转，对监控摄像头拍摄到的图像进行处理，使在诊断显示屏上所显示的诊断部位的图像保持静止；其中，超声探头进行X轴、Y轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行平移处理；超声探头进行Z轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行缩放处理；超声探头进行X轴、Y轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行拉伸变形；超声探头进行Z轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行转动。
进一步的，超声扫查设备的超声探头对诊断部位进行超声扫查，由超声主机处理得到超声图像后同时在操控平台的诊断显示屏上显示出来时，通过在操控平台上设置眼睛识别摄像头对操作者眼睛的位置进行识别定位，以此确定操作者眼睛与诊断显示屏之间的位置关系；同时，根据执行机械臂所驱动的超声探头的姿态和监控摄像头拍摄到的诊断部位的图像确定超声探头与诊断部位的位置关系，从而确定超声探头扫查得到的超声图像与诊断部位之间的位置关系；最后根据操作者眼睛与诊断显示屏之间的位置关系确定操作者眼睛与诊断显示屏上所显示的诊断部位图像之间的位置关系，并结合超声图像与诊断部位之间的位置关系，对超声图像进行投射变形处理，并将投射变形处理后的超声图像与诊断部位的图像叠加后在诊断显示屏上显示出来。
进一步的，当使用操作器对超声探头的动作进行控制时，在操作器末端设置弹性反馈部件对操作器施加一个弹力来模拟超声探头在诊断部位上受到的弹力；并通过在执行机械臂末端与超声探头的连接处均设置压力传感器来检测诊断部位的弹性系数，以此调节弹性反馈部件的弹性系数；同时在操作器的弹性反馈部件上也设置压力传感器用于检测操作者施加在操作器上的压力，从而控制执行机械臂控制超声探头以相同的压力施加在诊断部位上。
本发明的有益效果在于：设置操控触摸屏和操作器对控制执行机械臂进行控制从而实现对超声探头的动作进行控制，并在执行机械臂末端设置监控摄像头对诊断部位进行实时监控，将诊断部位的图像和超声图像在诊断显示屏上显示出来，从而可以使操作者在操作端对远程的诊断部位进行准确判断并精确控制超声探头的动作，提高远程超声诊断的准确性。其中，操作器可真实模拟超声探头在诊断部位上移动的情景，并利用弹性反馈部件模拟诊断部位对超声探头的弹力，可进一步提高远程超声诊断的准确性；在对诊断部位进行图像采集时，是利用执行机械臂末端的与超声探头一同移动的监控摄像头进行拍摄，并根据对超声探头的动作对监控摄像头拍摄到的图像进行变形处理，使得在诊断显示屏上显示的诊断部位图像保持静止；同时，在操控平台设置眼睛识别摄像头对操作者眼睛的位置进行识别定位，将超声探头扫查得到的超声图像根据操作者眼镜的位置投射到诊断显示屏上并与诊断部位的图像进行叠加，从而实现对超声图像进行虚拟显示，进一步提高远程超声诊断的准确性。
附图说明
附图1为实施例中远程超声诊断***的连接原理图；
附图2为实施例中超声探头与监控摄像头对诊断部位进行拍摄的原理示意图；
附图3为实施例中超声图像进行投射变形处理后与诊断部位图像在诊断显示屏上显示的原理示意图。
实施方式
实施例1，参照图1-3，一种远程超声诊断***，包括操控端和远程执行端，操控端包括操控平台和上位机，操控平台上设置有诊断显示屏、操控触摸屏和可移动的操作器，所述操作器内设置有三轴陀螺仪和轨迹传感器，远程执行端包括远程通讯模块、执行机械臂、监控摄像头和超声扫查设备，执行机械臂末端与监控摄像头和超声扫查设备的超声探头驱动连接；操控端和远程执行端之间通过上位机和远程通讯模块通讯连接。
在本实施例中，操控端的上位机用于与远程执行端的远程通讯模块进行远程通讯，操作者可以在上位机对远程执行端的执行机械臂和超声扫查设备进行参数的设置，同时，上位机通过与远程通讯模块进行远程通讯，实现操控平台的诊断显示屏、操控触摸屏和操作器与执行机械臂和超声扫查设备之间的通讯连接；上位机可以使用带有远程控制软件的计算机。
操作端的操控平台用于设置诊断显示屏、操控触摸屏和可移动的操作器，诊断显示屏用于对远程执行端发送过来的诊断部位的图像以及超声扫查设备采集并处理得到的超声图像进行显示，操控触摸屏和操作器用于对执行机械臂进行控制，从而使得执行机械臂驱动超声扫查设备的超声探头进行对应的动作，操作者可以根据控制需求选择使用操控触摸屏或使用操作器对超声探头进行控制。选择使用操控触摸屏进行控制时，操作者通过在操控触摸屏上以不同的滑动手势，即可实现对超声探头的动作进行控制，使用操控触摸屏可以控制超声探头快速移动，使超声探头可以快速到达要进行诊断的部位上方并调整好角度；选择使用操作器进行控制时，操作者通过将操作器放置在操控平台上进行移动，操作器上的轨迹传感器即可对操作器在水平面上的移动轨迹进行检测，以此控制超声探头在水平面上的移动，另外，操作器内还设置有三轴陀螺仪可以对操作器的转动动作进行检测，从而控制执行机械臂驱动超声探头根据操作器的转动动作进行转动，具体的，执行机械臂采用具有六个自由度的机械臂，其可进行X轴、Y轴和Z轴方向的移动和转动，其中X轴和Y轴位于水平面，Z轴则垂直于X轴和Y轴，操作器的轨迹传感器所检测到的操作器在水平面上的移动轨迹，即对应于执行机械臂驱动超声探头在X轴和Y轴方向上的移动，三轴陀螺仪检测到的操作器的倾斜转动，则对应于执行机械臂驱动超声探头在X轴、Y轴和Z轴方向的转动；利用操作器可以实现对超声探头在诊断部位上细微动作的控制。另外，操控触摸屏上不同的滑动手势，可实现控制执行机械臂驱动超声探头在X轴、Y轴和Z轴方向的移动和转动，本实施例提出一种可行的滑动手势方案，具体为：①在操控触摸屏上单指滑动控制超声探头在X轴和Y轴方向的移动；②在操控触摸屏上双指缩放控制超声探头在Z轴方向的移动；③在操控触摸屏上双指滑动控制超声探头沿X轴和Y轴方向的转动；④在操控触摸屏上双指转动控制超声探头沿Z轴方向的转动。
另外，远程执行端的监控摄像头是与超声探头一同设置于执行机械臂末端并与超声探头一起移动，监控摄像头与超声探头一起移动可以避免监控摄像头对诊断部位进行拍摄时被超声探头或执行机械臂遮挡到。另外，监控摄像头对诊断部位进行拍摄得到诊断部位的图像后，根据执行机械臂驱动超声探头的动作对图像进行变形处理，使得操控平台的诊断显示屏上显示的诊断部位的图像保持静止。具体的，操作者先利用操控触摸屏或操作器控制执行机械臂驱动超声探头和监控摄像头对准诊断部位，使监控摄像头拍摄到完整的诊断部位的图像，然后启动对诊断部位的监控程序，根据超声探头在执行机械臂的驱动下所进行的X轴、Y轴和Z轴方向的移动或旋转，对监控摄像头拍摄到的图像进行处理，使得诊断显示屏上显示的诊断部位的图像保持静止。本实施例中所述的X轴、Y轴和Z轴，是指以驱动超声探头移动的机械臂自身的坐标轴***，其中X轴和Y轴所在平面与水平面平行，轴则垂直于水平面，且用于驱动超声探头和监控摄像头移动的机械臂为具有六个自由度的六轴机械臂，其可驱动超声探头和监控摄像头在X轴、Y轴和Z轴方向上的移动，以及在X轴、Y轴和Z轴方向的转动，且对监控摄像头拍摄到的图像进行处理时，可直接从机械臂获取其驱动超声探头移动的动作来判断超声探头进行X轴、Y轴和Z轴方向的移动或旋转的方向和移动量，以此实现对监控摄像头拍摄到的诊断部位的图像进行实时处理。其中，超声探头进行X轴、Y轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行平移处理，具体的，如超声探头进行X轴方向的正方向移动，则对监控摄像头拍摄到的图像向X轴方向的负方向进行对应距离的平移处理；超声探头进行Z轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行缩放处理，具体的，如超声探头进行Z轴方向的正方向移动，即向上移动，则对监控摄像头拍摄到的图像进行放大处理，负方向则进行缩小处理；超声探头进行X轴、Y轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行拉伸变形；超声探头进行Z轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行转动。
其中，监控摄像头优选为两个并分别设置于超声探头两侧，两个监控摄像头拍摄到的两幅诊断部位的图像通过图像拼接的方式，同时合并其中相同画面区域，使两幅诊断部位的图像融合为一张图像并在操作端的显示屏显示出来。同时，当启动对诊断部位的监控程序，并根据超声探头进行X轴、Y轴和Z轴方向的移动或旋转，对监控摄像头拍摄到的图像进行处理时，是对两个监控摄像头拍摄到的两幅诊断部位的图像融合后的图像进行处理。通过在超声探头两侧均设置监控摄像头，并将两个监控摄像头拍摄到的画面进行拼接合并成一张图像，可以增大监控摄像头拍摄的范围，提高实时监控的效果。
在进一步的实施例中，操控平台上设置有眼睛识别摄像头，眼睛识别摄像头用于识别检测操控平台前操作者眼睛的位置。眼睛识别摄像头用于对操作者眼睛的位置进行识别定位，以此将超声扫查设备采集到的超声图像进行投射变形处理后与诊断部位的图像进行叠加后在诊断显示屏上显示出来，使得操作者能准确判断超声图像与诊断部位之间的位置关系。具体的投射变形处理的方式为：先对操作者眼睛进行识别定位，以此确定操作者眼睛与诊断显示屏之间的位置关系；同时，根据执行机械臂所驱动的超声探头的姿态和监控摄像头拍摄到的诊断部位的图像确定超声探头与诊断部位的位置关系，从而确定超声探头扫查得到的超声图像与诊断部位之间的位置关系；最后根据操作者眼睛与诊断显示屏之间的位置关系确定操作者眼睛与诊断显示屏上所显示的诊断部位图像之间的位置关系，并结合超声图像与诊断部位之间的位置关系，对超声图像进行投射变形处理，并将投射变形处理后的超声图像与诊断部位的图像叠加后在诊断显示屏上显示出来。具体的，在对操作者眼睛进行识别定位时，诊断显示屏为水平放置，以此模拟病人躺在床上进行超声诊断的场景，操作者一般位于操作端的显示屏前方对准显示屏上的诊断部位，在对操作者眼睛进行识别定位时，使用眼睛识别摄像头对操作者进行拍摄并对其眼睛的位置进行识别定位，具体可在操作端的显示屏周围设置多个眼睛识别摄像头，更具体的，可在操作者侧面和上方设置摄像头，即可确定对操作者眼睛相对于显示屏的位置关系。
另外，由于超声探头的位置变换会使超声图像相对于诊断部位的位置关系发生变化，当操作者远程控制超声探头移动时，需要根据超声探头的移动情况对超声图像进行实时处理，为了提高对超声图像处理的实时性，可直接采集操控触摸屏或操作器对超声探头的控制信号来确定超声探头的动作，以此实时监测超声探头与诊断部位的位置关系；从而可以快速对从远程传输过来的超声图像进行处理并实时在显示屏上显示出来。
具体的，操作器包括底座和手柄，所述轨迹传感器设置于底座上，手柄和底座之间转动连接，三轴陀螺仪设置于手柄内，手柄上设置有探头操作按钮。操作器的手柄用于模拟超声探头，手柄上的探头操作按钮对应实际超声探头上的操作按钮，并可利用手柄上的探头操作按钮通过远程通讯模块对超声探头进行对应的超声扫查控制，手柄和底座之间为360度转动连接，底座可以使操作器在操控平台上进行滑动，手柄可以在底座上进行360度的转动，从而控制超声探头进行不同方向的转动倾斜，以此调节超声探头在诊断部位上进行不同角度的超声扫查。其中，手柄和底座之间可以通过球状连接件进行360度转动连接。
在进一步的实施例中，手柄末端还设置有弹性反馈部件，手柄与弹性反馈部件之间设置有第一压力传感器，执行机械臂末端与超声探头之间设置有第二压力传感器。手柄末端设置的弹性反馈部件可以对手柄提供一个弹力反馈，用于模拟超声探头在诊断部位上移动时产生的弹力，具体的，执行机械臂末端与超声探头之间设置的第二压力传感器用于检测超声探头在诊断部位上受到的弹力，并结合执行机械臂驱动超声探头在诊断部位上下压的位移，可以计算得出诊断部位的弹性系数，弹性反馈部件再根据诊断部位的弹性系数调节对手柄的弹力系数，从而模拟超声探头在诊断部位上移动时受到的弹力反馈。同时，执行机械臂可以根据手柄与弹性反馈部件之间第一压力传感器检测到的压力值，驱动超声探头以相同的压力作用在诊断部位上。
具体的，上述弹性反馈部件可采用电磁推杆结构，包括永磁铁和电磁线圈，永磁铁活动插接于电磁线圈内。电磁推杆结构采用电磁感应原理，永磁铁活动插接于电磁线圈内，电磁线圈通电后产生与永磁铁相反的磁场并作用在永磁铁上，电磁线圈对永磁铁的弹力系数，与电磁线圈两端的电压值成正比，与永磁铁***电磁线圈的深度成反比，电磁线圈可固定于底座上，永磁铁则固定于手柄末端，第一压力传感器可设置于手柄末端与永磁铁之间，利用第一压力传感器检测到的压力值可以确定电磁线圈对永磁铁的作用力，从而确定永磁铁***电磁线圈的深度，以此对电磁线圈两端的电压值进行调节，从而使弹性反馈部件可以给手柄提供与诊断部位相等弹性系数的弹力系数。
更进一步的，手柄上设置有第一激光测距传感器，执行机械臂末端设置有第二激光测距传感器。通过在手柄上设置第一激光测距传感器，可以测量手柄朝向操控平台的距离，结合手柄与操控平台之间的倾斜角度（该角度可根据手柄内的三轴陀螺仪进行确定），可以确定手柄与操控平台之间的距离变化，即可检测手柄在Z轴方向的位移，以此控制执行机械臂驱动超声探头在Z轴方向的移动。另外，执行机械臂末端或超声探头上设置的第二激光测距传感器，可以测量超声探头与诊断部位之间的距离，配合操作器上设置的第一激光测距传感器，可以使超声探头与诊断部位之间的距离和操作器与操控平台之间的距离保持一致，并通过在操控平台上设置显示屏显示诊断部位的图像，操作者可以在操控平台上使用操作器真实模拟超声探头在诊断部位上的动作，从而进一步提高远程超声诊断过程的真实性。
以上对远程超声诊断***的论述中，已对利用该远程超声诊断***进行的交互控制方法进行了论述，在此总结如下：操作者利用上位机对执行机械臂和超声扫查设备的参数进行设置，并在操控平台前利用操控触摸屏或操作器对执行机械臂进行控制，执行机械臂根据操控触摸屏和操作器的控制信号对超声扫查设备的超声探头进行驱动移动，远程执行端的监控摄像头对诊断部位进行图像采集并在操控平台的诊断显示屏上显示出来，超声扫查设备的超声探头对诊断部位进行超声扫查，由超声主机处理得到超声图像后同时在操控平台的诊断显示屏上显示出来；使用操控触摸屏对执行机械臂进行控制时，是通过在操控触摸屏上使用不同的触摸手势对执行机械臂的动作进行控制；使用操作器对执行机械臂进行控制时，是通过操作器在操控平台上移动并通过获取操作器的轨迹传感器和三轴陀螺仪的传感信息获取操作器的动作信息，以此控制执行机械臂驱动超声探头以操作器相同的动作进行动作。
其中，监控摄像头对诊断部位进行图像采集并在诊断显示屏上显示出来时，先由操控触摸屏或操作器控制执行机械臂驱动监控摄像头对准诊断部位，接着气动对诊断部位的监控程序，根据执行机械臂所驱动的超声探头所进行的X轴、Y轴和Z轴方向的移动或旋转，对监控摄像头拍摄到的图像进行处理，使在诊断显示屏上所显示的诊断部位的图像保持静止；其中，超声探头进行X轴、Y轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行平移处理；超声探头进行Z轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行缩放处理；超声探头进行X轴、Y轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行拉伸变形；超声探头进行Z轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行转动。其对诊断部位的具体实时监控方法，可参照上述对远程超声诊断***的相关论述，在此不做赘述。
其中，超声扫查设备的超声探头对诊断部位进行超声扫查，由超声主机处理得到超声图像后同时在操控平台的诊断显示屏上显示出来时，通过在操控平台上设置眼睛识别摄像头对操作者眼睛的位置进行识别定位，以此确定操作者眼睛与诊断显示屏之间的位置关系；同时，根据执行机械臂所驱动的超声探头的姿态和监控摄像头拍摄到的诊断部位的图像确定超声探头与诊断部位的位置关系，从而确定超声探头扫查得到的超声图像与诊断部位之间的位置关系；最后根据操作者眼睛与诊断显示屏之间的位置关系确定操作者眼睛与诊断显示屏上所显示的诊断部位图像之间的位置关系，并结合超声图像与诊断部位之间的位置关系，对超声图像进行投射变形处理，并将投射变形处理后的超声图像与诊断部位的图像叠加后在诊断显示屏上显示出来。其中将投射变形处理后的超声图像与诊断部位的图像进行叠加的具体方式，可参照上述对远程超声诊断***的相关论述，在此不做赘述。
其中，当使用操控触摸屏对超声探头的动作进行控制时，采用如下触摸手势对超声探头的动作进行控制：①在操控触摸屏上单指滑动控制超声探头在X轴和Y轴方向的移动；②在操控触摸屏上双指缩放控制超声探头在Z轴方向的移动；③在操控触摸屏上双指滑动控制超声探头沿X轴和Y轴方向的转动；④在操控触摸屏上双指转动控制超声探头沿Z轴方向的转动。
当使用操作器对超声探头的动作进行控制时，在操作器末端设置弹性反馈部件对操作器施加一个弹力来模拟超声探头在诊断部位上受到的弹力；并通过在执行机械臂末端与超声探头的连接处均设置压力传感器来检测诊断部位的弹性系数，以此调节弹性反馈部件的弹性系数；同时在操作器的弹性反馈部件上也设置压力传感器用于检测操作者施加在操作器上的压力，从而控制执行机械臂控制超声探头以相同的压力施加在诊断部位上。
进一步的，当使用操作器对超声探头的动作进行控制时，通过操作器上设置的激光测距传感器检测操作器与操作平台之间的距离，从而判断操作器在Z轴方向的位移并通过执行机械臂对超声探头在Z轴方向的位移进行控制。
结合诊断显示屏上显示的诊断部位的图像，先使用操控触摸屏对超声探头的动作进行控制，使超声探头对准要进行超声扫查的诊断部位，然后将操作器同样对准操控平台上显示的诊断部位的图像并使用操作器对超声探头的动作进行控制，从而利用操作器在操控平台上显示的诊断部位图像上移动模拟超声探头在诊断部位移动进行超声扫查的动作。
当然，以上仅为本发明较佳实施方式，并非以此限定本发明的使用范围，故，凡是在本发明原理上做等效改变均应包含在本发明的保护范围内。
Claims (4)
1.一种远程超声诊断的交互控制方法，其特征在于：采用远程超声诊断***进行远程超声诊断，其中，远程超声诊断***包括操控端和远程执行端，操控端包括操控平台和上位机，操控平台上设置有诊断显示屏、操控触摸屏和可移动的操作器，所述操作器内设置有三轴陀螺仪和轨迹传感器，远程执行端包括远程通讯模块、执行机械臂、监控摄像头和超声扫查设备，执行机械臂末端与监控摄像头和超声扫查设备的超声探头驱动连接；操控端和远程执行端之间通过上位机和远程通讯模块通讯连接；所述操控平台上设置有眼睛识别摄像头，眼睛识别摄像头用于识别检测操控平台前操作者眼睛的位置；
具体的，操作者利用上位机对执行机械臂和超声扫查设备的参数进行设置，并在操控平台前利用操控触摸屏或操作器对执行机械臂进行控制，执行机械臂根据操控触摸屏和操作器的控制信号对超声扫查设备的超声探头进行驱动移动，远程执行端的监控摄像头对诊断部位进行图像采集并在操控平台的诊断显示屏上显示出来，超声扫查设备的超声探头对诊断部位进行超声扫查，由超声主机处理得到超声图像后同时在操控平台的诊断显示屏上显示出来；使用操控触摸屏对执行机械臂进行控制时，是通过在操控触摸屏上使用不同的触摸手势对执行机械臂的动作进行控制；使用操作器对执行机械臂进行控制时，是通过操作器在操控平台上移动并通过获取操作器的轨迹传感器和三轴陀螺仪的传感信息获取操作器的动作信息，以此控制执行机械臂驱动超声探头以操作器相同的动作进行动作；
监控摄像头对诊断部位进行图像采集并在诊断显示屏上显示出来时，先由操控触摸屏或操作器控制执行机械臂驱动监控摄像头对准诊断部位，接着启动对诊断部位的监控程序，根据执行机械臂所驱动的超声探头所进行的X轴、Y轴和Z轴方向的移动或旋转，对监控摄像头拍摄到的图像进行处理，使在诊断显示屏上所显示的诊断部位的图像保持静止；其中，超声探头进行X轴、Y轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行平移处理；超声探头进行Z轴方向的移动时，根据移动方向和移动量对监控摄像头拍摄到的图像进行缩放处理；超声探头进行X轴、Y轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行拉伸变形；超声探头进行Z轴方向的转动时，根据转动方向和转动角度对监控摄像头拍摄到的图像进行转动。
2.根据权利要求1所述的一种远程超声诊断的交互控制方法，其特征在于：超声扫查设备的超声探头对诊断部位进行超声扫查，由超声主机处理得到超声图像后同时在操控平台的诊断显示屏上显示出来时，通过在操控平台上设置眼睛识别摄像头对操作者眼睛的位置进行识别定位，以此确定操作者眼睛与诊断显示屏之间的位置关系；同时，根据执行机械臂所驱动的超声探头的姿态和监控摄像头拍摄到的诊断部位的图像确定超声探头与诊断部位的位置关系，从而确定超声探头扫查得到的超声图像与诊断部位之间的位置关系；最后根据操作者眼睛与诊断显示屏之间的位置关系确定操作者眼睛与诊断显示屏上所显示的诊断部位图像之间的位置关系，并结合超声图像与诊断部位之间的位置关系，对超声图像进行投射变形处理，并将投射变形处理后的超声图像与诊断部位的图像叠加后在诊断显示屏上显示出来。
3.根据权利要求1所述的一种远程超声诊断的交互控制方法，其特征在于：当使用操作器对超声探头的动作进行控制时，在操作器上设置弹性反馈部件对操作器施加一个弹力来模拟超声探头在诊断部位上受到的弹力；并通过在执行机械臂末端与超声探头的连接处均设置压力传感器来检测诊断部位的弹性系数，以此调节弹性反馈部件的弹性系数；同时在操作器的弹性反馈部件上也设置压力传感器用于检测操作者施加在操作器上的压力，从而控制执行机械臂控制超声探头以相同的压力施加在诊断部位上。
4.根据权利要求1所述的一种远程超声诊断的交互控制方法，其特征在于：监控摄像头为两个并分别设置于超声探头两侧，两个监控摄像头拍摄到的两幅诊断部位的图像通过图像拼接的方式，同时合并其中相同画面区域，使两幅诊断部位的图像融合为一张图像并在操作端的显示屏显示出来；同时，当启动对诊断部位的监控程序，并根据超声探头进行X轴、Y轴和Z轴方向的移动或旋转，对监控摄像头拍摄到的图像进行处理时，是对两个监控摄像头拍摄到的两幅诊断部位的图像融合后的图像进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310139469.2A CN115869009B (zh) | 2023-02-21 | 2023-02-21 | 一种远程超声诊断***及交互控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310139469.2A CN115869009B (zh) | 2023-02-21 | 2023-02-21 | 一种远程超声诊断***及交互控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115869009A CN115869009A (zh) | 2023-03-31 |
| CN115869009B true CN115869009B (zh) | 2023-08-29 |
Family
ID=85761376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310139469.2A Active CN115869009B (zh) | 2023-02-21 | 2023-02-21 | 一种远程超声诊断***及交互控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115869009B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011200533A (ja) * | 2010-03-26 | 2011-10-13 | Fujifilm Corp | 超音波診断装置 |
| CN102349838A (zh) * | 2011-09-22 | 2012-02-15 | 东南大学 | 一种远程超声诊断*** |
| CN206365898U (zh) * | 2016-07-29 | 2017-08-01 | 深圳威瑞生物科技有限公司 | 一种远程超声辅助检查*** |
| CN206365899U (zh) * | 2016-07-29 | 2017-08-01 | 深圳威瑞生物科技有限公司 | 一种超声辅助诊断*** |
| JP2017159027A (ja) * | 2016-03-07 | 2017-09-14 | 東芝メディカルシステムズ株式会社 | 超音波診断装置及び超音波診断支援装置 |
| CN108078585A (zh) * | 2016-11-21 | 2018-05-29 | 沈阳普飞克森科技有限公司 | 一种远程超声诊断*** |
| CN108577886A (zh) * | 2018-04-12 | 2018-09-28 | 叶舟 | 远程超声诊断***及使用方法 |
| CN110477956A (zh) * | 2019-09-27 | 2019-11-22 | 哈尔滨工业大学 | 一种基于超声图像引导的机器人诊断***的智能扫查方法 |
-
2023
- 2023-02-21 CN CN202310139469.2A patent/CN115869009B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011200533A (ja) * | 2010-03-26 | 2011-10-13 | Fujifilm Corp | 超音波診断装置 |
| CN102349838A (zh) * | 2011-09-22 | 2012-02-15 | 东南大学 | 一种远程超声诊断*** |
| JP2017159027A (ja) * | 2016-03-07 | 2017-09-14 | 東芝メディカルシステムズ株式会社 | 超音波診断装置及び超音波診断支援装置 |
| CN206365898U (zh) * | 2016-07-29 | 2017-08-01 | 深圳威瑞生物科技有限公司 | 一种远程超声辅助检查*** |
| CN206365899U (zh) * | 2016-07-29 | 2017-08-01 | 深圳威瑞生物科技有限公司 | 一种超声辅助诊断*** |
| CN108078585A (zh) * | 2016-11-21 | 2018-05-29 | 沈阳普飞克森科技有限公司 | 一种远程超声诊断*** |
| CN108577886A (zh) * | 2018-04-12 | 2018-09-28 | 叶舟 | 远程超声诊断***及使用方法 |
| CN110477956A (zh) * | 2019-09-27 | 2019-11-22 | 哈尔滨工业大学 | 一种基于超声图像引导的机器人诊断***的智能扫查方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115869009A (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11911214B2 (en) | System and methods for at home ultrasound imaging | |
| US11801035B2 (en) | Systems and methods for remote graphical feedback of ultrasound scanning technique | |
| US20230042756A1 (en) | Autonomous mobile grabbing method for mechanical arm based on visual-haptic fusion under complex illumination condition | |
| US20100232647A1 (en) | Three-dimensional recognition result displaying method and three-dimensional visual sensor | |
| US20090234502A1 (en) | Apparatus for determining pickup pose of robot arm with camera | |
| WO2023061113A1 (zh) | 便携式远程超声扫查***与安全超声扫查柔顺控制方法 | |
| JP2010210585A (ja) | ３次元視覚センサにおけるモデル表示方法および３次元視覚センサ | |
| KR20160138233A (ko) | 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템 | |
| JPH1051711A (ja) | ３次元仮想物体表示装置および方法 | |
| CN111166387B (zh) | 甲状腺的超声成像方法和装置 | |
| CN105373011B (zh) | 检测光电跟踪设备的实时仿真***和计算机 | |
| US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
| US20240173018A1 (en) | System and apparatus for remote interaction with an object | |
| CN107945607B (zh) | 超声演示***及装置 | |
| CN115998331B (zh) | 一种用于远程超声诊断的探头控制***及控制方法 | |
| CN112109069A (zh) | 机器人示教装置以及机器人*** | |
| CN115869009B (zh) | 一种远程超声诊断***及交互控制方法 | |
| JP2019077026A (ja) | 制御装置、ロボットシステム、制御装置の動作方法及びプログラム | |
| CN111673745A (zh) | 一种基于体感互动的机器人控制***和方法 | |
| US11865407B1 (en) | Measurement and testing system | |
| JP5677399B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| CN115886870B (zh) | 一种用于远程超声诊断的超声图像虚拟显示方法 | |
| JP2003004666A (ja) | Ｘ線透視撮影装置 | |
| WO2023283957A1 (zh) | 检体采集***及检体采集方法 | |
| CN108319372A (zh) | 一种虚拟设备及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xu Yihan Inventor after: Su Shudian Inventor after: Chen Yinghuai Inventor after: Zhou Guang Inventor after: Liu Hangen Inventor after: Chen Yue Inventor before: Xu Yihan Inventor before: Su Shudian Inventor before: Chen Yinghuai Inventor before: Zhou Guang Inventor before: Liu Hangen Inventor before: Chen Yue |
|
| CB03 | Change of inventor or designer information |