CN117653179A - 医用图像处理装置、x射线诊断***以及存储介质 - Google Patents

Abstract

提供医用图像处理装置、X射线诊断***及存储介质。医用图像处理装置具备处理电路，处理电路取得根据由被***到被检体体内的超声波导管的检测器收集到的信号生成的超声波图像；取得描绘出摄像对象物的X射线图像，摄像对象物是超声波导管的检测器、被***到被检体的体内的医用设备、被检体体内的关注区域中的至少一个；检测X射线图像中描绘的超声波导管的检测器的位置、及超声波图像及X射线图像的至少一方中描绘的摄像对象物的位置；基于超声波导管的检测器的位置及摄像对象物的位置，计算用于使超声波导管行进以使摄像对象物进入到检测器的视野内的行进辅助信息、或用于使超声波导管行进以使摄像对象物接近检测器的视野的中心的行进辅助信息。

Description

医用图像处理装置、X射线诊断***以及存储介质

本申请以日本专利申请2022-142553(申请日：2022年9月7日)以及日本专利申请2023-125592(申请日：2023年8月1日)为基础，从该申请中享受优先的利益。本申请通过参照该申请而包含该申请的全部内容。

技术领域

本说明书以及附图中公开的实施方式涉及医用图像处理装置、X射线诊断***以及存储介质。

背景技术

以往，有时为了实现治疗的精度、效率的提高等而并用X射线诊断装置、超声波诊断装置、X射线CT(Computed Tomography：电子计算机断层扫描)装置以及磁共振成像装置等医用图像诊断装置中的不同种类的多个医用图像诊断装置。作为一例，举出使用了导管的图像下治疗(IVR：Interventional Radiology，介入放射学)中的X射线诊断装置与超声波诊断装置的并用。

X射线诊断装置是使X射线透射被检体内并对该透射像进行图像化的装置。例如，在使用导管的IVR中，医生一边从基于X射线血管造影装置等X射线诊断装置的透视图像或摄影图像中确认导管在血管内的位置，一边将导管***被检体。在导管行进到被检体的治疗对象部位(或者诊断对象部位)之后，为了描绘难以从X射线的透视图像以及摄影图像确认的组织例如软组织等，有时并用超声波图像。

另外，以往，已知在左心耳闭塞等结构性心脏病(SHD：Structural HeartDisease)的导管治疗、心脏及大血管的解剖学构造、生理功能的观察等中，经食道心回波检查(TEE：Transesophageal Echocardiography)是有用的。但是，TEE是从口向食道***超声波内窥镜并从食道观察心脏的检查，因此一般需要被检体的全身麻醉。与此相对，作为内置有在前端收发超声波的相控阵式的元件的超声波导管之一的心腔内导管回波(ICE：Intracardiac Echocardiography)在局部麻醉下能够进行手术，因此与TEE相比，对被检体为低侵袭。因此，在SHD治疗等中，与X射线诊断装置并用的ICE受到关注。

但是，一般而言，由于根据由ICE收集到信号生成的超声波图像的区域、即ICE的摄像区域(以下称为视野)与TEE相比狭窄，因此在SHD治疗等中作为关注区域的左心耳等患部、左心耳闭锁设备等医用设备的一部分或全部有时会脱离ICE的视野。并且，在关注区域的一部分或全部脱离ICE的视野，则操作者需要适当地使ICE行进，以便关注区域被描绘在ICE的视野内。

另外，即使在作为关注区域的治疗对象部位或医用设备的全部被描绘在ICE的视野内的一部分的情况下，从ICE的视野中探索并显示能够确认医用设备的留置状态等的二维超声波图像也是繁杂的作业。另外，在关注区域的一部分或全部未被描绘在ICE的视野内的情况下，一边进行ICE的行进操作，一边搜索关注区域的二维超声波图像，对手术者来说负担很大。

另一方面，近年来，还开发了用于对使用导管的手术进行辅助的导管手术辅助机器人。导管手术辅助机器人以能够从远程位置进行导管手术为目的，或者以使导管手术全部自动化或半自动化为目的而被开发出来。即，上述手术者有时也可能为导管手术辅助机器人。

发明内容

本说明书以及附图所公开的实施方式所要解决的技术问题之一是辅助操作者能够适当地进行超声波导管的行进。但是，本说明书以及附图所公开的实施方式所要解决的技术问题不限于上述技术问题。也能够将与后述的各实施方式所示的各结构带来的各效果对应的技术问题定位为其他技术问题。

一个实施方式医用图像处理装置，具备处理电路，所述处理电路取得根据由被***到被检体的体内的超声波导管的检测器收集到的信号生成的超声波图像；取得描绘出摄像对象物的X射线图像，所述摄像对象物是超声波导管的检测器、以及被***到被检体的体内的医用设备、以及被检体的体内的关注区域中的至少一个；检测(a)X射线图像中描绘的超声波导管的检测器的位置、以及(b)超声波图像及X射线图像的至少一方中描绘的摄像对象物的位置；基于所检测出的超声波导管的检测器的位置以及摄像对象物的位置，计算用于使超声波导管行进以使摄像对象物进入到检测器的视野内的行进辅助信息、或者用于使超声波导管行进以使摄像对象物接近检测器的视野的中心的行进辅助信息。

根据上述结构的医用图像处理装置，能够辅助操作者适当地进行超声波导管的行进。

附图说明

图1是表示具备第一实施方式的医用图像处理装置的X射线诊断***的结构例的第一概略图。

图2是表示具备第一实施方式的医用图像处理装置的X射线诊断***的结构例的第二概略图。

图3是用于说明第一实施方式的手术部位的一例的图。

图4是用于说明第一实施方式的手术的一例的第一图。

图5是用于说明第一实施方式的手术的一例的第二图。

图6是用于说明第一实施方式的医用图像处理装置的结构例的概略图。

图7是将第一实施方式的医用图像处理装置的动作例作为流程图进行表示的图。

图8是用于说明第一实施方式的X射线图像摄像的图。

图9是用于说明第一实施方式的超声波检测器的位置信息和超声波图像中的视野的图。

图10是用于说明第一实施方式的医用设备的全部从超声波导管的检测器的视野脱离的情况下的超声波导管的行进辅助的、(a)行进辅助前及(b)行进辅助后的一例的立体图。

图11是用于说明第一实施方式的医用设备的一部分从超声波导管的检测器的视野脱离的情况下的超声波导管的行进辅助的、(a)行进辅助前及(b)行进辅助后的一例的立体图。

图12是将第一实施方式的变形例1的医用图像处理装置的动作例作为流程图进行表示的图。

图13是用于说明第二实施方式的医用图像处理装置的结构例的概略图。

图14是将第二实施方式的医用图像处理装置的动作例作为流程图进行表示的图。

图15是用于说明第二实施方式的超声波图像及其输出顺序的一例的图。

图16是用于说明基于第二实施方式的超声波图像使超声波导管3行进的(a)行进辅助前及(b)行进辅助后的一例的立体图

图17是表示配置有第三实施方式的医用图像处理装置和辅助机器人的X射线诊断***的结构例的概略图。

图18是用于说明第三实施方式的医用图像处理装置的结构例的概略图。

具体实施方式

以下，参照附图对医用图像处理装置、X射线诊断***以及存储介质的实施方式进行详细说明。

(第一实施方式)

图1是表示具备第一实施方式的医用图像处理装置的X射线诊断***1的结构例的第一概略图。例如，如图1所示，X射线诊断***1构成为具备医用图像处理装置100以及X射线诊断装置200。医用图像处理装置100以及X射线诊断装置200经由网络2相互连接。另外，在网络2上还连接有超声波诊断装置300。

图2是表示具备第一实施方式的医用图像处理装置的X射线诊断***1的结构例的第二概略图。在图2中示出了第一实施方式的X射线诊断装置200和与X射线诊断***1连接的超声波诊断装置300的结构例的概略图。

如图2所示，第一实施方式的X射线诊断装置200包括架台装置210、诊床220、控制器230以及图像处理装置240。架台装置210、诊床220以及控制器230一般而言设置在手术室(检查/治疗室)中，另一方面，图像处理装置240设置在与手术室相邻的控制室中。

架台装置210具有X射线高电压发生装置211、X射线照射装置212、顶板(导管工作台)221、C臂214、X射线检测装置215、C臂驱动控制机构231以及诊床驱动控制机构232。

X射线照射装置212设置在C臂214的一端。X射线照射装置212被设置成通过控制器230的控制能够前后移动。X射线照射装置212具有X射线源216(例如X射线管)和可动光圈装置217。X射线管从X射线高电压发生装置211接受高电压电力的供给，根据高电压电力的条件产生X射线。可动光圈装置217在X射线管的X射线照射口以可移动的方式支承由遮蔽X射线的物质构成的光圈叶片。另外，也可以在X射线管的前表面具备调整由X射线管产生的X射线的线质的线质调整过滤器。

X射线检测装置215被设置成与C臂214的另一端即X射线照射装置212对置。X射线检测装置215被设置成能够通过控制器230的控制进行前后移动。X射线检测装置215具备FPD(平面检测器：Flat Panel Detector)218以及ADC(模数转换器：Analog to DigitalConverter)219。

FPD 218具有被二维排列的多个检测元件。FPD 218的各检测元件之间以扫描线和信号线正交的方式配设。另外，也可以在FPD 218的前表面具备栅格。

ADC 219将从FPD 218输出的时间序列模拟信号(视频信号)的投影数据转换成数字信号，并输出到图像处理装置240。

C臂214使X射线照射装置212和X射线检测装置215以被检体为中心对置配置。C臂214在控制器230的控制下，通过C臂驱动控制机构231使X射线照射装置212和X射线检测装置215一体地在C臂214的圆弧方向上进行圆弧运动。另外，以X射线诊断装置200具备C臂214、C臂214使X射线照射装置212以及X射线检测装置215一体地动作的结构为例进行说明，但并不限定于该情况。例如，也可以是X射线诊断装置200不具备C臂214而使X射线照射装置212以及X射线检测装置215分别独立地动作的结构。

图2表示仅具有一个C臂的单平面型的X射线诊断装置200的结构例，但X射线诊断装置200也可以是能够通过两个臂同时从两个方向透视的双平面型的X射线诊断装置200。

诊床220支承在地面上，支承顶板221。诊床220在控制器230的控制下，能够通过诊床驱动控制机构232使顶板221滑动(X、Z轴方向)移动、上下(Y轴方向)移动及滚动。另外，对架台装置210是X射线照射装置212位于顶板221下方的下管类型的情况进行说明，但也可以是X射线照射装置212位于顶板221上方的上管类型的情况。

控制器230包括未示出的CPU(Central Processing Unit：中央处理单元)以及存储器。控制器230根据图像处理装置240的控制，控制架台装置210的X射线照射装置212、X射线检测装置215及C臂214的驱动和诊床220的驱动以进行对位。另外，控制器230根据图像处理装置240的控制，控制X射线照射装置212、X射线检测装置215以及C臂驱动控制机构231等的动作，以便进行手术用的X射线摄影或X射线透视。

图像处理装置240以计算机为基础而构成，具有处理电路241、存储电路242、输入接口243、网络接口244以及显示器250。

处理电路241是具有专用或通用的处理器、并通过执行存储在存储电路242中的程序而进行的软件处理等来进行X射线诊断装置200整体的动作控制的电路，基于经由输入接口243的来自操作者的输入、从存储电路242读入的各种程序的执行以及各种数据，控制控制器230。另外，处理电路241基于由架台装置210取得的信号，生成被检体P的X射线图像(透视图像或摄影图像)，控制X射线诊断装置200，以在显示器250等上显示存储电路242所存储的显示用的X射线图像。

存储电路242存储用于进行控制器230的控制、图像处理以及显示处理等的各种程序、诊断信息、诊断协议等各种数据、图像数据等。存储电路242例如通过RAM(RandomAccess Memory：随机存取存储器)、闪存(Flash Memory)等半导体存储器元件、硬盘、光盘等来实现。

网络接口244是用于通过有线或无线与连接于网络2的各种装置进行通信的接口。例如，X射线诊断装置200能够通过网络接口244在与医用图像处理装置100、超声波诊断装置300等之间进行各种数据、图像的交换。

输入接口243包括能够由操作者进行操作的输入设备和输入来自输入设备的信号的输入电路。输入设备通过鼠标、键盘、通过触摸操作面而进行输入操作的触摸板、显示画面与触摸板被一体化而成的触摸屏、使用了光学传感器的非接触输入电路、声音输入电路等来实现。

显示器250显示用于接受使用输入接口243的操作者的指示的GUI、在图像处理装置240中生成的X射线图像等。另外，显示器250为了向操作者通知X射线诊断装置200的处理状况、处理结果，而显示各种消息、显示信息。另外，显示器250可以具有扬声器并能够输出为声音。另外，显示器250还可以显示从与网络2连接的各种装置接收到的数据、图像等、由医用图像处理装置100生成的用于辅助手术的各种辅助图像、辅助信息等。

另一方面，如图2所示，超声波诊断装置300构成为除了具备超声波装置主体310、输入接口320以及显示器330之外，还具备超声波导管3。超声波导管3与超声波装置主体310以能够通信的方式连接。

超声波装置主体310以计算机为基础而构成，具有收发电路311、处理电路312、存储电路313以及网络接口314。

收发电路311向超声波导管3供给超声波驱动信号，根据超声波导管3接收到的反射波信号生成反射波数据。

处理电路312是具有专用或者通用的处理器、并通过执行存储于存储电路313的程序而进行的软件处理等来进行超声波诊断装置300的整体的动作控制的电路，基于经由输入接口320的来自操作者的输入、从存储电路313读入的各种程序的执行以及各种数据，控制收发电路311的处理。另外，处理电路312基于超声波导管3接收到的反射波信号生成超声波图像数据，根据所生成的超声波图像数据生成显示用的超声波图像。另外，处理电路312控制超声波诊断装置300，以在显示器330等上显示存储电路313所存储的显示用的超声波图像。

存储电路313存储用于进行超声波收发、图像处理以及显示处理的各种程序、诊断信息、诊断协议等各种数据、反射波数据、图像数据等。存储电路120例如通过RAM(RandomAccess Memory)、闪存(Flash Memory)等半导体存储器元件、硬盘、光盘等来实现。

网络接口314是用于通过有线或无线与连接于网络2的各种装置进行通信的接口。例如，超声波诊断装置300能够通过网络接口314在与医用图像处理装置100、X射线诊断装置200等之间进行各种数据的交换。

输入接口320包括能够由操作者进行操作的输入设备和输入来自输入设备的信号的输入电路。输入设备通过鼠标、键盘、通过触摸操作面而进行输入操作的触摸板、显示画面与触摸板被一体化而成的触摸屏、使用了光学传感器的非接触输入电路、声音输入电路等来实现。

显示器330显示用于接受使用输入接口320的操作者的指示的GUI、在超声波装置主体310中生成的超声波图像等。另外，显示器330为了向操作者通知超声波装置主体310的处理状况、处理结果，而显示各种消息、显示信息。另外，显示器330可以具有扬声器并输出声音。另外，显示器330还可以显示从与网络2连接的各种装置接收到的数据、图像等、由医用图像处理装置100生成的用于辅助手术的各种辅助图像、辅助信息等。

在图2中，还图示出了用于手术的超声波导管3。在本说明书中，主要将***被检体P的心腔内并与超声波装置主体310以能够通信的方式连接的超声波探头称为超声波导管3。作为超声波导管3，例如有能够从股静脉***体腔内，使其行进到心脏内，扫描左心房、左心耳、大动脉、二尖瓣、大动脉瓣等而生成超声波图像的ICE等。另外，也可以将被***到被检体P的血管等管状组织等、扫描管状组织等而生成超声波图像的设备作为超声波导管3。

超声波导管3被***到被检体P的体腔内，在体腔内***作。如图9所示，超声波导管3在其前端部具有检测器30，在该检测器30的阵列面31具有多个压电元件。该多个压电元件从超声波装置主体310基于通过电缆32供给的驱动信号产生超声波，另外，接收来自被检体P的反射波并转换为电信号。阵列面31是能够扫描三维空间的二维阵列。另外，阵列面31也可以是能够扫描二维空间的一维阵列。

在图2中，还图示了用于手术的第一实施方式的手术用导管4。在本说明书中，设为主要将***被检体P的体腔内、血管等管状组织等、并进行治疗、诊断或用于进行治疗(即，治疗过程)的辅助的细的医疗器具称为手术用导管4。手术用导管4例如构成为具备被称为导管的细的管、用于将导管向治疗对象部位引导的导丝以及安装于导管的前端部的医用设备40。

设备操作部41是医生等手术者进行用于将手术用导管4***被检体P的血管并使其行进至规定的对象部位的手动操作的器具。在此，规定的对象部位是指进行治疗、诊断或治疗过程的辅助的部位，也可以称为被检体P的体内的关注区域。

医用设备40是在手术用导管4被***到被检体P的体内之后在进行治疗的规定的对象部位被使用的部件。作为医用设备40，例如有闭塞设备、气球以及支架等设备(例如图5的医用设备40a)。

医用装置40还可以是在将手术用导管4被***到被检体P的体内之后在治疗过程的规定的对象部位被使用的部件。医用装置40也可以是穿刺针(例如图4的医用装置40b)等。另外，也可以在一个手术用导管4上具备多个医用设备40。

图3至图5分别是用于说明第一实施方式的手术部位的一例和作为第一实施方式的手术的一例的中隔穿刺及左心耳闭塞手术的图。在左心耳闭塞手术中，一般而言，超声波导管3和手术用导管4从血管被***到被检体P的体内后，向右心房、左心房、以及作为治疗对象部位的左心耳附近行进。

具体而言，如图4所示，超声波导管3和手术用导管4为了向作为治疗对象部位的左心耳附近行进而进行中隔穿刺。中隔穿刺是指在治疗过程中，利用穿刺针在心房中开出孔的处理。手术者观察医用设备40b和进行治疗过程的处置的规定的对象部位的双方或其一方。因此，手术者操作超声波导管3和手术用导管4双方，使超声波导管3行进到能够良好地描绘出医用设备40和进行治疗过程的处理的对象部位双方的位置。例如，在中隔穿刺中，通过超声波导管3观察到心房中隔附近作为被检体P的体内的关注区域。

接着，在中隔穿刺后，如图5所示，第一，为了确定闭塞设备的尺寸，通过超声波导管3计测作为治疗对象部位的左心耳的尺寸。第二，适合左心耳的尺寸的闭塞设备被引导到左心房。第三，在闭塞设备即将被留置之前为了在X射线图像上观察左心耳的形状流通造影剂。第四，手术用导管4的前端部的闭塞设备被展开并被留置以使左心耳闭塞。在第四阶段中，手术者观察左心耳和闭塞设备的紧贴状态等治疗对象部位的状况，根据观察状况进行闭塞设备的再留置等的处置。

即，在第四阶段，手术者为了观察医用设备40和进行治疗的规定的对象部位的双方或其中一方，操作超声波导管3和手术用导管4双方，使超声波导管3行进至医用设备40和治疗对象部位双方被良好地描绘出的位置。例如，在左心耳闭塞手术中，通过超声波导管3观察左心耳附近作为被检体P的体内的关注区域。

另外，在图3至图5中，作为第一实施方式的手术的一例，对左心耳闭塞手术以及闭塞设备进行了说明，但本实施方式不排除左心耳闭塞手术以外的心腔内手术，例如心房中隔缺损闭塞手术、二尖瓣闭塞手术、球囊大动脉瓣形成手术等其他手术、治疗过程的处置。另外，并不排除穿刺针、闭塞设备以外的医用设备40。另外，作为第一实施方式的手术例，说明了基于医用设备40的治疗过程以及治疗，但本实施方式不排除基于医用设备40的诊断等。

图6是用于说明第一实施方式的医用图像处理装置的结构例的概略图。如图6所示，第一实施方式的医用图像处理装置100能够与X射线诊断装置200及超声波诊断装置300连接，例如构成为工作站或个人计算机等计算机。医用图像处理装置100对手术者提供用于辅助手术的图像或信息。

医用图像处理装置100至少具备处理电路110、存储电路120、输入接口130以及网络接口140。

另外，医用图像处理装置100还可以具备显示器150。显示器150向手术者提供由医用图像处理装置100生成的超声波导管3的行进辅助信息。显示器150例如可以是配置在手术者容易看到的位置的大型显示装置，也可以具有扬声器并能够以声音输出行进辅助信息。另外，显示器150除了显示由处理电路110生成的行进辅助信息等数据以外，还可以显示用于辅助由医用图像处理装置100生成的手术的图像等各种图像、从由网络2连接的各种装置接收到的数据、图像等。

网络接口140是用于通过有线或无线而与连接到网络2的各种装置进行通信的接口。例如，医用图像处理装置100能够通过网络接口140与X射线诊断装置200、超声波诊断装置300等之间进行各种数据的交换。

输入接口130包括能够由操作者进行操作的输入设备和输入来自输入设备的信号的输入电路。输入设备通过鼠标、键盘、通过触摸操作面而进行输入操作的触摸板、显示画面与触摸板被一体化而成的触摸屏、使用了光学传感器的非接触输入电路、声音输入电路等来实现。

存储电路120例如由RAM(Random Access Memory)、闪存(Flash Memory)等半导体存储元件、硬盘、光盘等构成。存储电路120存储在处理电路110中使用的各种处理程序(除了应用程序以外，还包括OS(Operating System：操作***)等)、程序的执行所需的数据。另外，存储电路120可以存储通过输入接口130或网络接口140输入的图像数据等各种数据。

处理电路110具有专用或通用的处理器，通过执行存储于存储电路120的程序而进行的软件处理来实现后述的各种功能。处理电路110实现第一取得功能F01、第二取得功能F02、检测功能F03、判定功能F04以及计算功能F05的各功能。

使用图7所示的流程图以及图8至图11所示的说明图来说明这些各功能。图7是表示第一实施方式的医用图像处理装置100的动作例、或者医用图像处理程序的流程图。

在步骤ST10中，通过***到诊断或治疗对象的被检体P的体内的超声波导管3的检测器30，取得根据由超声波诊断装置300收集到的信号生成的超声波图像。步骤ST10的取得被检体P的超声波图像的处理由第一取得功能F01进行。

在步骤ST11中，取得使用X射线诊断装置200摄像到的、诊断或治疗对象的被检体P的X射线图像。在步骤ST11中取得的X射线图像是描绘出摄像对象物的X射线图像，该摄像对象物是超声波导管3的检测器30、以及被***到被检体P的体内的医用设备40以及被检体的体内的关注区域中的至少一个。

另外，图8是用于说明第一实施方式的X射线图像摄像的图。如图8所示，步骤ST11的X射线图像是以包含相同部位的方式，从至少两个方向照射X射线而摄像的摄影图像(静态图像)或透视图像(动态图像)。步骤ST11的取得被检体P的X射线图像数据的处理由第二取得功能F02进行。

在步骤ST12中，检测在步骤ST11取得的X射线图像中描绘出的超声波导管3的检测器30的位置。根据在步骤ST11中取得的包含相同部位的多个X射线图像，例如根据立体摄像机的原理等，确定超声波导管3的检测器30在例如X射线坐标系中的位置。步骤ST12的检测超声波导管3的检测器30的位置的处理由检测功能F03进行。另外，这里，如图2所示，X射线坐标系是指将3个体轴中的被检体的左右方向的轴设为X轴、将背腹方向的轴设为Y轴、将头足方向的轴设为Z轴的右手坐标系。

图9是用于说明第一实施方式的超声波检测器的位置信息和超声波图像中的视野的图。如图9所示，作为超声波导管3的检测器30的位置信息，例如有超声波导管3的检测器30的X射线坐标系中的重心位置和从重心位置延伸的检测器30的阵列面31的法线矢量。

另外，在图9中，超声波导管3的检测器30的阵列面31是二维阵列。在本说明书中，在将超声波导管3的检测器30的位置和检测器30的阵列面31的角度固定的状态下，将根据收集的超声波数据生成的多个扇形的二维超声波图像分别称为“视图”。另外，将与在全部范围内重叠该多个“视图”的三维超声波图像对应的范围，即与全部“视图”的集合对应的范围称为“视野”。

只要在将超声波导管3的检测器30的位置与检测器30的阵列面31的角度固定的状态下检测器30的扫描范围确定就能够计算“视野”。

返回到图7，在步骤ST13中，使用在步骤ST10中取得的超声波图像，判定作为医用设备40以及被检体的体内的关注区域中的至少一个的摄像对象物是否进入超声波导管3的检测器30的视野内。具体而言，在步骤ST10中取得的超声波图像中描绘出作为医用设备40以及被检体的体内的关注区域中的至少一个的摄像对象物时，判定为摄像对象物进入到检测器30的视野内。另外，在步骤ST10中取得的超声波图像中没有描绘出作为医用设备40以及被检体的体内的关注区域中的至少一个的摄像对象物时，判定为摄像对象物没有进入检测器30的视野内。步骤ST13的判定摄像对象物是否进入到超声波导管3的检测器30的视野内的处理由判定功能F04进行。

另外，在“视野”由一个“视图”构成的情况下，即检测器30的视野为二维的情况下，也能够进行步骤ST13的判定摄像对象物是否进入到超声波导管3的检测器30的视野内的处理。

步骤ST14在步骤ST13中为“是”的情况下，即作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物的一部分或全部进入到超声波导管3的检测器30的视野内的情况下进行。在步骤ST14中，根据步骤ST10中取得的超声波图像和步骤ST11中取得的X射线图像中的至少一方，检测作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物的位置。步骤ST14的检测摄像对象物的位置的处理由检测功能F03进行。

在根据步骤ST10中取得的超声波图像进行步骤ST14的医用设备40的位置检测的情况下，根据超声波图像中描绘出的医用设备40的位置例如视野内的医用设备40的位置，检测医用设备40在X射线坐标系中的重心位置。

例如，对于在超声波图像中仅描绘出医用设备40的端部的部分的情况等、超声波图像中描绘出的医用设备40不包含其重心的情况，以图5的医用设备40a为例进行说明。如图5所示，也可以根据可能成为医用设备40a(40)的直径L的治疗对象部位的尺寸和医用设备40a(40)展开后的形状(例如球、椭圆球、圆环型、筒状型等)，推定医用设备40a(40)在X射线坐标系中的重心位置。治疗对象部位的尺寸例如可以使用在决定医用设备40a(40)的尺寸时计测到的数据、在即将留置医用设备40a(40)之前为了观察治疗对象部位的形状而摄像的X射线图像等。

在根据在步骤ST11中取得X射线图像，进行步骤ST14的作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物的位置的检测的情况下，也可以根据在步骤ST11中取得的多个X射线图像，通过例如立体照相机的原理等，检测作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物在X射线坐标系中的重心位置。

步骤ST15在步骤ST13中为“否”的情况下，即作为医用设备40以及被检体的体内的关注区域中的至少一个的摄像对象物没有进入超声波导管3的检测器30的视野内的情况下进行。在步骤ST15中，检测在步骤ST11中取得的X射线图像中描绘出的作为医用设备40以及被检体的体内的关注区域中的至少一个的摄像对象物的位置。根据在步骤ST11中取得的多个X射线图像，通过例如立体照相机的原理等，检测摄像对象物在X射线坐标系中的重心位置，作为摄像对象物的位置，该摄像对象物是医用设备40以及被检体的体内的关注区域中的至少一个。步骤ST15的检测摄像对象物的位置的处理由检测功能F03进行。

在步骤ST16中，根据在步骤ST12中检测出的超声波导管3的检测器30的位置、即构成检测器30的阵列面31的重心位置和根据阵列面31的朝向计算出的法线矢量、以及检测器30的规定的扫描范围(即，已知的扫描范围)，计算检测器30的视野。如图9所示，在超声波导管3的检测器30的位置与检测器30的阵列面31的角度被固定的状态下，检测器30的视野能够根据检测器30的扫描范围来计算。步骤ST16的计算超声波导管3的检测器30的视野的处理由计算功能F05进行。

在步骤ST17中，基于超声波导管3检测器30的位置、以及作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物的位置，计算用于使超声波导管3行进以使摄像对象物进入超声波导管3的检测器30的视野内的行进辅助信息。或者，计算用于使超声波导管3行进以使作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物接近超声波导管3的检测器30的视野的中心的行进辅助信息。步骤ST17的计算超声波导管3的行进辅助信息的处理由计算功能F05进行。

图10及图11分别是用于说明第一实施方式的医用设备40的一部分从超声波导管3的检测器30的视野脱离的情况下的超声波导管3的行进辅助的、(a)行进辅助前及(b)行进辅助后的一例的立体图。

以下，使用图10及图11，关于步骤ST17对摄像对象物为医用设备40的情况进行说明。但是，摄像对象物并不限定于医用设备40。也可以摄像对象物是被检体体内的关注区域的情况、摄像对象物包含医用设备40和被检体的体内的关注区域这两者的情况，同样地，即使在该摄像对象物的一部分或全部从超声波导管3的检测器30的视野脱离的情况下也能够进行超声波导管3的行进辅助。

如图10的(a)及图11的(a)所示，在步骤ST17中，在医用设备40一部分或全部从超声波导管3的检测器30的视野脱离的情况下，计算为了使医用设备40进入超声波导管3的检测器30的视野内、或者为了使医用设备40接近超声波导管3的检测器30的视野的中心而超声波导管3能够行进的行进量以及行进方向、检测器30的阵列面31的角度。另外，在本说明书中，行进量以及行进方向也可以是后退量以及后退方向。换言之，行进量以及行进方向可以是移动量以及移动方向。

另外，在步骤ST17中，即使在使医用设备40从医用设备40全部进入超声波导管3的检测器30的视野内的状态移动的情况下，也能够计算为了使医用设备40的一部分或全部不会从超声波导管3的检测器30的视野脱离的超声波导管3的行进量以及行进方向、或者检测器30的阵列面31的角度。

如图10的(a)以及图11的(a)所示，超声波导管3的行进量以及行进方向例如是使超声波导管3的检测器30在X射线坐标系中的重心位置从位置(x1，y1，z1)移动到位置(x2，y2，z2)的量。另外，检测器30的阵列面31的角度是以检测器30的轴为中心旋转的量。

在医用设备40的一部分或全部没有进入检测器30的视野内的情况下，例如通过假定通过步骤ST14或步骤ST15而已知的医用设备40在X射线坐标系中的重心位置和可能成为医用设备40的直径的治疗对象部位的尺寸和医用设备40的展开后的形状，可知检测器30的视野与医用设备40的全部在三维空间中的重叠。根据该重叠，能够计算为了将医用设备40的全部在三维空间中重叠于检测器30的视野而需要的超声波导管3的行进量以及行进方向、检测器30的阵列面31的角度。

超声波导管3的行进量、以及行进方向、检测器30的阵列面31的角度优选为医用设备40全部“最大限度地收敛”在超声波导管3的检测器30的视野内的量。在本说明书中，“最大限度地收敛”是指医用装置40全部进入到超声波导管3的检测器30的视野内，并且尽可能大地被描绘在检测器30的视野范围内的状态。

在医用设备40的一部分进入到超声波导管3的检测器30的视野内的情况下，超声波导管3的行进方向可以根据在步骤ST10中取得的多个超声波图像内的哪个视图中描绘出医用设备40来决定。例如，在超声波导管3的检测器30的视野由从视图V1到视图V10的10张视图的范围构成的情况下，如果医用设备40仅描绘在视图V1和视图V2中，则认为医用设备40位于视图V1侧的检测器30的视野外，也可以将描绘出视图V1及视图V1侧的检测器30的视野外的方向作为超声波导管3的行进方向。另外，视图的张数不限于10张。

另外，超声波导管3的行进辅助信息是用于决定适合于位于超声波导管3的前端的位置的被检体P的组织或脏器的超声波导管3的行进速度的信息、和基于所决定的行进速度使超声波导管3行进或以迂回的方式行进以避免撞到被检体P的组织或器官的、推荐路径有关的信息。

返回到图7，在步骤ST18中，输出在步骤ST17计算出的超声波导管3的行进辅助信息。超声波导管3的行进辅助信息被输出到显示器150，并显示在显示器150上。另外，超声波导管3的行进辅助信息也可以输出到X射线诊断装置200所具备的显示器250以及超声波诊断装置300所具备的显示器330中的至少一方的显示器，并显示在这些显示器上。

在输出到显示器的超声波导管3的行进辅助信息的输出中，包含在步骤ST17计算出的行进辅助信息中的至少一个。

通过向手术者提供超声波导管3的行进辅助信息，能够期待超声波导管3的操作数减少，能够进一步提高能够集中于手术用导管4的操作的工作流。

在第一实施方式中，步骤ST10、步骤ST11以及步骤ST12只要是在步骤ST11之后进行步骤ST12的顺序即可，不限于步骤ST10、步骤ST11、步骤ST12的顺序，也可以是步骤ST11、步骤ST12、步骤ST10的顺序，还可以是步骤ST11、步骤ST10、步骤ST12的顺序。

(第一实施方式的变形例1)

图12是表示第一实施方式的变形例1的医用图像处理装置的动作例、或者医用图像处理程序的流程图。如图12所示，也可以不进行步骤ST13，而将步骤ST12的下一个步骤设为步骤ST15。

(第二实施方式)

图13是表示第二实施方式的医用图像处理装置100的结构例的图。第二实施方式(图13)与第一实施方式(图7)的不同点在于，图13所示的医用图像处理装置100的处理电路110具有图像输出功能F06。图像输出功能F06是输出超声波图像的功能。

另外，图14是表示第二实施方式的医用图像处理装置100的动作例、或者医用图像处理程序的流程图。如图14所示，步骤ST20是在步骤ST18之后进行的步骤，在步骤ST20中，从在步骤ST10中取得的多个超声波图像内提取描绘出作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物的一部分或全部的超声波图像，输出所提取的超声波图像。步骤ST20的输出超声波图像的处理由图像输出功能F06进行。

步骤ST20中的超声波图像的提取方法只要是提取描绘出作为医用设备40及被检体的体内的关注区域中的至少一个的摄像对象物的一部分或全部的超声波图像即可。例如，从输出着眼于治疗对象部位的超声波图像的观点出发，步骤ST20的超声波图像也可以设为描绘出治疗对象部位和医用设备40双方的超声波图像。

图15是用于说明第二实施方式的超声波图像的一例的图。在图15所例示的左心耳闭塞手术的情况下，例如，若将超声波导管3的视野(在图15中为从视图V1到视图V10的全部视图的集合)中描绘出左心耳和闭塞设备(医用设备40)双方的超声波图像(在图15中，从视图V4到视图V8的视图的范围)设为步骤ST20的超声波图像，则重点着眼于左心耳和闭塞设备的密合状态等治疗对象部位的观察变得容易。

另外，在步骤ST20中，提取出的多个超声波图像的输出顺序没有特别限制，但为了容易识别治疗对象部位的状况，也可以设定输出顺序。图15是用于说明第二实施方式的超声波图像的输出顺序的一例的图。超声波图像的输出顺序也可以按照从提取出的视图的范围的一端的超声波图像朝向另一端的超声波图像的顺序往复输出。根据图15进行说明，例如是重复视图V4、视图V5、视图V6、视图V7、视图V8、视图V7、视图V6、视图V5、视图V4、视图V5、……的输出顺序。另外，开始输出的视图是任意的，但也可以将提取出的视图的范围的中央附近的超声波图像作为起点，使其两端的超声波图像往复而进行输出。根据图15进行说明，例如是重复视图V6、视图V7、视图V8、视图V7、视图V6、视图V5、视图V4、视图V5、视图V6、视图V7、视图V8、视图V7、……的输出顺序。

图16是用于说明基于第二实施方式的超声波图像使超声波导管3行进的(a)行进辅助前及(b)行进辅助后的一例的立体图。图16的(a)是与图15相同的图，描绘出所提取的多个超声波图像。如上所述，超声波导管3的行进量以及行进方向、检测器30的阵列面31的角度优选为用于使作为医用设备40以及被检体的体内的关注区域中的至少一个的摄像对象物的一部分或者全部在超声波导管3的检测器30的视野内“最大限度地收敛”的量。

因此，也可以如图16的(b)所示那样计算用于使超声波导管3行进以使摄像对象物进入到检测器30的视野内的行进辅助信息。另外，也可以计算用于使超声波导管3行进以使摄像对象物接近检测器30的视野中心的行进辅助信息。该情况下的行进辅助信息例如从步骤ST10中取得的多个超声波图像内提取描绘出摄像对象物的一部分或全部的超声波图像，并基于提取出的超声波图像来计算。

步骤ST20的超声波图像的输出可以在显示器150上进行，也可以在X射线诊断装置200所具备的显示器250以及超声波诊断装置300所具备的显示器330的至少一方的显示器上进行。

例如，通过提取并输出描绘出医用设备40的一部分或全部的超声波图像，降低了医用设备40和治疗对象部位区域的超声波图像的操作者的搜索作业的负担。另外，例如，通过提取并输出描绘出被检体体内的关注区域的超声波图像，治疗或治疗过程中的对象部位区域的观察变得容易。

(第三实施方式)

图17是表示具备第三实施方式的医用图像处理装置的X射线诊断***1的结构例的框图。第三实施方式的医用图像处理装置100具有控制辅助机器人6的功能。在此，辅助机器人6例如是能够基于经由设置在远程地的操作台的用户操作进行对被检体P***超声波导管3或手术用导管4并使它们行进到被检体的治疗对象部位的操作、或者能够基于来自远程地的控制数据进行对被检体P***超声波导管3或手术用导管4并使它们行进到被检体的治疗对象部位的操作的装置。

如图17所示，辅助机器人6除了操作台以外，还具有机器人主体60。机器人主体60配置在诊床220附近，对被检体P***超声波导管3或手术用导管4，并使它们行进到被检体的治疗对象部位。辅助机器人6的操作台可以配置在与手术室不同的远处，也可以配置在手术室内。辅助机器人6也可以经由网络2与X射线诊断***1连接。

图18是表示第三实施方式的医用图像处理装置100的结构例的图。与第一实施方式(图6)以及第二实施方式(图13)的不同点在于，第三实施方式的医用图像处理装置100的处理电路110具有机器人控制功能F07。机器人控制功能F07是在医用图像处理装置100、X射线诊断装置200和作为其他结构的辅助机器人6之间收发控制数据，控制辅助机器人6的动作的功能。

第三实施方式的机器人控制功能F07将计算出的超声波导管3的行进辅助信息转换为辅助机器人6的控制数据并输出至辅助机器人6。由此，以基于行进辅助信息使超声波导管3行进的方式控制辅助机器人6的动作。

机器人控制功能F07还可以基于与推荐路径相关的行进辅助信息，决定适合于处于超声波导管3的前端的位置的被检体P的组织或者脏器的超声波导管3的行进速度，或者基于决定的行进速度使超声波导管3行进，或者以迂回的方式行进以避免撞到被检体P的组织或者脏器，来控制辅助机器人6的动作。例如，在心脏那样的有运动的脏器中，也可以控制辅助机器人6的动作以降低医用设备的行进速度。

根据以上说明的至少一个实施方式，能够辅助操作者适当地进行超声波导管的行进。

另外，在上述实施方式中，“处理器”这一用语例如包括专用或通用的CPU(CentralProcessing Unit)、GPU(Graphics Processing Unit)或面向特定用途的集成电路(Application Specific Integrated Circuit：ASIC)、可编程逻辑器件(例如，简单可编程逻辑装置(Simple Programmable Logic Device：PLD)、复合可编程逻辑装置(ComplexProgrammable Logic Device：PLD)、以及现场可编程逻辑门阵列(Field ProgrammableGate Array：FPGA)等电路。在处理器例如是CPU的情况下，处理器读出并执行存储电路中保存的程序(医用图像处理程序)，由此实现各种功能。另外，在处理器例如为ASIC的情况下，代替在存储电路中保存程序，而将相当于该程序的功能作为逻辑电路直接组装在处理器的电路内。在这种情况下，处理器读出并执行组装在电路内的程序的硬件处理来实现各种功能。或者，处理器还可以组合软件处理和硬件处理来实现各种功能。

另外，在上述实施方式中，示出了处理电路的单一的处理器实现各功能的情况的例子，但也可以组合多个独立的处理器构成处理电路，各处理器实现各功能。另外，在设置多个处理器的情况下，存储程序的存储电路可以按每个处理器单独设置，也可以一个存储电路统一存储与全部处理器的功能对应的程序。

对本发明的几个实施方式进行了说明，但这些实施方式作为例子而提示的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、主旨中，同样包含在权利要求书所记载的发明及其等同的范围内。

Claims (15)

1.一种医用图像处理装置，具备处理电路，

所述处理电路：

取得根据由被***到被检体的体内的超声波导管的检测器收集到的信号生成的超声波图像；

取得描绘出摄像对象物的X射线图像，所述摄像对象物是所述超声波导管的所述检测器、以及被***到所述被检体的体内的医用设备、以及所述被检体的体内的关注区域中的至少一个；

检测(a)所述X射线图像中描绘的所述超声波导管的所述检测器的位置、以及(b)所述超声波图像及所述X射线图像的至少一方中描绘的所述摄像对象物的位置；

基于所检测出的所述超声波导管的所述检测器的位置以及所述摄像对象物的位置，计算用于使所述超声波导管行进以使所述摄像对象物进入到所述检测器的视野内的行进辅助信息、或者用于使所述超声波导管行进以使所述摄像对象物接近所述检测器的视野的中心的行进辅助信息。

2.根据权利要求1所述的医用图像处理装置，其中，

所述处理电路，

进一步判定所述摄像对象物是否进入到所述检测器的视野内，

在所取得的所述超声波图像中描绘出所述摄像对象物时，判定为所述摄像对象物进入到所述检测器的视野内，在所取得的所述超声波图像中未描绘出所述摄像对象物时，判定为所述摄像对象物未进入到所述检测器的视野内。

3.根据权利要求2所述的医用图像处理装置，其中，

所述处理电路，

在所述摄像对象物进入到所述检测器的视野内的情况下，

根据所述超声波图像检测在所述视野内的所述摄像对象物的位置，根据所述X射线图像检测所述超声波导管的所述检测器的位置。

4.根据权利要求2所述的医用图像处理装置，其中，

所述处理电路，

在所述摄像对象物未进入到所述检测器的视野内的情况下，

根据所述X射线图像，检测所述超声波导管的所述检测器的位置和所述摄像对象物的位置。

5.根据权利要求2所述的医用图像处理装置，其中，

所述处理电路，

在所述摄像对象物未进入到所述检测器的视野内的情况下，

根据所述X射线图像，检测所述超声波导管的构成所述检测器的阵列面的重心位置和所述阵列面的朝向，

根据所述阵列面的重心位置、根据所述阵列面的朝向而计算出的法线矢量以及所述检测器的规定的扫描范围，计算所述检测器的所述视野。

6.根据权利要求1或2所述的医用图像处理装置，其中，

所述处理电路计算出的行进辅助信息包含所述超声波导管的行进量、所述超声波导管的行进方向、所述超声波导管的阵列面的角度以及所述超声波导管的推荐路径信息中的至少一个信息。

7.根据权利要求1或2所述的医用图像处理装置，其中，

还具备用于向操作者提供所述超声波导管的行进辅助信息的显示器。

8.根据权利要求1或2所述的医用图像处理装置，其中，

所述处理电路进一步控制对所述超声波导管进行辅助的辅助机器人。

9.根据权利要求7所述的医用图像处理装置，其中，

所述处理电路从所取得的多个超声波图像内提取描绘出所述摄像对象物的一部分或全部的超声波图像，并将所提取的所述超声波图像进一步输出至所述显示器。

10.根据权利要求1所述的医用图像处理装置，其中，

所述处理电路，

从所取得的多个超声波图像内提取描绘出所述摄像对象物的一部分或全部的超声波图像，

基于所提取的所述超声波图像，计算用于使所述超声波导管行进以使所述摄像对象物进入到所述检测器的视野内的行进辅助信息、或者用于使所述超声波导管行进以使所述摄像对象物接近所述检测器的视野的中心的行进辅助信息。

11.根据权利要求9所述的医用图像处理装置，其中，

所述处理电路使所提取的多个所述超声波图像按照从所提取的范围的一端的超声波图像朝向另外一端的超声波图像的顺序往复输出，或者以所提取的所述范围的中央附近的超声波图像为起点使其两端的超声波图像往复输出。

12.根据权利要求1所述的医用图像处理装置，其中，

所述被检体的体内的关注区域是进行治疗、诊断或治疗过程的辅助的部位。

13.一种X射线诊断***，具有医用图像处理装置和能够经由网络与所述医用图像处理装置进行通信的网络接口，

所述医学图像处理装置具备处理电路，

所述处理电路，

取得根据由被***到被检体的体内的超声波导管的检测器收集到的信号生成的超声波图像；

取得描绘出摄像对象物的X射线图像，所述摄像对象物是所述超声波导管的所述检测器、以及被***到所述被检体的体内的医用设备、以及所述被检体的体内的关注区域中的至少一个；

检测(a)所述X射线图像中描绘的所述超声波导管的所述检测器的位置、以及(b)所述超声波图像及所述X射线图像的至少一方中描绘的所述摄像对象物的位置；

基于所检测出的所述超声波导管的所述检测器的位置以及所述摄像对象物的位置，计算用于使所述超声波导管行进以使所述摄像对象物进入到所述检测器的视野内的行进辅助信息、或者用于使所述超声波导管行进以使所述摄像对象物接近所述检测器的视野的中心的行进辅助信息。

14.根据权利要求13所述的X射线诊断***，其中，

所述处理电路进一步控制对所述超声波导管的操作进行辅助的辅助机器人。

15.一种计算机可读取的存储介质，存储有用于使计算机执行如下步骤的医用图像处理程序：

取得根据由被***到被检体的体内的超声波导管的检测器收集到的信号生成的超声波图像；

取得描绘出摄像对象物的X射线图像，所述摄像对象物是所述超声波导管的所述检测器、以及被***到所述被检体的体内的医用设备、以及所述被检体的体内的关注区域中的至少一个；

检测(a)所述X射线图像中描绘的所述超声波导管的所述检测器的位置、以及(b)所述超声波图像及所述X射线图像的至少一方中描绘的所述摄像对象物的位置；

基于所检测出的所述超声波导管的所述检测器的位置以及所述摄像对象物的位置，计算用于使所述超声波导管行进以使所述摄像对象物进入到所述检测器的视野内的行进辅助信息、或者用于使所述超声波导管行进以使所述摄像对象物接近所述检测器的视野的中心的行进辅助信息。