CN113729777A - 超声波诊断装置以及图像处理装置 - Google Patents

Abstract

实施方式涉及超声波诊断装置以及图像处理装置，其使利用了超声波图像的测量的精度提高。本实施方式的超声波诊断装置具备检测部、推断部以及输出部。检测部从超声波图像中检测出将测量部位包覆于内的第一矩形。推断部基于所述第一矩形的位置信息，推断用于测量所述测量部位的测量点。输出部使与所述测量点相关的信息输出。

Description

超声波诊断装置以及图像处理装置

相关申请的参照

本申请享受2020年5月28日提出申请的日本专利申请号2020－93551的优先权的利益，在本申请中引用该日本专利申请的全部内容。

技术领域

本说明书以及附图所公开的实施方式涉及超声波诊断装置以及图像处理装置。

背景技术

超声波图像用于确认胎儿的发育。例如超声波诊断装置通过使用超声波图像，能够测量胎儿的胎头双顶径(BPD：biparietal diameter)、胎儿头围(HC：headcircumference)、腹围(AC：abdominal circumference)、股骨长度(FL：femur length)、肱骨长度(HL：humerus length)等参数(parameters)。

这里，在测量BPD、HC、AC、FL、HL等参数时，已知有通过基于亮度的图像处理来推断用于对测量部位进行测量的测量点的方法。但是，在该方法中，在超声波图像中存在与实际的测量部位的轮廓相比亮度更高的部分的情况下，有可能受到该亮度较高的部分的影响而推断测量点。

发明内容

本说明书以及附图所公开的实施方式将要解决的课题之一在于使利用了超声波图像的测量的精度提高。但是，通过本说明书以及附图所公开的实施方式解决的课题并不限定于上述课题。也可以将与后述的实施方式所示的各构成带来的各效果对应的课题定位为其他课题。

本实施方式的超声波诊断装置具备检测部、推断部以及输出部。检测部从超声波图像检测出将测量部位包覆于内的第一矩形。推断部基于所述第一矩形的位置信息，推断用于测量所述测量部位的测量点。输出部使与所述测量点相关的信息输出。

发明效果

根据实施方式的超声波诊断装置，使利用了超声波图像的测量的精度提高。

附图说明

图1是表示本实施方式的超声波诊断装置的构成的一个例子的框(block)图。

图2是用于说明对测量部位进行测量时的问题点的图。

图3是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图4是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图5是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图6是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图7是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图8是表示本实施方式的超声波诊断装置的处理的顺序的流程图(flowchart)。

图9是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图10是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图11是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图12是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图。

图13是表示本实施方式中的学习完毕模型生成装置的构成例的框图。

具体实施方式

以下，参照添附附图，对实施方式的超声波诊断装置以及图像处理装置进行说明。另外，实施方式并不限定于以下的实施方式。另外，一个实施方式所记载的内容原则上也同样适用于其他实施方式。

图1是表示本实施方式的超声波诊断装置1的构成例的框图。如图1所示，本实施方式的超声波诊断装置1具备装置主体100、超声波探头(probe)101、输入装置102、及显示器(display)103。超声波探头101、输入装置102以及显示器103分别连接于装置主体100。

超声波探头101执行超声波的收发(超声波扫描(scan))。例如超声波探头101接触被检体P的身体表面(例如孕妇的腹部)，对于孕妇的子宫内的包含胎儿的至少一部分的区域执行超声波的收发。超声波探头101具有多个压电振子。多个压电振子是具有将电信号(脉冲(pulse)电压)与机械振动(基于声音的振动)相互转换的压电效应的压电元件，基于从装置主体100供给的驱动信号(电信号)，产生超声波。产生的超声波在被检体P内的声学阻抗(impedance)的不匹配面反射，作为包含由组织内的散射体散射的成分等在内的反射波信号(电信号)被多个压电振子接收。超声波探头101将由多个压电振子接收到的反射波信号送向装置主体100。

另外，在本实施方式中，超声波探头101也可以使用在规定方向上具有一维排列的多个压电振子的1D阵列探头(array probe)、多个压电振子以格子状二维配置而成的2D阵列探头、通过使以一维排列的多个压电振子机械式地摆动从而扫描三维区域的机械(mechanical)4D探头等任意方式的超声波探头。

输入装置102具有鼠标(mouse)、键盘(keyboard)、按钮(button)、面板开关(panelswitch)、触摸指令屏(touch command screen)、脚踏开关(foot switch)、滚轮开关(wheelswitch)、跟踪球(trackball)、操纵杆(joystick)等，受理来自超声波诊断装置1的操作者的各种设定请求，对于装置主体100传送所受理的各种设定请求。

显示器103显示超声波诊断装置1的操作者使用输入装置102输入各种设定请求所用的GUI(Graphical User Interface)、或显示在装置主体100中生成的超声波图像数据(data)等。另外，显示器103为了向操作者通知装置主体100的处理状况而显示各种消息(message)。另外，显示器103是“显示部”的一个例子。

装置主体100是基于超声波探头101接收到的反射波信号而生成超声波图像数据的装置。由装置主体100生成的超声波图像数据可以是基于二维的反射波信号而生成的二维的超声波图像数据，也可以是基于三维的反射波信号而生成的三维的超声波图像数据。

如图1所示，装置主体100例如具有收发电路110、B模式(B mode)处理电路120、多普勒(doppler)处理电路130、图像处理电路140、图像存储器(memory)150、存储电路160、及控制电路170。收发电路110、B模式处理电路120、多普勒处理电路130、图像处理电路140、图像存储器150、存储电路160以及控制电路170以能够通信的方式相互连接。另外，装置主体100连接于院内的网络(network)2。

收发电路110控制超声波探头101的超声波的发送。例如收发电路110基于控制电路170的指示，按照每个振子以被赋予了规定的发送延迟时间的定时(timing)对超声波探头101施加上述的驱动信号(驱动脉冲)。由此，收发电路110使超声波被集束成波束状的超声波波束发送到超声波探头101。

另外，收发电路110控制超声波探头101的反射波信号的接收。反射波信号如上述那样，是从超声波探头101发送的超声波在被检体P的体内组织反射后得到的信号。例如收发电路110基于控制电路170的指示，对超声波探头101接收到的反射波信号赋予规定的延迟时间而进行加法处理。由此，来自与反射波信号的接收指向性相应的方向的反射成分被强调。然后，收发电路110将加法处理后的反射波信号转换为基带(baseband)频带的同相信号(I信号，I：In-phase)和正交信号(Q信号，Q：Quadrature-phase)。然后，收发电路110将I信号以及Q信号(以下，记载为IQ信号)作为反射波数据，送向B模式处理电路120以及多普勒处理电路130。另外，收发电路110也可以将加法处理后的反射波信号在转换为RF(RadioFrequency)信号的基础上向B模式处理电路120以及多普勒处理电路130发送。IQ信号、RF信号成为包含相位信息的信号(反射波数据)。

B模式处理电路120对于收发电路110根据反射波信号生成的反射波数据进行各种信号处理。B模式处理电路120对于从收发电路110接收到的反射波数据进行对数放大、包络线检波处理等，生成以亮度的明亮程度表现每个采样点(sample point)(观测点)的信号强度的数据(B模式数据)。B模式处理电路120将生成的B模式数据向图像处理电路140发送。

另外，B模式处理电路120执行用于进行将高次谐波成分影像化的谐波成像(harmonic imaging)的信号处理。作为谐波成像，已知有对比度谐波成像(CHI：ContrastHarmonic Imaging)、组织谐波成像(THI：Tissue Harmonic Imaging)。另外，在对比度谐波成像、组织谐波成像中，作为扫描方式，已知有振幅调制(AM：Amplitude Modulation)、被称作“脉冲减影(Pulse Subtraction)法”或“反向脉冲(Pulse Inversion)法”的相位调制(PM：Phase Modulation)、以及通过将AM与PM组合、从而可获得AM的效果以及PM的效果这两方的AMPM等。

多普勒处理电路130通过收发电路110根据反射波信号生成的反射波数据，生成在扫描区域内的各采样点提取了基于移动体的多普勒效应的运动信息后得到的数据，作为多普勒数据。这里，移动体的运动信息是移动体的平均速度、方差值、能量(power)值等信息，移动体例如是血流、心壁等组织、造影剂。多普勒处理电路130将生成的多普勒数据向图像处理电路140发送。

例如在移动体是血流的情况下，血流的运动信息是血流的平均速度、方差值、能量等信息(血流信息)。血流信息例如通过彩色(color)多普勒法获得。

在彩色多普勒法中，首先，在同一扫描线上进行多次超声波的收发，接下来，使用MTI(Moving Target Indicator)滤波器(filter)，对于表示同一位置(同一采样点)的反射波数据的数据列的信号，使特定频带的信号通过，使除此以外的频带的信号衰减。即，抑制来自于静止的组织、或者运动慢的组织的信号(杂波(clutter)成分)。由此，从对反射波数据的数据列进行表示的信号中提取与血流相关的血流信号。而且，在彩色多普勒法中，根据所提取的血流信号，推断血流的平均速度、方差值、能量等血流信息，并生成推断出的血流信息作为多普勒数据。

图像处理电路140进行图像数据(超声波图像数据)的生成处理、对于图像数据的各种图像处理等。例如图像处理电路140根据B模式处理电路120生成的二维的B模式数据，生成以亮度表示反射波的强度的二维B模式图像数据。另外，图像处理电路140根据多普勒处理电路130生成的二维的多普勒数据，生成血流信息被影像化了的二维多普勒图像数据。二维多普勒图像数据是表示血流的平均速度的速度图像数据、表示血流的方差值的方差图像数据、表示血流的能量的能量图像数据、或者将它们组合的图像数据。图像处理电路140作为多普勒图像数据，生成以彩色显示血流的平均速度、方差值、能量等血流信息的彩色多普勒图像数据，或生成以灰度显示一个血流信息的多普勒图像数据。

这里，图像处理电路140一般来说将超声波扫描的扫描线信号列转换(扫描转换(scan convert))为以电视(television)等代表的视频格式(video format)的扫描线信号列，生成显示用的超声波图像数据。具体而言，图像处理电路140根据超声波探头101的超声波的扫描方式进行坐标转换，从而生成显示用的超声波图像数据。另外，图像处理电路140除了扫描转换以外，作为各种图像处理，例如使用扫描转换后的多个图像帧(frame)进行对亮度的平均值图像进行再生成的图像处理(平滑化处理)和在图像内使用微分滤波器的图像处理(边缘(edge)强调处理)等。另外，图像处理电路140在超声波图像数据中合成各种参数的字符信息、刻度、身体标记(body mark)等。

即，B模式数据以及多普勒数据是扫描转换处理前的超声波图像数据，图像处理电路140生成的数据是扫描转换处理后的显示用的超声波图像数据。另外，B模式数据以及多普勒数据也被称作原始数据(Raw Data)。图像处理电路140根据扫描转换处理前的二维超声波图像数据生成显示用的二维超声波图像数据。

而且，图像处理电路140通过对B模式处理电路120生成的三维的B模式数据进行坐标转换，生成三维B模式图像数据。另外，图像处理电路140通过对多普勒处理电路130生成的三维的多普勒数据进行坐标转换，生成三维多普勒图像数据。

而且，图像处理电路140为了生成用于在显示器103上对体(volume)图像数据进行显示的各种二维图像数据，对于体图像数据进行绘制(rendering)处理。作为图像处理电路140进行的绘制处理，例如有进行多平面重建法(MPR：Multi Planer Reconstruction)而根据体图像数据生成MPR图像数据的处理。另外，作为图像处理电路140进行的绘制处理，例如有对反映了三维图像的信息的二维图像数据进行生成的体绘制(VR：Volume Rendering)处理。另外，作为图像处理电路140进行的绘制处理，例如有对仅提取出三维图像的表面信息的二维图像数据进行生成的表面绘制(SR：Surface Rendering)处理。

图像处理电路140将生成的图像数据、进行了各种图像处理后得到的图像数据储存于图像存储器150。另外，图像处理电路140也可以与图像数据一并，也生成表示各图像数据的显示位置的信息、用于辅助超声波诊断装置1的操作的各种信息、与患者信息等诊断相关的附带信息，并储存于图像存储器150。

另外，本实施方式的图像处理电路140执行图像生成功能141、检测功能142、推断功能143、及显示控制功能144。另外，检测功能142是检测部的一个例子。推断功能143是推断部的一个例子。显示控制功能144是输出部的一个例子。

这里，作为图1所示的图像处理电路140的构成要素的图像生成功能141、检测功能142、推断功能143、显示控制功能144所执行的各处理功能例如以能够由计算机(computer)执行的程序(program)的方式记录于存储电路160。图像处理电路140是从存储电路160读出并执行各程序、从而实现各程序所对应的功能的处理器(processor)。换言之，读出了各程序的状态的图像处理电路140将会具有图1的图像处理电路140内所示的各功能。关于图像处理电路140所执行的图像生成功能141、检测功能142、推断功能143、显示控制功能144的处理内容，将在后面叙述。

另外，在图1中，说明了在单一的图像处理电路140中实现由图像生成功能141、检测功能142、推断功能143、显示控制功能144进行的各处理功能，但也可以将多个独立的处理器组合而构成处理电路，由各处理器执行程序来实现功能。

在上述说明中使用的“处理器”这一词语例如指的是CPU(Central ProcessingUnit)、GPU(Graphics Processing Unit)、面向特定用途的集成电路(ApplicationSpecific Integrated Circuit：ASIC))、可编程逻辑器件(例如简单可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复杂可编程逻辑器件(ComplexProgrammable Logic Device：CPLD)以及现场可编程门阵列(Field Programmable GateArray：FPGA))等电路。在处理器例如是CPU的情况下，处理器读出并执行保存于存储电路60的程序来实现功能。另一方面，在处理器例如是ASIC的情况下，取代在存储电路60中保存程序，而是在处理器的电路内直接编入程序。另外，本实施方式的各处理器不限于按每个处理器构成为单一的电路的情况，也可以将多个独立的电路组合而构成为一个处理器并实现其功能。而且，也可以将图1中的多个构成要素合并到一个处理器中来实现其功能。

图像存储器150以及存储电路160例如是RAM(Random Access Memory)、闪存(Flash Memory)等半导体存储元件、或者硬盘(hard disk)、光盘等存储装置等。

图像存储器150是存储图像处理电路140所生成的B模式图像数据、多普勒图像数据等图像数据作为超声波图像数据的存储器。另外，图像存储器150也可以存储B模式处理电路120所生成的B模式数据、多普勒处理电路130所生成的多普勒数据等图像数据作为超声波图像数据。图像存储器150存储的超声波图像数据例如可以在诊断之后由操作者调出，经由图像处理电路140而成为显示用的超声波图像数据。

存储电路160存储用于进行超声波收发、图像处理以及显示处理的控制程序、诊断信息(例如患者ID、医生的发现等)、诊断协议(protocol)、各种身体标记等各种数据。另外，存储电路160存储的数据能够经由未图示的接口(interface)部向外部装置传送。另外，外部装置例如是进行图像诊断的医生使用的PC(Personal Computer)、CD、DVD等存储介质、或打印机(printer)等。另外，如果超声波诊断装置1能够在网络2上访问(access)，则存储电路160也可以不内置于超声波诊断装置1。

另外，存储电路160存储学习完毕模型(model)400。学习完毕模型400是如下模型，其通过使用了在过去实施超声波扫描时的超声波图像数据、及表示该超声波图像数据中的包含测量部位的区域的学习用数据的学习而生成。作为该学习，例如可列举使用了基于神经网络的AI(Artificial Intelligence)的学习、机器学习等。通过该学习，学习完毕模型400被赋予如下功能：接受作为输入数据的超声波图像数据的输入，输出对检测出该超声波图像数据中的包含测量部位的区域的结果进行表示的输出数据。这里，作为测量部位，可列举胎儿的头部、腹部、大腿部、上臂部等。关于学习完毕模型400的使用、生成，之后进行叙述。

控制电路170控制超声波诊断装置1的处理整体。具体而言，控制电路170基于经由输入装置102从操作者输入的各种设定请求、从存储电路160读入的各种控制程序以及各种数据，控制收发电路110、B模式处理电路120、多普勒处理电路130、图像处理电路140等的处理。

另外，内置于装置主体100的收发电路110、B模式处理电路120、多普勒处理电路130、图像处理电路140以及控制电路170等有时由处理器(CPU(Central ProcessingUnit)、MPU(Micro-Processing Unit)，集成电路等)的硬件(hardware)构成，但有时由在软件上被模块化的程序构成。

如此构成的超声波诊断装置1例如作为确认孕妇子宫内的胎儿的发育的用途，由超声波探头101对于孕妇子宫内的包含胎儿的一部分(测量部位)的区域执行超声波的收发(超声波扫描)，图像处理电路140基于该扫描结果，生成将包含测量部位的区域图像化后的超声波图像。例如在超声波诊断装置1中，并非是使用了卡钳(caliper)的手动测量，而是从超声波图像自动检测胎儿的头部、腹部等测量部位，推断用于测量胎儿的胎头双顶径(BPD)、胎儿头围(HC)、腹围(AC)、股骨长度(FL)、肱骨长度(HL)等参数的测量点。另外，在超声波诊断装置1中，通过使用利用上述测量点测量出的参数，能够对推断胎儿体重(EFW)进行计算。

以上，说明了本实施方式的超声波诊断装置1的整体构成。根据该构成，在本实施方式的超声波诊断装置1中，能够使利用了超声波图像的测量的精度提高。

例如已知有在测量BPD、HC、AC、FL、HL等参数时，通过基于亮度的图像处理来推断用于对测量部位进行测量的测量点的方法。具体而言，在根据超声波图像测量BPD、HC、AC等参数的情况下，用椭圆近似头部、腹部等测量部位的轮廓，基于亮度值在超声波图像内检测椭圆形状的高亮度区域，从而推断用于测量该测量部位的测量点。在该情况下，测量点是椭圆的长轴的端点、短轴的端点。同样，在根据超声波图像测量FL、HL等参数的情况下，基于亮度值在超声波图像内检测相当于股骨、肱骨等测量部位的棒状的区域，从而推断用于测量该测量部位的测量点。在该情况下，测量点是棒状的区域的两端点。但是，在应用该方法的情况下，存在以下那样的问题点。

图2是用于说明对测量部位进行测量时的问题点的图。例如在根据超声波图像测量HC的情况下，如图2所示，使用亮度检测对测量部位的轮廓进行近似后得到的椭圆HC100，从而推断用于测量该测量部位的测量点P101～P103。但是，在超声波图像中，在存在亮度比由椭圆HC100表示的实际的测量部位的轮廓的亮度高的部分的情况下，有可能受到该亮度较高的部分的影响而推断测量点。例如如图2所示，在存在亮度比由椭圆HC100表示的轮廓的亮度高的部分、且以包含该部分的方式检测出椭圆HC200的情况下，位于测量部位的外侧的点P201被推断为测量点。如此，在基于亮度检测测量部位的情况下，由于根据测量部位以外的高亮度的部分，有可能无法推断出正确的测量点，因此存在不能高精度地测量BPD、HC、AC、FL、HL等参数的情况。

因此，在本实施方式的超声波诊断装置1中，检测功能142从超声波图像检测将测量部位包覆于内的第一矩形。推断功能143基于第一矩形的位置信息，推断用于测量测量部位的测量点。显示控制功能144输出与测量点相关的信息。

以下，使用图3～图8，对图像生成功能141、检测功能142、推断功能143、显示控制功能144的各功能进行说明。

图3～图7是用于说明本实施方式的超声波诊断装置1的图像处理电路140的处理的图。图3～图7是例如超声波诊断装置1使用超声波图像从而测量胎儿的腹围(AC)的情况下的说明图。在该情况下，测量部位是胎儿的腹部。图8是表示本实施方式的超声波诊断装置1的处理的顺序的流程图。在图8中，示出对超声波诊断装置1整体的动作(图像处理方法)进行说明的流程图，对各构成要素与流程图的哪个步骤(step)对应进行说明。

图8的步骤S101是由超声波探头101实施的步骤。在步骤S101中，超声波探头101实施超声波扫描。具体而言，超声波探头101接触被检体P的体表面(孕妇的腹部)，对于孕妇的子宫内的包含胎儿的一部分(测量部位)的区域执行超声波扫描，作为超声波扫描的结果，收集上述区域的反射波信号。

图8的步骤S102是图像处理电路140从存储电路160调出图像生成功能141所对应的程序并执行的步骤。在步骤S102中，图像生成功能141生成超声波图像。

具体而言，图像生成功能141基于通过超声波探头101获得的反射波信号，生成图3所示那样的超声波图像200。超声波图像200是将包含测量部位的区域图像化了的超声波图像数据。这里，图像生成功能141也可以使用由B模式处理电路120生成的B模式数据来生成B模式图像数据，从而生成上述超声波图像200，也可以使用图像存储器150存储的超声波图像数据来生成上述超声波图像200。

图8的步骤S103是图像处理电路140从存储电路160调出检测功能142所对应的程序并执行的步骤。在步骤S103中，检测功能142从超声波图像200中检测将测量部位包覆于内的第一边界框(bounding box)。

具体而言，首先，检测功能142使用从存储电路160读出的学习完毕模型400，从超声波图像200中检测测量部位。学习完毕模型400接受作为输入数据的超声波图像数据的输入，输出对该超声波图像数据中的测量部位进行检测后得到的结果即输出数据。例如学习完毕模型400输出将对作为测量部位的腹部的轮廓进行近似后得到的椭圆包覆于内的矩形，作为输出数据。该矩形也被称作边界框(外切矩形)。检测功能142通过向学习完毕模型400输入超声波图像200，作为对以椭圆近似了轮廓的胎儿的腹部的位置以及大小进行表示且将胎儿的腹部包覆于内的边界框，检测出图4所示那样的第一边界框210。第一边界框210是“第一矩形”的一个例子。

另外，检测功能142使用学习完毕模型400，从超声波图像200中检测规定的构造物。学习完毕模型400接受作为输入数据的超声波图像数据的输入，输出对该超声波图像数据中的规定的构造进行检测后得到的结果即输出数据。在测量部位是胎儿的腹部的情况下，规定的构造物是胎儿的脊椎。例如如图4所示，检测功能142通过向学习完毕模型400输入超声波图像200，检测出脊椎202，作为输出数据而输出。

这里，推断功能143基于第一边界框210的位置信息，推断用于测量胎儿的腹部的临时的测量点。例如如图4所示，推断功能143将近似了胎儿的腹部的轮廓后得到的椭圆与第一边界框210内切的点211～213推断为临时的测量点。测量点211～213成为与第一边界框210内切的椭圆的长轴的端点、短轴的端点，成为第一边界框210的长边的中点、短边的中点。

图8的步骤S104是图像处理电路140从存储电路160调出检测功能142所对应的程序并执行的步骤。在步骤S104中，检测功能142基于第一边界框210的位置信息与规定的构造物的位置信息，检测测量部位的朝向。

具体而言，首先，检测功能142如图4所示，在超声波图像200中，检测出将第一边界框210的中心C210与作为规定的构造物的胎儿的脊椎202的中心连结的线段L210。接下来，检测功能142检测出线段L210的方向作为测量部位即胎儿的腹部的朝向。在图4所示的一个例子中，线段L210的方向在以超声波图像200所显示的画面的纵向或者横向为基准的情况下，示出了顺时针或者逆时针倾斜了角度θ。超声波图像200所显示的画面的纵向、横向分别相当于超声波图像200的像素的列方向、行方向。例如如图4所示，线段L210的方向在以超声波图像200所显示的画面的纵向为基准的情况下，逆时针倾斜了角度θ。

图8的步骤S105是图像处理电路140从存储电路160调出检测功能142所对应的程序并执行的步骤。在步骤S105中，检测功能142进行判定在步骤S104中检测出的测量部位是否倾斜的处理。

如上述那样，检测功能142检测出的线段L210的方向可以视为作为测量部位的胎儿的腹部的朝向。例如在超声波图像200中描绘的腹部在以超声波图像200所显示的画面的纵向为基准的情况下，可以视为逆时针倾斜了角度θ。在该情况下，在步骤S105的判定处理中，检测功能142判定为在步骤S104中检测出的测量部位倾斜(步骤S105；是)。

图8的步骤S106是图像处理电路140从存储电路160调出检测功能142所对应的程序并执行的步骤。在步骤S106中，检测功能142基于在步骤S104中检测出的测量部位的朝向，对于超声波图像200进行旋转处理。具体而言，检测功能142以使线段L210的方向成为超声波图像200所显示的画面的纵向或者横向的方式进行旋转处理。

通过进行旋转处理，作为测量部位的胎儿的腹部的前后方向成为画面的纵向或者横向、左右方向成为画面的横向或者纵向的可能性变大。即，通过进行旋转处理，作为腹部的轮廓被检测出的椭圆的长轴或者短轴成为超声波图像200所显示的画面的纵向或者横向的可能性变大。而且，通过进行该旋转处理，边界框的一边成为超声波图像200所显示的画面的纵向或者横向的可能性变大。

例如如图5所示，检测功能142以使线段L210的方向成为超声波图像200所显示的画面的纵向的方式进行旋转处理。即，线段L210的方向在以超声波图像200所显示的画面的纵向为基准的情况下，逆时针倾斜了角度θ，因此检测功能142使超声波图像200顺时针旋转角度θ。

图8的步骤S107是图像处理电路140从存储电路160调出检测功能142所对应的程序并执行的步骤。在步骤S107中，检测功能142从在步骤S106中执行的旋转处理后的超声波图像200中检测将测量部位包覆于内的第二边界框。

具体而言，检测功能142通过对学习完毕模型400输入旋转处理后的超声波图像200，作为对以椭圆近似了轮廓的胎儿的腹部的位置以及大小进行表示并将胎儿的腹部包覆于内的边界框，检测出图5所示那样的第二边界框220。在该情况下，边界框从第一边界框210变更为第二边界框220。例如第二边界框220是“第二矩形”的一个例子。

图8的步骤S108是图像处理电路140从存储电路160调出推断功能143所对应的程序并执行的步骤。在步骤S108中，推断功能143基于第二边界框220的位置信息，推断用于测量胎儿的腹部的测量点。

具体而言，如图5所示，推断功能143将对胎儿的腹部的轮廓进行近似后得到的椭圆224与第二边界框220内切的点221～223推断为测量点。点221～223成为椭圆224的长轴的端点、短轴的端点，并成为第二边界框220的长边的中点、短边的中点。在该情况下，推断功能143作为用于测量胎儿的腹部的测量点，将基于第一边界框210的位置信息的测量点211～213更新为基于第二边界框220的位置信息的测量点221～223。

另外，在步骤S105的判定处理中，在以超声波图像200所显示的画面的纵向或者横向为基准时，检测功能142检测出的线段L210的方向成为超声波图像200所显示的画面的纵向或者横向的情况下，超声波图像200中描绘的腹部能够被视为未倾斜。在该情况下，检测功能142判定为在步骤S104中检测出的测量部位未倾斜(步骤S105；否)，不执行步骤S106、S107，而是执行步骤S108。即，检测功能142对于超声波图像200不进行旋转处理，在步骤S108中，推断功能143将基于第一边界框210的位置信息的测量点211～213设为用于测量胎儿的腹部的测量点。

图8的步骤S109是图像处理电路140从存储电路160调出显示控制功能144所对应的程序并执行的步骤。在步骤S109中，显示控制功能144通过画面输出与测量点221～223相关的信息。

例如显示控制功能144作为与测量点221～223相关的信息，使表示测量点221～223的位置的标记(mark)被描绘在进行旋转处理之前的超声波图像200上的图像显示于显示器103。具体而言，首先，显示控制功能144如图5所示，将表示测量点221～223的位置的标记描绘于旋转处理后的超声波图像200。这里，描绘了表示测量点221～223的位置的标记的超声波图像200是使图4所示的超声波图像200顺时针旋转角度θ后的图像。因此，如图6所示，显示控制功能144使描绘了表示测量点221～223的位置的标记的超声波图像200逆时针旋转角度θ。此时，如图7所示，在显示器103上显示对测量点221～223的位置进行表示的标记被描绘于进行旋转处理之前的超声波图像200的图像。另外，在显示器103上，在该图像上重叠地显示测量点221～223成为长轴的端点和短轴的端点的椭圆224。

这里，显示控制功能144也可以在作为与测量点221～223相关的信息将图7所示的图像显示于显示器103时，向操作者通知测量点221～223被推断出这一意思。例如也可以在输入装置102或者显示器103设置LED(Light Emitting Diode)等灯(lamp)，由显示控制功能144将灯点亮，从而向操作者通知测量点221～223被推断出这一意思，然后将图7所示的图像显示于显示器103。例如也可以是，显示控制功能144通过消息将测量点221～223被推断出这一意思显示于显示器103，然后将图7所示的图像显示于显示器103。例如也可以是，显示器103具有扬声器(speakers)(未图示)，由显示控制功能144输出蜂鸣(beep)声等规定的声音，然后将图7所示的图像显示于显示器103。

另外，图7所示的图像上显示的标记能够由操作者变更。例如操作者通过操作输入装置102，能够使显示于图像上的标记移动。

由此，推断功能143通过使用超声波图像200与测量点221～223，能够测量胎儿的腹围(AC)。例如推断功能143在超声波图像200中，测量由测量点221～223形成的椭圆224的周长作为AC。

如此，在本实施方式的超声波诊断装置1中，检测功能142从超声波图像200中检测出将测量部位包覆于内的第一边界框210，推断功能143基于第一边界框210的位置信息，推断用于测量测量部位的测量点。具体而言，检测功能142从超声波图像200中与第一边界框210一并检测出规定的构造物。接下来，检测功能142基于规定的构造物的位置信息与第一边界框210的位置信息，对于超声波图像200进行旋转处理，从进行了旋转处理的超声波图像200中检测出将测量部位包覆于内的第二边界框220。接下来，推断功能143作为用于测量测量部位的测量点，将基于第一边界框210的位置信息的测量点211～213更新为基于第二边界框220的位置信息的测量点221～223。然后，显示控制功能144使与测量点221～223相关的信息输出。

由此，在本实施方式的超声波诊断装置1中，并非基于高亮度区域检测符合测量部位的轮廓的椭圆来推断测量点，而是检测出将测量部位整体包覆于内的边界框来推断测量点，因此使用了超声波图像200的测量的精度提高。另外，在本实施方式的超声波诊断装置1中，通过使用边界框来根据测量部位整体推断测量点，因此相比于一个点一个点地推断难以出现特征的测量点，能够高效地推断测量点。

另外，虽然不限于使用了学习完毕模型400的检测，但在部位检测中，成为检测对象的部位的姿势不倾斜时，能够在更准确的位置检测部位。在本实施方式中，利用边界框检测测量部位，并且检测能够推断测量部位的姿势的规定的构造物，以将测量部位包覆于内的边界框的一边成为纵向或者横向的方式使检测对象的图像旋转。而且，在本实施方式中，根据旋转处理后的图像再次进行边界框的检测处理，从而能够在更准确的位置检测部位，其结果，也能够提高测量点的推断精度。

在上述的实施方式中，说明了测量胎儿的腹围(AC)的情况，但并不限定于此，在测量胎儿的胎头双顶径(BPD)、胎儿头围(HC)、股骨长度(FL)、肱骨长度(HL)等参数的情况下，也能够应用本实施方式。

首先，对测量BPD、HC等参数的情况进行说明。图9是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图，并且是测量BPD、HC等参数的情况下的说明图。

例如在执行了步骤S101、S102之后，在步骤S103中，检测功能142从超声波图像中检测将测量部位包覆于内的第一边界框。具体而言，检测功能142通过向学习完毕模型400输入超声波图像500，作为对以椭圆近似了轮廓的胎儿的头部的位置以及大小进行表示且将胎儿的头部包覆于内的边界框，检测出图9所示那样的第一边界框510。另外，检测功能142通过向学习完毕模型400输入超声波图像500，检测规定的构造物。例如在测量部位是胎儿头部的情况下，规定的构造物是胎儿的透明隔腔502。这里，推断功能143基于第一边界框510的位置信息，推断用于测量胎儿的头部的临时的测量点。例如如图9所示，推断功能143将对胎儿头部的轮廓进行近似后得到的椭圆与第一边界框510内切的点511～514推断为临时的测量点。

在步骤S104中，检测功能142基于第一边界框510的位置信息与规定的构造物的位置信息，检测测量部位的朝向。具体而言，首先，检测功能142如图9所示，在超声波图像500中检测出将第一边界框510的中心C510与作为规定的构造物的胎儿的透明隔腔502的中央部连结的线段L510。接下来，检测功能142检测出线段L510的方向作为测量部位即胎儿的头部的朝向。例如在以超声波图像500所显示的画面的纵向或者横向为基准的情况下，线段L510的方向成为超声波图像500所显示的画面的横向。

在步骤S105中，检测功能142进行判定在步骤S104中检测出的测量部位是否倾斜的处理。

在步骤S105的判定处理中，在以超声波图像500所显示的画面的纵向或者横向为基准时，检测功能142检测出的线段L510的方向成为超声波图像500所显示的画面的纵向或者横向的情况下，超声波图像500中描绘出的头部能够被视为未倾斜。在该情况下，检测功能142判定为在步骤S104中检测出的测量部位未倾斜(步骤S105；否)，不执行步骤S106、S107的处理，而是执行步骤S108的处理。即，检测功能142对于超声波图像500不进行旋转处理，而是在步骤S108中，推断功能143将基于第一边界框310的位置信息的测量点511～514设为用于测量胎儿的头部的测量点。

在步骤S109中，显示控制功能144作为与测量点511～514相关的信息，使表示测量点511～514的位置的标记被描绘于超声波图像500的图像显示于显示器103。

由此，推断功能143通过使用超声波图像500与测量点511～514，能够测量HC。例如推断功能143在超声波图像500中测量由测量点511～514形成的椭圆的周长作为HC。

由此，推断功能143通过使用超声波图像500与测量点511～514，能够测量HC。例如推断功能143在超声波图像500中测量由测量点511～514形成的椭圆的周长作为HC。

另外，推断功能143通过使用超声波图像500与测量点513、514，能够测量BPD。例如推断功能143在超声波图像500中测量将测量点513与测量点514连结的线段的长度作为BPD。

另外，在步骤S105的判定处理中，在检测功能142判定为在步骤S104中检测出的测量部位倾斜的情况下(步骤S105；是)，执行以下的步骤S106～S109的处理。

首先，在步骤S106中，检测功能142基于在步骤S104中检测出的测量部位的朝向，对于超声波图像500进行旋转处理。具体而言，检测功能142以使线段L510的方向成为超声波图像500所显示的画面的纵向或者横向的方式进行旋转处理。接下来，在步骤S107中，检测功能142从在步骤S106中执行的旋转处理后的超声波图像500中检测将测量部位包覆于内的第二边界框。具体而言，检测功能142通过向学习完毕模型400输入旋转处理后的超声波图像500，作为对以椭圆近似了轮廓的胎儿的头部的位置以及大小进行表示且将胎儿的头部包覆于内的边界框，检测出第二边界框。

接下来，在步骤S108中，推断功能143基于第二边界框的位置信息，推断用于测量胎儿的头部的测量点。具体而言，推断功能143将对胎儿的头部的轮廓进行近似后得到的椭圆与第二边界框内切的点推断为测量点。在该情况下，推断功能143作为用于测量胎儿的头部的测量点，将基于第一边界框510的位置信息的测量点511～514更新为基于第二边界框的位置信息的测量点。然后，在步骤S109中，显示控制功能144作为与测量点相关的信息，使表示更新后的测量点的位置的标记被描绘于超声波图像500的图像显示于显示器103。

另外，在步骤S103中，例以在测量部位是胎儿的头部的情况下，以规定的构造物是胎儿的透明隔腔502的情况为例，但并不限定于此。

例如如图10所示，在测量部位是胎儿的头部的情况下，规定的构造物也可以是胎儿的四叠体池503。在该情况下，在步骤S104中，首先，检测功能142如图10所示，在超声波图像500中检测出将第一边界框510的中心C510和作为规定的构造物的胎儿的四叠体池503的中央部连结的线段L510。接下来，检测功能142检测线段L510的方向作为测量部位即胎儿的头部的朝向。之后，进行步骤S105以后的处理。例如在测量部位未倾斜的情况下(步骤S105；否)，对于超声波图像500不进行旋转处理，根据第一边界框310的位置信息推断测量点511～514(步骤S108)，将与测量点511～514相关的信息显示于显示器103(步骤S109)。另一方面，若测量部位倾斜(步骤S105；是)，则对于超声波图像500进行旋转处理(步骤S106)，并从旋转处理后的超声波图像500检测出将测量部位包覆于内的第二边界框(步骤S107)。然后，根据第二边界框的位置信息推断测量点(步骤S108)，将与测量点相关的信息显示于显示器103(步骤S109)。在图10所示的例子中，即使在规定的构造物是胎儿的四叠体池503的情况下，也与规定的构造物是透明隔腔502的情况相同，能够检测胎儿的头部的朝向。

另外，例如如图11所示，在测量部位是胎儿的头部的情况下，规定的构造物也可以是胎儿的透明隔腔502以及四叠体池503。在该情况下，在步骤S104中，首先，检测功能142如图11所示，在超声波图像500中检测出将第一边界框510的中心C510与作为规定的构造物的胎儿的透明隔腔502以及四叠体池503的中央部连结的线段L510。接下来，检测功能142检测线段L510的方向作为测量部位即胎儿的头部的朝向。之后，进行步骤S105以后的处理。例如在测量部位未倾斜的情况下(步骤S105；否)，对于超声波图像500不进行旋转处理，根据第一边界框310的位置信息，推断测量点511～514(步骤S108)，将与测量点511～514相关的信息显示于显示器103(步骤S109)。另一方面，若测量部位倾斜(步骤S105；是)，则对于超声波图像500进行旋转处理(步骤S106)，从旋转处理后的超声波图像500检测出将测量部位包覆于内的第二边界框(步骤S107)。然后，根据第二边界框的位置信息，推断测量点(步骤S108)，将与测量点相关的信息显示于显示器103(步骤S109)。在图11所示的例子中，规定的构造物是胎儿的透明隔腔502以及四叠体池503，因此与规定的构造物是透明隔腔502以及四叠体池503中的某一个的情况相比，能够更准确地检测胎儿的头部的朝向。

接下来，对测量FL的情况进行说明。图12是用于说明本实施方式的超声波诊断装置的图像处理电路的处理的图，并且是测量FL的情况下的说明图。

例如在执行步骤S101、S102之后，在步骤S103中，检测功能142从超声波图像中检测出将测量部位包覆于内的第一边界框。具体而言，学习完毕模型400在被输入超声波图像数据后，输出与相当于作为测量部位的股骨的棒状的区域外切的边界框作为输出数据。检测功能142通过向学习完毕模型400输入超声波图像600，作为对与棒状的区域近似的胎儿的大腿部的位置以及大小进行表示且将胎儿的大腿部包覆于内的边界框，检测出图12所示那样的第一边界框610。这里，检测功能142在测量部位是股骨、肱骨的情况下，不执行步骤S104～S107。

在步骤S108中，推断功能143基于第一边界框610的位置信息，推断用于测量胎儿的大腿部的测量点。例如如图12所示，推断功能143将相当于胎儿的大腿部的棒状的区域与第一边界框610内切的点611、612推断为测量点。测量点611、612相当于股骨的两端部。

在步骤S109中，显示控制功能144作为与测量点611、612相关的信息，使表示测量点611、612的位置的标记被描绘于超声波图像600的图像显示于显示器103。

由此，推断功能143通过使用超声波图像600与测量点611、612，能够测量FL。例如推断功能143在超声波图像600中测量出将测量点611与测量点612连结的线段的长度作为FL。

在测量HL的情况下也同样例如执行步骤S101～S103、S108、S109，由此，推断功能143在超声波图像中测量出将两个测量点连结的线段的长度作为HL。

这里，对通过机器学习生成学习完毕模型400的处理进行说明。

学习完毕模型400例如由区别于超声波诊断装置1的另一装置(以下，记载为学习完毕模型生成装置)生成，并在超声波诊断装置1内保管(例如存储于存储电路160)。这里，学习完毕模型生成装置可以由超声波诊断装置1实现，例如学习完毕模型400也可以由超声波诊断装置1(例如推断功能143)生成，并保管于其存储电路160。以下，以学习完毕模型400由学习完毕模型生成装置生成并保管于超声波诊断装置1内的情况为例进行说明。

图13是表示本实施方式中的学习完毕模型生成装置300的构成例的框图。如图13所示，学习完毕模型生成装置300具有输入装置302、显示器303、图像处理电路340、及存储电路360。学习完毕模型生成装置300被用作生成学习完毕模型400的浏览器。

输入装置302具有鼠标、键盘、按钮、面板开关、触摸指令屏、脚踏开关、滚轮、跟踪球、操纵杆等，受理来自学习完毕模型生成装置300的操作者的各种设定请求，对于图像处理电路340传送所受理的各种设定请求。显示器303是由学习完毕模型生成装置300的操作者参照的监视器。

图像处理电路340控制学习完毕模型生成装置300的处理整体。例如图像处理电路340如图13所示，执行学习用数据取得功能341、学习完毕模型生成功能342。

存储电路360例如是RAM、闪存等半导体存储元件、或者硬盘、光盘等存储装置等。这里，作为图像处理电路340的构成要素的学习用数据取得功能341、学习完毕模型生成功能342所执行的各处理功能例如以能够由计算机执行的程序的方式记录于存储电路360。图像处理电路340是从存储电路360读出各程序并执行从而实现各程序所对应的功能的处理器。另外，存储电路360作为神经网络的算法(algorithm)存储学习用程序。

在生成学习完毕模型400的处理中，首先，学习完毕模型生成装置300的学习用数据取得功能341取得在过去实施超声波扫描时获得的多个数据集(dataset)。多个数据集分别包含在过去实施对于测量部位的超声波扫描时收集到的超声波图像数据、及表示该超声波图像数据中的包含测量部位的区域的学习用数据。另外，由于神经网络的算法是根据经验而逐渐学习的算法，因此使用于学习的数据集也可以不是同一被检体。

学习完毕模型生成装置300的学习完毕模型生成功能342使用从存储电路160读出的学习用程序502，根据多个数据集对学习用数据的模式(pattern)进行学习。此时，学习完毕模型生成功能342生成被赋予如下功能的学习完毕模型400：接受输入数据(超声波图像数据)的输入，输出对检测出该超声波图像数据中的包含测量部位的区域的结果进行表示的输出数据。例如生成的学习完毕模型400被保管于超声波诊断装置1内(存储于存储电路160)。存储电路160内的学习完毕模型400例如能够由超声波诊断装置1的检测功能142读出。

在利用学习完毕模型400的处理中，超声波诊断装置1的检测功能142输入超声波图像数据作为输入数据。然后，检测功能142使用从存储电路160读出的学习完毕模型400，从作为超声波图像数据的超声波图像200中检测出包含测量部位的区域，并输出作为检测的结果的输出数据。

另外，在本实施方式中，说明了利用学习完毕模型400的情况，但也可以不利用学习完毕模型400。例如本实施方式也可以是，在通过使用了亮度的图像处理检测出腹部等测量部位之后，检测将测量部位包覆于内的边界框。在该情况下，本实施方式也可以不将测量部位作为椭圆等适合于测量部位的图形检测，而是作为由任意的曲线包围的部位检测。另外，本实施方式也可以是，规定的构造物也不利用学习完毕模型400，而是通过使用了亮度的图像处理来检测。

(其他实施方式)

实施方式并不限定于上述的实施方式。例如图像处理电路140也可以是区别于超声波诊断装置1而另外设置的工作站。在该情况下，工作站具有与图像处理电路140相同的处理电路，执行上述的处理。

另外，实施方式中图示的各装置的各构成要素是功能概念性的，并非一定需要在物理上如图示那样构成。即，各装置的分散·合并的具体方式并不限定于图示，也可以将其全部或者一部分根据各种负载或使用状况等而以任意的单位在功能上或者物理上分散·合并来构成。而且，由各装置进行的各处理功能可以使其全部或者任意的一部分利用CPU以及由该CPU分析执行的程序来实现，或者作为有线逻辑(wired logic)的硬件来实现。

另外，在上述实施方式中说明的显示方法能够通过由个人计算机(personalcomputer)、工作站(workstation)等的计算机执行预先准备的图像处理程序来实现。该图像处理程序能够经由因特网(internet)等网络分发。另外，该图像处理程序也可以记录于硬盘、软盘(FD)、CD－ROM、MO、DVD等计算机能够读取的非暂时性的记录介质，并由计算机从记录介质读出来执行。

根据以上说明的至少一个实施方式，能够提高使用了超声波图像的测量的精度。

另外，虽然说明了几个实施方式，但这些实施方式是作为例子而提出的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更、实施方式彼此的组合。这些实施方式及其变形包含在发明的范围、主旨中，同样包含在权利要求书所记载的发明与其等效的范围中。

Claims (11)

1.一种超声波诊断装置，具备：

检测部，从超声波图像中检测出将测量部位包覆于内的第一矩形；

推断部，基于所述第一矩形的位置信息，对用于测量所述测量部位的测量点进行推断；以及

输出部，使与所述测量点相关的信息输出。

2.根据权利要求1所述的超声波诊断装置，

所述检测部，

从所述超声波图像中与所述第一矩形一并地检测出规定的构造物，

基于所述规定的构造物的位置信息和所述第一矩形的位置信息，对于所述超声波图像进行旋转处理，

从进行了所述旋转处理的超声波图像中检测出将所述测量部位包覆于内的第二矩形，

所述推断部，作为所述测量点，将基于所述第一矩形的位置信息的测量点更新为基于所述第二矩形的位置信息的测量点，

所述输出部，使与基于所述第二矩形的位置信息的测量点相关的信息输出。

3.根据权利要求2所述的超声波诊断装置，

所述检测部，以使对所述规定的构造物与所述第一矩形的中心进行连结的线段的方向成为显示所述超声波图像的画面的纵向或者横向的方式进行所述旋转处理。

4.根据权利要求3所述的超声波诊断装置，

所述检测部，在所述线段的方向成为显示所述超声波图像的画面的纵向或者横向的情况下，不进行所述旋转处理。

5.根据权利要求2至4中任一项所述的超声波诊断装置，

所述检测部，在以椭圆近似了所述测量部位的轮廓的情况下，以使该椭圆的长轴或者短轴成为显示所述超声波图像的画面的纵向或者横向的方式进行所述旋转处理。

6.根据权利要求2至4中任一项所述的超声波诊断装置，

所述检测部，在以矩形近似了所述测量部位的轮廓的情况下，以使该矩形的一边成为显示所述超声波图像的画面的纵向或者横向的方式进行所述旋转处理。

7.根据权利要求1所述的超声波诊断装置，

所述输出部，使对所述测量点的位置进行表示的标记被描绘于所述超声波图像而成的图像显示于显示部。

8.根据权利要求2所述的超声波诊断装置，

所述输出部，使对所述测量点的位置进行表示的标记被描绘于进行所述旋转处理之前的超声波图像而成的图像显示于显示部。

9.根据权利要求2所述的超声波诊断装置，

在所述测量部位是胎儿的腹部的情况下，所述规定的构造物是所述胎儿的脊椎。

10.根据权利要求2所述的超声波诊断装置，

在所述测量部位是胎儿的头部的情况下，所述规定的构造物是所述胎儿的透明隔腔以及四叠体池中的至少一个。

11.一种图像处理装置，具备：

检测部，从超声波图像中检测出将测量部位包覆于内的第一矩形；

推断部，基于所述第一矩形的位置信息，对用于测量所述测量部位的测量点进行推断；以及

输出部，使与所述测量点相关的信息输出。

Images