CN110706791B - 一种医学影像处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种医学影像处理方法及装置，确定每帧2D医学影像中的第一区域，根据多个第一区域确定第一轴，以第一轴与每帧2D医学影像的交点为起点生成多条射线，确定多条射线与每帧2D医学影像中的第一区域相交的多个像素点的像素点信息，并作为每帧2D医学影像的第一信息，将多帧2D医学影像的第一信息映射至第一坐标系，获得与多帧2D医学影像对应的医学影像。通过放射射线的方式确定每帧2D医学影像的第一信息，并将每帧2D医学影像的第一信息映射到第一坐标系，可以自动地将多帧2D医学影像映射为全景图，而无需人工主观地判断2D医学影像与全景图的对应关系，提高映射的效率和精度。

Description

一种医学影像处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种医学影像处理方法及装置。

背景技术

随着现代医学成像技术的发展，各种医学影像设备不断涌现，比如X射线摄影设备、计算机断层扫描(Computed Tomography，CT)设备、核磁共振成像(Nuclear MagneticResonance Imaging，NMRI)设备等。这些医学影像设备可以采集人体各个部位的横断面影像(也可以称为2D影像)，也可以生成人体各个部位的3D影像。

现阶段，通过医学影像设备采集到的横断面影像通常无法与全景图相对应，因此还需要采用人工方式进行判断，将横断面影像中的组织与全景图中的组织进行对应。以采集到的胸部影像为例，胸部影像中包括椎骨和肋骨，当采集到一帧胸部的横断面影像后，医生可以根据经验判断该帧横断面影像中的椎骨和肋骨与全景图中的哪一根椎骨或者哪一块肋骨相对应，从而确定后续的治疗方案。然而，采用该种方式，由于不同医生的经验不同，因此所确定的横断面影像与全景图的映***度受人为的主观因素影响较大，且人为查看影像通常需要耗费较长的时间，导致工作效率和诊断效率较低。

综上，目前亟需一种医学影像处理方法，用以解决现有技术中采用人工方式映射2D医学影像与全景图所导致的映***度受人为的主观因素影响大、效率低的技术问题。

发明内容

本发明实施例提供一种医学影像处理方法及装置，用以解决现有技术中采用人工方式映射2D医学影像与全景图所导致的映***度受人为的主观因素影响大、效率低的技术问题。

第一方面，本发明实施例提供的一种医学影像处理方法，包括：

获取多帧2D医学影像，对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域，基于多个所述第一区域中的椎骨关键点和肋骨关键点确定第一轴，或者，基于多个所述第一区域的中心或者重心确定第一轴，所述第一轴垂直于所述多帧2D医学影像；进一步地，对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息；如此，将所述多帧2D医学影像的第一信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。

在上述设计中，通过放射射线的方式确定每帧2D医学影像的第一信息，并将每帧2D医学影像的第一信息映射到第一坐标系，可以自动地将多帧2D医学影像映射为全景图，而无需人工主观地判断2D医学影像与全景图的对应关系，从而可以提高映射的效率；且，上述设计将2D医学影像上射线的方向信息、像素点到第一轴的距离信息以及像素点的映射像素值作为2D医学影像的第一信息，可以综合较为全面的第一信息准确地对2D医学影像进行映射，从而可以提高映射得到的全景图的精度。

在一种可能的设计中，所述获取位于该帧2D医学影像中的第一区域，包括：检测该帧2D医学影像中的椎骨关键点和肋骨关键点，连接所述椎骨关键点和所述肋骨关键点以获得所述第一区域；或者，获取左肺边缘和右肺边缘上的点以得到边缘点，连接所述边缘点以获得包括所述左肺和右肺的所述第一区域。

在上述设计中，通过检出每帧2D医学影像中的各椎骨关键点和各肋骨关键点，可以通过连接椎骨关键点和肋骨关键点将2D医学影像中的椎骨区域和肋骨区域包围起来，得到第一区域，当椎骨关键点和肋骨关键点足够多时，获得的第一区域的精度高，基于第一区域确定第一轴，进而提高了基于第一区域和第一轴将多帧2D影像映射至第一坐标系以获得肋骨和椎骨的全景图的映***度；或者，通过分割得到左肺边缘和右肺边缘，然后连接左肺边缘点和右肺边缘点得到包围左肺边缘和右肺边缘的多边形区域，可以直接将多边形区域作为包含椎骨区域和肋骨区域的第一区域，该种方式获得第一区域的速度快且准确。

在一种可能的设计中，所述基于多个所述第一区域中的椎骨关键点和肋骨关键点确定第一轴，包括：获取多个所述第一区域中的椎骨关键点和肋骨关键点的坐标，计算所有椎骨关键点和肋骨关键点坐标的平均值以获得第一坐标，以过所述第一坐标且垂直于所述多帧2D医学影像的轴作为所述第一轴。

在上述设计中，在检出每帧2D医学影像上的椎骨关键点和肋骨关键点后，通过将椎骨关键点和肋骨关键点的平均坐标作为第一坐标，然后基于中心点的坐标确定出垂直多帧2D医学影像的第一轴，采用此种方式确定第一轴在一定程度上可以提高后续将多帧2D医学影像进行映射的映***度。

在一种可能的设计中，所述基于多个所述第一区域的中心或者重心确定第一轴，包括：获取多个所述第一区域的中心坐标或重心坐标，计算所有的中心坐标的平均值以获得第二坐标，或者，计算所有的重心坐标的平均值以获得第三坐标；以过所述第二坐标且垂直于多帧2D医学影像的轴作为所述第一轴，或者，以过所述第三坐标且垂直于多帧2D医学影像的轴作为所述第一轴。

在上述设计中，通过确定每帧2D医学影像上第一区域的中心点或重心点，可以对中心点的坐标求平均或对重心点的坐标求平均，从而直接确定出多帧2D医学影像的第一轴，该种方式可以综合多帧2D医学影像中第一区域的中心点或重心点的坐标得到第一轴，从而在一定程度上可以提高基于第一轴映射多帧2D医学影像的映***度；且该种设计无需使用多帧2D医学影像中第一区域上多个像素点的坐标得到第一轴，因此，对多帧2D医学影像进行映射的映射效率可以较高。

在一种可能的设计中，所述像素点的映射像素值通过如下方式获得：在所述像素点所在射线方向上取位于所述像素点附近的至少一个像素点，基于所述至少一个像素点的像素值和所述像素点的像素值获得所述像素点的映射像素值。

在上述设计中，通过使用射线方向上位于像素点前后方向的多个像素点的像素值联合分析得到该像素点的映射像素值，使得映射像素值可以综合体现周边像素点的像素值，通过使用周边像素点的像素值对采集到的像素点的像素值进行修正，可以减少采样像素点时由于采样抖动所造成的像素值显示的误差。

在一种可能的设计中，所述将多帧2D医学影像的第一信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像，包括：对于任一像素点，将与该像素点相交的射线的方向信息映射至第一坐标轴，将该像素点到所述第一轴的距离信息映射至第二坐标轴，将该像素点的映射像素值作为该像素点在所述第一坐标系中的像素值；其中，第一坐标轴和第二坐标轴垂直。

在上述设计中，通过放射射线的方式从每帧2D医学影像上确定出相交像素点的映射像素值，并将射线的方向、像素点的位置以及像素点的映射像素值映射到全景图上，可以自动建立多帧2D医学影像与全景图的映射关系，并能灵活地将多帧2D医学影像映射为全景图，而无需人工进行主观映射，从而可以提高映射的效率。

第二方面，本发明实施例提供的一种医学影像处理装置，所述装置包括：

获取模块，用于获取多帧2D医学影像，对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域；

确定模块，用于基于多个所述第一区域中的椎骨关键点和肋骨关键点确定第一轴，或者，基于多个所述第一区域的中心或者重心确定第一轴，所述第一轴垂直于所述多帧2D医学影像；

处理模块，用于对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息；

映射模块，用于将所述多帧2D医学影像的第一信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。

在一种可能的设计中，所述获取模块具体用于：检测该帧2D医学影像中的椎骨关键点和肋骨关键点，连接所述椎骨关键点和所述肋骨关键点以获得所述第一区域；或者，获取左肺边缘和右肺边缘上的点以得到边缘点，连接所述边缘点以获得包括所述左肺和右肺的所述第一区域。

在一种可能的设计中，所述确定模块具体用于：获取多个所述第一区域中的椎骨关键点和肋骨关键点的坐标，计算所有椎骨关键点和肋骨关键点坐标的平均值以获得第一坐标，以过所述第一坐标且垂直于所述多帧2D医学影像的轴作为所述第一轴。

在一种可能的设计中，所述确定模块具体用于：获取多个所述第一区域的中心坐标或重心坐标，计算所有的中心坐标的平均值以获得第二坐标，或者，计算所有的重心坐标的平均值以获得第三坐标；以过所述第二坐标且垂直于多帧2D医学影像的轴作为所述第一轴，或者，以过所述第三坐标且垂直于多帧2D医学影像的轴作为所述第一轴。

在一种可能的设计中，所述处理模块通过如下方式获得像素点的映射像素值：在所述像素点所在射线方向上取位于所述像素点附近的至少一个像素点，基于所述至少一个像素点的像素值和所述像素点的像素值获得所述像素点的映射像素值。

在一种可能的设计中，所述映射模块具体用于：对于任一像素点，将与该像素点相交的射线的方向信息映射至第一坐标轴，将该像素点到所述第一轴的距离信息映射至第二坐标轴，将该像素点的映射像素值作为该像素点在所述第一坐标系中的像素值；其中，第一坐标轴和第二坐标轴垂直。

第三方面，本发明实施例提供的一种医学影像处理设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述第一方面任意所述的医学影像处理方法的步骤。

第四方面，本发明实施例提供的一种计算机可读介质，其存储有可由医学影像处理设备执行的计算机程序，当所述程序在医学影像处理设备上运行时，使得所述医学影像处理设备执行上述第一方面任意所述的医学影像处理方法的步骤。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种医学影像处理方法对应的流程示意图；

图2为本发明实施例提供的一种胸部影像的横断面示意图；

图3为本发明实施例提供的一种将多帧2D医学影像处理为全景图的界面示意图；

图4为本发明实施例提供的一种医学影像处理装置的结构示意图；

图5为本发明实施例提供的一种医学影像处理设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中的医学影像处理方法可以对多帧2D医学影像进行映射，比如可以将CT设备拍摄的胸部的多帧横断面影像映射为包括了完整的椎骨和肋骨的影像(即全景图)，并可以在映射后的全景图中标注与多帧2D医学影像的对应关系。需要说明的是，本发明实施例仅是以椎骨和肋骨为例描述医学影像处理方法，但并不构成对本方案的限定；具体实施中，本发明实施例中的方法可以对任意类型的2D医学影像进行映射，比如手骨的2D医学影像、胸骨的2D医学影像、腿骨的2D医学影像等等，不作限定。

图1为本发明实施例提供的一种医学影像处理方法对应的流程示意图，该方法包括：

步骤101，获取多帧2D医学影像。

本发明实施例中，2D医学影像可以是采用CT设备拍摄的胸部的多帧横断面影像，所述胸部影像包括椎骨和肋骨，或者也可以是采用磁共振设备拍摄得到的包括了椎骨和肋骨的胸部的多帧横断面影像，具体不作限定。

图2为本发明实施例提供的一种胸部影像的横断面示意图。

可以理解的，本发明实施例中的2D医学影像也可以为其它类型，比如2D矢状面影像、2D冠状面影像等，具体不作限定。

步骤102，对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域。

具体实施中，在采集到多帧2D医学影像后，可以先从每帧2D医学影像中确定出椎骨区域和肋骨区域，然后根据椎骨区域和肋骨区域获取每帧2D医学影像中的第一区域。其中，第一区域是指将2D医学影像中的椎骨边缘和肋骨边缘完全包围起来的区域，第一区域的形状可以为多边形，或者也可以为圆形，或者还可以为其它形状，具体不作限定。

本发明实施例可以采用如下两种方式确定每帧2D医学影像中的第一区域：

方式一

在方式一中，针对于多帧2D医学影像中的任一帧2D医学影像，可以先从该帧2D医学影像上确定出各椎骨关键点和各肋骨关键点；其中，椎骨关键点可以是指椎骨的几何中心点，肋骨关键点可以是指肋骨的几何中心点，或者，椎骨关键点也可以是指椎骨的边缘点，肋骨关键点也可以是指肋骨的边缘点，不作限定。本发明实施例中，人体的椎骨共有33块，主要包括7块颈椎、12块胸椎、5块腰椎、5块骶椎和4块尾椎，肋骨共有24块，每块椎骨或每块椎骨可以仅设置一个关键点，或者也可以设置多个关键点，具体不作限定。

进一步地，在确定出每帧2D医学影像上的各椎骨关键点和各肋骨关键点后，可以使用直线或曲线连接每帧2D医学影像上的各椎骨关键点和各肋骨关键点，从而在每帧2D医学影像上确定出第一区域，第一区域至少包括椎骨区域和肋骨区域。

本发明实施例中，从2D医学影像上确定出椎骨关键点和肋骨关键点的方式可以由本领域技术人员根据经验进行设置，具体不作限定。下面描述两种可能的示例：

在一个示例中，可以将2D医学影像输入关键点检测模型，以从2D医学影像中直接确定椎骨关键点和肋骨关键点，关键点检测模型为使用已标注椎骨关键点和肋骨关键点的多帧2D医学影像训练模型得到的。具体实施中，关键点检测模型可以先检测出2D医学影像中的所有疑似椎骨关键点的坐标和置信度、所有疑似肋骨关键点的坐标和置信度，然后将置信度大于第一预设置信度阈值的疑似椎骨关键点作为2D医学影像中的椎骨关键点，并将置信度大于第二预设置信度阈值的疑似肋骨关键点作为2D医学影像中的肋骨关键点；其中，第一预设置信度阈值和第二预设置信度阈值可以相同，或者也可以不同，具体不作限定。

在另一个示例中，可以先将2D医学影像输入对象检测模型，以从2D医学影像中确定出椎骨区域和肋骨区域，然后根据椎骨区域确定椎骨关键点，根据肋骨区域确定肋骨关键点；其中，对象检测模型为使用已标注椎骨区域和肋骨区域的多帧2D医学影像训练模型得到的。具体实施中，对象检测模型可以先提取得到2D医学影像的特征图像，若确定2D医学影像的特征图像上包括可能为椎骨或者肋骨的区域，则可以在2D医学影像的特征图像上标注检出框，并可以给出检出框的置信度，其中，每个检出框可以标注一个或多个疑似椎骨区域或疑似肋骨区域。进一步地，可以将置信度大于第三预设置信度阈值的疑似椎骨区域作为2D医学影像中的椎骨区域，并可以将置信度大于第四预设置信度阈值的疑似肋骨区域作为2D医学影像中的肋骨区域，然后将椎骨区域的中心点(或边缘点)作为2D医学影像中的椎骨关键点，将肋骨区域的中心点(或边缘点)作为2D医学影像中的肋骨关键点。其中，第三预设置信度阈值和第四预设置信度阈值可以相同，或者也可以不同，具体不作限定。

在上述实现方式中，通过检出每帧2D医学影像中的各椎骨关键点和各肋骨关键点，可以通过连接椎骨关键点和肋骨关键点将2D医学影像中的椎骨区域和肋骨区域包围起来，得到第一区域，该种方式获得的第一区域的精度较高，且可以提高基于第一区域和第一轴映射得到的全景图的映***度。

方式二

在方式二中，可以先将每帧2D医学影像输入对象检测模型，以从每帧2D医学影像中分割得到左肺边缘和右肺边缘，然后可以从左肺边缘和右肺边缘中分别提取出多个边缘点，具体地，可以提取左肺的外边缘上的点和右肺的外边缘上的点，连接多个边缘点得到类似多边形的图形，将该图形所在的区域作为该帧2D医学影像中的第一区域；其中，连接多个边缘点得到的类似多边形的图形(类多边形)可以满足如下条件：类多边形能够包围左肺和右肺，且该类多边形为所有能包围左肺和右肺的图形中的最小类多边形。

在上述实现方式中，具体地，在通过分割得到左肺边缘和右肺边缘后，可以使用凸包法获得包围左肺和右肺的类多边形，并将该图形内部的区域作为第一区域，该种检测方式处理速度快，检测效率高。

步骤103，基于多个所述第一区域中的椎骨关键点和肋骨关键点确定第一轴，或者，基于多个所述第一区域的中心或者重心确定第一轴，所述第一轴垂直于所述多帧2D医学影像。

具体实施中，若采用上述实现方式一确定第一区域，则在获取多帧2D医学影像上的各椎骨关键点的坐标和各肋骨关键点的坐标后，还可以根据多帧2D医学影像的所有椎骨关键点的坐标和所有肋骨关键点的坐标计算得到第一坐标，然后可以从经过第一坐标的直线中选取垂直于多帧2D医学影像的直线，作为多帧2D医学影像的第一轴。其中，第一坐标可以为所有椎骨关键点的坐标和所有肋骨关键点的坐标的平均坐标，或者也可以为所有肋骨关键点的坐标和所有椎骨关键点的坐标的加权平均坐标，不作限定。举例来说，若多帧2D医学影像共包括50个椎骨关键点和25个肋骨关键点，则第一坐标可以为50个椎骨关键点和25个肋骨关键点的平均坐标。

采用上述方式，在检出每帧2D医学影像上的椎骨关键点和肋骨关键点后，通过将椎骨关键点和肋骨关键点的平均坐标(或加权平均坐标)作为第一坐标，然后基于第一坐标确定出垂直多帧2D医学影像的第一轴，采用此种方式确定第一轴在一定程度上可以提高后续将多帧2D医学影像进行映射的映***度。

相应地，若采用上述实现方式二确定第一区域，则在确定出每帧2D医学影像上的第一区域后，可以采用如下两种方法确定多帧2D医学影像上的第一轴：

中心法：先根据每帧2D医学影像上的第一区域确定出该第一区域的中心坐标，然后计算所有第一区域的中心坐标的平均值，得到第二坐标，如此，可以将经过第二坐标且垂直于多帧2D医学影像的轴作为第一轴。

重心法：先根据每帧2D医学影像上的第一区域确定出该第一区域的重心坐标，然后计算所有第一区域的重心坐标的平均值，得到第三坐标，如此，可以将经过第三坐标且垂直于多帧2D医学影像的轴作为第一轴。

采用中心法或重心法，通过确定每帧2D医学影像上第一区域的中心点或重心点，可以对中心点的坐标求平均或对重心点的坐标求平均，从而直接确定出多帧2D医学影像的第一轴，该种方式可以综合多帧2D医学影像中第一区域的中心点或重心点的坐标得到第一轴，从而在一定程度上可以提高基于第一轴映射多帧2D医学影像的映***度；且该种方式无需使用多帧2D医学影像中第一区域上多个像素点的坐标得到第一轴，因此，对多帧2D医学影像进行映射的映射效率可以较高。

需要说明的是，若采用上述实现方式一确定第一区域，则也可以根据中心法或重心法得到垂直于多帧2D医学影像的第一轴，此处不作限定。

步骤104，对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息。

具体实施中，在确定出多帧2D医学影像的第一轴后，针对于任一帧2D医学影像，可以以该帧2D医学影像与第一轴的交点为起点，在该帧2D医学影像上生成多条射线，每条射线可以与该帧2D医学影像中的第一区域相交。本发明实施例中，可以以交点为起点采用模拟放线的方式生成射线，举例来说，在一个示例中，可以按照固定角度生成射线，比如以交点为起点沿着逆时针方向每隔0.01度生成一条射线，如此，在一帧2D医学影像上共可以生成36000条射线；在另一个示例中，可以按照递增角度生成射线，比如可以以交点为起点沿着逆时针方向每隔0.01i度生成一条射线，i为生成射线的数量；在又一个示例中，可以按照等距离生成射线，比如可以控制两条射线之间的第一区域中对应的长度为固定值，等等。

进一步地，针对于任一帧2D医学影像上生成的任一条射线，假设该条射线与该帧2D医学影像中的第一区域相交的像素点为第一像素点(相交的像素点可以有多个，此处以其中一个进行示例)，则可以将该条射线的方向信息、第一像素点到第一轴的距离信息以及第一像素点的映射像素值作为第一像素点的像素点信息。其中，第一像素点的像素值可以为灰度值，第一像素点的映射像素值可以为第一像素点的像素值，或者也可以根据第一像素点的像素值和与第一像素点邻近的其它像素点的像素值来确定，具体不作限定。

在一个示例中，可以先沿着第一像素点所在的射线方向，从第一像素点的前方向和/或后方向选取若干像素点(至少一个像素点)，再根据第一像素点的像素值和若干像素点的像素值，得到第一像素点的映射像素值。其中，选取若干像素点的方式可以有多种，比如可以连续地选取像素点，或者也可以等间距地选取像素点，可以仅从第一像素点的前方向或后方向选取像素点，也可以同时从第一像素点的前方向和后方向选取像素点，具体不作限定。举例来说，第一像素点为像素点5，选取像素点的数量为4，若像素点5所在的射线在2D医学影像上依次经过像素点1、像素点2、像素点3、像素点4、像素点5、像素点6、像素点7、像素点8、像素点9和像素点10，则可以沿着该射线方向从像素点5的前方向上选取像素点3和像素点4，并可以沿着该射线方向从像素点5的后方向上选取像素点6和像素点7，最后将像素点3、像素点4、像素点5、像素点6和像素点7的平均像素值或加权平均像素值作为像素点5的映射像素值；或者也可以沿着该射线方向从像素点5的前方向上选取像素点1和像素点3，并可以沿着该射线方向从像素点5的后方向上选取像素点7和像素点9，最后将像素点1、像素点3、像素点5、像素点7和像素点9的平均像素值或加权平均像素值作为像素点5的映射像素值，等等。

需要说明的是，上述仅是一种示例性的简单说明，其所列举的选取像素点的数量仅是为了便于说明本方案，并不构成对本方案的限定，在具体实施中，选取像素点的数量可以大于4个，比如可以为5个或5个以上。

本发明实施例中，通过使用射线方向上位于像素点前后方向的多个像素点的像素值联合分析得到该像素点的映射像素值，使得映射像素值可以综合体现周边像素点的像素值，通过使用周边像素点的像素值对采集到的像素点的像素值进行修正，可以减少采样像素点时由于采样抖动所造成的像素值显示的误差。

步骤105，将所述多帧2D医学影像的第一信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。

本发明实施例中，将映射后的坐标系称为第一坐标系，第一坐标轴和第二坐标轴分别为第一坐标系的两个坐标轴，第一坐标轴垂直于第二坐标轴；相应地，为了便于描述，将映射之前的坐标系称为第二坐标系，在映射之前，若任一帧2D医学影像平行于第二坐标系中的XOY平面，第一轴平行于第二坐标系中的Z轴，则在映射之后，第一轴平行于第一坐标系中的Y轴(第二坐标轴)。

在一个示例中，对于任一相交的像素点，可以将该像素点所在射线的方向信息映射至第一坐标轴，同时将该像素点到第一轴的距离信息映射至第二坐标轴，并将该像素点的映射像素值作为该像素点在第一坐标系中的像素值，如此，该帧2D医学影像上该像素点的像素点信息即被映射到第一坐标系中。具体实施中，在将该像素点映射到第一坐标系时，可以基于该像素点所在射线的方向信息确定该像素点在第一坐标轴上的坐标值，并可以基于该像素点到第一轴的距离信息确定该像素点在第二坐标轴上的坐标值，从而可以在第一坐标系上确定出与该像素点对应的像素点；进一步地，可以将该像素点的映射像素值映射在对应的像素点上。如此，当多帧2D医学影像中每条射线与第一区域相交的像素点的像素点信息映射完成后，多帧2D医学影像对应的全景图即映射完成。

为了便于理解，下面举一个具体的示例进行说明：

假设某一帧2D医学影像上共生成了射线1、射线2和射线3，射线1的方向为预设方向顺时针旋转10度，射线1与2D医学影像中的第一区域相交的像素点为第一像素点，第一像素点与第一轴的距离为50cm(距离单位，厘米)，射线2的方向为预设方向顺时针旋转20度，射线2与2D医学影像中的第一区域相交的像素点为第二像素点，第二像素点与第一轴的距离为30cm，射线3的方向为预设方向顺时针旋转30度，射线3与2D医学影像中的第一区域相交的像素点为第三像素点，第三像素点与第一轴的距离为70cm，则可以先根据射线1、射线2和射线3的信息分别确定第一像素点、第二像素点和第三像素点在第一坐标轴上的坐标，由于射线1、射线2和射线3的方向信息分别为10度、20度、70度，因此可以将第一像素点在第一坐标轴上的坐标设置为1，将第二像素点在第一坐标轴上的坐标设置为2，将第三像素点在第一坐标轴上的坐标设置为7；进一步地，可以根据第一像素点、第二像素点和第三像素点到第一轴的距离设置第一像素点、第二像素点和第三像素点在第二坐标轴上的坐标，由于第一像素点、第二像素点和第三像素点到第一轴的距离分别为50cm、30cm、70cm，因此可以将第一像素点在第二坐标轴上的坐标设置为5，将第二像素点在第二坐标轴上的坐标设置为3，将第三像素点在第二坐标轴上的坐标设置为7。

进一步地，在将第一像素点、第二像素点和第三像素点分别映射到第一坐标轴和第二坐标轴后，可以在第一坐标系上确定出第一像素点、第一像素点、第二像素点分别对应的像素点，如此，可以将第一像素点、第二像素点和第三像素点的映射像素值分别映射在对应的像素点处，从而将多帧2D医学影像映射为全景图。

本发明实施例中，通过放射射线的方式从每帧2D医学影像上确定出椎骨区域和肋骨区域的像素点的映射像素值，并将射线的方向、像素点的位置以及像素点的映射像素值映射到全景图上，可以自动建立多帧2D医学影像与全景图的映射关系，并能灵活地将多帧2D医学影像映射为全景图，而无需人工进行主观映射，从而可以提高映射的效率。

图3为本发明实施例提供的一种将多帧2D医学影像映射为全景图的界面示意图，其中，右侧为胸部的一帧横断面影像，该横断面影像中示出了椎骨和肋骨的横断面，左上侧为映射后的全景图。

本发明的上述实施例中，获取多帧2D医学影像，对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域，基于多个所述第一区域中的椎骨关键点和肋骨关键点确定第一轴，或者，基于多个所述第一区域的中心或者重心确定第一轴，所述第一轴垂直于所述多帧2D医学影像；进一步地，对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息；如此，将所述多帧2D医学影像的第一信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。本发明实施例中，通过使用射线确定每帧2D医学影像的第一信息，并将每帧2D医学影像的第一信息映射到第一坐标系，可以自动地将多帧2D医学影像映射为全景图，而无需人工主观地判断2D医学影像与全景图的对应关系，从而可以提高映射的效率；且，通过将2D医学影像上射线的方向信息、像素点到第一轴的距离信息以及像素点的映射像素值作为2D医学影像的第一信息，可以综合较为全面的第一信息准确地对2D医学影像进行映射，从而可以提高映射得到的全景图的精度。

针对上述方法流程，本发明实施例还提供一种医学影像处理装置，该装置的具体内容可以参照上述方法实施。

图4为本发明实施例提供的一种医学影像处理装置的结构示意图，包括：

获取模块401，用于获取多帧2D医学影像，对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域；

确定模块402，用于基于多个所述第一区域中的椎骨关键点和肋骨关键点确定第一轴，或者，基于多个所述第一区域的中心或者重心确定第一轴，所述第一轴垂直于所述多帧2D医学影像；

处理模块403，用于对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息；

映射模块404，用于将所述多帧2D医学影像的第一信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。

可选地，所述获取模块401具体用于：检测该帧2D医学影像中的椎骨关键点和肋骨关键点，连接所述椎骨关键点和所述肋骨关键点以获得所述第一区域；或者，获取左肺边缘和右肺边缘上的点以得到边缘点，连接所述边缘点以获得包括所述左肺和右肺的所述第一区域。

可选地，所述确定模块402具体用于：获取多个所述第一区域中的椎骨关键点和肋骨关键点的坐标，计算所有椎骨关键点和肋骨关键点坐标的平均值以获得第一坐标，以过所述第一坐标且垂直于所述多帧2D医学影像的轴作为所述第一轴。

可选地，所述确定模块402具体用于：获取多个所述第一区域的中心坐标或重心坐标，计算所有的中心坐标的平均值以获得第二坐标，或者，计算所有的重心坐标的平均值以获得第三坐标；以过所述第二坐标且垂直于多帧2D医学影像的轴作为所述第一轴，或者，以过所述第三坐标且垂直于多帧2D医学影像的轴作为所述第一轴。

可选地，所述处理模块403通过如下方式获得像素点的映射像素值：在所述像素点所在射线方向上取位于所述像素点附近的至少一个像素点，基于所述至少一个像素点的像素值和所述像素点的像素值获得所述像素点的映射像素值。

可选地，所述映射模块404具体用于：对于任一像素点，将与该像素点相交的射线的方向信息映射至第一坐标轴，将该像素点到所述第一轴的距离信息映射至第二坐标轴，将该像素点的映射像素值作为该像素点在所述第一坐标系中的像素值；其中，第一坐标轴和第二坐标轴垂直。

从上述内容可以看出：本发明的上述实施例中，获取多帧2D医学影像，对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域，基于多个所述第一区域中的椎骨关键点和肋骨关键点确定第一轴，或者，基于多个所述第一区域的中心或者重心确定第一轴，所述第一轴垂直于所述多帧2D医学影像；进一步地，对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息；如此，将所述多帧2D医学影像的第一信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。本发明实施例中，通过使用射线确定每帧2D医学影像的第一信息，并将每帧2D医学影像的第一信息映射到第一坐标系，可以自动地将多帧2D医学影像映射为全景图，而无需人工主观地判断2D医学影像与全景图的对应关系，从而可以提高映射的效率；且，通过将2D医学影像上射线的方向信息、像素点到第一轴的距离信息以及像素点的映射像素值作为2D医学影像的第一信息，可以综合较为全面的第一信息准确地对2D医学影像进行映射，从而可以提高映射得到的全景图的精度。

基于同一发明构思，本发明实施例提供了一种医学影像处理设备，如图5所示，包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本发明实施例中不限定处理器501与存储器502之间的具体连接介质，图5中处理器501和存储器502之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本发明实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的医学影像处理方法中所包括的步骤。

其中，处理器501是医学影像处理设备的控制中心，可以利用各种接口和线路连接医学影像处理设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，从而实现医学影像处理。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本发明实施例还提供了一种计算机可读介质，其存储有可由医学影像处理设备执行的计算机程序，当所述程序在医学影像处理设备上运行时，使得所述医学影像处理设备执行图1任意所述的医学影像处理方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种医学影像处理方法，其特征在于，所述方法包括：

获取多帧2D医学影像；

对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域；

获取多个所述第一区域中的椎骨关键点和肋骨关键点的坐标，计算所有椎骨关键点和肋骨关键点坐标的平均值以获得第一坐标，以过所述第一坐标且垂直于所述多帧2D医学影像的轴作为第一轴；或者，基于多个所述第一区域的中心或者重心确定所述第一轴；所述第一轴垂直于所述多帧2D医学影像；

对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息；

对于任一像素点，将与该像素点相交的射线的方向信息映射至第一坐标轴，将该像素点到所述第一轴的距离信息映射至第二坐标轴，将该像素点的映射像素值作为该像素点在所述第一坐标系中的像素值，以获得与所述多帧2D医学影像对应的医学影像；其中，所述第一坐标轴和所述第二坐标轴垂直。

2.根据权利要求1所述的方法，其特征在于，所述获取位于该帧2D医学影像中的第一区域，包括：

检测该帧2D医学影像中的椎骨关键点和肋骨关键点，连接所述椎骨关键点和所述肋骨关键点以获得所述第一区域；

或者，获取左肺边缘和右肺边缘上的点以得到边缘点，连接所述边缘点以获得包括所述左肺和右肺的所述第一区域。

3.根据权利要求1所述的方法，其特征在于，所述基于多个所述第一区域的中心或者重心确定第一轴，包括：

获取多个所述第一区域的中心坐标或重心坐标；

计算所有的中心坐标的平均值以获得第二坐标，或者，计算所有的重心坐标的平均值以获得第三坐标；

以过所述第二坐标且垂直于多帧2D医学影像的轴作为所述第一轴，或者，以过所述第三坐标且垂直于多帧2D医学影像的轴作为所述第一轴。

4.根据权利要求1所述的方法，其特征在于，所述像素点的映射像素值通过如下方式获得：

在所述像素点所在射线方向上取位于所述像素点附近的至少一个像素点，基于所述至少一个像素点的像素值和所述像素点的像素值获得所述像素点的映射像素值。

5.一种医学影像处理装置，其特征在于，所述装置包括：

获取模块，用于获取多帧2D医学影像，对于任一帧2D医学影像，获取位于该帧2D医学影像中的第一区域，其中所述第一区域至少包括：椎骨区域和肋骨区域；

确定模块，用于获取多个所述第一区域中的椎骨关键点和肋骨关键点的坐标，计算所有椎骨关键点和肋骨关键点坐标的平均值以获得第一坐标，以过所述第一坐标且垂直于所述多帧2D医学影像的轴作为第一轴；或者，基于多个所述第一区域的中心或者重心确定所述第一轴；所述第一轴垂直于所述多帧2D医学影像；

处理模块，用于对于任一帧2D医学影像，以所述第一轴与该帧2D医学影像的交点为起点生成多条射线，所述多条射线与该帧2D医学影像中的第一区域相交，对于相交的多个像素点获取多个像素点的像素点信息，任一像素点的像素点信息包括：与该像素点相交的射线的方向信息、该像素点到所述第一轴的距离信息以及该像素点的映射像素值，其中，该像素点的映射像素值关联于该像素点邻域的像素点的像素值；以所述多个像素点的像素点信息作为该帧2D医学影像的第一信息；

映射模块，用于对于任一像素点，将与该像素点相交的射线的方向信息映射至第一坐标轴，将该像素点到所述第一轴的距离信息映射至第二坐标轴，将该像素点的映射像素值作为该像素点在所述第一坐标系中的像素值，以获得与所述多帧2D医学影像对应的医学影像；其中，所述第一坐标轴和所述第二坐标轴垂直。

6.一种医学影像处理设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～4任一权利要求所述方法的步骤。

7.一种计算机可读介质，其特征在于，其存储有可由医学影像处理设备执行的计算机程序，当所述程序在医学影像处理设备上运行时，使得所述医学影像处理设备执行权利要求1～4任一所述方法的步骤。

Images