CN111179157A - 医学影像中面部区域的处理方法、装置及相关产品 - Google Patents
医学影像中面部区域的处理方法、装置及相关产品 Download PDFInfo
- Publication number
- CN111179157A CN111179157A CN201911398353.0A CN201911398353A CN111179157A CN 111179157 A CN111179157 A CN 111179157A CN 201911398353 A CN201911398353 A CN 201911398353A CN 111179157 A CN111179157 A CN 111179157A
- Authority
- CN
- China
- Prior art keywords
- replaced
- area
- point
- data
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000012545 processing Methods 0.000 title claims description 36
- 230000001815 facial effect Effects 0.000 claims abstract description 69
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract description 5
- 210000003128 head Anatomy 0.000 description 14
- 238000009877 rendering Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000003205 muscle Anatomy 0.000 description 6
- 238000000586 desensitisation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种医学影像中面部区域的处理方法、装置及相关产品，以面部观察方向对包含人体头部的医学影像三维数据体进行三维重建得到重建后的图像，该重建结果图像可以展示出患者的面部形态。为了保护该医学影像对应的患者的隐私，在获得重建图像的基础上，进一步识别重建图像中的五官，再根据五官对应的区域形成二维的待替换区域。确定出待替换区域在三维数据体中对应的面部区域数据。最后将面部区域数据替换为预设常数。通过将面部区域数据替换为预设常数，有效掩盖了患者的面部特征。在后续应用中，因为替换后的三维数据体经过三维重建无法得到患者特有的面部形态，因此利用这些三维数据体不会侵害患者的隐私，使患者的隐私得到有效的保护。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种医学影像中面部区域的处理方法、装置及相关产品。
背景技术
人工智能技术在医学影像方面的应用越来越广泛，影像数据是人工智能技术在医学领域开展应用的重要基础。为方便研究的开展，目前可以由多个医院通过医联体的方式来联合构建数据库，其公开的数据集供研究机构研究。
影像数据中可能存在一些涉及到患者隐私的信息，包括个人信息和就诊信息，其中个人信息可以包括姓名、出生年月等，就诊信息可以包括就诊日期、就诊次数等。为保护患者隐私，患者的个人信息和就诊信息可以很容易地去除掉。但在对于包含人体头部的影像数据，通过三维重建技术便可以重现患者的面部形态，这使得患者的面部特征的隐私性容易受到侵害。目前，在影像数据中去除面部通常需要专业的医生借助特定的辅助工具来人工手动切除，非专业人员很难实现。并且，人工操作的方式也需要耗费较多的时间成本和人力成本，效率低下。
发明内容
基于上述问题，本申请提供了一种医学影像中面部区域的处理方法、装置及相关产品，以自动地实现对医学影像中面部区域的处理，提升处理效率，节省成本。
本申请实施例公开了如下技术方案：
第一方面，本申请提供一种医学影像中面部区域的处理方法，包括：
以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像；
分别识别所述重建结果图像中的五官；
根据所述五官对应的区域形成待替换区域；
将所述待替换区域在所述三维数据体中对应的面部区域数据替换为预设常数。
可选地，以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像，具体包括：
根据所述三维数据体对应的直方图信息通过配色得到重建结果图像。
可选地，根据所述五官对应的区域形成待替换区域，具体包括：
利用凸包算法获得覆盖五官部分的最小区域形成所述待替换区域。
可选地，将所述待替换区域在所述三维数据体中对应的面部区域数据替换为预设常数，具体包括：
根据所述待替换区域所在的图像坐标系与所述三维数据体所在的数据体坐标系的转换关系，将所述待替换区域内所有点的坐标转化为在所述数据体坐标系下的点的坐标，完成所述待替换区域内的所有点的坐标变换；
根据坐标变换后的点将所述三维数据体中的面部区域数据替换为所述预设常数。
可选地，根据坐标变换后的点将所述三维数据体中的面部区域数据替换为所述预设常数，具体包括：
根据所述面部观察方向在所述数据体坐标系的方向向量和所述坐标变换后的点得到所述坐标变换后的点对应的射线L，所述坐标变换后的点作为所述射线L的起点；坐标变换后的每个点对应一条射线；
获得所述射线L与所述三维数据体相交的入射交点P1和出射交点P2；
判断所述P1和所述P2之间且位于所述射线L上的各个像素点是否满足第一替换条件，如果是，则将满足所述第一替换条件的像素点作为面部区域数据，以预设常数进行替换；如果否，则沿所述方向向量判断未被替换的像素点是否满足第二替换条件；
如果所述第二替换条件满足，则将满足所述第二替换条件的像素点作为面部区域数据，以所述预设常数进行替换，并对累计替换的像素点个数加1；所述第一替换条件为像素点的不透明度小于预设第一阈值；所述第二替换条件为：像素点的像素值小于预设第二阈值且所述射线L上累计替换的像素点个数小于预设第三阈值。
第二方面，本申请提供一种医学影像中面部区域的处理装置，包括：
重建模块，用于以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像；
识别模块，用于分别识别所述重建结果图像中的五官；
待替换区域确定模块，用于根据所述五官对应的区域形成待替换区域；
替换模块，用于将所述待替换区域在所述三维数据体中对应的面部区域数据替换为预设常数。
可选地，重建模块，具体用于根据所述三维数据体对应的直方图信息通过配色得到重建结果图像。
可选地，待替换区域确定模块，具体用于利用凸包算法获得覆盖五官部分的最小区域形成所述待替换区域。
可选地，替换模块，具体包括：
坐标转换单元，用于根据所述待替换区域所在的图像坐标系与所述三维数据体所在的数据体坐标系的转换关系，将所述待替换区域内所有点的坐标转化为在所述数据体坐标系下的点的坐标，完成所述待替换区域内的所有点的坐标变换；
数据替换单元，用于根据坐标变换后的点将所述三维数据体中的面部区域数据替换为所述预设常数。
可选地，数据替换单元，具体包括：
射线生成子单元，用于根据所述面部观察方向在所述数据体坐标系的方向向量和所述坐标变换后的点得到所述坐标变换后的点对应的射线L，所述坐标变换后的点作为所述射线L的起点；坐标变换后的每个点对应一条射线；
交点确定子单元，用于获得所述射线L与所述三维数据体相交的入射交点P1和出射交点P2；
第一判断子单元，用于判断所述P1和所述P2之间且位于所述射线L上的各个像素点是否满足第一替换条件；
第一替换子单元，用于当所述第一判断子单元判断结果为是时，将满足所述第一替换条件的像素点作为面部区域数据，以预设常数进行替换；
第二判断子单元，用于当所述第一判断子单元判断结果为否时，沿所述方向向量判断未被替换的像素点是否满足第二替换条件；
第二替换子单元，用于当所述第二判断子单元判断结果为是时，将满足所述第二替换条件的像素点作为面部区域数据，以所述预设常数进行替换；
计数单元，用于当所述第二判断子单元判断结果为是时，对累计替换的像素点个数加1；
所述第一替换条件为像素点的不透明度小于预设第一阈值；所述第二替换条件为：像素点的像素值小于预设第二阈值且所述射线L上累计替换的像素点个数小于预设第三阈值。
第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当所述程序被处理器运行时，实现如第一方面提供的医学影像中面部区域的处理方法。
第四方面，本申请提供一种处理器，其特征在于，用于运行计算机程序，所述程序运行时执行如第一方面提供的医学影像中面部区域的处理方法。
相较于现有技术，本申请具有以下有益效果：
本申请技术方案中，以面部观察方向对包含人体头部的医学影像三维数据体进行三维重建得到重建后的图像，该重建结果图像可以展示出患者的面部形态。面部的五官能够反映出较多的患者隐私信息，因此为了保护该医学影像对应的患者的隐私，在获得重建图像的基础上，进一步识别重建图像中的五官，再根据五官对应的区域形成二维的待替换区域。因为后续应用的是三维数据体，在二维图像空间确定出待替换区域后，还需要将待替换区域转换到三维数据空间，故确定出待替换区域在三维数据体中对应的面部区域数据，这些面部区域数据为三维数据。最后，将面部区域数据替换为预设常数。通过将面部区域数据替换为预设常数，有效掩盖了患者的面部特征。在后续应用中，因为替换后的三维数据体经过三维重建无法得到患者特有的面部形态，因此利用这些三维数据体也不会侵害患者的隐私，使患者的隐私得到有效的保护。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种医学影像中面部区域的处理方法流程图；
图2为本申请实施例提供的另一种医学影像中面部区域的处理方法流程图；
图3为本申请实施例提供的一种确定数据体坐标系中面部区域数据的示意图；
图4为经过面部脱敏的三维数据体重建得到的图像；
图5为本申请实施例提供的一种医学影像中面部区域的处理装置结构示意图；
图6为本申请实施提供的一种医学影像中面部区域的处理设备的硬件结构图。
具体实施方式
在医学领域，因为包含人体头部的三维的影像数据可以通过三维重建得到患者的面部形态，因此应用这些影像数据容易侵害患者的隐私。如何在保护患者隐私安全的同时使这些影像数据得到充分利用，成为该领域急需解决的问题。目前可以通过人工操作的方式，在影像数据中切除面部区域的数据。但是，该方法对工作人员的专业性提出了较高的要求，并且人工切除的方式存在效率低、成本高的问题。
针对以上问题，发明人经过研究在本申请提供一种医学影像中面部区域的处理方法、装置及相关产品。本申请利用包含人体头部的医学影像的三维数据体，以面部观察方向进行三维重建得到包含了面部的重建结果图像，将三维数据空间的问题首先转化到二维图像空间来处理。其后，利用中间结果图像分别识别其中的五官，再根据五官对应的区域形成二维图像中的待替换区域。因为五官能够较多地反映拍摄了该医学影像的患者的面部特征，因此待替换区域相当于明确出二维图像空间中包含患者的面部特征的数据。因为实际应用中，直接应用的是医学影像的三维数据体，因此在形成待替换区域后，还需要将二维图像空间的待替换区域映射到三维数据空间，确定出待替换区域在三维数据体中对应的面部区域数据。通过将面部区域数据替换为预设常数，有效掩盖了患者的面部特征，实现面部脱敏，从而保护了患者的隐私。
下面结合实施例和附图对本申请技术方案进行说明。
方法实施例：
参见图1，该图为本申请实施例提供的一种医学影像中面部区域的处理方法流程图。
如图1所示，本实施例提供的医学影像中面部区域的处理方法包括：
步骤101：以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像。
本实施例中，医学影像可以是磁共振图像，其三维数据体是MR数据。此外，医学影像还可以是电子计算机断层扫描图像，其三维数据体是CT数据。
由于可以分别从六个面观察三维数据体，因此为了更加清楚地看到面部，需要首先确定可以看到面部的观察方向，该方向就是人体坐标系Y轴的正方向，本申请将该方向称为面部观察方向。为便于理解本申请技术方案，首先介绍本申请实施例涉及到的三个坐标系。该三个坐标系分别是：人体坐标系、数据体坐标系以及图像坐标系，三个坐标系之间均可以通过矩阵的变换关系进行相互转换。
其中，人体坐标系是对人体生成dicom格式的医学影像时所在的坐标系。在人体坐标系下，X轴正向指向被成像人体的左侧，Y轴正向指向被成像人体的背部，Z轴正向指向被成像人体的头部。
为了观察面部，可以根据人体坐标系确定观察矩阵(1 0 0；0 0-1；0 1 0)，其中第一维度(1 0 0)对应图像坐标系的x正方向，第二维度(0 0-1)对应图像坐标系的y正方向；第三维度(0 1 0)对应图像坐标系的z正方向，也对应人体坐标系中能观察到面部的观察方向。
数据体坐标系是医学影像的三维数据体所在的坐标系。本步骤中为了以面部观察方向对包含人体头部的三维数据体进行三维重建，首先可以将图像坐标系的坐标轴方向转换到数据体坐标系中，再按照转换得到的方向矢量对三维数据体进行三维重建，得到重建结果的图像。
实际应用中，可以采用体绘制或者面绘制的技术对三维数据体进行三维重建，并得到重建后的结果图像。重建结果图像为二维图像，本实施例中，重建结果图像所在的坐标系称为图像坐标系。可以理解的是，由于重建结果图像是以面部观察方向以及合适的配色方案(体绘制)或者合适的等值面值(面绘制)对三维数据体进行绘制得到的，因此在重建结果图像中较全面地呈现出人体的面部。在申请实施例的以下描述中，均以体绘制的实现方式为例进行描述。
步骤102：分别识别重建结果图像中的五官。
需要识别的五官包括：眉毛、眼睛、嘴巴、鼻子、下巴等。需要说明的是，五官在此只是泛指人体面部能够反映面部特征的关键部位，此处对识别的五官包含的具体内容不进行限定。
下面提供本步骤的两种示例实现方式。
一种可能的实现方式：使用深度学习技术中的检测算法对标记好五官部位的重建结果图像作为训练样本进行训练，得到训练模型，用训练好的模型来预测出重建结果图像中的五官。另一种可能的实现方式：采用人脸识别技术分别识别重建结果图像中的五官，例如采用OpenCV中的工具包实现。
步骤103：根据五官对应的区域形成待替换区域。
具体实现时，可以利用凸包算法获得覆盖五官部分的最小区域形成所述待替换区域。例如，步骤102识别的五官各自对应的区域分别为R1、R2、R3…RN，获得R1、R2、R3…RN的边界点的集合P，将P中位于最外层的点连接起来构成凸多边形，凸多边形所形成的区域为覆盖五官部分的最小凸包区域。因为这一最小区域包含了较多的面部特征，如果不加以处理容易危害患者的隐私安全，因此这一最小区域即可作为重建结果图像中的待替换区域。
步骤104：将待替换区域在三维数据体中对应的面部区域数据替换为预设常数。
通过实施步骤103形成的待替换区域位于图像坐标系中，而真正需要替换的是数据体坐标系中的三维数据体中与待替换区域具有关联关系的数据。因此，可以通过坐标转换的方式确定出三维数据体中与待替换区域具有对应关系的面部区域数据，再将面部区域数据替换为预设常数。
作为一示例，可以设置唯一的预设常数，将面部区域数据统一替换为该预设常数。此处对预设常数的取值不进行限定。
作为另一示例，可以设置多个预设常数，在替换面部区域数据中任一数据时，从多个预设常数中随机取出一个预设常数进行替换。此处对多个预设常数的取值不进行限定。
以上即为本申请实施例提供的医学影像中面部区域的处理方法。该方法首先以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像，该重建结果图像二维的展示出从面部观察方向看到的面部。面部的五官能够反映出较多的患者隐私信息，因此为了保护该医学影像对应的患者的隐私，在获得重建结果图像的基础上，进一步识别重建结果图像中的五官，再根据五官对应的区域形成待替换区域，待替换区域依然是二维的。因为后续应用的是三维数据体，在二维图像空间确定出待替换区域后，还需要将待替换区域转换到三维数据空间，故确定出待替换区域在三维数据体中对应的面部区域数据，这些面部区域数据为三维数据。最后，将面部区域数据替换为预设常数。通过将面部区域数据替换为预设常数，有效掩盖了患者的面部特征。在后续应用中，因为替换后的三维数据体无法通过三维重建得到患者特有的面部形态，因此利用这些三维数据体也不会侵害患者的隐私，使患者的隐私得到有效的保护。
在前述实施例基础上，本申请还提供了另一种医学影像中面部区域的处理方法。下面结合实施例和附图进行说明。
参见图2，该图为本实施例提供的医学影像中面部区域的处理方法流程图。
如图2所示，该方法包括：
步骤201：根据三维数据体对应的直方图信息通过配色得到绘制结果图像。
具体实现时，可以首先获得医学影像的三维数据体对应的直方图信息。直方图信息可以通过直方图呈现。假设三维数据体中各个像素点的灰度范围为0-255，在直方图中，横轴表示灰度值，纵轴表示像素点的个数。例如，灰度值为100的像素点个数为50，灰度值为188的像素点个数为90。
以三维重建技术中体绘制为例说明，使用直方图信息构建合适的配色方案，利用该配色方案进行体绘制渲染，得到重建结果图像。体绘制有很多可选的实现方式，例如采用光线投射(Ray Casting)方法进行体绘制。以该配色方案进行体绘制，可以在重建结果图像中较好地呈现面部。
以一维配色方案为例，对灰度范围内的每个像素值设定对应的不透明度和颜色值(R、G、B)，用四点法来确定，第一个节点的像素值为灰度范围的起始值，不透明度为0。设定方法如下：获得直方图后，利用大津算法或迭代法计算阈值T，该阈值T作为配色方案的第二个结点。第二个节点处的不透明度为0，颜色值可选。对于CT图像，第三个节点的值可取T+300，不透明度为0.9。对于MR图像，与CT图像的配色方案不同之处在于第三个节点可以取T+80，不透明度也为0.9。第四个节点的像素值为灰度范围的结束值，不透明度为0.9，节点之间的像素值按照线性插值的方式来计算节点间每个像素值对应的不透明度和颜色值。
步骤202：分别识别重建结果图像中的五官。
步骤203：利用凸包算法获得覆盖五官部分的最小区域形成待替换区域。
如前述实施例所述，该最小区域具体可以是一个凸多边形区域。
步骤202-203各自的实现过程已经在前述实施例中做过较为详细的说明，因此步骤202-203的相关描述可以参见前述实施例，此处不再赘述。
步骤204：根据待替换区域所在的图像坐标系与三维数据体所在的数据体坐标系的转换关系，将待替换区域内所有点的坐标转化为在数据体坐标系下的点的坐标，完成待替换区域内的所有点的坐标变换。
待替换区域可以表示为R＝{(pt[j].x，pt[j].y)，j＝1,2,…,k}，其中k为大于1的整数，j的取值不同代表待替换区域中不同的像素点，这些像素点位于图像坐标系中。pt[j]表示其中的第j个像素点，pt[j].x表示像素点pt[j]在图像坐标系的x方向的坐标值，pt[j].y表示像素点pt[j]在图像坐标系的y方向的坐标值。
坐标转换关系可以通过以下公式表示：
pos_j＝voxori+(pt[j].x)*imxv+(pt[j].y)*imyv公式(1)
在公式(1)中，imxv为图像坐标系的x方向在数据体坐标系的方向向量，imyv为图像坐标系的y方向在数据体坐标系的方向向量，voxori为图像坐标系的原点在数据体坐标系的坐标。pos_j表示待替换区域的像素点pt[j]通过坐标转换后，转换到体数据坐标系的点。
通过执行以上步骤201-204，最后，根据坐标变换后的点和面部观察方向相结合将三维数据体中的面部区域数据替换为预设常数即可实现医学影像的面部脱敏。下面结合步骤205-208提供一种确定面部区域数据并进行面部脱敏的示例性实现方式。
参见图3，该图为本实施例提供的一种确定数据体坐标系中面部区域数据的示意图。
图3中，P点为执行步骤204坐标转换后的任意一个像素点。箭头s代表人体坐标系下的面部观察方向在数据体坐标系转换得到的方向向量。图3中的物体表示医学影像的三维数据体。
步骤205：根据面部观察方向在数据体坐标系的方向向量和坐标变换后的点得到坐标变换后的点对应的射线L，坐标变换后的点作为射线L的起点。
可以理解的是，如果以P点为起始点，利用方向向量能够获得图3所示的射线L。对于通过坐标转换后的各个像素点，其在数据体坐标系的位置各不相同，因此利用方向向量能够获得与像素点数量等同的平行射线。即，坐标转换后的像素点与射线是一一对应的关系。
步骤206：获得射线L与三维数据体相交的入射交点P1和出射交点P2。
图3中示出了射线L与三维数据体的入射交点P1和出射交点P2。可以理解的是，在射线L上且入射交点P1与出射交点P2之间包括若干数据体坐标系中的像素点，其中包含P1及P2。
步骤207：判断所述P1和所述P2之间且位于所述射线L上的各个像素点是否满足第一替换条件，如果是，则执行步骤208；如果否，则执行步骤209。
本实施例中，预先设定了第一替换条件，第一替换条件具体可以是：像素点的不透明度小于预设第一阈值。如果像素点的不透明度小于预设第一阈值，则确定需要将像素点进行替换。即，执行步骤208。
步骤208：将满足所述第一替换条件的像素点作为面部区域数据，以预设常数进行替换。
步骤209：沿所述方向向量判断未被替换的像素点是否满足第二替换条件，如果是，则执行步骤210。
对于P1和所述P2之间且位于所述射线L上的不满足第一替换条件的像素点，沿着方向向量逐一判断。
具体地，判断第二替换条件是否满足，如果是，则确定需要替换满足第二替换条件的像素点，即，执行步骤210。
第二替换条件具体可以包括第二条件和第三条件，其中第二条件为：像素点的像素值小于预设第二阈值；第三条件为：射线L上累计替换的像素点个数小于预设第三阈值。仅当第二条件和第三条件同时满足时，才可确定第二替换条件满足。
需要说明的是，由于P1是入射交点，P2是出射交点，P1和P2之前且位于射线L上的各个像素点中，沿方向向量更加远离P1的像素点更加靠近后脑勺。第三条件主要用于约束需要替换的像素点的范围，用于在三维数据体中寻找到皮肤和肌肉对应的区域，避免将皮肤和肌肉以下的区域(即相比于皮肤和肌肉更加靠近脑后勺方向的区域)替换掉。因为皮肤和肌肉以下的区域的三维数据是后续应用可能要用到的，对于人工智能在医疗领域的研究具有重要作用。
作为示例，对于CT图像，预设第一阈值可以设置为0.5，预设第二阈值可以设置为100；预设第三阈值可以设置为150。
步骤210：如果第二替换条件满足，则以预设常数替换像素点，并对累计替换的像素点个数加1。
将面部区域数据替换为预设常数的实现方式已经在前述实施例中详细介绍过，此处不再赘述。在实际应用中，如果某一像素点满足第二替换条件，则在替换后，将累计替换的像素点个数加1。例如，在对该像素点替换之前，累计替换的像素点个数为120(小于预设第三阈值)，则可以在对该像素点进行替换后，对累计替换的像素点个数加1，即121。
以上即为本申请实施例提供的一种医学影像中面部区域的处理方法。该方法利用第一替换条件和第二替换条件判断是否需要对待替换区域转换到数据体坐标系的点进行替换。通过第二替换条件的限制，避免将皮肤和肌肉之下的区域过度替换，保证了替换后的三维数据体的数据应用价值，同时保障了患者的隐私。
需要说明的是，以上仅以一个射线L上的像素点替换为示例进行说明。对于获得的所有射线，均可按照上述实现方式替换其上满足第一替换条件或第二替换条件的像素点。参见图4为实施本申请技术方案后经历了面部脱敏的三维数据体重建得到的图像。根据图4可以发现通过实时本申请技术方案，使图像中人脸面部特征得到很好的掩盖，面部形态难以识别，从而无法暴露患者的面部隐私。
基于前述实施例提供的医学影像中面部区域的处理方法，相应地，本申请还提供一种医学影像中面部区域的处理装置。下面结合实施例和附图进行说明。
装置实施例：
参见图5，该图为本申请实施例提供的医学影像中面部区域的处理装置的结构示意图。
如图5所示，该装置包括：
重建模块501，用于以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像；
识别模块502，用于分别识别所述重建结果图像中的五官；
待替换区域确定模块503，用于根据所述五官对应的区域形成待替换区域；
替换模块504，用于将所述待替换区域在所述三维数据体中对应的面部区域数据替换为预设常数。
该装置以面部观察方向对包含人体头部的医学影像的三维数据体进行绘制得到重建结果图像，该重建结果图像二维地展示出从面部观察方向看到的面部。面部的五官能够反映出较多的患者隐私信息，因此为了保护该医学影像对应的患者的隐私，在获得重建结果图像的基础上，进一步识别重建结果图像中的五官，再根据五官对应的区域形成待替换区域，待替换区域依然是二维的。因为后续应用的是三维数据体，在二维图像空间确定出待替换区域后，还需要将待替换区域转换到三维数据空间，故确定出待替换区域在三维数据体中对应的面部区域数据，这些面部区域数据为三维数据。最后，将面部区域数据替换为预设常数。通过将面部区域数据替换为预设常数，有效掩盖了患者的面部特征。在后续应用中，因为替换后的三维数据体无法三维重建得到患者特有的面部形态，因此利用这些三维数据体也不会侵害患者的隐私，使患者的隐私得到有效的保护。
可选地，重建模块501，具体用于根据所述三维数据体对应的直方图信息通过配色得到重建结果图像。
可选地，待替换区域确定模块503，具体用于利用凸包算法获得覆盖五官部分的最小区域形成所述待替换区域。
可选地，替换模块504，具体包括：
坐标转换单元，用于根据所述待替换区域所在的图像坐标系与所述三维数据体所在的数据体坐标系的转换关系，将所述待替换区域内所有点的坐标转化为在所述数据体坐标系下的点的坐标，完成所述待替换区域内的所有点的坐标变换；
数据替换单元，用于根据坐标变换后的点将所述三维数据体中的面部区域数据替换为所述预设常数。
可选地，所述数据替换单元，具体包括：
射线生成子单元，用于根据所述面部观察方向在所述数据体坐标系的方向向量和所述坐标变换后的点得到所述坐标变换后的点对应的射线L，所述坐标变换后的点作为所述射线L的起点；坐标变换后的每个点对应一条射线；
交点确定子单元，用于获得所述射线L与所述三维数据体相交的入射交点P1和出射交点P2；
第一判断子单元，用于判断所述P1和所述P2之间且位于所述射线L上的各个像素点是否满足第一替换条件；
第一替换子单元，用于当所述第一判断子单元判断结果为是时，将满足所述第一替换条件的像素点作为面部区域数据，以预设常数进行替换；
第二判断子单元，用于当所述第一判断子单元判断结果为否时，沿所述方向向量判断未被替换的像素点是否满足第二替换条件；
第二替换子单元，用于当所述第二判断子单元判断结果为是时，将满足所述第二替换条件的像素点作为面部区域数据，以所述预设常数进行替换；
所述计数单元，用于当所述第二判断子单元判断结果为是时，对累计替换的像素点个数加1；
所述第一替换条件为像素点的不透明度小于预设第一阈值；所述第二替换条件为：像素点的像素值小于预设第二阈值且所述射线L上累计替换的像素点个数小于预设第三阈值。
该装置利用第一替换条件和第二替换条件判断是否需要对待替换区域转换到数据体坐标系的点进行替换。通过第一和第二替换条件的限制，避免将皮肤和肌肉之下的区域过度替换，保证了替换后的三维数据体的数据应用价值，同时保障了患者的隐私。
基于前述实施例提供的医学影像中面部区域的处理方法和装置，本申请实施例还提供了一种计算机可读存储介质。
该存储介质上存储有程序，该程序被处理器执行时实现本申请前述方法实施例保护的医学影像中面部区域的处理方法中部分或全部步骤。
该存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于前述实施例提供的医学影像中面部区域的处理方法、装置和存储介质，本申请实施例提供了一种处理器。该处理器用于运行程序，其中，所述程序运行时执行前述方法实施例保护的医学影像中面部区域的处理方法中部分或全部步骤。
基于前述实施例提供的存储介质和处理器，本申请还提供了一种医学影像中面部区域的处理设备。
参见图6，该图为本实施例提供的医学影像中面部区域的处理设备的硬件结构图。
如图6所示，医学影像中面部区域的处理设备包括：存储器601、处理器602、通信总线603和通信接口604。
其中，存储器601上存储有可在处理器上运行的程序，程序执行时实现本申请前述方法实施例提供的医学影像中面部区域的处理方法中部分或全部步骤。存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
该设备中，处理器602与存储器601通过通信总线传输信令、逻辑指令等。该设备能够通过通信接口604与其他设备进行通信交互。
在本申请技术方案中，以面部观察方向对包含人体头部的医学影像的三维数据体进行绘制得到重建结果图像，该重建结果图像可以二维地展示出从面部观察方向看到的面部。面部的五官能够反映出较多的患者隐私信息，因此为了保护该医学影像对应的患者的隐私，在获得重建结果图像的基础上，进一步识别重建结果图像中的五官，再根据五官对应的区域形成待替换区域，待替换区域依然是二维的。因为后续应用的是三维数据体，在二维图像空间确定出待替换区域后，还需要将待替换区域转换到三维数据空间，故确定出待替换区域在三维数据体中对应的面部区域数据，这些面部区域数据为三维数据。最后，将面部区域数据替换为预设常数。通过将面部区域数据替换为预设常数，有效掩盖了患者的面部特征。在后续应用中，因为替换后的三维数据体无法三维重建得到患者特有的面部形态，因此利用这些三维数据体也不会侵害患者的隐私，使患者的隐私得到有效的保护。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种医学影像中面部区域的处理方法，其特征在于，包括：
以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像；
分别识别所述重建结果图像中的五官；
根据所述五官对应的区域形成待替换区域；
将所述待替换区域在所述三维数据体中对应的面部区域数据替换为预设常数。
2.根据权利要求1所述的方法，其特征在于，所述以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像，具体包括：
根据所述三维数据体对应的直方图信息通过配色得到重建结果图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述五官对应的区域形成待替换区域，具体包括：
利用凸包算法获得覆盖五官部分的最小区域形成所述待替换区域。
4.根据权利要求1所述的方法，其特征在于，所述将所述待替换区域在所述三维数据体中对应的面部区域数据替换为预设常数，具体包括：
根据所述待替换区域所在的图像坐标系与所述三维数据体所在的数据体坐标系的转换关系，将所述待替换区域内所有点的坐标转化为在所述数据体坐标系下的点的坐标，完成所述待替换区域内的所有点的坐标变换；
根据坐标变换后的点将所述三维数据体中的面部区域数据替换为所述预设常数。
5.根据权利要求4所述的方法，其特征在于，所述根据坐标变换后的点将所述三维数据体中的面部区域数据替换为所述预设常数，具体包括：
根据所述面部观察方向在所述数据体坐标系的方向向量和所述坐标变换后的点得到所述坐标变换后的点对应的射线L，所述坐标变换后的点作为所述射线L的起点；坐标变换后的每个点对应一条射线；
获得所述射线L与所述三维数据体相交的入射交点P1和出射交点P2；
判断所述P1和所述P2之间且位于所述射线L上的各个像素点是否满足第一替换条件，如果是，则将满足所述第一替换条件的像素点作为面部区域数据，以预设常数进行替换；如果否，则沿所述方向向量判断未被替换的像素点是否满足第二替换条件；
如果所述第二替换条件满足，则将满足所述第二替换条件的像素点作为面部区域数据，以所述预设常数进行替换，并对累计替换的像素点个数加1；所述第一替换条件为像素点的不透明度小于预设第一阈值；所述第二替换条件为：像素点的像素值小于预设第二阈值且所述射线L上累计替换的像素点个数小于预设第三阈值。
6.一种医学影像中面部区域的处理装置，其特征在于，包括：
重建模块，用于以面部观察方向对包含人体头部的医学影像的三维数据体进行三维重建得到重建结果图像；
识别模块，用于分别识别所述重建结果图像中的五官；
待替换区域确定模块，用于根据所述五官对应的区域形成待替换区域；
替换模块，用于将所述待替换区域在所述三维数据体中对应的面部区域数据替换为预设常数。
7.根据权利要求6所述的装置，其特征在于，所述替换模块，具体包括：
坐标转换单元，用于根据所述待替换区域所在的图像坐标系与所述三维数据体所在的数据体坐标系的转换关系，将所述待替换区域内所有点的坐标转化为在所述数据体坐标系下的点的坐标，完成所述待替换区域内的所有点的坐标变换；
数据替换单元，用于根据坐标变换后的点将所述三维数据体中的面部区域数据替换为所述预设常数。
8.根据权利要求7所述的装置，其特征在于，所述数据替换单元，具体包括：
射线生成子单元，用于根据所述面部观察方向在所述数据体坐标系的方向向量和所述坐标变换后的点得到所述坐标变换后的点对应的射线L，所述坐标变换后的点作为所述射线L的起点；坐标变换后的每个点对应一条射线；
交点确定子单元，用于获得所述射线L与所述三维数据体相交的入射交点P1和出射交点P2；
第一判断子单元，用于判断所述P1和所述P2之间且位于所述射线L上的各个像素点是否满足第一替换条件；
第一替换子单元，用于当所述第一判断子单元判断结果为是时，将满足所述第一替换条件的像素点作为面部区域数据，以预设常数进行替换；
第二判断子单元，用于当所述第一判断子单元判断结果为否时，沿所述方向向量判断未被替换的像素点是否满足第二替换条件；
第二替换子单元，用于当所述第二判断子单元判断结果为是时，将满足所述第二替换条件的像素点作为面部区域数据，以所述预设常数进行替换；
计数单元，用于当所述第二判断子单元判断结果为是时，对累计替换的像素点个数加1；
所述第一替换条件为像素点的不透明度小于预设第一阈值；所述第二替换条件为：像素点的像素值小于预设第二阈值且所述射线L上累计替换的像素点个数小于预设第三阈值。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述程序被处理器运行时，实现如权利要求1-5任一项所述的医学影像中面部区域的处理方法。
10.一种处理器，其特征在于，用于运行计算机程序，所述程序运行时执行如权利要求1-5任一项所述的医学影像中面部区域的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911398353.0A CN111179157B (zh) | 2019-12-30 | 2019-12-30 | 医学影像中面部区域的处理方法、装置及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911398353.0A CN111179157B (zh) | 2019-12-30 | 2019-12-30 | 医学影像中面部区域的处理方法、装置及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179157A true CN111179157A (zh) | 2020-05-19 |
| CN111179157B CN111179157B (zh) | 2023-09-05 |
Family
ID=70658464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911398353.0A Active CN111179157B (zh) | 2019-12-30 | 2019-12-30 | 医学影像中面部区域的处理方法、装置及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179157B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113488143A (zh) * | 2021-06-28 | 2021-10-08 | 上海联影智能医疗科技有限公司 | 医学扫描方法、医学扫描设备及计算机可读存储介质 |
| CN113887311A (zh) * | 2021-09-03 | 2022-01-04 | 中山大学中山眼科中心 | 一种保护眼科患者隐私的方法、装置及存储介质 |
| CN114694186A (zh) * | 2022-06-01 | 2022-07-01 | 南京优牧大数据服务有限公司 | 牛脸识别数据处理方法及装置 |
| CN115760934A (zh) * | 2022-10-18 | 2023-03-07 | 中国人民解放军陆军军医大学 | 一种眼鼻三角区的自动标定方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050111762A1 (en) * | 2003-11-26 | 2005-05-26 | Mathew Prakash P. | Image-based patient data obfuscation system and method |
| CN102106741A (zh) * | 2009-12-25 | 2011-06-29 | 东软飞利浦医疗设备***有限责任公司 | 一种二维超声图像的三维重建方法 |
| US20120099002A1 (en) * | 2010-10-20 | 2012-04-26 | Hon Hai Precision Industry Co., Ltd. | Face image replacement system and method implemented by portable electronic device |
| US20170032565A1 (en) * | 2015-07-13 | 2017-02-02 | Shenzhen University | Three-dimensional facial reconstruction method and system |
| CN107122679A (zh) * | 2017-05-16 | 2017-09-01 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| WO2019002521A1 (en) * | 2017-06-29 | 2019-01-03 | Koninklijke Philips N.V. | MASKING FACIAL CHARACTERISTICS OF A SUBJECT IN AN IMAGE |
| CN110503715A (zh) * | 2019-08-08 | 2019-11-26 | 苏州浪潮智能科技有限公司 | 一种医学影像的三维重建方法、装置及电子设备和存储介质 |
-
2019
- 2019-12-30 CN CN201911398353.0A patent/CN111179157B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050111762A1 (en) * | 2003-11-26 | 2005-05-26 | Mathew Prakash P. | Image-based patient data obfuscation system and method |
| CN102106741A (zh) * | 2009-12-25 | 2011-06-29 | 东软飞利浦医疗设备***有限责任公司 | 一种二维超声图像的三维重建方法 |
| US20120099002A1 (en) * | 2010-10-20 | 2012-04-26 | Hon Hai Precision Industry Co., Ltd. | Face image replacement system and method implemented by portable electronic device |
| US20170032565A1 (en) * | 2015-07-13 | 2017-02-02 | Shenzhen University | Three-dimensional facial reconstruction method and system |
| CN107122679A (zh) * | 2017-05-16 | 2017-09-01 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| WO2019002521A1 (en) * | 2017-06-29 | 2019-01-03 | Koninklijke Philips N.V. | MASKING FACIAL CHARACTERISTICS OF A SUBJECT IN AN IMAGE |
| CN110503715A (zh) * | 2019-08-08 | 2019-11-26 | 苏州浪潮智能科技有限公司 | 一种医学影像的三维重建方法、装置及电子设备和存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113488143A (zh) * | 2021-06-28 | 2021-10-08 | 上海联影智能医疗科技有限公司 | 医学扫描方法、医学扫描设备及计算机可读存储介质 |
| CN113887311A (zh) * | 2021-09-03 | 2022-01-04 | 中山大学中山眼科中心 | 一种保护眼科患者隐私的方法、装置及存储介质 |
| CN114694186A (zh) * | 2022-06-01 | 2022-07-01 | 南京优牧大数据服务有限公司 | 牛脸识别数据处理方法及装置 |
| CN114694186B (zh) * | 2022-06-01 | 2022-08-26 | 南京优牧大数据服务有限公司 | 牛脸识别数据处理方法及装置 |
| CN115760934A (zh) * | 2022-10-18 | 2023-03-07 | 中国人民解放军陆军军医大学 | 一种眼鼻三角区的自动标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179157B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179157B (zh) | 医学影像中面部区域的处理方法、装置及相关产品 | |
| JP7191050B2 (ja) | 画像内の対象者の顔の特徴の不明瞭化 | |
| US10679740B2 (en) | System and method for patient privacy protection in medical images | |
| Zhong et al. | Boosting‐based cascaded convolutional neural networks for the segmentation of CT organs‐at‐risk in nasopharyngeal carcinoma | |
| EP3188058A1 (en) | A method and a system for anonymizing image data in medical images | |
| EP3799662B1 (en) | Anonymisation of medical patient images using an atlas | |
| Yanling et al. | Segmenting vitiligo on clinical face images using CNN trained on synthetic and internet images | |
| Zhao et al. | Training deep‐learning segmentation models from severely limited data | |
| JP7154098B2 (ja) | 医用画像閲覧装置、医用画像処理装置、及び、医用画像診断装置 | |
| CN111402277B (zh) | 一种医学影像的物体外轮廓分割方法及装置 | |
| KR102284700B1 (ko) | 의료 영상 비식별화를 위한 신체 부위 위치 특정 방법, 프로그램 및 컴퓨팅 장치 | |
| Shinde et al. | Brain tumor identification using MRI images | |
| Sabri et al. | 2D photogrammetry image of scoliosis Lenke type classification using deep learning | |
| Xu et al. | Metal artifact reduction for oral and maxillofacial computed tomography images by a generative adversarial network | |
| KR102476888B1 (ko) | 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 | |
| CN116091891A (zh) | 图像识别方法及*** | |
| Cao et al. | Medical image fusion based on GPU accelerated nonsubsampled shearlet transform and 2D principal component analysis | |
| Ding et al. | Research on Spinal Canal GenerationMethod based on Vertebral Foramina Inpainting of Spinal CT Images by using BEGAN. | |
| Guo et al. | Multimodal medical image fusion based on average cross bilateral filtering | |
| CN110009666B (zh) | 一种机器人空间配准中建立匹配模型的方法及装置 | |
| CN114341996A (zh) | 基于vrds 4d的病情分析方法及相关产品 | |
| Miao et al. | Spinal neoplasm image inpainting with deep convolutional neutral networks | |
| CN116630326B (zh) | 一种基于鼻颅镜***的颅内肿瘤定位*** | |
| Al-Dhamari et al. | Automatic cochlear multimodal 3D image segmentation and analysis using atlas–model-based method | |
| US11593518B2 (en) | Medical image processing apparatus and medical image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200519 Address after: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2 Applicant after: NEUSOFT Corp. Applicant after: Neusoft group (Guangzhou) Co.,Ltd. Address before: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2 Applicant before: NEUSOFT Corp. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |