CN106845068B - 图片标注方法和装置 - Google Patents
图片标注方法和装置 Download PDFInfo
- Publication number
- CN106845068B CN106845068B CN201611151396.5A CN201611151396A CN106845068B CN 106845068 B CN106845068 B CN 106845068B CN 201611151396 A CN201611151396 A CN 201611151396A CN 106845068 B CN106845068 B CN 106845068B
- Authority
- CN
- China
- Prior art keywords
- picture
- dimensional
- marking
- pictures
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G06F19/321—
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种图片标注方法和装置。其中,该方法包括:获取人体的多张图片,其中,多张图片包括从不同切面获取的人体的图片;在多张图片中确定第一图片;获取用户对第一图片中的人体中的部位的标注;在第二图片中查找部位,并对第二图片中的部位标记标注。本发明解决了现有技术中通过手工标注方法易导致对不同图像中的同一部位标记出错的技术问题。
Description
技术领域
本发明涉及数据处理领域,具体而言,涉及一种图片标注方法和装置。
背景技术
医学图像种类丰富、数据量庞大,医生往往采用PACS***来管理和访问大量的医学影像。目前国内外PACS***或相关软件在对一张影像中的某个部位进行标注时,仅仅在该影像中进行标注。由于CT或MRI医学图像绝大多数属于二维图像,这在某种程度上使医生不易直观的从多个视角对该部位进行观察分析。
例如,就脊椎标记功能来说,通常需要医生选取切片序列中脊椎最清晰、完整的图像(通常为矢状面上的图像),并手工在该幅图像上标记出需要的脊柱和椎间盘,但是每一个标记仅仅存在于对应的那副图像中,医生一般要手工逐个仔细查找才能确认关联序列中同一脊柱或椎间盘的位置,这样存在耗时长,易出错的问题。现有的PACS***中,还没有针对这一问题的专门解决方法。
针对现有技术中通过手工标注方法易导致对不同图像中的同一部位标记出错的技术问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图片标注方法和装置,以至少解决现有技术中通过手工标注方法易导致对不同图像中的同一部位标记出错的技术问题。
根据本发明实施例的一个方面,提供了一种图片标注方法,包括:获取人体的多张图片,其中,多张图片包括从不同切面获取的人体的图片;在多张图片中确定第一图片;获取用户对第一图片中的人体中的部位的标注;在第二图片中查找部位,并对第二图片中的部位标记标注。
进一步地,在第二图片中查找部位,并对第二图片中的部位标记标注包括:确定标注在第一图片中的二维像素坐标,其中,标注用于标记部位的位置;将标注在第一图片中的二维像素坐标转换为部位在空间中的三维坐标并进行存储;根据部位在空间中的三维坐标在第二图片中对部位标记标注。
进一步地,多张图片分为多个图片序列,每个图片序列包括从一个切面方向获取的人体在至少一个切面上的图片,根据部位在空间中的三维坐标在第二图片中对部位标记标注包括:确定第二图片对应的切面;将部位在空间中的三维坐标映射到切面上,得到部位在切面上的二维物理坐标;将部位在切面上的二维物理坐标转换为在第二图片中的二维像素坐标,并根据转换得到的第二图片中的二维像素坐标标记标注。
进一步地,在第二图片中查找部位之前,该方法还包括:获取第一图片的序列标识符,其中,序列标识符用于标记在同一个图片序列组中的图片,图片序列组包括至少一个图片序列;判断第二图片的序列标识符与第一图片的序列标识符是否相同;如果判断结果为是,则根据部位在空间中的三维坐标在第二图片中对部位标记标注。
进一步地,在将部位在切面上的二维物理坐标转换为在第二图片中的二维像素坐标之后,该方法还包括:将转换得到的第二图片中的二维像素坐标转换到空间中并判断是否在预设空间区域内,其中,预设空间区域为根据部位在多个人体中的平均位置确定的空间区域;如果判断结果为是,则根据转换得到的第二图片中的二维像素坐标标记标注;如果判断结果为否,则不在第二图片中标记部位。
进一步地,在根据转换得到的第二图片中的二维像素坐标标记标注之前,该方法还包括:判断转换得到的第二图片中的二维像素坐标是否超出第二图片的显示范围;如果判断结果为是,则不在第二图片中标记部位;如果判断结果为否,则根据转换得到的第二图片中的二维像素坐标标记标注。
根据本发明实施例的另一方面,还提供了一种图片标注装置,包括:第一获取单元,用于获取人体的多张图片,其中,多张图片包括从不同切面获取的人体的图片;确定单元,用于在多张图片中确定第一图片;第二获取单元,用于获取用户对第一图片中的人体中的部位的标注;执行单元,用于在第二图片中查找部位,并对第二图片中的部位标记标注。
进一步地,执行单元包括:确定模块,用于确定标注在第一图片中的二维像素坐标,其中,标注用于标记部位的位置;转换模块,用于将标注在第一图片中的二维像素坐标转换为部位在空间中的三维坐标并进行存储;标记模块,用于根据部位在空间中的三维坐标在第二图片中对部位标记标注。
进一步地,多张图片分为多个图片序列,每个图片序列包括从一个切面获取的至少一张人体的图片,标记模块包括:确定子模块,用于确定第二图片对应的切面;映射子模块,用于将部位在空间中的三维坐标映射到切面上,得到部位在切面上的二维物理坐标;执行子模块,用于将部位在切面上的二维物理坐标转换为在第二图片中的二维像素坐标,并根据转换得到的第二图片中的二维像素坐标标记标注。
进一步地,该装置还包括:第三获取单元,用于在第二图片中查找所述部位之前,获取第一图片的序列标识符,其中,序列标识符用于标记在同一个图片序列组中的图片,图片序列组包括至少一个图片序列;判断单元,用于判断第二图片的序列标识符与第一图片的序列标识符是否相同,其中,执行单元还用于在判断结果为是的情况下,根据部位在空间中的三维坐标在第二图片中对部位标记标注。
在本发明实施例中,通过获取人体的多张图片,其中,多张图片包括从不同切面获取的人体的图片;在多张图片中确定第一图片;获取用户对第一图片中的人体中的部位的标注;在第二图片中查找部位,并对第二图片中的部位标记标注,解决了现有技术中通过手工标注方法易导致对不同图像中的同一部位标记出错的技术问题,进而实现了能够对包含同一部位的多张图片同步进行标注的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的图片标注方法的流程图;
图2是一种可选的解剖学坐标系的示意图;
图3是根据本发明实施例的一种可选的图片标注装置的示意图;
图4是根据本发明实施例的一种可选的脊椎标注方式的示意图;
图5是根据本发明实施例的一种可选的设置脊椎标注的示意图;
图6是根据本发明实施例的另一种可选的设置脊椎标注的示意图;
图7是一种可选的图像坐标系的示意图;
图8是根据本发明实施例的一种可选的坐标系间进行转换的示意图;
图9是根据本发明实施例的一种可选的确定空间点是否在边界框的方法的示意图;
图10是根据本发明实施例的另一种可选的脊椎标注方式的示意图;
图11是根据本发明实施例的另一种可选的脊椎标注方式的示意图;
图12是根据本发明实施例的另一种可选的脊椎标注方式的示意图;
图13是根据本发明实施例的另一种可选的脊椎标注方式的示意图;
图14是根据本发明实施例的一种可选的脊椎标注装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例,提供了一种图片标注方法的实施例。
图1是根据本发明实施例的一种可选的图片标注方法的流程图,该实施例提供的图片标注方法可以应用在图片显示***中,如图1所示,该方法包括如下步骤:
步骤S101,获取人体的多张图片,其中,多张图片包括从不同切面获取的人体的图片;
步骤S102,在多张图片中确定第一图片;
步骤S103,获取用户对第一图片中的人体中的部位的标注;
步骤S104,在第二图片中查找部位,并对第二图片中的部位标记标注。
获取图片可以是通过拍摄医学图像的设备获取的,拍摄医学图像的设备可以有多种类型,在拍摄时,可以从不同的切面方向拍摄,在每个切面方向上获取不同切面的人体的图片。
例如,以拍摄人体脊椎图像为例。人体脊椎由26块脊椎骨组成,即椎骨24块、骶骨、尾骨。其中24块椎骨包括:颈椎7块(通常采用代码C1-C7表示)、胸椎12块(通常采用代码T1-T12表示)、腰椎5块(通常采用代码L1-L5表示)、骶骨有5块(通常采用代码S1-S5表示)。椎间盘则是连接两个椎体之间的软组织。脊椎结构非常复杂,脊椎间的位置距离关系对于脊椎诊断、矫正等是至关重要的。人体脊椎图像通常使用X射线断层摄影技术(ComputerizedTomography,简称CT)和磁共振成像技术(Magnetic Resonance Image,简称MRI)来获取。这些图像一般分为三个切面方向:轴状面、冠状面、矢状面。如图2所示,冠状面(CoronalPlane)是沿人体沿左右方向切将人体分为前后两个部分的平面,即平面C;矢状面(SagitalPlane)是沿人体上下方向将人体分为左右两个部分的平面,即平面S;轴状面(AxialPlane)是将人体分为上下两个部分的横切平面,即平面A。每次检查可以拍摄人体在一个或多个切面方向上的图像,每个切面方向上都可以拍摄一个或多个切面的图像。其中,矢状面包含着脊柱和椎间盘最全、最清晰的图像信息;冠状面或轴状面脊椎图像在诊断中起着重要的辅助作用,但是在这两个方向上的切面中,医生很难判断图片中具体是哪一块脊椎。
在获取人体的多张图片之后,在多张图片中确定第一图片。第一图片通常选取最能体现该部位的图片,以拍摄脊椎的图片为例,通常选择矢状面上的某个切面的图片作为第一图像。第一图片可以是通过预设图像算法计算得到的,例如,在多张图像中选择最靠近人体中央部位的矢状面的图片作为第一图片,第一图片也可以是通过接收用户输入的选择获取的图片,例如,医生通过经验在多张图片中选择一幅最能体现拍摄部位的图片作为第一图片。
在确定第一图片之后,获取用户对第一图片中的人体部位的标注。用户可以对一个或多个部位进行标注,标注是能够在图片中显示的标记该部位所在位置的标注。标注可以显示在部位附近预设区域内,可以是字母、文字、符号等任意形式,只要标注使得在第一图片中能够确认部位的位置即可。
用户对第一图片中的人体部位进行标注之后,获取用户的标注,并在第二图片中查找该部位,以将标注标记在第二图片中的部位上。第二图片是多张图片中的图片,由于用户的标注是用于标记部位的,因此标注与部位是对应的,根据标注可以确定用户标注的部位,在确定用户标注的部位之后,在第二图片中查找该部位。
查找该部位可以根据部位的图像特征,通过图像处理方法确定部位的位置,例如,标注用户的头骨,由于头骨的轮廓特殊,可以通过图像处理提取轮廓的方法在第二图片中确定是否有头骨,如果有,则将与头骨对应的标注标记在部位上。
优选地,在第二图片中查找该部位可以是根据图片之间的空间关系进行查找。可以获取第一图片对应的切面和第二图片对应的切面的空间关系,将第一图片中标注所标记的部位的位置投射到空间中,再从空间投射到第二图片对应的切面上,以得到该部位在第二图片中的位置。
该实施例通过获取人体的多张图片,其中,多张图片包括从不同切面获取的人体的图片;在多张图片中确定第一图片;获取用户对第一图片中的人体中的部位的标注;在第二图片中查找部位,并对第二图片中的部位标记标注,解决了现有技术中通过手工标注方法易导致对不同图像中的同一部位标记出错的技术问题,进而实现了能够对包含同一部位的多张图片同步进行标注的技术效果。
优选地,在第二图片中查找部位时的具体方法可以是:确定标注在第一图片中的二维像素坐标,其中,标注标记出了标注所对应的部位的位置,该标注的信息中包含有部位在第一图片中的位置,例如,医生可以在第一图片中标记出颈椎C4的起始位置和结束位置,确定标注的二维像素坐标包括确定颈椎C4的起始位置和结束位置在第一图片中的二维像素坐标。在确定标注的二维像素坐标之后,可以将二维像素坐标转化为标注在第一图片中的二维物理坐标,然后将标注在第一图片中的二维物理坐标转换为部位在空间中的三维坐标,在实现二维坐标到三维坐标之间的转换之后,可以将三维坐标进行存储,以便在将该部位在三维空间中的位置投射到其它图片上时读取和使用。在获取了该部位的三维坐标之后,根据部位在空间中的三维坐标在第二图片中对部位标记标注,将三维坐标投射到第二图片所对应的切面上,得到二维像素坐标,例如,在确定颈椎C4在空间中的起始位置和结束位置的三维坐标之后,分别投射到第二图片中,得到了颈椎C4的起始位置和结束位置在第二图片中的二维像素坐标,并将用于标识颈椎C4的标注标记在颈椎C4在第二图片中的位置,该标注的具体形态可以与第一图片中的形态相同,仅需确定标注所在的位置,也即部位在第二图片中的位置。
对于医学图像来说,一名患者在不同时间可能会接受多次医学影像检查,每次检查可以包含若干个图片序列,每个图片序列中可以包含多张图片。因此,多张图片可能分为多个图片序列,每个图片序列包括从一个切面方向获取的人体在至少一个切面上的图片。在将部位在空间中的三维坐标投射到第二图片时,可以先确定第二图片对应的切面,将部位在空间中的三维坐标映射到切面上,得到部位在切面上的二维物理坐标,然后将部位在切面上的二维物理坐标转换为在第二图片中的二维像素坐标,最后根据转换得到的第二图片中的二维像素坐标在第二图片中的部位上标记标注。
优选地,在第二图片中查找部位之前,可以先判断第二图片和第一图片是否是同一个图片序列组中的图片,同一个图片序列组中的图像是同一患者在一个检查中得到的多个图片序列,每个图片序列组中包括至少一个图片序列,如果不是同一个图片序列组中的图片,则表示第二图片可能是与第一图片不同患者、或同一患者在不同时期的检查中的图片,没有对比的必要且人体在三维空间中的位置不同,因此,要先判断第二图片和第一图片是否是同一个图片序列组中的图片。具体地,可以获取第一图片的序列标识符,判断第二图片的序列标识符与第一图片的序列标识符是否相同,其中,序列标识符用于标记在同一个图片序列组中的图片,如果判断出第二图片和第一图片具有相同的序列标识符,则可以执行在第二图片中查找该部位并进行标注,否则,无需对第二图片进行标注处理。
优选地,在将部位在切面上的二维物理坐标转换为在第二图片中的二维像素坐标之后,还可以判断第二图片中是否有需要标注的部位,具体地,将该部位在三维空间中的坐标投射到第二图片对应的切面上得到第二图片中的二维像素坐标之后,将转换得到的二维像素坐标再次转换到三维空间中,判断进一步转换之后的三维坐标是否在该部位应该在的预设空间区域内,其中,预设空间区域是根据正常人体的平均情况确定的参考区域,具体可以是根据该部位在多个人体中的平均位置确定的空间区域。如果判断出将第二图片中的二维像素坐标转换到三维空间之后,三维坐标在预设空间区域内,则确定第二图片的切面中包括需要标注的部位,并进行标注,否则,如果判断出三维坐标不在预设空间区域内,则可能是第二图片所对应的切面不经过该部位,不在第二图片中标记标注。
优选地,在根据转换得到的第二图片中的二维像素坐标标记标注之前,还可以判断标注在第二图片对应的切面上的位置是否超出第二图片显示的范围,如果判断转换得到的第二图片中的二维像素坐标超出第二图片的显示范围,则不在第二图片中标记部位,如果判断结果为否,则根据转换得到的第二图片中的二维像素坐标标记标注。
需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
下面结合一个具体应用场景,以一个具体实施方式对上述实施例的应用方式进行进一步地描述:
该具体实施方式提供的图片标注方法可以应用在基于PACS(图像存储和传输***)***中,对CT或磁共振获取的脊柱图像序列中的脊柱和椎间盘进行同步联动标记。
该实施方式提供的图片标注方法可以通过如图3中所示的图片标注装置来执行,该图片标注装置包括:脊椎标记装置100、坐标转换装置200、标记同步装置300。在一个脊椎图片序列(例如,序列0)中通过脊椎标记装置100标记了标注之后,通过坐标转换装置200将标注由图像像素坐标转换到图像物理坐标,再由图像物理坐标转换到病人坐标,最后由标记同步装置300将标注同步的标记到其它序列(序列1、序列2、……、序列n)的图像中。
(1)脊椎标记装置100
手工或自动在一个脊椎图片序列(例如,序列0)中选取一副最优图片,手工选取并标记脊柱或椎间盘,其中,脊柱包括由上至下的颈椎C1~C7、胸椎T1~T12、腰椎L1~L5、骶骨S1~S5,椎间盘为每两块相邻的脊柱之间的间隙,包括C1/C2~C7/T1、T1/T2~T12/L1、L1/L2~L5/S1、S1/S2~S4/S5。
标记方法可以是通过选择PACS***的工具栏中的“脊柱标签”功能,在显示脊柱图片的窗口中每块脊柱的位置单击鼠标左键,以添加对应的脊柱的标注,如图4所示,默认可以按脊椎内每个部位从上到下的顺序依次添加(每次点击鼠标左键后出现的标注的脊椎编号是依次增加的),也即,医生每点击一次鼠标左键,依次出现C1、C1/C2、C2、C2/C3、C4……的标签,医生可以在脊柱图片未标记任何“脊柱标签”的情况下,在显示脊柱图片的窗口中用鼠标左键点击颈椎C1所在的位置,则颈椎C1的标签标在了医生选择的颈椎C1所在的位置,然后再用鼠标左键点击椎间盘C1/C2所在的位置,则椎间盘C1/C2的标签标在了医生选择的椎间盘C1/C2所在的位置,依此类推。
在图片中进行标注之后可以进行修改,修改标签标注的位置以及编号。例如,如图4中所示的标签,将鼠标悬停在标签上,可以通过拖拽标签中用于标记脊椎的起止位置的箭头来调节医生想要标记的脊椎的位置,调节位置的一种实施方式是通过拖拽箭头的起点来调整标签的位置,拖拽箭头的终点来调整标签的长度和方向。在标签箭头起点和终点间的线段上按下鼠标左键并拖动,可移动标记。选择标签并单击鼠标右键,可重新设置标签的分类和编号,如图5和图6所示,脊柱的标签和椎间盘的标签的分类均可以分为颈、胸、腰、骶四类,每个分类中都有各块脊椎的编号。选择标签并单击鼠标右键,还可以执行如下操作:删除:删除操作(快捷键:Delete);字体:更改字体、字型、字号和颜色;透明背景色:显示和隐藏文本框背景颜色,默认为隐藏;向上标记:选中后,将按从下至上的顺序添加标签,编号依次递减。
(2)坐标转换装置200
坐标转换是在不同坐标系下的表达形式进行互相转换的方法,一个完整的坐标***是由坐标系和基准两方面要求所构成的,坐标系指的是描述空间位置的表达形式,而基准指的是为描述空间位置而定义的一系列点、线、面。计算机图像处理中主要有以下几种坐标系:
1)世界坐标系
世界坐标系是***的绝对坐标系,模型(如核磁扫描器,或者病人)被定位在这个坐标体系中。每个模型都有它自身的坐标体系,但是只存在一个世界坐标体系来定义模型的位置与方向。
2)解剖学坐标系
对医学图像处理技术来说,最重要的坐标体系是解剖学的空间坐标体系,也称为病人坐标体系,如图2所示。这个空间坐标体系由三个位面:轴状面、冠状面、矢状面组成,用来描述标准的人体在解剖学上的位置。
3)图像坐标系
图像坐标系用于描述一幅图像是怎样获取的。医学扫描仪器生成了规则的点和网格的矩形数组,如图7所示,图像的原点(origin)在左上角,i轴向右递增,j轴向下递增,k轴向屏幕平面的后方递增。在保存一幅医学图像时,除了保存每个立体像素(voxel)的坐标值(i,j,k)及该像素点的图像强度值之外,解剖学坐标的原点以及间距(spacing)也被保存下来,其中,解剖学坐标的原点是图像原点(voxel(0,0,0))在解剖学坐标体系中的位置(例如,(100mm,50mm,-25mm)),间距是指在各个坐标轴上相邻两个立体像素之间的实际距离间隔,如图7所示。
该具体实施方式中提供的坐标转换装置200执行的转换为图像像素坐标与病人坐标之间的转换,在图像像素坐标系和病人坐标系之间通过图像物理坐标系作为中间坐标系。
如图8所示,对图像像素坐标系、图像物理坐标系和病人坐标系及转换方式进行说明如下:
1)图像像素坐标系o-uv
图像像素坐标系o-uv是以图像左上角为原点建立的以像素为单位的直接坐标系。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。
2)图像物理坐标系o1-xy
由于(u,v)只代表像素的列数与行数,而像素在图像中的位置并没有用物理单位表示出来,所以,我们还要建立以物理单位(例如,毫米mm)表示的图像物理坐标系o1-xy。图像物理坐标系的x轴与图像像素坐标系的u轴平行,图像物理坐标系的y轴与图像像素坐标系的v轴平行,图像像素坐标系的原点(u0,v0)在图像物理坐标系中的物理坐标可由预先标定好的参数确定,该参数在DICOM3.0格式影像文件中以Image Position(Patient)中存储的对应的x值和y值确定,设dx与dy分别表示图像中的每个像素在图像物理坐标系中横轴x和纵轴y上的物理尺寸,则图像中的每个像素在图像像素坐标系中的坐标和在图像物理坐标系中的坐标之间都存在如下的关系:
上述公式中我们假设物理坐标系中的单位为毫米,那么dx的单位为毫米/像素,x/dx的单位就是像素了,即和u与u0的单位一样都是像素,等式两边的单位相同。为了使用方便,可将上式用齐次坐标与矩阵形式表示为:
上式的逆关系可表示为:
3)病人坐标系o-xyz
病人坐标系中的一点p(x’,y’,z’)与图像物理坐标系中像点P(x,y)物理坐标之间的对应关系为:
齐次坐标表示为:
因此可得物点p与图像像素坐标系中像点P的变换关系为:
上式的逆关系为:
其中,在PACS***中采用的图片格式为DICOM3.0格式,在DICOM3.0格式影像文件中和坐标转换的计算有关的数据主要包括以下几种:
1)(0008,5100)Patient Position简单描述了病人和影像设备之间的位置关系,以一个不超过16个字节的字符串存放。
2)(0020,0032)图片位置Image Position(病人Patient)描述了该张影像首个像素(“左上方”)的坐标,这个数据元素和(0020,0037)一起确定了该张影像中所有像素的坐标,用3个不超过16字节的字符串存放。分别是X,Y,Z值。
3)(0020,0037)图片坐标轴的指向Image Orientation(病人Patient)是一个非常重要的数据元素,由6个不超过16字节的字符串存放。需要说明的是,在DICOM3.0中坐标轴的指向完全以病人为准。以病人中心为原点,病人左手指向的方向为X轴正向,病人背后的方向为Y轴的正向,往病人头部的方向为Z轴的正向。因此是一个以病人为中心的右手坐标系。早期的DICOM标准则是以设备为坐标参考物,不过这里只谈涉及DICOM3.0标准的部分。
4)(0028,0030)Pixel Spacing表示相邻像素中心点之间的距离,可以理解为“像素的物理大小”。由两个不超过16字节字符串描述,单位为毫米(mm)。
5)(0018,0050)Slice Thickness表示该断层的“厚度”,当然,这个是一个计算值,由设备计算而得,因此在DICOM3.0中被称为是“名义上的”(Nominal),单位为毫米。
(3)标记同步装置300
对于当前显示的每个视图中的图片,先根据各个视图中图片的序列标识符(Frameof Reference UID,下文简称UID)查找***的后台是否有相同UID的图片上标记有脊椎标记,如果有标记了脊椎标记且UID相同的图片,确定根据该图片得到的脊柱标记的各个病人坐标值w1(x1,y1,z1),w2(x2,y2,z2),……,将这些标记的病人坐标值由病人坐标系转换到当前显示的每个视图中的图片对应的图像像素坐标系中,得到对应视图的图像坐标值。
将坐标从三维转换到二维一定会得到一个二维坐标值,而当前视图所显示的图片可能是不包括标注所标记的部位的,将该二维坐标值对应的标注标记在图片中显然是不对的,因此,引入下面两个判断规则用于判断是否显示标记:
1)标记是否在边界框(Bounding Box)内
根据临床采集的多名成年患者(例如,50名患者)的脊椎图像,分别测量每个患者所有脊柱和椎间盘的大小,在这里,脊柱和椎间盘被粗略地视作一个立方体,得到每个部位的平均大小,得到一个空间中的立方体,也即边界框Bounding Box。边界框的长宽高可以分别由轴状面和矢状面的MR图像获取,每个脊柱和椎间盘对应立方体大小由多名患者对应的脊柱和椎间盘的大小的平均值获得,每个脊柱(C1,C2,……,S5)和椎间盘(C1/C2,C2/C3,……,S4/S5)都对应有一个边界框。
在添加脊椎标记时,根据当前标记的标签所对应的部位可以得出该标签的边界框的大小,以该标签在病人坐标系中对应的三维点P(x,y,z)作为边界框的中心,这样确定出了该部位在空间中的边界框的大小和位置,如图9所示。如果一个空间点P1和P之间的空间距离大于0.5×h(h为边界框在病人坐标系中的高度)时,则认为点P1不在边界框内。
在判断标记是否在边界框内时,将该标记在三维空间中的病人坐标值w1,w2,……映射到二维空间中,得到转换后的图像坐标q1,q2,……。如果q1,q2,……在边界框内,则认为标记在该脊柱或椎间盘的实际范围内,将标签在当前视图中显示的其他不同序列的图片中显示,如图10所示,标记C6对应的脊椎在所有视图中均可以显示出来;如果q1,q2,……不在边界框内,则认为标记不在该脊柱或椎间盘的实际范围内,该标记不需要不同显示,如图11和图12所示,图11中的左图所有的标记均不在右图中,图12中的右图标注的C1~C3和T3在左图中未标记出。
2)标记是否在实际图像范围内
具有相同UID的图像序列,不同序列所对应的人***置也可能不相同。如图13所示,在右图的序列中的某一帧图像中标记的脊柱,映射到别的序列后可能会出现左图的序列中的情况:新的标记已经超出了实际图像的显示范围。当标记超出实际图像范围时,则不再显示该标记。
该具体实施方式提供的图片标注方法公开了一种用于PACS***的增强的脊椎标记方法。通过该方法能同步标记病人CT或MRI图像的关联序列(包括:矢状面、冠状面、轴状面),可以提供更直观、准确、多角度的脊椎信息。而现有的技术都不具备同步标记关联序列的功能。针对不同位置大小不同的脊柱或椎间盘,相应的标记也会根据经验值限定在一个小矩形区域内,当同步的标记不在该区域内时则不显示。
根据本申请实施例,提供了一种图片标注装置的实施例。
如图14所示,该装置包括第一获取单元10,确定单元20,第二获取单元30和执行单元40。
第一获取单元用于获取人体的多张图片,其中,多张图片包括从不同切面获取的人体的图片;确定单元用于在多张图片中确定第一图片;第二获取单元用于获取用户对第一图片中的人体中的部位的标注;执行单元用于在第二图片中查找部位,并对第二图片中的部位标记标注。
优选地,执行单元包括:确定模块,用于确定标注在第一图片中的二维像素坐标,其中,标注用于标记部位的位置;转换模块,用于将标注在第一图片中的二维像素坐标转换为部位在空间中的三维坐标并进行存储;标记模块,用于根据部位在空间中的三维坐标在第二图片中对部位标记标注。
优选地,多张图片分为多个图片序列,每个图片序列包括从一个切面获取的至少一张人体的图片,标记模块包括:确定子模块,用于确定第二图片对应的切面;映射子模块,用于将部位在空间中的三维坐标映射到切面上,得到部位在切面上的二维物理坐标;执行子模块,用于将部位在切面上的二维物理坐标转换为在第二图片中的二维像素坐标,并根据转换得到的第二图片中的二维像素坐标标记标注。
优选地,该装置还包括:第三获取单元,用于在第二图片中查找所述部位之前,获取第一图片的序列标识符,其中,序列标识符用于标记在同一个图片序列组中的图片,图片序列组包括至少一个图片序列;判断单元,用于判断第二图片的序列标识符与第一图片的序列标识符是否相同,其中,执行单元还用于在判断结果为是的情况下,根据部位在空间中的三维坐标在第二图片中对部位标记标注。
上述的装置可以包括处理器和存储器,上述单元均可以作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (6)
1.一种图片标注方法,其特征在于,包括:
获取人体的多张图片,其中,所述多张图片包括从不同切面获取的所述人体的图片;
在所述多张图片中确定第一图片,其中,所述第一图片是通过预设图像算法计算得到,在所述多张图片中选择最靠近人体中央部位的矢状面的图片作为所述第一图片;
获取用户对所述第一图片中的所述人体中的部位的标注;
在第二图片中查找所述部位,并对所述第二图片中的所述部位标记所述标注,
在第二图片中查找所述部位,并对所述第二图片中的所述部位标记所述标注包括:确定所述标注在所述第一图片中的二维像素坐标,其中,所述标注用于标记所述部位的位置;将所述标注在所述第一图片中的二维像素坐标转换为所述部位在空间中的三维坐标并进行存储;根据所述部位在空间中的三维坐标在所述第二图片中对所述部位标记所述标注,
在第二图片中查找所述部位之前,所述方法还包括:获取所述第一图片的序列标识符,其中,所述序列标识符用于标记在同一个图片序列组中的图片,所述图片序列组包括至少一个所述图片序列;判断所述第二图片的序列标识符与所述第一图片的序列标识符是否相同;如果判断结果为是,则根据所述部位在空间中的三维坐标在所述第二图片中对所述部位标记所述标注。
2.根据权利要求1所述的方法,其特征在于,所述多张图片分为多个图片序列,每个图片序列包括从一个切面方向获取的所述人体在至少一个切面上的图片,根据所述部位在空间中的三维坐标在所述第二图片中对所述部位标记所述标注包括:
确定所述第二图片对应的切面;
将所述部位在空间中的三维坐标映射到所述切面上,得到所述部位在所述切面上的二维物理坐标;
将所述部位在所述切面上的二维物理坐标转换为在所述第二图片中的二维像素坐标,并根据转换得到的所述第二图片中的二维像素坐标标记所述标注。
3.根据权利要求2所述的方法,其特征在于,在将所述部位在所述切面上的二维物理坐标转换为在所述第二图片中的二维像素坐标之后,所述方法还包括:
将转换得到的所述第二图片中的二维像素坐标转换到空间中并判断是否在预设空间区域内,其中,所述预设空间区域为根据所述部位在多个人体中的平均位置确定的空间区域;
如果判断结果为是,则根据转换得到的所述第二图片中的二维像素坐标标记所述标注;
如果判断结果为否,则不在所述第二图片中标记所述部位。
4.根据权利要求3所述的方法,其特征在于,在根据转换得到的所述第二图片中的二维像素坐标标记所述标注之前,所述方法还包括:
判断转换得到的所述第二图片中的二维像素坐标是否超出所述第二图片的显示范围;
如果判断结果为是,则不在所述第二图片中标记所述部位;
如果判断结果为否,则根据转换得到的所述第二图片中的二维像素坐标标记所述标注。
5.一种图片标注装置,其特征在于,包括:
第一获取单元,用于获取人体的多张图片,其中,所述多张图片包括从不同切面获取的所述人体的图片;
确定单元,用于在所述多张图片中确定第一图片,其中,所述第一图片是通过预设图像算法计算得到,在所述多张图片中选择最靠近人体中央部位的矢状面的图片作为所述第一图片;
第二获取单元,用于获取用户对所述第一图片中的所述人体中的部位的标注;
执行单元,用于在第二图片中查找所述部位,并对所述第二图片中的所述部位标记所述标注,
所述执行单元包括:确定模块,用于确定所述标注在所述第一图片中的二维像素坐标,其中,所述标注用于标记所述部位的位置;转换模块,用于将所述标注在所述第一图片中的二维像素坐标转换为所述部位在空间中的三维坐标并进行存储;标记模块,用于根据所述部位在空间中的三维坐标在所述第二图片中对所述部位标记所述标注,
所述图片标注装置还包括:第三获取单元,用于在所述第二图片中查找所述部位之前,获取所述第一图片的序列标识符,其中,所述序列标识符用于标记在同一个图片序列组中的图片,所述图片序列组包括至少一个所述图片序列;判断单元,用于判断所述第二图片的序列标识符与所述第一图片的序列标识符是否相同,其中,所述执行单元还用于在判断结果为是的情况下,根据所述部位在空间中的三维坐标在所述第二图片中对所述部位标记所述标注。
6.根据权利要求5所述的装置,其特征在于,所述多张图片分为多个图片序列,每个图片序列包括从一个切面获取的至少一张所述人体的图片,所述标记模块包括:
确定子模块,用于确定所述第二图片对应的切面;
映射子模块,用于将所述部位在空间中的三维坐标映射到所述切面上,得到所述部位在所述切面上的二维物理坐标;
执行子模块,用于将所述部位在所述切面上的二维物理坐标转换为在所述第二图片中的二维像素坐标,并根据转换得到的所述第二图片中的二维像素坐标标记所述标注。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611151396.5A CN106845068B (zh) | 2016-12-13 | 2016-12-13 | 图片标注方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611151396.5A CN106845068B (zh) | 2016-12-13 | 2016-12-13 | 图片标注方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106845068A CN106845068A (zh) | 2017-06-13 |
CN106845068B true CN106845068B (zh) | 2020-05-22 |
Family
ID=59139017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611151396.5A Active CN106845068B (zh) | 2016-12-13 | 2016-12-13 | 图片标注方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106845068B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108962357A (zh) * | 2018-06-28 | 2018-12-07 | 深圳开立生物医疗科技股份有限公司 | 一种注释方法、***、设备及计算机可读存储介质 |
CN109284407B (zh) * | 2018-08-21 | 2020-09-01 | 芜湖启迪睿视信息技术有限公司 | 一种用于智能售货柜训练自动标注数据集的装置 |
CN110148454B (zh) * | 2019-05-21 | 2023-06-06 | 上海联影医疗科技股份有限公司 | 一种摆位方法、装置、服务器及存储介质 |
CN110807770A (zh) * | 2019-10-30 | 2020-02-18 | 杭州依图医疗技术有限公司 | 医学影像的处理、识别、显示方法及存储介质 |
CN110827960A (zh) * | 2019-11-04 | 2020-02-21 | 杭州依图医疗技术有限公司 | 医学影像的显示方法及显示设备 |
CN110993067A (zh) * | 2019-12-05 | 2020-04-10 | 上海杏脉信息科技有限公司 | 医学影像标注*** |
CN113806573A (zh) * | 2021-09-15 | 2021-12-17 | 上海商汤科技开发有限公司 | 标注方法、装置、电子设备、服务器及存储介质 |
CN117218320B (zh) * | 2023-11-08 | 2024-02-27 | 济南大学 | 基于混合现实的空间标注方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1737810A (zh) * | 2004-05-18 | 2006-02-22 | 爱克发-格法特公司 | 数字医学图像中自动映射几何对象的方法 |
CN102262724A (zh) * | 2010-05-31 | 2011-11-30 | 汉王科技股份有限公司 | 目标图像特征点定位方法和目标图像特征点定位*** |
CN102592283A (zh) * | 2012-02-21 | 2012-07-18 | 华南理工大学 | 一种脑部肿瘤头皮定位图像处理方法 |
CN103565470A (zh) * | 2012-08-07 | 2014-02-12 | 香港理工大学 | 基于三维虚拟图像的超声图像自动标注方法及*** |
CN103918008A (zh) * | 2011-11-08 | 2014-07-09 | 皇家飞利浦有限公司 | 用于交互式图像标注的***与方法 |
CN103930901A (zh) * | 2011-11-17 | 2014-07-16 | 微软公司 | 基于图像内容的自动标记生成 |
CN104395930A (zh) * | 2012-03-15 | 2015-03-04 | 爱克发医疗保健公司 | 用于定位脊柱的方法、设备和*** |
CN104462738A (zh) * | 2013-09-24 | 2015-03-25 | 西门子公司 | 一种标注医学图像的方法、装置和*** |
CN104641397A (zh) * | 2012-07-24 | 2015-05-20 | 爱克发医疗保健公司 | 用于自动化脊柱加标签的方法、装置和*** |
CN105094760A (zh) * | 2014-04-28 | 2015-11-25 | 小米科技有限责任公司 | 一种图片标记方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112012002671T5 (de) * | 2011-06-29 | 2014-04-03 | Philips Intellectual Property & Standards Gmbh | Anzeigen einer Vielzahl von registrierten Bildern |
-
2016
- 2016-12-13 CN CN201611151396.5A patent/CN106845068B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1737810A (zh) * | 2004-05-18 | 2006-02-22 | 爱克发-格法特公司 | 数字医学图像中自动映射几何对象的方法 |
CN102262724A (zh) * | 2010-05-31 | 2011-11-30 | 汉王科技股份有限公司 | 目标图像特征点定位方法和目标图像特征点定位*** |
CN103918008A (zh) * | 2011-11-08 | 2014-07-09 | 皇家飞利浦有限公司 | 用于交互式图像标注的***与方法 |
CN103930901A (zh) * | 2011-11-17 | 2014-07-16 | 微软公司 | 基于图像内容的自动标记生成 |
CN102592283A (zh) * | 2012-02-21 | 2012-07-18 | 华南理工大学 | 一种脑部肿瘤头皮定位图像处理方法 |
CN104395930A (zh) * | 2012-03-15 | 2015-03-04 | 爱克发医疗保健公司 | 用于定位脊柱的方法、设备和*** |
CN104641397A (zh) * | 2012-07-24 | 2015-05-20 | 爱克发医疗保健公司 | 用于自动化脊柱加标签的方法、装置和*** |
CN103565470A (zh) * | 2012-08-07 | 2014-02-12 | 香港理工大学 | 基于三维虚拟图像的超声图像自动标注方法及*** |
CN104462738A (zh) * | 2013-09-24 | 2015-03-25 | 西门子公司 | 一种标注医学图像的方法、装置和*** |
CN105094760A (zh) * | 2014-04-28 | 2015-11-25 | 小米科技有限责任公司 | 一种图片标记方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106845068A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106845068B (zh) | 图片标注方法和装置 | |
US9020235B2 (en) | Systems and methods for viewing and analyzing anatomical structures | |
US11983799B2 (en) | System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement | |
EP2572332B1 (en) | Visualization of medical image data with localized enhancement | |
US9563979B2 (en) | Apparatus and method for registering virtual anatomy data | |
US8929635B2 (en) | Method and system for tooth segmentation in dental images | |
US8761493B2 (en) | Method and system for tooth segmentation in dental images | |
US9460510B2 (en) | Synchronized navigation of medical images | |
US20130322727A1 (en) | Medical image processing device and medical image processing method | |
CN105719324A (zh) | 图像处理装置以及图像处理方法 | |
CN104751502B (zh) | 一种用于扩大视野的ct图像重建方法 | |
US9767594B2 (en) | Image processing apparatus | |
JP2017051591A (ja) | 情報処理装置及びその方法、情報処理システム、コンピュータプログラム | |
EP2923337B1 (en) | Generating a key-image from a medical image | |
Wang et al. | Automated segmentation of CBCT image using spiral CT atlases and convex optimization | |
US9691157B2 (en) | Visualization of anatomical labels | |
CN110580948A (zh) | 医学影像的显示方法及显示设备 | |
CN112001889A (zh) | 医学影像处理方法、装置及医学影像显示方法 | |
Hadagali et al. | Morphing the feature-based multi-blocks of normative/healthy vertebral geometries to scoliosis vertebral geometries: development of personalized finite element models | |
CN110993067A (zh) | 医学影像标注*** | |
JP6440386B2 (ja) | 情報処理装置及びプログラム | |
CN110738639B (zh) | 医学图像检测结果的展示方法、装置、设备及存储介质 | |
CN105844687B (zh) | 用于处理医学影像的装置和方法 | |
CN110827960A (zh) | 医学影像的显示方法及显示设备 | |
CN107066184A (zh) | 图像显示方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |