CN106164978B - 使用参数化可变形网状物来构造个性化具体化的方法和*** - Google Patents
使用参数化可变形网状物来构造个性化具体化的方法和*** Download PDFInfo
- Publication number
- CN106164978B CN106164978B CN201580006226.5A CN201580006226A CN106164978B CN 106164978 B CN106164978 B CN 106164978B CN 201580006226 A CN201580006226 A CN 201580006226A CN 106164978 B CN106164978 B CN 106164978B
- Authority
- CN
- China
- Prior art keywords
- mesh
- avatar
- avatar mesh
- point cloud
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 24
- 230000037237 body shape Effects 0.000 claims description 14
- 210000000056 organ Anatomy 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 7
- 238000002059 diagnostic imaging Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 239000003550 marker Substances 0.000 description 7
- 238000002600 positron emission tomography Methods 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 210000004197 pelvis Anatomy 0.000 description 3
- 208000037063 Thinness Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 210000004013 groin Anatomy 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000003094 perturbing effect Effects 0.000 description 2
- 230000001144 postural effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010048828 underweight Diseases 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
公开了用于从深度照相机图像生成人的3D个性化网状物以用于医学成像扫描规划的方法和装置。将对象的深度照相机图像转换成3D点云。在3D点云中检测多个解剖标志。通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化。通过使用经训练参数可变形模型(PDM)来优化3D具体化网状物而生成对象的个性化3D具体化网状物。该优化服从将对象所穿的衣服和对象躺在其上面的工作台的存在考虑在内的约束。
Description
本申请要求2015年1月26日提交的美国专利申请号14/604,829的权益,其要求2014年1月28日提交的临时申请号61/932,441的权益,该申请的公开被整体地通过引用结合到本文中。
技术领域
本发明涉及构造人类对象(subject)的个性化具体化(personalized avatar),并且更特别地涉及从使用深度传感器获得的单个图像来构造人类对象的3D网状物模型。
背景技术
深度传感器是提供深度信息以及典型图像信息(诸如RGB(红色、绿色、蓝色)数据)的照相机。深度照相机可以是基于结构光的照相机(诸如Microsoft Kinect或ASUSXtion)、立体照相机或飞行时间照相机(诸如Creative TOF照相机)。从深度照相机获得的图像数据通常称为RGB-D(RGB+深度)数据,其通常包括RGB图像(其中每个像素具有RGB值)以及深度图像(其中每个像素的值对应于深度或像素离照相机的距离)。随着Kinect的到来,已提出了各种方法以根据RGB-D数据估计人体骨骼。然而,此类方法通常要求多个传感器或视频序列以获得人的网状物。
SCAPE是在Draomir Anguelov等人在ACM Trans. W Graph, Vol 24 (2005), pp.408-416中的“SCAPE: Shape Completion and Animation of People”中描述的一种用于人体建模的方法。SCAPE由于其以紧凑式方式对人体形状和姿势变化进行建模的能力而被广泛地使用。作为针对许多相关姿势和形状参数学习复杂函数的替代,SCAPE将模型解耦并从具有不同姿势的一个人学习姿势变形模型,并且然后从具有一个姿势的不同人学习形状变形模型。然而,SCAPE仅被应用到皮肤包层对象,并且并未准确地处理封闭变化和传感器噪声。
发明内容
本发明提供了用于从使用深度照相机获得的图像进行人的3D网状物的自动生成的方法和***。本发明的实施例从来自深度照相机传感器的单个快照(甚至从身体的部分视图)重构人的详细网状物。本发明的实施例提供了在衣服下面的人的身体形状估计,并且提供传感器噪声统计建模以获得精确的姿势和身体形状。本发明的实施例生成患者的3D网状物并将该3D网状物用于医学成像扫描规划。
在本发明的一个实施例中,对象的深度照相机图像到3D点云。在3D点云中检测多个解剖标志。通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化。通过使用已训练参数可变形模型(PDM)来优化3D具体化网状物而生成对象的个性化3D具体化网状物。
通过参考以下详细描述和附图,本发明的这些及其它优点对于本领域的普通技术人员而言将是显而易见的。
附图说明
图1图示出使用点云和多边形网状物来表示表面的示例;
图2图示出从已训练姿势变形模型获得的姿势变形的示例;
图3图示出使用已训练形状变形模型获得的形状变形的示例;
图4图示出具有不同姿势的合成网状物实例;
图5图示出具有不同身体形状的合成网状物实例;
图6图示出模板网状物模型的示例;
图7图示出根据本发明的实施例的生成用于患者的个性化3D具体化网状物模型的方法;
图8示出了安装在CT扫描仪上的深度照相机传感器的示例;
图9图示出使用已训练PDM从RGB-D图像数据生成个性化具体化网状物的示例性结果;以及
图10是能够实现本发明的计算机的高级框图。
具体实施方式
本发明涉及一种用于从使用深度照相机获得的图像进行人的个性化3D网状物的自动生成的方法和***。在本文中描述了本发明的实施例以给出个性化网状物生成方法的直观理解。数字图像常常由一个或多个物体(或形状)的数字表示构成。在本文中常常就识别和操纵物体来来描述物体的数字表示。此类操纵是在计算机***的存储器或其它电路/硬件中实现的虚拟操纵。因此,应理解的是可使用存储于计算机***内存储的数据在计算机***内执行本发明的实施例。
本发明的实施例生成人的个性化3D网状物模型,其根据从深度照相机(诸如Microsoft Kinect深度照相机)获得的RGB-D图像数据来估计人的详细身体姿势以及形状。在本文中将人的此类个性化3D网状物模型称为具体化。不同于用以从视频序列的多个传感器获得个性化网状物的其它方法,本发明的实施例根据来自捕捉人的部分视图并处理身体衣服的深度照相机的单个快照而生成个性化网状物。本发明的实施例提供甚至来自身体的部分视图的详细身体形状(网状物)的重构、根据来自任何深度照相机传感器的单个快照进行的身体形状估计、在衣服下面的人的身体形状估计以及适当的传感器噪声统计建模以获得精确的身体姿势和形状。
为了生成人的个性化3D网状物,本发明的实施例采用基于模型的方法来将人类骨骼模型拟合到人的深度图像数据。然后使用估计姿势骨骼来将在离线训练阶段中学习的详细参数化可变形网状物(PDM)初始化。然后优化该PDM以通过扰乱身体姿势和形状来拟合输入深度数据。与SCAPE模型相比,重要的差别是用以将PDM拟合到深度数据的基于采样的优化程序。不同于仅仅应用于具有皮肤包层对象的数据的SCAPE模型,本发明的实施例利用这个基于采样的方法来处理对象的衣服变化。此外,基于采样的方法还使得本发明的实施例能够处理由于传感器噪声而引入的偏置。
本发明的实施例可以在用于使用计算机断层成像(CT)或正电子发射断层成像(PET)扫描仪的患者扫描的工作流程中使用。在用于使用CT或PET扫描仪的患者扫描的典型工作流程中,放射学家/技术人员首先通过从轮廓(profile)的观点观察患者轮廓来大致地估计扫描区的患者等中心(iso-center),并且然后使该患者等中心与通常由激光投射反映的扫描仪构台中心对准。如果完美地进行该对准,则将实现最佳成像质量。然而,由放射学家/技术人员完成的当前对准是不准确的且不一致的。本发明的实施例可以用来生成准确地拟合患者的个性化3D具体化网状物,其将被进一步用来计算扫描区的等中心。与放射学家/技术人员所使用的传统工作流程相比,这可以提供等中心的更准确且一致的估计。另外,在用于使用CT或PET扫描仪的患者扫描的典型工作流程中,首先用扫描仪来生成存储图(x射线)图像以帮助放射学家确定必要的扫描区。
本发明的实施例可以用来从使用深度照相机获得的快照生成准确地拟合患者的个性化3D具体化网状物,并且可以作为存储图的替代而使用个性化3D具体化网状物以预测患者体内的器官的位置以便确定扫描区。这可以提供针对器官的扫描范围的更准确估计并减小患者对辐射的暴露。
在计算机图形中,一般地用三维(3D)表面X来表示3D物体形状。用以表示3D表面的两个流行方式是使用点云(通过对表面进行点采样生成)和使用多边形网状物(通过表面的多边形近似生成)。一般地将点云视为物体表面的传感器读数的集合,其中,云中的每个元素表示表面点的3D坐标。虽然点云可能与其它模型相比更加在计算上可管理,尤其是对于复杂表面而言,但点云丢弃关于表面连续性的信息,包括表面连接性的拓扑。可以将表面X的点云表示为。这是用以表示从3D获取设备(诸如Microsoft Kinect深度照相机)获得的数据的常见方式。
多边形网状物是定义物体的形状的顶点和边缘的集合。可以将表面X的多边形网状物表示为,其中,表示顶点,并且包括定义当前多边形的边缘的顶点索引。在网状物中一般地使用三角形作为多边形,并且使用三个顶点()和三个边缘()来表示每个三角形tk。应理解的是本发明不限于使用三角形的多边形网状物,并且还可在多边形网状物中使用其它多边形,诸如四面体。图1图示出使用点云和多边形网状物来表示表面的示例。如图1中所示,使用点云102和多边形网状物104来表示人体表面100。
本发明的实施例利用人体的已学习参数可变形模型(PDM)来生成用于患者的个性化具体化模型。PDM将全人体变形划分成两个单独的变形,姿势和形状变形,其中,可以将姿势变形进一步划分成刚性和非刚性变形。根据有利实施方式,可以使用包括一组三角形的多边形网状物来表示人体。因此,可以将表示人体的任何给定网状物Mi中的三角形表示为具有某些变形的模板网状物的三角形。将模板网状物中的三角形表示为,并且将每个三角形的两个边缘表示为。然后,可以将Mi中的三角形表示为:
(1)
其中,是针对属于同一身体部分l的所有三角形具有同一值的刚性旋转,是形状变形矩阵,并且是姿势变形矩阵。
为了从一组训练数据学习姿势变形模型,针对每个三角形tk学习回归,其作为它的两个最接近关节的扭曲的函数而估计姿势变形矩阵Q
(2)
在上述等式中,可以根据刚性旋转矩阵R来计算∆r。如果给定Q,则可以容易地计算回归参数。然而,用于每个三角形的非刚性变形矩阵Q是未知的。因此,通过对优化问题求解来对用于三角形中每个的变形矩阵求解,其以平滑性约束为依据而使变形模板网状物与训练网状物数据之间的距离最小化。可以将此优化问题表示为:
(3)
其中,第一项使变形模板网状物与训练网状物数据之间的距离最小化,并且第二项是优选属于同一身体部分的相邻三角形中的类似变形的平滑性约束。是可以用来调谐平滑性约束的权重,并且l()在相邻三角形属于同一身体部分时等于单位矩阵I,并且在相邻三角形不属于同一身体部分时等于零。
在姿势变形模型的训练之后,可以操纵网状物模型以通过用不同的值对刚性旋转矩阵R进行初始化来形成不同的身体姿势。图2图示出从已训练姿势变形模型获得的姿势变形的示例。如图2中所示,图像202示出了使用已训练姿势变形模型获得的驾驶姿势,图像204示出了模板姿势,并且图像206示出了使用已训练姿势变形模型获得的行走姿势。使用已用具有不同姿势的200个训练实例训练的姿势变形模型来获得图2的姿势变形。
为了从一组训练数据学习形状变形,采用主分量分析(PCA)来将形状变形矩阵建模为本征空间的小集合的线性组合。
(4)
在等式(4)中,F是PCA系数β的函数,μ是均值矢量,并且U是完成PCA维度缩减时的数据的本征矢量。类似于姿势估计,用于每个三角形的形状变形矩阵S是未知的。再次地,使用以平滑性约束为依据使变形模板网状物与训练网状物数据之间的距离最小化的优化问题来估计矩阵S:
其中,第一项使变形模板网状物与训练网状物数据之间的距离最小化,并且第二项是优选相邻三角形中的类似形状变形的平滑性约束。
一旦获得了PCA参数(即,本征矢量的集合),则可以操纵网状物模型以通过扰乱β来形成不同的身体形状(高至矮、体重不足至超重、强壮至瘦弱等)。图3图示出使用已训练形状变形模型获得的形状变形的示例。图3的形状变形是通过沿着第一主分量(β)的方向的PDM形状变形获得的。如图3中所示,图像302示出了使用已训练形状变形模型获得的体重不足身体形状的极端情况,图像304示出了模板网状物,并且图像306示出了使用已训练形状变形模型获得的超重身体形状的极端情况。图3的形状变形是使用用具有不同身体形状的200个训练实例训练的形状变形模型获得的。
用以训练用于PDM的姿势变形模型和形状变形模型的训练过程要求许多3D网状物训练示例。从实际人类模型构建此类数据集是一个貌似合理的解决方案,但是其是昂贵且耗时的。从实际人类模型构建训练数据集要求从不同视角捕捉每个人的高精度激光扫描仪。然后,配准算法需要被应用以从部分视图构造用于每个人的全身模型。另外,填充孔、去除噪声以及对表面进行平滑化也可要求巨大的人类努力。
在本发明的有利实施例中,可以使用合成人类模型来训练PDM。与使用实际人类模型相比,来自3D商用软件的合成人类模型生成起来更简单且更快得多。在示例性实施方式中,可以使用称为POSER的3D动画软件来生成合成人类模型以填充训练数据集。POSER是可以用于人类的3D多边形网状物的姿势确定和动画的3D再现软件。此软件从具有关节和形状参数的大自由度的预先构建人类模型的库开始。连同Python编程界面一起,POSER可以在约一小时内生成具有不同姿势和形状的数千个3D人类网状物实例。使用POSER的另一优点是源自于同一网状物模板的所有网状物实例被完全标记并配准。例如,每个网状物实例中的顶点的数目与模板网状物相同,并且顶点顺序保持相同,而无论网状物形成的姿势的种类如何。然而,使用POSER来生成用于训练数据集的网状物存在两个问题。首先,数据生成是完全无监督的,仅仅用某些初始用户输入,因此可以生成对于实际的人而言不切实际的某些姿势。因此,检查使用POSER生成的网状物并手动地去除不切实际的网状物可能是必要的。其次,POSER本身并不模拟人体的重力效果,因此具有站立姿势的人具有与躺下姿势的那个人相同的身体形状。图4图示出采用使用POSER生成的不同姿势的网状物实例402、404和406。图5图示出具有使用POSER生成的不同身体形状的网状物实例502、504和506。
在原始SCAPE工作中,用采取各种姿势的同一人类对象的不同网状物实例来训练姿势变形模型,而用来自采取中立姿势的许多对象的网状物实例来训练形状变形模型。然而,形状和姿势变形的此类解耦可能导致问题。例如,如果对于姿势训练数据而言人类对象是男性,则用于给定女性对象的姿势和形状估计将是不准确的。根据本发明的有利实施例,我们具有知道测试对象的性别的强大的先验,因此此类解耦不是问题。根据有利实施方式,训练两个单独的姿势变形模型(男性和女性),并且当根据患者的已知性别来生成用于患者的个性化具体化网状物时应用已训练姿势变形模型中的适当的一个。
在所有训练网状物实例之中,选择具有平常(例如,平均或中值)身体尺寸和中立姿势的人作为模板网状物。模板网状物的全身被划分成多个不同身体部分,并且手动地选择模板网状物上的多个关节标志。根据示例性实施方式,可以将模板网状物划分成18个身体 部分,并且选择模板网状物上的16个点作为关节标志。在本示例性实施方式中,18个身体部分(和用来识别身体部分的索引)如下:左和右脚(0、1)、左和右小腿(2、3)、左和右大腿(4、5)、骨盆(6)、左和右手(7、8)、左和右前臂(9、10)、左和右上臂(11、12)、腹部(13)、胸部(14)、左和右肩膀(15、16)以及头(17)。关节标志对应于各种关节的位置及其它显著解剖位置。在示例性实施方式中,16个关节标志(和识别标志的索引)如下:左和右踝(0、1)、左和右膝(2、3)、左和右腰(4、5)、腹股沟(6)、左和右手腕(7、8)、左和右肘(9、10)、左和右膀尖(11、12)、胸部中心(13)、头部底部(14)以及头部顶部(15)。图6图示出模板网状物模型的示例。如图6中所示,模板网状物模型600被划分成18个身体部分(左和右脚、左和右小腿、左和右大腿、骨盆、左和右手、左和右前臂、左和右上臂、腹部、胸部、左和右肩膀以及头部)并用16个关节标志(左和右踝、左和右膝、左和右腰、腹股沟、左和右手腕、左和右肘、左和右膀尖、胸部中心、头部底部以及头部顶部)来注释。
图7图示出根据本发明的实施例的生成用于患者的个性化3D具体化网状物模型的方法。可以使用图7的方法作为扫描规划程序的一部分来规划用于获取患者的医学图像数据的扫描,诸如CT扫描或PET扫描。图7的方法利用先验,诸如病人躺在工作台上的知识以及患者被衣服、辐射防护器、毯子、枕头等覆盖的知识,并且将对应于此类先验的约束应用到患者的3D具体化网状物模型的生成。参考图7,在步骤702处,从深度照相机接收患者的RGB-D图像数据。在示例性实施例中,可以在来自深度照相机的单个快照中获得RGB-D图像数据。深度照相机可以是基于结构光的照相机(诸如Microsoft Kinect或ASUS Xtion)、立体照相机或飞行时间照相机(诸如Creative TOF照相机)。RGB-D(RGB+深度)图像数据包括RGB图像(其中每个像素具有RGB值)以及深度图像(其中每个像素的值对应于深度或像素与照相机的距离)。假设患者在用于医学图像获取的工作台上,应适当地安装深度照相机,使得其具有工作台上的患者的无障碍视界。例如,可将深度照相机安装在工作台上方的天花板上或者在医学图像扫描仪上。图8示出了安装在CT扫描仪804上的深度照相机传感器802的示例。可以直接地从深度照相机接收RGB-D图像数据,或者可以通过加载患者的先前获取RGB-D图像数据来进行接收。
返回到图7,在步骤704处,将RGB-D图像数据转换成3D点云。特别地,使用RGB-D图像数据的深度图像来将RGB图像中的每个像素映射到3D位置,导致表示患者的3D点云。
在步骤706处,在3D点云中检测解剖标志。特别地,在3D点云中检测在模板网状物中选择的关节标志中的每个。可以使用基于加注释训练数据训练的基于已训练机器学习的分类器来在3D点云中检测关节标志。例如,可以针对关节标志中的每个训练相应的随机概率增进树(PBT)分类器,并且可以通过使用相应已训练PBT分类器来扫描3D点云而检测每个关节标志。可以在标志检测中利用标志的相对位置也是可能的。例如,可以在区别性解剖网络(DAN)中连接用于每个关节标志的已训练分类器以将标志的相对位置考虑在内,或者可以将已训练分类器按照预定顺序应用到3D点云,其中,检测到的每个标志帮助缩窄用于后续标志的搜索范围。在其它可能的实施方式中,可以将PBT分类器训练成检测多个身体部分(例如,头、躯干、骨盆),并且可以使用检测到的身体部分来约束用于被用来检测关节标志的PBT分类器的搜索范围。
在步骤708处,使用检测到的解剖标志在3D点云中将模板网状物模型初始化。如上所述,模板网状物模型是从具有平常(例如,平均或中值)身体尺寸和中立姿势的训练数据集中的网状物中选择的网状物。将模板网状物模型划分成多个身体部分,并且存储用于模板网状物上的所述多个关节标志中的每一个的相应位置。通过计算模板网状物到3D点云的刚性变换(其使3D点云中的关节标志的检测位置与模板网状物中的关节标志的相应位置之间的误差最小化)而在3D点云中对模板网状物进行初始化。此刚性变换提供初始刚性旋转矩阵R,其在被应用于模板网状物时导致初始化具体化网状物模型。
在步骤710处,通过使用已训练参数可变形模型(PDM)使模板网状物变形以拟合3D点云来生成个性化具体化网状物。如上所述,通过根据训练数据来训练姿势变形模型和形状变形模型而离线训练PDM。在步骤710中,将已训练PDM直接地应用到数据完成的任务。给定3D点云和关节标志,PDM可以通过使以下目标函数最小化来生成与部分数据一致的逼真的全3D网状物输出:
(6)
其中,Rk是刚性旋转矩阵,是已训练形状变形模型,是已训练姿势变形模型,表示模板网状物中的三角形的边缘,y表示估计具体化网状物模型的顶点,并且L是具体化顶点yl与3D点云Z中的相应点zl之间的对应的集合。此目标函数的第一项将网状物输出定义成与已学***衡两个项的重要性,应用权重项wz。
在本发明的实施例中利用的PDM与SCAPE之间的一个显著差异是等式(6)中的另一权重项wl的添加。在原始SCAPE工作中,输入数据id来自激光扫描,因此可以对每个点相等地加权。然而,在图7的方法中,输入来自深度照相机传感器,其中,数据准确度可能受到深度照相机传感器与每个点之间的实际距离的影响。因此,本发明人已创建噪声模型以模拟离深度照相机的距离对3D点云中的点的准确度的影响。噪声模型基于每个关节标志与深度照相机的距离而针对每个配准点(例如,每个关节标志)生成wl的不同值。
在等式(6)中,存在要优化的三个参数集(R、Y和β)。这形成标准的非线性和非凸面优化问题。为了避免收敛到次最佳解的可能性,本发明的实施例利用迭代过程来优化该三个参数。特别地,分开地处理三组参数,每次仅优化其中的一个,同时保持其它两个固定。根据本发明的有利实施例,可以如下执行三步优化:
(1)在S和Y固定的情况下优化R,然后相应地更新∆R和Q;
(2)在R和S固定的情况下优化Y;以及
(3)在R、Q和Y固定的情况下优化S。
在三步优化程序的步骤(1)中,使用等式(6)来优化刚性旋转矩阵R,而估计具体化网状物模型的形状变形S和顶点Y是固定的。这导致用于估计具体化网状物模型中的每个三角形的∆r的更新值,并且使用已训练姿势变形模型而基于已更新∆r来更新用于每个三角形的姿势变形Q。因此,优化程序的步骤(1)优化估计具体化模型的姿势。在三步优化程序的步骤(2)中,使用等式(6)来优化估计具体化网状物的顶点Y的位置,而形状变形S和刚性旋转矩阵R(和姿势变形)是固定的。此步骤是微调步骤,其将顶点Y的位置调整成更好地匹配3D点云。在优化程序的步骤(3)中,使用等式(6)来优化形状变形S,而估计具体化网状物的刚性旋转矩阵R、姿势变形Q以及顶点Y是固定的。特别地,调整第一主分量β以找到使用使等式(6)中的目标函数最小化的已训练变形模型计算的形状变形。因此,该三步优化程序首先找到最佳姿势变形,然后执行估计具体化模型的顶点的微调调整,并且然后找到最佳形状变形。可以将此三步优化程序重复多次。例如,可以将该三步优化程序重复预定次数或者可以进行重复直至其收敛为止。
等式(6)中的第二项要求找到3D点云与3D网状物模型上的标志之间的对应。在图7的方法中,我们首先基于3D点云中的所检测关节标志来估计初始R(步骤708)。然后,将上述三步优化程序重复多次以获得当前估计网状物模型Mcurr,其中仅使用关节标志来找到对应。例如,仅使用关节标志来找到对应的三步优化程序可以被重复预定次数或者可以被重复直至其收敛为止。接下来,可以执行基于迭代最近点算法的配准算法来得到3D点云与当前3D网状物模型Mcurr之间的完全配准。一旦执行了3D点云与当前3D网状物模型Mcurr之间的配准,则去除3D点云中的相应点对与具有大于预定阈值的距离()的当前3D网状物模型之间的对应。然后使用其余对应来估计新的刚性旋转矩阵R,并且重复三步优化程序。重复此优化配准过程直至收敛为止。
上文针对使用已训练PDM的部分数据完成所述的优化程序生成貌似合理的3D具体化,其紧密地拟合到患者的实际姿势和形状。然而,***准确度可能由于患者所穿的衣服的影响而被破坏。由于模板具体化是在裸体情形中从PSOER生成的,但是3D点云是从通常穿着衣服的实际患者捕捉到的,所以对等式(6)求解(其使具体化网状物表面与3D点云之间的差最小化)将可能导致误差。这个情况在患者穿着宽松衣服时特别严重。在本发明的有利实施例中,利用处理衣服影响的新优化方法。
为了处理患者所穿的衣服的影响,本发明的实施例搜索具有在一定程度上全部在输入3D点云之下的顶点的3D具体化网状物模型。为此,可以将衣服约束dcloth定义为:
(7)
其中,L是具体化顶点yl与3D点云中的相应点zl之间的对应的集合,并且nzl是点zl的法线。当,时,具体化网状物在3D点云下面。项确保具体化网状物在衣服区域内充分地位于输入3D点云下面,而在无衣服区域中具体化与输入3D点云重叠。用下式来确定的值:
(8)
其中,表示具体化顶点属于无衣服区域的概率。使用在统计上从地面实况训练数据学习的已训练概率模型来计算概率P(Y)。阈值τ表示具体化表面与衣服表面之间的最大距离,包括衣服的厚度。应理解的是可以将该衣服约束不仅应用于衣服,而且应用于覆盖患者的任何东西,诸如辐射防护器、毯子、枕头等。因为覆盖患者的东西可以被称为先验,所以可以针对不同的患者覆盖物(例如,衣服、辐射防护器、毯子等)训练不同的概率模型,并且可以基于正在覆盖患者的东西来调整阈值τ。
因为在有利实施例中,输入3D点云数据是从已从躺在工作台上的患者收集的RGB-D图像数据生成的,所以可以利用在本文中称为工作台约束的另一约束dtable来指定具体化网状物的所有顶点应在工作台之上。特别地,我们尝试使下式最小化:
(9)
其中,是具体化顶点yk的z轴值(垂直于工作台的表面),htable是当前工作台高度(其是已知的),并且项etable确保具体化网状物充分地位于工作台之上。
上面的等式具有许多解。为了实现看似真实地变形的具体化网状物,可以用平滑化项来调整该解,其使下式最小化:
(10)
其中,y表示新具体化网状物的顶点,表示当前具体化网状物的顶点,并且Nk是邻近于顶点yk的顶点的集合。此调整优选这样的顶点的变形,即所述变形与其相邻顶点的平均变形类似。
根据本发明的实施例,可以将上述约束组合以获得使下式最小化的优化函数:
(11)
其中,第一项与等式(6)中的第一项相同,第二项是在等式(7)中定义的衣服约束dcloth(Y),第三项是在等式(9)中定义的工作台约束dtable(Y),并且第四项是在等式(10)中定义的平滑化约束s(Y)。可以使用等式(11)的成本函数来代替在等式(6)中表示的成本函数以优化参数集(R、Y和β)。特别地,可以使用上述迭代优化配准过程(包括迭代三步优化程序)来找到最佳参数以使等式(11)的成本函数最小化。重复此程序直至收敛为止,导致用于患者的3D个性化具体化网状物。
返回图7,在步骤712处,输出用于患者的3D个性化具体化网状物。例如,可以通过在计算机***的显示屏上显示3D个性化具体化网状物来输出3D个性化具体化网状物。
在步骤714处,将患者的3D个性化具体化网状物用于医学成像扫描规划。在一个实施方式中,3D个性化具体化网状物可以提供患者的器官的位置的预测。例如,可以将器官的图集与用于患者的3D个性化具体化网状物对准并将其叠加在患者身体上。这可以帮助操作员指定用于医学成像(例如CT或PET)扫描的特定器官的扫描范围。可以使用患者的3D个性化具体化网状物来代替形貌扫描以规划CT或PET扫描。在当前工作流程中,针对重力的中心(所谓的等中心)的图像区域来预期最佳CT扫描质量。由于3D具体化网状物准确地拟合到患者,所以还可以以最小的误差根据3D具体化网状物来估计扫描的等中心,由此帮助生成高质量CT扫描图像。
图9图示出使用已训练PDM从RGB-D图像数据生成个性化具体化网状物的示例性结果。如图9中所示,图像(a)示出了RGB图像,并且图像(b)示出了相应深度图像。图像(c)示出了在从工作台上方看时被重新投影为3D点云的RGB-D图像数据。图像(d)将PDM初始化示为所检测关节标志。图像(e)示出了在优化的四次迭代之后的估计3D具体化网状物,并且图像(f)示出了使用PDM获得的最终个性化3D具体化网状物。
可使用众所周知的计算机处理器、存储器单元、存储设备、计算机软件及其它部件来在计算机上实现用于生成人的3D个性化具体化网状物的上述方法。在图10中图示出此类计算机的高级框图。计算机1002包含处理器1004,其通过执行定义此类操作的计算机程序指令来控制计算机1002的总体操作。可将计算机程序指令存储在存储设备1012(例如,磁盘)中并在期望计算机程序指令的执行时将其加载到存储器1010中。因此,图7的方法的步骤可由存储在存储器1010和/或储存器1012中的计算机程序指令定义并由执行计算机程序指令的处理器1004控制。可以将深度照相机1020连接到计算机1002以向计算机1002输入RGB-D图像数据。深度照相机1020和计算机1002可被直接地连接,或者可通过网络或其它无线通信协议无线地进行通信。还可以将医学图像获取设备(未示出)(诸如CT扫描设备)连接到计算机1002以向计算机1002输入医学图像数据。将医学图像获取设备和计算机1002实现为一个设备也是可能的。计算机1002还包括用于经由网络与其它设备通信的一个或多个网络接口1006。计算机1002还包括使得能够与计算机1002进行用户交互的其它输入/输出设备1008(例如,显示器、键盘、鼠标、扬声器、按钮等)。可将此类输入/输出设备1008与一组计算机程序相结合地用作用以对从图像获取设备1020接收到的体积加注释的注释工具。本领域技术人员将认识到实际计算机的实施方式也可以包含其它部件,并且图10是出于说明性目的的此类计算机的某些组件的高级表示。
应将前述详细描述理解为在每个方面是说明性和示例性的而非限制性的,并且不应根据详细描述、而是确切地说根据如根据专利法许可的全范围解释的权利要求来确定在本文中公开的本发明的范围。应理解的是在本文中示出并描述的实施例仅仅说明本发明的原理,并且在不脱离本发明的范围和精神的情况下可由本领域的技术人员实现各种修改。在不脱离本发明的范围和精神的情况下,本领域的技术人员可以实现各种其它特征组合。
Claims (44)
1.一种从深度照相机图像生成人类对象的个性化3D具体化网状物以便进行医学成像扫描规划的方法,包括:
将对象的深度照相机图像转换成3D点云;
检测3D点云中的多个解剖标志;
通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化;以及
通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物,
其中,通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括:
优化经训练参数可变形模型的参数,其控制3D具体化网状物的姿势和形状以及3D具体化网状物的顶点的位置以使成本函数最小化,以及
其中所述成本函数包括工作台约束,其促使所述优化使3D具体化的顶点移动至对象躺在其上面的工作台之上。
2.如权利要求1所述的方法,其中,所述深度照相机图像包括RGB图像和深度图像,并且将对象的深度照相机图像转换成3D点云包括:
针对RGB图像中的多个像素中的每一个,基于深度图像中的相应深度值而将那个像素映射到3D点云中的位置。
3.如权利要求1所述的方法,其中检测3D点云中的多个解剖标志包括:
检测对应于3D点云中的对象的关节的位置的多个关节标志。
4.如权利要求1所述的方法,其中,检测3D点云中的多个解剖标志包括:
使用相应的经训练分类器来检测所述多个解剖标志中的每一个。
5.如权利要求1所述的方法,其中,所述经训练参数可变形模型包括经训练姿势变形模型和经训练形状变形模型。
6.如权利要求5所述的方法,其中,基于多个训练实例来训练所述经训练参数可变形模型,并且所述多个训练实例包括多个合成人类网状物,其具有使用3D再现软件生成的多个姿势和身体形状。
7.如权利要求1所述的方法,其中,所述成本函数包括衣服约束,其促使所述优化将衣服区域中的3D具体化的顶点移动至3D点云的相应点以下。
8.如权利要求7所述的方法,其中,所述衣服约束是基于针对3D具体化网状物的每个顶点计算的顶点在非衣服区域中的概率,并且用于每个顶点的概率是使用经训练概率模型计算的。
9.如权利要求1所述的方法,其中,所述成本函数包括平滑性约束,其对3D具体化网状物中的顶点的与邻近于该顶点的顶点的平均变形不同的变形施以处罚。
10.如权利要求1所述的方法,其中,要最小化的成本函数是:
其中,Rk是刚性旋转矩阵,FU,μ是经训练形状变形模型,是经训练姿势变形模型,表示模板网状物中的三角形的边缘,y表示估计的具体化网状物模型的顶点,yj,k表示k∈X时估计的具体化网状物模型的第j顶点,其中j=2,3,y1,k表示估计的具体化网状物模型的第1顶点,dcloth(y)是衣服约束,dtable(y)是工作台约束,并且s(y)是平滑化约束,其中X是代表3D物体形状的3D表面。
11.如权利要求10所述的方法,
其中
其中,是点Zl的法线,当时,具体化网状物的顶点在3D点云以下,el是由ek=(1-P(yk))τ确定的,
其中,k∈X,P(yk)表示k∈X时使用经训练概率模型计算的3D具体化网状物的顶点yk属于非衣服区域的概率,L是相邻具体化顶点yl与3D点云中的相应点zl之间的对应的集合,并且τ是表示具体化表面与衣服表面之间的最大距离的阈值,包括衣服的厚度。
12.如权利要求10所述的方法,
其中
其中,是k∈X时具体化顶点yk的z轴值,htable是当前工作台高度,并且etable确保具体化网状物充分地位于工作台之上,X是代表3D物体形状的3D表面。
13.如权利要求10所述的方法,
其中
由此,yk和分别表示k∈X时的新具体化网状物和当前具体化网状物的顶点,其中X是代表3D物体形状的3D表面,yj和分别表示所述新具体化网状物和所述当前具体化网状物的相邻顶点,并且Nk是邻近于顶点yk的顶点集合。
14.如权利要求1所述的方法,其中,通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括:
(a)通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物;
(b)执行当前3D具体化网状物与3D点云之间的完全配准;
(c)从该组对应去除对于其而言3D具体化网状物中的顶点与3D点云中的相应点之间的距离大于阈值的对应;
(d)基于该组对应中的其余对应而将当前3D具体化网状物重新对准到3D点云;以及
(e)重复步骤(a)—(d)直至当前3D具体化网状物收敛为止。
15.如权利要求14所述的方法,其中,通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物包括:
优化刚性旋转矩阵以确定模板网状物的姿势变形,其导致用于当前3D具体化网状物的最佳姿势,同时将模板网状物的形状变形和当前3D具体化网状物的顶点保持固定;
优化当前3D网状物的顶点的位置以基于3D点云对顶点的位置进行微调,同时将模板网状物的形状变形和刚性旋转矩阵保持固定;以及
优化模板网状物的形状变形以确定导致用于当前3D具体化网状物的最佳形状的形状变形,同时将当前3D具体化网状物的刚性旋转矩阵、姿势变形以及顶点保持固定。
16.如权利要求15所述的方法,其中,通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物还包括:
多次重复刚性旋转矩阵的优化、当前3D具体化网状物的顶点的位置的优化、以及形状变形的优化。
17.如权利要求1所述的方法,还包括:
基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划。
18.如权利要求17所述的方法,其中,基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括:
使用对象的3D具体化网状物来检测患者重心;以及
基于患者重心来确定用于医学图像获取的扫描计划。
19.如权利要求17所述的方法,其中,基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括:
基于对象的3D具体化网状物来检测对象的至少一个器官的位置;以及
基于所述至少一个器官的位置来确定用于医学图像获取的扫描计划。
20.一种用于从深度照相机图像生成对象的个性化3D具体化网状物以便进行医学成像扫描规划的装置,包括:
用于将对象的深度照相机图像转换成3D点云的装置;
用于检测3D点云中的多个解剖标志的装置;
用于通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化的装置;以及
用于通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物的装置,
其中,用于通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物的装置包括:
用于优化经训练参数可变形模型的参数的装置,该参数控制3D具体化网状物的姿势和形状以及3D具体化网状物的顶点的位置以使成本函数最小化,以及
其中所述成本函数包括工作台约束,其促使所述优化使3D具体化的顶点移动至对象躺在其上面的工作台之上。
21.如权利要求20所述的装置,其中,用于检测3D点云中的多个解剖标志的装置包括:
用于检测对应于3D点云中的对象的关节的位置的多个关节标志的装置。
22.如权利要求20所述的装置,其中,经训练参数可变形模型包括经训练姿势变形模型和经训练形状变形模型。
23.如权利要求20所述的装置,其中,所述成本函数包括衣服约束,其促使所述优化将衣服区域中的3D具体化的顶点移动至3D点云的相应点以下。
24.如权利要求23所述的装置,其中,所述衣服约束是基于针对3D具体化网状物的每个顶点计算的顶点在非衣服区域中的概率,并且用于每个顶点的概率是使用经训练概率模型计算的。
25.如权利要求20所述的装置,其中,所述成本函数包括平滑性约束,其对3D具体化网状物中的顶点的与邻近于该顶点的顶点的平均变形不同的变形进行处罚。
26.如权利要求20所述的装置,其中,用于通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物的装置包括:
用于通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物的装置;
用于执行当前3D具体化网状物与3D点云之间的完全配准的装置;
用于从该组对应去除对于其而言3D具体化网状物中的顶点与3D点云中的相应点之间的距离大于阈值的对应的装置;以及
用于基于该组对应中的其余对应而将当前3D具体化网状物重新对准到3D点云的装置。
27.如权利要求26所述的装置,其中,用于通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物的装置包括:
用于优化刚性旋转矩阵以确定模板网状物的姿势变形的装置,其导致用于当前3D具体化网状物的最佳姿势,同时将模板网状物的形状变形和当前3D具体化网状物的顶点保持固定;用于优化当前3D网状物的顶点的位置以基于3D点云对顶点的位置进行微调、同时将模板网状物的形状变形和刚性旋转矩阵保持固定的装置;以及
用于优化模板网状物的形状变形以确定导致用于当前3D具体化网状物的最佳形状的形状变形、同时将当前3D具体化网状物的刚性旋转矩阵、姿势变形以及顶点保持固定的装置。
28.如权利要求20所述的装置,还包括:用于基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划的装置。
29.如权利要求28所述的装置,其中,用于基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划的装置包括:
用于使用对象的3D具体化网状物来检测患者重心的装置;以及
用于基于患者重心来确定用于医学图像获取的扫描计划的装置。
30.如权利要求28所述的装置,其中,用于基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划的装置包括:
用于基于对象的3D具体化网状物来检测对象的至少一个器官的位置的装置;以及
用于基于所述至少一个器官的位置来确定用于医学图像获取的扫描计划的装置。
31.一种非临时计算机可读介质,其存储用于从深度照相机图像生成对象的个性化3D具体化网状物以便进行医学成像扫描规划的计算机程序指令,所述计算机程序指令在被处理器执行时促使处理器执行操作,该操作包括:
将对象的深度照相机图像转换成3D点云;
检测3D点云中的多个解剖标志;
通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化;以及
通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物,
其中,通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括:
优化经训练参数可变形模型的参数,其控制3D具体化网状物的姿势和形状以及3D具体化网状物的顶点的位置以使成本函数最小化,以及
其中所述成本函数包括工作台约束,其促使所述优化使3D具体化的顶点移动至对象躺在其上面的工作台之上。
32.如权利要求31所述的非临时计算机可读介质,其中,所述深度照相机图像包括RGB图像和深度图像,并且将对象的深度照相机图像转换成3D点云包括:
针对RGB图像中的多个像素中的每一个,基于深度图像中的相应深度值而将该像素映射到3D点云中的位置。
33.如权利要求31所述的非临时计算机可读介质,其中,检测3D点云中的多个解剖标志包括:
检测对应于3D点云中的对象的关节的位置的多个关节标志。
34.如权利要求31所述的非临时计算机可读介质,其中,检测3D点云中的多个解剖标志包括:
使用相应的经训练分类器来检测所述多个解剖标志中的每一个。
35.如权利要求31所述的非临时计算机可读介质,其中,经训练参数可变形模型包括经训练姿势变形模型和经训练形状变形模型。
36.如权利要求31所述的非临时计算机可读介质,其中,所述成本函数包括衣服约束,其促使所述优化将衣服区域中的3D具体化的顶点移动至3D点云的相应点以下。
37.如权利要求36所述的非临时计算机可读介质,其中,所述衣服约束是基于针对3D具体化网状物的每个顶点计算的顶点在非衣服区域中的概率,并且用于每个顶点的概率是使用经训练概率模型计算的。
38.如权利要求31所述的非临时计算机可读介质,其中,所述成本函数包括平滑性约束,其对3D具体化网状物中的顶点的与邻近于该顶点的顶点的平均变形不同的变形进行处罚。
39.如权利要求31所述的非临时计算机可读介质,其中,通过使用经训练参数可变形模型来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括:
(a)通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物;
(b)执行当前3D具体化网状物与3D点云之间的完全配准;
(c)从该组对应去除对于其而言3D具体化网状物中的顶点与3D点云中的相应点之间的距离大于阈值的对应;
(d)基于该组对应中的其余对应而将当前3D具体化网状物重新对准到3D点云;以及
(e)重复步骤(a)—(d)直至当前3D具体化网状物收敛为止。
40.如权利要求39所述的非临时计算机可读介质,其中,通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物包括:
优化刚性旋转矩阵以确定模板网状物的姿势变形,其导致用于当前3D具体化网状物的最佳姿势,同时将模板网状物的形状变形和当前3D具体化网状物的顶点保持固定;
优化当前3D网状物的顶点的位置以基于3D点云对顶点的位置进行微调,同时将模板网状物的形状变形和刚性旋转矩阵保持固定;以及
优化模板网状物的形状变形以确定导致用于当前3D具体化网状物的最佳形状的形状变形,同时将当前3D具体化网状物的刚性旋转矩阵、姿势变形以及顶点保持固定。
41.如权利要求40所述的非临时计算机可读介质,其中,通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用参数可变形模型来优化3D具体化网状物而生成当前3D具体化网状物还包括:
多次重复刚性旋转矩阵的优化、当前3D具体化网状物的顶点的位置的优化以及形状变形的优化。
42.如权利要求31所述的非临时计算机可读介质,其中,所述操作还包括:
基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划。
43.如权利要求42所述的非临时计算机可读介质,其中,基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括:
使用对象的3D具体化网状物来检测患者重心;以及
基于患者重心来确定用于医学图像获取的扫描计划。
44.如权利要求43所述的非临时计算机可读介质,其中基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括:
基于对象的3D具体化网状物来检测对象的至少一个器官的位置;以及
基于所述至少一个器官的位置来确定用于医学图像获取的扫描计划。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461932441P | 2014-01-28 | 2014-01-28 | |
US61/932441 | 2014-01-28 | ||
US14/604,829 US9524582B2 (en) | 2014-01-28 | 2015-01-26 | Method and system for constructing personalized avatars using a parameterized deformable mesh |
US14/604829 | 2015-01-26 | ||
PCT/US2015/013013 WO2015116563A1 (en) | 2014-01-28 | 2015-01-27 | Method and system for constructing personalized avatars using a parameterized deformable mesh |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106164978A CN106164978A (zh) | 2016-11-23 |
CN106164978B true CN106164978B (zh) | 2019-11-01 |
Family
ID=53679531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580006226.5A Active CN106164978B (zh) | 2014-01-28 | 2015-01-27 | 使用参数化可变形网状物来构造个性化具体化的方法和*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US9524582B2 (zh) |
EP (1) | EP3100236B1 (zh) |
KR (1) | KR101833364B1 (zh) |
CN (1) | CN106164978B (zh) |
WO (1) | WO2015116563A1 (zh) |
Families Citing this family (101)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2811463B1 (en) | 2013-06-04 | 2018-11-21 | Dassault Systèmes | Designing a 3d modeled object with 2d views |
US20150106993A1 (en) | 2013-10-18 | 2015-04-23 | The Regents Of The University Of California | Anatomy shading for garments |
US10314357B2 (en) | 2013-10-18 | 2019-06-11 | Vf Corporation | Anatomy shading for garments |
EP2874118B1 (en) | 2013-11-18 | 2017-08-02 | Dassault Systèmes | Computing camera parameters |
DE102014210051A1 (de) * | 2014-05-27 | 2015-12-03 | Carl Zeiss Meditec Ag | Verfahren und Vorrichtung zur Bestimmung einer Oberflächentopographie eines Körpers |
US9911220B2 (en) * | 2014-07-28 | 2018-03-06 | Adobe Systes Incorporated | Automatically determining correspondences between three-dimensional models |
US10430551B2 (en) | 2014-11-06 | 2019-10-01 | Siemens Healthcare Gmbh | Scan data retrieval with depth sensor data |
EP3032495B1 (en) | 2014-12-10 | 2019-11-13 | Dassault Systèmes | Texturing a 3d modeled object |
US10515259B2 (en) * | 2015-02-26 | 2019-12-24 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining 3D object poses and landmark points using surface patches |
US10474927B2 (en) * | 2015-09-03 | 2019-11-12 | Stc. Unm | Accelerated precomputation of reduced deformable models |
EP3188033B1 (en) * | 2015-12-31 | 2024-02-14 | Dassault Systèmes | Reconstructing a 3d modeled object |
DE102016200225B4 (de) * | 2016-01-12 | 2017-10-19 | Siemens Healthcare Gmbh | Perspektivisches Darstellen eines virtuellen Szenebestandteils |
USD802256S1 (en) | 2016-01-29 | 2017-11-14 | V.F. Corporation | Pant with anatomy enhancing pockets |
US10127717B2 (en) * | 2016-02-16 | 2018-11-13 | Ohzone, Inc. | System for 3D Clothing Model Creation |
WO2017141344A1 (ja) * | 2016-02-16 | 2017-08-24 | 楽天株式会社 | 3次元モデル生成システム、3次元モデル生成方法、及びプログラム |
CN108701493A (zh) * | 2016-02-29 | 2018-10-23 | 皇家飞利浦有限公司 | 用于验证医学图像的图像相关信息的设备、***和方法 |
US9919217B2 (en) | 2016-03-08 | 2018-03-20 | Electronic Arts Inc. | Dynamic difficulty adjustment |
EP3452956A4 (en) * | 2016-05-04 | 2020-01-08 | Styku LLC | METHOD AND SYSTEM FOR BODY SCAN AND DISPLAY OF BIOMETRIC DATA |
US9898858B2 (en) | 2016-05-18 | 2018-02-20 | Siemens Healthcare Gmbh | Human body representation with non-rigid parts in an imaging system |
US10215858B1 (en) * | 2016-06-30 | 2019-02-26 | Google Llc | Detection of rigid shaped objects |
US20180014590A1 (en) | 2016-07-18 | 2018-01-18 | Vf Corporation | Body-enhancing garment and garment construction |
US10327487B2 (en) * | 2016-07-19 | 2019-06-25 | Vf Corporation | Body-enhancing garment and garment design |
EP4131172A1 (en) | 2016-09-12 | 2023-02-08 | Dassault Systèmes | Deep convolutional neural network for 3d reconstruction of a real object |
US10384133B1 (en) | 2016-12-30 | 2019-08-20 | Electronic Arts Inc. | Systems and methods for automatically measuring a video game difficulty |
CN108310677B (zh) | 2017-01-11 | 2020-02-28 | 南京中硼联康医疗科技有限公司 | 基于医学影像数据的平滑几何模型建立方法 |
WO2018142228A2 (en) | 2017-01-19 | 2018-08-09 | Mindmaze Holding Sa | Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system |
US10943100B2 (en) | 2017-01-19 | 2021-03-09 | Mindmaze Holding Sa | Systems, methods, devices and apparatuses for detecting facial expression |
US11367198B2 (en) * | 2017-02-07 | 2022-06-21 | Mindmaze Holding Sa | Systems, methods, and apparatuses for tracking a body or portions thereof |
CN110892408A (zh) | 2017-02-07 | 2020-03-17 | 迈恩德玛泽控股股份有限公司 | 用于立体视觉和跟踪的***、方法和装置 |
US10546415B2 (en) * | 2017-02-07 | 2020-01-28 | Siemens Healthcare Gmbh | Point cloud proxy for physically-based volume rendering |
US10182771B2 (en) | 2017-02-10 | 2019-01-22 | Siemens Healthcare Gmbh | Method and system for dose-optimized computed tomography scanning of a target organ |
CN110268448B (zh) * | 2017-02-20 | 2023-11-24 | 交互数字Vc控股公司 | 动态呈现增强现实信息以减少峰值认知需求 |
US10635930B2 (en) * | 2017-02-24 | 2020-04-28 | Siemens Healthcare Gmbh | Patient position control for scanning |
US10357718B2 (en) | 2017-02-28 | 2019-07-23 | Electronic Arts Inc. | Realtime dynamic modification and optimization of gameplay parameters within a video game application |
US10595039B2 (en) | 2017-03-31 | 2020-03-17 | Nvidia Corporation | System and method for content and motion controlled action video generation |
US10507002B2 (en) | 2017-05-23 | 2019-12-17 | Siemens Healthcare Gmbh | X-ray system and method for standing subject |
EP3593323B1 (en) * | 2017-06-07 | 2020-08-05 | Google LLC | High speed, high-fidelity face tracking |
US10425629B2 (en) * | 2017-06-28 | 2019-09-24 | Siemens Healthcare Gmbh | System for dense registration of two-dimensional depth images |
US10186038B1 (en) | 2017-07-18 | 2019-01-22 | Siemens Healthcare Gmbh | Segmentation and representation network for pose discrimination |
US10354444B2 (en) | 2017-07-28 | 2019-07-16 | The Boeing Company | Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud |
US10438408B2 (en) | 2017-07-28 | 2019-10-08 | The Boeing Company | Resolution adaptive mesh for performing 3-D metrology of an object |
US10732284B2 (en) * | 2017-07-28 | 2020-08-04 | The Boeing Company | Live metrology of an object during manufacturing or other operations |
US10470825B2 (en) | 2017-08-16 | 2019-11-12 | Synaptive Medical (Barbados) Inc. | Method, system and apparatus for surface rendering using medical imaging data |
KR102357355B1 (ko) * | 2017-10-23 | 2022-01-28 | 삼성전자주식회사 | 가상 오브젝트 생성 방법 및 장치 |
EP3688720A1 (en) | 2017-10-31 | 2020-08-05 | Swanson, James Martin | Systems and methods to estimate human length |
EP3483839A1 (en) * | 2017-11-08 | 2019-05-15 | Siemens Healthcare GmbH | Dynamic generation of a medical scene model |
CN107798726B (zh) * | 2017-11-14 | 2021-07-20 | 刘芳圃 | 三维漫画的制作方法和装置 |
EP3503113B1 (de) | 2017-12-22 | 2024-02-21 | Siemens Healthineers AG | Cloudbasierte mr-bildgebung |
TWI708210B (zh) * | 2017-12-25 | 2020-10-21 | 宏達國際電子股份有限公司 | 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體 |
US11328533B1 (en) | 2018-01-09 | 2022-05-10 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression for motion capture |
US10748034B2 (en) | 2018-01-10 | 2020-08-18 | Siemens Healthcare Gmbh | Method and system for learning to obtain medical scans of patients |
US11949889B2 (en) * | 2018-01-19 | 2024-04-02 | Interdigital Vc Holdings, Inc. | Processing a point cloud |
CN108319786B (zh) * | 2018-02-05 | 2021-08-10 | 湖南省忘不了服饰有限公司 | 一种机织物下摆卷边缝制工艺参数的智能制定方法 |
US11074748B2 (en) * | 2018-02-27 | 2021-07-27 | Magic Leap, Inc. | Matching meshes for virtual avatars |
US10925565B2 (en) | 2018-04-11 | 2021-02-23 | Siemens Healthcare Gmbh | Machine-learning based contrast agent administration |
CN108895979B (zh) * | 2018-05-10 | 2020-04-07 | 西安电子科技大学 | 线段编码的结构光深度获取方法 |
FI20185517A1 (en) | 2018-06-06 | 2019-12-07 | Nomo Tech Oy | Measurement of surface distances on human bodies |
US10713543B1 (en) | 2018-06-13 | 2020-07-14 | Electronic Arts Inc. | Enhanced training of machine learning systems based on automatically generated realistic gameplay information |
HK1253750A2 (zh) * | 2018-07-04 | 2019-06-28 | Bun Kwai | 用於將3d掃描對象轉換為化身的方法和裝置 |
JP7297891B2 (ja) | 2018-07-19 | 2023-06-26 | アクティブ サージカル, インコーポレイテッド | 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 |
WO2020023788A1 (en) * | 2018-07-27 | 2020-01-30 | Magic Leap, Inc. | Pose space dimensionality reduction for pose space deformation of a virtual character |
US20200051257A1 (en) * | 2018-08-08 | 2020-02-13 | Siemens Medical Solutions Usa, Inc. | Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging |
FR3085521A1 (fr) * | 2018-09-04 | 2020-03-06 | Exsens | Procede ameliore de creation d’une representation tridimensionnelle virtuelle du buste d’une personne |
US10621788B1 (en) | 2018-09-25 | 2020-04-14 | Sony Corporation | Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance |
US10799206B2 (en) | 2018-09-28 | 2020-10-13 | General Electric Company | System and method for calibrating an imaging system |
US11475630B2 (en) * | 2018-10-17 | 2022-10-18 | Midea Group Co., Ltd. | System and method for generating acupuncture points on reconstructed 3D human body model for physical therapy |
CN112889092A (zh) * | 2018-11-09 | 2021-06-01 | 三星电子株式会社 | 有纹理的神经化身 |
US10984609B2 (en) * | 2018-11-21 | 2021-04-20 | Electronics And Telecommunications Research Institute | Apparatus and method for generating 3D avatar |
KR102655987B1 (ko) * | 2018-11-21 | 2024-04-11 | 한국전자통신연구원 | 3차원 아바타 생성 장치 및 방법 |
US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
EP3671557A1 (en) * | 2018-12-20 | 2020-06-24 | RaySearch Laboratories AB | Data augmentation |
EP3671660A1 (en) * | 2018-12-20 | 2020-06-24 | Dassault Systèmes | Designing a 3d modeled object via user-interaction |
CN109859306A (zh) * | 2018-12-24 | 2019-06-07 | 青岛红创众投科技发展有限公司 | 一种基于机器学习的从照片中提取人体模型的方法 |
EP3903281A4 (en) * | 2018-12-28 | 2022-09-07 | Activ Surgical, Inc. | GENERATION OF A SYNTHETIC THREE-DIMENSIONAL IMAGE FROM PARTIAL DEPTH MAPS |
US11703373B2 (en) | 2019-02-25 | 2023-07-18 | Siemens Healthcare Gmbh | Patient weight estimation from surface data using a patient model |
US10891744B1 (en) | 2019-03-13 | 2021-01-12 | Argo AI, LLC | Determining the kinetic state of a body using LiDAR point cloud registration with importance sampling |
US11276216B2 (en) | 2019-03-27 | 2022-03-15 | Electronic Arts Inc. | Virtual animal character generation from image or video data |
US10953334B2 (en) * | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
US11282180B1 (en) | 2019-04-24 | 2022-03-22 | Apple Inc. | Object detection with position, pose, and shape estimation |
EP3751524A1 (en) * | 2019-06-13 | 2020-12-16 | RaySearch Laboratories AB | Method, computer program product and computer system for providing an approximate image |
CN112085846A (zh) * | 2019-06-14 | 2020-12-15 | 通用电气精准医疗有限责任公司 | 用于在成像***中生成对象3d点云的方法和*** |
CN112102223B (zh) * | 2019-06-18 | 2024-05-14 | 通用电气精准医疗有限责任公司 | 用于自动设置扫描范围的方法和*** |
US11430168B2 (en) * | 2019-08-16 | 2022-08-30 | Samsung Electronics Co., Ltd. | Method and apparatus for rigging 3D scanned human models |
US11592820B2 (en) | 2019-09-13 | 2023-02-28 | The Boeing Company | Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds |
US10820307B2 (en) * | 2019-10-31 | 2020-10-27 | Zebra Technologies Corporation | Systems and methods for automatic camera installation guidance (CIG) |
US11317884B2 (en) | 2019-12-20 | 2022-05-03 | GE Precision Healthcare LLC | Methods and systems for mammography and biopsy workflow optimization |
US11276166B2 (en) | 2019-12-30 | 2022-03-15 | GE Precision Healthcare LLC | Systems and methods for patient structure estimation during medical imaging |
KR102326902B1 (ko) * | 2020-01-10 | 2021-11-17 | (주)내스타일 | 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템 |
US11547323B2 (en) * | 2020-02-14 | 2023-01-10 | Siemens Healthcare Gmbh | Patient model estimation from camera stream in medicine |
CN111402397B (zh) * | 2020-02-28 | 2022-07-29 | 清华大学 | 基于无监督数据的tof深度数据优化方法及装置 |
US11734849B2 (en) | 2020-03-10 | 2023-08-22 | Siemens Healthcare Gmbh | Estimating patient biographic data parameters |
US11284850B2 (en) | 2020-03-13 | 2022-03-29 | Siemens Healthcare Gmbh | Reduced interaction CT scanning |
KR20210121628A (ko) | 2020-03-31 | 2021-10-08 | 주식회사 만도 | 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템 |
CN112017296B (zh) * | 2020-09-01 | 2024-02-23 | 上海融军科技有限公司 | 基于rimd变形成分的人体网格变形方法及*** |
US12033281B2 (en) * | 2021-04-01 | 2024-07-09 | Sony Group Corporation | Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking |
US12046374B2 (en) * | 2021-05-23 | 2024-07-23 | Zhiqing Cheng | Digital twin |
CN113742809B (zh) * | 2021-11-04 | 2022-02-11 | 山东神力索具有限公司 | 索具网格的调整方法、装置以及电子设备 |
US11810256B2 (en) * | 2021-11-11 | 2023-11-07 | Qualcomm Incorporated | Image modification techniques |
KR20230089228A (ko) | 2021-12-13 | 2023-06-20 | 주식회사 케이티 | 점군 데이터 증강장치 및 점군 데이터 증강방법 |
CN114913149B (zh) * | 2022-05-11 | 2023-03-10 | 盐城工学院 | 一种基于ct影像的头部可变形统计图谱构建方法 |
CN117315196B (zh) * | 2023-10-08 | 2024-06-11 | 广州中望龙腾软件股份有限公司 | 一种模型的构建方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101627411A (zh) * | 2007-01-16 | 2010-01-13 | 西姆博尼克斯有限公司 | 手术前的手术模拟 |
US7978918B2 (en) * | 2006-07-20 | 2011-07-12 | Eastman Kodak Company | Digital image cropping using a blended map |
CN102625669A (zh) * | 2009-06-08 | 2012-08-01 | 外科视象设备公司 | 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入*** |
CN102800103A (zh) * | 2012-06-18 | 2012-11-28 | 清华大学 | 基于多视角的深度相机的无标记动作捕捉方法及装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020067362A1 (en) | 1998-11-06 | 2002-06-06 | Agostino Nocera Luciano Pasquale | Method and system generating an avatar animation transform using a neutral face image |
US6993193B2 (en) * | 2002-03-26 | 2006-01-31 | Agilent Technologies, Inc. | Method and system of object classification employing dimension reduction |
US20050168460A1 (en) * | 2002-04-04 | 2005-08-04 | Anshuman Razdan | Three-dimensional digital library system |
US7239321B2 (en) * | 2003-08-26 | 2007-07-03 | Speech Graphics, Inc. | Static and dynamic 3-D human face reconstruction |
WO2008141125A1 (en) * | 2007-05-10 | 2008-11-20 | The Trustees Of Columbia University In The City Of New York | Methods and systems for creating speech-enabled avatars |
GB2450757A (en) | 2007-07-06 | 2009-01-07 | Sony Comp Entertainment Europe | Avatar customisation, transmission and reception |
CA2734143C (en) * | 2008-08-15 | 2021-08-31 | Brown University | Method and apparatus for estimating body shape |
WO2010148088A2 (en) * | 2009-06-16 | 2010-12-23 | Surgivision, Inc. | Mri-guided devices and mri-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time |
US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
US20110298897A1 (en) * | 2010-06-08 | 2011-12-08 | Iva Sareen | System and method for 3d virtual try-on of apparel on an avatar |
US8582867B2 (en) * | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
US9734637B2 (en) | 2010-12-06 | 2017-08-15 | Microsoft Technology Licensing, Llc | Semantic rigging of avatars |
US20140043329A1 (en) * | 2011-03-21 | 2014-02-13 | Peng Wang | Method of augmented makeover with 3d face modeling and landmark alignment |
US20120314031A1 (en) * | 2011-06-07 | 2012-12-13 | Microsoft Corporation | Invariant features for computer vision |
US9344707B2 (en) * | 2011-06-29 | 2016-05-17 | Microsoft Technology Licensing, Llc | Probabilistic and constraint based articulated model fitting |
KR101608253B1 (ko) | 2011-08-09 | 2016-04-01 | 인텔 코포레이션 | 이미지 기반 멀티 뷰 3d 얼굴 생성 |
US20130237842A1 (en) * | 2012-03-06 | 2013-09-12 | Spectrascience, Inc. | Determining condition of tissue using spectral analysis |
US8885904B2 (en) * | 2012-04-19 | 2014-11-11 | General Electric Company | Systems and methods for landmark correction in magnetic resonance imaging |
WO2013162735A1 (en) * | 2012-04-25 | 2013-10-31 | University Of Southern California | 3d body modeling from one or more depth cameras in the presence of articulated motion |
EP2674913B1 (en) * | 2012-06-14 | 2014-07-23 | Softkinetic Software | Three-dimensional object modelling fitting & tracking. |
JP6018707B2 (ja) | 2012-06-21 | 2016-11-02 | マイクロソフト コーポレーション | デプスカメラを使用するアバター構築 |
US9536338B2 (en) * | 2012-07-31 | 2017-01-03 | Microsoft Technology Licensing, Llc | Animating objects using the human body |
US8867786B2 (en) * | 2012-10-31 | 2014-10-21 | Microsoft Corporation | Scenario-specific body-part tracking |
US8929600B2 (en) * | 2012-12-19 | 2015-01-06 | Microsoft Corporation | Action recognition based on depth maps |
US9639748B2 (en) * | 2013-05-20 | 2017-05-02 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting persons using 1D depths and 2D texture |
CN105308470B (zh) * | 2013-06-07 | 2019-11-05 | 皇家飞利浦有限公司 | 用于磁共振协议的视觉预扫描患者信息 |
GB2515343B (en) * | 2013-06-21 | 2018-02-07 | Toshiba Res Europe Limited | Methods and systems for generating a three dimensional representation of a subject |
US9508197B2 (en) * | 2013-11-01 | 2016-11-29 | Microsoft Technology Licensing, Llc | Generating an avatar from real time image data |
US9300901B2 (en) * | 2013-12-04 | 2016-03-29 | Disney Enterprises, Inc. | Augmenting physical appearance using illumination |
-
2015
- 2015-01-26 US US14/604,829 patent/US9524582B2/en active Active
- 2015-01-27 WO PCT/US2015/013013 patent/WO2015116563A1/en active Application Filing
- 2015-01-27 EP EP15704154.2A patent/EP3100236B1/en active Active
- 2015-01-27 CN CN201580006226.5A patent/CN106164978B/zh active Active
- 2015-01-27 KR KR1020167023651A patent/KR101833364B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7978918B2 (en) * | 2006-07-20 | 2011-07-12 | Eastman Kodak Company | Digital image cropping using a blended map |
CN101627411A (zh) * | 2007-01-16 | 2010-01-13 | 西姆博尼克斯有限公司 | 手术前的手术模拟 |
CN102625669A (zh) * | 2009-06-08 | 2012-08-01 | 外科视象设备公司 | 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入*** |
CN102800103A (zh) * | 2012-06-18 | 2012-11-28 | 清华大学 | 基于多视角的深度相机的无标记动作捕捉方法及装置 |
Non-Patent Citations (6)
Title |
---|
A Statistical Model of Human Pose and Body Shape;N. Hasler et al.;《Eurographics》;20091231;第28卷(第2期);第1-10页 * |
Alexandru O.B˘alan et al..The Naked Truth:Estimating Body Shape Under Clothing.《European Conference on Computer Vision》.2008,第16卷(第12期),第15-22页. * |
Estimating Human Shape and Pose from a Single Image;Peng Guan et al.;《IEEE 12th 2009 International Conference on Computer Vision》;20091231;第1381-1388页 * |
Multilinear Pose and Body Shape Estimation of Dressed Subjects from Image Sets;Nils Hasler et al.;《IEEE》;20101231;第238卷(第6期);第1823-1830页 * |
SCAPE: Shape Completion and Animation of People;Dragomir Anguelov et al.;《Acm Trans Graph》;20051231;第24卷(第3期);第408-416页 * |
基于深度相机的三维物体与人体扫描重建;童晶;《中国博士学位论文全文数据库 信息科技辑》;20131215;第2013年卷(第12期);第I138-23页 * |
Also Published As
Publication number | Publication date |
---|---|
US20150213646A1 (en) | 2015-07-30 |
EP3100236A1 (en) | 2016-12-07 |
WO2015116563A1 (en) | 2015-08-06 |
KR101833364B1 (ko) | 2018-02-28 |
US9524582B2 (en) | 2016-12-20 |
KR20160115959A (ko) | 2016-10-06 |
EP3100236B1 (en) | 2019-07-10 |
CN106164978A (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106164978B (zh) | 使用参数化可变形网状物来构造个性化具体化的方法和*** | |
US10507002B2 (en) | X-ray system and method for standing subject | |
US11576645B2 (en) | Systems and methods for scanning a patient in an imaging system | |
Zheng et al. | Hybridfusion: Real-time performance capture using a single depth sensor and sparse imus | |
US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
Stoll et al. | Fast articulated motion tracking using a sums of gaussians body model | |
CN108475439B (zh) | 三维模型生成***、三维模型生成方法和记录介质 | |
US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
US11335456B2 (en) | Sensing device for medical facilities | |
US20180330496A1 (en) | Generation Of Personalized Surface Data | |
JP6340315B2 (ja) | 画像処理方法 | |
US11461914B2 (en) | Measuring surface distances on human bodies | |
Singh et al. | Estimating a patient surface model for optimizing the medical scanning workflow | |
US8867809B2 (en) | Image processing method | |
US20240177326A1 (en) | Systems and methods for human model recovery | |
KR102689375B1 (ko) | 다방향 엑스선 영상을 이용한 영상 내 골격 추정 장치 및 방법 | |
US11948250B2 (en) | Multi-view patient model construction | |
Zhang et al. | Registration of Lung CT Images Using B-spline Based Free-Form Deformation | |
Namayega | A deep learning algorithm for contour detection in synthetic 2D biplanar X-ray images of the scapula: towards improved 3D reconstruction of the scapula | |
Albitar | Research of 3D human body parts measurement precision using Kinect sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |