CN112581422A - 用于确定用于在整形外科手术中使用的输入图像的空间取向的技术 - Google Patents

用于确定用于在整形外科手术中使用的输入图像的空间取向的技术 Download PDF

Info

Publication number
CN112581422A
CN112581422A CN202011022437.7A CN202011022437A CN112581422A CN 112581422 A CN112581422 A CN 112581422A CN 202011022437 A CN202011022437 A CN 202011022437A CN 112581422 A CN112581422 A CN 112581422A
Authority
CN
China
Prior art keywords
determining
candidate
dimensional
dimensional image
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011022437.7A
Other languages
English (en)
Inventor
S·S·波洛克
R·P·库尔蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DePuy Synthes Products Inc
Original Assignee
DePuy Synthes Products Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DePuy Synthes Products Inc filed Critical DePuy Synthes Products Inc
Publication of CN112581422A publication Critical patent/CN112581422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/488—Diagnostic techniques involving pre-scan acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58—Testing, adjusting or calibrating thereof
    • A61B6/582—Calibration
    • A61B6/583—Calibration using calibration phantoms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明题为“用于确定用于在整形外科手术中使用的输入图像的空间取向的技术”用于确定输入图像的空间取向以产生三维模型的技术包括具有用于获得解剖对象(例如，人关节的骨)的二维图像的电路的装置，以确定指示所述解剖对象在所述二维图像中的平移和旋转的候选值，并且根据所获得的二维图像和所述候选值产生所述解剖对象的候选三维模型。电路还用于确定指示候选三维模型的准确度的分数、确定分数是否满足阈值、以及响应于确定分数满足阈值而产生指示候选三维模型为解剖对象的准确表示的数据。

Description

用于确定用于在整形外科手术中使用的输入图像的空间取向 的技术
相关专利申请的交叉引用
本申请涉及于2019年9月27日提交的标题为“TECHNOLOGIES FOR DETERMININGTHE ACCURACY OF THREE-DIMENSIONAL MODELS FOR USE IN AN ORTHOPAEDIC SURGICALPROCEDURE”的美国专利申请16/586,884。
技术领域
本公开涉及整形外科手术，并且更具体地涉及用于确定用于在整形外科手术中使用的输入图像的空间取向的技术。
背景技术
一些三维建模***诸如基于x射线的***基于来自不同视点的对象的一组二维图像(例如，x射线图像)来产生对象的三维模型。此类***中重现的问题之一是没有确定输入图像(例如，二维图像)的空间取向的有效方式。相反，典型的***依赖于操作人员将复杂的校准标记物放置在对象上或对象附近。随后，***获得具有存在标记物的对象的二维图像(例如，x射线图像)，并且可利用计算机视觉算法来识别校准标记物，以便基于校准标记物的位置来确定二维图像的取向。在已生成三维模型之后，通常需要操作人员目视检查模型，以确定模型是否被准确地构造。因此，鉴于产生准确三维模型所需的人辅助和复杂校准标记物，根据二维图像产生三维模型的已知***通常需要显著量的花费。
发明内容
在一个方面，本公开描述了具有用于获得解剖对象(例如，人关节的骨)的二维图像的电路的装置，确定指示所述解剖对象在所述二维图像中的平移和旋转的候选值，并且根据所获得的二维图像和所述候选值产生所述解剖对象的候选三维模型。电路还用于确定指示候选三维模型的准确度的分数、确定分数是否满足阈值、以及响应于确定分数满足阈值而产生指示候选三维模型为解剖对象的准确表示的数据。
在另一方面，本公开描述了一种或多种机器可读存储介质，所述机器可读存储介质包括存储在所述机器可读存储介质上的多个指令，所述指令响应于被执行而使得装置获得解剖对象的二维图像，确定指示所述解剖对象在所述二维图像中的平移和旋转的候选值，并且根据所获得的二维图像和所述候选值产生所述解剖对象的候选三维模型。所述多个指令另外使得所述装置确定指示候选三维模型的准确度的分数、确定分数是否满足阈值、以及响应于确定分数满足阈值而产生指示候选三维模型为解剖对象的准确表示的数据。
在又一方面，本公开描述了一种方法，该方法包括由装置获得解剖对象的二维图像、由该装置确定指示所述解剖对象在所述二维图像中的平移和旋转的候选值、以及由所述装置并且根据所获得的二维图像和所述候选值而产生所述解剖对象的候选三维模型。所述方法还包括由所述装置确定指示所述候选三维模型的准确度的分数、由所述装置确定所述分数是否满足阈值、以及由所述装置并且响应于确定所述分数满足所述阈值而产生指示所述候选三维模型为所述解剖对象的准确表示的数据。
附图说明
本文所述的概念以举例的方式而非限制的方式在附图中示出。为了说明的简化和清晰，图中所示的元件未必按比例绘制。在被认为适当的情况下，图之中已重复参考标签以指示对应的或类似的元件。具体实施方式具体是指附图，其中：
图1为用于确定二维输入图像的空间取向以构造三维模型的***的一个实施方案的简化图；
图2为可包括在图1的***中的模型产生装置的一个实施方案的简化框图；
图3-6为可由图1和图2的模型产生装置执行的方法的一个实施方案的简化框图，以用于确定二维输入图像的空间取向以产生解剖对象的三维模型；
图7为可由图1的***生成的膝关节的三维模型、输入二维图像和轮廓的空间取向的图；并且
图8为可由图1的***处理的股骨的三维模型的对准以及模型与股骨的二维图像的对准的图。
具体实施方式
虽然本公开的概念易于具有各种修改形式和替代形式，但其具体实施方案已在附图中以举例的方式示出，并且将在本文中进行详细描述。然而，应当理解，本文无意将本公开的概念限制为所公开的具体形式，而是相反，本发明的目的在于涵盖与本公开和所附权利要求一致的所有修改形式、等同形式和替代形式。
在整篇说明书中，当提及矫形外科植入物或假体和本文所述的外科器械以及患者的自然解剖结构时，可使用表示解剖学参考的术语，例如前、后、内、外、上、下等等。这些术语在解剖学研究和矫形外科领域都具有公知的含义。除非另外说明，否则在书面具体实施方式和权利要求中使用的这些解剖参考术语旨在与其熟知的含义一致。
本说明书中对“一个实施方案”、“实施方案”、“例示性实施方案”等的引用是指所述实施方案可包括特定特征、结构、或特性，但每个实施方案可包括或可不必包括该特定特征、结构、或特性。此外，这些术语未必指同一实施方案。此外，当结合实施方案来描述特定特征、结构、或特性时，无论是否进行明确描述均应认为，结合其它实施方案来实现这种特定特征、结构、或特性在本领域的技术人员的知识范围内。另外，应当理解，以“A、B和C中的至少一者”的形式包括在列表中的项目可意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。类似地，以“A、B或C中的至少一者”的形式列出的项目可意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。
在一些情况下，所公开的实施方案可以硬件、固件、软件或它们的任何组合来实现。所公开的实施方案还可被实现为由暂态或非暂态机器可读(例如，计算机可读)存储介质携带或存储在暂态或非暂态机器可读(例如，计算机可读)存储介质上的指令，该指令可由一个或多个处理器读取和执行。机器可读存储介质可体现为用于以机器可读形式存储或传输信息的任何存储装置、机构或其它物理结构(例如，易失性或非易失性存储器、介质盘或其它介质装置)。
在附图中，一些结构或方法特征部可以特定布置和/或排序示出。然而，应当理解，可不需要此类特定布置和/或排序。相反，在一些实施方案中，此类特征部可以与例示性附图中所示不同的方式和/或排序布置。另外，在特定附图中包括结构或方法特征部并不意味着暗示此类特征部在所有实施方案中都是必需的，并且在一些实施方案中，可不包括这些特征部或者可与其它特征部组合。
现在参见图1，用于确定二维输入图像的空间取向以构造三维模型的***100包括通过网络116与图像产生装置112和客户端计算装置114通信的模型产生装置110。与由二维图像产生三维模型的其它***不同，***100在不依赖于广泛的人辅助(例如，检查所得模型的准确度)和复杂校准标记物的情况下产生准确的三维模型。在例示性实施方案中，在操作中，模型产生装置110可从多个不同视点(例如，正交视点)获得对象诸如解剖对象140(例如，人体的一部分，诸如人关节的一个或多个骨)的一组二维图像(例如，x射线图像)。此外，模型产生装置110由所获得的二维图像产生解剖对象140的三维模型。这样做时，模型产生装置110基于图像中的参考对象(例如，具有25毫米直径的钢球)的已知尺寸并且基于限定解剖对象140的可能取向(例如，旋转和平移)的候选值来确定模型的比例。此外，模型产生装置110基于本文更详细描述的评分过程来确定所产生的模型的准确度，并且可迭代地调整候选值(例如，根据梯度上升过程、粒子群过程、遗传算法、机器学习等)以产生模型的另外版本，直到获得阈值准确度分数(例如，大于或等于目标准确度的准确度分数、一组预定义数量的所产生的准确度分数中的最高准确度分数、指示局部最大值的准确度分数等)。在例示性实施方案中，模型产生装置110包括取向确定逻辑单元120，该取向确定逻辑单元可体现为被配置为执行上述模型产生和准确度评分操作(例如，从模型产生装置110的通用处理器卸载那些操作)的软件或任何装置或电路(例如，协处理器、可重新配置的电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)。
在例示性实施方案中，图像产生装置112可体现为能够从多个不同视点(例如，角度)产生对象(例如，解剖对象140)的一组二维图像的任何装置(例如，计算机、计算装置等)。在例示性实施方案中，图像产生装置112包括一个或多个辐射源(例如，x射线源)，所述一个或多个辐射源中的每个辐射源可体现为能够将辐射(例如，x射线辐射)引导到对象处的任何装置。图像产生装置112还包括一个或多个检测器装置132，所述一个或多个检测器装置中的每个检测器装置可体现为能够由辐射与解剖对象140的相互作用而产生解剖对象140的对应图像的任何装置。如上所述，在例示性实施方案中，图像产生装置112从多个不同视点(例如，角度)产生解剖对象140的二维图像，通过利用相对于解剖对象140以不同取向布置的多个固定辐射源130和检测器装置132，和/或通过使用一个或多个可动辐射源130和检测器装置132从不同视点迭代地产生解剖对象140的图像。另外，***100可包括客户端计算装置114，该客户端计算装置可体现为能够与图像产生装置112和/或模型产生装置110通信以向装置110、112中的一个或多个装置发送请求(例如，以产生解剖对象的二维图像、以由图像产生模型、以确定模型的准确度分数等)并从装置110、112中的一个或多个装置接收数据(例如，所产生的二维图像、所产生的模型、一个或多个准确度分数等)。
现在参见图2，例示性模型产生装置110可体现为计算装置(例如，计算机)，所述计算装置包括计算引擎(在本文中也称为“计算引擎电路”)210、输入/输出(I/O)子***216、通信电路218、以及一个或多个数据存储装置222。当然，在其它实施方案中，模型产生装置110可包括其它部件或附加部件，诸如计算机中常见的那些(例如，显示器、***装置等)。另外，在一些实施方案中，例示性部件中的一个或多个部件可结合在另一个部件中或以其它方式形成另一个部件的一部分。计算引擎210可体现为能够执行下文所述的各种计算功能的任何类型的装置或装置的集合。在一些实施方案中，计算引擎210可体现为单个装置，诸如集成电路、嵌入式***、现场可编程门阵列(FPGA)、片上***(SOC)或其它集成***或装置。在例示性实施方案中，计算引擎210包括或体现为处理器212、存储器214和取向确定逻辑单元120，如上文参考图1所述。处理器212可体现为能够执行本文所述功能的任何类型的处理器。例如，处理器212可体现为一个或多个多核处理器、微控制器或其它处理器或处理/控制电路。在一些实施方案中，处理器212可体现为、包括或耦接到FPGA、专用集成电路(ASIC)、可重新配置的硬件或硬件电路或其它专用硬件以促进执行本文所述的功能。
主存储器214可体现为能够执行本文所述功能的任何类型的易失性存储器(例如，动态随机存取存储器(DRAM)等)或非易失性存储器或数据存储装置。易失性存储器可为需要电力来保持由介质存储的数据的状态的存储介质。在一些实施方案中，主存储器214的全部或一部分可集成到处理器212中。在操作中，主存储器214可存储在操作期间使用的各种软件和数据，诸如一个或多个应用程序、由一个或多个应用程序操作的数据(例如，二维图像、三维模型、用于取向的候选值、准确度分数等)、库和驱动器。
计算引擎210经由I/O子***216通信地耦接到模型产生装置110的其它部件，该I/O子***可体现为电路和/或部件以促进与计算引擎210(例如，与处理器212和/或主存储器214)和模型产生装置110的其它部件的输入/输出操作。例如，I/O子***216可体现为或以其它方式包括存储器控制器集线器、输入/输出控制集线器、集成传感器集线器、固件装置、通信链路(例如，点对点链路、总线链路、导线、缆线、光导、印刷电路板迹线等)和/或促进输入/输出操作的其它部件和子***。在一些实施方案中，I/O子***216可形成片上***(SoC)的一部分，并且与处理器212、主存储器214和模型产生装置110的其它部件中的一者或多者一起结合到计算引擎210中。
通信电路218可体现为能够通过网络在模型产生装置110和另一个计算装置(例如，图像产生装置112、客户端计算装置114等)之间启用通信的任何通信电路、装置或它们的集合。通信电路218可被配置为使用任何一种或多种通信技术(例如，有线或无线通信)和相关联的协议(例如，以太网、
Figure BDA0002701078150000061
WiMAX、
Figure BDA0002701078150000062
蜂窝等)来实现此类通信。
例示性通信电路218包括网络接口控制器(NIC)220。NIC 220可体现为一个或多个板内添加、子卡、网络接口卡、控制器芯片、芯片组或可由模型产生装置110用于与另一个计算装置(例如，图像产生装置112、客户端计算装置114等)连接的其它装置。在一些实施方案中，NIC 220可体现为包括一个或多个处理器的片上***(SoC)的一部分，或者被包括在还含有一个或多个处理器的多芯片封装件上。在一些实施方案中，NIC 220可包括均在NIC220本地的本地处理器(未示出)和/或本地存储器(未示出)。在此类实施方案中，NIC 220的本地处理器可能能够执行本文所述的计算引擎210的功能中的一个或多个功能。附加地或另选地，在此类实施方案中，NIC 220的本地存储器可在板级、套接字级、芯片级和/或其它级处集成到模型产生装置110的一个或多个部件中。
一个或多个例示性数据存储装置222可体现为被配置用于短期或长期存储数据的任何类型的装置，诸如例如存储器装置和电路、存储卡、硬盘驱动器、固态驱动器或其它数据存储装置。每个数据存储装置222可包括存储数据存储装置222的数据和固件代码的***分区。每个数据存储装置222还可包括存储操作***的数据文件和可执行文件的一个或多个操作***分区。
图像产生装置112和客户端计算装置114可具有与参考模型产生装置110在图2中描述的那些类似的部件。模型产生装置110的那些部件的描述同样适用于图像产生装置112和客户端计算装置114的部件的描述，不同的是，在一些实施方案中，取向确定逻辑单元120不被包括在除模型产生装置110之外的装置中。此外，应当理解，模型产生装置110、图像产生装置112和客户端计算装置114中的任一者可包括通常存在于计算装置中的其它部件、子部件和装置，所述部件、子部件和装置在上文中未参考模型产生装置110进行讨论，并且为了本说明书的清楚性，未在本文进行讨论。此外，应当理解，计算装置的一个或多个部件可分布在任何距离上，并且不一定容纳在同一物理单元中。
重新参考图1，模型产生装置110、图像产生装置112和客户端计算装置114例示性地经由网络116进行通信，该网络可体现为任何类型的数据通信网络，包括全球网络(例如，互联网)、一个或多个广域网(WAN)、局域网(LAN)、数字用户线路(DSL)网络、缆线网络(例如，同轴网络、光纤网络等)、蜂窝网络(例如，全球移动通信***(GSM)、3G、长期演进(LTE)、全球微波接入互操作(WiMAX)等)、无线电接入网络(RAN)、或它们的任何组合。此外，虽然在图1中示出为单独的装置，但应当理解，在一些实施方案中，模型产生装置110、图像产生装置112和客户端计算装置114中的一者或多者可组合成单个单元。
现在参见图3，在操作中，模型产生装置110可执行用于确定二维输入图像的空间取向的方法300，以产生对象(例如，解剖对象140)的三维模型。方法300以框302开始，在框302中，模型产生装置110确定是否启用取向确定。模型产生装置110可响应于确定模型产生装置110配备有取向确定逻辑单元120、响应于确定配置设置(例如，在存储器214中)指示启用取向确定、响应于来自另一个装置(例如，客户端计算装置114)的启用取向确定的请求、和/或基于其它因素来确定启用取向确定。响应于确定启用取向确定，方法300前进至框304，在该框中，模型产生装置110(例如，从图像产生装置112)获得解剖对象的二维图像。这样做时，在例示性实施方案中，模型产生装置110获得人体的一部分的二维图像，如框306中所指示。如框308中所指示，模型产生装置110获得人体的一个或多个骨的二维图像。例如，并且如框310中所指示，模型产生装置110可获得髋关节或膝关节的二维图像。在例示性实施方案中，在获得二维图像时，模型产生装置110获得x射线图像(例如，通过使x射线辐射(例如，来自辐射源130)穿过患者的身体到达检测器(例如，检测器装置132)上而产生的图像)，如框312中所指示。在其它实施方案中，二维图像可由其它类型的电磁辐射(例如，可见光、红外光等)形成。在例示性实施方案中，模型产生装置110从多个不同视点(例如，角度)获得解剖对象140的二维图像，如框314中所指示。这样做时，在例示性实施方案中，模型产生装置110获得正交图像(例如，来自彼此垂直的视点的图像)，如框316中所指示。在其它实施方案中，视点可相对于彼此成其它角度。
随后，在框318中，模型产生装置110确定所获得的二维图像的比例系数(例如，指示二维图像中所表示的对象的尺寸与它们的实际尺寸不同的量的数据)。在这样做时，并且如框320中所指示，模型产生装置110确定二维图像中表示的距离(例如，对象的直径、长度等)与实际距离(例如，对象的实际直径、长度等)的比率。例如，并且如框322中所指示，模型产生装置110可根据二维图像中具有预定义(例如，已知的)尺寸的参考对象的表示来确定比例系数。在例示性实施方案中，模型产生装置110可确定参考对象在其出现在所获得的二维图像中时的尺寸与该参考对象的预定义尺寸的比率，如框324中所指示。如框326中所指示，模型产生装置110可根据具有预定义直径的球来确定比例系数。在例示性实施方案中，并且如框328中所指示，模型产生装置110可根据具有25毫米预定义直径的金属球来确定比例系数(例如，通过确定二维图像中表示的球的直径与25毫米的已知直径的比率)。即，金属球可与患者一起物理地存在(例如，在患者旁边、附接到患者等)，并且通过图像产生装置112成像。随后，方法300前进至图4的框330，在该框中，模型产生装置110确定指示在所获得的二维图像中表示的解剖对象140的平移和旋转的候选值。
现在参见图4，在确定候选值时，模型产生装置110确定解剖对象在三个维度(例如，沿x轴、y轴和z轴)上的平移的候选值，如框332中所指示。类似地，并且如框332中所指示，在例示性实施方案中，模型产生装置110确定解剖对象140在三个维度(例如，沿x轴、y轴和z轴)上的旋转的候选值，如框334中所指示。候选值可以多种方式确定，这取决于实施方案。例如，并且如框336中所指示，模型产生装置110可根据(例如，基于)先前候选值和使用那些值(例如，来自方法300的先前迭代)产生的模型的对应准确度分数来确定当前候选值。如框338中所指示，模型产生装置110可基于梯度上升过程(例如，用于通过采用与当前点处函数的梯度或近似梯度的正值成比例的步骤来找到函数的最大值的一阶迭代优化过程)或梯度下降过程(例如，找到函数的最小值)来确定候选值。在一些实施方案中，模型产生装置110可基于遗传算法(例如，利用基于生物的运算符诸如突变、交叉和选择来模拟自然选择的过程以找到问题的最佳解决方案的元启发式算法)来确定候选值，如框340中所指示。
附加地或另选地，模型产生装置110可基于粒子群过程(例如，通过迭代地改进与给定质量测量有关的候选解决方案来优化问题的过程(例如，准确度分数)，其通过利用一组候选解决方案(称为“粒子”)并根据影响每个粒子的位置和速度的数学运算而在搜索空间中四处移动粒子)，如框342中所指示。在一些实施方案中，模型产生装置110可利用机器学习过程(例如，利用训练数据来识别指示输入变量和输出之间的数学关系的图案的过程)来确定当前候选值，如框344中所指示。在其它实施方案中，模型产生装置110可基于对可用参数空间中的每个值的扫描来确定候选值(例如，迭代地尝试围绕每个轴线的每个可能的旋转角度等)，如框346中所指示。随后，方法300前进至图5的框348，在该框中，模型产生装置110根据所获得的二维图像(例如，来自框304)、比例系数(例如，来自框318)和候选值(例如，来自框330)来产生解剖对象140的候选三维模型。
现在参见图5，在产生模型时，并且如框350中所指示，模型产生装置110应用三角形划分(例如，在解剖对象140和从其产生二维图像的视点之间)来确定沿解剖对象的表面的点在三维空间中的位置(例如，每个点具有x、y和z坐标)。如框352中所指示，模型产生装置110可利用解剖对象的参考模型的数据组(例如，在存储器214中或在数据存储装置222中)来提供指示解剖对象的未在所获得的二维图像中表示的部分的数据(例如，骨的一部分未在所获得的二维图像中示出)。在例示性实施方案中，模型产生装置110基于比例系数对模型应用缩放(例如，设置模型的尺寸)，如框354中所指示。这样做时，在例示性实施方案中，模型产生装置110在三个空间维度上应用比例系数(例如，使用相同的比例系数来沿x轴、y轴和z轴设置模型的尺寸)，如框356中所指示。模型产生装置110还可基于候选值(例如，在框332中确定的平移的候选值)对模型应用平移(例如，改变模型的位置)，如框358中所指示。这样做时，在例示性实施方案中，模型产生装置110在三个维度上(例如，在x维度、y维度和z维度上)应用平移，如框360中所指示。类似地，并且如框362中所指示，模型产生装置110可基于候选值应用旋转。这样做时，并且如框364中所指示，模型产生装置110可在三个维度上应用旋转(例如，使对象围绕x轴、y轴和z轴旋转候选值中定义的量)。
随后，并且如框366中所指示，模型产生装置110确定指示所产生的三维模型(例如，在框348中产生的模型)的准确度的分数。这样做时，在例示性实施方案中，模型产生装置110将三维模型的二维轮廓与所获得的二维图像的边缘检测版本(例如，其中边缘以像素值(例如，具有非零像素值)指示，而不表示边缘的区域以不同像素值(例如，为零的像素值)表示的二维图像的版本)进行比较，如框368中所指示。这样做时，并且如框370中所指示，模型产生装置110基于用于产生所获得的二维图像的x射线源(例如，辐射源130)的所确定的位置(例如，从所确定的位置投影)来比较由三维模型的三维轮廓的突出部产生的二维轮廓(例如，在框348中产生的模型)。如框372中所指示，模型产生装置110可对沿二维轮廓(例如，来自框370)和所获得的二维图像的对应边缘检测版本之间共享的边缘的像素值求和，从而将分数定义为所得的总和。
膝关节(例如，解剖对象140)的三维候选模型702(例如，在框348中产生的候选模型)的空间取向700、输入二维图像710、712(例如，在框304中获得的二维图像)和轮廓720(例如，在框368中用于确定指示候选模型的准确度的分数的轮廓)的例示性示例在图7中示出。股骨802的候选三维模型与x射线图像810(例如，从框304获得的二维图像)的原型对准800(例如，空间取向)的例示性示例在图8中示出。在模型产生装置110已确定指示候选三维模型的准确度的分数之后，方法300前进至图6的框374，在该框中，模型产生装置110基于是否已满足阈值准确度分数(例如，通过在框366中确定的分数)来确定后续动作过程。
现在参见图6，在确定是否已满足阈值准确度分数时，模型产生装置110可确定在框366中确定的分数是等于还是大于预定义分数，在框366中确定的分数是否为在方法300的一系列迭代中产生的一组分数中的最高分数，并且/或者基于其它因素。响应于确定尚未满足阈值准确度分数，方法300循环回到图4的框330，在该框中，模型产生装置110确定后续候选值组(例如，不同组)，并且基于后续候选值组产生具有不同空间取向的后续三维模型。否则(例如，如果已满足阈值准确度分数)，方法300前进到框376，在该框中，模型产生装置110产生指示候选三维模型为解剖对象140的准确表示的输出数据(例如，将被显示、写到存储器和/或发送到另一个计算装置，诸如客户端计算装置114)。这样做时，并且如框378中所指示，模型产生装置110可产生包括用于产生候选三维模型的候选值的输出数据。输出数据还可包括用于产生候选三维模型的比例系数。
作为方法300的例示性示例，模型产生装置110可从图像产生装置获得患者的膝关节的一组二维X射线图像。在图像中，存在金属球。模型产生装置110被配置为检测金属球的存在，该金属球具有已知的(例如，对于模型产生装置110)25毫米的直径。在该示例中，金属球在由模型产生装置110获得的二维X射线图像中为100像素宽。因此，模型产生装置110确定每四个像素表示1毫米(例如，4比1的缩放系数)。鉴于金属球是对称的，模型产生装置110可在x、y和z维度上固定缩放系数(例如，任何方向上的4个像素表示该方向上的1毫米)。
接下来，在例示性示例中，模型产生装置110确定膝关节的骨在X射线图像中的平移和旋转的候选值。这样做时，模型产生装置110沿x轴、y轴和z轴选择二十毫米的可能平移。另外，模型产生装置110沿x轴、y轴和z轴中的每个轴选择顺时针20度的可能平移。然后，模型产生装置110使用任何已知的2D/3D转换方法(例如
Figure BDA0002701078150000111
2D3D)从X射线图像获得膝关节的骨的候选三维模型，从而使用人膝关节的骨的参考模型填充缺失的骨细节。在该过程中，模型产生装置110沿x轴、y轴和z轴中的每个轴应用二十毫米的平移(例如，假设患者在每个维度上从参考膝关节模型所基于的位置移动二十毫米)，并且沿x轴、y轴和z轴顺时针旋转二十度(例如，假设产生X射线图像的X射线检测器顺时针旋转二十度，或者患者沿相对于参考膝关节模型所基于的取向的每个轴线将膝关节的一个或多个骨顺时针旋转(例如，由于膝关节的屈曲)二十度)，并且使用每一毫米4个像素的缩放系数来按比例绘制模型。然后，模型产生装置110通过将模型的二维轮廓与X射线图像的边缘检测版本进行比较以产生准确度分数来确定所得模型的准确度，如参考图5的框366所述。二维轮廓和X射线图像的对应边缘检测版本之间的任何差异(例如，非重叠线)减少了准确度分数，而相似性(例如，重叠线)增加了分数。出于示例的目的，准确度分数可为7。
然后，模型产生装置110重复获得候选模型的过程，这次使用不同的平移和旋转值。例如，使用x＝30、y＝30、z＝30的平移值和x＝30、y＝30、z＝30的旋转值。所得的准确度分数为8。随后，模型产生装置以x＝40、y＝40、z＝40的平移值重复该过程，并且准确度分数降至6。基于准确度分数的下降，模型产生装置110测试20至30范围内的各种值以进行平移和旋转，直到模型产生装置110确定以x＝28、y＝28、z＝28的平移值和x＝24、y＝20、z＝26的旋转值达到最高分数9。随后，模型产生装置110向用户或其它装置指示，使用x＝28、y＝28、z＝28的平移值和x＝24、y＝20、z＝26的旋转值产生的模型为膝关节中的一个或多个骨的最准确模型。
虽然在附图和前述描述中已经详细地描述了某些例示性实施方案，但此类例示和描述在特征上应被视为是例示性的而不是限制性的，应当理解，仅示出和描述了例示性的实施方案，并且本公开的实质内进行的所有改变和变型都应受到保护。
本文所述方法、设备和***的多个特征使本公开具有多个优点。应当注意的是，本公开的方法、设备和***的另选的实施方案可以不包括所有所述特征，但仍然可以受益于此类特征的优点中的至少一些。对于上述方法、设备和***，本领域的普通技术人员可容易地设想出其自己的实施方式，该实施方式可结合本发明特征中的一个或多个特征，并且落在由所附权利要求限定的本公开的实质和范围内。

Claims (14)

1.一种装置，包括：
电路，所述电路用于：
获得人关节的骨的二维图像；
确定指示所述骨在所述二维图像中的平移和旋转的候选值；
根据所获得的所述二维图像和所述候选值产生所述骨的候选三维模型；
确定指示所述候选三维模型的准确度的分数；
确定所述分数是否满足阈值；以及
响应于确定所述分数满足所述阈值而产生指示所述候选三维模型为所述骨的准确表示的数据。
2. 根据权利要求1所述的装置，其中所述电路还用于：
响应于确定所述分数不满足所述阈值而确定指示解剖对象在所述二维图像中的平移和旋转的第二候选值；以及
根据所获得的所述二维图像和所述第二候选值产生所述骨的第二候选三维模型。
3. 根据权利要求1所述的装置，其中所述电路还用于：
确定所获得的所述二维图像的比例系数；以及
还根据所确定的所述比例系数而产生所述候选三维模型。
4.根据权利要求3所述的装置，其中确定所述比例系数包括确定在所述二维图像中表示的参考对象的尺寸与所述参考对象的预定义尺寸的比率。
5.根据权利要求3所述的装置，其中还根据所确定的所述比例系数而产生所述候选三维模型包括将所述比例系数在三个维度上应用于所述候选三维模型。
6.根据权利要求1所述的装置，其中确定指示所述骨在所述二维图像中的平移和旋转的候选值包括根据先前候选值和与所述先前候选值相关联的对应准确度分数来确定所述候选值。
7.根据权利要求6所述的装置，其中确定所述候选值还包括基于梯度上升或梯度下降过程来确定所述候选值。
8.根据权利要求6所述的装置，其中确定所述候选值还包括基于遗传算法来确定所述候选值。
9.根据权利要求6所述的装置，其中确定所述候选值还包括基于粒子群过程来确定所述候选值。
10.根据权利要求6所述的装置，其中确定所述候选值还包括基于机器学习过程来确定所述候选值。
11.根据权利要求1所述的装置，其中确定所述分数是否满足所述阈值包括确定所述分数是否为针对由指示所述骨在所述二维图像中的不同平移和旋转的不同候选值产生的多个候选模型中的每个候选模型确定的一组分数中的最大分数。
12.根据权利要求1所述的装置，其中确定指示所产生的所述三维模型的准确度的分数包括将所述候选三维模型的二维轮廓与所获得的所述二维图像的边缘检测版本进行比较。
13.根据权利要求1所述的装置，其中获得所述骨的二维图像包括获得所述人关节的多个骨的x射线图像。
14.根据权利要求1所述的装置，其中获得所述骨的二维图像包括从不同视点获得所述骨的二维图像。
CN202011022437.7A 2019-09-27 2020-09-25 用于确定用于在整形外科手术中使用的输入图像的空间取向的技术 Pending CN112581422A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/586,887 US11134908B2 (en) 2019-09-27 2019-09-27 Technologies for determining the spatial orientation of input imagery for use in an orthopaedic surgical procedure
US16/586887 2019-09-27

Publications (1)

Publication Number Publication Date
CN112581422A true CN112581422A (zh) 2021-03-30

Family

ID=72659080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011022437.7A Pending CN112581422A (zh) 2019-09-27 2020-09-25 用于确定用于在整形外科手术中使用的输入图像的空间取向的技术

Country Status (6)

Country Link
US (2) US11134908B2 (zh)
EP (1) EP3798979A1 (zh)
JP (1) JP2021053372A (zh)
CN (1) CN112581422A (zh)
AU (1) AU2020217368A1 (zh)
IL (1) IL277370A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11134908B2 (en) 2019-09-27 2021-10-05 DePuy Synthes Products, Inc. Technologies for determining the spatial orientation of input imagery for use in an orthopaedic surgical procedure
US11348216B2 (en) 2019-09-27 2022-05-31 DePuy Synthes Products, Inc. Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure
US11819280B2 (en) 2020-09-30 2023-11-21 DePuy Synthes Products, Inc. Customized patient-specific orthopaedic surgical instrument using patient-specific contacting bodies and parametric fixed geometry

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2670861A1 (en) 2006-11-28 2008-06-05 Calgary Scientific Inc. Texture-based multi-dimensional medical image registration
US9070207B2 (en) * 2007-09-06 2015-06-30 Yeda Research & Development Co., Ltd. Modelization of objects in images
JP5301239B2 (ja) 2008-08-09 2013-09-25 株式会社キーエンス 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
CN104271076B (zh) 2011-12-23 2017-05-31 物化股份有限公司 使用精度映射和稳定性分析来设计和生成器件的***和方法
CA2910376C (en) 2012-05-09 2020-06-30 Laboratoires Bodycad Inc. Segmentation of magnetic resonance imaging data
US11257241B2 (en) * 2017-12-07 2022-02-22 Radlink, Inc. System and method for component positioning by registering a 3D patient model to an intra-operative image
JP5957357B2 (ja) 2012-10-15 2016-07-27 株式会社日立ハイテクノロジーズ パターン検査・計測装置及びプログラム
WO2014165972A1 (en) * 2013-04-09 2014-10-16 Laboratoires Bodycad Inc. Concurrent active contour segmentation
US10258256B2 (en) * 2014-12-09 2019-04-16 TechMah Medical Bone reconstruction and orthopedic implants
WO2018170181A1 (en) * 2017-03-14 2018-09-20 Universidade De Coimbra Systems and methods for 3d registration of curves and surfaces using local differential information
US11134908B2 (en) 2019-09-27 2021-10-05 DePuy Synthes Products, Inc. Technologies for determining the spatial orientation of input imagery for use in an orthopaedic surgical procedure
US11348216B2 (en) 2019-09-27 2022-05-31 DePuy Synthes Products, Inc. Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure

Also Published As

Publication number Publication date
IL277370A (en) 2021-04-29
US11134908B2 (en) 2021-10-05
US11883220B2 (en) 2024-01-30
EP3798979A1 (en) 2021-03-31
US20210093274A1 (en) 2021-04-01
US20220022831A1 (en) 2022-01-27
JP2021053372A (ja) 2021-04-08
AU2020217368A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
US10867436B2 (en) Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images
US11348216B2 (en) Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure
US11883220B2 (en) Technologies for determining the spatial orientation of input imagery for use in an orthopaedic surgical procedure
US10217217B2 (en) Systems and methods for obtaining 3-D images from X-ray information
US20210012492A1 (en) Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones
US20210007806A1 (en) A method for obtaining 3-d deformity correction for bones
EP2996599A1 (en) Planning systems and methods for surgical correction of abnormal bones
US20220071708A1 (en) Patient positioning using a skeleton model
EP4365838A1 (en) Registration method and system
WO2019180746A1 (en) A method for obtaining 3-d deformity correction for bones
WO2019180747A1 (en) Systems and methods for obtaining patient specific instrument designs
JP7354280B2 (ja) 統計的形状モデリング（ｓｓｍ）を使用した解剖学的対象の発病前特性化
US20240233103A9 (en) Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure
WO2022229816A1 (en) 3d reconstruction of anatomical images
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
EP4216163A1 (en) Method and device for segmentation and registration of an anatomical structure
US20240180634A1 (en) Surgical navigation systems and methods including matching of model to anatomy within boundaries
JP2015000092A (ja) 患者位置決めシステム、および患者位置決め方法。

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination