KR20240076775A - 수술 중에 수술 요소들을 정렬하기 위하여 사진측량을 이용하는 시스템들 및 방법들 - Google Patents

수술 중에 수술 요소들을 정렬하기 위하여 사진측량을 이용하는 시스템들 및 방법들 Download PDF

Info

Publication number
KR20240076775A
KR20240076775A KR1020247008182A KR20247008182A KR20240076775A KR 20240076775 A KR20240076775 A KR 20240076775A KR 1020247008182 A KR1020247008182 A KR 1020247008182A KR 20247008182 A KR20247008182 A KR 20247008182A KR 20240076775 A KR20240076775 A KR 20240076775A
Authority
KR
South Korea
Prior art keywords
component
identified
orthopedic
image
implant
Prior art date
Application number
KR1020247008182A
Other languages
English (en)
Inventor
브라이언 알. 해리스
프레드 더블유. 보우만
Original Assignee
마이크로포트 오소페딕스 홀딩스 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로포트 오소페딕스 홀딩스 아이엔씨. filed Critical 마이크로포트 오소페딕스 홀딩스 아이엔씨.
Publication of KR20240076775A publication Critical patent/KR20240076775A/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4657—Measuring instruments used for implanting artificial joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/4607—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of hip femoral endoprostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/4609—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of acetabular cups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/32—Joints for the hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4657—Measuring instruments used for implanting artificial joints
    • A61F2002/4658—Measuring instruments used for implanting artificial joints for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4657—Measuring instruments used for implanting artificial joints
    • A61F2002/4668—Measuring instruments used for implanting artificial joints for measuring angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4688—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor having operating or control means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Transplantation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Prostheses (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

공간에서의 정형외과적 요소의 위치를 확인하기 위한 시스템들 및 방법들은, 방사선 이미징 기법을 이용하여 서로 다른 기준 프레임들에서 정형외과적 요소의 제1 및 제2 영상들을 캡쳐하는 단계, 심층학습 네트워크를 이용하여 정형외과적 요소 상에서 또는 그에서 해부학적 랜드마크들(anatomical landmarks)을 정의하는 공간 데이터를 검출하는 단계, 해부학적 랜드마크에 의해 정의되는 상기 정형외과적 요소에 마스크를 적용하는 단계, 상기 제1 영상 및 상기 제2 영상으로부터 상기 공간 데이터를 투영시켜 볼륨 데이터를 정의하는 단계, 상기 심층학습 네트워크를 상기 볼륨 데이터에 적용하여 상기 정형외과적 요소의 재구성된 3차원 모델을 생성하는 단계, 및 상기 정형외과적 요소의 상기 3차원 모델을 상기 공간 데이터로 맵핑하여 3차원 공간에서의 상기 정형외과적 요소의 상기 3차원 모델의 위치를 결정하는 단계를 포함한다.

Description

수술 중에 수술 요소들을 정렬하기 위하여 사진측량을 이용하는 시스템들 및 방법들
본 출원은 2021년 9월 30일자로 출원된 미국예비출원 제63/250,906호에 대한 우선권의 이익을 청구한다. 이 관련된 출원의 개시는 본 출원에 전적으로 병합된다.
본 개시는 일반적으로 정형외과적 관절 치환 수술들(orthopedic joint replacement surgeries)에 관한 것으로, 더욱 구체적으로는 정형외과 수술들을 계획하고 실행하는 데 있어서 외과의사들과 기술자들에게 도움을 주기 위해 사진측량(photogrammetry) 및 3차원(3D) 재구성 기법들을 사용하는 것에 관한 것이다.
고관절(둔부) 치환 수술들(hip replacement surgeries)의 목적은 환자의 질병 전단계의 고관절의 자연적 정렬과 운동 범위를 복원하기 위한 것이다. 그러나 이러한 목적은 실제로 이루기가 어려울 수 있는데, 이는 고관절들이 관절로 이어진 뼈들(articulating bones) 뿐만 아니라 연골(cartilage), 근육, 인대(ligaments) 및 힘줄(tendons)을 포함하는 다양한 연조직(soft tissue)을 포함하고 있기 때문이다. 모든 고관절치환술(hip arthroplasties)에서 그리고 특히 최소 침습 고관절치환술(hip arthroplasties)에서, 이러한 연조직들의 존재는 외과의사의 시야를 심각하게 제한할 수 있다. 이러한 문제는 심지어 높은 신체비만지수를 가진 환자들의 경우에 더욱 현저하다.
고관절치환술에서, 골반(pelvis) 자체는 연조직에 거의 전적으로 둘러싸여 있다. 최소 침습 절차에서, 주된 절개(incision)는 관골구(acetabulum) 및 근위 대퇴골두(proximal femoral head)의 접합을 궁극적으로 노출시키나, 이러한 주된 절개는 전형적으로 외과의사의 시야를 관골구의 마진(즉, 주변부)을 가로지르는 방향으로 돌린다. 수술 대상의 다리의 하나 이상의 대퇴사두근 근육들(quadriceps muscles)을 통해 연장되는 문맥 절개(portal incision) 관골구의 오목면과 정렬될 수 있으나, 이 시야를 노출시키기 위해 대퇴골(femur)의 근위 단부가 제거되어야 하고 관골구로부터 멀리 회전되어야 한다.
문제를 더 복잡하게 하는 것은, 문맥 절개를 통한 수술 부위의 시야가 주된 절개를 통한 시야보다 일반적으로 훨씬 더 제한되어 있다는 것이다. 오목한 관골구 표면(acetabular surface)의 영상을 캡쳐하기 위해 내시경 카메라(endoscopic camera)가 문맥 절개를 통해 배치될 수 있으나, 관골구의 오목한 표면은 관골구 및 골반(pelvis)의 위치를 신뢰성있게 표시하기 위해 사용될 수 있는 보니 마커들(boney markers)(즉, 랜드마크들)이 없다. 더욱이, 대퇴골의 임의의 움직임은 결합 연조직(connective soft tissue)을 통해 골반으로 전달될(translate) 것이고, 그리하여 내시경 카메라에 의해 캡쳐된 임의의 영상들의 유용성을 해치게 된다. 따라서, 내시경 카메라의 사용은 불필요하게 절차를 연장시키게 될 것이고 근위 대퇴골에 대한 관골구의 위치를 정확히 반영하는데 있어 매우 제한된 효율성을 가지고 있다.
인공 고관절 임플랜트(Artificial hip implants)는, 전형적으로, 외과의사가 고관절의 확공된 관골구(reamed acetabulum)에 배치하는 관골구 쉘(acetabular shell)을 포함한다. 관골구 쉘은 대퇴골 구성부(femoral component)의 대체로 구 모양의 헤드(generally spherically shaped head)를 가진 베어링(bearing)으로서 본질적으로 기능하는 라이너(liner)를 수용할 수 있다. 대퇴골 구성부는 일반적으로 스템(stem), 넥(neck) 및 헤드(head)를 포함한다. 설치될 때, 스템은 대퇴골의 절제되고(resected) 확공된 근위 단부로 삽입된다. 넥은 스템의 근위 단부를 헤드에 연결한다. 다시, 헤드는 인공 관골구 컵(artificial acetabular cup)에 배치되고, 흔히 관골구 컵의 라이너를 등지고 배치된다.
수술 부위에 대한 외과의사의 시야가 흔히 연조직에 의해 차단되기 때문에, 외과의사들은 관골구에서의 관골구 컵의 적절한 정렬을 추정해 보기 위해 과거에는 외부의 표지(indicia)에 의존하였다. 머피에 의한 미국특허공개 제2013/0165941호는 하나의 그러한 예이다. 다른 제공자들은 카티즌 평면(Cartesian plane)의 축들을 흉내 내도록 설계된 외부의 수평 및 수직 위치 바들(positioning bars)을 포함하는 위치 가이드들(positioning guides)를 제공하였다. 약 40도()에서 약 45도의 관골구 컵의 외전각(abduction angle)을 이루기 위해, 외과의사는 배치 가이드(placement guide)를 환자의 신체 세로축(환자의 머리에서 고환까지 연장되는 신체의 가상 중앙선)에 대략적으로 대각선 방향으로 배치시킬 것이고, 그리함으로써 수평 위치 바가 신체의 세로축에 대체로 평행하게 위치하도록 할 것이다. 약 10도에서 약 15도까지의 전경각(anteversion angle)을 이루도록 시도하기 위해, 외과의사는 위치 장치(positioning device)를 신체의 세로축에 대해 수직 위치 바를 따라 약간 들어올릴 것이다.
이러한 외부의 표지는 환자의 특정의 해부적 구조(anatomy)를 설명하지 못하고, 이들은 이러한 표지에 대한 골반의 움직임을 설명하지도 않았다. 예를 들어, 주어진 환자가 바닥에 등을 대고 반듯이 누워있을 때 환자의 좌측 관골구가 환자의 우측 관골구 보다 약간 낮게 위치할 수 있는 것이 전적으로 가능하다. 더욱이, 많은 고관절치환술(hip arthroplasty) 절차들은, 특정한 절개를 하거나 수술 부위의 특정 부분들에 접근하기 위해 환자를 다시 위치시키는 것을 요한다. 전술한 바와 같이, 대퇴골의 움직임은 연조직을 통해 골반으로 전달될 것이다. 표준 고관절치환술 동안 내내 환자를 복수회 다시 위치시킬 필요성에 비추어 볼 때, 골반이, 외부의 표지에 의존하는 기존의 관골구 컵 위치 가이드들을 위한 제안된 사용 파라미터들 내에 항상 위치될 것 같지는 않다.
외과의사가 근위 대퇴골로의 직접적인 시선을 가지도록 하는 것이 관골구(또는 경우에 따라 관골구 컵)로부터 근위 대퇴골을 탈구시키는 것 (및 따라서 오정렬시키는 것)을 요구한다는 점을 고려할 때, 대퇴골 구성부를 적절히 정렬시키고, 크기 조절하고 그리고 설치하는 것이 더더욱 어렵다. 결과적으로, 많은 외과의사들은 허용가능한 대퇴골 스템 배치를 어림잡기 위해 소리와 느낌에 의존하였다. 대퇴골 스템 및 관골구 컵 모두는 그 제각기의 뼈들에 끼워 넣어진다. 너무 큰 대퇴골 스템은 근위 대퇴골을 쉽게 부러뜨릴 수 있다. 너무 작은 대퇴골 스템은, 정상 사용의 결과로 시간이 감이 따라 대퇴골의 골수내 관(intramedullary canal)으로 함몰될 수 있다. 함몰(subsidence)은 환자의 걸음걸이를 줄일 수 있고 넥, 헤드 및 라이너의 부분들에 무리한 압력을 가할 수 있어서 마모를 가속화시킨다.
추가적으로, 관골구 컵이 바람직한 외전각 및 전경각에서 확공된 관골구에 배치된다고 하여도 그리고 적절한 크기의 대퇴골 스템이 근위 대퇴골에 자리잡고 있다 하여도, 관골구 컵에 상대적인 대퇴골 구성부의 위치는 종래의 기술을 사용하여서는 미리 알 수가 없었다. 수술장 투시조영(intraoperative fluoroscopy)이 관골구 구성부에 상대적인 대퇴골 구성부의 2차원(2D) 영상을 생성하기 위해 사용될 수 있으나, 이 투시조영 영상은 정확한 정렬을 보장하기 위한 충분한 3D 정보가 없다. 예를 들어, 고전적인 투시조영에 따르면, 골반의 기울어짐(tilt)을 알 수가 없었다. 그러하기에, 골반에서의 임의의 뼈의 랜드마크들(보니 랜드마크들)의 배향 또한 알 수가 없었다. 정확도를 가지고 골반의 배향을 결정할 수가 없었기에, 자연적인 질병 전단계의 관절선(pre-diseased joint line)의 위치를 정확히 계산하기 위해 투시조영만을 사용하는 것이 가능하지 않았다. 더욱이, 투시조영의 연장된 사용은 환자를 과도한 방사선에 노출시킨다.
관골구 컵에 대한 대퇴골 구성부의 헤드의 부적절한 정렬은 수술 대상의 다리(operative leg)가 반대편 다리(contralateral leg)에 비해 짧아지는 것, 관골구 컵에 대한 헤드의 탈구(dislocation) 및 관골구 컵, 라이너, 헤드 또는 넥의 하나의 부분에 대한 증가된 힘 부하를 야기할 수 있고, (이는 마모율 및 감소된 임플랜트 수명을 증가시킨다). 이러한 단점들의 임의의 것은 환자의 불편에 기여할 수 있다.
결과적으로, 외과의사들은 관골구 컵 배치에 대한 상당히 큰 오차 마진 내에서 수술하는 것에 만족한 채로 있어야 되었었다. 이용가능한 도구들과 절차들에도 불구하고, 재구성된 고관절을 전형적인 고관절치환술로 정렬시키는 것은 경험, 교육에 의한 추측 및 운에 기반한다. 이러한 문제는 최소 침습 고관절치환술에서 특히 현저한데, 외과의사의 시야가 너무 제한되어 있다는 데에 부분적으로 이유가 있다.
따라서, 고관절치환술들을 계획하고 실행할 때 수술 대상의 관절의 해부적 구조 및 인공 관내인공삽입 임플랜트(artificial endoprosthetic implant)를 정확하게 모델링하기 위해 수술전 및 수술장 이미징 기술들을 강화할, 오랫동안 느껴왔으나 해결되지 않은 필요성이 있다.
현재 이용가능한 수술전 또는 수술장 도구들 및 기법들을 이용하는 최소 침습 수술들에서의 외과의사의 수술 부위에 대한 제한된 시각화의 문제들 및 그러한 시각화의 결여가 야기할 수 있는 오정렬이라는 부수적인 문제들은 공간에서의 정형외과적 요소(orthopedic element)의 위치를 확인하기 위한 예시적인 시스템들 및 방법들에 의해 경감될 수 있는데, 이는, 정형외과적 요소 및 관내인공삽입 임플랜트(endoprosthetic implant)의 구성부(component)를 식별하고 모델링하고 그리고 대상(subject) 정형외과적 요소의 적어도 두개의 별개의 2차원(2D) 입력 영상들의 입력으로부터 상기 정형외과적 요소의 상기 모델 및 상기 관내인공삽입 임플랜트의 상기 모델을 공간 데이터로 맵핑하기 위해 심층학습 네트워크를 사용하는 것을 포함한다. 여기서, 상기 적어도 두개의 별개의 2D 입력 영상들의 제1 영상은 제1 횡방향 위치(transverse position)로부터 캡쳐되고, 상기 적어도 두개의 별개의 2D 입력 영상들의 제2 영상은 제1 횡방향 위치로부터 옵셋 각도만큼 옵셋된 제2 횡방향 위치로부터 캡쳐된다.
예시적인 실시예들에서, 입력 영상들은 방사선 영상들일 수 있다. 이론에 구속되지 않는다면, 방사선 사진들이 바람직한데, 이는 방사선 사진들이, 인대 억제대(ligamentous restraints), 하중 지지 힘들(load-bearing forces) 및 근육 활동을 비롯하여, 수동적인 연조직 구조들 및 고관절 주위에서 일어나는 동적인 힘들의 외적 가산(external summation)을 설명하는 생체내 분석(in-vivo analysis)을 가능하게 하기 때문이다.
이론에 구속되지 않는다면, 정형외과적 요소의 모델 및 관내인공삽입 임플랜트의 구성부의 모델을 공간 데이터로 맵핑함으로써 상기 맵핑되고 모델링된 임플랜트 구성부에 상대적인(relative to) 상기 맵핑되고 모델링된 정형외과적 요소의 위치가 계산될 수 있다고 생각된다. 이 시스템이 두개 이상의 정형외과적 요소들 및 상기 관내인공삽입 임플랜트들의 두개 이상의 구성부들에 적용된다면, 관내인공삽입 임플랜트들의 구성부들이 그 제각기의 정형외과적 요소들에 바람직한 위치들에서 바람직하게 임플랜트될 수 있고, 그 제각기의 관내인공삽입 임플랜트 구성부들이 서로에 대해 바람직하게 정렬될 수 있다.
여기에서 설명된 특정의 예시적인 시스템들 및 방법들이 인접한 정형외과적 요소에 대한 임플랜트 구성부의 바람직한 크기를 정확하게 예측하도록 구성될 수 있다고 더욱 생각된다.
여기에서 설명된 특정의 예시적인 시스템들 및 방법들이, 관내인공삽입 임플랜트 구성부가 임플랜트될 정형외과적 요소에 대한 관내인공삽입 임플랜트 구성부의 배치를 정확하게 배향시키도록 구성될 수 있다고 더더욱 생각된다.
전술한 것들은, 첨부 도면들에 예시된 바와 같은 본 개시의 예시적인 실시예들의 이하의 더욱 특정한 설명으로부터 명백해질 것이다. 도면들은 반드시 일정한 축척으로 그려진 것은 아니고 대신에 개시된 실시예들을 예시하는 데에 중점을 둔다.
도 1은 우측 고관절에의 예시적인 관내인공삽입 고관절 임플랜트 및 자연적인 좌측 고관절을 묘사하는 환자의 전면에 대한 단순화된 X선 뷰이다.
도 2는 최소 침습 고관절치환술에서의 외과의사의 전형적인 시야를 예시한다.
도 3은 확공된 관골구에 배치된 예시적인 관골구 구성부의 사시도이다; 도 3은 외전각 및 전경각의 원리를 묘사한다.
도 4는 오정렬된 관골구 컵 및 잘못된 크기(mis-sized)의 대퇴골 스템을 묘사한다.
도 5는 예시적인 방법의 단계들을 예시하는 흐름도이다.
도 6은 추가의 예시적인 방법의 단계들을 예시하는 흐름도이다.
도 7은 대상 정형외과적 요소의 특징들(예를 들어, 해부적 랜드마크들)을 식별하여 상기 대상 정형외과적 요소의 3D 모델을 생성하기 위해 심층학습 네트워크를 사용하는 시스템을 개략적으로 묘사한 도면이다.
도 8은 캘리브레이션된 영상 검출기들(calibrated image detectors)로부터의 서로 다른 기준 프레임들로부터 취득된 2개의 2D 영상들로부터 3D 공간에서의 점의 위치를 확인하기 위해 에피폴라 기하학(epipolar geometry)의 원리들이 어떻게 사용될 수 있는지를 전달하기 위해 사용되는 핀홀 카메라 모델(pinhole camera model)을 개략적으로 묘사한 도면이다.
도 9a는 예시적인 캘리브레이션 지그(calibration jig)를 보여주는 전방-후방(anterior-posterior)(A-P) 위치로부터 취득된 대상 정형외과적 요소들의 영상이다.
도 9b는 캘리브레이션 지그로 도 9a의 기준 프레임으로부터 시계방향으로 약 45도만큼 돌려서 취득된 도 9a의 대상 정형외과적 요소들의 영상이다.
도 9c는 캘리브레이션 지그로 도 9a의 기준 프레임으로부터 반시계방향으로 약 45도만큼 돌려서 취득된 도 9a의 대상 정형외과적 요소들의 영상이다.
도 10은 대상 정형외과적 요소의 표면을 포함하는 특징들(예를 들어, 해부적 랜드마크들)을 식별하기 위해 합성곱 신경망(CNN: convolutional neural network) 유형의 심층학습 네트워크가 어떻게 사용될 수 있는지를 묘사하는 개략적인 표현이다.
도 11은 모델링된 관내인공삽입 임플랜트(modeled endoprosthetic implant)의 분해도이다.
도 12는 예시적인 시스템의 개략적인 표현이다.
도 13은 정형외과적 요소의 모델을 생성하고 옵셋 각도에서 캘리브레이션된 검출기들로부터 동일한 대상(subject) 정형외과적 요소를 대상으로 취득한, 두개 이상의 조직을 침투하는 평탄화된 입력 영상들(tissue penetrating, flattened, input images)을 이용하여 관내인공삽입 임플랜트 구성부들의 구성부들을 정렬하기 위해 구성된 시스템의 개략적인 표현이다.
바람직한 실시예의 하기 상세한 설명은 예시적이고 설명적인 목적으로만 제시되며, 총망라하거나 본 발명의 범주 및 사상을 제한하도록 의도되지 않는다. 실시예는 발명의 원리 및 그것의 실제 응용을 가장 잘 설명하기 위해 선택되고 기술되었다. 당업자는 발명의 범주 및 사상을 벗어남이 없이 본 명세서에 개시된 본 발명에 대해 많은 변형이 이루어질 수 있음을 인식할 것이다.
유사한 도면 부호는 달리 언급되지 않는 한 몇몇 도면 전체에 걸쳐 상응하는 부분을 나타낸다. 도면이 본 개시 내용에 따른 다양한 특징 및 구성요소의 실시예를 나타내지만, 도면은 반드시 축척대로 도시된 것은 아니며 소정 특징은 본 개시내용의 실시예를 더 잘 예시하기 위해 과장될 수 있고, 그러한 예시는 본 개시 내용의 범주를 제한하는 것으로 해석되지 않아야 한다.
본 명세서에서 달리 명확히 언급된 바를 제외하고, 하기의 해석 규칙이 본 명세서에 적용된다: (a) 본 명세서에서 사용된 모든 단어는 그러한 상황이 요구하는 그러한 성별 또는 수(단수 또는 복수)의 것으로 해석되어야 하고; (b) 명세서 및 첨부된 청구범위에 사용된 바와 같은 단수형 용어("a", "an", "the")는 문맥이 달리 명백하게 지시하지 않는 한 복수형 언급을 포함하며; (c) 인용된 범위 또는 값에 적용되는 선행 용어 "약"은 측정치로부터 당업계에서 알려지거나 예상되는 범위 또는 값 내의 편차를 갖는 근사치를 나타내고; (d) 단어 "여기서", "이로써", "여기에", "이전에" 및 "이후에", 및 유사한 의미의 단어는, 달리 명시되지 않는 한, 임의의 특정 단락, 청구항, 또는 다른 세분된 부분을 지칭하는 것이 아니라 본 명세서를 전체적으로 지칭하며; (e) 설명 표제는 단지 편의를 위한 것이고, 본 명세서의 부분의 구성의 의미를 지배하거나 이에 영향을 주지 않을 것이며; (f) "또는" 및 "임의의"는 배타적이지 않고, "포함하다" 및 "포함하는"은 제한하는 것이 아니다. 또한, 용어 "포함하는", "갖는", "포함되는" 및 "함유하는"은 개방형 용어(즉, "포함하지만 이에 제한되지 않음"을 의미함)로 해석되어야 한다.
"한 실시예", "실시예", "예시적인 실시예" 등의 본 명세서에서의 언급은 기술된 실시예가 특정 특징, 구조, 또는 특성을 포함할 수 있지만, 모든 실시예가 특정 특징, 구조, 또는 특성을 반드시 포함하는 것은 아닐 수 있음을 나타낸다. 더욱이, 그러한 어구는 반드시 동일한 실시예를 지칭하고 있는 것은 아니다. 또한, 특정 특징, 구조, 또는 특성이 실시예와 관련하여 기술될 때, 명백하게 기술되든 아니든, 다른 실시예와 관련하여 그러한 특징, 구조, 또는 특성에 영향을 미치는 것이 당업자의 지식 내에 있음이 제기된다.
설명적 지원을 제공하는 데 필요한 정도로, 첨부된 청구범위의 요지 및/또는 텍스트가 전체적으로 본 명세서에 참고로 포함된다.
본 명세서에서 값의 범위의 상술은, 본 명세서에서 달리 명확하게 지시되지 않는 한, 그 사이의 임의의 하위 범위의 범위 내에 속하는 각각의 개별 값을 개별적으로 지칭하는 속기 방법으로서 역할하도록 의도될 뿐이다. 상술된 범위 내의 각각의 개별 값은, 마치 각각의 개별 값이 본 명세서에 개별적으로 상술된 것처럼, 명세서 또는 청구범위에 포함된다. 값의 특정 범위가 제공되는 경우, 그 범위의 상한과 하한 사이에서 하한의 단위의 1/10 이하까지의 각각의 중간 값 및 그의 하위 범위의 그러한 언급된 범위 내의 임의의 다른 언급된 값 또는 중간 값이, 문맥이 달리 명백하게 지시하지 않는 한, 본 명세서에 포함되는 것이 이해된다. 모든 하위 범위가 또한 포함된다. 언급된 범위 내의 임의의 구체적이고 명백하게 제외된 한계를 조건으로, 이러한 더 작은 범위의 상한과 하한이 또한 그 안에 포함된다.
여기에 사용되는 용어들의 몇몇은 상대적인 용어들이라는 점에 주목해야 한다. 예를 들어, "상위(위의)" 및 "하위(아래의)"라는 용어들은 위치에 있어 서로에 상대적이고, 즉 상위의 구성부가 각각의 배향에 있어서 하위의 구성부 보다 더 높은 높이에 위치해 있으나, 배향이 뒤집히면(flipped) 이러한 용어들이 바뀔 수 있다.
용어 "수평" 및 "수직"은 절대 기준, 즉 지면 평면에 대한 방향을 나타내기 위해 사용된다. 그러나, 이들 용어는 구조물이 서로에 대해 절대적으로 평행하거나 절대적으로 수직일 것을 요구하는 것으로 해석되어서는 안 된다. 예를 들어, 제1 수직 구조물 및 제2 수직 구조물은 반드시 서로 평행한 것은 아니다. "상부" 및 "하부" 또는 "기저부"는 위치들 또는 표면들을 지시하기 위해 사용되는데, 상부는 절대적 기준, 즉 지구의 표면에 대해 상대적으로 하부 또는 기저부 보다 항상 더 높다. "위로" 및 "아래로"라는 용어들은 또한 절대적 기준에 상대적이다; 위로의 흐름은 지구 중력에 항상 거스른다.
정형외과적 절차들은 환자의 관절(joint)에 대해 수술을 하는 것을 자주 수반한다. 관절이 전향적으로 복수의 정형외과적 요소를 포함한다는 것이 이해될 것이다. 여기에 기술되는 예시적인 방법들 및 시스템들이 다양한 정형외과적 요소들에 적용될 수 있음이 더욱 인식될 것이다. 도 1 내지 도 4, 도 9a 내지 도 9c 및 도 11을 참조하여 기술되는 예들은 예시적 목적의 고관절(hip joint)에 관련된 것이다. 본 개시에 걸쳐서 참조되는 "정형외과적 요소"(100)가 고관절의 해부적 구조에 제한되는 것이 아니나, 힘줄, 인대, 연골(cartilage) 및 근육과 같은 임의의 골격 구조 또는 연관된 연조직을 포함할 수 있음이 인식될 것이다. 골격의 정형외과적 요소들(skeletal orthopedic elements)(100)의 예의 비제한적인 리스트는, 대퇴골(femur), 경골(tibia), 골반(pelvis), 척추(vertebra), 상박골(humerus), 척골(ulna), 요골(radius), 어깨뼈(scapula), 두개골(skull), 비골(fibula), 쇄골(clavicle), 하악골(mandible), 늑골(rib), 완골(carpal), 장골(metacarpal), 족근골(tarsal), 척골(metatarsal), 지골(phalange) 또는 임의의 연관된 힘줄(tendon), 인대(ligament), 피부(skin), 연골(cartilage) 또는 근육(muscle)을 포함하나 이에 제한되지 않는, 신체로부터의 임의의 부분적인 또는 완전한 뼈를 포함한다. 예시적인 수술 부위(170)가 여러 대상 정형외과적 요소들(100)을 포함할 수 있음이 인식될 것이다. 마찬가지로, 수술 부위(170)가 여기에서 주요한 예로서 사용되는 고관절 수술 부위에 제한되는 것이 아니며 외과 수술의 타겟인 신체의 임의의 영역에 관한 것일 수 있음이 인식될 것이다. 이는, 비제한적인 예로서, 무릎 관절(knee), 발목뼈(ankle), 척추(spine), 어깨 관절(shoulder), 손목 관절(wrist), 손(hand), 발(foot), 하악골(mandible), 두개골(skull), 늑골(rib) 및 지골들(phalanges)을 포함할 수 있다.
도 1은 예시적인 환자의 골반(110)의 전면의 X선 영상의 단순화된 표현이다. 환자의 우측 고관절(101a) 및 좌측 고관절(101b)이 도시되어 있다. 예시적인 고관절들(101a, 101b)은, 대퇴골(105), 골반(110)의 관골구(108 및 111 참조) 및 연결 조직들을 포함하는 여러 정형외과적 요소들(100)을 포함한다. 묘사된 우측 고관절(101a)(즉, 페이지의 좌측에 묘사된 환자의 우측에 있는 고관절)은, 환자에게 외과적으로 설치된 예시적인 관내인공삽입 고관절 임플랜트(102)를 보여준다. 비교를 위해, 묘사된 좌측 고관절(101b)이 예시적인 자연적인 고관절을 보여준다.
묘사된 우측 고관절(101a)을 참조하면, 예시적인 관내인공삽입 고관절 임플랜트(102)는 관골구 구성부(103) 및 대퇴골 구성부(104)를 일반적으로 포함한다. 관내인공삽입 임플랜트들은 일반적으로 복수의 구성부(예를 들어, 관골구 구성부(103) 및 대퇴골 구성부(104))를 포함할 수 있고 이러한 구성부들은 다시 복수의 서브 구성부로 구성될 수 있음이 인식될 것이다. 묘사된 예에서, 관골구 구성부(103)는 전형적으로, 대체로 반구형의 관골구 쉘(106) 및 내부 라이너(107)를 포함한다. 관골구 쉘(106)은 전형적으로 코발트 크롬, 티타늄 또는 다른 생체에 적합한(biocompatible) 금속으로 만들어진다. 내부 라이너(107)는 전형적으로, 세라믹, 금속, 폴리머 또는 낮은 마찰 계수 및 낮은 마모율을 가지는 다른 생체에 적합한 물질로 만들어진다.
관골구 쉘(106)의 설치를 위해 모 관골구(native acetabulum)(108 참조)를 준비하기 위해, 외과의사는, '확공된 관골구'(111)를 정의하기 위해 환자의 모 관골구(108)에 대체로 오목한 표면을 생성하기 위해 먼저 반구형 리머(reamer)를 사용한다. 확공된 관골구(111)는 관골구 쉘(106)의 볼록한 외부 표면(109)에 대체로 상보적이다. 관골구 쉘(106)의 외부 표면(109)은 확공된 관골구(111)로의 체결을 용이하게 하기 위해 보통 거칠게 만들어진다. 거칠어진 표면은 거칠어진 표면의 공간으로의 골형성(osteogenesis)을 조장하여, 시간이 지남에 따라 결합의 강도를 증가시키게 된다.
내부 라이너(107)는 전형적으로, 내부 라이너(107)가 그 조립된 그리고 설치된 구조로 되어 있을 때 관골구 쉘(106)의 내부 오목 표면(112)에 인접하게 놓여있다. 내부 라이너(107)는 일반적으로 베어링으로서 기능하는데, 이 베어링을 등지고 대퇴골 구성부(104)의 대퇴골두(femoral head)(113)가, 일단 설치되면, 관절로 이어진다(articulates).
대퇴골 구성부(104)는 전형적으로, 근위(proximal) 스템 단부(115b)로부터 떨어져 배치된 원위(distal) 스템 단부(115a)를 가지는 대퇴골 스템(115), 근위 스템 단부(115b)와 체결되는 원위 넥 단부(116a)를 가지는 넥(116)을 포함한다. 넥(116)은 헤드 단부(116b)로 연장된다. 대체로 구 모양의 인공 대퇴골두(113)는 조립된 구조로 넥(116)의 헤드 단부(116b)에 배치된다. 특정의 예시적인 실시예들에서, 넥(116)은 근위 스템 단부(115b)로부터 선택적으로 착탈가능할 수 있다. 그러한 선택적으로 착탈가능한 넥9116)은 '모듈러 넥들'이라고 알려질 수 있다.
관골구 구성부(103) 및 대퇴골 구성부(104) 및 관골구 구성부(103) 및 대퇴골 구성부(104)를 포함하는 서브 구성부들(subcomponents)(예를 들어, 관골구 쉘(106), 내부 라이너(107), 고정용 패스너들(fixation fasteners), 대퇴골 스템(115), 인공 대퇴골두(113) 등)은 설치되지 않은 그리고 조립되지 않은 구조로 하나 이상의 수술 키트들로 전형적으로 제공된다. 설치되지 않은 그리고 조립되지 않은 구조로, 구성부 또는 서브 구성부는 다른 구성부 또는 서브 구성부와 물리적으로 체결되지 않는다. 달리 말하면, 설치되지 않은 그리고 조립되지 않은 구조에서는 하나의 구성부 또는 서브 구성부에서 다른 구성부 또는 서브 구성부로 힘이 직접 전달되지 않는다. 조립된 구조에서는, 구성부들 또는 서브 구성부들은 물리적으로 서로 접촉하고 두개 이상의 근위로 배치된 구성부들 또는 서브 구성부들을 통해 힘이 전달될 수 있다. 조립되고 설치된 구조에서는, 구성부들 또는 서브 구성부들은 조립된 구조로 있고 또한 환자에게 외과적으로 임플랜트된다.
비교 목적으로, 묘사된 좌측 고관절(101b)은 대퇴골(105)의 근위 단부에서의 모 대퇴골두(126)를 보여준다. 모 대퇴골두(126)는 골반(110)의 모 관골구(108) 내에 배치된다. 관절 연골(Articular cartilage)(123)은 건강한 대퇴골두(126) 및 건강한 관골구(108) 모두의 관절면(articular surface)을 덮는다.
전형적인 고관절치환술에 대한 많은 외과적 접근책들이 있으나. 대부분의 최소 침습 절차들은 외과의사가 고관절 캡슐에 방사상으로 인접한 수술 대상의 다리에서 6 내지 8 센티미터(cm)의 절개를 하는 것으로 시작한다. 그 다음, 관절 캡슐을 궁극적으로 노출시키기 위해 다양한 근육들 및 힘줄들이 수술 도구들로 수축된다. 그 다음, 캡슐이 관통되고, 외과의사는 모 대퇴골두(126)를 모 관골구(108)로부터 탈구시킨다.
대퇴골 준비(femoral preparation)는 모 대퇴골두(126)를 대퇴골(105)로부터 절제하고 제거하는 것을 수반한다. 모 대퇴골두(126)가 제거된 후에, 외과의사는 대퇴골(105)의 새롭게 노출된 근위 단부(105b)의 골수(intramedullary) 공간으로 관을 뚫을 수 있다. 그 다음, 외과의사는 대퇴골 스템(115)을 수용하기 위해 필요한 골수내 관(intramedullary canal)에서 공간을 확장하기 위해 대퇴골 브로치(femoral broach)를 사용할 수 있다. 대퇴골 구성부(1040의 크기 조절과 위치 설정을 시험하기 위해 시험용 스템들이 사용될 수 있다. 시험용 구성부들은 일반적으로, 실제의 임플랜트 구성부들과 동일한 치수를 가지나, 시험용 구성부들은 더욱 쉽게 설치되고 제거될 수 있도록 설계된다.
관골구 준비(acetabular preparation)는 확공된 관골구(111)를 정의하기 위해 모 관골구(108)를 확공하는 것(reaming)을 수반한다. 목표는, 관골구 쉘(106)의 대체로 반구형인 외부 표면(109)에 상보적인 대체로 일정한 반구형의 공간을 생성하는 것이다. 대퇴골 구성부(104)에 대한 관골구 구성부(103)의 배열을 시험하기 위해 시험용 관골구 구성부들이 사용될 수 있으나, 가시성이 제한되고 절차의 특성상 전형적으로 배열의 철저한 시험이 허락되지 않는다. 더욱이, 가시성이 제한되기 때문에, 실제의 임플랜트 구성부들(103, 104)이 시험용 구성부들과 정확히 동일한 방식으로 배향되지 않을 가능성이 있다.
전형적인 고관절 전치환술(total hip arthroplasty)에 대한 다양한 외과적 접근책들이 있음이 인식될 것이다(예를 들어, 몇몇 외과의사들은 뒤쪽으로(posteriorly) 고관절에 접근하기를 택하는 한편, 다른 외과의사들은 측방으로 또는 전방으로 고관절에 접근하기를 택한다). 도 2는 주된 절개를 통해 전형적인 고관절치환술의 수술 부위(170)에 대한 외과의사의 전형적인 시야를 도식화하고 예시한다. (몇몇 절차들에서는 호만 견인기(Hohmann retractor) 또는 코브 엘리베이터(Cobb elevator)를 포함할 수 있는) 여러 견인기들(14, 16)이, 초기 절개의 영역 및 고관절 캡슐 간에 배치된 붕대(fascia)(11)를 견인하기(retract) 위해 사용된다. 전기소작 기구(electrocautery instrument)(40)는 조직을 절제하고 소작하고 그리고 과도 출혈을 방지하기 위해 사용될 수 있다. 모 대퇴골두(126)가 참조로 또한 도시된다.
도 2는, 수술 부위(170)의 6 내지 8 cm의 주된 절개, 절개점에 대한 고관절(101a, 101b)의 위치 및 전형적인 수술 도구(예를 들어, 견인기(14, 16), 맬리트(mallets), 브로치들(broaches), 리머, 핀들, 임플랜트 구성부들 등)의 존재가 외과의사의 이미 제한된 시야와 어떻게 심각하게 간섭할 수 있는지를 예시한다. 타겟의 임플랜테이션 해부적 구조(예를 들어, 이 고관절 예에서 확공된 관골구(111) 또는 절제된 근위 대퇴골(105))의 배향으로부터 분리된 외부의 표지에 대해 관내인공삽입 고관절 임플랜트(102)의 관골구 구성부(103) 및 대퇴골 구성부(104)를 정렬하려고 시도함으로써 악화될 수 잇는 이 문제는, 이들이 임플랜트되는 뼈들에 대한 그리고 서로에 대한 임플랜트 구성부들(103, 104)의 부정확한 배열을 야기할 수 있다. 이는, 다시, 임플랜트 탈구의 위험, 최적이 아닌 힘 분배, 빠른 마모, 임플랜트 실패, 변형된 걸음걸이, 일반적인 환자의 불편함 및 동일한 한계들을 겪을 수 있는 추가의 수정 수술들에 대한 필요성에 기여할 수 있다.
도 3은 확공된 관골구(111)에 배치된 예시적인 대퇴골 구성부(103)의 사시도이다. 외전각 및 전경각U가 관골구 구성부(103)를 기준으로 표시되지만, 대퇴골 구성부(104)도 근위 대퇴골(105)에서 외전각 및 전경각U로 배치됨이 인식될 것이다. 관내인공삽입 임플랜트의 구성부가 임플랜트되는, 정형외과적 요소(예를 들어, 골반(110) 및 근위 대퇴골(105))에 대한 관내인공삽입 임플랜트(예를 들어, 관골구 구성부(103) 및 대퇴골 구성부(104))의 구성부의 외전각 및 전경각U가 본 기술분야에 숙련된 자들에 의해 계산될 수 있고 결정될 수 있다.
'관내인공삽입 임플랜트의 구성부'는 관내인공삽입 임플랜트의 유형 및 수술 부위(170)의 유형에 따라 변할 수 있음이 인식될 것이다. 예를 들어, 수술 부위(170)이 고관절인 경우, '관내인공삽입 임플랜트의 구성부'는, 관골구 구성부(103), 대퇴골 구성부(104), 시험 구조물, 설치되는 위치에서 환자에의 관내인공삽입 임플랜트 또는 시험 임플랜트들의 설치에서 또는 그를 용이하게 하기 위해 사용되는 기구 또는 이들의 조합들을 포함하는 군으로부터 선택될 수 있다. 수술 부위(170)가 무릎인 경우, '관내인공삽입 임플랜트의 구성부'는 관내인공삽입 무릎 임플랜트의 대퇴골 구성부, 관내인공삽입 무릎 임플랜트의 경골 구성부, 시험 구조물, 설치되는 위치에서 환자에의 관내인공삽입 임플랜트 또는 시험 임플랜트들의 설치에서 또는 그를 용이하게 하기 위해 사용되는 기구 또는 이들의 조합들일 수 있다.
골반(110)에 대한 관골구(103)의 외전각 의 원리를 더욱 명확히 예시하기 위해, 연조직이 도 3에서 생략되었다. 외전각 는 본 기술 분야에 숙련된 자들에 의해 알려진 여러 방식들에 의해 측정될 수 있다. 대퇴골 구성부(103)의 외전각 를 시각화하는 하나의 그러한 방식은, 직경선 D의 코로날 평면 CP와 동평면에 있는 대체로 수평인 중앙 측방 기준선(medial-lateral reference line) R에 대한, 코로날 평면 CP 상에서의 관골구(106)의 림(rim)의 직경을 통해 연장되는 직경선 D를 그림으로써이다. 도 3에서, 기준선 R은 우측 및 좌측 이스키아(ischia)(117a, 117b)의 최원위(distalmost) 부분들을 연결하는 것으로서 도시되나, 기준선 R이 직경선 D와 수평으로, 중앙 측방으로 그리고 동평면으로 코로날하게 연장된다면 다른 기준 마커들이 사용될 수 있음이 인식될 것이다.
쉘 평면 SP가 관골구 쉘(106)의 림(2)를 통해 동평면으로 연장되는 것으로 또한 도시되어 있다. 3차원 공간에서 관골구 쉘(1060을 정렬하는 것은 적절한 복합분사각(compound angle), 외전각 및 전경각U를 포함하는 복합분사각의 선택을 수반하는 것으로 생각될 수 있다. 쉘 평면 SP는 3차원에서의 관골구 쉘 정렬의 개념을 더욱 명확히 묘사하도록 도시된다. 직경선 D, 코로날 평면 CP, 쉘 평면 SP 및 중간 측방 기준선 R이 외전각 및 관골구 정렬의 개념을 일반적으로 예시하기 위해 묘사된 기하학적 기준 요소들이라는 점이 인식될 것이다. 이러한 기하학적 요소들은 실제로는 가시적일 필요가 없다.
많은 관골구 쉘들(106)은 약 30도 내지 약 50도의 외전각 에서 확공된 관골구(111)에 설치되도록 설계된다. 그러나, 넓은 마진은 기존의 방법들을 사용하여 확공된 관골구(111)에 관골구 쉘(106)을 적절히 정렬시키는 데 있어서의 어려움을 강조한다. 더욱이, 약 30도 내지 약 50도의 외전각 를 가지는 것에 대한 일반적인 안내는 특정 환자들에서의 가변성을 설명하지는 않는다.
도 3은 전경각 U의 개념을 또한 예시한다. 전경각 U는 본 기술 분야에 숙련된 자들에게 알려진 여러 방식으로 계산될 수 있다. 관골구 쉘(1060의 전경각 U를 시각화하는 하나의 그러한 방식은, 전경각 U를 외전각 의 시각화에 사용된 중앙 직경선 D를 중심으로 한 관골구 쉘(106)의 회전으로서 생각하는 것이다. 전형적인 관골구 쉘(106)은 약 10도 내지 약 30도 또는 약 10도 내지 약 20도 또는 약 15도 내지 약 25도의 범위의 전경각 U를 가질 수 있다. 실제로 확공된 관골구(111) 내에서의 관골구 쉘(106)의 정렬은 외전각 및 전경각U 모두를 포함하는 복합분사각이다. 유사하게, 골수내 보어(intramedullary bore)(119) 내에서의 대퇴골 스템(115)의 정렬은 외전각 및 전경각U 모두를 포함하는 복합분사각이다.
대퇴골 스템(115)의 외전각 는 전형적으로 관골구(106)의 전경각 U의 값들 범위와 동일한 값들 범위를 가지는데(즉, 약 10도 내지 약 30도 또는 약 10도 내지 약 20도 또는 약 15도 내지 약 25도의 범위), 이는, 공통의 전경각(또는 전경 평면(anteversion plane))을 따라 관골구 쉘(106)과 정렬되는 대퇴골 스템(115)을 가지는 것이 적절히 정렬된 관내인공삽입 고관절 임플랜트(102)의 정렬 파라미터들 중의 하나이기 때문이다. 대퇴골 스템의 종축이 대퇴골 스템(115)이 배치되는 대퇴골(105)의 해부적 축(anatomical axis)과 공선이도록(colinear) 대퇴골 스템(1150을 근위 대퇴골(1050의 골수내 관에 배치하는 것은, 적절히 정렬된 관내인공삽입 고관절 임플랜트(102)를 함께 정의하기 위해 적절히 정렬된 관골구 구성부(103)에 대한 적절히 정렬된 대퇴골 구성부(104)를 위한 다른 정렬 파라미터이다. 대퇴골 스템(115)를 위한 제3의 정렬 파라미터는 절제 전의 수술 대상의 고관절의 모 대퇴골두(126 참조)에 대한 인공 대퇴골두(113)의 수직 위치이다.
도 4는 (골수내 보어(intramedullary bore)(119)로서도 알려진) 확공된 대퇴골 관(reamed femoral canal)을 위해서는 너무 짧은, 확공된 관골구(111) 및 대퇴골 구성부(104)에 대해 오정렬된 관골구 구성부(103)를 묘사한다. 도시된 바와 같이, 외전각 및 전경각U는 과도하다. 환자가 정상 사용 중에 그의 또는 그녀의 고관절을 움직이는 경우, 넥(116)이 관골구 쉘(106)의 림(2)과 접촉할 것이다. 총괄적으로, 림(2) 및 넥(116)은 인공 대퇴골두(113)를 관골구 구성부(103)로부터 탈구시킬 수 있는 레버를 위한 지주(fulcrum)가 될 수 있다. 추가적으로, 대퇴골 구성부(104)가 관골구 구성부(103)로부터 탈구되지 않는다 할지라도, 내부 라이너(107)에 대한 대퇴골두(113)의 힘 분배는 상대적으로 작은 영역에 과도하게 집중될 수 있어서 임플랜트(102)의 마모를 증가시키고 그 수명을 감소시키게 된다.
도 4는 또한 골수내 보어(119)에 대해 부적절하게 크기 조절되고 정렬된 대퇴골 스템(115)을 묘사한다. ('브로칭'이라고도 알려진) 대퇴골 확공(reaming) 도구가 대퇴골(1050의 내부 피질 벽(cortical wall)(120)의 주변에 있는 다공질(cancellous) 뼈를 제거하기에 충분히 큰 골수내 보어(119)를 생성하지 않을 때 부적절한 크기 조절(improper sizing)이 일어날 수 있다. 시간이 지남에 따라, 대퇴골 스템(1150은 대퇴골 스템(115)의 측면 및 내부 피질 벽(120) 간의 중간 다공질 뼈를 압축할 것이고, 이는 대퇴골 스템이 골수내 보어(119)에서 함몰되고 근위 대퇴골(105)에 대해 오정렬되도록 야기할 것이다. 브로치(broach) 정렬에 있어서의 가변성은 또한, 대퇴부 스템(115)의 종축이 원위의 대퇴골(105)의 해부적 (즉, 중앙의 또는 수직의) 축에 대해 내반각(varus angle)으로 배치되어 있는 내반 경사(varus tilt)라는 결과에 이르게 할 수 있다. 예를 들어, 외과의사는 대퇴골 스템(115)의 원하는 위치 위에서 골수내 관(119)의 측방 피질 벽(120)을 접촉하는 것이 통상적이다. 외과의사는, 환자가 작은 대퇴골 스템(1150 만을 수용할 좁은 골수내 관(119)을 가지고 있다고 생각하면서, 골수내 관(119)의 측방 피질 벽(120)을 접촉할 때 확공을 멈출 수 있다. 실제로, 대퇴골 스템(115)의 종축은 원위 대퇴골(105)의 해부적 축에 대해 내반각으로 배치된다. 이러한 함몰 및 오정렬은 환자의 다리들 중 하나의 길이를 다른 다리에 비해 궁극적으로 변화시킬 수 있고, 이는 다시 환자의 걸음걸이를 변화시킨다. 절뚝거리는 걸음걸이는 환자의 신체를 통한 힘 분배를 변화시키고, 이는 관내인공삽입 고관절 임플랜트(102)의 마모뿐만 아니라 나머지 자연 고관절(101b)의 건강한 연골(123)의 마모를 더욱 가속화시킬 수 있다.
원위 대퇴골(105)에 대한 대퇴골 구성부(104)의 함몰 및 오정렬은 전통적인 2D 방사선사진들로 성취하고 검사하기가 특히 어려울 수 있다. 이는, 대퇴골 구성부(104)가 6 내지 8인치의 주된 절개를 통해 근위 대퇴골(105)로 삽입되기 때문이다. 삽입에 대한 외과의사의 시야는 본 절차의 최소 침습적 성격으로 인해 제한되고, 대퇴골 구성부는 일단 골수내 보어(119)로 들어가면 도움을 받지 않은 눈에 더 이상에 보이지 않는다. (투시조영 영상들과 같은) 전통적인 2D 수술장 방사선사진들은 3차원을 보여주지 않고 따라서 3D 공간에서의 수술 부위(170)의 정확한 실세계 묘사를 제공할 수 없다.
환자의 편안함과 임플랜트 수명은 인공 고관절 임플랜트(102)의 배치와 크기조절(sizing)에 부분적으로 의존한다고 생각된다. 일반적으로, 적절히 크기조절된 임플랜트의 배치가 질병 전단계의 고관절의 자연적인 키너매틱스(kinematics)를 더욱 근접하게 복제할수록, 임플랜트가 더욱 오래 지속될 것으로 예상될 수 있고 환자가 더욱 편안함을 경험할 것으로 예상될 수 있다.
최근에는, 수술 부위의 3D 모델들을 생성하기 위해 X선 방사선사진들과 같은 2D 영상들을 사용하는 것이 가능해졌다. 이러한 모델들은 실제 수술의 날짜에 더욱 가깝게 수술들을 계획하기 위해 수술전에(preoperatively) 사용될 수 있다. 이러한 모델들은 또한 수술장에서(예를 들어, 디스플레이 상에 투시될 때 또는 외과의사의 시야를 가로질러) 사용될 수 있다.
그러나, X선 방사선사진들은, 영상의 해상도 및 정확도에 대한 우려 때문에 이전에는 3D 모델들에 대한 입력들로서 전형적으로 사용되지 않아왔다. X선 방사선사진들은 3D 공간의 2D 표현들이다. 그러하기에, 2D X선 방사선사진은 영상의 대상(subject)을 3차원들에 존재하는 실제의 객체에 비해 필연적으로 왜곡시킨다. 더욱이, X선이 X선 소스(21)(전형적으로, X선 머신의 애노드. 도 12 참조)에서 (비제한적인 예로서, X선 영상 증배관들, 인(phosphorus) 물질들, 평판 패널 검출기들("FPD")(간접 변환 FPD들 및 직접 변환 FPD들을 포함함) 또는 임의의 개수의 디지털 또는 애널로그 X선 센서들 또는 X선 필름을 포함할 수 있는) X선 검출기(33)(도 12 참조)로 전파됨에 따라, X선이 통과하는 객체는 X선의 경로를 편향시킬 수 있다. X선 머신(도 12의 1800 참조) 자체의 하자 또는 그 캘리브레이션 상의 하자는 X선 사진측량 및 3D 모델 재구성의 유용성을 해칠 수 있다. 추가적으로, 방출된 X선 광자들은 서로 다른 에너지들을 가진다. X선들이 X선 소스(21) 및 검출기(33) 간에 놓여진 물질과 상호작용하기 때문에, 컴프톤 및 레이라이 분산, 광전기 효과, 환경에서의 외인성 변수들 또는 X선 발생 유니트에서의 내인성 변수들, X선 검출기 및/또는 처리 유니트들 또는 디스플레이들 때문에 부분적으로 노이즈 및 아티팩트들이 생성될 수 있다.
더욱이, 단일의 2D 영상에서는, 실제 대상의 3D 데이터가 상실된다. 그러하기에, 컴퓨테이셔널 머신(1600)(예를 들어, 컴퓨터)은 실제의 3D 객체의 3D 모델을 재구성하기 위해 단일의 2D 영상으로부터 사용할 수 있다. 이 때문에, CT 스캔들, MRI들 및 3차원 데이터를 유지하는 다른 이미징 기술들이 하나 이상의 대상 정형외과적 요소들의 모델들을 재구성하기 위한 (즉, 일반적으로 더욱 정확하고 더 높은 해상도를 갖는 모델들을 낳는 실제의 3D 데이터로부터 3D 모델을 재구성하기 위해) 선호되는 입력들이다. 그러나, 이하에서 논의되는 본 개시의 특정의 예시적인 실시예들은, X선 입력 영상들로부터 생성된 재구성된 3D 모델들의 정확도를 개선하기 위해 심층학습 네트워크들을 사용함으로써 이러한 이슈들을 극복한다.
2D 수술전 또는 수술장 영상들로부터 3D 모델을 생성하기 위한 다양한 방법들이 있다. 예로서, 하나의 그러한 방법은, 방사선사진 이미징 시스템으로 환자의 수술 부위(170)의 2D 방사선사진 영상들의 세트를 수신하고, 방사선사진 이미징 시스템의 좌표 시스템으로 에피폴라 기하학 원리들을 이용하여 제1 3D 모델을 계산하고 제각기의 2D 영상들로부터 투영 기하 데이터를 계산하는 것(도 8, 도 9a, 도 9b 및 도 9c 참조). 그러한 예시적인 방법은, 2D 방사선사진 영상들 상에 제1 3D 모델을 투영하고 영상 대 영상 정렬 기법으로 제1 3D 모델 상에 제1 및 제2 방사선사진 영상들(30, 50)을 정렬시킴으로써 초기의 3D 모델을 조정하는 것을 더 포함할 수 있다. 일단 영상 대 영상 정렬 기법이 적용되면, 개정된 3D 모델이 생성될 수 있다. 이러한 절차는 원하는 명료성이 성취될 때까지 반복될 수 있다.
다른 예로서, (합성곱 신경망("CNN")과 같은 '심층학습 네트워크'("DNN"), 재순환 신경망("RNN"), 모듈러 신경망 또는 시퀀스 대 시퀀스 모델로 알려진) 심층학습 네트워크가, 환자의 수술 부위(170)의 적어도 두개의 2D 영상들의 세트로부터 대상 정형외과적 요소(즉, 모델링된 정형외과적 요소(100b))의 3D 모델을 생성하기 위해 사용될 수 있다. 2D 입력 영상들(30, 50 등)은, 바람직하게 방사선사진 영상들(예를 들어, X선 또는 투시조영 영상들)과 같은 조직 침투 영상들이다. 그러한 방법에서, 심층학습 네트워크는 제각각의 2D 영상들로부터 투영 기하 데이터(즉, 공간 데이터(43) 또는 볼륨 데이터(75))로부터 모델을 생성할 수 있다. 심층학습 네트워크는 수술 부위(170)에서의 서로 다른 대상 정형외과적 요소들(100)(예를 들어, 뼈들, 연조직들 등)의 매스크를 생성할 수 있고 하나 이상의 이미징된 정형외과적 요소들(100)의 볼륨(도 7의 61 참조)을 계산할 수 있는 장점을 가질 수 있다. 예시적인 실시예들에서, 식별된 정형외과적 요소(100)의 또는 관내인공삽입 임플랜트 어셈블리(102)의 구성부의 치수들은, 3D 공간에서의 식별된 정형외과적 요소(100) 또는 관내인공삽입 임플랜트 어셈블리의 구성부의 위치를 확인하기 위해 입력 영상들(30, 50)(도 8)로부터 유도되는 공간 데이터(43)(도 8)로 맵핑될 수 있다. 이러한 방식으로, 식별된 정형외과적 요소(100)의 그리고 관내인공삽입 임플랜트의 구성부(예를 들어, 관골구 구성부(104) 또는 대퇴골 구성부(103))의 위치들이 서로에 대해서 확인될 수 있다. 이 정보가 외과의사에게 표시되고 외과의사가 임플랜트 구성부를 식별된 정형외과적 요소에 대해 재위치시키는 것에 기초하여 실시간으로 또는 거의 실시간으로 갱신된다면, 외과의사는 주된 절개에 의해 제공되는 제한된 시야를 바이패스하면서 3차원으로 임플랜트 구성부를 식별된 정형외과적 요소에 대해 정확히 정렬시키기 위해 본 개시에 따라 예시적인 실시예들을 사용할 수 있다.
일단 시스템이 이하에서 논의되는 바와 같이 캘리브레이션되면, 새로운 조직 침투 영상들(즉, 시스템을 캘리브레이션하기 위해 필요한 입력 영상들의 개수 보다 적은)이 수술 부위의 재구성된 모델을 갱신하기 위해 (예를 들어, 관내인공삽입 임플랜트의 다른 구성부에 관련된 또는 식별된 정형외과적 요소에 대한 관내인공삽입 임플랜트의 식별된 구성부의 위치를 새롭게 하기 위해) 수술장에서 취득될 수 있다. 다른 예시적인 실시예들에서, 시스템을 캘리브레이션하기 위해 선택된 입력 영상들의 개수와 동일한 개수의 새로운 조직 침투 영상들이, 관내인공삽입 임플랜트의 다른 요소에 대한 또는 시스템에서의 식별된 정형외과적 요소에 대한, 관내인공삽입 임플랜트의 구성부의 위치를 새롭게 하기 위해 사용될 수 있다.
도 5는 정형외과적 요소의 공간에서의 위치를 확인하기 위한 예시적인 방법의 단계들의 개요를 제공하는 흐름도이다. 본 방법은, 단계(1a): 공간 데이터(43)를 정의하기 위해 영상 포인트들(예를 들어, 도 8의 , ) 및 대응하는 공간 좌표들(예를 들어, 도 8의 x 및 y 좌표들) 간의 맵핑 관계를 정의하기 위해 방사선사진 이미징 머신(1800)과 같은 조직 침투 머신을 캘리브레이션하는 단계, 단계(2a): 방사선사진 이미징 기법을 이용하여 정형외과적 요소(100)의 제1 영상(30)(도 8)을 캡쳐하는 단계 - 제1 영상(30)은 제1 기준 프레임(30a)을 정의함 -, 단계(3a): 방사선사진 이미징 기법을 이용하여 정형외과적 요소(100)의 제2 영상(50)(도 8)을 캡쳐하는 단계 - 제2 영상(50)은 제2 기준 프레임(50a)을 정의하고, 제1 기준 프레임(30a)은 제2 기준 프레임(50a)으로부터 옵셋 각도 에서 옵셋되어 있음 -, 단계(4a): 공간 데이터(43)를 이용하여 정형외과적 요소를 검출하기 위해 심층학습 네트워크를 이용하는 단계 - 상기 공간 데이터(43)는 정형외과적 요소(100) 상에서 또는 그에서 해부적 랜드마크들을 정의하고, 상기 검출된 정형외과적 요소는 식별된 정형외과적 요소(100a)를 정의함 -, 단계(5a): 해부적 랜드마크에 의해 정의된 식별된 정형외과적 요소(100a)에 마스크를 적용하기 위해 심층학습 네트워크를 이용하는 단계, 단계(6a): 볼륨 데이터(75)를 정의하기 위해 식별된 정형외과적 요소(100a)의 제1 영상(30)으로부터 공간 데이터(43)를 투영시키고 식별된 정형외과적 요소(100a)의 제2 영상(50)으로부터 공간 데이터(43)을 투영시키는 단계(도 7) - 제1 영상(30) 또는 제2 영상(50)의 마스킹된 영역(masked area) 내에 배치된 영상 포인트들(예를 들어, , )을 포함하는 공간 데이터(43)는 제1 값을 가지고, 제1 영상(30) 또는 제2 영상(50)의 마스킹된 영역(masked area) 외부에 배치된 영상 포인트들(예를 들어, , )을 포함하는 공간 데이터(43)는 제2 값을 가지고, 상기 제1 값은 상기 제2 값과 다름 -, 단계(7a): 정형외과적 요소의 재구성된 3D 모델을 생성하기 위해, 모델링된 정형외과적 요소(100b)를 정의하기 위해 볼륨 데이터(75)에 심층학습 네트워크를 적용하는 단계, 단계(8a): 3D 모델링된 정형외과적 요소(100b)를 공간 데이터(43)로 맵핑시키는 단계를 포함한다. 다른 예시적인 실시예들에서, 단계(4a)는 심층학습 네트워크를 이용하여 정형외과적 요소(100) 상에서 또는 그에서 해부적 랜드마크들을 정의하는 공간 데이터(43)를 검출하는 단계를 포함할 수 있다.
도 6은 정형외과적 요소의 공간에서의 위치를 확인하기 위한 다른 예시적인 방법의 단계들의 개요를 제공하는 흐름도이다. 본 방법은, 단계(1b): 공간 데이터(43)를 정의하기 위해 영상 포인트들(예를 들어, 도 8의 , ) 및 대응하는 공간 좌표들(예를 들어, x 및 y 좌표들) 간의 맵핑 관계를 정의하기 위해 방사선사진 이미징 머신과 같은 조직 침투 머신을 캘리브레이션하는 단계, 단계(2b): 방사선사진 이미징 기법을 이용하여 정형외과적 요소(100)의 제1 영상(30)을 캡쳐하는 단계 - 제1 영상(30)은 제1 기준 프레임(30a)을 정의함 -, 단계(3b): 방사선사진 이미징 기법을 이용하여 정형외과적 요소(100)의 제2 영상(50)을 캡쳐하는 단계 - 제2 영상(50)은 제2 기준 프레임(50a)을 정의하고, 제1 기준 프레임(30a)은 제2 기준 프레임(50a)으로부터 옵셋 각도 에서 옵셋되어 있음 -, 단계(4b): 식별된 정형외과적 요소(100a)를 정의하기 위해 공간 데이터(43)를 이용하여 정형외과적 요소(100)를 검출하기 위해 심층학습 네트워크를 이용하는 단계 - 상기 공간 데이터(43)는 정형외과적 요소(100) 상에서 또는 그에서 해부적 랜드마크들을 정의함 -, 단계(5b): 해부적 랜드마크에 의해 정의된 식별된 정형외과적 요소(100a)에 마스크를 적용하기 위해 심층학습 네트워크를 이용하는 단계, 단계(6b): 볼륨 데이터(75)를 정의하기 위해 식별된 정형외과적 요소(100a)의 제1 영상(30)으로부터 공간 데이터(43)를 투영시키고 식별된 정형외과적 요소(100a)의 제2 영상(50)으로부터 공간 데이터(43)을 투영시키는 단계 - 제1 영상(30) 또는 제2 영상(50)의 마스킹된 영역(masked area) 내에 배치된 영상 포인트들(예를 들어, , )을 포함하는 공간 데이터(43)는 제1 값을 가지고, 제1 영상(30) 또는 제2 영상(50)의 마스킹된 영역(masked area) 외부에 배치된 영상 포인트들(예를 들어, , )을 포함하는 공간 데이터(43)는 제2 값을 가지고, 상기 제1 값은 상기 제2 값과 다름 -, 단계(7b): 정형외과적 요소의 재구성된 3D 모델을 생성하기 위해, 모델링된 정형외과적 요소(100b)를 정의하기 위해 볼륨 데이터(75)에 심층학습 네트워크를 적용하는 단계, 단계(8b): 모델링된 정형외과적 요소(100b)를 공간 데이터(43)로 맵핑시키는 단계 - 상기 정형외과적 요소는 골반(110)의 확공된 관골구(111)임 - 를 포함한다. 다른 예시적인 실시예들에서, 단계(4b)는 심층학습 네트워크를 이용하여 식별된 정형외과적 요소(100a) 상에서 또는 그에서 해부적 랜드마크들을 정의하는 공간 데이터(43)를 검출하는 단계를 포함할 수 있다.
특정의 예시적인 실시예들에서 심층학습 네트워크는 이산적인 태스크들(예를 들어, 식별된 정형외과적 요소(100a)를 정의하기 위해 정형외과적 요소(100)를 식별하는 것, 식별된 정형외과적 요소(100a)에 마스크를 적용하는 것, 모델링된 정형외과적 요소(100b)를 정의하기 위해 식별된 정형외과적 요소(100a)를 모델링하는 것 등)을 수행하기 위해 별도로 학습된 동일한 심층학습 네트워크일 수 있음이 인식될 것이다. 다른 예시적인 실시예들에서, 상기 이산적 태스크들의 하나 이상을 수행하기 위해 다른 심층학습 네트워크가 사용될 수 있다.
본 개시에 따른 예시적인 방법들 및 시스템들이 고관절 전치환술(total hip arthroplasty)("THA")과 관련하여 사용될 수 있음으로 생각된다. 그러한 예시적인 실시예들에서, 정형외과적 요소(100)는 대퇴골(105), 대퇴골두(126), 골반(110), 골반의 관골구 캐비티(예를 들어, 모 관골구(108) 또는 확공된 관골구(111)) 및 수술 부위(170)에 또는 그 가까이에 존재하는 다른 보니 해부적 랜드마크(boney anatomical landmark)일 수 있다. 그러나, 본 개시에 있어서의 어떤 것도 본 예시적인 시스템들 및 방법들의 적용을 THA 절차에서의 사용으로 제한하지 않음이 인식될 것이다. 일반적으로 조직의 상당한 양의 존재가 정형외과적 요소(100)의 또는 수술 부위(170)의 시야를 가리는 임의의 외과적 절차에서 본 예시적인 시스템들 및 방법들이 유용할 수 있음으로 생각된다. 어깨, 무릎 또는 척추를 수반하는 수수들이 주요한 예들일 수 있다. 소아 심흉부과적(pediatric cardiothoracic) 절차들이 다른 예일 수 있다. 외과의사의 시야가 어깨, 고관절 및 척추 절차들에서 보다 주위의 조직에 의해 일반적으로 덜 가려지기는 하지만 본 개시에 따른 시스템들 및 방법들은 손목 및 발목 절차들에서도 더욱 유용할 수 있다.
위의 예들은 예시의 목적으로 제공되고 본 개시의 범위를 제한하도록 의도된 것이 결코 아니다. 적어도 두개의 횡방향 위치들(transverse positions)로부터 취득된 동일한 대상의 2D 방사선사진 영상들로부터 3D 모델을 생성하는 모든 방법들이 본 개시의 범위 내에 있는 것으로 고려된다.
도 7 및 도 8은 제1 입력 영상(30) 및 제2 입력 영상(50)이 볼륨 데이터(75)(도 7)를 포함하는 볼륨(61)을 생성하기 위해 어떻게 결합될 수 있는지를 예시한다. 도 7에서, 이미징된 수술 부위(170)는 무릎 관절이다. 도 7은 심층학습 네트워크가 어떻게 옵셋 각도 만큼 서로 옵셋되어 있는 두개의 캘리브레이션된 입력 영상들(30, 50)로부터 볼륨 데이터(75)를 취하여 볼륨 데이터(75)로부터 하나 이상의 모델링된 정형외과적 요소들(100b)을 생성할 수 있는지의 예를 제공한다. 도 7에서, 수술 부위(170)는 무릎 관절의 그것이다.
도 8은 제각기의 입력 영상들(30, 50)로부터의 공간 데이터(43)를 볼륨 데이터(75)로 변환하기 위해 사용될 수 있는 에피폴라 기하학의 기본 원리들을 예시한다. 공간 데이터(43)는 주어진 입력 영상(30, 50)에 대한, 대응되는 공간 좌표들(예를 들어, x 및 y 좌표들)로 맵핑된 영상 포인트들(예를 들어, , )의 모음에 의해 정의됨이 인식될 것이다.
도 8은 핀홀 카메라 모델에 의해 기술되는 원근 투영의 간략화된 개략적 표현이다. 도 8은 컴퓨터 스테레오 비젼(computer stereo vison)에 관련된 기본 개념들을 전달하나 이는 3D 모델들이 2D 스테레오 영상들로부터 재구성될 수 있는 유일한 방법이 결코 아니다. 이 간략화된 모델에서, 광선들이 광심(optical center) (즉, 대상 객체로부터의 전자기방사(예를 들어, 가시광선, X-선들 등)의 광선들이 이미징 머신의 센서 또는 검출기 어레이(33) 내에서 가로지르는 것으로 가정되는 렌즈 내의 점)으로부터 방사된다(도 12). 광심들은 도 8에서 포인트들(, )에 의해 표현된다. 실제로, 영상 평면(30a, 50a 참조)은 통상 광심(예를 들어, , ) 뒤에 있고, 실제의 광심은 포인트로서 검출기 어레이(33) 상에 투영된다, 그러나 가상 영상 평면들(30a, 50a 참조)은 원리들을 더욱 단순하게 예시하기 위해 여기에 제시된다.
제1 입력 영상(30)이 제1 기준 프레임(30a)로부터 취득되는 한편, 제2 입력 영상(50)이 제1 기준 프레임(30a)과 다른 제2 기준 프레임(50a)으로부터 취득된다. 각각의 영상은 픽셀 값들의 매트릭스를 포함한다. 제1 및 제2 기준 프레임들(30a, 50a)은 바람직하게 옵셋 각도 만큼 서로 옵셋되어 있다. 옵셋 각도 는 제2 기준 프레임(50a)의 x 축에 대한 제1 기준 프레임(30a)의 x 축 간의 각도를 나타낸다. 달리 말하면, 제1 영상에서의 정형외과적 요소 및 제2 영상에서의 정형외과적 요소의 배향 간의 각도는 '옵셋 각도'로서 알려져 있다.
포인트()은 제1 입력 영상(30) 상에서의 제2 입력 영상의 광심()의 위치이다. 포인트()은 제2 입력 영상(50) 상에서의 제1 입력 영상의 광심()의 위치이다. 포인트들(, )은 '에피폴들'("epipoles") 또는 에피폴라 포인트들(epipolar points)로서 알려져 있고 라인( - ) 상에 놓여있다. 포인트들(X, , )은 에피폴라 평면을 정의한다.
실제의 광심은 대상 객체로부터의 전자기 방사의 인입 광선들이 검출기 렌즈 내에서 가로지르는 가정된 포인트이기 때문에, 이 모델에서, 전자기 방사의 광선들이, 3D 공간에서의 3D 포인트 X의 위치가 알려진 상대적인 위치의 검출기(33)로부터 캡쳐된 두개 이상의 입력 영상들(30, 50)로부터 어떻게 확인할 수 있는지를 시각화할 목적으로, 광심들(, )로부터 방사되는 것으로서 실제로 상상될 수 있다. 제1 입력 영상(30)의 각각의 포인트(예를 들어, )이 3D 공간에서의 라인에 대응한다면, 그러면 대응되는 포인트(예를 들어, )이 제2 입력 영상에서 발견될 수 있다면, 이러한 대응되는 포인트들(예를 들어, , )은 공통의 3D 포인트 X의 투영이어야 한다. 따라서, 대응되는 영상 포인트들(예를 들어, , )에 의해 생성되는 라인들은 3D 포인트 X에서 서로 만나야 한다. 일반적으로, X의 값이 두개 이상의 입력 영상들(30, 50)에서 대응하는 매 영상 포인트들(예를 들어, , )에 대해 계산된다면, 볼륨 데이터(75)를 포함하는 3D 볼륨(61)이 두개 이상의 입력 영상들(30, 50)로부터 재생될 수 있다. 임의의 주어진 3D 포인트 X의 값이 다양한 방식으로 삼각 측량될 수 있다. 예시적인 계산 방법들의 비제한적인 리스트는 중간점법(mid-point method), 직접 선형 변환법(direct linear transformation method), 필수 매트릭스법(essential matrix method), 라인 대 라인 교점법(line―line intersection method) 및 번들 조정법(bundle adjustment method)을 포함할 수 있다. 더욱이, 특정의 예시적인 실시예들에서, 동일한 대상의 두개 이상의 입력 영상들에 기초하여 3D 공간에서의 주어진 포인트의 위치를 결정하기 위한 모델을 만들기 위해 심층학습 네트워크가 입력 영상들의 세트로 학습될 수 있는데, 여기서 제1 입력 영상(30)은 제2 입력 영상(50)으로부터 옵셋 각도 에서 옵셋되어 있다. 전술한 방법들의 임의의 것들의 조합들이 본 개시의 범위 내에 있음이 더욱 인식될 것이다.
여기에 기술된 '영상 포인트들'(예를 들어, , )은 공간에서의 포인트, 픽셀, 픽셀의 부분 또는 인접한 픽셀들의 모음을 가리킬 수 있음이 인식될 것이다. 또한 여기서 사용되는 3D 포인트 X는 3D 공간에서의 포인트를 나타낼 수 있음이 인식될 것이다. 특정의 예시적인 응용들에서, 3D 포인트 X는 복셀, 복셀의 부분 또는 인접한 복셀들의 모음으로서 표현될 수 있다.
그러나, 에피폴라 기하학의 원리들이 적용될 수 있기 전에, 다른 영상 검출기(들)(33)에 대한 각각의 영상 검출기(33)의 위치가 결정되어야 한다(또는 제1 영상(30)이 취득된 시점에서 유일한 영상 검출기(33)의 위치가 결정되어야 하고, 제2 영상(50)이 취득된 시점에서 유일한 영상 검출기(33)의 조정된 위치가 알려져야 한다). 이미징 머신(1800)의 초점거리 및 광심을 결정하는 것이 또한 바람직할 수 있다. 이를 실제로 확인하기 위해, 영상 검출기(33)(또는 영상 검출기들)이 먼저 캘리브레이션된다. 도 9a, 도 9b 및 도 9c는 대상 정형외과적 요소들(100)에 대한 캘리브레이션 지그들(calibration jigs)(973A, 973B, 973C)을 도시한다. 이 도면들에서, 예시적인 정형외과적 요소들(100)은 대퇴골(105)의 근위 특징(proximal aspect) 및 고관절(101)을 포함하는 골반(110)의 모 관골구(108)을 포함한다.
여기에 기술된 예시적인 시스템들을 캘리브레이션하기 위해 적어도 두개의 입력 영상들(30, 50)이 기술적으로 요구되지만, 입력 영상들이 방사선사진 입력 영상들이고 타겟 수술 부위(170)가 방사선사진 이미징으로부터 쉽게 분리될 수 없는 반대쪽 고관절(contralateral joint)을 수반하는 경우 적어도 세개의 입력 영상들(30, 50, 70)이 바람직할 수 있다. 예를 들어, 골반(110)은 반대쪽 관골구(108)를 포함한다. 골반(110)의 직접 중간 측방 방사선사진(direct medial-lateral radiograph)은 검출기(33)에 근위인 관골구 및 검출기(33)에 원위인 관골구 모두를 나타낸다. 그러나, 골반(110)의 검출기(33)에 대한 위치선정(positioning) 때문에 그리고 단일의 2D 방사선사진이 3D 데이터가 없기 때문에, 상대적인 관골구는 서로의 위에 중첩되게 보일 것이고, 사람 또는 컴퓨테이션 머신(1600)이 어느 것이 근위이고 어느 것이 원위의 관용구인지를 구분하는 것이 어려울 수 있다.
이 문제를 해결하기 위해, 적어도 세개의 입력 영상들(30, 50, 70)이 사용될 수 있다. 하나의 예시적인 실시예에서, 제1 입력 영상(30)은 수술 부위(170)의 전방-후방 투시를 캡쳐하는 방사선사진(즉, 제1 기준 프레임(30a)의 예)일 수 있다. 제2 입력 영상(50)의 경우, 환자 또는 검출기(33)는, 제1 입력 영상(30)에 대한 환자의 배향에 대해 시계방향으로(이는 양의 각도에 의해 지시될 수 있음) 또는 반시계방향으로(이는 음의 각도에 의해 지시될 수 있음) 회전될 수 있다. 예를 들어, 제2 입력 영상(50)의 경우, 환자는 제1 입력 영상(300에서의 환자의 배향으로부터 플러스 또는 마이너스 45도만큼 회전될 수 있다. 유사하게, 환자는 제1 입력 영상(30)에 대해 환자의 배향에 대해 시계방향으로 또는 반시계방향으로 회전될 수 있다. 예를 들어, 제3 입력 영상(70)의 경우, 환자는 제1 입력 영상(30)에서의 환자의 배향에 대해 플러스 또는 마이너스 45도만큼 회전될 수 있다. 제2 입력 영상(50)이 제1 입력 영상(30)의 배향에 대해 양의 옵셋 각도(예를 들어, + 45도)를 가진다면, 제3 입력 영상(70)은 제1 입력 영상(30)의 배향에 대해 음의 옵셋 각도(예를 들어, - 45도)를 가질 것이고, 그 반대의 경우도 마찬가지라는 것이 인식될 것이다.
예시적인 실시예들에서, 원리들과 에피폴라 기하학은 예시적인 시스템들을 캘리브레이션하기 위해 적어도 세개의 서로 다른 기준 프레임들(30a, 50a, 70a)로부터 취득된 적어도 세개의 입력 영상들(30, 50, 70)에 적용될 수 있다.
도 9a는 예시적인 수술 부위(170)에서의 예시적인 정형외과적 요소들(100)(예를 들어, 근위 대퇴골(105), 모 관골구(108), 골반(110), 관절 연골, 기타의 연조직 등)의 전방-후방 뷰이다. 즉, 도 9a는 제1 기준 프레임(30a)(예를 들어, 제1 횡방향 위치)로부터 취득된 제1 영상(30)을 나타낸다. 제1 캘리브레이션 지그(973A)는 제1 홀딩 어셈블리(holding assembly)(974A)에 부착된다. 제1 홀딩 어셈블리(974A)는 제1 스크랩(977A)에 결합된 제1 패디드 서포트(padded support)(971A)를 포함할 수 있다. 제1 패디드 서포트(971A)는 제1 스트랩(977A)을 통해 환자의 넓적다리(thigh)에 외부적으로 부착된다. 제1 홀딩 어셈블리(974A)는, 바람직하게 제1 기준 프레임(30a)에 평행하게(즉, 검출기(33)에 직교하게) 배향되는 제1 캘리브레이션 지그(973A)를 지지한다. 캘리브레이션 지그(973A)는, 캘리브레이션 지그(973A)가 임의의 대상 정형외과적 요소(100)과 중첩되지 않도록 원하는 대상 정형외과적 요소들(100)으로부터 충분히 멀리 떨어져서 바람직하게 위치된다. 청첩은 원하는 영상 데이터를 가릴 수 있다.
도 9b는 제1 기준 프레임(30a)으로부터 45도만큼 양으로 옵셋된, 도 9a의 예시적인 수술 부위(170)의 예시적인 정형외과적 요소들(100)(예를 들어, 근위 대퇴골(105), 모 관골구(108), 골반(110), 관절 연골, 기타의 연조직 등)의 뷰이다. 즉, 도 9b는 제2 기준 프레임(50a)(예를 들어, 제2 횡방향 위치)로부터 취득된 제2 입력 영상(50)을 나타낸다. 제2 캘리브레이션 지그(973B)는 제2 홀딩 어셈블리(holding assembly)(974B)에 부착된다. 제2 홀딩 어셈블리(974B)는 제2 스트랩(977B)에 결합된 제2 패디드 서포트(padded support)(971B)를 포함할 수 있다. 제2 패디드 서포트(971B)는 제2 스트랩(977B)을 통해 환자의 넓적다리(thigh)에 외부적으로 부착된다. 제2 홀딩 어셈블리(974B)는, 바람직하게 제2 기준 프레임(50a)에 평행하게(즉, 검출기(33)에 직교하게) 배향되는 제2 캘리브레이션 지그(973B)를 지지한다. 캘리브레이션 지그(973B)는, 캘리브레이션 지그(973B)가 임의의 대상 정형외과적 요소(100)와 중첩되지 않도록 대상 정형외과적 요소들(100)로부터 충분히 멀리 떨여져서 바람직하게 위치된다.
도 9c는 제1 기준 프레임(30a)으로부터 45도만큼 음으로 옵셋된, 도 9a의 예시적인 수술 부위(170)의 예시적인 정형외과적 요소들(100)(예를 들어, 근위 대퇴골(105), 모 관골구(108), 골반(110), 관절 연골, 기타의 연조직 등)의 뷰이다. 즉, 도 9c는 제3 기준 프레임(70a)(예를 들어, 제3 횡방향 위치)로부터 취득된 제3 입력 영상(70)을 나타낸다. 제3 캘리브레이션 지그(973C)는 제3 홀딩 어셈블리(holding assembly)(974C)에 부착된다. 제3 홀딩 어셈블리(974C)는 제3 스트랩(977C)에 결합된 제3 패디드 서포트(padded support)(971C)를 포함할 수 있다. 제3 패디드 서포트(971C)는 제3 스트랩(977C)을 통해 환자의 넓적다리(thigh)에 외부적으로 부착된다. 제3 홀딩 어셈블리(974C)는, 바람직하게 제3 기준 프레임(70a)에 평행하게(즉, 검출기(33)에 직교하게) 배향되는 제3 캘리브레이션 지그(973C)를 지지한다. 캘리브레이션 지그(973C)는, 캘리브레이션 지그(973C)가 임의의 대상 정형외과적 요소(100)와 중첩되지 않도록 대상 정형외과적 요소들(100)로부터 충분히 멀리 떨여져서 바람직하게 위치된다.
시스템이 수술전에 캘리브레이션된다면, 환자는 기립 위치에서 위치되는데(즉, 다리가 신장되어 있음) 이는 고관절이 이 배향에서 안정적이기 때문이다(도 12 참조). 시스템이 수술장에서 캘리브레이션된다면, 환자는 수술대에 등을 대고 누워 있을 수 있다. 바람직하게, 이미징 머신에 대해 상대적인 환자의 거리는 입력 영상들(30, 50, 70)의 획득 동안 변경되어서는 아니된다. 제1, 제2 및 제3 입력 영상들(30, 50, 70)은 전체 다리를 캡쳐할 필요가 없고, 그 보다는 영상이 수술 부위(170)의 대상일 고관절에 초점을 맞출 수 있다.
이미징될 그리고 모델링될 대상 정형외과적 요소들(100)에 따라서, 단지 단일의 캘리브레이션 지그(973)이 사용될 수 있음이 인식될 것이다. 유사하게, 정형외과적 요소들(100)의 특별히 긴 모음이 이미징되고 모델링되려면, 하나 이상의 캘리브레이션 지그들(973)이 사용될 수 있다.
각각의 캘리브레이션 지그(973A, 973B, 973C)는 바람직하게는 크기가 알려져 있다. 각각의 캘리브레이션 지그(973A, 973B, 973C)는 바람직하게는 분배된 적어도 4개 이상의 캘리브레이션 포인트들(978)을 가진다. 캘리브레이션 포인트들(978)은, 하나의 포인트(978)로부터의 다른 것들에 상대적인 거리가 알려진 기지의 패턴으로 분배된다. 정형외과적 요소(100)로부터의 캘리브레이션 지그(973)로부터의 거리는 또한 바람직하게 알려질 수 있다. X선 사진측량 시스템의 캘리브레이션을 위해, 캘리브레이션 포인트들(978)이 캘리브레이션 지그(973) 상의 금속 구조체들에 의해 바람직하게 정의될 수 있다. 금속은 금속에 접하는 대부분의 X선 빔들을 흡수한다. 그러하기에, 금속은 (에어 캐비티들 또는 줄기세포(adipose tissue)와 같은) X선들을 덜 흡수하는 물질에 비해 매우 밝게 보인다. 캘리브레이션 포인트들을 정의하는 잘 알려진 예시적인 구조체들은 레조 십자가들(reseau crosses), 원들, 삼각형들, 피라미드들 및 구들을 포함하나 이에 제한되지 않는다.
이러한 캘리브레이션 포인트들(978)은 캘리브레이션 지그(973)의 2D 평면 상에 존재할 수 있거나, 3D 캘리브레이션 포인트들(978)이 주어진 영상 기준 프레임으로부터의 2D 투영들로서 캡쳐될 수 있다. 어느 경우든, 3D 좌표(흔히 z 좌표로 표시됨)가 영상에서 캡쳐되는 모든 캘리브레이션 포인트들(978)에 대해 0과 같게 설정될 수 있다. 각각의 캘리브레이션 포인트(978) 간의 거리는 알려져 있다. 이러한 알려진 거리들은 영상 센서/검출기(33) 상에서의 x, y 좌표들로서 표현될 수 있다. 3D 공간에서의 포인트를 센서(33) 상에서의 2D 좌표 픽셀로 맵핑하기 위해, 검출기의 캘리브레이션 매트릭스, 외인성 매트릭스 및 실제 3D 포인트의 호모지니어스 좌표 벡터의 도트 프로덕트가 사용될 수 있다. 이는 포인트의 3D 공간에서의 실세계의 좌표들이 캘리브레이션 지그(973)에 대해 맵핑되도록 해준다. 달리 말하면, 이는 실제의 포인트의 3D 공간에서의 x, y 좌표들이 공간 데이터(43)를 정의하기 위해 영상 검출기의 센서(33)의 2D 좌표 평면으로 정확하게 변환될 수 있도록 해준다(도 8 참조).
위의 캘리브레이션 방법은 예로서 제공된다. X선 사진측량 시스템을 캘리브레이션하기 위한 적절한 모든 방법들이 본 개시의 범위 내에 있는 것으로 고려됨이 인식될 것이다. 다른 X선 사진측량 시스템 캘리브레이션 방법들의 비제한적인 리스트는 레조 판(reseau plate), 장 방법(Zhang method), 번들 조정 방법, 직접 선형 변환 방법들, 최대 우도 추정, k-최근접 이웃 회귀 접근법(k-nearest neighbor regression approach: "KNN"), 합성곱 신경망(CNN) 기반의 접근책, 다른 심층학습 방법들 또는 그 조합들의 사용을 포함한다.
도 7은, 두개의 캘리브레이션된 입력 영상들(30, 50)이 알려진 옵셋 각도 를 따라 배향될 때 어떻게 두개의 채널들(65, 66)을 포함하는 3D 볼륨(61)으로 역투영될 수 있는지의 원리를 예시한다. 제1 채널(65)은 제1 입력 영상(30)의 모든 영상 포인트들(예를 들어, 등)을 포함하고, 제2 채널(66)은 제2 입력 영상(50)의 모든 영상 포인트들(예를 들어, 등)을 포함한다. 즉, 각각의 영상 포인트(예를 들어, 픽셀)은 그 연관된 역투영된 3D 광선에 대해 복제된다. 다음으로, 이러한 역투영된 2D 입력 영상들(30, 50)로부터 볼륨 데이터(75)를 포함하는 이미징된 수술 부위(170)의 볼륨(61)을 생성하기 위해 에피폴라 기하학이 사용될 수 있다. 제3 입력 영상(70)이 사용된다면, 제3 입력 영상(70)의 영상 포인트들의 모두를 포함하는 제3 채널이 존재할 수 있다.
도 7을 참조하면, 제1 입력 영상(30) 및 제2 입력 영상(50)은 바람직하게 알려진 영상 치수들을 가진다. 이 치수들은 픽셀들일 수 있다. 예를 들어, 제1 영상(30)은 164 x 164 픽셀들의 치수들을 가질 수 있다. 제2 영상(50)은 164 x 164 픽셀들의 치수들을 가질 수 있다. 특정의 컴퓨테이션에서 사용되는 입력 영상들(30, 50)의 치수들은 바람직하게 일관된 치수들을 가진다. 일관된 치수들은 정규의 불륨(61)(예를 들어, 164 x 164 x 164 입방체)의 입방체 작업 영역을 후에 정의하기 위해 바람직할 수 있다. 실시예들에서, 옵셋 각도 는 각각의 인접 입력 영상 간에서 바람직하게 45도이다. 그러나, 다른 옵셋 각도들 이 다른 예시적인 실시예들에서 사용될 수 있다. 예를 들어, 도 7에서, 옵셋 각도 는 90도이다.
묘사된 예에서, 164 x 164 픽셀 입력 영상들(30, 50)의 각각은 164 x 164 x 164 픽셀들의 치수들을 가진 볼륨(61)을 생성하기 위해 인접 입력 영상의 길이에 걸쳐 164회 복제된다. 즉, 제1 영상(30)은 164 픽셀들에 대해 픽셀 당 한 카피로 복제되어 그 뒤로 쌓여지는(stacked) 한편, 제2 영상(50)은 쌓여진 영상들이 중첩되어 볼륨(61)을 생성하도록 164 픽셀들에 대해 복제되어 그 뒤로 쌓여진다. 이러한 방식으로, 볼륨(61)은 두개의 채널들(65, 66)을 포함하는 것이라 말할 수 있고, 여기서 제1 채널(65)은 제2 영상(50)의 길이(즉, 제2 영상(50)의 x 축)에 걸쳐 n 번 복제된 제1 영상(30)을 포함하고, 제2 채널(66)은 제1 영상(30)의 길이(즉, 제1 영상(30)의 x축)에 걸쳐서 m번 복제된 제2 영상(50)을 포함하고, 또한 여기서 'n' 및 'm'은 표시된 영상의 길이를 포함하는 픽셀들의 개수(또는 다른 예시적인 실시예들에서는 다른 치수들)로서 표현된 표시된 영상의 길이이다. 옵셋 각도 가 알려져 있다면, 볼륨(61)의 각각의 횡방향 슬라이스(몇몇 방사선학자들에 의해 '액시얼 슬라이스'라고도 불려짐)는 두개의 에피폴라 라인들을 포함하는 픽셀들로부터 역투영된 복셀들을 포함하는 에피폴라 평면을 생성한다. 이러한 방식으로, 대상 정형외과적 요소(100)의 제1 영상(30으로부터의 공간 데이터(43) 및 대상 정형외과적 요소(100)의 제2 영상(50)으로부터의 공간 데이터*43)을 투영하는 것은 볼륨 데이터(75)를 정의한다. 이러한 볼륨 데이터(75)를 이용하여, 전술한 바와 같이 에피폴라 기하학 원리들을 이용하여 3D 표현이 재구성될 수 있다; 3D 표현은 입력 영상들(30, 50)에서의 정보와 기하학적으로 일치한다.
정형외과적 요소 및/또는 관내인공삽입 임플랜트의 구성부를 식별하기 위한 예시적인 시스템들 및 방법들에서 그리고 심층학습 네트워크를 이용하여 정형외과적 요소 및 관내인공삽입 임플랜트의 구성부의 공간에서의 위치를 확인하기 위한 예시적인 시스템들 및 방법들에서 - 심층학습 네트워크는 CNN임 -, 어떻게 CNN이 구성되고 학습되는지의 상세한 예가 제공된다. CNN들의 모든 구조는 본 개시의 범위 내에 있는 것으로 고려된다. 통상적인 CNN 구조들은, 예로서 LeNet, GoogLeNet, AlexNet, ZFNet, ResNet 및 VGGNet을 포함한다.
바람직하게, 여기에 개시된 방법들은 하나 이상의 중앙 처리 장치들(CPU), 랜덤 액세스 메모리(RAM) 및 입력/출력(I/O) 인터페이스(들)과 같은 하드웨어를 갖는 컴퓨터 플랫폼(1600 참조) 상에서 구현될 수 있다.
도 10은 대상 정형외과적 요소(100)의 에지들을 식별하기 위해 CNN이 어떻게 사용될 수 있는지를 예시하는 CNN의 개략적 표현이다. 이론에 얽매이지 않고, CNN은 원하는 정형외과적 요소(100) 또는 그 표면의 지형(topography)을 식별하기 위해 필요한 특징들을 잃지 않고 볼륨 데이터(75)의 크기를 줄이기 위해 바람직할 수 있다고 생각된다. 복수의 역투영된 입력 영상들(30, 50)의 볼륨 데이터(75)는 '입력 텐서'로서 알려질 수 있는 다차원의 어레이이다. 이러한 입력 텐서는 제1 합성곱을 위한 (이 예에서 볼륨 데이터(75)인) 입력 데이터를 포함한다. (커널(69)로서 알려진) 필터는 볼륨 데이터(75)에 배치된 것으로 도시된다. 커널(69)은 필터 또는 함수(이 필터 또는 함수는 때때로 커널에 주어진 '가중치'로서 알려져 있음)를 정의하는 텐서(즉, 다차원 어레이)이다. 묘사된 실시예에서, 커널(69)은 3차원이다. 커널(69)을 포함하는 필터 또는 함수는 CNN, RNN 또는 다른 심층학습 네트워크를 통해 수동으로 프로그램되거나 학습될 수 있다. 묘사된 실시예에서, 커널 텐서 크기가 입력 텐서의 크기 보다 작다면 모든 텐서 크기들 및 치수들이 본 개시의 범위 내에 있는 것으로 고려되지만, 커널(69)은 3 x 3 x 3 텐서이다.
커널(69)의 각각의 셀 또는 복셀은 수치값을 가진다. 이 값들은 커널(69)의 필터 또는 함수를 정의한다. 컨볼루션 또는 상호상관 동작이 이 두개의 텐서들 간에 수행된다. 도 10에서, 컨볼루션은 경로(76)에 의해 표현된다. 커널(69)이 따르는 경로(76)는 수학적 컨볼루션 동작의 시각화이다. 이 경로(76)를 따라서, 커널(69)은 입력 텐서의 전체 볼륨(61)(예를 들어, 볼륨 데이터(75))을 궁극적으로 그리고 순차적으로 가로지른다. 이 동작의 목표는 입력 텐서로부터 특징들을 추출하는 것이다.
컨볼루션 계층들(72)은 전형적으로 이하의 동작들의 하나 이상을 포함한다: 컨볼루션 단(67), 검출기 단(68) 및 풀링 단(58). 이러한 각각의 동작들이 도 10에서 제1 컨볼루션 계층(72a)에서 시각적으로 표현되지만, 이후의 컨볼루션 계층들(72b, 72c등)이 컨볼루션 단(67), 검출기 단(68) 및 풀링 단(58) 또는 조합들 또는 그 순열들의 하나 이상 또는 모두를 포함할 수 있다. 더욱이, 도 10이 다양한 해상도들의 5개의 컨불루션 계층들(72a, 72b, 72c, 72d 및 72e)을 묘사하지만, 더 많은 또는 더 적은 개수의 컨볼루션 계층들이 다른 예시적인 실시예들에서 사용될 수 있음이 인식될 것이다.
컨볼루션 단(67)에서, 커널(69)은 입력 데이터에서의 픽셀들의 복수의 패치들(즉, 묘사된 예에서 볼륨 데이터(75))에 의해 순차적으로 곱해진다. 데이터로부터 추출된 픽셀들의 패치는 리셉티브 필드(receptive field)로서 알려져 있다. 커널(69) 및 리셉티브 필드의 곱은 리셉티브 필드의 각각의 픽셀 및 커널(69) 간의 요소 별 곱을 포함한다. 곱셈 후에, 컨볼루션 출력의 하나의 요소를 형성하기 위해 결과들이 합해진다. 그 다음, 이 커널(69)은 인접한 리셉티브 필드로 쉬프트되고, 요소 별 곱셈 동작 및 합산은 입력 텐서의 모든 픽셀들이 연산될 때까지 계속된다.
이 단까지, 입력 텐서의 입력 데이터(예를 들어, 볼륨 데이터(75))는 선형이었다. 이 데이터에 비선형성을 도입하기 위해, 비선형 활성 함수가 채용된다. 그러한 비선형 함수의 사용은 검출기 단(68)의 시작을 마킹한다. 통상적인 비선형 활성 함수는 ReLU(Rectified Linear Unit function)이고, 이는 다음의 함수로 주어진다.
바이어스와 같이 사용될 때, 비선형 활성화 함수는 커널(69)에 의해 추출되는 특징의 존재를 검출하기 위한 임계값으로서 기능한다. 예를 들어, 입력 텐서 및 커널(69) 간의 컨볼루션 또는 상호상관 연산을 적용하는 것은 - 커널(69)은 컨볼루션 단(67)에서의 로우 레벨 필터를 포함함 - 컨볼루션 출력 텐서를 생성한다. 그 다음, 바이어스를 가지고 컨볼루션 출력 텐서에 비선형 활성화 함수를 적용하는 것은 특징 맵 출력 텐서를 반환할 것이다. 바이어스는 컨볼루션 출력 텐서의 각각의 셀에 순차적으로 더해진다. 주어진 셀에 대해서, 합이 0보다 크거나 같으면(ReLU가 이 예에서 사용되는 것으로 가정), 합은 특징 맵 출력 텐서의 해당하는 셀에서 반환될 것이다. 유사하게, 주어진 셀에 대해 합이 0보다 작으면, 특징 맵 출력 텐서의 해당하는 셀은 0으로 설정될 것이다. 따라서, 컨볼루션 출력에 비선형 활성 함수들을 적용하는 것은, 컨볼루션 출력이 커널(69)의 주어진 필터에 매칭되는지의 여부 그리고 컨볼루션 출력이 커널(69)의 주어진 필터에 얼마나 근접하게 매칭되는지를 결정하기 위한 임계값과 같은 역할을 한다. 이러한 방식으로, 비선형 활성화 함수는 입력 데이터(예를 들어, 이 예에서는 볼륨 데이터(75))로부터 원하는 특징들의 존재를 검출한다.
모든 비선형 활성화 함수들은 본 개시의 범위 내에 있는 것으로 고려된다. 다른 예들은 시그모이드(Sigmoid), 탄(TanH), 릭키 ReLU(Leaky ReLU), 파라메트릭 ReLU(parametric ReLU), 소프트맥스(Softmax) 및 스위치 활성화(Switch activation) 함수들(functions)을 포함한다.
그러나, 이 접근책의 단점은, 이 제1 컨볼루션 계층(72a)의 특징 맵 출력이 원하는 특징(위의 예에서는, 에지)의 정확한 위치를 기록한다는 것이다. 그러하기에, 입력 데이터에 있어서의 조그만 움직임이 서로 다른 특징 맵이라는 결과를 초래할 것이다. 이러한 문제를 해결하기 위해 그리고 컴퓨테이셔널 파워를 줄이기 위해, 중요한 구조적 요소들을 여전히 유지하면서 입력 데이터의 해상도를 줄이기 위해 다운 샘플링이 사용된다. 다운 샘플링은 입력 텐서를 따라 컨볼루션의 스트라이드(stride)를 변화시킴으로써 성취될 수 있다. 다운 샘플링은 또한 풀링 계층(58)을 사용함으로써 성취된다.
유효한 패딩(valid padding)이 입력 텐서(72a 참조)에 비해 컨볼브된 텐서(convolved tensor)(72b 참조)의 치수들을 줄이기 위해 적용될 수 있다. 풀링 계층(58)이 컨볼브된 데이터의 공간적 크기를 줄이기 위해 바람직하게 적용되는데, 이는 데이터를 처리하기 위해 요구되는 컴퓨테이셔널 파워를 줄인다. 맥스 풀링 및 평균 풀링(max pooling and average pooling)을 포함하는 통상적인 풀링 기법들이 사용될 수 있다. 맥스 풀링은 커널(69)에 의해 커버되는 입력 텐서의 부분의 최대 값을 반환하는 한편, 평균 풀링은 커널(69)에 의해 커버되는 입력 텐서의 부분의 모든 값들의 평균을 반환한다. 맥스 풀링은 영상 노이즈를 줄이기 위해 사용될 수 있다.
특정의 예시적인 실시예들에서, 컨볼루셔널 계층들의 출력에 의해 나타내지는 (예를 들어, 이미징된 모 관골구(108)의 프로파일, 확공된 관골구(109)의 프로파일 또는 정형외과적 요소의 표면 지형과 같은) 하이 레벨 특징들의 비선형 조합들을 학습하기 위해 완전 연결된 계층이 최종의 컨볼루션 계층(72e)에 더해질 수 있다.
정형외과적 요소(100) 상에서 사용될 때, CNN 유형의 심층학습 네트워크의 전술한 설명은, 심층학습 네트워크가 '식별된 정형외과적 요소'(100a)를 정의하기 위해 어떻게 정형외과적 요소(100)를 '식별하도록 구성될' 수 있는지의 하나의 예이다.
도 10의 상부의 반은 입력 볼륨 데이터(75)의 압축(compression)을 나타내는 한편, 하부의 반은 입력 볼륨 데이터(75)의 원래 크기에 도달할 때까지의 압축해제를 나타낸다. 각각의 컨볼루션 계층(72a, 72b, 72c 등)의 출력 특징 맵이 점진적으로 더욱 복잡한 특징 추출을 가능하게 하기 위해 다음의 컨볼루션 계층(72b, 72c 등)에 대한 입력으로서 사용된다. 예를 들어, 제1 커널(69)은 에지들을 검출할 수 있고, 제1 컨볼루션 계층(72b)에서의 커널은 원하는 배향으로 된 에지들의 모음을 검출할 수 있고, 제3 컨볼루션 계층(72c)에서의 커널은 원하는 배향으로 된 에지들의 더 긴 모음을 검출할 수 있는 등등이다. 이러한 과정은 원하는 정형외과적 요소(100)의 전체 프로파일이 다운스트림 컨볼루션 계층(72)에 의해 검출되고 식별될 때까지 계속될 수 있다.
도 10의 하부 반은 더 낮은 해상도의 특징 맵들의 공간 서포트(spatial support)를 업샘플한다(즉, 확장한다). 다음의 다운스트림 컨볼루션 계층(72c, 72d, 72e 참조)을 위한 입력의 크기를 증가시키기 위해 디컨볼루션(de-convolution) 연산이 수행된다. 최종의 컨볼루션 계층(72e)의 경우는, 입력 볼륨(61)과 동일 크기인 다중 채널 출력 볼륨(59)을 생성하기 위해 1 x 1 x 1의 커널(69)을 가지고 컨볼루션이 사용될 수 있다. 다중 채널 출력 볼륨(59)의 각각의 채널은 원하는 추출된 하이 레벨 특징을 나타낼 수 있다. 이는, 원하는 정형외과적 요소들(100)을 검출하기 위해 소프트맥스 활성화 함수에 의해 이어질 수 있다. 예를 들어, 묘사된 실시예는 0, 1, 2, 3, 4 로 번호가 붙는 5개의 출력 채널들을 포함할 수 있는데, 여기서 채널 0은 식별된 백그라운드 볼륨을 나타내고, 채널 1은 식별된 근위 대퇴골(105)을 나타내고, 채널 2는 식별된 확공된 관골구(111)를 나타내고, 채널 3은 식별된 관골구 구성부(103)를 나타내고, 채널 4는 식별된 대퇴골 구성부(104)를 나타낸다.
다른 예시적인 실시예들에서는 더 적은 출력 채널들 또는 더 많은 출력 채널들이 사용될 수 있음이 인식될 것이다. 제공되는 출력 채널들이 여기에 나열된 것들과 다른 정형외과적 요소들(100) 및 관내인공삽입 임플랜트들의 구성부들을 나타낼 수 있음이 또한 인식될 것이다.
예를 들어, 시스템이 정형외과적 요소(100)를 식별하도록 구성되고, 정형외과적 요소(100)는 근위 대퇴골(105)의 내부 피질 벽(120)이고, 시스템이 관내인공삽입 임플랜트의 구성부를 식별하도록 구성되고, 관내인공삽입 임플랜트의 구성부가 시험 구성부 구조물(trial component construct)인 예시적인 실시예들에서, 예시적인 실시예는 0, 1, 2로 번호가 붙여지는 3개의 출력 채널들을 포함할 수 있는데, 여기서 채널 0은 식별된 백그라운드 볼륨을 나타내고, 채널 1은 근위 대퇴골(105)의 내부 피질 벽(120)을 나타내고, 채널 2는 식별된 대퇴골 구성부(104)를 나타낸다. 위의 예에서 사용되는 '시험 구성부 구조물'은, 시험 구성부 구조물이 근위 대퇴골(105)에서 사용될 구조물을 기술하는 경우, 브로치(broach), 시험 넥(trial neck) 및 시험 헤드 어셈블리(trial head assembly) 또는 시험 스템(trial stem)을 포함할 수 있다.
시스템이 정형외과적 요소(100)를 식별하도록 구성되고, 정형외과적 요소(100)가 골반(110)의 확공된 관골구(111)이고, 시스템이 관내인공삽입 임플랜트의 구성부를 식별하도록 구성되고, 관내인공삽입 임플랜트의 구성부가 관골구 구성부(103) 또는 시험 관골구 구성부인 예시적인 실시예들에서, 예시적인 실시예는 0, 1, 2로 번호가 붙는 3개의 출력 채널들을 포함할 수 있는데, 여기서 채널 0은 식별된 백그라운드 볼륨을 나타내고, 채널 1은 골반(110)의 확공된 관골구(111)를 나타내고, 채널 2는 관골구 구성부(103) 또는 시험 관골구 구성부를 나타낸다.
그러한 예시적인 실시예들은 선택적으로, 근위 대퇴골(105)의 외부 벽을 나타내는 출력 채널과 같은 추가의 출력 채널들을 포함할 수 있다. 관내인공삽입 임플랜트의 구성부가 놓여 있는 식별된 정형외과적 요소(100a)에 대한 관내인공삽입 임플랜트의 식별된 구성부의 외전각 및 전경각U를 각각 출력하기 위해 다른 출력 채널들이 사용될 수 있다. (비제한적인 예들로서) 식별된 정형외과적 요소의 결정된 크기 치수, 관내인공삽입 임플랜트의 권장되는 구성부 유형/제품 모델, 관내인공삽입 임플랜트의 권장된 구성부 크기, 권장된 구성부의 또는 내부 피질 벽(120)의 치수들에 대한 권장된 구성부의 크기의 최적합("best fit") 출력, 대퇴골 구성부(104)의 종축의 정렬 계산, 근위 대퇴골(105)의 해부적 축에 대한 시험 구성부 구조물, 관골구의 계산된 중심 또는 인공 대퇴골두(113)의 중심에 대한 대퇴골 구성부(104)의 넥의 종축의 정렬을 출력하기 위해 또 다른 출력 채널들이 사용될 수 있다. 전술한 것들의 임의의 것들의 조합들이 본 개시의 범위 내에 있는 것으로 고려된다.
관내인공삽입 임플랜트의 구성부 또는 그 부구성부들(subcomponents) 상에서 사용될 때, CNN 유형의 심층학습 네트워크의 위 기재는, 심층학습 네트워크가 관내인공삽입 임플랜트의 식별된 구성부를 정의하기 위해 어떻게 관내인공삽입 임플랜트의 구성부 (또는 그 부구성부들)을 '식별하도록 구성될' 수 있는지에 대한 하나의 예이다. 관내인공삽입 임플랜트 상에서 사용될 때, CNN 유형의 심층학습 네트워크의 위 기재는, 심층학습 네트워크가 '식별된 관내인공삽입 임플랜트'를 정의하기 위해 어떻게 관내인공삽입 임플랜트를 '식별하도록 구성될' 수 있는지에 대한 하나의 예이다. 복수의 정형외과적 요소, 관내인공삽입 임플랜트들의 복수의 구성부, 복수의 관내인공삽입 임플랜트 또는 그 조합들에 적용되는 경우, CNN 유형의 심층학습 네트워크의 위 기재는, 심층학습 네트워크가 어떻게 경우에 따라 복수의 정형외과적 요소, 관내인공삽입 임플랜트들의 복수의 구성부, 그 부구성부들, 복수의 관내인공삽입 임플랜트들 또는 그 조합들을 '식별하도록 구성될' 수 있는지에 대한 하나의 예라는 것이 더욱 이해될 것이다. 본 기술분야에 숙련된 자들에게 알려진 또는 그들에 의해 쉽게 확인되는 다른 심층학습 네트워크 구조들은 본 개의 범위 내에 있는 것으로 또한 고려된다.
예시적인 실시예들에서, 원하는 정형외과적 요소(100)의 출력 볼륨 데이터(59)를 포함하는 선택 출력 채널들(select output channels)은 모델링된 정형외과적 요소(100b), 관내인공삽입 임플랜트의 모델링된 구성부(예를 들어, 관골구 컵(106), 대퇴골 스템(115) 등)를 생성하기 위해 사용될 수 있다. 특정의 예시적인 실시예들에서, 모델링된 정형외과적 요소(100b)는 컴퓨터 모델이다. 다른 예시적인 실시예들에서, 모델링된 정형외과적 요소(100b)는 물리적 모델이다.
위의 예는 입력 볼륨 데이터(75)를 컨볼브시키기 위해 3차원 텐서 커널(69)의 사용을 기술하였지만, 위에서 기술된 일반적 모델이 캘리브레이션된 입력 영상들(30, 50, 70)의 임의의 것으로부터의 2D 공간 데이터(43)와 함께 사용될 수 있음이 인식될 것이다. 다른 예시적인 실시예들에서, 기계학습 알고리즘(즉, (예를 들어, CNN과 같은) 심층학습 네트워크)이 이미징 머신(1800)의 캘리브레이션 후에 그러나 2D에서 3D로의 재구성 전에 사용될 수 있다. 즉, 2D 입력 영상들(30, 50, 70)의 제1 기준 프레임(30a), 제2 기준 프레임(50a) 또는 제3 기준 프레임(70a)으로부터 대상 정형외과적 요소(100)의 특징들(예를 들어, 해부적 랜드마크들)을 검출하기 위해 CNN이 사용될 수 있다. 예시적인 실시예들에서, 2D 입력 영상들(30, 50, 70)로부터 하이 레벨 정형외과적 요소들(예를 들어, 근위 대퇴골(105) 및 대상 정형외과적 요소(100)의 표면 지형의 부분), 관내인공삽입 임플랜트의 구성부들(예를 들어, 관골구 컵(106), 대퇴골 스템(115) 등) 또는 관내인공삽입 임플랜트 자체(예를 들어, 고관절 관내인공삽입 임플랜트(102))를 식별하기 위해 CNN이 사용될 수 있다. 그 후, CNN은 검출된 정형외과적 요소(100), 관내인공삽입 임플랜트의 구성부 또는 관내인공삽입 임플랜트 그 자체에 마스크(mask) 또는 아웃라인(outline)을 선택적으로 적용할 수 있다. 이미징 머신(1800)이 캘리브레이션 된다면 그리고 CNN이 적어도 2개의 입력 영상들(30, 50) 간에서 특징들의 복수의 대응하는 영상 포인트(예를 들어, , )를 식별하였다면, 대상 정형외과적 요소(100)의 기준 프레임들(30a, 50a) 간의 변환 매트릭스들, 관내인공삽입 임플랜트의 구성부 또는 관내인공삽입 임플랜트 그 자체가 복수의 대응하는 영상 포인트를 3D 공간에서 정렬하기 위해 사용될 수 있다. 이러한 방식으로, 3D 공간에서의 포인트들의 위치가 3D 공간에서의 좌표들의 세트에 대응하도록 결정될 수 있다. 이러한 방식으로, 3D 포인트들이 공간 데이터로 '맵핑된다고' 말할 수 있다. 이러한 방식으로 또는 심층학습 네트워크에 의해 개발된 다른 방식들로 이러한 관계를 모델링할 수 있는 심층학습 네트워크는, 3차원 공간에서의 식별된 정형외과적 요소(100a), 관내인공삽입 임플랜트의 식별된 구성부 및/또는 관내인공삽입 임플랜트 그 자체(경우에 따라서)의 위치를 결정하기 위해, 식별된 정형외과적 요소, 관내인공삽입 임플랜트의 식별된 구성부 및/또는 관내인공삽입 임플랜트 그 자체(경우에 따라서)를 제1 입력 영상(30) 및 제2 입력 영상(50)(및 선택적으로 제3 입력 영상(70) 또는 추가의 입력 영상들 또는 '새로운' 리프레싱 영상들(refreshing images))에 의해 확인되는 공간 데이터로 '맵핑하도록 구성된다고' 말할 수 있다.
제1 입력 영상(30), 제2 입력 영상(50) 또는 제3 입력 영상(70)의 임의의 것이 방사선사진 X선 영상들(형광투시 방사선사진 영상들을 포함하나 이에 제한되지 않음)인 실시예들에서, CNN을 학습시키는 것은 여러가지 문제를 일으킬 수 있다. 비교하자면, CT 스캔은 전형적으로 원하는 볼륨의 일련의 영상들을 생성한다. 전형적인 CT 스캔을 포함하는 각각의 CT 영상은 이미징된 볼륨의 세그먼트로서 상상될 수 있다. 이러한 세그먼트들로부터, 요소가 각각의 연속하는 CT 영상에서 묘사되기 때문에 원하는 요소의 영역을 더함으로써 3D 모델이 비교적 쉽게 생성될 수 있다. 그 후 모델링된 요소는 정확성을 보장하기 위해 CT 스캔에서의 데이터와 비교될 수 있다. CT 스캔들의 하나의 단점은, CT 스캔들이 환자를 과도한 양의 방사선(하나의 전통적인 방사선사진의 방사선 양의 약 70배)에 노출시킨다는 것이다.
대조적으로, 방사선사진 이미징 시스템들은 전형적으로 이미징된 볼륨의 서로 다른 세그먼트들을 캡쳐하는 순차적인 영상들을 생성하지 않고, 그 보다는 영상의 정보의 모두가 2D 평면 상에서 단조롭게 된다(flattened). 부가적으로, 단일의 방사선사진 영상(30)은 내재적으로 3D가 없기 때문에, 타겟 정형외과적 요소(100)의 실제의 기하학 체계를 가지고 위에서 기술된 에피폴라 기하학 재구성 기법에 의해 생성된 모델을 검사하는 것이 어렵다. 이러한 문제를 해결하기 위해, 디지털적으로 재구성된 방사선사진(digitally reconstructed radiograph: "DRRs") 영상들과 같은 CT 영상들로 CNN이 학습될 수 있다. 이러한 방식으로 심층학습 네트워크를 학습시킴으로써, 심층학습 네트워크가 원하는 정형외과적 요소(100) 또는 대상 정형외과적 요소(100)의 표면 지형을 식별하기 위해 커널들(69)을 위한 그 자신의 가중치들(예를 들어, 필터들)을 전개시킬 수 있다. X선 방사선사진들이 DRR들과는 다른 모습을 가지기 때문에, 입력 X선 영상들을 렌더링하여 DRR 스타일의 모습을 가지도록 하기 위해 영상 대 영상 변환(image-to-image translation)이 수행될 수 있다. 예시적인 영상 대 영상 변환 방법은 Cycle-GAN 영상 변환 기법이다. 영상 대 영상 스타일 전사(transfer) 방법들이 사용되는 실시예들에서, 스타일 전사 방법은 특징 검출을 위해 데이터를 심층학습 네트워크로 입력하기 전에 바람직하게 사용된다.
위의 예들은 예시의 목적으로 제공되고 결코 본 개시의 범위를 제한하려는 의도가 아니다. 적어도 2개의 횡방향 위치들(예를 들어, 30a, 50a)로부터 취득된 동일한 대상 정형외과적 요소(100)의 2D 방사선사진 영상들로부터 대상 정형외과적 요소(100)의 3D 모델을 생성하기 위한 모든 방법들이 본 개시의 범위 내에 있는 것으로 고려된다.
관내인공삽입 임플랜트의 특정의 식별된 정형외과적 요소(100a) 구성부 및/또는 관내인공삽입 임플랜트, 관내인공삽입 임플랜트의 구성부 및/또는 관내인공삽입 임플랜트 그 자체 및 3D 공간에서의 그들의 정확한 좌표들의 한계를 결정하는 것은, 주된 절개를 통해 외과의사에게 제공되는 제한된 시야를 회피하면서, 식별된 정형외과적 요소(100a), 관내인공삽입 임플랜트의 구성부 및/또는 관내인공삽입 임플랜트, 관내인공삽입 임플랜트의 구성부 및/또는 관내인공삽입 임플랜트의 위치가 알려지도록 해준다. 식별된 정형외과적 요소(100a)의 위치가 알려지면 그리고 관내인공삽입 임플랜트의 식별된 구성부의 위치가 알려지면, 임플랜트 구성부가 설치되는 식별된 정형외과적 요소(100a)(예를 들어, 확공된 관골구(111)에 설치된 관골구 쉘(106), 근위 대퇴골(105)의 골수내 관에 설치된 대퇴골 스템(115) 등)에 대한 임플랜트 구성부의 원하는 정렬 파라미터들과 대조하여 검사하기 위해 이러한 정보가 사용될 수 있다.
유사하게, 관내인공삽입 임플랜트의 제2 구성부(예를 들어, 대퇴골 구성부)에 대한 관내인공삽입 임플랜트의 제1 구성부(예를 들어, 관골구 구성부)의 3차원의 위치가 알려지면, 외과의사는 배치(placement), 즉 제2 구성부에 대한 제1 구성부의 정렬을 평가하기 위해 여기에 기술된 예시적인 시스템들 및 방법들을 사용할 수 있다. 외과의사는, 정렬에 만족할 때까지, 순차적 시간 간격으로 제2 구성부에 대한 제1 구성부의 위치를 갱신하기 위해 수술 부위를 다시 이미징할 수 있다. 다중 구성부의 관내인공삽입 임플랜트들의 오정렬된 구성부들의 문제를 완화시키기 위해 그러한 정렬이 수술장에서 수행될 수 있다.
제각기의 입력 영상들(30, 50, 70)로부터의 검출된 2D 정형외과적 요소(100)에 마스크 또는 아웃라인을 더하기 위해 심층학습 네트워크를 사용하는 것을 포함하는 특정의 예시적인 실시예들에서, 관내인공삽입 임플랜트의 식별된 정형외과적 요소(100) 구성부 및/또는 관내인공삽입 임플랜트의 2D 마스크들 또는 아웃라인들만이, 식별된 정형외과적 요소(100), 관내인공삽입 임플랜트의 구성부 및/또는 관내인공삽입 임플랜트의 볼륨(61)을 정의하기 위해 위의 도 7 및 도 8을 참조하여 기술된 방식으로 순차적으로 역투영될 수 있다. 이러한 예시적인 방식으로, 모델링된 정형외과적 요소(100b), 관내인공삽입 임플랜트의 모델링된 구성부 및/또는 모델링된 관내인공삽입 임플랜트가 생성될 수 있다.
도 11은 여러가지 모델링된 관내인공삽입 구성부들, 즉 모델링된 관골구 구성부(103b) 및 모델링된 대퇴골 구성부(104b)를 포함하는 모델링된 관내인공삽입 임플랜트(102b)의 클로즈업(close up)이다. 모델링된 관골구 구성부(103b)는 모델링된 관골구 쉘(106b) 및 모델링된 관골구 라이너(107b)를 포함한다. 모델링된 대퇴골 구성부(104b)는 모델링된 대퇴골 스템(115b), 모델링된 대퇴골 스템 넥(116b) 및 모델링된 인공 대퇴골두(113b)를 포함한다.
예시적인 시스템 또는 방법은 관골구의 중심을 계산하는 것을 더 포함할 수 있다. 그러한 예시적인 시스템 또는 방법은 대퇴골 스템 임플랜트의 종방향 회전축을 관골구의 중심과 정렬시키는 것을 더 포함할 수 있다. 또 다른 예시적인 시스템들 또는 방법들에서, 대퇴골 스템(115)의 종축은 대퇴골(105)의 종축과 정렬될 수(즉, 공선형(co-linear)일 수) 있다. 또 다른 예시적인 시스템들 및 방법들에서, 대퇴골 스템(115)의 넥의 회전축은 인공 대퇴골두(113)의 중심과 정렬될 수 있다. 또 다른 예시적인 시스템들 및 방법들에서, 인공 헤드(113)의 위치는 모 대퇴골두의 입력 영상들에 기초하여 질병 전단계의 모 대퇴골두와 (예를 들어, 수직으로) 정렬될 수 있다. 그러한 예시적인 실시예들에서, 대퇴골 스템(115)의 종축은 바람직하게 대퇴골(105)의 해부적 축과 공선형이고, 대퇴골 스템(115)은 바람직하게 약 10도 내지 약 30도, 바람직하게는 약 15도 내지 약 25도의 범위에서 전경각 U로 배치된다.
하나 이상의 중앙 처리 장치들(CPU), 랜덤 액세스 메모리(RAM) 및 입/출력(I/O) 인터페이스(들)과 같은 하드웨어를 가지는 컴퓨터 플랫폼은 수평면(transverse plane)을 따라 서로 다른 배향들로 취득된 적어도 2개의 2D 방사선사진 영상들을 수신할 수 있다. 배향들은 서로 직교할 수 있다(예를 들어, 제1 기준 프레임은 제2 기준 프레임에 비하여 90도의 옵셋 각도 를 가진다). 그러나, 정형외과적 요소들(100)이 고관절(101)을 포함하는 실시예들에서, 적어도 3개의 2D 방사선사진 입력 영상들이 반대편(contralateral) 관골구로부터의 간섭을 피하기 위해 바람직할 수 있다. 그러한 예시적인 실시예들에서, 옵셋 각도 는 인접한 기준 프레임들 중에서 바람직하게 45도일 수 있다. 다른 예시적인 실시예들에서는 다른 둔각의 또는 예각의 옵셋 각도들 가 사용될 수 있다.
도 12를 참조하면, 공간에서의 정형외과적 요소(100) 및 관내인공삽입 임플랜트의 구성부의 위치를 확인하기 위한 예시적인 시스템은, 에미터(21) 및 검출기(33)을 포함하는 (방사선사진 이미징 머신, 형광투시 머신 등과 같은) 조직 침투 이미징 머신(1800)을 포함할 수 있는데, 여기서 방사선사진 이미징 머신(1800)의 검출기(33)는 제1의 횡방향 위치(30a)에서(도 8 및 도 9a) 제1 입력 영상(30)(도 8 및 도 9a)을 캡쳐하고 제2의 횡방향 위치(50a)에서(도 8 및 도 9b) 제2 입력 영상(50)(도 8 및 도 9b)을 캡쳐하고, 제1 횡방향 위치(30a)는 제2 횡방향 위치(50a)로부터 옵셋 각도 만큼 옵셋되어 있다(도 8 참조). 적어도 3개의 입력 영상들을 수반하는 예시적인 실시예들에서, 방사선사진 이미징 머신(1800)의 검출기(33)는 제3의 횡방향 위치(70a)에서(도 8 및 도 9c) 제3 입력 영상(70)(도 8 및 도 9c)을 캡쳐하는데, 여기서 제3의 횡방향 위치(70a)는 제2의 횡방향 위치(50a) 및 제1의 횡방향 위치(30a)로부터 두개의 별도의 옵셋 각도들 , 만큼 옵셋되어 있다.
예시적인 시스템은 송신기(29)(도 12) 및 컴퓨테이셔널 머신(1600)을 더 포함할 수 있는데(더 상세한 사항에 대해서는 도 13 참조), 여기서 송신기(29)는 검출기(33)로부터 컴퓨테이셔널 머신(1600)으로 제1 입력 영상(30) 및 제2 입력 영상(50)(및 선택적으로 제3 입력 영상(70)이 있다면 이도 같이)을 전송하고, 컴퓨테이셔널 머신(1600)은 여기에 기술된 심층학습 방법들 중의 하나를 이용하여 정형외과적 요소(100a), 관내인공삽입 임플랜트의 구성부, 관내인공삽입 임플랜트의 구성부의 부구성부 또는 관내인공삽입 임플랜트 그 자체를 식별하도록 구성된다. 여기에 개시된 예시적인 시스템들이 수술전에, 수술장에서 및/또는 수술후에 사용될 수 있음이 인식될 것이다.
특정의 예시적인 실시예들에서, 예시적인 시스템은 디스플레이(19)를 더 포함할 수 있다.
도 12는 X선 튜브, 필터(26), 콜리메이터(27) 및 검출기(33)와 같은 X선 소스(21)를 포함하는 방사선사진 이미징 머신(1800)을 포함하는 예시적인 시스템의 개략적인 표현이다. 도 12에서, 방사선사진 이미징 머신(1800)은 위에서 아래쪽으로(top down) 도시되어 있다. 묘사된 방사선사진 이미징 머신(1800)은 조직 침투 이미징 머신의 유형이다. 환자(1)는 X선 소스(21) 및 검출기(33) 간에 배치된다. 방사선사진 이미징 머신(1800)은 회전가능한 갠트리(rotatable gantry)(28) 상에 장착될 수 있다. 방사선사진 이미징 머신(1800)은 제1 기준 프레임(30a)으로부터 환자(1)의 제1 방사선사진 입력 영상(30)을 취득할 수 있다. 그러면 갠트리(28)는 방사선사진 이미징 머신(1800)을 옵셋 각도만큼 회전시킬 수 있다. 그 다음, 방사선서진 이미징 머신(1800)은 제2 기준 프레임(50a)으로부터 제2 방사선사진 입력 영상(50)을 취득할 수 있다. 다른 예시적인 실시예들이 복수의 옵셋 각도 에서 취득된 복수의 입력 영상을 사용하는 것을 포함할 수 있음이 인식될 것이다. 예를 들어, 고관절치환술에서, 방사선사진 이미징 머신(1800)은 제3 기준 프레임(70a)으로부터 제3 방사선사진 입력 영상들(70)을 캡쳐하기 위해 더욱 회전될 수 있다(또는 환자가 회전될 수 있다). 그러한 실시예들에서, 옵셋 각도는 인접한 입력 영상들 간에서 90도 보다 더 적거나 90도 보다 더 클 수 있다.
옵셋 각도가 모든 실시예에서 정확히 90도일 필요는 없음이 인식될 것이다. 플러스 또는 마이너스 45도인 범위 내의 값을 가진 옵셋 각도는 충분한 것으로 생각된다. 다른 예시적인 실시예들에서, 운용자는 방사선사진 이미징 기법을 사용하여 정형외과적 요소의 2개 보다 많은 개수의 영상들을 취득할 수 있다. 제2 영상 이후의 각각의 후속하는 영상이 후속하는 영상 기준 프레임을 정의할 수 있음으로 생각된다. 예를 들어, 제3 영상은 제3 기준 프레임을 정의할 수 있고, 제4 영상은 제4 기준 프레임을 정의할 수 있고, n번째 영상은 n번째 기준 프레임을 정의할 수 있는 등등이다.
3개의 입력 영상들 및 3개의 별개의 기준 프레임들을 포함하는 다른 예시적인 실시예들에서, 3개의 입력 영상들의 각각은 서로에 대해 약 60도의 옵셋 각도 를 가질 수 있다. 4개의 입력 영상들 및 4개의 별개의 기준 프레임들을 포함하는 몇몇의 예시적인 실시예들에서, 옵셋 각도 는 인접하는 기준 프레임으로부터 45도일 수 있다. 5개의 입력 영상들 및 5개의 별개의 기준 프레임들을 포함하는 예시적인 실시예에서, 옵셋 각도 는 인접한 기준 프레임으로부터 약 36도일 수 있다. n개의 영상들 및 n개의 별개의 기준 프레임들을 포함하는 예시적인 실시예들에서, 옵셋 각도 는 180/n도일 수 있다.
복수의 영상, 특히 2개 보다 많은 영상들을 수반하는 실시예들이 반드시 정규의 그리고 일치하는 옵셋 각도들을 가져야 할 필요가 없는 것으로 더욱 생각된다. 예를 들어, 4개의 영상들과 4개의 별개의 기준 프레임들을 수반하는 예시적인 실시예는 85도에서 제1 옵셋 각도를 가지고 75도에서 제2 옵셋 각도를 가지고 93도에서 제3 옵셋 각도를 가지고 107도에서 제4 옵셋 각도를 가질 수 있다.
그 후 송신기(29)는 제1 입력 영상(30) 및 제2 입력 영상(50)을 컴퓨테이셔널 머신(1600)에 전송한다. 컴퓨테이셔널 머신(1600)은 정형외과적 요소(100a), 관내인공삽입 임플랜트의 구성부, 관내인공삽입 임플랜트의 구성부의 부구성부 또는 관내인공삽입 임플랜트 그 자체를 본 개시와 일관되는 방식으로 식별하기 위해 심층학습 네트워크를 사용할 수 있다.
도 12는 컴퓨테이셔널 머신(1600)으로부터의 출력 데이터가 디스플레이(19)로 전송되는 다른 실시예를 또한 묘사한다. 디스플레이(19)는 모델링된 관내인공삽입 임플랜트(102b)를 묘사할 수 있다. 디스플레이는 선택적으로, 식별된 관내인공삽입 임플랜트, 관내인공삽입 임플랜트의 구성부 또는 그 부고성부 또는 하나 이상의 정형외과적 요소들을 포함하나 그에 제한되지 않는, 여기에 기술된 예시적인 시스템들 및 방법들에 의해 식별되는 항목들의 임의의 것을 표시할 수 있다. 예시적인 실시예들에서, 관내인공삽입 임플랜트의 식별된 구성부 또는 관내인공삽입 임플랜트의 구성부의 대표 모델이, 관내인공삽입 임플랜트의 구성부가 놓여질 식별된 정형외과적 요소(예를 들어, 각각 대퇴골 구성부 및 근위 대퇴골) 상에 겹쳐 놓일 수 있음으로 생각된다. 중첩(superimposition)은, 제각기의 식별된 요소들(예를 들어, 관내인공삽입 임플랜트의 구성부가 놓여질 관내인공삽입 임플랜트의 구성부 및 정형외과적 요소)의 맵핑된 공간 데이터를 이용하여 계산되고 표시될 수 있다.
이러한 방식으로, 외과의사와 수술실에 있는 다른 사람들은 관내인공삽입 임플랜트의 구성부 및 타겟 정형외과적 요소의 3차원으로의 거의 실시간 시각화 및 그들의 서로에 대한 정렬을 가질 수 있다.
더욱이, 관내인공삽입 임플랜트의 식별된 구성부의 공간 데이터 때문에 그리고 식별된 정형외과적 요소의 공간 데이터가 여기에 기술된 예시적인 시스템들로부터 획득될 수 있기 때문에, 예시적인 시스템 실시예들에서 정렬의 정도는 계산되고 나아가 디스플레이 상에 디스플레이될 수 있다. 예를 들어, 관내인공삽입 임플랜트의 식별된 구성부의 계산된 외전각 가 디스플레이 상에 표시될 수 있다. 다른 예로서, 관내인공삽입 임플랜트의 식별된 구성부의 계산된 전경각 U가 디스플레이(19) 상에 표시된다. 또 다른 예로서, 인공 헤드(113)의 수직 위치는 수술전 계획 입력 영상들(30, 50, 70)에 기초하여 수술 대상의 고관절의 모 대퇴골두(126 참조)의 재구성된 3D 영상 상에 표시되고 중첩되어 놓일 수 있다. 또 다른 예로서, 디스플레이(19)는 선택적으로, 100퍼센트에 다다르는 또는 그에 근접한 퍼센티지가 기준 정형외과적 요소에 대한 관내인공삽입 임플랜트의 식별된 구성부(예를 들어, 대퇴골 구성부(104))의 정렬을 반영하는, 최적합 퍼센티지를 표시할 수 있다.
예를 들어, 관내인공삽입 임플랜트의 식별된 구성부가 대퇴골 구성부(104)인 실시예들에서, 기준 정형외과적 요소는 수술전의 계획 입력 영상들로부터 본 개시의 실시예들의 임의의 것에 따라 식별되고 재구성된 수술 대상의 고관절의 모 근위 대퇴골(native proximal femur)(105)일 수 있다. 그러한 예시적인 실시예들에서, 정렬 최적합 퍼센티지는 식별된 대퇴골 구성부(104)의 전경각 U, 대퇴골(105)의 해부 축에 대한 대퇴골 구성부(104)의 대퇴골 스템(115)의 내반-외반 위치(varus-valgus position), 수술 대상의 고관절(101)의 대퇴골(105)의 골수내 관에서의 대퇴골 스템(115)의 전방-후방 각도 및 절제(resection) 전의 수술 대상의 고관절(101)의 모 대퇴골두(126 참조)에 대한 인공 대퇴골두(113)의 수직, 수평 및 전방-후방 위치를 고려할 수 있다. 디스플레이(19)에 디스플레이될 수 있는 것의 전술한 실시예들의 임의의 것들의 조합들은 본 개시의 범위 내에 있는 것으로 고려된다.
관내인공삽입 임플랜트의 식별된 구성부가 고관절 임플랜트의 대퇴골 구성부이고 식별된 정형외과적 요소가 대퇴골 구성부가 삽입되어 놓여질 근위 대퇴골인 실시예들에서, 예시적인 시스템들은 대퇴골의 해부적 축(즉, 대퇴골의 골수내 관을 통해 연장되는 대퇴골의 중심 축)에 대한 대퇴골 구성부의 종 축의 내반 또는 외반 각도를 표시할 수 있다.
예시적인 시스템들은 하나 이상의 데이터베이스들을 더 포함할 수 있다. 하나 이상의 데이터베이스들은 관내인공삽입 임플랜트의 구성부들의 유형들의 목록 및 관내인공삽입 임플랜트의 구성부들의 목록에 있는 구성부들의 유형들(예를 들어, 특정 구성부의 서로 다른 제품 모델들)에 대한 연관된 구성부 크기 치수들을 포함할 수 있다. 예시적인 실시예들에서, 데이터베이스는 관내인공삽입 임플랜트의 구성부의 하나의 특정 유형의 구성부들에 대한 크기들의 목록을 포함할 수 있다.
컴퓨테이셔널 머신은 관내인공삽입 임플랜트의 식별된 구성부의 치수들을 데이터베이스에 저장된 값들과 비교할 수 있다. 그 후, 컴퓨테이션 머신은, 관내인공삽입 임플랜트의 식별된 구성부의 치수들이 데이터베이스에 저장된 값들의 치수들에 얼마나 근접하게 매치되는지에 기초하여 데이터베이스에 저장된 값들로부터 구성부의 권고된 유형 및/또는 특정 구성부의 권고된 크기를 선택하거나 표시할 수 있다. 이러한 방식으로, 컴퓨테이셔널 머신(1600)은 3차원 공간에서의 식별된 정형외과적 요소의 결정된 크기 치수들에 기초하여 관내인공삽입 임플랜트의 구성부의 권고된 유형을 '선택하도록 구성된다고' 말할 수 있다. 유사하게, 이러한 방식으로, 컴퓨테이셔널 머신(1600)은 3차원 공간에서의 식별된 정형외과적 요소의 결정된 크기 치수들에 기초하여 '관내인공삽입 임플랜트의 구성부의 크기를 권고하도록 구성된다고' 말할 수 있다.
이러한 디스플레이(19)는 스크린의 형태를 취할 수 있다. 다른 예시적인 실시예들에서, 디스플레이(19)는 수술실에 있는 외과의사 또는 다른 사람들이 착용하거나 소지하는 유리 또는 플라스틱 표면을 포함할 수 있다. 그러한 디스플레이(19)는, 디스플레이가 착용자의 시야뿐만 아니라 3D 모델을 보여주도록, 증강현실 장치의 일부를 포함할 수 있다. 특정 실시예들에서, 그러한 3D 모델은 실제의 수술 대상의 고관절 상에 중첩되어 놓여질 수 있다. 또 다른 예시적인 실시예들에서, 3D 모델은 수술 대상의 정형외과적 요소(100)의 하나 이상의 특징들에 고정될("locked") 수 있어서, 디스플레이(19)의 움직임에 무관하게 수술 대상의 정형외과적 요소(100)의 하나 이상의 특징들에 대한 3D 모델의 가상 위치를 유지하게 된다. 디스플레이(19)는, 시야의 전체가 모사되는 가상현실 시스템의 일부를 포함할 수 있다고 더욱 생각된다.
X선 방사선사진들이 CT 스캔들에 비해 상대적으로 비싸지 않기 때문에 그리고 투시조영 시스템과 같은 몇몇 X선 이미징 시스템들을 위한 장비가 수술장에서 사용하기에 일반적으로 충분히 컴팩트하기 때문에 X선 이미징 시스템으로부터의 X선 방사선사진들이 바람직할 수 있으나, 달리 명시적으로 청구되지(claimed) 않는 이상 본 개시에서의 어떤 것도 2D 영상들의 사용을 X선 방사선사진들로 제한하지 않고 본 개시의 어떤 것도 이미징 시스템의 유형을 X선 이미징 시스템으로 제한하지 않는다. 다른 2D 영상들은, 예로서 CT 영상들, CT 투시조영 영상들, 투시조영 영상들, 초음파 영상들, PET(positron emission tomography) 영상들 및 MRI 영상들을 포함할 수 있다. 다른 이미징 시스템들은, 예로서 CT, CT 투시조영, 투시조영, 초음파, PET 및 MRI 시스템들을 포함할 수 있다.
바람직하게, 예시적인 방법들은, 하나 이상의 중앙 처리 장치들(CPU), RAM 및 입력/출력(I/O) 인터페이스(들)과 같은 하드웨어를 가지는 컴퓨터 플랫폼(예를 들어, 컴퓨테이셔널 머신(1600)) 상에서 구현될 수 있다. 예시적인 컴퓨테이셔널 머신(1600)을 위한 구조의 예는 도 7을 참조하여 이하에서 제공된다.
도 13은 여기서 논의된 방법들의 하나 이상이 몇몇 예시적인 실시예들에 따라 수행될 수 있는 예시적인 컴퓨테이셔널 머신(1600)의 블록도를 일반적으로 나타낸다. 특정의 예시적인 실시예들에서, 컴퓨테이셔널 머신(1600)은 단일의 머신 상에서 동작할 수 있다. 다른 예시적인 실시예들에서, 컴퓨테이셔널 머신(1600)은 연결된(예를 들어, 네트워킹된(networked)) 머신들이다. 예시적인 컴퓨테이셔널 머신을 포함할 수 있는 네트워킹된 머신들의 예들은, 예로서 클라우드 컴퓨팅 구조들, 분산 호스팅 구조들 및 다른 컴퓨터 클러스터 구조들을 포함한다. 네트워킹된 구조에서, 컴퓨테이셔널 머신(1600)의 하나 이상의 머신들은 클라이언트 머신, 서버 머신 또는 서버-클라이언트 머신 모두의 책임하에 동작할 수 있다. 예시적인 실시예들에서, 컴퓨테이셔널 머신(1600)은 개인 컴퓨터(PC), 이동전화, 태블릿 PC, 웹 어플라이언스, PDA(personal digital assistance), 네트워크 라우터, 브릿지, 스위치 또는 상기 머신 또는 상기 머신에 의해 제어되는 제2 머신에 의해 착수될 동작들을 지정하는 명령어들을 실행할 수 있는 임의의 머신 상에 상주할 수 있다.
예시적인 컴퓨테이셔널 머신들(1600)을 포함할 수 있는 예시적인 머신들은, 예로서 논리 기능들을 수행할 수 있는 컴포넌트들, 모듈들 또는 유사한 메커니즘들을 포함할 수 있다. 그러한 머신들은 동작중에 지정된 동작들을 수행할 수 있는 유형의 엔티티들(예를 들어, 하드웨어)을 포함할 수 있다. 예로서, 하드웨어는 특정의 동작을 실행하기 위해 하드와이어링될(hardwired) 수 있다(예를 들어, 특수하게 구성될 수 있다). 예로서, 그러한 하드웨어는 구성가능한 실행 미디어(예를 들어, 회로들, 트랜지스터들, 논리 게이트들 등) 및 명령어들을 가지는 컴퓨터 판독가능 매체를 가질 수 있는데, 여기서 명령어들은 실행 미디어가 동작중에 특정의 동작을 수행하게 하도록 실행 미디어를 구성할(configure) 수 있다. 구성(configuration)은 로딩 메커니즘을 통해 또는 실행 미디어의 감독 하에 일어날 수 있다. 실행 미디어는 머신이 동작할 때 컴퓨터 판독가능 매체와 선택적으로 통신한다. 예로서, 머신이 동작중일 때, 실행 미디어는, 제1 시점에서 제1 동작 또는 동작들의 세트를 실행하도록 명령어들의 제1 세트에 의해 구성될 수 있고 그 후 제2 동작 또는 동작들의 세트를 실행하기 위해 명령어들의 제2 세트에 의해 제2 시점에서 재구성될 수 있다.
예시적인 컴퓨테이셔널 머신(1600)은 하드웨어 프로세서(1697)(예를 들어, CPU, GPU(graphics processing unit), 하드웨어 프로세서 코어 또는 그 임의의 조합), 메인 메모리(1696) 및 스태틱 메모리(1695)를 포함할 수 있는데, 이들의 몇몇 또는 모두는 인터링크(1694)(예를 들어, 버스)를 통해 서로 통신할 수 있다. 컴퓨테이셔널 머신(1600)은 디스플레이 유니트(1698), 입력 장치(1691)(바람직하게, 알파뉴머릭 또는 키보드와 같은 캐릭터 뉴머릭 입력 장치) 및 사용자 인터페이스(UI) 네비게이션 장치(1699)(예를 들어, 마우스 또는 스틸러스)를 더 포함할 수 있다. 예시적인 실시예에서, 입력 장치(1691), 디스플레이 유니트(1698) 및 UI 네비게이션 장치(1699)는 터치스크린 디스플레이일 수 있다. 예시적인 실시예들에서, 디스플레이 유니트(1698)는 홀로그래픽 렌즈들, 글래스들, 고글들, 다른 아이웨어(eyewear) 또는 다른 AR 또는 VR 디스플레이 컴포넌트들을 포함할 수 있다. 예를 들어, 디스플레이 유니트(1698)는 사용자의 머리에 착용될 수 있고 사용자에게 헤드업 디스플레이를 제공할 수 있다. 입력 장치(1691)는 가상 키보드(예를 들어, 가상현실(VR) 또는 증강현실(AR) 세팅에서 가상으로 디스플레이되는 키보드) 또는 다른 가상 입력 인터페이스를 포함할 수 있다.
컴퓨테이셔널 머신(1600)은 저장 장치(1692)(예를 들어, 드라이브 유니트), 신호 발생기(1689)(예를 들어, 스피커), 네트워크 인터페이스 장치(1688) 및 GPS(global positioning system) 센서, 가속도계, 컴퍼스(compass) 또는 다른 센서와 같은 하나 이상의 센서들(1687)을 더 포함할 수 있다. 컴퓨테이셔널 머신(1600)은, 하나 이상의 보조 장치들과 통신하고 그들을 제어하기 위해, 시리얼(예를 들어, USB(universal serial bus)), 병렬 또는 다른 유선 또는 무선(예를 들어, 적외선(IR) 근거리장통신(NFC), 무선 등) 접속과 같은 출력 제어기(1684)를 포함할 수 있다.
저장 장치(1692)는 비일시적인 머신 판독가능한 매체(1683)를 포함할 수 있는데, 머신 판독가능한 매체(1683) 상에는 여기에 기술된 기능들 또는 방법들의 임의의 하나 이상을 구현하거나 그에 의해 활용되는 데이터 구조들 또는 명령들의 하나 이상의 세트들(1682)(예를 들어, 소프트웨어)이 저장된다. 명령어들(1682)은, 컴퓨테이셔널 머신(1600)에 의한 그 실행 중에, 메인 메모리(1696) 내에, 스태틱 메모리(1695) 내에 또는 하드웨어 프로세서(1697) 내에 전적으로 또는 적어도 부분적으로 상주할 수 있다. 예로서, 하드웨어 프로세서(1697), 메인 메모리(1696), 스태틱 메모리(1695) 또는 저장 장치(1692)의 하나 또는 임의의 조합은 머신 판독가능한 매체를 구성할 수 있다.
머신 판독가능한 매체(1683)가 단일의 매체로서 예시되어 있지만, '머신 판독가능한 매체'라는 용어는 하나 이상의 명령어들(1682)를 저장하도록 구성된 단일의 매체 또는 복수의 매체(예를 들어, 분산형 또는 중앙집중형 데이터베이스 또는 연관된 캐시들 및 서버들)를 포함할 수 있다.
'머신 판독가능한 매체'라는 용어는, 컴퓨테이셔널 머신(1600)에 의해 실행되기 위한 명령어들을 저장하거나 인코딩하거나 실을 수 있고 컴퓨테이셔널 머신(1600)으로 하여금 본 개시의 방법들의 임의의 하나 이상을 수행하게 야기하고 또는 그러한 명령어들에 의해 사용되는 또는 그러한 명령어들과 연관된 데이터 구조들을 저장하거나 인코딩하거나 실을 수 있는 임의의 매체를 포함할 수 있다. 머신 판독가능한 매체의 비제한적인 예시적인 리스트는, 자기 매체, 광학 매체, 솔리드 스테이트 메모리들, 반도체 메모리 장치들(예를 들어, EEPROM(electronically erasable programmable read-only memory), EPROM(electronically programmable read-only memory) )과 같은 비휘발성 메모리, 내부 하드 디스크들 및 착탈식 디스크들과 같은 자기 디스크들, 플래시 저장 장치들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함할 수 있다.
명령어들(1682)은, 나아가, 여러 트랜스퍼 프로토콜들(예를 들어, IP(internet protocol), UDP(user datagram protocol), 프레임 릴레이(frame relay), TCP(transmission control protocol), HTTP(hypertext transfer protocol) 등) 중의 임의의 하나를 이용하여 네트워크 인터페이스 장치(1688)를 통해 전송 매체를 이용하여 통신 네트워크(1681)를 통해 전송되거나 수신될 수 있다. 예시적인 통신 네트워크들은, WAN(wide area network), POTS(plain old telephone) 네트워크, LAN(local area network), 패킷 데이터 네트워크, 이동전화 네트워크(mobile telephone network), 무선 데이터 네트워크(wireless data network) 및 P2P(peer-to-peer) 네트워크를 포함할 수 있다. 예로서, 네트워크 인터페이스 장치(1688)는 하나 이상의 물리적 잭(jacks)(예를 들어, 이더넷, 동축 또는 전화 잭들) 또는 통신 네트워크(1681)에 접속하기 위한 하나 이상의 안테나들을 포함할 수 있다.
예로서, 네트워크 인터페이스 장치(1688)는 SIMO(single-input multiple-output) 또는 MISO(multiple-input single output) 방법들 중 적어도 하나를 이용하여 무선으로 통신하기 위해 복수의 안테나를 포함할 수 있다. '전송 매체'라는 문구는, 컴퓨테이셔널 머신(1600)에 의해 실행되기 위한 명령어들을 저장하거나 인코딩하거나 실을 수 있는 임의의 무형의 매체를 포함하고 그러한 소프트웨어의 통신을 용이하게 하기 위한 애널로그 또는 디지털 통신 신호 또는 다른 무형의 매체를 포함한다.
본 개시에 따른 예시적인 방법들은 적어도 부분적으로 머신에 의해 또는 컴퓨터에 의해 구현될 수 있다. 몇몇 예들은, 전자 장치로 하여금 여기에 기술된 예시적인 방법들을 수행하게 하도록 그러한 전자 장치를 구성하도록 동작가능한 명령어들로 인코딩된 컴퓨터 판독가능한 매체 또는 머신 판독가능한 매체를 포함할 수 있다. 그러한 예시적인 방법의 예시적인 구현은, 어셈블리어 코드, 마이크로 코드, 고급 언어 코드 또는 다른 코드와 같은 코드를 포함할 수 있다. 그러한 코드는 다양한 방법들을 수행하기 위한 컴퓨터 판독가능한 명령어들을 포함할 수 있다. 이 코드는 컴퓨터 프로그램 제품들의 부분들을 형성할 수 있다. 심층학습 네트워크의 방법들 및 계산들을 수행하기 위한 컴퓨터 판독가능한 명령어들을 실행할 수 있는 컴퓨테이셔널 머신(1600)은 심층학습 네트워크를 '실행하도록 구성된다고' 말할 수 있다. 더욱이, 일 예에서, 이 코드는, 실행동안 또는 다른 시간 동안에 휘발성의, 비일시적인 또는 비휘발성의 유형의 컴퓨터 판독가능한 매체 상에 또는 그에 유형적으로 저장될 수 있다. 이러한 유형의 컴퓨터 판독가능한 매체의 예들은, 착탈식 광학 디스크들(예를 들어, 컴팩트 디스크들 및 디지털 비디오 디스크들), 하드 드라이브들, 착탈식 자기 디스크들, 메모리 카드들 또는 스틱들을 포함할 수 있으나 이에 제한되지 않고, 착탈식 플래시 저장 장치들, 자기 카세트들, RAM들, ROM들 및 다른 매체들을 포함할 수 있다.
여기에 개시된 예시적인 방법들이 수술전의 계획 세우기, 수술장에서의 계획 세우기 또는 실행 또는 임플랜트 배치 및 기능의 수술 후 평가를 위해 사용될 수 있다고 더욱 생각된다.
정형외과적 요소의 공간에서의 위치를 확인하기 위한 예시적인 방법은, 공간 데이터를 정의하기 위해 영상 포인트들 및 대응하는 공간 좌표들 간의 맵핑 관계를 결정하기 위해 방사선사진 이미징 머신을 캘리브레이션하는 것, 방사선사진 이미징 기법을 이용하여 정형외과적 요소의 제1 영상을 캡쳐하는 것 - 제1 영상은 제1 기준 프레임을 정의함 -, 방사선사진 이미징 기법을 이용하여 정형외과적 요소의 제2 영상을 캡쳐하는 것 - 제2 영상은 제2 기준 프레임을 정의하고, 제1 기준 프레임은 제2 기준 프레임으로부터 옵셋 각도에서 옵셋되어 있음 -, 공간 데이터를 이용하여 정형외과적 요소를 검출하기 위해 심층학습 네트워크를 이용하는 것 - 이 공간 데이터는 정형외과적 요소 상에서 또는 그에서 해부적 랜드마크들을 정의함 -, 해부적 랜드마크에 의해 정의되는 정형외과적 요소에 마스크를 적용하기 위해 심층학습 네트워크를 이용하는 것, 볼륨 데이터를 정의하기 위해 원하는 정형외과적 요소의 제1 영상으로부터 공간 데이터를 투영시키고 원하는 정형외과적 요소의 제2 영상으로부터 공간 데이터를 투영시키는 것 - 제1 영상 또는 제2 영상의 마스킹된 영역 내에 배치된 영상 포인트들을 포함하는 공간 데이터는 제1 값을 가지고, 제1 영상 또는 제2 영상의 마스킹된 영역 밖에 배치된 영상 포인트들을 포함하는 공간 데이터는 제2 값을 가지고, 제1 값은 제2 값과 다름 -, 정형외과적 요소의 재구성된 3차원 모델을 생성하기 위해 볼륨 데이터에 심층학습 네트워크를 적용하는 것, 및 정형외과적 요소의 3차원 모델을 공간 데이터로 맵핑시키는 것을 포함할 수 있다.
예시적인 실시예에서, 예시적인 방법은 제1 영상 및 제2 영상에 대해 스타일 전사(style transfer)를 수행하기 위해 심층학습 네트워크를 이용하는 것을 더 포함할 수 있다. 예시적인 실시예에서, 스타일 전사는 방사선사진 이미징 기법으로부터 공간 데이터를 동적 디지털 방사선사진 데이터로 변환한다.
예시적인 실시예에서, 제1 값은 양의 값이다.
예시적인 실시예에서, 제2 값은 음의 값이다.
예시적인 실시예에서, 예시적인 방법은 재구성된 3차원 모델을 디스플레이 상에 투영시키는 것을 더 포함한다.
예시적인 실시예에서, 심층학습 네트워크는 합성곱 신경망을 포함한다.
예시적인 실시예에서, 방사선사진 이미징 기법은 투시조영(fluoroscopy)이다.
예시적인 실시예에서, 본 방법은 수술중에 수행된다.
예시적인 실시예에서, 정형외과적 요소는 관절의 관골구이다.
예시적인 실시예에서, 예시적인 방법은 관골구의 중심을 계산하는 것을 더 포함한다.
예시적인 실시예에서, 예시적인 방법은 대퇴골 스템(예를 들어, 관내인공삽입 임플랜트의 구성부)의 넥의 종방향 회전축을 관골구의 중심과 정렬시키는 것을 더 포함한다.
예시적인 실시예에서, 예시적인 방법은 관골구 쉘(예를 들어, 관내인공삽입 임플랜트의 구성부)을 환자의 확공된 관골구와 정렬시키는 것을 더 포함한다.
예시적인 실시예에서, 예시적인 방법은 환자의 확공된 근위 대퇴골의 골수내 관에서 대퇴골 스템(예를 들어, 관내인공삽입 임플랜트의 구성부)을 정렬시키는 것을 더 포함한다.
예시적인 실시예에서, 본 방법은 대퇴골 스템(예를 들어, 관내인공삽입 임플랜트의 구성부)의 종축을 대퇴골의 해부적(즉, 중심) 축과 정렬시키는 것을 더 포함한다.
공간에서의 정형외과적 요소의 위치를 확인하기 위한 예시적인 방법은, 공간 데이터를 정의하기 위해 영상 포인트들 및 대응하는 공간 좌표들 간의 맵핑 관계를 결정하기 위해 방사선사진 이미징 머신을 캘리브레이션하는 것, 정형외과적 요소의 제1 영상을 캡쳐하기 위해 방사선사진 이미징 기법을 이용하는 것 - 제1 영상은 제1 기준 프레임을 정의함 -, 정형외과적 요소의 제2 영상을 캡쳐하기 위해 방사선사진 이미징 기법을 이용하는 것 - 제2 영상은 제2 기준 프레임을 정의하고, 제1 기준 프레임은 제2 기준 프레임으로부터 옵셋 각도에서 옵셋되어 있음 -, 공간 데이터를 이용하여 정형외과적 요소를 검출하기 위해 신경망을 이용하는 것 - 상기 공간 데이터는 정형외과적 요소 상에서 또는 그에서 해부적 랜드마크를 정의함 -, 해부적 랜드마크에 의해 정의되는 정형외과적 요소에 마스크를 적용하기 위해 심층학습 네트워크를 이용하는 것, 볼륨 데이터를 정의하기 위해 원하는 정형외과적 요소의 제1 영상으로부터 공간 데이터를 투영하고 원하는 정형외과적 요소의 제2 영상으로부터 공간 데이터를 투영하는 것 - 제1 영상 또는 제2 영상의 마스킹된 영역 내에 배치된 영상 포인트들을 포함하는 공간 데이터는 양의 값을 가지고, 제1 영상 또는 제2 영상의 마스킹된 영역 밖에 배치된 영상 포인트들을 포함하는 공간 데이터는 음의 값을 가짐 -, 정형외과적 요소의 3차원 모델을 생성하기 위해 볼륨 데이터에 심층학습 네트워크를 적용하는 것, 및 정형외과적 요소의 3차원 모델을 공간 데이터로 맵핑시키는 것 - 정형외과적 요소는 골반의 관골구임 - 을 포함한다.
예시적인 실시예에서, 정형외과적 요소는 수술 절차 중에 절제되거나 확공된다.
예시적인 실시예에서, 본 방법은 제1 영상 및 제2 영상에 대해 스타일 전사를 수행하기 위해 심층학습 네트워크를 이용하는 것을 더 포함한다.
예시적인 실시예에서, 스타일 전사는 방사선사진 이미징 기법으로부터 공간 데이터를 동적 디지털 방사선사진 데이터로 변환한다.
예시적인 실시예에서, 제1 값은 양의 값이다.
예시적인 실시예에서, 제2 값은 음의 값이다.
예시적인 실시예에서, 본 방법은 재구성된 3차원 모델을 디스플레이 상에 투영시키는 것을 더 포함한다.
예시적인 실시예에서, 심층학습 네트워크는 합성곱 신경망을 포함한다.
예시적인 실시예에서, 방사선사진 이미징 기법은 투시조영이다.
예시적인 실시예에서, 본 방법은 수술중에 수행된다.
예시적인 실시예에서, 본 방법은 관골구의 중심을 계산하는 것을 더 포함한다.
예시적인 실시예에서, 본 방법은 대퇴골 스템의 넥의 종방향 회전축을 인공 대퇴골두의 중심과 회전식으로(rotationally) 정렬시키고 대퇴골 스템의 종축을 대퇴골 스템이 배치되는 대퇴골의 골수내 관의 해부적 축과 정렬시키는 것을 더 포함한다.
예시적인 실시예에서, 예시적인 방법은 관골구 쉘(예를 들어, 관내인공삽입 임플랜트의 구성부)을 환자의 확공된 관골구와 정렬시키는 것을 더 포함한다.
예시적인 실시예에서, 예시적인 방법은 환자의 확공된 근위 대퇴골의 골수내 관에서 대퇴골 스템(예를 들어, 관내인공삽입 임플랜트의 구성부)을 정렬시키는 것을 더 포함한다.
예시적인 실시예에서, 본 방법은 대퇴골 스템(예를 들어, 관내인공삽입 임플랜트의 구성부)의 종축을 대퇴골 스템이 배치되는 대퇴골의 해부적 축과 정렬시키는 것을 더 포함한다.
정형외과적 요소 및 관내인공삽입 임플랜트의 구성부의 공간에서의 위치를 확인하기 위한 예시적인 시스템은, 조직 침투 이미징 머신, 제1 입력 영상 - 상기 제1 입력 영상은 제1 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제1 영상은 캘리브레이션 지그(calibration jig)를 표시함 -, 제2 입력 영상 - 상기 제2 입력 영상은 제2 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제2 기준 프레임은 상기 제1 기준 프레임으로부터 옵셋되어 있고, 상기 제2 영상은 상기 캘리브레이션 지그를 표시함 -, 및 심층학습 네트워크를 가동시키도록 구성된 컴퓨테이셔널 머신(computational machine) - 상기 심층학습 네트워크는, 정형외과적 요소 및 관내인공삽입 임플랜트의 구성부를 식별하여 식별된 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 식별된 구성부를 정의하고, 3차원 공간에서의 상기 식별된 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 상기 식별된 구성부의 위치를 결정하기 위해 상기 식별된 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 상기 식별된 구성부를 상기 제1 입력 영상 및 상기 제2 입력 영상에 의해 확인되는 공간 데이터로 맵핑하도록 구성됨 - 을 포함한다.
예시적인 실시예에서, 상기 시스템은 제3 입력 영상을 더 포함하고, 상기 제3 입력 영상은 제3 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제3 영상은 상기 캘리브레이션 지그를 표시한다.
상기 시스템의 예시적인 실시예에서, 상기 심층학습 네트워크는, 복수의 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 복수의 구성부를 식별하여 복수의 식별된 정형외과용 요소 및 상기 관내인공삽입 임플랜트의 복수의 식별된 구성부를 정의하도록 더 구성된다.
상기 시스템의 추가의 예시적인 실시예들에서, 상기 관내인공삽입 임플랜트의 상기 복수의 식별된 구성부의 제1의 식별된 구성부는 고관절 관내인공삽입 임플랜트(hip endoprosthetic implant)의 관골구 구성부(acetabular component)이고, 상기 관내인공삽입 임플랜트의 상기 복수의 식별된 구성부의 제2의 식별된 구성부는 고관절 관내인공삽입 임플랜트의 대퇴골 구성부(femoral component)이다.
상기 시스템의 예시적인 실시예에서, 상기 관내인공삽입 임플랜트의 상기 식별된 구성부는 관골구 쉘(acetabular shell)이고, 상기 식별된 정형외과적 요소는 상기 관골구 쉘에 인접한 확공된 관골구(reamed acetabulum)이다.
상기 시스템의 예시적인 실시예에서, 상기 관내인공삽입 임플랜트의 상기 식별된 구성부는 대퇴골 스템(femoral stem)이고, 상기 식별된 정형외과적 요소는 상기 대퇴골 스템에 인접한 대퇴골(femur)의 골수내 관(intramedullary canal)이다.
상기 시스템의 예시적인 실시예에서, 상기 식별된 정형외과적 요소는 3차원으로 모델링되어 모델링된(modeled) 정형외과적 요소를 정의한다.
예시적인 실시예에서, 상기 모델링된 정형외과적 요소는 디스플레이 상에 디스플레이된다.
예시적인 실시예에서, 상기 관내인공삽입 임플랜트의 상기 식별된 구성부는 3차원으로 모델링되어 상기 관내인공삽입 임플랜트의 모델링된 구성부를 정의한다.
예시적인 실시예에서, 상기 관내인공삽입 임플랜트의 상기 모델링된 구성부는 디스플레이 상에 디스플레이된다.
예시적인 실시예에서, 상기 관내인공삽입 임플랜트의 상기 식별된 구성부의 계산된 외전각(calculated abduction angle)이 디스플레이 상에 디스플레이된다.
예시적인 실시예에서, 상기 관내인공삽입 임플랜트의 상기 식별된 구성부의 계산된 전경각(calculated anteversion angle)이 디스플레이 상에 디스플레이된다.
환자에게 수술적으로(surgically) 임플랜트될 관내인공삽입 임플랜트의 구성부의 유형(type)을 추천하기 위한 예시적인 시스템은, 조직 침투 이미징 머신, 제1 입력 영상 - 상기 제1 입력 영상은 제1 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제1 영상은 캘리브레이션 지그(calibration jig)를 표시함 -, 제2 입력 영상 - 상기 제2 입력 영상은 제2 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제2 기준 프레임은 상기 제1 기준 프레임으로부터 옵셋되어 있고, 상기 제2 영상은 상기 캘리브레이션 지그를 표시함 -, 심층학습 네트워크를 가동시키도록 구성된 컴퓨테이셔널 머신(computational machine) - 상기 심층학습 네트워크는, 정형외과적 요소를 식별하여 식별된 정형외과적 요소를 정의하고, 3차원 공간에서의 상기 식별된 정형외과적 요소의 결정된 크기 치수들을 정의하기 위해 상기 식별된 정형외과적 요소를 상기 제1 입력 영상 및 상기 제2 입력 영상에 의해 확인되는 공간 데이터로 맵핑하도록 구성됨 -, 및 데이터베이스 - 상기 데이터베이스는 관내인공삽입 임플랜트의 구성부들의 유형들의 목록 및 상기 관내인공삽입 임플랜트의 구성부들의 상기 목록에 있는 구성부들의 상기 유형들에 대한 연관된 구성부 크기 치수들(size dimensions)을 포함함 - 를 포함하고, 상기 컴퓨테이셔널 머신은 상기 식별된 정형외과적 요소의 3차원 공간에서의 상기 결정된 크기 치수들에 기초하여 관내인공삽입 임플랜트의 구성부의 추천된 유형(recommended type)을 선택하도록 더 구성된다.
예시적인 실시예에서, 상기 시스템은 제3 입력 영상을 더 포함하고, 상기 제3 입력 영상은 제3 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제3 영상은 상기 캘리브레이션 지그를 표시한다.
예시적인 실시예에서, 상기 식별된 정형외과적 요소는 확공 전의 또는 확공 후의 또는 브로칭(broaching) 전의 또는 브로칭 후의 뼈의 내부 기하학적 구조(internal geometry of a bone)이다.
예시적인 실시예에서, 상기 컴퓨테이셔널 머신은 최적합(best fit) 알고리즘을 실행하여 상기 식별된 정형외과적 요소의 상기 결정된 크기 치수들에 기초하여 관내인공삽입 임플랜트의 추천된 구성부를 선택하도록 구성된다.
환자에게 수술적으로 임플랜트될 관내인공삽입 임플랜트의 구성부의 크기를 결정하기 위한 예시적인 시스템은, 조직 침투 이미징 머신, 제1 입력 영상 - 상기 제1 입력 영상은 제1 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제1 영상은 캘리브레이션 지그(calibration jig)를 표시함 -, 제2 입력 영상 - 상기 제2 입력 영상은 제2 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제2 기준 프레임은 상기 제1 기준 프레임으로부터 옵셋되어 있고, 상기 제2 영상은 상기 캘리브레이션 지그를 표시함 -, 심층학습 네트워크를 가동시키도록 구성된 컴퓨테이셔널 머신(computational machine) - 상기 심층학습 네트워크는, 정형외과적 요소를 식별하여 식별된 정형외과적 요소를 정의하고, 3차원 공간에서의 상기 식별된 정형외과적 요소의 결정된 크기 치수들을 정의하기 위해 상기 식별된 정형외과적 요소를 상기 제1 입력 영상 및 상기 제2 입력 영상에 의해 확인되는 공간 데이터로 맵핑하도록 구성됨 -, 및 데이터베이스 - 상기 데이터베이스는 관내인공삽입 임플랜트의 구성부들의 목록 및 상기 관내인공삽입 임플랜트의 구성부들의 상기 목록에 있는 상기 구성부들에 대한 연관된 구성부 크기 치수들(size dimensions)을 포함함 - 를 포함하고, 상기 컴퓨테이셔널 머신은 상기 식별된 정형외과적 요소의 3차원 공간에서의 상기 결정된 크기 치수들에 기초하여 관내인공삽입 임플랜트의 구성부의 크기를 추천하도록 더 구성된다.
예시적인 실시예에서, 상기 시스템은 제3 입력 영상을 더 포함하고, 상기 제3 입력 영상은 제3 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제3 영상은 상기 캘리브레이션 지그를 표시한다.
예시적인 실시예에서, 상기 식별된 정형외과적 요소는 확공 전의 또는 확공 후의 또는 브로칭(broaching) 전의 또는 브로칭 후의 뼈의 내부 기하학적 구조(internal geometry of a bone)이다.
예시적인 실시예에서, 상기 컴퓨테이셔널 머신은 최적합(best fit) 알고리즘을 실행하여 상기 식별된 정형외과적 요소의 상기 결정된 크기 치수들에 기초하여 관내인공삽입 임플랜트의 추천된 구성부를 선택하도록 구성된다.
본 발명이 여기에 개시되거나 도면들에 도시된 특정의 구성들 및 방법 단계들로 제한되는 것이 결코 아니며 본 기술분야에 알려진, 본 청구항들의 범위내에 있는 임의의 변경들 및 등가물들을 포함함을 이해하여야 한다. 여기에 개시된 장치들 및 방법들이 유용성이 있을 것임을 본 기술분야에 숙련된 자들은 이해할 것이다.

Claims (12)

  1. 공간에서의 정형외과적 요소(orthopedic element) 및 관내인공삽입 임플랜트(endoprosthetic implant)의 구성부(component)의 위치를 확인하기 위한 시스템으로서,
    조직 침투 이미징 머신,
    제1 입력 영상 - 상기 제1 입력 영상은 제1 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제1 영상은 캘리브레이션 지그(calibration jig)를 표시함 -,
    제2 입력 영상 - 상기 제2 입력 영상은 제2 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제2 기준 프레임은 상기 제1 기준 프레임으로부터 옵셋되어 있고, 상기 제2 영상은 상기 캘리브레이션 지그를 표시함 -, 및
    심층학습 네트워크를 가동시키도록 구성된 컴퓨테이셔널 머신(computational machine) - 상기 심층학습 네트워크는, 정형외과적 요소 및 관내인공삽입 임플랜트의 구성부를 식별하여 식별된 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 식별된 구성부를 정의하고, 3차원 공간에서의 상기 식별된 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 상기 식별된 구성부의 위치를 결정하기 위해 상기 식별된 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 상기 식별된 구성부를 상기 제1 입력 영상 및 상기 제2 입력 영상에 의해 확인되는 공간 데이터로 맵핑하도록 구성됨 - 을 포함하는 시스템.
  2. 제1항에 있어서,
    제3 입력 영상을 더 포함하고,
    상기 제3 입력 영상은 제3 기준 프레임으로부터 상기 조직 침투 이미징 머신에 의해 취득되고, 상기 제3 영상은 상기 캘리브레이션 지그를 표시하는, 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 심층학습 네트워크는, 복수의 정형외과적 요소 및 상기 관내인공삽입 임플랜트의 복수의 구성부를 식별하여 복수의 식별된 정형외과용 요소 및 상기 관내인공삽입 임플랜트의 복수의 식별된 구성부를 정의하도록 더 구성되는, 시스템.
  4. 제3항에 있어서,
    상기 관내인공삽입 임플랜트의 상기 복수의 식별된 구성부의 제1의 식별된 구성부는 고관절 관내인공삽입 임플랜트(hip endoprosthetic implant)의 관골구 구성부(acetabular component)이고,
    상기 관내인공삽입 임플랜트의 상기 복수의 식별된 구성부의 제2의 식별된 구성부는 고관절 관내인공삽입 임플랜트의 대퇴골 구성부(femoral component)인, 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 관내인공삽입 임플랜트의 상기 식별된 구성부는 관골구 쉘(acetabular shell)이고,
    상기 식별된 정형외과적 요소는 상기 관골구 쉘에 인접한 확공된 관골구(reamed acetabulum)인, 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 관내인공삽입 임플랜트의 상기 식별된 구성부는 대퇴골 스템(femoral stem)이고,
    상기 식별된 정형외과적 요소는 상기 대퇴골 스템에 인접한 대퇴골(femur)의 골수내 관(intramedullary canal)인, 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 식별된 정형외과적 요소는 3차원으로 모델링되어 모델링된(modeled) 정형외과적 요소를 정의하는, 시스템.
  8. 제7항에 있어서,
    상기 모델링된 정형외과적 요소는 디스플레이 상에 디스플레이되는, 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 관내인공삽입 임플랜트의 상기 식별된 구성부는 3차원으로 모델링되어 상기 관내인공삽입 임플랜트의 모델링된 구성부를 정의하는, 시스템.
  10. 제9항에 있어서,
    상기 관내인공삽입 임플랜트의 상기 모델링된 구성부는 디스플레이 상에 디스플레이되는, 시스템.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 관내인공삽입 임플랜트의 상기 식별된 구성부의 계산된 외전각(calculated abduction angle)이 디스플레이 상에 디스플레이되는, 시스템.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 관내인공삽입 임플랜트의 상기 식별된 구성부의 계산된 전경각(calculated anteversion angle)이 디스플레이 상에 디스플레이되는, 시스템.
KR1020247008182A 2021-09-30 2022-09-27 수술 중에 수술 요소들을 정렬하기 위하여 사진측량을 이용하는 시스템들 및 방법들 KR20240076775A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163250906P 2021-09-30 2021-09-30
US63/250,906 2021-09-30
PCT/US2022/077111 WO2023056261A1 (en) 2021-09-30 2022-09-27 Systems and methods of using photogrammetry for intraoperatively aligning surgical elements

Publications (1)

Publication Number Publication Date
KR20240076775A true KR20240076775A (ko) 2024-05-30

Family

ID=85706319

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247008182A KR20240076775A (ko) 2021-09-30 2022-09-27 수술 중에 수술 요소들을 정렬하기 위하여 사진측량을 이용하는 시스템들 및 방법들
KR1020247008185A KR20240076776A (ko) 2021-09-30 2022-09-28 관내인공삽입 임플랜트의 구성부의 유형을 추천하기 위하여 사진측량 및 심층학습을 이용하는 시스템들 및 방법들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247008185A KR20240076776A (ko) 2021-09-30 2022-09-28 관내인공삽입 임플랜트의 구성부의 유형을 추천하기 위하여 사진측량 및 심층학습을 이용하는 시스템들 및 방법들

Country Status (8)

Country Link
US (1) US20230094903A1 (ko)
EP (2) EP4366662A1 (ko)
KR (2) KR20240076775A (ko)
CN (2) CN117858682A (ko)
AR (1) AR127214A1 (ko)
AU (2) AU2022355074A1 (ko)
CA (2) CA3231121A1 (ko)
WO (2) WO2023056261A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650110B (zh) * 2023-06-12 2024-05-07 北京长木谷医疗科技股份有限公司 基于深度强化学习的膝关节假体自动放置方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8635082B2 (en) * 2006-05-25 2014-01-21 DePuy Synthes Products, LLC Method and system for managing inventories of orthopaedic implants
US20140303990A1 (en) * 2013-04-05 2014-10-09 Biomet Manufacturing Corp. Integrated orthopedic planning and management process
KR102323703B1 (ko) * 2013-10-15 2021-11-08 모하메드 라쉬완 마푸즈 다중 구성 요소 정형외과용 임플란트 제작 방법
CN107072739B (zh) * 2014-08-01 2020-09-11 史密夫和内修有限公司 提供用于手术程序的植入物
US11071596B2 (en) * 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US11331151B2 (en) * 2017-06-19 2022-05-17 Techmah Medical Llc Surgical navigation of the hip using fluoroscopy and tracking sensors
WO2019012520A1 (en) * 2017-07-08 2019-01-17 Vuze Medical Ltd. APPARATUS AND METHODS FOR USE WITH IMAGE-GUIDED SKELETAL PROCEDURES
EP3791325A4 (en) * 2018-05-07 2022-04-13 Zebra Medical Vision Ltd. SYSTEMS AND METHODS FOR RECOGNIZING A DISPLAY OF A VISUAL FINDING IN AN ANATOMIC IMAGE
EP3810012A1 (en) * 2018-06-19 2021-04-28 Tornier, Inc. Mixed reality-aided education using virtual models or virtual representations for orthopedic surgical procedures
WO2020163314A1 (en) * 2019-02-05 2020-08-13 Smith & Nephew, Inc. Algorithm-based optimization for knee arthroplasty procedures
US10779890B2 (en) * 2019-02-27 2020-09-22 Jared Weir System and method for performing joint replacement surgery using artificial neural network
KR20210137500A (ko) * 2019-03-05 2021-11-17 마코 서지컬 코포레이션 수술용 레지스트레이션을 위한 시스템 및 방법

Also Published As

Publication number Publication date
KR20240076776A (ko) 2024-05-30
CA3231121A1 (en) 2023-04-06
CN117858682A (zh) 2024-04-09
AR127214A1 (es) 2023-12-27
WO2023056271A1 (en) 2023-04-06
AU2022355076A1 (en) 2024-03-07
AU2022355074A1 (en) 2024-03-07
CN117881356A (zh) 2024-04-12
EP4366643A1 (en) 2024-05-15
EP4366662A1 (en) 2024-05-15
US20230094903A1 (en) 2023-03-30
CA3231123A1 (en) 2023-04-16
WO2023056261A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
US11771498B2 (en) Lower extremities leg length calculation method
ES2900549T3 (es) Método de navegación quirúrgica
JP7455877B2 (ja) 手術計画及び方法
BR112019025107A2 (pt) Navegação cirúrgica do quadril usando fluoroscopia e sensores de rastreamento
US20220409396A1 (en) Robotic surgery system for augmented arthroplasty procedures
EP4233760A2 (en) Systems and methods of using three-dimensional image reconstruction to aid in assessing bone or soft tissue aberrations for orthopedic surgery
Eschweiler et al. Biomechanical model based evaluation of Total Hip Arthroplasty therapy outcome
US20230094903A1 (en) Systems and methods of using photogrammetry for intraoperatively aligning surgical elements
de Almeida et al. Automated femoral landmark extraction for optimal prosthesis placement in total hip arthroplasty
US20230027518A1 (en) Systems and methods for using photogrammetry to create patient-specific guides for orthopedic surgery
Stiehl et al. Bone morphing: 3D reconstruction without pre-or intraoperative imaging-concept and applications
Hansen Dynamic model-based Radiostereometric Analysis for Evaluation of Femoroacetabular Impingement and Postoperative Results