KR20230152149A - 수술용 트레이와 그 위에 포함된 아이템의 동적 식별을 위한 시스템 및 방법 - Google Patents
수술용 트레이와 그 위에 포함된 아이템의 동적 식별을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230152149A KR20230152149A KR1020237034951A KR20237034951A KR20230152149A KR 20230152149 A KR20230152149 A KR 20230152149A KR 1020237034951 A KR1020237034951 A KR 1020237034951A KR 20237034951 A KR20237034951 A KR 20237034951A KR 20230152149 A KR20230152149 A KR 20230152149A
- Authority
- KR
- South Korea
- Prior art keywords
- tray
- item
- image
- dimensional
- composite
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 86
- 239000011165 3D composite Substances 0.000 claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 39
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 36
- 239000002131 composite material Substances 0.000 claims description 121
- 238000013480 data collection Methods 0.000 claims description 28
- 230000004438 eyesight Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000011068 loading method Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 51
- 239000007943 implant Substances 0.000 description 26
- 238000003860 storage Methods 0.000 description 19
- 239000003795 chemical substances by application Substances 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 15
- 238000001356 surgical procedure Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000012620 biological material Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000026676 system process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 229940064452 artec Drugs 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000010445 mica Substances 0.000 description 2
- 229910052618 mica group Inorganic materials 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000003854 Surface Print Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Generation (AREA)
Abstract
본 발명은 이미지 또는 아이템에 할당된 고유 식별자를 갖는 3-차원 합성 아이템의 적어도 100개의 무작위로 생성된 2-차원 이미지를 사용하여 트레이 내의 수술용 아이템을 정확하게 식별하기 위한 컴퓨터 시스템을 지속적으로 훈련시키기 위한 인공 지능-기반 이미지 인식 방법 및 시스템을 제공한다. 본 발명은 또한 수술용 기구가 수술용 트레이 상에 존재하는지 또는 누락되었는지 여부를 결정하고, 적용 가능한 경우, 그러한 누락된 기구를 식별하기 위해 사용되는 인공 지능-기반 이미지 인식 방법 및 시스템을 제공한다. 일 측면에서, 서버는 이미지를 수신하고 트레이 유형을 분류하기 위해 심층 컨볼루션 신경망으로 이미지를 분석하고 그리고 이어서 사용자에게 식별된 아이템의 존재 및/또는 누락을 표시되는 출력을 생성하기 위해 트레이 상에 있어야 하는 아이템의 리스트를 컴퓨터가 트레이 상에서 인식하는 아이템의 리스트와 비교한다.
Description
관련 출원
본 출원은 2021년 3월 15일자로 출원된, 발명의 명칭이 "Systems and Methods for Dynamic Identification of a Surgical Tray and the Items Contained Thereon"인, 미국 임시 특허 출원 일련 번호 63/161,270의 우선권 및 이익을 주장하며, 그 내용이 전체로서 본 출원에 참조로 포함된다.
본 발명의 실시예의 측면은 컴퓨터 비전 분야에 관한 것이며, 트레이와 그 안의 내용물이 수술실을 통해 이동할 때 수술용 트레이와 그 안의 내용물을 자동으로 그리고 정확하게 식별, 확인, 및 추적하고 그리고 트레이 상의 하나 이상의 아이템이 누락된 경우, 예를 들어 의료진과 같은 사용자에게 통지하도록 구성된 시스템 및 방법을 포함한다.
수술을 수행하려면 아이템의 특정 세트 또는 세트들이 요구된다. 일부 아이템은 수술을 수행하는 데 필요한 기구(예를 들어, 드릴 비트, 가위, 메스, 등)를 포함하는 반면, 다른 아이템은 기존 생물학적 구조를 대체, 지원(support), 또는 강화하기 위해 설계된 디바이스 또는 임플란트이다. 모든 아이템은 수술실로 이동되기 전에 반드시 멸균되어야 하며 특정 수술용 트레이 상에 놓여져야 한다. 수술이 완료된 후, 사용되거나 사용되지 않은 아이템은 동일하거나 또는 다른 조건, 구성으로 수술실에서 제거되거나, 또는 일부 경우에서, 수술 전에 아이템이 놓여 있던 것과 다른 트레이 상에 제거된다. 예를 들어, 특정 아이템은, 그것들의 표면 상에, 혈액과 같은, 생물학적 물질을 가질 수 있다. 또한, 수술팀의 구성원은 사용한 아이템을 트레이 상에 서로 겹쳐 놓을 수 있으며, 이로써 특정 아이템의 뷰를 부분적으로 가릴 수 있다. 수술실에서 나오는 트레이 상의 아이템이, 수술실로 들어가는 것과 다르게 보이고, 덜 정돈되어 있는 것은 흔한 일이다. 그럼에도 불구하고, 수술실로 들어가는 모든 필수 아이템과 수술실에서 나가는 모든 아이템을 식별하고 추적하는 것은 중요하다.
트레이 상의 아이템을 계속해서 추적하는 것은 지루하며 아이템과 트레이를 추적하는 작업을 맡은 직원의 상당한 시간과 집중력을 요구한다. 병원은, 개인이 수술실에 들어오고 나가는 모든 수술용 기구의 수를 세도록 요구하는 규약과 절차를 사용한다. 종래의 규약은 수를 세는 것을 용이하게 하기 위해 각각의 기구를 별도로 시각적으로 확인하거나 및/또는 수동으로 처리하는 것을 요구한다. 이러한 방식은 느리고, 인적 오류가 발생하기 쉬우며, 비효율적이다.
컴퓨터 비전을 사용한 인공 지능(AI; Artificial Intelligence) 시스템을 포함할 수 있는, 이미징 기술이, 수술용 아이템을 추적하기 위해 제안되었다. 현재까지, 이러한 제안된 AI-기반 시스템은, 그러한 시스템이 트레이와 그것의 내용물을 정확하게 식별하도록 적절하게 훈련되지 않았기 때문에, 해결수단을 제공하지 않는다. 데이터세트는 실제(real-world) 사용에서 아이템이 어떻게 보여질 수 있는지를 반영하기 위해 다양한 조명 조건에서, 다양한 각도에서 표시되거나, 및/또는 다른 아이템에 의해 부분적으로 가려지는, 실제 아이템의 수 많은 이미지를 필요로 하기 때문에, 컴퓨터 비전 시스템을 사용하여 트레이와 트레이 상의 아이템을 정확하게 식별할 수 있을 만큼 충분히 큰 데이터세트를 훈련시키기 위한 해결수단은 존재하지 않는다. 다양한 각도, 광도, 폐색 수준, 등에서 수십만 개의 실제 기구의 이미지로 채워진 필수 훈련 데이터세트를 단순히 생성하기 위해서는 엄청난 시간이 요구된다. 시간 제한으로 인해 AI 시스템을 위한 훈련 데이터세트의 구축은 비실용적이다. 결과적으로, 제안된 AI-기반 시스템은 트레이(들) 상의 수술용 아이템을 식별하고 추적하기 위한 종래의 규약에 내재된 문제를 해결하지 못한다.
현실 세계의, 시간적 제한은 AI-기반 시스템의 학습을 상당히 방해하고, 시스템의 재현 능력, 즉, 아이템이 무엇인지 시스템이 추측해야 하는 빈도뿐만 아니라, 그것의 정밀도, 즉, 시스템이 아이템을 정확하게 추측하는 빈도에 부정적인 영향을 미친다. 현재까지, AI-기반 컴퓨터 비전 시스템이 수술용 트레이 상의 아이템을 식별하는 것을 학습할 수 있는 실행 가능한 데이터세트를 만드는 것은 불가능했다. 이러한 실행 가능한 데이터세트는 트레이 상에 배치될 각 아이템의 수십만 개의 실제 이미지를 필요로 한다. AI-기반 컴퓨터 비전 시스템을 훈련시키기 위한 보다 효율적인 해결수단이 필요하다.
실현가능성 문제를 해결하기 위해 제안된 손쉬운 방법 중 하나는 트레이와 기구 마커의 사용을 수반하는 것이다. 이 방법으로, AI-기반 시스템은 아이템 자체가 아닌, 마커 만을 학습해야 한다. 예를 들어, 미국 특허 번호 10,357,325는: (1) 트레이 상에 존재하는 매트릭스 코드(예를 들어, 바코드 또는 QR 코드)에 기초하여 트레이, 및 (2) 기구(들)에 부착된 색상 마커(예를 들어, 색상 테이프, 밴드, 또는 고리)에 기초하여 트레이 상의 기구를 식별하기 위한 카메라의 사용을 제안한다. 이러한 마커-기반 방식의 문제점은, 마킹되고 코딩 되어야 하는, 다양한 수술용 아이템과 제조업체의 수는 물론, 수술실에서 충분하고, 신뢰성 있는 실행 가능성이 부족하다는 것이다. 게다가, 수술은 낮과 밤 내내 이루어지므로, 트레이 상의 아이템이 수술실에 들어오고 수술실을 나갈 때 조명 노출의 특성이 변경된다. 조명 변화는, 카메라와 같은 자동 이미저(imager)가, 색상 마커에 대해 수술실로 들어오고 나갈 때의 색상을 다른 색으로 판독하는 것을 초래할 수 있다. 결과적으로, 마커-기반 방식은: (1) 트레이가 트레이를 식별하는 특정 매트릭스가 없거나 또는 매트릭스가 시야에서 차단되는 경우, (2) 기구가 (a) 동일한 트레이 상의 그것들의 원래 슬롯으로, (b) 동일한 트레이에서 그것들의 원래 방향으로, 또는 (c) 동일한 트레이로 반환되지 않는 경우, 또는 (3) 아이템 상의 색상 마커가 시야에서 가려지거나, 다른 조명 조건에서 다른 색조로 나타나거나, 또는 심지어 아이템에서 떨어진 경우 중 하나 이상이 발생하는 경우 실패한다.
결과적으로, (1) 트레이 또는 트레이 내의 아이템에 부착되는 독립적인 마커 또는 코드가 필요하지 않고, (2) 다양한 조명 조건과 관계가 없고, 그리고 (3) 트레이 상의 아이템의 위치, 각도, 조건, 또는 폐색 비율에 영향을 받지 않는, 인공 지능(AI)-기반 컴퓨터 비전 시스템을 훈련시켜 수술용 트레이 상의 아이템을 자동으로 정확하게 인식하는 시스템 및 방법이 현재 필요하다. 또한 높은 재현율(recall)과 정밀도로 트레이 상의 아이템을 정확하게 식별하기 위한 훈련된 AI-기반, 컴퓨터 비전 시스템을 사용하는 시스템 및 방법이 현재 필요하다.
본 발명은 수술용 트레이, 기구, 및 임플란트를 식별하는 데 유용한 AI-기반, 동적, 컴퓨터 비전 시스템을 제공함으로써 현재의 요구를 충족한다. 본 발명의 AI-기반 시스템은 시스템 관리자 또는 직원, 계약자, 또는 관리자의 대리인에 의해 이전에 업로드한 최소 재현율 및 정밀도 임계값을 충족하도록 훈련된다. 훈련되면, AI-기반 시스템은 사용자가 모바일 컴퓨터 디바이스로 적어도 하나의 수술용 도구 트레이의 사진, 비디오, 또는 이미지를 촬영할 수 있도록 허용하는 방식으로 사용하기 위해 배포되도록 구성되며, 이는 이미저(예를 들어, 카메라)를 포함하며 이어서 시스템은 사용자에게: (1) 트레이(들)의 유형, (2) 트레이(들) 상의 기구 및 임플란트, 및/또는 (3) 트레이(들)로부터 누락된 임의의 기구 및 임플란트를 통지한다. 실시예에서, 시스템은 수술 후 사용자가 트레이(들)의 또 다른 사진, 비디오, 또는 이미지를 촬영할 수 있도록 허용하며, 이어서 시스템은 사용자에게 통지하고, 그리고 어떤 기구 및 임플란트가 트레이(들) 상에 존재하는지, 시스템의 데이터베이스에 기록한다.
일반적으로, 본 발명의 시스템 및 방법은: (1) 아이템의 예비 3-차원 합성 모델을 생성하기 위해 적어도 두 번 수술용 기구 또는 트레이를 스캐닝하고; (2) 가상에 완전히 존재하지만, 반사율 또는 형상과 같은 속성이, 아이템의 실제 속성을 모방하는 최종 3-차원 합성 아이템을 생성하기 위해 예비 3-차원 합성 모델을 수정하고; (3) 고유 식별정보를 최종 3-차원 합성 아이템에 할당하고; (4) 컴퓨터 비전 기반 AI 플랫폼이: (a) 가상 아이템의 방향, (b) 가상 아이템에 닿는 가상 광의 색상/강도, (c) 가상 아이템이 시야에서 차단되는 정도, (d) 식별된 표면 위의 가상 아이템의 높이, (e) 가상 생물학적 물질 등으로 가상 아이템의 표면을 가상으로 흐리게 하는 것, 등을 다양하게 함으로써 학습할 수 있는 최종 3-차원 합성 아이템의 2-차원 이미지의 무한한 훈련 세트를 생성하고; (5) 시스템이 훈련 세트에서 적어도 하나의 패턴을 식별하고 그리고 패턴에 기인하는 적어도 하나의 식별 모델을 생성/수정할 때까지 시스템에 훈련 세트를 제공하고; (6) 시스템이 아이템의 식별이 정확하다는 신뢰도를 나타내는 수치적 신뢰도 인자를 제공하는 고유 테스트 세트를 생성하고; (7) 시스템이 테스트 세트의 아이템을 정확하게 식별했는지 및 신뢰도 인자가 원하는 신뢰도 인자 이상인지 및 연장하여 아이템이 잘못 식별되었는지 또는 신뢰도 인자가 원하는 임계값 이상이 아닌지 여부를 결정하고 시스템이 향후 사용을 위해 아이템을 식별하기 위한 업데이트된 모델을 서버에 업로드하는 것을 통과한 경우 아이템의 식별 및 신뢰도 임계값이 충족될 때까지 단계 (4) 내지 (7)을 반복함으로써, AI-기반, 컴퓨터 비전 시스템을 훈련시키기 위해 제공된다.
일반적으로, 본 발명의 시스템 및 방법은: (1) 수술용 트레이와 그 위에 포함된 아이템의 이미지를 수신하고; (2) 텐서(tensor)로 구성된 복수의 트레이 분류 모델을 실행시키고, 여기서 트레이 분류 모델은 훈련 케이스 섹션에서 위에서 설명된 대로 이전에 업로드되었고; (3) 이미지를 분석하고 트레이 분류 모델에 기초하여 이미지의 트레이 유형을 분류하고; (4) 트레이를 분류하면, 트레이의 분류와 링크된 복수의 기구 식별 모델을 데이터베이스로부터 불러오고, 여기서 기구 식별 모델은 훈련 케이스 섹션에서 위에서 설명된 대로 업로드되었고; (5) 이미지를 분석하고 기구 식별 모델에 기초하여 이미지의 아이템 유형을 식별하고; (6) 임의의 누락된 아이템을 결정하기 위해 분류된 아이템을 분류된 트레이와 링크된 아이템의 리스트와 비교하고, 그리고 (7) 분류된 아이템 및 임의의 누락된 아이템을 소프트웨어 애플리케이션에 통지함으로써, AI-기반, 컴퓨터 비전 시스템을 사용하기 위해 제공된다.
본 발명의 비-제한적인 예시적인 일 실시예에서, 수술용 트레이를 분류하고 그 위에 포함된 아이템을 식별하기 위해 훈련되도록 구성된 시스템이 제공된다. 시스템은 이미저와 서버 뿐만 아니라, 소프트웨어 애플리케이션과 유선 및/또는 무선 통신 네트워크를 통해 통신하는 프로세서를 포함한다. 이미저는 사진 또는 비디오를 촬영할 수 있는 카메라일 수 있다. 실시예에서, 이미저는 픽셀 및/또는 벡터를 사용하는 실제 장면의 시각적 묘사 파일을 생성한다. 예를 들어, 카메라는 다음의: JPEG(Joint Photographic Experts Group)(또는 JPG), PNG(Portable Network Graphics), GIF(Graphics Interchange Format), TIFF(Tagged Image File), PSD(Photoshop Document), PDF(Portable Document Format), EPS(Encapsulated Postscript), AI(Adobe Illustrator Document), INDD(Adobe Indesign Document), 또는 RAW(Raw Image Formats)와 같은 하나 이상의 파일 형식으로 이미지를 생성할 수 있다.
본 발명의 시스템은 트레이 또는 수술용 기구의 예비 3-차원 모델을 생성하기 위해 트레이 및 아이템의 합성 이미지를 활용한다. 이 방식은 합성 이미지의 실행 가능한 훈련 데이터세트의 생성을 가능하게 한다. 비-제한적인 일 실시예에서, 본 발명의 시스템은 시스템 관리자, 또는 직원, 계약자, 또는 관리자의 대리인이, 트레이 또는 수술용 기구의 예비 3-차원 모델을 생성하기 위해 적어도 두 번 이미저로 트레이 또는 수술용 기구, 임플란트, 도구 또는 패스너(fastener)를 스캔하고 이어서 수술용 기구, 임플란트, 도구, 또는 패스너 각각에 관한 최종 3-차원 합성 아이템 파일을 생성하도록, 트레이 또는 수술용 기구, 임플란트, 도구, 또는 패스너의 예비 3-차원 모델을 수정하기 위해 소프트웨어 애플리케이션을 사용하도록 구성된다. 소프트웨어 애플리케이션은: 기하구조, 각 꼭지점의 위치, 각 텍스처 좌표 꼭지점의 UV 위치, 꼭지점 법선, 꼭지점 리스트로 정의되는 각각의 다각형을 이루는 면, 및 아이템에 관한 텍스처 좌표로 구성된 리스트로부터 선택된 적어도 하나의 요소를 정의하는 것을 포함하여 최종 3-차원 합성 아이템에 대한 수정을 허용한다. 소프트웨어 애플리케이션은 "3-차원 합성 아이템"으로도 지칭되는, 최종 3-차원 합성 모델에 고유 식별정보를 할당한다. 고유 식별정보는 영숫자(alphanumeric) 및/또는 비색(colormetric)일 수 있다. 일 실시예에서, 소프트웨어 애플리케이션은 고유 식별정보를 업로드된 이미지의 하나 이상의 트레이 분류와 링크시킬 수 있다. 트레이 분류는 시스템이 식별할 수 있는, 기구, 임플란트, 도구, 패스너, 또는 트레이에 링크된 기타 물체의 미리 정의된 리스트를 포함할 수 있다.
다음으로, 본 발명의 시스템은 훈련 데이터세트 및 테스트 데이터세트를 자동으로 생성하도록 구성되며, 이들 각각은 최종 3-차원 합성 아이템 각각에 관해 도출된다. 훈련 데이터 세트는 시스템이 최종 3-차원 합성 아이템으로부터 학습할 수 있도록, 소프트웨어에 의해 할당된, 고유 식별정보와 링크된다. 반대로, 테스트 데이터세트는 고유 식별정보에 대한 링크를 포함하지 않는다. 모든 데이터세트, 즉, 훈련 데이터세트(들) 및 테스트 데이터세트(들)는, 최종 3-차원 합성 아이템의 고유 합성 이미지로 구성되며, 여기서 최종 3-차원 합성 아이템의 방향, 최종 3-차원 합성 아이템을 조명하는 합성 광의 색상 또는 강도, 또는 식별된 표면 위의 최종 3-차원 합성 아이템의 높이는 각각의 이미지에서 고유하다. 특정 실시예에서, 훈련 데이터세트(들)는 트레이, 수술용 도구, 임플란트, 패스너, 또는 기타 물체의 최대 100개 이상의 실제 이미지를 포함할 수도 있다. 각각의 3-차원 합성 아이템에 관한 고유 훈련 데이터세트는 3-차원 합성 아이템의 수십만 개의 고유 2-차원 이미지를 포함할 수 있고, 선택적으로, 3-차원 합성 아이템을 생성하기 위해 스캔된 물체의 수많은 실제 이미지를 포함할 수 있으며, 이 모든 것은 본 발명의 AI-기반 컴퓨터 비전 시스템에 관한 훈련 과정에서 높은 비율의 재현율과 정밀도로 각각의 3-차원 합성 아이템을 인식하기 위해 사용될 수 있다. 각각의 훈련 데이터세트는 본 발명의 시스템 및 방법에 의해 효율적으로 생성될 수 있다. 본 발명의 일 특징은 훈련 데이터세트의 3-차원 합성 아이템의 합성 훈련 이미지를 최대 무한개까지 사용함으로써 재현율 및 정밀도를 지속적으로 향상시키도록 시스템의 훈련이 진행될 수 있다는 것이다.
본 발명의 시스템 및 방법은, 트레이, 또는 수술용 도구, 임플란트, 패스너, 또는 트레이 내의 또는 트레이 위의 기타 물체의 2-차원 이미지 및 고유 식별정보를 포함하는, 3-차원 합성 아이템의 각각의 훈련 데이터세트에 의해 훈련될 수 있다. 시스템은 훈련 데이터세트의 각각의 2-차원 이미지를 처리하고 식별 모델을 생성 및 업데이트하도록 구성되며, 이는 훈련 데이터세트와 함께 제공되는 정확한 식별이 필요 없는 트레이 또는 트레이, 수술용 도구, 임플란트, 패스너, 또는 트레이 상의 또는 트레이 내의 기타 물체를 식별하는데 사용하기 위해 배포될 수 있다. 식별 모델은 각각의 훈련 데이터세트에서 식별된 트레이 또는 수술용 도구, 임플란트, 패스너, 또는 기타 물체의 시각적 패턴에 기인하는 특징 벡터를 포함한다. 특징 벡터는 특징 벡터의 2-차원 어레이를 제공하기 위해 매트릭스로 결합될 수 있다. 매트릭스는 시스템이 수술실에 배포될 때 트레이(들)를 분류하거나 또는 기구(들)를 식별하기 위해 시스템에 의해 사용될 3-차원 어레이를 제공하기 위해 텐서로 계층화될 수 있다.
생성되면, 알려진 트레이(들) 및 수술용 도구, 임플란트, 패스너, 또는 트레이 위의 또는 트레이 내의 기타 물체에 기인하는 텐서(들)를 포함하는, 3-차원 합성 아이템에 관한 각각의 식별 모델이, 최종 3-차원 합성 아이템이 위치하는 장소 또는 최종 3-차원 합성 아이템에서 멀리 떨어진 위치에의 서버 상에 저장된다. 시스템이 추가 훈련 데이터세트(들)를 처리하는 동안, 시스템은 최종 3-차원 합성 아이템의 알려진 또는 새로운 패턴에 기인하는 적어도 하나의 추가적인 특징 벡터(들)를 생성할 수 있다. 이러한 추가적인 특징 벡터(들)는 새로운 매트릭스를 생성하기 위해 결합될 수 있거나 또는 관련 식별 모델의 기존 매트릭스에 추가될 수 있다. 식별 모델의 매트릭스의 추가 또는 수정은 새로운 텐서(들)를 수정 또는 생성하기 위해 사용될 수 있으며, 이는 이어서 시스템에 의해 서버로 업로드되거나 또는 추후에 배포하여 사용하기 위해 제2 서버에 업로드될 수 있다. 수술용 도구(들), 임플란트(들), 패스너(들), 또는 기타 물체(들)의 식별된 패턴(들)에 기인하는 텐서(들)를 구축하기 위한 특징 벡터(들)의 이러한 생성은 시스템이 새로운 또는 업데이트된 식별 모델(들)과 함께 사용하기 위해 배포될 때 다양한 이미지에서 동일한 기구를 자동으로 인식할 수 있도록 시스템을 훈련시킨다.
3-차원 합성 아이템에 관한 각각의 테스트 데이터세트는 시스템이 겪은 훈련의 양과 효율성을 평가하기 위해 사용될 수 있다. 테스트 데이터세트는 관련 훈련 데이터세트가 처리될 시스템으로 제공되는 동안 또는 제공된 후 시스템에 제공될 수 있다. 시스템이 훈련 데이터세트(들)를 처리할 때 시스템에 답변이 제공되지만, 시스템이 테스트 데이터세트(들)를 처리할 때 시스템에 답변이 제공되지 않는다. 테스트 데이터세트의 각각의 합성 이미지가 시스템에 제공될 때, 시스템은 합성 이미지의 아이템을 식별하고 수치적 신뢰도 인자를 제공하며, 이는 아이템의 식별이 정확하다는 시스템의 신뢰도를 나타낸다. 수치적 신뢰도 인자가, 시스템 관리자, 또는 직원, 계약자, 또는 관리자의 대리인에 의해 이전에 설정된 최소 임계값을 충족하거나, 또는 초과하는 것을 실패한 경우, 시스템이 추후 배포를 위해 서버(들) 상에 저장될 식별된 패턴에 기인하는 업데이트된 특징 벡터(들)를 생성함으로써 신뢰도 인자를 향상시킬 수 있도록 추가적인 훈련 데이터세트(들)가 시스템에 제공된다. 반대로, 시스템 식별(들) 및 수치적 신뢰도 값(들)이 정확한 경우, 및 신뢰도 인자가 시스템에 설정된 신뢰도 인자 이상인 경우, 이어서 시스템은 새로운 또는 업데이트된 식별 모델(들)과 함께 사용을 위해 배포될 수 있다.
특정 실시예에서, 시스템이 새로운 또는 업데이트된 식별 모델(들)과 함께 사용을 위해 배포된 후에도, 시스템 관리자, 또는 직원, 계약자, 또는 관리자의 대리인에 의해 미리 식별된 최소 임계값보다 큰 고유 이미지(합성 또는 실제)에 대해 테스트될 때 시스템 값의 재현율 및 정밀도를 증가시키기 위해 식별된 패턴에 기인하는 특징 벡터(들)를 지속적으로 생성하도록 추가적인 훈련 데이터세트(들)가 시스템에 지속적으로 제공될 수 있다.
비-제한적인 예시적인 일 실시예에서, 본 발명의 배포된 시스템은 소프트웨어 애플리케이션을 포함한다. 애플리케이션은 모바일 컴퓨터 디바이스 또는 컴퓨터 디바이스 상에서 동작하도록 구성되며, 이들 중 하나는 수술용 트레이의 이미지를 생성하도록 구성된 적어도 하나의 이미지 데이터 수집 디바이스와 통신한다. 애플리케이션은 이미지 데이터 수집 디바이스로부터의 수술용 트레이 또는 수술용 도구, 임플란트, 패스너, 또는 수술용 트레이 위의 또는 트레이 내의 기타 물체의 이미지를 수신하고, 그리고 수술용 트레이가 위치한 장소 또는 그 장소로부터 멀리 떨어진 위치에 있는 서버와의 유선 및/또는 무선 통신 네트워크를 통해 이미지를 통신하도록 구성된다. 시스템은 시스템의 서버 뿐만 아니라, 소프트웨어 애플리케이션과 유선 및/또는 무선 통신 네트워크를 통해 통신하는 프로세서를 포함한다. 프로세서는, 서버로 이미지가 통신되면: 합성 트레이에 링크된 이전에 생성된 텐서로 구성된 이전에 생성된 복수의 식별 모델(들)을 시스템의 라이브러리 데이터베이스로부터 불러오도록 구성된다. 합성 트레이에 링크된 식별 모델(들)은 이전에 설명된 시스템을 훈련시키 것에 의해 이전에 업로드되었다. 프로세서는 이미지를 분석하고 합성 트레이에 링크된 식별 모델(들)에 기초하여 이미지의 트레이 유형을 분류하도록 구성된다. 이어서, 프로세서에 의해 할당된 이미지의 트레이 분류에 기초하여, 프로세서는 라이브러리 데이터베이스로부터: (1) 트레이 분류에 링크된, 3-차원 합성 아이템에 링크된 복수의 식별 모델(들), (2) (a) 표면 텍스처, (b) 아이템 재료 성분, 및 (c) 크기 공차를 포함하는 식별 모델(들); (3) 합성 트레이에 링크된 아이템의 리스트, 및 (4) 상기 설명된 바와 같이 3-차원 합성 아이템을 위해 생성된 복수의 특징 벡터(들)를 불러온다. 프로세서는 이어서 이미지를 분석하고 3-차원 합성 아이템에 링크된 식별 모델(들)에 기초하여 이미지의 아이템 유형 분류를 진행한다. 프로세서는 이어서 임의의 누락된 아이템이 있는지 여부를 결정하기 위해 분류된 아이템의 리스트를 분류된 트레이에 링크된 아이템의 리스트와 비교한다. 시스템은 분류된 아이템 및 임의의 누락된 아이템을 소프트웨어 애플리케이션에 통지한다. 소프트웨어 애플리케이션은 이어서 식별된 그리고 누락된 아이템의 리스트를 표시한다.
다른 실시예에서, 수술용 트레이와 그 위에 포함된 물체를 식별하기 위한 방법이 개시된다. 방법은 먼저 수술용 트레이와 그 위에 포함된 물체의 이미지(사진 또는 비디오)를, 예를 들어 카메라와 같은, 이미지 데이터 수집기로부터 수신하는 것을 포함한다. 이미지 데이터 수집 디바이스는 모바일 컴퓨터 디바이스와 동기화될 수 있는 모바일 컴퓨터 디바이스 또는 컴퓨터 디바이스 상에서 동작하는 소프트웨어 애플리케이션을 사용하여 서버 또는 원격 서버에 연결된다. 모바일 컴퓨터 디바이스 또는 컴퓨터 디바이스는 이미지가 촬영된 장소의 서버 또는 해당 장소와 멀리 떨어져 있고 해당 서버와 통신하는 위치의 원격 서버와 유선 및/또는 무선 통신 네트워크를 통해 통신한다. 정보를 수신하면, 방법은, 프로세서를 사용하여: 합성 트레이에 링크된 복수의 식별 모델(들)을 데이터베이스로부터 불러오는 것을 포함한다. 다시 말하지만, 식별 모델(들)은 이전에 논의된 방식으로 AI-기반 컴퓨터 비전 시스템을 훈련시킴으로써 이전에 획득되었다. 다음으로, 방법은 이미지를 분석하고 합성 트레이에 링크된 식별 모델(들)에 기초하여 이미지의 트레이 유형을 분류하는 것을 포함한다. 트레이를 분류하면, 방법은 3-차원 합성 아이템에 링크된 복수의 식별 모델(들)을 데이터베이스로부터 불러오는 것을 포함하고, 이는 트레이의 분류에 포함되며, 식별 모델(들)은: (a) 표면 텍스처, (b) 아이템 재료 성분, 및 (c) 크기 공차, 및 (d) 식별된 트레이 분류에 링크된 3-차원 합성 아이템의 리스트를 포함한다. 다시 말하지만, 3-차원 합성 아이템에 링크된 식별 모델(들)은 AI-기반 컴퓨터 비전 시스템을 훈련시킴으로써 생성되었으며 3-차원 합성 아이템을 합성 트레이와 링크시키는 리스트는 트레이 위에 포함되도록 의도된 아이템에 대한 지식을 가진 전문가에 의해 이전에 업로드되었다. 이어서, 방법은 이미지를 분석하고 3-차원 합성 아이템에 링크된 식별 모델(들)에 기초하여 이미지의 아이템 유형을 분류하는 것을 포함한다. 다음으로, 방법은 임의의 누락된 아이템을 결정하기 위해 분류된 아이템을 분류된 트레이에 링크된 아이템의 리스트와 비교한다. 이어서, 방법은 분류된 아이템 및 임의의 누락된 아이템을 소프트웨어 애플리케이션에 통지한다. 최종적으로, 방법은 모바일 컴퓨터 디바이스의 사용자에게 결과를 디스플레이 상에 표시하는 것을 포함한다.
특정 실시예에서, 이미지 데이터 수집 디바이스는 카메라이고 웨어러블 디바이스 상에 장착될 수 있다.
본 발명의 이들 및 기타 특징, 측면, 및 이점은 다음의 설명 및 첨부된 청구범위를 참조하여 더욱 이해될 것이다.
본 발명의 시스템, 아키텍처, 구성요소, 구성, 및 기능에 관한, 본 발명의 추가적인 측면, 특징, 및 이점은, 첨부된 도면과 함께 이루어진 다음의 설명을 고려하여 본 발명이 고려될 때 이해되고 명확해질 것이며, 여기서:
도 1a는 본 발명의 시스템의 구성요소 사이의 정보의 흐름을 나타낸다.
도 1b는 본 발명의 시스템의 구성요소 사이의 정보의 흐름을 나타낸다.
도 2a는 시스템에 의해 하나의 관점에서 본 세 개의 합성 아이템을 나타낸다.
도 2b는 시스템에 의해 다른 관점에서 본 도 2a의 동일한 합성 아이템을 나타낸다.
도 3은 이전에 3-차원 모델링 애플리케이션으로 가져온 예비 3-차원 모델 주위에 그려진 콜라이더(collider) 경계 상자(점선)를 나타낸다.
도 4는 신뢰도 임계값 맵을 포함하는 컨볼루션 신경망의 훈련을 위한 일 실시예를 나타낸다.
도 5는 본 발명의 시스템의 하드웨어 구성요소를 나타낸다.
도 1a는 본 발명의 시스템의 구성요소 사이의 정보의 흐름을 나타낸다.
도 1b는 본 발명의 시스템의 구성요소 사이의 정보의 흐름을 나타낸다.
도 2a는 시스템에 의해 하나의 관점에서 본 세 개의 합성 아이템을 나타낸다.
도 2b는 시스템에 의해 다른 관점에서 본 도 2a의 동일한 합성 아이템을 나타낸다.
도 3은 이전에 3-차원 모델링 애플리케이션으로 가져온 예비 3-차원 모델 주위에 그려진 콜라이더(collider) 경계 상자(점선)를 나타낸다.
도 4는 신뢰도 임계값 맵을 포함하는 컨볼루션 신경망의 훈련을 위한 일 실시예를 나타낸다.
도 5는 본 발명의 시스템의 하드웨어 구성요소를 나타낸다.
본 발명의 다양한 실시예가 아래에 상세히 설명되어 있다. 비록 특정 구현예가 설명되어 있으나, 이는 단지 설명의 목적을 위해 제공된 것이다. 관련 기술분야의 통상의 기술자는 다른 구성요소 및 구성이 본 개시의 사상 및 범위를 벗어나지 않고 사용될 수 있음을 이해할 것이다.
"3-차원", "3-D", "2-차원", 및 "2-D"의 용어는 평범하고 일반적인 의미를 갖는다.
"3-차원 합성 아이템"의 용어는 실제 수술용 도구, 임플란트, 패스너, 또는 기타 물체의 3-차원 합성 모델(또는 3-차원 모델)을 의미한다.
"3-차원 합성 모델" 또는 "3-차원 모델"의 용어는 가상 환경에서 3-차원 표현을 생성하기 위해 사용되는 소프트웨어에 의해 생성된 실제 물체의 3-차원 표현을 의미한다.
단수형 또는 복수형의 "합성 이미지"의 용어는 실제 이미지의 컴퓨터-생성 이미지 또는 다른 가상 이미지의 컴퓨터 생성 가상 렌더링을 의미한다.
본 발명은 수술용 아이템 추적을 위한 시스템 및 방법에 관한 해당 기술분야의 현재 요구를 위한 해결수단을 제공한다. 본 발명은 디스플레이를 갖는 모바일 컴퓨터 디바이스(예를 들어, 모바일 폰) 상에서 실행되는 소프트웨어 애플리케이션을 사용하여, 카메라와 같은, 이미저와 동기화되도록 특별히 프로그래밍 된 AI-기반, 컴퓨터 비전 시스템을 사용함으로써 종래 기술의 문제를 해결한다. 카메라는 실제 수술용 트레이와 그 위에 포함된 아이템의 이미지(사진 또는 비디오)를 제공하고, 이는: (1) 트레이와 트레이 상의 아이템의 유형을 식별하고; 그리고 (2) 아이템이 트레이에서 누락된 경우 사용자에게 통지하기 위해, 유선 또는 무선 네트워크를 통해 소프트웨어 애플리케이션으로 전송된다. 소프트웨어 애플리케이션은 먼저 트레이와 트레이 내의 또는 트레이 상의 아이템, 즉, 도구, 임플란트, 패스너, 등을 식별하도록 훈련되어야 한다. 훈련은 2 차원 매트릭스를 생성하기 위해 결합된 특정한 특징 벡터를 사용하여 발생하고, 이는 3-차원 합성 아이템으로부터 식별 모델(들)을 자동으로 구축하기 위해 사용되는 3-차원 텐서를 생성하기 위해 자체적으로 결합된다. 식별 모델(들)은 AI-기반 컴퓨터 비전 시스템에 의해 생성되고, 이는 관리자, 또는 그들의 직원, 계약자, 또는 대리인에 의해 라이브러리 데이터베이스로 이전에 업로드된 3-차원 합성 아이템을 사용한다. 소프트웨어 애플리케이션은 동일한 방식, 즉 특징 벡터가 2-차원 매트릭스를 생성하기 위해 결합되고, 이는 관리자, 또는 그들의 직원, 계약자, 또는 대리인에 의해 라이브러리 데이터베이스로 이전에 업로드된 합성 기구로부터 3-차원 텐서를 생성하기 위해 결합되는 것과 같은 방식으로 생성된 식별 모델(들)에 기초하여 트레이 상의 아이템을 식별하도록 훈련된다. 식별 모델(들)은 3-차원 합성 아이템의 랜덤 2-차원 뷰를 포함하는 합성 훈련 데이터세트를 지속적으로 입력함으로써 소프트웨어 애플리케이션에 의해 생성되고, 여기서 (1) 3-차원 합성 아이템의 방향, (2) 3-차원 합성 아이템을 조명하는 합성 광의 색상 또는 강도, 및/또는 (3) 식별된 표면 위의 3-차원 합성 아이템의 높이는, 고유하다.
트레이 분류에 기초하여, 시스템은 모든 실제 아이템의 리스트를 데이터베이스로부터 불러오고, 이는 관리자, 또는 그들의 직원, 계약자, 또는 대리인에 의해 라이브러리 데이터베이스로 이전에 업로드된 합성 아이템에 링크된 대응하는 기구 식별 모델(들)을 포함하는 트레이 상에 있어야 한다. 다음으로, 시스템은 트레이 상에 위치된 아이템을 식별하기 위해 기구 식별 모델(들)을 트레이의 이미지와 비교한다. 최종적으로, 시스템은 수술용 트레이의 이미지에 위치하지 않았던 아이템의 리스트를 표시한다.
도 4는 본 발명의 시스템 훈련의 일 실시예의 프로세스의 흐름도이다. 소프트웨어 애플리케이션은 애플리케이션이 실제 아이템에 대응하는 3-차원 합성 아이템으로 이전에 훈련되었기 때문에 이미지(사진 또는 비디오)로부터 실제 아이템을 인식할 수 있다. 데이터 준비 단계를 위한 이러한 일 실시예에서, 관리자, 또는 그들의 직원, 계약자, 또는 대리인은: (1) 아이템(예를 들어, 트레이, 도구, 임플란트, 패스너, 등)을 선택하여 장면을 생성하고, (2) 예를 들어, 3ds Max 및/또는 Unity와 같은, 3-차원 렌더링 프로그램에 장면을 업로드하고, 그 후 시스템은 (3) 디바이스의 합성 이미지(즉, 2-차원 이미지)를 렌더링하여 상관된 합성 색상 마스크를 생성하고, (4) 주석이 달린 파일을 개발하거나 또는 기구 마스크를 기구의 실제 이미지로 매핑하기 위해 소프트웨어 애플리케이션으로 데이터세트를 제공하고, 그리고 (5) 이미지 계층화를 위해 주석이 달린 파일을 서브파일로 분할한다. 검출기 훈련을 위해, 관리자, 또는 그들의 직원, 계약자, 또는 대리인, 또는 시스템은 자동으로: (1) 훈련을 위해 사용할 데이터세트를 선택하고, (2) 모델 아키텍처를 준비하고, (3) 변경될 데이터세트에서의 이미지의 특정 증강(예를 들어, 색상, 아이템의 기하구조, 경계 상자 크기 또는 형상, 광 수준, 등)을 선택하고, (4) 이미지 입력 크기를 설정하고, (5) 배치(batch) 크기, 학습 속도, 반복횟수, 등과 같은 데이터 로더 세팅을 설정하고, 그리고 (6) 모델 훈련을 시스템에 배포하고 그것을 모니터링할 수 있다.
시스템 훈련으로 인해 복수의: (1) 특정 트레이 분류(들)에 링크된 트레이 특징 벡터(들) 및 (2) 특정 기구 분류(들)에 링크된 기구 특징 벡터(들)가 생성된다. 특정 트레이 분류에 링크된 트레이 특징 벡터(들) 및 특정 기구 분류에 링크된 기구 분류 벡터(들)는 실제 트레이/기구의 이미지가 촬영된 장소, 또는 실제 트레이/기구의 이미지가 촬영된 장소로부터 멀리 떨어진 장소 중 어느 하나에 위치한 서버에 업로드된다.
AI-기반 컴퓨터 비전 시스템을 훈련시키기 위해, 관리자, 또는 그들의 직원, 계약자, 또는 대리인에 의해 시스템으로 이전에 업로드된 3-차원 합성 아이템의 사용은 독립적인 아이템별 마커 없이도, 시스템이 90%, 91%, 92%, 93%, 94%, 95%, 96%, 97%, 98%, 99%, 심지어 99.5%보다 큰 정확도로 트레이 상의 모든 아이템을 정확하게 식별할 수 있도록 함으로써, 이전에 논의된 현실 세계에서의 실현가능성 문제를 해결한다. 시스템 및 방법은 3-차원 합성 아이템의 방향, 음영, 및 표면 텍스처(예를 들어, 거칠기, 사용으로 인한 마모, 반사율, 등)를 조작하도록 조정되었기 때문에, 시스템 정확도는 트레이 상의 실제 아이템이 트레이의 전형적인 위치/방향으로부터 재위치(또는 누락)된 이미지에 의해 크게 영향을 받지 않는다. 시스템은 시스템이 트레이 상에 또는 트레이 내부에 아이템이 있는지 또는 없는지 여부를 결정하도록 하는 링크된 필수적 특징 벡터를 생성하기 위해 사용되는 3-차원 합성 아이템의 수십만 개의 2-차원 합성 이미지를 생성한다. 본 발명은 표면 상에 생물학적 물질이 있거나, 또는 부분적으로 시야에서 가려진 실제 아이템을 식별하도록 구성될 수 있다. 게다가, 본 발명은 3-차원 합성 아이템의 더 많은 수의 2-차원 합성 이미지를 사용함으로써 훨씬 더 높은 정확도에 도달하도록 시스템을 지속적으로 훈련시킬 수 있다.
본 발명의 시스템 및 방법의 상세한 논의가 아래에 제공된다. 첫 번째로, 시스템 개요가 논의된다. 두 번째로, 3-차원 합성 아이템의 생성이 설명된다. 세 번째로, 시스템이 훈련되는 방법이 논의된다. 네 번째로, 시스템이 사진에서 실제 아이템을 인식하는 방식이 설명된다. 다섯 번째로, 사용자가 시스템과 상호작용할 수 있는 방법이 논의된다. 여섯 번째로, 시스템 구성요소가 식별된다. 일곱 번째로, 이 시스템의 환경을 위한 클라우드 컴퓨팅 시스템의 설명이 나온다. 여덟 번째로, 관련 데이터의 수집 및 보유가 개시된다.
시스템 개요
도 1a는 이미지 데이터 수집 디바이스(들)(120), 및 데이터베이스(들)(130)와 통신하는 메모리에 의해 지원되는 프로세서를 포함하는 서버(110)를 포함하는 시스템을 나타낸다. 예를 들어, 도 1b에 개시된 바와 같이, 사용자는 이미지 캡처 디바이스(예를 들어, 스마트폰)를 사용하여 수술용 트레이(135)의 사진을 촬영한다. 소프트웨어 애플리케이션의 프론트 엔드는 자동으로 케이스 ID를 할당하고 시스템의 분류기 및 검출기 모듈을 배포하는 서버(110)로 이미지를 전송한다(140). 분류기 및 검출기 모듈은 데이터베이스(들)(130)와 연결된다(145). 데이터베이스는 서버(110)에 대한 성공적인 연결을 확인(confirm)한다(150). 이미지를 포함하는 연결 스트림(155)이 분류기 및 검출기 모듈로 전송된다. 트레이 유형이 분류된다(160). 트레이가 분류되면, 분류기 및 검출기 모듈은 데이터베이스(130)로부터의 식별된 트레이 분류(160)에 링크된 기구 검출기 모듈을 요청한다(165). 링크된 기구 검출기 모듈이 배포되고(170), 분류기 검출기 모듈은 이미지의 기구를 검출한다(175). 신뢰도 임계값이 각각의 검출된 기구에 적용된다(180). 트레이 분류기에 링크된 검출되지 않은 기구의 리스트가 결정된다. 최종적으로, 검출된 기구 및 누락된 기구의 리스트와 함께 분류된 트레이가 이어서 사용자에게 그래픽 사용자 인터페이스를 통해 표시되도록 소프트웨어 애플리케이션에 제공된다.
상기 설명된 바와 같이, 시스템은 두 개의 단계로 진행된다. 첫 번째로, 시스템은 이미지를 분석하여 이미지의 트레이 유형을 식별하고 분류하도록 구성된다. 두 번째로, 시스템은 이어서, 트레이를 분석하여, 만약 있다면, 어떤 아이템이 트레이(들)로부터 누락되었는지 결정하고 사용자에게 그래픽 사용자 인터페이스를 통해 결과를 표시하도록 구성된다. 선택적으로, 시스템은 감사(auditing) 사용을 위한 것과 같이, 추후 분석을 위해 데이터베이스에 결과를 저장할 수 있다. 데이터베이스(들)는 다음을 포함한다:
(1) 컨볼루션 신경망(CNN; Convolutional Neural Network)과 같은, AI-기반 컴퓨터 비전 시스템을 훈련시키기 위한, 트레이 및 수술용 디바이스와 같은, 3-차원 아이템의 복수의 2-차원 합성 이미지, 여기서 합성 이미지는: (a) 표면 텍스처, (b) 아이템 재료 성분(예를 들어, 금속, 플라스틱, 운모, 유리, 등), (c) 생산 공차 또는 아이템 마모(예를 들어, 사용된 드릴 비트는 새 것보다 둘레가 약간 작을 수 있음)를 고려할 수 있는, 크기 공차, 및 (d) 트레이 상의 또는 트레이 내의 아이템 위치;
(2) 합성 이미지를 사용하여 시스템을 훈련한 결과 획득된 특정 합성 수술용 트레이에 상이한 트레이 분류 모델(들)을 링크시키는 트레이 분류 모델(들)의 리스트(들);
(3) 합성 이미지를 사용하여 시스템을 훈련한 결과 획득된 특정 기구에 상이한 기구 특징 벡터를 링크시키는 복수의 기구 식별 모델(들); 및
(4) 선택적으로, AI-기반 시스템의 지식을 훈련시키기 위해 사용되는 복수의 실제 이미지.
정보는 시스템 관리자, 또는 그들의 직원, 계약자, 또는 대리인에 의해 데이터베이스로 업로드될 수 있거나 또는 제공될 수 있다. 최종적으로, 프로세서는: (1) 이미지의 트레이를 식별 및 분류하고; (2) 이미지의 트레이의 분류에 기초하여, 트레이에 링크된 아이템의 리스트를 식별하고; (3) 특정 리스트 상의 아이템이 이미지에 포함되어 있는지 여부를 결정하기 위해 이미지의 내용을 분석하고; (4) 어느 아이템이 이미지에 포함되어 있는지 및 포함되어 있지 않은지 소프트웨어 애플리케이션에 통지하고; 그리고 선택적으로 (5) 임의의 누락된 아이템이 위치될 수 있는 위치 또는 이미지에 포함된 아이템이 누락된 아이템을 대체할 수 있는지 여부를 결정하기 위해, AI-기반 시스템으로 통합된다.
본 발명은 아이템의 위치, 방향, 대안적인 표면 텍스처(예를 들어, 아이템의 표면 상에 존재하는 생물학적 물질), 또는 사용의 증거와 관계없이, 이미지의 아이템을 동적으로 식별하기 위해 시스템의 훈련을 가능하도록 첫 번째로 생성되어야 하는 각각의 3-차원 아이템의 수만 개의 2-차원 합성 이미지로 동작할 수 있다. 시스템은 특징 벡터를 식별하고 다양한 특징 벡터 및/또는 특정 트레이 및 기구, 임플란트, 도구, 또는 패스너와 링크시킴으로써 다양한 아이템을 인식하도록 학습될 수 있다.
선택적으로, 많은 수의 물체의 실제 이미지가 다양한 아이템을 인식하기 위한 시스템의 능력을 훈련하는데 도움을 주기 위해 사용될 수 있다. 이러한 이미지는 가능한 한 많은 아이템 분류와 속성(예를 들어, 조명, 배경, 카메라 각도, 등)의 무작위 뷰로 촬영된다. 물체의 실제 이미지는 이어서 3-차원 합성 아이템과 유사한 방식으로 주석이 추가된다. 일 실시예에서, 이러한 주석(들)은 SENSE 소프트웨어 도구를 사용하여 달성된다. 이러한 일 실시예에서, 경계 상자가 SENSE 도구를 사용하여 각각의 아이템 주위에 그려지고 라벨링된다.
훈련되면, 시스템은 예를 들어 카메라에 의해 촬영된 이미지(사진 또는 비디오)를 수신하고, 그 이미지를 사용하여 이미지의 수술용 트레이를 식별하고, 수술용 트레이 상에 어떤 기구가 있어야 하는지 및 그러한 기구가 실제로 존재하는지 여부를 식별하고, 그리고 실시간으로 적절한 조치를 취할 수 있도록 사용자에게 분석 결과(즉, 임의의 기구가 누락되었는지 여부)를 표시하도록 구성된다.
합성 아이템의 생성
실제 물체의 각각의 3-차원 합성 아이템의 생성은 카메라로 촬영된 사진에서 실제 물체의 특징을 인식하도록 시스템을 훈련시키는 첫 번째 단계이다. 도 2a 및 2b는 완성된 3-차원 합성 아이템의 예와 훈련 중에 시스템에 의해 이러한 합성 아이템이 다양한 관점에서 어떻게 보여질 수 있는지를 나타낸다.
시스템은 3-차원 합성 아이템으로부터 무한한 수의 2-차원 합성 이미지를 생성하며, 이에 따라 2-차원 합성 이미지는 시스템을 훈련시키기 위해 사용된다. 3-차원 합성 아이템의 생성은 관리자, 또는 그들의 직원, 계약자, 또는 대리인이, 예비 3-차원 모델을 생성하기 위해 기하구조(형상), 표면 지형(topography)/텍스처, 아이템 재료 성분, 및/또는 아이템에 관한 색상 정보를 수집하는 것으로 시작한다. 예비 3-차원 모델은 관리자 또는 그들의 직원, 계약자, 또는 대리인에 의해 개선되어, 시스템에 의해 사용되는 아이템의 모든 합성 이미지의 근원이 되는, 최종 3-차원 합성 아이템을 생성한다. 반대로, 시스템은 예비 3-차원 모델을 생성하기 위해 3-차원 CAD 도면 파일을 수신할 수 있다. 이러한 CAD 파일은 트레이(들) 또는 아이템(들)의 제조자 또는 배포자에 의해 시스템으로 제공될 수 있다.
특정 실시예에서, 예비 3-차원 모델을 생성하기 위한 초기 정보는 실제 물체 또는 트레이와 관련하여 여러 다양한 관점(포즈)에서 수집된다. 아이템의 뷰를 캡처하는 이 절차는 3-차원 스캐닝 또는 3-차원 모델링으로 지칭될 수 있고, 이는 예를 들어, Artec 3차원 스캐너와 같은, 하나 이상의 3-차원 스캐너를 포함하는 3-차원 모델링 시스템을 사용하여 예비적으로 달성될 수 있다. 각각의 스캐너는 하나 이상의 뎁스(depth) 카메라를 포함할 수 있고, 이는 이미지의 하나 이상의 스트림의 형태로 시각적 정보를 획득한다. 뎁스 카메라는 또한 아이템에 관한 색상 정보를 획득하는, 하나 이상의 색상 카메라와, 예비적으로 아이템에 관한 기하구조, 표면 텍스처, 및 재료 정보를 캡처하기 위한 IR(IR; Infra-Red) 구조-광 조명기와 함께 사용될 수 있는, 하나 이상의 적외선 카메라를 포함할 수 있다. 색상 및 IR 카메라는 동기화될 수 있고 기하학적으로 보정될 수 있으며, 이로써 카메라가 색상 이미지 및 뎁스-맵으로 구성된 일련의 프레임을 캡처할 수 있도록 하며, 이에 대한 기하학적 정렬이 가능하다. 특정 실시예에서, 아이템의 모든 측면을 캡처하기 위해 최소 2번 아이템이 캡처될 필요가 있다. 특정 실시예에서, 이미지 해상도는 2048 x 1536 픽셀로 설정될 수 있다.
상기 설명된, 3-차원 모델링 시스템은, 기준 좌표 시스템(예를 들어, 뎁스 카메라에서 원점을 갖는 좌표 시스템)에 관한 실제 물체의 표면의 가시적인 점의 3-차원 위치를 식별하기 위해 사용될 수 있다. 따라서, 3-차원 점을 포함하는 예비 3-차원 모델은 실제 물체의 표면의 일부 뿐만 아니라, 3-차원 모델링 시스템에 의해 뎁스 카메라의 시야 내의 기타 표면 특성을 설명하기 위해 사용될 수 있다.
예비 3-차원 모델은 x, y, 및 z 좌표를 갖는 3-차원 점의 집합 및/또는 메쉬(예를 들어, 삼각형의 집합)를 포함할 수 있다. 뎁스 카메라는 또한, 생산 공차 및 아이템 마모(예를 들어, 사용된 드릴 비트 상의 마모)를 고려할 수 있는, 표면 텍스처, 아이템 재료 성분(예를 들어, 금속, 플라스틱, 운모, 유리, 등), 및 크기 공차에 관한 정보를 캡처할 수 있고, 예비 3-차원 모델은 이를 포함할 수 있다.
3-차원 모델링 시스템은 완벽하지 않기 때문에, 이미지 교정 기술이 카메라 렌즈 형상과 카메라 방향 변화로부터의 이미지 왜곡을 수용하기 위해 사용될 수 있다. 3-차원 모델링 시스템은 또한 잘못된 측정(예를 들어, 측정 노이즈)으로 인한 "아웃라이어" 점을 제거하거나 또는 아이템이 배치된 표면에 남아있는 것과 같은, 아이템 또는 트레이의 일부가 아닌 구조를 제거하기 위해 예비 3-차원 모델을 자동으로 처리할 수 있다. 배경 아이템은 예를 들어, 특정 임계 뎁스보다 큰 뎁스를 갖는 점의 매핑을 제한하거나 또는 점의 최하위 평면을 검출함으로써 제거될 수 있다.
일부 경우에서, 다중 3-차원 점 및/또는 메쉬는 예비 3-차원 모델을 생성하기 위해 결합될 수 있다. 결합은 예비 3-차원 모델을 생성하기 위해, Artec Studio 15 또는 Blender® 소프트웨어와 같은, 모듈을 병합함으로써 발생할 수 있다(예를 들어, ICP를 사용하여 점 또는 메쉬를 정렬 및 병합하고, 노이즈를 감소시키고 3-차원 모델의 크기를 관리하기 위해 관련 없거나 불필요한 점을 제거함으로써). 일부 실시예에서, 메쉬 생성 모듈은 델로네(Delaunay) 삼각분할 및 알파 형상과 같은 기술과, MeshLab과 같은 소프트웨어 도구를 사용하여 병합된 예비 3-차원 모델로부터 3-차원 메쉬를 연산한다. 3-차원 모델은 색상 카메라를 사용하여 획득된 이미지의 색상 정보와 결합될 수 있고 텍스처 맵(예를 들어, 모델의 표면의 색상에 관한 정보)으로서 적용될 수 있다. 메쉬의 이러한 생성은 추후 다각형화(polygonization)를 용이하게 하는 구조적 정보를 제공함으로써 합성 이미지의 분할 품질을 향상시킨다.
예비 3-차원 모델이 생성되면, 기하구조, 각 꼭지점의 위치, 각 텍스처 좌표 꼭지점의 UV 위치, 꼭지점 법선, 꼭지점 리스트로 정의되는 각각의 다각형을 이루는 면, 텍스처 좌표, 및 아이템 또는 트레이에 관한 기타 특성을 정의하는, 형식으로 3-차원 모델을 수정하기 위한 애플리케이션으로 내보내진다. 3-차원 모델을 수정하기 위한 애플리케이션은 Autodesk 3d Max일 수 있고 파일 형식은 OBJ 형식일 수 있다. 예비 3-차원 모델이 3-차원 모델링 애플리케이션으로 가져가지면, 수정자가 생성되고 예비 3-차원 모델에 묘사된 물체 주위에 충돌 경계 상자를 그리는 데 적용된다. 충돌 경계 상자는 물체 주위에 그려진 상자이며, 이는 전체 물체를 포함한다. 도 3은 예비 3-차원 모델에 묘사된 물체 주위에 그려진 경계 상자의 예를 나타낸다. 경계 상자는 폭 및 높이 뿐만 아니라, x 및 y 좌표를 갖는 직사각형으로 표현될 수 있다. 예비 3-차원 모델에 묘사된 물체 주위에 충돌 경계 상자를 그림으로써, 시스템은 물체의 명확한 정의를 갖는다. 도 3은 Autodesk 3ds Max에서 작동하는 도구세트(toolset)인 MassFX를 사용하여 이러한 경계 상자의 적용을 나타낸다. 경계 상자가 사용하기에 빠르고 쉽지만, 다각형화는 직사각형과 정사각형으로 제한되지 않고 더 많은 선과 각도를 캡처하기 때문에 불규칙한 형상에 대한 대안이다. 경계 상자 또는 다각형화가 아이템(들)을 매핑하기 위해 사용되는지와 관계없이, 라벨은 예비 3-차원 모델에 적용된다.
라벨은 아이템의 재료의 유형, 표면 텍스처, 및 크기 공차 정보를 식별한다. 라벨은 수동으로 또는 자동으로 아이템 또는 고정 트레이의 각각의 경계 섹션에 확인, 보완, 또는 할당된다. 예를 들어, 관리자, 또는 그들의 직원, 계약자, 또는 대리인은, 트레이 홀더에 관한 관련 경계 상자(들)를 트레이의 금속 홀더용 광택 알루미늄을 모방하는 금속 특성과 다른 플라스틱 홀더용 미카르타(micarta) 재료로 설정할 수 있다. 실제로, 각각의 합성 아이템 또는 트레이 일부는 다각형 선택을 통해 수동으로 선택될 수 있으며, 해당 다각형 서브세트 상에, 재료 ID가 관리자 또는 그들의 직원, 계약자, 또는 대리인에 의해 수동으로 할당될 수 있다.
특정 실시예에서, 예비 3-차원 모델의 수동 또는 자동 생성은 재료 정보에 추가되고 모든 합성 아이템에 적용되는 유틸리티 셰이더(utility shader)를 포함한다. 이 셰이더는 각각의 합성 아이템의 이름에 고유한 색상이 할당된 합성 아이템의 이름에 기초하여 고유한 물체 마스크를 생성한다. 이러한 방식은 시스템 및 사용자 모두가 합성 색상 연관을 통해 합성 아이템을 보다 쉽게 인식할 수 있도록 한다.
게다가, 다양한 조명 조건 또는 강도에서 아이템을 식별하는 시스템을 지원하기 위해, 합성 카메라가 합성 조명의 강도 또는 대비를 동적으로 변경하면서 설정된 프레임 수의 경로를 따라, 예비 3-차원 모델, 또는 심지어 3-차원 합성 아이템의 다양한 2-차원 뷰를 캡처하기 위해 사용된다. 합성 카메라는 3-차원 공간에서, 예비 3-차원 모델, 또는 심지어 3-차원 합성 아이템의 다양한 방향의 이미지를 캡처할 수 있다. 이 방식은 다양한 조명 조건 및 다양한 방향에서, 예비 3-차원 모델, 또는 심지어 3-차원 합성 아이템의 수천개의 이미지를 캡처한다. 합성 이미지를 사용하여, 최적 조명 조건(즉, 실제 조명 조건과 관계없이 시스템이 합성 아이템과 실제 아이템을 가장 정확하게 매칭시킬 수 있는 기본 조명 조건)이 식별될 수 있다. 식별되면, 최적 조명 조건은 예비 3-차원 모델, 또는 심지어 3-차원 합성 아이템 각각의 다양한 표면에 할당된다.
최종적으로, 관리자 또는 그들의 직원, 계약자, 또는 대리인은 특정한 완전한 합성 트레이를 생성하기 위해 트레이의 예비 3-차원 모델 상에 또는 트레이의 예비 3-차원 모델 내에 특정한 아이템을 특정 위치에 배치시킴으로써, 예비 3-차원 합성 모델, 또는 심지어 3-차원 합성 아이템을 수동으로 결합할 수 있다. 특정한 완전한 합성 트레이, 해당 합성 트레이와 연관된 모든 합성 아이템, 특정한 완전한 합성 트레이 상에 위치된 모든 합성 아이템의 리스트가 이어서 데이터베이스에 업로드된다. 다른 특정 실시예에서, 시스템은 합성 기구, 임플란트, 도구, 또는 패스너를 합성 트레이와 자동으로 결합한다.
예비 3-차원 모델의 각각의 다각형에 대한 재료 식별, 표면 텍스처, 크기 공차, 및 최적 조명 조건을 수동으로 확인, 보완, 또는 할당함으로써, 3-차원 합성 아이템이 생성되며, 이는: (1) 데이터베이스로부터 불러오기; (2) 트레이의 이미지에 적용; 및 (3) 시스템을 추가로 훈련시키기 위해 이미지 상에서 조작(예를 들어, 합성 아이템의 위치, 방향, 폐색, 표면 텍스처, 또는 트레이 상의 광 음영을 변경)될 수 있다. 필요에 따라, 필요한 수십만 개의 2-차원 이미지를 생성하기 위해 조작될 수 있는, 3-차원 합성 아이템을 사용함으로써, 시스템은 독립적으로 아이템을 표시할 필요 없이 AI-기반 컴퓨터-비전 시스템을 훈련시킬 수 있는 트레이 및 기구의 수십만 개의 실제 이미지를 획득하는 것과 연관된 시간-문제를 해결할 수 있다.
게다가, 재료, 표면 텍스처, 크기 공차 정보, 및 음영 응답과 관련된 정보는 합성 아이템의 모든 개별 표면에 링크되었기 때문에, 시스템을 훈련시키기 위한 3-차원 합성 아이템의 사용은 상당히 변할 수 있고, 그 결과 재현율 및 정밀도가 향상된다. 예를 들어, 실제 물체의 재료는 반사적(reflective)(예를 들어, 금속성)일 수 있다. 재료 정보가 3-차원 합성 아이템 상에 포함될 수 있기 때문에, 시스템이 사용을 위해 배포할 때, 시스템은 기구에 닿거나 또는 기구로부터 반사되는 광의 강도와 관계없이, 사진에 나타난 실제 아이템을 식별할 수 있도록, 시스템은 그것의 훈련에서 눈부심(glare) 및 반사 요소를 통합할 수 있다.
3-차원 합성 아이템(들)이 생성되고 시스템의 소프트웨어에 의해 고유 식별정보로 할당되면, 시스템은 컨볼루션 신경망(CNN; Convolutional Neural Network)과 같은, 심층 신경망 컴퓨터 비전 물체 검출 모델을 훈련시키기 위해 3-차원 합성 아이템(들)을 사용할 수 있다. 컴퓨터-비전-보조 심층 신경망은 3-차원 합성 아이템과 해당 고유 식별정보(예를 들어, 아이템의 정확한 분류) 및 선택적으로 실제 이미지로 훈련된다. 신경망의 매개변수(예를 들어, 레이어 사이의 연결 가중치)는 역전파(backpropagation), 경사 하강법(gradient descent), 색상, 기하구조, 또는 경계 상자 증강과 같은 신경망 훈련을 위한 표준 프로세스를 사용하여 구현될 수 있다. 또한, 훈련 프로세스는 사전-훈련된, 범용 이미지 분류 신경망으로부터의 매개변수를 사용하여 초기화될 수 있다. 이 훈련 데이터의 일부는 훈련 프로세스 동안 매개변수를 추가적으로 조정하기 위해 교차-검증 데이터로 보류될 수 있으며, 일부는 또한 네트워크가 적절하게 훈련되었는지 확인하기 위한 테스트 데이터세트로 보류될 수 있다.
이러한 훈련으로, 시스템은 특정 트레이 및/또는 기구에 링크될 수 있는, 실제 물체의 3-차원 합성 아이템 및 이미지에 대한 특징 벡터를 식별할 수 있다. 이러한 식별된 특징 벡터는 훈련 위치에 위치하는 서버 또는 훈련 위치로부터 멀리 떨어진 서버로 업로드될 수 있다. 훈련되면, 시스템은 하나의 이미지(사진 또는 비디오)의 실제 물체를 다른 이미지의 다른 실제 물체와 구별하는 데 유용한 패턴을 자동으로 결정하기 위한 벡터를 사용하도록 구성될 수 있다. 이 방식을 사용하여, 시스템은 다양한 각도, 다양한 조명 조건, 및 물체가 다른 물체에 의해 가려질 때 실제 물체를 인식할 수 있다. 시스템은 트레이 내의 또는 트레이 상의 이미지에 나타난 실제 물체, 또는 심지어 표면 상의 트레이 밖의 실제 물체를 인식할 수 있다.
시스템 훈련
이전에 설명된 바와 같이, 시스템은 이전에 훈련되었기 때문에 이미지에서, 수술용 트레이 내의 또는 수술용 트레이 상의 물체(들)의 존재 또는 부존재를 상당한 정확도로 식별하도록 구성된다. 훈련은 직렬화된 기계 학습 파이프라인을 통해 발생한다. 기계 학습 파이프라인은 기계 학습 모델 또는 여러 모델 세트 내로의 데이터 흐름과, 그로부터의 출력을 조율하는 엔드-투-엔드(end-to-end) 구성이다. 시스템은: (1) 다양한 트레이를 분류하고, 그리고 (2) 어떤 기구가 분류된 트레이 내에 위치하는지 식별하는 것을 학습하기 위해 3-차원 합성 아이템을 활용한다. 3-차원 합성 아이템의 2-차원 이미지의 사용은 무한한 훈련 데이터세트를 생성하기 위해 사용될 수 있다. 시스템을 훈련시키기 위해 사용되는 데이터의 양은 시간 및 합성 이미지를 생성하고 처리하기 위해 이용 가능한 컴퓨팅 파워에 의해서만 제한된다. 합성 아이템(들)을 채용함으로써, 시스템은 시스템을 훈련시키기 위해 시스템에 제공될 수 있는 고유 합성 이미지의 끝없은 스트림을 생성하도록 구성된다. 이 무한한 훈련 데이터 소스는, 시스템이 자주 추측할 필요가 없음을 의미하는, 높은 재현율과, 시스템이 이미지의 아이템을 추측할 때, 시스템이 종종 맞는다는 것을 의미하는, 높은 정밀도를 갖는, 아이템 검출기를 제공한다.
임의의 기계 학습 모델을 훈련시키는 프로세스는, 텐서로 구성된 수술용 트레이(들) 또는 아이템(들)에 관한 식별 모델(들)을 구성하기 위해 사용되는 훈련 데이터와 함께, 학습 알고리즘인, 기계 학습 알고리즘을 제공하는 것을 수반한다. 이 경우에서, 합성 이미지는 훈련 데이터로서 사용된다. 또한, 특정 실시예에서, 실제 이미지는 훈련 목적을 위해 합성 이미지를 보충하기 위해 사용된다. 시스템을 훈련시키기 위해 사용되는 대부분의 이미지는 합성으로 생성되므로, 시스템의 훈련을 지원하기 위해 다음 측면이 쉽게 변경될 수 있다: (1) 트레이 내의 기구 위치는 무작위로 지정될 수 있고; (2) 트레이 상에 있어야 하는 기구는 누락되도록 무작위로 선택될 수 있고; (3) 트레이와 관련된 기구의 높이는 무작위로 지정될 수 있고; (4) 광원은 무작위로 지정될 수 있고; (5) 트레이 내의 기구 분포는 무작위로 지정될 수 있고(예를 들어, 기구는 쌓여 있을 수 있음), 또는 (6) 트레이 상에 있어서는 안되는 주위 기구를 추가할 수 있음. 합성 아이템의 사용으로, 시스템을 훈련시키기 위해 수만 개의 무작위 합성 이미지가 생성될 수 있고 실시간으로 사용될 수 있다.
훈련 프로세스는 식별 모델(들)을 생성하고 개선한다. 훈련 프로세스 동안, 시스템은 예를 들어, 트레이(들) 또는 아이템(들)과 같은, 물체의 합성 이미지, 선택적으로 실제 이미지를, 각각의 합성에 링크된, 선택적으로, 실제 이미지에 링크된 정확한 결과와 함께 제공받는다. 정확한 결과는 대상 또는 대상 속성으로 지칭된다. 학습 알고리즘은 입력 데이터 속성을 대상에 매핑하는 훈련 데이터의 패턴을 탐색한다. 패턴 인식은 스칼라로 구성된 특징 벡터의 형태일 수 있고, 이는 단지 단일의 숫자이다(예를 들어, 특정 물리적 지점의 반사율). 특징 벡터는 해당 순서의 인덱스(예를 들어, 각각의 요소가 서로 다른 축을 따라 좌표를 제공하는 공간의 점)로 각각의 개별 숫자를 식별하도록 배열된 숫자 어레이이다. 특징 벡터는 매트릭스를 형성하기 위해 결합되며, 이는 숫자의 2-차원 어레이이므로 각각의 요소는 하나가 아닌 두 개의 인덱스로 식별된다(예를 들어, 축에 따른 좌표에서 스크류드라이버(screwdriver)의 반사율). 매트릭스는 가변 개수의 축이 있는 정규 그리드 상에 배열된 숫자 어레이인 텐서(들)를 생성하기 위해 결합된다. 특징 벡터는 추가적인 스칼라를 추가함으로써 수정될 수 있고, 매트릭스는 추가적인 특징 벡터를 추가함으로써 수정될 수 있고, 그리고 텐서는 각각이 동일한 형상을 갖는 경우 추가적인 매트릭스를 추가함으로써 수정될 수 있다. 이러한 수정은 훈련 중에 대응하는 요소를 시스템이 자동으로 추가함으로써 달성될 수 있다. 시스템이 훈련하면서, 패턴을 가장 잘 캡처하는 방식(즉, 가장 높은 재현율과 정밀도를 제공)으로 관련 텐서(들)를 자동으로 수정한다. 훈련은 대상 또는 대상 속성을 아는 도움 없이 새로운 2-차원 합성 이미지에 노출되는 업데이트된 학습 알고리즘으로 계속된다. 게다가, 2-차원 합성 이미지는 3-차원 합성 아이템으로부터 생성되기 때문에, 훈련 데이터가 시스템의 검토에 관한 정확한 답변(들)을 포함하거나 또는 제외하도록 하는 기능은 훈련 시 시스템으로의 전송에서 자동으로 제외될 수 있다. 결과적으로, 2-차원 합성 이미지가 시스템을 훈련시키기 위해 사용될 수 있을 뿐만 아니라, 시스템의 재현율 및 정밀도를 자동으로 평가하기 위한 기초로서 역할을 할 수도 있다.
도 4는 기계 학습 훈련 모듈의 일 실시예를 나타낸다. 게이트 모듈(즉, 이미지의 트레이를 식별하는 모듈) 및 검출기 모듈(즉, 이미지의 아이템을 식별하는 모듈) 모두가 훈련된다. 이러한 훈련은 직렬적으로 또는 병렬적으로 발생할 수 있다. 이러한 훈련은 자동적일 수 있다. 또한, 이러한 훈련은 시스템의 관리자 또는 직원, 계약자, 또는 관리자의 대리인이 결과를 평가하고 학습 알고리즘에 대한 변경을 승인한다는 점에서, 지도형 기계 학습 및 심층 학습일 수 있다. 이전에 논의된 바와 같이, 지도형 학습은 대상 분류(들)(예를 들어, 이미지에 어떤 기구(들)가 있는지) 또는 수치적 값(들)(예를 들어, 이미지에 얼마나 많은 스크류(들)가 있는지)을 식별하기 위해 입력 예에 대해 모델링된 알고리즘을 사용하는 것을 수반한다. 특정 실시예에서, 대상 분류 및 수치적 값은 링크된다(예를 들어, 이미지에 특정 유형의 스크류(들)가 얼마나 있는지).
도 4는 시스템(410)에 의해 고유 데이터세트가 자동으로 준비될 수 있는 것을 나타낸다. 트레이 분류기(415) 및 기구 식별(420) 모듈 모두는 2-차원 합성 이미지에 관해 훈련된다. 특정 실시예에서, 트레이 분류기(415) 및 기구 식별(420)은 실제 물체의 이미지를 사용하여 훈련된다. 다음으로, 시스템 결과는 기구 식별 모듈(430) 및 트레이 분류기(425) 모두에 관해 평가된다. 시스템은 기구 식별기에 관한 신뢰도 임계값(435)을 제공한다. 시스템은 기구 식별기(440) 및 트레이 분류기(450) 모두에 관한 최종 식별 결과를 제공한다. 최종적으로, 신뢰도 임계값이 이전에 설정된 신뢰도 임계값을 충족하거나 또는 초과하는 정도로, 시스템은 기구 식별 모듈 및 트레이 분류기 모두를 서버의 데이터베이스에 배포하거나 또는 업데이트한다(460).
식별 모델이 예상 성능으로 훈련되면, 다음 단계는 모델이 타당하고, 신뢰할 수 있으며, 그리고 사용을 위한 비즈니스 요구 사항을 충족한다는 신뢰도를 획득하기 위해, 제어되고, 실제에 가까운 설정에서, 식별 모델의 예측 결과를 평가하는 것이다. 이 단계에서, 검출기 모듈의 신뢰도 임계값이 설정된다(즉, 아이템이 이미지에 있는지 또는 없는지 여부를 식별하는 모듈). 검출기 모듈로 실제 물체의 대상 분류(들)를 식별함에 있어, 시스템은 각각의 출력에 수치적 신뢰도 값을 할당한다. 이 신뢰도 값은 예측에 있어 시스템의 신뢰도를 나타낸다. 시스템은 예측 세트에서 각 예측의 정확성을 결정하고 신뢰도 점수와 테스트 예측의 정확성 사이의 관계를 결정한다. 시스템은 결정된 관계 및 라벨에 기초하여 식별 모델에 관한 신뢰도 임계값을 구축한다. 부정확한 지정을 피하기 위해, 시스템 관리자 또는 직원, 계약자, 또는 관리자의 대리인은 최소 신뢰도 임계값을 지정하고 해당 최소 신뢰도 임계값을 데이터베이스의 관련 아이템에 링크시킨다. 최소 임계값은 모든 아이템에 걸쳐 보편적일 수 있으며 예를 들어 시스템은 90%보다 큰 신뢰도로 실제 물체를 식별하는 경우에만 트레이의 이미지로부터 실제 물체를 식별한다. 반대로, 고유 신뢰도 임계값(들)이 개별 아이템(들)에 링크될 수 있다. 예를 들어, 시스템은 70% 신뢰도로 이미지에서 스크류(screw)를 식별하도록 구성될 수 있지만, 수술용 임플란트의 경우 해당 식별에 관한 신뢰도 값이 95%보다 크지 않은 경우 이미지에서 수술용 임플란트의 존재를 확인하는 것이 제한될 수 있다.
트레이 분류기 모델 또는 식별 모델의 평가가 완료되면, 모델은 제작 시스템에 배포될 준비가 되었다. 특정 실시예에서, 제작 시스템은 네트워크 에지 디바이스와 같은 대상 제작 시스템의 다른 구성요소에 의해 불러와질 수 있는, 서버 상의 웹 서비스로서 배포되어, 어떤 기구가 이미지(사진 또는 비디오) 내에 위치될 수 있는지에 관한 예측 결과를 획득한다. 일부 실시예에서, 제작 시스템은 시스템을 훈련시키기 위해 사용된 프로그래밍 언어와 다른 프로그래밍 언어로 구현될 것이다. 예를 들어, 시스템은 Python을 사용하여 훈련될 수 있으나 Java로 구현될 수 있다.
시스템 이미지 인식
배포될 때, 시스템은 이미지(사진 또는 비디오) 또는 실제 수술용 트레이의, 수술용 기구, 도구, 임플란트, 등과 같은 물체를 식별할 수 있다. 이와 관련하여, 심층 신경망 모델은 먼저, 입력으로서, 사용자에 의해 촬영된 수술용 트레이의 실제 이미지를 수용한다. 특정 실시예에서, 이미저 해상도는 2048 x 1536 픽셀로 설정될 수 있다. 이미지는 시스템에 제공되어 먼저 특정 트레이를 분류하는 것으로 시스템에 의해 처리될 수 있다. 이 정보로, 시스템은 트레이 상에 위치되어야 하는 모든 아이템의 리스트를 데이터베이스로부터 불러온다. 이어서 시스템은 식별 모델과 이미지를 비교하여 이미지를 처리하고 검출된 수술용 아이템의 리스트를 이미지 상에서의 위치와 함께 또는 이미지에 있어야 했으나 없었던 아이템의 리스트를 반환한다. 시스템은 이미지를 분석하기 위해: (a) 트레이 분류기; 및 (b) 수술용 아이템 검출기와 같은 구성요소를 사용한다.
트레이 분류기에 의해 반환된 정보는 특정 트레이에 관해 의도된 특정 수술용 아이템 검출기(들)를 선택하기 위해 시스템에 의해 사용된다. 수술용 아이템 검출기는 사진의 특정 수술용 아이템의 리스트를 탐색하고 그것들의 위치를 파악한다(수술용 아이템을 포함하는 가장 작은 직사각형의 좌표를 반환). 분류기 및 검출기 모두는 컨볼루션 신경망(CNN; Convoluted Neural Network)에 기초할 수 있다. 특정 실시예에서, 수술용 아이템 검출기는 Faster-RCNN과 같은 모델 아키텍처를 사용한다.
특정 실시예에서, 수술용 아이템이 유사하게 보이는 경우, 수술용 아이템 분류기는 수술용 아이템 검출기를 지원하기 위해 사용될 수 있다. 이러한 상황에서, 시스템은 문제가 있는 아이템을 포함하는 사진 부분을 여러 개의 유사한 아이템 유형을 구별하는 수술용 아이템 분류기에 전달할 수 있다. 트레이 분류기의 경우처럼, 수술용 아이템 분류기는 CNN 모델에 기초할 수 있다.
특정 실시예에서, 수술용 아이템 식별은 합성 아이템의 할당된 고유 ID를 통합하는 디스크립터(descriptor)를 연산함으로써 수행되고, 여기서 디스크립터는 다-차원 벡터(즉, 매트릭스 또는 텐서)이다. 합성 아이템의 디스크립터를 연산하기 위한 일반적인 기술은 멀티-뷰 컨볼루션 신경망(MV-CNN; Multi-View Convolutional Neural Network)의 전방 평가(forward evaluation)에 기초하여 또는 체적 컨볼루션 신경망(V-CNN; Volumetric Convolutional Neural Network)에 의한다. 이러한 네트워크는 일반적으로 물체 분류를 위해 훈련되고, 일부 실시예에서, 네트워크의 끝에서 두 번째 계층(penultimate layer)의 출력은 디스크립터로서 사용된다.
예를 들어, 이전에 설명된 바와 같이, CNN은 뷰 생성 모듈에 의해 렌더링된, 3-차원 합성 아이템의 2-차원 이미지를 사용하여 훈련될 수 있다. 동작 중에, 합성된 2-차원 이미지는 각각의 뷰에 관한 디스크립터 또는 특징 벡터를 추출하기 위해 디스크립터 생성기로 공급된다. 각각의 뷰에 관한 특징 벡터는 디스크립터에 기초하여 뷰를 분류하기 위해 합성 아이템의 2-차원 이미지에 관한 디스크립터를 생성하도록 결합될 수 있다. 이러한 실시예에서, CNN은 물체의 분류를 생성하도록 합성된 2-차원 이미지를 처리하기 위해 사용될 수 있다. 일반적으로, 심층 CNN은 캐스캐이드 레이어를 통해 입력 이미지 데이터(예를 들어, 합성된 2-차원 이미지)를 전달함으로써 이미지를 처리한다. 이들 레이어는 다수의 스테이지로 그룹화될 수 있다. 심층 CNN은, N 개의 레이어(또는 서브-프로세스)로 구성된 제1 스테이지 CNN1 및 M 개의 레이어로 구성된 제2 스테이지 CNN2의, 두 개의 스테이지를 포함할 수 있다. 일 실시예에서, 제1 스테이지 CNN1의 N 개의 레이어 각각은 선형 컨볼루션 레이어 뱅크와, 그 뒤에 포인트 비-선형 레이어 및 비-선형 데이터 감소 레이어를 포함할 수 있다. 반대로, 제2 스테이지 CNN2의 M 개의 레이어 각각은 완전히 연결된 레이어일 수 있다. 제2 스테이지의 출력 p는 클래스-할당(class-assignment) 확률 분포이다. 예를 들어, 전체 CNN이 k 개의 다양한 클래스 중 하나로 입력 이미지를 할당하기 위해 훈련되는 경우, 제2 스테이지 CNN2의 출력은, 각 값이 입력 이미지가 대응하는 클래스에 할당되어야 하는 확률(또는 "신뢰도")을 나타내는, k 개의 다양한 값을 포함하는 벡터 p이다.
제1 스테이지 CNN1(컨볼루션 스테이지)에 의해 연산되고 제2 스테이지 CNN2(완전 연결 스테이지)에 공급되는 값은 디스크립터(또는 특징 벡터) f로 지칭된다. 특징 벡터 또는 디스크립터는 입력 이미지의 주요 특성을 압축 또는 요약하는 고정된 크기를 갖는 데이터 벡터일 수 있다. 제1 스테이지 CNN1은 분류 시스템의 특징 추출 스테이지로 지칭될 수 있다.
상기 설명된 분류기의 아키텍처는 필요한 경우, 물체의 n 개의 다양한 2-차원 뷰에 기초하여, 합성 아이템의 다중-뷰 형상 표현을 분류하는 데 적용될 수 있다. 예를 들어, 제1 스테이지 CNN1은 합성 아이템을 표현하기 위해 사용되는 n 개의 2-차원 뷰 각각에 독립적으로 적용될 수 있으며, 이로써 n 개의 특징 벡터 세트(각각의 2-차원 뷰에 대해 하나씩)를 연산할 수 있다. 일부 실시예에서, n 개의 개별 특징 벡터는 예를 들어, 최대 풀링(max pooling)을 사용하여 결합되고, 여기서, n 개의 뷰 각각은 n 개의 특징 벡터를 생성하기 위한 디스크립터 생성기의 제1 스테이지 CNN1로 공급된다. 최대-풀링에서, n 개의 특징 벡터는 단일의 결합된 특징 벡터 또는 디스크립터 F를 생성하기 위해 결합되며, 여기서 디스크립터 F의 j-번째 엔트리는 n 개의 특징 벡터 f 중 j-번째 엔트리 중 최대와 동일하다. 결과적인 디스크립터 F는 n 개의 특징 벡터 f와 동일한 길이(또는 랭크)를 가지고 따라서 디스크립터 F는 또한 물체의 분류를 연산하기 위해 제2 스테이지 CNN2로 입력으로서 공급될 수 있다.
본 발명의 일부 실시예는 또한 합성 아이템의 체적 표현으로부터 텐서를 생성하기 위해 복셀화(voxelization) 방식을 사용할 수 있다. 예를 들어, CNN은 합성 아이템의 표면과 교차하는 체적에 대응하는 텐서가 공급될 수 있고, 여기서 체적은 2-차원 컨볼루션 커넬의 크기에 대응하는 2-차원 뷰의 2-차원 패치보다, 3-차원 컨볼루션 커넬에 대응하는 크기 및 형상을 가진다.
추출된 텐서는 이어서 분류기에 공급되어 물체를 k 개의 다양한 클래스 C의 특정 세트 중 하나의 멤버로 분류할 수 있고, 이로써 대상 아이템이 분류된다. 이는 예를 들어, 디스크립터 F를 제2 스테이지 CNN2에 제공함으로써 수행될 수 있고, 이는 클래스-할당 확률 분포를 나타내는 정규화된 양수 벡터 p를 생성할 수 있다. 이 벡터 p의 가장 큰 엔트리의 인덱스는 주어진 형상에 관해 가장 가능성이 높은 클래스이며(즉, 이미지에 포함될 가능성이 가장 높은 수술용 아이템을 식별함), 관련 최대값은 이 분류의 신뢰도를 나타낸다. 제2 스테이지 CNN2는 CNN의 분류 단계로서 지칭될 수 있다.
본 발명의 일부 실시예에서, 디스크립터 벡터는 동일한 기술을 사용하여 이전에 연산된 디스크립터와 연관된 물체(즉, 수술용 아이템)의 데이터베이스에 질의하기 위해 사용된다. 물체의 이 데이터베이스는 알려진 수술용 아이템의 세트를 구성하고, 현재 물체(예를 들어, 대상 아이템)에 대응하는 알려진 수술용 아이템은 대상 아이템의 디스크립터에 대해, 디스크립터의 다-차원 공간에서 가장 가까운(예를 들어, 가장 유사한) 디스크립터를 검색함으로써 식별될 수 있다.
본 발명의 일부 실시예에서, CNN1은 제2 스테이지 CNN2에 디스크립터 F를 공급하는 대신에, 데이터 세트에서 가장 유사한 형상을 검색하기 위해 대상 아이템의 디스크립터 F를 사용함으로써 대상 아이템을 분류한다. 예를 들어, 훈련 세트의 모든 물체는 알려진 디스크립터 세트 {Fds(m)}을 생성하기 위해 제1 스테이지 CNN1로 공급될 수 있고, 여기서 인덱스 m은 훈련 데이터에서 특정 라벨링된 형상을 지시한다. 유사도 매트릭스는 임의의 두 개의 주어진 디스크립터 (벡터) F 및 Fds(m) 사이의 거리를 측정하도록 정의된다. 유사도 매트릭스의 일부 단순한 예는 유클리드 벡터 거리 및 마할라노비스(Mahalanobis) 벡터 거리이다. 다른 실시예에서, 유사도 매트릭스는 매트릭스 학습 알고리즘을 사용하여 학습된다. 매트릭스 학습 알고리즘은 동일한 클래스에 속하는 벡터 쌍 사이의 평균 거리(훈련 데이터의 예로부터 측정됨)를 최소화하고 상이한 클래스에 속하는 벡터 쌍 사이의 평균 거리를 최대화하는 특징 벡터 공간의 선형 또는 비-선형 변환을 학습할 수 있다.
본 발명의 일부 실시예에서, 시스템 관리자 또는 직원, 계약자, 또는 관리자의 대리인은, 프린트된 표면 특성을 다양한 수술용 아이템에 링크시킬 수 있다. 예를 들어, 경추(cervical spine) 임플란트는 임플란트의 특정 높이(예를 들어, "6 mm", "8 mm" 또는 "12 mm")를 식별할 수 있고 임플란트의 좌측 및 우측을 지정하는 서로 다른 색상의 상자를 가질 수 있다. 시스템은 아이템의 표면 상의 글씨 또는 색상을 식별할 수 있는 광학 문자 인식 모듈을 통합할 수 있다. 시스템은 시스템 관리자 또는 직원, 계약자, 또는 관리자의 대리인에 의해 데이터베이스에 이전에 업로드되었던 아이템의 리스트 및 링크되고 프린트된 표면 특성을 불러오도록 구성될 수 있다. 표면 프린팅의 인식은 식별된 아이템의 수치적 신뢰도 값을 증가시키거나 또는 감소시키기 위해 시스템에 의해 사용될 수 있다.
대상 아이템이 식별되면, 그것의 아이덴티티에 관한 데이터는 예를 들어, 라이브러리 데이터베이스로부터 검색될 수 있다. 검색된 데이터는, 예를 들어 트레이 상의 예상 위치, 기준 합성 아이템(예를 들어, 아이템의 예상 형상), 하나 이상의 결함 검출 모델(예를 들어, 아이템의 결함을 검출하도록 훈련된, 제2 컨볼루션 신경망과 같은, 모델) 등을 포함할 수 있다.
디스플레이 출력
시스템은 모든 대상 아이템이 식별될 때까지 계속된다. 모든 대상 아이템이 식별되기 전에, 도중에 또는 후에, 시스템은 트레이 상에 포함되어야 하는 모든 아이템의 리스트를 검색한다. 시스템은 설정된 신뢰도 값을 초과하는 식별된 아이템의 리스트를 트레이 상에 있어야 하는 아이템의 리스트와 비교하여 트레이 상에 있다고 확신하는 아이템과 그렇지 않은 아이템을 결정한다. 이어서 시스템은 사용자에게 그래픽 사용자 인터페이스를 통해, 트레이 상에 있는 아이템의 리스트와 트레이 상에 있는 것으로 식별되지 않은 아이템의 리스트를 표시한다. 선택적으로, 시스템은 트레이의 이름, 트레이 상에 있는 아이템의 위치, 및 트레이 상에 있어야 할 누락된 아이템의 위치를 표시할 수 있다. 이어서 사용자는 시스템과 상호작용할 수 있고 누락된 아이템을 실제로 트레이 상에 있는 것으로 수동으로 분류할 수 있고, 아이템이 실제로 트레이로부터 누락되었는지 확인할 수 있고 및/또는 시스템에 누락된 아이템에 대한 잠재적 대체 아이템을 식별하도록 요청할 수 있다.
사용자와의 시스템 상호작용
개시된 시스템은 자동으로 진행될 수 있으나, 개인(들) 및/또는 팀(들)은 사용자와 상호작용할 수 있다. 예를 들어, 일 실시예에서, 사용자는 추가적인 시스템 훈련으로 통합하기 위해 시스템 관리자 또는 직원, 계약자, 또는 관리자의 대리인에게 다시 전송되는 정보를 사용하여 수술용 트레이 상의 시스템의 아이템 식별을 감사하거나 또는 변경할 수 있다. 이 섹션은 사용자가 시스템에 의해 식별된 트레이 또는 아이템의 임의의 측면을 검토, 승인, 또는 변경할 수 있는 상호작용의 비-제한적인, 예시적인 실시예를 설명한다.
사용자 로그인
소프트웨어 애플리케이션의 첫 번째 단계는 사용자가 로그인하는 것이다. 일 실시예에서, 시스템은 다중-역할 지원을 제공한다. 예를 들어, 사용자는 의료 관리자, 간호사, 의사/외과의사, 트레이 상에 포함되어야 하는 아이템을 제조하는 회사의 대표자, 또는 보험 전문가일 수 있다.
사용자는 웹사이트에 방문하거나 또는 컴퓨터 애플리케이션을 로딩하는 것으로 시작한다. 서버는 이것이 사용자에 의한 첫 번째 방문인지 여부를 결정한다. 서버가 이것이 후속 방문이라고 결정하는 경우, 이전의 일반 정보(예를 들어, 이름, 연락처 정보, 액세스 권한, 등)이 로딩된다. 이것이 사용자에 의한 첫 번째 방문인 경우, 동일한 일반 정보가 수집된다. 사용자가 식별되면, 그들은 애플리케이션에 로그인할 수 있다. 로그인하면, 사용자는 랜딩 페이지에 도달한다. 비-제한적인 일 실시예에서, 랜딩 페이지는 동적이며 사용자의 역할에 따라 다양한 정보를 표시할 수 있다(즉, 보험 전문가에게는, 병원 관리자와 다른 페이지가 표시되는, 외과의사와 다른 랜딩 페이지가 제시된다).
장비 선택
일 실시예에서, 트레이와 그 위에 포함된 아이템의 리스트 및/또는 누락을 검토하는 능력은 사용자의 역할에 따라 다르다. 예를 들어, 사용자가 간호사로서 로그인한 경우, 시스템은 다가오는 수술을 위해 트레이와 그 위에 포함된 아이템의 리스트만을 확인할 수 있도록 사용자 액세스를 제한할 수 있다. 반대로, 병원 관리자는 다가오는 수술 뿐만 아니라, 관련 외과의사에 의한 이전의 모든 수술에 사용된 트레이 및 장비의 리스트 또한 확인하는 것이 허가될 수 있다. 게다가, 의료 장치 판매 담당자와 같은 특정 사용자는, 자신의 제품을 포함하는 트레이의 내용물을 볼 수 있도록 제한될 수 있으며, 이는 해당 담당자가 자신의 제품이 트레이에서 누락된 시기를 확인하도록 할 수 있다.
또 다른 실시예에서, 시스템은 트레이 상의 아이템을 감사하는 옵션을 더 포함할 수 있다. 이러한 일 실시예에서, 병원 관리자와 같은 사용자는, 먼저 환자의 케이스와 요구되는 트레이 및 아이템의 리스트를 확인할 수 있다. 사용자는 이어서 동일한 장비의 여러 부품이 다른 트레이 상에 위치하는지 여부를 확인할 수 있다. 이와 관련하여, 사용자는 잠재적인 폐기물 영역을 식별할 수 있다.
시스템 구성요소
도 5는 시스템 구성요소의 일 실시예를 나타낸다. 시스템의 비-제한적인 실시예는, 프로세싱 유닛(CPU 또는 프로세서), 및 롬(ROM; Read Only Memory) 및 램(RAM; Random-Access Memory)과 같은 시스템 메모리를 포함하는 다양한 시스템 구성요소를 프로세서와 커플링 시키는 시스템 버스를 포함하는, 범용 컴퓨팅 디바이스를 포함한다. 시스템은 시스템 버스에 의해 프로세서에 연결된 스토리지 디바이스를 포함할 수 있다. 시스템은 시스템 버스에 의해 프로세서에 연결된 인터페이스를 포함할 수 있다. 시스템은 프로세서와 직접 연결되거나, 프로세서에 근접하거나, 또는 프로세서의 일부로서 통합된 고속 메모리 캐시를 포함할 수 있다. 시스템은 프로세서에 의한 빠른 액세스를 위해 메모리 및/또는 스토리지 디바이스의 데이터를 캐시로 복사할 수 있다. 이러한 방법으로, 캐시는 데이터를 기다리는 동안의 프로세서 지연을 방지하는 성능 향상을 제공한다. 메모리, 스토리지 디바이스 또는 캐시에 저장된 이들 및 기타 모듈은 다양한 동작을 수행하기 위해 프로세서를 제어하거나 또는 제어하도록 구성될 수 있다. 다른 시스템 메모리 또한 사용 가능할 수 있다. 메모리는 다양한 성능 특성을 갖는 다양한 유형의 다수의 메모리를 포함할 수 있다.
컴퓨터 프로세서
본 발명은 더 큰 처리 능력을 제공하기 위해 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스 또는 함께 네트워킹된 컴퓨팅 디바이스의 그룹 또는 클러스터 상에서 동작할 수 있다. 프로세서는 임의의 범용 프로세서 및 하드웨어 모듈 또는 프로세서를 제어하도록 구성되고, 외부 또는 내부 스토리지 디바이스에 저장된, 소프트웨어 모듈뿐만 아니라, 소프트웨어 명령이 실제 프로세서 설계에 통합되는 특수-목적 프로세서를 포함할 수 있다. 프로세서는 멀티 코어 또는 프로세서, 버스, 메모리 컨트롤러, 캐시, 등을 포함하는 완전 독립 컴퓨팅 시스템일 수 있다. 멀티-코어 프로세서는 대칭 또는 비대칭일 수 있다.
명확성을 위해, 시스템 실시예는 "프로세서"로 라벨링된 기능 블록을 포함하는 개별 기능 블록을 포함할 수 있다. 이러한 블록이 나타내는 기능은 소프트웨어를 실행할 수 있는 하드웨어 및 범용 프로세서 상에서 실행되는 소프트웨어와 동등하게 동작하도록 특별히 제작된 프로세서와 같은 하드웨어를 포함하되, 이에 제한되지 않는 공유 또는 전용 하드웨어의 사용을 통해 제공될 수 있다. 예를 들어, 하나 이상의 프로세서의 기능은 단일 공유 프로세서 또는 멀티 프로세서에 의해 제공될 수 있으며 "프로세서"의 용어의 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 지칭하는 것으로 해석되어서는 안된다. 예시적인 실시예는 마이크로프로세서 및/또는 디지털 신호 프로세서(DSP; Digital Signal Processor) 하드웨어, 아래 논의되는 동작을 수행하는 소프트웨어를 저장하기 위한 ROM, 및 결과값을 저장하기 위한 RAM을 포함할 수 있다. 초대규모 집적회로(VLSI; Very Large-Scale Integration) 하드웨어 실시예는 물론, 범용 DSP 회로와 결합된 맞춤형 VLSI 회로 또한 제공될 수 있다.
시스템 버스
시스템 버스는 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스, 및 다양한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스를 포함하는 여러 유형의 버스 구조 중 하나일 수 있다. ROM 등에 저장된 기본 입력/출력(BIOS; Basic Input/Output)은, 스타트-업(start-up) 도중과 같이, 컴퓨팅 디바이스 내의 요소 사이에 정보를 전달하는 데 도움이 되는 기본 루틴을 제공할 수 있다.
스토리지 디바이스
컴퓨팅 디바이스는 하드 디스크 드라이브, 자기 디스크 드라이브, 광 디스크 드라이브, 솔리드-스테이트 드라이브, 테이프 드라이브, 등과 같은 스토리지 디바이스를 더 포함할 수 있다. 시스템 메모리와 마찬가지로, 스토리지 디바이스는 위치 정보, 메뉴, 소프트웨어, 유선 및 무선 연결 정보(예를 들어, 모바일 디바이스가 USB, 블루투스 또는 무선 네트워크 연결과 같은, 유선 또는 무선 연결을 구축할 수 있도록 하는 정보), 및 임의의 기타 적절한 데이터와 같은, 데이터 파일을 저장하기 위해 사용될 수 있다. 구체적으로, 스토리지 디바이스 및/또는 시스템 메모리는 기타 데이터 중에서 개시된 기술을 수행하기 위한 코드 및/또는 데이터를 저장할 수 있다.
일 측면에서, 기능을 수행하는 하드웨어 모듈은 해당 기능을 수행하는 데 필요한 프로세서, 버스, 디스플레이, 등과 같은, 필수 하드웨어 구성요소와 연결된 비-일시적 컴퓨터-판독가능 매체에 저장된 소프트웨어 구성요소를 포함한다. 기본 구성요소는 해당 기술분야의 통상의 기술자에게 알려져 있으며 디바이스가 소형인지, 휴대용 컴퓨팅 디바이스인지, 데스크탑 컴퓨터인지, 또는 컴퓨터 서버인지 여부와 같은 디바이스 유형에 따라 적절한 변형이 고려된다.
본 명세서에 개시된 일 실시예는 클라우드 컴퓨팅 및 클라우드 스토리지를 채용하지만, 자기 카세트, 플래시 메모리 카드, 디지털 다용도 디스크, 카트리지, RAM, ROM, 비트 스트림을 포함하는 케이블 또는 무선 신호 등과 같이, 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독가능 매체가 운영 환경에서 사용될 수도 있음이 해당 기술분야의 통상의 기술자에 의해 이해될 것이다. 게다가, 본 명세서에 사용된 비-일시적 컴퓨터-판독가능 저장 매체는 일시적인 전파 신호 자체를 제외하고는, 모든 컴퓨터-판독가능 매체를 포함한다.
인터페이스
컴퓨팅 디바이스와 사용자 상호작용을 가능하게 하기 위해, 입력 디바이스는 음성용 마이크로폰, 비디오용 웹 카메라, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은, 임의의 수의 입력 매커니즘을 나타낸다. 출력 디바이스 또한 디스플레이 스크린, 스피커, 알람, 등과 같이 해당 기술분야의 통상의 기술자에게 알려진 여러 개의 출력 매커니즘 중 하나 이상일 수 있다. 일부 경우에서, 다중모드 시스템은 사용자가 컴퓨팅 디바이스와 통신하기 위해 여러 유형의 입력을 제공하도록 할 수 있다. 통신 인터페이스는 일반적으로 사용자 입력 및 시스템 출력을 제어하고 관리한다. 게다가, 터치 스크린과 같은 하나의 인터페이스는, 입력, 출력 및/또는 통신 인터페이스의 역할을 할 수 있다.
임의의 하드웨어 구성에 대한 동작에는 제한이 없으므로 본 명세서에서의 기본 특징은 개발됨에 따라 개선된 하드웨어 또는 펌웨어 구성으로 대체될 수 있다.
이미지 데이터 수집 디바이스
시스템은 관련 수술용 트레이의 실제 사진을 획득하기 위한 적어도 하나의 이미지 수집 디바이스를 포함한다. 특정 실시예에서, 이미지 데이터 수집 디바이스는 실제 물체의 사진 또는 비디오를 캡처할 수 있는 카메라일 수 있다.
비-제한적인 일 실시예에서, 이미지 데이터 수집 디바이스는 헤드셋 또는 안경과 같은, 웨어러블 디바이스 상에 장착될 수 있다. 웨어러블 디바이스는 아이템이 수술용 트레이에서 누락된 것으로서 식별된 경우, 시술 전에 즉각적인 개입이 필요할 수 있으므로, 경보를 울리거나 또는 진동하도록 구성된 웨어러블 데이터 수집 디바이스를 포함할 수 있다.
일 실시예에서, 이미지 데이터 수집 디바이스는 시스템과의 유선 또는 무선 통신을 위한 전자적 구성요소를 포함한다. 결과적으로, 데이터 수집 디바이스는 시술에 대한 간섭을 피할 수 있다. 일 실시예에서, 이미지 데이터 수집 디바이스는 교체 또는 추가가 가능하여, 다른 이미지 데이터 수집 디바이스가 제거될 수도 있으며, 이를 통해 이미지 데이터 수집 디바이스는 청소될 수 있다.
다른 실시예에서, 이미지 데이터 수집 디바이스는 사용자의 아이덴티티를 검증하고 시술을 모니터링하도록 구성된 임베딩된 모니터링 구성요소를 포함할 수 있다. 예를 들어, 데이터 수집 디바이스는 안면 인식 소프트웨어 또는 지문 분석을 채용하여 설정된 간격으로 또는 지속적으로 사용자의 아이덴티티를 확인할 수 있다.
시스템은 하나 이상의 이미지 데이터 수집 디바이스를 포함할 수 있다. 실제로, 시스템은 2, 3, 4, 5, 6, 7, 8, 9, 또는 10개의 이미지 데이터 수집 디바이스를 포함할 수 있다. 예를 들어, 외과의사 및 간호사는 모두 카메라를 착용할 수 있다.
일 실시예에서, 이미지 데이터 수집 디바이스는 피험자가 이미지 데이터 수집 디바이스를 제거하는 것을 방지하기 위해 접촉-방지 하우징 내에 포함될 수 있다.
소프트웨어 동작
개시된 다양한 실시예의 논리적 동작은 다음과 같이: (1) 일반 사용 컴퓨터 내의 프로그램 가능 회로 상에서 실행되는 컴퓨터 구현 단계, 동작, 또는 절차의 시퀀스, (2) 특정 사용 프로그램 가능 회로 상에서 실행되는 컴퓨터 구현 단계, 동작, 또는 절차의 시퀀스; 및/또는 (3) 프로그램 가능 회로 내의 상호 연결된 기계 모듈 또는 프로그램 엔진으로 구현된다. 시스템은 인용된 방법의 전부 또는 일부를 실행할 수 있고, 인용된 시스템의 일부일 수 있으며, 및/또는 인용된 비-일시적 컴퓨터-판독가능 저장 매체의 명령에 따라 동작할 수 있다. 이러한 논리적 동작은 모듈의 프로그래밍에 따라 기능을 수행하기 위해 프로세서를 제어하도록 구성된 모듈로서 구현될 수 있다. 예를 들어, 스토리지 디바이스가 프로세서를 제어하도록 구성된 모듈을 포함하는 경우, 이러한 모듈은 런타임에서 RAM 또는 메모리에 로딩될 수 있거나 또는 해당 기술분야의 통상의 기술자에게 알려진 바와 같이 다른 컴퓨터-판독가능 메모리 위치에 저장될 수 있다. 컴퓨팅 시스템의 일부 구성요소를 개시하였으며, 본 개시는 이제 본 발명의 바람직한 환경인, 클라우드 컴퓨팅에 대한 설명으로 넘어간다.
클라우드 시스템
클라우드 컴퓨팅은 다양한 리소스가 엔티티에 의해 호스팅 및/또는 제어되고 인터넷을 통해 승인된 사용자에게 엔티티에 의해 이용 가능하게 된 인터넷-기반 컴퓨팅의 하나의 유형이다. 클라우드 컴퓨팅 시스템이 구성될 수 있고, 여기서 다양한 전자 디바이스는 컨텐츠 및 기타 데이터를 교환하기 위한 목적으로 네트워크를 통해 통신할 수 있다. 시스템은 전자 디바이스의 상호 통신을 용이하게 하는 다양한 네트워크 구성에서 사용되도록 구성될 수 있다. 예를 들어, 클라우드 컴퓨팅 시스템의 각각의 구성요소는 로컬화 또는 네트워크에서 분산된 방식으로 구현될 수 있다.
클라우드 리소스
클라우드 컴퓨팅 시스템은 클라우드 컴퓨팅 리소스(즉, "클라우드")를 포함하도록 구성될 수 있다. 클라우드 리소스는 클라우드 서버, 클라우드 데이터베이스, 클라우드 스토리지, 클라우드 네트워크, 클라우드 애플리케이션, 클라우드 플랫폼, 및/또는 임의의 기타 클라우드-기반 리소스와 같은, 다양한 하드웨어 및/또는 소프트웨어 리소스를 포함할 수 있다. 일부 경우에서, 클라우드 리소스는 분산될 수 있다. 예를 들어, 클라우드 스토리지는 다수의 스토리지 디바이스를 포함할 수 있다. 일부 경우에서, 클라우드 리소스는 다수의 클라우드 컴퓨팅 시스템 및/또는 개별 네트워크 지원 컴퓨팅 디바이스에 걸쳐 분산될 수 있다. 예를 들어, 클라우드 컴퓨팅 리소스는 서버, 데이터베이스, 및/또는 클라우드 리소스를 제공하기 위한 임의의 기타 네트워크 지원 컴퓨팅 디바이스와 통신할 수 있다.
일부 경우에서, 클라우드 리소스는 중복(redundant)될 수 있다. 예를 들어, 클라우드 컴퓨팅 리소스가 데이터 백업 서비스를 제공하도록 구성된 경우, 스토리지 리소스가 오프라인이거나, 사용 중이거나, 또는 요청을 처리할 수 없는 경우에도 사용자가 계속 데이터를 사용할 수 있도록 데이터의 여러 복사본이 저장될 수 있다. 다른 예에서, 클라우드 컴퓨팅 리소스가 소프트웨어를 제공하도록 구성된 경우, 소프트웨어가 임의의 다른 클라우드 서버로부터 제공될 수 있도록 다른 클라우드 서버로부터 소프트웨어가 이용 가능할 수 있다. 주어진 요청을 처리하기 위해 가장 가까운 서버나 또는 현재 로드가 가장 낮은 서버가 선택되는 알고리즘이 적용될 수 있다.
사용자 단말기
사용자는 직접 및/또는 간접 통신에 의해 네트워크와 연결된 사용자 단말기 또는 링크된 디바이스를 통해 클라우드 컴퓨팅 리소스와 상호작용한다. 클라우드 컴퓨팅 리소스는 서버; 데스크탑 컴퓨터; 모바일 컴퓨터; 휴대용 통신 디바이스(예를 들어, 모바일 폰, 스마트 폰, 태블릿); 셋 탑 박스; 네트워크-지원 하드 드라이브; 및/또는 임의의 기타 네트워크-지원 컴퓨팅 디바이스와 같은, 다양한 전자 디바이스로부터의 연결을 지원할 수 있다. 게다가, 클라우드 컴퓨팅 리소스는 다수의 전자 디바이스로부터의 연결을 동시에 수용하고 상호작용할 수 있다. 다수의 전자 디바이스와의 상호작용은 우선 순위가 지정되거나 또는 동시에 발생할 수 있다.
클라우드 컴퓨팅 리소스는 공용, 개인, 커뮤니티, 하이브리드, 및/또는 임의의 기타 클라우드 배포 모델과 같은, 다양한 배포 모델을 통해 클라우드 리소스를 제공할 수 있다. 일부 경우에서, 클라우드 컴퓨팅 리소스는 다수의 배포 모델을 지원할 수 있다. 예를 들어, 클라우드 컴퓨팅 리소스는 공용 배포 모델을 통해 리소스의 일 세트를 제공할 수 있고 개인 배포 모델을 통해 리소스의 다른 세트를 제공할 수 있다.
일부 구성에서, 사용자 단말기는 인터넷 연결이 이용 가능한 임의의 위치에서 클라우드 컴퓨팅 리소스에 액세스할 수 있다. 그러나, 다른 경우에서, 클라우드 컴퓨팅 리소스는 리소스가 특정한 위치에서만 액세스될 수 있도록 특정 리소스에 대한 액세스를 제한하도록 구성될 수 있다. 예를 들어, 클라우드 컴퓨팅 리소스가 개인 배포 모델을 사용하여 리소스를 제공하도록 구성된 경우, 클라우드 컴퓨팅 리소스는 사용자 단말기가 방화벽 뒤에서 리소스에 액세스 하도록 요구하는 것과 같은, 리소스에 대한 액세스를 제한할 수 있다.
서비스 모델
클라우드 컴퓨팅 리소스는 SaaS(Software as a Service), PaaS(Platforms as a Service), IaaS(Infrastructure as a Service), 및/또는 임의의 기타 클라우드 서비스 모델과 같은, 다양한 서비스 모델을 통해 사용자 단말기에게 클라우드 리소스를 제공할 수 있다. 일부 경우에서, 클라우드 컴퓨팅 리소스는 사용자 단말기에게 다수의 서비스 모델을 제공할 수 있다. 예를 들어, 클라우드 컴퓨팅 리소스는 사용자 단말기에게 SaaS 및 IaaS 모두를 제공할 수 있다. 일부 경우에서, 클라우드 컴퓨팅 리소스는 서로 다른 사용자 단말기에게 서로 다른 서비스 모델을 제공할 수 있다. 예를 들어, 클라우드 컴퓨팅 리소스는 하나의 사용자 단말기에게 SaaS를 제공할 수 있고 다른 사용자 단말기에게 PaaS를 제공할 수 있다.
사용자 상호작용
일부 경우에서, 클라우드 컴퓨팅 리소스는 계정 데이터베이스를 유지할 수 있다. 계정 데이터베이스는 등록된 사용자에 관한 프로파일 정보를 저장할 수 있다. 프로파일 정보는 사용자가 사용하는 것이 허가된 소프트웨어와 같은, 리소스 액세스 권한, 최대 저장 공간 등을 포함할 수 있다. 프로파일 정보는 또한 소비된 컴퓨팅 리소스, 데이터 스토리지 위치, 보안 설정, 개인 구성 설정, 등과 같은, 사용 정보를 포함할 수 있다. 일부 경우에서, 계정 데이터베이스는 데이터베이스 또는 서버 또는 데이터베이스와 같은 클라우드 컴퓨팅 리소스와 멀리 떨어진 서버에 있을 수 있다.
클라우드 컴퓨팅 리소스는 사용자 상호작용을 필요로 하는 다양한 기능성을 제공할 수 있다. 따라서, 사용자 인터페이스(UI; User Interface)는 클라우드 컴퓨팅 리소스와 통신하고 및/또는 클라우드 리소스와 연관된 작업을 수행하기 위해 제공될 수 있다. UI는 클라우드 컴퓨팅 리소스와 통신하는 최종 사용자 단말기를 통해 액세스될 수 있다. UI는 클라우드 컴퓨팅 리소스 및/또는 사용자 단말기의 저장 및 처리 능력에 따라, 팻(fat) 클라이언트 모드, 씬(thin) 클라이언트 모드, 또는 하이브리드 클라이언트 모드를 포함하는, 다양한 클라이언트 모드에서 동작하도록 구성될 수 있다. 따라서, UI는 일부 실시예에서 사용자 단말기에서 동작하는 독립형 애플리케이션으로서 구현될 수 있다. 다른 실시예에서, 웹 브라우저-기반 포털이 UI를 제공하기 위해 사용될 수 있다. 클라우드 컴퓨팅 리소스에 액세스하기 위한 임의의 기타 구성 또한 다양한 실시예에서 사용될 수 있다.
데이터 수집
일부 구성에서, 상기 설명된 시스템 또는 방법의 구현 동안, 스토리지 디바이스 또는 리소스는 이미지 데이터 수집 디바이스(들)로부터 전송된 관련 데이터를 저장하기 위해 사용될 수 있다. 이러한 정보는 향후 수술용 트레이 상의 아이템의 식별을 더욱 개선하기 위해 시스템에 의해 사용될 수 있다. 이러한 일 실시예에서, 시스템은 추가적인 기계 학습에 개입할 수 있다. 이러한 학습은 향후 더욱 효율적인 아이템 식별을 가능하게 한다.
다른 실시예에서, 이미지 데이터 수집 디바이스(들)는 시술을 수행하는 개인(들) 및/또는 팀(들)의 특정 경향을 포착할 수 있다. 시스템은 즉시 또는 향후에 트레이 상의 아이템 및/또는 필요한 장비에 대한 조정을 제안하기 위해 이러한 정보를 활용할 수 있다. 실제로, 시스템은 사용을 통해 시술을 수행하는 개인(들) 및/또는 팀(들)의 선호도 및 경향을 학습하는 동적 시스템일 수 있다. 이러한 선호도 및 경향을 학습함으로써 시스템은 시술의 효율을 증가시킬 수 있고 및/또는 비용을 감소시킬 수 있다. 예를 들어, 시스템은 팀에 의해 전혀 사용되지 않는 특정 아이템을 향후 트레이에서 제거되도록 추천할 수 있다.
시스템은 또한 이러한 수집된 데이터가 어떤 경우 개인 및/또는 민감한 데이터를 포함할 수 있다는 것을 고려한다. 시스템은 이러한 데이터의 수집, 분석, 공개, 전송, 저장, 또는 기타 사용을 담당하는 엔티티가 개인 정보 데이터를 비공개적이고 안전하게 유지되도록 하기 위한 산업 또는 정부 요구사항을 충족하거나 또는 초과하는 것으로 일반적으로 인식되는 개인 정보 보호 정책 및 관행을 구현하고 일관되게 사용해야 함을 추가적으로 고려한다. 예를 들어, 사용자 데이터는 엔티티의 합법적이고 합리적인 사용을 위해서만 수집되어야 하며 그러한 합법적인 사용 이외의 방법으로 공유되거나 또는 판매되어서는 안된다. 또한, 이러한 수집은 피험자의 사전 동의가 있는 후에만 이뤄져야 한다. 추가적으로, 이러한 엔티티는 이러한 개인 데이터에 대한 액세스를 보호하고 보안을 유지하며 개인 데이터에 액세스하는 다른 사람이 개인 정보 보호 및 보안 정책과 절차를 준수하도록 보장하기 위해 필요한 조치를 취해야 한다. 또한, 이러한 엔티티는 널리 수용되는 개인 정보 보호 정책 및 관행을 준수하는지 검증하기 위해 제3자에 의한 평가를 받아들일 수 있다.
본 주제가 특정 실시예를 참조하여 개시되었으나, 본 명세서에 개시된 주제의 진정한 사상 및 범위를 벗어나지 않고 해당 기술분야의 통상의 기술자에 의해 다른 실시예 및 변형이 고안될 수 있다는 것이 명백하다. 첨부된 청구범위는 이러한 모든 실시예 및 동등한 변형을 포함한다.
Claims (20)
- 수술용 트레이와 그 위에 포함된 아이템을 동적으로 식별하기 위한 컴퓨터 시스템을 훈련시키기 위한 방법으로서, 상기 방법은:
a. 수술용 기구의 예비 3-차원 모델을 생성하기 위해 스캐너 디바이스로 적어도 두 번 상기 수술용 기구를 스캐닝하고;
b. 기하구조, 각 꼭지점의 위치, 각 텍스처 좌표 꼭지점의 UV 위치, 꼭지점 법선, 꼭지점 리스트로 정의되는 각각의 다각형을 이루는 면, 및 상기 아이템에 관한 텍스처 좌표로 구성된 그룹으로부터 선택된 적어도 하나의 요소를 정의함으로써 최종 3-차원 합성 아이템을 생성하기 위해 상기 수술용 기구의 상기 예비 3-차원 모델을 수정하고;
c. 상기 최종 3-차원 합성 아이템에 고유 식별정보를 할당하고 - 상기 고유 식별정보를 가진 상기 최종 3-차원 합성 아이템은 데이터베이스에 저장됨 -;
d. 상기 최종 3-차원 합성 아이템의 적어도 백 개의 고유 훈련 합성 이미지를 생성하고 - 상기 고유 훈련 합성 이미지 각각은, 상기 최종 3-차원 합성 아이템의 방향, 상기 최종 3-차원 합성 아이템을 조명하는 합성 광의 색상 또는 강도, 및 식별된 표면 위의 상기 최종 3-차원 합성 아이템의 높이로 구성되는 그룹으로부터 선택된 상기 최종 3-차원 합성 아이템의 적어도 하나의 요소를 무작위로 변경시킴으로써 상기 최종 3-차원 합성 아이템과 다르고, 상기 적어도 백 개의 고유 훈련 합성 이미지 각각은 상기 최종 3-차원 합성 아이템의 고유 식별정보와 링크됨 -;
e. 상기 최종 3-차원 합성 아이템의 적어도 하나의 고유 테스트 합성 이미지를 생성하고 - 상기 고유 테스트 합성 이미지는, 상기 최종 3-차원 합성 아이템의 방향, 상기 최종 3-차원 합성 아이템을 조명하는 합성 광의 색상 또는 강도, 및 식별된 표면 위의 상기 최종 3-차원 합성 아이템의 높이로 구성되는 그룹으로부터 선택된 상기 최종 3-차원 합성 아이템의 적어도 하나의 요소를 무작위로 변경시킴으로써 상기 최종 3-차원 합성 아이템과 다르고, 상기 고유 테스트 합성 이미지는 상기 최종 3-차원 합성 아이템의 고유 식별정보와 링크되지 않음 -;
f. 상기 시스템이 상기 훈련 합성 이미지에서 하나 이상의 패턴을 식별하도록 상기 시스템으로 상기 훈련 합성 이미지를 반복적으로 처리하고 - 상기 패턴은 상기 3-차원 합성 아이템의 상기 고유 식별정보에 링크된 식별 모델을 생성하고 업데이트하기 위해 사용됨 -;
g. 상기 시스템이 상기 식별 모델에 기초하여 상기 합성 테스트 이미지로부터 상기 3-차원 합성 아이템을 식별하도록 상기 시스템으로 상기 합성 테스트 이미지를 처리하고, 그리고 상기 시스템이 상기 3-차원 합성 아이템을 정확하게 식별했다는 신뢰도를 나타내는 수치적 신뢰도 인자를 제공하고; 그리고
h. 상기 수치적 신뢰도 인자가 상기 시스템에 업로드된 미리 설정된 신뢰도 인자보다 크거나 또는 같은지 여부를 결정하고, 상기 식별이 정확하지 않거나 또는 상기 수치적 신뢰도 인자가 상기 미리 설정된 신뢰도 인자보다 작은 경우 단계 d 내지 h를 반복하는 것을 포함하는, 방법. - 청구항 1에 있어서,
단계 b 내지 h 중 적어도 하나는 사용자 입력 없이 자동으로 수행되는, 방법. - 청구항 2에 있어서,
단계 d 내지 h는 컴퓨터 비전-기반 인공 지능 네트워크를 사용하여 자동으로 수행되는, 방법. - 청구항 2에 있어서,
상기 컴퓨터 비전-기반 인공 지능 네트워크는 컨볼루션 신경망인, 방법. - 청구항 1에 있어서,
i. 상기 시스템이 상기 3-차원 합성 아이템을 정확하게 식별하고 상기 수치적 신뢰도 인자가 미리 설정된 신뢰도 인자와 같거나 또는 큰 경우, 상기 고유 식별정보에 기인하는 상기 식별 모델을 배포를 위해 서버에 업로드하는 것을 더 포함하는, 방법. - 청구항 1에 있어서,
상기 단계 d는 상기 최종 3-차원 합성 모델의 방향, 상기 최종 3-차원 모델을 조명하는 합성 광의 색상 또는 강도, 및 식별된 표면 위의 상기 최종 3-차원 합성 모델의 높이로 구성되는 그룹으로부터 선택된 적어도 하나의 요소를 변경시킴으로써 상기 최종 3-차원 합성 아이템의 새로운 고유 훈련 합성 이미지를 지속적으로 생성하고, 각각의 상기 새로운 고유 훈련 합성 이미지는 상기 최종 3-차원 합성 아이템의 상기 고유 식별정보와 링크되는, 방법. - 청구항 1에 있어서,
상기 단계 e는 상기 최종 3-차원 합성 모델의 방향, 상기 최종 3-차원 합성 모델을 조명하는 합성 광의 색상 또는 강도, 및 식별된 표면 위의 상기 최종 3-차원 합성 모델의 높이로 구성되는 그룹으로부터 선택된 적어도 하나의 요소를 변경시킴으로써 상기 최종 3-차원 합성 아이템의 새로운 고유 테스트 합성 이미지를 지속적으로 생성하고, 상기 새로운 고유 테스트 합성 이미지는 상기 최종 3-차원 합성 아이템의 상기 고유 식별정보와 링크되지 않는, 방법. - 청구항 1에 있어서,
상기 수치적 신뢰도 인자는 95%보다 큰, 방법. - 수술용 트레이와 그 위에 포함된 아이템을 동적으로 식별하기 위한 시스템으로서, 상기 시스템은:
소프트웨어 애플리케이션 - 상기 소프트웨어 애플리케이션은 상기 수술용 트레이의 이미지를 생성하도록 구성된 적어도 하나의 이미지 데이터 수집 디바이스와 통신을 하는 모바일 컴퓨터 디바이스 또는 컴퓨터 디바이스 상에서 동작하고, 상기 소프트웨어 애플리케이션은 상기 이미지 데이터 수집 디바이스로부터 상기 수술용 트레이의 이미지를 수신하고 이어서 상기 수술용 트레이가 위치된 장소 또는 상기 장소로부터 멀리 떨어진 위치에의 서버와의 유선 및/또는 무선 통신 네트워크를 통해 상기 이미지를 통신하도록 구성됨 -; 및
상기 소프트웨어 애플리케이션, 및 상기 서버와 상기 유선 및/또는 무선 통신 네트워크를 통해 통신을 하는 프로세서 - 상기 프로세서는 상기 서버로 상기 이미지가 통신되면, 상기 시스템의 라이브러리 데이터베이스로부터:
텐서로 구성된 복수의 트레이 식별 모델 - 상기 트레이 식별 모델은 시스템 관리자 또는 관리자의 직원, 계약자, 또는 상기 관리자의 대리인에 의해 이전에 업로드되었음 - 을 불러오도록 구성됨 -; 을 포함하고,
상기 프로세서는:
상기 이미지를 분석하고 상기 이미지에 적용된 상기 트레이 식별 모델에 기초하여 상기 이미지의 트레이 유형을 분류하고;
상기 라이브러리 데이터베이스로부터:
상기 트레이 유형의 분류와 링크된 아이템의 리스트, 및
텐서로 구성된 복수의 기구 식별 모델 - 상기 기구 식별 모델은 상기 아이템에 링크되고 상기 시스템 관리자 또는 직원, 계약자, 또는 상기 관리자의 대리인에 의해 이전에 업로드되었음 -; 을 불러오고;
상기 이미지를 분석하고 상기 기구 식별 모델에 기초하여 상기 이미지의 상기 아이템 유형을 식별하고;
임의의 누락된 아이템을 결정하기 위해 상기 분류된 아이템을 상기 분류된 트레이에 링크된 상기 아이템의 리스트와 비교하고; 그리고
상기 분류된 아이템 및 임의의 누락된 아이템을 상기 소프트웨어 애플리케이션에 통지하도록 구성된, 시스템. - 청구항 9에 있어서,
상기 이미지 데이터 수집 디바이스는 카메라인, 시스템. - 청구항 9에 있어서,
상기 이미지 데이터 수집 디바이스는 웨어러블 디바이스 상에 장착되는, 시스템. - 청구항 9에 있어서,
텐서로 구성된 상기 트레이 식별 모델과 텐서로 구성된 상기 기구 식별 모델은 뷰 생성 모듈에 의해 렌더링되는, 3-차원 합성 아이템의 2-차원 뷰를 사용하여 훈련된 컴퓨터 비전-기반 인공 지능 네트워크를 사용하여 생성되는, 시스템. - 청구항 12에 있어서,
상기 인공 지능 네트워크는 컨볼루션 신경망인, 시스템. - 청구항 12에 있어서,
상기 컴퓨터 비전-기반 인공 지능 네트워크는 뷰 생성 모듈에 의해 렌더링되는, 3-차원 합성 아이템의 2-차원 뷰를 사용하여 지속적으로 훈련되는, 시스템. - 수술용 트레이와 그 위에 포함된 아이템을 식별하기 위한 방법으로서, 상기 방법은:
모바일 컴퓨터 디바이스 또는 상기 모바일 컴퓨터 디바이스와 동기화될 수 있는 컴퓨터 디바이스 상에서 동작하고 소프트웨어 애플리케이션을 사용하여 서버 또는 원격 서버에 연결된 이미지 데이터 수집기로부터 상기 수술용 트레이와 그 위에 포함된 아이템의 이미지를 수신하고 - 상기 모바일 컴퓨터 디바이스 또는 컴퓨터 디바이스는 상기 수술용 트레이가 위치하는 장소의 서버 또는 상기 장소와 멀리 떨어진 위치에 있고 상기 서버와 통신을 하는 원격 서버와 유선 및/또는 무선 통신 네트워크를 통해 통신함 -;
상기 정보를 수신하면, 프로세서를 사용하여 데이터베이스로부터 텐서로 구성된 복수의 트레이 식별 모델을 불러오고 - 상기 트레이 식별 모델은 트레이 이름과 해당 트레이 내에 포함되도록 의도된 아이템에 대한 지식을 가진 전문가에 의해 이전에 업로드되었음 -;
상기 이미지를 분석하고 상기 트레이 식별 모델에 기초하여 상기 이미지의 상기 트레이 유형을 분류하고;
상기 트레이를 분류하면, 상기 데이터베이스로부터 상기 트레이의 분류와 링크되고 텐서로 구성된 복수의 기구 식별 모델을 불러오고 - 상기 기구 식별 모델은: (a) 표면 텍스처, (b) 아이템 재료 성분, 및 (c) 크기 공차 및, 상기 트레이 분류에 링크된 아이템의 리스트를 포함하고, 상기 기구 식별 모델은 상기 전문가에 의해 이전에 업로드되었음 -;
상기 이미지를 분석하고 상기 기구 식별 모델에 기초하여 상기 이미지의 상기 아이템 유형을 분류하고;
임의의 누락된 아이템을 결정하기 위해 상기 분류된 아이템을 상기 분류된 트레이에 링크된 아이템의 리스트와 비교하고; 그리고
상기 분류된 아이템 및 임의의 누락된 아이템을 상기 소프트웨어 애플리케이션에 통지하는 것을 포함하는, 방법. - 청구항 15에 있어서,
상기 이미지 데이터 수집 디바이스는 카메라인, 방법. - 청구항 15에 있어서,
상기 이미지 데이터 수집 디바이스는 웨어러블 디바이스 상에 장착되는, 방법. - 청구항 15에 있어서,
텐서로 구성된 상기 트레이 식별 모델과 텐서로 구성된 상기 기구 식별 모델은 뷰 생성 모듈에 의해 렌더링되는, 3-차원 합성 아이템의 2-차원 뷰를 사용하여 훈련된 컴퓨터 비전-기반 인공 지능 네트워크를 사용하여 생성되는, 방법. - 청구항 18에 있어서,
상기 인공 지능 네트워크는 컨볼루션 신경망인, 방법. - 청구항 18에 있어서,
상기 컴퓨터 비전-기반 인공 지능 네트워크는 뷰 생성 모듈에 의해 렌더링되는, 3-차원 합성 아이템의 2-차원 뷰를 사용하여 지속적으로 훈련되는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163161270P | 2021-03-15 | 2021-03-15 | |
| US63/161,270 | 2021-03-15 | ||
| PCT/US2022/020125 WO2022197587A1 (en) | 2021-03-15 | 2022-03-14 | Systems and methods for dynamic identification of a surgical tray and the items contained thereon |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230152149A true KR20230152149A (ko) | 2023-11-02 |
Family
ID=83195070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237034951A KR20230152149A (ko) | 2021-03-15 | 2022-03-14 | 수술용 트레이와 그 위에 포함된 아이템의 동적 식별을 위한 시스템 및 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11769320B2 (ko) |
| EP (1) | EP4309125A1 (ko) |
| JP (1) | JP2024515448A (ko) |
| KR (1) | KR20230152149A (ko) |
| CN (1) | CN117693772A (ko) |
| AU (2) | AU2022238786B2 (ko) |
| CA (1) | CA3212374A1 (ko) |
| IL (1) | IL305918A (ko) |
| WO (1) | WO2022197587A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11593931B2 (en) * | 2020-06-09 | 2023-02-28 | Howmedica Osteonics Corp. | Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types |
| US20220328169A1 (en) * | 2021-04-08 | 2022-10-13 | Benjamin Chadwick Wood | Software application to standardize access to surgical procedure inventory benchmarks and data collection and implementation of surgical procedure benchmarks for tray rationalization and supply optimization |
| US20230055383A1 (en) * | 2021-08-23 | 2023-02-23 | Summate Technologies, Inc. | Integrated Data Capture of Sterile and Non-Sterile Surgical Supplies and Implantables |
| WO2024095145A1 (en) * | 2022-11-02 | 2024-05-10 | Cilag Gmbh International | Systems, methods, and apparatus for providing a medical product assistant to recognize, identify, and/or support a medical product |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7711157B2 (en) | 2006-08-01 | 2010-05-04 | California Institute Of Technology | Artificial intelligence systems for identifying objects |
| US9168104B2 (en) | 2008-06-23 | 2015-10-27 | John Richard Dein | Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges |
| US9767565B2 (en) | 2015-08-26 | 2017-09-19 | Digitalglobe, Inc. | Synthesizing training data for broad area geospatial object detection |
| US10068385B2 (en) | 2015-12-15 | 2018-09-04 | Intel Corporation | Generation of synthetic 3-dimensional object images for recognition systems |
| US10357325B2 (en) * | 2017-01-16 | 2019-07-23 | The Aga Khan University | Detection of surgical instruments on surgical tray |
| WO2019010462A1 (en) * | 2017-07-06 | 2019-01-10 | Montano Robert A | METHOD AND SYSTEM FOR ASSEMBLING AND COMPLETING A COLLECTION OF INDIVIDUAL COMPONENTS OF DISPARATE FORMS WITH IDENTIFICATION VIA ELECTRONIC IMAGES |
| JP7458405B2 (ja) * | 2018-12-20 | 2024-03-29 | パックサイズ リミティド ライアビリティ カンパニー | 部分的視覚情報に基づく対象物寸法付けのためのシステムと方法 |
| US10990876B1 (en) * | 2019-10-08 | 2021-04-27 | UiPath, Inc. | Detecting user interface elements in robotic process automation using convolutional neural networks |
| WO2021154717A1 (en) * | 2020-01-31 | 2021-08-05 | Gauss Surgical, Inc. | Instrument tracking machine |
-
2022
- 2022-03-14 JP JP2023557080A patent/JP2024515448A/ja active Pending
- 2022-03-14 US US17/693,563 patent/US11769320B2/en active Active
- 2022-03-14 CA CA3212374A patent/CA3212374A1/en active Pending
- 2022-03-14 IL IL305918A patent/IL305918A/en unknown
- 2022-03-14 AU AU2022238786A patent/AU2022238786B2/en active Active
- 2022-03-14 EP EP22771983.8A patent/EP4309125A1/en active Pending
- 2022-03-14 KR KR1020237034951A patent/KR20230152149A/ko not_active Application Discontinuation
- 2022-03-14 WO PCT/US2022/020125 patent/WO2022197587A1/en active Application Filing
- 2022-03-14 CN CN202280028305.6A patent/CN117693772A/zh active Pending
-
2023
- 2023-08-15 US US18/234,191 patent/US20240013519A1/en active Pending
-
2024
- 2024-01-03 AU AU2024200033A patent/AU2024200033A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024515448A (ja) | 2024-04-10 |
| US11769320B2 (en) | 2023-09-26 |
| IL305918A (en) | 2023-11-01 |
| US20240013519A1 (en) | 2024-01-11 |
| AU2024200033A1 (en) | 2024-01-25 |
| CA3212374A1 (en) | 2022-09-22 |
| WO2022197587A1 (en) | 2022-09-22 |
| EP4309125A1 (en) | 2024-01-24 |
| US20220292815A1 (en) | 2022-09-15 |
| AU2022238786B2 (en) | 2023-10-05 |
| CN117693772A (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977520B2 (en) | Training data collection for computer vision | |
| US11769320B2 (en) | Systems and methods for dynamic identification of a surgical tray and the items contained thereon | |
| CN112990054B (zh) | 紧凑的无语言面部表情嵌入和新颖三元组的训练方案 | |
| RU2647670C1 (ru) | Автоматизированные способы и системы выявления на изображениях, содержащих документы, фрагментов изображений для облегчения извлечения информации из выявленных содержащих документы фрагментов изображений | |
| US9031317B2 (en) | Method and apparatus for improved training of object detecting system | |
| JP6091560B2 (ja) | 画像解析方法 | |
| US10366300B1 (en) | Systems and methods regarding 2D image and 3D image ensemble prediction models | |
| US11068754B1 (en) | Systems and methods regarding image distification and prediction models | |
| US11176414B1 (en) | Systems and methods for 3D image distification | |
| JP6886096B2 (ja) | ３ｄモデル評価システム及び方法 | |
| SE528068C2 (sv) | Igenkänning av 3D föremål | |
| JP2023501041A (ja) | 深層学習を使用して２ｄフォトから３ｄオブジェクトの圧力マップを予測するための方法及びシステム | |
| KR102053527B1 (ko) | 이미지 처리 방법 | |
| CN108416312B (zh) | 一种基于可见光拍照的生物特征3d数据识别方法 | |
| CN115222896A (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
| Pirrung et al. | Sharkzor: Interactive deep learning for image triage, sort and summary | |
| Wu et al. | [Retracted] 3D Film Animation Image Acquisition and Feature Processing Based on the Latest Virtual Reconstruction Technology | |
| KR20220000851A (ko) | 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법 | |
| Sharma et al. | Solving image processing critical problems using machine learning | |
| CN108334873A (zh) | 一种3d四维手部数据识别设备 | |
| CN108537236A (zh) | 一种多相机数据识别控制*** | |
| US11790228B2 (en) | Methods and systems for performing tasks on media using attribute specific joint learning | |
| KR102553060B1 (ko) | 인공지능 기반의 척추 정보를 이용한 의료영상정보 제공 방법, 장치 및 프로그램 | |
| TWI779696B (zh) | 視角影像的生成系統與生成方法 | |
| CN108537163A (zh) | 一种基于可见光拍照的生物特征四维数据识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal |