KR20230075468A - 중재 앙상블을 이용한 자동 이배수성 스크리닝 - Google Patents

중재 앙상블을 이용한 자동 이배수성 스크리닝 Download PDF

Info

Publication number
KR20230075468A
KR20230075468A KR1020237012203A KR20237012203A KR20230075468A KR 20230075468 A KR20230075468 A KR 20230075468A KR 1020237012203 A KR1020237012203 A KR 1020237012203A KR 20237012203 A KR20237012203 A KR 20237012203A KR 20230075468 A KR20230075468 A KR 20230075468A
Authority
KR
South Korea
Prior art keywords
parameter
embryo
aneuploidy
clinical parameter
fully automated
Prior art date
Application number
KR1020237012203A
Other languages
English (en)
Inventor
하디 샤휘에
찰스 보어만
마노 쿠마 카나카사바파티
푸르드비 티루말라라주
Original Assignee
더 브리검 앤드 우먼즈 하스피털, 인크.
더 제너럴 하스피탈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 브리검 앤드 우먼즈 하스피털, 인크., 더 제너럴 하스피탈 코포레이션 filed Critical 더 브리검 앤드 우먼즈 하스피털, 인크.
Publication of KR20230075468A publication Critical patent/KR20230075468A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)
  • Devices For Executing Special Programs (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • General Factory Administration (AREA)

Abstract

인간 배아의 이배수성에 대한 완전 자동 스크리닝을 위한 시스템 및 방법이 제공된다. 관련 이미저에서 배아의 이미지를 획득하고 뉴럴 네트워크에 제공하여 제1 임상 파라미터를 생성한다. 배아를 받는 환자, 인간 배아 생성에 이용된 난자, 배아 생성에 이용된 정자, 배아 생성에 이용된 정자를 제공한 정자 공여자, 난자를 제공한 난자 공여자 중 하나의 생체 파라미터 중 하나를 나타내는 적어도 하나의 파라미터 세트가 검색되고, 예측 모델에서 적어도 하나의 파라미터 세트로부터 제2 임상 파라미터가 생성된다. 배아의 이배수성의 가능성을 나타내는 복합 파라미터는 제1 임상 파라미터와 제2 임상 파라미터로부터 생성된다.

Description

중재 앙상블을 이용한 자동 이배수성 스크리닝
관련 출원
본 출원은 2020년 9월 11일자로 출원된 "착상 전 배아의 이배수성 스크리닝을 지원하는 인공 지능 지원 시스템(ARTIFICIAL INTELLIGENCE-ENABLED SYSTEM TO AID IN ANEUPLOIDY SCREENING OF PREIMPLANTATION EMBRYOS)"이라는 발명의 명칭의 미국 가특허 출원 제63/077,405호 및 2020년 9월 11일자로 출원된 "세포질 내 정자 주입(ICSI) 및 보조 부화(AH) 절차를 위한 난모세포 및 착상 전 배아의 정렬을 위한 인공 지능 지원 시스템(ARTIFICIAL INTELLIGENCE-ENABLED SYSTEM FOR ALIGNMENT OF OOCYTES AND PREIMPLANTATION EMBRYOS FOR INTRACYTOPLASMIC SPERM INJECTION(ICSI) AND ASSISTED HATCHING(AH) PROCEDURE)"이라는 발명의 명칭의 미국 가특허 출원 제63/077,398호 각각의 우선권을 주장한다. 이들 각각의 출원의 전체 내용은 모든 목적을 위해 그 전체가 본원에서 참고로 포함된다.
정부 권리에 대한 진술
본 발명은 미국 국립 보건원(National Institutes of Health)이 부여한 승인 번호 R01AI118502, R01AI138800 및 R21HD092828 중 하나 이상에 따라 정부 지원 하에 이루어졌다. 정부는 본 발명에 대한 특정 권리를 갖는다.
기술 분야
본 발명은 일반적으로 보조 가임 분야에 관한 것으로, 보다 구체적으로는 예측 모델의 중재 앙상블(조정 앙상블, arbitrated ensembles)을 이용한 자동 이배수성 스크리닝(automated aneuploidy screening)에 관한 것이다.
불임은 전 세계적으로 4,800만 쌍이 넘는 커플에게 영향을 미치는 과소 평가된 의료 문제이며 고통, 우울증 및 차별의 원인이다. 체외 수정(IVF, In-Vitro Fertilization)과 같은 보조 생식 기술(ART, Assisted Reproductive Technologies)이 불임의 부담을 어느 정도 경감시켰지만, 2015년 미국에서 보고된 평균 성공률은 약 26%로 비효율적이었다. IVF는 미국에서 ART 주기당 $7000에서 $20,000 사이의 비용이 드는 고가의 솔루션으로 남아 있으며 일반적으로 보험이 적용되지 않는다. 또한, 많은 환자들이 임신을 하기 위해 여러 주기의 IVF가 필요하다. 이식을 위한 최고 품질의 배아를 비침습적으로 선택하는 것은 성공적인 ART 결과를 달성하는 데 가장 중요한 요소 중 하나이지만 이 중요한 단계는 여전히 중요한 과제로 남아 있다.
이배수성에 대한 착상 전 유전자 검사(PGT-A)는 배아의 이식을 스크리닝하는 데 널리 사용되는 도구가 되었다. 35세 미만의 여성에서 이 시술의 효능을 보여주는 연구는 제한적이다. 반대로, 젊은 환자가 PGT-A를 사용할 때 누적 임신율이 감소했음을 보여주는 일부 보고서가 있다. 이러한 낮은 결과는 부정확한 PGT-A 결과 때문이거나 배아 생검 및 동결 보존과 관련된 침습적 시술 때문일 수 있다.
본 발명의 양태에 따르면, 인간 배아의 이배수성(이수성, aneuploidy)에 대한 완전 자동 스크리닝을 위한 방법이 제공된다. 배아의 이미지가 관련 이미저에서 획득되어 뉴럴 네트워크에 제공되어 제1 임상 파라미터를 생성한다. 배아를 받는 환자, 인간 배아 생성에 이용된 난자, 배아 생성에 이용된 정자, 배아 생성에 이용된 정자를 제공한 정자 공여자, 및 난자를 제공한 난자 공여자 중 하나의 생체 파라미터 중 하나를 나타내는 적어도 하나의 파라미터 세트가 검색되고, 예측 모델에서 적어도 하나의 파라미터 세트로부터 제2 임상 파라미터가 생성된다. 배아의 이배수성의 가능성을 나타내는 복합 파라미터는 제1 임상 파라미터와 제2 임상 파라미터로부터 생성된다.
본 발명의 다른 양태에 따르면, 인간 배아의 이배수성에 대한 완전 자동 스크리닝을 위한 시스템이 제공된다. 이 시스템은 프로세서 및 프로세서에 의해 실행 가능한 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체를 포함한다. 기계 실행 가능 명령어는 연관된 이미저로부터 배아의 이미지를 수신하도록 구성된 이미저 인터페이스 및 배아의 이미지로부터 제1 임상 파라미터를 생성하도록 구성된 뉴럴 네트워크를 포함한다. 예측 모델은 관련 메모리로부터 배아를 받는 환자, 인간 배아를 생성하기 위해 수정된 난모 세포, 배아 생성에 사용되는 정자, 배아를 만드는 데 사용된 정자를 제공한 정자 공여자, 난모 세포를 제공한 난자 공여자 중 하나를 나타내는 적어도 하나의 파라미터의 세트로부터 제2 임상 파라미터를 생성하도록 구성된다. 중재기(조정기, arbitrator)는 제1 임상 파라미터 및 제2 임상 파라미터로부터 배아의 이배수성의 가능성을 나타내는 복합 파라미터를 생성하도록 구성된다.
본 발명의 또 다른 양태에 따르면, 인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법이 제공된다. 배아의 이미지는 관련 이미저에서 얻고 제1 임상 파라미터는 컨볼루션 뉴럴 네트워크에서 배아의 이미지로부터 생성된다. 파라미터 세트는 관련 메모리로부터 검색된다. 파라미터 세트는 배아를 생성하기 위해 수정된 난모 세포를 제공한 난자 공여자의 연령, 배아 생성에 사용된 정자의 품질을 나타내는 값, 배아를 생성하기 위해 수정된 난모 세포로 채취된 난모 세포로부터 통상 수정된 배아의 수를 각각 포함한다. 파라미터 세트의 제1 서브세트로부터의 제1 예측 모델에서의 제2 임상 파라미터 및 파라미터 세트의 제2 서브세트로부터의 제2 예측 모델에서의 제3 임상 파라미터. 배아의 이배수성의 가능성을 나타내는 복합 파라미터는 제1 임상 파라미터, 제2 임상 파라미터 및 제3 임상 파라미터로부터 생성된다.
본 발명의 전술한 특징 및 다른 특징은 첨부된 도면을 참조하여 다음의 설명을 읽을 때 본 발명이 관련된 기술 분야의 숙련자에게 명백해질 것이다.
도 1은 인간 배아의 이배수성에 대한 완전 자동 스크리닝을 위한 시스템의 일 예를 예시한다.
도 2는 인간 배아의 이배수성에 대한 완전 자동 스크리닝을 위한 시스템의 다른 예를 예시한다.
도 3은 인간 배아의 이배수성을 스크리닝하는 방법의 예를 예시한다.
도 4는 인간 배아의 이배수성을 스크리닝하는 방법의 다른 예를 예시한다.
도 5는 본 명세서에 개시된 시스템 및 방법의 예를 구현할 수 있는 하드웨어 컴포넌트의 예시적인 시스템을 예시하는 개략 블록도이다.
완전 자동화된 시스템에서 효율적인 배아 평가에서 고도로 트레이닝된 배아학자의 기술을 모방하는 것은 배아 컴퓨터 지원 평가에서 수행된 모든 이전 작업에서 주요 미충족 과제이다. 배아 평가를 위한 현재의 컴퓨터 비전 방법은 반자동화되어 배아학자에 의한 추가 분석이 필요한 메트릭을 제공하는 특정 파라미터 측정으로 제한되며 엄격하게 제어되는 이미징 시스템이 필요하다. 기계 학습 접근 방식을 사용하여 시스템을 개발하려는 이전 시도는 집중적인 이미지 전처리에 이어 분류를 위한 배아 특징(피처, features)의 인간 주도 분할을 필요로 했다. 이미지 처리 및 분할에 대한 기계 학습 접근 방식의 의존성으로 인해, 이러한 방법은 컴퓨터 비전 기술과 동일한 한계를 겪는다.
여기서, 우리는 이배수성에 대한 배아를 스크리닝하기 위해 난자, 정자 및 그들 각각의 공여자에 관한 생체 인식 정보와 쌍을 이루는 대규모 이미지 세트로 사전 트레이닝된 심층 뉴럴 네트워크를 사용하여 이 문제를 극복한다. 배아 평가에 사용되는 이전의 컴퓨터 지원 알고리즘과 달리, 본 명세서에 제공된 시스템 및 방법은 배아학자의 도움 없이 이배수성에 대한 자동 스크리닝을 가능하게 한다. 하나의 예에서, 형태학적으로 복잡한 배아 사이의 모양, 구조 및 질감 변화를 식별하기 위해 컨볼루션 뉴럴 네트워크가 적용되는 한편, 생체 데이터를 평가하기 위해 하나 이상의 다른 예측 모델이 사용된다. 이 시스템은 다수의 기구를 사용한 데이터 수집으로 인한 이미지 조명 및 품질의 변화에 탄력적이다. 또한, 추가 예측 모델을 뉴럴 네트워크와 독립적으로 트레이닝할 수 있기 때문에, 시스템은 효과적으로 모듈화되어 새로운 애플리케이션에 대한 응답으로 모델을 추가하거나 대체할 수 있다.
본 명세서에서 "연속 파라미터"라는 어구는 수치 값을 카테고리 값 또는 클래스와 구별하기 위해 사용되며, 진정으로 연속적인 데이터뿐만 아니라 보다 전통적으로 불연속 데이터라고 하는 데이터를 모두 포함할 준비가 되어 있어야 한다.
본 명세서에서 사용되는 바와 같이, 값 세트의 "평균"은 중심 경향의 임의의 척도이다. 연속 파라미터의 경우, 여기에는 값의 중앙값, 산술 평균 및 기하 평균이 포함된다. 카테고리 파라미터의 경우, 평균은 값 세트의 최빈값이다.
본 명세서에서 사용되는 "정적 관찰"은 배아 발달에서 단일 지점을 나타내는 배아의 이미지 또는 이미지 그룹이다. 정적 관찰에서 다수의 이미지가 사용되는 경우, 이미지 간에 배아의 구조와 모양에 눈에 띄는 변화가 발생하지 않는다. 정적 관찰에서 수집된 데이터는 배아의 형태학적 데이터를 나타낸다.
본 명세서에서 사용되는 세트의 "서브세트"는 세트의 일부 또는 모든 요소를 포함하는 세트를 의미한다. 세트의 "적절한 서브세트"는 세트의 모든 요소보다 적게 포함한다.
본 명세서에서 사용되는 바와 같이, 배아는 46개의 염색체를 가질 때 "정배수체"이다. 배아는 일반적인 46개와 다른 염색체 수를 가질 때 "이배수체"이다. 배아의 "배수체 상태"는 정배수체 또는 이배수체로서 카테고리로 또는 확률로 표현되는 배아 상태이다.
도 1은 인간 배아의 이배수성에 대한 완전 자동 스크리닝을 위한 시스템(100)의 일 예를 예시한다. 시스템(100)은 프로세서(102) 및 생식 세포 구조 내의 관심 위치를 나타내는 값을 할당하기 위한 기계 실행 가능 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체(110)를 포함한다. 기계 실행 가능 명령어는 연관된 이미저로부터 배아의 이미지를 수신하는 이미저 인터페이스(112)를 포함한다. 예를 들어, 이미징 인터페이스(112)는 버스 또는 네트워크 연결을 통해 이미저로부터 이미지를 수신하고 뉴럴 네트워크(114)에서 분석을 위해 이미지를 조정할 수 있다. 일 예에서, 뉴럴 네트워크(114)는 네트워크 인터페이스(미도시)를 통해 뉴럴 네트워크(114)를 포함하는 서버에 이미지가 전송되는 클라우드 컴퓨팅 시스템에서 구현될 수 있다.
뉴럴 네트워크(114)는 생식 세포 구조의 이미지로부터 배아의 배수체 상태를 나타내는 제1 임상 파라미터를 결정한다. 일 구현예에서, 제1 임상 파라미터는 이배수성을 나타내는 제1 값 및 정배수성을 나타내는 제2 값을 갖는 카테고리 파라미터이다. 다른 구현예에서, 제1 임상 파라미터는 배아의 이배수성 또는 정배수성의 가능성을 나타내는 연속 파라미터이다. 뉴럴 네트워크(114)는 복수의 상호 연결을 갖는 복수의 노드를 포함한다. 이미지로부터의 값, 예를 들어 개별 픽셀과 연관된 휘도 및/또는 색차 값은 복수의 입력 노드에 제공된다. 입력 노드 각각은 이들 입력 값을 하나 이상의 중간 노드 레이어에 제공한다. 주어진 중간 노드는 이전 노드로부터 하나 이상의 출력 값을 수신한다. 수신된 값은 분류기 트레이닝 중에 설정된 일련의 가중치에 따라 가중치가 부여된다. 중간 노드는 노드의 활성화 함수에 따라 그 수신된 값을 단일 출력으로 변환한다. 예를 들어, 중간 노드는 수신된 값을 합산하고 그 합에 식별 함수, 단계 함수, 시그모이드 함수, 쌍곡선 탄젠트, 정류된 선형 단위, 누설 정류된 선형 단위, 파라메트릭 정류된 선형 단위, 가우스 오차 선형 단위, 소프트 플러스 함수, 지수 선형 단위, 스케일링된 지수 선형 단위, 가우시안 함수, 시그모이드 선형 단위, 성장하는 코사인 단위, 헤비사이드 함수 및 미시 함수를 적용한다. 노드의 최종 레이어는 뉴럴 네트워크의 출력 클래스에 대한 신뢰도 값을 제공하며, 각 노드에는 분류기의 연관 출력 클래스 중 하나에 대한 신뢰도를 나타내는 연관 값이 있다.
많은 ANN 분류기는 완전 연결되고 피드포워드된다. 그러나, 컨볼루션 뉴럴 네트워크는 이전 레이어로부터의 노드가 컨볼루션 레이어의 노드 서브세트에만 연결되는 컨볼루션 레이어를 포함한다. 순환 뉴럴 네트워크는 노드 사이의 연결이 시간적 순서를 따라 방향성 그래프를 형성하는 뉴럴 네트워크의 한 종류이다. 피드포워드 네트워크와 달리, 순환 뉴럴 네트워크는 주어진 입력에 대한 순환 뉴럴 네트워크의 출력이 입력뿐만 아니라 하나 이상의 이전 입력의 함수가 될 수 있도록, 이전 입력에 의해 발생한 상태로부터의 피드백을 통합할 수 있다. 예를 들어, LSTM(Long Short-Term Memory) 네트워크는 메모리에 과거 데이터를 더 쉽게 기억할 수 있게 하는 순환 뉴럴 네트워크의 수정된 버전이다. 일부 예에서, 뉴럴 네트워크는 구분적 분류기에 대한 새로운 인스턴스를 생성하도록 생성적 분류기가 구성되는 적대적인 방식으로 트레이닝된다. 일반적으로 생성적 네트워크는 잠재 공간으로부터 관심 있는 데이터 분포로 매핑하는 방법을 학습하는 반면, 구분적 네트워크는 생성자가 생성한 후보를 실제 데이터 분포와 구분한다. 생성적 네트워크의 트레이닝 목표는 구분적 네트워크의 오류율을 높이는 것이다. 각 네트워크는 관심 클래스에 걸쳐 실제 데이터 분포를 더 잘 모델링하기 위해 반복적으로 학습한다.
뉴럴 네트워크(114)는 적절한 생식 세포 구조의 복수의 라벨링 이미지에 대해 트레이닝된다. "라벨링 이미지"란 이미지 내 배아의 배수성 상태가 예를 들어 전문가 주석을 통해 알려지고 배수성 상태와 연관된 임상 파라미터가 트레이닝 프로세스 동안 이미지와 함께 뉴럴 네트워크에 제공됨을 의미한다. 트레이닝 동안에, 뉴럴 네트워크(114)의 노드들 사이의 상호 연결과 연관된 가중치는 일단 네트워크가 변경되면 새로운 라벨링되지 않은 이미지가 제시될 때 네트워크의 출력이 새로운 이미지 내의 배아의 배수성 상태를 나타내는 임상 파라미터를 제공할 때까지 반복적으로 변경된다. 제1 임상 파라미터는 비일시적 컴퓨터 판독 가능 매체(110)에 저장될 수 있다.
예측 모델(116)은 배아를 받는 환자, 인간 배아 생성에 이용되는 난자, 배아 생성에 이용되는 정자, 배아 생성에 사용된 정자를 제공한 정자 공여자, 난자를 제공한 난자 공여자 중 하나를 나타내는 적어도 하나의 파라미터의 세트로부터 제2 임상 파라미터를 생성하도록 구성된다. 적절한 파라미터의 예에는 배아를 생성하기 위해 수정된 난모 세포를 제공한 난자 공여자의 연령, 배아 생성에 사용된 정자의 품질을 나타내는 값 및 배아 생성을 위해 수정된 난모 세포로 채취된 난모 세포로부터 정상적으로 수정된 배아의 수가 포함된다. 제1 임상 파라미터와 마찬가지로, 제2 임상 파라미터는 이배수성을 나타내는 제1 값 및 정배수성을 나타내는 제2 값 또는 배아의 이배수성 또는 정배수성의 가능성을 나타내는 연속 파라미터를 갖는 카테고리 파라미터일 수 있다. 예측 모델(116)은 배아의 이미지로부터 추출한 수치적 특징뿐만 아니라 배아의 품질을 결정하기 위해 배아를 받는 환자, 배아 생성에 사용되는 정자를 제공한 정자 공여자, 인간 배아 생성에 사용되는 난자, 및 난자를 제공한 공여자 중 하나를 나타내는 추가 생체 파라미터를 사용할 수 있음이 이해될 것이다. 제2 임상 파라미터는 비일시적 컴퓨터 판독 가능 매체(110)에 저장될 수 있다.
예측 모델(116)은 하나 이상의 패턴 인식 알고리즘을 이용할 수 있으며, 각각은 추출된 특징 또는 추출된 특징의 서브세트를 분석하여 환자를 복수의 클래스 중 하나로 분류하고 이 정보를 제2 임상 파라미터로서 제공한다. 다중 분류 또는 회귀 모델이 사용되는 경우, 복수의 모델로부터 일관된 결과를 제공하기 위해 중재 요소가 활용될 수 있다. 주어진 분류기의 트레이닝 프로세스는 구현에 따라 다르지만 일반적으로 트레이닝에는 출력 클래스와 연관된 하나 이상의 파라미터로 트레이닝 데이터를 통계적으로 집계하는 것이 포함된다. 결정 트리와 같은 규칙 기반 모델의 경우, 예를 들어 한 명 이상의 인간 전문가가 제공하는 도메인 지식이 추출된 특징을 사용하여 환자를 분류하기 위한 규칙을 선택할 때 트레이닝 데이터를 대신하거나 보충하기 위해 사용될 수 있다. 서포트 벡터 머신(Support Vector Machine, SVM), 회귀 모델, 자체 구성 맵, 퍼지 논리 시스템, 데이터 융합 프로세스, 부스팅 및 배깅 방법, 규칙 기반 시스템 또는 인공 뉴럴 네트워크를 포함한 다양한 기술이 분류 알고리즘에 사용될 수 있다.
예를 들어, 서포트 벡터 머신(SVM) 분류기는 하이퍼플레인(hyperplanes)이라고 하는 복수의 함수를 활용하여 N 차원 특징 공간에서 경계를 개념적으로 분할할 수 있으며, 여기서 N 차원 각각은 특징 벡터의 하나의 연관된 특징을 나타낸다. 경계는 각 클래스와 연관된 특징 값의 범위를 정의한다. 따라서, 경계에 상대적인 특징 공간에서의 위치에 따라 주어진 입력 특징 벡터에 대한 출력 클래스 및 관련 신뢰 값이 결정될 수 있다. 하나의 구현예에서, SVM은 선형 또는 비선형 커널을 사용하는 커널 방법을 통해 구현될 수 있다. 예측 모델(116)은 앞서 설명한 인공 뉴럴 네트워크 분류기를 또한 사용할 수 있다.
규칙 기반 분류기는 추출된 특징에 논리적 규칙 세트를 적용하여 출력 클래스를 선택한다. 일반적으로, 규칙은 순서대로 적용되며 각 단계에서의 논리적 결과는 이후 단계의 분석에 영향을 준다. 특정 규칙과 그들의 시퀀스는 트레이닝 데이터, 이전 사례로부터의 유추적 추론 또는 기존 도메인 지식 중 일부 또는 모두로부터 결정될 수 있다. 규칙 기반 분류기의 하나의 예는 특징 세트의 특징 값을 계층적 트리 구조의 해당 임계값과 비교하여 특징 벡터에 대한 클래스를 선택하는 결정 트리 알고리즘이다. 랜덤 포레스트 분류기는 부트스트랩 집계 또는 "배깅(bagging)" 접근 방식을 사용하는 결정 트리 알고리즘의 수정본이다. 이 접근 방식에서, 다수의 결정 트리는 트레이닝 세트의 랜덤 샘플에 대해 트레이닝되고, 복수의 결정 트리에 걸친 평균(예를 들어, 평균값, 중앙값 또는 최빈값) 결과가 리턴된다. 분류 작업의 경우, 각 트리로부터의 결과는 카테고리이므로 모달 결과를 사용할 수 있다.
중재기(118)는 제1 임상 파라미터 및 제2 임상 파라미터로부터 배아의 이배수성의 가능성을 나타내는 복합 파라미터를 생성하도록 구성된다. 일 구현예에서, 복합 파라미터는 제1 임상 파라미터 및 제2 임상 파라미터를 포함하는 임상 파라미터 세트의 평균이다. 다른 구현예에서, 복합 파라미터는 제1 임상 파라미터 및 제2 임상 파라미터를 포함하는 임상 파라미터 세트의 가중 선형 조합으로서 결정된다. 이 경우, 각 파라미터에 대한 가중치는 뉴럴 네트워크(114), 예측 모델(116) 및 파라미터를 생성하는 데 사용되는 임의의 추가 모델의 알려진 정확도에 따라 결정될 수 있다. 또 다른 구현예에서, 제1 임상 파라미터 및 제2 임상 파라미터를 포함하는 임상 파라미터 세트는 카테고리일 수 있고, 중재기(118)는 보팅 알고리즘(투표 알고리즘, voting algorithm)에 따라 복합 파라미터를 선택할 수 있다. 일 예에서, 다수결 또는 복수결이 사용될 수 있다. 복합 파라미터는 비일시적 컴퓨터 판독 가능 매체(110)에 저장될 수 있고 및/또는 연관된 출력 장치(미도시)에서 사용자에게 디스플레이될 수 있다.
도 2는 인간 배아의 이배수성에 대한 완전 자동 스크리닝을 위한 시스템(200)의 다른 예를 예시한다. 시스템(200)은 하나 이상의 배아 이미지를 획득하는 이미저(202)를 포함한다. 예를 들어, 이미저(202)는 적절한 광학 장치와 쌍을 이루어 배아의 이미지를 제공하는 가시광선 또는 적외선 범위의 이미지를 생성할 수 있는 하나 이상의 카메라를 포함할 수 있다. 일 구현예에서, 이미저(202)는 시간 경과 배아 이미징 시스템의 일부로서 여러 날의 발달에 있는 배아의 이미지를 캡처하도록 구현될 수 있다. 다른 구현예에서, 이미저(202)는 하나 이상의 이미지 세트로서 배아의 정적 관찰을 생성하도록 구성될 수 있다. 일 구현예에서, 이미저(202)는 모바일 장치의 카메라와 함께 작동하여 배아 이미지를 제공하는 모바일 장치용 부착물을 포함한다. 부착용 하우징은 82×34×48mm 크기의 폴리락트산을 사용하여 3D 프린팅할 수 있다. 배아 이미지에 적절한 배율을 제공하기 위해 하우징에 아크릴 렌즈를 포함할 수 있다.
다른 구현예에서, 이미저(202)는 폴리락트산으로 3D 프린팅되고 전체 치수가 62×92×175 mm인 광학 하우징을 갖는 독립형 시스템으로 구현될 수 있다. 하우징에는 흰색 발광 다이오드, 3볼트 배터리 및 단극 쌍투 스위치(single pole double-throw switch)가 있는 전자 회로가 포함되어 있다. 배아 샘플은 이미지 확대를 위한 10× 평면-무채색 대물 렌즈와 배아 이미지 데이터 수집을 위한 상보성 금속 산화물 반도체(CMOS) 이미지 센서로 투과 조명된다. CMOS 센서는 단일 보드 컴퓨터에 연결하여 캡처한 이미지를 처리할 수 있다. 이미저(202)는 데이터 처리 및 시각화를 위해 무선 연결(예를 들어, Wi-Fi, 블루투스 또는 이와 유사한 연결)을 통해 모바일 장치에 연결될 수 있다.
이미저(202)에서 획득된 하나 이상의 이미지의 일부 또는 전부는 프로세서(212), 출력 장치(214) 및 프로세서에 의해 실행 가능한 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체(220)를 포함하는 분석 시스템(210)에 제공된다. 명령어는 배아의 이미지 또는 이미지들을 수신하는 이미저 인터페이스(222)를 제공하도록 실행 가능하다. 이미저 인터페이스(222)는 분석을 위해 이미지를 더 잘 준비하기 위해 자르기 및 필터링과 같은 하나 이상의 이미징 조건 기술을 적용할 수 있다. 그 다음, 이미지는 배아의 배수성 상태를 나타내는 제1 임상 파라미터를 제공하는 뉴럴 네트워크(224)에 제공된다. 예시된 구현예에서, 뉴럴 네트워크(224)는 정배수체 및 이배수체 배아의 라벨링된 이미지에 대해 트레이닝되고, 정배수성을 나타내는 제1 값 및 이배수성을 나타내는 제2 값을 가정할 수 있는 카테고리 출력을 제공한다.
일 구현예에서, 뉴럴 네트워크(224)는 컨볼루션 레이어를 포함하는 피드 포워드 인공 뉴럴 네트워크인 컨볼루션 뉴럴 네트워크일 수 있으며, 이는 이미지 내에서 다양한 특징 세트를 강조하기 위해 네트워크의 이전 레이어에서의 값에 컨볼루션을 효과적으로 적용한다. 컨볼루션 레이어에서, 각 뉴런은 이전 레이어에 있는 뉴런의 적절한 서브세트(뉴런의 수용 필드라고 함)에만 연결된다. 일 예에서, 컨볼루션 뉴럴 네트워크는 Xception 아키텍처를 사용하여 구현된다. 일 구현예에서, 각 픽셀과 연관된 적어도 하나의 색채 값(예를 들어, RGB 컬러 채널, YCrCb 컬러 채널 또는 회색조 밝기에 대한 값)은 컨볼루션 뉴럴 네트워크에 대한 초기 입력으로서 제공된다.
다른 구현예에서, 뉴럴 네트워크(224)는 순환 뉴럴 네트워크로서 구현될 수 있다. 순환 뉴럴 네트워크에서, 네트워크의 노드 간 연결은 시퀀스를 따라 방향성 그래프를 형성하도록 선택되어 동적 시간 동작을 나타낼 수 있다. 다른 구현예에서, 뉴럴 네트워크(224)는 생성적 뉴럴 네트워크가 분류를 시도하는 구분적 네트워크에 대해 점점 더 정교한 샘플을 생성하도록 생성적 뉴럴 네트워크와 구분적 네트워크가 서로에게 상호 피드백을 제공하는 생성적 적대적 모델에서 구분적 네트워크로서 구현되고 트레이닝된다. 뉴럴 네트워크(224)의 구조와 관계없이, 뉴럴 네트워크의 일부 또는 모든 레이어는 생식 세포 구조의 트레이닝 이미지에 대해 트레이닝된 레이어 중 일부만으로 다른 시스템으로부터 전이 학습을 통해 트레이닝될 수 있다. 뉴럴 네트워크(224)의 최종 레이어는 소프트맥스 레이어로서 구현되어 분류 결과를 제공할 수 있다.
하나 이상의 이미지의 일부 또는 전부는 또한 이미지 데이터를 이미지 또는 이미지들의 콘텐츠를 나타내는 복수의 값을 포함하는 특징 벡터로 감소시키는 특징 추출기(226)에 제공될 수 있다. 특히, 특징 추출기(226)는 센서 데이터를 나타내는 카테고리의 이산적 연속적 파라미터일 수 있는 복수의 특징을 추출한다. 하나의 예에서, 특징 추출기(226)는 뉴럴 네트워크(224)로부터의 잠재 값을 이미지 또는 이미지들을 나타내는 특징으로서 활용할 수 있다. 네트워크 인터페이스(228)는 전자 건강 기록(EHR) 데이터베이스와 같은 관련 메모리로부터 생체 파라미터 세트를 검색할 수 있다. 생체 파라미터는 관련 메모리로부터 배아를 받는 환자, 인간 배아 생성에 사용되는 난자, 배아 생성에 사용되는 정자, 배아 생성에 사용되는 정자를 제공한 정자 공여자 및 제공한 난자 공여자 중 하나 이상을 나타낼 수 있다. 예시된 예에서 파라미터는 배아를 생성하기 위해 수정된 난자를 제공한 난자 공여자의 연령, 배아를 생성하기 위해 사용된 정자의 품질을 나타내는 값, 및 배아를 생성하기 위해 수정된 난모 세포로 채취된 난모 세포로부터 정상적으로 수정된 배아의 수를 포함한다.
특징 벡터 값의 제1 서브세트 및 검색된 생체 파라미터는 제1 예측 모델(230)에 제공되어 제2 임상 파라미터를 생성할 수 있다. 예시된 구현예에서, 제1 예측 모델(230)은 정배수체 및 이배수체 배아를 나타내는 라벨링된 데이터에 대해 트레이닝된 서포트 벡터 머신으로서 구현되고, 정배수성을 나타내는 제1 값 및 이배수성을 나타내는 제2 값을 가정할 수 있는 카테고리 출력으로서 제2 임상 파라미터를 제공한다. 특징 벡터 값의 제2 서브세트 및 검색된 생체 파라미터는 제2 예측 모델(232)에 제공되어 제3 임상 파라미터를 생성할 수 있다. 예시된 구현예에서, 제2 예측 모델(232)은 정배수체 및 이배수체 배아를 나타내는 라벨링된 데이터에 대해 트레이닝된 완전 연결된 피드포워드 뉴럴 네트워크로서 구현되고, 정배수성을 나타내는 제1 값 및 이배수성을 나타내는 제2 값을 가정할 수 있는 카테고리 출력으로서 제3 임상 파라미터를 제공한다.
제1, 제2 및 제3 임상 파라미터는 배아의 배수성 상태를 나타내는 복합 파라미터를 생성하는 보팅 시스템(voting system, 234)에 제공된다. 예시된 구현예에서, 복합 파라미터는 제1, 제2 및 제3 임상 파라미터 중 다수결에 따라 생성된다. 복합 임상 파라미터는 사용자 인터페이스(236)를 통해 출력 장치(214)에서 사용자에게 제공될 수 있다. 예를 들어, 사용자 인터페이스(236)는 보팅 시스템(234)의 출력을 수신하여 출력 장치(214)에 제시하기 위한 적절한 소프트웨어 명령어를 포함할 수 있다. 일 구현예에서, 출력 장치(214)는 분석 시스템(210)과 무선으로 통신하는 모바일 장치를 포함할 수 있다.
위에서 설명한 구조적 및 기능적 특징의 관점에서, 본 발명의 다양한 양태에 따른 방법은 도 3 및 도 4를 참조하여 더 잘 이해될 것이다. 설명의 편의를 위해, 도 3 및 도 4의 방법은 순차적으로 실행하는 것으로 도시되고 기술되어 있지만, 본 발명에 따라 몇몇 양태가 본 명세서에 도시되고 설명된 것과는 다른 양태와 다른 순서로 및/또는 동시에 발생할 수 있기 때문에 본 발명이 예시된 순서에 의해 제한되지 않는다는 것을 이해하고 인식해야 한다. 더욱이, 본 발명의 양태에 따른 방법을 구현하기 위해 모든 예시된 특징이 요구되는 것은 아니다.
도 3은 인간 배아의 이배수성을 스크리닝하기 위한 방법(300)의 예를 예시한다. 302에서, 관련 이미저에서 배아의 이미지가 획득된다. 304에서, 배아의 이미지는 뉴럴 네트워크에 제공되어 뉴럴 네트워크에서 배아의 이미지로부터 제1 임상 파라미터를 생성한다. 제1 임상 파라미터는 카테고리형 또는 연속형일 수 있다. 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크, 순환 뉴럴 네트워크, 생성적 적대 뉴럴 네트워크(생성적 대립 신경망, generative adversarial network)의 일부로서 트레이닝된 구분 분류기 중 하나로 구현될 수 있다. 306에서, 배아를 받는 환자, 인간 배아 생성에 사용되는 난자, 배아 생성에 사용되는 정자, 배아 생성에 사용되는 정자를 제공한 정자 공여자, 난자를 제공한 난자 공여자 중 하나의 생체 파라미터 중 하나를 나타내는 적어도 하나의 파라미터의 세트가 검색된다. 적절한 파라미터의 예에는 배아를 생성하기 위해 수정된 난모 세포를 제공한 난자 공여자의 연령, 배아 생성에 사용된 정자의 품질을 나타내는 값 및 배아 생성을 위해 수정된 난모 세포로 채취된 난모 세포로부터 정상적으로 수정된 배아의 수가 포함된다.
308에서, 예측 모델에서 적어도 하나의 파라미터 세트로부터 제2 임상 파라미터가 생성된다. 일 예에서, 예측 모델은 서포트 벡터 머신과 완전 연결된 피드포워드 뉴럴 네트워크 중 하나로서 구현된다. 310에서, 배아의 이배수성의 가능성을 나타내는 복합 파라미터가 제1 임상 파라미터 및 제2 임상 파라미터로부터 생성된다. 복합 파라미터는 예를 들어, 제1 임상 파라미터 및 제2 임상 파라미터를 포함하는 임상 파라미터 세트의 평균으로서, 임상 파라미터 세트의 가중 선형 조합으로서, 또는 보팅 알고리즘에 따라 생성될 수 있다. 복합 파라미터는 메모리에 저장될 수 있고 및/또는 관련 디스플레이에서 사용자에게 표시될 수 있다.
도 4는 인간 배아의 이배수성을 스크리닝하기 위한 방법(400)의 다른 예를 예시한다. 402에서, 배아의 이미지가 획득된다. 404에서, 배아의 이미지는 뉴럴 네트워크에 제공되어 뉴럴 네트워크에서 배아의 이미지로부터 제1 임상 파라미터를 생성한다. 제1 임상 파라미터는 카테고리형 또는 연속형일 수 있다. 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크, 순환 뉴럴 네트워크, 생성적 적대 뉴럴 네트워크의 일부로서 트레이닝된 구분 분류기 중 하나로서 구현될 수 있다. 406에서, 관련된 메모리로부터 파라미터 세트가 검색된다. 파라미터 세트는 배아 생성을 위해 수정된 난모 세포를 제공한 난자 공여자의 연령, 배아 생성을 위해 사용된 정자의 품질을 나타내는 값, 및 배아 생성을 위해 수정된 난모 세포로 채취된 난모 세포로부터 정상적으로 수정된 배아의 수를 포함한다.
408에서, 파라미터 세트의 제1 서브세트로부터 제1 예측 모델에서 제2 임상 파라미터가 생성된다. 일 구현예에서, 제1 예측 모델은 서포트 벡터 머신으로서 구현된다. 410에서, 파라미터 세트의 제2 서브세트로부터 제2 예측 모델에서 제3 임상 파라미터가 생성된다. 일 구현예에서 제2 예측 모델은 완전 연결된 피드포워드 뉴럴 네트워크로서 구현된다. 일 예에서, 각각의 제1 예측 모델 및 제2 예측 모델이 전체 파라미터 세트를 수신하도록 각각의 제1 서브세트 및 제2 서브세트는 모든 파라미터 세트를 포함한다. 다른 예에서, 제1 서브세트 및 제2 서브세트는 각각 파라미터 세트의 적절한 서브세트이다. 412에서, 배아의 이배수성의 가능성을 나타내는 복합 파라미터가 제1 임상 파라미터, 제2 임상 파라미터 및 제3 임상 파라미터로부터 생성된다. 예시된 예에서, 복합 파라미터는 제1 임상 파라미터, 제2 임상 파라미터 및 제3 임상 파라미터 중 다수결에 따라 생성된다. 복합 파라미터는 메모리에 저장될 수 있고 및/또는 관련 디스플레이에서 사용자에게 표시될 수 있다.
도 5는 도 1에 예시된 자동 배아 평가 시스템과 같은 도 1 내지 도 4에 개시된 시스템 및 방법의 예를 구현할 수 있는 하드웨어 구성요소의 예시적인 시스템(500)을 예시하는 개략 블록도이다. 시스템(500)은 다양한 시스템 및 서브시스템을 포함할 수 있다. 시스템(500)은 퍼스널 컴퓨터, 랩탑 컴퓨터, 워크스테이션, 컴퓨터 시스템, 가전기기, 주문형 집적 회로(Application-Specific Integrated Circuit, ASIC), 서버, 서버 블레이드 센터 또는 서버 팜 중 임의의 것일 수 있다.
시스템(500)은 시스템 버스(502), 처리 장치(504), 시스템 메모리(506), 메모리 장치(508 및 510), 통신 인터페이스(512)(예를 들어, 네트워크 인터페이스), 통신 링크(514), 디스플레이(516)(예를 들어, 비디오 스크린), 및 입력 장치(518)(예를 들어, 키보드 및/또는 마우스)를 포함할 수 있다. 시스템 버스(502)는 처리 장치(504) 및 시스템 메모리(506)와 통신할 수 있다. 하드 디스크 드라이브, 서버, 독립형 데이터베이스 또는 기타 비휘발성 메모리와 같은 추가 메모리 장치(508 및 510)는 시스템 버스(502)와 또한 통신할 수 있다. 시스템 버스(502)는 처리 장치(504), 메모리 장치(506-510), 통신 인터페이스(512), 디스플레이(516) 및 입력 장치(518)를 상호 연결한다. 일부 예에서, 시스템 버스(502)는 범용 직렬 버스(USB) 포트와 같은 추가 포트(미도시)를 또한 상호 연결한다.
시스템(500)은 컴퓨팅 클라우드에서 구현될 수 있다. 이러한 상황에서, 처리 장치(504), 통신 인터페이스(512), 및 메모리 장치(508 및 510)와 같은 시스템(500)의 특징은 하드웨어(예를 들어, 컴퓨터, 라우터, 메모리, 프로세서 또는 이들의 조합)의 복수의 인스턴스(즉, 분산)에 걸쳐 실행되는 애플리케이션을 갖는 하드웨어의 단일 인스턴스 또는 하드웨어의 복수의 인스턴스를 나타낼 수 있다. 대안적으로, 시스템(500)은 단일 전용 서버 상에서 구현될 수 있다.
처리 장치(504)는 컴퓨팅 디바이스일 수 있고 주문형 집적 회로(ASIC)를 포함할 수 있다. 처리 장치(504)는 명령어 세트를 실행하여 본 명세서에 개시된 예의 동작을 구현한다. 처리 장치는 프로세싱 코어를 포함할 수 있다.
추가 메모리 장치(506, 508 및 510)는 데이터, 프로그램, 명령어, 텍스트 또는 컴파일 형식의 데이터베이스 쿼리, 및 컴퓨터를 작동하는 데 필요할 수 있는 기타 정보를 저장할 수 있다. 메모리(506, 508 및 510)는 메모리 카드, 디스크 드라이브, 컴팩트 디스크(CD) 또는 네트워크를 통해 액세스 가능한 서버와 같은 컴퓨터 판독 가능 매체(통합 또는 제거 가능)로서 구현될 수 있다. 특정 예에서, 메모리(506, 508 및 510)는 텍스트, 이미지, 비디오 및/또는 오디오를 포함할 수 있으며, 그 일부는 인간이 이해할 수 있는 형식으로 이용 가능할 수 있다.
추가적으로 또는 대안적으로, 시스템(500)은 시스템 버스(502) 및 통신 링크(514)와 통신할 수 있는 통신 인터페이스(512)를 통해 외부 데이터 소스 또는 쿼리 소스에 액세스할 수 있다.
작동 중에, 시스템(500)은 본 발명에 따른 배아 평가 시스템의 하나 이상의 부분을 구현하는 데 사용될 수 있다. 복합 애플리케이션 테스트 시스템을 구현하기 위한 컴퓨터 실행 가능 로직은 특정 예에 따라 시스템 메모리(506) 및 메모리 장치(508, 510) 중 하나 이상에 상주한다. 처리 장치(504)는 시스템 메모리(506) 및 메모리 장치(508 및 510)로부터 발신되는 하나 이상의 컴퓨터 실행 가능 명령어를 실행한다. 컴퓨터 판독 가능 매체는 처리 장치에 작동 가능하게 각각 연결된 다수의 컴퓨터 판독 가능 매체를 포함할 수 있음을 이해할 것이다.
구체적인 세부사항은 실시형태의 완전한 이해를 제공하기 위해 상기 설명에서 제공된다. 그러나, 실시형태는 이들 특정 세부사항 없이 실시될 수 있음을 이해해야 한다. 예를 들어, 회로는 불필요한 세부 사항으로 실시형태를 모호하게 하지 않기 위해 블록도에 도시될 수 있다. 다른 경우에, 공지의 회로, 프로세스, 알고리즘, 구조 및 기술은 실시형태를 모호하게 하는 것을 피하기 위해 불필요한 세부 사항 없이 도시될 수 있다.
위에서 설명한 기술, 블록, 단계 및 수단의 구현은 다양한 방식으로 실행될 수 있다. 예를 들어, 이러한 기술, 블록, 단계 및 수단은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현을 위해, 처리 장치는 하나 이상의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processing Device, DSPD), 프로그래밍 가능 논리 장치(Programmable Logic Device, PLD), 필드 프로그래밍 가능 게이트 어레이(Field Programmable Gate Array, FPGA), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서, 위에서 설명한 기능을 수행하도록 설계된 기타 전자 장치 및/또는 이들의 조합 내에서 구현될 수 있다.
또한, 실시형태는 순서도, 흐름도, 데이터 흐름도, 구조도, 또는 블록도로서 묘사되는 프로세스로서 설명될 수 있음에 유의한다. 순서도는 작업을 순차적 프로세스로서 설명할 수 있지만, 많은 동작이 병렬 또는 동시에 수행될 수 있다. 또한 동작 순서를 다시 정렬할 수 있다. 동작이 완료되면 프로세스가 종료되지만, 도면에 포함되지 않은 추가 단계가 있을 수 있다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응하는 경우 프로세스 종료는 호출 함수 또는 메인 함수에 대한 함수 반환에 대응한다.
또한, 실시형태는 하드웨어, 소프트웨어, 스크립팅 언어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어 및/또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 스크립팅 언어 및/또는 마이크로코드로 구현될 때, 필요한 작업을 수행하기 위한 프로그램 코드 또는 코드 세그먼트는 저장 매체와 같은 기계 판독 가능 매체에 저장될 수 있다. 코드 세그먼트 또는 기계 실행 가능 명령어는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 스크립트, 클래스 또는 명령어, 데이터 구조, 및/또는 프로그램 문의 조합을 표현할 수 있다. 코드 세그먼트는 정보, 데이터, 인수, 파라미터 및/또는 메모리 내용을 전달 및/또는 수신하여 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수 있다. 정보, 인수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 티켓 전달, 네트워크 전송 등을 포함한 적절한 수단을 통해 전달, 포워딩 또는 전송될 수 있다.
펌웨어 및/또는 소프트웨어 구현의 경우, 방법론은 본 명세서에 설명된 기능을 수행하는 모듈(예를 들어, 프로시저, 함수 등)로 구현될 수 있다. 명령어를 유형적으로 구현하는 임의의 기계 판독 가능 매체는 본 명세서에 설명된 방법론을 구현하는 데 사용될 수 있다. 예를 들어 소프트웨어 코드는 메모리에 저장될 수 있다. 메모리는 프로세서 내에 또는 프로세서 외부에 구현될 수 있다. 본 명세서에서 사용된 "메모리"라는 용어는 장기, 단기, 휘발성, 비휘발성 또는 기타 저장 매체의 모든 유형을 말하며 특정 유형의 메모리 또는 특정 수의 메모리 또는 매체 유형, 도는 메모리가 저장되는 매체의 유형에 제한되지 않는다.
또한, 본 명세서에 개시된 바와 같이, "저장 매체"라는 용어는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 RAM, 코어 메모리, 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 장치 및/또는 정보를 저장하기 위한 기타 기계 판독 가능 매체를 포함하는, 데이터를 저장하기 위한 하나 이상의 메모리를 나타낼 수 있다. "컴퓨터 판독 가능 매체" 및 "기계 판독 가능 매체"라는 용어는 휴대용 또는 고정식 저장 장치, 광학 저장 장치, 무선 채널, 및/또는 명령어 및/또는 데이터를 포함하거나 수용할 수 있는 다양한 기타 저장 매체를 포함하지만 이에 제한되지 않는다. "컴퓨터 판독 가능 매체" 또는 "기계 판독 가능 매체"는 각각 처리 유닛에 동작 가능하게 연결된 다수의 매체를 포함할 수 있음을 이해할 것이다.
본 발명의 원리는 특정 장치 및 방법과 관련하여 위에서 설명되었지만, 이러한 설명은 단지 예로서만 이루어지며 본 발명의 범위를 제한하는 것이 아님을 분명히 이해해야 한다.

Claims (20)

  1. 인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법으로서,
    관련 이미저에서 배아의 이미지를 획득하는 단계;
    제1 임상 파라미터를 생성하기 위해 상기 배아의 이미지를 뉴럴 네트워크에 제공하는 단계;
    배아를 받는 환자, 인간 배아 생성에 사용되는 난자, 배아 생성에 사용되는 정자, 배아 생성에 사용되는 정자를 제공한 정자 공여자, 및 난자를 제공한 난자 공여자 중 하나를 나타내는 적어도 하나의 파라미터 세트를 검색하는 단계;
    예측 모델에서 상기 적어도 하나의 파라미터 세트로부터 제2 임상 파라미터를 생성하는 단계; 및
    상기 제1 임상 파라미터 및 상기 제2 임상 파라미터로부터 상기 배아의 이배수성의 가능성을 나타내는 복합 파라미터를 생성하는 단계
    를 포함하는, 인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  2. 제1항에 있어서,
    상기 배아의 이미지를 상기 뉴럴 네트워크에 제공하는 단계는 상기 배아의 이미지를 순환 뉴럴 네트워크에 제공하는 단계를 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  3. 제1항에 있어서,
    상기 배아의 이미지를 상기 뉴럴 네트워크에 제공하는 단계는 생성적 대립 신경망의 일부로서 트레이닝된 구분 분류기에 상기 배아의 이미지를 제공하는 단계를 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  4. 제1항에 있어서,
    상기 배아의 이미지를 상기 뉴럴 네트워크에 제공하는 단계는 상기 배아의 이미지를 컨볼루션 뉴럴 네트워크에 제공하는 단계를 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 파라미터의 세트는 배아 생성을 위해 수정된 난모 세포를 제공한 난자 공여자의 연령을 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 파라미터 세트는 배아 생성을 위해 수정된 난모 세포로 채취된 난모 세포로부터 정상적으로 수정된 배아의 수를 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 파라미터 세트는 배아 수정에 사용되는 정자의 품질을 나타내는 값을 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  8. 인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템으로서,
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체
    를 포함하며,
    상기 실행 가능한 명령어는:
    관련 이미저로부터 배아의 이미지를 수신하도록 구성된 이미저 인터페이스;
    상기 배아의 이미지로부터 제1 임상 파라미터를 생성하도록 구성된 뉴럴 네트워크;
    관련 메모리로부터 배아를 받은 환자, 인간 배아 생성을 위해 수정된 난모 세포, 배아 생성에 사용된 정자, 배아 생성에 사용된 정자를 제공한 정자 공여자, 및 난모 세포를 제공한 난자 공여자 중 하나를 나타내는 적어도 하나의 파라미터 세트로부터 제2 임상 파라미터를 생성하도록 구성된 예측 모델; 및
    상기 제1 임상 파라미터 및 상기 제2 임상 파라미터로부터 상기 배아의 이배수성의 가능성을 나타내는 복합 파라미터를 생성하도록 구성된 중재기
    를 포함하는, 인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  9. 제8항에 있어서,
    상기 이미지를 나타내는 특징 벡터를 생성하고 상기 특징 벡터를 상기 예측 모델에 제공하는 특징 추출기를 더 포함하고, 상기 예측 모델은 상기 적어도 하나의 파라미터를 나타내는 적어도 하나의 파라미터로부터 상기 제2 임상 파라미터를 생성하도록 구성되는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  10. 제8항에 있어서,
    상기 중재기는 적어도 상기 제1 임상 파라미터와 상기 제2 임상 파라미터의 가중 선형 조합으로서 상기 복합 파라미터를 생성하도록 구성되는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  11. 제8항에 있어서,
    상기 중재기는 적어도 상기 제1 임상 파라미터와 상기 제2 임상 파라미터의 평균으로서 상기 복합 파라미터를 생성하도록 구성되는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  12. 제8항에 있어서,
    상기 예측 모델은 제1 예측 모델이고, 상기 적어도 하나의 파라미터 세트는 적어도 하나의 파라미터의 제1 세트이고, 상기 시스템은 적어도 하나의 파라미터의 제2 세트로부터 제3 임상 파라미터를 생성하도록 구성된 제2 예측 모델을 더 포함하고, 상기 제1 임상 파라미터, 상기 제2 임상 파라미터 및 상기 제3 임상 파라미터 각각은 카테고리 파라미터이고, 상기 중재기는 적어도 상기 제1 임상 파라미터, 상기 제2 임상 파라미터 및 상기 제3 임상 파라미터 중에서 다수결에 따라 상기 복합 파라미터를 생성하도록 구성되는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  13. 제8항에 있어서,
    상기 예측 모델은 서포트 벡터 머신(support vector machine)으로서 구현되는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  14. 제8항에 있어서,
    상기 예측 모델은 완전 연결된 피드포워드 뉴럴 네트워크로서 구현되는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  15. 제8항에 있어서,
    상기 적어도 하나의 파라미터 세트는 난자의 연령, 난자 공여자의 연령, 정자 공여자의 연령, 배아의 수정 방법, 난자 공여자의 호르몬 프로파일, 난자 공여자의 상태에 대한 과거 진단, 및 정자 공여자의 상태에 대한 과거 진단 중 적어도 하나를 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 시스템.
  16. 인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법으로서,
    관련 이미저에서 배아의 이미지를 획득하는 단계;
    컨볼루션 뉴럴 네트워크에서 상기 배아의 이미지로부터 제1 임상 파라미터를 생성하는 단계;
    관련 메모리로부터 파라미터 세트를 검색하는 단계 - 상기 파라미터 세트는 배아 생성을 위해 수정된 난모 세포를 제공한 난자 공여자의 연령, 배아 생성에 사용된 정자의 품질을 나타내는 값, 및 배아 생성을 위해 수정된 난모 세포로 채취된 난모 세포로부터 정상적으로 수정된 배아의 수를 포함함 -;
    상기 파라미터 세트의 제1 서브세트로부터 제1 예측 모델에서 제2 임상 파라미터를 생성하는 단계;
    상기 파라미터 세트의 제2 서브세트로부터 제2 예측 모델에서 제3 임상 파라미터를 생성하는 단계; 및
    상기 제1 임상 파라미터, 상기 제2 임상 파라미터 및 상기 제3 임상 파라미터로부터 배아의 이배수성의 가능성을 나타내는 복합 파라미터를 생성하는 단계
    를 포함하는, 인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  17. 제16항에 있어서,
    상기 제1 임상 파라미터, 상기 제2 임상 파라미터 및 상기 제3 임상 파라미터로부터 상기 복합 파라미터를 생성하는 단계는 상기 제1 임상 파라미터, 상기 제2 임상 파라미터 및 상기 제3 임상 파라미터 중 다수결에 따라 상기 복합 파라미터를 생성하는 단계를 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  18. 제16항에 있어서,
    상기 제1 예측 모델은 서포트 벡터 머신으로서 구현되고, 상기 제2 예측 모델은 완전 연결된 피드포워드 뉴럴 네트워크로서 구현되는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  19. 제16항에 있어서,
    상기 파라미터 세트의 제1 서브세트로부터 제1 예측 모델에서 제2 임상 파라미터를 생성하는 단계는 상기 파라미터 세트로부터 제1 예측 모델에서 제2 임상 파라미터를 생성하는 단계를 포함하고, 상기 파라미터 세트의 제2 서브세트로부터 제2 예측 모델에서 제3 임상 파라미터를 생성하는 단계는 상기 파라미터 세트로부터 제2 예측 모델에서 제3 임상 파라미터를 생성하는 단계를 포함하는,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
  20. 제16항에 있어서,
    상기 파라미터 세트의 제1 서브세트 및 상기 파라미터 세트의 제2 서브세트 각각은 상기 파라미터 세트의 적절한 서브세트인,
    인간 배아의 이배수성에 대한 완전 자동 스크리닝 방법.
KR1020237012203A 2020-09-11 2021-09-13 중재 앙상블을 이용한 자동 이배수성 스크리닝 KR20230075468A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063077398P 2020-09-11 2020-09-11
US202063077405P 2020-09-11 2020-09-11
US63/077,398 2020-09-11
US63/077,405 2020-09-11
PCT/US2021/050058 WO2022056374A1 (en) 2020-09-11 2021-09-13 Automated aneuploidy screening using arbitrated ensembles

Publications (1)

Publication Number Publication Date
KR20230075468A true KR20230075468A (ko) 2023-05-31

Family

ID=80630102

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237012202A KR20230084176A (ko) 2020-09-11 2021-09-13 생식 세포 구조에서 위치를 결정하는 시스템 및 방법
KR1020237012203A KR20230075468A (ko) 2020-09-11 2021-09-13 중재 앙상블을 이용한 자동 이배수성 스크리닝

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237012202A KR20230084176A (ko) 2020-09-11 2021-09-13 생식 세포 구조에서 위치를 결정하는 시스템 및 방법

Country Status (9)

Country Link
US (2) US20230326014A1 (ko)
EP (2) EP4211606A1 (ko)
JP (2) JP2023541841A (ko)
KR (2) KR20230084176A (ko)
CN (1) CN116438585A (ko)
AU (2) AU2021338858A1 (ko)
BR (2) BR112023004565A2 (ko)
CA (2) CA3192444A1 (ko)
WO (2) WO2022056370A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2962101A4 (en) * 2013-02-28 2016-10-19 Progyny Inc APPARATUS, METHOD AND SYSTEM FOR CLASSIFYING HUMAN EMBRYONIC CELLS FROM IMAGES
WO2017132674A1 (en) 2016-01-28 2017-08-03 Letterie Gerard Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos
CA3210746A1 (en) * 2018-09-28 2020-04-02 The Brigham And Women's Hospital, Inc. Automated evaluation of sperm morphology
WO2020138279A1 (ja) * 2018-12-28 2020-07-02 オリンパス株式会社 顕微鏡システム
WO2020157761A1 (en) * 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US10646156B1 (en) * 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities

Also Published As

Publication number Publication date
EP4211606A1 (en) 2023-07-19
US20230326165A1 (en) 2023-10-12
JP2023541841A (ja) 2023-10-04
CA3192441A1 (en) 2022-03-17
AU2021339829B2 (en) 2024-06-13
JP7523680B2 (ja) 2024-07-26
EP4210564A1 (en) 2023-07-19
KR20230084176A (ko) 2023-06-12
AU2021338858A1 (en) 2023-05-18
JP2023541165A (ja) 2023-09-28
BR112023004565A2 (pt) 2023-04-04
CA3192444A1 (en) 2022-03-17
WO2022056370A1 (en) 2022-03-17
CN116438585A (zh) 2023-07-14
BR112023004578A2 (pt) 2023-04-11
AU2021339829A1 (en) 2023-05-25
AU2021339829A9 (en) 2024-02-08
US20230326014A1 (en) 2023-10-12
WO2022056374A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US11816753B2 (en) Automated evaluation of human embryos
WO2020023760A1 (en) System and method for clustering products by combining attribute data with image recognition
US11710552B2 (en) Method and system for refining label information
US20210342570A1 (en) Automated clustering of anomalous histopathology tissue samples
US20220383497A1 (en) Automated analysis and selection of human embryos
AU2024200572A1 (en) Automated evaluation of quality assurance metrics for assisted reproduction procedures
AU2021339829B2 (en) Automated aneuploidy screening using arbitrated ensembles
BalaKrishna et al. Autism spectrum disorder detection using machine learning
Savitha et al. Parasitic egg detection from microscopic images using convolutional neural networks
Khan et al. Hybrid Deep Learning Approach for Enhanced Animal Breed Classification and Prediction.
Meshram et al. Development And Analysis Of Deep Learning Model Based On Multiclass Classification Of Retinal Image For Early Detection Of Diabetic Retinopathy
Cao et al. Alzheimer’s Disease Stage Detection Method Based on Convolutional Neural Network
Chincholi et al. Transforming glaucoma diagnosis: transformers at the forefront
Manoranjitham An artificial intelligence ensemble model for paddy leaf disease diagnosis utilizing deep transfer learning
Lotus et al. Unleashing the Potential of Deep Learning in Diabetic Retinopathy: A Comprehensive Survey
Ekundayo et al. Feature Selection Strategies for Enhancing the Accuracy for Detecting Polycystic Ovary Syndrome (PCOS) Health Problem
Jha et al. Diabetic Retinopathy Detection
BARROS Development of a deep-learning based system for disease symptoms detection over crop leaves images
Yovan Felix et al. The Classification and Segmentation of Plant Disease Using Convolutional Neural Network (CNN)
Kalaycı Skin cancer detection and classification from dermatoscopic images using deep learning methods
Longo Explainable Artificial Intelligence: Second World Conference, XAI 2024, Valletta, Malta, July 17-19, 2024, Proceedings, Part I.
CN116456892A (zh) 确定生殖细胞结构中的位置

Legal Events

Date Code Title Description
A201 Request for examination