KR20210002606A - 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 - Google Patents

의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20210002606A
KR20210002606A KR1020207033584A KR20207033584A KR20210002606A KR 20210002606 A KR20210002606 A KR 20210002606A KR 1020207033584 A KR1020207033584 A KR 1020207033584A KR 20207033584 A KR20207033584 A KR 20207033584A KR 20210002606 A KR20210002606 A KR 20210002606A
Authority
KR
South Korea
Prior art keywords
target
feature map
detection module
image
information
Prior art date
Application number
KR1020207033584A
Other languages
English (en)
Inventor
칭 시아
윈허 가오
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210002606A publication Critical patent/KR20210002606A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 출원 실시예는 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체를 개시한다. 상기 의료 영상 처리 방법은, 제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하는 단계 - 상기 제2 타겟은 적어도 두 개의 상기 제1 타겟을 포함함 - ; 및 상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하는 단계를 포함한다.

Description

의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체
관련 출원의 상호 참조
본 출원은 2018년 7월 24일에 중국 특허청에 제출한 출원 번호가 201810818690.X이고, 발명의 명칭이“의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체”인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용을 원용하여 본 출원에 결합하였다.
본 출원은 정보 기술분야에 관한 것으로서, 특히 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.
의료 영상은 의사가 진단을 진행하는데 도움이 되는 중요한 보조 정보이다. 그러나 관련 기술에서는 모두 의료 영상을 촬영한 후, 의사는 의료 영상의 실제 이미지 또는 컴퓨터에서 판독하는 방식으로 진단을 진행한다. 그러나 의료 영상은 일반적으로 다양한 레이(Ray) 등을 통해 촬영된 비표면 구조이고, 촬영 기술 또는 촬영 장면에 따라 일부 각도에서 보이지 않을 수 있으므로, 이는 분명히 의료진의 진단에 영향을 준다. 따라서 어떻게 의료진에게 전면적이고 완전하며 효과적인 정보를 제공할 지는, 관련 기술에서 추가로 해결해야 하는 문제이다.
본 출원 실시예는 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체를 제공하고자 한다.
본 출원의 기술방안은 아래와 같은 측면으로 구현된다. 제1 측면에 있어서, 본 출원 실시예는 의료 영상 처리 방법을 제공하고, 상기 의료 영상 처리 방법은,
제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하는 단계 - 상기 제2 타겟은 적어도 두 개의 상기 제1 타겟을 포함함 - ; 및
상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하는 단계를 포함한다.
선택적으로, 상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하는 단계는, 상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟에 대해 픽셀 레벨 분할을 진행하여 상기 타겟 특징 맵 및 상기 제1 진단 보조 정보를 얻는 단계를 포함한다.
선택적으로, 제2 검출 모듈을 이용하여 의료 영상을 검출하여, 상기 제2 타겟이 상기 의료 영상에서의 제2 위치 정보를 획득하는 단계; 및 상기 제2 위치 정보에 따라, 상기 의료 영상으로부터 상기 제2 타겟을 포함하는 처리될 이미지를 분할하는 단계를 더 포함하고; 상기 제1 검출 모듈을 이용하여 의료 영상을 검출하여 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하는 단계는, 상기 제1 검출 모듈을 이용하여 상기 처리될 이미지를 검출하여, 상기 제1 위치 정보를 획득하는 단계를 포함한다.
선택적으로, 상기 제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하는 단계는, 제1 검출 모듈을 이용하여 처리될 이미지 또는 의료 영상을 검출하여, 상기 제1 타겟의 이미지 검출 영역을 획득하는 단계; 상기 이미지 검출 영역을 검출하여, 상기 제1 타겟의 외부 윤곽 정보를 획득하는 단계; 및 상기 외부 윤곽 정보에 따라 마스크 영역을 생성하는 단계 - 상기 마스크 영역은 상기 제1 타겟의 분할된 이미지를 획득하기 위해 상기 제2 타겟을 분할하기 위한 것임 - 를 포함한다.
선택적으로, 상기 제1 검출 모듈을 이용하여 상기 처리될 이미지에 대해 처리를 진행하여, 상기 제1 타겟을 포함하는 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 추출하는 단계는, 상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계 - 하나의 상기 타겟 특징 맵은 하나의 상기 제1 타겟에 대응됨 - ; 및 상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻는 단계를 포함한다.
선택적으로, 상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계는, 상기 제1 검출 모듈의 특징 추출 계층을 이용하여, 상기 분할된 이미지로부터 제1 특징 맵을 추출하는 단계; 상기 제1 검출 모듈의 풀링 계층을 이용하여, 상기 제1 특징 맵에 기반하여 적어도 하나의 제2 특징 맵을 생성하는 단계 - 상기 제1 특징 맵 및 상기 제2 특징 맵의 스케일은 상이함 - ; 및 상기 제2 특징 맵에 따라 상기 타겟 특징 맵을 얻는 단계를 포함한다.
선택적으로, 상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계는, 상기 제1 검출 모듈의 업 샘플링 계층을 이용하여, 상기 제2 특징 맵에 대해 업 샘플링을 진행하여 제3 특징 맵을 얻는 단계; 상기 제1 검출 모듈의 융합 계층을 이용하여, 상기 제1 특징 맵 및 상기 제3 특징 맵을 융합하여 융합 특징 맵을 얻는 단계; 또는, 상기 제3 특징 맵 및 상기 제3 특징 맵과 상이한 스케일을 갖는 상기 제2 특징 맵을 융합하여 융합 특징 맵을 얻는 단계; 및 상기 제1 검출 모듈의 출력 계층을 이용하여, 상기 융합 특징 맵에 따라 상기 타겟 특징 맵을 출력하는 단계를 포함한다.
선택적으로, 상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻는 단계는, 상기 처리될 이미지 및 상기 분할된 이미지를 결합하여, 상기 타겟 특징 맵에 대응되는 상기 제1 타겟의 제1 식별자 정보를 결정하는 단계; 상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보를 결정하는 단계; 및 상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보에 기반하여 생성된 프롬프트 정보를 결정하는 단계 중 적어도 하나를 포함한다.
선택적으로, 샘플 데이터를 이용하여 훈련함으로써 상기 제2 검출 모듈 및 제1 검출 모듈을 얻고; 손실 함수에 기반하여, 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하며; 상기 손실값이 기설정된 값보다 작거나 같을 경우, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 훈련을 완료하고; 또는, 상기 손실값이 상기 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화한다.
선택적으로, 상기 손실값이 상기 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하는 단계는, 상기 손실값이 상기 기설정된 값보다 클 경우, 역전파 방식을 이용하여 상기 네트워크 파라미터를 업데이트하는 단계를 포함한다.
선택적으로, 상기 손실 함수에 기반하여, 상기 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하는 단계는, 손실 함수를 이용하여, 상기 제2 검출 모듈로부터 입력되고 상기 제1 검출 모듈로부터 출력되는 엔드 투 엔드 손실값을 계산하는 단계를 포함한다.
선택적으로, 상기 제1 검출 모듈은 제1 검출 모델을 포함하는 것; 및 상기 제2 검출 모듈은 제2 검출 모델 을 포함하는 것 중 적어도 하나이다.
선택적으로, 상기 제2 타겟은 척추이고; 상기 제1 타겟은 추간판이다.
제2 측면에 있어서, 본 출원 실시예는 의료 영상 처리 장치를 제공하고, 상기 의료 영상 처리 장치는,
제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하도록 구성된 제1 검출 유닛 - 상기 제2 타겟은 적어도 두 개의 상기 제1 타겟을 포함함 - ; 및
상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하도록 구성된 처리 유닛을 포함한다.
선택적으로, 상기 처리 유닛은, 상기 제1 검출 모듈이 상기 제1 위치 정보에 따라, 상기 제2 타겟에 대해 픽셀 레벨 분할을 진행하여 상기 타겟 특징 맵 및 상기 제1 진단 보조 정보를 얻도록 구성된다.
선택적으로, 제2 검출 유닛은, 제2 검출 모듈을 이용하여 의료 영상을 검출하여, 상기 제2 타겟이 상기 의료 영상에서의 제2 위치 정보를 획득하고; 상기 제2 위치 정보에 따라, 상기 의료 영상으로부터 상기 제2 타겟을 포함하는 처리될 이미지를 분할하도록 구성되고; 상기 제1 검출 유닛은, 상기 제1 검출 모듈이 상기 처리될 이미지를 검출하여, 상기 제1 위치 정보를 획득하도록 구성된다.
선택적으로, 상기 제1 검출 유닛은, 제1 검출 모듈이 처리될 이미지 또는 의료 영상을 검출하여, 상기 제1 타겟의 이미지 검출 영역을 획득하고; 상기 이미지 검출 영역을 검출하여, 상기 제1 타겟의 외부 윤곽 정보를 획득하며; 상기 외부 윤곽 정보에 따라 마스크 영역을 생성하도록 구성되고, 여기서, 상기 마스크 영역은 상기 제2 타겟을 분할하여 상기 제1 타겟을 획득하기 위한 것이다.
선택적으로, 상기 처리 유닛은, 상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻고, 여기서, 하나의 상기 타겟 특징 맵은 하나의 상기 제1 타겟에 대응되며; 상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻도록 구성된다.
선택적으로, 상기 처리 유닛은, 상기 제1 검출 모듈의 특징 추출 계층을 이용하여, 상기 분할된 이미지로부터 제1 특징 맵을 추출하고; 상기 제1 검출 모듈의 풀링 계층을 이용하여, 상기 제1 특징 맵에 기반하여 적어도 하나의 제2 특징 맵을 생성하며, 여기서, 상기 제1 특징 맵 및 상기 제2 특징 맵의 스케일은 상이하며; 상기 제2 특징 맵에 따라 상기 타겟 특징 맵을 얻도록 구성된다.
선택적으로, 상기 처리 유닛은, 상기 제1 검출 모듈의 업 샘플링 계층을 이용하여, 상기 제2 특징 맵에 대해 업 샘플링을 진행하여 제3 특징 맵을 얻고; 상기 제1 검출 모듈의 융합 계층을 이용하여, 상기 제1 특징 맵 및 상기 제3 특징 맵을 융합하여 융합 특징 맵을 얻으며; 또는, 상기 제3 특징 맵 및 상기 제3 특징 맵과 상이한 스케일을 갖는 상기 제2 특징 맵을 융합하여 융합 특징 맵을 얻으며; 상기 제1 검출 모듈의 출력 계층을 이용하여, 상기 융합 특징 맵에 따라 상기 타겟 특징 맵을 출력하도록 구성된다.
선택적으로, 상기 처리 유닛은, 상기 처리될 이미지 및 상기 분할된 이미지를 결합하여, 상기 타겟 특징 맵에 대응되는 상기 제1 타겟의 제1 식별자 정보를 결정하는 단계; 상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보를 결정하는 단계; 및 상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보에 기반하여 생성된 프롬프트 정보를 결정하는 단계 중 적어도 하나를 실행하도록 구성된다.
선택적으로, 샘플 데이터를 이용하여 훈련함으로써 상기 제2 검출 모듈 및 제1 검출 모듈을 얻도록 구성된 훈련 유닛; 손실 함수에 기반하여, 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하도록 구성된 계산 유닛; 및 상기 손실값이 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하도록 구성된 최적화 유닛을 더 포함하고, 상기 훈련 유닛은, 또한 상기 손실값이 상기 기설정된 값보다 작거나 같을 경우, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 훈련을 완료하기 위한 것이다.
선택적으로, 상기 최적화 유닛은, 상기 손실값이 상기 기설정된 값보다 클 경우, 역전파 방식을 이용하여 상기 네트워크 파라미터를 업데이트하도록 구성된다.
선택적으로, 상기 계산 유닛은, 손실 함수를 이용하여, 상기 제2 검출 모듈로부터 입력되고 상기 제1 검출 모듈로부터 출력되는 엔드 투 엔드 손실값을 계산하도록 구성된다.
선택적으로, 상기 제1 검출 모듈은 제1 검출 모델을 포함하는 것; 및 상기 제2 검출 모듈은 제2 검출 모델을 포함하는 것 중 적어도 하나이다.
선택적으로, 상기 제2 타겟은 척추이고; 상기 제1 타겟은 추간판이다.
제3 측면에 있어서, 본 출원 실시예는 컴퓨터 실행 가능 코드가 저장되어 있는 컴퓨터 저장 매체를 제공하고, 상기 컴퓨터 실행 가능 코드가 실행된 후, 제1 측면의 임의의 기술방안에 따른 의료 영상 처리 방법을 구현할 수 있다.
제4 측면에 있어서, 본 출원 실시예는 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 실행 가능 명령어가 실행된 후, 제1 측면의 임의의 기술방안에 따른 의료 영상 처리 방법을 구현할 수 있다.
제5 측면에 있어서, 본 출원 실시예는 이미지 처리 기기를 제공하고, 상기 이미지 처리 기기는,
정보를 저장하기 위한 메모리; 및
상기 메모리에 연결되어, 상기 메모리에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 제1 측면의 임의의 기술방안에 따른 의료 영상 처리 방법을 구현하기 위한 프로세서를 포함한다.
본 출원 실시예에서 제공하는 기술방안은, 제1 검출 모듈을 이용하여 의료 모델을 검출하여, 제1 타겟을 그가 위치하는 제2 타겟으로부터 완전히 분리시킨다. 이로써, 한편으로, 의사가 제2 타겟에서만 제1 타겟을 관찰할 수 있는 경우를 감소시킴으로써, 의사가 더욱 전면적이고 더욱 완전하게 제1 타겟을 관찰하도록 하고; 다른 한편으로, 본 출원 실시예는 출력된 타겟 특징 맵을 제공하고, 타겟 특징 맵은 제1 타겟의 의학적 진단을 제공하기 위한 특징을 포함하므로, 불필요한 특징에 대한 간섭을 배제하고, 진단 간섭을 감소시키며; 또 다른 한 측면으로, 또한 제1 진단 보조 정보를 생성하여 의료진의 진단에 추가적인 지원을 제공한다. 이와 같이, 본 실시예에서는 의료 영상 처리 방법을 통해, 더욱 전면적이고 더욱 완전한 의료 진단의 제1 타겟을 반영하는 타겟 특징 맵을 획득하고 제1 진단 보조 정보를 제공할 수 있어, 진단에 도움을 준다.
도 1은 본 출원 실시예에서 제공하는 첫 번째 의료 영상 처리 방법의 프로세스 예시도이다.
도 2는 본 출원 실시예에서 제공하는 두 번째 의료 영상 처리 방법의 프로세스 예시도이다.
도 3은 본 출원 실시예에서 제공하는 세 번째 의료 영상 처리 방법의 프로세스 예시도이다.
도 4는 본 출원 실시예에서 제공하는 의료 영상에서 분할된 이미지로의 변화 예시도이다.
도 5는 본 출원 실시예에서 제공하는 의료 영상 처리 장치의 구조 예시도이다.
도 6은 본 출원 실시예에서 제공하는 의료 영상 처리 기기의 구조 예시도이다.
도 1에 도시된 바와 같이, 본 실시예는 의료 영상 처리 방법을 제공하고, 상기 의료 영상 처리 방법은 아래와 같은 단계를 포함한다.
단계 S110에 있어서, 제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하고, 여기서, 상기 제2 타겟은 적어도 두 개의 상기 제1 타겟을 포함한다.
단계 S120에 있어서, 상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득한다.
상기 제1 검출 모듈은 검출 기능을 갖는 다양한 모듈일 수 있다. 예를 들어, 상기 제1 검출 모듈은 다양한 데이터 모델에 대응되는 기능 모듈일 수 있다. 상기 데이터 모델은 다양한 딥러닝 모델을 포함할 수 있다. 상기 딥러닝 모델은, 신경 네트워크 모델, 벡터 머신 모델 등을 포함할 수 있지만, 이에 한정되지 않는다.
상기 의료 영상은 다양한 의학적 진단 과정에서 촬영된 이미지 정보, 예를 들어, 핵자기 공명 이미지, 또 예를 들어, 컴퓨터 단층 촬영(Computed Tomography, CT) 이미지일 수 있다.
상기 제1 검출 모듈은 신경 네트워크 모델 등일 수 있고, 신경 네트워크 모델은 컨볼루션 등 처리를 통해 제2 타겟의 특징 추출을 진행하여 타겟 특징 맵을 얻고, 제1 진단 보조 정보를 생성할 수 있다.
일부 실시예에서 상기 의료 영상은, 딕슨(Dixon) 시퀀스를 포함할 수 있고, 상기 Dixon 시퀀스는 복수 개의 동일한 수집 대상에 대해 상이한 수집 각도로 수집한 2 차원 이미지를 포함하며; 이러한 2 차원 이미지는 상기 제1 수집 대상의 3 차원 이미지를 구축하는데 사용될 수 있다.
상기 제1 위치 정보는, 상기 제1 타겟이 제2 타겟에서의 위치를 설명하는 정보를 포함할 수 있고, 상기 위치 정보는 구체적으로, 제1 타겟이 이미지 좌표에서의 좌표값, 예를 들어, 제1 타겟 가장자리의 가장자리 좌표값, 제1 타겟 중심의 중심 좌표값 및 제1 타겟이 제2 타겟에서의 각 차원의 크기를 포함할 수 있다.
상기 제1 타겟은 진단의 최종 타겟이고, 상기 제2 타겟은 복수 개의 상기 제1 타겟을 포함할 수 있다. 예를 들어, 일부 실시예에서, 상기 제2 타겟은 척추일 수 있고, 제1 타겟은 추골 또는 인접한 추골 사이의 추간판일 수 있다. 다른 일부 실시예에서, 상기 제2 타겟은 또한 흉부일 수 있으며; 흉부는 복수 개의 갈비뼈로 조성될 수 있다. 상기 제1 타겟은 흉부에서의 하나의 갈비뼈일 수 있다.
요컨대, 상기 제2 타겟 및 제1 타겟은 의학적 진단이 필요한 다양한 대상일 수 있으며, 상기 예에 한정되지 않는다.
단계 S120에서, 제1 검출 모듈을 이용하여 상기 의료 영상에 대해 이미지 처리를 진행하여, 제2 타겟에 대해 분할을 진행함으로써, 상기 제2 타겟을 조성하는 각 제1 타겟의 타겟 특징 맵을 분리시키고, 대응되는 타겟 특징 맵에 포함되는 제1 타겟의 제1 진단 보조 정보를 얻도록 한다.
일부 실시예에 있어서, 상기 타겟 특징 맵은, 원본 의료 영상으로부터 커팅된 단일 제1 타겟을 포함하는 이미지를 포함할 수 있다.
다른 일부 실시예에 있어서, 상기 타겟 특징 맵은, 상기 원본 의료 영상에 기반하여 재생된 타겟 특징을 나타내기 위한 특징 맵을 더 포함할 수 있다. 상기 특징 맵은 의학적 진단이 필요한 다양한 진단 정보를 포함하고, 동시에 의학적 진단과 관련이 없는 일부 세부 정보를 배제하였다. 예를 들어, 추간판을 예로 들면, 추간판의 외부 윤곽, 형상 및 부피는 의학적 진단과 관련된 타겟 특징이지만, 추간판 표면의 일부 질감은 의학과 관련이 없으며, 이때, 상기 타겟 특징 맵은, 추간판의 외부 윤곽, 형상 및 부피 등 의학적 진단과 관련된 정보만 포함하고, 동시에 의학적 진단과 관련이 없는 표면 질감 등 간섭 특징을 배제한 것일 수 있다. 이러한 타겟 특징 맵이 출력된 후, 의료진은 타겟 특징 맵에 기반하여 진단을 진행할 경우, 간섭의 감소로 인해, 빠르고 정확한 진단을 구현할 수 있다.
상기 제1 진단 보조 정보는 대응되는 타겟 특징 맵에서 제1 타겟의 속성 또는 상태를 설명하는 다양한 정보일 수 있다. 상기 제1 진단 보조 정보는 상기 타겟 특징 맵에 직접 첨부된 정보일 수 있고, 상기 타겟 특징 맵과 동일한 파일에 저장된 정보일 수도 있다.
예를 들어, 제1 검출 모듈이 단계 S120에서 타겟 특징 맵을 포함하는 진단 파일을 생성하고, 상기 진단 파일은 3 차원 동적 이미지 파일일 수 있으며; 상기 3 차원 동적 파일이 재생될 경우, 특정한 소프트웨어를 통해 3 차원 타겟 특징 맵이 현재 디스플레이된 각도를 조정할 수 있는 동시에, 디스플레이 창 내에 상기 제1 진단 보조 정보가 디스플레이된다. 이로써, 의사 등 의료진이 타겟 특징 맵을 보면서, 상기 제1 진단 보조 정보도 볼 수 있도록 하여, 의료진이 타겟 특징 맵 및 제1 진단 보조 정보를 결합하여 진단을 진행하는데 용이하도록 한다.
여기서 3 차원 타겟 특징 맵은, 복수 개의 2 차원 타겟 특징 맵으로 구축된 것일 수 있다. 예를 들어, Dixon 시퀀스에서의 각 2 차원 이미지에 대해 모두 단계 S110 내지 단계 S120의 동작을 진행하면, 하나의 2 차원 이미지에 의해 적어도 하나의 타겟 특징 맵이 생성될 것이고; 복수 개의 2 차원 이미지에 의해 복수 개의 타겟 특징 맵이 생성될 것이며, 동일한 제1 타겟의 상이한 수집 각도에 대응되는 타겟 특징 맵은, 상기 제1 타겟의 3 차원 타겟 특징으로 구축될 수 있다.
일부 실시예에 있어서, 단계 S120에서 출력된 타겟 특징 맵은 3 차원 구축을 직접 완료한 3 차원 타겟 특징 맵일 수도 있다.
상기 제1 진단 보조 정보의 타입은, 텍스트 정보 및 마킹 정보를 포함하며,
텍스트 정보는, 예를 들어, 텍스트의 형태로 속성 설명을 진행하며;
마킹 정보는, 예를 들어, 좌표축 등 보조 정보를 결합하여, 좌표축에서 화살표 및 문자로 설명하는 등, 추간판 등 제1 타겟의 상이한 차원(방향)의 크기를 표시한다.
본 실시예에 있어서, 상기 타겟 특징 맵의 이미지 픽셀은 상기 처리될 이미지의 픽셀과 일치를 유지할 수 있으며, 예를 들어, 상기 처리될 이미지가 N*M 개 픽셀을 포함하는 이미지일 경우, 상기 타겟 특징 맵도 N*M 개 픽셀을 포함하는 타겟 특징 맵일 수 있다.
일부 실시예에서 상기 제2 타겟이 F 개의 제1 타겟을 포함하면, F 개의 3 차원 타겟 특징 맵을 출력할 수 있거나, F 세트의 2 차원 타겟 특징을 출력할 수 있으며; 한 세트의 2 차원 타겟 특징 맵은 하나의 제1 타겟에 대응되어, 상기 제1 타겟의 3 차원 타겟 특징 맵을 구축할 수 있다.
일부 실시예에 있어서, 상기 타겟 특징 맵 및 제1 진단 보조 정보를 두 개 부분의 정보로서, 타겟 특징 파일을 형성하여 출력하며, 예를 들어, 상기 제1 진단 보조 정보는 텍스트 정보의 형태로 상기 타겟 특징 파일에 저장되고; 상기 타겟 특징 맵은 이미지의 형태로 상기 타겟 파일에 저장된다.
다른 일부 실시예에 있어서, 제1 진단 보조 정보를 타겟 특징 맵에 추가하여 진단 이미지를 형성하며; 이때, 제1 진단 보조 정보 및 타겟 특징 맵은 모두 진단 이미지의 일부이고, 모두 이미지 정보로서 저장된다.
상기 단계 S120은, 상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟에 대해 픽셀 레벨 분할을 진행하여 상기 타겟 특징 맵 및 상기 제1 진단 보조 정보를 얻는 단계를 포함할 수 있다.
본 실시예에서 제2 검출 모듈을 이용하여 의료 영상에서의 제2 타겟에 대해 픽셀 레벨 분할을 진행함으로써, 상이한 제1 타겟의 완전한 분리와 경계의 명확한 감정을 구현하여, 의사가 분할로 형성된 타겟 특징 맵 및 제1 진단 보조 정보 중 적어도 하나에 따라 진단을 진행하는데 용이하도록 한다.
마찬가지로 상기 제2 검출 모델은 또한 제2 타겟 분할을 구현할 수 있는 다양한 기능 모듈일 수 있다. 예를 들어, 상기 제2 검출 모델은 또한, 다양한 데이터 모델을 작동하는 기능 모듈, 예를 들어, 다양한 딥러닝 모델의 동작 모듈일 수 있다.
여기서 픽셀 레벨 분할은 분할 정밀도가 픽셀 정밀도에 도달했음을 나타내며, 예를 들어, 이미지에서 상이한 추간판 분리를 진행하거나, 이미지에서 추간판 및 척추의 분리를 진행할 경우, 특정된 픽셀까지 정확하게 진행할 수 있으며, 복수 개의 픽셀로 형성된 픽셀 영역을 분할 정밀도로서 사용하는 것이 아니라, 구체적인 픽셀 판단은 추간판 또는 척추에 속하는 것이므로, 제1 타겟이 상기 제2 타겟으로부터 정확하게 분리되는 것을 구현할 수 있어, 정밀 상담에 유리하다.
도 2에 도시된 바와 같이, 상기 의료 영상 처리 방법은 아래와 같은 단계를 더 포함한다.
단계 S100에 있어서, 제2 검출 모듈을 이용하여 의료 영상을 검출하여, 상기 제2 타겟이 상기 의료 영상에서의 제2 위치 정보를 획득한다.
단계 S101에 있어서, 상기 제2 위치 정보에 따라, 상기 의료 영상으로부터 상기 제2 타겟을 포함하는 처리될 이미지를 분할한다.
상기 단계 S110은 상기 제1 검출 모듈을 이용하여 상기 처리될 이미지를 검출하여, 상기 제1 위치 정보를 획득하는 단계 S110’을 포함할 수 있다.
본 실시예에 있어서, 상기 제2 검출 모듈은 상기 의료 영상에 대해 사전 처리를 진행할 수 있어, 후속 제1 검출 모듈이 의료 영상으로부터 처리될 이미지를 분할하는데 용이하다.
본 실시예에 있어서, 상기 제2 검출 모듈은 신경 네트워크 모델일 수 있어, 신경 네트워크 모델에서의 컨볼루션 처리 등을 통해, 적어도 상기 제2 타겟의 외부 윤곽 정보 등을 획득할 수 있으며, 외부 윤곽 정보에 기반하여 상기 제2 위치 정보를 얻는다. 이로써, 처리될 이미지는 원본 의료 영상에 대해 진단과 관련이 없는 배경 정보 및 간섭 정보를 커팅한 것이다.
상기 배경 정보는 의료 영상에서의 정보량을 반송하지 않은 공백 이미지 영역의 이미지 정보일 수 있다.
상기 간섭 정보는 상기 제2 타겟 이외의 이미지 정보일 수 있다. 예를 들어, 상기 의료 영상은 인간 허리에 대한 핵자기 공명 이미지일 수 있고; 상기 핵자기 공명 이미지에서 사람의 허리 정보를 수집하는 동시에, 허리의 조직, 요추, 갈비뼈 등 정보를 수집한다. 제2 타겟이 요추일 경우, 조직 및 갈비뼈에 대응되는 이미지 정보는 즉 상기 간섭 정보이다.
단계 S100에서 제2 검출 모듈을 이용하여 각 2 차원 이미지에 대해 검출을 진행하여, 상기 제2 위치 정보를 결정할 수 있다.
상기 제2 위치 정보는, 이미지 좌표에서의 제2 타겟이 위치하는 이미지 영역의 좌표값, 예를 들어, 제2 타겟의 외부 윤곽이 각 2 차원 이미지에서의 좌표값을 포함할 수 있다. 상기 좌표값은 상기 제2 타겟 가장자리의 가장자리 좌표값, 또는, 상기 제2 타겟의 크기 및 제2 타겟 중심의 중심 좌표값일 수 있다. 상기 제2 위치 정보는 이미지로부터 상기 제2 타겟을 포지셔닝할 수 있는 다양한 정보일 수 있으며, 상기 좌표값에 한정되지 않는다. 또 예를 들어, 다양한 검출 프레임을 이용하여 상기 이미지에 대해 검출을 진행하면, 상기 제2 위치 정보는 또한 상기 검출 프레임의 식별자일 수 있다. 예를 들어, 하나하나의 이미지가 몇 개의 검출 프레임에 의해 오버랩되지 않고 간격없이 커버될 수 있고, 제2 타겟이 T 번째 검출 프레임 내에 있으면, 상기 T 번째 검출 프레임의 식별자는 즉 상기 제2 위치 정보의 하나이다. 요컨대, 상기 제2 위치 정보는 여러 가지 형태가 있으며, 상기 좌표값 및 상기 검출 프레임의 프레임 식별자에 한정되지 않는다.
제2 검출 모듈을 이용하여 상기 제2 위치 정보의 결정을 완료한 후, 제2 위치 정보에 따라 원본 의료 영상으로부터 제1 검출 모듈에 의해 처리되어야 하는 처리될 이미지를 분할하며, 여기서 처리될 이미지의 분할은, 상기 제2 검출 모듈에 의해 처리될 수 있으며; 상기 제1 검출 모듈에 의해 처리될 수도 있고, 심지어 상기 제2 검출 모듈 및 상기 제1 검출 모듈 사이에 위치하는 제3 서브 모델에 의해 처리될 수도 있다.
상기 처리될 이미지는 배경 정보 및 간섭 정보를 배제하고, 상기 제2 타겟을 포함하는 이미지이다. 원본 의료 영상에 대한 처리를 통해 처리될 이미지를 얻는 것은, 관련 기술에서 직접 원본 의료 영상에 대해 제2 타겟의 분할 처리를 진행하는 것과 비교하면, 연산량을 대폭도로 낮추고, 처리 효율을 향상시킬 수 있으며; 동시에 배경 정보 및 간섭 정보의 인용으로 인한 후속 타겟 특징 맵 및 제1 진단 보조 정보 추출이 불정확한 문제를 감소시키고, 타겟 특징 맵 및 제1 진단 보조 정보의 정확성을 향상시킨다.
제1 검출 모듈을 이용하여 다만 상기 처리될 이미지에 대해 이미지 처리를 진행하면, 제2 타겟에 대한 분할을 구현할 수 있음으로써, 상기 제2 타겟을 조성하는 각 제1 타겟이 원본 의료 영상으로부터 분리되도록 하며, 다음 분리된 의료 영상에 대한 처리를 통해 대응되는 타겟 특징 맵이 포함하는 제1 타겟의 제1 진단 보조 정보를 얻는다.
일부 실시예에 있어서, 도 3에 도시된 바와 같이, 상기 단계 S110은 아래와 같은 단계를 포함할 수 있다.
단계 S111에 있어서, 제1 검출 모듈을 이용하여 상기 처리될 이미지 또는 의료 영상을 검출하여, 상기 제1 타겟의 이미지 검출 영역을 획득한다.
단계 S112에 있어서, 상기 이미지 검출 영역을 검출하여, 상기 제2 타겟의 외부 윤곽 정보를 획득한다.
단계 S113에 있어서, 상기 외부 윤곽 정보에 따라 마스크 영역을 생성한다.
단계 S114에 있어서, 상기 마스크 영역에 따라, 상기 의료 영상 또는 처리될 이미지로부터 제2 타겟을 포함하는 분할된 이미지를 분할한다.
예를 들어, 검출 프레임을 이용하여 의료 영상 또는 처리될 이미지에 대해 분할을 진행하여, 제1 타겟이 위치하는 이미지 검출 영역을 얻는다.
이미지 검출 영역에 대해 제2 타겟의 외부 윤곽 정보의 추출을 진행하며, 예를 들어, 외부 윤곽을 추출할 수 있는 컨볼루션 네트워크를 통해, 상기 이미지 검출 영역에 대해 이미지 처리를 진행하여, 상기 외부 윤곽 정보를 얻을 수 있고, 외부 윤곽 정보의 추출을 통해, 마스크 영역을 생성할 수 있다. 상기 마스크 영역은 상기 제1 타겟을 마침 커버할 수 있는 매트릭스 또는 벡터 등 형태의 정보일 수 있다. 상기 마스크 영역은 상기 이미지 검출 영역 내에 위치하고, 일반적으로 상기 마스크 영역의 면적은 상기 이미지 검출 영역의 면적보다 작다. 상기 이미지 검출 영역은 표준 직사각형 영역일 수 있고; 상기 마스크 영역에 대응되는 영역은 불규칙한 영역일 수 있다. 마스크 영역의 형상은 상기 제1 타겟의 외부 윤곽에 의해 결정된다.
일부 실시예에 있어서, 마스크 영역과 의료 영상의 관련 연산을 통해, 상기 처리될 이미지 또는 의료 영상으로부터 상기 분할된 이미지를 추출할 수 있다. 예를 들어, 하나의 올 블랙 이미지에 하나의 투명한 상기 마스크 영역을 추가하여, 하나의 투명화될 영역의 이미지를 얻고, 상기 이미지와 대응되는 상기 처리될 이미지 또는 의료 영상을 오버랩시킨 후, 제2 타겟만 포함하는 분할된 이미지를 생성할 수 있다. 또는 오버랩된 이미지에서 올 블랙 영역을 절단하면 상기 분할된 이미지를 얻을 수 있다. 또 예를 들어, 하나의 올 화이트 이미지에 하나의 투명한 상기 마스크 영역을 추가하여, 하나의 투명화될 영역의 이미지를 얻고, 상기 이미지와 대응되는 의료 영상을 오버랩시킨 후, 제2 타겟만 포함하는 분할된 이미지를 생성할 수 있다. 또는 오버랩시킨 이미지에서 올 화이트 영역을 절단하면 상기 분할된 이미지를 얻을 수 있다. 또 예를 들어, 상기 마스크 영역이 위치하는 각 픽셀의 픽셀 좌표에 직접 기반하여, 직접 의료 영상으로부터 대응되는 분할된 이미지를 추출한다.
물론 상기는 분할된 이미지를 획득하는 프로세스의 몇 개의 예만을 제공할 뿐, 구체적인 실시형태는 여러 가지가 있으며, 전술된 임의의 형태에 한정되지 않는다.
일부 실시예에서 마스크 영역에 기반하여 상기 분할된 이미지를 추출할 수 있고; 다른 일부 실시예에 있어서, 직접 상기 이미지 검출 영역에 기반하여 상기 분할된 이미지를 결정할 수 있으며, 이미지 검출 영역 내의 의료 영상 전체를 상기 분할된 이미지로서 사용할 수 있으며, 마스크 영역에 기반하여 결정된 처리될 이미지에 대해, 소량의 배경 정보 및 간섭 정보 중 적어도 하나를 인용할 수 있다.
일부 실시예에 있어서, 상기 처리될 이미지의 획득 방법은,
제2 검출 모듈을 이용하여 의료 영상을 검출하여, 제2 타겟의 이미지 검출 영역을 얻는 단계;
제2 타겟의 이미지 검출 영역을 검출하여, 제2 타겟의 외부 윤곽 정보를 획득하는 단계; 및
제2 타겟의 외부 윤곽 정보에 대응되는 마스크 영역에 따라 상기 처리될 이미지를 커팅하는 단계를 포함할 수 있다.
도 4에서 왼쪽으로부터 순차적으로, 허리 전체의 측면 핵자기 공명 이미지, 측면 핵 자기 공명 이미지에 인접하고 중간이 긴 스트립 모양인 척추의 마스크 영역, 단일 추간판의 마스크 영역, 단일 추간판의 분할된 이미지의 예시도이다.
일부 실시예에 있어서, 상기 단계 S120은,
상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계 - 하나의 상기 타겟 특징 맵은 하나의 상기 제1 타겟에 대응됨 - ; 및
상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻는 단계를 포함한다.
분할된 이미지에 대해 이미지 처리를 진행하여 타겟 특징 맵을 얻으며, 예를 들어, 컨볼루션 처리를 통해 타겟 특징 맵을 얻는다. 상기 컨볼루션 처리는, 기설정된 추출 특징의 컨볼루션 코어와 처리될 이미지의 이미지 데이터를 이용하여 컨볼루션을 진행하여, 특징 맵을 추출하는 단계를 포함할 수 있다. 예를 들어, 신경 네트워크 모델에서의 전체적으로 연결된 컨볼루션 네트워크 또는 부분적으로 연결된 컨볼루션 네트워크의 컨볼루션 처리를 이용하여, 상기 타겟 특징 맵을 출력한다.
본 실시예에서 또한 상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻고, 상기 제1 타겟의 제1 진단 보조 정보를 얻는다. 예를 들어, 타겟 특징 맵에 대응되는 제1 타겟이 상기 처리될 이미지에 포함된 복수 개의 제1 타겟에서의 배열에 따라, 현재 타겟 특징 맵에 대응되는 제1 식별자 정보를 얻는다. 제1 식별자 정보를 통해 의사는 현재 타겟 특징 맵에서 디스플레이된 것이 제2 타겟에서의 어느 제1 타겟인지를 쉽게 알 수 있다.
제2 타겟이 척추이면; 상기 제1 타겟은 추간판 또는 추골일 수 있고; 인접한 두 개의 추골 사이에는 하나의 추간판이 설정되어 있다. 상기 제1 타겟이 추간판이면, 인접한 추골에 따라 식별할 수 있다. 예를 들어, 인간의 척추는, 12 개의 흉추 5 개의 요추, 7 개의 경추 및 하나 또는 복수 개의 천추를 포함할 수 있다. 본 출원 실시예는 의학적 명명 규칙에 따라, T로 흉부, L로 요추, S로 천골, C로 목을 표시할 수 있고; 추골는 T1, T2로 명명될 수 있으며; 추간판은 Tm1-m2로 명명될 수 있어, 상기 추간판이 m1 번째 가슴뼈와 m2 번째 가슴뼈 사이의 추간판임을 나타낸다. T12은 12 번째 가슴뼈를 식별하는데 사용될 수 있다. 여기서 Tm1-m2 및 T12은 모두 제1 타겟의 제1 식별자 정보 중 하나이다. 그러나 구체적인 구현 시, 상기 제1 타겟의 제1 식별자 정보는 또한 다른 명명 규칙을 사용한 것일 수도 있으며, 예를 들어, 제2 타겟을 기준으로 예를 들면, 위에서 아래로 배열하여, 배열 번호로 대응되는 추골 또는 추간판을 식별한다.
일부 실시예에 있어서, 상기 단계 S120은,
상기 타겟 특징 맵에 따라, 대응되는 제1 타겟의 제1 진단 보조 정보, 예를 들어, 제1 타겟이 상이한 방향에서의 크기, 예를 들어, 제1 타겟의 상이한 길이 및 두께 등 크기 정보를 직접 얻는 단계를 더 포함할 수 있다. 이러한 크기 정보는 제1 타겟의 속성 정보 중 하나일 수 있다. 다른 일부 실시예에 있어서, 상기 속성 정보는, 형상을 설명하는 형상 정보를 더 포함할 수 있다.
다른 일부 실시예에 있어서, 상기 제1 진단 보조 정보는, 다양한 프롬프트 정보를 더 포함하고; 예를 들어, 제1 타겟이 정상적인 제1 타겟과 상이한 특징을 생성하였으며, 경보 프롬프트 정보를 생성하여, 의사가 집중할 수 있도록 제공할 수 있으며; 상기 프롬프트 정보는, 제1 타겟의 속성과 표준 속성에 기반하여, 프롬프트 정보를 생성하는 프롬프트 정보를 더 포함할 수 있다. 이러한 프롬프트 정보는 이미지 처리 기기에 의해 자동으로 생성된 정보이고, 최종적인 진단 결과는 의료진이 추가로 결정해야 하므로, 이러한 프롬프트 정보는 의료진에게는 다른 하나의 프롬프트 정보이다.
예를 들어, 타겟 특징 맵에서 디스플레이된 어느 한 제1 타겟의 크기가 너무 크거나 너무 작은 경우는, 모두 병변이 발생될 수 있으므로, 프롬프트 정보를 통해 직접 병변의 예측 결론을 제공할 수 있고, 프롬프트 정보를 통해 크기가 너무 크거나 크기가 너무 작음을 프롬프트될 수도 있다.
요컨대, 상기 제1 진단 보조 정보는 상기 임의의 하나에 한정되지 않고 여러 가지가 있을 수 있다.
일부 실시예에 있어서, 상기 단계 S120은,
상기 제1 검출 모듈의 특징 추출 계층을 이용하여, 상기 분할된 이미지로부터 제1 특징 맵을 추출하는 단계;
상기 제1 검출 모듈의 풀링 계층을 이용하여, 상기 제1 특징 맵에 기반하여 적어도 하나의 제2 특징 맵을 생성하는 단계 - 상기 제1 특징 맵 및 상기 제2 특징 맵의 스케일은 상이함 - ; 및
상기 제2 특징 맵에 따라 상기 타겟 특징 맵을 얻는 단계를 포함할 수 있다.
본 실시예에서 상기 제1 검출 모듈은 신경 네트워크 모델일 수 있고, 상기 신경 네트워크 모델은, 복수 개의 기능 계층을 포함할 수 있고; 상이한 기능 계층은 상이한 기능을 갖는다. 각 기능 계층은 모두, 입력 계층, 중간 계층 및 출력 계층을 포함할 수 있고, 입력 계층은 처리될 데이터를 입력하기 위한 것이고, 중간 계층은 데이터 처리를 진행하고, 출력 계층은 처리 결과를 출력한다. 입력 계층, 중간 계층 및 출력 계층 사이는 모두 복수 개의 신경 노드가 포함될 수 있다. 다음 계층의 임의의 하나의 신경 노드가 모두 이전 계층의 모든 신경 노드와 연결될 수 있으면, 완전히 연결된 신경 네트워크 모델에 속한다. 다음 계층의 신경 노드가 다만 이전 계층의 일부 신경 노드와 연결되면, 부분적으로 연결된 네트워크에 속한다. 본 실시예에 있어서, 상기 제1 검출 모듈은 부분적으로 연결된 네트워크일 수 있으므로, 상기 네트워크의 훈련 시간을 감소시키고, 네트워크의 복잡성을 낮추며, 훈련 효율을 향상시킬 수 있다. 상기 중간 계층의 개수는 하나 또는 복수 개일 수 있고, 인접한 두 개의 중간 계층은 연결된다. 여기서 설명한 입력 계층, 중간 계층 및 출력 계층은 원자층이고, 하나의 원자 계층은 복수 개의 병렬 설치된 신경 노드를 포함하며; 하나의 기능 계층은 복수 개의 원자 계층을 포함한다.
본 실시예에 있어서, 상기 추출 계층은 컨볼루션 계층일 수 있고, 상기 컨볼루션 계층은 컨볼루션 연산을 통해 처리될 이미지에서 상이한 영역의 특징, 예를 들어, 윤곽 특징 및 질감 특징 중 적어도 하나를 추출한다.
특징 추출을 통해 특징 맵, 즉 상기 제1 특징 맵이 생성될 수 있다. 후속 계산량을 감소시키기 위해, 본 실시예에서 풀링 계층을 인용하여, 풀링 계층의 다운 샘플링 처리를 이용하여, 제2 특징 맵을 생성한다. 상기 제2 특징 맵에 포함된 특징 개수는 상기 제1 특징 맵에 포함된 원시 개수보다 작다. 예를 들어, 상기 제1 특징 맵에 대해 1/2 다운 샘플링을 진행하면, N*M 개의 픽셀을 포함하는 제1 특징 맵을, (N/2)*(M/2) 개의 픽셀을 포함하는 제2 특징 맵으로 샘플링할 수 있다. 다운 샘플링하는 과정에서, 하나의 영역에 대해 다운 샘플링을 진행한다. 예를 들어, 인접한 네 개의 픽셀로 조성된 2*2의 영역을 다운 샘플링하여 제2 특징 맵에서 한 픽셀의 픽셀값을 생성한다. 예를 들어, 2*2의 영역으로부터의 최대치, 최소치, 평균치 또는 중간값을 상기 제2 특징 맵의 픽셀값으로서 출력한다.
본 실시예에서 최대치를 제2 특징 맵에서 픽셀에 대응되는 픽셀값으로서 사용할 수 있다.
이로써, 다운 샘플링을 통해 특징 맵의 데이터양을 축소시켜, 후속 처리에 용이하고, 속도를 향상시킬 수 있는 동시에, 단일 픽셀의 수용 필드도 향상시킨다. 여기서 수용 필드는 이미지 중 한 픽셀이 원시 이미지에서 해당되거나 대응되는 픽셀 개수를 나타낸다.
일부 실시예에 있어서, 1회 내지 몇 회의 풀링 동작을 진행하는 것을 통해, 복수 개의 상이한 스케일의 제2 특징 맵을 얻을 수 있다. 예를 들어, 제1 특징 맵에 대해 첫 번째 풀링 동작을 진행하여, 첫 번째 풀링 특징 맵을 얻고; 첫 번째 풀링 특징 맵에 대해 두 번째 풀링 동작을 진행하여, 두 번째 풀링 특징 맵을 얻으며; 두 번째 풀링 특징 맵에 대해 세 번째 풀링 동작을 진행하여, 세 번째 풀링 특징 맵을 얻는다. 마찬가지로, 여러 번의 풀링을 더 진행할 경우, 이전 풀링 동작에 기반하여 풀링을 진행하면, 최종적으로 상이한 스케일의 풀링 특징 맵을 얻을 수 있다. 본 출원 실시예에서 풀링 특징 맵은 모두 제2 특징 맵으로 지칭될 수 있다.
본 실시예에서 제1 타겟 특징 맵에 대해 3 회 내지 5 회의 풀링을 진행할 수 있으므로, 최종적으로 얻은 제2 특징 맵은, 충분한 수용 필드를 갖는 동시에, 후속 처리될 데이터양의 현저히 감소된다. 예를 들어, 제1 특징 맵에 기반하여 4 회의 풀링 동작을 진행하여, 최종적으로 최소의 픽셀 개수(즉 스케일이 제일 작음)를 포함하는 제4 풀링 특징 맵을 얻을 수 있다.
풀링 동작 횟수가 상이한 풀링 파라미터는 상이할 수 있고, 예를 들어, 다운 샘플링될 샘플링 계수는 상이하며, 예를 들어, 일부 풀링 동작은 1/2일 수 있고, 일부는 1/4일 수 있다. 본 실시예에 있어서, 상기 풀링 파라미터는 동일할 수 있으므로, 제1 검출 모듈의 모델 훈련을 간략화할 수 있다. 상기 풀링 계층도 마찬가지로 신경 네트워크 모델에 대응될 수 있으므로, 신경 네트워크 모델의 훈련을 간략화할 수 있고, 신경 네트워크 모델 훈련의 훈련 효율을 향상시킬 수 있다.
본 실시예에 있어서, 제2 특징 맵에 따라 상기 타겟 특징 맵을 얻는다. 예를 들어, 마지막 풀링으로 얻은 풀링 특징 맵에 대해 업 샘플링을 진행하여, 처리될 이미지와 동일한 이미지 해상도를 입력한 타겟 특징 맵을 얻는다. 다른 일부 실시예에 있어서, 상기 타겟 특징 맵의 이미지 해상도는 상기 처리될 이미지보다 조금 낮을 수도 있다.
풀링 동작을 통해 생성된 특징 맵에서의 픽셀값은 실제로 의료 영상에서 인접한 픽셀 사이의 연관 관계를 반영한다.
일부 실시예에 있어서, 상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계는,
상기 제1 검출 모듈의 업 샘플링 계층을 이용하여, 상기 제2 특징 맵에 대해 업 샘플링을 진행하여 제3 특징 맵을 얻는 단계;
상기 제1 검출 모듈의 융합 계층을 이용하여, 상기 제1 특징 맵 및 상기 제3 특징 맵을 융합하여 융합 특징 맵을 얻거나, 상기 제3 특징 맵 및 상기 제3 특징 맵과 상이한 스케일을 갖는 상기 제2 특징 맵을 융합하여 융합 특징 맵을 얻는 단계; 및
상기 제1 검출 모듈의 출력 계층을 이용하여, 상기 융합 특징 맵에 따라 상기 타겟 특징 맵을 출력하는 단계를 포함한다.
여기서 업 샘플링 계층은 신경 네트워크 모델에 의해 조성된 것일 수도 있고, 제2 특징 맵에 대해 업 샘플링을 진행할 수 있으며; 업 샘플링을 통해 픽셀값을 증가시킬 수 있으며, 상기 업 샘플링의 샘플링 계수는 2 배 또는 4 배 샘플링일 수 있다. 예를 들어, 업 샘플링 계층의 업 샘플링을 통해 8*8의 제2 특징 맵을, 16*16의 제3 특징 맵으로 생성할 수 있다.
본 실시예는 융합 계층을 더 포함하고, 여기서 융합 계층은 신경 네트워크 모델에 의해 조성될 수도 있으며, 제3 특징 맵과 제1 특징 맵을 함께 스플라이싱할 수 있고, 제3 특징 맵 및 상기 제3 특징 맵을 생성하는 제2 특징 맵과 상이한 다른 하나의 제2 특징 맵을 스플라이싱할 수도 있다.
예를 들어, 8*8의 제2 특징 맵으로 예를 들면, 업 샘플링을 통해 32*32의 제3 특징 맵을 얻으며, 상기 제3 특징 맵을 32*32의 제2 특징 맵과 융합시켜, 융합 특징 맵을 얻는다.
여기서, 융합하여 얻은 융합 특징 맵의 두 개의 특징 맵 사이의 이미지 해상도는 동일하고, 다시 말해 포함된 특징 개수 또는 픽셀 개수는 동일하다. 예를 들어, 특징 맵을 매트릭스로 나타내면, 포함된 특징 개수가 동일하거나 포함된 픽셀 개수가 동일한 것으로 간주할 수 있다.
융합 특징 맵은, 낮은 스케일의 제2 특징 맵과 제3 특징 맵을 융합시키므로, 충분한 수용 필드를 갖는 동시에, 높은 스케일의 제2 특징 맵 또는 제1 특징 맵을 융합시키며, 충분한 세부 정보도 포함하며, 이로써, 융합 특징 맵은 수용 필드 및 세부 정보를 고려하여, 타겟 특징 맵의 최종적인 생성을 용이하도록 하여 제1 타겟의 속성을 정확하게 표현할 수 있다.
본 실시예에 있어서, 제3 특징 맵 및 제2 특징 맵을 융합시키거나 제3 특징 맵 및 제1 특징 맵을 융합시키는 과정은, 복수 개의 특징 맵의 특징값에 대해 길이의 융합을 수행하는 단계를 포함할 수 있다. 예를 들어, 제3 특징 맵의 이미지 크기가, S1*S2이면; 상기 이미지 크기는 대응되는 이미지에 포함된 픽셀 개수 또는 요소 포맷을 설명하는데 사용될 수 있다. 일부 실시예에서 상기 제3 특징 맵의 각 픽셀 또는 요소는 또한 대응되게, 특징 길이를 포함하고; 특징 길이는 L1이다. 융합될 제2 특징 맵의 이미지 크기가 S1*S2이고, 각 픽셀 또는 요소의 특징 길이가 L2인 것으로 가정한다. 이러한 제3 특징 맵 및 제2 특징 맵을 융합하는 단계는, 이미지 크기가 S1*S2인 융합 이미지를 형성하는 단계를 포함할 수 있고; 상기 융합 이미지에서의 각 픽셀 또는 요소의 특징 길이는 L1+L2일 수 있다. 물론 이는 다만 특징 맵 사이의 융합에 대한 예일 뿐, 구체적으로 구현 시, 상기 융합 특징 맵의 생성 방식은 전술된 임의의 하나에 한정되지 않고, 여러 가지가 있을 수 있다.
상기 출력 계층은 확률에 기반하여 복수 개의 융합 특징 맵에서 제일 정확한 융합 특징 맵을 출력하여, 상기 타겟 특징 맵으로서 사용된다.
상기 출력 계층은, softmax 함수 기반의 softmax 계층일 수 있고; sigmoid 함수 기반의 sigmoid 계층일 수도 있다. 상기 출력 계층은 상이한 융합 특징 맵의 값을 0부터 1 사이의 값으로 매핑할 수 있고, 다음 이들 값의 합은 1일 수 있으므로, 확률 특성을 충족시키며; 매핑 후 최대 확률값을 갖는 융합 특징 맵을 상기 타겟 특징 맵으로서 선택하여 출력한다.
일부 실시예에 있어서, 상기 단계 S120은,
상기 처리될 이미지 및 상기 분할된 이미지를 결합하여, 상기 타겟 특징 맵에 대응되는 상기 제1 타겟의 제1 식별자 정보를 결정하는 단계;
상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보를 결정하는 단계; 및
상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 프롬프트 정보를 결정하는 단계 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제1 진단 보조 정보는 적어도 상기 제1 식별자 정보를 포함할 수 있고, 다른 일부 실시예에서, 상기 제1 진단 보조 정보는 상기 제1 식별자 정보 이외에, 속성 정보 및 프롬프트 정보에서의 하나 또는 복수 개를 더 포함할 수 있다. 상기 속성 정보는, 크기 정보 및 형상 정보 중 적어도 하나를 포함할 수 있다.
상기 제1 식별자 정보, 속성 정보 및 프롬프트 정보의 정보 내용은 전술된 부분을 참조할 수 있고, 여기서 더이상 반복하지 않는다.
일부 실시예에 있어서, 상기 의료 영상 처리 방법은,
샘플 데이터를 이용하여 제2 검출 모듈 및 제1 검출 모듈을 훈련시키는 단계;
샘플 데이터을 이용하여 훈련하여 상기 제2 검출 모듈 및 제1 검출 모듈의 네트워크 파라미터를 얻는 단계;
손실 함수에 기반하여, 상기 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하는 단계; 및
상기 손실값이 기설정된 값보다 작거나 같을 경우, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 훈련을 완료하고; 또는, 상기 손실값이 상기 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하는 단계를 더 포함한다.
상기 샘플 데이터는 샘플 이미지 및 의사에 의해 제2 타겟 및 제1 타겟 중 적어도 하나에 대해 마킹된 데이터를 포함할 수 있다. 샘플 데이터의 훈련을 통해 제2 검출 모듈 및 제1 검출 모듈의 네트워크 파라미터를 얻을 수 있다.
상기 네트워크 파라미터는, 신경 노드 사이의 입력 출력에 영향을 미치는 가중치 및 한계치 중 적어도 하나를 포함할 수 있다. 상기 가중치와 입력의 곱 및 임계값과의 가중 관계는, 신경 노드에 대응되는 출력에 영향을 미친다.
네트워크 파라미터를 얻은 후 대응되는 제2 검출 모듈 및 제1 검출 모듈이 처리될 이미지의 정확한 분할 완료 및 타겟 특징 맵을 생성하는 기능을 갖는다고 확보할 수 없다. 따라서 본 실시예에서 검증을 더 진행할 것이다. 예를 들어, 검증 데이터에서의 검증 이미지의 입력을 통해, 제2 검출 모듈 및 제1 검출 모듈은 자신의 출력을 각각 얻고, 검증 이미지에 대응되는 마킹 데이터와 비교하며, 손실 함수를 이용하여 손실값을 계산할 수 있으며, 상기 손실값이 작을수록 모델의 훈련 결과가 더욱 좋음을 나타내고, 손실값이 미리 설정된 기설정된 값보다 작을 경우, 네트워크 파라미터의 최적화 및 모델의 훈련을 완료한 것으로 간주할 수 있다. 손실값이 기설정된 값보다 크면 계속 최적화할 필요가 있는 것으로 간주되어, 즉 손실값이 상기 기설정된 값보다 작거나 같을 때까지, 또는, 최적화 횟수가 횟수 상한에 도달하면 모델의 훈련이 중지된다.
상기 손실 함수는, 교차 손실 함수 또는 DICE 손실 함수 등일 수 있고, 구체적인 구현 시 어느 하나에 한정되지 않는다.
일부 실시예에 있어서, 상기 손실값이 상기 기설정된 값보다 크면, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하는 단계는,
상기 손실값이 상기 기설정된 값보다 클 경우, 역전파 방식을 이용하여 상기 네트워크 파라미터를 업데이트하는 단계를 포함한다.
상기 역전파 방식은, 하나의 계층의 출력 계층으로부터 입력 계층까지 각 네트워크의 경로를 순회하는 방식일 수 있으며, 이로써, 어느 출력 노드의 경우, 상기 출력 노드에 연결된 경로가 역방향으로 순회될 경우 1 회만 순회되므로, 역전파 방식을 이용한 네트워크 파라미터의 업데이트는, 순방향 전파 방식으로 상기 네트워크 파라미터를 업데이트하는 것에 비해, 네트워크 경로에서의 가중치 및 한계치 중 적어도 하나의 중복 처리가 감소되고, 처리량이 감소되며, 업데이트 효율이 향상될 수 있다. 순방향 전파 방식은 입력 계층으로부터 출력 계층의 방향으로 네트워크 경로를 순회하여, 네트워크 파라미터를 업데이트하는 방식이다.
일부 실시예에 있어서, 상기 제2 검출 모듈 및 제1 검출 모듈은 엔드 투 엔드 모델을 형성하고, 상기 엔드 투 엔드 모델은, 검출해야 하는 의료 영상의 이미지 데이터를 상기 엔드 투 엔드 모델에 직접 입력하고, 원하는 출력 결과를 직접 출력하며, 이러한 입력 정보 모델이 처리된 후 결과를 직접 출력하는 모델을 엔드 투 에드 모델이라 한다. 그러나, 상기 엔드 투 엔드 모델은 적어도 두 개의 상호 연결된 서브 모델로 형성될 수 있다. 제2 검출 모듈 및 제1 검출 모듈의 손실값은 각각 계산될 수 있으므로, 제2 검출 모듈 및 제1 검출 모듈은 자신의 손실값을 각각 얻고, 자신의 네트워크 파라미터를 각각 최적화할 수 있다. 그러나 이러한 최적화 방식은 후속 사용될 경우, 제2 검출 모듈의 손실 및 제1 검출 모듈의 손실을 누적 증가시키므로, 최종적인 출력 결과의 정확도가 높지 않을 수 있다. 이 점을 고려하여, 상기 손실 함수에 기반하여, 상기 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하는 단계는,
손실 함수를 이용하여, 상기 제2 검출 모듈로부터 입력되고 상기 제1 검출 모듈로부터 출력되는 엔드 투 엔드 손실값을 계산하는 단계를 포함한다.
본 실시예에서 하나의 손실 함수를 직접 이용하여 제2 검출 모듈 및 제1 검출 모듈을 포함하는 엔드 투 엔드 모델에 대해 하나의 엔드 투 엔드 손실값을 계산하고, 상기 엔드 투 엔드 손실값을 이용하여 두 개의 모델의 네트워크 파라미터에 대해 최적화를 진행하며, 이로써, 모델이 온라인으로 적용될 때 충분히 정확한 출력 결과, 즉 충분히 정확한 상기 타겟 특징 맵 및 상기 제1 진단 보조 정보를 얻도록 확보할 수 있다.
상기 단계 S110에서의 의료 영상이 현재 의료 영상으로 지칭되고, 상기 단계 S120에서의 타겟 특징 맵이 현재 타겟 특징 맵으로 지칭되는 것으로 가정하면; 일부 실시예에서, 상기 의료 영상 처리 방법은,
상기 현재 의료 영상의 제2 식별자 정보를 획득하는 단계;
상기 제2 식별자 정보에 따라 과거 의료 영상에 대응되는 과거 타겟 특징 맵을 획득하고; 동일한 제1 타겟의 현재 타겟 특징 맵 및 상기 과거 타겟 특징 맵을 비교하여, 제2 진단 보조 정보를 획득하는 단계; 및
상기 제2 식별자 정보에 따라 상기 과거 의료 영상에 대응되는 제1 진단 보조 정보를 획득하고; 현재 의료 영상의 제1 진단 보조 정보 및 상기 과거 의료 영상에 대응되는 제1 진단 보조 정보를 비교하여, 제3 진단 보조 정보를 생성하는 단계 중 적어도 하나를 더 포함한다.
상기 제2 식별자 정보는 상담 대상의 대상 식별자일 수 있고, 예를 들어, 사람이 상담받는 것으로 예를 들면, 상기 제2 식별자 정보는, 진료대상의 진료 번호 또는 의료 번호일 수 있다.
의료 데이터베이스에는 과거 의료 진단 정보가 저장되어 있을 수 있다. 과거 의료 영상은 본 출원의 의료 영상 처리 방법을 통해 타겟 특징 맵 및 제1 진단 보조 정보를 생성한다.
본 실시예에 있어서, 현재 의료 영상과 과거 의료 영상에 대응되는 타겟 특징 맵의 비교를 통해, 제2 진단 보조 정보를 얻을 수 있으므로, 의료진이 스마트하게 비교할 수 있도록 도움을 준다.
예를 들어, 일부 실시예에 있어서, 동일한 제1 타겟의 과거 타겟 특징 맵 및 현재 타겟 특징 맵을 사용하여, 애니메이션 시퀀스 프레임 또는 비디오를 생성한다. 상기 애니메이션 시퀀스 프레임 또는 비디오는 적어도 상기 과거 특징 맵 및 현재 타겟 특징 맵을 포함함으로써, 애니메이션 시퀀스 프레임 또는 비디오의 방식을 통해, 동일한 상담 대상의 동일한 제1 타겟의 타겟 특징 맵의 변화를 동적으로 나타내어, 사용자가 이러한 시각적 이미지를 통해 상기 동일한 제1 타겟의 변화 및 변화 추세를 쉽게 확인할 수 있고, 의료진이 이러한 변화 또는 변화 추세에 따라 진단을 진행하는데 용이하다. 여기서 동일한 제1 타겟의 변화는, 동일한 제1 타겟의 크기 변화, 형상 변화 및/또는 질감 변화에서의 하나 또는 복수 개일 수 있다.
예를 들어, 추간판을 상기 제1 타겟으로 예를 들면, 상기 제2 진단 보조 정보는, 상기 제1 타겟의 크기 변화 또는 크기 변화 추세를 설명하는 텍스트 정보 및 이미지 정보 중 적어도 하나일 수 있다. 여기서 이미지 정보는, 하나의 이미지를 포함할 수 있고, 전술한 애니메이션 시퀀스 프레임 또는 비디오를 포함할 수도 있다.
여기서 상기 과거 특징 맵 및 현재 타겟 특징 맵를 포함하는 애니메이션 시퀀스 프레임 또는 비디오는, 즉 상기 제2, 제1 진단 보조 정보 중 하나이다. 다른 일부 실시예에 있어서, 상기 제2 진단 보조 정보는 또한 텍스트 정보일 수 있다.
상기 제2 진단 보조 정보는, 의료 영상 처리 기기가 과거 특징 맵 및 현재 타겟 특징 맵에 따라 얻은 기기 평가 정보를 더 포함할 수 있다. 예를 들어, 허리 디스크의 변형 또는 두께 변화에 따라, 병변이 있는지 여부 또는 병변 정도의 기기 평가 정보를 제공한다. 상기 기기 평가 정보는 의사의 진단 보조 정보 중 하나로서 사용될 수 있다.
일부 실시예에 있어서, 상이한 시점의 의학적 진단 정보에 대응되는 제1 진단 보조 정보를 결합하여, 제3 진단 보조 정보를 생성하고, 이러한 제3 진단 보조 정보는 상이한 시점의 의료 영상에 기반하여 생성된 제1 진단 보조 정보의 차이에 의해 생성된 것일 수 있다. 예를 들어, 상기 제3 진단 정보는, 동일한 제1 타겟의 속성 정보의 변화 및 변화 추세로 얻은 결론 정보를 포함할 수 있다. 예를 들어, 흉추간반(T11-T12)에 의해 두 번의 상담 과정에서 생성된 Dixon 시퀀스 크기가 변화되었는지 여부 또는 변형되었는지 여부이다. 일부 실시예에 있어서, 상기 제3 진단 정보는 또한 속성 정보를 직접 제공하는 변화량 또는 변화 추세일 수 있으며; 물론 이러한 변화량 및 변화 추세 중 적어도 하나에 따라, 제공된 기기 평가 정보일 수도 있다.
과거 의료 영상 정보에 대응되는 타겟 특징 맵 및 제1 진단 보조 정보는 의료 시스템의 데이터베이스에 저장될 수 있어, 상기 제2 식별자 정보에 따라 동일한 진료대상의 상이한 횟수의 의료 영상 정보에 의해 얻은 타겟 특징 맵 및 제1 진단 보조 정보를 검색할 수 있음으로써, 기기는 인접한 2 회 또는 몇 회의 의료 영상 종합 정보를 결합할 수 있다. 여기서 종합 정보는 전술한 타겟 특징 맵, 제1 진단 보조 정보, 제2 진단 보조 정보 및 제3 진단 보조 정보 중 하나 또는 복수 개를 포함할 수 있다.
일부 실시예에 있어서, 상기 의료 영상 처리 방법은,
단계 S130 이후 현재 의료 영상의 타겟 특징 맵 및 제1 진단 보조 정보를 출력하는 동시에, 상기 제2 식별자 정보에 따라 출력 화면에서 과거 의학적 진단 영상에 대응되는 타겟 특징 맵 및 제1 진단 보조 정보 중 적어도 하나의 링크를 구축함으로써, 의사가 현재 수요에 따라 링크를 통해 과거 의료 영상의 타겟 특징 맵 및 제1 진단 보조 정보 중 적어도 하나를 쉽게 획득할 수 있는 단계를 더 포함할 수 있다.
도 5에 도시된 바와 같이, 본 출원 실시예에서 제공하는 의료 영상 처리 장치로서,
제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하도록 구성된 제1 검출 유닛(110) - 상기 제2 타겟은 적어도 두 개의 상기 제1 타겟을 포함함 - ; 및
상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하도록 구성된 처리 유닛(120)을 포함한다.
일부 실시예에 있어서, 상기 제1 검출 유닛(110) 및 처리 유닛(120)은 프로그램 유닛일 수 있으며, 프로세서에 의해 실행된 후 제2 타겟의 제2 위치 정보의 획득, 처리될 이미지의 추출 및 타겟 특징 맵과 제1 진단 보조 정보의 결정을 구현할 수 있다.
다른 일부 실시예에 있어서, 상기 제1 검출 유닛(110) 및 처리 유닛(120)은, 하드웨어, 또는 소프트웨어와 하드웨어의 결합일 수 있다. 예를 들어, 상기 제1 검출 유닛(110) 및 처리 유닛(120)은 필드 프로그래머블 소자 또는 복합 프로그래머블 소자에 대응될 수 있다. 또 예를 들어, 상기 나비 모듈, 처리 유닛(120) 및 상기 처리 유닛(120)은 주문형 집적 회로(Application-Specific Integrated Circuit, ASIC)에 대응될 수 있다.
일부 실시예에 있어서, 상기 처리 유닛(120)은, 상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟에 대해 픽셀 레벨 분할을 진행하여 상기 타겟 특징 맵 및 상기 제1 진단 보조 정보를 얻도록 구성된다.
일부 실시예에 있어서, 상기 의료 영상 처리 장치는,
제2 검출 모듈을 이용하여 의료 영상을 검출하여, 상기 제2 타겟이 상기 의료 영상에서의 제2 위치 정보를 획득하고; 상기 제2 위치 정보에 따라, 상기 의료 영상으로부터 상기 제2 타겟을 포함하는 처리될 이미지를 분할하도록 구성된 제2 검출 유닛; 및
상기 의료 영상을 검출하여, 상기 제2 타겟이 위치하는 이미지 검출 영역을 획득하고; 상기 이미지 검출 영역을 검출하여, 상기 제2 타겟의 외부 윤곽 정보를 획득하며; 상기 외부 윤곽 정보에 따라 마스크 영역을 생성하도록 구성된 상기 제1 검출 유닛(110)을 더 포함한다.
일부 실시예에 있어서, 상기 처리 유닛(120)은, 상기 마스크 영역에 따라, 상기 의료 영상으로부터 상기 처리될 이미지를 분할하도록 구성된다.
일부 실시예에서, 상기 제1 검출 유닛(110)은, 제1 검출 모듈을 이용하여 처리될 이미지 또는 의료 영상을 검출하여, 상기 제1 타겟의 이미지 검출 영역을 획득하고; 상기 이미지 검출 영역을 검출하여, 상기 제1 타겟의 외부 윤곽 정보를 획득하며; 상기 외부 윤곽 정보에 따라 마스크 영역을 생성하도록 구성되고, 여기서, 상기 마스크 영역은 상기 제2 타겟을 분할하여 상기 제1 타겟을 획득하기 위한 것이다.
일부 실시예에서, 상기 처리 유닛(120)은, 상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻고, 여기서, 하나의 상기 타겟 특징 맵은 하나의 상기 제1 타겟에 대응되며; 상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻도록 구성된다.
일부 실시예에서, 상기 처리 유닛(120)은, 상기 제1 검출 모듈의 특징 추출 계층을 이용하여, 상기 분할된 이미지로부터 제1 특징 맵을 추출하고; 상기 제1 검출 모듈의 풀링 계층을 이용하여, 상기 제1 특징 맵에 기반하여 적어도 하나의 제2 특징 맵을 생성하며; 상기 제2 특징 맵에 따라 상기 타겟 특징 맵을 얻도록 구성되고, 여기서, 상기 제1 특징 맵 및 상기 제2 특징 맵의 스케일은 상이하다.
일부 실시예에서, 상기 처리 유닛(120)은, 상기 제1 검출 모듈의 업 샘플링 계층을 이용하여, 상기 제2 특징 맵에 대해 업 샘플링을 진행하여 제3 특징 맵을 얻고; 상기 제1 검출 모듈의 융합 계층을 이용하여, 상기 제1 특징 맵 및 상기 제3 특징 맵을 융합하여 융합 특징 맵을 얻으며; 또는, 상기 제3 특징 맵 및 상기 제3 특징 맵과 상이한 스케일을 갖는 상기 제2 특징 맵을 융합하여 융합 특징 맵을 얻으며; 상기 제1 검출 모듈의 출력 계층을 이용하여, 상기 융합 특징 맵에 따라 상기 타겟 특징 맵을 출력하도록 구성된다.
또한, 상기 처리 유닛(120)은,
상기 처리될 이미지 및 상기 분할된 이미지를 결합하여, 상기 타겟 특징 맵에 대응되는 상기 제1 타겟의 제1 식별자 정보를 결정하는 단계;
상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보를 결정하는 단계; 및
상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보에 기반하여 생성된 프롬프트 정보를 결정하는 단계 중 적어도 하나를 실행하도록 구성된다.
일부 실시예에 있어서, 상기 의료 영상 처리 장치는,
샘플 데이터를 이용하여 훈련함으로써 상기 제2 검출 모듈 및 제1 검출 모듈을 얻도록 구성된 훈련 유닛;
손실 함수에 기반하여, 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하도록 구성된 계산 유닛; 및
상기 손실값이 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하도록 구성된 최적화 유닛을 더 포함하며; 상기 훈련 유닛은 또한, 상기 손실값이 상기 기설정된 값보다 작거나 같을 경우, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 훈련을 완료하기 위한 것이다.
일부 실시예에 있어서, 상기 최적화 유닛은, 상기 손실값이 상기 기설정된 값보다 클 경우, 역전파 방식을 이용하여 상기 네트워크 파라미터를 업데이트하도록 구성된다.
일부 실시예에 있어서, 상기 계산 유닛은, 하나의 손실 함수를 이용하여, 상기 제2 검출 모듈로부터 입력되고 상기 제1 검출 모듈로부터 출력된 엔드 투 엔드 손실값을 계산하도록 구성된다.
일부 실시예에 있어서, 상기 제2 타겟은 척추이고;
상기 제1 타겟은 추간판이다.
이하, 상기 실시예 중 어느 하나와 결부하여 몇 가지 구체적인 예를 제공한다.
예 1에 있어서,
먼저 딥러닝 모델을 사용하여 추간판을 검출 및 포지셔닝하여, 각 추간판의 위치 정보를 얻으며, 예를 들어, 각 추간판 블록의 중심 좌표를 얻고, 이것이 어느 추간판 블록인지를 마킹한다(다시 말해 상기 추간판이 어느 두 블록의 추골 사이에 위치하는지를 마킹함, 예를 들어 흉추(T12)과 요추(L1) 사이). 여기서 딥러닝 모델은 전술한 신경 네트워크 모델을 포함할 수 있다.
이전 단계에서 검출된 추간판의 위치 정보를 결합하여, 딥러닝 모델을 사용하여 추간판에 대해 픽셀 레벨 분할을 진행함으로써, 추간판의 완전한 가장자리, 형상, 부피 등 정보를 얻어, 의사 진단에 도움을 준다.
본 예시의 딥러닝 프레임은 전자동 엔드 투 엔드 해결수단으로서, 의료 영상을 입력하는 즉시 완전한 추간판의 검출과 분할 결과를 출력한다.
본 예시에서 제공한 구체적인 방법은,
먼저, 추간판의 Dixon시퀀스에서의 2 차원 이미지에 대해 사전 처리를 진행하고, 이미지에 대해 재샘플링을 진행하는 단계를 포함할 수 있으며, 이로써 상기 Dixon시퀀스의 이미지를 복사하는 것과 동일하고, 원래 Dixon시퀀스는 보관 또는 백업 용도로 사용될 수 있다.
검출 기능을 갖는 신경 네트워크 모델을 사용하여 추간판의 위치를 검출하여, 지정된 추간판의 검출 프레임 및 상기 검출 프레임 내에 위치한 마스크 영역을 얻고, 상기 마스크 영역은 단일 추간판을 얻기 위해 다음 단계의 추간판에 대한 분할에 사용된다.
풀 컨볼루션 신경 네트워크 모델(예를 들어 U-Net)을 사용하여, 다운 샘플링을 통해 컨볼루션 코어가 더욱 큰 수용 필드를 가질 수 있도록 한다.
업 샘플링을 통해 컨볼루션 처리된 특징 맵을, 원래 크기로 복원시키고, softmax 계층을 통해 분할 결과를 얻는다. 상기 분할 결과는, 타겟 특징 맵 및 상기 제1 진단 보조 정보를 포함할 수 있다.
신경 네트워크 모델에 상이한 스케일의 타겟 특징 맵에 의해 융합된 융합 계층을 추가하여, 분할 정밀도를 향상시킨다. 상이한 스케일의 이미지의 융합을 동기화하여, 수용 필드가 큰 이미지 및 이미지의 원시 세부 사항이 큰 이미지를 포함하여 융합되도록 함으로써, 얻은 이미지가 큰 수용 필드를 갖는 동시에 충분히 많은 원래 세부 사항을 포함하도록 한다.
손실 함수는 크로스 엔트로피 손실 함수를 사용하여, 계산 가능 함수를 이용하여 네트워크에 의해 예측된 분할 결과를 의사의 마킹과 비교하고, 역전파 방식을 통해 모델의 파라미터를 업데이트한다.
분할은 추간판 검출로 얻은 마스크 영역을 사용하여 훈련을 지원하고, 대부분의 불필요한 배경을 배제하여, 네트워크가 추간판 부근의 영역에 집중할 수 있도록 함으로써, 분할 정밀도를 효과적으로 향상시킬 수 있다.
도 4에 도시된 바와 같이, 왼쪽으로부터 오른쪽으로 각각, 원본 의료 이미지, 척추 분할 결과, 검출 네트워크에 의해 얻은 지정된 추간판(T11-S1 사이의 7 개)의 마스크 영역 및 추간판의 분할 결과이다.
추간판의 검출 및 분할 단계는 각각,
입력된 Dixon시퀀스에 따라, 분할 알고리즘을 이용하여, 척추 부분의 분할 결과를 얻고, 다른 부분의 간섭을 배제하며; 구체적으로, Dixon 시퀀스를 검출 네트워크에 입력하고, 척추 분할 결과의 한계를 이용하여, 추간판의 구체적인 위치를 검출하며, 분할을 위한 거친 마스크 영역을 생성하는 단계; 및 풀 컨볼루션 네트워크에 기반한 2 차원 이미지를 분할하는 단계를 포함할 수 있다. Dixon 시퀀스의 각 프레임의 이미지에 대해 각각 분할을 진행한 후, 하나로 통합시켜 하나의 완전한 분할 결과를 얻는다.
네트워크 구조는 풀 컨볼루션 네트워크(Ful Convolution Network, FCN) 또는 U-Net 및 그들의 개선 모델에 기반한 구조를 사용한다. 원본 이미지를 상이한 계층의 컨볼루션을 통해, 4 회의 풀링 동작으로, 128*128의 이미지를 64*64, 32*32, 16*16, 8*8크기의 특징 맵으로 다운 샘플링한다. 이로써 동일한 크기의 컨볼루션 코어가 점점 더 큰 수용 필드를 갖도록 한다. 추간판의 특징 맵을 얻은 후, 디컨볼루션 또는 보간법을 통해 원래 해상도로 복원된다. 다운 샘플링된 후의 해상도가 점차적으로 낮아지므로, 많은 세부적인 정보를 잃게 되므로, 상이한 스케일의 특징 맵을 사용하여 융합을 진행할 수 있으며, 예를 들어 동일한 해상도의 다운 샘플링 및 업 샘플링 계층 사이에 단락 연결을 추가하여, 업 샘플링 과정에서 점차적으로 세부적인 정보를 복구한다.
softmax 계층을 통해, 분할 결과를 얻고, 의사의 마킹과 비교하여, 크로스 엔트로피 손실 또는 DICE 등 다른 손실 함수를 계산한다.
손실값을 계산할 경우, 검출 네트워크부터 얻은 추간판 마스크 영역의 손실만 계산하기 때문에, 대량의 불필요한 배경을 생략할 수 있음으로써, 네트워크가 추간판 부근의 영역에 집중할 수 있도록 하여, 분할 정확률을 향상시킨다. 역전파 방식을 통해 모델 파라미터를 업데이트하고, 모델이 수렴되거나 최대 반복 횟수에 도달할 때까지, 모델을 반복적으로 최적화시킨다.
척추 분할이 제한으로서 사용되고, 검출 알고리즘을 결합하여, 상기 알고리즘은 더욱 좋은 안정성을 갖는다. 검출한 후에 정밀한 분할을 진행하므로, 간섭이 배제되고, 분할 결과가 더욱 정확하다.
척추 분할이 제한으로서 사용되고, 검출 알고리즘을 결합함으로써 상기 알고리즘은 더욱 좋은 안정성을 갖는다.
추간판을 검출한 후에 정밀한 분할을 진행하므로, 간섭이 배제되고, 분할 결과가 더욱 정확하다.
분할 결과가 더욱 정확해짐으로써, 계산으로 얻은 체적 등 파라미터도 더욱 정확해진다. 의사가 진단을 진행하는데 더욱 도움을 준다.
도 6에 도시된 바와 같이, 본 출원 실시예에서 제공하는 이미지 처리 기기로서,
정보를 저장하기 위한 메모리; 및
상기 메모리에 연결되어, 상기 메모리에 저장된 컴퓨터 실행 가능 명령어를 실행하는 것을 통해, 전술한 하나 또는 복수 개의 기술방안에서 제공된 이미지 처리 방법, 예를 들어, 도 1, 도 2 및 도 3 중 적어도 하나와 같이 도시된 방법을 구현하기 위한 프로세서를 포함한다.
상기 메모리는 램, 롬, 플래시 메모리 등과 같이 다양한 타입의 메모리일 수 있다. 상기 메모리는 정보, 예를 들어, 컴퓨터 실행 가능 명령어 등을 저장하기 위한 것이다. 상기 컴퓨터 실행 가능 명령어는 다양한 프로그램 명령어, 예를 들어, 타겟 프로그램 명령어 및 소스 프로그램 명령어 중 적어도 하나일 수 있다.
상기 프로세서는 다양한 타입의 프로세서, 예를 들어, 중앙처리장치, 마이크로 프로세서, 디지털 시그널 프로세서, 프로그래머블 어레이, 주문형 집적 회로 또는 이미지 프로세서 등일 수 있다.
상기 프로세서는 버스를 통해 상기 메모리에 연결될 수 있다. 상기 버스는 집적 회로 버스 등일 수 있다.
일부 실시예에 있어서, 상기 단말 기기는, 통신 인터페이스를 더 포함할 수 있고, 상기 통신 인터페이스는, 네트워크 인터페이스, 예를 들어, 랜 인터페이스, 송수신 안테나 등을 포함할 수 있다. 상기 통신 인터페이스도 마찬가지로 상기 프로세서에 연결되어, 정보의 송수신에 사용될 수 있다.
일부 실시예에 있어서, 상기 단말 기기는 인간-컴퓨터간 인터페이스를 더 포함하고, 예를 들어, 상기 인간-컴퓨터간 인터페이스는 다양한 입력 출력 기기, 예를 들어, 키보드, 터치 스크린 등을 포함할 수 있다.
본 출원 실시예는 컴퓨터 실행 가능 코드가 저장되어 있는 컴퓨터 저장 매체를 제공하고; 상기 컴퓨터 실행 가능 코드는 실행된 후, 전술한 하나 또는 복수 개의 기술방안에서 제공된 이미지 처리 방법, 예를 들어, 도 1, 도 2 및 도 3에 도시된 방법에서의 하나 또는 복수 개를 구현할 수 있다.
상기 저장 매체는, 모바일 저장 기기, 롬(ROM, Read-Only Memory), 램(RAM, Random Access Memory), 자기 디스크 또는 광 디스크 등 컴퓨터 프로그램을 저장할 수 있는 다양한 매체를 포함한다. 상기 저장 매체는 비 일시적인 저장 매체일 수 있다.
본 출원 실시예는 컴퓨터 실행 가능 명령어가 저장되어 있는 컴퓨터 프로그램 제품을 제공하고; 상기 컴퓨터 실행 가능 명령어는 실행된 후, 전술한 하나 또는 복수 개의 기술방안에서 제공된 이미지 처리 방법, 예를 들어, 도 1, 도 2 및 도 3에 도시된 방법에서의 하나 또는 복수 개를 구현할 수 있다.
본 실시예에서 상기 컴퓨터 프로그램 제품에 포함된 컴퓨터 실행 가능 명령어는, 응용 프로그램, 소프트웨어 개발 툴, 플러그인 또는 패치 등을 포함할 수 있다.
본 출원에서 제공하는 몇 개의 실시예에서, 개시된 기기 및 방법은, 다른 형태를 통해 구현될 수 있음을 이해할 수 있을 것이다. 전술된 기기 실시예는 단지 예시적인 것이며, 예컨대, 상기 유닛에 대한 분할은 다만 논리 기능적 분할이고, 실제로 구현할 경우 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수 개의 유닛 또는 부재는 결합될 수 있거나, 다른 시스템에 통합될 수 있거나, 일부 특징을 생략하거나 실행하지 않을 수 있다. 이외에, 나타낸 또는 거론된 각 조성 부분의 상호간의 결합 또는 직접적인 결합이나 통신 연결은, 일부 인터페이스, 기기 또는 유닛을 통한 간접적인 결합 또는 통신 연결일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치하거나, 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 수요에 따라 그 중 일부 또는 전부 유닛을 선택하여 본 실시예의 방안의 목적을 달성할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 1 개의 처리 유닛에 전부 통합될 수 있으며, 각 유닛이 각각 단독적으로 1 개의 유닛으로서 존재할 수도 있으며, 2 개 또는 2 개 이상의 유닛이 1 개의 유닛에 통합될 수도 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 하드웨어와 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
본 기술분야의 통상의 기술자는 상기 의료 영상 처리 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완성되며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때, 실행은 상기 의료 영상 처리 방법 실시예의 단계를 포함하며; 전술한 저장 매체는 모바일 저장 기기, 롬(Read-Only Memory, ROM), 램(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
이상의 설명은 본 출원의 구체적인 실시 형태에 불과한 것으로서 본 출원의 보호 범위는 이에 한정되지 않는다. 본 출원이 속하는 기술분야의 통상의 지식을 가진 자라면 본 출원에 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 출원의 보호범위는 상기 청구범위의 보호 범위를 기준으로 해야 한다.

Claims (29)

  1. 의료 영상 처리 방법으로서,
    제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하는 단계 - 상기 제2 타겟은 적어도 두 개의 상기 제1 타겟을 포함함 - ; 및
    상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  2. 제1항에 있어서,
    상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하는 단계는,
    상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟에 대해 픽셀 레벨 분할을 진행하여 상기 타겟 특징 맵 및 상기 제1 진단 보조 정보를 얻는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 의료 영상 처리 방법은,
    제2 검출 모듈을 이용하여 상기 의료 영상을 검출하여, 상기 제2 타겟이 상기 의료 영상에서의 제2 위치 정보를 획득하는 단계; 및
    상기 제2 위치 정보에 따라, 상기 의료 영상으로부터 상기 제2 타겟을 포함하는 처리될 이미지를 분할하는 단계를 더 포함하고;
    상기 제1 검출 모듈을 이용하여 의료 영상을 검출하여 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하는 단계는,
    상기 제1 검출 모듈을 이용하여 상기 처리될 이미지를 검출하여, 상기 제1 위치 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 검출 모듈을 이용하여 상기 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하는 단계는,
    제1 검출 모듈을 이용하여 처리될 이미지 또는 의료 영상을 검출하여, 상기 제1 타겟의 이미지 검출 영역을 획득하는 단계;
    상기 이미지 검출 영역을 검출하여, 상기 제1 타겟의 외부 윤곽 정보를 획득하는 단계; 및
    상기 외부 윤곽 정보에 따라 마스크 영역을 생성하는 단계 - 상기 마스크 영역은 상기 제1 타겟의 분할된 이미지를 획득하기 위해 상기 제2 타겟을 분할하기 위한 것임 - 를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  5. 제4항에 있어서,
    상기 제1 검출 모듈을 이용하여 상기 처리될 이미지에 대해 처리를 진행하여, 상기 제1 타겟을 포함하는 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 추출하는 단계는,
    상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계 - 하나의 상기 타겟 특징 맵은 하나의 상기 제1 타겟에 대응됨 - ; 및
    상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  6. 제5항에 있어서,
    상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계는,
    상기 제1 검출 모듈의 특징 추출 계층을 이용하여, 상기 분할된 이미지로부터 제1 특징 맵을 추출하는 단계;
    상기 제1 검출 모듈의 풀링 계층을 이용하여, 상기 제1 특징 맵에 기반하여 적어도 하나의 제2 특징 맵을 생성하는 단계 - 상기 제1 특징 맵 및 상기 제2 특징 맵의 스케일은 상이함 - ; 및
    상기 제2 특징 맵에 따라 상기 타겟 특징 맵을 얻는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  7. 제6항에 있어서,
    상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻는 단계는,
    상기 제1 검출 모듈의 업 샘플링 계층을 이용하여, 상기 제2 특징 맵에 대해 업 샘플링을 진행하여 제3 특징 맵을 얻는 단계;
    상기 제1 검출 모듈의 융합 계층을 이용하여, 상기 제1 특징 맵 및 상기 제3 특징 맵을 융합하여 융합 특징 맵을 얻고; 또는, 상기 제3 특징 맵 및 상기 제3 특징 맵과 상이한 스케일을 갖는 상기 제2 특징 맵을 융합하여 융합 특징 맵을 얻는 단계; 및
    상기 제1 검출 모듈의 출력 계층을 이용하여, 상기 융합 특징 맵에 따라 상기 타겟 특징 맵을 출력하는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  8. 제6항에 있어서,
    상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻는 단계는,
    상기 처리될 이미지 및 상기 분할된 이미지를 결합하여, 상기 타겟 특징 맵에 대응되는 상기 제1 타겟의 제1 식별자 정보를 결정하는 단계;
    상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보를 결정하는 단계; 및
    상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보에 기반하여 생성된 프롬프트 정보를 결정하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  9. 제3항 내지 제8항 중 어느 한 항에 있어서,
    상기 의료 영상 처리 방법은,
    샘플 데이터를 이용하여 훈련함으로써 제2 검출 모듈 및 제1 검출 모듈을 얻는 단계;
    손실 함수에 기반하여, 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하는 단계; 및
    상기 손실값이 기설정된 값보다 작거나 같을 경우, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 훈련을 완료하고; 또는 상기 손실값이 상기 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하는 단계를 더 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  10. 제9항에 있어서,
    상기 손실값이 상기 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하는 단계는,
    상기 손실값이 상기 기설정된 값보다 클 경우, 역전파 방식을 이용하여 상기 네트워크 파라미터를 업데이트하는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  11. 제9항에 있어서,
    상기 손실 함수에 기반하여, 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하는 단계는,
    하나의 손실 함수를 이용하여, 상기 제2 검출 모듈로부터 입력되고 상기 제1 검출 모듈로부터 출력되는 엔드 투 엔드 손실값을 계산하는 단계를 포함하는 것을 특징으로 하는 의료 영상 처리 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서
    상기 제1 검출 모듈은, 제1 검출 모델을 포함하는 것; 및
    상기 제2 검출 모듈은, 제2 검출 모델을 포함하는 것 중 적어도 하나인 것을 특징으로 하는 의료 영상 처리 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 제2 타겟은 척추이고;
    상기 제1 타겟은 추간판인 것을 특징으로 하는 의료 영상 처리 방법.
  14. 의료 영상 처리 장치로서,
    제1 검출 모듈을 이용하여 의료 영상을 검출하여, 제1 타겟이 제2 타겟에서의 제1 위치 정보를 획득하도록 구성된 제1 검출 유닛 - 상기 제2 타겟은 적어도 두 개의 상기 제1 타겟을 포함함 - ; 및
    상기 제1 검출 모듈을 이용하여 상기 제1 위치 정보에 따라, 상기 제2 타겟을 분할하여 상기 제1 타겟의 타겟 특징 맵 및 상기 제1 타겟의 제1 진단 보조 정보를 획득하도록 구성된 처리 유닛을 포함하는 것을 특징으로 하는 의료 영상 처리 장치.
  15. 제14항에 있어서,
    상기 처리 유닛은, 상기 제1 검출 모듈이 상기 제1 위치 정보에 따라, 상기 제2 타겟에 대해 픽셀 레벨 분할을 진행하여 상기 타겟 특징 맵 및 상기 제1 진단 보조 정보를 얻도록 구성된 것을 특징으로 하는 의료 영상 처리 장치.
  16. 제14항 또는 제15항에 있어서,
    상기 의료 영상 처리 장치는,
    제2 검출 모듈을 이용하여 의료 영상을 검출하여, 상기 제2 타겟이 상기 의료 영상에서의 제2 위치 정보를 획득하고; 상기 제2 위치 정보에 따라, 상기 의료 영상으로부터 상기 제2 타겟을 포함하는 처리될 이미지를 분할하도록 구성된 제2 검출 유닛; 및
    상기 제1 검출 모듈이 상기 처리될 이미지를 검출하여, 상기 제1 위치 정보를 획득하도록 구성된 상기 제1 검출 유닛을 더 포함하는 것을 특징으로 하는 의료 영상 처리 장치.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 제1 검출 유닛은, 제1 검출 모듈이 처리될 이미지 또는 의료 영상을 검출하여, 상기 제1 타겟의 이미지 검출 영역을 획득하고; 상기 이미지 검출 영역을 검출하여, 상기 제1 타겟의 외부 윤곽 정보를 획득하며; 상기 외부 윤곽 정보에 따라 마스크 영역을 생성 - 상기 마스크 영역은 상기 제2 타겟을 분할하여 상기 제1 타겟을 획득하기 위한 것임 - 하도록 구성된 것을 특징으로 하는 의료 영상 처리 장치.
  18. 제17항에 있어서,
    상기 처리 유닛은, 상기 분할된 이미지에 대해 처리를 진행하여, 상기 타겟 특징 맵을 얻고 - 하나의 상기 타겟 특징 맵은 하나의 상기 제1 타겟에 대응됨 - ; 상기 처리될 이미지, 상기 타겟 특징 맵 및 상기 분할된 이미지 중 적어도 하나에 기반하여, 상기 제1 타겟의 제1 진단 보조 정보를 얻도록 구성된 것을 특징으로 하는 의료 영상 처리 장치.
  19. 제18항에 있어서
    상기 처리 유닛은, 상기 제1 검출 모듈의 특징 추출 계층을 이용하여, 상기 분할된 이미지로부터 제1 특징 맵을 추출하고; 상기 제1 검출 모듈의 풀링 계층을 이용하여, 상기 제1 특징 맵에 기반하여 적어도 하나의 제2 특징 맵을 생성하며 - 상기 제1 특징 맵 및 상기 제2 특징 맵의 스케일은 상이함 - ; 상기 제2 특징 맵에 따라 상기 타겟 특징 맵을 얻도록 구성된 것을 특징으로 하는 의료 영상 처리 장치.
  20. 제19항에 있어서,
    상기 처리 유닛은, 상기 제1 검출 모듈의 업 샘플링 계층을 이용하여, 상기 제2 특징 맵에 대해 업 샘플링을 진행하여 제3 특징 맵을 얻고; 상기 제1 검출 모듈의 융합 계층을 이용하여, 상기 제1 특징 맵 및 상기 제3 특징 맵을 융합하여 융합 특징 맵을 얻으며; 또는, 상기 제3 특징 맵 및 상기 제3 특징 맵과 상이한 스케일을 갖는 상기 제2 특징 맵을 융합하여 융합 특징 맵을 얻으며; 상기 제1 검출 모듈의 출력 계층을 이용하여, 상기 융합 특징 맵에 따라 상기 타겟 특징 맵을 출력하도록 구성된 것임을 특징으로 하는 의료 영상 처리 장치.
  21. 제19항에 있어서,
    상기 처리 유닛은,
    상기 처리될 이미지 및 상기 분할된 이미지를 결합하여, 상기 타겟 특징 맵에 대응되는 상기 제1 타겟의 제1 식별자 정보를 결정하는 단계;
    상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보를 결정하는 단계; 및
    상기 타겟 특징 맵에 기반하여, 상기 제1 타겟의 속성 정보에 기반하여 생성된 프롬프트 정보를 결정하는 단계 중 적어도 하나를 실행하도록 구성된 것을 특징으로 하는 의료 영상 처리 장치.
  22. 제16항 내지 제22항 중 어느 한 항에 있어서,
    상기 의료 영상 처리 장치는,
    샘플 데이터를 이용하여 훈련함으로써 상기 제2 검출 모듈 및 제1 검출 모듈을 얻도록 구성된 훈련 유닛;
    손실 함수에 기반하여, 네트워크 파라미터가 획득된, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 손실값을 계산하도록 구성된 계산 유닛; 및
    상기 손실값이 기설정된 값보다 클 경우, 상기 손실값에 따라 상기 네트워크 파라미터를 최적화하도록 구성된 최적화 유닛을 더 포함하고;
    상기 훈련 유닛은, 또한 상기 손실값이 상기 기설정된 값보다 작거나 같을 경우, 상기 제2 검출 모듈 및 상기 제1 검출 모듈의 훈련을 완료하기 위한 것을 특징으로 하는 의료 영상 처리 장치.
  23. 제22항에 있어서,
    상기 최적화 유닛은, 상기 손실값이 상기 기설정된 값보다 클 경우, 역전파 방식을 이용하여 상기 네트워크 파라미터를 업데이트하도록 구성된 것을 특징으로 하는 의료 영상 처리 장치.
  24. 제22항에 있어서,
    상기 계산 유닛은, 손실 함수를 이용하여, 상기 제2 검출 모듈로부터 입력되고 상기 제1 검출 모듈로부터 출력되는 엔드 투 엔드 손실값을 계산하도록 구성된 것을 특징으로 하는 의료 영상 처리 장치.
  25. 제14항 내지 제24항 중 어느 한 항에 있어서,
    상기 제1 검출 모듈은 제1 검출 모델을 포함하는 것; 및
    상기 제2 검출 모듈은 제2 검출 모델을 포함하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 의료 영상 처리 장치.
  26. 제14항 내지 제25항 중 어느 한 항에 있어서,
    상기 제2 타겟은 척추이고;
    상기 제1 타겟은 추간판인 것을 특징으로 하는 의료 영상 처리 장치.
  27. 컴퓨터 실행 가능 코드가 저장되어 있는 컴퓨터 저장 매체로서,
    상기 컴퓨터 실행 가능 코드가 실행된 후, 제1항 내지 제13항 중 어느 한 항에 따른 의료 영상 처리 방법을 구현할 수 있는 것을 특징으로 하는 컴퓨터 저장 매체.
  28. 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 실행 가능 명령어가 실행된 후, 제1항 내지 제13항 중 어느 한 항에 따른 의료 영상 처리 방법을 구현할 수 있는 것을 특징으로 하는 컴퓨터 프로그램 제품.
  29. 이미지 처리 기기로서,
    정보를 저장하도록 구성된 메모리; 및
    상기 메모리에 연결되어, 상기 메모리에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 제1항 내지 제13항 중 어느 한 항에 따른 의료 영상 처리 방법을 구현하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 이미지 처리 기기.
KR1020207033584A 2018-07-24 2018-11-27 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 KR20210002606A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810818690.X 2018-07-24
CN201810818690.XA CN108986891A (zh) 2018-07-24 2018-07-24 医疗影像处理方法及装置、电子设备及存储介质
PCT/CN2018/117759 WO2020019612A1 (zh) 2018-07-24 2018-11-27 医疗影像处理方法及装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
KR20210002606A true KR20210002606A (ko) 2021-01-08

Family

ID=64549848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033584A KR20210002606A (ko) 2018-07-24 2018-11-27 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체

Country Status (7)

Country Link
US (1) US20210073982A1 (ko)
JP (1) JP7154322B2 (ko)
KR (1) KR20210002606A (ko)
CN (1) CN108986891A (ko)
SG (1) SG11202011655YA (ko)
TW (1) TWI715117B (ko)
WO (1) WO2020019612A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632864B1 (ko) * 2023-04-07 2024-02-07 주식회사 카비랩 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435432B (zh) * 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN109949309B (zh) * 2019-03-18 2022-02-11 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN109978886B (zh) * 2019-04-01 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110148454B (zh) * 2019-05-21 2023-06-06 上海联影医疗科技股份有限公司 一种摆位方法、装置、服务器及存储介质
CN110555833B (zh) * 2019-08-30 2023-03-21 联想(北京)有限公司 图像处理方法、装置、电子设备以及介质
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN111369582B (zh) * 2020-03-06 2023-04-07 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
WO2021247034A1 (en) * 2020-06-05 2021-12-09 Aetherai Ip Holding Llc Object detection method and convolution neural network for the same
CN111768382B (zh) * 2020-06-30 2023-08-15 重庆大学 一种基于肺结节生长形态的交互式分割方法
TWI771761B (zh) * 2020-09-25 2022-07-21 宏正自動科技股份有限公司 醫療影像處理方法及其醫療影像處理裝置
TWI768575B (zh) 2020-12-03 2022-06-21 財團法人工業技術研究院 三維影像動態矯正評估與矯具輔助設計方法及其系統
TWI755214B (zh) * 2020-12-22 2022-02-11 鴻海精密工業股份有限公司 區分物件的方法、電腦裝置及儲存介質
CN113052159B (zh) * 2021-04-14 2024-06-07 ***通信集团陕西有限公司 一种图像识别方法、装置、设备及计算机存储介质
CN113112484B (zh) * 2021-04-19 2021-12-31 山东省人工智能研究院 一种基于特征压缩和噪声抑制的心室图像分割方法
CN113255756B (zh) * 2021-05-20 2024-05-24 联仁健康医疗大数据科技股份有限公司 图像融合方法、装置、电子设备及存储介质
CN113269747B (zh) * 2021-05-24 2023-06-13 浙江大学医学院附属第一医院 一种基于深度学习的病理图片肝癌扩散检测方法及***
CN113554619A (zh) * 2021-07-22 2021-10-26 深圳市永吉星光电有限公司 3d医用***头的图像目标检测方法、***及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143090A1 (en) * 2009-08-16 2012-06-07 Ori Hay Assessment of Spinal Anatomy
TWI473598B (zh) * 2012-05-18 2015-02-21 Univ Nat Taiwan Breast ultrasound image scanning and diagnostic assistance system
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
WO2017091833A1 (en) 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation
CN105678746B (zh) * 2015-12-30 2018-04-03 上海联影医疗科技有限公司 一种医学图像中肝脏范围的定位方法及装置
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US10366491B2 (en) * 2017-03-08 2019-07-30 Siemens Healthcare Gmbh Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
CN107220980B (zh) * 2017-05-25 2019-12-03 重庆师范大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
WO2019023891A1 (en) * 2017-07-31 2019-02-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEMS AND METHODS FOR AUTOMATIC SEGMENTATION AND IDENTIFICATION OF VERTEBRA IN MEDICAL IMAGES
WO2019041262A1 (en) * 2017-08-31 2019-03-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE SEGMENTATION
US11158047B2 (en) * 2017-09-15 2021-10-26 Multus Medical, Llc System and method for segmentation and visualization of medical image data
CN107784647B (zh) * 2017-09-29 2021-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及***
EP3872759A1 (en) * 2017-10-20 2021-09-01 Nuvasive, Inc. Intervertebral disc modeling
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN108230323B (zh) * 2018-01-30 2021-03-23 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
US10902587B2 (en) * 2018-05-31 2021-01-26 GE Precision Healthcare LLC Methods and systems for labeling whole spine image using deep neural network
CN111063424B (zh) * 2019-12-25 2023-09-19 上海联影医疗科技股份有限公司 一种椎间盘数据处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632864B1 (ko) * 2023-04-07 2024-02-07 주식회사 카비랩 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법

Also Published As

Publication number Publication date
US20210073982A1 (en) 2021-03-11
CN108986891A (zh) 2018-12-11
SG11202011655YA (en) 2020-12-30
JP2021529400A (ja) 2021-10-28
WO2020019612A1 (zh) 2020-01-30
TWI715117B (zh) 2021-01-01
JP7154322B2 (ja) 2022-10-17
TW202008163A (zh) 2020-02-16

Similar Documents

Publication Publication Date Title
KR20210002606A (ko) 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
US10929643B2 (en) 3D image detection method and apparatus, electronic device, and computer readable medium
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN111179366A (zh) 基于解剖结构差异先验的低剂量图像重建方法和***
US9530238B2 (en) Image processing apparatus, method and program utilizing an opacity curve for endoscopic images
CN111402217A (zh) 一种图像分级方法、装置、设备和存储介质
CN113870215A (zh) 中线提取方法及装置
CN110009641A (zh) 晶状体分割方法、装置及存储介质
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
JP7456928B2 (ja) 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
Zhang et al. A spine segmentation method under an arbitrary field of view based on 3d swin transformer
CN113610969B (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
CN114565623A (zh) 肺血管分割方法、装置、存储介质及电子设备
JPH0921610A (ja) 画像処理装置及び画像処理方法
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
CN116188349A (zh) 图像处理方法、装置、电子设备及存储介质
CN112862786A (zh) Cta影像数据处理方法、装置及存储介质
CN112862785A (zh) Cta影像数据识别方法、装置及存储介质
CN111369425A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN115908515B (zh) 影像配准方法、影像配准模型的训练方法及装置
CN117094976B (zh) 病灶漏检判断方法、装置和电子设备
CN117095177B (zh) 肾脏图像定位方法、装置和电子设备
CN116721143B (zh) 3d医学图像的深度信息处理装置及方法

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application