KR20200109093A - 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 - Google Patents

초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR20200109093A
KR20200109093A KR1020190028158A KR20190028158A KR20200109093A KR 20200109093 A KR20200109093 A KR 20200109093A KR 1020190028158 A KR1020190028158 A KR 1020190028158A KR 20190028158 A KR20190028158 A KR 20190028158A KR 20200109093 A KR20200109093 A KR 20200109093A
Authority
KR
South Korea
Prior art keywords
lesion
area
image
ultrasound
diagnosis
Prior art date
Application number
KR1020190028158A
Other languages
English (en)
Inventor
박문호
성영경
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020190028158A priority Critical patent/KR20200109093A/ko
Priority to CN202080020921.8A priority patent/CN113645905A/zh
Priority to EP20769065.2A priority patent/EP3939515A4/en
Priority to US17/435,581 priority patent/US20220059227A1/en
Priority to PCT/KR2020/003444 priority patent/WO2020185003A1/ko
Publication of KR20200109093A publication Critical patent/KR20200109093A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4405—Device being mounted on a trolley
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52073—Production of cursor lines, markers or indicia by electronic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features
    • G01S7/52084—Constructional features related to particular user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

진단 결과와 관련된 정보를 제공하여, 사용자가 환자의 질병을 더욱 정확하게 진단할 수 있도록 하는, 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품이 개시된다.

Description

초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 {Apparatus and method for displaying ultrasound image and computer program product}
개시된 실시예는 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품에 대한 것이다.
구체적으로, 개시된 실시예는 병변을 포함하는 초음파 영상에 대한 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품에 대한 것이다.
초음파 진단 장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 신호의 정보를 수신하여 대상체 내부의 부위(예를 들면, 연조직 또는 혈류)에 대한 적어도 하나의 영상을 얻는다.
최근에는 캐드(CAD: Computer Aided Detection & Diagnosis) 시스템, 기계 학습, 등과 같은 영상 처리 기술의 발전으로 인하여, 초음파 진단 장치가 자동적으로 획득된 초음파 영상을 컴퓨터로 분석하여, 대상체에 이상이 발생한 부위인 비정상(abnormal) 영역을 검출하거나 분석한 결과를 생성할 수 있다. 구체적으로, 초음파 진단 장치는 대상체에 이상이 발생한 부위 및 분석한 진단 결과(예를 들어, 검출된 부위가 악성 종양 인지 여부)를 포함하는 사용자 인터페이스 화면을 출력할 수 있다. 그에 따라서, 사용자(예를 들어, 의사 등)는 의료 영상(예를 들어, 초음파 영상)에서 검출된 이상 부위에 대응되는 진단 결과를 확인할 수 있다.
개시된 실시예들은 초음파 영상을 자동으로 분석하여 진단 결과를 제공하는데 있어서, 사용자가 환자의 질병을 더욱 정확하게 진단할 수 있도록 진단 결과와 관련된 정보를 제공하는 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품의 제공을 목적 및 효과로 한다.
개시된 실시예에 따른 초음파 영상 표시 방법은 초음파 영상에 포함되는 병변 영역을 식별하는 단계; 상기 병변 영역을 진단하여 진단 결과를 획득하는 단계; 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함한다.
또한, 상기 제1 영역은 상기 병변 영역에서 병변의 특성을 나타내는 복수의 특성들이 존재할 때, 상기 복수의 특성들 중 적어도 하나를 나타내는 영역이 될 수 있다.
또한, 상기 제1 영역은 상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin), 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방(posterior) 중 적어도 하나의 특성을 판단하는 근거가 되는 영역이 될 수 있다.
또한, 상기 진단 결과는 상기 병변이 양성(benign)인지 또는 악성(malignant)인지를 나타내는 정보를 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 병변 영역을 나타내는 복수의 특성들이 존재할 때, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여 상기 복수의 특성들에 있어서 서로 다른 특성들이 상호 구별되도록, 상기 적어도 하나의 영역을 상기 병변 영역 상에 표시하는 단계를 포함할 수 있다.
또한, 상기 복수의 특성들은 상기 병변을 진단하는데 근거가 되는 상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin) 형태, 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방 특징(posterior feature) 중 적어도 하나를 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 병변 영역에 포함되는 제2 영역에서 나타나는 상기 병변 영역의 특성이 변경되면 상기 진단 결과가 달라지게 되는 경우, 상기 제2 영역을 상기 초음파 영상에 표시하여 상기 진단 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 제1 영역과 상기 제2 영역이 구별되도록 표시하여, 상기 진단 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는 상기 진단 영상, 상기 진단 결과, 및 상기 병변을 나타내는 복수의 특성들 각각에 대응되는 복수의 항목들을 포함하는 리스트를 포함 하는 상기 사용자 인터페이스 화면을 디스플레이 하는 단계를 더 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 복수의 항목들 중 어느 하나를 선택하는 사용자 입력에 대응하여, 상기 초음파 영상에 있어서, 선택된 항목에 대응되는 특성을 나타내는 적어도 하나의 부분 영역을 상기 제1 영역으로 표시 하여, 상기 진단 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 리스트에 있어서, 상기 복수의 항목들 각각은 상기 복수의 항목에 대응되는 특성을 구체적으로 나타내는 정보를 포함하며, 상기 복수의 항목들 각각은 그에 대응되는 적어도 하나의 부분 영역과 매칭되어 표시될 수 있다.
또한, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는 상기 리스트에 포함되는 제1 특성이 변경되면 상기 진단 결과가 달라지는 경우, 상기 리스트에 포함에 포함되는 제1 특성을 이외의 특성들과 구별하여 표시하는 단계를 더 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 초음파 영상 상에 상기 제1 영역에서 나타나는 상기 병변 영역의 특성에 대한 정보인 진단 정보를 표시하여, 상기 진단 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 진단 정보를 획득하는 단계는 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 상기 초음파 영상을 분석하고, 상기 병변 영역, 상기 진단 결과 및 상기 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득하는 단계를 포함할 수 있다.
또한, 상기 병변 영역을 식별하는 단계는 상기 병변 영역의 경계를 식별하는 단계를 포함하며, 상기 초음파 영상 표시 방법은 상기 식별의 결과 상기 경계가 복수 개 존재하는 경우, 상기 초음파 영상에 상기 복수개의 경계를 각각 표시하여 복수개의 서브 영상들을 생성하는 단계; 및 상기 복수개의 서브 영상들을 포함하는 사용자 인터페이스 화면을 출력하는 단계를 더 포함할 수 있다.
개시된 실시예에 따른 초음파 진단 장치는 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 초음파 영상에 포함되는 병변 영역을 식별하고, 상기 병변 영역을 진단하여 진단 결과를 획득하며, 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면이 상기 디스플레이를 통하여 디스플레이 되도록 제어하는 프로세서를 포함한다.
개시된 실시예에 따른, 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램이 수록된 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램은 초음파 영상에 포함되는 병변 영역을 식별하는 단계; 상기 병변 영역을 진단하여 진단 결과를 획득하는 단계; 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법을 컴퓨터에서 실행시키기 위해서 기록매체에 저장된 컴퓨터 프로그램이다.
개시된 실시예들에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 진단 결과와 관련된 정보를 제공하여, 사용자가 환자의 질병을 더욱 정확하게 진단할 수 있도록 한다.
구체적으로, 개시된 실시예들에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 진단 결과의 근거가 되는 초음파 영상의 부분을 사용자가 인식할 수 있도록 함으로써, 사용자가 대상체의 질병을 정확히 판단할 수 있도록 한다.
구체적으로, 개시된 실시예에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis)에 근거하여 획득된 진단 결과와 관련된 정보, 구체적으로, 진단 결과의 근거가 되는 초음파 영상의 부분 및/ 또는 진단 결과를 설명하기 위한 부가 정보 등을 사용자에게 제공함으로써, 사용자가 초음파 영상을 통하여 질병을 진단하는데 도움을 줄 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 2는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 3의 (a)는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 일 도면이다.
도 3의 (b)는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 3의 (c)는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 4는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 5는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 6은 실시예에서 획득한 초음파 영상을 나타내는 일 도면이다.
도 7은 실시예에서 제공하는 일 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 8은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 9는 실시예에서 획득한 초음파 영상을 나타내는 다른 도면이다.
도 10은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 11은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 도면이다.
도 12는 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 다른 도면이다.
도 13은 실시예에서 제공하는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
도 14는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 15는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 16은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 17은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 18은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 19는 실시예에서 제공하는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다.
도 20은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 21은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 22는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 23은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 24는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 25는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 일 도면이다.
도 26는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 27은 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 28은 복수개의 진단 영상들을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 29는 초음파 영상을 분석한 결과를 획득하기 위해 이용되는 신경망을 설명하기 위한 도면이다.
도 30은 실시예에 따른 초음파 영상 표시 방법을 나타내는 흐름도이다.
도 31은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 일 도면이다.
도 32은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 다른 도면이다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부’(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 ‘부’가 하나의 요소(unit, element)로 구현되거나, 하나의 ‘부’가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 영상은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
본 명세서에서 ‘대상체(object)’는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
명세서 전체에서 "초음파 영상"이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 1은 일 실시예에 따른 초음파 진단 장치(100)의 구성을 도시한 블록도이다. 일 실시예에 따른 초음파 진단 장치(100)는 프로브(20), 초음파 송수신부(110), 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160), 및 입력부(170)를 포함할 수 있다.
초음파 진단 장치(100)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(20)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(20)는 초음파 진단 장치(100)와 일체형으로 구현되거나, 또는 초음파 진단 장치(100)와 유무선으로 연결되는 분리형으로 구현될수 있다. 또한, 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 프로브(20)를 구비할 수 있다.
제어부(120)는 프로브(20)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(120)는 프로브(20)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(115)를 제어 한다.
영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(140)는 생성된 초음파 영상 및 초음파 진단 장치(100)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(140)를 포함할 수 있다. 또한, 디스플레이부(140)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(120)는 초음파 진단 장치(100)의 전반적인 동작 및 초음파 진단 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(120)는 초음파 진단 장치(100)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(120)는 입력부(170) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 진단 장치(100)의 동작을 제어할 수 있다.
초음파 진단 장치(100)는 통신부(160)를 포함하며, 통신부(160)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(160)가 외부 장치로부터 제어 신호 및 데이터를 수신하고, 수신된 제어 신호를 제어부(120)에 전달하여 제어부(120)로 하여금 수신된 제어 신호에 따라 초음파 진단 장치(100)를 제어하도록 하는 것도 가능하다.
또는, 제어부(120)가 통신부(160)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다.
예를 들어 외부 장치는 통신부를 통해 수신된 제어부의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.
외부 장치에는 초음파 진단 장치(100)를 제어할 수 있는 프로그램이 설치될 수 있는 바, 이 프로그램은 제어부(120)의 동작의 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.
프로그램은 외부 장치에 미리 설치될 수도 있고, 외부장치의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.
저장부(150)는 초음파 진단 장치(100)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(170)는, 초음파 진단 장치(100)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
도 2는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 2을 참조하면, 초음파 진단 장치(100)는 무선 프로브(20) 및 본체(40)를 포함할 수 있다. 도 2에 있어서, 도 1에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 도 2에 도시된 초음파 진단 장치(100)를 설명하는데 있어서, 도 1에서와 중복되는 설명은 생략한다. 또한, 수신부(115)는 복수개의 트랜스튜서들로 형성될 수 있으므로, 도 1에 도시된 ‘수신부(115)’는 도 2에서 ‘트랜스듀서(115)’로 도시하였다.
무선 프로브(20)는 송신부(113), 트랜스듀서(115), 수신부(117), 제어부(118) 및 통신부(119)를 포함할 수 있다. 도 1에서는 무선 프로브(20)가 송신부(113) 및 수신부(117)를 모두 포함하는 것으로 도시하였으나, 구현 형태에 따라, 무선 프로브(20)는 송신부(113) 및 수신부(117)의 구성 중 일부만을 포함할 수도 있으며, 송신부(113) 및 수신부(117)의 구성 중 일부는 본체(40)에 포함될 수도 있다. 또는, 무선 프로브(20)는 영상 처리부(130)를 더 포함할 수도 있다.
트랜스듀서(115)는, 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다.
제어부(118)는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(118)는 트랜스듀서(115)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(117)를 제어한다. 또는, 무선 프로브(20)가 영상 처리부(130)를 포함하는 경우, 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성할 수 있다.
통신부(119)는 생성된 초음파 데이터 또는 초음파 영상을 무선 네트워크(30)를 통하여, 본체(40)로 무선 전송할 수 있다. 또는, 통신부(119)는 본체(40)로부터 제어 신호 및 데이터를 수신할 수 있다.
또한, 초음파 시스템(100)은 구현 형태에 따라 하나 이상의 무선 프로브(20)를 구비할 수 있다.
본체(40)는 무선 프로브(20)로부터 초음파 데이터 또는 초음파 영상을 수신할 수 있다. 본체(40)는 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160) 및 입력부(170)를 포함할 수 있다.
도 3의 (a)는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 일 도면이다.
도 3의 (b)는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 3의 (c)는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 3의 (a) 및 도 3의 (b)를 참조하면, 초음파 진단 장치(100a, 100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122)를 포함할 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 초음파 영상 또는 초음파 진단 장치(100a, 100b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 진단 장치(100a, 100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(121)는 초음파 영상을 표시하고, 서브 디스플레이부(122)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(122)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 진단 장치(100a, 100b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(121)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 3의 (b)를 참조하면, 초음파 진단 장치(100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122) 이외에 컨트롤 패널(165)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 진단 장치(100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(165)은 TGC(Time Gain Compensation) 버튼(171), Freeze 버튼(172) 등을 포함할 수 있다. TGC 버튼(171)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 진단 장치(100b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(172) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(165)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(121) 또는 서브 디스플레이부(122)에 GUI로 제공될 수 있다.
도 3의 (c)를 참조하면, 초음파 진단 장치(100c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치(100c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 진단 장치(100c)는 프로브(20)와 본체(40)를 포함하며, 프로브(20)는 본체(40)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(40)는 터치 스크린(145)을 포함할 수 있다. 터치 스크린(145)은 초음파 영상, 초음파 진단 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
개시된 실시예에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 초음파 영상을 분석하여 대상체에 이상이 있는지 여부를 판단하여 진단 결과를 생성하고, 초음파 영상 내에 나타나는 진단 결과에 대응되는 정보를 사용자에게 제공함으로써, 사용자가 진단 결과를 참조하여 정확하게 환자의 질병을 진단할 수 있도록 하여, 사용자 편리성을 높일 수 있다. 여기서, ‘사용자’는 환자의 질병을 진단하는 의사, 환자의 대상체에 대한 초음파 스캔을 수행하는 소노그래퍼 등이 될 수 있다. 그리고, ‘진단 결과에 대응되는 정보’는, 진단 결과에 대응되는 초음파 영상 상에 나타나 있는 정보, 진단 결과에 근거가 되는 정보, 진단 결과의 근거가 되는 초음파 영상 내의 부분 영역, 진단 결과에 영향을 미치는 초음파 영상 내의 부분 영역 등을 의미할 수 있다. 이하에서는, ‘진단 결과에 대응되는 정보’를 편의상 ‘진단 정보’라 칭하도록 한다.
전술한 바와 같이, 자동적으로 진단 결과를 제공받는 사용자의 편리성을 증대시킬 수 있는 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품을, 첨부된 도면들을 참조하여 상세히 설명한다.
개시된 실시예에서, 초음파 진단 장치는 초음파 영상을 획득, 처리, 및/또는 디스플레이할 수 있는 전자 장치가 될 수 있다. 구체적으로, 초음파 진단 장치는 i) 초음파 영상 내의 특정 부위(예를 들어, 병변이 발생하는 부위 등)를 식별하거나, ii) 초음파 영상을 분석하여 진단 결과 또는 진단 정보를 획득하거나, 또는 iii) 초음파 영상에 근거하여 진단에 이용되는 부분 영상, 전체 영상 또는 정보를 가공, 생성, 수정, 갱신 또는 디스플레이 할 수 있는 전자 장치를 의미할 수 있다.
구체적으로, 구체적으로, 개시된 실시예에 따른 초음파 진단 장치는, 도 3의 (a) 내지 도 3의 (c) 에 도시된 바와 같이, 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 팩스 뷰어(PACS viewer), 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 제한되지 않는다.
도 4는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다. 도 4에 있어서, 메모리(410), 프로세서(420) 및 디스플레이(430)는 각각 도 1에 도시된 저장부(150), 제어부(120) 및 디스플레이부(140)에 대응될 수 있으므로, 도 1에서와 중복되는 설명은 생략한다.
도 4를 참조하면, 개시된 실시예에 따른 초음파 진단 장치(400)는 메모리(410), 프로세서(420) 및 디스플레이(430)를 포함한다.
메모리(410)는 적어도 하나의 인스트럭션을 저장한다.
디스플레이(430)는 소정 화면을 디스플레이 한다.
프로세서(420)는 메모리(410)에 저장된 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 소정 동작을 수행하거나 소정 동작이 수행되도록 초음파 진단 장치(400) 내의 다른 구성 요소들을 제어할 수 있다.
구체적으로, 프로세서(420)는 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 초음파 영상에 포함되는 병변 영역을 식별하고, 상기 병변 영역을 진단하여 진단 결과를 획득하며, 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면이 상기 디스플레이를 통하여 디스플레이 되도록 제어한다.
여기서, 병변(lesion)은 병이 원인이 되어 일어나는 생체의 변화를 의미한다. 구체적으로, 병변은 대상체가 건강한 조직의 형태를 갖지 않는 모든 형태 또는 대상체가 건강한 상태와 비교하여 다른 상태를 가지는 경우를 모두 지칭할 수 있다. 구체적으로, 병변(lesion)은 크게 양성(benign)과 악성(malignant)로 구별될 수 있다. 또한, 양성인 병변은 종양(tumor)에 대응될 수 있고, 악성인 병변을 암(cancer)에 대응될 수 있다.
또한, 개시된 실시예에서 ‘병변 영역’은 병변의 경계에 의해서 형성되는 병변의 내부 영역뿐만 아니라, 병변의 경계에 인접한 외부 영역도 포함하는 개념이 될 수 있다. 즉, 병변 영역은 초음파 영상 내에서 병변 자체를 이미징한 영역뿐만 아니라 병변의 특성들이 이미징된 영역을 의미할 수 있다.
그리고, 진단 정보는 대상체 내에서 병변이 존재하는 경우, 식별된 병변 영역, 병변이 크기, 병변의 위치, 및 특성(예를 들어, 전이 가능성, 악성 위험도 등) 중 적어도 하나를 나타내는 정보가 될 수 있다. 또한, 진단 정보는 학회 또는 협회에서 정의한 질병에 대한 표준 용어 등을 포함할 수 있다. 예를 들어, 진단 정보는 미국 방사선과의사협회(ACR: American College of Radiology)에서 정의한 초음파 검사 표준 용어인 렉시콘(Lexicon)에 포함되는 복수개의 항목들에 대한 정보를 포함할 수 있다.
또한, 진단 결과는 식별된 병변이 악성인지 또는 양성인지를 나타내는 정보 또는 구체적인 병변의 명칭 등이 포함할 수 있다. 또 다른 예로, 진단 결과는 식별된 병변이 구진(papule), 결절(nodule), 종양(tumor), 또는 암(cancer)인지를 나타내는 정보를 포함할 수 있다. 또 다른 예로, 진단 결과는, 병변의 구체적인 명칭(예를 들어, 유방 종양, 유방암, 갑상선 종양, 갑상선 결절, 갑상선암 등)을 나타내는 정보를 포함할 수 있다.
이하에서는 설명의 편의 상, 진단 결과가 악성인지 또는 양성인지를 나타내는 정보를 포함하는 경우를 예로 들어 설명 및 도시하도록 한다. 예를 들어, 진단 결과는 ‘Possibly benign’, ‘Benign’, ‘Possibly malignant’, ‘Malignant’ 등으로 표현될 수 있다.
개시된 실시예에서, 제1 영역은 병변 영역에 있어서 병변을 진단하는데 근거가 되는 적어도 일부의 영역으로, 병변을 진단하는데 근거가 되는 초음파 영상 내의 적어도 일부 영역을 의미할 수 있다. 예를 들어, 대상체 내의 병변이 악성 병변일 경우, 진단 결과는 ‘악성’이 될 것이다. 이 경우, 제1 영역은 해당 병변을 악성으로 판단하는데 근거가 되는 초음파 영상 내의 특징 또는 초음파 영상 내의 특징이 이미징된 영역이 될 수 있다. 제1 영역은 이하에서 도 6 내지 도 11을 참조하여 상세히 설명한다.
또한, 개시된 실시예에서, ‘a, b 및 c 중 적어도 하나’는, a 만을 포함, b 만을 포함, c 만을 포함, a 및 b 를 포함, a 및 c 를 포함, b 및 c를 포함, 및 a, b 및 c를 모두 포함하는 경우들을 다 포함하는 의미를 가질 수 있다.
구체적으로, 디스플레이(430)는 프로세서(420)의 제어에 따라서 소정 화면을 디스플레이 한다. 디스플레이(430)는 의료 영상(예를 들어, 초음파 영상), 사용자 인터페이스 화면, 환자에 대한 정보, 환자의 질병에 대한 이력 정보, 영상 처리 정보 등을 디스플레이 할 수 있다. 여기서, 영상 처리 정보는 프로세서(420)가 초음파 영상을 영상 처리하여 생성한 중간 생성물 또는 최종 결과물을 포함할 수 있다. 또한, ‘영상 처리’는 초음파 영상을 가공, 생성, 수정, 및/또는 갱신하는 동작을 의미할 수 있다.
예를 들어, 디스플레이(430)는 초음파 영상, 초음파 영상에 대응되는 진단 영상, 초음파 영상에 근거하여 식별된 병변에 대한 진단 결과, 진단 결과를 설명하기 위한 정보 중 적어도 하나를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
구체적으로, 메모리(410)는 초음파 진단 장치(400)가 동작하기 위해서 필요한 적어도 하나의 프로그램 또는 적어도 하나의 프로그램이 실행되기 위해서 필요한 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(410)는 전술한 동작들을 수행하기 위한 적어도 하나의 프로세서들을 포함할 수 있다.
또한, 메모리(410)는 초음파 영상, 초음파 영상과 관련된 정보, 환자에 대한 정보, 대상체에 대한 정보 및 피검사자에 대한 정보 중 적어도 하나를 저장할 수 있다. 또한, 메모리(410)는 프로세서(420)에서 생성한 정보 및 영상 중 적어도 하나를 저장할 수 있다. 또한, 메모리(410)는 외부의 전자 장치(미도시)로부터 수신되는 영상, 데이터 및 정보 중 적어도 하나를 저장할 수 있을 것이다.
프로세서(420)는 초음파 진단 장치(400)의 동작을 전반적으로 제어할 수 있다. 구체적으로, 프로세서(420)는 적어도 하나의 인스트럭션을 실행하여, 소정 동작을 실행하거나 소정 동작이 실행되도록 제어할 수 있다. 여기서, 프로세서(420)가 실행하는 인스트럭션은 메모리(410)에 저장된 적어도 하나의 인스트럭션 중 적어도 하나가 될 수 있다.
또한, 프로세서(420)는 하나의 프로세서 또는 복수개의 프로세서가 결합된 형태로 구현될 수 있다.
또한, 프로세서(420)는 내부 메모리(미도시) 및 저장된 적어도 하나의 프로그램을 실행하는 적어도 하나의 프로세서(processor)(미도시)를 포함할 수 있다. 구체적으로, 프로세서(420)의 내부 메모리(미도시)는 하나 이상의 인스트럭션을 저장할 수 있다. 그리고, 프로세서(420)에 포함되는 적어도 하나의 프로세서(미도시)는 프로세서(420)의 내부 메모리(미도시)에 저장된 하나 이상의 인스트럭션 중 적어도 하나를 실행하여, 소정 동작을 실행할 수 있다.
구체적으로, 프로세서(420)는 초음파 진단 장치(400)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 초음파 진단 장치(400)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 초음파 진단 장치(400)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 프로세서 (Processor)(미도시)를 포함할 수 있다. 프로세서(미도시)는 비디오 데이터에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서(미도시)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(미도시)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
설명의 편의 상, 개시된 실시 예에서는, 프로세서(420)가 메모리(410)에 저장된 인스트럭션을 실행하여 소정 동작을 수행 또는 제어하는 경우를 예로 들어 설명하도록 하겠다.
도 5는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다. 도 5에 있어서, 도 4에 도시된 구성과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 도 5에 도시된 초음파 진단 장치(500)를 설명하는데 있어서, 도 4에서와 중복되는 설명은 생략한다.
초음파 진단 장치(500)는 초음파 진단 장치(400)에 비하여, 데이터 획득부(440), 영상 처리부(450), 사용자 인터페이스(460) 및 통신부(470) 중 적어도 하나를 더 포함할 수 있다. 데이터 획득부(440), 영상 처리부(450), 사용자 인터페이스(460) 및 통신부(470)는 각각 도 1의 초음파 송수신부(110), 영상 처리부(130), 입력부(170) 및 통신부(160)와 동일 대응될 수 있다. 따라서, 초음파 진단 장치(500)를 설명하는데 있어서, 도 1에서와 중복되는 설명은 생략한다.
데이터 획득부(440)는 초음파 데이터를 획득할 수 있다. 구체적으로, 데이터 획득부(440)는 프로세서(420)의 제어에 따라서, 프로브(20)를 통하여 대상체 로부터 반사되는 초음파 에코 신호를 수신할 수 있다.
구체적으로, 데이터 획득부(440)는 프로세서(420)의 제어에 따라서, 초음파 영상을 생성하기 위한 러 데이터(raw data)를 직접 획득할 수 있다. 이 경우, 데이터 획득부(440)는 초음파 송수신부(110)에 대응될 수 있다. 여기서, 러 데이터(raw data)는 대상체로부터 반사되어 획득된 초음파 에코 신호에 대응되는 원 데이터(original data) 또는 가공 전 데이터를 의미할 수 있다.
그러면, 프로세서(420)는 데이터 획득부(440)를 통하여 수신되는 초음파 에코 신호에 대응되는 초음파 영상이 생성되도록 제어할 수 있다. 구체적으로, 프로세서(420)는 영상 처리부(450)를 제어하여, 영상 처리부(450)가 초음파 에코 신호를 이용하여 초음파 영상을 생성하도록 제어할 수 있다.
또한, 데이터 획득부(440)는 프로세서(420)의 제어에 따라서, 외부의 초음파 진단 장치(미도시)와 같은 외부의 전자 장치(미도시)로부터 초음파 영상을 수신할 수 있다. 구체적으로, 데이터 획득부(440)는 외부의 전자 장치(미도시)와 유무선의 통신 네트워크를 통하여 연결될 수 있으며, 프로세서(420)의 제어에 따라서, 외부의 전자 장치(미도시)로부터 전송되는 초음파 영상 또는 초음파 영상 생성을 위한 러 데이터를 수신할 수 있을 것이다. 데이터 획득부(440)가 러 데이터를 획득하는 경우, 프로세서(420)는 데이터 획득부(440)를 통하여 수신되는 러 데이터를 이용하여 초음파 영상이 생성되도록, 영상 처리부(450)를 제어할 수 있다.
데이터 획득부(440)가 외부의 전자 장치(미도시)로부터 초음파 영상 또는 러 데이터를 수신하는 경우, 데이터 획득부(440)는 통신부(470)를 포함할 수 있을 것이다. 즉, 통신부(470)는 데이터 획득부(440) 자체가 될 수 있으며, 통신부(470)는 데이터 획득부(440)에 포함되는 형태로 구현될 수 있을 것이다.
영상 처리부(450)는 초음파 영상의 생성 및 초음파 영상의 처리 중 적어도 하나의 동작을 수행할 수 있다. 또한, 영상 처리부(450)는 프로세서(420)에 포함되는 형태로 구현될 수도 있을 것이다. 예를 들어, 프로세서(420)가 복수개의 프로세서를 포함하는 경우, 프로세서(420)에 포함되는 복수개의 프로세서 중 어느 하나가 영상 처리를 위한 영상 처리부(image processor)가 될 수 있을 것이다.
사용자 인터페이스(460)는 사용자로부터 소정 데이터 또는 소정 명령을 입력받을 수 있다. 사용자 인터페이스(460)는 도 1의 입력부(170)에 대응될 수 있다. 또한, 사용자 인터페이스(460)는 디스플레이(430)와 일체로 형성되는 터치 스크린 또는 터치 패드로 형성될 수 있다. 또 다른 예로, 사용자 인터페이스(460)는 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등의 사용자 입력 장치를 포함할 수 있다. 또한, 사용자 인터페이스(460)는 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 수신하는 마이크로폰, 움직임 감지 센서, 생체 정보 감지 센서 등을 포함할 수 있다.
그에 따라서, 사용자 인터페이스(460)는 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 및/또는 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 수신할 수 있다.
개시된 실시예에서, 프로세서(420)는 사용자 인터페이스(460)를 통하여 수신되는 사용자 입력에 근거하여 병변 영역을 식별할 수 있다. 예를 들어, 초음파 진단 장치(500)는 디스플레이(430)를 통하여 초음파 영상을 디스플레이 할 수 있다. 사용자는 초음파 영상을 보고, 초음파 영상 내에 병변으로 의심되는 부위에 대응되는 소정 지점 또는 소정 영역을 선택하는 입력을 사용자 인터페이스(460)를 통하여 입력할 수 있다. 그러면, 프로세서(420)는 수신된 사용자 입력에 근거하여, 사용자 입력으로 선택된 지점 또는 소정 영역의 주위 또는 근처, 또는 선택된 지점 또는 소정 영역을 중심으로 소정 범위 내의 초음파 영상을 분석할 수 있다. 그리고, 분석 결과에 따라서 병변 경계 및 병변 경계에 의해서 형성되는 병변 영역을 식별할 수 있다.
또한, 개시된 실시예에서, 프로세서(420)는 컴퓨터 기반의 영상 처리 기술을 통하여 초음파 영상 내에 포함되는 병변 영역을 자동으로 검출할 수 있을 것이다. 전술한 예에서, 사용자는 초음파 영상을 보고, 초음파 영상 내에 병변으로 의심되는 부위에 대응되는 소정 지점 또는 소정 영역을 선택하는 입력을 사용자 인터페이스(460)를 통하여 입력할 수 있다. 그러면, 프로세서(420)는 컴퓨터 기반의 자동 진단 기술을 이용하여, 사용자 입력을 통하여 선택된 지점 또는 영역에 대응되는 초음파 영상의 적어도 일부 영역을 분석할 수 있다. 그리고, 프로세서(420)는 분석의 결과 병변의 경계 또는 병변의 경계에 의해서 형성되는 병변 영역을 정밀하게 추출할 수 있다.
여기서, 컴퓨터 기반의 영상 처리 기술은 기계 학습에 근거한 진단 기술 등을 포함할 수 있다.
여기서, 기계 학습은 컴퓨터 연산을 통하여 대상체에 이상 또는 병변이 발생하였는지를 판단 및 검출하는 캐드(CAD: Computer Aided Detection & Diagnosis) 시스템, 데이터 기반의 통계적인 기계 학습(Statistical learning), 또는 인공지능 기술에 따라 기계학습을 수행하는 인공지능 시스템을 통하여 수행될 수 있다. 계시된 실시예에서, 프로세서(420)는 컴퓨터 기반의 영상 처리 기술을 이용하여 초음파 영상을 분석하고, 분석의 결과 목적하는 정보(예를 들어, 병변 영역, 병변에 대한 정보, 진단 결과 등)를 획득할 수 있다.
여기서, 인공지능(Artificial Intelligence, AI) 시스템은 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 사용자가 요구하는 결과를 생성하는 시스템이다. 인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝(Deep learning) 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
개시된 실시예에서, 프로세서(420)는 병변 영역의 식별, 진단 결과의 획득, 진단 정보의 획득, 및/또는 병변을 식별하기 위한 기준을 정립하는데 있어서, 전술한 컴퓨터 기반의 영상 처리 기술인 기계 학습을 이용할 수 있다.
구체적으로, 인공 지능 기술을 통한 영상 처리는 신경망(Neural Network)을 기반으로 하는 연산을 통하여 수행될 수 있다. 구체적으로, 심층 신경망(DNN: Deep Neural Network) 등과 같은 신경망을 기반으로 하는 연산이 이용될 수 있다. 또한, 심층 신경망(DNN) 연산은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다. 인공 지능 기술을 통하여 초음파 영상을 처리하는 동작은 이하에서 도 29를 참조하여 상세히 설명한다.
이하에서는 도 6 내지 도 32를 참조하여, 개시된 실시예에 따른 초음파 진단 장치(100, 400 또는 500)에서 수행되는 동작들을 상세히 설명한다. 또한, 이하에서는 설명의 편의 상, 도 4를 초음파 진단 장치(400)를 예로 들어, 개시된 실시예의 동작들을 설명하도록 하겠다.
도 6은 실시예에서 획득한 초음파 영상을 나타내는 일 도면이다.
도 6을 참조하면, 초음파 진단 장치(400)에서 획득한 초음파 영상(600)이 도시된다. 구체적으로, 도 6에서는 유방 초음파 스캔을 통하여 획득된 유방 부위에 대응되는 초음파 영상(600)을 예로 들어 도시하였다.
프로세서(420)는 초음파 영상(600) 내에 포함되는 병변 영역(610)을 식별한다. 구체적으로, 프로세서(420) 캐드 기술 또는 인공 지능 기술 등과 같은 자동 진단 기술을 이용하여 초음파 영상(600)을 분석할 수 있다. 그리고, 분석의 결과, 프로세서(420)는 초음파 영상(600) 내에 포함되는 병변 영역(610)을 자동으로 검출할 수 있다. 이하에서는, 병변 영역(610)의 식별, 병변 영역(610)을 분석하여 진단 결과 및 진단 정보 중 적어도 하나를 획득하는 동작이, 캐드 기술을 이용하여 수행될 수 있을 것이다.
예를 들어, 사용자는 초음파 영상(600)을 보고, 사용자 인터페이스(460)를 통하여 초음파 영상(600) 내에서 병변으로 의식되는 영역 또는 의심 부위의 인접 영역 상의 일 지점 또는 소정 영역을 선택할 수 있다. 구체적으로, 사용자는 사용자 인터페이스(360)를 통하여, 병변 영역(610) 내의 일 지점(611)을 포인팅하거나, 터치 하거나, 클릭할 수 있다. 그러면, 프로세서(420)는 캐드 기술 또는 인공 지능 기술을 이용하여, 사용자 입력을 통하여 선택된 지점 또는 영역의 주변 영역을 분석하여, 병변 영역(610)을 정확하게 검출할 수 있다.
또한, 프로세서(420)는 캐드 기술 또는 인공 지능 기술을 이용하여 병변 영역(610)을 분석하여, 진단 결과를 획득할 수 있다.
그리고, 프로세서(420)는 검출된 병변 영역(610)을 사용자가 쉽게 인식할 수 있도록, 병변 영역(610)의 경계(615)가 명확히 나타나도록 영상 처리하여 진단 영상(미도시)을 생성할 수 있다. 예를 들어, 진단 영상(미도시)는 병변 영역(610)의 경계(615)를 사용자가 쉽게 인식할 수 있도록, 초음파 영상(600) 상에 병변 영역(610)의 경계(615)에 소정 색상의 선을 마킹하여 생성한 영상이 될 수 있다. 또한, 병변 영역(610)을 사용자가 쉽게 인식할 수 있도록 하는 처리는 다양하게 존재할 수 있다. 또 다른 예로, 병변 영역(610)의 투명도를 조절하거나, 병변 영역(610)을 특정 컬러 또는 패턴으로 마킹하거나, 병변 영역(610)의 경계(615)를 점선 또는 실선 등과 같은 윤곽선으로 마킹하는 등의 처리를 통하여, 진단 영상(미도시)를 생성할 수 있다.
그리고, 프로세서(420)는 제1 영역을 초음파 영상(600)의 병변 영역(610) 상에 표시하여 진단 영상(미도시)을 생성한다. 여기서, 제1 영역은 병변 영역에 있어서 병변을 진단하는데 근거가 되는 적어도 일부의 영역으로, 병변을 진단하는데 근거가 되는 초음파 영상 내의 적어도 일부 영역을 의미할 수 있다.
병변이 악성 또는 양성으로 구별되는 경우, 악성으로 구별되는 병변의 특징 및 양성으로 구별되는 병변의 특징이 서로 다르다. 병변이 악성 또는 양성으로 구별될 때, 병변의 구별 기준은 캐드 시스템, 인공 지능 시스템, 및 사용자 설정 중 적어도 하나에 근거하여 설정될 수 있다. 병변의 종류는 매우 다양하게 존재하며 병변은 다양한 기준에 따라서 구별될 수 있다. 따라서, 병변의 구별 기준은 실험적 또는 기계 학습에 의해서 최적화 되어 설정될 수 있다.
구체적으로, 병변을 분석하기 위해 기반이 되는 것이 병변 영역(610)이며 병변 영역(610)의 주변과 병변 영역(610)의 내부 영역이 담고 있는 내용에 따라, 진단 결과가 결정될 수 있다. 예를 들어, 병변은 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin), 병변 영역에서 나타나는 에코(echo) 특성, 및 병변 영역의 외부(posterior) 특성 중 적어도 하나를 분석한 결과에 근거하여, 특정 병변으로 구별될 수 있다.
캐드 등의 기술을 이용하여 병변을 진단하는데 있어서, 병변 영역을 정확하게 추출하는 것이 중요하다. 또한, 초음파 영상(600) 내에서 병변을 이미징한 영역인 병변 영역(610) 및 그의 주변 영역의 영상 정확도가 높아야 병변 영역을 정확하게 추출할 수 있다.
그러나, 병변의 특이한 형상, 초음파 영상의 화질, 초음파 스캔을 수행하는 초음파 진단 장치의 제품 사양, 초음파 진단 장치에서의 초음파 스캔 시 적용된 설정 등에 따라서, 병변 영역의 정확한 추출이 어려운 경우가 발생할 수 있다.
특히, 식별된 병변 영역의 경계가 바뀌게 되면, 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin) 특성 등이 변경될 수 있다. 그에 따라서, 병변의 진단 결과 또한 변경될 수 있다. 따라서, 병변 영역을 정확하게 추출하지 못하거나 그로 인하여 진단 결과가 정확하게 도출되지 못한다면, 진단 결과의 신뢰성이 저하될 수 있다.
종래의 캐드 시스템 등을 이용하여 진단 결과를 제공하는 초음파 진단 장치는 진단 결과를 도출하는 과정에 대한 설명 없이, 진단 결과만을 제공하였다. 그에 따라서, 잘못된 진단 결과가 제공된 경우 또는 진단 결과를 도출하는데 있어서 그 판단이 모호한 경우 등이 발행하더라도, 사용자는 이러한 잘못을 인식하지 못하였다. 그에 따라서, 사용자가 잘못된 진단 결과를 그대로 신뢰하여 진단 결과를 최종적으로 도출한 경우, 환자의 질병을 오진하게 될 수 있다.
또한, 잘못된 진단 결과의 제공은 사용자가 대상체를 진단하는데 별다른 도움이 되지 못하며, 사용자가 대상체를 진단하는데 혼란을 줄 수 있게 된다.
본 개시의 실시예에서는, 초음파 영상을 분석하여 병변 영역을 식별하고 병변에 대한 진단 결과를 제공하는 초음파 진단 장치(400)에 있어서, 진단 결과의 근거가 되는 영역(구체적으로, 제1 영역)을 표시한 진단 영상을 사용자에게 제공함으로써, 사용자가 진단 결과를 보다 신뢰하고, 진단 결과 및 제1 영역을 참조하여 보다 용이하게 대상체를 진단할 수 있도록 할 수 있다.
예를 들어, 유방 병변(lesion)의 경우, 병변 영역의 형태(shape)가 불규칙(irregular)하거나 가변적(variable)의 형태를 가지며, 병변 영역의 경계(margin)가 뾰쪽한(speculated) 패턴이 되며, 에코(echo) 특성이 저에너지 표시된 저음영발생(low-level marked hyperechogenic) 특성을 가지는 경우, 악성(malignant)으로 진단될 가능성이 높다. 도 6에 도시된 초음파 영상(600)에 포함되는 병변 영역(610)은 전술한 악성(malignant) 병변의 특성을 가지고 있으므로, 프로세서(420)는 초음파 영상(600)의 병변 영역(610)을 분석한 결과 ‘Malignant’ 또는 ‘Possibly Malignant’ 과 같은 진단 결과를 생성할 수 있다.
전술한 예에서, 초음파 영상(600) 내에 포함되는 병변이 악성으로 진단되는데 근거가 되는 것은, 병변 영역(610)의 형태가 구형(oval) 또는 타원체(ellipsoid)이 아닌 불규칙(irregular)한 형태를 가진다는 것, 병변 영역의 경계(margin)에 뾰쪽한(speculated) 패턴이 존재한다는 것 등이 될 수 있다. 따라서, 병변 영역(610)의 경계(615) 형태 및 병변 영역(610)에서 뾰쪽한(speculated) 패턴을 가지는 경계 영역(620, 630)은, 진단 결과(구체적으로, 병변이 양성임)의 근거가 되는 영역이 될 수 있다.
그러므로, 개시된 실시예에서는, 병변 영역(610)을 악성으로 진단하는데 근거가 되는 영역들(예를 들어, 620, 경계가 표시되는 영역인 615 또는 630)을 표시한 진단 영상을 사용자에게 제공함으로써, 사용자가 빠르고 용이하게 대상체를 진단할 수 있도록 할 수 있다.
본 개시의 실시예에서, 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역은 진단 영상 내에서 다른 영역들과 구별되도록 표시될 수 있다. 구체적으로, 프로세서(420)는 특정 색상, 기호, 투명도, 밝기, 마크, 및 특정 패턴의 선 중 적어도 하나를 이용하여, 진단 영상 내에서 제1 영역과 이외의 영역들을 구별하여 표시할 수 있다.
도 7은 실시예에서 제공하는 일 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다. 구체적으로, 도 7은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(700)을 나타낸다. 설명의 편의 상, 도 7을 포함하여 도 8, 1021, 및 23-28에서는, 진단 영상(예를 들어, 710) 내에 포함되는 병변 영역(예를 들어, 720)을 단순화하여 개략적으로 도시하였다. 여기서, 병변 영역의 경계(720)는 도 6의 병변 영역의 경계(615)에 동일 대응될 수 있다.
도 7을 참조하면, 사용자 인터페이스 화면(700)은 진단 영상(710) 및 진단 결과를 나타내는 부분 화면(750)을 포함할 수 있다. 이하에서는, 사용자 인터페이스 화면(700) 내에 포함되는 진단 결과를 나타내는 부분 화면(750)을 설명의 편의 상 ‘진단 결과(750)’이라 칭하도록 한다.
도 7을 참조하면, 진단 영상(710) 에서 이미징된 병변을 ‘Malignant’로 판단한 근거가 되는 부분은 병변 영역의 경계(720) 중 뾰쪽한(speculated) 패턴을 갖는 부분이라 할 수 있다. 따라서, 진단 영상(710)은 병변 영역의 경계(720)에 있어서 뾰쪽한(speculated) 패턴을 갖는 영역(730)을 제1 영역으로 표시한 영상이 될 수 있다.
예를 들어, 프로세서(420)는 제1 영역(예를 들어, 730)이 이외의 영역과 구별되도록 표시할 수 있다. 도 7에서는 제1 영역을 영역 표시 선을 이용하여 표시한 경우를 예로 들어 도시하였다. 그에 따라서, 사용자는 병변을 포함하는 초음파 영상인 진단 영상(710)을 보고, 제1 영역(예를 들어, 730) 내에서 이미징된 병변의 특성(구체적으로, 뾰쪽한(speculated) 패턴을 갖는 경계)을 용이하게 인식할 수 있다. 그에 따라서, 사용자는 초음파 진단 장치가 제공하는 진단 결과(예를 들어, ‘Malignant’)가 올바른 것인지 빠르고 쉽게 판단할 수 있도록 할 수 있다.
또한, 도 7에서는 진단 영상(710) 내에 하나의 영역이 제1 영역으로 표시된 경우를 예로 들어 도시하였다. 그러나, 개시된 실시예에서, 제1 영역은 진단 영상(710) 내의 복수의 영역으로 존재할 수 있다. 즉, 개시된 실시예에서, ‘제1 영역’은 병변을 진단하는데 근거가 되는 영역을 지칭하는 것일 뿐, 영역의 개수가 한 개임을 의미하는 것이 아니라 할 것이다.
또한, 제1 영역은 병변 영역(예를 들어, 610 또는 701)에서 병변의 특성을 나타내는 복수의 특성들이 존재할 때, 상기 복수의 특성들 중 적어도 하나를 나타내는 영역이 될 수 있다. 여기서, 복수의 특성은 병변의 종류를 구별하기 위한 병변의 특성으로, 전술한 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin), 병변 영역에서 나타나는 밝기 특성을 나타내는 에코(echo) 특성, 및 병변 영역의 병변 영역의 후방(posterior feature)특성 등이 될 수 있다.
구체적으로, 전술한 복수의 특성은 미국 방사선과의사협회(ACR: American College of Radiology)에서 정의한 초음파 검사 표준 용어인 렉시콘(Lexicon)에 포함되는 복수개의 항목들에 대응될 수 있다.
따라서, 제1 영역은, 전술한 복수의 특성들 중 적어도 하나의 특성을 나타내는 영역이 될 수 있다.
구체적으로, 도 6에 있어서, 표시된 제1 영역(620 및 630)은 전술한 특성들 중 병변의 경계(margin)을 나타내는 영역이 될 수 있다. 또한, 도 6에 있어서, 표시된 경계선(615)는 전술한 특성들 중 병변 영역의 형태(shape)를 나타내는 영역이 될 수 있다.
개시된 실시예에서, 진단 영상(710)는 전술한 복수개의 특성들 중 어느 하나의 특성을 나타내는 적어도 하나의 영역을 제1 영역으로 표시할 수 있다.
또한, 또한, 진단 영상(710)은 전술한 복수개의 특성들 중 두 개 이상의 특성을 나타내는 복수개의 영역을 제1 영역으로 표시할 수 있다. 여기서, 복수개의 특성들을 나타내는 복수개의 영역을 진단 영상(710) 상에 표시하는 경우, 서로 다른 특성이 구별되어 표시되도록, 복수개의 영역을 진단 영상(710) 상에 표시할 수 있다. 구체적으로, 프로세서(420)는 병변 영역을 나타내는 복수의 특성들이 존재할 때, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여 상기 복수의 특성들에 있어서 서로 다른 특성들이 상호 구별되도록, 상기 적어도 하나의 영역을 상기 병변 영역 상에 표시할 수 있을 것이다. 그리고, 프로세서(420)는 상기 적어도 하나의 영역이 표시된 진단 영상이 디스플레이 되도록 제어할 수 있다.
예를 들어, 도 6에 도시된 초음파 영상(600)이 진단 영상으로 생성되는 경우, 병변의 경계(margin) 특성을 나타내는 영역인 620 및 630 영역은 빨강색 컬러를 갖는 표시선으로 마킹할 수 있으며, 병변의 형태(shape) 특성을 나타내는 경계선(615)은 파랑색 컬러를 갖는 표시선으로 마킹 할 수 있을 것이다.
도 8은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다. 구체적으로, 도 8은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(700)을 나타낸다. 도 8에 도시된 사용자 인터페이스 화면(800)에 있어서, 도 7에 도시된 사용자 인터페이스 화면(700)에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 프로세서(420)는 초음파 영상 상에 제1 영역(예를 들어, 730)에서 나타나는 병변 영역의 특성(예를 들어, 병변 영역의 경계 특성)에 대한 정보인 진단 정보를 표시하여, 진단 영상(810)을 생성할 수 있다.
여기서, 진단 정보는 제1 영역에서 나타내는 병변 영역의 특성을 나타내는 정보, 또는 진단 결과를 도출하는데 근거가 되는 정보가 될 수 있다.
예를 들어, 제1 영역(730)에서 나타나는 병변 영역의 특성은 병변 영역의 경계 특성이 되므로, 진단 정보(835)는 경계 특성을 구체적으로 나타내는 정보인 ‘Margin: speculated’ 등이 될 수 있을 것이다. 또한, 진단 정보는 진단 결과인 악성 판단을 도출하는데 근거가 되는 정보인 ‘악성 판단 근거: Margin - speculated’ 등이 될 수 있을 것이다.
또한, 진단 정보는 진단 영상 내에서 제1 영역에 대응되는 영역(예를 들어, 제1 영역에 인접한 영역으로, 사용자가 제1 영역을 관찰하는데 방해가 되지 않는 영역 등) 상에 표시될 수 있다.
전술한 예에서, 프로세서(420)는 ‘Margin: speculated’ 또는 ‘악성 판단 근거: Margin - speculated’ 를 제1 영역(730)에 인접한 영역(835)에 표시하여, 진단 영상(810)을 생성할 수 있다.
도 9는 실시예에서 획득한 초음파 영상을 나타내는 다른 도면이다. 도 9를 참조하면, 초음파 진단 장치(400)에서 획득한 초음파 영상(900)이 도시된다. 구체적으로, 도 9에서는 유방 초음파 스캔을 통하여 획득된 유방 부위에 대응되는 초음파 영상(900)을 예로 들어 도시하였다.
유방 병변(lesion)의 경우, 병변 영역의 형태(shape)가 구형(oval) 또는 타원체(ellipsoid)의 형태를 가지며, 병변 영역의 경계(margin)이 부드러운(smooth) 패턴이 되며, 에코(echo) 특성이 고음영발생(hyperechogenic) 특성을 가지는 경우, 양성(benign)으로 진단될 가능성이 높다. 도 9에 도시된 초음파 영상(900)에 포함되는 병변 영역(910)은 전술한 양성(benign) 병변의 특성을 가지고 있으므로, 프로세서(420)는 초음파 영상(600)의 병변 영역(610)을 분석한 결과 ‘Benign’ 또는 ‘Possibly Benign’ 과 같은 진단 결과를 생성할 수 있다.
전술한 예에서, 초음파 영상(900) 내에 포함되는 병변이 양성으로 진단되는데 근거가 되는 것은, 병변 영역(910)의 형태가 구형(oval) 또는 타원체(ellipsoid)의 형태를 가진다는 것, 병변 영역의 경계(margin)가 부드러운(smooth) 패턴을 가진다는 것 등이 될 수 있다. 따라서, 병변 영역(910)의 형태(920) 및 병변 영역(910)에서 부드러운(smooth) 패턴을 가지는 경계 영역(930)은, 진단 결과(구체적으로, 병변이 양성임)의 근거가 되는 초음파 영상(900) 내의 적어도 일부 영역이 될 수 있다. 여기서, 병변 영역(910)의 형태(920)를 표시한 선(920)은 병변 영역(910)의 경계(915)와 중첩되도록 표시되거나 또는 병변 영역(910)에 인접하는 영역 상에 표시될 수 있다.
개시된 실시예에서는, 병변 영역(910)을 양성으로 진단하는데 근거가 되는 영역들(예를 들어, 920, 및 930)을 표시한 진단 영상을 사용자에게 제공함으로써, 사용자가 진단 결과를 보다 신뢰하고, 진단 결과 및 제1 영역을 참조하여 보다 용이하게 대상체를 진단할 수 있도록 할 수 있다.
도 10은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다. 구체적으로, 도 7은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(1000)을 나타낸다. 또한, 도 10에서는 도 8 및 도 9에서와 유사하게, 진단 영상(110) 내에 포함되는 병변 영역(1020)을 개략적으로 도시하였다. 여기서, 병변 영역의 경계(1020)는 도 9의 병변 영역의 경계(915)에 동일 대응될 수 있다.
도 10을 참조하면, 사용자 인터페이스 화면(1000)은 진단 영상(1010) 및 진단 결과(1050)를 포함할 수 있다.
진단 영상(1010) 에서 이미징된 병변을 ‘Benign’ 으로 판단한 근거가 되는 부분은 병변 영역의 경계(1020) 중 부드러운(smooth) 패턴을 갖는 부분이라 할 수 있다. 따라서, 진단 영상(1010)은 병변 영역의 경계(1020)에 있어서 부드러운(smooth) 패턴을 갖는 영역(730)을 제1 영역으로 표시한 영상이 될 수 있다. 사용자는 병변을 포함하는 초음파 영상인 진단 영상(1010)을 보고, 제1 영역(예를 들어, 1030) 내에서 이미징된 병변의 특성(구체적으로, 부드러운(smooth) 패턴을 갖는 경계)을 용이하게 인식할 수 있다. 그에 따라서, 사용자는 초음파 진단 장치가 제공하는 진단 결과(예를 들어, ‘Benign’ )가 올바른 것인지 빠르고 쉽게 판단할 수 있도록 할 수 있다.
도 11은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 도면이다. 구체적으로, 도 11은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(1100)을 나타낸다. 도 11에 도시된 사용자 인터페이스 화면(1100)에 있어서, 도 10에 도시된 사용자 인터페이스 화면(1000)에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 프로세서(420)는 초음파 영상 상에 제1 영역(예를 들어, 1030)에서 나타나는 병변 영역의 특성(예를 들어, 병변 영역의 경계 특성)에 대한 정보인 진단 정보(1135)를 표시하여, 진단 영상(1110)을 생성할 수 있다.
예를 들어, 제1 영역(1030)에서 나타나는 병변 영역의 특성은 병변 영역의 경계 특성이 되므로, 진단 정보(1135)는 경계 특성을 구체적으로 나타내는 정보인 ‘Margin: smooth’ 등이 될 수 있을 것이다. 또한, 진단 정보는 진단 결과인 악성 판단을 도출하는데 근거가 되는 정보인 ‘양성 판단 근거: Margin - smooth’ 등이 될 수 있을 것이다.
도 12는 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 다른 도면이다.
개시된 실시예에서, 프로세서(420)는 병변을 분석할 결과, 진단 결과가 한계값 이상의 정확도를 갖는지 판단하고, 한계값 이상의 정확도를 갖는 진단 결과가 존재하지 않는 경우 적어도 두 개의 진단 결과를 도출할 수 있다.
예를 들어, 병변을 분석한 결과 획득된 진단 결과가 90% 이상의 정확도를 갖는 경우, 프로세서(420)는 하나의 진단 결과를 출력할 수 있다. 도 6에 도시된 병변(610)이 90% 의 정확도로 악성으로 판단되는 경우, 프로세서(420)는 병변(610)의 진단 결과를 ‘악성’이라고 판단할 수 있다.
이와 달리, 병변을 분석한 결과 획득된 진단 결과가 한계값(예를 들어, 90%) 미만의 정확도를 갖는 경우, 프로세서(420)는 복수의 진단 결과를 출력할 수 있다. 예를 들어, 병변(1220)에 대한 진단 결과(1050)는 사용자 인터페이스(1200)에서와 같이 복수의 진단 결과 각각에 대한 진단 정확도와 함께 표시될 수 있다. 또한, 프로세서(420)는 복수의 진단 결과를 출력하는데 있어서, 복수의 진단 결과의 정확도가 높은 순으로 진단 결과가 출력되도록 할 수 있다.
초음파 영상에 포함되는 병변 영역(1220)을 분석한 결과, 병변(1220)이 양성으로 판단되는 확률이 70%이고, 악성으로 판단되는 확률이 30%가 되는 경우를 예로 들자. 또한, 프로세서(420)가 진단 결과의 정확도에 대응되는 한계값을 90%로 설정한 경우를 예로 들자. 이 경우, 병변(1220)에 대한 진단 결과(1050)는 ‘Benign: 30%, Malignant: 70%’와 같이 표시될 수 있을 것이다.
또한, 진단 영상(1210)은 양성 판단의 근거가 되는 제1 영역(예를 들어, 1030) 및 악성 판단의 근거가 되는 제1 영역(예를 들어, 730)를 모두 표시한 영상이 될 수 있다. 또한, 도 9 및 도 11에서와 유사하게, 진단 영상(1210)은 제1 영역에 대응되는 진단 정보(예를 들어, 835, 1135)를 추가적으로 표시한 영상이 될 수 있다.
도 13은 실시예에서 제공하는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
개시된 실시예에서, 프로세서(420)는 진단 영상(1310), 진단 결과(1330), 및 병변 영역의 특성들을 나타내는 리스트(1302)를 포함 하는 사용자 인터페이스 화면(1400)을 생성할 수 있다. 그리고, 디스플레이(430)는 프로세서(420)의 제어에 따라서, 사용자 인터페이스 화면(1400)을 디스플레이 할 수 있다.
또한, 진단 영상(1310) 및 진단 결과(1330)는 하나의 부분 화면(1301)로 형성될 수 있다. 구체적으로, 프로세서(420)는 진단 영상(1310) 상의 일부 영역에 진단 결과(1330)을 중첩적으로 표시하여, 진단 영상(1310)을 생성할 수 있다. 도 13에서는, 진단 결과(1330)가 Benign 과 Malignant 를 분류(classification)한
또한, 리스트(1302)는 병변을 나타내는 특성들 각각에 대응되는 항목들을 포함한다. 여기서, 복수의 특성들 각각은 병변의 종류를 구별하기 위한 병변의 특성으로, 전술한 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin), 병변 영역에서 나타나는 밝기 특성을 나타내는 에코(echo) 특성, 및 병변 영역의 병변 영역의 후방(posterior feature)특성 등이 될 수 있다.
구체적으로, 전술한 복수의 특성은 미국 방사선과의사협회(ACR: American College of Radiology)에서 정의한 초음파 검사 표준 용어인 렉시콘(Lexicon)에 포함되는 복수개의 항목들에 대응될 수 있다. 이 경우, 리스트(1302)는 렉시콘(Lexicon)에 포함되는 복수개의 항목들(1360)을 포함할 수 있다.
도 13을 포함하여 이하에서 설명 및 도시되는 도면들에 있어서, 병변 영역의 특성들을 나타내는 리스트(1302)는 렉시콘(lexicon)으로 형성되는 경우를 예로 들어 도시 및 설명하도록 한다.
본 개시의 실시예에서, 프로세서(420)는 복수개의 특성들 각각에 대응되는 복수개의 부분 영역들이 존재하는 경우, 복수개의 특성들이 서로 구별되도록, 복수개의 부분 영역들을 구별하여 표시된 진단 영상을 생성할 수 있다.
또는, 프로세서(420)는 리스트(1302)에 포함되는 복수개의 항목들(1360) 중 사용자가 선택한 항목에 대응되는 제1 영역이 진단 영상(1320) 상에 포함되도록, 진단 영상(1320)을 생성할 수 있다.
구체적으로, 프로세서(420)는 리스트(1302)에 포함되는 복수의 항목들 중 어느 하나를 선택하는 사용자 입력에 대응하여, 초음파 영상에 있어서, 선택된 항목에 대응되는 특성을 나타내는 적어도 하나의 부분 영역을 제1 영역으로 표시 하여, 진단 영상을 생성할 수 있다. 그리고, 프로세서(420)는 생성된 진단 영상이 반영되도록, 사용자 인터페이스 화면(1400)을 갱신하여 생성 및 디스플레이 할 수 있다.
초음파 진단 장치(400)가 사용자 인터페이스 화면(1300)을 디스플레이 하면, 사용자는 사용자 인터페이스 화면(1300)을 보고, 진단 결과(1330)의 근거가 되는 복수의 특성들 중 어느 하나의 특성이 나타나는 초음파 영상 상의 부분 영역이 어디인지 확인하고 싶을 수 있다. 이 경우, 사용자는 사용자 인터페이스(460)를 통하여 진단 결과(1330)의 근거가 되는 복수의 특성들 중 어느 하나를 선택할 수 있다. 구체적으로, 사용자는 리스트(1302) 상에 포함되는 복수의 특성들 중 어느 하나에 대응되는 항목을 선택할 수 있다. 그에 따라서, 사용자 인터페이스(460)는 리스트(1302)에 포함되는 일 항목을 선택하는 사용자 입력을 수신할 수 있다. 그러면, 프로세서(420)는 사용자 인터페이스(460)를 통하여 수신되는 사용자 입력에 근거하여, 선택된 항목에 대응되는 특성을 식별하고, 식별된 특성을 나타내는 영역(구체적으로, 제1 영역)을 초음파 영상 상에 표시되도록 진단 영상을 생성할 수 있다.
즉, 초음파 진단 장치(400)는 사용자 인터페이스(460)를 통하여 입력되는 사용자 입력에 근거하여, 선택된 항목에 대응되는 특성을 나타내는 영역(구체적으로, 제1 영역)을 초음파 영상 상에 표시하여 생성한 진단 영상을 포함하는 사용자 인터페이스 화면을 출력할 수 있다. 여기서, 소정 특성을 나타내는 영역(구체적으로, 초음파 영상 내의 부분 영역인 제1 영역)은, 소정 특성을 결정 또는 판단하는 근거가 되는 영역을 의미할 수 있다. 예를 들어, 병변 영역에서의 shape 특성이 Oval 로 판단될 경우, 상기 제1 영역은 병변 영역 중에서 타원에 대응되는 곡율을 가지는 적어도 일부의 경계 영역이 될 수 있다.
전술한 바와 같이, 사용자 입력에 근거하여 선택된 특성을 나타내는 제1 영역을 표시한 진단 영상을 제공할 경우, 사용자는 초음파 영상 내에서 자신이 확인하고자 하는 특성이 나타난 부분 영역을 용이하게 확인할 수 있다. 그에 따라서, 사용자가 병변을 진단하는데 있어서의 사용자 편리성 및 용이성을 증대시킬 수 있다.
이하에서 설명할 도 14 내지 도 19에 있어서, 도 13에서와 도시된 구성과 중복되는 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 14는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 14를 참조하면, 사용자 인터페이스 화면(1400)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1300)을 보고 리스트(1302)에 포함되는 ‘Shape’ 항목을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Shape’ 특성을 나타내는 부분 영역(1410)을 식별하고, 식별된 부분 영역(1410)을 제1 영역으로 표시한 진단 영상(1401)이 포함된 사용자 인터페이스 화면(1400)이 출력되도록 제어할 수 있다. 또한, 도 154에서는 소정 특성을 판단하는 근거가 되는 부분 영역이 한 개인 경우를 예로 들어 도시하였으나, 소정 특성을 판단하는 근거가 되는 부분 영역이 복수개 존재할 수 있음은 당연하다.
또한, 사용자 인터페이스 화면(1400)에 있어서, 리스트(1302) 내에서 선택된 항목(1411)은 선택되지 않은 항목들(예를 들어, Orientation 항목, Margin 항목, Echo 항목, 및 Posterior 항목)과 구별되도록, 표시될 수 있다. 예를 들어, 프로세서(420)는 서로 다른 색상, 기호, 투명도, 밝기, 마크, 및 특정 패턴의 선 중 적어도 하나를 이용하여, 리스트(1302) 내에서 선택된 항목(1411)은 선택되지 않은 항목들(예를 들어, Orientation 항목, Margin 항목, Echo 항목, 및 Posterior 항목)을 구별하여 표시한 진단 영상(1401)을 생성할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1410)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1410) 상에 나타나는 병변 영역의 형태(shape) 특성이 ‘타원형(Oval)’인 경우, 프로세서(420)는 ‘Shape-Oval’이라고 기재된 진단 정보를 부분 영역(1410)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 15는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 15를 참조하면, 사용자 인터페이스 화면(1500)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1500)을 보고 리스트(1302)에 포함되는 ‘Orientation’ 항목(1511)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Orientation’ 특성을 나타내는 부분 영역(1510)을 식별하고, 식별된 부분 영역(1510)을 제1 영역으로 표시한 진단 영상(1501)이 포함된 사용자 인터페이스 화면(1500)이 출력되도록 제어할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1510)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1510) 상에 나타나는 병변 영역의 방향(Orientation) 특성이 ‘수평(Parallel)’인 경우, 프로세서(420)는 ‘Orientation - Parallel’이라고 기재된 진단 정보를 부분 영역(1510)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 16은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 16을 참조하면, 사용자 인터페이스 화면(1600)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1600)을 보고 리스트(1302)에 포함되는 ‘Margin’ 항목(1611)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Margin’ 특성을 나타내는 부분 영역(1610, 1620)을 식별하고, 식별된 부분 영역(1610, 1620)을 제1 영역으로 표시한 진단 영상(1601)이 포함된 사용자 인터페이스 화면(1600)이 출력되도록 제어할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1610, 1620)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1610, 1620) 상에 나타나는 병변 영역의 경계(Margin) 특성이 ‘부드러운(smooth)’인 경우, 프로세서(420)는 ‘Margin - smooth’이라고 기재된 진단 정보를 부분 영역(1610, 1620)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 17은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 17을 참조하면, 사용자 인터페이스 화면(1700)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1700)을 보고 리스트(1302)에 포함되는 ‘Echo’ 항목(1711)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Echo’ 특성을 나타내는 부분 영역(1710, 1720)을 식별하고, 식별된 부분 영역(1710, 1720)을 제1 영역으로 표시한 진단 영상(1701)이 포함된 사용자 인터페이스 화면(1700)이 출력되도록 제어할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1710, 1720)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1710, 1720) 상에 나타나는 병변 영역의 밝기(Echo) 특성이 ‘고에코(hyperechoic)’인 경우, 프로세서(420)는 ‘Echo - hyperechoic’이라고 기재된 진단 정보를 부분 영역(1710, 1720)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 18은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 18을 참조하면, 사용자 인터페이스 화면(1800)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1800)을 보고 리스트(1302)에 포함되는 ‘Posterior’ 항목(1811)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Posterior’ 특성을 나타내는 부분 영역(1810)을 식별하고, 식별된 부분 영역(1810)을 제1 영역으로 표시한 진단 영상(1801)이 포함된 사용자 인터페이스 화면(1800)이 출력되도록 제어할 수 있다.
예를 들어, 대상체가 담낭을 포함하는 복부인 경우, 병변 영역이 식별되며, 식별된 병변 영역의 외부 영역(구체적으로, 병변 영역의 뒷부분 영역)이 초음파 영상 내에서 매우 어둡게 이미징되는 경우, 담낭에 병변으로서 돌이 존재하는 것으로 판단할 수 있다. 상기의 예에서, 프로세서(420)는 ‘Posterior’ 특성이 선택되는 경우, 식별된 병변 영역의 외부 영역 중 매우 어둡게 이미징된 영역을 제1 영역으로 표시한 진단 영상을 생성할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1810)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1810) 상에 나타나는 병변 영역의 외부 (Posterior) 특성이 ‘특이 사항 없음(No Posterior Findings)’인 경우, 프로세서(420)는 ‘Posterior - No Posterior Findings’ 또는 ‘No Posterior Findings’ 이라고 기재된 진단 정보를 부분 영역(1810)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 19는 실시예에서 제공하는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다. 도 19에 있어서, 도 13 내지 도 18에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 프로세서(420)는 병변 결과를 나타내는 복수의 특성들 각각에 대응되는 복수의 진단 영상이 순차적으로 디스플레이 되도록, 사용자 인터페이스 화면을 생성 및 디스플레이 할 수 있다.
구체적으로, 프로세서(420)는 리스트(1302)에 포함되는 항목들에 대응되는 특성들이 순차적으로 나타나도록, 진단 영상을 생성 및 디스플레이할 수 있다. 예를 들어, 프로세서(420)는 도 14에 도시된 진단 영상(1401), 도 15에 도시된 진단 영상(1501), 도 16에 도시된 진단 영상(1601), 도 17에 도시된 진단 영상(1701), 및 도 18에 도시된 진단 영상(1801)이 순차적으로 디스플레이 되도록, 초음파 진단 장치(400)를 제어할 수 있다.
또한, 진단 영상(1401), 진단 영상(1501), 진단 영상(1601), 진단 영상(1701), 및 진단 영상(1801) 간의 디스플레이 순서는 사용자 설정, 프로세서(420)의 자체 설정, 복수의 특성들 간의 중요도, 또는 복수의 특성들이 진단 결과에 미치는 영향력 등에 근거하여 결정될 수 있다.
도 20은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 20을 참조하면, 사용자 인터페이스 화면(2000)은 도 13에 도시된 사용자 인터페이스 화면(1300)에 대응될 수 있다. 도 13과 관련하여 설명한 바와 같이, 사용자는 리스트(1302)에 포함되는 복수의 특성들에 대응되는 복수의 항목들 중 적어도 두 개의 항목을 선택할 수 있다. 그에 따라서, 프로세서(420)는 복수의 특성들 각각을 나타내는 부분 영역들이 표시된 진단 영상(2010) 및 진단 결과(2050)를 포함하는 사용자 인터페이스 화면(2000)이 생성 및 디스플레이 되도록 제어할 수 있다.
예를 들어, 사용자 입력을 통하여 리스트(1302)에 포함되는 Margin 항목과 shape 항목이 선택된 경우, 프로세서(420)는 Margin 특성을 판단하는 근거가 되는 부분 영역(2040) 및 Shape 특성을 판단하는 근거가 되는 부분 영역(2030)이 상호 구별되도록 표시한 진단 영상(2010)이 생성 및 디스플레이 되도록 제어할 수 있다. 또한, 프로세서(420)는 부분 영역(예를 들어, 2040)에 대응되는 영역에 진단 정보(예를 들어, 2041)가 중첩적으로 표시되도록, 진단 영상(2010)을 생성할 수 있다. 또한, 도 20에서는 부분 영역(2040)과 부분 영역(2030)이 서로 다른 점선의 패턴을 통하여 구별되는 경우를 예로 들어 도시하였다.
또한, 사용자가 특정 항목(또는 특성)을 선택하지 않는 경우, 프로세서(420)는 사용자 설정, 프로세서(420)의 자체 설정, 복수의 특성들 간의 중요도, 또는 복수의 특성들이 진단 결과에 미치는 영향력 등에 근거하여, 복수개의 특성들 중 적어도 두 개 이상의 특성들을 나타내는 부분 영역들이 표시된 진단 영상(예를 들어, 2010)을 생성할 수 있다. 구체적으로, 프로세서(420)는 특정 색상, 기호, 투명도, 밝기, 마크, 및 특정 패턴의 선 중 적어도 하나를 이용하여, 복수개의 특성들이 상호 구별되도록, 부분 영역들을 진단 영상에 표시할 수 있다.
예를 들어, 프로세서(420)는 병변 영역의 형태(shape) 특성을 나타내는 부분 영역은 빨강색 점선으로 표시하고, 병변의 방향(orientation) 특성을 나타내는 부분 영역은 파랑색 점선으로 표시하고, 병변의 경계(margin) 특성을 나타내는 부분 영역은 초록색 점선으로 표시하고, 병변 영역에서 나타나는 밝기 특성을 나타내는 에코(echo) 특성 특성을 나타내는 부분 영역은 노랑색 점선으로 표시하며, 병변 영역의 병변 영역의 후방(posterior feature) 특성을 나타내는 부분 영역은 보라색 점선으로 표시함으로써, 서로 다른 특성들이 상호 구별될 수 있도록 진단 영상을 생성할 수 있다.
도 21은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 21에 있어서, 도 20에 도시된 구성과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 리스트(2102)에 있어서, 복수의 항목들 각각은 복수의 항목에 대응되는 특성을 구체적으로 나타내는 정보를 포함할 수 있다. 예를 들어, Shape 항목에는 Shape 특성을 구체적으로 설명하는 특성인 ‘irregular’라는 정보가 포함될 수 있고, Margin 항목에는 ‘speculated’라는 정보가 포함될 수 있다.
또한, 프로세서(420)는 리스트(2102)에 포함되는 복수의 항목들 각각은 그에 대응되는 적어도 하나의 부분 영역과 매칭되어 표시되도록 제어할 수 있다. 구체적으로, 프로세서(420)는 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여, 복수의 항목들 각각을 그에 대응되는 적어도 하나의 부분 영역과 매칭시켜 표시할 수 있다.
예를 들어, 부분 영상(2030)은 Shape 특성을 판단하는 근거가 되는 부분 영상이며, 부분 영상(2040)은 Margin 특성을 판단하는 근거가 되는 부분 영상인 경우를 예로 들자. 이 경우, 프로세서(420)는 부분 영상(2030)과 리스트(2102) 내의 Shape 항목이 동일한 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나로 표시되도록 제어할 수 있다. 또한, 프로세서(420)는 부분 영상(2040)과 리스트(2102) 내의 Margin 항목이 동일한 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나로 표시되도록 제어할 수 있다. 이때, Shape 항목과 Margin 항목은 상호 구별되는 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나로 표시될 수 있다.
또한, 진단 결과(2050)는 병변 영역의 Shape 가 irregular 하고, Margin 이 speculated 하다는 점에 근거하여, Malignant(악성)으로 판단 및 표시될 수 있다.
도 22는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 22를 참조하여, 프로세서(420)는 진단 영상(2210), 진단 결과(2250), 및 병변 영역의 특성들을 나타내는 리스트(2202)를 포함 하는 사용자 인터페이스 화면(1400)을 생성할 수 있다.
개시된 실시예에서, 프로세서(420)는 리스트(2202)에 포함되는 소정 특성이 변경되면 진단 결과가 달라지는 경우, 리스트(2203)에 포함에 포함되는 소정 특성을 이외의 특성들과 구별할 수 있다.
병변 영역에 포함되는 부분 영역의 특성이 변경되면, 진단 결과가 달라지는 경우가 존재할 수 있다. 즉, 진단 결과(예를 들어, 양성 또는 악성)의 판정에 영향을 미쳐서 진단 결과를 변경시킬 수 있는 특성이 존재하는 경우가 존재할 수 있다. 이하에서는 진단 결과를 변경시킬 수 있는 특성을 ‘주요 특성’이라 칭하도록 한다. 그리고, 초음파 영상 내에서 주요 특성을 나타내는 부분 영역을 별도로 제2 영역이라 칭하도록 한다.
예를 들어, 프로세서(420)는 병변의 경계 영역 및 병변의 경계를 획득하고, 획득된 병변의 경계에 근거하여, 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin) 형태, 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방 특징(posterior feature) 중 적어도 하나의 특성을 획득할 수 있다.
여기서, 병변의 경계가 불명확한 구간이 존재하는 경우가 존재할 수 있다. 예를 들어, 병변 영역(2220) 내의 일부 영역(예를 들어, 2230)에서 병변의 경계가 불명확한 경우가 존재할 수 있다. 이 경우, 프로세서(420)는 일부 영역(2230)에서 제1 경계를 병변의 경계로 획득할 수도 있고 제2 경계를 병변의 경계로 획득할 수도 있을 것이다. 이 경우, 제1 경계에 근거할 경우 병변의 형태가 Oval 로 판단될 수 있으며, 제2 경계에 근거할 경우 병변의 형태가 irregular 로 판단되는 경우가 존재할 수 있다. 즉, 일부 영역(예를 들어, 2230) 내에서의 병변의 경계가 변경될 경우, 프로세서(420)는 진단 결과의 근거가 되는 특성이 변경되는 경우, 이러한 일부 영역(예를 들어, 2230)이 표시된 진단 영상(2201)이 디스플레이되도록 제어할 수 있다.
또한, 프로세서(420)는 초음파 영상 내에서, 병변 경계가 불명확한 부분을 표시하여 진단 영상을 생성할 수 있다. 여기서, '경계가 불명확한 부분'은 추출된 경계의 정확도가 한계값 이하의 값을 가지는 경우가 될 수 있다. 구체적으로, 프로세서(420)는 병변의 경계가 불명확한 부분(예를 들어, 2230) 내에 추출된 경계를 불명확하지 않은 부분(예를 들어, 2230 이외의 부분)의 경계와 구별되도록 표시하여, 진단 영상(2201)을 생성 및 디스플레이 할 수 있다.
도 22를 참조하면, 프로세서(420)는 도시된 바와 같은 경계를 갖는 병변 영역(2220)을 추출할 수 있다. 여기서, 추출된 경계가 불명확한 부분이 부분 영역(2230)으로 표시될 수 있다. 그리고, 프로세서(420)는 도 22에 도시된 바와 같이 부분 영역(2230)이 표시된 진단 영상(2201)이 디스플레이되도록 제어할 수 있다.
구체적으로, 프로세서(420)는 도시된 경계를 갖는 병변 영역(2220)을 분석한 결과, 부분 영역(2230)에 나타나는 shape 특성이 irregular 로 판단될 수 있다. 그러나, 부분 영역(2230)에 나타나는 shape 특성이 oval 로 변경될 경우, 진단 결과(2250)가 악성에서 양성으로 변경되는 경우가 존재할 수 있다. 구체적으로, 부분 영역(2230) 내에서의 경계가 변경되는 경우 shape 특성이 oval 로 변경되며, shape 특성이 oval 로 변경될 경우, 진단 결과(2250)가 악성에서 양성으로 변경되는 경우가 존재할 수 있다. 이러한 경우, shape 특성이 전술한 주요 특성이 될 수 있다.
개시된 실시예에서, 프로세서(420)는 전술한 불명확한 영역(예를 들어, 2230)에서 나타나는 주요 특성을 리스트(2202) 내의 다른 특성들과 구별하기 위한 표시(예를 들어, 마크(2275))를 추가하여, 리스트(2202)를 생성 및 디스플레이되도록 제어할 수 있다. 또한, 프로세서(420)는 리스트(2202) 내의 주요 특성에 대응되는 항목 내에서, 현재 획득된 Shape 특성(2271)과 다른 특성(예를 들어, Oval)을 구별하는 표시(예를 들어, 마크(2272))를 할 수 있다.
또한, 개시된 실시예에서, 프로세서(420)가 추출한 병변 영역의 경계에 불명확한 부분(예를 들어, 경계의 정확도가 한계값 이하가 되는 구간)(예를 들어, 2230)을 포함하는 경우, 프로세서(420)는 부분 영역(2230)에 대응되는 영역 메뉴얼 수정(manual correction) 또는 경계의 재추출을 수행하기 위한 아이콘(2232)이 디스플레이 되도록 제어할 수 있다. 예를 들어, 아이콘(2232)는 수정(correction)을 나타내는 'c' 마크로 표현될 수 있다. 여기서, 메뉴얼 수정(manual correction)은 사용자가 수동으로 불명확한 경계 부분을 수정하는 동작을 의미할 수 있다. 구체적으로, 아이콘(2232)을 선택하는 사용자 입력이 수신되면, 프로세서(420)는 부분 영역(2230) 내의 경계를 수정하기 위한 편집창(미도시)을 포함하는 사용자 인터페이스 화면이 출력되도록 제어할 수 있다. 또 다른 예로, 아이콘(2232)이 경계의 재추출을 위한 아이콘인 경우, 아이콘(2232)을 선택하는 사용자 입력이 수신되면, 프로세서(420)는 CAD 연산 등과 같은 자동 진단 연산을 수행하여 경계를 재추출하고, 재추출된 경계에 의해서 형성된 병변 영역을 포함하는 진단 영상을 생성 및 디스플레이할 수 있을 것이다. 또한, 아이콘(2232)은 경계의 수정이 필요한 영역인 부분 영역(2230) 상에 또는 부분 영역(2230)에 인접한 위치에 디스플레이 될 수 있다.
또한, 개시된 실시예에서, 프로세서(420)는 병변 영역에 포함되는 적어도 일부 영역(예를 들어, 2230)에서 나타나는 특성(즉, 주요 특성)이 변경되면 진단 결과가 달라지게 되는 경우, 적어도 일부 영역(예를 들어, 2230)을 초음파 영상에 표시하여 진단 영상(2230)을 생성할 수 있다. 이하에서는 설명의 편의 상, 전술한 '적어도 일부 영역(예를 들어, 2230)'을 '제2 영역'이라고 칭하도록 한다. 또한, 프로세서(420)는 사용자 인터페이스 화면(2200) 내에 진단 결과가 달라질 수 있음을 나타내는 기호, 마크 및 정보 중 적어도 하나를 포함하도록 할 수 있다. 구체적으로, 프로세서(420)는, 제2 영역(2230)에서 나타나는 특성이 변경되면 진단 결과가 달라진다는 것을 나타내는 기호, 마크 및 정보 중 적어도 하나가, 진단 영상(2201), 진단 결과(2250) 및 리스트(2202) 중 적어도 하에 표시되도록 제어할 수 있다.
도 22를 예로 들면, 프로세서(420)는 병변 영역(2220)의 shape 특성을 판단하는 근거가 되는 부분 영역(2230)을 검출할 수 있다. 프로세서(420)가 병변 영역(2220)을 분석한 결과, 부분 영역(2230)에 나타나는 shape 특성이 irregular 로 판단될 수 있다. 그러나, 부분 영역(2230)에 나타나는 shape 특성이 oval 로 변경될 경우, 진단 결과(2250)가 악성에서 양성으로 변경되는 경우가 존재할 수 있다. 즉, shape 특성이 주요 특성이 될 수 있다.
이러한 경우, 프로세서(420)는 리스트(2202) 내에 주요 특성을 리스트(2202) 내의 다른 특성들과 구별하기 위한 표시(예를 들어, 마크(2275))를 표시할 수 있다. 또한, 프로세서(420)는 리스트(2202) 내의 주요 특성에 대응되는 항목 내에서, 현재 판정된 Shape 특성(2271)과 다른 특성(예를 들어, Oval)을 구별하는 표시(예를 들어, 마크(2272))를 할 수 있다.
또한, 진단 결과(2250)를 표시하는 데 있어서, 진단 결과가 변경될 수 있음을 나타내는 정보를 표시할 수 있다.
또한, 프로세서(420)는 변변을 진단하는 근거가 되는 복수의 특성들 중 주요 특성이 복수개 존재하는 경우, 진단 영상 상에 복수의 주요 특성들이 구별되도록 복수의 제2 영역들을 표시할 수 있다. 예를 들어, 주요 특성이 shape 및 margin 인 경우, 프로세서(420)는 shape 특성에 대응되는 제2 영역 및 margin 특성에 대응되는 제2 영역을 서로 구별하여 표시한 진단 영상을 생성 및 디스플레이할 수 있다.
또한, 프로세서(420)는 주요 특성이 존재하는지 여부를 판단하는데 있어서, 소정 특성의 구체적인 판단이 한계값 이상의 정확도를 가지는지 여부를 고려할 수 있다. 구체적으로, shape 특성에 있어서, shape 특성이 oval 로 판단되는 경우의 정확도가 70%이고, 한계값이 90% 인 경우를 예로 들자. 프로세서(420)는 shape 특성이 Oval 로 판단되는 정확도가 90% 인 경우에는 한계값 이상의 정확도를 가지므로 shape 특성을 주요 특성으로 판단하지 않을 수 있다.
그러나, 프로세서(420)는 shape 특성이 Oval 로 판단되는 정확도가 70% 인 경우에는 한계값 미만의 정확도를 가지므로 shape 특성을 주요 특성으로 판단할 수 있다. 그에 따라서, 주요 특성으로 판단되는 소정 특성이 존재하는 경우, 프로세서(420)는 사용자 인터페이스 화면(2200) 상에 주요 특성을 나타내는 제2 영역(예를 들어, 2230), 주요 특성에 대한 구체적인 정보를 포함하는 항목(예를 들어, 2270), 및 주요 특성이 존재함을 나타내는 표시(예를 들어, 마크(2231, 또는 2275 등) 중 적어도 하나가 포함되도록 제어할 수 있다.
도 23은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 24는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 23 및 도 24에 있어서, 진단 영상(예를 들어, 2201) 내에 포함되는 병변 영역(예를 들어, 2220)을 단순화하여 개략적으로 도시하였다. 또한, 도 23 및 도 24에 있어서, 도 22에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 23을 참조하면, 사용자 인터페이스 화면(2300)은 사용자 인터페이스 화면(2200)에 비하여, 주요 특성에 대응되는 상세 정보(2380)를 포함하는 서브 화면(2302)을 더 포함할 수 있다.
여기서, 상세 정보(2380)는 주요 특성에 대한 판단의 정확도(또는 진단 확률)를 나타내는 정보를 포함할 수 있다. 구체적으로, Shape 특성이 oval 로 판단될 진단 확률이 20%(또는 0.2), round 로 판단될 진단 확률이 70%(또는 0.2), 및 irregular 로 판단될 진단 확률이 10% (또는 0.2)인 경우를 예로 들자. 그러면, 프로세서(420)는 주요 특성에 대한 판단의 정확도를 나타내는 정보(2380)를 사용자 인터페이스 화면(2300)이 생성 및 디스플레이 되도록 제어할 수 있다. 구체적으로, 정보(2380)은 oval 로 판단될 진단 확률(2381), round 로 판단될 진단 확률(2382) 및 irregular 로 판단될 진단 확률(2383)을 포함할 수 있다. 또한, oval 로 판단될 진단 확률(2381), round 로 판단될 진단 확률(2382) 및 irregular 로 판단될 진단 확률(2383)은 확률 값이 높은 순으로 정렬되어 표시될 수도 있을 것이다.
도 24를 참조하면, 사용자 인터페이스 화면(2400) 상에 포함되는 정보(2480)은 도 23에 도시한 정보(2380)에 대응될 수 있다. 여기서, 정보(2480)은 정보(2380)과 동일한 내용을 포함하나, 다른 형식으로 표현될 수 있다. 예를 들어, oval 로 판단될 진단 확률(2381), round 로 판단될 진단 확률(2382) 및 irregular 로 판단될 진단 확률(2383)은 도 24에 도시된 사용자 인터페이스(2400) 내에서 그래프 형태(2485)로 표현될 수 있을 것이다.
개시된 실시예에서, 초음파 진단 장치(400)가 병변 영역을 포함하는 초음파 영상을 출력하는 경우, 프로세서(420)는 병변 영역의 일 지점 또는 소정 부분 영역이 선택되는 사용자 입력에 대응하여, 선택된 지점 또는 부분 영역에서 나타나는 병변의 특성 또는 진단 결과의 근거가 되는 정보가 중첩적으로 표시되는 진단 영상이 생성 또는 디스플레이 되도록 제어할 수 있다.
도 25는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 일 도면이다.
도 26는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 27은 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 25 내지 도 27에 있어서, 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 그리고, 도 25 내지 도 27에 도시된 화살표 마커(예를 들어, 2530)은 사용자 입력을 통하여 선택 또는 포인팅된 지점 또는 부분 영역을 나타낸다. 또한, 도 25 내지 도 27에 있어서, 초음파 영상(예를 들어, 2501)은 병변 영역(2510)을 포함한다. 또한, 도 25 내지 도 27에 있어서, 초음파 영상(2501), 초음파 영상(2601), 및 초음파 영상(2701) 는 서로 동일 대응될 수 있다.
도 25를 참조하면, 초음파 진단 장치(400)는 병변 영역(2510)을 포함하는 초음파 영상(2501)을 디스플레이 할 수 있다. 그리고 사용자는 구체적으로 보고자 하는 초음파 영상(2501) 상의 지점 또는 영역을 선택할 수 있다. 여기서, 선택 동작은 사용자 인터페이스(460)에 포함되는 커서 또는 포인터 등과 같은 선택 수단을 조작함으로써(예를 들어, 클릭 또는 더블 클릭 함으로써) 소정 지점 또는 영역을 선택함으로써 이뤄질 수 있다. 또한, 프로세서(420)는 초음파 영상(2501) 상에 선택을 위한 커서 또는 포인터 등이 위치되면 해당 지점이 선택된 것으로 인식할 수도 있을 것이다. 도 25 내지 도 27에 있어서, 선택을 위한 선택 수단l의 위치는 화살표(예를 들어, 2530, 2630, 또는 2730)로 도시하였다.
도 25를 참조하면, 초음파 영상(2501) 내에 포함되는 병변 영역(2510)의 상의 소정 지점(P1)이 선택된 경우, 프로세서(420)는 선택 입력에 대응하여 선택된 지점(P1)에 대응되는 부분 영역(2550) 및 부분 영역에 나타나는 특성에 대한 정보(2551) 중 적어도 하나를 표시한 진단 영상(2502)이 생성 및 디스플레이되도록 제어할 수 있다. 예를 들어, 선택된 지점(P1)에 대응되는 부분 영역(2550)이 진단 결과를 도출하는 복수의 특성들 중 shape 특성을 나타내는 영역이면, ‘Shape: Oval’(2551)과 같은 정보가 진단 영상(2502) 상에 표시될 수 있다.
도 26을 참조하면, 초음파 영상(2601) 내에 포함되는 병변 영역(2510)의 상의 소정 지점(P2)이 선택된 경우, 프로세서(420)는 선택 입력에 대응하여 선택된 지점(P2)에 대응되는 부분 영역(2650) 및 부분 영역에 나타나는 특성에 대한 정보(2651) 중 적어도 하나를 표시한 진단 영상(2602)이 생성 및 디스플레이 되도록 제어할 수 있다. 예를 들어, 선택된 지점(P2)에 대응되는 부분 영역(2550)이 진단 결과를 도출하는 복수의 특성들 중 Posterior 특성을 나타내는 영역이면, ‘No Posterior’(2651)와 같은 정보가 진단 영상(2602) 상에 표시될 수 있다.
도 27을 참조하면, 초음파 영상(2701) 내에 포함되는 병변 영역(2510)의 상의 소정 지점(P3)이 선택된 경우, 프로세서(420)는 선택 입력에 대응하여 선택된 지점(P3)에 대응되는 부분 영역(2750) 및 부분 영역에 나타나는 특성에 대한 정보(2751) 중 적어도 하나를 표시한 진단 영상(2702)이 생성 및 디스플레이 되도록 제어할 수 있다. 예를 들어, 선택된 지점(P3)에 대응되는 부분 영역(2750)이 진단 결과를 도출하는 복수의 특성들 중 echo 특성을 나타내는 영역이면, ‘Echo patter: Hypoechoic’(2751)와 같은 정보가 진단 영상(2702) 상에 표시될 수 있다.
또한, 프로세서(420)는 사용자 입력이 없어도, 초음파 영상(예를 들어, 2501) 에 포함되는 병변 영역(2510)의 경계선 상을 시계방향 또는 반시계 방향으로 움직이면서, 움직이는 지점에 대응되는 영역 및 상기 영역에서 나타나는 특성에 대한 정보(예를 들어, 2551) 중 적어도 하나가 표시된 진단 영상(예를 들어, 2502)이 생성 및 디스플레이 되도록 제어할 수 있을 것이다.
또한, 프로세서(420)는 초음파 영상(예를 들어, 2501) 에 포함되는 병변 영역(2510)의 경계선을 복수개의 구간으로 분할하고, 분할된 구간에 대응되는 영역 및 해당 영역에서 나타나는 특성에 대한 정보 중 적어도 하나가 표시된 진단 영상 이 생성 및 디스플레이 되도록 제어할 수 있을 것이다. 또한, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여, 복수개의 구간들이 상호 구별되도록 표시될 수 있을 것이다.
도 28은 복수개의 진단 영상들을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
개시된 실시예에 있어서, 프로세서(420)가 병변 영역을 식별하기 위하여, 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 병변의 경계를 추출할 수 있다. 그리고, 추출된 병변의 경계가 복수개 존재하는 경우, 프로세서(420)는 추출된 복수개의 병변 경계를 각각 표시한 복수개의 초음파 영상들을 포함하는 사용자 인터페이스 화면이 생성 및 디스플레이 되도록 제어할 수 있다.
또한, 추출된 병변의 경계가 복수개 존재하고, 복수개의 경계들 각각이 서로 다른 진단 결과에 대응되는 경우, 프로세서(420)는 추출된 복수개의 병변 경계를 각각 표시한 복수개의 초음파 영상들을 포함하는 사용자 인터페이스 화면이 생성 및 디스플레이 되도록 제어할 수 있다.
도 28을 참조하면, 사용자 인터페이스 화면(2800)은 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860)을 포함할 수 있다. 여기서, 사용자 인터페이스 화면(2800)에 포함되는 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860)들 각각은 서로 다른 경계가 표시된 초음파 영상이 될 수 있다.
또한, 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860) 각각은 추출된 경계의 정확도 순으로 배치될 수 있다. 예를 들어, 1번 위치에는 경계 정확도가 가장 높은 경계(2801)가 표시된 초음파 영상(2810)이 배치되며, 2번 위치에는 경계 정확도가 두번째로 높은 경계(2821)가 표시된 초음파 영상(2820)이 배치될 수 있다. 그리고, 3번 위치에는 경계 정확도가 세번째로 높은 경계(2831)가 표시된 초음파 영상(2830)이 배치되며, 4번 위치에는 경계 정확도가 네번째로 높은 경계(2841)가 표시된 초음파 영상(2840)이 배치될 수 있다.
또한, 복수개의 초음파 영상들(2820, 2830, 2840, 2850, 2860) 각각에 있어서, 경계 정확도가 가장 높은 경계(2801)가 비교 대상으로 함께 도시될 수 있을 것이다.
또한, 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860) 각각에는 추출된 경계에 근거하여 도출된 진단 결과(도 28에는 미도시)가 표시될 수 있다.
또한, 사용자 인터페이스 화면(2800) 상에서 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860) 각각을 선택하면, 진단 결과에 대응되는 진단 정보가 포함되는 진단 영상이 확대되어 디스플레이 될 수 있을 것이다.
도 29는 초음파 영상을 분석한 결과를 획득하기 위해 이용되는 신경망을 설명하기 위한 도면이다.
개시된 실시예에서, 프로세서(420)는 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 병변을 분석하고, 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득할 수 있다.
이하에서는, 인공 지능(AI) 기술을 이용하여, 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득하는 동작을 설명한다.
인공 지능 기술은 신경망(Neural Network)을 통한 연산을 수행하여 입력된 영상 또는 데이터를 분석하여 목적하는 결과를 획득하는 기술이다. 여기서, 신경망은 학습 데이터(예를 들어, 서로 다른 복수의 초음파 영상들)를 학습(training)하여 신경망 내부의 가중치 값들을 최적화하여 설정할 수 있다. 그리고, 최적화된 가중치 값을 가지는 신경망을 통하여, 입력된 데이터를 스스로 학습(learning)함으로써, 목적하는 결과를 출력한다.
구체적으로, 신경망은 심층 신경망(DNN: Deep Neural Network)이 될 수 있다. 또한, 심층 신경망(DNN) 연산은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다. 구체적으로, 예시된 신경망을 통하여 데이터 인식 모델을 구현하고, 구현된 데이터 인식 모델을 학습 데이터를 이용하여 학습(training)시킬 수 있다. 그리고, 학습된 데이터 인식 모델을 이용하여 입력되는 데이터, 예를 들어, 병변 영역을 포함하는 초음파 영상을 분석 또는 분류하여, 초음파 영상에 포함되는 특정 영역(예를 들어, 병변의 경계 영역) 또는 특정 부분 영상(예를 들어, 제1 영역과 같이 진단 결과를 도출하는데 근거가 되는 부분 영역에 대응되는 영상)을 분석 및/또는 분류할 수 있다.
본 개시의 실시예에서, 프로세서(420)는 신경망을 통한 연산을 수행하여, 초음파 영상으로부터 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득할 수 있다.
또한, 전술한 신경망을 통한 연산은, 영상 처리부(450)에서 수행될 수도 있을 것이다.
또한, 전술한 신경망을 통한 연산은, 외부의 서버(미도시)를 통하여 수행되고, 신경망을 통한 연산의 결과(예를 들어, 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나)를 통신부(470)를 통하여 수신할 수 있을 것이다.
프로세서(420)는 입력 계층, 숨은 계층(hidden layer) 및 출력 계층을 포함하는 신경망, 예를 들어, 심층 신경망(2920)을 통한 연산을 수행할 수 있다. 도 9에서는, 신경망에 포함되는 숨은 계층이 다단으로 형성되는 심층 신경망(DNN: Deep Neural Network)으로 형성된 경우를 예로 들어 도시하였다.
도 29를 참조하면, 심층 신경망(2920)은 입력 계층(2930), 숨은 계층(hidden layer)(2940) 및 출력 계층(2950)을 포함한다. 도 29에서는 입력 데이터인 초음파 영상에 포함되는 정보를 분석하여, 목적하는 출력 데이터(2970)를 출력하는 심층 신경망(2920)을 예로 들어 도시하였다. 여기서, 출력 데이터(2970)는 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나가 포함될 수 있다.
심층 신경망(2920)을 형성하는 복수개의 계층들은 데이터를 수신하는 복수개의 노드(node)(예를 들어, 2931)들을 포함할 수 있다. 그리고, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)(예를 들어, 2936)들로 연결된다. 각각의 노드들은 대응되는 가중치값을 가지고 있다. 그에 따라서, 심층 신경망(2920)은 입력된 신호와 가중치 값을 연산, 예를 들어, 컨볼루션(convolution) 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.
여기서, 심층 신경망(2920)은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산을 수행하는 CNN 신경망으로 형성될 수 있다.
도 29에 도시된 실시예를 참조하면, 입력 계층(2930)은 병변 영역(2902)을 포함하는 초음파 영상(2910)를 입력 받는다.
도 29에서는, 숨은 계층(2940)이 3 단계의 계층들로 형성된 경우를 예로 들어 도시하였다. 숨은 계층(2940)의 심도(depth)는 이용되는 신경망의 제차 사양 및/또는 설계 사양에 따라서 달라질 수 있다.
도 29을 참조하면 심층 신경망(2920)은 입력 계층(2930)과 제1 숨은 계층(HIDDEN LAYER1) 간에 형성되는 제1 계층(Layer 1), 제1 숨은 계층(HIDDEN LAYER1)과 제2 숨은 계층(HIDDEN LAYER2) 간에 형성되는 제2 계층(Layer 2), 및 제2 숨은 계층(HIDDEN LAYER2)과 제3 숨은 계층(HIDDEN LAYER3) 간에 형성되는 제3 계층(Layer 3), 및 제3 숨은 계층(HIDDEN LAYER3)과 출력 계층(OUTPUT LAYER(2970) 간에 형성되는 제4 계층(Layer 4) 으로 형성될 수 있다.
심층 신경망(2920)의 입력 계층(2930)에 포함되는 복수개의 노드들은 초음파 영상(2910)에 대응되는 복수개의 데이터들을 수신한다. 여기서, 복수개의 데이터들은 초음파 영상(2910)은 분할하는 필터 처리를 하여 생성된 복수개의 부분 영상들이 될 수 있다.
그리고, 숨은 계층(2940)에 포함되는 복수개의 계층들에서의 연산을 통하여, 출력 계층(2950)에서는 초음파 영상(2910)를 분석한 결과 획득된 출력 데이터(2970)를 출력할 수 있다.
구체적으로, 심층 신경망(2920)은 컨볼루션 신경망(CNN)으로 형성된 경우, 컨볼루션 신경망(CNN)은 영상 내에 포함되는 정보들끼리의 상관 관계가 지역적(local)인 경우, 특정 지역만을 비추는 필터의 개념을 도입하고 이 필터 내에서의 정보들을 컨볼루션(convolution)하여 필터 내의 영상의 특징에 대한 정보를 정밀하게 추출할 수 있다.
구체적으로, CNN 기반의 신경망(2920) 내에 존재하는 숨은 계층(2940)에는, 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)이 번갈아 가면서 배치되며, 각 계층 필터(filter)의 심도(depth)는 왼쪽에서 오른쪽으로 갈수록 증가하게 된다. 또한, CNN 기반의 신경망(2920)의 최종 단은 완전 연결 계층(fully connected layer)로 형성될 수 있다. 여기서, 컨볼루션 계층(convolution layer)은 컨볼루션 연산에 따라서 생성되는 데이터들의 계층이며, 풀링 계층(pooling layer)은 서브 샘플링(subsampling) 또는 풀링이라는 연산을 통하여 데이터의 숫자 또는 크기를 줄이기 위한 계층이다. 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)을 통과하면서, 입력된 이미지의 특징을 나타내는 데이터들(예를 들어, feature map)이 생성되게 된다. 구체적으로, 숨은 계층(2940)을 통한 연산을 통하여, 초음파 영상(2910)의 이미지 특징들이 생성되며, 이미지 특징들에 근거하여 병변 영역, 병변에 대한 진단 결과, 진단 결과에 대응되는 진단 정보 등을 획득할 수 있다.
그리고, 이러한 컨볼루션 계층 및 풀링 계층을 통과하여 생성된 데이터들을 완전 연결 계층(fully connected layer)으로 형성되는 숨겨진 계층(hidden layer)을 통하여 가공하면, 목적하는 출력 데이터(2970)가 출력될 수 있다.
또한, 심층 신경망(2920)을 통하여 출력된 출력 데이터의 정확도를 높이기 위해서, 출력 계층(2950)에서 입력 계층(2930) 방향으로 학습(training)을 수행하며 출력 데이터의 정확도가 높아지도록 신경망(2920)을 형성하는 노드들(예를 들어, 2931)의 가중치값들을 수정할 수 있다. 따라서, 심층 신경망(2920)는 초음파 영상(2910)이 입력되기 이전에, 복수개의 서로 다른 병변들을 포함하는 복수개의 초음파 영상들을 학습(training)하여, 초음파 영상에 포함되는 병변 영역 또는 진단 결과를 정확하게 검출하는 방향으로, 각 노드들의 가중치값을 수정할 수 있다.
또한, 심층 신경망(2920)은 신경망을 통한 연산을 수행하여, 진단 결과를 검출하기 위한 기준을 획득할 수 있다. 예를 들어, 악성 병변의 특성들을 나타내는 기준들 또는 양성 병변의 특성값들을 나타내는 기준들을 획득할 수 있을 것이다.
도 30은 실시예에 따른 초음파 영상 표시 방법을 나타내는 흐름도이다. 개시된 실시예에 따른 초음파 영상 표시 방법(3000)은 도 1 내지 도 29를 참조하여 설명한 개시된 실시예에 따른 초음파 진단 장치(100, 400 또는 500)를 통하여 수행될 수 있다. 따라서, 초음파 영상 표시 방법(3000)의 각 단계 동작은 초음파 진단 장치(100, 400 또는 500)의 각 구성을 통하여 수행될 수 있으며 초음파 영상 표시 방법(3000)은 전술한 초음파 진단 장치(100, 400 또는 500)와 동일한 구성상 특징을 포함할 수 있다. 즉, 도 30는 개시된 실시예에 따른 초음파 진단 장치(100, 400 또는 500)에서 수행되는 동작들을 나타내는 도면이 될 수 있다. 따라서, 초음파 영상 표시 방법(3000)을 설명하는데 있어서, 도 1 내지 도 29에서와 중복되는 설명은 생략한다.
초음파 영상 표시 방법(3000)은 초음파 영상에 포함되는 병변 영역을 식별한다(S3010). S3010 단계의 동작은 프로세서(420)에서 수행될 수 있다.
S3010 단계에서 식별된 병변 영역을 진단하여 진단 결과를 획득한다(S3020). S3020 단계의 동작은 프로세서(420)에서 수행될 수 있다.
그리고, 병변 영역에 있어서 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성 한다(S3030). S3030 단계의 동작은 프로세서(420)에서 수행될 수 있다.
그리고, 진단 영상 및 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 한다(S3040). S3040 단계의 동작은 프로세서(420)에서 수행될 수 있다.
도 31은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 일 도면이다.
도 32은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 다른 도면이다.
구체적으로, 도 31 및 도 32에서는 개시된 실시예에 따라서 구현된 초음파 진단 장치에서 출력하는 실제 사용자 인터페이스 화면이 도시된다.
도 31을 참조하면, 사용자 인터페이스 화면(3100)은 초음파 영상 상에 추출된 경계 영역을 마킹하여 생성한 진단 영상(3110), 진단 결과(3120), 및 병변 영역의 특성들을 나타내는 리스트(3130)를 포함할 수 있다. 여기서, 진단 영상(3110), 진단 결과(3120), 및 병변 영역의 특성들을 나타내는 리스트(3130)는 각각 도 13에 도시된 진단 영상(1310), 진단 결과(1330), 및 병변 영역의 특성들을 나타내는 리스트(1302)에 동일 대응할 수 있으므로, 상세 설명은 생략한다.
개시된 실시예에서, 리스트(3130) 내에 적어도 하나의 항목이 선택되거나, 프로세서(420)의 설정에 의해서, 제1 영역이 진단 영상(3110) 내에 표시되어 디스플레이될 수 있다.
도 32를 참조하면, 사용자 인터페이스 화면(3200)은 사용자 인터페이스 화면(3200)에 비하여, 환자 또는 대상체에 대한 초음파 스캔 정보(3240)를 더 포함할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 전술한 실시예에 따른 초음파 영상 표시 방법은 다중언어로 구성된 문장을 획득하는 동작; 및 다중언어 번역 모델을 이용하여, 상기 다중언어로 구성된 문장에 포함되는 단어들 각각에 대응하는 벡터 값들을 획득하고, 상기 획득한 벡터 값들을 목표 언어에 대응하는 벡터 값들로 변환하며, 상기 변환된 벡터 값들에 기초하여, 상기 목표 언어로 구성된 문장을 획득하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
400: 초음파 진단 장치
410: 메모리
420: 프로세서
430: 디스플레이
440: 데이터 획득부
450: 영상 처리부
460: 사용자 인터페이스
470: 통신부

Claims (20)

  1. 초음파 영상에 포함되는 병변 영역을 식별하는 단계;
    상기 병변 영역을 진단하여 진단 결과를 획득하는 단계;
    상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및
    상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  2. 제1항에 있어서, 상기 제1 영역은
    상기 병변 영역에서 병변의 특성을 나타내는 복수의 특성들이 존재할 때, 상기 복수의 특성들 중 적어도 하나를 나타내는 영역인 것을 특징으로 하는 초음파 영상 표시 방법.
  3. 제1항에 있어서, 상기 제1 영역은
    상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin), 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방(posterior) 중 적어도 하나의 특성을 판단하는 근거가 되는 영역인 것을 특징으로 하는 초음파 영상 표시 방법.
  4. 제1항에 있어서, 상기 진단 결과는
    상기 병변이 양성(benign)인지 또는 악성(malignant)인지를 나타내는 정보를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  5. 제1항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 병변 영역을 나타내는 복수의 특성들이 존재할 때, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여 상기 복수의 특성들에 있어서 서로 다른 특성들이 상호 구별되도록, 상기 적어도 하나의 영역을 상기 병변 영역 상에 표시하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  6. 제5항에 있어서, 상기 복수의 특성들은
    상기 병변을 진단하는데 근거가 되는 상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin) 형태, 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방 특징(posterior feature) 중 적어도 하나를 포함하는 것을 특징으로 하는 것을 특징으로 하는 초음파 영상 표시 방법.
  7. 제1항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 병변 영역에 포함되는 제2 영역에서 나타나는 상기 병변 영역의 특성이 변경되면 상기 진단 결과가 달라지게 되는 경우, 상기 제2 영역을 상기 초음파 영상에 표시하여 상기 진단 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  8. 제7항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 제1 영역과 상기 제2 영역이 구별되도록 표시하여, 상기 진단 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  9. 제1항에 있어서, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는
    상기 진단 영상, 상기 진단 결과, 및 상기 병변을 나타내는 복수의 특성들 각각에 대응되는 복수의 항목들을 포함하는 리스트를 포함 하는 상기 사용자 인터페이스 화면을 디스플레이 하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  10. 제9항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 복수의 항목들 중 어느 하나를 선택하는 사용자 입력에 대응하여, 상기 초음파 영상에 있어서, 선택된 항목에 대응되는 특성을 나타내는 적어도 하나의 부분 영역을 상기 제1 영역으로 표시 하여, 상기 진단 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  11. 제9항에 있어서, 상기 리스트에 있어서,
    상기 복수의 항목들 각각은 상기 복수의 항목에 대응되는 특성을 구체적으로 나타내는 정보를 포함하며,
    상기 복수의 항목들 각각은 그에 대응되는 적어도 하나의 부분 영역과 매칭되어 표시되는 것을 특징으로 하는 초음파 영상 표시 방법.
  12. 제9항에 있어서, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는
    상기 리스트에 포함되는 제1 특성이 변경되면 상기 진단 결과가 달라지는 경우, 상기 리스트에 포함에 포함되는 제1 특성을 이외의 특성들과 구별하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  13. 제1항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 초음파 영상 상에 상기 제1 영역에서 나타나는 상기 병변 영역의 특성에 대한 정보인 진단 정보를 표시하여, 상기 진단 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  14. 제13항에 있어서, 상기 진단 정보를 획득하는 단계는
    컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 상기 초음파 영상을 분석하고, 상기 병변 영역, 상기 진단 결과 및 상기 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  15. 제1항에 있어서,
    상기 병변 영역을 식별하는 단계는
    상기 병변 영역의 경계를 식별하는 단계를 포함하며,
    상기 초음파 영상 표시 방법은
    상기 식별의 결과 상기 경계가 복수 개 존재하는 경우, 상기 초음파 영상에 상기 복수개의 경계를 각각 표시하여 복수개의 서브 영상들을 생성하는 단계; 및
    상기 복수개의 서브 영상들을 포함하는 사용자 인터페이스 화면을 출력하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  16. 디스플레이;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 초음파 영상에 포함되는 병변 영역을 식별하고, 상기 병변 영역을 진단하여 진단 결과를 획득하며, 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면이 상기 디스플레이를 통하여 디스플레이 되도록 제어하는 프로세서를 포함하는 것을 특징으로 하는 초음파 진단 장치.
  17. 제16항에 있어서, 상기 제1 영역은
    상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin), 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방(posterior) 중 적어도 하나의 특성을 판단하는 근거가 되는 영역인 것을 특징으로 하는 초음파 진단 장치.
  18. 제16항에 있어서, 상기 프로세서는
    상기 병변 영역을 나타내는 복수의 특성들이 존재할 때, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여 상기 복수의 특성들에 있어서 서로 다른 특성들이 상호 구별되도록, 상기 적어도 하나의 영역을 상기 병변 영역 상에 표시하여 상기 진단 영상을 생성하는 것을 특징으로 하는 초음파 진단 장치.
  19. 제16항에 있어서, 상기 프로세서는
    상기 병변 영역에 포함되는 제2 영역에서 나타나는 상기 병변 영역의 특성이 변경되면 상기 진단 결과가 달라지게 되는 경우, 상기 제2 영역을 상기 초음파 영상에 표시하여 상기 진단 영상을 생성하는 것을 특징으로 하는 초음파 진단 장치.
  20. 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램이 수록된 컴퓨터 프로그램 제품에 있어서,
    상기 컴퓨터 프로그램은
    초음파 영상에 포함되는 병변 영역을 식별하는 단계;
    상기 병변 영역을 진단하여 진단 결과를 획득하는 단계;
    상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및
    상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법을 컴퓨터에서 실행시키기 위해서 기록매체에 저장된 컴퓨터 프로그램인 것을 특징으로 하는 프로그램 제품.
KR1020190028158A 2019-03-12 2019-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 KR20200109093A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190028158A KR20200109093A (ko) 2019-03-12 2019-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
CN202080020921.8A CN113645905A (zh) 2019-03-12 2020-03-12 用于显示超声图像的方法、超声诊断装置和计算机程序产品
EP20769065.2A EP3939515A4 (en) 2019-03-12 2020-03-12 ULTRASOUND IMAGE DISPLAY METHOD, ULTRASOUND DIAGNOSTIC DEVICE AND COMPUTER PROGRAM PRODUCT
US17/435,581 US20220059227A1 (en) 2019-03-12 2020-03-12 Method for displaying ultrasonic image, ultrasonic diagnostic device, and computer program product
PCT/KR2020/003444 WO2020185003A1 (ko) 2019-03-12 2020-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190028158A KR20200109093A (ko) 2019-03-12 2019-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품

Publications (1)

Publication Number Publication Date
KR20200109093A true KR20200109093A (ko) 2020-09-22

Family

ID=72427589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190028158A KR20200109093A (ko) 2019-03-12 2019-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품

Country Status (5)

Country Link
US (1) US20220059227A1 (ko)
EP (1) EP3939515A4 (ko)
KR (1) KR20200109093A (ko)
CN (1) CN113645905A (ko)
WO (1) WO2020185003A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012462A (ko) * 2020-07-22 2022-02-04 연세대학교 산학협력단 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
KR102370167B1 (ko) * 2021-10-25 2022-03-04 주식회사 파인트리시스템 인공지능 기반 초음파 병변 진단 보조시스템
WO2022124705A1 (ko) * 2020-12-11 2022-06-16 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710229B2 (en) * 2020-03-23 2023-07-25 GE Precision Healthcare LLC Methods and systems for shear wave elastography
CN112862752A (zh) * 2020-12-31 2021-05-28 北京小白世纪网络科技有限公司 一种图像处理显示方法、***电子设备及存储介质
CN113827274B (zh) * 2021-11-23 2022-02-22 广东恒腾科技有限公司 一种无线彩超设备的自动控制***
JP2024001405A (ja) * 2022-06-22 2024-01-10 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN116862906B (zh) * 2023-08-24 2023-12-12 武汉大学人民医院（湖北省人民医院） 一种眼部检测装置及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7615008B2 (en) * 2000-11-24 2009-11-10 U-Systems, Inc. Processing and displaying breast ultrasound information
JP3802462B2 (ja) * 2001-08-06 2006-07-26 アロカ株式会社 超音波診断装置
US20030161513A1 (en) * 2002-02-22 2003-08-28 The University Of Chicago Computerized schemes for detecting and/or diagnosing lesions on ultrasound images using analysis of lesion shadows
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US7783094B2 (en) * 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
US20110208061A1 (en) * 2008-11-11 2011-08-25 Koninklijke Philips Electronics N.V. Ultrasonic lesion identification using temporal parametric contrast images
US20120014578A1 (en) * 2010-07-19 2012-01-19 Qview Medical, Inc. Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface
JP2014504918A (ja) * 2010-12-14 2014-02-27 ホロジック， インコーポレイテッド 画像診断に使用するために複数の異なる画像処理システムからの３次元画像データを重ね合わせるシステムおよび方法
US8951200B2 (en) * 2012-08-10 2015-02-10 Chison Medical Imaging Co., Ltd. Apparatuses and methods for computer aided measurement and diagnosis during ultrasound imaging
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
KR20140091177A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
KR101546403B1 (ko) * 2013-11-14 2015-08-27 계명대학교 산학협력단 유방 초음파 영상 및 탄성도 영상 획득 및 분석 방법 및 장치
KR20150069920A (ko) * 2013-12-16 2015-06-24 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
KR101627319B1 (ko) * 2014-03-14 2016-06-03 알피니언메디칼시스템 주식회사 의료진단을 위한 의료영상 처리장치 및 그 방법
JP2014195729A (ja) * 2014-06-27 2014-10-16 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR102372351B1 (ko) * 2014-08-19 2022-03-08 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 방법
KR102347038B1 (ko) * 2014-11-06 2022-01-04 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 방법
KR102490069B1 (ko) * 2015-08-18 2023-01-19 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
KR102439769B1 (ko) * 2016-01-18 2022-09-05 삼성메디슨 주식회사 의료 영상 장치 및 그 동작방법
US10265052B2 (en) * 2016-05-10 2019-04-23 Samsung Medison Co., Ltd. Method of displaying ultrasound image and ultrasound diagnosis apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012462A (ko) * 2020-07-22 2022-02-04 연세대학교 산학협력단 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
WO2022124705A1 (ko) * 2020-12-11 2022-06-16 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
KR20220083477A (ko) * 2020-12-11 2022-06-20 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
KR102370167B1 (ko) * 2021-10-25 2022-03-04 주식회사 파인트리시스템 인공지능 기반 초음파 병변 진단 보조시스템

Also Published As

Publication number Publication date
US20220059227A1 (en) 2022-02-24
CN113645905A (zh) 2021-11-12
EP3939515A4 (en) 2022-11-30
EP3939515A1 (en) 2022-01-19
WO2020185003A1 (ko) 2020-09-17

Similar Documents

Publication Publication Date Title
EP3939515A1 (en) Method for displaying ultrasonic image, ultrasonic diagnostic device, and computer program product
US11488306B2 (en) Immediate workup
KR101922180B1 (ko) 초음파 영상 처리 장치 및 초음파 영상 처리 방법
JP2021528751A (ja) 深層学習を使用して癌検出を改善するための方法およびシステム
JP7218215B2 (ja) 画像診断装置、画像処理方法及びプログラム
US10695032B2 (en) Medical image display apparatus and method therefor
CN101084511A (zh) 自动开发在医学诊断成像中产生医学有意义的描述符的高性能分类器的方法和装置
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
EP3825910B1 (en) Method and apparatus of intelligent analysis for liver tumour
US20220172826A1 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
KR102629045B1 (ko) 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
JP7362354B2 (ja) 情報処理装置、検査システム及び情報処理方法
US11819351B2 (en) Medical imaging apparatus, medical image processing apparatus, and image processing program
EP3477655A1 (en) Method of transmitting a medical image, and a medical imaging apparatus performing the method
US20210142480A1 (en) Data processing method and apparatus
CN110381846A (zh) 血管阻塞诊断方法、设备及***
US20230062672A1 (en) Ultrasonic diagnostic apparatus and method for operating same
KR102543013B1 (ko) 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
JP2021029676A (ja) 情報処理装置、検査システム及び情報処理方法
KR20200080906A (ko) 초음파 진단 장치 및 그 동작 방법
EP4002275A1 (en) System and method for visualizing placement of a medical tube or line
KR20190049524A (ko) 의료 영상 전송 방법 및 그에 따른 의료 영상 장치
KR102254365B1 (ko) 의료영상 처리 방법
EP4327750A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
JP7452068B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal