WO2020185003A1 - 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 - Google Patents

초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
WO2020185003A1
WO2020185003A1 PCT/KR2020/003444 KR2020003444W WO2020185003A1 WO 2020185003 A1 WO2020185003 A1 WO 2020185003A1 KR 2020003444 W KR2020003444 W KR 2020003444W WO 2020185003 A1 WO2020185003 A1 WO 2020185003A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
image
area
region
ultrasound
Prior art date
Application number
PCT/KR2020/003444
Other languages
English (en)
French (fr)
Inventor
박문호
성영경
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to CN202080020921.8A priority Critical patent/CN113645905A/zh
Priority to EP20769065.2A priority patent/EP3939515A4/en
Priority to US17/435,581 priority patent/US20220059227A1/en
Publication of WO2020185003A1 publication Critical patent/WO2020185003A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4405—Device being mounted on a trolley
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52073—Production of cursor lines, markers or indicia by electronic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features
    • G01S7/52084—Constructional features related to particular user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the disclosed embodiments relate to an ultrasound image display method, an ultrasound diagnosis apparatus, and a computer program product.
  • the disclosed embodiment relates to an ultrasound image display method, an ultrasound diagnosis apparatus, and a computer program product for an ultrasound image including a lesion.
  • the ultrasound diagnosis apparatus irradiates an ultrasound signal generated from a transducer of a probe to an object, receives information of a signal reflected from the object, and provides information on a portion (eg, soft tissue or blood flow) inside the object. Get at least one image.
  • the ultrasound diagnosis apparatus analyzes the automatically acquired ultrasound image with a computer, An abnormal region can be detected or an analysis result can be generated.
  • the ultrasound diagnosis apparatus may output a user interface screen including a region where an abnormality has occurred in the object and an analyzed diagnosis result (eg, whether the detected region is a malignant tumor). Accordingly, a user (eg, a doctor, etc.) can check a diagnosis result corresponding to an abnormal portion detected in a medical image (eg, an ultrasound image).
  • the disclosed embodiments provide a diagnosis result by automatically analyzing an ultrasound image, an ultrasound image display method, an ultrasound diagnosis apparatus, and a computer program product providing information related to the diagnosis result so that a user can more accurately diagnose a patient's disease.
  • the purpose and effect are to provide.
  • An ultrasound image display method includes the steps of identifying a lesion area included in the ultrasound image; Diagnosing the lesion area to obtain a diagnosis result; Generating a diagnostic image by displaying a first region in the lesion region, which is at least one region that is a basis for diagnosing the lesion, on the lesion region of the ultrasound image; And displaying a user interface screen including the diagnosis image and the diagnosis result.
  • An ultrasound image display method, an ultrasound diagnosis apparatus, and a computer program product according to the disclosed embodiments provide information related to a diagnosis result so that a user can more accurately diagnose a patient's disease.
  • the ultrasound image display method, the ultrasound diagnosis apparatus, and the computer program product according to the disclosed embodiments allow the user to recognize a portion of the ultrasound image that is the basis of the diagnosis result, so that the user can accurately determine the disease of the object. Make it possible.
  • the ultrasound image display method, the ultrasound diagnosis apparatus, and the computer program product according to the disclosed embodiment include information related to a diagnosis result obtained based on computer aided detection (CAD), specifically, the diagnosis result.
  • CAD computer aided detection
  • FIG. 1 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to another exemplary embodiment.
  • 3A is a diagram illustrating an external appearance of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • 3B is another diagram illustrating an external appearance of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • 3C is another diagram illustrating an external appearance of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to another exemplary embodiment.
  • FIG. 5 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to another embodiment.
  • FIG. 6 is a diagram illustrating an ultrasound image acquired in an embodiment.
  • FIG. 7 is a diagram illustrating a user interface screen including a diagnostic image provided in an embodiment.
  • FIG. 8 is a diagram illustrating a user interface screen including another diagnostic image provided in an embodiment.
  • FIG 9 is another diagram illustrating an ultrasound image acquired in an embodiment.
  • FIG. 10 is a diagram illustrating a user interface screen including another diagnostic image provided in an embodiment.
  • FIG. 11 is a diagram illustrating a user interface screen including another diagnostic image provided in an embodiment.
  • FIG. 12 is another diagram of a user interface screen including another diagnostic image provided in the embodiment.
  • FIG. 13 is a diagram illustrating an example of a user interface screen provided in the embodiment.
  • FIG. 14 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 15 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 16 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 17 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • FIG. 18 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 19 is a diagram illustrating another example of user interface screens provided in the embodiment.
  • 20 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 21 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 22 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • FIG. 23 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 24 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 25 is a diagram illustrating a diagnostic image output in response to a user input.
  • 26 is another diagram illustrating a diagnostic image output in response to a user input.
  • 27 is another diagram illustrating a diagnostic image output in response to a user input.
  • 28 is a diagram illustrating a user interface screen including a plurality of diagnostic images.
  • 29 is a diagram for explaining a neural network used to obtain a result of analyzing an ultrasound image.
  • FIG. 30 is a flowchart illustrating a method of displaying an ultrasound image according to an exemplary embodiment.
  • 31 is a diagram illustrating an actual implementation example of a user interface screen according to an embodiment.
  • 32 is another diagram illustrating an actual implementation example of a user interface screen according to an embodiment.
  • An ultrasound image display method includes the steps of identifying a lesion area included in the ultrasound image; Diagnosing the lesion area to obtain a diagnosis result; Generating a diagnostic image by displaying a first region in the lesion region, which is at least one region that is a basis for diagnosing the lesion, on the lesion region of the ultrasound image; And displaying a user interface screen including the diagnosis image and the diagnosis result.
  • the first region may be a region representing at least one of the plurality of characteristics when a plurality of characteristics representing the characteristics of the lesion are present in the lesion region.
  • the first region is one of the shape of the lesion, the orientation of the lesion, the margin of the lesion, the brightness of the lesion region, and the posterior of the lesion region. It may be an area that is a basis for determining at least one characteristic.
  • the diagnosis result may include information indicating whether the lesion is benign or malignant.
  • the step of generating the diagnostic image may be performed by using at least one of different colors, marks, symbols, transparency, brightness, types of dotted lines, and thicknesses of dotted lines when a plurality of characteristics representing the lesion area exist. It may include displaying the at least one region on the lesion region so that different characteristics are distinguished from each other.
  • the plurality of characteristics are the shape of the lesion, the orientation of the lesion, the shape of the margin of the lesion, the brightness of the lesion region, which is the basis for diagnosing the lesion, It may include at least one of the posterior features of the lesion area.
  • the second region is displayed on the ultrasound image to be It may further include generating a diagnostic image.
  • generating the diagnostic image may further include generating the diagnostic image by displaying the first region and the second region to be distinguished.
  • the displaying of the user interface screen includes displaying the user interface screen including a list including a plurality of items corresponding to each of the diagnosis image, the diagnosis result, and a plurality of characteristics representing the lesion. It may further include.
  • the method may further include generating the diagnosis image by displaying it as a region.
  • each of the plurality of items includes information specifically indicating characteristics corresponding to the plurality of items, and each of the plurality of items is displayed by matching with at least one partial region corresponding thereto. Can be.
  • the diagnosis result changes when the first characteristic included in the list is changed, displaying the first characteristic included in the list by distinguishing it from other characteristics. It may further include.
  • generating the diagnostic image may include generating the diagnostic image by displaying diagnostic information, which is information on the characteristics of the lesion area appearing in the first area on the ultrasound image.
  • the obtaining of the diagnosis information includes analyzing the ultrasound image using at least one of computer-aided detection (CAD) technology and artificial intelligence technology, and analyzing the lesion area, the diagnosis result, and the diagnosis. It may include obtaining at least one of diagnostic information corresponding to the result.
  • CAD computer-aided detection
  • the step of identifying the lesion region includes identifying a boundary of the lesion region
  • the ultrasound image display method includes the plurality of boundaries in the ultrasound image when the plurality of boundaries exist as a result of the identification. Generating a plurality of sub-images by displaying each; And outputting a user interface screen including the plurality of sub-images.
  • the ultrasound diagnosis apparatus includes a display; A memory for storing at least one instruction; And executing at least one of the at least one instruction to identify a lesion region included in an ultrasound image, diagnose the lesion region to obtain a diagnosis result, and at least a basis for diagnosing the lesion in the lesion region. And a processor configured to generate a diagnosis image by displaying a first area, which is one area, on the lesion area of the ultrasound image, and controlling a user interface screen including the diagnosis image and the diagnosis result to be displayed through the display. do.
  • a computer program product containing a computer program including instructions executable by a computer comprising: identifying a lesion area included in an ultrasound image; Diagnosing the lesion area to obtain a diagnosis result; Generating a diagnostic image by displaying a first region in the lesion region, which is at least one region that is a basis for diagnosing the lesion, on the lesion region of the ultrasound image; And displaying a user interface screen including the diagnosis image and the diagnosis result.
  • the computer program is stored in a recording medium.
  • the image may include a medical image acquired by a medical imaging device such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, or an X-ray imaging device.
  • a medical imaging device such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, or an X-ray imaging device.
  • the “object” is a subject to be photographed and may include a person, an animal, or a part thereof.
  • the object may include a part of the body (an organ or organ) or a phantom.
  • ultrasonic image refers to an image of an object that is transmitted to an object and processed based on an ultrasonic signal reflected from the object.
  • FIG. 1 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 includes a probe 20, an ultrasound transceiving unit 110, a control unit 120, an image processing unit 130, a display unit 140, a storage unit 150, and a communication unit 160. ), and an input unit 170 may be included.
  • the ultrasound diagnosis apparatus 100 may be implemented in a portable type as well as a cart type.
  • Examples of the portable ultrasound diagnosis apparatus may include a smart phone including a probe and an application, a laptop computer, a PDA, and a tablet PC, but are not limited thereto.
  • the probe 20 may include a plurality of transducers.
  • the plurality of transducers may transmit ultrasonic signals to the object 10 according to a transmission signal applied from the transmitter 113.
  • the plurality of transducers may receive the ultrasound signal reflected from the object 10 and form a received signal.
  • the probe 20 may be implemented integrally with the ultrasound diagnosis apparatus 100 or may be implemented as a separate type connected to the ultrasound diagnosis apparatus 100 by wire or wirelessly.
  • the ultrasound diagnosis apparatus 100 may include one or a plurality of probes 20 according to an implementation form.
  • the control unit 120 controls the transmission unit 113 to form a transmission signal to be applied to each of the plurality of transducers in consideration of the locations and focus points of the plurality of transducers included in the probe 20.
  • the control unit 120 converts the received signal received from the probe 20 to analog and digital, and adds the digitally converted received signal in consideration of the positions and focal points of the plurality of transducers, thereby generating ultrasonic data. ) To control.
  • the image processing unit 130 generates an ultrasound image by using the ultrasound data generated by the ultrasound receiving unit 115.
  • the display unit 140 may display the generated ultrasound image and various information processed by the ultrasound diagnosis apparatus 100.
  • the ultrasound diagnosis apparatus 100 may include one or more display units 140 according to an implementation form. Also, the display unit 140 may be implemented as a touch screen in combination with a touch panel.
  • the controller 120 may control an overall operation of the ultrasound diagnosis apparatus 100 and a signal flow between internal components of the ultrasound diagnosis apparatus 100.
  • the controller 120 may include a memory that stores a program or data for performing a function of the ultrasound diagnosis apparatus 100, and a processor that processes the program or data. Also, the controller 120 may control the operation of the ultrasound diagnosis apparatus 100 by receiving a control signal from the input unit 170 or an external device.
  • the ultrasound diagnosis apparatus 100 includes a communication unit 160, and can be connected to an external device (eg, a server, a medical device, a portable device (smartphone, tablet PC, wearable device, etc.)) through the communication unit 160.
  • an external device eg, a server, a medical device, a portable device (smartphone, tablet PC, wearable device, etc.)
  • the communication unit 160 may include one or more components that enable communication with an external device, and may include at least one of a short-range communication module, a wired communication module, and a wireless communication module, for example.
  • the communication unit 160 receives a control signal and data from an external device and transmits the received control signal to the control unit 120 so that the control unit 120 controls the ultrasound diagnosis apparatus 100 according to the received control signal. It is also possible.
  • control unit 120 may control the external device according to the control signal of the control unit by transmitting a control signal to the external device through the communication unit 160.
  • the external device may process data of the external device according to the control signal of the controller received through the communication unit.
  • a program capable of controlling the ultrasound diagnosis apparatus 100 may be installed in the external device, and the program may include a command for performing some or all of the operations of the controller 120.
  • the program may be installed in advance on an external device, or a user of the external device may download and install a program from a server providing an application.
  • the server providing the application may include a recording medium in which the corresponding program is stored.
  • the storage unit 150 may store various data or programs for driving and controlling the ultrasound diagnosis apparatus 100, input/output ultrasound data, and acquired ultrasound images.
  • the input unit 170 may receive a user's input for controlling the ultrasound diagnosis apparatus 100.
  • the user's input is input to manipulate buttons, keypad, mouse, trackball, jog switch, knob, etc., input to touch a touch pad or touch screen, voice input, motion input, biometric information input (for example, iris recognition, fingerprint recognition, etc.) may be included, but the present invention is not limited thereto.
  • FIG. 2 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to another exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 may include a wireless probe 20 and a body 40.
  • the same configuration as in FIG. 1 is illustrated using the same reference numerals. Accordingly, in describing the ultrasound diagnosis apparatus 100 illustrated in FIG. 2, a description overlapping with that in FIG. 1 will be omitted.
  • the receiving unit 115 may be formed of a plurality of transducers, the “receiving unit 115” illustrated in FIG. 1 is illustrated as a “transducer 115” in FIG. 2.
  • the wireless probe 20 may include a transmitter 113, a transducer 115, a receiver 117, a control unit 118, and a communication unit 119.
  • the wireless probe 20 is shown to include both the transmitting unit 113 and the receiving unit 117, but depending on the implementation form, the wireless probe 20 is only partially configured of the transmitting unit 113 and the receiving unit 117. It may include, and some of the configurations of the transmitting unit 113 and the receiving unit 117 may be included in the main body 40. Alternatively, the wireless probe 20 may further include an image processing unit 130.
  • the transducer 115 may include a plurality of transducers.
  • the plurality of transducers may transmit ultrasonic signals to the object 10 according to a transmission signal applied from the transmitter 113.
  • the plurality of transducers may receive the ultrasound signal reflected from the object 10 and form a received signal.
  • the control unit 118 controls the transmission unit 113 to form a transmission signal to be applied to each of the plurality of transducers in consideration of the positions and focal points of the plurality of transducers.
  • the control unit 118 converts the received signal received from the transducer 115 to analog to digital, and adds the digitally converted received signal in consideration of the positions and focal points of the plurality of transducers, thereby generating ultrasonic data. 117).
  • an ultrasound image may be generated using the generated ultrasound data.
  • the communication unit 119 may wirelessly transmit the generated ultrasound data or ultrasound image to the main body 40 through the wireless network 30. Alternatively, the communication unit 119 may receive control signals and data from the main body 40.
  • the ultrasound system 100 may include one or more wireless probes 20 depending on the implementation form.
  • the body 40 may receive ultrasound data or an ultrasound image from the wireless probe 20.
  • the main body 40 may include a control unit 120, an image processing unit 130, a display unit 140, a storage unit 150, a communication unit 160, and an input unit 170.
  • 3A is a diagram illustrating an external appearance of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • 3B is another diagram illustrating an external appearance of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • 3C is another diagram illustrating an external appearance of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • the ultrasound diagnosis apparatuses 100a and 100b may include a main display unit 121 and a sub display unit 122.
  • One of the main display unit 121 and the sub display unit 122 may be implemented as a touch screen.
  • the main display unit 121 and the sub display unit 122 may display an ultrasound image or a variety of information processed by the ultrasound diagnosis apparatuses 100a and 100b.
  • the main display unit 121 and the sub display unit 122 are implemented as a touch screen and provide a GUI to receive data for controlling the ultrasound diagnosis apparatuses 100a and 100b from a user.
  • the main display unit 121 may display an ultrasound image
  • the sub display unit 122 may display a control panel for controlling the display of the ultrasound image in the form of a GUI.
  • the sub-display unit 122 may receive data for controlling the display of an image through a control panel displayed in the form of a GUI.
  • the ultrasound diagnosis apparatuses 100a and 100b may control the display of an ultrasound image displayed on the main display unit 121 by using the received control data.
  • the ultrasound diagnosis apparatus 100b may further include a control panel 165 in addition to the main display unit 121 and the sub display unit 122.
  • the control panel 165 may include buttons, trackballs, jog switches, knobs, and the like, and may receive data for controlling the ultrasound diagnosis apparatus 100b from a user.
  • the control panel 165 may include a Time Gain Compensation (TGC) button 171, a Freeze button 172, and the like.
  • TGC button 171 is a button for setting a TGC value for each depth of an ultrasound image.
  • the ultrasound diagnosis apparatus 100b may maintain a state in which the frame image at the corresponding time point is displayed.
  • buttons, trackballs, jog switches, and knobs included in the control panel 165 may be provided on the main display unit 121 or the sub display unit 122 as a GUI.
  • the ultrasound diagnosis apparatus 100c may be implemented as a portable type.
  • Examples of the portable ultrasound diagnosis apparatus 100c may include a smart phone including a probe and an application, a laptop computer, a PDA, and a tablet PC, but are not limited thereto.
  • the ultrasound diagnosis apparatus 100c includes a probe 20 and a body 40, and the probe 20 may be connected to one side of the body 40 by wire or wirelessly.
  • the body 40 may include a touch screen 145.
  • the touch screen 145 may display an ultrasound image, various information processed by the ultrasound diagnosis apparatus, and a GUI.
  • An ultrasound image display method, an ultrasound diagnosis apparatus, and a computer program product generate a diagnosis result by analyzing an ultrasound image to determine whether there is an abnormality in an object, and information corresponding to the diagnosis result displayed in the ultrasound image
  • the'user' may be a doctor who diagnoses a patient's disease, a sonographer who performs an ultrasound scan of a patient's object, or the like.
  • the'information corresponding to the diagnosis result' affects the information displayed on the ultrasound image corresponding to the diagnosis result, the information based on the diagnosis result, the partial area in the ultrasound image that is the basis of the diagnosis result, and the diagnosis result. It may mean a partial region in the ultrasound image that is affected.
  • diagnosis information information for convenience.
  • the ultrasound diagnosis apparatus may be an electronic device capable of acquiring, processing, and/or displaying an ultrasound image.
  • the ultrasound diagnosis apparatus i) identifies a specific area in the ultrasound image (for example, a site where a lesion occurs), ii) analyzes the ultrasound image to obtain diagnosis results or diagnostic information, or iii) ultrasound It may mean an electronic device capable of processing, generating, modifying, updating, or displaying a partial image, an entire image, or information used for diagnosis based on an image.
  • the ultrasound diagnosis apparatus may be implemented not only as a cart type but also as a portable type, as shown in FIGS. 3A to 3C.
  • the portable ultrasound diagnosis apparatus may include a PACS viewer, a smart phone, a laptop computer, a PDA, and a tablet PC, but are not limited thereto.
  • FIG. 4 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to another exemplary embodiment.
  • the memory 410, the processor 420, and the display 430 may correspond to the storage unit 150, the control unit 120, and the display unit 140 shown in Fig. 1, respectively. Descriptions that are redundant with those in are omitted.
  • the ultrasound diagnosis apparatus 400 includes a memory 410, a processor 420, and a display 430.
  • the memory 410 stores at least one instruction.
  • the display 430 displays a predetermined screen.
  • the processor 420 may execute at least one of at least one instruction stored in the memory 410 to perform a predetermined operation or control other components in the ultrasound diagnosis apparatus 400 to perform a predetermined operation.
  • the processor 420 executes at least one of at least one instruction to identify a lesion region included in the ultrasound image, diagnose the lesion region to obtain a diagnosis result, and determine the lesion in the lesion region.
  • a diagnosis image is generated by displaying a first area, which is at least one area that is a basis for diagnosis, on the lesion area of the ultrasound image, and a user interface screen including the diagnosis image and the diagnosis result is displayed through the display. Control to be possible.
  • a lesion means a change in a living body caused by a disease.
  • the lesion may refer to all forms in which the subject does not have a form of healthy tissue or all cases in which the subject has a different state compared to a healthy state.
  • lesions can be largely classified into benign and malignant.
  • benign lesions may correspond to tumors
  • malignant lesions may correspond to cancer.
  • the'lesion area' may be a concept including not only an inner area of the lesion formed by the boundary of the lesion, but also an outer area adjacent to the boundary of the lesion. That is, the lesion area may mean an area in which the lesion itself is imaged as well as the area in which the characteristics of the lesion are imaged in the ultrasound image.
  • the diagnostic information may be information indicating at least one of the identified lesion area, the size of the lesion, the location of the lesion, and characteristics (e.g., metastasis possibility, malignant risk, etc.) when a lesion exists in the subject. have.
  • the diagnostic information may include standard terms for diseases defined by the society or the association.
  • the diagnostic information may include information on a plurality of items included in Lexicon, which is a standard term for ultrasound examination defined by the American College of Radiology (ACR).
  • the diagnosis result may include information indicating whether the identified lesion is malignant or benign, or a name of a specific lesion.
  • the diagnosis result may include information indicating whether the identified lesion is a papule, a nodule, a tumor, or a cancer.
  • the diagnosis result may include information indicating a specific name of the lesion (eg, breast tumor, breast cancer, thyroid tumor, thyroid nodule, thyroid cancer, etc.).
  • diagnosis result can be expressed as'Possibly benign','Benign','Possibly malignant','Malignant', and so on.
  • the first region is at least a partial region of the lesion region that is a basis for diagnosing a lesion, and may mean at least a partial region of an ultrasound image that is a basis of the lesion diagnosis.
  • the diagnosis result will be'malignant'.
  • the first region may be a region in which a feature in the ultrasound image or a feature in the ultrasound image is imaged, which is a basis for determining the lesion as malignant. The first region will be described in detail below with reference to FIGS. 6 to 11.
  • a, b and c in the disclosed embodiment, includes only a, includes only b, includes only c, includes a and b, includes a and c, includes b and c, and It may have the meaning of including all cases including a, b, and c.
  • the display 430 displays a predetermined screen under the control of the processor 420.
  • the display 430 may display a medical image (eg, an ultrasound image), a user interface screen, information on a patient, history information on a patient's disease, image processing information, and the like.
  • the image processing information may include an intermediate product or a final result generated by processing an ultrasound image by the processor 420.
  • 'image processing' may mean an operation of processing, generating, modifying, and/or updating an ultrasound image.
  • the display 430 may display a user interface screen including at least one of an ultrasound image, a diagnosis image corresponding to the ultrasound image, a diagnosis result for a lesion identified based on the ultrasound image, and information for describing the diagnosis result. Can be displayed.
  • the memory 410 may store at least one program required to operate the ultrasound diagnosis apparatus 400 or at least one instruction required to execute at least one program. Also, the memory 410 may include at least one processor for performing the above-described operations.
  • the memory 410 may store at least one of an ultrasound image, information related to an ultrasound image, information about a patient, information about an object, and information about a subject. Also, the memory 410 may store at least one of information and an image generated by the processor 420. Further, the memory 410 may store at least one of images, data, and information received from an external electronic device (not shown).
  • the processor 420 may overall control the operation of the ultrasound diagnosis apparatus 400. Specifically, the processor 420 may execute at least one instruction to execute a predetermined operation or control a predetermined operation to be executed. Here, the instruction executed by the processor 420 may be at least one of at least one instruction stored in the memory 410.
  • processor 420 may be implemented in a form in which one processor or a plurality of processors are combined.
  • the processor 420 may include an internal memory (not shown) and at least one processor (not shown) that executes at least one stored program.
  • the internal memory (not shown) of the processor 420 may store one or more instructions.
  • at least one processor (not shown) included in the processor 420 may execute at least one of one or more instructions stored in an internal memory (not shown) of the processor 420 to execute a predetermined operation.
  • the processor 420 stores signals or data input from the outside of the ultrasound diagnosis apparatus 400, or a RAM (not shown) used as a storage area corresponding to various tasks performed by the ultrasound diagnosis apparatus 400 , A control program for controlling the ultrasound diagnosis apparatus 400 and/or a ROM (not shown) in which a plurality of instructions are stored, and at least one processor (not shown) may be included.
  • the processor (not shown) may include a graphic processing unit (not shown) for graphic processing corresponding to video data.
  • the processor (not shown) may be implemented as a SoC (System On Chip) in which a core (not shown) and a GPU (not shown) are integrated.
  • the processor (not shown) may include a single core, a dual core, a triple core, a quad core, and a multiple of the core.
  • FIG. 5 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to another embodiment.
  • the same configuration as that of FIG. 4 is illustrated using the same reference numerals. Accordingly, in describing the ultrasound diagnosis apparatus 500 illustrated in FIG. 5, a description overlapping with that in FIG. 4 will be omitted.
  • the ultrasound diagnosis apparatus 500 may further include at least one of a data acquisition unit 440, an image processing unit 450, a user interface 460, and a communication unit 470.
  • the data acquisition unit 440, the image processing unit 450, the user interface 460, and the communication unit 470 are respectively an ultrasonic transmission/reception unit 110, an image processing unit 130, an input unit 170, and a communication unit 160 of FIG. It can be the same as Accordingly, in describing the ultrasound diagnosis apparatus 500, a description overlapping with that in FIG. 1 will be omitted.
  • the data acquisition unit 440 may acquire ultrasound data. Specifically, the data acquisition unit 440 may receive an ultrasonic echo signal reflected from the object through the probe 20 under the control of the processor 420.
  • the data acquisition unit 440 may directly acquire raw data for generating an ultrasound image under the control of the processor 420.
  • the data acquisition unit 440 may correspond to the ultrasound transceiving unit 110.
  • raw data may mean original data corresponding to an ultrasonic echo signal obtained by being reflected from an object or data before processing.
  • the processor 420 may control to generate an ultrasound image corresponding to an ultrasound echo signal received through the data acquisition unit 440. Specifically, the processor 420 may control the image processing unit 450 to control the image processing unit 450 to generate an ultrasound image using an ultrasound echo signal.
  • the data acquisition unit 440 may receive an ultrasound image from an external electronic device (not shown) such as an external ultrasound diagnostic device (not shown) under the control of the processor 420.
  • the data acquisition unit 440 may be connected to an external electronic device (not shown) through a wired or wireless communication network, and under the control of the processor 420, ultrasonic waves transmitted from an external electronic device (not shown) Multiple data for generating an image or an ultrasound image may be received.
  • the processor 420 may control the image processing unit 450 so that an ultrasound image is generated using the Russian data received through the data acquisition unit 440. .
  • the data acquisition unit 440 may include a communication unit 470. That is, the communication unit 470 may be the data acquisition unit 440 itself, and the communication unit 470 may be implemented in a form included in the data acquisition unit 440.
  • the image processing unit 450 may perform at least one of generating an ultrasound image and processing an ultrasound image. Further, the image processing unit 450 may be implemented in a form included in the processor 420. For example, when the processor 420 includes a plurality of processors, any one of a plurality of processors included in the processor 420 may be an image processor for image processing.
  • the user interface 460 may receive predetermined data or a predetermined command from a user.
  • the user interface 460 may correspond to the input unit 170 of FIG. 1.
  • the user interface 460 may be formed of a touch screen or a touch pad integrally formed with the display 430.
  • the user interface 460 may include a user input device such as a button, a keypad, a mouse, a trackball, a jog switch, and a knob.
  • the user interface 460 may include a microphone, a motion detection sensor, a biometric information detection sensor, etc. for receiving voice input, motion input, biometric information input (eg, iris recognition, fingerprint recognition, etc.).
  • the user interface 460 includes inputs for manipulating buttons, keypads, mice, trackballs, jog switches, knobs, etc., inputs for touching a touch pad or touch screen, voice inputs, motion inputs, and/or Biometric information input (eg, iris recognition, fingerprint recognition, etc.) may be received.
  • inputs for manipulating buttons, keypads, mice, trackballs, jog switches, knobs, etc. inputs for touching a touch pad or touch screen, voice inputs, motion inputs, and/or Biometric information input (eg, iris recognition, fingerprint recognition, etc.) may be received.
  • the processor 420 may identify the lesion area based on a user input received through the user interface 460.
  • the ultrasound diagnosis apparatus 500 may display an ultrasound image through the display 430.
  • the user may view the ultrasound image and input an input for selecting a predetermined point or a predetermined region corresponding to a suspected lesion in the ultrasound image through the user interface 460.
  • the processor 420 may analyze an ultrasound image within a predetermined range around or near a point or a predetermined area selected by the user input, or around a selected point or a predetermined area. And, according to the analysis result, the lesion boundary and the lesion area formed by the lesion boundary can be identified.
  • the processor 420 may automatically detect a lesion area included in an ultrasound image through a computer-based image processing technology.
  • the user may view an ultrasound image and input an input for selecting a predetermined point or a predetermined region corresponding to a suspected lesion in the ultrasound image through the user interface 460.
  • the processor 420 may analyze at least a partial region of an ultrasound image corresponding to a point or region selected through a user input using a computer-based automatic diagnosis technology.
  • the processor 420 may precisely extract the boundary of the lesion or the lesion region formed by the boundary of the lesion as a result of the analysis.
  • the computer-based image processing technology may include a diagnosis technology based on machine learning.
  • machine learning is a CAD (Computer Aided Detection & Diagnosis) system that determines and detects whether an abnormality or lesion has occurred in an object through computer computation, data-based statistical learning, or artificial intelligence technology. Accordingly, it can be performed through an artificial intelligence system that performs machine learning.
  • the processor 420 analyzes the ultrasound image using a computer-based image processing technology, and as a result of the analysis, targets information (e.g., lesion area, information on the lesion, diagnosis result, etc.) Can be obtained.
  • targets information e.g., lesion area, information on the lesion, diagnosis result, etc.
  • the artificial intelligence (AI) system is a system in which the machine learns and judges itself and generates the result requested by the user, unlike the existing rule-based smart system.
  • Artificial intelligence technology consists of machine learning (deep learning) and component technologies using machine learning.
  • Machine learning is an algorithm technology that classifies/learns the features of input data by itself
  • element technology is a technology that utilizes machine learning algorithms such as deep learning, language understanding, visual understanding, reasoning/prediction, knowledge expression. , And motion control.
  • the processor 420 uses machine learning, which is the aforementioned computer-based image processing technology, in identifying a lesion region, obtaining a diagnosis result, obtaining diagnostic information, and/or establishing a criterion for identifying a lesion. Can be used.
  • image processing through artificial intelligence technology may be performed through an operation based on a neural network.
  • an operation based on a neural network such as a deep neural network (DNN) may be used.
  • the deep neural network (DNN) operation may include a convolution neural network (CNN) operation, and the like.
  • CNN convolution neural network
  • FIG. 6 is a diagram illustrating an ultrasound image acquired in an embodiment.
  • an ultrasound image 600 obtained by the ultrasound diagnosis apparatus 400 is illustrated. Specifically, in FIG. 6, an ultrasound image 600 corresponding to a breast region acquired through a breast ultrasound scan is illustrated as an example.
  • the processor 420 identifies the lesion area 610 included in the ultrasound image 600. Specifically, the processor 420 may analyze the ultrasound image 600 using an automatic diagnosis technology such as CAD technology or artificial intelligence technology. In addition, as a result of the analysis, the processor 420 may automatically detect the lesion area 610 included in the ultrasound image 600.
  • an operation of identifying the lesion region 610 and obtaining at least one of a diagnosis result and diagnosis information by analyzing the lesion region 610 may be performed using CAD technology.
  • the user may view the ultrasound image 600 and select an area in the ultrasound image 600 that is recognized as a lesion or a point or a predetermined area on an adjacent area of the suspected area through the user interface 460.
  • the user may point, touch, or click a point 611 in the lesion area 610 through the user interface 360.
  • the processor 420 may accurately detect the lesion area 610 by analyzing the peripheral area of the selected point or area through a user input using CAD technology or artificial intelligence technology.
  • the processor 420 may analyze the lesion area 610 using CAD technology or artificial intelligence technology to obtain a diagnosis result.
  • the processor 420 may generate a diagnostic image (not shown) by processing the image so that the boundary 615 of the lesion region 610 is clearly displayed so that the user can easily recognize the detected lesion region 610.
  • the diagnostic image (not shown) is a predetermined color on the boundary 615 of the lesion area 610 on the ultrasound image 600 so that the user can easily recognize the boundary 615 of the lesion area 610 It can be an image created by marking the line of.
  • the transparency of the lesion area 610 is adjusted, the lesion area 610 is marked with a specific color or pattern, the boundary 615 of the lesion area 610 is marked with an outline such as a dotted line or a solid line, etc.
  • a diagnostic image (not shown) may be generated.
  • the processor 420 generates a diagnostic image (not shown) by displaying the first region on the lesion region 610 of the ultrasound image 600.
  • the first region is at least a partial region of the lesion region that is a basis for diagnosing a lesion, and may mean at least a partial region of the ultrasound image that is a basis of the lesion diagnosis.
  • the criteria for distinguishing the lesion may be set based on at least one of a CAD system, an artificial intelligence system, and a user setting. There are many different types of lesions, and lesions can be distinguished according to various criteria. Therefore, the criterion for distinguishing lesions can be optimized and set by experimental or machine learning.
  • the lesion region 610 is the basis for analyzing the lesion, and the diagnosis result may be determined according to the contents contained in the periphery of the lesion region 610 and the inner region of the lesion region 610.
  • the lesion is at least one of the shape of the lesion area, the orientation of the lesion, the margin of the lesion, the echo characteristic that appears in the lesion area, and the posterior characteristic of the lesion area. Based on the analysis results, it can be distinguished as a specific lesion.
  • the lesion area 610 which is the area in which the lesion is imaged in the ultrasound image 600, and the image accuracy of the surrounding area thereof must be high so that the lesion area can be accurately extracted.
  • the diagnosis result of the lesion can also be changed. Therefore, if the lesion area is not accurately extracted or the diagnosis result is not accurately derived, the reliability of the diagnosis result may be degraded.
  • An ultrasound diagnosis apparatus that provides a diagnosis result using a conventional CAD system or the like provides only the diagnosis result without a description of the process of deriving the diagnosis result. Accordingly, even if an incorrect diagnosis result is provided or the judgment is ambiguous in deriving the diagnosis result, the user did not recognize this error. Accordingly, when the user trusts the wrong diagnosis result and finally derives the diagnosis result, the patient's disease may be misdiagnosed.
  • providing an incorrect diagnosis result does not help a user in diagnosing an object, and may confuse the user in diagnosing an object.
  • an area that is the basis of the diagnosis result is By providing the displayed diagnostic image to the user, it is possible for the user to more trust the diagnosis result and to more easily diagnose the object by referring to the diagnosis result and the first region.
  • the shape of the lesion area is irregular or variable, and the margin of the lesion area becomes a speculated pattern.
  • the echo characteristic has a low-level marked hyperechogenic characteristic, it is highly likely to be diagnosed as malignant. Since the lesion area 610 included in the ultrasound image 600 shown in FIG. 6 has the characteristics of the aforementioned malignant lesion, the processor 420 analyzes the lesion area 610 of the ultrasound image 600 As a result, diagnostic results such as'Malignant' or'Possibly Malignant' can be generated.
  • the basis for diagnosing a lesion included in the ultrasound image 600 as malignant is that the shape of the lesion region 610 is not an oval or ellipsoid, but an irregular shape. It could be having, the presence of a speculated pattern at the margins of the lesion area, etc. Therefore, the boundary 615 shape of the lesion region 610 and the boundary regions 620 and 630 having a speculated pattern in the lesion region 610 are the basis of the diagnosis result (specifically, the lesion is positive). It can be an area to become.
  • the user by providing the user with a diagnostic image displaying the areas (for example, 620, 615 or 630, which are areas where the boundary is displayed) that is the basis for diagnosing the lesion area 610 as malignant, A user can quickly and easily diagnose an object.
  • the areas for example, 620, 615 or 630, which are areas where the boundary is displayed
  • the first region which is at least one region that is a basis for diagnosing a lesion, may be displayed to be distinguished from other regions in the diagnosis image.
  • the processor 420 may distinguish and display the first area and other areas in the diagnostic image using at least one of a specific color, symbol, transparency, brightness, mark, and line of a specific pattern.
  • FIG. 7 is a diagram illustrating a user interface screen including a diagnostic image provided in an embodiment. Specifically, FIG. 7 shows a user interface screen 700 output from the ultrasound diagnosis apparatus 400.
  • a lesion area eg, 720 included in a diagnostic image (eg, 710) is simplified and schematically illustrated.
  • the boundary 720 of the lesion region may correspond to the boundary 615 of the lesion region in FIG. 6.
  • the user interface screen 700 may include a diagnosis image 710 and a partial screen 750 indicating a diagnosis result.
  • the partial screen 750 representing the diagnosis result included in the user interface screen 700 will be referred to as “diagnosis result 750” for convenience of description.
  • a portion of the boundary 720 of the lesion region that serves as a basis for determining the lesion imaged in the diagnostic image 710 as “Malignant” may be referred to as a portion having a speculated pattern.
  • the diagnostic image 710 may be an image in which an area 730 having a speculated pattern at the boundary 720 of the lesion area is displayed as the first area.
  • the processor 420 may display the first area (eg, 730) to be distinguished from other areas.
  • the first area eg, 730
  • FIG. 7 a case in which the first area is displayed using the area display line is illustrated as an example. Accordingly, the user sees the diagnostic image 710, which is an ultrasound image including the lesion, and the characteristic of the lesion imaged in the first area (for example, 730) (specifically, the boundary with a speculated pattern). ) Can be easily recognized. Accordingly, the user can quickly and easily determine whether the diagnosis result (eg, “Malignant”) provided by the ultrasound diagnosis apparatus is correct.
  • the diagnosis result eg, “Malignant”
  • the first region may exist as a plurality of regions in the diagnostic image 710. That is, in the disclosed embodiment, the'first area' refers to an area that is a basis for diagnosing a lesion, and does not mean that the number of areas is one.
  • the first region may be a region representing at least one of the plurality of characteristics when a plurality of characteristics representing the characteristics of the lesion exist in the lesion region (eg, 610 or 701).
  • the plurality of characteristics are characteristics of the lesion for distinguishing the type of lesion, and represent the shape of the lesion region, the orientation of the lesion, the margin of the lesion, and the brightness characteristic that appears in the lesion region. It may be an echo characteristic, a posterior feature characteristic of the lesion area, and the like.
  • the plurality of characteristics described above may correspond to a plurality of items included in Lexicon, which is a standard term for ultrasound examination defined by the American College of Radiology (ACR).
  • Lexicon which is a standard term for ultrasound examination defined by the American College of Radiology (ACR).
  • the first region may be a region representing at least one characteristic among the plurality of characteristics described above.
  • the displayed first regions 620 and 630 may be regions representing a margin of a lesion among the aforementioned characteristics.
  • the displayed boundary line 615 may be an area representing the shape of the lesion area among the above-described characteristics.
  • the diagnostic image 710 may display at least one region representing any one of the aforementioned plurality of characteristics as the first region.
  • the diagnostic image 710 may display a plurality of regions representing two or more of the aforementioned characteristics as a first region.
  • the plurality of regions may be displayed on the diagnosis image 710 so that different characteristics are displayed in a distinct manner.
  • the processor 420 uses at least one of different colors, marks, symbols, transparency, brightness, a type of a dotted line, and a thickness of the dotted line.
  • the at least one area may be displayed on the lesion area so that different characteristics are distinguished from each other.
  • the processor 420 may control a diagnostic image in which the at least one region is displayed to be displayed.
  • areas 620 and 630 which are areas representing a margin characteristic of a lesion, may be marked with a red color mark
  • the boundary line 615 representing the shape characteristic of the lesion may be marked with a blue color marking line.
  • FIG. 8 is a diagram illustrating a user interface screen including another diagnostic image provided in an embodiment. Specifically, FIG. 8 shows a user interface screen 700 output from the ultrasound diagnosis apparatus 400. In the user interface screen 800 shown in FIG. 8, the same configuration as in the user interface screen 700 shown in FIG. 7 is illustrated using the same reference symbols.
  • the processor 420 displays diagnostic information, which is information on the characteristics of the lesion area (eg, boundary characteristics of the lesion area) appearing in the first area (eg, 730) on the ultrasound image.
  • diagnostic information is information on the characteristics of the lesion area (eg, boundary characteristics of the lesion area) appearing in the first area (eg, 730) on the ultrasound image.
  • a diagnostic image 810 may be generated.
  • the diagnosis information may be information indicating characteristics of the lesion area indicated in the first area or information that is a basis for deriving a diagnosis result.
  • the diagnostic information 835 may be'Margin: speculated', which is information specifically indicating the boundary characteristics. .
  • the diagnostic information may be'Margin-speculated', which is information that is the basis for deriving a malicious judgment that is a diagnosis result.
  • the diagnostic information may be displayed on an area corresponding to the first area in the diagnosis image (eg, an area adjacent to the first area, which does not interfere with the user's observation of the first area, etc.).
  • the processor 420 displays'Margin: speculated' or'malicious determination basis: Margin-speculated' in the area 835 adjacent to the first area 730 to generate the diagnostic image 810. I can.
  • FIG. 9 is another diagram illustrating an ultrasound image acquired in an embodiment.
  • an ultrasound image 900 acquired by the ultrasound diagnosis apparatus 400 is shown.
  • an ultrasound image 900 corresponding to a breast region acquired through a breast ultrasound scan is illustrated as an example.
  • the shape of the lesion area is oval or ellipsoid, and the margin of the lesion area becomes a smooth pattern, and echoes. If the trait has a hyperechogenic trait, it is more likely to be diagnosed as benign. Since the lesion area 910 included in the ultrasound image 900 shown in FIG. 9 has the characteristics of the above-described benign lesion, the processor 420 analyzes the lesion area 610 of the ultrasound image 600 One result can produce diagnostic results such as'Benign' or'Possibly Benign'.
  • the basis for the diagnosis of a lesion included in the ultrasound image 900 as positive is that the shape of the lesion area 910 has a shape of an oval or an ellipsoid, and that the lesion area It may be that the margin of the has a smooth pattern, etc. Therefore, the shape 920 of the lesion area 910 and the border area 930 having a smooth pattern in the lesion area 910 are ultrasound images that are the basis of the diagnosis result (specifically, the lesion is positive). It may be at least some areas within 900.
  • the line 920 indicating the shape 920 of the lesion area 910 may be displayed to overlap the boundary 915 of the lesion area 910 or may be displayed on an area adjacent to the lesion area 910. have.
  • the user by providing the user with a diagnostic image displaying the regions (eg, 920, and 930) that are the basis for diagnosing the lesion region 910 as positive, the user more trusts the diagnosis result, An object may be more easily diagnosed by referring to the diagnosis result and the first area.
  • FIG. 10 is a diagram illustrating a user interface screen including another diagnostic image provided in an embodiment. Specifically, FIG. 7 shows a user interface screen 1000 output from the ultrasound diagnosis apparatus 400. In addition, in FIG. 10, similarly to FIGS. 8 and 9, the lesion area 1020 included in the diagnostic image 110 is schematically illustrated. Here, the boundary 1020 of the lesion region may correspond to the boundary 915 of the lesion region of FIG. 9.
  • the user interface screen 1000 may include a diagnosis image 1010 and a diagnosis result 1050.
  • a portion of the boundary 1020 of the lesion area that is the basis for determining the lesion imaged in the diagnostic image 1010 as “Benign” may be referred to as a portion having a smooth pattern.
  • the diagnostic image 1010 may be an image in which an area 730 having a smooth pattern at the boundary 1020 of the lesion area is displayed as the first area.
  • the user sees the diagnostic image 1010, which is an ultrasound image including the lesion, and facilitates the characteristics of the lesion imaged in the first region (for example, 1030) (specifically, the boundary having a smooth pattern). I can recognize it. Accordingly, the user can quickly and easily determine whether the diagnosis result provided by the ultrasound diagnosis apparatus (eg, “Benign”) is correct.
  • FIG. 11 is a diagram illustrating a user interface screen including another diagnostic image provided in an embodiment. Specifically, FIG. 11 shows a user interface screen 1100 output from the ultrasound diagnosis apparatus 400. In the user interface screen 1100 shown in FIG. 11, the same configuration as in the user interface screen 1000 shown in FIG. 10 is illustrated using the same reference symbols.
  • the processor 420 includes diagnostic information 1135, which is information on the characteristics of the lesion area (eg, boundary characteristics of the lesion area) appearing in the first area (eg, 1030) on the ultrasound image. By displaying, a diagnostic image 1110 may be generated.
  • diagnostic information 1135 is information on the characteristics of the lesion area (eg, boundary characteristics of the lesion area) appearing in the first area (eg, 1030) on the ultrasound image.
  • the diagnosis information 1135 may be'Margin: smooth', which is information specifically indicating the boundary characteristics.
  • the diagnosis information may be “positive judgment basis: Margin-smooth”, which is information that is the basis for deriving a malicious judgment that is a diagnosis result.
  • FIG. 12 is another diagram of a user interface screen including another diagnostic image provided in the embodiment.
  • the processor 420 determines whether a result of analyzing the lesion and whether the diagnosis result has an accuracy greater than or equal to a limit value, and when there is no diagnosis result having an accuracy greater than or equal to the limit value, can derive at least two diagnostic results have.
  • the processor 420 may output one diagnosis result.
  • the processor 420 may determine the diagnosis result of the lesion 610 as “malignant”.
  • the processor 420 may output a plurality of diagnosis results.
  • the diagnosis result 1050 for the lesion 1220 may be displayed together with the diagnosis accuracy for each of the plurality of diagnosis results as in the user interface 1200.
  • the processor 420 may output the diagnosis results in the order of the highest accuracy of the plurality of diagnosis results.
  • the processor 420 sets a limit value corresponding to the accuracy of the diagnosis result to 90%.
  • the diagnosis result 1050 for the lesion 1220 may be displayed as “Benign: 30%, Malignant: 70%”.
  • the diagnostic image 1210 may be an image in which both a first region (eg, 1030) that is a basis for a positive determination and a first region (eg, 730) that is a basis of a malicious determination.
  • the diagnostic image 1210 may be an image additionally displaying diagnostic information (eg, 835 and 1135) corresponding to the first region.
  • FIG. 13 is a diagram illustrating an example of a user interface screen provided in the embodiment.
  • the processor 420 may generate a user interface screen 1400 including a diagnosis image 1310, a diagnosis result 1330, and a list 1302 representing characteristics of a lesion area.
  • the display 430 may display the user interface screen 1400 according to the control of the processor 420.
  • diagnosis image 1310 and the diagnosis result 1330 may be formed as one partial screen 1301.
  • the processor 420 may generate the diagnosis image 1310 by superimposing the diagnosis result 1330 on a partial area of the diagnosis image 1310.
  • diagnosis result 1330 is a classification of Benign and Malignant.
  • each of the plurality of characteristics is a characteristic of a lesion for distinguishing the type of the lesion, and the shape of the lesion region, the orientation of the lesion, the margin of the lesion, and the brightness characteristic appearing in the lesion region. It may be an echo characteristic of the lesion area and a posterior feature characteristic of the lesion area.
  • the plurality of characteristics described above may correspond to a plurality of items included in Lexicon, which is a standard term for ultrasound examination defined by the American College of Radiology (ACR).
  • the list 1302 may include a plurality of items 1360 included in a Lexicon.
  • a list 1302 representing characteristics of a lesion region will be illustrated and described using a case formed of lexicon as an example.
  • the processor 420 may generate a displayed diagnostic image by distinguishing a plurality of partial regions so that the plurality of characteristics are distinguished from each other. I can.
  • the processor 420 generates a diagnostic image 1320 so that a first region corresponding to an item selected by the user among a plurality of items 1360 included in the list 1302 is included on the diagnostic image 1320 can do.
  • the processor 420 selects at least one partial region representing a characteristic corresponding to the selected item in the ultrasound image. By displaying as the first area, a diagnostic image may be generated. In addition, the processor 420 may update and generate and display the user interface screen 1400 so that the generated diagnostic image is reflected.
  • the ultrasound diagnosis apparatus 400 displays the user interface screen 1300
  • the user sees the user interface screen 1300, and an ultrasound image in which any one of a plurality of characteristics that is the basis of the diagnosis result 1330 is displayed.
  • the user may select any one of a plurality of characteristics that are the basis of the diagnosis result 1330 through the user interface 460.
  • the user may select an item corresponding to any one of a plurality of characteristics included in the list 1302.
  • the user interface 460 may receive a user input for selecting an item included in the list 1302.
  • the processor 420 identifies a characteristic corresponding to the selected item, based on a user input received through the user interface 460, and displays an area (specifically, a first area) representing the identified characteristic on the ultrasound image.
  • a diagnostic image can be generated to be displayed in
  • the ultrasound diagnosis apparatus 400 is generated by displaying an area (specifically, a first area) representing a characteristic corresponding to the selected item on the ultrasound image based on a user input input through the user interface 460.
  • a user interface screen including a diagnostic image may be displayed.
  • the region exhibiting a predetermined characteristic (specifically, a first region that is a partial region in an ultrasound image) may mean a region that is a basis for determining or determining a predetermined characteristic.
  • the first area may be at least a portion of the boundary area having a curvature corresponding to an ellipse among the lesion area.
  • the user in the case of providing a diagnostic image displaying a first region representing a characteristic selected based on a user input, the user can easily check the partial region in which the characteristic to be checked is displayed in the ultrasound image. Accordingly, it is possible to increase user convenience and ease in diagnosing a lesion.
  • FIG. 14 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • a user interface screen 1400 may correspond to a user interface screen 1300.
  • a user input for selecting a “Shape” item included in the list 1302 by viewing the user interface screen 1300 may be input to the ultrasound diagnosis apparatus 400. Then, the processor 420 identifies the partial region 1410 representing the'Shape' characteristic selected in response to the reception of the user input, and a diagnostic image 1401 showing the identified partial region 1410 as the first region is displayed.
  • the included user interface screen 1400 may be controlled to be output.
  • FIG. 154 illustrates a case in which there is only one partial region as a basis for determining a predetermined characteristic, it is natural that there may be a plurality of partial regions as a basis for determining a predetermined characteristic.
  • the item 1411 selected in the list 1302 is distinguished from the unselected items (eg, Orientation item, Margin item, Echo item, and Posterior item), Can be displayed.
  • the processor 420 uses at least one of different colors, symbols, transparency, brightness, marks, and lines of a specific pattern, so that the items 1411 selected in the list 1302 are unselected items. (For example, an Orientation item, a Margin item, an Echo item, and a Posterior item) may be distinguished and displayed, and a diagnostic image 1401 may be generated.
  • the processor 420 may generate a diagnostic image such that diagnostic information (eg, 835 or 1135) specifically indicating characteristics of the selected item is displayed on an area corresponding to the partial area 1410. For example, when the shape characteristic of the lesion area appearing on the partial area 1410 is'Oval', the processor 420 stores diagnostic information described as'Shape-Oval' in the partial area 1410. A diagnostic image (not shown) displayed on an area corresponding to may be generated.
  • diagnostic information eg, 835 or 1135
  • diagnostic information eg, 835 or 1135
  • a diagnostic image displayed on an area corresponding to may be generated.
  • a user interface screen 1500 may correspond to a user interface screen 1300.
  • a user input for selecting the “Orientation” item 1511 included in the list 1302 by viewing the user interface screen 1500 may be input to the ultrasound diagnosis apparatus 400. Then, the processor 420 identifies the partial region 1510 representing the'Orientation' characteristic selected in response to the reception of the user input, and the diagnostic image 1501 showing the identified partial region 1510 as the first region is displayed.
  • the included user interface screen 1500 may be controlled to be output.
  • the processor 420 may generate a diagnostic image such that diagnostic information (eg, 835 or 1135) specifically indicating characteristics of the selected item is displayed on an area corresponding to the partial area 1510. For example, when the orientation characteristic of the lesion area appearing on the partial area 1510 is'Parallel', the processor 420 may transfer diagnostic information described as'Orientation-Parallel' to the partial area 1510. A diagnostic image (not shown) displayed on an area corresponding to may be generated.
  • diagnostic information eg, 835 or 1135
  • diagnostic information eg, 835 or 1135
  • a diagnostic image displayed on an area corresponding to may be generated.
  • FIG. 16 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • a user interface screen 1600 may correspond to a user interface screen 1300.
  • a user input for selecting the'Margin' item 1611 included in the list 1302 by viewing the user interface screen 1600 may be input to the ultrasound diagnosis apparatus 400. Then, the processor 420 identifies the partial regions 1610 and 1620 representing the'Margin' characteristic selected in response to the reception of the user input, and displays the identified partial regions 1610 and 1620 as the first region.
  • the user interface screen 1600 including 1601 may be controlled to be output.
  • the processor 420 may generate a diagnostic image such that diagnostic information (eg, 835 or 1135) specifically indicating characteristics of the selected item is displayed on an area corresponding to the partial areas 1610 and 1620. For example, when the margin characteristic of the lesion area appearing on the partial areas 1610 and 1620 is'smooth', the processor 420 may transfer diagnostic information described as'Margin-smooth' to the partial area ( A diagnostic image (not shown) displayed on an area corresponding to 1610 and 1620 may be generated.
  • diagnostic information eg, 835 or 1135
  • diagnostic information eg, 835 or 1135
  • the processor 420 may transfer diagnostic information described as'Margin-smooth' to the partial area ( A diagnostic image (not shown) displayed on an area corresponding to 1610 and 1620 may be generated.
  • FIG. 17 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • a user interface screen 1700 may correspond to a user interface screen 1300.
  • a user input for selecting an “Echo” item 1711 included in the list 1302 by viewing the user interface screen 1700 may be input to the ultrasound diagnosis apparatus 400. Then, the processor 420 identifies the partial regions 1710 and 1720 representing the selected'Echo' characteristic in response to the reception of the user input, and displays the identified partial regions 1710 and 1720 as the first region.
  • a user interface screen 1700 including 1701 may be controlled to be output.
  • the processor 420 may generate a diagnostic image such that diagnostic information (eg, 835 or 1135) specifically indicating characteristics of the selected item is displayed on an area corresponding to the partial areas 1710 and 1720. For example, when the brightness (Echo) characteristic of the lesion area appearing on the partial regions 1710 and 1720 is'hyperechoic', the processor 420 may use the diagnostic information described as'Echo-hyperechoic' to the partial region. A diagnostic image (not shown) displayed on an area corresponding to (1710, 1720) may be generated.
  • diagnostic information eg, 835 or 1135
  • diagnostic information eg, 835 or 1135
  • the processor 420 may use the diagnostic information described as'Echo-hyperechoic' to the partial region.
  • a diagnostic image (not shown) displayed on an area corresponding to (1710, 1720) may be generated.
  • FIG. 18 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • a user interface screen 1800 may correspond to a user interface screen 1300.
  • a user input for selecting the'Posterior' item 1811 included in the list 1302 by viewing the user interface screen 1800 may be input to the ultrasound diagnosis apparatus 400. Then, the processor 420 identifies the partial region 1810 representing the selected'Posterior' characteristic in response to the reception of the user input, and a diagnostic image 1801 displaying the identified partial region 1810 as a first region is displayed.
  • the included user interface screen 1800 may be controlled to be output.
  • the processor 420 may generate a diagnostic image in which a very darkly imaged area among the outer areas of the identified lesion area is displayed as the first area.
  • the processor 420 may generate a diagnostic image such that diagnostic information (eg, 835 or 1135) specifically indicating characteristics of the selected item is displayed on an area corresponding to the partial area 1810. For example, when the exterior characteristic of the lesion area appearing on the partial area 1810 is'No Posterior Findings', the processor 420 is used as'Posterior-No Posterior Findings' or'No Posterior Findings'.
  • a diagnostic image (not shown) in which diagnostic information described as'Findings' is displayed on an area corresponding to the partial area 1810 may be generated.
  • FIG. 19 is a diagram illustrating another example of user interface screens provided in the embodiment.
  • the same configuration as in FIGS. 13 to 18 is illustrated using the same reference numerals.
  • the processor 420 may generate and display a user interface screen so that a plurality of diagnostic images corresponding to each of a plurality of characteristics representing a lesion result are sequentially displayed.
  • the processor 420 may generate and display a diagnostic image so that characteristics corresponding to items included in the list 1302 appear sequentially.
  • the processor 420 may include a diagnostic image 1401 shown in FIG. 14, a diagnostic image 1501 shown in FIG. 15, a diagnostic image 1601 shown in FIG. 16, and a diagnostic image shown in FIG.
  • the ultrasound diagnosis apparatus 400 may be controlled so that 1701 and the diagnosis images 1801 illustrated in FIG. 18 are sequentially displayed.
  • the display order between the diagnostic image 1401, the diagnostic image 1501, the diagnostic image 1601, the diagnostic image 1701, and the diagnostic image 1801 is set by the user, the processor 420 is self-set, and a plurality of characteristics It may be determined based on the importance between them, or the influence of a plurality of characteristics on the diagnosis result.
  • the user interface screen 2000 may correspond to the user interface screen 1300 shown in FIG. 13. As described with reference to FIG. 13, the user may select at least two items from among a plurality of items corresponding to a plurality of characteristics included in the list 1302. Accordingly, the processor 420 may control to generate and display a user interface screen 2000 including a diagnosis image 2010 in which partial regions representing each of a plurality of characteristics are displayed and a diagnosis result 2050.
  • the processor 420 determines the partial area 2040 that is the basis for determining the Margin property and the basis for determining the shape property.
  • the diagnosis image 2010 displayed so that the partial regions 2030 are distinguished from each other may be generated and displayed.
  • the processor 420 may generate the diagnostic image 2010 so that diagnostic information (eg, 2041) is displayed in an overlapping manner in an area corresponding to the partial area (eg, 2040).
  • diagnostic information eg, 2041
  • FIG. 20 a case in which the partial region 2040 and the partial region 2030 are distinguished through different dotted patterns is illustrated as an example.
  • the processor 420 may set the user setting, the processor 420 itself, the importance between a plurality of characteristics, or the influence of the plurality of characteristics on the diagnosis result. Based on this, a diagnostic image (eg, 2010) in which partial regions representing at least two or more of the plurality of characteristics are displayed may be generated. Specifically, the processor 420 may display partial regions on the diagnostic image so that a plurality of characteristics are distinguished from each other by using at least one of a specific color, symbol, transparency, brightness, mark, and line of a specific pattern.
  • the processor 420 displays a partial region representing the shape characteristic of the lesion region with a red dotted line, a partial region representing the orientation characteristic of the lesion with a blue dotted line, and
  • the partial area representing the margin characteristic is indicated by a green dotted line
  • the partial area representing the echo characteristic characteristic representing the brightness characteristic appearing in the lesion area is indicated by a yellow dotted line
  • a partial area representing a feature is indicated by a purple dotted line, so that a diagnostic image can be generated so that different features can be distinguished from each other.
  • FIG. 21 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • the same configuration as that of FIG. 20 is illustrated using the same reference numerals.
  • each of the plurality of items may include information specifically indicating characteristics corresponding to the plurality of items.
  • the Shape item may include information “irregular”, which is a characteristic that specifically describes the shape characteristics
  • the Margin item may include information “speculated”.
  • the processor 420 may control each of the plurality of items included in the list 2102 to be matched and displayed with at least one partial region corresponding thereto. Specifically, the processor 420 uses at least one of different colors, marks, symbols, transparency, brightness, a type of dotted line, and a thickness of a dotted line, and assigns each of the plurality of items to at least one partial region corresponding thereto. It can be matched and displayed.
  • the processor 420 may control the partial image 2030 and the Shape item in the list 2102 to be displayed at least one of the same color, mark, symbol, transparency, brightness, type of dotted line, and thickness of dotted line. . Also, the processor 420 may control the partial image 2040 and the Margin item in the list 2102 to be displayed in at least one of the same color, mark, symbol, transparency, brightness, type of dotted line, and thickness of dotted line. In this case, the Shape item and the Margin item may be displayed as at least one of a color, mark, symbol, transparency, brightness, a type of dotted line, and a thickness of a dotted line that are distinguished from each other.
  • diagnosis result 2050 may be determined and displayed as Malignant based on the fact that the shape of the lesion area is irregular and the margin is speculated.
  • 22 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • the processor 420 may generate a user interface screen 1400 including a diagnosis image 2210, a diagnosis result 2250, and a list 2202 indicating characteristics of the lesion area.
  • the processor 420 may distinguish a predetermined characteristic included in the list 2203 from other characteristics.
  • the diagnosis result is different. That is, there may be a case in which there is a characteristic capable of changing the diagnosis result by affecting the determination of the diagnosis result (eg, benign or malignant).
  • the characteristics capable of changing the diagnosis result will be referred to as'main characteristics'.
  • a partial region representing the main characteristics in the ultrasound image is separately referred to as a second region.
  • the processor 420 acquires the boundary region of the lesion and the boundary of the lesion, and based on the obtained boundary of the lesion, the shape of the lesion, the orientation of the lesion, and the boundary of the lesion ( At least one of a margin) shape, an echo for the lesion area, and a posterior feature for the lesion area may be obtained.
  • the processor 420 may obtain the first boundary as the boundary of the lesion in the partial region 2230 or the second boundary as the boundary of the lesion.
  • the shape of the lesion may be determined as Oval, and when based on the second boundary, the shape of the lesion may be determined to be irregular.
  • the displayed diagnostic image 2201 may be controlled to be displayed.
  • the processor 420 may generate a diagnostic image by displaying a portion of the ultrasound image where the lesion boundary is unclear.
  • the'part where the boundary is unclear' may be a case in which the accuracy of the extracted boundary has a value less than or equal to a limit value.
  • the processor 420 displays the boundary extracted in the portion where the boundary of the lesion is unclear (for example, 2230) to be distinguished from the boundary of the unclear portion (for example, a portion other than 2230), and diagnoses An image 2201 may be generated and displayed.
  • the processor 420 may extract a lesion area 2220 having a boundary as illustrated. Here, a portion where the extracted boundary is unclear may be displayed as the partial region 2230. In addition, the processor 420 may control the diagnostic image 2201 in which the partial region 2230 is displayed to be displayed, as illustrated in FIG. 22.
  • the processor 420 may determine that the shape characteristic appearing in the partial area 2230 is irregular.
  • the shape characteristic appearing in the partial region 2230 is changed to oval, there may be a case where the diagnosis result 2250 is changed from malignant to benign.
  • the boundary within the partial region 2230 is changed, the shape characteristic is changed to oval, and when the shape characteristic is changed to oval, there may be a case where the diagnosis result 2250 is changed from malignant to benign.
  • shape characteristics may be the main characteristics described above.
  • the processor 420 may display a key characteristic appearing in the aforementioned obscure area (e.g., 2230) from other characteristics in the list 2202 (e.g., mark 2275). By adding, the list 2202 can be generated and displayed. In addition, the processor 420 may display a display (e.g., a mark (for example, a mark (for example, Oval)) to distinguish between the currently acquired Shape characteristic 2271 and another characteristic (e.g. 2272)).
  • a mark for example, a mark (for example, Oval)
  • the processor 420 when the processor 420 includes an unclear portion (for example, an interval in which the accuracy of the boundary becomes less than a limit value) (for example, 2230) at the boundary of the lesion area extracted by the processor 420
  • Reference numeral 420 may control to display an icon 2232 for performing manual correction or re-extraction of a boundary corresponding to the partial region 2230.
  • the icon 2232 may be represented by a'c' mark indicating correction.
  • manual correction may mean an operation in which a user manually corrects an unclear boundary portion.
  • the processor 420 when a user input for selecting the icon 2232 is received, the processor 420 may control to output a user interface screen including an editing window (not shown) for correcting the boundary within the partial area 2230. have.
  • the processor 420 when the icon 2232 is an icon for re-extraction of the boundary, when a user input for selecting the icon 2232 is received, the processor 420 performs an automatic diagnostic operation such as a CAD operation to re-extract the boundary. A diagnostic image including a lesion region formed by the extracted and re-extracted borders may be generated and displayed. In addition, the icon 2232 may be displayed on the partial region 2230, which is an area where the boundary needs to be corrected, or at a position adjacent to the partial region 2230.
  • a diagnostic image 2230 may be generated by displaying 2230 on an ultrasound image.
  • the processor 420 may include at least one of symbols, marks, and information indicating that the diagnosis result may be different in the user interface screen 2200.
  • the processor 420 includes at least one of symbols, marks, and information indicating that the diagnosis result is different when the characteristic displayed in the second area 2230 is changed, the diagnosis image 2201, the diagnosis result 2250, and It can be controlled to be displayed at least under the list 2202.
  • the processor 420 may detect a partial region 2230 that is a basis for determining the shape characteristic of the lesion region 2220. As a result of the processor 420 analyzing the lesion area 2220, a shape characteristic appearing in the partial area 2230 may be determined to be irregular. However, when the shape characteristic appearing in the partial region 2230 is changed to oval, there may be a case where the diagnosis result 2250 is changed from malignant to benign. That is, the shape characteristic can be the main characteristic.
  • the processor 420 may display an indication (eg, mark 2275) in the list 2202 for distinguishing the main characteristic from other characteristics in the list 2202.
  • the processor 420 may display a display (e.g., a mark (for example, a mark (for example, Oval)) to distinguish between the currently determined Shape characteristic 2271 and another characteristic (e.g. 2272)).
  • diagnosis result 2250 information indicating that the diagnosis result may be changed may be displayed.
  • the processor 420 may display a plurality of second regions so that the plurality of main characteristics are distinguished on the diagnosis image. For example, when the main characteristics are shape and margin, the processor 420 may generate and display a diagnostic image in which the second region corresponding to the shape characteristic and the second region corresponding to the margin characteristic are distinguished from each other and displayed. .
  • the processor 420 may consider whether a specific determination of a predetermined characteristic has an accuracy of more than a threshold value. Specifically, for shape characteristics, take a case where the accuracy when the shape characteristic is determined as oval is 70% and the limit value is 90%. The processor 420 may not determine the shape characteristic as a main characteristic because it has an accuracy greater than or equal to the limit value when the accuracy of determining the shape characteristic as Oval is 90%.
  • the processor 420 may determine the shape characteristic as the main characteristic because it has an accuracy less than the limit value when the accuracy of the shape characteristic is determined as Oval is 70%. Accordingly, when a predetermined characteristic determined as a main characteristic exists, the processor 420 displays a second area (eg, 2230) representing the main characteristic on the user interface screen 2200, and detailed information on the main characteristic. It is possible to control to include at least one of an item to be included (eg, 2270) and an indication indicating that a major characteristic is present (eg, mark 2231 or 2275).
  • FIG. 23 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • 24 is a diagram illustrating another example of a user interface screen provided in the embodiment.
  • the user interface screen 2300 may further include a sub screen 2302 including detailed information 2380 corresponding to main characteristics.
  • the detailed information 2380 may include information indicating the accuracy (or diagnosis probability) of determination on the main characteristics. Specifically, when the diagnosis probability that the shape characteristic is determined as oval is 20% (or 0.2), the diagnosis probability that is determined as round is 70% (or 0.2), and the diagnosis probability that is determined as irregular is 10% (or 0.2) Take as an example. Then, the processor 420 may control the user interface screen 2300 to be generated and displayed with information 2380 indicating the accuracy of determination on the main characteristics. Specifically, the information 2380 may include a diagnosis probability 2381 to be determined as oval, a diagnosis probability 2382 to be determined as round, and a diagnosis probability 2383 to be determined as irregular. In addition, the diagnosis probability 2381 to be determined as oval, the diagnosis probability 2382 to be determined as round, and the diagnosis probability 2383 to be determined as irregular may be displayed in the order of the highest probability values.
  • information 2480 included on the user interface screen 2400 may correspond to information 2380 illustrated in FIG. 23.
  • the information 2480 includes the same content as the information 2380, but may be expressed in a different format.
  • the diagnosis probability 2831 determined as oval, the diagnosis probability 2382 determined as round, and the diagnosis probability 2383 determined as irregular are in the form of a graph 2485 in the user interface 2400 shown in FIG. 24. ) Can be expressed.
  • the processor 420 may correspond to a user input at which a point or a predetermined partial area of the lesion area is selected. It is possible to control to generate or display a diagnostic image in which information that is the basis of the diagnosis result or the characteristics of the lesion appearing in the partial region is overlapped.
  • 25 is a diagram illustrating a diagnostic image output in response to a user input.
  • 26 is another diagram illustrating a diagnostic image output in response to a user input.
  • 27 is another diagram illustrating a diagnostic image output in response to a user input.
  • an ultrasound image (eg, 2501) includes a lesion area 2510.
  • the ultrasound image 2501, the ultrasound image 2601, and the ultrasound image 2701 may correspond to each other in the same manner.
  • the ultrasound diagnosis apparatus 400 may display an ultrasound image 2501 including a lesion area 2510.
  • the user may specifically select a point or area on the ultrasound image 2501 to be viewed.
  • the selection operation may be performed by selecting a predetermined point or area by manipulating a selection means such as a cursor or a pointer included in the user interface 460 (for example, by clicking or double clicking).
  • a cursor or pointer for selection is positioned on the ultrasound image 2501, the processor 420 may recognize that the corresponding point is selected.
  • the position of the selection means 1 for selection is shown by an arrow (for example, 2530, 2630, or 2730).
  • the processor 420 when a predetermined point P1 on the lesion area 2510 included in the ultrasound image 2501 is selected, the processor 420 is a partial area corresponding to the selected point P1 in response to the selection input.
  • the diagnostic image 2502 displaying at least one of the 2550 and the information 2551 on the characteristic appearing in the partial region may be controlled to be generated and displayed.
  • information such as'Shape: Oval' 2551 is a diagnostic image ( 2502).
  • the processor 420 when a predetermined point P2 on the lesion area 2510 included in the ultrasound image 2601 is selected, the processor 420 is a partial area corresponding to the selected point P2 in response to the selection input.
  • the diagnostic image 2602 displaying at least one of the 2650 and the information 2651 on the characteristic appearing in the partial region may be controlled to be generated and displayed. For example, if the partial area 2550 corresponding to the selected point P2 is an area representing a posterior characteristic among a plurality of characteristics that derive a diagnosis result, information such as'No Posterior' 2651 is a diagnosis image 2602 ) Can be displayed.
  • the processor 420 moves clockwise or counterclockwise on the boundary line of the lesion area 2510 included in the ultrasound image (for example, 2501), and the area corresponding to the moving point and the A diagnostic image (eg, 2502) in which at least one of information on a characteristic appearing in the region (eg, 2551) is displayed may be generated and displayed.
  • the processor 420 divides the boundary line of the lesion area 2510 included in the ultrasound image (for example, 2501) into a plurality of sections, and information on an area corresponding to the divided section and characteristics appearing in the area At least one of the displayed diagnostic images may be generated and displayed.
  • a plurality of sections may be displayed to be distinguished from each other by using at least one of different colors, marks, symbols, transparency, brightness, type of dotted line, and thickness of dotted line.
  • 28 is a diagram illustrating a user interface screen including a plurality of diagnostic images.
  • the boundary of the lesion may be extracted using at least one of a computer aided detection (CAD) technology and an artificial intelligence technology.
  • CAD computer aided detection
  • the processor 420 may control to generate and display a user interface screen including a plurality of ultrasound images respectively displaying the extracted lesion boundaries.
  • the processor 420 is a user including a plurality of ultrasound images respectively displaying the extracted lesion boundaries.
  • the interface screen can be controlled to be created and displayed.
  • a user interface screen 2800 may include a plurality of ultrasound images 2810, 2820, 2830, 2840, 2850, and 2860.
  • each of the plurality of ultrasound images 2810, 2820, 2830, 2840, 2850, and 2860 included in the user interface screen 2800 may be an ultrasound image in which different boundaries are displayed.
  • each of the plurality of ultrasound images 2810, 2820, 2830, 2840, 2850, and 2860 may be arranged in the order of accuracy of the extracted boundary.
  • an ultrasound image 2810 displaying a boundary 2801 having the highest boundary accuracy is disposed at position 1
  • an ultrasound image 2820 displaying a boundary 281 having the second highest boundary accuracy at position 2 Can be placed.
  • an ultrasound image 2830 displaying a boundary 2831 having the third highest boundary accuracy is placed
  • an ultrasound image 2840 indicating a boundary 2831 having the fourth highest boundary accuracy is placed.
  • the boundary 2801 having the highest boundary accuracy may be shown together as a comparison object.
  • a diagnosis result derived based on the extracted boundary may be displayed on each of the plurality of ultrasound images 2810, 2820, 2830, 2840, 2850, and 2860.
  • a diagnosis image including diagnosis information corresponding to the diagnosis result may be enlarged and displayed. There will be.
  • 29 is a diagram for explaining a neural network used to obtain a result of analyzing an ultrasound image.
  • the processor 420 analyzes a lesion using at least one of a computer aided detection & diagnosis (CAD) technology and an artificial intelligence technology, and a diagnosis corresponding to the lesion area, the diagnosis result, and the diagnosis result At least one of the information can be obtained.
  • CAD computer aided detection & diagnosis
  • Artificial intelligence technology is a technology that obtains a desired result by analyzing an input image or data by performing an operation through a neural network.
  • the neural network may train training data (eg, a plurality of different ultrasound images) to optimize and set weight values inside the neural network. Then, through a neural network having an optimized weight value, the input data is learned by itself, and a desired result is output.
  • the neural network may be a deep neural network (DNN).
  • the deep neural network (DNN) operation may include a convolution neural network (CNN) operation, and the like.
  • a data recognition model may be implemented through the exemplified neural network, and the implemented data recognition model may be trained using training data.
  • the learned data recognition model for example, an ultrasound image including a lesion area, a specific area (eg, a boundary area of a lesion) or a specific area included in the ultrasound image
  • a partial image eg, an image corresponding to a partial region, which is a basis for deriving a diagnosis result, such as a first region
  • a partial image eg, an image corresponding to a partial region, which is a basis for deriving a diagnosis result, such as a first region
  • the processor 420 may perform an operation through a neural network to obtain at least one of a lesion area, a diagnosis result, and diagnosis information corresponding to the diagnosis result from an ultrasound image.
  • the operation through the neural network described above may be performed by the image processing unit 450.
  • the operation through the neural network described above is performed through an external server (not shown), and the result of the operation through the neural network (eg, at least one of the lesion area, the diagnosis result, and the diagnosis information corresponding to the diagnosis result) May be received through the communication unit 470.
  • the result of the operation through the neural network eg, at least one of the lesion area, the diagnosis result, and the diagnosis information corresponding to the diagnosis result
  • the processor 420 may perform an operation through a neural network including an input layer, a hidden layer, and an output layer, for example, the deep neural network 2920.
  • a hidden layer included in a neural network is formed of a deep neural network (DNN) formed in multiple stages is illustrated as an example.
  • DNN deep neural network
  • a deep neural network 2920 includes an input layer 2930, a hidden layer 2940, and an output layer 2950.
  • a deep neural network 2920 that analyzes information included in an ultrasound image as input data and outputs desired output data 2970 is illustrated as an example.
  • the output data 2970 may include at least one of a lesion area, a diagnosis result, and diagnosis information corresponding to the diagnosis result.
  • a plurality of layers forming the deep neural network 2920 may include a plurality of nodes (eg, 2931) that receive data. In addition, two adjacent layers are connected by a plurality of edges (eg, 2936) as shown. Each node has a corresponding weight value. Accordingly, the deep neural network 2920 may obtain output data based on a value obtained by calculating an input signal and a weight value, for example, a convolution operation.
  • the deep neural network 2920 may be formed as a CNN neural network that performs a convolution neural network (CNN) operation.
  • CNN convolution neural network
  • the input layer 2930 receives an ultrasound image 2910 including a lesion area 2902.
  • the hidden layer 2940 is formed of three levels of layers is illustrated as an example.
  • the depth of the hidden layer 2940 may vary according to various specifications and/or design specifications of the neural network to be used.
  • the deep neural network 2920 includes a first layer (Layer 1) formed between an input layer 2930 and a first hidden layer (HIDDEN LAYER1), a first hidden layer (HIDDEN LAYER1), and a second hidden layer ( The second layer (Layer 2) formed between the HIDDEN LAYER2, and the third layer (Layer 3) formed between the second hidden layer (HIDDEN LAYER2) and the third hidden layer (HIDDEN LAYER3), and the third hidden layer (HIDDEN) It may be formed as a fourth layer (Layer 4) formed between LAYER3 and the output layer (OUTPUT LAYER 2970).
  • a plurality of nodes included in the input layer 2930 of the deep neural network 2920 receives a plurality of data corresponding to the ultrasound image 2910.
  • the plurality of data may be a plurality of partial images generated by performing a filter process for dividing the ultrasound image 2910.
  • the convolutional neural network is a filter that illuminates only a specific area when the correlation between information included in the image is local.
  • the convolution layer is a layer of data generated according to a convolution operation
  • the pooling layer is a layer for reducing the number or size of data through an operation called subsampling or pooling.
  • data representing characteristics of the input image eg, a feature map
  • image features of the ultrasound image 2910 are generated through calculation through the hidden layer 2940, and based on the image features, the lesion area, the diagnosis result for the lesion, diagnosis information corresponding to the diagnosis result, etc. Can be obtained.
  • the desired output data 2970 may be output. .
  • the deep neural network 2920 trains a plurality of ultrasound images including a plurality of different lesions to accurately determine the lesion area or diagnosis result included in the ultrasound image. In the direction of detection, the weight value of each node can be modified.
  • the deep neural network 2920 may obtain a criterion for detecting a diagnosis result by performing an operation through the neural network. For example, criteria representing characteristics of a malignant lesion or criteria representing characteristic values of a benign lesion may be obtained.
  • FIG. 30 is a flowchart illustrating a method of displaying an ultrasound image according to an exemplary embodiment.
  • the ultrasound image display method 3000 according to the disclosed embodiment may be performed through the ultrasound diagnosis apparatus 100, 400, or 500 according to the disclosed embodiment described with reference to FIGS. 1 to 29. Accordingly, the operation of each step of the ultrasound image display method 3000 may be performed through each component of the ultrasound diagnosis apparatus 100, 400, or 500, and the ultrasound image display method 3000 is the above-described ultrasound diagnosis apparatus 100, 400 Or 500) may include the same configurational features. That is, FIG. 30 may be a diagram illustrating operations performed by the ultrasound diagnosis apparatus 100, 400, or 500 according to the disclosed embodiment. Accordingly, in describing the ultrasound image display method 3000, descriptions overlapping with those in FIGS. 1 to 29 will be omitted.
  • the ultrasound image display method 3000 identifies a lesion area included in the ultrasound image (S3010).
  • the operation of step S3010 may be performed by the processor 420.
  • step S3010 The lesion area identified in step S3010 is diagnosed to obtain a diagnosis result (S3020).
  • the operation of step S3020 may be performed by the processor 420.
  • a first area which is at least one area that is a basis for diagnosing a lesion, is displayed on the lesion area of the ultrasound image to generate a diagnosis image (S3030).
  • the operation of step S3030 may be performed by the processor 420.
  • step S3040 a user interface screen including a diagnosis image and a diagnosis result is displayed (S3040).
  • the operation of step S3040 may be performed by the processor 420.
  • 31 is a diagram illustrating an actual implementation example of a user interface screen according to an embodiment.
  • 32 is another diagram illustrating an actual implementation example of a user interface screen according to an embodiment.
  • FIGS. 31 and 32 actual user interface screens output from the ultrasound diagnosis apparatus implemented according to the disclosed embodiment are shown.
  • a user interface screen 3100 displays a diagnosis image 3110 generated by marking a boundary area extracted on an ultrasound image, a diagnosis result 3120, and a list 3130 indicating characteristics of the lesion area.
  • the diagnosis image 3110, the diagnosis result 3120, and the list 3130 representing the characteristics of the lesion area are respectively provided with the diagnosis image 1310, the diagnosis result 1330, and the characteristics of the lesion area. Since it may correspond to the list 1302 shown in the same manner, detailed description is omitted.
  • At least one item may be selected in the list 3130 or the first region may be displayed in the diagnostic image 3110 by setting of the processor 420.
  • the user interface screen 3200 may further include ultrasound scan information 3240 for a patient or an object compared to the user interface screen 3200.
  • the disclosed embodiments may be implemented in the form of a computer-readable recording medium that stores instructions and data executable by a computer.
  • the instruction may be stored in the form of a program code, and when executed by a processor, a predetermined program module may be generated to perform a predetermined operation.
  • a predetermined program module when executed by a processor, certain operations of the disclosed embodiments may be performed.
  • the computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the ultrasound image display method includes the operation of obtaining a sentence composed of multiple languages; And using a multilingual translation model, obtaining vector values corresponding to each of the words included in the sentence composed of the multilingual, converting the obtained vector values into vector values corresponding to the target language, and the converted It may be implemented as a computer program product including a recording medium in which a program for performing an operation of obtaining a sentence composed of the target language based on vector values is stored.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

초음파 영상에 포함되는 병변 영역을 식별하는 단계; 상기 병변 영역을 진단하여 진단 결과를 획득하는 단계; 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법이 개시된다.

Description

초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
개시된 실시예는 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품에 대한 것이다.
구체적으로, 개시된 실시예는 병변을 포함하는 초음파 영상에 대한 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품에 대한 것이다.
초음파 진단 장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 신호의 정보를 수신하여 대상체 내부의 부위(예를 들면, 연조직 또는 혈류)에 대한 적어도 하나의 영상을 얻는다.
최근에는 캐드(CAD: Computer Aided Detection & Diagnosis) 시스템, 기계 학습, 등과 같은 영상 처리 기술의 발전으로 인하여, 초음파 진단 장치가 자동적으로 획득된 초음파 영상을 컴퓨터로 분석하여, 대상체에 이상이 발생한 부위인 비정상(abnormal) 영역을 검출하거나 분석한 결과를 생성할 수 있다. 구체적으로, 초음파 진단 장치는 대상체에 이상이 발생한 부위 및 분석한 진단 결과(예를 들어, 검출된 부위가 악성 종양 인지 여부)를 포함하는 사용자 인터페이스 화면을 출력할 수 있다. 그에 따라서, 사용자(예를 들어, 의사 등)는 의료 영상(예를 들어, 초음파 영상)에서 검출된 이상 부위에 대응되는 진단 결과를 확인할 수 있다.
개시된 실시예들은 초음파 영상을 자동으로 분석하여 진단 결과를 제공하는데 있어서, 사용자가 환자의 질병을 더욱 정확하게 진단할 수 있도록 진단 결과와 관련된 정보를 제공하는 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품의 제공을 목적 및 효과로 한다.
개시된 실시예에 따른 초음파 영상 표시 방법은 초음파 영상에 포함되는 병변 영역을 식별하는 단계; 상기 병변 영역을 진단하여 진단 결과를 획득하는 단계; 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함한다.
개시된 실시예들에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 진단 결과와 관련된 정보를 제공하여, 사용자가 환자의 질병을 더욱 정확하게 진단할 수 있도록 한다.
구체적으로, 개시된 실시예들에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 진단 결과의 근거가 되는 초음파 영상의 부분을 사용자가 인식할 수 있도록 함으로써, 사용자가 대상체의 질병을 정확히 판단할 수 있도록 한다.
구체적으로, 개시된 실시예에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis)에 근거하여 획득된 진단 결과와 관련된 정보, 구체적으로, 진단 결과의 근거가 되는 초음파 영상의 부분 및/ 또는 진단 결과를 설명하기 위한 부가 정보 등을 사용자에게 제공함으로써, 사용자가 초음파 영상을 통하여 질병을 진단하는데 도움을 줄 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 2는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 3a는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 일 도면이다.
도 3b는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 3c는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 4는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 5는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 6은 실시예에서 획득한 초음파 영상을 나타내는 일 도면이다.
도 7은 실시예에서 제공하는 일 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 8은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 9는 실시예에서 획득한 초음파 영상을 나타내는 다른 도면이다.
도 10은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 11은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 도면이다.
도 12는 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 다른 도면이다.
도 13은 실시예에서 제공하는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
도 14는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 15는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 16은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 17은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 18은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 19는 실시예에서 제공하는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다.
도 20은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 21은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 22는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 23은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 24는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 25는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 일 도면이다.
도 26는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 27은 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 28은 복수개의 진단 영상들을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
도 29는 초음파 영상을 분석한 결과를 획득하기 위해 이용되는 신경망을 설명하기 위한 도면이다.
도 30은 실시예에 따른 초음파 영상 표시 방법을 나타내는 흐름도이다.
도 31은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 일 도면이다.
도 32은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 다른 도면이다.
개시된 실시예에 따른 초음파 영상 표시 방법은 초음파 영상에 포함되는 병변 영역을 식별하는 단계; 상기 병변 영역을 진단하여 진단 결과를 획득하는 단계; 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함한다.
또한, 상기 제1 영역은 상기 병변 영역에서 병변의 특성을 나타내는 복수의 특성들이 존재할 때, 상기 복수의 특성들 중 적어도 하나를 나타내는 영역이 될 수 있다.
또한, 상기 제1 영역은 상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin), 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방(posterior) 중 적어도 하나의 특성을 판단하는 근거가 되는 영역이 될 수 있다.
또한, 상기 진단 결과는 상기 병변이 양성(benign)인지 또는 악성(malignant)인지를 나타내는 정보를 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 병변 영역을 나타내는 복수의 특성들이 존재할 때, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여 상기 복수의 특성들에 있어서 서로 다른 특성들이 상호 구별되도록, 상기 적어도 하나의 영역을 상기 병변 영역 상에 표시하는 단계를 포함할 수 있다.
또한, 상기 복수의 특성들은 상기 병변을 진단하는데 근거가 되는 상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin) 형태, 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방 특징(posterior feature) 중 적어도 하나를 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 병변 영역에 포함되는 제2 영역에서 나타나는 상기 병변 영역의 특성이 변경되면 상기 진단 결과가 달라지게 되는 경우, 상기 제2 영역을 상기 초음파 영상에 표시하여 상기 진단 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 제1 영역과 상기 제2 영역이 구별되도록 표시하여, 상기 진단 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는 상기 진단 영상, 상기 진단 결과, 및 상기 병변을 나타내는 복수의 특성들 각각에 대응되는 복수의 항목들을 포함하는 리스트를 포함 하는 상기 사용자 인터페이스 화면을 디스플레이 하는 단계를 더 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 복수의 항목들 중 어느 하나를 선택하는 사용자 입력에 대응하여, 상기 초음파 영상에 있어서, 선택된 항목에 대응되는 특성을 나타내는 적어도 하나의 부분 영역을 상기 제1 영역으로 표시 하여, 상기 진단 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 리스트에 있어서, 상기 복수의 항목들 각각은 상기 복수의 항목에 대응되는 특성을 구체적으로 나타내는 정보를 포함하며, 상기 복수의 항목들 각각은 그에 대응되는 적어도 하나의 부분 영역과 매칭되어 표시될 수 있다.
또한, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는 상기 리스트에 포함되는 제1 특성이 변경되면 상기 진단 결과가 달라지는 경우, 상기 리스트에 포함에 포함되는 제1 특성을 이외의 특성들과 구별하여 표시하는 단계를 더 포함할 수 있다.
또한, 상기 진단 영상을 생성하는 단계는 상기 초음파 영상 상에 상기 제1 영역에서 나타나는 상기 병변 영역의 특성에 대한 정보인 진단 정보를 표시하여, 상기 진단 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 진단 정보를 획득하는 단계는 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 상기 초음파 영상을 분석하고, 상기 병변 영역, 상기 진단 결과 및 상기 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득하는 단계를 포함할 수 있다.
또한, 상기 병변 영역을 식별하는 단계는 상기 병변 영역의 경계를 식별하는 단계를 포함하며, 상기 초음파 영상 표시 방법은 상기 식별의 결과 상기 경계가 복수 개 존재하는 경우, 상기 초음파 영상에 상기 복수개의 경계를 각각 표시하여 복수개의 서브 영상들을 생성하는 단계; 및 상기 복수개의 서브 영상들을 포함하는 사용자 인터페이스 화면을 출력하는 단계를 더 포함할 수 있다.
개시된 실시예에 따른 초음파 진단 장치는 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 초음파 영상에 포함되는 병변 영역을 식별하고, 상기 병변 영역을 진단하여 진단 결과를 획득하며, 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면이 상기 디스플레이를 통하여 디스플레이 되도록 제어하는 프로세서를 포함한다.
개시된 실시예에 따른, 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램이 수록된 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램은 초음파 영상에 포함되는 병변 영역을 식별하는 단계; 상기 병변 영역을 진단하여 진단 결과를 획득하는 단계; 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법을 컴퓨터에서 실행시키기 위해서 기록매체에 저장된 컴퓨터 프로그램이다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부’(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 ‘부’가 하나의 요소(unit, element)로 구현되거나, 하나의 ‘부’가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 영상은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
본 명세서에서 ‘대상체(object)’는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
명세서 전체에서 "초음파 영상"이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 1은 일 실시예에 따른 초음파 진단 장치(100)의 구성을 도시한 블록도이다. 일 실시예에 따른 초음파 진단 장치(100)는 프로브(20), 초음파 송수신부(110), 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160), 및 입력부(170)를 포함할 수 있다.
초음파 진단 장치(100)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(20)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(20)는 초음파 진단 장치(100)와 일체형으로 구현되거나, 또는 초음파 진단 장치(100)와 유무선으로 연결되는 분리형으로 구현될수 있다. 또한, 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 프로브(20)를 구비할 수 있다.
제어부(120)는 프로브(20)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(120)는 프로브(20)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(115)를 제어 한다.
영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(140)는 생성된 초음파 영상 및 초음파 진단 장치(100)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(140)를 포함할 수 있다. 또한, 디스플레이부(140)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(120)는 초음파 진단 장치(100)의 전반적인 동작 및 초음파 진단 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(120)는 초음파 진단 장치(100)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(120)는 입력부(170) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 진단 장치(100)의 동작을 제어할 수 있다.
초음파 진단 장치(100)는 통신부(160)를 포함하며, 통신부(160)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(160)가 외부 장치로부터 제어 신호 및 데이터를 수신하고, 수신된 제어 신호를 제어부(120)에 전달하여 제어부(120)로 하여금 수신된 제어 신호에 따라 초음파 진단 장치(100)를 제어하도록 하는 것도 가능하다.
또는, 제어부(120)가 통신부(160)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다.
예를 들어 외부 장치는 통신부를 통해 수신된 제어부의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.
외부 장치에는 초음파 진단 장치(100)를 제어할 수 있는 프로그램이 설치될 수 있는 바, 이 프로그램은 제어부(120)의 동작의 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.
프로그램은 외부 장치에 미리 설치될 수도 있고, 외부장치의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.
저장부(150)는 초음파 진단 장치(100)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(170)는, 초음파 진단 장치(100)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
도 2는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 2을 참조하면, 초음파 진단 장치(100)는 무선 프로브(20) 및 본체(40)를 포함할 수 있다. 도 2에 있어서, 도 1에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 도 2에 도시된 초음파 진단 장치(100)를 설명하는데 있어서, 도 1에서와 중복되는 설명은 생략한다. 또한, 수신부(115)는 복수개의 트랜스튜서들로 형성될 수 있으므로, 도 1에 도시된 ‘수신부(115)’는 도 2에서 ‘트랜스듀서(115)’로 도시하였다.
무선 프로브(20)는 송신부(113), 트랜스듀서(115), 수신부(117), 제어부(118) 및 통신부(119)를 포함할 수 있다. 도 1에서는 무선 프로브(20)가 송신부(113) 및 수신부(117)를 모두 포함하는 것으로 도시하였으나, 구현 형태에 따라, 무선 프로브(20)는 송신부(113) 및 수신부(117)의 구성 중 일부만을 포함할 수도 있으며, 송신부(113) 및 수신부(117)의 구성 중 일부는 본체(40)에 포함될 수도 있다. 또는, 무선 프로브(20)는 영상 처리부(130)를 더 포함할 수도 있다.
트랜스듀서(115)는, 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다.
제어부(118)는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(118)는 트랜스듀서(115)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(117)를 제어한다. 또는, 무선 프로브(20)가 영상 처리부(130)를 포함하는 경우, 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성할 수 있다.
통신부(119)는 생성된 초음파 데이터 또는 초음파 영상을 무선 네트워크(30)를 통하여, 본체(40)로 무선 전송할 수 있다. 또는, 통신부(119)는 본체(40)로부터 제어 신호 및 데이터를 수신할 수 있다.
또한, 초음파 시스템(100)은 구현 형태에 따라 하나 이상의 무선 프로브(20)를 구비할 수 있다.
본체(40)는 무선 프로브(20)로부터 초음파 데이터 또는 초음파 영상을 수신할 수 있다. 본체(40)는 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160) 및 입력부(170)를 포함할 수 있다.
도 3a는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 일 도면이다.
도 3b는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 3c는 실시예에 따른 초음파 진단 장치의 외관을 나타내는 다른 도면이다.
도 3a 및 도 3b를 참조하면, 초음파 진단 장치(100a, 100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122)를 포함할 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 초음파 영상 또는 초음파 진단 장치(100a, 100b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 진단 장치(100a, 100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(121)는 초음파 영상을 표시하고, 서브 디스플레이부(122)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(122)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 진단 장치(100a, 100b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(121)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 3b를 참조하면, 초음파 진단 장치(100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122) 이외에 컨트롤 패널(165)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 진단 장치(100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(165)은 TGC(Time Gain Compensation) 버튼(171), Freeze 버튼(172) 등을 포함할 수 있다. TGC 버튼(171)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 진단 장치(100b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(172) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(165)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(121) 또는 서브 디스플레이부(122)에 GUI로 제공될 수 있다.
도 3c를 참조하면, 초음파 진단 장치(100c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치(100c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 진단 장치(100c)는 프로브(20)와 본체(40)를 포함하며, 프로브(20)는 본체(40)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(40)는 터치 스크린(145)을 포함할 수 있다. 터치 스크린(145)은 초음파 영상, 초음파 진단 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
개시된 실시예에 따른 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품은 초음파 영상을 분석하여 대상체에 이상이 있는지 여부를 판단하여 진단 결과를 생성하고, 초음파 영상 내에 나타나는 진단 결과에 대응되는 정보를 사용자에게 제공함으로써, 사용자가 진단 결과를 참조하여 정확하게 환자의 질병을 진단할 수 있도록 하여, 사용자 편리성을 높일 수 있다. 여기서, ‘사용자’는 환자의 질병을 진단하는 의사, 환자의 대상체에 대한 초음파 스캔을 수행하는 소노그래퍼 등이 될 수 있다. 그리고, ‘진단 결과에 대응되는 정보’는, 진단 결과에 대응되는 초음파 영상 상에 나타나 있는 정보, 진단 결과에 근거가 되는 정보, 진단 결과의 근거가 되는 초음파 영상 내의 부분 영역, 진단 결과에 영향을 미치는 초음파 영상 내의 부분 영역 등을 의미할 수 있다. 이하에서는, ‘진단 결과에 대응되는 정보’를 편의상 ‘진단 정보’라 칭하도록 한다.
전술한 바와 같이, 자동적으로 진단 결과를 제공받는 사용자의 편리성을 증대시킬 수 있는 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품을, 첨부된 도면들을 참조하여 상세히 설명한다.
개시된 실시예에서, 초음파 진단 장치는 초음파 영상을 획득, 처리, 및/또는 디스플레이할 수 있는 전자 장치가 될 수 있다. 구체적으로, 초음파 진단 장치는 i) 초음파 영상 내의 특정 부위(예를 들어, 병변이 발생하는 부위 등)를 식별하거나, ii) 초음파 영상을 분석하여 진단 결과 또는 진단 정보를 획득하거나, 또는 iii) 초음파 영상에 근거하여 진단에 이용되는 부분 영상, 전체 영상 또는 정보를 가공, 생성, 수정, 갱신 또는 디스플레이 할 수 있는 전자 장치를 의미할 수 있다.
구체적으로, 구체적으로, 개시된 실시예에 따른 초음파 진단 장치는, 도 3a 내지 도 3c 에 도시된 바와 같이, 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 팩스 뷰어(PACS viewer), 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 제한되지 않는다.
도 4는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다. 도 4에 있어서, 메모리(410), 프로세서(420) 및 디스플레이(430)는 각각 도 1에 도시된 저장부(150), 제어부(120) 및 디스플레이부(140)에 대응될 수 있으므로, 도 1에서와 중복되는 설명은 생략한다.
도 4를 참조하면, 개시된 실시예에 따른 초음파 진단 장치(400)는 메모리(410), 프로세서(420) 및 디스플레이(430)를 포함한다.
메모리(410)는 적어도 하나의 인스트럭션을 저장한다.
디스플레이(430)는 소정 화면을 디스플레이 한다.
프로세서(420)는 메모리(410)에 저장된 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 소정 동작을 수행하거나 소정 동작이 수행되도록 초음파 진단 장치(400) 내의 다른 구성 요소들을 제어할 수 있다.
구체적으로, 프로세서(420)는 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 초음파 영상에 포함되는 병변 영역을 식별하고, 상기 병변 영역을 진단하여 진단 결과를 획득하며, 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면이 상기 디스플레이를 통하여 디스플레이 되도록 제어한다.
여기서, 병변(lesion)은 병이 원인이 되어 일어나는 생체의 변화를 의미한다. 구체적으로, 병변은 대상체가 건강한 조직의 형태를 갖지 않는 모든 형태 또는 대상체가 건강한 상태와 비교하여 다른 상태를 가지는 경우를 모두 지칭할 수 있다. 구체적으로, 병변(lesion)은 크게 양성(benign)과 악성(malignant)로 구별될 수 있다. 또한, 양성인 병변은 종양(tumor)에 대응될 수 있고, 악성인 병변을 암(cancer)에 대응될 수 있다.
또한, 개시된 실시예에서 ‘병변 영역’은 병변의 경계에 의해서 형성되는 병변의 내부 영역뿐만 아니라, 병변의 경계에 인접한 외부 영역도 포함하는 개념이 될 수 있다. 즉, 병변 영역은 초음파 영상 내에서 병변 자체를 이미징한 영역뿐만 아니라 병변의 특성들이 이미징된 영역을 의미할 수 있다.
그리고, 진단 정보는 대상체 내에서 병변이 존재하는 경우, 식별된 병변 영역, 병변이 크기, 병변의 위치, 및 특성(예를 들어, 전이 가능성, 악성 위험도 등) 중 적어도 하나를 나타내는 정보가 될 수 있다. 또한, 진단 정보는 학회 또는 협회에서 정의한 질병에 대한 표준 용어 등을 포함할 수 있다. 예를 들어, 진단 정보는 미국 방사선과의사협회(ACR: American College of Radiology)에서 정의한 초음파 검사 표준 용어인 렉시콘(Lexicon)에 포함되는 복수개의 항목들에 대한 정보를 포함할 수 있다.
또한, 진단 결과는 식별된 병변이 악성인지 또는 양성인지를 나타내는 정보 또는 구체적인 병변의 명칭 등이 포함할 수 있다. 또 다른 예로, 진단 결과는 식별된 병변이 구진(papule), 결절(nodule), 종양(tumor), 또는 암(cancer)인지를 나타내는 정보를 포함할 수 있다. 또 다른 예로, 진단 결과는, 병변의 구체적인 명칭(예를 들어, 유방 종양, 유방암, 갑상선 종양, 갑상선 결절, 갑상선암 등)을 나타내는 정보를 포함할 수 있다.
이하에서는 설명의 편의 상, 진단 결과가 악성인지 또는 양성인지를 나타내는 정보를 포함하는 경우를 예로 들어 설명 및 도시하도록 한다. 예를 들어, 진단 결과는 ‘Possibly benign’, ‘Benign’, ‘Possibly malignant’, ‘Malignant’ 등으로 표현될 수 있다.
개시된 실시예에서, 제1 영역은 병변 영역에 있어서 병변을 진단하는데 근거가 되는 적어도 일부의 영역으로, 병변을 진단하는데 근거가 되는 초음파 영상 내의 적어도 일부 영역을 의미할 수 있다. 예를 들어, 대상체 내의 병변이 악성 병변일 경우, 진단 결과는 ‘악성’이 될 것이다. 이 경우, 제1 영역은 해당 병변을 악성으로 판단하는데 근거가 되는 초음파 영상 내의 특징 또는 초음파 영상 내의 특징이 이미징된 영역이 될 수 있다. 제1 영역은 이하에서 도 6 내지 도 11을 참조하여 상세히 설명한다.
또한, 개시된 실시예에서, ‘a, b 및 c 중 적어도 하나’는, a 만을 포함, b 만을 포함, c 만을 포함, a 및 b 를 포함, a 및 c 를 포함, b 및 c를 포함, 및 a, b 및 c를 모두 포함하는 경우들을 다 포함하는 의미를 가질 수 있다.
구체적으로, 디스플레이(430)는 프로세서(420)의 제어에 따라서 소정 화면을 디스플레이 한다. 디스플레이(430)는 의료 영상(예를 들어, 초음파 영상), 사용자 인터페이스 화면, 환자에 대한 정보, 환자의 질병에 대한 이력 정보, 영상 처리 정보 등을 디스플레이 할 수 있다. 여기서, 영상 처리 정보는 프로세서(420)가 초음파 영상을 영상 처리하여 생성한 중간 생성물 또는 최종 결과물을 포함할 수 있다. 또한, ‘영상 처리’는 초음파 영상을 가공, 생성, 수정, 및/또는 갱신하는 동작을 의미할 수 있다.
예를 들어, 디스플레이(430)는 초음파 영상, 초음파 영상에 대응되는 진단 영상, 초음파 영상에 근거하여 식별된 병변에 대한 진단 결과, 진단 결과를 설명하기 위한 정보 중 적어도 하나를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
구체적으로, 메모리(410)는 초음파 진단 장치(400)가 동작하기 위해서 필요한 적어도 하나의 프로그램 또는 적어도 하나의 프로그램이 실행되기 위해서 필요한 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(410)는 전술한 동작들을 수행하기 위한 적어도 하나의 프로세서들을 포함할 수 있다.
또한, 메모리(410)는 초음파 영상, 초음파 영상과 관련된 정보, 환자에 대한 정보, 대상체에 대한 정보 및 피검사자에 대한 정보 중 적어도 하나를 저장할 수 있다. 또한, 메모리(410)는 프로세서(420)에서 생성한 정보 및 영상 중 적어도 하나를 저장할 수 있다. 또한, 메모리(410)는 외부의 전자 장치(미도시)로부터 수신되는 영상, 데이터 및 정보 중 적어도 하나를 저장할 수 있을 것이다.
프로세서(420)는 초음파 진단 장치(400)의 동작을 전반적으로 제어할 수 있다. 구체적으로, 프로세서(420)는 적어도 하나의 인스트럭션을 실행하여, 소정 동작을 실행하거나 소정 동작이 실행되도록 제어할 수 있다. 여기서, 프로세서(420)가 실행하는 인스트럭션은 메모리(410)에 저장된 적어도 하나의 인스트럭션 중 적어도 하나가 될 수 있다.
또한, 프로세서(420)는 하나의 프로세서 또는 복수개의 프로세서가 결합된 형태로 구현될 수 있다.
또한, 프로세서(420)는 내부 메모리(미도시) 및 저장된 적어도 하나의 프로그램을 실행하는 적어도 하나의 프로세서(processor)(미도시)를 포함할 수 있다. 구체적으로, 프로세서(420)의 내부 메모리(미도시)는 하나 이상의 인스트럭션을 저장할 수 있다. 그리고, 프로세서(420)에 포함되는 적어도 하나의 프로세서(미도시)는 프로세서(420)의 내부 메모리(미도시)에 저장된 하나 이상의 인스트럭션 중 적어도 하나를 실행하여, 소정 동작을 실행할 수 있다.
구체적으로, 프로세서(420)는 초음파 진단 장치(400)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 초음파 진단 장치(400)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 초음파 진단 장치(400)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 프로세서 (Processor)(미도시)를 포함할 수 있다. 프로세서(미도시)는 비디오 데이터에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서(미도시)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(미도시)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
설명의 편의 상, 개시된 실시 예에서는, 프로세서(420)가 메모리(410)에 저장된 인스트럭션을 실행하여 소정 동작을 수행 또는 제어하는 경우를 예로 들어 설명하도록 하겠다.
도 5는 다른 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다. 도 5에 있어서, 도 4에 도시된 구성과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 도 5에 도시된 초음파 진단 장치(500)를 설명하는데 있어서, 도 4에서와 중복되는 설명은 생략한다.
초음파 진단 장치(500)는 초음파 진단 장치(400)에 비하여, 데이터 획득부(440), 영상 처리부(450), 사용자 인터페이스(460) 및 통신부(470) 중 적어도 하나를 더 포함할 수 있다. 데이터 획득부(440), 영상 처리부(450), 사용자 인터페이스(460) 및 통신부(470)는 각각 도 1의 초음파 송수신부(110), 영상 처리부(130), 입력부(170) 및 통신부(160)와 동일 대응될 수 있다. 따라서, 초음파 진단 장치(500)를 설명하는데 있어서, 도 1에서와 중복되는 설명은 생략한다.
데이터 획득부(440)는 초음파 데이터를 획득할 수 있다. 구체적으로, 데이터 획득부(440)는 프로세서(420)의 제어에 따라서, 프로브(20)를 통하여 대상체 로부터 반사되는 초음파 에코 신호를 수신할 수 있다.
구체적으로, 데이터 획득부(440)는 프로세서(420)의 제어에 따라서, 초음파 영상을 생성하기 위한 러 데이터(raw data)를 직접 획득할 수 있다. 이 경우, 데이터 획득부(440)는 초음파 송수신부(110)에 대응될 수 있다. 여기서, 러 데이터(raw data)는 대상체로부터 반사되어 획득된 초음파 에코 신호에 대응되는 원 데이터(original data) 또는 가공 전 데이터를 의미할 수 있다.
그러면, 프로세서(420)는 데이터 획득부(440)를 통하여 수신되는 초음파 에코 신호에 대응되는 초음파 영상이 생성되도록 제어할 수 있다. 구체적으로, 프로세서(420)는 영상 처리부(450)를 제어하여, 영상 처리부(450)가 초음파 에코 신호를 이용하여 초음파 영상을 생성하도록 제어할 수 있다.
또한, 데이터 획득부(440)는 프로세서(420)의 제어에 따라서, 외부의 초음파 진단 장치(미도시)와 같은 외부의 전자 장치(미도시)로부터 초음파 영상을 수신할 수 있다. 구체적으로, 데이터 획득부(440)는 외부의 전자 장치(미도시)와 유무선의 통신 네트워크를 통하여 연결될 수 있으며, 프로세서(420)의 제어에 따라서, 외부의 전자 장치(미도시)로부터 전송되는 초음파 영상 또는 초음파 영상 생성을 위한 러 데이터를 수신할 수 있을 것이다. 데이터 획득부(440)가 러 데이터를 획득하는 경우, 프로세서(420)는 데이터 획득부(440)를 통하여 수신되는 러 데이터를 이용하여 초음파 영상이 생성되도록, 영상 처리부(450)를 제어할 수 있다.
데이터 획득부(440)가 외부의 전자 장치(미도시)로부터 초음파 영상 또는 러 데이터를 수신하는 경우, 데이터 획득부(440)는 통신부(470)를 포함할 수 있을 것이다. 즉, 통신부(470)는 데이터 획득부(440) 자체가 될 수 있으며, 통신부(470)는 데이터 획득부(440)에 포함되는 형태로 구현될 수 있을 것이다.
영상 처리부(450)는 초음파 영상의 생성 및 초음파 영상의 처리 중 적어도 하나의 동작을 수행할 수 있다. 또한, 영상 처리부(450)는 프로세서(420)에 포함되는 형태로 구현될 수도 있을 것이다. 예를 들어, 프로세서(420)가 복수개의 프로세서를 포함하는 경우, 프로세서(420)에 포함되는 복수개의 프로세서 중 어느 하나가 영상 처리를 위한 영상 처리부(image processor)가 될 수 있을 것이다.
사용자 인터페이스(460)는 사용자로부터 소정 데이터 또는 소정 명령을 입력받을 수 있다. 사용자 인터페이스(460)는 도 1의 입력부(170)에 대응될 수 있다. 또한, 사용자 인터페이스(460)는 디스플레이(430)와 일체로 형성되는 터치 스크린 또는 터치 패드로 형성될 수 있다. 또 다른 예로, 사용자 인터페이스(460)는 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등의 사용자 입력 장치를 포함할 수 있다. 또한, 사용자 인터페이스(460)는 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 수신하는 마이크로폰, 움직임 감지 센서, 생체 정보 감지 센서 등을 포함할 수 있다.
그에 따라서, 사용자 인터페이스(460)는 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 및/또는 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 수신할 수 있다.
개시된 실시예에서, 프로세서(420)는 사용자 인터페이스(460)를 통하여 수신되는 사용자 입력에 근거하여 병변 영역을 식별할 수 있다. 예를 들어, 초음파 진단 장치(500)는 디스플레이(430)를 통하여 초음파 영상을 디스플레이 할 수 있다. 사용자는 초음파 영상을 보고, 초음파 영상 내에 병변으로 의심되는 부위에 대응되는 소정 지점 또는 소정 영역을 선택하는 입력을 사용자 인터페이스(460)를 통하여 입력할 수 있다. 그러면, 프로세서(420)는 수신된 사용자 입력에 근거하여, 사용자 입력으로 선택된 지점 또는 소정 영역의 주위 또는 근처, 또는 선택된 지점 또는 소정 영역을 중심으로 소정 범위 내의 초음파 영상을 분석할 수 있다. 그리고, 분석 결과에 따라서 병변 경계 및 병변 경계에 의해서 형성되는 병변 영역을 식별할 수 있다.
또한, 개시된 실시예에서, 프로세서(420)는 컴퓨터 기반의 영상 처리 기술을 통하여 초음파 영상 내에 포함되는 병변 영역을 자동으로 검출할 수 있을 것이다. 전술한 예에서, 사용자는 초음파 영상을 보고, 초음파 영상 내에 병변으로 의심되는 부위에 대응되는 소정 지점 또는 소정 영역을 선택하는 입력을 사용자 인터페이스(460)를 통하여 입력할 수 있다. 그러면, 프로세서(420)는 컴퓨터 기반의 자동 진단 기술을 이용하여, 사용자 입력을 통하여 선택된 지점 또는 영역에 대응되는 초음파 영상의 적어도 일부 영역을 분석할 수 있다. 그리고, 프로세서(420)는 분석의 결과 병변의 경계 또는 병변의 경계에 의해서 형성되는 병변 영역을 정밀하게 추출할 수 있다.
여기서, 컴퓨터 기반의 영상 처리 기술은 기계 학습에 근거한 진단 기술 등을 포함할 수 있다.
여기서, 기계 학습은 컴퓨터 연산을 통하여 대상체에 이상 또는 병변이 발생하였는지를 판단 및 검출하는 캐드(CAD: Computer Aided Detection & Diagnosis) 시스템, 데이터 기반의 통계적인 기계 학습(Statistical learning), 또는 인공지능 기술에 따라 기계학습을 수행하는 인공지능 시스템을 통하여 수행될 수 있다. 계시된 실시예에서, 프로세서(420)는 컴퓨터 기반의 영상 처리 기술을 이용하여 초음파 영상을 분석하고, 분석의 결과 목적하는 정보(예를 들어, 병변 영역, 병변에 대한 정보, 진단 결과 등)를 획득할 수 있다.
여기서, 인공지능(Artificial Intelligence, AI) 시스템은 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 사용자가 요구하는 결과를 생성하는 시스템이다. 인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝(Deep learning) 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
개시된 실시예에서, 프로세서(420)는 병변 영역의 식별, 진단 결과의 획득, 진단 정보의 획득, 및/또는 병변을 식별하기 위한 기준을 정립하는데 있어서, 전술한 컴퓨터 기반의 영상 처리 기술인 기계 학습을 이용할 수 있다.
구체적으로, 인공 지능 기술을 통한 영상 처리는 신경망(Neural Network)을 기반으로 하는 연산을 통하여 수행될 수 있다. 구체적으로, 심층 신경망(DNN: Deep Neural Network) 등과 같은 신경망을 기반으로 하는 연산이 이용될 수 있다. 또한, 심층 신경망(DNN) 연산은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다. 인공 지능 기술을 통하여 초음파 영상을 처리하는 동작은 이하에서 도 29를 참조하여 상세히 설명한다.
이하에서는 도 6 내지 도 32를 참조하여, 개시된 실시예에 따른 초음파 진단 장치(100, 400 또는 500)에서 수행되는 동작들을 상세히 설명한다. 또한, 이하에서는 설명의 편의 상, 도 4를 초음파 진단 장치(400)를 예로 들어, 개시된 실시예의 동작들을 설명하도록 하겠다.
도 6은 실시예에서 획득한 초음파 영상을 나타내는 일 도면이다.
도 6을 참조하면, 초음파 진단 장치(400)에서 획득한 초음파 영상(600)이 도시된다. 구체적으로, 도 6에서는 유방 초음파 스캔을 통하여 획득된 유방 부위에 대응되는 초음파 영상(600)을 예로 들어 도시하였다.
프로세서(420)는 초음파 영상(600) 내에 포함되는 병변 영역(610)을 식별한다. 구체적으로, 프로세서(420) 캐드 기술 또는 인공 지능 기술 등과 같은 자동 진단 기술을 이용하여 초음파 영상(600)을 분석할 수 있다. 그리고, 분석의 결과, 프로세서(420)는 초음파 영상(600) 내에 포함되는 병변 영역(610)을 자동으로 검출할 수 있다. 이하에서는, 병변 영역(610)의 식별, 병변 영역(610)을 분석하여 진단 결과 및 진단 정보 중 적어도 하나를 획득하는 동작이, 캐드 기술을 이용하여 수행될 수 있을 것이다.
예를 들어, 사용자는 초음파 영상(600)을 보고, 사용자 인터페이스(460)를 통하여 초음파 영상(600) 내에서 병변으로 의식되는 영역 또는 의심 부위의 인접 영역 상의 일 지점 또는 소정 영역을 선택할 수 있다. 구체적으로, 사용자는 사용자 인터페이스(360)를 통하여, 병변 영역(610) 내의 일 지점(611)을 포인팅하거나, 터치 하거나, 클릭할 수 있다. 그러면, 프로세서(420)는 캐드 기술 또는 인공 지능 기술을 이용하여, 사용자 입력을 통하여 선택된 지점 또는 영역의 주변 영역을 분석하여, 병변 영역(610)을 정확하게 검출할 수 있다.
또한, 프로세서(420)는 캐드 기술 또는 인공 지능 기술을 이용하여 병변 영역(610)을 분석하여, 진단 결과를 획득할 수 있다.
그리고, 프로세서(420)는 검출된 병변 영역(610)을 사용자가 쉽게 인식할 수 있도록, 병변 영역(610)의 경계(615)가 명확히 나타나도록 영상 처리하여 진단 영상(미도시)을 생성할 수 있다. 예를 들어, 진단 영상(미도시)는 병변 영역(610)의 경계(615)를 사용자가 쉽게 인식할 수 있도록, 초음파 영상(600) 상에 병변 영역(610)의 경계(615)에 소정 색상의 선을 마킹하여 생성한 영상이 될 수 있다. 또한, 병변 영역(610)을 사용자가 쉽게 인식할 수 있도록 하는 처리는 다양하게 존재할 수 있다. 또 다른 예로, 병변 영역(610)의 투명도를 조절하거나, 병변 영역(610)을 특정 컬러 또는 패턴으로 마킹하거나, 병변 영역(610)의 경계(615)를 점선 또는 실선 등과 같은 윤곽선으로 마킹하는 등의 처리를 통하여, 진단 영상(미도시)를 생성할 수 있다.
그리고, 프로세서(420)는 제1 영역을 초음파 영상(600)의 병변 영역(610) 상에 표시하여 진단 영상(미도시)을 생성한다. 여기서, 제1 영역은 병변 영역에 있어서 병변을 진단하는데 근거가 되는 적어도 일부의 영역으로, 병변을 진단하는데 근거가 되는 초음파 영상 내의 적어도 일부 영역을 의미할 수 있다.
병변이 악성 또는 양성으로 구별되는 경우, 악성으로 구별되는 병변의 특징 및 양성으로 구별되는 병변의 특징이 서로 다르다. 병변이 악성 또는 양성으로 구별될 때, 병변의 구별 기준은 캐드 시스템, 인공 지능 시스템, 및 사용자 설정 중 적어도 하나에 근거하여 설정될 수 있다. 병변의 종류는 매우 다양하게 존재하며 병변은 다양한 기준에 따라서 구별될 수 있다. 따라서, 병변의 구별 기준은 실험적 또는 기계 학습에 의해서 최적화 되어 설정될 수 있다.
구체적으로, 병변을 분석하기 위해 기반이 되는 것이 병변 영역(610)이며 병변 영역(610)의 주변과 병변 영역(610)의 내부 영역이 담고 있는 내용에 따라, 진단 결과가 결정될 수 있다. 예를 들어, 병변은 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin), 병변 영역에서 나타나는 에코(echo) 특성, 및 병변 영역의 외부(posterior) 특성 중 적어도 하나를 분석한 결과에 근거하여, 특정 병변으로 구별될 수 있다.
캐드 등의 기술을 이용하여 병변을 진단하는데 있어서, 병변 영역을 정확하게 추출하는 것이 중요하다. 또한, 초음파 영상(600) 내에서 병변을 이미징한 영역인 병변 영역(610) 및 그의 주변 영역의 영상 정확도가 높아야 병변 영역을 정확하게 추출할 수 있다.
그러나, 병변의 특이한 형상, 초음파 영상의 화질, 초음파 스캔을 수행하는 초음파 진단 장치의 제품 사양, 초음파 진단 장치에서의 초음파 스캔 시 적용된 설정 등에 따라서, 병변 영역의 정확한 추출이 어려운 경우가 발생할 수 있다.
특히, 식별된 병변 영역의 경계가 바뀌게 되면, 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin) 특성 등이 변경될 수 있다. 그에 따라서, 병변의 진단 결과 또한 변경될 수 있다. 따라서, 병변 영역을 정확하게 추출하지 못하거나 그로 인하여 진단 결과가 정확하게 도출되지 못한다면, 진단 결과의 신뢰성이 저하될 수 있다.
종래의 캐드 시스템 등을 이용하여 진단 결과를 제공하는 초음파 진단 장치는 진단 결과를 도출하는 과정에 대한 설명 없이, 진단 결과만을 제공하였다. 그에 따라서, 잘못된 진단 결과가 제공된 경우 또는 진단 결과를 도출하는데 있어서 그 판단이 모호한 경우 등이 발행하더라도, 사용자는 이러한 잘못을 인식하지 못하였다. 그에 따라서, 사용자가 잘못된 진단 결과를 그대로 신뢰하여 진단 결과를 최종적으로 도출한 경우, 환자의 질병을 오진하게 될 수 있다.
또한, 잘못된 진단 결과의 제공은 사용자가 대상체를 진단하는데 별다른 도움이 되지 못하며, 사용자가 대상체를 진단하는데 혼란을 줄 수 있게 된다.
본 개시의 실시예에서는, 초음파 영상을 분석하여 병변 영역을 식별하고 병변에 대한 진단 결과를 제공하는 초음파 진단 장치(400)에 있어서, 진단 결과의 근거가 되는 영역(구체적으로, 제1 영역)을 표시한 진단 영상을 사용자에게 제공함으로써, 사용자가 진단 결과를 보다 신뢰하고, 진단 결과 및 제1 영역을 참조하여 보다 용이하게 대상체를 진단할 수 있도록 할 수 있다.
예를 들어, 유방 병변(lesion)의 경우, 병변 영역의 형태(shape)가 불규칙(irregular)하거나 가변적(variable)의 형태를 가지며, 병변 영역의 경계(margin)가 뾰쪽한(speculated) 패턴이 되며, 에코(echo) 특성이 저에너지 표시된 저음영발생(low-level marked hyperechogenic) 특성을 가지는 경우, 악성(malignant)으로 진단될 가능성이 높다. 도 6에 도시된 초음파 영상(600)에 포함되는 병변 영역(610)은 전술한 악성(malignant) 병변의 특성을 가지고 있으므로, 프로세서(420)는 초음파 영상(600)의 병변 영역(610)을 분석한 결과 ‘Malignant’ 또는 ‘Possibly Malignant’ 과 같은 진단 결과를 생성할 수 있다.
전술한 예에서, 초음파 영상(600) 내에 포함되는 병변이 악성으로 진단되는데 근거가 되는 것은, 병변 영역(610)의 형태가 구형(oval) 또는 타원체(ellipsoid)이 아닌 불규칙(irregular)한 형태를 가진다는 것, 병변 영역의 경계(margin)에 뾰쪽한(speculated) 패턴이 존재한다는 것 등이 될 수 있다. 따라서, 병변 영역(610)의 경계(615) 형태 및 병변 영역(610)에서 뾰쪽한(speculated) 패턴을 가지는 경계 영역(620, 630)은, 진단 결과(구체적으로, 병변이 양성임)의 근거가 되는 영역이 될 수 있다.
그러므로, 개시된 실시예에서는, 병변 영역(610)을 악성으로 진단하는데 근거가 되는 영역들(예를 들어, 620, 경계가 표시되는 영역인 615 또는 630)을 표시한 진단 영상을 사용자에게 제공함으로써, 사용자가 빠르고 용이하게 대상체를 진단할 수 있도록 할 수 있다.
본 개시의 실시예에서, 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역은 진단 영상 내에서 다른 영역들과 구별되도록 표시될 수 있다. 구체적으로, 프로세서(420)는 특정 색상, 기호, 투명도, 밝기, 마크, 및 특정 패턴의 선 중 적어도 하나를 이용하여, 진단 영상 내에서 제1 영역과 이외의 영역들을 구별하여 표시할 수 있다.
도 7은 실시예에서 제공하는 일 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다. 구체적으로, 도 7은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(700)을 나타낸다. 설명의 편의 상, 도 7을 포함하여 도 8, 1021, 및 23-28에서는, 진단 영상(예를 들어, 710) 내에 포함되는 병변 영역(예를 들어, 720)을 단순화하여 개략적으로 도시하였다. 여기서, 병변 영역의 경계(720)는 도 6의 병변 영역의 경계(615)에 동일 대응될 수 있다.
도 7을 참조하면, 사용자 인터페이스 화면(700)은 진단 영상(710) 및 진단 결과를 나타내는 부분 화면(750)을 포함할 수 있다. 이하에서는, 사용자 인터페이스 화면(700) 내에 포함되는 진단 결과를 나타내는 부분 화면(750)을 설명의 편의 상 ‘진단 결과(750)’이라 칭하도록 한다.
도 7을 참조하면, 진단 영상(710) 에서 이미징된 병변을 ‘Malignant’로 판단한 근거가 되는 부분은 병변 영역의 경계(720) 중 뾰쪽한(speculated) 패턴을 갖는 부분이라 할 수 있다. 따라서, 진단 영상(710)은 병변 영역의 경계(720)에 있어서 뾰쪽한(speculated) 패턴을 갖는 영역(730)을 제1 영역으로 표시한 영상이 될 수 있다.
예를 들어, 프로세서(420)는 제1 영역(예를 들어, 730)이 이외의 영역과 구별되도록 표시할 수 있다. 도 7에서는 제1 영역을 영역 표시 선을 이용하여 표시한 경우를 예로 들어 도시하였다. 그에 따라서, 사용자는 병변을 포함하는 초음파 영상인 진단 영상(710)을 보고, 제1 영역(예를 들어, 730) 내에서 이미징된 병변의 특성(구체적으로, 뾰쪽한(speculated) 패턴을 갖는 경계)을 용이하게 인식할 수 있다. 그에 따라서, 사용자는 초음파 진단 장치가 제공하는 진단 결과(예를 들어, ‘Malignant’)가 올바른 것인지 빠르고 쉽게 판단할 수 있도록 할 수 있다.
또한, 도 7에서는 진단 영상(710) 내에 하나의 영역이 제1 영역으로 표시된 경우를 예로 들어 도시하였다. 그러나, 개시된 실시예에서, 제1 영역은 진단 영상(710) 내의 복수의 영역으로 존재할 수 있다. 즉, 개시된 실시예에서, ‘제1 영역’은 병변을 진단하는데 근거가 되는 영역을 지칭하는 것일 뿐, 영역의 개수가 한 개임을 의미하는 것이 아니라 할 것이다.
또한, 제1 영역은 병변 영역(예를 들어, 610 또는 701)에서 병변의 특성을 나타내는 복수의 특성들이 존재할 때, 상기 복수의 특성들 중 적어도 하나를 나타내는 영역이 될 수 있다. 여기서, 복수의 특성은 병변의 종류를 구별하기 위한 병변의 특성으로, 전술한 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin), 병변 영역에서 나타나는 밝기 특성을 나타내는 에코(echo) 특성, 및 병변 영역의 병변 영역의 후방(posterior feature)특성 등이 될 수 있다.
구체적으로, 전술한 복수의 특성은 미국 방사선과의사협회(ACR: American College of Radiology)에서 정의한 초음파 검사 표준 용어인 렉시콘(Lexicon)에 포함되는 복수개의 항목들에 대응될 수 있다.
따라서, 제1 영역은, 전술한 복수의 특성들 중 적어도 하나의 특성을 나타내는 영역이 될 수 있다.
구체적으로, 도 6에 있어서, 표시된 제1 영역(620 및 630)은 전술한 특성들 중 병변의 경계(margin)을 나타내는 영역이 될 수 있다. 또한, 도 6에 있어서, 표시된 경계선(615)는 전술한 특성들 중 병변 영역의 형태(shape)를 나타내는 영역이 될 수 있다.
개시된 실시예에서, 진단 영상(710)는 전술한 복수개의 특성들 중 어느 하나의 특성을 나타내는 적어도 하나의 영역을 제1 영역으로 표시할 수 있다.
또한, 또한, 진단 영상(710)은 전술한 복수개의 특성들 중 두 개 이상의 특성을 나타내는 복수개의 영역을 제1 영역으로 표시할 수 있다. 여기서, 복수개의 특성들을 나타내는 복수개의 영역을 진단 영상(710) 상에 표시하는 경우, 서로 다른 특성이 구별되어 표시되도록, 복수개의 영역을 진단 영상(710) 상에 표시할 수 있다. 구체적으로, 프로세서(420)는 병변 영역을 나타내는 복수의 특성들이 존재할 때, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여 상기 복수의 특성들에 있어서 서로 다른 특성들이 상호 구별되도록, 상기 적어도 하나의 영역을 상기 병변 영역 상에 표시할 수 있을 것이다. 그리고, 프로세서(420)는 상기 적어도 하나의 영역이 표시된 진단 영상이 디스플레이 되도록 제어할 수 있다.
예를 들어, 도 6에 도시된 초음파 영상(600)이 진단 영상으로 생성되는 경우, 병변의 경계(margin) 특성을 나타내는 영역인 620 및 630 영역은 빨강색 컬러를 갖는 표시선으로 마킹할 수 있으며, 병변의 형태(shape) 특성을 나타내는 경계선(615)은 파랑색 컬러를 갖는 표시선으로 마킹 할 수 있을 것이다.
도 8은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다. 구체적으로, 도 8은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(700)을 나타낸다. 도 8에 도시된 사용자 인터페이스 화면(800)에 있어서, 도 7에 도시된 사용자 인터페이스 화면(700)에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 프로세서(420)는 초음파 영상 상에 제1 영역(예를 들어, 730)에서 나타나는 병변 영역의 특성(예를 들어, 병변 영역의 경계 특성)에 대한 정보인 진단 정보를 표시하여, 진단 영상(810)을 생성할 수 있다.
여기서, 진단 정보는 제1 영역에서 나타내는 병변 영역의 특성을 나타내는 정보, 또는 진단 결과를 도출하는데 근거가 되는 정보가 될 수 있다.
예를 들어, 제1 영역(730)에서 나타나는 병변 영역의 특성은 병변 영역의 경계 특성이 되므로, 진단 정보(835)는 경계 특성을 구체적으로 나타내는 정보인 ‘Margin: speculated’ 등이 될 수 있을 것이다. 또한, 진단 정보는 진단 결과인 악성 판단을 도출하는데 근거가 되는 정보인 ‘악성 판단 근거: Margin - speculated’ 등이 될 수 있을 것이다.
또한, 진단 정보는 진단 영상 내에서 제1 영역에 대응되는 영역(예를 들어, 제1 영역에 인접한 영역으로, 사용자가 제1 영역을 관찰하는데 방해가 되지 않는 영역 등) 상에 표시될 수 있다.
전술한 예에서, 프로세서(420)는 ‘Margin: speculated’ 또는 ‘악성 판단 근거: Margin - speculated’ 를 제1 영역(730)에 인접한 영역(835)에 표시하여, 진단 영상(810)을 생성할 수 있다.
도 9는 실시예에서 획득한 초음파 영상을 나타내는 다른 도면이다. 도 9를 참조하면, 초음파 진단 장치(400)에서 획득한 초음파 영상(900)이 도시된다. 구체적으로, 도 9에서는 유방 초음파 스캔을 통하여 획득된 유방 부위에 대응되는 초음파 영상(900)을 예로 들어 도시하였다.
유방 병변(lesion)의 경우, 병변 영역의 형태(shape)가 구형(oval) 또는 타원체(ellipsoid)의 형태를 가지며, 병변 영역의 경계(margin)이 부드러운(smooth) 패턴이 되며, 에코(echo) 특성이 고음영발생(hyperechogenic) 특성을 가지는 경우, 양성(benign)으로 진단될 가능성이 높다. 도 9에 도시된 초음파 영상(900)에 포함되는 병변 영역(910)은 전술한 양성(benign) 병변의 특성을 가지고 있으므로, 프로세서(420)는 초음파 영상(600)의 병변 영역(610)을 분석한 결과 ‘Benign’ 또는 ‘Possibly Benign’ 과 같은 진단 결과를 생성할 수 있다.
전술한 예에서, 초음파 영상(900) 내에 포함되는 병변이 양성으로 진단되는데 근거가 되는 것은, 병변 영역(910)의 형태가 구형(oval) 또는 타원체(ellipsoid)의 형태를 가진다는 것, 병변 영역의 경계(margin)가 부드러운(smooth) 패턴을 가진다는 것 등이 될 수 있다. 따라서, 병변 영역(910)의 형태(920) 및 병변 영역(910)에서 부드러운(smooth) 패턴을 가지는 경계 영역(930)은, 진단 결과(구체적으로, 병변이 양성임)의 근거가 되는 초음파 영상(900) 내의 적어도 일부 영역이 될 수 있다. 여기서, 병변 영역(910)의 형태(920)를 표시한 선(920)은 병변 영역(910)의 경계(915)와 중첩되도록 표시되거나 또는 병변 영역(910)에 인접하는 영역 상에 표시될 수 있다.
개시된 실시예에서는, 병변 영역(910)을 양성으로 진단하는데 근거가 되는 영역들(예를 들어, 920, 및 930)을 표시한 진단 영상을 사용자에게 제공함으로써, 사용자가 진단 결과를 보다 신뢰하고, 진단 결과 및 제1 영역을 참조하여 보다 용이하게 대상체를 진단할 수 있도록 할 수 있다.
도 10은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다. 구체적으로, 도 7은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(1000)을 나타낸다. 또한, 도 10에서는 도 8 및 도 9에서와 유사하게, 진단 영상(110) 내에 포함되는 병변 영역(1020)을 개략적으로 도시하였다. 여기서, 병변 영역의 경계(1020)는 도 9의 병변 영역의 경계(915)에 동일 대응될 수 있다.
도 10을 참조하면, 사용자 인터페이스 화면(1000)은 진단 영상(1010) 및 진단 결과(1050)를 포함할 수 있다.
진단 영상(1010) 에서 이미징된 병변을 ‘Benign’ 으로 판단한 근거가 되는 부분은 병변 영역의 경계(1020) 중 부드러운(smooth) 패턴을 갖는 부분이라 할 수 있다. 따라서, 진단 영상(1010)은 병변 영역의 경계(1020)에 있어서 부드러운(smooth) 패턴을 갖는 영역(730)을 제1 영역으로 표시한 영상이 될 수 있다. 사용자는 병변을 포함하는 초음파 영상인 진단 영상(1010)을 보고, 제1 영역(예를 들어, 1030) 내에서 이미징된 병변의 특성(구체적으로, 부드러운(smooth) 패턴을 갖는 경계)을 용이하게 인식할 수 있다. 그에 따라서, 사용자는 초음파 진단 장치가 제공하는 진단 결과(예를 들어, ‘Benign’ )가 올바른 것인지 빠르고 쉽게 판단할 수 있도록 할 수 있다.
도 11은 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 도면이다. 구체적으로, 도 11은 초음파 진단 장치(400)에서 출력되는 사용자 인터페이스 화면(1100)을 나타낸다. 도 11에 도시된 사용자 인터페이스 화면(1100)에 있어서, 도 10에 도시된 사용자 인터페이스 화면(1000)에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 프로세서(420)는 초음파 영상 상에 제1 영역(예를 들어, 1030)에서 나타나는 병변 영역의 특성(예를 들어, 병변 영역의 경계 특성)에 대한 정보인 진단 정보(1135)를 표시하여, 진단 영상(1110)을 생성할 수 있다.
예를 들어, 제1 영역(1030)에서 나타나는 병변 영역의 특성은 병변 영역의 경계 특성이 되므로, 진단 정보(1135)는 경계 특성을 구체적으로 나타내는 정보인 ‘Margin: smooth’ 등이 될 수 있을 것이다. 또한, 진단 정보는 진단 결과인 악성 판단을 도출하는데 근거가 되는 정보인 ‘양성 판단 근거: Margin - smooth’ 등이 될 수 있을 것이다.
도 12는 실시예에서 제공하는 다른 진단 영상을 포함하는 사용자 인터페이스 화면을 다른 도면이다.
개시된 실시예에서, 프로세서(420)는 병변을 분석할 결과, 진단 결과가 한계값 이상의 정확도를 갖는지 판단하고, 한계값 이상의 정확도를 갖는 진단 결과가 존재하지 않는 경우 적어도 두 개의 진단 결과를 도출할 수 있다.
예를 들어, 병변을 분석한 결과 획득된 진단 결과가 90% 이상의 정확도를 갖는 경우, 프로세서(420)는 하나의 진단 결과를 출력할 수 있다. 도 6에 도시된 병변(610)이 90% 의 정확도로 악성으로 판단되는 경우, 프로세서(420)는 병변(610)의 진단 결과를 ‘악성’이라고 판단할 수 있다.
이와 달리, 병변을 분석한 결과 획득된 진단 결과가 한계값(예를 들어, 90%) 미만의 정확도를 갖는 경우, 프로세서(420)는 복수의 진단 결과를 출력할 수 있다. 예를 들어, 병변(1220)에 대한 진단 결과(1050)는 사용자 인터페이스(1200)에서와 같이 복수의 진단 결과 각각에 대한 진단 정확도와 함께 표시될 수 있다. 또한, 프로세서(420)는 복수의 진단 결과를 출력하는데 있어서, 복수의 진단 결과의 정확도가 높은 순으로 진단 결과가 출력되도록 할 수 있다.
초음파 영상에 포함되는 병변 영역(1220)을 분석한 결과, 병변(1220)이 양성으로 판단되는 확률이 70%이고, 악성으로 판단되는 확률이 30%가 되는 경우를 예로 들자. 또한, 프로세서(420)가 진단 결과의 정확도에 대응되는 한계값을 90%로 설정한 경우를 예로 들자. 이 경우, 병변(1220)에 대한 진단 결과(1050)는 ‘Benign: 30%, Malignant: 70%’와 같이 표시될 수 있을 것이다.
또한, 진단 영상(1210)은 양성 판단의 근거가 되는 제1 영역(예를 들어, 1030) 및 악성 판단의 근거가 되는 제1 영역(예를 들어, 730)를 모두 표시한 영상이 될 수 있다. 또한, 도 9 및 도 11에서와 유사하게, 진단 영상(1210)은 제1 영역에 대응되는 진단 정보(예를 들어, 835, 1135)를 추가적으로 표시한 영상이 될 수 있다.
도 13은 실시예에서 제공하는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
개시된 실시예에서, 프로세서(420)는 진단 영상(1310), 진단 결과(1330), 및 병변 영역의 특성들을 나타내는 리스트(1302)를 포함 하는 사용자 인터페이스 화면(1400)을 생성할 수 있다. 그리고, 디스플레이(430)는 프로세서(420)의 제어에 따라서, 사용자 인터페이스 화면(1400)을 디스플레이 할 수 있다.
또한, 진단 영상(1310) 및 진단 결과(1330)는 하나의 부분 화면(1301)로 형성될 수 있다. 구체적으로, 프로세서(420)는 진단 영상(1310) 상의 일부 영역에 진단 결과(1330)을 중첩적으로 표시하여, 진단 영상(1310)을 생성할 수 있다. 도 13에서는, 진단 결과(1330)가 Benign 과 Malignant 를 분류(classification)한
또한, 리스트(1302)는 병변을 나타내는 특성들 각각에 대응되는 항목들을 포함한다. 여기서, 복수의 특성들 각각은 병변의 종류를 구별하기 위한 병변의 특성으로, 전술한 병변 영역의 형태(shape), 병변의 방향(orientation), 병변의 경계(margin), 병변 영역에서 나타나는 밝기 특성을 나타내는 에코(echo) 특성, 및 병변 영역의 병변 영역의 후방(posterior feature)특성 등이 될 수 있다.
구체적으로, 전술한 복수의 특성은 미국 방사선과의사협회(ACR: American College of Radiology)에서 정의한 초음파 검사 표준 용어인 렉시콘(Lexicon)에 포함되는 복수개의 항목들에 대응될 수 있다. 이 경우, 리스트(1302)는 렉시콘(Lexicon)에 포함되는 복수개의 항목들(1360)을 포함할 수 있다.
도 13을 포함하여 이하에서 설명 및 도시되는 도면들에 있어서, 병변 영역의 특성들을 나타내는 리스트(1302)는 렉시콘(lexicon)으로 형성되는 경우를 예로 들어 도시 및 설명하도록 한다.
본 개시의 실시예에서, 프로세서(420)는 복수개의 특성들 각각에 대응되는 복수개의 부분 영역들이 존재하는 경우, 복수개의 특성들이 서로 구별되도록, 복수개의 부분 영역들을 구별하여 표시된 진단 영상을 생성할 수 있다.
또는, 프로세서(420)는 리스트(1302)에 포함되는 복수개의 항목들(1360) 중 사용자가 선택한 항목에 대응되는 제1 영역이 진단 영상(1320) 상에 포함되도록, 진단 영상(1320)을 생성할 수 있다.
구체적으로, 프로세서(420)는 리스트(1302)에 포함되는 복수의 항목들 중 어느 하나를 선택하는 사용자 입력에 대응하여, 초음파 영상에 있어서, 선택된 항목에 대응되는 특성을 나타내는 적어도 하나의 부분 영역을 제1 영역으로 표시 하여, 진단 영상을 생성할 수 있다. 그리고, 프로세서(420)는 생성된 진단 영상이 반영되도록, 사용자 인터페이스 화면(1400)을 갱신하여 생성 및 디스플레이 할 수 있다.
초음파 진단 장치(400)가 사용자 인터페이스 화면(1300)을 디스플레이 하면, 사용자는 사용자 인터페이스 화면(1300)을 보고, 진단 결과(1330)의 근거가 되는 복수의 특성들 중 어느 하나의 특성이 나타나는 초음파 영상 상의 부분 영역이 어디인지 확인하고 싶을 수 있다. 이 경우, 사용자는 사용자 인터페이스(460)를 통하여 진단 결과(1330)의 근거가 되는 복수의 특성들 중 어느 하나를 선택할 수 있다. 구체적으로, 사용자는 리스트(1302) 상에 포함되는 복수의 특성들 중 어느 하나에 대응되는 항목을 선택할 수 있다. 그에 따라서, 사용자 인터페이스(460)는 리스트(1302)에 포함되는 일 항목을 선택하는 사용자 입력을 수신할 수 있다. 그러면, 프로세서(420)는 사용자 인터페이스(460)를 통하여 수신되는 사용자 입력에 근거하여, 선택된 항목에 대응되는 특성을 식별하고, 식별된 특성을 나타내는 영역(구체적으로, 제1 영역)을 초음파 영상 상에 표시되도록 진단 영상을 생성할 수 있다.
즉, 초음파 진단 장치(400)는 사용자 인터페이스(460)를 통하여 입력되는 사용자 입력에 근거하여, 선택된 항목에 대응되는 특성을 나타내는 영역(구체적으로, 제1 영역)을 초음파 영상 상에 표시하여 생성한 진단 영상을 포함하는 사용자 인터페이스 화면을 출력할 수 있다. 여기서, 소정 특성을 나타내는 영역(구체적으로, 초음파 영상 내의 부분 영역인 제1 영역)은, 소정 특성을 결정 또는 판단하는 근거가 되는 영역을 의미할 수 있다. 예를 들어, 병변 영역에서의 shape 특성이 Oval 로 판단될 경우, 상기 제1 영역은 병변 영역 중에서 타원에 대응되는 곡율을 가지는 적어도 일부의 경계 영역이 될 수 있다.
전술한 바와 같이, 사용자 입력에 근거하여 선택된 특성을 나타내는 제1 영역을 표시한 진단 영상을 제공할 경우, 사용자는 초음파 영상 내에서 자신이 확인하고자 하는 특성이 나타난 부분 영역을 용이하게 확인할 수 있다. 그에 따라서, 사용자가 병변을 진단하는데 있어서의 사용자 편리성 및 용이성을 증대시킬 수 있다.
이하에서 설명할 도 14 내지 도 19에 있어서, 도 13에서와 도시된 구성과 중복되는 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 14는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 14를 참조하면, 사용자 인터페이스 화면(1400)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1300)을 보고 리스트(1302)에 포함되는 ‘Shape’ 항목을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Shape’ 특성을 나타내는 부분 영역(1410)을 식별하고, 식별된 부분 영역(1410)을 제1 영역으로 표시한 진단 영상(1401)이 포함된 사용자 인터페이스 화면(1400)이 출력되도록 제어할 수 있다. 또한, 도 154에서는 소정 특성을 판단하는 근거가 되는 부분 영역이 한 개인 경우를 예로 들어 도시하였으나, 소정 특성을 판단하는 근거가 되는 부분 영역이 복수개 존재할 수 있음은 당연하다.
또한, 사용자 인터페이스 화면(1400)에 있어서, 리스트(1302) 내에서 선택된 항목(1411)은 선택되지 않은 항목들(예를 들어, Orientation 항목, Margin 항목, Echo 항목, 및 Posterior 항목)과 구별되도록, 표시될 수 있다. 예를 들어, 프로세서(420)는 서로 다른 색상, 기호, 투명도, 밝기, 마크, 및 특정 패턴의 선 중 적어도 하나를 이용하여, 리스트(1302) 내에서 선택된 항목(1411)은 선택되지 않은 항목들(예를 들어, Orientation 항목, Margin 항목, Echo 항목, 및 Posterior 항목)을 구별하여 표시한 진단 영상(1401)을 생성할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1410)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1410) 상에 나타나는 병변 영역의 형태(shape) 특성이 ‘타원형(Oval)’인 경우, 프로세서(420)는 ‘Shape-Oval’이라고 기재된 진단 정보를 부분 영역(1410)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 15는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 15를 참조하면, 사용자 인터페이스 화면(1500)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1500)을 보고 리스트(1302)에 포함되는 ‘Orientation’ 항목(1511)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Orientation’ 특성을 나타내는 부분 영역(1510)을 식별하고, 식별된 부분 영역(1510)을 제1 영역으로 표시한 진단 영상(1501)이 포함된 사용자 인터페이스 화면(1500)이 출력되도록 제어할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1510)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1510) 상에 나타나는 병변 영역의 방향(Orientation) 특성이 ‘수평(Parallel)’인 경우, 프로세서(420)는 ‘Orientation - Parallel’이라고 기재된 진단 정보를 부분 영역(1510)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 16은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 16을 참조하면, 사용자 인터페이스 화면(1600)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1600)을 보고 리스트(1302)에 포함되는 ‘Margin’ 항목(1611)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Margin’ 특성을 나타내는 부분 영역(1610, 1620)을 식별하고, 식별된 부분 영역(1610, 1620)을 제1 영역으로 표시한 진단 영상(1601)이 포함된 사용자 인터페이스 화면(1600)이 출력되도록 제어할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1610, 1620)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1610, 1620) 상에 나타나는 병변 영역의 경계(Margin) 특성이 ‘부드러운(smooth)’인 경우, 프로세서(420)는 ‘Margin - smooth’이라고 기재된 진단 정보를 부분 영역(1610, 1620)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 17은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 17을 참조하면, 사용자 인터페이스 화면(1700)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1700)을 보고 리스트(1302)에 포함되는 ‘Echo’ 항목(1711)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Echo’ 특성을 나타내는 부분 영역(1710, 1720)을 식별하고, 식별된 부분 영역(1710, 1720)을 제1 영역으로 표시한 진단 영상(1701)이 포함된 사용자 인터페이스 화면(1700)이 출력되도록 제어할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1710, 1720)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1710, 1720) 상에 나타나는 병변 영역의 밝기(Echo) 특성이 ‘고에코(hyperechoic)’인 경우, 프로세서(420)는 ‘Echo - hyperechoic’이라고 기재된 진단 정보를 부분 영역(1710, 1720)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 18은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 18을 참조하면, 사용자 인터페이스 화면(1800)은 사용자 인터페이스 화면(1300)에 대응될 수 있다.
사용자가 사용자 인터페이스 화면(1800)을 보고 리스트(1302)에 포함되는 ‘Posterior’ 항목(1811)을 선택하는 사용자 입력을 초음파 진단 장치(400)로 입력할 수 있다. 그러면, 프로세서(420)는 사용자 입력의 수신에 대응하여 선택된 ‘Posterior’ 특성을 나타내는 부분 영역(1810)을 식별하고, 식별된 부분 영역(1810)을 제1 영역으로 표시한 진단 영상(1801)이 포함된 사용자 인터페이스 화면(1800)이 출력되도록 제어할 수 있다.
예를 들어, 대상체가 담낭을 포함하는 복부인 경우, 병변 영역이 식별되며, 식별된 병변 영역의 외부 영역(구체적으로, 병변 영역의 뒷부분 영역)이 초음파 영상 내에서 매우 어둡게 이미징되는 경우, 담낭에 병변으로서 돌이 존재하는 것으로 판단할 수 있다. 상기의 예에서, 프로세서(420)는 ‘Posterior’ 특성이 선택되는 경우, 식별된 병변 영역의 외부 영역 중 매우 어둡게 이미징된 영역을 제1 영역으로 표시한 진단 영상을 생성할 수 있다.
또한, 프로세서(420)는 선택된 항목의 특성을 구체적으로 나타내는 진단 정보(예를 들어, 835 또는 1135)가 부분 영역(1810)에 대응되는 영역 상에 표시되도록 진단 영상을 생성할 수 있다. 예를 들어, 부분 영역(1810) 상에 나타나는 병변 영역의 외부 (Posterior) 특성이 ‘특이 사항 없음(No Posterior Findings)’인 경우, 프로세서(420)는 ‘Posterior - No Posterior Findings’ 또는 ‘No Posterior Findings’ 이라고 기재된 진단 정보를 부분 영역(1810)에 대응되는 영역 상에 표시한 진단 영상(미도시)를 생성할 수 있을 것이다.
도 19는 실시예에서 제공하는 사용자 인터페이스 화면들의 다른 예를 나타내는 도면이다. 도 19에 있어서, 도 13 내지 도 18에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 프로세서(420)는 병변 결과를 나타내는 복수의 특성들 각각에 대응되는 복수의 진단 영상이 순차적으로 디스플레이 되도록, 사용자 인터페이스 화면을 생성 및 디스플레이 할 수 있다.
구체적으로, 프로세서(420)는 리스트(1302)에 포함되는 항목들에 대응되는 특성들이 순차적으로 나타나도록, 진단 영상을 생성 및 디스플레이할 수 있다. 예를 들어, 프로세서(420)는 도 14에 도시된 진단 영상(1401), 도 15에 도시된 진단 영상(1501), 도 16에 도시된 진단 영상(1601), 도 17에 도시된 진단 영상(1701), 및 도 18에 도시된 진단 영상(1801)이 순차적으로 디스플레이 되도록, 초음파 진단 장치(400)를 제어할 수 있다.
또한, 진단 영상(1401), 진단 영상(1501), 진단 영상(1601), 진단 영상(1701), 및 진단 영상(1801) 간의 디스플레이 순서는 사용자 설정, 프로세서(420)의 자체 설정, 복수의 특성들 간의 중요도, 또는 복수의 특성들이 진단 결과에 미치는 영향력 등에 근거하여 결정될 수 있다.
도 20은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 20을 참조하면, 사용자 인터페이스 화면(2000)은 도 13에 도시된 사용자 인터페이스 화면(1300)에 대응될 수 있다. 도 13과 관련하여 설명한 바와 같이, 사용자는 리스트(1302)에 포함되는 복수의 특성들에 대응되는 복수의 항목들 중 적어도 두 개의 항목을 선택할 수 있다. 그에 따라서, 프로세서(420)는 복수의 특성들 각각을 나타내는 부분 영역들이 표시된 진단 영상(2010) 및 진단 결과(2050)를 포함하는 사용자 인터페이스 화면(2000)이 생성 및 디스플레이 되도록 제어할 수 있다.
예를 들어, 사용자 입력을 통하여 리스트(1302)에 포함되는 Margin 항목과 shape 항목이 선택된 경우, 프로세서(420)는 Margin 특성을 판단하는 근거가 되는 부분 영역(2040) 및 Shape 특성을 판단하는 근거가 되는 부분 영역(2030)이 상호 구별되도록 표시한 진단 영상(2010)이 생성 및 디스플레이 되도록 제어할 수 있다. 또한, 프로세서(420)는 부분 영역(예를 들어, 2040)에 대응되는 영역에 진단 정보(예를 들어, 2041)가 중첩적으로 표시되도록, 진단 영상(2010)을 생성할 수 있다. 또한, 도 20에서는 부분 영역(2040)과 부분 영역(2030)이 서로 다른 점선의 패턴을 통하여 구별되는 경우를 예로 들어 도시하였다.
또한, 사용자가 특정 항목(또는 특성)을 선택하지 않는 경우, 프로세서(420)는 사용자 설정, 프로세서(420)의 자체 설정, 복수의 특성들 간의 중요도, 또는 복수의 특성들이 진단 결과에 미치는 영향력 등에 근거하여, 복수개의 특성들 중 적어도 두 개 이상의 특성들을 나타내는 부분 영역들이 표시된 진단 영상(예를 들어, 2010)을 생성할 수 있다. 구체적으로, 프로세서(420)는 특정 색상, 기호, 투명도, 밝기, 마크, 및 특정 패턴의 선 중 적어도 하나를 이용하여, 복수개의 특성들이 상호 구별되도록, 부분 영역들을 진단 영상에 표시할 수 있다.
예를 들어, 프로세서(420)는 병변 영역의 형태(shape) 특성을 나타내는 부분 영역은 빨강색 점선으로 표시하고, 병변의 방향(orientation) 특성을 나타내는 부분 영역은 파랑색 점선으로 표시하고, 병변의 경계(margin) 특성을 나타내는 부분 영역은 초록색 점선으로 표시하고, 병변 영역에서 나타나는 밝기 특성을 나타내는 에코(echo) 특성 특성을 나타내는 부분 영역은 노랑색 점선으로 표시하며, 병변 영역의 병변 영역의 후방(posterior feature) 특성을 나타내는 부분 영역은 보라색 점선으로 표시함으로써, 서로 다른 특성들이 상호 구별될 수 있도록 진단 영상을 생성할 수 있다.
도 21은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다. 도 21에 있어서, 도 20에 도시된 구성과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
개시된 실시예에서, 리스트(2102)에 있어서, 복수의 항목들 각각은 복수의 항목에 대응되는 특성을 구체적으로 나타내는 정보를 포함할 수 있다. 예를 들어, Shape 항목에는 Shape 특성을 구체적으로 설명하는 특성인 ‘irregular’라는 정보가 포함될 수 있고, Margin 항목에는 ‘speculated’라는 정보가 포함될 수 있다.
또한, 프로세서(420)는 리스트(2102)에 포함되는 복수의 항목들 각각은 그에 대응되는 적어도 하나의 부분 영역과 매칭되어 표시되도록 제어할 수 있다. 구체적으로, 프로세서(420)는 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여, 복수의 항목들 각각을 그에 대응되는 적어도 하나의 부분 영역과 매칭시켜 표시할 수 있다.
예를 들어, 부분 영상(2030)은 Shape 특성을 판단하는 근거가 되는 부분 영상이며, 부분 영상(2040)은 Margin 특성을 판단하는 근거가 되는 부분 영상인 경우를 예로 들자. 이 경우, 프로세서(420)는 부분 영상(2030)과 리스트(2102) 내의 Shape 항목이 동일한 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나로 표시되도록 제어할 수 있다. 또한, 프로세서(420)는 부분 영상(2040)과 리스트(2102) 내의 Margin 항목이 동일한 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나로 표시되도록 제어할 수 있다. 이때, Shape 항목과 Margin 항목은 상호 구별되는 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나로 표시될 수 있다.
또한, 진단 결과(2050)는 병변 영역의 Shape 가 irregular 하고, Margin 이 speculated 하다는 점에 근거하여, Malignant(악성)으로 판단 및 표시될 수 있다.
도 22는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 22를 참조하여, 프로세서(420)는 진단 영상(2210), 진단 결과(2250), 및 병변 영역의 특성들을 나타내는 리스트(2202)를 포함 하는 사용자 인터페이스 화면(1400)을 생성할 수 있다.
개시된 실시예에서, 프로세서(420)는 리스트(2202)에 포함되는 소정 특성이 변경되면 진단 결과가 달라지는 경우, 리스트(2203)에 포함에 포함되는 소정 특성을 이외의 특성들과 구별할 수 있다.
병변 영역에 포함되는 부분 영역의 특성이 변경되면, 진단 결과가 달라지는 경우가 존재할 수 있다. 즉, 진단 결과(예를 들어, 양성 또는 악성)의 판정에 영향을 미쳐서 진단 결과를 변경시킬 수 있는 특성이 존재하는 경우가 존재할 수 있다. 이하에서는 진단 결과를 변경시킬 수 있는 특성을 ‘주요 특성’이라 칭하도록 한다. 그리고, 초음파 영상 내에서 주요 특성을 나타내는 부분 영역을 별도로 제2 영역이라 칭하도록 한다.
예를 들어, 프로세서(420)는 병변의 경계 영역 및 병변의 경계를 획득하고, 획득된 병변의 경계에 근거하여, 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin) 형태, 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방 특징(posterior feature) 중 적어도 하나의 특성을 획득할 수 있다.
여기서, 병변의 경계가 불명확한 구간이 존재하는 경우가 존재할 수 있다. 예를 들어, 병변 영역(2220) 내의 일부 영역(예를 들어, 2230)에서 병변의 경계가 불명확한 경우가 존재할 수 있다. 이 경우, 프로세서(420)는 일부 영역(2230)에서 제1 경계를 병변의 경계로 획득할 수도 있고 제2 경계를 병변의 경계로 획득할 수도 있을 것이다. 이 경우, 제1 경계에 근거할 경우 병변의 형태가 Oval 로 판단될 수 있으며, 제2 경계에 근거할 경우 병변의 형태가 irregular 로 판단되는 경우가 존재할 수 있다. 즉, 일부 영역(예를 들어, 2230) 내에서의 병변의 경계가 변경될 경우, 프로세서(420)는 진단 결과의 근거가 되는 특성이 변경되는 경우, 이러한 일부 영역(예를 들어, 2230)이 표시된 진단 영상(2201)이 디스플레이되도록 제어할 수 있다.
또한, 프로세서(420)는 초음파 영상 내에서, 병변 경계가 불명확한 부분을 표시하여 진단 영상을 생성할 수 있다. 여기서, '경계가 불명확한 부분'은 추출된 경계의 정확도가 한계값 이하의 값을 가지는 경우가 될 수 있다. 구체적으로, 프로세서(420)는 병변의 경계가 불명확한 부분(예를 들어, 2230) 내에 추출된 경계를 불명확하지 않은 부분(예를 들어, 2230 이외의 부분)의 경계와 구별되도록 표시하여, 진단 영상(2201)을 생성 및 디스플레이 할 수 있다.
도 22를 참조하면, 프로세서(420)는 도시된 바와 같은 경계를 갖는 병변 영역(2220)을 추출할 수 있다. 여기서, 추출된 경계가 불명확한 부분이 부분 영역(2230)으로 표시될 수 있다. 그리고, 프로세서(420)는 도 22에 도시된 바와 같이 부분 영역(2230)이 표시된 진단 영상(2201)이 디스플레이되도록 제어할 수 있다.
구체적으로, 프로세서(420)는 도시된 경계를 갖는 병변 영역(2220)을 분석한 결과, 부분 영역(2230)에 나타나는 shape 특성이 irregular 로 판단될 수 있다. 그러나, 부분 영역(2230)에 나타나는 shape 특성이 oval 로 변경될 경우, 진단 결과(2250)가 악성에서 양성으로 변경되는 경우가 존재할 수 있다. 구체적으로, 부분 영역(2230) 내에서의 경계가 변경되는 경우 shape 특성이 oval 로 변경되며, shape 특성이 oval 로 변경될 경우, 진단 결과(2250)가 악성에서 양성으로 변경되는 경우가 존재할 수 있다. 이러한 경우, shape 특성이 전술한 주요 특성이 될 수 있다.
개시된 실시예에서, 프로세서(420)는 전술한 불명확한 영역(예를 들어, 2230)에서 나타나는 주요 특성을 리스트(2202) 내의 다른 특성들과 구별하기 위한 표시(예를 들어, 마크(2275))를 추가하여, 리스트(2202)를 생성 및 디스플레이되도록 제어할 수 있다. 또한, 프로세서(420)는 리스트(2202) 내의 주요 특성에 대응되는 항목 내에서, 현재 획득된 Shape 특성(2271)과 다른 특성(예를 들어, Oval)을 구별하는 표시(예를 들어, 마크(2272))를 할 수 있다.
또한, 개시된 실시예에서, 프로세서(420)가 추출한 병변 영역의 경계에 불명확한 부분(예를 들어, 경계의 정확도가 한계값 이하가 되는 구간)(예를 들어, 2230)을 포함하는 경우, 프로세서(420)는 부분 영역(2230)에 대응되는 영역 메뉴얼 수정(manual correction) 또는 경계의 재추출을 수행하기 위한 아이콘(2232)이 디스플레이 되도록 제어할 수 있다. 예를 들어, 아이콘(2232)는 수정(correction)을 나타내는 'c' 마크로 표현될 수 있다. 여기서, 메뉴얼 수정(manual correction)은 사용자가 수동으로 불명확한 경계 부분을 수정하는 동작을 의미할 수 있다. 구체적으로, 아이콘(2232)을 선택하는 사용자 입력이 수신되면, 프로세서(420)는 부분 영역(2230) 내의 경계를 수정하기 위한 편집창(미도시)을 포함하는 사용자 인터페이스 화면이 출력되도록 제어할 수 있다. 또 다른 예로, 아이콘(2232)이 경계의 재추출을 위한 아이콘인 경우, 아이콘(2232)을 선택하는 사용자 입력이 수신되면, 프로세서(420)는 CAD 연산 등과 같은 자동 진단 연산을 수행하여 경계를 재추출하고, 재추출된 경계에 의해서 형성된 병변 영역을 포함하는 진단 영상을 생성 및 디스플레이할 수 있을 것이다. 또한, 아이콘(2232)은 경계의 수정이 필요한 영역인 부분 영역(2230) 상에 또는 부분 영역(2230)에 인접한 위치에 디스플레이 될 수 있다.
또한, 개시된 실시예에서, 프로세서(420)는 병변 영역에 포함되는 적어도 일부 영역(예를 들어, 2230)에서 나타나는 특성(즉, 주요 특성)이 변경되면 진단 결과가 달라지게 되는 경우, 적어도 일부 영역(예를 들어, 2230)을 초음파 영상에 표시하여 진단 영상(2230)을 생성할 수 있다. 이하에서는 설명의 편의 상, 전술한 '적어도 일부 영역(예를 들어, 2230)'을 '제2 영역'이라고 칭하도록 한다. 또한, 프로세서(420)는 사용자 인터페이스 화면(2200) 내에 진단 결과가 달라질 수 있음을 나타내는 기호, 마크 및 정보 중 적어도 하나를 포함하도록 할 수 있다. 구체적으로, 프로세서(420)는, 제2 영역(2230)에서 나타나는 특성이 변경되면 진단 결과가 달라진다는 것을 나타내는 기호, 마크 및 정보 중 적어도 하나가, 진단 영상(2201), 진단 결과(2250) 및 리스트(2202) 중 적어도 하에 표시되도록 제어할 수 있다.
도 22를 예로 들면, 프로세서(420)는 병변 영역(2220)의 shape 특성을 판단하는 근거가 되는 부분 영역(2230)을 검출할 수 있다. 프로세서(420)가 병변 영역(2220)을 분석한 결과, 부분 영역(2230)에 나타나는 shape 특성이 irregular 로 판단될 수 있다. 그러나, 부분 영역(2230)에 나타나는 shape 특성이 oval 로 변경될 경우, 진단 결과(2250)가 악성에서 양성으로 변경되는 경우가 존재할 수 있다. 즉, shape 특성이 주요 특성이 될 수 있다.
이러한 경우, 프로세서(420)는 리스트(2202) 내에 주요 특성을 리스트(2202) 내의 다른 특성들과 구별하기 위한 표시(예를 들어, 마크(2275))를 표시할 수 있다. 또한, 프로세서(420)는 리스트(2202) 내의 주요 특성에 대응되는 항목 내에서, 현재 판정된 Shape 특성(2271)과 다른 특성(예를 들어, Oval)을 구별하는 표시(예를 들어, 마크(2272))를 할 수 있다.
또한, 진단 결과(2250)를 표시하는 데 있어서, 진단 결과가 변경될 수 있음을 나타내는 정보를 표시할 수 있다.
또한, 프로세서(420)는 변변을 진단하는 근거가 되는 복수의 특성들 중 주요 특성이 복수개 존재하는 경우, 진단 영상 상에 복수의 주요 특성들이 구별되도록 복수의 제2 영역들을 표시할 수 있다. 예를 들어, 주요 특성이 shape 및 margin 인 경우, 프로세서(420)는 shape 특성에 대응되는 제2 영역 및 margin 특성에 대응되는 제2 영역을 서로 구별하여 표시한 진단 영상을 생성 및 디스플레이할 수 있다.
또한, 프로세서(420)는 주요 특성이 존재하는지 여부를 판단하는데 있어서, 소정 특성의 구체적인 판단이 한계값 이상의 정확도를 가지는지 여부를 고려할 수 있다. 구체적으로, shape 특성에 있어서, shape 특성이 oval 로 판단되는 경우의 정확도가 70%이고, 한계값이 90% 인 경우를 예로 들자. 프로세서(420)는 shape 특성이 Oval 로 판단되는 정확도가 90% 인 경우에는 한계값 이상의 정확도를 가지므로 shape 특성을 주요 특성으로 판단하지 않을 수 있다.
그러나, 프로세서(420)는 shape 특성이 Oval 로 판단되는 정확도가 70% 인 경우에는 한계값 미만의 정확도를 가지므로 shape 특성을 주요 특성으로 판단할 수 있다. 그에 따라서, 주요 특성으로 판단되는 소정 특성이 존재하는 경우, 프로세서(420)는 사용자 인터페이스 화면(2200) 상에 주요 특성을 나타내는 제2 영역(예를 들어, 2230), 주요 특성에 대한 구체적인 정보를 포함하는 항목(예를 들어, 2270), 및 주요 특성이 존재함을 나타내는 표시(예를 들어, 마크(2231, 또는 2275 등) 중 적어도 하나가 포함되도록 제어할 수 있다.
도 23은 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 24는 실시예에서 제공하는 사용자 인터페이스 화면의 다른 예를 나타내는 도면이다.
도 23 및 도 24에 있어서, 진단 영상(예를 들어, 2201) 내에 포함되는 병변 영역(예를 들어, 2220)을 단순화하여 개략적으로 도시하였다. 또한, 도 23 및 도 24에 있어서, 도 22에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 23을 참조하면, 사용자 인터페이스 화면(2300)은 사용자 인터페이스 화면(2200)에 비하여, 주요 특성에 대응되는 상세 정보(2380)를 포함하는 서브 화면(2302)을 더 포함할 수 있다.
여기서, 상세 정보(2380)는 주요 특성에 대한 판단의 정확도(또는 진단 확률)를 나타내는 정보를 포함할 수 있다. 구체적으로, Shape 특성이 oval 로 판단될 진단 확률이 20%(또는 0.2), round 로 판단될 진단 확률이 70%(또는 0.2), 및 irregular 로 판단될 진단 확률이 10% (또는 0.2)인 경우를 예로 들자. 그러면, 프로세서(420)는 주요 특성에 대한 판단의 정확도를 나타내는 정보(2380)를 사용자 인터페이스 화면(2300)이 생성 및 디스플레이 되도록 제어할 수 있다. 구체적으로, 정보(2380)은 oval 로 판단될 진단 확률(2381), round 로 판단될 진단 확률(2382) 및 irregular 로 판단될 진단 확률(2383)을 포함할 수 있다. 또한, oval 로 판단될 진단 확률(2381), round 로 판단될 진단 확률(2382) 및 irregular 로 판단될 진단 확률(2383)은 확률 값이 높은 순으로 정렬되어 표시될 수도 있을 것이다.
도 24를 참조하면, 사용자 인터페이스 화면(2400) 상에 포함되는 정보(2480)은 도 23에 도시한 정보(2380)에 대응될 수 있다. 여기서, 정보(2480)은 정보(2380)과 동일한 내용을 포함하나, 다른 형식으로 표현될 수 있다. 예를 들어, oval 로 판단될 진단 확률(2381), round 로 판단될 진단 확률(2382) 및 irregular 로 판단될 진단 확률(2383)은 도 24에 도시된 사용자 인터페이스(2400) 내에서 그래프 형태(2485)로 표현될 수 있을 것이다.
개시된 실시예에서, 초음파 진단 장치(400)가 병변 영역을 포함하는 초음파 영상을 출력하는 경우, 프로세서(420)는 병변 영역의 일 지점 또는 소정 부분 영역이 선택되는 사용자 입력에 대응하여, 선택된 지점 또는 부분 영역에서 나타나는 병변의 특성 또는 진단 결과의 근거가 되는 정보가 중첩적으로 표시되는 진단 영상이 생성 또는 디스플레이 되도록 제어할 수 있다.
도 25는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 일 도면이다.
도 26는 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 27은 사용자 입력에 대응하여 출력되는 진단 영상을 나타내는 다른 도면이다.
도 25 내지 도 27에 있어서, 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 그리고, 도 25 내지 도 27에 도시된 화살표 마커(예를 들어, 2530)은 사용자 입력을 통하여 선택 또는 포인팅된 지점 또는 부분 영역을 나타낸다. 또한, 도 25 내지 도 27에 있어서, 초음파 영상(예를 들어, 2501)은 병변 영역(2510)을 포함한다. 또한, 도 25 내지 도 27에 있어서, 초음파 영상(2501), 초음파 영상(2601), 및 초음파 영상(2701) 는 서로 동일 대응될 수 있다.
도 25를 참조하면, 초음파 진단 장치(400)는 병변 영역(2510)을 포함하는 초음파 영상(2501)을 디스플레이 할 수 있다. 그리고 사용자는 구체적으로 보고자 하는 초음파 영상(2501) 상의 지점 또는 영역을 선택할 수 있다. 여기서, 선택 동작은 사용자 인터페이스(460)에 포함되는 커서 또는 포인터 등과 같은 선택 수단을 조작함으로써(예를 들어, 클릭 또는 더블 클릭 함으로써) 소정 지점 또는 영역을 선택함으로써 이뤄질 수 있다. 또한, 프로세서(420)는 초음파 영상(2501) 상에 선택을 위한 커서 또는 포인터 등이 위치되면 해당 지점이 선택된 것으로 인식할 수도 있을 것이다. 도 25 내지 도 27에 있어서, 선택을 위한 선택 수단l의 위치는 화살표(예를 들어, 2530, 2630, 또는 2730)로 도시하였다.
도 25를 참조하면, 초음파 영상(2501) 내에 포함되는 병변 영역(2510)의 상의 소정 지점(P1)이 선택된 경우, 프로세서(420)는 선택 입력에 대응하여 선택된 지점(P1)에 대응되는 부분 영역(2550) 및 부분 영역에 나타나는 특성에 대한 정보(2551) 중 적어도 하나를 표시한 진단 영상(2502)이 생성 및 디스플레이되도록 제어할 수 있다. 예를 들어, 선택된 지점(P1)에 대응되는 부분 영역(2550)이 진단 결과를 도출하는 복수의 특성들 중 shape 특성을 나타내는 영역이면, ‘Shape: Oval’(2551)과 같은 정보가 진단 영상(2502) 상에 표시될 수 있다.
도 26을 참조하면, 초음파 영상(2601) 내에 포함되는 병변 영역(2510)의 상의 소정 지점(P2)이 선택된 경우, 프로세서(420)는 선택 입력에 대응하여 선택된 지점(P2)에 대응되는 부분 영역(2650) 및 부분 영역에 나타나는 특성에 대한 정보(2651) 중 적어도 하나를 표시한 진단 영상(2602)이 생성 및 디스플레이 되도록 제어할 수 있다. 예를 들어, 선택된 지점(P2)에 대응되는 부분 영역(2550)이 진단 결과를 도출하는 복수의 특성들 중 Posterior 특성을 나타내는 영역이면, ‘No Posterior’(2651)와 같은 정보가 진단 영상(2602) 상에 표시될 수 있다.
도 27을 참조하면, 초음파 영상(2701) 내에 포함되는 병변 영역(2510)의 상의 소정 지점(P3)이 선택된 경우, 프로세서(420)는 선택 입력에 대응하여 선택된 지점(P3)에 대응되는 부분 영역(2750) 및 부분 영역에 나타나는 특성에 대한 정보(2751) 중 적어도 하나를 표시한 진단 영상(2702)이 생성 및 디스플레이 되도록 제어할 수 있다. 예를 들어, 선택된 지점(P3)에 대응되는 부분 영역(2750)이 진단 결과를 도출하는 복수의 특성들 중 echo 특성을 나타내는 영역이면, ‘Echo patter: Hypoechoic’(2751)와 같은 정보가 진단 영상(2702) 상에 표시될 수 있다.
또한, 프로세서(420)는 사용자 입력이 없어도, 초음파 영상(예를 들어, 2501) 에 포함되는 병변 영역(2510)의 경계선 상을 시계방향 또는 반시계 방향으로 움직이면서, 움직이는 지점에 대응되는 영역 및 상기 영역에서 나타나는 특성에 대한 정보(예를 들어, 2551) 중 적어도 하나가 표시된 진단 영상(예를 들어, 2502)이 생성 및 디스플레이 되도록 제어할 수 있을 것이다.
또한, 프로세서(420)는 초음파 영상(예를 들어, 2501) 에 포함되는 병변 영역(2510)의 경계선을 복수개의 구간으로 분할하고, 분할된 구간에 대응되는 영역 및 해당 영역에서 나타나는 특성에 대한 정보 중 적어도 하나가 표시된 진단 영상 이 생성 및 디스플레이 되도록 제어할 수 있을 것이다. 또한, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여, 복수개의 구간들이 상호 구별되도록 표시될 수 있을 것이다.
도 28은 복수개의 진단 영상들을 포함하는 사용자 인터페이스 화면을 나타내는 도면이다.
개시된 실시예에 있어서, 프로세서(420)가 병변 영역을 식별하기 위하여, 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 병변의 경계를 추출할 수 있다. 그리고, 추출된 병변의 경계가 복수개 존재하는 경우, 프로세서(420)는 추출된 복수개의 병변 경계를 각각 표시한 복수개의 초음파 영상들을 포함하는 사용자 인터페이스 화면이 생성 및 디스플레이 되도록 제어할 수 있다.
또한, 추출된 병변의 경계가 복수개 존재하고, 복수개의 경계들 각각이 서로 다른 진단 결과에 대응되는 경우, 프로세서(420)는 추출된 복수개의 병변 경계를 각각 표시한 복수개의 초음파 영상들을 포함하는 사용자 인터페이스 화면이 생성 및 디스플레이 되도록 제어할 수 있다.
도 28을 참조하면, 사용자 인터페이스 화면(2800)은 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860)을 포함할 수 있다. 여기서, 사용자 인터페이스 화면(2800)에 포함되는 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860)들 각각은 서로 다른 경계가 표시된 초음파 영상이 될 수 있다.
또한, 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860) 각각은 추출된 경계의 정확도 순으로 배치될 수 있다. 예를 들어, 1번 위치에는 경계 정확도가 가장 높은 경계(2801)가 표시된 초음파 영상(2810)이 배치되며, 2번 위치에는 경계 정확도가 두번째로 높은 경계(2821)가 표시된 초음파 영상(2820)이 배치될 수 있다. 그리고, 3번 위치에는 경계 정확도가 세번째로 높은 경계(2831)가 표시된 초음파 영상(2830)이 배치되며, 4번 위치에는 경계 정확도가 네번째로 높은 경계(2841)가 표시된 초음파 영상(2840)이 배치될 수 있다.
또한, 복수개의 초음파 영상들(2820, 2830, 2840, 2850, 2860) 각각에 있어서, 경계 정확도가 가장 높은 경계(2801)가 비교 대상으로 함께 도시될 수 있을 것이다.
또한, 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860) 각각에는 추출된 경계에 근거하여 도출된 진단 결과(도 28에는 미도시)가 표시될 수 있다.
또한, 사용자 인터페이스 화면(2800) 상에서 복수개의 초음파 영상들(2810, 2820, 2830, 2840, 2850, 2860) 각각을 선택하면, 진단 결과에 대응되는 진단 정보가 포함되는 진단 영상이 확대되어 디스플레이 될 수 있을 것이다.
도 29는 초음파 영상을 분석한 결과를 획득하기 위해 이용되는 신경망을 설명하기 위한 도면이다.
개시된 실시예에서, 프로세서(420)는 컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 병변을 분석하고, 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득할 수 있다.
이하에서는, 인공 지능(AI) 기술을 이용하여, 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득하는 동작을 설명한다.
인공 지능 기술은 신경망(Neural Network)을 통한 연산을 수행하여 입력된 영상 또는 데이터를 분석하여 목적하는 결과를 획득하는 기술이다. 여기서, 신경망은 학습 데이터(예를 들어, 서로 다른 복수의 초음파 영상들)를 학습(training)하여 신경망 내부의 가중치 값들을 최적화하여 설정할 수 있다. 그리고, 최적화된 가중치 값을 가지는 신경망을 통하여, 입력된 데이터를 스스로 학습(learning)함으로써, 목적하는 결과를 출력한다.
구체적으로, 신경망은 심층 신경망(DNN: Deep Neural Network)이 될 수 있다. 또한, 심층 신경망(DNN) 연산은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다. 구체적으로, 예시된 신경망을 통하여 데이터 인식 모델을 구현하고, 구현된 데이터 인식 모델을 학습 데이터를 이용하여 학습(training)시킬 수 있다. 그리고, 학습된 데이터 인식 모델을 이용하여 입력되는 데이터, 예를 들어, 병변 영역을 포함하는 초음파 영상을 분석 또는 분류하여, 초음파 영상에 포함되는 특정 영역(예를 들어, 병변의 경계 영역) 또는 특정 부분 영상(예를 들어, 제1 영역과 같이 진단 결과를 도출하는데 근거가 되는 부분 영역에 대응되는 영상)을 분석 및/또는 분류할 수 있다.
본 개시의 실시예에서, 프로세서(420)는 신경망을 통한 연산을 수행하여, 초음파 영상으로부터 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득할 수 있다.
또한, 전술한 신경망을 통한 연산은, 영상 처리부(450)에서 수행될 수도 있을 것이다.
또한, 전술한 신경망을 통한 연산은, 외부의 서버(미도시)를 통하여 수행되고, 신경망을 통한 연산의 결과(예를 들어, 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나)를 통신부(470)를 통하여 수신할 수 있을 것이다.
프로세서(420)는 입력 계층, 숨은 계층(hidden layer) 및 출력 계층을 포함하는 신경망, 예를 들어, 심층 신경망(2920)을 통한 연산을 수행할 수 있다. 도 9에서는, 신경망에 포함되는 숨은 계층이 다단으로 형성되는 심층 신경망(DNN: Deep Neural Network)으로 형성된 경우를 예로 들어 도시하였다.
도 29를 참조하면, 심층 신경망(2920)은 입력 계층(2930), 숨은 계층(hidden layer)(2940) 및 출력 계층(2950)을 포함한다. 도 29에서는 입력 데이터인 초음파 영상에 포함되는 정보를 분석하여, 목적하는 출력 데이터(2970)를 출력하는 심층 신경망(2920)을 예로 들어 도시하였다. 여기서, 출력 데이터(2970)는 병변 영역, 진단 결과 및 진단 결과에 대응되는 진단 정보 중 적어도 하나가 포함될 수 있다.
심층 신경망(2920)을 형성하는 복수개의 계층들은 데이터를 수신하는 복수개의 노드(node)(예를 들어, 2931)들을 포함할 수 있다. 그리고, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)(예를 들어, 2936)들로 연결된다. 각각의 노드들은 대응되는 가중치값을 가지고 있다. 그에 따라서, 심층 신경망(2920)은 입력된 신호와 가중치 값을 연산, 예를 들어, 컨볼루션(convolution) 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.
여기서, 심층 신경망(2920)은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산을 수행하는 CNN 신경망으로 형성될 수 있다.
도 29에 도시된 실시예를 참조하면, 입력 계층(2930)은 병변 영역(2902)을 포함하는 초음파 영상(2910)를 입력 받는다.
도 29에서는, 숨은 계층(2940)이 3 단계의 계층들로 형성된 경우를 예로 들어 도시하였다. 숨은 계층(2940)의 심도(depth)는 이용되는 신경망의 제차 사양 및/또는 설계 사양에 따라서 달라질 수 있다.
도 29을 참조하면 심층 신경망(2920)은 입력 계층(2930)과 제1 숨은 계층(HIDDEN LAYER1) 간에 형성되는 제1 계층(Layer 1), 제1 숨은 계층(HIDDEN LAYER1)과 제2 숨은 계층(HIDDEN LAYER2) 간에 형성되는 제2 계층(Layer 2), 및 제2 숨은 계층(HIDDEN LAYER2)과 제3 숨은 계층(HIDDEN LAYER3) 간에 형성되는 제3 계층(Layer 3), 및 제3 숨은 계층(HIDDEN LAYER3)과 출력 계층(OUTPUT LAYER(2970) 간에 형성되는 제4 계층(Layer 4) 으로 형성될 수 있다.
심층 신경망(2920)의 입력 계층(2930)에 포함되는 복수개의 노드들은 초음파 영상(2910)에 대응되는 복수개의 데이터들을 수신한다. 여기서, 복수개의 데이터들은 초음파 영상(2910)은 분할하는 필터 처리를 하여 생성된 복수개의 부분 영상들이 될 수 있다.
그리고, 숨은 계층(2940)에 포함되는 복수개의 계층들에서의 연산을 통하여, 출력 계층(2950)에서는 초음파 영상(2910)를 분석한 결과 획득된 출력 데이터(2970)를 출력할 수 있다.
구체적으로, 심층 신경망(2920)은 컨볼루션 신경망(CNN)으로 형성된 경우, 컨볼루션 신경망(CNN)은 영상 내에 포함되는 정보들끼리의 상관 관계가 지역적(local)인 경우, 특정 지역만을 비추는 필터의 개념을 도입하고 이 필터 내에서의 정보들을 컨볼루션(convolution)하여 필터 내의 영상의 특징에 대한 정보를 정밀하게 추출할 수 있다.
구체적으로, CNN 기반의 신경망(2920) 내에 존재하는 숨은 계층(2940)에는, 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)이 번갈아 가면서 배치되며, 각 계층 필터(filter)의 심도(depth)는 왼쪽에서 오른쪽으로 갈수록 증가하게 된다. 또한, CNN 기반의 신경망(2920)의 최종 단은 완전 연결 계층(fully connected layer)로 형성될 수 있다. 여기서, 컨볼루션 계층(convolution layer)은 컨볼루션 연산에 따라서 생성되는 데이터들의 계층이며, 풀링 계층(pooling layer)은 서브 샘플링(subsampling) 또는 풀링이라는 연산을 통하여 데이터의 숫자 또는 크기를 줄이기 위한 계층이다. 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)을 통과하면서, 입력된 이미지의 특징을 나타내는 데이터들(예를 들어, feature map)이 생성되게 된다. 구체적으로, 숨은 계층(2940)을 통한 연산을 통하여, 초음파 영상(2910)의 이미지 특징들이 생성되며, 이미지 특징들에 근거하여 병변 영역, 병변에 대한 진단 결과, 진단 결과에 대응되는 진단 정보 등을 획득할 수 있다.
그리고, 이러한 컨볼루션 계층 및 풀링 계층을 통과하여 생성된 데이터들을 완전 연결 계층(fully connected layer)으로 형성되는 숨겨진 계층(hidden layer)을 통하여 가공하면, 목적하는 출력 데이터(2970)가 출력될 수 있다.
또한, 심층 신경망(2920)을 통하여 출력된 출력 데이터의 정확도를 높이기 위해서, 출력 계층(2950)에서 입력 계층(2930) 방향으로 학습(training)을 수행하며 출력 데이터의 정확도가 높아지도록 신경망(2920)을 형성하는 노드들(예를 들어, 2931)의 가중치값들을 수정할 수 있다. 따라서, 심층 신경망(2920)는 초음파 영상(2910)이 입력되기 이전에, 복수개의 서로 다른 병변들을 포함하는 복수개의 초음파 영상들을 학습(training)하여, 초음파 영상에 포함되는 병변 영역 또는 진단 결과를 정확하게 검출하는 방향으로, 각 노드들의 가중치값을 수정할 수 있다.
또한, 심층 신경망(2920)은 신경망을 통한 연산을 수행하여, 진단 결과를 검출하기 위한 기준을 획득할 수 있다. 예를 들어, 악성 병변의 특성들을 나타내는 기준들 또는 양성 병변의 특성값들을 나타내는 기준들을 획득할 수 있을 것이다.
도 30은 실시예에 따른 초음파 영상 표시 방법을 나타내는 흐름도이다. 개시된 실시예에 따른 초음파 영상 표시 방법(3000)은 도 1 내지 도 29를 참조하여 설명한 개시된 실시예에 따른 초음파 진단 장치(100, 400 또는 500)를 통하여 수행될 수 있다. 따라서, 초음파 영상 표시 방법(3000)의 각 단계 동작은 초음파 진단 장치(100, 400 또는 500)의 각 구성을 통하여 수행될 수 있으며 초음파 영상 표시 방법(3000)은 전술한 초음파 진단 장치(100, 400 또는 500)와 동일한 구성상 특징을 포함할 수 있다. 즉, 도 30는 개시된 실시예에 따른 초음파 진단 장치(100, 400 또는 500)에서 수행되는 동작들을 나타내는 도면이 될 수 있다. 따라서, 초음파 영상 표시 방법(3000)을 설명하는데 있어서, 도 1 내지 도 29에서와 중복되는 설명은 생략한다.
초음파 영상 표시 방법(3000)은 초음파 영상에 포함되는 병변 영역을 식별한다(S3010). S3010 단계의 동작은 프로세서(420)에서 수행될 수 있다.
S3010 단계에서 식별된 병변 영역을 진단하여 진단 결과를 획득한다(S3020). S3020 단계의 동작은 프로세서(420)에서 수행될 수 있다.
그리고, 병변 영역에 있어서 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성 한다(S3030). S3030 단계의 동작은 프로세서(420)에서 수행될 수 있다.
그리고, 진단 영상 및 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 한다(S3040). S3040 단계의 동작은 프로세서(420)에서 수행될 수 있다.
도 31은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 일 도면이다.
도 32은 실시예에 따른 사용자 인터페이스 화면을 실제 구현 예를 나타내는 다른 도면이다.
구체적으로, 도 31 및 도 32에서는 개시된 실시예에 따라서 구현된 초음파 진단 장치에서 출력하는 실제 사용자 인터페이스 화면이 도시된다.
도 31을 참조하면, 사용자 인터페이스 화면(3100)은 초음파 영상 상에 추출된 경계 영역을 마킹하여 생성한 진단 영상(3110), 진단 결과(3120), 및 병변 영역의 특성들을 나타내는 리스트(3130)를 포함할 수 있다. 여기서, 진단 영상(3110), 진단 결과(3120), 및 병변 영역의 특성들을 나타내는 리스트(3130)는 각각 도 13에 도시된 진단 영상(1310), 진단 결과(1330), 및 병변 영역의 특성들을 나타내는 리스트(1302)에 동일 대응할 수 있으므로, 상세 설명은 생략한다.
개시된 실시예에서, 리스트(3130) 내에 적어도 하나의 항목이 선택되거나, 프로세서(420)의 설정에 의해서, 제1 영역이 진단 영상(3110) 내에 표시되어 디스플레이될 수 있다.
도 32를 참조하면, 사용자 인터페이스 화면(3200)은 사용자 인터페이스 화면(3200)에 비하여, 환자 또는 대상체에 대한 초음파 스캔 정보(3240)를 더 포함할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 전술한 실시예에 따른 초음파 영상 표시 방법은 다중언어로 구성된 문장을 획득하는 동작; 및 다중언어 번역 모델을 이용하여, 상기 다중언어로 구성된 문장에 포함되는 단어들 각각에 대응하는 벡터 값들을 획득하고, 상기 획득한 벡터 값들을 목표 언어에 대응하는 벡터 값들로 변환하며, 상기 변환된 벡터 값들에 기초하여, 상기 목표 언어로 구성된 문장을 획득하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.

Claims (15)

  1. 초음파 영상에 포함되는 병변 영역을 식별하는 단계;
    상기 병변 영역을 진단하여 진단 결과를 획득하는 단계;
    상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및
    상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  2. 제1항에 있어서, 상기 제1 영역은
    상기 병변 영역에서 병변의 특성을 나타내는 복수의 특성들이 존재할 때, 상기 복수의 특성들 중 적어도 하나를 나타내는 영역인 것을 특징으로 하는 초음파 영상 표시 방법.
  3. 제1항에 있어서, 상기 제1 영역은
    상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin), 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방(posterior) 중 적어도 하나의 특성을 판단하는 근거가 되는 영역인 것을 특징으로 하는 초음파 영상 표시 방법.
  4. 제1항에 있어서, 상기 진단 결과는
    상기 병변이 양성(benign)인지 또는 악성(malignant)인지를 나타내는 정보를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  5. 제1항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 병변 영역을 나타내는 복수의 특성들이 존재할 때, 서로 다른 색상, 마크, 기호, 투명도, 밝기, 점선의 종류, 및 점선의 굵기 중 적어도 하나를 이용하여 상기 복수의 특성들에 있어서 서로 다른 특성들이 상호 구별되도록, 상기 적어도 하나의 영역을 상기 병변 영역 상에 표시하는 단계를 포하며,
    상기 복수의 특성들은
    상기 병변을 진단하는데 근거가 되는 상기 병변의 형태(shape), 상기 병변의 방향(orientation), 상기 병변의 경계(margin) 형태, 상기 병변 영역에 대한 밝기(echo), 상기 병변 영역의 후방 특징(posterior feature) 중 적어도 하나를 포함하는 것을 특징으로 하는 것을 특징으로 하는 초음파 영상 표시 방법.
  6. 제1항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 병변 영역에 포함되는 제2 영역에서 나타나는 상기 병변 영역의 특성이 변경되면 상기 진단 결과가 달라지게 되는 경우, 상기 제2 영역을 상기 초음파 영상에 표시하여 상기 진단 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  7. 제6항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 제1 영역과 상기 제2 영역이 구별되도록 표시하여, 상기 진단 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  8. 제1항에 있어서, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는
    상기 진단 영상, 상기 진단 결과, 및 상기 병변을 나타내는 복수의 특성들 각각에 대응되는 복수의 항목들을 포함하는 리스트를 포함 하는 상기 사용자 인터페이스 화면을 디스플레이 하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  9. 제8항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 복수의 항목들 중 어느 하나를 선택하는 사용자 입력에 대응하여, 상기 초음파 영상에 있어서, 선택된 항목에 대응되는 특성을 나타내는 적어도 하나의 부분 영역을 상기 제1 영역으로 표시 하여, 상기 진단 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  10. 제8항에 있어서, 상기 사용자 인터페이스 화면을 디스플레이 하는 단계는
    상기 리스트에 포함되는 제1 특성이 변경되면 상기 진단 결과가 달라지는 경우, 상기 리스트에 포함에 포함되는 제1 특성을 이외의 특성들과 구별하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  11. 제1항에 있어서, 상기 진단 영상을 생성하는 단계는
    상기 초음파 영상 상에 상기 제1 영역에서 나타나는 상기 병변 영역의 특성에 대한 정보인 진단 정보를 표시하여, 상기 진단 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  12. 제11항에 있어서, 상기 진단 정보를 획득하는 단계는
    컴퓨터 기반 진단(CAD: Computer Aided Detection & Diagnosis) 기술 및 인공 지능 기술 중 적어도 하나를 이용하여 상기 초음파 영상을 분석하고, 상기 병변 영역, 상기 진단 결과 및 상기 진단 결과에 대응되는 진단 정보 중 적어도 하나를 획득하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  13. 제1항에 있어서,
    상기 병변 영역을 식별하는 단계는
    상기 병변 영역의 경계를 식별하는 단계를 포함하며,
    상기 초음파 영상 표시 방법은
    상기 식별의 결과 상기 경계가 복수 개 존재하는 경우, 상기 초음파 영상에 상기 복수개의 경계를 각각 표시하여 복수개의 서브 영상들을 생성하는 단계; 및
    상기 복수개의 서브 영상들을 포함하는 사용자 인터페이스 화면을 출력하는 단계를 더 포함하는 것을 특징으로 하는 초음파 영상 표시 방법.
  14. 디스플레이;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 적어도 하나의 인스트럭션 중 적어도 하나를 실행하여, 초음파 영상에 포함되는 병변 영역을 식별하고, 상기 병변 영역을 진단하여 진단 결과를 획득하며, 상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하고, 상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면이 상기 디스플레이를 통하여 디스플레이 되도록 제어하는 프로세서를 포함하는 것을 특징으로 하는 초음파 진단 장치.
  15. 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램이 수록된 컴퓨터 프로그램 제품에 있어서,
    상기 컴퓨터 프로그램은
    초음파 영상에 포함되는 병변 영역을 식별하는 단계;
    상기 병변 영역을 진단하여 진단 결과를 획득하는 단계;
    상기 병변 영역에 있어서 상기 병변을 진단하는데 근거가 되는 적어도 하나의 영역인 제1 영역을 상기 초음파 영상의 상기 병변 영역 상에 표시하여 진단 영상을 생성하는 단계; 및
    상기 진단 영상 및 상기 진단 결과를 포함하는 사용자 인터페이스 화면을 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 초음파 영상 표시 방법을 컴퓨터에서 실행시키기 위해서 기록매체에 저장된 컴퓨터 프로그램인 것을 특징으로 하는 프로그램 제품.
PCT/KR2020/003444 2019-03-12 2020-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품 WO2020185003A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080020921.8A CN113645905A (zh) 2019-03-12 2020-03-12 用于显示超声图像的方法、超声诊断装置和计算机程序产品
EP20769065.2A EP3939515A4 (en) 2019-03-12 2020-03-12 ULTRASOUND IMAGE DISPLAY METHOD, ULTRASOUND DIAGNOSTIC DEVICE AND COMPUTER PROGRAM PRODUCT
US17/435,581 US20220059227A1 (en) 2019-03-12 2020-03-12 Method for displaying ultrasonic image, ultrasonic diagnostic device, and computer program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190028158A KR20200109093A (ko) 2019-03-12 2019-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
KR10-2019-0028158 2019-03-12

Publications (1)

Publication Number Publication Date
WO2020185003A1 true WO2020185003A1 (ko) 2020-09-17

Family

ID=72427589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003444 WO2020185003A1 (ko) 2019-03-12 2020-03-12 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품

Country Status (5)

Country Link
US (1) US20220059227A1 (ko)
EP (1) EP3939515A4 (ko)
KR (1) KR20200109093A (ko)
CN (1) CN113645905A (ko)
WO (1) WO2020185003A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862752A (zh) * 2020-12-31 2021-05-28 北京小白世纪网络科技有限公司 一种图像处理显示方法、***电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710229B2 (en) * 2020-03-23 2023-07-25 GE Precision Healthcare LLC Methods and systems for shear wave elastography
KR102485930B1 (ko) * 2020-07-22 2023-01-10 연세대학교 산학협력단 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
KR102476957B1 (ko) * 2020-12-11 2022-12-12 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
KR102370167B1 (ko) * 2021-10-25 2022-03-04 주식회사 파인트리시스템 인공지능 기반 초음파 병변 진단 보조시스템
CN113827274B (zh) * 2021-11-23 2022-02-22 广东恒腾科技有限公司 一种无线彩超设备的自动控制***
JP2024001405A (ja) * 2022-06-22 2024-01-10 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN116862906B (zh) * 2023-08-24 2023-12-12 武汉大学人民医院（湖北省人民医院） 一种眼部检测装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008501436A (ja) * 2004-06-04 2008-01-24 ユー−システムズ， インコーポレイテッド ***超音波情報の処理及び表示
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
JP2014504918A (ja) * 2010-12-14 2014-02-27 ホロジック， インコーポレイテッド 画像診断に使用するために複数の異なる画像処理システムからの３次元画像データを重ね合わせるシステムおよび方法
KR20150056013A (ko) * 2013-11-14 2015-05-22 계명대학교 산학협력단 유방 초음파 영상 및 탄성도 영상 획득 및 분석 방법 및 장치
KR20150107515A (ko) * 2014-03-14 2015-09-23 알피니언메디칼시스템 주식회사 의료진단을 위한 의료영상 처리장치 및 그 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3802462B2 (ja) * 2001-08-06 2006-07-26 アロカ株式会社 超音波診断装置
US20030161513A1 (en) * 2002-02-22 2003-08-28 The University Of Chicago Computerized schemes for detecting and/or diagnosing lesions on ultrasound images using analysis of lesion shadows
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US20110208061A1 (en) * 2008-11-11 2011-08-25 Koninklijke Philips Electronics N.V. Ultrasonic lesion identification using temporal parametric contrast images
US20120014578A1 (en) * 2010-07-19 2012-01-19 Qview Medical, Inc. Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface
US8951200B2 (en) * 2012-08-10 2015-02-10 Chison Medical Imaging Co., Ltd. Apparatuses and methods for computer aided measurement and diagnosis during ultrasound imaging
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
KR20140091177A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
KR20150069920A (ko) * 2013-12-16 2015-06-24 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
JP2014195729A (ja) * 2014-06-27 2014-10-16 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR102372351B1 (ko) * 2014-08-19 2022-03-08 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 방법
KR102347038B1 (ko) * 2014-11-06 2022-01-04 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 방법
KR102490069B1 (ko) * 2015-08-18 2023-01-19 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
KR102439769B1 (ko) * 2016-01-18 2022-09-05 삼성메디슨 주식회사 의료 영상 장치 및 그 동작방법
US10265052B2 (en) * 2016-05-10 2019-04-23 Samsung Medison Co., Ltd. Method of displaying ultrasound image and ultrasound diagnosis apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008501436A (ja) * 2004-06-04 2008-01-24 ユー−システムズ， インコーポレイテッド ***超音波情報の処理及び表示
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
JP2014504918A (ja) * 2010-12-14 2014-02-27 ホロジック， インコーポレイテッド 画像診断に使用するために複数の異なる画像処理システムからの３次元画像データを重ね合わせるシステムおよび方法
KR20150056013A (ko) * 2013-11-14 2015-05-22 계명대학교 산학협력단 유방 초음파 영상 및 탄성도 영상 획득 및 분석 방법 및 장치
KR20150107515A (ko) * 2014-03-14 2015-09-23 알피니언메디칼시스템 주식회사 의료진단을 위한 의료영상 처리장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3939515A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862752A (zh) * 2020-12-31 2021-05-28 北京小白世纪网络科技有限公司 一种图像处理显示方法、***电子设备及存储介质

Also Published As

Publication number Publication date
US20220059227A1 (en) 2022-02-24
CN113645905A (zh) 2021-11-12
EP3939515A4 (en) 2022-11-30
KR20200109093A (ko) 2020-09-22
EP3939515A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
WO2020185003A1 (ko) 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
WO2016190517A1 (en) Medical image display apparatus and method of providing user interface
WO2015002409A1 (en) Method of sharing information in ultrasound imaging
WO2016060475A1 (en) Method of providing information using plurality of displays and ultrasound apparatus therefor
WO2020235966A1 (ko) 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법
WO2017142183A1 (ko) 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
WO2016195208A1 (en) Ultrasound apparatus and method of displaying ultrasound images
WO2017030276A1 (ko) 의료영상 표시장치 및 의료영상 처리방법
WO2019039912A1 (ko) 진단 보조 시스템 및 그 제어 방법
WO2015093724A1 (en) Method and apparatus to provide blood vessel analysis information using medical image
WO2016032275A1 (en) Medical imaging apparatus and method of operating same
WO2014200289A2 (en) Apparatus and method for providing medical information
WO2017065562A1 (ko) 프로브 장치, 그를 포함하는 의료기기 및 프로브 장치의 제어방법
WO2015108306A1 (en) Medical image providing apparatus and medical image processing method of the same
WO2015122687A1 (en) Tomography apparatus and method of displaying a tomography image by the tomography apparatus
WO2019164275A1 (ko) 수술도구 및 카메라의 위치 인식 방법 및 장치
WO2016195417A1 (en) Apparatus and method of processing medical image
WO2012077954A2 (en) Health care device, method and graphical user interface for health care
WO2014200265A1 (en) Method and apparatus for providing medical information
WO2015080522A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
WO2019125026A1 (ko) 심혈관 질병 진단 보조 방법 및 장치
EP3104782A1 (en) Tomography apparatus and method of displaying a tomography image by the tomography apparatus
EP3185773A1 (en) Medical imaging apparatus and method of operating same
WO2020230952A1 (ko) 통증 모니터링 장치 및 방법
WO2021157851A1 (ko) 초음파 진단 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769065

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020769065

Country of ref document: EP

Effective date: 20211012