WO2019054711A1 - 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 - Google Patents

스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 Download PDF

Info

Publication number
WO2019054711A1
WO2019054711A1 PCT/KR2018/010580 KR2018010580W WO2019054711A1 WO 2019054711 A1 WO2019054711 A1 WO 2019054711A1 KR 2018010580 W KR2018010580 W KR 2018010580W WO 2019054711 A1 WO2019054711 A1 WO 2019054711A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
hidden layer
neural network
learning
Prior art date
Application number
PCT/KR2018/010580
Other languages
English (en)
French (fr)
Inventor
송태경
김민
박민석
Original Assignee
서강대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교 산학협력단 filed Critical 서강대학교 산학협력단
Publication of WO2019054711A1 publication Critical patent/WO2019054711A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a deep learning-based medical ultrasound image classification method and apparatus using a smart device, and more particularly, to a smart device having a mobile GPU, which reduces idle cores of the GPU in the ultrasound image classification,
  • the present invention relates to a deep-running-based medical ultrasound image classification method and apparatus using a smart device capable of minimizing the size of a body part and ensuring accuracy and real-time performance of body part classification.
  • Medical ultrasound which is mainly used, is used to visualize tomographic images in real time to judge the size, structure and pathological damage of muscles, tendons, internal organs and organs of human body.
  • an ultrasound wave is generated by placing a probe on an object, and ultrasound waves reflected from the object are received to form an image.
  • an ultrasonic wave is generated, a sound wave passes through the medium in a very short time, and a reflected wave is generated when the acoustic impedance passes between two different mediums.
  • the diagnostic medical image is generated by measuring the reflected wave and inversing the distance through the time until the reflected sound returns.
  • FIG. 1 shows an example of an ultrasound medical imaging apparatus using a smartphone developed at present.
  • the size of the screen of the smart device is smaller than that of the cart-type device, and it is difficult to control parameters of all the images that can be used in the existing equipment due to lack of space on the screen.
  • Patent Document 1 KR 10-2012-0059740 (ultrasound system having at least one GPU, Samsung Medison Co., Ltd.) 2012.06.11.
  • the object of the present invention is to provide a smart device for generating medical ultrasound images, which is capable of reducing the idle core of a graphics processing unit (GPU) and enhancing the accuracy of body part discrimination and real- Based ultrasound image classification method and apparatus.
  • GPU graphics processing unit
  • the deep learning-based medical ultrasound image classification method using a smart device includes a step of receiving ultrasound reflected signals reflected from a target object through a probe to generate input data, And simultaneously classifying the body structure of the ultrasound image according to the result of the learning of the depth neural network.
  • the step of sharing the rendering cycle and performing the depth learning of the neural network concurrently includes: a second step of performing black hole filtering on log compression data subjected to envelope detection and log compression on the ultrasound signal input to the smart device; Sharing a render cycle to concurrently operate image resizing and a first hidden layer on the log compressed data; and sharing a third render cycle to enhance the edges of the black hole filtered data by the black hole filtering, Concurrently operating a third hidden layer by sharing a fourth render cycle that performs a scan conversion on the enhanced data and concurrently operating a third hidden layer, Based on the neural net learning network, By including the step of performing, and wherein the smart device running simultaneously a body part classification to the depth-based neural network learning in the rendering cycle shared by sharing rendering cycle to execute the B- mode image restoration process having a mobile GPU.
  • the method further comprises a data preprocessing step for providing the data set of the depth neural network learning, wherein the preprocessing step comprises the steps of: inversely transforming the image data obtained from the probe into raw form data; And setting the transformed primitive data as a data set of the neural network learning.
  • the preprocessing step comprises the steps of: inversely transforming the image data obtained from the probe into raw form data; And setting the transformed primitive data as a data set of the neural network learning.
  • concurrently executing depth learning neural network learning by sharing a rendering period includes performing the black-hole filtering, the image resizing and hidden layer 1, the edge enhancement and second hidden layer, And sharing execution by the GPU to each render cycle as independent executions.
  • the smart device generates an ultrasound image by performing an initialization process, a render scene process, and a graphics pipeline process on the beamformed input data,
  • the graphics pipeline performs the image restoration process using a graphics processing unit (GPU) in an OpenGL ES environment.
  • GPU graphics processing unit
  • the image reconstruction process may include performing envelope detection and log compression on the input data in a first render cycle, and performing gain control on the ultrasound image to adjust the overall gain of the ultrasound image.
  • DSC digital scan conversion
  • the deep learning-based medical ultrasound image classification apparatus using a smart device includes an ultrasound receiver for receiving ultrasound reflection signals reflected from a target object through a probe and generating input data, And the image processing unit performs the body part classification on the basis of the deep neural network learning in the shared rendering period at the same time.
  • the image processing unit may share a second render cycle for performing black-hole filtering on the log-compressed data subjected to envelope detection and log compression on the input data, so as to perform image resizing for the log- Run hidden layers simultaneously.
  • the image processing unit concurrently executes a second hidden layer by sharing a third render cycle for enhancing edges of data in which black holes are removed by the black hole filtering.
  • the image processing unit concurrently executes the third hidden layer by sharing a fourth render cycle for performing the scan conversion on the enhanced data.
  • the image processing unit may include a smart GPU having a mobile GPU sharing a rendering period for performing an image restoration process, and performing a depth-based neural network learning based on the first hidden layer To perform body part classification simultaneously.
  • the depth neural network learning classifies input data by learning a depth neural network structure based on a data set, and is a data preprocessing for providing the data set, Data by converting the data of the different specifications obtained from different probes into one standardized data by setting the inverse transformed raw data to the data set of the deep neural network learning, .
  • the image processing unit may perform the black hole filtering, the image resizing and the first hidden layer, the edge enhancement and the second hidden layer, the scan conversion, and the execution of the third hidden layer by the GPU as independent executions Share it in the render cycle.
  • the image processing unit performs an initialization process, a render scene process, and a graphics pipeline process on the beamformed input data to generate an ultrasonic image
  • Line performs the image restoration process using a graphics processing unit (GPU) of an OpenGL ES environment.
  • GPU graphics processing unit
  • the image processing unit performs envelope detection and log compression in a first render cycle, and then performs gain control to adjust the overall gain of the image, black hole filtering in the second render cycle, edge enhancement in the third render cycle, The digital scan conversion is continuously performed in the fourth render cycle.
  • the smart device for classifying medical ultrasound images shares a second render cycle for performing black hole filtering on log compressed data subjected to envelope detection and log compression on the input ultrasound signal, Sharing the third render cycle to concurrently operate image resizing and the first hidden layer on the data and enhance the edges of the data with the black holes removed to concurrently operate the second hidden layer,
  • the third hidden layer is simultaneously operated by sharing a fourth render cycle for performing the scan conversion so as to share a rendering period for performing an image restoration process so that the first to third hidden layers GP, which performs body part classification simultaneously based on the in-depth neural network learning included U (Graphic processing unit).
  • the neural network learning is a structure for classifying input data by learning a neural network structure based on a data set.
  • image data acquired from a probe is converted into raw data
  • sets the inverse transformed primitive data to the data set of the deep neural network learning to convert data of different specifications obtained from different probes into one normalized data, .
  • a GPU may perform the black hole filtering and the image resizing and the first hidden layer, the edge enhancement and the second hidden layer, the scan conversion and the execution of the third hidden layer by the GPU as independent executions, Share in the cycle.
  • the GPU generates an ultrasound image by performing an initialization process, a render scene process, and a graphics pipeline process on the beamformed input data, Performs the image restoration process using a graphics processing unit (GPU) in an OpenGL ES environment.
  • GPU graphics processing unit
  • a smart device having a mobile GPU shares a rendering cycle for performing an image restoration process to simultaneously perform body part classification on the basis of a neural network learning, And the number of rendering cycles can be minimized to improve processing performance.
  • a mobile GPU Graphics Processing Unit
  • the body part classification is performed based on the in-depth neural network learning using the inverse transformed raw data irrespective of the kind of the ultrasonic acquisition probe, Data can be used as input, and problems caused by conventional image cropping can be prevented.
  • the accuracy of the body part discrimination is automatically determined by automatically executing the body part classification based on the deep- And real-time performance can be guaranteed.
  • FIG. 1 shows an example of an ultrasound medical imaging apparatus using a smartphone developed at present.
  • FIG. 2 is a block diagram showing a schematic configuration of a deep learning-based medical ultrasound image classification apparatus using a smart device according to an embodiment of the present invention.
  • Figures 3-5 are diagrams illustrating cropping execution for a typical linear array, a convex array, and a phased array, respectively.
  • Figure 6 shows the inverse transformed raw data set as the dataset of the neural network learning in accordance with an embodiment of the present invention.
  • FIGS. 7A and 7B are diagrams for explaining a rendering cycle for efficiently implementing OpenGL ES programming.
  • FIG. 8 illustrates a general image restoration process
  • FIG. 9 is a diagram for explaining a rendering cycle sharing method according to an embodiment of the present invention.
  • FIG. 10 shows a procedure for implementing image restoration and a neural network learning algorithm in a cascade manner.
  • FIG. 11 is a diagram illustrating a process of using a neural network learning algorithm to classify body structures according to an embodiment of the present invention.
  • FIGS. 12 and 13 are flowcharts for explaining a deep learning-based medical ultrasound image classification method using a smart device according to an embodiment of the present invention.
  • the smart device based ultrasound medical imaging device has a problem that the screen size is smaller than that of the cart type device and the parameters of all the images that can be used in the existing equipment due to the lack of the screen space are difficult to control.
  • the present invention discloses a neural network that classifies body structures such as liver, thyroid, and gallbladder in medical ultrasound equipment.
  • a rendering cycle sharing method for reducing the input / output time of actual data and the number of GPU idle cores Lt; / RTI > A detailed description thereof will be given below with reference to the drawings.
  • FIG. 2 is a block diagram showing a schematic configuration of a deep learning-based medical ultrasound image classification apparatus using a smart device according to an embodiment of the present invention.
  • a deep learning-based medical ultrasound image classification apparatus 100 using a smart device includes an ultrasound receiver 110 for receiving an ultrasound reflection signal from a target object through a probe and generating input data, And an image processing unit 131 for sharing a rendering period for performing an image reconstruction process on the input data and performing a body part classification based on a depth neural network learning in a shared rendering period.
  • a memory unit 150 for storing software algorithms and the like necessary for the ultrasound signal processing, and a display unit 170 for outputting ultrasound images.
  • the deep neural network learning is a structure for classifying input data by learning a deep neural network structure based on a data set.
  • log compression data which is a form obtained by inversely transforming an ultrasound image having geometric information into rectangle-shaped raw data
  • the image data obtained from the probe is inversely transformed into the data of the raw form
  • the inversely transformed raw form data is set as the data set of the deep neural network learning, whereby data of different specifications obtained from different probes It is converted into one standardized data and used for depth learning of neural network.
  • FIGS. 3 to 5 are diagrams showing cropping execution for a general linear array, a convex array, and a phased array, respectively, and FIG. 6 is a diagram illustrating the inverse transformed raw data set as a dataset of the neural network learning according to an embodiment of the present invention / RTI >
  • a cropping process is performed to remove an unnecessary portion such as patient information unnecessary for ultrasound region determination in an ultrasound image.
  • the ultrasound image is divided into the form of an ultrasound acquisition probe, which can be largely divided into a linear, convex, and phased array.
  • the ultrasound image is cut out into a rectangular shape as shown in Fig. 3, and the convex or phased array has two types of full cropping shown in Fig. 4 or max cropping cropping the image.
  • the full-cropping method since the maximum size of the portion including the ultrasonic medical information is cut into the extended rectangle, data without the actual ultrasonic information remains.
  • the max cropping there is a risk that significant feature information may be lost in the original medical image because the image is cut out in a rectangular shape of the maximum size among the portions having the ultrasound information.
  • the ultrasound image 620 having the geometric information irrespective of the type of the ultrasound acquisition probe is converted into the rectangular-shaped raw data 630, Is used as the data set of the deep neural network learning, the log data having the same data type can be used as input regardless of the type of the ultrasonic acquisition probe, and the problem caused by the image cropping can be prevented.
  • the present invention includes a process of inversely transforming image data acquired from a probe in a preprocessing step of learning of a neural network into raw data, and setting a data set of inverse-transformed raw data as a data set of a neural network learning Data of different standards obtained from different probes can be converted into one standardized data and used for learning of the neural network.
  • FIGS. 7A and 7B are diagrams for explaining a rendering cycle for efficiently implementing OpenGL ES programming.
  • a rendering cycle is a unit in which a series of parallel signal processing is performed on all inputs. For example, to add 5 to all input data in Figure 7A, the GPU process performs a series of operations that add five.
  • the render cycle requires physical input / output times of "Input texture upload”, “Texture to frame buffer”, and “Frame buffer to texture” in addition to "Processing".
  • the image processing unit 130 generates an ultrasound image by performing an initialization process, a render scene process, and a graphics pipeline process on the beamformed input data, For example, the image restoration process is performed using a graphics processing unit (GPU) in an OpenGL ES 3.0 environment.
  • GPU graphics processing unit
  • FIG. 8 illustrates a general image restoration process.
  • a DC component is removed from beamformed input data
  • a digital time gain compensation (TGC) is performed
  • a quadrature demodulation and a ratio 2 are performed
  • the envelope detection and the log compression are performed in the first render cycle
  • the gain control for adjusting the overall gain of the image, the black hole filtering in the second render cycle, the edge enhancement in the third render cycle In the render cycle, digital scan conversion was performed continuously.
  • TGC digital time gain compensation
  • FIG. 9 is a view for explaining a rendering period sharing method according to an embodiment of the present invention.
  • a neuron layer neuron layer for connecting an input layer and an output layer (Hidden layer).
  • the image processing unit 130 performs a black-hole filtering process on the log-compressed data on which envelope detection and log compression are performed, Sharing the two render cycles to simultaneously execute image resizing and the first hidden layer for the log compressed data in the second render cycle.
  • the second hidden layer is concurrently executed in the third render cycle by sharing a third render cycle for enhancing the edge of the data in which black holes are removed by black hole filtering.
  • the body part classification can be performed based on the neural network learning network. Based on such a neural network learning network, body structures such as liver, thyroid gland and gallbladder can be classified as shown in FIG.
  • the blackhole filtering, the image resizing, and the first hidden layer, the edge enhancement, the second hidden layer, the scan conversion, and the third hidden layer can share a render cycle because execution by the GPU is independent of each other .
  • the first to third hidden layers are exemplified as the steps of the deep layer neural network learning, and the number of hidden layers is not limited thereto.
  • the image processing unit 130 of the present invention can perform the body part classification simultaneously on the basis of the deep neural network learning network in the shared rendering period by sharing the rendering period in which the smart device having the mobile GPU performs the image restoration process have.
  • the idle core of the GPU can be reduced by simultaneously performing the body part classification on the basis of the depth neural network learning by sharing the rendering period for performing the image restoration process in the smart device having the mobile GPU
  • the number of rendering cycles can be minimized and the processing performance can be improved.
  • the body part classification is performed based on the in-depth neural network learning using the inverse transformed raw data, so that the log data having the same data type can be used as input without depending on the type of the ultrasound acquisition probe.
  • the problem caused by conventional image cropping can be prevented.
  • FIG. 12 is a flowchart illustrating a deep learning-based medical ultrasound image classification method using a smart device according to an embodiment of the present invention.
  • a GPU receives an ultrasound reflection signal reflected from a target object through a probe and generates input data (S110).
  • a plurality of hidden layers constituting the neural network learning are simultaneously executed by sharing a rendering period for performing an image restoration process on the input data (S120).
  • a step of classifying the body structure of the ultrasound image according to the hidden layer execution result is included (S130).
  • the body structure of the ultrasound image is classified according to the results of the deep neural network learning.
  • step S120 the step of executing a plurality of hidden layers constituting the SNR learning by sharing the rendering cycle of step S120 will be described in detail with reference to FIG.
  • a rendering sharing technique includes a second rendering cycle for performing black-hole filtering on log-compressed data subjected to envelope detection and log compression on an ultrasound signal input to a smart device And simultaneously executes image resizing and the first hidden layer on the log compressed data (S121).
  • the second hidden layer is concurrently executed (step S122) by sharing a third render cycle for enhancing the edges of the data in which black holes are removed by black hole filtering.
  • the third hidden layer is simultaneously executed by sharing the fourth render cycle for performing the scan conversion on the enhanced data of the edge (S123).
  • the body part classification is performed based on the neural network learning network including the first to third hidden layers with respect to the log-compressed data (S124).
  • the rendering sharing technique can simultaneously perform the body part classification on the basis of the deep neural network learning in the shared rendering period by sharing the rendering period in which the image restoration process is performed by the smart device having the mobile GPU .
  • a data preprocessing step for providing a data set of a neural network learning network is executed.
  • the preprocessing step includes the steps of inversely transforming the image data obtained from the probe into raw data and setting the inverse transformed raw data to a data set of the neural network learning, The acquired data of different specifications are converted into one standardized data and used for the learning of the neural network.
  • the body part classification is performed on the basis of the in-depth neural network learning using the inverse transformed raw data irrespective of the type of the ultrasonic acquisition probe, so that the log data having the same data form can be input regardless of the kind of the ultrasonic acquisition probe Can be used, and problems caused by image cropping can be prevented.
  • the blackhole filtering and image resizing and the first hidden layer, the edge enhancement and the second hidden layer, the scan conversion, and the third hidden layer can share the render cycle because the execution by the GPU is independent of each other.
  • the idle core of the GPU can be reduced by simultaneously performing the body part classification on the basis of the depth neural network learning by sharing the rendering period for performing the image restoration process in the smart device having the mobile GPU
  • the number of rendering cycles can be minimized and the processing performance can be improved.
  • the body part classification is performed based on the in-depth neural network learning using the inverse transformed raw data, so that the log data having the same data type can be used as input without depending on the type of the ultrasound acquisition probe. Problems caused by image cropping can be prevented.
  • a computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
  • Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.
  • the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
  • image processing unit 150 memory unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법은 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 단계와, 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습(DNN: Deep Neural Network)을 동시 실행하는 단계 및 심층 신경망 학습의 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계를 포함한다.

Description

스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치
본 발명은 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치에 관한 것으로, 더욱 상세하게는 모바일 GPU를 구비하는 스마트 기기에서 초음파 영상을 분류하는데 있어서 GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하며 신체 부위 분류의 정확도와 실시간 성능을 보장할 수 있는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치에 관한 것이다.
최근 들어, 의료 분야에 IT 기술을 융합하여 구현되는 진단 의료 영상 분야의 기술이 급격히 발전하고 있는 추세이다. 그 중에서도 주로 사용되는 의료 초음파는 인체의 근육, 힘줄, 내부 장기, 장기의 크기, 구조 및 병리학적 손상 여부를 판단하기 위해 실시간으로 단층 영상을 가시화하는데 사용된다.
이처럼 의료 초음파를 이용하여 진단 의료 영상을 구현하기 위해서는 대상물에 프로브를 대고 초음파를 발생시켜 대상물로부터 반사된 초음파를 수신하여 영상을 구성한다. 즉, 초음파를 발생시키면 매우 짧은 시간 안에 음파가 매질 속을 지나가고, 음향 임피던스가 다른 두 매질 사이를 지날 때에는 반사파가 발생한다. 이에 발생된 반사파를 측정해 반사음이 되돌아 올 때까지의 시간을 통해 거리를 역산함으로써 진단 의료 영상을 생성하게 된다.
이처럼 진단 의료 영상이 의료 분야에서 널리 사용됨에 따라, 스마트 기기를 통해 시간과 장소에 구애받지 않고 이동 중에도 초음파 신호를 이용한 진단 의료 영상을 생성하여 확인할 수 있는 기술에 대한 요구가 높아지고 있다. 도 1은 현재 개발된 스마트 폰을 이용한 초음파 의료 영상 장치의 일예를 도시한다.
그러나 이러한 요구에도 불구하고, 휴대성을 목적으로 사용되는 스마트 기기에서는 내부 CPU의 프로세싱 파워로 초음파 신호를 처리하는 경우, 실제 진단에 유용한 프레임율의 영상을 제공하기 어려운 문제가 발생한다.
또한, 스마트 기기는 화면의 크기가 카트형 장치에 비해 작고 화면의 공간 부족으로 인해 기존 장비에서 사용 가능했던 모든 이미지의 매개변수를 제어하기 어려운 문제가 있다.
(선행기술문헌)
(특허문헌)
(특허문헌 1) KR 10-2012-0059740 (적어도 하나의 GPU를 구비하는 초음파 시스템, 삼성메디슨 주식회사) 2012.06.11.
본 발명이 해결하고자하는 과제는 의료용 초음파 영상을 생성하는 스마트 기기에 있어서 GPU(Graphics processing unit)의 유휴 코어를 줄이고 신체 부위 판별의 정확도를 높이며 실시간 성능을 보장할 수 있는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치를 제공하는데 있다.
본 발명의 일실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법은 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 단계와, 상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습을 동시 실행하는 단계 및 상기 심층 신경망 학습의 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계를 포함한다.
일실시 예에 따르면, 렌더링 주기를 공유하여 상기 심층 신경망 학습을 동시 실행하는 단계는, 스마트 기기에 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키는 단계와, 상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키는 단계와, 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시키는 단계 및 상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 3을 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행하는 단계를 포함함으로써, 모바일 GPU를 구비하는 상기 스마트 기기가 상기 B-모드 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행한다.
일실시 예에 따르면, 상기 심층 신경망 학습의 데이터 집합을 구비하기 위한 데이터 전처리 단계를 더 포함하고, 상기 전처리 단계는, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 단계와, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정하는 단계를 포함함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
일실시 예에 따르면, 렌더링 주기를 공유하여 심층 신경망 학습을 동시 실행하는 단계는, 상기 블랙홀 필터링과 상기 이미지 리사이징 및 히든레이어 1, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유 시킨다.
일실시 예에 따르면, 상기 스마트 기기는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
일실시 예에 따르면, 상기 영상 복원 과정 과정은, 제1 렌더 사이클에서 상기 입력 데이터에 대해 상기 포락선 검파와 로그 압축을 수행하는 단계 및 상기 초음파 영상의 전체적 이득(gain)을 조절하기 위해 이득 제어, 상기 제2 렌더 사이클에서 상기 블랙홀 필터링, 제3 렌더 사이클에서 상기 에지 강화 및 제4 렌더 사이클에서 상기 디지털 스캔변환(DSC: Digital Scan Conversation)을 연속 수행하는 단계를 포함한다.
본 발명의 일실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치는 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 초음파 수신부 및 상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행하는 영상 처리부를 포함한다.
일실시 예에 따르면, 상기 영상 처리부는 상기 입력 데이터에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 실행한다.
일실시 예에 따르면, 상기 영상 처리부는 상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 실행한다.
일실시 예에 따르면, 상기 영상 처리부는 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 실행한다.
일실시 예에 따르면, 상기 영상 처리부는 모바일 GPU를 구비하는 상기 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 제1 히든 레이어 내지 3을 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행한다.
일실시 예에 따르면, 심층 신경망 학습은 데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이며, 상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
일실시 예에 따르면 영상 처리부는 상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시킨다.
일실시 예에 따르면 영상 처리부는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
일실시 예에 따르면 영상 처리부는 제1 렌더 사이클에서 포락선 검파와 로그 압축을 수행하며, 이후 영상의 전체적 이득을 조절할 수 있는 이득 제어, 제2 렌더 사이클에서 블랙홀 필터링, 제3 렌더 사이클에서 에지 강화 및 제4 렌더 사이클에서 디지털 스캔변환을 연속 수행한다.
본 발명의 일실시 예에 따른 의료용 초음파 영상을 분류하는 스마트 기기는 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키고, 상기 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키며, 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시켜, 영상 복원 과정을 수행하는 렌더링 주기를 공유함으로써, 상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제 3 히든 레이어를 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시에 수행하는 GPU(Graphic processing unit)를 포함한다.
일실시 예에 따른 심층 신경망 학습은 데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이며, 상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
일실시 예에 따른 GPU는 상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시킨다.
일실시 예에 따른 GPU는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
본 발명의 일실시 예에 따르면, 모바일 GPU(Graphics processing unit)를 구비하는 스마트 기기에서 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행함으로써, GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하여 처리 성능을 향상시킬 수 있다.
또한, 본 발명의 실시 예에 따르면, 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 종래의 이미지 크롭핑에 의한 문제를 방지할 수 있다.
아울러, 본 발명의 실시 예에 따르면, 스마트 기기의 화면 공간이 카트형 장치에 비해 부족하거나 비전문가가 영상을 판단해야할 경우라도, 심층 신경망 학습 기반으로 신체 부위 분류를 자동 실행함으로써 신체 부위 판별의 정확도를 높일 수 있으며, 실시간 성능을 보장할 수 있다.
도 1은 현재 개발된 스마트 폰을 이용한 초음파 의료 영상 장치의 일예를 도시한다.
도 2는 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 장치의 개략적인 구성을 도시하는 블록도이다.
도 3 내지 도 5는 일반적인 선형 어레이, 볼록 어레이 및 위상 어레이 각각에 대한 크롭핑 실행을 도시하는 도면이다.
도 6은 본 발명의 실시 예에 따라 심층 신경망 학습의 데이터 셋으로 설정된 역 변환된 원시 데이터를 도시한다.
도 7a 및 도 7b는 OpenGL ES 프로그래밍을 효율적으로 구현하기 위한 렌더링 주기를 설명하기 위한 도면이다.
도 8은 일반적인 영상 복원 과정 과정을 도시한다.
도 9는 본 발명의 실시 예에 따른 렌더링 주기 공유 방법을 설명하기 위한 도면이다.
도 10은 영상 복원 및 심층 신경망 학습 알고리즘을 캐스케이드 방식으로 구현하는 순서를 도시한다.
도 11은 본 발명의 실시 예에 따라 신체 구조를 분류하기 위해 심층 신경망 학습 알고리즘을 이용하는 과정을 도시하는 도면이다.
도 12 및 도 13은 본 발명의 실시 에에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법을 설명하기 위한 순서도이다.
본 발명의 실시예들을 설명하기에 앞서, 기존의 스마트 기기 기반 초음파 의료 영상 장치에 대한 특성과 문제점들을 소개한 후, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 제시하도록 한다.
스마트 기기 기반 초음파 의료 영상 장치는 화면의 크기가 카트형 장치에 비해 작고 화면의 공간 부족으로 인해 기존 장비에서 사용 가능했던 모든 이미지의 매개변수를 제어하기 어려운 문제가 있다.
또한, 의료용 초음파 영상에 대한 배경 지식이 거의 없는 비전문가가 스마트 기기를 사용하면, 영상 판단이 힘들어 신체 구조 분류가 어려운 문제가 있고, 스마트 기기의 GPU(Graphics processing unit) 성능이 제한적이라 초음파 영상을 재구성하기 위해 이미 복잡한 신호 처리 과정을 수행하기 때문에, 다른 목적의 신호 처리 과정이 추가되면 실시간 특성이 보장되지 않는 단점이 있다.
이와 같은 종래의 스마트 기기 기반 초음파 의료 영상 장치의 문제를 해결하기 위해 본 발명의 실시 예에서는 의료용 초음파 장비에서 간, 갑상선 및 담낭과 같은 신체 구조를 분류하는 심층 신경망 네트워크를 개시한다.
본 발명의 실시 예에 따르면, 스마트 기기를 통한 신체 구조 분류의 성능 및 정확도를 향상시키기 위해 초음파 획득 프로브의 종류에 상관없이 이미지 데이터 대신 직사각형 형태로 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써, 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
특히, 본 발명의 실시 예는 스마트 기기 GPU의 실시간 동작 특성을 유지하면서 신체 구조 분류를 위한 심층 신경망 알고리즘을 구현하기 위해, 실제 데이터의 입/출력 시간과 GPU 유휴 코어 수를 줄이기 위한 렌더링 주기 공유 방법을 사용한다. 이에 대한 상세한 설명은 이하 도면을 참조하여 개시하기로 한다.
도 2는 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 장치의 개략적인 구성을 도시하는 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 장치(100)는 대상체로부터 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 초음파 수신부(110) 및 상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 렌더링 주기에서 심층 신경망 학습 기반으로 신체 부위 분류를 실행하는 영상 처리부(131)를 포함한다. 이러한 구성 외에 초음파 신호 처리에 필요한 소프트웨어 알고리즘 등을 저장하는 메모리부(150) 및 초음파 영상을 출력하는 디스플레이부(170) 등을 더 구비할 수 있다.
여기서, 심층 신경망 학습은 데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이다. 상기 데이터 집합을 구비하기 위한 데이터 전처리를 위해서, Geometric 정보를 갖는 초음파 영상을 직사각형 형태의 원시 데이터로 역 변환한 형태인 로그 압축 데이터를 심층 신경망 학습 네트워크의 데이터 집합으로 설정한다. 즉, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 심층 신경망 학습에 이용한다.
도 3 내지 도 5는 일반적인 선형 어레이, 볼록 어레이 및 위상 어레이 각각에 대한 크롭핑 실행을 도시하는 도면이고, 도 6은 본 발명의 실시 예에 따라 심층 신경망 학습의 데이터 셋으로 설정된 역 변환된 원시 데이터를 도시한다.
일반적으로, 초음파 영상에서 초음파 부위 판단에 불필요한 환자 정보와 같은 불필요한 부분을 제거하기 위한 잘라내기 즉, 크롭핑(cropping) 과정을 수행한다. 초음파 이미지는 초음파 획득 프로브의 형태로 나뉘는데 크게 선형, 볼록 및 위상 어레이 형태로 나뉠 수 있다.
선형 이미지의 경우, 도 3과 같이 초음파 이미지를 직사각형 형태로 잘라내고, 볼록 또는 위상 어레이는 두 가지 형식으로서 도 4에 도시된 풀 크롭핑(full cropping) 또는 도 5에 도시된 맥스 크롭핑(max cropping)으로 이미지를 잘라낼 수 있다. 풀 크롭핑 방식의 경우에는 초음파 의료 정보가 포함된 부분의 최대 크기를 확장된 직사각형으로 자르기 때문에 실제 초음파 정보가 없는 데이터까지 남아있게 된다. 반면, 맥스 크롭핑의 경우에는 초음파 정보가 있는 부분 중 최대 크기의 직사각형 형태로 이미지를 잘라내기 때문에 원본 의료 영상 내에서 의미있는 특징(feature) 정보가 손실될 수 있는 위험이 있다.
따라서 본 발명의 실시 예에서는 도 6에 도시된 바와 같이, 초음파 획득 프로브의 종류와 상관없이 geometric 정보를 갖는 초음파 영상(620)을 직사각형 형태의 원시 데이터(630)로 역 변환한 형태인 로그 압축 데이터를 심층 신경망 학습의 데이터 셋으로 사용함으로써, 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
즉, 본원발명은 심층 신경망 학습의 전처리 단계에서 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 과정과, 역 변환된 원시 형태의 데이터를 심층 신경망 학습의 데이터 집합으로 설정하는 과정을 실행함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용할 수 있다.
도 7a 및 도 7b는 OpenGL ES 프로그래밍을 효율적으로 구현하기 위한 렌더링 주기를 설명하기 위한 도면이다. 렌더링 주기란 모든 입력에 대해 일련의 병렬 신호 처리가 수행되는 단위를 말한다. 예를 들어, 도 7a에서 모든 입력 데이터에 5를 더하려면 GPU 프로세스가 5를 가산하는 일련의 작업을 수행한다. 도 7b에서 볼 수 있듯이, 렌더 사이클은 “Processing”외에 “Input texture upload”, “Texture to frame buffer” 및 “Frame buffer to texture”의 물리적 입출력 시간을 필요로 한다.
여기서 “Processing”에 너무 적은 작업이 할당되면, GPU의 유휴 코어가 증가하여 처리 성능이 저하되게 된다. 따라서 이러한 유휴 시간을 최소화하기 위해서 렌더링 주기의 수를 최소화할 필요가 있다.
영상 처리부(130)는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 예를 들어, OpenGL ES 3.0환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행한다.
도 8은 일반적인 영상 복원 과정 과정을 도시한다. 도 8을 참조하면, 일반적인 영상 복원 과정는 빔포밍된 입력 데이터로부터 DC 성분을 제거한 후, 디지털 시간 이득 보상(TGC: Time Gain Compensator)을 수행하며, Quadrature 복조와 ratio 2로 데시메이션을 수행하고, 도 8에 도시된 바와 같이 제1 렌더 사이클에 포락선 검파와 로그 압축을 수행하며, 이후 영상의 전체적 이득을 조절할 수 있는 이득 제어, 제2 렌더 사이클에서 블랙홀 필터링, 제3 렌더 사이클에서 에지 강화 및 제4 렌더 사이클에서 디지털 스캔변환을 연속 수행하였다.
본 발명은 특히, 상술한 영상 복원 과정을 수행하는 렌더 사이클을 공유하여 심층 신경망 학습 기반 신체 부위 분류를 수행하고자 한다. 이에 대해 도 9를 참조하여 상세히 설명하기로 한다. 도 9는 본 발명의 실시 예에 따른 렌더링 주기 공유 방법을 설명하기 위한 도면이며, 신경망 학습을 위해 입력 레이어(input layer)와 출력 레이어(output layer) 사이를 연결하는 뉴런 층(neuron layer)인 복수의 히든 레이어(hidden layer)를 활용하였다.
영상 처리부(130)는 영상 복원 과정을 수행하는 렌더링 주기를 공유하기 위해 구체적으로 도 9에 도시된 바와 같이, 입력 데이터에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 제2 렌더 사이클에서 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 실행한다.
그리고, 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제3 렌더 사이클에서 제2 히든 레이어를 동시 실행한다.
이어서, 상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하고 제4 렌더 사이클에서 제3 히든 레이어를 동시 실행함으로써, 로그 압축 데이터에 대해 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행할 수 있다. 이와 같은 심층 신경망 학습 네트워크 기반으로 도 11에 도시된 바와 같이 간, 갑상선 및 담낭과 같은 신체 구조를 분류할 수 있다.
여기서, 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어는 상기 GPU에 의한 실행이 각각 서로 독립적이기 때문에 렌더 사이클을 공유할 수 있는 것이다. 심층 신경망 학습의 단계로서 제1 내지 제3 히든 레이어를 예로 들었으며, 히든 레이어의 개수는 이에 한정하지 않을 수 있음이 자명하다.
이와 같이 본 발명의 영상 처리부(130)는 모바일 GPU를 구비하는 상기 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 동시 실행할 수 있다.
이와 같이 본 발명의 실시 예에 따른 렌더링 주기 공유 기법은 도 10에 도시된 바와 같이 블록을 순차적으로 실행하는 캐스케이드 렌더 사이클 구조에 비해 신호 처리 속도가 빠르기 때문에 실시간 성능을 보장할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따르면, 모바일 GPU를 구비하는 스마트 기기에서 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행함으로써, GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하여 처리 성능을 향상시킬 수 있다.
또한, 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 종래의 이미지 크롭핑에 의한 문제를 방지할 수 있다.
아울러, 스마트 기기의 화면 공간이 카트형 장치에 비해 부족하거나 비전문가가 영상을 판단해야할 경우라도, 심층 신경망 학습 기반으로 신체 부위 분류를 자동 실행함으로써 신체 부위 판별의 정확도를 높일 수 있으며, 실시간 성능을 보장할 수 있다.
도 12는 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법을 설명하기 위한 순서도이다.
먼저, 본 발명의 실시 예에 따른 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법은 먼저, GPU가 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성한다(S110).
다음으로, 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습을 구성하는 다수의 히든 레이어를 동시 실행한다(S120).
다음으로, 히든 레이어 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계를 포함한다(S130). 즉, 심층 신경망 학습 결과에 따라 초음파 영상의 신체 구조를 분류한다.
여기서, S120 단계인 렌더링 주기를 공유하여 심층 신경망 학습을 구성하는 다수의 히든 레이어를 실행하는 단계는 도 13을 참고하여 구체적으로 설명한다.
도 13을 참조하면, 본 발명의 실시 예에 따른 렌더링 공유 기법은 먼저, 스마트 기기에 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 실행한다(S121).
다음으로, 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 실행한다(S122).
다음으로, 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 실행한다(S123).
다음으로, 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제 3 히든 레이어를 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행한다(S124).
이로써, 본 발명의 실시 예에 따른 렌더링 공유 기법은 모바일 GPU를 구비하는 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 렌더링 주기에서 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행할 수 있다.
한편, 심층 신경망 학습 네트워크를 생성하는 단계에서 심층 신경망 학습 네트워크의 데이터 집합을 구비하기 위한 데이터 전처리 단계를 실행한다. 상기 전처리 단계는 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 과정과, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정하는 과정을 포함함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용한다.
따라서, 본 발명은 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써, 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
여기서, 블랙홀 필터링과 이미지 리사이징 및 제1 히든 레이어, 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어는 GPU에 의한 실행이 각각 서로 독립적이기 때문에 렌더 사이클을 공유할 수 있는 것이다.
이와 같이 본 발명의 실시 예에 따른 렌더링 주기 공유 기법은 도 10에 도시된 바와 같이 블록을 순차적으로 실행하는 캐스케이드 렌더 사이클 구조에 비해 신호 처리 속도가 빠르기 때문에 실시간 성능을 보장할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따르면, 모바일 GPU를 구비하는 스마트 기기에서 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행함으로써, GPU의 유휴 코어를 줄이고 렌더링 주기의 수를 최소화하여 처리 성능을 향상시킬 수 있다.
또한, 초음파 획득 프로브의 종류와 상관없이 역 변환된 원시 데이터를 이용한 심층 신경망 학습 기반으로 신체 부위 분류를 실행함으로써 초음파 획득 프로브의 종류에 구애받지 않고 데이터 형태가 동일한 로그 데이터를 입력으로 사용할 수 있으며, 이미지 크롭핑에 의한 문제를 방지할 수 있다.
아울러, 스마트 기기의 화면 공간이 카트형 장치에 비해 부족하거나 비전문가가 영상을 판단해야할 경우라도, 심층 신경망 학습 기반으로 신체 부위 분류를 자동 실행함으로써 신체 부위 판별의 정확도를 높일 수 있으며, 실시간 성능을 보장할 수 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시 예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
(부호의 설명)
100: 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치
110: 초음파 수신부 130: GPU
131: 영상 처리부 150: 메모리부
170: 디스플레이부

Claims (20)

  1. 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 단계;
    상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 심층 신경망 학습(DNN: Deep Neural Network)을 동시 실행하는 단계; 및
    상기 심층 신경망 학습의 실행 결과에 따라 초음파 영상의 신체 구조를 분류하는 단계;를 포함하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법
  2. 제 1 항에 있어서,
    상기 렌더링 주기를 공유하여 상기 심층 신경망 학습을 동시 실행하는 단계는,
    스마트 기기에 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키는 단계;
    상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키는 단계;
    상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시키는 단계; 및
    상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 네트워크 기반으로 신체 부위 분류를 수행하는 단계;를 포함함으로써,
    모바일 GPU를 구비하는 상기 스마트 기기가 상기 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법.
  3. 제 2 항에 있어서,
    상기 심층 신경망 학습의 데이터 집합을 구비하기 위한 데이터 전처리 단계를 더 포함하고, 상기 전처리 단계는,
    프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하는 단계;
    상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정하는 단계;를 포함함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법.
  4. 제 2 항에 있어서,
    상기 렌더링 주기를 공유하여 심층 신경망 학습을 동시 실행하는 단계는,
    상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법.
  5. 제 1 항에 있어서,
    상기 스마트 기기는 빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법.
  6. 제 1 항에 있어서,
    상기 영상 복원 과정 과정은,
    제1 렌더 사이클에서 상기 입력 데이터에 대해 상기 포락선 검파와 로그 압축을 수행하는 단계; 및
    상기 초음파 영상의 전체적 이득(gain)을 조절하기 위해 이득 제어, 상기 제2 렌더 사이클에서 상기 블랙홀 필터링, 제3 렌더 사이클에서 상기 에지 강화 및 제4 렌더 사이클에서 상기 디지털 스캔변환(DSC: Digital Scan Conversation)을 연속 수행하는 단계를 포함하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
  8. 대상체로부터 반사된 초음파 반사 신호를 프로브를 통해 수신하여 입력 데이터를 생성하는 초음파 수신부; 및
    상기 입력 데이터에 대해 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 심층 신경망 학습(DNN: Deep Neural Network) 기반으로 신체 부위 분류를 동시 실행하는 영상 처리부;를 포함하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  9. 제 8 항에 있어서,
    상기 영상 처리부는,
    상기 입력 데이터에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  10. 제 9 항에 있어서,
    상기 영상 처리부는,
    상기 블랙홀 필터링에 의해 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  11. 제 10 항에 있어서,
    상기 영상 처리부는,
    상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  12. 제 9 항에 있어서,
    상기 영상 처리부는,
    모바일 GPU를 구비하는 상기 스마트 기기가 영상 복원 과정을 수행하는 렌더링 주기를 공유하여 공유된 상기 렌더링 주기에서 상기 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시 실행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  13. 제 9 항에 있어서,
    상기 심층 신경망 학습은,
    데이터 집합을 기반으로 심층 신경망 구조를 학습하여 입력 데이터를 분류하는 구조이며,
    상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  14. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 영상 처리부는,
    상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시키는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  15. 제 8 항에 있어서,
    상기 영상 처리부는,
    빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  16. 제 8 항에 있어서,
    상기 영상 처리부는,
    상기 영상 복원 과정을 위해 제1 렌더 사이클에서 포락선 검파와 로그 압축을 수행하며, 이후 영상의 전체적 이득을 조절할 수 있는 이득 제어, 제2 렌더 사이클에서 블랙홀 필터링, 제3 렌더 사이클에서 에지 강화 및 제4 렌더 사이클에서 디지털 스캔변환을 연속 수행하는, 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류장치.
  17. 입력된 초음파 신호에 포락선 검파 및 로그 압축이 실행된 로그 압축 데이터에 대해 블랙홀 필터링을 실행하는 제2 렌더 사이클을 공유하여 상기 로그 압축 데이터에 대해 이미지 리사이징 및 제1 히든 레이어를 동시 동작시키고,
    상기 블랙홀이 제거된 데이터의 에지를 강화시키는 제3 렌더 사이클을 공유하여 제2 히든 레이어를 동시 동작시키며,
    상기 에지가 강화된 데이터에 대해 스캔 변환을 실행하는 제4 렌더 사이클을 공유하여 제3 히든 레이어를 동시 동작시켜, 영상 복원 과정을 수행하는 렌더링 주기를 공유함으로써, 상기 로그 압축 데이터에 대해 상기 제1 히든 레이어 내지 제3 히든 레이어를 포함하는 심층 신경망 학습 기반으로 신체 부위 분류를 동시에 수행하는 GPU(Graphic processing unit)를 포함하는, 의료용 초음파 영상을 분류하는 스마트 기기.
  18. 제 17 항에 있어서,
    상기 심층 신경망 학습은,
    데이터 집합을 기반으로 심층 신경망 구조(DNN: Deep Neural Network)를 학습하여 입력 데이터를 분류하는 구조이며,
    상기 데이터 집합을 구비하기 위한 데이터 전처리로서, 프로브로부터 획득한 이미지 데이터를 원시 형태의 데이터로 역 변환하고, 상기 역 변환된 원시 형태의 데이터를 상기 심층 신경망 학습의 데이터 집합으로 설정함으로써, 서로 다른 프로브로부터 획득한 서로 다른 규격의 데이터들을 하나의 규격화된 데이터로 변환하여 상기 심층 신경망 학습에 이용하는, 의료용 초음파 영상을 분류하는 스마트 기기.
  19. 제 17 항에 있어서,
    상기 GPU는,
    상기 블랙홀 필터링과 상기 이미지 리사이징 및 제1 히든 레이어, 상기 에지 강화 및 제2 히든 레이어, 스캔변환 및 제3 히든 레이어를 상기 GPU에 의한 실행을 서로 독립적인 실행으로서 각 렌더 사이클에 공유시키는, 의료용 초음파 영상을 분류하는 스마트 기기.
  20. 제 17 항에 있어서,
    상기 GPU는,
    빔포밍된 상기 입력 데이터에 대하여 초기화(initialization)과정, 렌더씬(render scene)과정, 그래픽스 파이프라인(graphics pipeline)과정을 수행하여 초음파 이미지를 생성하고, 상기 그래픽스 파이프라인은 OpenGL ES 환경의 그래픽 처리 장치(GPU)를 이용하여 상기 영상 복원 과정을 수행하는, 의료용 초음파 영상을 분류하는 스마트 기기.
PCT/KR2018/010580 2017-09-12 2018-09-11 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치 WO2019054711A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170116405A KR101978728B1 (ko) 2017-09-12 2017-09-12 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치
KR10-2017-0116405 2017-09-12

Publications (1)

Publication Number Publication Date
WO2019054711A1 true WO2019054711A1 (ko) 2019-03-21

Family

ID=65722935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010580 WO2019054711A1 (ko) 2017-09-12 2018-09-11 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101978728B1 (ko)
WO (1) WO2019054711A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210100530A1 (en) * 2019-10-04 2021-04-08 GE Precision Healthcare LLC Methods and systems for diagnosing tendon damage via ultrasound imaging
CN112862944B (zh) * 2019-11-09 2024-04-12 无锡祥生医疗科技股份有限公司 人体组织超声建模方法、超声设备及存储介质
CN113298936B (zh) * 2021-06-01 2022-04-29 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
WO2023199357A1 (en) * 2022-04-13 2023-10-19 Garg Dr Suruchi A system of identifying plurality of parameters of a subject's skin and a method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120031759A (ko) * 2010-09-27 2012-04-04 삼성전자주식회사 프로세싱 유닛의 동적 자원 할당을 위한 방법 및 장치
KR20120059740A (ko) * 2010-12-01 2012-06-11 삼성메디슨 주식회사 적어도 하나의 ｇｐｕ를 구비하는 초음파 시스템
KR20160049897A (ko) * 2014-10-28 2016-05-10 삼성전자주식회사 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
JP2016143353A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
KR20160112186A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120031759A (ko) * 2010-09-27 2012-04-04 삼성전자주식회사 프로세싱 유닛의 동적 자원 할당을 위한 방법 및 장치
KR20120059740A (ko) * 2010-12-01 2012-06-11 삼성메디슨 주식회사 적어도 하나의 ｇｐｕ를 구비하는 초음파 시스템
KR20160049897A (ko) * 2014-10-28 2016-05-10 삼성전자주식회사 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
JP2016143353A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
KR20160112186A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치

Also Published As

Publication number Publication date
KR20190029173A (ko) 2019-03-20
KR101978728B1 (ko) 2019-08-28

Similar Documents

Publication Publication Date Title
WO2019054711A1 (ko) 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치
WO2016032271A1 (ko) 스마트 기기를 이용한 초음파 신호의 고속 병렬 처리 방법
CN111091127A (zh) 一种图像检测方法、网络模型训练方法以及相关装置
CN106204465A (zh) 基于知识的超声图像增强
US10420536B2 (en) Software-based ultrasound imaging system
CN110728673A (zh) 一种目标部位分析方法、装置、计算机设备及存储介质
CN110400362A (zh) 一种基于图像的abaqus二维裂纹建模方法、***及计算机可读存储介质
WO2019037424A1 (zh) 一种频谱三维显示装置、方法及计算机可读存储介质
CN112950534A (zh) 一种基于人工智能的便携式超声肺炎辅助诊断***
CN116433692A (zh) 一种医学图像分割方法、装置、设备和存储介质
WO2020096273A1 (ko) 영상 내 3차원 깊이정보 추출 방법 및 시스템
WO2015137542A1 (ko) 의료진단을 위한 의료영상 처리장치 및 그 방법
CN110136805A (zh) 一种医学影像的显示方法及装置
CN105011965A (zh) 合成孔径全息超声扫描的聚焦实现方法
Liu et al. An end to end thyroid nodule segmentation model based on optimized U-net convolutional neural network
CN103565476B (zh) 医疗超声整帧图像传输***
Wang Design and Implementation of Artificial Intelligence Image Detection System Based on Plane Features
CN109602447B (zh) 台式超声波成像仪
WO2015041380A1 (ko) 고조파 영상 형성 방법과 그를 위한 초음파 의료 장치
CN116503858B (zh) 一种基于生成模型的免疫荧光图像分类方法及***
WO2023204342A1 (ko) 딥러닝 기반 이미지 변환 방법 및 그 시스템
US20220313221A1 (en) Ultrasound diagnosis apparatus, image processing apparatus, and computer program product
KR102528546B1 (ko) 초음파 영상 데이터를 호스트 컴퓨터에 송신하는 방법 및 장치
WO2015080315A1 (ko) 초음파 진단 장치 및 방법
WO2015080316A1 (ko) 초음파 영상 재구성을 위한 데이터 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857301

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18857301

Country of ref document: EP

Kind code of ref document: A1