WO2019235827A1 - 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법 - Google Patents

듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법 Download PDF

Info

Publication number
WO2019235827A1
WO2019235827A1 PCT/KR2019/006758 KR2019006758W WO2019235827A1 WO 2019235827 A1 WO2019235827 A1 WO 2019235827A1 KR 2019006758 W KR2019006758 W KR 2019006758W WO 2019235827 A1 WO2019235827 A1 WO 2019235827A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
state
states
neural network
disease
Prior art date
Application number
PCT/KR2019/006758
Other languages
English (en)
French (fr)
Inventor
이상훈
조준영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to CN201980037858.6A priority Critical patent/CN112236829A/zh
Priority to JP2020566818A priority patent/JP7109815B2/ja
Priority to US16/972,231 priority patent/US12009099B2/en
Priority to EP19815441.1A priority patent/EP3799070A4/en
Publication of WO2019235827A1 publication Critical patent/WO2019235827A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a system and method for diagnosing diseases using neural networks. More specifically, the neural network can be trained to diagnose diseases while allowing dual class labeling for specific unit units (e.g. pixels of images corresponding to biological tissue), which can be used to achieve higher accuracy.
  • a system and method for constructing a network are provided.
  • One of the main tasks of the pathology or pathology department is to read the biometric image of the patient and perform a diagnosis to determine the condition or indication for a particular disease. This diagnosis is dependent on the experience and knowledge of long-term skilled practitioners.
  • diagnosis through deep learning using a neural network does not merely automate the experience and knowledge of a conventionally trained medical practitioner, but rather finds characteristic elements through self-learning and derives the desired solution. On the contrary, sometimes the characteristics of disease factors that are not known by skilled medical personnel are found in the image.
  • a neural network eg, CNN
  • the diagnosis of a disease through a neural network using a bioimage uses a piece of the bioimage, that is, a patch (or also called a tile). That is, a medical practitioner skilled in the patch will annotate a specific disease state (eg, whether cancer has been expressed), and train the neural network using these annotated multiple patches as training data.
  • the neural network may use a convolutional neural network.
  • the neural network is trained to determine whether the disease is manifested for each patch (for example, 512 by 512 pixels), so that there is a problem in which a part of the patch is not known.
  • the neural network is also treated as a unit unit that has a plurality of states clearly like a unit unit having a specific state.
  • the technical problem to be solved by the present invention is not the input data (unit unit) that can be clearly classified into any one of classes that the neural network outputs in the first state or the second state, but the determination of the class to be classified is ambiguous.
  • the characteristic feature of the unit unit in which there is a possibility of a plurality of states is to provide a system and method for improving the performance by making it possible to use for learning. .
  • the present invention provides a system and method for supporting a deep learning model that enables detailed segmentation of the disease-expressing part and the non-patch part by enabling pixel-specific diagnosis rather than patch-specific diagnosis.
  • a system for diagnosing a disease using a biological image and the neural network is implemented in a system including a processor and a storage device for storing a neural network. At least one state of the plurality of states may be determined using learning data labeled that the unit unit has at least one of a plurality of states for a loss function and a predetermined unit unit included in the bioimage.
  • the new network includes a specific layer outputting a plurality of feature values corresponding to a probability that the unit unit is determined as each of a plurality of states, and the loss function
  • the plurality of states of the plurality of unit units-the plurality of states Includes a first state that is determined to have a higher probability state and a second state that is determined to have a lower state than the first state-for a dual labeling unit unit labeled as the second of the feature values of the particular layer.
  • the loss is calculated by reflecting both the first feature value corresponding to the first state and the second feature value corresponding to the second state.
  • the loss function may be defined such that the second feature value has more losses than the first feature value.
  • the loss function may be defined by Equation 1 below.
  • the feature value corresponding to the first state Is the first feature value, Is the second feature value.
  • the unit unit may be a pixel unit of the biological image.
  • the processor determines that the pixel is a disease pixel corresponding to a disease, and based on the determination result, the disease pixel in the biological image is another pixel. It can be displayed separately from.
  • the disease may be prostate cancer.
  • the plurality of conditions may include normal, Gleason score 3, Gleason score 4, and Gleason score 5.
  • a method for diagnosing a disease using a biological image and a neural network which is implemented in a system including a processor and a storage device for solving the technical problem, may be performed by performing a predetermined loss function and the biological function on the neural network stored in the storage device.
  • the loss may be defined by reflecting both a first feature value corresponding to a first state and a second feature value corresponding to the second state among the feature values of the specific layer.
  • the method may include determining that the corresponding pixel is a disease pixel corresponding to a disease when each pixel has a predetermined determination value based on the determination value of the pixel unit, and different from the disease pixel in the biological image based on the determination result.
  • the method may further include distinguishing and displaying the pixel.
  • the above method may be implemented through a computer program installed in the data processing apparatus and hardware of the data processing apparatus capable of executing the computer program.
  • the case of the unit unit is not input data (unit unit) that can be clearly classified as any one of the plurality of states, but the unit unit in which there is a possibility that the state of the class at the time of labeling is ambiguous
  • the characteristic features of the unit unit 1, which may exist in such a plurality of states may also be used for learning, thereby improving performance.
  • FIG. 1 is a view showing a schematic system configuration of a system for diagnosing diseases using a neural network according to the technical spirit of the present invention.
  • FIG. 2 is a view for explaining the logical configuration of a diagnosis system for diseases using a neural network according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a hardware configuration of a system for diagnosing diseases using a neural network according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram conceptually illustrating a configuration of a neural network according to another embodiment of the present invention.
  • FIG. 5 is a diagram exemplarily illustrating a segmentation result according to an exemplary embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the component when one component 'transmits' data to another component, the component may directly transmit the data to the other component, or through at least one other component. Means that the data may be transmitted to the other component.
  • the component when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a view showing a schematic system configuration of a system for diagnosing diseases using a neural network according to the technical spirit of the present invention.
  • a diagnosis system for a disease using a neural network (hereinafter, referred to as a diagnosis system) 100 according to the spirit of the present invention may be installed in a predetermined server 10 to implement the spirit of the present invention.
  • the server 10 refers to a data processing apparatus having a computing capability for implementing the technical idea of the present invention, and generally provides a specific service such as a personal computer, a portable terminal, etc. as well as a data processing apparatus accessible by a client through a network. It will be readily apparent to the average person skilled in the art that any device that can perform may be defined as a server.
  • the server 10 may include a processor 11 and a storage device 12 as shown in FIG. 3.
  • the processor 11 may refer to an operation device capable of driving a program 12-1 for implementing the technical idea of the present invention, and the processor 11 includes the program 12-1 and the present invention. Diagnosis can be performed using a neural network (12-2) defined by the technical idea of.
  • the program 12-1 may refer to software defined for implementing the technical idea of the present invention.
  • the storage device 12 may mean data storage means capable of storing the program 12-1 and the neural network 12-2, and may be implemented as a plurality of storage means according to an embodiment.
  • the storage device 12 may mean not only a main memory device included in the server 10, but also a temporary storage device or a memory that may be included in the processor 11.
  • diagnostic system 100 is illustrated as being implemented as any one physical device in FIG. 1 or 3, a plurality of physical devices are organically coupled as necessary to provide a diagnostic system 100 according to the spirit of the present invention. It will be easy for the average person skilled in the art to infer that it can be implemented.
  • that the diagnostic system 100 performs a predetermined function may mean that the processor 11 performs a predetermined function using the program 12-1.
  • the diagnosis system 100 may mean a series of processes for receiving a bio-image in which a biological tissue is expressed for each predetermined unit unit and outputting output data defined in the present specification.
  • the unit unit may mean a unit for performing diagnosis.
  • the unit may be a pixel unit of the biometric image.
  • the unit may be a patch unit of the biometric image or a slide unit.
  • the unit unit is a pixel unit, therefore, a case in which it is determined whether the result diagnosed by the diagnosis system 100 for each pixel is a pixel in which a disease is expressed or a pixel that is not described as an example will be described. It will be readily apparent to the average person skilled in the art that the unit unit may vary.
  • the output data may refer to information output from an output layer of a neural network used by the diagnostic system 100.
  • the output data may include a biotissue corresponding to a unit unit included in the biometric image for a particular disease. It may include state information indicating whether the state.
  • the status information may be information corresponding to a probability of whether a specific disease (eg, a certain kind of cancer) is expressed in the tissue corresponding to the unit unit.
  • a specific disease eg, a certain kind of cancer
  • information indicating the progress of a specific disease may be used.
  • a Gleason Pattern or a Gleason Score which is an index indicating the progress of prostate cancer, may be included in the state information.
  • the Gleason pattern has a value of 2 to 5, and the larger the number, the more severe the prostate cancer is expressed.
  • the state information is information or normal corresponding to the probability that the biological tissue corresponding to the unit unit to be diagnosed corresponds to a specific value (eg, 3, 4, or 5) of the Gleason pattern (ie, disease is not expressed). Information corresponding to the probability).
  • the state may be implemented by four channels.
  • the first state may be a state in which the corresponding unit unit is normal
  • the second state may be a state in which the Gleason pattern is 3
  • the third state may be a state in which the Gleason pattern is 4
  • the fourth state may be a state in which the Gleason pattern is 5.
  • the feature value corresponding to each state channel may be a value corresponding to the probability of each state, and the neural network may be learned so that the greater the value, the greater the likelihood of that state.
  • the layer for outputting feature values corresponding to the plurality of states may be a final layer of the neural network or may be a layer immediately before the final layer.
  • the immediately preceding layer outputting feature values corresponding to the plurality of states outputs feature values corresponding to a plurality of states (for example, the four states described above), and the final layer is the most of the feature values of the previous layer.
  • a state having a large value for example, one of normal and Gleason patterns 3, 4, and 5 may be output as an output value.
  • the final layer may be a layer for outputting the plurality of states. This may be easily changed according to an embodiment of designing a neural network.
  • the learning data of the neural network may be labeled as a plurality of states rather than being labeled with any one of the plurality of states.
  • the unit unit is any one of a plurality of states. There may be cases where there is a possibility of being classified into a first state or a second state rather than being distinguishable.
  • the unit of the biometric image used as the training data may not be clearly classified into any one state (class), but there may be a possibility of having a plurality of states, that is, an ambiguous case.
  • the unit unit is selected as a selected state by selecting any one of a plurality of states, and the neural network is learned according to the labeling result.
  • the ambiguity of the image characteristic itself may have useful information, and the image characteristic itself has ambiguity rather than being predicted and labeled in any one likely class (state).
  • the neural network can be trained to have higher accuracy than conventional methods.
  • the expert who performs the labeling judges that a particular unit unit is likely to be classified as a first state (eg, normal), but also slightly to be judged as a second state (eg, Gleason score 3). Can be.
  • a first state eg, normal
  • a second state eg, Gleason score 3
  • the unit unit which can be clearly classified into this case and the first state (eg, normal), may be a case where there is a difference in any slight difference in the image characteristic. However, if the labeling is simply performed in one state (eg, normal) that has a high probability in the conventional manner, this may result in the above minute difference being ignored.
  • a unit unit having such ambiguity is itself (that is, the first state and the first state determined to have a higher probability, but lower probability than the first state, but may also be the second state). State) and may be labeled so as to be distinguished as compared to being labeled as either the first state or the second state.
  • this method that is, a method of labeling a plurality of states (in this specification, a case of labeling in two states is described as an example, and thus referred to as 'dual class labeling'). Labeling itself can be reflected in learning to improve the performance of neural networks.
  • a particular unit unit may be labeled with a primary state, that is, a state determined to have a higher probability and a secondary state. That is, unit units with ambiguous (confusing) image characteristics may be allowed to be labeled as such dual classes.
  • the loss function defining the neural network may be defined to reflect both the primary state and the secondary state. For example, if the neural network outputs a primary state with a high probability, it is defined to have a high compensation (low loss), and if the neural network outputs a secondary state with a high probability, it is defined to have a low compensation (high loss). Can be.
  • the loss function can be defined so that the loss of the secondary state is reduced only when the feature value is output with a higher probability than the state other than the primary state or the secondary state.
  • the neural network is trained to have the lowest loss, so it is trained to output the primary state with a higher probability for dual-class labeled unit units, but the secondary state may be in different states even if it has a lower probability than other primary states. In comparison, it can be learned to have feature values corresponding to a high probability.
  • the confused state itself is reflected in the learning so that the confused image characteristic is not ignored but the confused image characteristic is reflected in the neural network diagnosis result.
  • the diagnostic system 100 may include at least one client (eg, 20 and 20-1) that may be connected to the server 10. It can also communicate with.
  • the client eg, 20, 20-1
  • the diagnostic system 100 may transmit a biometric image to the diagnostic system 100, and the diagnostic system 100 may perform a diagnosis according to the technical spirit of the present invention with respect to the transmitted bioimage. Can be done.
  • the diagnosis result may be transmitted to the client (eg, 20, 20-1).
  • the diagnosis system 100 may perform diagnosis using a neural network according to the spirit of the present invention.
  • a process of learning the neural network may be first performed through learning data labeled with any one of a plurality of state channels or dual classes.
  • the diagnosis system 100 may be a system for performing diagnosis by receiving a neural network learned according to the technical spirit of the present invention and a program for performing diagnosis using the neural network from an external source. It may be a system that even performs learning.
  • the diagnostic system 100 may be implemented as a dedicated device manufactured to implement the technical idea of the present invention, rather than a general data processing device. In this case, a means for scanning a biological image may be further provided. It may be.
  • the neural network receives information (eg, RGB 3 channel information) of a predetermined unit unit (eg, pixel or patch), and each of a plurality of pieces of state information about a predetermined disease (eg, prostate cancer) that the unit unit has. May be a feature value or a network outputting one of the most probable states among the plurality of state information.
  • information eg, RGB 3 channel information
  • a predetermined unit unit eg, pixel or patch
  • a predetermined disease eg, prostate cancer
  • the neural network may use a well-known Resnet neural network and a deeplab model.
  • the neural network is disclosed in the Korean patent application (Application No. 10-2016-0168176, the diagnosis system of the disease using the neural network and a method therefor, filed below) It may be a neural network using both a micro network and a macro network at the same time.
  • the micro network may receive a unit unit, and the macro network may receive a peripheral unit unit including the unit unit to output status information related to the unit unit.
  • the micro network may be defined to receive a specific pixel, and the macro network may receive predetermined input data including up to neighboring pixels of the specific pixel to output a state of the specific pixel. have.
  • not only one unit unit but also neighboring unit units may affect whether or not the disease unit is judged to be more accurate learning may be possible.
  • the accuracy can be improved to a very significant level for the diagnosis of a disease that should consider not only the living tissue but also the surrounding tissue of the living tissue for the diagnosis of the living tissue corresponding to a specific unit unit.
  • the biological image when dividing the biological image into a plurality of unit units, it may have a strong effect on the effect of the diagnostic results that may occur depending on the division method of the patch or the location of the divided region.
  • the diagnostic system 100 for implementing such technical idea may logically have a configuration as shown in FIG. 2.
  • FIG. 2 is a view for explaining the logical configuration of a diagnosis system for diseases using a neural network according to an embodiment of the present invention.
  • the diagnostic system 100 includes a control module 110 and a neural network module 120 in which a neural network is stored.
  • the diagnostic system 100 may further include a preprocessing module 130.
  • the diagnostic system 100 may refer to a logical configuration having hardware resources and / or software necessary for implementing the technical idea of the present invention, and necessarily means one physical component or one It does not mean a device. That is, the diagnostic system 100 may mean a logical combination of hardware and / or software provided to implement the technical idea of the present invention. If necessary, the diagnostic system 100 may be installed in devices spaced apart from each other to perform respective functions. As a result, it may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the diagnostic system 100 may refer to a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the control module 110, the neural network module 120, and / or the preprocessing module 130 may be located in different physical devices or in the same physical device.
  • a combination of software and / or hardware configuring each of the control module 110, the neural network module 120, and / or the preprocessing module 130 may also be located on different physical devices, and Configurations located in different physical devices may be organically coupled to each other to implement each of the modules.
  • module in the present specification may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and does not necessarily mean a physically connected code or a kind of hardware. Can be easily inferred by the average expert in the art.
  • the control module 110 controls other components (eg, the neural network module 120 and / or the preprocessing module 130, etc.) included in the diagnostic system 100 to implement the technical idea of the present invention. can do.
  • control module 110 may perform a diagnosis according to the spirit of the present invention by using a neural network stored in the neural network module 120.
  • Performing the diagnosis may mean outputting a channel value (feature value) of at least one channel defined in the output layer as described above.
  • Each feature value may correspond to a probability that a unit unit to be diagnosed corresponds to information defined by a corresponding channel.
  • the neural network module 120 may store a neural network.
  • the neural network may refer to a set of information representing a series of design items defining a neural network.
  • the neural network may be a convolutional neural network.
  • a well-known deeplab neural network may be used as described above, or the neural network disclosed in the previous application may be used.
  • the neural network may define a loss function that enables learning using dual class labeled learning data.
  • the neural network is trained so that the losses defined by the Loss function can be minimized.
  • a unit unit when labeled as a dual class, that is, it may be labeled with a plurality of states, wherein the plurality of states may include a first state and a state of higher probability.
  • the loss function When labeled to include a second state that is determined to have a lower state than the first state, the loss function may be applied to the first feature value corresponding to the first state and the second state of the feature values corresponding to the plurality of states. It can be defined that all of the corresponding second feature values are reflected in the loss.
  • the neural network may be defined such that the first feature value corresponding to the unit unit has a greater influence than the second feature value.
  • the feature value corresponding to the remaining state may be defined such that the higher the value, the greater the loss.
  • the loss function may be defined to improve the conventional cross entropy, that is, the second feature value is also reflected in the loss.
  • Loss function according to an embodiment of the present invention may be as shown in Equation 1 below.
  • the feature value corresponding to the first state Is the first feature value, May be the second feature value.
  • And p may have a value between 0 and 1.
  • the neural network when a specific unit unit is input, the neural network includes a predetermined layer that outputs a feature value of each of a plurality of predefined state channels (eg, normal, Gleason score 3, Gleason score 4, and Gleason score 5). can do.
  • the layer may be designed as a final layer or may be a layer immediately before the final layer.
  • the specific unit unit may be a unit unit labeled with a primary state and a secondary state, that is, a dual class labeling.
  • the larger the feature value of the primary state that is, the larger the feature value corresponding to the primary state among the feature values output from the neural network.
  • the larger the feature value corresponding to the secondary state The value of becomes large, and as a result, the overall loss can be made small.
  • the feature value of the primary state has a value smaller than 1, compared to the feature value of the secondary state, the loss has a greater effect on reducing the loss.
  • the neural network has a large value of the primary state and a relatively large value of the secondary state (although it has a smaller value than the primary state) due to the loss function as described above, and the remaining state is a small value. Can be learned to have.
  • the result may reflect the result of dual class labeling labeled by a real expert.
  • Confusion matrices are matrices of the number of things whose predicted value is 'B' for the correct answer to 'A' at the position of (A, B). Performance measurements of segmentation, such as pixel-by-pixel accuracy and section over union (IoU), are based on this fusion matrix.
  • IoU section over union
  • p may be a value determined from 0 to 1.
  • control module 110 may input input data into a neural network stored in the neural network module 120, that is, a learned neural network.
  • the output data may be output by performing operations defined by the neural network.
  • the preprocessing module 130 may perform preprocessing of the necessary bioimage before performing diagnosis using a neural network.
  • the preprocessing of the biological image may include dividing the biological image into unit units having a predefined size. If necessary, the preprocessing module 130 may not be necessary if the unit is a pixel unit, and in addition to the division into the unit, the preprocessing module 130 may be performed by various preprocessing modules 130 for neural network learning as needed. It will be readily apparent to the average expert in the art.
  • each of a predetermined state e.g., normal, Gleason score 3, Gleason score 4, and Gleason score 5
  • a predetermined state e.g., normal, Gleason score 3, Gleason score 4, and Gleason score 5
  • It may include a layer that outputs a feature value.
  • FIG. 4 An example conceptually illustrating such a neural network may be as shown in FIG. 4.
  • FIG. 4 is a diagram illustrating a concept of a neural network according to an embodiment of the present invention.
  • the neural network 300 may receive a predetermined unit unit (eg, a pixel, a patch, etc.) as shown in FIG. 4.
  • a predetermined unit unit e.g, a pixel, a patch, etc.
  • FIG. 4 illustrates that a patch in which a biological image is divided into a predetermined size (for example, 512 by 512) is input, a pixel value (for example, an RGB three channel value) may be input as input data for each patch unit.
  • a predetermined unit unit eg, a pixel, a patch, etc.
  • a predetermined skilled person may mark a specific area from a bio-image using a predetermined tool and perform labeling on the marked area. Then, the pixels included in the labeled area may have a labeling value in the corresponding area.
  • labeling may be performed for each patch.
  • the neural network 300 may be a known deeplab model as described above, or may be a neural network disclosed in a previous application. Or another neural network.
  • the neural network 300 may include a predetermined layer (eg, 310).
  • the layer eg, 310) may be a layer that outputs feature values corresponding to a plurality of states for the unit unit.
  • the layer may output feature values corresponding to four channels, respectively, each feature value being in a plurality of predetermined states (eg, normal, Gleason score 3, Gleason score 4, and Gleason score 5). It may be a value corresponding to a corresponding probability.
  • the layer (eg, 310) may be a final layer, and there may be a final layer (eg, 320) immediately after the layer 310.
  • the final layer (eg, 320) may be a layer that outputs a state having the largest value among feature values of the layer (eg, 310).
  • the output value output by the layer may be a result of learning that the loss is minimized by the loss function defined in the neural network 300.
  • the loss function is smaller for a specific unit unit labeled as a dual class, and smaller for a primary state feature, and smaller for a primary state but larger for a secondary state feature, and smaller for the remaining state.
  • Equation 1 Such an example may be Equation 1 as described above, but is not limited thereto, and embodiments of other loss functions may be possible.
  • the confused unit may reflect the state of confusion in the learning itself, resulting in an overall improvement in performance.
  • the type of disease diagnosed by the diagnosis system 100 is diagnosed as an example of prostate cancer is described as an example, an average expert in the art of the present disclosure may not easily apply the technical idea of the present invention to the prostate cancer. I can reason about it.
  • the unit unit is a pixel
  • the corresponding pixel when each pixel has a predetermined determination value based on the determination value of the pixel unit (eg, Gleason score 3 to 5), the corresponding pixel is It may be determined by the disease pixel corresponding to the disease.
  • the disease pixel may be distinguished from other pixels in the biological image based on the determination result.
  • the diagnosis may be made in units of pixels, and in this case, only a part where the disease is expressed in the biological image may be segmented.
  • One such example may be as shown in FIG. 5.
  • FIG. 5 is a diagram exemplarily illustrating a segmentation result according to an exemplary embodiment of the present invention.
  • the left portion of FIG. 5 may represent a bioimage labeled by a trained expert, and each labeled region may represent a region in which the disease is expressed.
  • FIG. 5 represents a result of performing segmentation on a pixel-by-pixel basis by expressing a pixel, which is determined to have a disease on a pixel-by-pixel basis, differently from other regions (for example, in yellow) according to the spirit of the present invention.
  • the disease diagnosis method supporting dual classes may be implemented as computer readable codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, optical data storage, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
  • the present invention can be used in "a disease diagnosis system and method supporting dual classes".

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템이 개시된다. 상기 진단 시스템의 상기 프로세서는 상기 저장장치에 저장된 상기 뉴럴 네트워크를 소정의 로스 펑션과 상기 생체이미지에 포함된 소정의 단위 유닛에 대해 상기 단위 유닛이 복수의 상태들 중 적어도 하나의 상태를 가질 것으로 라벨링된 학습 데이터를 이용하여, 상기 복수의 상태들 중 적어도 하나의 상태를 가질 확률에 대응하는 판단 값을 출력하도록 학습하며, 상기 뉴렬 네트워크는 상기 단위 유닛이 복수의 상태들 각각으로 판단될 확률에 대응되는 복수의 피쳐 값들을 출력하는 특정 레이어를 포함하고, 상기 로스 펑션은 다수의 단위 유닛들 중 상기 복수의 상태-상기 복수의 상태는 보다 높은 확률의 상태를 가질 것으로 판단되는 제1상태 및 제1상태보다는 낮은 상태 가질 것으로 판단되는 제2상태를 포함함-로 라벨링된 듀얼 라벨링 단위 유닛에 대해, 상기 특정 레이어의 피쳐 값들 중 제1상태에 상응하는 제1피쳐 값과 상기 제2상태에 상응하는 제2피쳐 값을 모두 반영하여 로스를 연산하도록 정의되는 것을 특징으로 한다.

Description

듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
본 발명은 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법에 관한 것이다. 보다 상세하게는 뉴럴 네트워크를 학습시켜 질병을 진단하도록 하면서 특정 단위 유닛(예컨대, 생체조직에 상응하는 이미지의 픽셀)에 대해서는 듀얼 클래스로 라벨링을 허용하고, 이를 이용하여 보다 높은 정확성을 가질 수 있는 뉴럴 네트워크를 구축할 수 있는 시스템 및 그 방법에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution neurla network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체이미지의 조각 즉, 패치(patch)(또는 타일(tile)이라고도 함)을 이용한다. 즉, 해당 패치에 대해 숙련된 의료인은 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)를 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 패치들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크가 이용될 수 있다.
하지만 이러한 방식의 경우 패치(예컨대, 512 by 512 픽셀) 별로 질병의 발현 여부를 판단하도록 뉴럴 네트워크가 학습되어서, 해당 패치 내에 어떤 부분이 질병인지를 알 수 없는 문제가 있다.
또한 기존에는 뉴럴 네트워크의 입력 단위인 단위 유닛(예컨대, 패치)별로 어느 하나의 질병 상태(예컨대, 질병이 있는지 없는지 여부 또는 질병이 있는 경우 어떤 상태인지(예컨대, 전립선 암일 경우 글리슨 스코어 값))만을 판단하도록 학습하지만 숙련된 의료인이 판단할 경우에도, 이 단위 유닛은 제1상태일 가능성도 있고 제2상태일 가능성도 있는 경우, 즉 복수의 상태들 중 어느 하나일 가능성이 확연히 나타난 것이 아니라 제1상태일 가능성이 크지만 제2상태일 가능성도 존재하는 경우가 존재할 수 있다.
이런 경우에 종전에는 특정 단위 유닛이 복수의 상태들 중에서 임의의 상태가 될 가능성이 존재하지만, 이를 무시한 채 어느 하나의 특정 상태라고 가정하고 라벨링을 하여 학습 데이터를 생성하고 그러한 학습데이터를 이용하여 학습된 뉴럴 네트워크 역시 복수의 상태를 가질 가능성이 있는 단위 유닛을 명확히 상기 특정 상태를 갖는 단위 유닛처럼 취급하게 된다.
하지만 이런 경우 특정 단위 유닛에 대해 복수의 상태들을 가질 가능성이 있다는 정보 자체도 유의미한 정보로써 학습에 반영할 경우, 그러한 정보 자체가 유의미한 정보가 될 수 있으며 뉴럴 네트워크의 정확도 개선에 도움이 될 수 있다.
*선행기술문헌
-특허문헌
한국공개특허 10-2016-0034814 "뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템"
본 발명이 이루고자 하는 기술적인 과제는 명확히 제1상태 또는 제2상태 등으로 뉴럴 네트워크가 출력하는 클래스 중 어느 하나로 명확히 분류될 수 있는 입력 데이터(단위 유닛)가 아니라, 분류될 클래스의 판단이 모호하여 복수의 상태일 가능성이 존재하는 단위 유닛의 경우, 이러한 복수의 상태일 가능성이 존재하는 단위 유닛의 특징적 피쳐 역시 학습에 이용될 수 있도록 함으로써 성능의 개선을 이룰 수 있는 시스템 및 그 방법을 제공하는 것이다.
또한 패치별 진단이 아니라 픽셀별 진단을 수행할 수 있도록 하여 질병이 발현되는 부분과 그렇지 않은 부분의 세밀한 세그멘테이션(segmentation)이 가능한 딥러닝 모델을 지원하는 시스템 및 그 방법을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템은 상기 프로세서가 상기 저장장치에 저장된 상기 뉴럴 네트워크를 소정의 로스 펑션과 상기 생체이미지에 포함된 소정의 단위 유닛에 대해 상기 단위 유닛이 복수의 상태들 중 적어도 하나의 상태를 가질 것으로 라벨링된 학습 데이터를 이용하여, 상기 복수의 상태들 중 적어도 하나의 상태를 가질 확률에 대응하는 판단 값을 출력하도록 학습하며, 상기 뉴렬 네트워크는 상기 단위 유닛이 복수의 상태들 각각으로 판단될 확률에 대응되는 복수의 피쳐 값들을 출력하는 특정 레이어를 포함하고, 상기 로스 펑션은 다수의 단위 유닛들 중 상기 복수의 상태-상기 복수의 상태는 보다 높은 확률의 상태를 가질 것으로 판단되는 제1상태 및 제1상태보다는 낮은 상태 가질 것으로 판단되는 제2상태를 포함함-로 라벨링된 듀얼 라벨링 단위 유닛에 대해, 상기 특정 레이어의 피쳐 값들 중 제1상태에 상응하는 제1피쳐 값과 상기 제2상태에 상응하는 제2피쳐 값을 모두 반영하여 로스를 연산하도록 정의되는 것을 특징으로 한다.
상기 로스 펑션은 상기 제1피쳐 값에 비해 상기 제2피쳐 값이 보다 많은 로스를 가지도록 정의되는 것을 특징으로 할 수 있다.
상기 로스 펑션은 다음과 같은 수학식 1으로 정의되는 것을 특징으로 할 수 있다.
[수학식 1]
Figure PCTKR2019006758-appb-I000001
여기서
Figure PCTKR2019006758-appb-I000002
는 복수의 상태들의 인덱스,
Figure PCTKR2019006758-appb-I000003
는 복수의 상태들 중
Figure PCTKR2019006758-appb-I000004
번째 상태에 상응하는 피쳐 값,
Figure PCTKR2019006758-appb-I000005
는 상기 제1피쳐 값,
Figure PCTKR2019006758-appb-I000006
는 상기 제2피쳐 값임.
상기 단위 유닛은 상기 생체이미지의 픽셀 단위일 수 있다.
상기 프로세서는 상기 픽셀 단위의 판단 값에 기초하여 각각의 픽셀이 미리 정해진 판단 값을 가지는 경우 해당 픽셀은 질병에 해당하는 질병 픽셀로 판단하고, 판단결과에 기초하여 상기 생체이미지에서 질병 픽셀을 다른 픽셀과 구분하여 표시할 수 있다.
상기 질병은 전립선 암일 수 있다.
상기 복수의 상태들은 정상, 글리슨 스코어 3, 글리슨 스코어 4, 및 글리슨 스코어 5를 포함할 수 있다.
상기 기술적 과제를해결하기 위한 프로세서 및 저장장치를 포함하는 시스템에 구현되며 생체이미지와 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법은 상기 저장장치에 저장된 상기 뉴럴 네트워크를 소정의 로스 펑션과 상기 생체이미지에 포함된 소정의 단위 유닛에 대해 상기 단위 유닛이 복수의 상태들 중 적어도 하나의 상태를 가질 것으로 라벨링된 학습 데이터를 입력받는 단계, 입력받은 학습 데이터를 이용하여 각각의 단위 유닛에 대해 상기 복수의 상태들 중 적어도 하나의 상태를 가질 확률에 대응하는 판단 값을 출력하도록 학습하는 단계를 포함하며, 상기 뉴렬 네트워크는 상기 단위 유닛이 복수의 상태들 각각으로 판단될 확률에 대응되는 복수의 피쳐 값들을 출력하는 특정 레이어를 포함하고, 상기 로스 펑션은 다수의 단위 유닛들 중 상기 복수의 상태-상기 복수의 상태는 보다 높은 확률의 상태를 가질 것으로 판단되는 제1상태 및 제1상태보다는 낮은 상태 가질 것으로 판단되는 제2상태를 포함함-로 라벨링된 듀얼 라벨링 단위 유닛에 대해, 상기 특정 레이어의 피쳐 값들 중 제1상태에 상응하는 제1피쳐 값과 상기 제2상태에 상응하는 제2피쳐 값을 모두 반영하여 로스를 연산하도록 정의될 수 있다.
상기 방법은 상기 픽셀 단위의 판단 값에 기초하여 각각의 픽셀이 미리 정해진 판단 값을 가지는 경우 해당 픽셀은 질병에 해당하는 질병 픽셀로 판단하는 단계 및 판단결과에 기초하여 상기 생체이미지에서 질병 픽셀을 다른 픽셀과 구분하여 표시하는 단계를 더 포함할 수 있다.
상기의 방법은 데이터 처리장치에 설치되는 컴퓨터 프로그램과 상기 컴퓨터 프로그램을 실행할 수 있는 데이터 처리장치의 하드웨어를 통해 구현될 수 있다.
본 발명의 기술적 사상에 따르면 복수의 상태들 중 어느 하나라고 명확히 분류될 수 있는 입력 데이터(단위 유닛)가 아니라, 라벨링 시에 클래스의 판단이 모호하여 복수의 상태일 가능성이 존재하는 단위 유닛의 경우, 이러한 복수의 상태일 가능성이 존재하는 단위 유닛l의 특징적 피쳐 역시 학습에 이용될 수 있도록 함으로써 성능의 개선을 이룰 수 있는 효과가 있다.
또한 패치별 진단이 아니라 픽셀별 진단을 수행할 수 있도록 하여 질병이 발현되는 부분과 그렇지 않은 부분의 세밀한 세그멘테이션(segmentation)이 가능한 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 개략적인 시스템 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 하드웨어적 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 뉴럴 네트워크의 구성을 개념적으로 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 세그멘테이션 결과를 예시적으로 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, “포함하다”또는 “가지다”등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 개략적인 시스템 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템(이하, 진단 시스템, 100)은 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 도 3에 도시된 바와 같이 프로세서(11) 및 저장장치(12)를 포함할 수 있다. 상기 프로세서(11)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(12-1)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(11)는 상기 프로그램(12-1)과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크(Nerual Network, 12-2)를 이용해 진단을 수행할 수 있다.
상기 프로그램(12-1)은 본 발명의 기술적 사상을 구현하기 위해 정의되는 소프트웨어를 의미할 수 있다.
상기 저장장치(12)는 상기 프로그램(12-1) 및 뉴럴 네트워크(12-2)를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치(12)는 상기 서버(10)에 포함된 주 기억장치 뿐만 아니라, 상기 프로세서(11)에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 시스템(100)은 도 1 또는 도 3에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
이하 본 명세서에서 상기 진단 시스템(100)이 소정의 기능을 수행한다고 함은, 상기 프로세서(11)가 상기 프로그램(12-1)을 이용하여 소정의 기능을 수행함을 의미할 수 있음은 물론이다.
본 명세서에서 상기 진단 시스템(100)이 진단을 수행한다고 함은 생체조직이 표현된 생체이미지를 소정의 단위 유닛별로 입력받아 본 명세서에서 정의된 출력 데이터를 출력하는 일련의 프로세스를 의미할 수 있다.
상기 단위 유닛은 진단을 수행할 단위를 의미할 수 있다. 일 예에 의하면 상기 단위 유닛은 생체 이미지의 픽셀 단위일 수도 있다. 물론 실시 예에 따라 상기 단위 유닛은 생체 이미지의 패치 단위일 수도 있고, 슬라이드 단위일 수도 있다.
본 명세서에서는 상기 단위 유닛이 픽셀 단위인 경우, 따라서 픽셀별로 상기 진단 시스템(100)에 의해 진단된 결과가 질병이 발현된 픽셀인지 그렇지 않은 픽셀인지가 판단될 경우를 일 예로 설명하지만 구현 예에 따라 상기 단위 유닛은 달라질 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 출력 데이터는 상기 진단 시스템(100)이 이용하는 뉴럴 네트워크의 출력 레이어가 출력하는 정보를 의미할 수 있으며, 상기 출력 데이터에는 상기 생체 이미지에 포함된 단위 유닛에 해당하는 생체조직이 특정 질병에 대해 어떠한 상태인지를 나타내는 상태정보를 포함할 수 있다.
예컨대, 상태정보는 상기 단위 유닛에 해당하는 조직에 특정 질병(예컨대, 특정 종류의 암)이 발현되었는지 여부에 대한 확률에 상응하는 정보일 수 있다. 또는 후술할 바와 같이, 단순히 특정 질병의 발현여부뿐만 아니라, 특정 질병의 진행 정도를 나타내는 정보(또는 상기 진행 정도에 해당할 확률)일 수도 있다. 예컨대, 후술할 바와 같이 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 상태정보에 포함될 수 있다. 예컨대, 글리슨 패턴은 2 내지 5의 값을 가지며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 따라서 상기 상태정보는 진단의 대상이 되는 단위 유닛에 해당하는 생체조직이 글리슨 패턴의 특정 값(예컨대, 3, 4, 또는 5)에 해당할 확률에 상응하는 정보 또는 노멀(즉, 질병이 발현되지 않은 경우)에 해당할 확률에 상응하는 정보를 포함할 수 있다.
상기 상태정보는 복수 개 존재할 수 있다. 예컨대, 본 발명의 기술적 사상에 의하면 상태는 4개의 채널로 구현될 수 있다. 예컨대, 제1상태는 해당 단위 유닛이 노멀일 상태, 제2상태는 글리슨 패턴이 3인 상태, 제3상태는 글리슨 패턴이 4인 상태, 제4상태는 글리슨 패턴이 5인 상태일 수 있다.
각각의 상태채널에 해당하는 피쳐 값은 각 상태가 가질 확률에 상응하는 값일 수 있으며, 값이 클수록 그 상태일 가능성이 커지도록 상기 뉴럴 네트워크는 학습될 수 있다.
이러한 복수의 상태에 해당하는 피쳐 값을 출력하는 레이어는 상기 뉴럴 네트워크의 최종 레이어일 수도 있고, 최종 레이어의 직전 레이어일 수 있다. 후자의 경우 상기 복수의 상태에 해당하는 피쳐 값을 출력하는 직전 레이어는 복수의 상태들(예컨대, 전술한 4개의 상태)에 해당하는 피쳐 값을 출력하고, 최종 레이어는 직전 레이어의 피쳐 값 중 가장 큰 값을 가지는 상태(예컨대, 노멀, 글리슨 패턴 3, 4, 5 중 어느 하나)를 출력 값으로 출력할 수도 있다.
또는 최종 레이어가 상기 복수의 상태들을 출력하는 레이어일 수도 있다. 이는 뉴럴 네트워크를 설계하는 실시 예에 따라 용이하게 달라질 수 있음은 물론이다.
본 발명의 기술적 사상에 의하면, 상기 뉴럴 네트워크의 학습 데이터는 상기 복수의 상태들 중 어느 하나로 라벨링되는 것이 아니라, 복수의 상태로 라벨링될 수 있다.
즉, 숙련된 의료인 또는 단위 유닛을 육안으로 확인하여 해당 단위 유닛이 어떤 상태인지를 어노테이션(라벨링)할 수 있는 전문가의 입장에서, 상기 단위 유닛은 복수의 상태들 중 어느 하나의 상태인 것으로 명확하게 구분될 수 있는 것이 아니라 제1상태 또는 제2상태로 분류될 가능성이 있는 경우가 존재할 수 있다.
즉 학습 데이터로 이용되는 생체 이미지의 단위 유닛이 명확하게 어느 하나의 상태(클래스)로 분류될 수 있는 것이 아니라, 복수의 상태들을 가질 가능성 즉 모호한 경우가 존재할 수 있다.
이러한 경우 종래에는 비록 모호성을 가지더라도 복수의 상태들 중 어느 하나를 선택하여 해당 단위 유닛은 선택된 상태로 라벨링되고, 이러한 라벨링 결과에 따라 뉴럴 네트워크가 학습된다.
하지만 본 발명의 기술적 사상에 의하면 모호성을 가지는 이미지 특성 자체가 유용한 정보를 가질 수 있고, 이러한 이미지 특성은 어느 하나의 가능성이 높은 클래스(상태)로 예단되어 라벨링되는 것보다, 모호성을 가지는 그 자체로 라벨링되는 경우 종래의 방식보다 높은 정확성을 가질 수 있도록 뉴럴 네트워크가 학습될 수 있다.
예컨대, 라벨링을 수행하는 전문가의 판단으로는 어떤 특정 단위 유닛은 제1상태(예컨대, 노멀)로 분류될 가능성이 크지만 제2상태(예컨대, 글리슨 스코어 3)으로 판단될 가능성도 조금은 있는 것으로 판단될 수 있다.
이러한 경우와 제1상태(예컨대, 노멀)로 명확히 분류될 수 있는 단위 유닛은 이미지 특성에 어떠한 미세한 차이라도 차이가 존재하는 경우일 수 있다. 하지만 종래의 방식대로 확률이 높아 보이는 어느 하나의 상태(예컨대, 노멀)로 단순히 라벨링을 한다면 이는 상기의 미세한 차이가 무시되는 결과를 가져올 수 있다.
하지만 본 발명의 기술적 사상에 의하면, 이러한 모호성을 가지는 단위 유닛은 그 자체로(즉, 보다 높은 확률을 가질 것으로 판단된 제1상태 및 제1상태보다는 낮은 확률을 가지지만 제2상태일 가능성도 있는 상태) 라벨링되어, 제1상태 또는 제2상태 어느 하나로 라벨링되는 것과 비교하여 구분되도록 라벨링될 수 있다. 그리고 이러한 방식 즉 복수의 상태로 라벨링되는 방식(본 명세서에서는 2개의 상태로 라벨링되는 경우를 예시적으로 설명하며, 그에 따라 '듀얼 클래스 라벨링'이라 부르기로 함)에 의하면, 특정 단위 유닛이 듀얼 클래스로 라벨링된 것 자체가 학습에 반영되어 뉴럴 네트워크의 성능을 높일 수 있다.
이러한 듀얼 클래스 라벨링 방식의 경우에는 듀얼 클래스 라벨링의 특성을 반영할 수 있는 로스 펑션(손실 함수)가 정의되는 것이 필요함은 물론이다.
예컨대, 특정 단위 유닛은 프라이머리(primary) 상태 즉, 보다 높은 확률을 가질 것으로 판단된 상태와 세컨더리(secondary) 상태로 라벨링될 수 있다. 즉, 모호한(혼동되는) 이미지 특성을 갖는 단위 유닛은 이렇게 듀얼 클래스로 라벨링되는 것이 허용될 수 있다.
이러한 경우 뉴럴 네트워크를 정의하는 로스 펑션은 프라이머리 상태 및 세컨더리 상태를 모두 반영하도록 정의될 수 있다. 예컨대, 뉴럴 네트워크가 프라이머리 상태를 높은 확률로 출력하는 경우에는 높은 보상(낮은 손실)을 갖도록 정의되며, 뉴럴 네트워크가 세컨더리 상태를 높은 확률로 출력하는 경우에는 낮은 보상(높은 손실)을 갖도록 정의될 수 있다. 물론 프라이머리 상태나 세컨더리 상태가 아닌 다른 상태보다는 세컨더리 상태 역시 높은 확률로 피쳐 값이 출력되어야 손실이 줄어들도록 로스 펑션은 정의될 수 있다.
따라서 뉴럴 네트워크는 손실이 최대한 작아질 수 있도록 학습되므로, 듀얼 클래스 라벨링된 단위 유닛에 대해 프라이머리 상태를 보다 높은 확률로 출력하도록 학습되지만 세컨더리 상태 역시 다른 프라이머리 상태보다는 낮은 확률을 갖더라도 다른 상태에 비해서는 높은 확률에 해당하는 피쳐 값들을 가지도록 학습될 수 있다.
이러한 기술적 사상에 의하면, 결국 혼동되는 이미지 특성을 가지는 단위 유닛의 경우, 혼동되는 상태 자체를 학습에 반영하도록 함으로써 혼동되는 이미지 특성이 무시되는 것이 아니라 혼동되는 이미지 특성 역시 뉴럴 네트워크의 진단결과에 반영되도록 함으로써 보다 높은 정확도를 가지는 딥러닝 기반의 진단 시스템이 구축될 수 있는 효과가 있다.
한편, 상기 진단 시스템(100)이 소정의 서버(10)에 포함되어 구현되는 경우, 상기 진단 시스템(100)은 상기 서버(10)에 접속가능한 적어도 하나의 클라이언트(예컨대, 20, 20-1)와 통신을 수행할 수도 있다. 이러한 경우 상기 클라이언트(예컨대, 20, 20-1)는 생체이미지를 상기 진단 시스템(100)으로 전송할 수 있고, 상기 진단 시스템(100)은 전송된 생체이미지에 대해 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 그리고 진단결과를 상기 클라이언트(예커대, 20, 20-1)로 전송할 수도 있다.
상기 진단 시스템(100)은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용하여 진단을 수행할 수 있다. 물론, 이러한 진단을 수행하기 위해 복수의 상태채널들 중 어느 하나 또는 듀얼 클래스로 라벨링된 학습데이터를 통해 상기 뉴럴 네트워크를 학습시키는 프로세스를 먼저 수행할 수 있다.
따라서 상기 진단 시스템(100)은 본 발명의 기술적 사상에 따라 학습된 뉴럴 네트워크 및 상기 뉴럴 네트워크를 이용하여 진단을 수행하기 위한 프로그램을 외부로부터 수신하여 진단을 수행하는 시스템일 수도 있고, 상기 뉴럴 네트워크의 학습까지 수행하는 시스템일 수도 있다. 또한, 상기 진단 시스템(100)은 범용의 데이터처리장치가 아니라 본 발명의 기술적 사상을 구현하기 위해 제작된 전용 장치로 구현될 수도 있고, 이러한 경우에는 생체이미지를 스캔하기 위한 수단 등이 더 구비될 수도 있다.
상기 뉴럴 네트워크는 소정의 단위 유닛(예컨대, 픽셀 또는 패치)의 정보(예컨대, RGB 3채널 정보)를 입력받아 해당 단위 유닛이 가지는 소정의 질병(예컨대, 전립선 암)에 대한 복수의 상태정보들 각각을 피쳐 값으로 출력하거나, 또는 복수의 상태정보들 중 가장 확률이 높은 어느 하나의 상태를 출력하는 네트워크일 수 있다.
일 예에 의하면, 상기 뉴럴 네트워크는 공지된 Resnet 뉴럴 네트워크를 이용하며 deeplab 모델을 이용하는 방식일 수 있다.
다른 실시 예에 의하면, 상기 뉴럴 네트워크는 본 출원인이 출원한 한국특허출원(출원번호 10-2016-0168176, 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법, 이하, '이전 출원')에 개시된 바와 같이 미시 네트워크와 거시 네트워크를 동시에 이용하는 뉴럴 네트워크일 수도 있다.
이러한 경우 미시 네트워크는 단위 유닛을 입력받고, 거시 네트워크는 단위 유닛을 포함하는 주변 단위 유닛을 입력받아 상기 단위 유닛과 관련된 상태정보를 출력하도록 할 수 있다. 예컨대, 단위 유닛이 픽셀단위일 경우, 상기 미시 네트워크는 특정 픽셀을 입력받고, 거시 네트워크는 상기 특정 픽셀의 주변 픽셀까지 포함하는 소정의 입력 데이터를 입력받아서 상기 특정 픽셀의 상태를 출력하도록 정의될 수도 있다. 이러한 경우 어느 하나의 단위 유닛뿐만 아니라 주변 단위 유닛까지 해당 단위 유닛의 질병발현 판단여부에 영향을 미칠 수 있으므로 보다 정확도 높은 학습이 가능할 수 있다. 또한, 질병에 따라 실제로 특정 단위 유닛에 해당하는 생체조직의 진단을 위해서 상기 생체조직뿐만 아니라 상기 생체조직의 주변조직의 상태까지 고려하여야 하는 질병의 진단에 매우 유의미한 수준으로 정확도의 향상이 가능해지는 효과가 있다. 또한 생체이미지를 다수의 단위 유닛을로 분할하는 경우, 패치의 분할방식이나 분할된 영역이 생체조직의 어떤 위치인지 여부에 따라 발생할 수 있는 진단결과의 영향에 강인한 효과를 가질 수 있다.
상기 이전출원에 개시된 내용은 본 발명의 레퍼런스로 포함될 수 있으며, 이전출원에 개시된 내용은 본 명세서에서 상세한 설명은 생략하도록 한다.
이러한 기술적 사상을 구현하기 위한 상기 진단 시스템(100)은 논리적으로 도 2와 같은 구성을 가질 수 있다.
도 2는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 상기 진단 시스템(100)은 제어모듈(110) 및 뉴럴 네트워크가 저장된 뉴럴 네트워크 모듈(120)을 포함한다. 또한, 상기 진단 시스템(100)은 전처리 모듈(130)을 더 포함할 수 있다.
상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 제어모듈(110), 상기 뉴럴 네트워크 모듈(120), 및/또는 상기 전처리 모듈(130) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(110), 상기 뉴럴 네트워크 모듈(120) 및/또는 상기 전처리 모듈(130) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 제어모듈(110)은 본 발명의 기술적 사상을 구현하기 위해 상기 진단 시스템(100)에 포함된 다른 구성(예컨대, 상기 뉴럴 네트워크 모듈(120) 및/또는 상기 전처리 모듈(130) 등)을 제어할 수 있다.
또한, 상기 제어모듈(110)은 상기 뉴럴 네트워크 모듈(120)에 저장된 뉴럴 네트워크를 이용하여 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 진단을 수행한다고 함은 전술한 바와 같이 출력 레이어에 정의된 적어도 하나의 채널의 채널 값(피쳐 값)을 출력함을 의미할 수 있다. 각각의 피쳐 값은 진단의 대상이 되는 단위 유닛이 해당하는 채널이 정의하는 정보에 해당할 확률에 상응할 수 있다.
상기 뉴럴 네트워크 모듈(120)은 뉴럴 네트워크를 저장할 수 있다. 상기 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 본 명세서에서 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수도 있다. 또한, 전술한 바와 같이 공지된 deeplab 뉴럴 네트워크가 이용될 수도 있고, 이전출원에서 개시된 뉴럴 네트워크가 이용될 수도 있다.
어떠한 경우든 상기 뉴럴 네트워크는 듀얼 클래스 라벨링된 학습 데이터를 이용하여 학습이 가능하도록 하는 로스 펑션이 정의될 수 있다.
알려진 바와 같이 로스 펑션(Loss function)에 의해 정의되는 손실이 최소화될 수 있도록 상기 뉴럴 네트워크는 학습된다.
이때 본 발명의 기술적 사상에 따라 듀얼 클래스로 단위 유닛이 라벨링될 수 있는 경우 즉, 복수의 상태들로 라벨링될 수 있고, 이때 복수의 상태는 보다 높은 확률의 상태를 가질 것으로 판단되는 제1상태 및 제1상태보다는 낮은 상태 가질 것으로 판단되는 제2상태를 포함하도록 라벨링된 경우, 상기 로스 펑션은 복수의 상태들에 상응하는 피쳐 값들 중 제1상태에 상응하는 제1피쳐 값과 상기 제2상태에 상응하는 제2피쳐 값이 모두 로스에 반영되도록 정의될 수 있다.
물론, 상기 뉴럴 네트워크는 해당 단위 유닛에 상응하는 제1피쳐 값이 제2 피쳐 값에 비해 큰 영향을 미치도록을 정의될 수 있다.
예컨대, 제1피쳐 값이 높을수록 전체 로스는 낮아지도록 정의되고, 제2피쳐 값 역시 값이 높을수록 전체 로스는 낮아지도록 정의되도 제1피쳐 값이 제2피쳐 값에 비해 보다 영향력이 크도록 정의될 수 있다. 그리고 나머지 상태에 상응하는 피쳐 값은 값이 높을수록 손실이 크도록 정의될 수 있다.
예컨대, 본 발명의 실시 예에 의하면, 상기 로스 펑션은 종래의 크로스 엔트로피(Cross Entropy)를 개선하여 즉, 제2피쳐 값 역시 로스에 반영되도록 정의될 수 있다.
본 발명의 일 실시 예에 따른 로스 펑션은 아래의 수학식 1과 같을 수 있다.
[수학식 1]
Figure PCTKR2019006758-appb-I000007
여기서
Figure PCTKR2019006758-appb-I000008
는 복수의 상태들의 인덱스,
Figure PCTKR2019006758-appb-I000009
는 복수의 상태들 중
Figure PCTKR2019006758-appb-I000010
번째 상태에 상응하는 피쳐 값,
Figure PCTKR2019006758-appb-I000011
는 상기 제1피쳐 값,
Figure PCTKR2019006758-appb-I000012
는 상기 제2피쳐 값일 수 있다.
그리고 p는 0과 1사이의 값을 가질 수 있다.
예컨대, 특정 단위 유닛이 입력되면, 상기 뉴럴 네트워크는 미리 정의된 복수의 상태채널들(예컨대, 노멀, 글리슨 스코어 3, 글리슨 스코어 4, 글리슨 스코어 5) 각각의 피쳐 값을 출력하는 소정의 레이어를 포함할 수 있다. 상기 레이어는 최종 레이어로 설계될 수도 있고, 최종 레이어 직전의 레이어일 수도 있다.
그리고 특정 단위 유닛은 프라이머리 상태 및 세컨더리 상태로 라벨링 즉, 듀얼 클래스 라벨링이 된 단위 유닛일 수 있다.
이러한 경우 프라이머리 상태의 피쳐 값이 크면 즉, 뉴럴 네트워크가 출력한 피쳐 값들 중 프라이머리 상태에 상응하는 피쳐 값이 클수록
Figure PCTKR2019006758-appb-I000013
의 값은 커지고, 결과적으로 전체 로스는 작아질 수 있다. 마찬가지로 세컨더리 상태에 상응하는 피쳐 값이 클수록
Figure PCTKR2019006758-appb-I000014
의 값은 커지고, 결과적으로 전체 로스는 작아질 수 있다. 하지만 프라이머리 상태의 피쳐 값이 세컨더리 상태의 피쳐 값에 비해, p가 1보다 작은 값을 가지므로, 로스가 작아지도록 하는데 보다 큰 영향을 가지게 된다.
물론 다른 상태에 상응하는 피쳐 값은 클수록
Figure PCTKR2019006758-appb-I000015
값만 커지게 되어 결국 로스만 커지도록 하는 결과를 낳는다.
따라서 상기 뉴럴 네트워크는 상술한 바와 같은 로스 펑션에 의해, 가급적 프라이머리 상태가 큰 값을 가지고 세컨더리 상태도 상대적으로 큰 값을 가지며(비록 프라이머리 상태보다는 작은 값을 가지더라도), 나머지 상태는 작은 값을 가지도록 학습될 수 있다. 그 결과는 실제 전문가에 의해 라벨링된 듀얼 클래스 라벨링의 결과가 반영될 수 있다.
한편, 이처럼 듀얼 클래스를 허용하도록 라벨링되는 경우의 상기 뉴럴 네트워크의 정확도를 판단하는 기준은 다음과 같을 수 있다.
기존의 경우, 정확도를 계산하기 위해서는 컨퓨전 매트릭스를 이용하여 정확도를 계산했다. 컨퓨전 매트릭스란, 정답이 ‘A’인 것에 대한 것의 예측 값이 ‘B’인 것들의 개수를 (A, B)의 위치에 표시한 행렬이다. 픽셀 단위 정확도와 IoU(intersection over union) 같은 세그멘테이션의 성능 측정은 이 컨퓨전 매트릭스를 기반으로 이루어진다. 기존의 경우 단순한 한 가지 정답만 존재했으므로, 맞추거나 틀리거나의 결과만 존재했지만, 본 발명의 기술적 사상에 의하면 프라이머리와 세컨더리라는 두 가지 답안이 존재한다. 따라서 조금은 다른 방식으로 컨퓨전 매트릭스를 계산할 필요가 있다.
만약 프라이머리로 답을 얘기하거나, 프라이머리와 세컨더리 두 가지 모두가 아닌 다른 답을 얘기하면 기존과 마찬가지로 컨퓨전 매트릭스에 반영이 되게 한다. 하지만 세컨더리로 답을 얘기할 경우, 이것은 프라이머리 답에 대해서는 틀렸지만, 세컨더리 답에 대해서는 맞았다고 볼 수 있다. 따라서 (프라이머리, 세컨더리)에 p만큼을, (세컨더리, 세컨더리)에 1-p 만큼을 주어서 계산을 할 수 있다. 여기서 p는 0에서 1 사이에서 정해지는 값일 수 있다.
한편, 상술한 바와 같은 기술적 사상을 위해, 상기 제어모듈(110)은 상기 뉴럴 네트워크 모듈(120)에 저장된 뉴럴 네트워크 즉, 학습된 뉴럴 네트워크에 입력 데이터를 입력할 수 있다. 그리고 뉴럴 네트워크에 의해 정의되는 연산들을 수행하여 출력 데이터를 출력할 수 있다.
상기 전처리 모듈(130)은 뉴럴 네트워크를 이용하여 진단을 수행하기 전에 필요한 생체이미지의 전처리를 수행할 수 있다. 예컨대, 상기 생체이미지의 전처리는 상기 생체이미지를 미리 정의된 크기의 단위 유닛들로 구분하는 과정을 포함할 수 있다. 필요에 따라 상기 단위유닛이 픽셀단위일 결우 상기 전처리 모듈(130)은 필요하지 않을 수도 있고, 이러한 단위 유닛으로의 분할 이외에도 필요에 따라 뉴럴 네트워크 학습을 위한 다양한 상기 전처리 모듈(130)에 의해 수행될 도 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 뉴럴 네트워크는 전술한 바와 같이 입력 단위 유닛들에 대해 해당 단위 유닛이 소정의 질병에 의해 가질 수 있는 미리 정해진 상태(예컨대, 노멀, 글리슨 스코어3, 글리슨 스코어4, 및 글리슨 스코어 5)를 각각의 피쳐 값으로 출력하는 레이어를 포함할 수 있다.
이러한 뉴럴 네트워크를 개념적으로 도시한 일 예는 도 4와 같을 수 있다.
도 4는 본 발명의 실시 예에 따른 뉴럴 네트워크의 개념을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 뉴럴 네트워크(300)는 도 4에 도시된 바와 같이 소정의 단위 유닛(예컨대, 픽셀, 패치 등)을 입력받을 수 있다. 도 4에서는 생체이미지가 소정의 크기(예컨대 512 by 512)로 분할된 패치가 입력되는 것을 도시하고 있지만, 각 패치단위로 픽셀 값(예컨대, RGB 3채널 값)이 입력 데이터로 입력될 수 있음은 물론이다.
상기 단위 유닛이 픽셀일 경우, 소정의 숙련된 전문가는 생체이미지로부터 소정의 툴을 이용해 특정 영역을 마킹하고, 마킹한 영역에 라벨링을 수행할 수 있다. 그러면 라벨링된 영역에 포함된 픽셀은 해당 영역에 라벨링 값을 가질 수 있다.
물론 단위 유닛이 패치인 경우는 패치별로 라벨링이 수행될 수도 있다.
상기 뉴럴 네트워크(300)는 전술한 바와 같이 공지된 deeplab 모델일 수도 있고, 이전출원에 개시된 뉴럴 네트워크일 수도 있다. 또는 또 다른 뉴럴 네트워크일 수도 있다.
어떤 경우든 상기 뉴럴 네트워크(300)에는 소정의 레이어(예컨대, 310)가 포함될 수 있다. 상기 레이어(예컨대, 310)은 상기 단위 유닛에 대한 복수의 상태들에 상응하는 피쳐 값을 출력하는 레이어일 수 있다. 예컨대, 상기 레이어는 4개의 채널에 상응하는 피쳐 값을 각각 출력할 수 있고, 각각의 피쳐 값들은 미리 정해진 복수의 상태들(예컨대, 노멀, 글리슨 스코어3, 글리슨 스코어4, 및 글리슨 스코어 5)에 해당하는 확률에 상응하는 값일 수 있다.
상기 레이어(예컨대, 310)는 최종 레이어일 수도 있고, 상기 레이어(310) 직후에 최종 레이어(예컨대, 320)가 더 존재할 수 있다. 이러한 경우 상기 최종 레이어(예컨대, 320)는 상기 레이어(예컨대, 310)의 피쳐 값들 중 가장 큰 값을 가지는 상태를 출력하는 레이어일 수 있음은 물론이다.
어떠한 경우든 상기 레이어(예컨대, 310)가 출력하는 출력 값은 상기 뉴럴 네트워크(300)에 정의되는 로스 펑션에 의해 로스가 최소가 되도록 학습된 결과일 수 있다.
상기 로스 펑션은 전술한 바와 같이, 듀얼 클래스로 라벨링된 특정 단위 유닛에 대해서는 프라이머리 상태의 피쳐 값이 클수록, 그리고 프라이머리 상태보다는 작지만 세컨더리 상태의 피쳐 값 역시 클수록, 그리고 나머지 상태의 피쳐 값은 작을수록 전체 로스가 줄어들 수 있도록 정의될 수 있다.
그러한 일 예는 상술한 바와 같은 수학식 1일 수 있지만, 이에 한정되지는 않으며 다른 로스 펑션의 실시 예가 가능할 수도 있음은 물론이다.
이를 통해 실제 혼동되는 단위 유닛은 혼동되는 상태 그 자체가 학습에 반영되어 전체적으로는 성능의 향상을 가져올 수 있다.
상기 진단 시스템(100)이 진단하는 질병의 종류가 전립선 암인 경우를 일 예로 설명하지만, 본 발명의 기술적 사상이 반드시 전립선 암에 국한되어 적용될 필요는 없음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 상기 진단 시스템(100)은 상기 단위 유닛이 픽셀일 경우, 상기 픽셀 단위의 판단 값에 기초하여 각각의 픽셀이 미리 정해진 판단 값을 가지는 경우(예컨대, 글리슨 스코어 3 내지 5), 해당 픽셀은 질병에 해당하는 질병 픽셀로 판단할 수 있다. 그리고 판단결과에 기초하여 상기 생체이미지에서 질병 픽셀을 다른 픽셀과 구분하여 표시할 수 있다.
즉, 본 발명의 기술적 사상에 의하면, 픽셀 단위로 진단이 이루어질 수 있고, 이러한 경우 생체이미지에서 질병이 발현된 부분만이 세그멘테이션(segmentaton)될 수 있다.
이러한 일 예는 도 5에 도시된 바와 같을 수 있다.
도 5는 본 발명의 실시 예에 따른 세그멘테이션 결과를 예시적으로 나타내는 도면이다.
도 5의 좌측부분은 숙력된 전문가에 의해 라벨링된 생체이미지를 나타낼 수 있고, 각각의 라벨링된 영역은 질병이 발현된 영역을 나타낼 수 있다.
그리고 도 5의 우측부분은 본 발명의 기술적 사상에 따라 픽셀단위로 질병이 발현된 것으로 판단된 픽셀을 다른 부위와 다르게 표현(예컨대, 노란색으로 표시)하여, 픽셀단위의 세그멘테이션을 수행한 결과를 나타내는 도면이다.
이러한 세그멘테이션을 통해 종래의 패치단위의 진단 및 세그멘테이션이 수행된 결과에 비해 보다 정밀한 세그멘테이션이 수행될 수 있는 효과가 있다.
또한 본 명세서에서는 전립선 암에 대해 본 발명의 기술적 사상이 적용된 일 예를 주로 설명하였지만, 질병에 대한 상태가 복수의 상태들로 구분될 수 있는 다른 질병에 대해서도 본 발명의 기술적 사상이 적용될 경우 정확한 진단이 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 발명의 실시 예에 따른 듀얼 클래스를 지원하는 질병 진단 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 "듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법"에 이용될 수 있다.

Claims (12)

  1. 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템에 있어서,
    상기 프로세서는,
    상기 저장장치에 저장된 상기 뉴럴 네트워크를 소정의 로스 펑션과 상기 생체이미지에 포함된 소정의 단위 유닛에 대해 상기 단위 유닛이 복수의 상태들 중 적어도 하나의 상태를 가질 것으로 라벨링된 학습 데이터를 이용하여, 상기 복수의 상태들 중 적어도 하나의 상태를 가질 확률에 대응하는 판단 값을 출력하도록 학습하며,
    상기 뉴렬 네트워크는,
    상기 단위 유닛이 복수의 상태들 각각으로 판단될 확률에 대응되는 복수의 피쳐 값들을 출력하는 특정 레이어를 포함하고,
    상기 로스 펑션은,
    다수의 단위 유닛들 중 상기 복수의 상태-상기 복수의 상태는 보다 높은 확률의 상태를 가질 것으로 판단되는 제1상태 및 제1상태보다는 낮은 상태 가질 것으로 판단되는 제2상태를 포함함-로 라벨링된 듀얼 라벨링 단위 유닛에 대해, 상기 특정 레이어의 피쳐 값들 중 제1상태에 상응하는 제1피쳐 값과 상기 제2상태에 상응하는 제2피쳐 값을 모두 반영하여 로스를 연산하도록 정의되는 것을 특징으로 하는 듀얼 클래스를 지원하는 질병 진단 시스템.
  2. 제1항에 있어서, 상기 로스 펑션은,
    상기 제1피쳐 값에 비해 상기 제2피쳐 값이 보다 많은 로스를 가지도록 정의되는 것을 특징으로 하는 듀얼 클래스를 지원하는 질병 진단 시스템.
  3. 제2항에 있어서, 상기 로스 펑션은 다음과 같은 수학식 1으로 정의되는 것을 특징으로 하는 듀얼 클래스를 지원하는 질병 진단 시스템.
    [수학식 1]
    Figure PCTKR2019006758-appb-I000016
    여기서
    Figure PCTKR2019006758-appb-I000017
    는 복수의 상태들의 인덱스,
    Figure PCTKR2019006758-appb-I000018
    는 복수의 상태들 중
    Figure PCTKR2019006758-appb-I000019
    번째 상태에 상응하는 피쳐 값,
    Figure PCTKR2019006758-appb-I000020
    는 상기 제1피쳐 값,
    Figure PCTKR2019006758-appb-I000021
    는 상기 제2피쳐 값임.
  4. 제1항에 있어서, 상기 단위 유닛은,
    상기 생체이미지의 픽셀 단위인 것을 특징으로 하는 듀얼 클래스를 지원하는 질병 진단 시스템.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 픽셀 단위의 판단 값에 기초하여 각각의 픽셀이 미리 정해진 판단 값을 가지는 경우 해당 픽셀은 질병에 해당하는 질병 픽셀로 판단하고, 판단결과에 기초하여 상기 생체이미지에서 질병 픽셀을 다른 픽셀과 구분하여 표시하는 것을 특징으로 하는 듀얼 클래스를 지원하는 질병 진단 시스템.
  6. 제1항에 있어서, 상기 질병은,
    전립선 암인 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
  7. 제6항에 있어서, 상기 복수의 상태들은,
    정상, 글리슨 스코어 3, 글리슨 스코어 4, 및 글리슨 스코어 5를 포함하는 것을 특징으로 하는 듀얼 클래스를 지원하는 질병 진단 시스템.
  8. 프로세서 및 저장장치를 포함하는 시스템에 구현되며 생체이미지와 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법에 있어서,
    상기 저장장치에 저장된 상기 뉴럴 네트워크를 소정의 로스 펑션과 상기 생체이미지에 포함된 소정의 단위 유닛에 대해 상기 단위 유닛이 복수의 상태들 중 적어도 하나의 상태를 가질 것으로 라벨링된 학습 데이터를 입력받는 단계;
    입력받은 학습 데이터를 이용하여 각각의 단위 유닛에 대해 상기 복수의 상태들 중 적어도 하나의 상태를 가질 확률에 대응하는 판단 값을 출력하도록 학습하는 단계를 포함하며,
    상기 뉴렬 네트워크는,
    상기 단위 유닛이 복수의 상태들 각각으로 판단될 확률에 대응되는 복수의 피쳐 값들을 출력하는 특정 레이어를 포함하고,
    상기 로스 펑션은,
    다수의 단위 유닛들 중 상기 복수의 상태-상기 복수의 상태는 보다 높은 확률의 상태를 가질 것으로 판단되는 제1상태 및 제1상태보다는 낮은 상태 가질 것으로 판단되는 제2상태를 포함함-로 라벨링된 듀얼 라벨링 단위 유닛에 대해, 상기 특정 레이어의 피쳐 값들 중 제1상태에 상응하는 제1피쳐 값과 상기 제2상태에 상응하는 제2피쳐 값을 모두 반영하여 로스를 연산하도록 정의되는 것을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 로스 펑션은,
    상기 제1피쳐 값에 비해 상기 제2피쳐 값이 보다 많은 로스를 가지도록 정의되는 것을 특징으로 하는 듀얼 클래스를 지원하는 질병 진단 시스템.
  10. 제9항에 있어서, 상기 로스 펑션은 다음과 같은 수학식 1으로 정의되는 것을 특징으로 하는 방법.
    [수학식 1]
    Figure PCTKR2019006758-appb-I000022
    여기서
    Figure PCTKR2019006758-appb-I000023
    는 복수의 상태들의 인덱스,
    Figure PCTKR2019006758-appb-I000024
    는 복수의 상태들 중
    Figure PCTKR2019006758-appb-I000025
    번째 상태에 상응하는 피쳐 값,
    Figure PCTKR2019006758-appb-I000026
    는 상기 제1피쳐 값,
    Figure PCTKR2019006758-appb-I000027
    는 상기 제2피쳐 값임.
  11. 제8항에 있어서, 상기 방법은,
    상기 픽셀 단위의 판단 값에 기초하여 각각의 픽셀이 미리 정해진 판단 값을 가지는 경우 해당 픽셀은 질병에 해당하는 질병 픽셀로 판단하는 단계; 및
    판단결과에 기초하여 상기 생체이미지에서 질병 픽셀을 다른 픽셀과 구분하여 표시하는 단계를 더 포함하는 방법.
  12. 데이터 처리장치에 설치되며 제8항 내지 제11항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
PCT/KR2019/006758 2018-06-04 2019-06-04 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법 WO2019235827A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980037858.6A CN112236829A (zh) 2018-06-04 2019-06-04 一种支持双重类别的疾病诊断***及其方法
JP2020566818A JP7109815B2 (ja) 2018-06-04 2019-06-04 デュアルクラスに対応できる疾病診断システム及び該方法
US16/972,231 US12009099B2 (en) 2018-06-04 2019-06-04 Disease diagnosis system for supporting dual class, and method therefor
EP19815441.1A EP3799070A4 (en) 2018-06-04 2019-06-04 DISEASE DIAGNOSTIC SYSTEM FOR SUPPORTING A DUAL CLASS AND ASSOCIATED METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0064331 2018-06-04
KR1020180064331A KR102162895B1 (ko) 2018-06-04 2018-06-04 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2019235827A1 true WO2019235827A1 (ko) 2019-12-12

Family

ID=68770904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006758 WO2019235827A1 (ko) 2018-06-04 2019-06-04 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법

Country Status (6)

Country Link
US (1) US12009099B2 (ko)
EP (1) EP3799070A4 (ko)
JP (1) JP7109815B2 (ko)
KR (1) KR102162895B1 (ko)
CN (1) CN112236829A (ko)
WO (1) WO2019235827A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215269B1 (ko) * 2018-08-07 2021-02-15 주식회사 딥바이오 진단 결과 생성 시스템 및 방법
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7467119B2 (en) * 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
US20150213302A1 (en) * 2014-01-30 2015-07-30 Case Western Reserve University Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR20160037022A (ko) * 2014-09-26 2016-04-05 삼성전자주식회사 부스트 풀링 뉴럴 네트워크 기반의 데이터 분류 장치 및 그 데이터 분류 장치를 위한 뉴럴 네트워크 학습 방법
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040199482A1 (en) * 2002-04-15 2004-10-07 Wilson Scott B. Systems and methods for automatic and incremental learning of patient states from biomedical signals
US7761240B2 (en) 2004-08-11 2010-07-20 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
US7599893B2 (en) 2005-10-13 2009-10-06 Aureon Laboratories, Inc. Methods and systems for feature selection in machine learning based on feature contribution and model fitness
ES2795036T3 (es) * 2008-07-25 2020-11-20 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistemas y métodos para tratar, diagnosticar y predecir la aparición de una afección médica
JP6654634B2 (ja) 2014-12-03 2020-02-26 ベンタナ メディカル システムズ， インコーポレイテッド 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置
WO2016094330A2 (en) * 2014-12-08 2016-06-16 20/20 Genesystems, Inc Methods and machine learning systems for predicting the liklihood or risk of having cancer
JP6644075B2 (ja) 2015-08-19 2020-02-12 興和株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10339650B2 (en) * 2016-01-07 2019-07-02 Koios Medical, Inc. Method and means of CAD system personalization to reduce intraoperator and interoperator variation
US10572996B2 (en) 2016-06-28 2020-02-25 Contextvision Ab Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
US10991093B2 (en) * 2016-09-21 2021-04-27 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
JP6965343B2 (ja) 2016-10-31 2021-11-10 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 制御フィードバックを用いる画像セグメンテーションの方法及びシステム
KR101869438B1 (ko) * 2016-11-22 2018-06-20 네이버 주식회사 딥 러닝을 이용하여 환자의 진단 이력으로부터 질병 예후를 예측하는 방법 및 시스템
KR101944536B1 (ko) 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
US10489908B2 (en) * 2017-02-22 2019-11-26 Siemens Healthcare Gmbh Deep convolutional encoder-decoder for prostate cancer detection and classification
US10977843B2 (en) * 2017-06-28 2021-04-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining parameters for medical image processing
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析***以及存储介质
US10650286B2 (en) * 2017-09-07 2020-05-12 International Business Machines Corporation Classifying medical images using deep convolution neural network (CNN) architecture
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
US10540578B2 (en) * 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification
US10937540B2 (en) * 2017-12-21 2021-03-02 International Business Machines Coporation Medical image classification based on a generative adversarial network trained discriminator
US11256973B2 (en) * 2018-02-05 2022-02-22 Nuance Communications, Inc. Neural network with embedded filter layer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7467119B2 (en) * 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
US20150213302A1 (en) * 2014-01-30 2015-07-30 Case Western Reserve University Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR20160037022A (ko) * 2014-09-26 2016-04-05 삼성전자주식회사 부스트 풀링 뉴럴 네트워크 기반의 데이터 분류 장치 및 그 데이터 분류 장치를 위한 뉴럴 네트워크 학습 방법
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템

Also Published As

Publication number Publication date
KR102162895B1 (ko) 2020-10-07
JP2021526261A (ja) 2021-09-30
US12009099B2 (en) 2024-06-11
US20210142900A1 (en) 2021-05-13
EP3799070A4 (en) 2022-03-02
KR20190143509A (ko) 2019-12-31
CN112236829A (zh) 2021-01-15
JP7109815B2 (ja) 2022-08-01
EP3799070A1 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
WO2018106005A1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
WO2020032562A2 (ko) 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
WO2019235827A1 (ko) 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
WO2021025458A1 (ko) 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
WO2021194056A1 (en) Method for training deep learning network based on artificial intelligence and learning device using the same
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2020101457A2 (ko) 지도학습기반의 합의 진단방법 및 그 시스템
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2022092993A1 (ko) 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2024014789A1 (ko) 차트축감지방법 및 장치
WO2015126058A1 (ko) 암 예후 예측 방법
WO2022149658A1 (ko) 뉴럴 네트워크의 출력 해석 방법 및 이를 위한 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19815441

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020566818

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019815441

Country of ref document: EP

Effective date: 20201130

ENP Entry into the national phase

Ref document number: 2019815441

Country of ref document: EP

Effective date: 20201130