WO2020076134A1 - Device and method for correcting cancer region information - Google Patents

Abstract

According to the present invention, a device for correcting cancer region information may be provided. The device for correcting cancer region information may include: a diagnosis region detection unit which includes a diagnosis region detection model that has, as an input, at least one parametric Magnetic Resonance Imaging (MRI) image composed on the basis of different parameters and that has, as an output, information obtained by labeling a diagnosis region; a cancer region detection unit which includes a cancer region detection model that has, as an input, at least one parametric MRI image corresponding to the diagnosis region, and that has, as an output, cancer region information; and a cancer region information correction unit which corrects the cancer region information by reflecting clinical information acquired through clinical testing of the diagnosis region, as the cancer region information which corresponds to an image to be analyzed is output through the diagnosis region detection model and the cancer region detection model.

Description

암 영역 정보 보정 장치 및 방법Apparatus and method for correcting cancer area information

본 개시는 딥러닝 모델 학습 기술에 관한 것이며, 보다 구체적으로는 영상 정보 분석을 기반으로 검출된 암 영역 정보를 보정하는 방법 및 장치에 대한 것이다.The present disclosure relates to a deep learning model learning technique, and more particularly, to a method and apparatus for correcting detected dark area information based on image information analysis.

딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.Deep learning is learning a very large amount of data, and when new data is input, the probability of selecting the highest answer based on the learning result is selected. Since deep learning can operate adaptively according to an image and automatically finds characteristic factors in the process of learning a model based on data, recent attempts to utilize it in the field of artificial intelligence are increasing.

한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.Meanwhile, in relation to image recognition, a conventional image analysis technique using deep learning uses a convolutional neural network (CNN) and a maximum pooling technique to extract local features for each region of an image and then Based on the video recognition. However, this method has a problem in that the contents of the actual image are different, but an accurate recognition result is not provided for an image having a similar local information type.

한편, 사용자 또는 환자의 신체를 촬영한 자기공명영상(MRI; Magnetic Resonance Imaging)에 다양한 파라미터를 적용하여 다양한 영상, 즉, 파라메트릭 MRI를 재구성할 수 있다. 이러한 파라메트릭 MRI는 신체의 변화나, 질병을 나타내는 중요한 요소로 사용될 수 있다. Meanwhile, various parameters, that is, parametric MRI, may be reconstructed by applying various parameters to a magnetic resonance imaging (MRI) of a user or a patient's body. This parametric MRI can be used as an important factor to indicate changes in the body or disease.

그러나, 특정 질병에 대하여 사용자 또는 환자의 상태는 다양하게 나타날 수 있으며, 또한, 질병 역시 다양한 특성이나 형태를 나타낼 수 있다. 따라서, 파라메트릭 MRI가 나타내는 정보와 신체의 변화 또는 질병과의 상관관계를 정형화하기 어려운 문제가 있다.However, the status of a user or a patient may be various for a specific disease, and the disease may also exhibit various characteristics or forms. Therefore, there is a problem in that it is difficult to formalize the correlation between the information indicated by the parametric MRI and changes in the body or disease.

본 개시의 기술적 과제는 멀티 파라메트릭 MRI를 사용하는 딥러닝 학습에 기초하여 암 영역 정보를 정확하게 검출하는 방법 및 장치에 대한 것이다.Technical problems of the present disclosure are directed to a method and apparatus for accurately detecting cancer region information based on deep learning learning using multi-parametric MRI.

본 개시의 다른 기술적 과제는 딥러닝 학습 모델을 통해 검출된 암 영역 정보를 보정하는 방법 및 장치에 대한 것이다.Another technical problem of the present disclosure relates to a method and apparatus for correcting cancer region information detected through a deep learning learning model.

본 개시의 또 다른 기술적 과제는 사용자의 생체정보를 반영하여, 딥러닝 학습 모델을 통해 검출된 암 영역 정보를 보정하는 방법 및 장치에 대한 것이다.Another technical problem of the present disclosure relates to a method and apparatus for correcting cancer region information detected through a deep learning learning model by reflecting biometric information of a user.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present disclosure are not limited to the technical problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those skilled in the art from the description below. Will be able to.

본 개시의 일 양상에 따르면, 암 영역 정보 보정 장치가 제공될 수 있다. 상기 장치는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력으로 하고, 진단 영역을 라벨링한 정보를 출력으로 하는 진단 영역 검출모델을 포함하는 진단 영역 검출부와, 상기 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하는 암 영역 검출부와, 상기 진단 영역 검출모델 및 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 암 영역 정보가 출력됨에 따라, 상기 진단 영역에 대한 임상시험을 통해 획득한 임상정보를 반영하여, 상기 암 영역 정보를 보정하는 암 영역 정보 보정부를 포함할 수 있다. According to an aspect of the present disclosure, an apparatus for correcting dark area information may be provided. The apparatus comprises a diagnostic area detection unit including a diagnostic area detection model that inputs at least one parametric magnetic resonance imaging (MRI) configured based on different parameters and outputs information labeling a diagnostic area, and the diagnosis A cancer region detection unit including a cancer region detection model that receives at least one parametric MRI corresponding to a region and outputs cancer region information, and the diagnosis region detection model and the cancer region detection model to the analysis target image. As the corresponding cancer region information is output, a cancer region information correction unit for correcting the cancer region information may be included by reflecting the clinical information obtained through the clinical trial for the diagnosis region.

본 개시의 다른 양상에 따르면, 암 영역 정보 보정 방법이 제공될 수 있다. 상기 방법은 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력으로 하고, 진단 영역을 라벨링한 정보를 출력으로 하는 진단 영역 검출모델을 구축하는 과정과, 상기 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역을 라벨링한 정보를 출력으로 하는 암 영역 검출모델을 구축하는 과정과, 상기 적어도 하나의 파라메트릭 MRI를 분석 대상 영상으로서 입력받는 과정과, 상기 진단 영역 검출모델 및 암 영역 검출모델을 사용하여, 상기 분석 대상 영상에 대응되는 암 영역 정보를 확인하는 과정과, 상기 진단 영역에 대한 임상시험을 통해 획득한 임상정보를 반영하여, 상기 암 영역 정보를 보정하는 과정을 포함할 수 있다. According to another aspect of the present disclosure, a method of correcting dark area information may be provided. The method includes a process of constructing a diagnostic area detection model using at least one parametric Magnetic Resonance Imaging (MRI) configured based on different parameters as input, and outputting information that labels the diagnostic area. A process of constructing a cancer area detection model that outputs at least one corresponding parametric MRI as input, and outputs information labeling the cancer area, and receiving the at least one parametric MRI as an analysis target image; Using the diagnostic area detection model and the cancer area detection model, the process of identifying cancer area information corresponding to the analysis target image and reflecting the clinical information obtained through clinical tests on the diagnosis area, the cancer area It may include the process of correcting the information.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above with respect to the present disclosure are merely illustrative aspects of the detailed description of the present disclosure described below, and do not limit the scope of the present disclosure.

본 개시에 따르면, 멀티 파라메트릭 MRI를 사용하는 딥러닝 학습에 기초하여 암 영역 정보를 정확하게 검출하는 방법 및 장치가 제공될 수 있다. According to the present disclosure, a method and apparatus for accurately detecting cancer region information based on deep learning learning using multi-parametric MRI may be provided.

또한, 본 개시에 따르면, 딥러닝 학습 모델을 통해 검출된 암 영역 정보를 보정함으써, 보다 정확하게 암 영역 정보를 검출하는 방법 및 장치가 제공될 수 있다. Further, according to the present disclosure, a method and apparatus for more accurately detecting dark region information by correcting the dark region information detected through a deep learning learning model may be provided.

또한, 본 개시에 따르면, 사용자의 생체정보를 반영함으로써, 딥러닝 학습 모델을 통해 검출된 암 영역 정보의 신뢰성을 높일 수 있는 방법 및 장치가 제공될 수 있다. In addition, according to the present disclosure, a method and apparatus for improving reliability of cancer region information detected through a deep learning learning model may be provided by reflecting biometric information of a user.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those skilled in the art from the following description. will be.

도 1은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 구성을 나타내는 블록도이다. 1 is a block diagram showing the configuration of a deep learning model learning apparatus according to an embodiment of the present disclosure.

도 2a 내지 도 2g는 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작에 의해 처리되는 정보를 예시하는 도면이다.2A to 2G are diagrams illustrating information processed by an operation of a deep learning model learning apparatus according to an embodiment of the present disclosure.

도 3은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.3 is a block diagram showing a configuration of a cancer detection model learning unit provided in a deep learning model learning apparatus according to an embodiment of the present disclosure.

도 4는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.4 is a diagram illustrating a process of generating and analyzing context information of an image according to an embodiment of the present disclosure.

도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.5 is a diagram for explaining an embodiment of a multi-product neural network generating a multi-channel feature map.

도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.6 is a view for explaining an embodiment of a pooling technique.

도 7은 본 개시의 일 실시 예에 따른 암 영역 정보 보정장치의 구성을 나타내는 블록도이다.7 is a block diagram showing the configuration of a dark area information correction device according to an embodiment of the present disclosure.

도 8a 내지 도 8d는 본 개시의 일 실시 예에 따른 암 영역 정보 보정장치에 의해 처리되는 영상 또는 정보의 일 예시도이다. 8A to 8D are exemplary views of an image or information processed by a dark region information correction apparatus according to an embodiment of the present disclosure.

도 9는 본 개시의 일 실시예에 따른 암 영역 정보 보정방법의 순서를 도시하는 흐름도이다. 9 is a flowchart illustrating a procedure of a method for correcting dark area information according to an embodiment of the present disclosure.

도 10은 본 개시의 일 실시예에 따른 암 영역 정보 보정방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다. 10 is a block diagram illustrating a computing system executing a method and apparatus for correcting dark area information according to an embodiment of the present disclosure.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, exemplary embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present disclosure pertains can easily carry out the embodiments. However, the present disclosure may be implemented in various different forms and is not limited to the embodiments described herein.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In describing the embodiments of the present disclosure, when it is determined that a detailed description of known configurations or functions may obscure the subject matter of the present disclosure, detailed description thereof will be omitted. In the drawings, parts irrelevant to the description of the present disclosure are omitted, and similar reference numerals are used for similar parts.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when a component is said to be "connected", "coupled" or "connected" with another component, this is not only a direct connection relationship, but also an indirect connection relationship in which another component exists in the middle. It may also include. Also, when a component is said to "include" or "have" another component, this means that other components may be further included instead of excluding other components unless specifically stated to the contrary. .

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, terms such as first and second are used only for the purpose of distinguishing one component from other components, and do not limit the order or importance of components, etc., unless otherwise specified. Accordingly, within the scope of the present disclosure, the first component in one embodiment may be referred to as a second component in another embodiment, and likewise the second component in one embodiment may be the first component in another embodiment It can also be called.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components that are distinguished from each other are for clarifying each feature, and the components are not necessarily separated. That is, a plurality of components may be integrated to be composed of one hardware or software unit, or one component may be distributed to be composed of a plurality of hardware or software units. Accordingly, such integrated or distributed embodiments are included in the scope of the present disclosure, unless otherwise stated.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, components described in various embodiments are not necessarily essential components, and some may be optional components. Accordingly, an embodiment consisting of a subset of components described in one embodiment is also included in the scope of the present disclosure. In addition, embodiments including other components in addition to the components described in various embodiments are also included in the scope of the present disclosure.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.

우선, 본 개시의 일 실시 예에 따른 암 영역 정보 보정장치는 진단 영역 검출모델 및 암 영역 검출모델을 사용하여 파라메트릭 MRI에서 암 영역을 나타내는 암 영역 정보를 제공할 수 있다. 본 개시의 일 실시 예에 따른 암 영역 정보 보정장치에 사용되는 진단 영역 검출모델 및 암 영역 검출모델은 본 개시의 일 실시예에 따른 암 영역 학습 장치에 의해 구축될 수 있다. First, the apparatus for correcting cancer region information according to an embodiment of the present disclosure may provide cancer region information indicating a cancer region in a parametric MRI using a diagnostic region detection model and a cancer region detection model. The diagnostic region detection model and the cancer region detection model used in the cancer region information correction apparatus according to an embodiment of the present disclosure may be constructed by the cancer region learning apparatus according to an embodiment of the present disclosure.

도 1은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a deep learning model learning apparatus according to an embodiment of the present disclosure.

도 1을 참조하면, 딥러닝 모델 학습 장치(10)는 암 검출모델 학습부(11), 파라메트릭 MRI 입력부(13), 라벨링 참조정보 제공부(15), 및 라벨링 처리부(17)를 포함할 수 있다.Referring to FIG. 1, the deep learning model learning apparatus 10 includes a cancer detection model learning unit 11, a parametric MRI input unit 13, a labeling reference information providing unit 15, and a labeling processing unit 17. You can.

우선, 암 검출모델 학습부(11)는 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 암 검출모델의 학습을 수행할 수 있다. 특히, 암 검출모델 학습부(11)가 암 검출모델의 학습을 수행하기 위해서 분석 대상 영상을 입력받을 수 있으며, 분석 대상 영상에 포함된 특정 객체 또는 특정 영역을 암 영역으로 입력받는 동작, 즉, 라벨링(Labeling) 동작을 수행할 수 있다. First, the cancer detection model learning unit 11 may perform learning of the cancer detection model based on a convolutional neural network (CNN) technique or a pooling technique. In particular, the cancer detection model learning unit 11 may receive an analysis target image in order to perform learning of the cancer detection model, and receive a specific object or a specific region included in the analysis target image as a cancer region, that is, A labeling operation may be performed.

그리고, 암 검출모델 학습부(11)는 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성함으로써, 암 검출모델을 학습할 수 있다. 그리고, 암 검출모델 학습부(11)는 암 검출모델의 학습을 반복적으로 수행하여 암 검출모델(100)을 구축할 수 있다. In addition, the cancer detection model learning unit 11 can learn the cancer detection model by extracting features of an analysis target image and generating predetermined context information based on the extracted features. In addition, the cancer detection model learning unit 11 may construct the cancer detection model 100 by repeatedly learning the cancer detection model.

암 검출모델 학습부(11)는 분석 대상 영상으로서 MRI 영상을 입력받을 수 있는데, 이러한 분석 대상 영상의 입력은 파라메트릭 MRI 입력부(13)에 의해 처리될 수 있다. 파라메트릭 MRI 입력부(13)는 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI를 암 검출모델 학습부(11)에 제공할 수 있다. The cancer detection model learning unit 11 may receive an MRI image as an analysis target image, and the input of the analysis target image may be processed by the parametric MRI input unit 13. The parametric MRI input unit 13 may provide the user's body with an image captured by a magnetic resonance imaging (MRI) imaging device, that is, an MRI to the cancer detection model learning unit 11.

나아가, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다.Furthermore, various images may be reconstructed by applying various parameters to the MRI. In one embodiment of the present disclosure, an image reconstructed by applying predetermined parameters to the MRI is referred to as a parametric MRI.

*이에 기초하여, 파라메트릭 MRI 입력부(13)는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR (Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 등을 포함할 수 있다.* Based on this, the parametric MRI input unit 13 may provide at least one parametric MRI configured based on different parameters to the cancer detection model learning unit 11. Here, the at least one parametric MRI includes T1 (T1-weighted) image, T2 (T2-weighted) image, T2 * (T2 star) image, ADC (apparent diffusion coefficients) image, FLAIR (Fluid Attenuated inversion recovery) image, It may include a Short TI inversion recovery (STIR) image, a Perfusion weighted image (PWI), and the like.

나아가, 암 검출모델 학습부(11)는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 파라메트릭 MRI 입력부(13)는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 암 검출모델 학습부(11)에 입력할 수 있다. Furthermore, the cancer detection model learning unit 11 may learn a cancer detection model for various body organs or diagnosis areas provided in a user's (or patient's) body, each body organ or diagnosis area, or a body organ or diagnosis area At least one parametric MRI may be selectively used based on the characteristics of the cancer region present in. To this end, the parametric MRI input unit 13 may selectively input at least one parametric MRI corresponding to a body organ or a diagnostic region into the cancer detection model learning unit 11.

예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 파라메트릭 MRI 입력부(13)는 T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 파라메트릭 MRI 입력부(13)는 STIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 파라메트릭 MRI 입력부(13)는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.For example, when the body organ or the diagnosis region is the prostate region, the parametric MRI input unit 13 may input a T2 (T2-weighted) image, an ADC (apparent diffusion coefficients) image, and the like. As another example, when the body organ or the diagnosis area is the liver area, the parametric MRI input unit 13 may input a STIR image, a T1 image, a T1 with Agents image, a T2 image, and the like. As another example, when the body organ or the diagnosis area is the brain area, the parametric MRI input unit 13 may input a T1 image, a T2 image, or FLAIR.

또한, 파라메트릭 MRI 입력부(13)는 MRI를 암 검출모델 학습부(11)에 제공한 파라메트릭 MRI를 디스플레이 등을 통해 표시할 수 있다.In addition, the parametric MRI input unit 13 may display the parametric MRI provided with the MRI to the cancer detection model learning unit 11 through a display or the like.

추가적으로, 파라메트릭 MRI 입력부(13)는 사용자의 진단 영역이 위치한 신체를 촬영한 MRI를 기준으로 한 파라메트릭 MRI(이하, '원본 파라메트릭 MRI'라 함)를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 진단 영역을 추출한 파라메트릭 MRI(이하, '진단 영역의 파라메트릭 MRI'라 함)를 검출할 수 있다. 그리고, 진단 영역의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공하거나, 디스플레이 등을 통해 표시할 수 있다.Additionally, the parametric MRI input unit 13 may receive a parametric MRI (hereinafter referred to as 'original parametric MRI') based on the MRI of the body where the user's diagnostic area is located, and may be an original parametric MRI. It is possible to detect a parametric MRI (hereinafter referred to as 'parametric MRI of the diagnostic region') from which the diagnostic region has been extracted. Then, the parametric MRI of the diagnosis area may be provided to the cancer detection model learning unit 11 or displayed through a display or the like.

파라메트릭 MRI 입력부(13)가 원본 파라메트릭 MRI로부터 진단 영역의 파라메트릭 MRI를 추출하는 동작은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 수행할 수 있다. 예를 들어, 파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI를 입력으로 하고, 진단 영역의 파라메트릭 MRI를 출력으로 하는 학습을 통해 소정의 학습모델을 구축할 수 있다. 그리고, 파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI가 입력됨에 따라, 진단 영역의 파라메트릭 MRI를 검출하여 출력할 수 있다.The operation of extracting the parametric MRI of the diagnostic area from the original parametric MRI by the parametric MRI input unit 13 may be performed based on a convolutional neural network (CNN) technique or a pooling technique. For example, the parametric MRI input unit 13 may build a predetermined learning model through learning that uses an original parametric MRI as an input and outputs a parametric MRI of a diagnosis area as an output. And, as the original parametric MRI is input, the parametric MRI input unit 13 may detect and output the parametric MRI of the diagnosis area.

한편, 라벨링 참조정보 제공부(15)는 상기 암 영역의 라벨링 처리에 기여하는 정보를 제공할 수 있다. Meanwhile, the labeling reference information providing unit 15 may provide information contributing to the labeling processing of the cancer region.

사용자(또는 환자)의 진단 영역을 수술을 통하여 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 병리 영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 진단 영역의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.It is possible to construct a pathology image in which a user's (or a patient's) diagnostic area is extracted through surgery and a region in which cancer tissue is present in the extracted diagnostic area is visualized. In consideration of this, the labeling reference information providing unit 15 may provide an environment for receiving a pathology image, and may display the received pathology image through a display or the like. For example, the pathology image may include an image of a pathology map that maps an area where cancer is present in the extracted diagnostic region in the form of an image.

나아가, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타내는 DWI(Diffusion-weighted imaging)를 확인하고, 이를 디스플레이 등을 통해 표시할 수 있다. 여기서, DWI는 MRI 촬영 장치로부터 제공받거나, MRI 촬영 장치로부터 제공받은 MRI를 가공하여 획득할 수 있다.Furthermore, since the T2 image, the ADC image, and the like are made of a two-dimensional image, it may be difficult to identify cancer tissue existing in an area not displayed on the image itself. In consideration of this, the labeling reference information providing unit 15 checks DWI (diffusion-weighted imaging) indicating information in which water molecules contained in the tissue are diffused in a specific direction, and displays the information included in the MRI through the display, etc. Can be displayed. Here, the DWI may be obtained from an MRI imaging apparatus or may be obtained by processing an MRI provided from an MRI imaging apparatus.

마찬가지로, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직이나, 조직의 특성을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, 확인된 DCE 신호정보를 제공할 수 있는 환경을 구축할 수 있다. 예컨대, 라벨링 처리부(17)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 표시하면서, 사용자에 의해 지정되는 영역을 표시하는 표시자를 제공할 수 있으며, 사용자에 의해 선택되는 영역을 암 영역으로 설정할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)에 의해 생성 및 표시되는 상기 표시자가 지시하는 영역에 대한 DCE 신호정보를 확인하고, 확인된 DCE 신호정보를 디스플레이 등을 통해 표시할 수 있다. Similarly, the T2 image, the ADC image, and the like are made of a two-dimensional image, and thus it may be difficult to identify the cancer tissue or tissue characteristics existing in an area not displayed on the image itself. In consideration of this, the labeling reference information providing unit 15 may check Dynamic Contrast Enhanced (DCE) signal information, and construct an environment capable of providing the confirmed DCE signal information. For example, the labeling processing unit 17 may provide an indicator indicating an area designated by the user while displaying at least one parametric MRI (eg, T2 image), and the area selected by the user as a dark area Can be set. In consideration of this, the labeling reference information providing unit 15 checks DCE signal information for the area indicated by the indicator generated and displayed by the labeling processing unit 17, and displays the confirmed DCE signal information through a display, etc. can do.

라벨링 참조정보 제공부(15)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 디스플레이 등을 통해 표시할 수 있다. The labeling reference information providing unit 15 may display at least one reference information (eg, pathology image, DWI, DCE signal information, etc.) through a display.

다른 예로서, 라벨링 참조정보 제공부(15)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 순차적으로 선택하여 표시할 수 있다. 특히, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)와 연동하여 병리영상, DWI, 및 DCE 신호정보를 순차적으로 선택하여 표시할 수 있다. 예를 들어, 라벨링 참조정보 제공부(15)는 T2 영상, ADC 영상과 함께 병리영상을 디스플레이할 수 있다. 그리고, 병리영상이 디스플레이되는 상태에서, 라벨링 처리부(17)에 의해 1차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(15)는 T2 영상, ADC 영상과 함께 DWI를 디스플레이할 수 있다. 또한, DWI가 디스플레이되는 상태에서, 라벨링 처리부(17)에 의해 2차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(15)는 표시자가 지시하는 영역을 확인하고, 해당 영역에 대응되는 DCE 신호정보를 확인하여 표시할 수 있다.As another example, the labeling reference information providing unit 15 may sequentially select and display at least one reference information (eg, pathological image, DWI, DCE signal information, etc.). In particular, the labeling reference information providing unit 15 may sequentially select and display pathological images, DWI, and DCE signal information in conjunction with the labeling processing unit 17. For example, the labeling reference information providing unit 15 may display a pathological image together with a T2 image and an ADC image. Then, in a state in which the pathology image is displayed, as labeling processing unit 17 inputs information that primarily labels the cancer region, the labeling reference information providing unit 15 displays DWI together with the T2 image and the ADC image. can do. In addition, in the state in which the DWI is displayed, as the information labeling the cancer region secondary by the labeling processing unit 17 is input, the labeling reference information providing unit 15 checks the region indicated by the indicator, and the corresponding region DCE signal information corresponding to may be checked and displayed.

본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 적어도 하나의 참조정보를 순차적으로 제공하는 것을 예시하면서, 적어도 하나의 참조정보를 병리영상, DWI, DCE 신호정보 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다. 또한, 라벨링 참조정보 제공부(15)가 제공하는 적어도 하나의 참조정보의 순서 역시 다양하게 변경될 수 있음은 물론이다.In one embodiment of the present disclosure, while illustrating that the labeling reference information providing unit 15 sequentially provides at least one reference information, at least one reference information is illustrated as pathology image, DWI, DCE signal information, etc. The present disclosure is not limited thereto, and may be variously changed by those skilled in the art of the present disclosure. In addition, the order of at least one reference information provided by the labeling reference information providing unit 15 may also be variously changed.

나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보(즉, 참조정보)는 다양하게 변경될 수 있다. 이에 따라, 라벨링 참조정보 제공부(15)는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.Furthermore, depending on the characteristics of each body organ or diagnosis region or the cancer region present in the body organ or diagnosis region, information that can be used as reference information for labeling (that is, reference information) may be variously changed. Accordingly, the labeling reference information providing unit 15 selectively selects reference information contributing to the labeling processing of the cancer region based on the characteristics of each body organ or the diagnosis region or the cancer region existing in the body organ or the diagnosis region. Can provide.

예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 라벨링 참조정보 제공부(15)는 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 라벨링 참조정보 제공부(15)는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 라벨링 참조정보 제공부(15)는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.For example, when the body organ or the diagnosis region is the prostate region, the labeling reference information providing unit 15 includes a T1 Contrast image, a T2 Contrast image, a PET (Positron Emission Tomography), a SPECT (single photon emission computed tomography), and a DSA (Digital Subtraction). Angiography) can be provided as reference information. As another example, when the body organ or the diagnosis area is the liver area, the labeling reference information providing unit 15 may provide a T1 Contrast image, a T2 Contrast image, and the like as reference information. As another example, when the body organ or the diagnosis area is the brain area, the labeling reference information providing unit 15 may provide FDG-PET, SPECT, and the like as reference information.

한편, 라벨링 처리부(17)는 전술한 바와 같이, 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 제공하면서, 암 검출모델 학습부(11)가 암 검출모델을 학습하기 위한 출력값을 지정하는 동작, 즉 라벨링을 수행할 수 있는 환경을 제공할 수 있다. On the other hand, the labeling processing unit 17, as described above, while providing at least one parametric MRI (eg, T2 image), the cancer detection model learning unit 11 specifies an output value for learning the cancer detection model That is, it is possible to provide an environment in which labeling can be performed.

구체적으로, 라벨링 처리부(17)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 디스플레이에 출력하고, 출력되는 적어도 하나의 파라메트릭 MRI(예, T2 영상)에서 암이 존재하는 영역, 즉 암 영역을 입력받을 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 라벨링 처리부(17)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 소정의 표시자를 출력하고, 외부 입력장치를 통해 선택되는 영역을 암 영역으로 설정할 수 있다.Specifically, the labeling processing unit 17 outputs at least one parametric MRI (eg, T2 image) to the display, and an area in which cancer is present in the output at least one parametric MRI (eg, T2 image), that is, cancer It is possible to provide an interface for receiving an area. For example, the labeling processing unit 17 may be connected through an external input device such as a mouse device, a digitizer device, a touch screen device, etc., and outputs a predetermined indicator in an area designated by the external input device, and outputs the external input device. The region selected through may be set as a dark region.

이하, 도 1, 도 2a 내지 도 2g를 참조하여, 전술한 딥러닝 모델 학습 장치의 동작을 설명한다.Hereinafter, the operation of the above-described deep learning model learning apparatus will be described with reference to FIGS. 1 and 2A to 2G.

본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작 설명에서, 진단 영역은 전립선 영역으로 예시하고, 진단 영역에 존재하는 암은 전립선 암으로 예시하고, 암이 존재하는 영역은 전립선 암 영역으로 예시한다. In the operation description of the deep learning model learning apparatus according to an embodiment of the present disclosure, the diagnostic region is illustrated as a prostate region, the cancer present in the diagnostic region is illustrated as a prostate cancer, and the region where the cancer is present is a prostate cancer region For example.

도 2a 내지 도 2g는 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작에 의해 처리되는 정보를 예시하는 도면이다.2A to 2G are diagrams illustrating information processed by an operation of a deep learning model learning apparatus according to an embodiment of the present disclosure.

우선, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는, MRI에 다양한 파라미터를 적용하여 재구성한 영상으로서, T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 포함할 수 있다.First, the parametric MRI input unit 13 may provide at least one parametric MRI to the cancer detection model learning unit 11. Here, the at least one parametric MRI is an image reconstructed by applying various parameters to the MRI, and may include a T2 (T2-weighted) image, an ADC (apparent diffusion coefficients) image, and the like.

파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI(201, 202, 도 2a 참조)를 입력받을 수 있으며, 원본 파라메트릭 MRI(201, 202)로부터 전립선 영역을 추출한 파라메트릭 MRI, 즉, 전립선 영역의 파라메트릭 MRI(203, 204)를 검출할 수 있다. 그리고, 파라메트릭 MRI 입력부(13)는 전립선 영역의 파라메트릭 MRI(203, 204)를 암 검출모델 학습부(11)에 제공할 수 있다.The parametric MRI input unit 13 may receive the original parametric MRI (201, 202, see FIG. 2A), and the parametric MRI, that is, the prostate region extracted from the original parametric MRI 201, 202, Parametric MRIs 203 and 204 can be detected. In addition, the parametric MRI input unit 13 may provide the parametric MRI 203 and 204 of the prostate region to the cancer detection model learning unit 11.

파라메트릭 MRI 입력부(13)는 전립선 영역의 파라메트릭 MRI(203, 204)를 제공하는 화면(200, 도 2b 참조)을 디스플레이할 수 있다.The parametric MRI input unit 13 may display a screen 200 (see FIG. 2B) that provides the parametric MRIs 203 and 204 of the prostate region.

한편, 사용자(또는 환자)의 전립선을 추출하고, 추출된 전립선에서 암 조직이 존재하는 영역을 가시화한 병리영상을 구성할 수 있는데, 라벨링 참조정보 제공부(15)는 이러한 병리영상을 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 라벨링 참조정보 제공부(15)는 입력받은 병리영상(205)을 화면(200)의 일 영역을 통해 디스플레이할 수 있다.On the other hand, a user (or a patient) can extract a prostate and construct a pathology image visualizing an area where cancer tissue is present in the extracted prostate, the labeling reference information providing unit 15 can receive such a pathology image. Environment. In addition, the labeling reference information providing unit 15 may display the received pathology image 205 through an area of the screen 200.

그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 병리영상(205)을 표시하는 화면의 일 영역에 라벨링을 수행할 수 있는 사용자 인터페이스(210)를 제공할 수 있다. In addition, the labeling processing unit 17 displays the parametric MRI 203 and 204 of the prostate region provided by the parametric MRI input unit 13 and the pathological image 205 provided by the labeling reference information providing unit 15. A user interface 210 capable of performing labeling may be provided on an area of the screen.

상기 사용자 인터페이스(210)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(211)를 포함할 수 있다. 또한, 상기 사용자 인터페이스(210)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(212)를 포함할 수 있다. 또한, 라벨링 처리부(17)는 표시자(212)를 통해 선택되는 소정의 영역을 전립선 암 영역으로 설정할 수 있으며, 사용자 인터페이스(210)는 전립선 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(213)를 포함할 수 있다.The user interface 210 may include at least one parametric MRI (eg, T2 image) 211. In addition, the user interface 210 may be connected through an external input device such as a mouse device, a digitizer device, a touch screen device, etc., and include a predetermined indicator 212 output in a region designated by the external input device. You can. In addition, the labeling processing unit 17 may set a predetermined region selected through the indicator 212 as a prostate cancer region, and the user interface 210 may include a labeling indicator 213 displaying a corresponding region set as a prostate cancer region. It may include.

사용자 인터페이스(210)를 통해 전립선 암 영역이 설정되면, 라벨링 처리부(17)는 라벨링된 영역을 암 검출모델 학습부(11)에 제공한다. 이에 따라, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다. When the prostate cancer region is set through the user interface 210, the labeling processing unit 17 provides the labeled region to the cancer detection model learning unit 11. Accordingly, the cancer detection model learning unit 11 may learn the cancer detection model by inputting the parametric MRIs 203 and 204 of the prostate region and outputting the labeled region as the output.

나아가, MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. Furthermore, the MRI may include various parameters. Since the T2 image, the ADC image, and the like are made of a two-dimensional image, it may be difficult to identify cancer tissue existing in an area not displayed on the image itself.

한편, MRI에 기초하여 획득되는 영상 중, DWI(Diffusion-weighted imaging)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 라벨링 참조정보 제공부(15)는 DWI(206)를 화면(200)의 일 영역을 통해 디스플레이할 수 있다. On the other hand, among the images obtained based on the MRI, DWI (Diffusion-weighted imaging) may show information in which a water molecule contained in the tissue diffuses information contained in the MRI in a specific direction, such as a T2 image or an ADC image. Information that is not displayed can be expressed. The labeling reference information providing unit 15 may display the DWI 206 through an area of the screen 200.

또한, 라벨링 참조정보 제공부(15)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, DCE 신호정보(207)를 화면(200)의 일 영역을 통해 디스플레이할 수도 있다. DCE 신호정보(207)는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)와 연동되어 선택된 영역을 확인하고, 이에 대응되는 DCE 신호정보(207)를 표시할 수 있다. In addition, the labeling reference information providing unit 15 may check Dynamic Contrast Enhanced (DCE) signal information, and may display the DCE signal information 207 through an area of the screen 200. The DCE signal information 207 is information for checking the brightness of the corresponding organ, and may be information indicating a brightness of the selected area by selecting a predetermined area from an image obtained based on the MRI. Accordingly, the labeling reference information providing unit 15 may check the selected area in cooperation with the labeling processing unit 17 and display DCE signal information 207 corresponding thereto.

다른 예로서, 라벨링 참조정보 제공부(15)는 병리영상(205), DWI(206), 및 DCE 신호정보(207)를 순차적으로 제공할 수 있다.As another example, the labeling reference information providing unit 15 may sequentially provide the pathology image 205, the DWI 206, and the DCE signal information 207.

추가적으로, 라벨링 참조정보 제공부(15)는 참조정보로서 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 제공할 수도 있다.Additionally, the labeling reference information providing unit 15 may provide T1 Contrast image, T2 Contrast image, PET (Positron Emission Tomography), SPECT (single photon emission computed tomography), DSA (Digital Subtraction Angiography), etc. as reference information. .

라벨링 참조정보 제공부(15)는 병리영상(205)을 제공하고, 라벨링 처리부(17)가 병리영상(205)을 기반으로 한 라벨링 처리를 수행하면, DWI(206)를 제공할 수 있다. 이후, 라벨링 처리부(17)가 DWI(206)를 기반으로 한 라벨링 처리를 완료하면, DCE 신호정보(207)를 제공할 수 있다.The labeling reference information providing unit 15 may provide the pathology image 205, and when the labeling processing unit 17 performs labeling processing based on the pathology image 205, the DWI 206 may be provided. Thereafter, when the labeling processing unit 17 completes the labeling processing based on the DWI 206, the DCE signal information 207 may be provided.

좀 더 구체적으로, 전술한 바와 같이, 라벨링 참조정보 제공부(15)가 제1화면(220, 도 2c 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 병리영상(205)을 제공하고, 라벨링 처리부(17)가 제1사용자 인터페이스(230)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, 병리영상(205)을 기반으로 한 라벨링 처리를 수행할 수 있다. More specifically, as described above, the labeling reference information providing unit 15 provides the parametric MRI 203 and 204 of the prostate region and the pathology image 205 through the first screen 220 (see FIG. 2C). In addition, the labeling processing unit 17 may perform the labeling processing based on the pathology image 205 by setting the region selected through the first user interface 230 as the prostate cancer region.

그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, 병리영상(205)을 기반으로 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.In addition, the cancer detection model learning unit 11 may learn the cancer detection model by inputting the parametric MRI 203 and 204 of the prostate region as an input and outputting the labeled region based on the pathology image 205. .

이후, 라벨링 참조정보 제공부(15)는 제2화면(240, 도 2d 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 DWI(206)를 디스플레이 할 수 있다. 그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 DWI(206)를 표시하는 화면(240)의 일 영역에 라벨링을 수행할 수 있는 제2사용자 인터페이스(250)를 제공할 수 있다. 여기서, 제2사용자 인터페이스(250)는 전술한 제1사용자 인터페이스(230)와 마찬가지로, 적어도 하나의 파라메트릭 MRI(예, T2 영상)(251), 표시자(252), 라벨링 지시자(253)를 포함할 수 있다.Thereafter, the labeling reference information providing unit 15 may display the parametric MRIs 203 and 204 and the DWI 206 of the prostate region through the second screen 240 (see FIG. 2D). Then, the labeling processing unit 17 is a screen displaying the parametric MRI 203 and 204 of the prostate region provided by the parametric MRI input unit 13 and the DWI 206 provided by the labeling reference information providing unit 15 A second user interface 250 capable of labeling may be provided in one area of 240. Here, the second user interface 250, as in the first user interface 230 described above, at least one parametric MRI (eg, T2 image) 251, the indicator 252, the labeling indicator 253 It can contain.

이러한 환경에서, 라벨링 처리부(17)는 제2사용자 인터페이스(250)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, DWI(206)를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, DWI(206)를 기반으로 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.In this environment, the labeling processing unit 17 may perform the labeling processing based on the DWI 206 by setting the area selected through the second user interface 250 as the prostate cancer area. In addition, the cancer detection model learning unit 11 may learn the cancer detection model by using the parametric MRI 203 and 204 of the prostate region as an input, and outputting the labeled region based on the DWI 206.

추가적으로, 암 검출모델 학습부(11)는 병리영상(205)을 기반으로 라벨링된 전립선 암 영역을 입력으로서 처리할 수도 있다. Additionally, the cancer detection model learning unit 11 may process the labeled prostate cancer region as an input based on the pathology image 205.

또한, 라벨링 참조정보 제공부(15)는 제3화면(260, 도 2e 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 DCE 신호정보(207)를 디스플레이 할 수 있다. 그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 DCE 신호정보(207)를 표시하는 화면(260)의 일 영역에 라벨링을 수행할 수 있는 제3사용자 인터페이스(270)를 제공할 수 있다. 여기서, 제3사용자 인터페이스(270)는 전술한 제1사용자 인터페이스(230)와 마찬가지로, 적어도 하나의 파라메트릭 MRI(예, T2 영상)(271), 표시자(272), 라벨링 지시자(273) 등을 포함할 수 있다.In addition, the labeling reference information providing unit 15 may display the parametric MRI 203 and 204 and the DCE signal information 207 of the prostate region through the third screen 260 (see FIG. 2E). In addition, the labeling processing unit 17 displays the parametric MRI 203 and 204 of the prostate region provided by the parametric MRI input unit 13 and DCE signal information 207 provided by the labeling reference information providing unit 15. A third user interface 270 capable of performing labeling may be provided on an area of the screen 260. Here, the third user interface 270, like the first user interface 230 described above, includes at least one parametric MRI (eg, T2 image) 271, an indicator 272, a labeling indicator 273, and the like. It may include.

이러한 환경에서, 라벨링 처리부(17)는 제3사용자 인터페이스(270)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, DCE 신호정보(207)를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, DCE 신호정보(207)를 기반으로 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.In this environment, the labeling processing unit 17 may perform a labeling process based on the DCE signal information 207 by setting an area selected through the third user interface 270 as a prostate cancer area. In addition, the cancer detection model learning unit 11 can learn the cancer detection model by inputting the parametric MRIs 203 and 204 of the prostate region and outputting the labeled region based on the DCE signal information 207 as an output. have.

추가적으로, 암 검출모델 학습부(11)는 DWI(206)를 기반으로 라벨링된 전립선 암 영역을 입력으로서 처리할 수도 있다. Additionally, the cancer detection model learning unit 11 may process the prostate cancer region labeled based on the DWI 206 as an input.

본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 병리영상(205), DWI(206), 및 DCE 신호정보(207) 순서로 참조정보를 제공하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 라벨링 참조정보 제공부(15)가 참조정보를 제공하는 순서는 다양하게 변경될 수 있다. In one embodiment of the present disclosure, the labeling reference information providing unit 15 illustrates that the reference information is provided in the order of the pathology image 205, the DWI 206, and the DCE signal information 207, but this disclosure It is not limited. The order in which the labeling reference information providing unit 15 provides reference information may be variously changed.

또한, 본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 제공하는 참조정보를 병리영상(205), DWI(206), DCE 신호정보(207) 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 라벨링 참조정보 제공부(15)가 제공하는 참조정보는 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다.In addition, in one embodiment of the present disclosure, the reference information provided by the labeling reference information providing unit 15 is illustrated as pathology image 205, DWI 206, DCE signal information 207, etc., but this disclosure It is not limited, and the reference information provided by the labeling reference information providing unit 15 may be variously changed by those skilled in the art of the present disclosure.

또한, 본 개시의 일 실시예에서, 암 검출모델 학습부(11)가 상기 적어도 하나의 파라메트릭 MRI를 기본적인 입력으로 하여 딥러닝 모델을 학습하는 것을 예시하였다. 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다. 예컨대, 암 검출모델 학습부(11)는 DWI 및 DCE 신호정보 중 적어도 하나를 입력으로서 사용할 수 있다. 즉, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 DWI에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DWI를 입력으로서 사용할 수 있다. 마찬가지로, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 DCE 신호정보에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DCE 신호정보를 입력으로서 사용할 수 있다.In addition, in one embodiment of the present disclosure, it has been illustrated that the cancer detection model learning unit 11 learns a deep learning model using the at least one parametric MRI as a basic input. It should be understood that the present disclosure is not limited to this, and may be variously changed. For example, the cancer detection model learning unit 11 may use at least one of DWI and DCE signal information as input. That is, the cancer detection model learning unit 11 may use DWI with at least one parametric MRI as an input when learning a deep learning model using labeling information based on at least one parametric MRI and DWI. Similarly, the cancer detection model learning unit 11 may use DCE signal information as an input together with at least one parametric MRI when learning a deep learning model using labeling information based on at least one parametric MRI and DCE signal information. have.

추가적으로, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 병리정보에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 병리정보를 입력으로서 사용할 수도 있다.Additionally, the cancer detection model learning unit 11 may use pathology information as an input together with at least one parametric MRI when learning a deep learning model using labeling information based on at least one parametric MRI and pathology information.

비록, 본 개시의 실시예에서 진단 영역을 전립선 영역으로 예시하고 암이 존재하는 영역은 전립선 암 영역으로 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 다른 진단 영역에 다양하게 변경하여 적용할 수 있음은 물론이다.Although, in the embodiments of the present disclosure, the diagnosis region is illustrated as the prostate region and the region where the cancer is present is illustrated as the prostate cancer region, the present disclosure is not limited thereto, and may be variously changed and applied to other diagnostic regions. Yes, of course.

예컨대, 도 2f 및 도 2g에 예시되는 바와 같이, 진단 영역을 간이 존재하는 영역으로 적용할 수 있으며, 암이 존재하는 영역은 간암 영역으로 적용할 수 있다. 이에 따라, 암 검출모델 학습부(11)는 간이 존재하는 영역 또는 간암 영역을 고려하여 동작할 수 있다. For example, as illustrated in FIGS. 2F and 2G, a diagnostic region may be applied as an area where the liver is present, and an area where cancer is present may be applied as a liver cancer area. Accordingly, the cancer detection model learning unit 11 may operate in consideration of an area in which the liver exists or a liver cancer area.

구체적으로, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI로서 STIR (Short TI inversion recovery) 영상, T1(T1-weighted) 영상, T1 with Agents 영상 등의 원본 파라메트릭 MRI(281, 282, 283, 284, 도 2f 참조)로부터 간 영역을 추출한 파라메트릭 MRI, 즉, 간 영역의 파라메트릭 MRI(285, 286, 287, 288)를 검출 및 제공할 수 있다.Specifically, the parametric MRI input unit 13 is at least one parametric MRI, such as a STIR (Short TI inversion recovery) image, a T1 (T1-weighted) image, a T1 with Agents image, and an original parametric MRI (281, 282, 283, 284 (see FIG. 2F), and a parametric MRI extracted from the liver region, that is, a parametric MRI of the liver region (285, 286, 287, 288) may be detected and provided.

라벨링 처리부(17)는 라벨링 참조정보 제공부(15)가 제공하는 참조정보(예, T1 Contrast, T2 Contrast 등)에 기초하여 선택되는 영역을 간암 영역으로 설정함으로써, 참조정보를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 간 영역의 파라메트릭 MRI(285, 286, 287, 288)를 입력으로 하고, 참조정보를 기반으로 라벨링된 영역(291, 292, 293, 294, 도 2g 참조)을 출력으로 하여 간암 검출모델을 학습할 수 있다.The labeling processing unit 17 sets a region selected based on reference information (eg, T1 Contrast, T2 Contrast, etc.) provided by the labeling reference information providing unit 15 as a liver cancer region, thereby labeling processing based on reference information You can do Then, the cancer detection model learning unit 11 inputs the parametric MRI of the liver region (285, 286, 287, 288), and the labeled regions 291, 292, 293, 294, and FIG. 2G based on reference information. Reference) can be used to train the liver cancer detection model.

또 다른 예로서, 진단 영역을 뇌가 존재하는 영역으로 적용할 수 있으며, 암이 존재하는 영역은 뇌암 영역으로 적용할 수 있다. 이에 따라, 암 검출모델 학습부(11)는 뇌가 존재하는 영역 또는 뇌암 영역을 고려하여 동작할 수 있다. 즉, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI로서 T1, T2, FLAIR 영상 등의 원본 파라메트릭 MRI로부터 뇌 영역을 추출한 파라메트릭 MRI, 즉, 뇌 영역의 파라메트릭 MRI를 검출 및 제공할 수 있다. 그리고, 라벨링 처리부(17)는 라벨링 참조정보 제공부(15)가 제공하는 참조정보(예, FDG-PET, SPECT 등)에 기초하여 선택되는 영역을 뇌암 영역으로 설정함으로써, 참조정보를 기반으로 한 라벨링 처리를 수행할 수 있다. 이러한 동작을 통해, 암 검출모델 학습부(11)는 뇌 영역의 파라메트릭 MRI를 입력으로 하고, 참조정보를 기반으로 라벨링된 영역을 출력으로 하여 뇌암 검출모델을 학습할 수 있다.As another example, the diagnosis area may be applied as an area where the brain is present, and the area where the cancer is present may be applied as an area of brain cancer. Accordingly, the cancer detection model learning unit 11 may operate in consideration of a region in which a brain exists or a brain cancer region. That is, the parametric MRI input unit 13 detects and provides a parametric MRI in which brain regions are extracted from original parametric MRIs such as T1, T2, and FLAIR images as at least one parametric MRI, that is, a parametric MRI of the brain region. can do. In addition, the labeling processing unit 17 sets the area selected based on the reference information (eg, FDG-PET, SPECT, etc.) provided by the labeling reference information providing unit 15 as a brain cancer area, thereby based on the reference information. Labeling processing can be performed. Through this operation, the cancer detection model learning unit 11 may learn the brain cancer detection model by using the parametric MRI of the brain region as an input and outputting the labeled region based on the reference information.

도 3은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.3 is a block diagram showing a configuration of a cancer detection model learning unit provided in a deep learning model learning apparatus according to an embodiment of the present disclosure.

도 3을 참조하면, 암 검출모델 학습부(30)는 특징 추출부(31), 맥락 생성부(32), 특징 및 맥락 분석부(33)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 암 검출모델 학습부(30)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.Referring to FIG. 3, the cancer detection model learning unit 30 may include a feature extraction unit 31, a context generation unit 32, and a feature and context analysis unit 33. However, this only shows some components necessary to describe the present embodiment, and the components included in the cancer detection model learning unit 30 are not limited to the above-described examples.

암 검출모델 학습부(30)는 분석 대상 영상의 특징을 추출하고, 추출된 특징에 기초하여 맥락 정보를 생성하고, 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석할 수 있다. 예컨대, 암 검출모델 학습부(30)는 추출된 특징 및 생성된 맥락 정보를 이용하여 영상을 분류하거나 관심 객체의 위치를 찾아낼 수 있다.The cancer detection model learning unit 30 may extract features of an analysis target image, generate context information based on the extracted features, and analyze an analysis target image based on the extracted features and the generated context information. For example, the cancer detection model learning unit 30 may classify an image or find a location of an object of interest using the extracted feature and the generated context information.

암 검출모델 학습부(30)의 입력 영상은 적어도 하나의 파라메트릭 MRI일 수 있다. 상기 적어도 하나의 파라메트릭 MRI(예, T2 영상, ADC 영상 등)은 MRI로부터 소정의 파라미터에 기초하여 재구성된 원본(raw) 이미지이거나 상기 원본 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다. The input image of the cancer detection model learning unit 30 may be at least one parametric MRI. The at least one parametric MRI (eg, T2 image, ADC image, etc.) may be a raw image reconstructed based on predetermined parameters from an MRI, or in any form (format) for storing or transmitting the original image. It can be an image.

특징 추출부(31)는 입력 영상을 분석하여 영상의 특징을 추출할 수 있다. 예컨대, 상기 특징은 영상의 각 영역마다의 국소적인 특징일 수 있다. 일 실시 예에 따른 특징 추출부(31)는 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.The feature extraction unit 31 may analyze the input image to extract features of the image. For example, the feature may be a local feature for each region of the image. The feature extraction unit 31 according to an embodiment may extract features of an input image using a general convolutional neural network (CNN) technique or a pooling technique. The pooling technique may include at least one of a max (max) pooling technique and an average pooling technique. However, the pooling technique referred to in the present disclosure is not limited to the max pooling technique or the average pooling technique, and includes any technique for obtaining a representative value of an image region of a predetermined size. For example, the representative value used in the pooling technique may be at least one of a variance value, a standard deviation value, a mean value, a most frequent value, a minimum value, and a weighted average value, in addition to the maximum value and the average value.

본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다. 합성곱 신경망의 구체적인 동작에 대해서는 도 5를 참고하여 후술한다.The convolutional neural network of the present disclosure can be used to extract “features” such as borders, line colors, and the like from input data (images), and may include a plurality of layers. Each layer may receive input data and process input data of the corresponding layer to generate output data. The convolutional neural network may output a feature map generated by convolution of an input image or an input feature map with filter kernels as output data. The initial layers of the convolutional neural network can be operated to extract low level features, such as edges or gradients, from the input. The next layers of the neural network can extract progressively more complex features, such as the eyes and nose. The specific operation of the convolutional neural network will be described later with reference to FIG. 5.

합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다. 풀링 기법의 구체적인 동작에 대해서는 도 6을 참고하여 후술한다.The convolutional neural network may include a pooling layer in which a pooling operation is performed in addition to a convolutional layer in which a convolution operation is performed. The pooling technique is a technique used to reduce the spatial size of data in the pooling layer. Specifically, the pooling technique includes a max pooling technique that selects a maximum value in a corresponding region and an average pooling technique that selects an average value of a corresponding region, and in the field of image recognition, a max pooling technique is generally used. do. In the pooling technique, the pooling window size and spacing (stride, stride) are generally set to the same value. Here, the stride means adjusting an interval to move when applying a filter to input data, that is, an interval to move the filter, and stride can also be used to adjust the size of output data. The detailed operation of the pulling technique will be described later with reference to FIG. 6.

본 개시의 일 실시 예에 따른 특징 추출부(31)는 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 분석 대상 영상에 필터링을 적용할 수 있다. 상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 또는 노이즈(noise) 제거 등일 수 있다. 그러나, 본 개시의 필터링은 상기 열거한 방법으로 제한되지 않으며, 영상의 품질을 개선할 수 있는 모든 형태의 필터링을 포함할 수 있다.The feature extraction unit 31 according to an embodiment of the present disclosure is pre-processing for extracting features of an image to be analyzed, and filtering may be applied to the image to be analyzed. The filtering may be a Fast Fourier Transform (FFT), histogram equalization, motion artifact removal, or noise removal. However, the filtering of the present disclosure is not limited to the above-listed methods, and may include all types of filtering that can improve the image quality.

맥락 생성부(32)는 특징 추출부(31)로부터 추출된 입력 영상의 특징을 이용하여 입력 영상(분석 대상 영상)의 맥락 정보를 생성할 수 있다. 예컨대, 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 일 실시 예에 따른 맥락 생성부(32)는 합성곱 신경망 기법 또는 풀링 기법을 특징 추출부(31)로부터 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 풀링 기법은 예컨대, 평균 풀링(average pooling) 기법일 수 있다.The context generation unit 32 may generate context information of an input image (analysis target image) by using features of the input image extracted from the feature extraction unit 31. For example, the context information may be a representative value representing all or part of an image to be analyzed. Also, the context information may be global context information of the input image. The context generator 32 according to an embodiment may generate context information by applying a convolutional neural network technique or a pooling technique to features extracted from the feature extractor 31. The pooling technique may be, for example, an average pooling technique.

특징 및 맥락 분석부(33)는 특징 추출부(31)에서 추출된 특징 및 맥락 생성부(32)에서 생성된 맥락 정보에 기초하여 영상을 분석할 수 있다. 일 실시예에 따른 특징 및 맥락 분석부(33)는 특징 추출부(31)에서 추출된 영상의 각 영역마다의 국소적인 특징 및 맥락 생성부(32)에서 재구성된 전역적인 맥락을 결합(concatenate)하는 등의 방식으로 함께 사용하여, 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾는데 이용할 수 있다. 입력 영상 내 특정 2차원 위치에서의 정보는 국소적인 특징 정보뿐만 아니라 전역적인 맥락 정보까지 포함하게 되므로, 특징 및 맥락 분석부(33)는 이들 정보를 이용함으로써, 실제 내용은 상이하지만 국소적인 특징 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하게 된다. The feature and context analysis unit 33 may analyze an image based on the feature extracted by the feature extraction unit 31 and the context information generated by the context generation unit 32. The feature and context analysis unit 33 according to an embodiment concatenates the local features of each region of the image extracted by the feature extraction unit 31 and the global context reconstructed by the context generation unit 32. It can be used together to classify the input image or to find the location of the object of interest included in the input image. Since the information at a specific 2D position in the input image includes not only local feature information but also global context information, the feature and context analysis unit 33 uses these information, so the actual content is different but local feature information It is possible to more accurately recognize or classify similar input images.

전술한 바와 같이, 본 개시의 일 실시 예에 따른 발명은, 일반적인 합성곱 신경망 기법이 사용하는 국소적인 특징뿐만 아니라 전역적인 맥락 정보를 함께 사용함으로써, 보다 더 정확하고 효율적인 학습 및 영상 분석이 가능하게 된다. 이러한 관점에서 본 개시에 따른 발명을 '맥락 분석을 통한 심층 신경망'이라 할 수 있다.As described above, the invention according to an embodiment of the present disclosure enables more accurate and efficient learning and image analysis by using global context information as well as local features used by a general convolutional neural network technique. do. In this regard, the invention according to the present disclosure may be referred to as 'deep neural network through context analysis'.

도 4는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.4 is a diagram illustrating a process of generating and analyzing context information of an image according to an embodiment of the present disclosure.

도 4를 참조하면, 특징 추출부(31)는 입력 영상(401)을 이용하여 입력 영상(401)으로부터 특징을 추출하고, 추출된 특징 정보를 포함하는 특징 영상(402)을 생성할 수 있다. 상기 추출된 특징은 입력 영상의 국소 영역에 대한 특징일 수 있다. 상기 입력 영상(401)은 영상 분석 장치의 입력 영상 또는 합성곱 신경망 모델 내의 각 계층에서의 특징맵을 포함할 수 있다. 또한 상기 특징 영상(402)은 입력 영상(401)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 획득된 특징맵 및/또는 특징 벡터를 포함할 수 있다.Referring to FIG. 4, the feature extraction unit 31 may extract a feature from the input image 401 using the input image 401 and generate a feature image 402 including the extracted feature information. The extracted feature may be a feature for a local area of the input image. The input image 401 may include an input image of an image analysis device or a feature map at each layer in a convolutional neural network model. Also, the feature image 402 may include a feature map and / or feature vector obtained by applying a convolutional neural network technique and / or a pooling technique to the input image 401.

맥락 생성부(32)는 특징 추출부(31)에서 추출된 특징 영상(402)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 맥락 정보를 생성할 수 있다. 예컨대, 맥락 생성부(32)는 풀링의 간격(stride)을 다양하게 조절함으로써 영상 전체, 4등분 영역, 9등분 영역 등의 다양한 크기(scale)의 맥락 정보를 생성할 수 있다. 도 4를 참조하면, 영상 전체 크기의 영상에 대한 맥락 정보를 포함하는 전체 맥락 정보 영상(411), 영상 전체를 4등분한 크기의 4등분 영상에 대한 맥락 정보를 포함하는 4등분 맥락 정보 영상(412) 및 영상 전체를 9등분한 크기의 9등분 영상에 대한 맥락 정보를 포함하는 9등분 맥락 정보 영상(413)이 획득될 수 있다. The context generation unit 32 may generate context information by applying a convolutional neural network technique and / or a pooling technique to the feature image 402 extracted from the feature extraction unit 31. For example, the context generation unit 32 may generate context information of various scales, such as an entire image, a quadrant area, and a 9-section area, by variously adjusting the pooling distance. Referring to FIG. 4, an entire context information image 411 including context information for an image of a full-size image, and a quadrant context information image including context information for a quarter image having a size that is divided into four parts of the entire image ( 412) and a 9-part contextual information image 413 including context information for a 9-part image of a size that is 9-parts can be obtained.

특징 및 맥락 분석부(33)는 상기 특징 영상(402)과 상기 맥락 정보 영상(411, 412, 413)을 모두 이용하여 분석 대상 영상의 특정 영역에 대한 분석을 보다 정확히 수행할 수 있다. The feature and context analysis unit 33 may more accurately perform analysis on a specific region of an analysis target image by using both the feature image 402 and the context information images 411, 412, and 413.

예컨대, 전립선 암과 유사한 형태를 갖는 양성종양이 포함된 영상이 입력 영상인 경우, 특징 추출부(31)가 추출한 국소적인 특징을 포함하는 특징 영상(402)으로부터는 상기 식별된 객체가 전립선 암인지 양성종양인지 정확히 판단할 수 없다. 즉, 특징 추출부(31)는 국소적인 특징에 기초하여 객체의 형상을 인식할 수 있으나, 해당 객체의 형상만 가지고는 정확히 객체를 식별하고 분류할 수 없는 경우가 있다.For example, when the image containing the benign tumor having a form similar to that of the prostate cancer is an input image, the identified object is the prostate cancer from the feature image 402 including the local feature extracted by the feature extraction unit 31. It is not possible to accurately determine whether it is a benign tumor. That is, the feature extraction unit 31 may recognize the shape of the object based on the local feature, but may not accurately identify and classify the object using only the shape of the object.

본 개시의 일 실시 예에 따른 맥락 생성부(32)는 상기 분석 대상 영상 또는 상기 특징 영상(402)에 기초하여 맥락 정보(411, 412, 413)를 생성함으로써, 보다 정확히 객체를 식별하고 분류할 수 있다. The context generation unit 32 according to an embodiment of the present disclosure can more accurately identify and classify objects by generating context information 411, 412, or 413 based on the analysis target image or the feature image 402. You can.

본 개시의 일 실시 예에 따른 특징 및 맥락 분석부(33)는 상기 맥락 정보를 활용함으로써, 상기 전립선 암 또는 양성종양의 형상을 갖는 객체를 "전립선 암"으로 식별할 수 있다.The feature and context analysis unit 33 according to an embodiment of the present disclosure may identify the object having the shape of the prostate cancer or benign tumor as “prostate cancer” by utilizing the context information.

도 4를 참조하여 설명한 실시 예에서는 전체 영상에 대한 맥락 정보, 4등분 영상에 대한 맥락 정보, 9등분 영상에 대한 맥락 정보를 생성하고 활용하는 것에 대해 설명하였으나, 맥락 정보를 추출하는 영상의 크기는 이에 한정되지 않는다. 예컨대, 전술한 크기의 영상 이외의 크기를 갖는 영상에 대한 맥락 정보를 생성하고 활용할 수도 있다. In the embodiment described with reference to FIG. 4, context information for the entire image, context information for the quarter image, and context information for the ninth image are described, but the size of the image for extracting the context information is It is not limited to this. For example, context information on an image having a size other than the above-described image may be generated and utilized.

한편, 본 개시의 일 실시 예에 따른 합성곱 신경망 기법 및 풀링에 대해서는 도 5 및 도 6을 참조하여 후술한다.Meanwhile, the convolutional neural network technique and pooling according to an embodiment of the present disclosure will be described later with reference to FIGS. 5 and 6.

도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.5 is a diagram for explaining an embodiment of a multi-product neural network generating a multi-channel feature map.

합성곱 신경망 기반의 영상 처리는 다양한 분야에 활용될 수 있다. 예컨대, 영상의 객체 인식(object recognition)을 위한 영상 처리 장치, 영상 복원(image reconstruction)을 위한 영상 처리 장치, 시맨틱 세그먼테이션(semantic segmentation)을 위한 영상 처리 장치, 장면 인식(scene recognition)을 위한 영상 처리 장치 등에 이용될 수 있다.The image processing based on the convolutional neural network can be used in various fields. For example, an image processing apparatus for object recognition of an image, an image processing apparatus for image reconstruction, an image processing apparatus for semantic segmentation, and image processing for scene recognition It can be used for devices and the like.

입력 영상(510)은 합성곱 신경망(500)을 통해 처리됨으로써 특징맵 영상을 출력할 수 있다. 출력된 특징맵 영상은 전술한 다양한 분야에 활용될 수 있다.The input image 510 may be processed through the convolutional neural network 500 to output a feature map image. The outputted feature map image can be used in various fields described above.

합성곱 신경망(500)은 복수의 계층들(520, 530, 540)을 통해 처리될 수 있으며, 각 계층은 다채널 특징맵 영상들(525, 535)을 출력할 수 있다. 일 실시예에 따른 복수의 계층들(520, 530, 540)은 입력받은 데이터의 좌측 상단으로부터 우측 하단까지 일정한 크기의 필터를 적용하여 영상의 특징을 추출할 수 있다. 예를 들어, 복수의 계층들(520, 530, 540)은 입력 데이터의 좌측 상단 NХM 픽셀에 가중치를 곱해서 특징맵의 좌측 상단의 한 뉴런에 매핑시킨다. 이 경우, 곱해지는 가중치도 N×M가 될 것이다. 상기 NХM은 예컨대, 3Х3일 수 있으나, 이에 한정되지 않는다. 이후, 동일한 과정으로, 복수의 계층들(520, 530, 540)은 입력 데이터를 좌측에서 우측으로, 그리고 상단에서 하단으로 k 칸씩 스캔하면서 가중치를 곱하여 특징맵의 뉴런에 매핑한다. 상기 k 칸은 합성곱 수행시 필터를 이동시킬 간격(stride)을 의미하며, 출력 데이터의 크기를 조절하기 위해 적절히 설정될 수 있다. 예컨대, k는 1일 수 있다. 상기 NХM 가중치는 필터 또는 필터 커널이라고 한다. 즉, 복수의 계층들(520, 530, 540)에서 필터를 적용하는 과정은 필터 커널과의 컨볼루션 연산을 수행하는 과정이며, 그 결과 추출된 결과물을 "특징맵(feature map)" 또는 "특징맵 영상"이라고 한다. 또한, 컨볼루션 연산이 수행된 계층을 합성곱 계층이라 할 수 있다.The convolutional neural network 500 may be processed through a plurality of layers 520, 530, and 540, and each layer may output multi-channel feature map images 525 and 535. The plurality of layers 520, 530, and 540 according to an embodiment may extract characteristics of an image by applying a filter having a constant size from the upper left to the lower right of the received data. For example, the plurality of layers 520, 530, and 540 multiply the upper left NХM pixel of the input data by a weight and map it to a neuron at the upper left of the feature map. In this case, the multiplied weight will also be N × M. The NХM may be, for example, 3Х3, but is not limited thereto. Thereafter, in the same process, the plurality of layers 520, 530, and 540 scan the input data from left to right and from top to bottom by multiplying the weights by k cells to map to the neurons of the feature map. The k column means a stride to move the filter when performing the multiplication, and may be appropriately set to adjust the size of the output data. For example, k may be 1. The NХM weight is called a filter or filter kernel. That is, the process of applying a filter in a plurality of layers (520, 530, 540) is a process of performing a convolution operation with the filter kernel, and as a result, the extracted result is a "feature map" or "feature. It is called "map image". In addition, the layer on which the convolution operation is performed may be referred to as a convolutional layer.

"다채널 특징맵(multiple-channel feature map)"의 용어는 복수의 채널에 대응하는 특징맵들의 세트를 의미하고, 예를 들어 복수의 영상 데이터일 수 있다. 다채널 특징맵들은 합성곱 신경망의 임의의 계층에서의 입력일 수 있고, 컨볼루션 연산 등의 특징맵 연산 결과에 따른 출력일 수 있다. 일 실시예에 따르면, 다채널 특징맵들(525, 535)은 합성곱 신경망의 "특징 추출 계층들" 또는 "컨볼루션 계층들"이라고도 불리는 복수의 계층들(520, 530, 540)에 의해 생성된다. 각각의 계층은 순차적으로 이전 계층에서 생성된 다채널 특징맵들을 수신하고, 출력으로서 그 다음의 다채널 특징맵들을 생성할 수 있다. 최종적으로 L(L은 정수)번째 계층(540)에서는 L-1번째 계층(미도시)에서 생성한 다채널 특징맵들을 수신하여 미도시의 다채널 특징맵들을 생성할 수 있다.The term "multiple-channel feature map" means a set of feature maps corresponding to a plurality of channels, and may be, for example, a plurality of image data. The multi-channel feature maps may be input from any layer of the convolutional neural network, or may be output according to the result of feature map operations such as convolution operation. According to one embodiment, the multi-channel feature maps 525, 535 are generated by a plurality of layers 520, 530, 540, also called "feature extraction layers" or "convolutional layers" of the convolutional neural network. do. Each layer can sequentially receive the multi-channel feature maps generated in the previous layer and generate the next multi-channel feature maps as output. Finally, in the L (L is an integer) layer 540, multi-channel feature maps not shown may be generated by receiving multi-channel feature maps generated in the L-1 th layer (not shown).

도 5를 참조하면, 채널 K1개를 가지는 특징맵들(525)은 입력 영상(510)에 대해 계층 1에서의 특징맵 연산(520)에 따른 출력이고, 또한 계층 2에서의 특징맵 연산(530)을 위한 입력이 된다. 또한, 채널 K2개를 가지는 특징맵들(535)은 입력 특징맵들(525)에 대해 계층 2에서의 특징맵 연산(530)에 따른 출력이고, 또한 계층 3에서의 특징맵 연산(미도시)을 위한 입력이 된다.Referring to FIG. 5, feature maps 525 having one channel K1 are outputs according to the feature map operation 520 in layer 1 for the input image 510, and also feature map operation 530 in layer 2 ). Also, the feature maps 535 having K2 channels are outputs according to the feature map operation 530 in the layer 2 for the input feature maps 525, and the feature map operation in the layer 3 (not shown) It becomes the input for.

도 5를 참조하면, 첫 번째 계층(520)에서 생성된 다채널 특징맵들(525)은 K1(K1은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 또한, 두 번째 계층(530)에서 생성된 다채널 특징맵들(535)은 K2(K2은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 여기서, 채널의 개수를 나타내는 K1 및 K2는, 첫 번째 계층(520) 및 두 번째 계층(530)에서 각각 사용된 필터 커널의 개수와 대응될 수 있다. 즉, M(M은 1 이상 L-1 이하의 정수)번째 계층에서 생성된 다채널 특징맵들의 개수는 M번째 계층에서 사용된 필터 커널의 개수와 동일할 수 있다.Referring to FIG. 5, the multi-channel feature maps 525 generated in the first layer 520 include feature maps corresponding to K1 (K1 is an integer) channels. Also, the multi-channel feature maps 535 generated in the second layer 530 include feature maps corresponding to K2 (K2 is an integer) channels. Here, K1 and K2 representing the number of channels may correspond to the number of filter kernels used in the first layer 520 and the second layer 530, respectively. That is, the number of multi-channel feature maps generated in the M (M is an integer of 1 or more and L-1 or less) layer may be the same as the number of filter kernels used in the M layer.

도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.6 is a view for explaining an embodiment of a pooling technique.

도 6에 도시된 바와 같이, 풀링의 윈도우 사이즈는 2×2, 스트라이드는 2이며, 맥스 풀링을 입력 영상(610)에 적용하여 출력 영상(690)을 생성할 수 있다. As illustrated in FIG. 6, the window size of the pooling is 2 × 2, and the stride is 2, and Max pooling may be applied to the input image 610 to generate the output image 690.

도 6의 (a)에서, 입력 영상(610)의 좌측 상단에 2×2 윈도우(610)를 적용하고, 윈도우(610) 영역 내의 값들 중 대표값(여기서는, 최대값 4)을 계산하여 출력 영상(690)의 대응 위치(620)에 입력한다.In (a) of FIG. 6, a 2 × 2 window 610 is applied to the upper left of the input image 610, and a representative value (here, maximum value 4) among the values in the window 610 area is calculated to output the image It is input to the corresponding position 620 of 690.

이후, 도 6의 (b)에서, 스트라이드만큼, 즉, 2만큼 윈도우를 이동하고, 윈도우(630) 영역 내의 값들 중 최대값 3을 출력 영상(690)의 대응 위치(640)에 입력한다.Thereafter, in FIG. 6B, the window is moved by stride, that is, by 2, and a maximum value 3 of values in the window 630 area is input to a corresponding position 640 of the output image 690.

더 이상 우측으로 윈도우를 이동시킬 없는 경우, 다시 입력 영상의 좌측에서 스트라이드만큼 아래의 위치부터 상기 과정을 반복한다. 즉, 도 6의 (c)에 도시된 바와 같이, 윈도우(650) 영역 내의 값들 중 최대값 5를 출력 영상(690)의 대응 위치(660)에 입력한다.If the window can no longer be moved to the right, the process is repeated from the position below the stride from the left of the input image. That is, as illustrated in FIG. 6C, the maximum value 5 of the values in the window 650 area is input to the corresponding position 660 of the output image 690.

이후, 도 6의 (d)에 도시된 바와 같이, 스트라이드만큼 윈도우를 이동하고, 윈도우(670) 영역 내의 값들 중 최대값 2를 출력 영상(690)의 대응 위치(680)에 입력한다.Subsequently, as shown in FIG. 6D, the window is moved as much as the stride, and the maximum value 2 of the values in the window 670 area is input to the corresponding position 680 of the output image 690.

상기 과정은 입력 영상(610)의 우측 하단 영역에 윈도우가 위치할 때까지 반복적으로 수행됨으로써, 입력 영상(610)에 풀링을 적용한 출력 영상(690)을 생성할 수 있다.The above process is repeatedly performed until a window is located in the lower right area of the input image 610, thereby generating an output image 690 by applying pooling to the input image 610.

본 개시의 딥러닝 기반의 모델은 완전 합성곱 신경망(완전 컨볼루션 뉴럴 네트워크, fully convolutional neural network), 합성곱 신경망(컨볼루션 뉴럴 네트워크, convolutional neural network), 순환 신경망(회귀 뉴럴 네트워크, recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.The deep learning based model of the present disclosure includes a fully convolutional neural network, a fully convolutional neural network, a convolutional neural network, and a recurrent neural network. ), A Restricted Boltzmann machine (RBM) and a deep belief neural network (DBN). Alternatively, a machine learning method other than deep learning may also be included. Or, it may include a hybrid type model that combines deep learning and machine learning. For example, by applying a model based on deep learning, features of an image may be extracted, and when classifying or recognizing an image based on the extracted feature, a model based on machine learning may be applied. Models based on machine learning may include, but are not limited to, Support Vector Machines (SVM), AdaBoost, and the like.

이하, 도 7 내지 도 8을 참조하여, 본 개시의 일 실시 예에 따른 암 영역 정보 보정장치의 구성 및 동작을 설명한다.Hereinafter, with reference to FIGS. 7 to 8, the configuration and operation of the arm area information correction apparatus according to an embodiment of the present disclosure will be described.

도 7은 본 개시의 일 실시 예에 따른 암 영역 정보 보정장치의 구성을 나타내는 블록도이다.7 is a block diagram showing the configuration of a dark area information correction device according to an embodiment of the present disclosure.

도 7을 참조하면, 본 개시의 일 실시 예에 따른 암 영역 정보 보정장치(70)는 진단 영역 검출부(71)와, 암 영역 검출부(73)와, 암 영역 정보 보정부(75)를 포함할 수 있다.Referring to FIG. 7, the cancer area information correction device 70 according to an embodiment of the present disclosure includes a diagnosis area detection unit 71, a cancer area detection unit 73, and a cancer area information correction unit 75. You can.

진단 영역 검출부(71)는 전술한 딥러닝 모델 학습 장치(10)에 의해 구축된 진단 영역 검출모델(100)을 포함할 수 있으며, 암 영역 검출부(73)는 전술한 딥러닝 모델 학습 장치(10)에 의해 구축된 암 영역 검출모델(100')을 포함할 수 있다.The diagnosis area detection unit 71 may include the diagnosis area detection model 100 constructed by the deep learning model learning device 10 described above, and the cancer area detection unit 73 may include the deep learning model learning device 10 described above. It may include a cancer region detection model (100 ') built by.

진단 영역 검출부(71)는 원본 파라메트릭 MRI(801, 802, 803, 도 8a 참조)를 입력 받음에 따라, 진단 영역 검출모델(100)을 사용하여 진단 영역의 파라메트릭 MRI(811, 812, 813)를 검출하여 출력할 수 있다. The diagnostic area detection unit 71 receives the original parametric MRI (801, 802, 803, see FIG. 8A), and then uses the diagnostic area detection model 100 to determine the parametric MRI of the diagnostic area (811, 812, 813). ) Can be detected and output.

이에 대응하여, 암 영역 검출부(73)는 진단 영역 검출부(71)로부터 출력되는 진단 영역의 파라메트릭 MRI(811, 812, 813)를 입력받을 수 있으며, 암 영역 검출모델(100')을 통해 암 영역에 대한 정보(이하, '암 영역 정보'라 함)를 출력할 수 있다. In response to this, the cancer region detection unit 73 may receive parametric MRIs 811, 812, and 813 of the diagnostic region output from the diagnostic region detection unit 71, and the cancer may be detected through the cancer region detection model 100 '. Information about the area (hereinafter referred to as 'dark area information') may be output.

특히, 암 영역 검출부(73)는 진단 영역의 파라메트릭 MRI(811, 812, 813) 중 적어도 하나에 암이 예상되는 영역(821, 도 8b 참조)을 마킹한 영상(820)을 암 영역 정보로서 출력할 수 있다. In particular, the cancer region detection unit 73 uses the image 820 that marks the region 821 (see FIG. 8B) where cancer is expected in at least one of the parametric MRIs 811, 812, and 813 of the diagnosis region as cancer region information. Can print

암 영역 정보 보정부(75)는 암 영역 검출부(73)가 제공하는 암 영역 정보를 보정할 수 있다. 특히, 암 영역 정보 보정부(75)는 암이 존재하는 영역을 적출하여 획득한 임상정보를 반영하여 암 영역 정보를 보정할 수 있다.The dark area information correcting unit 75 may correct dark area information provided by the dark area detecting unit 73. In particular, the cancer region information correction unit 75 may correct the cancer region information by reflecting the clinical information obtained by extracting the region where the cancer is present.

예컨대, 임상정보는 전립선 암이 존재하는 영역에 대한 전립선 특이 항원 값(Prostate specific anti gen; PSA)을 포함할 수 있다. For example, the clinical information may include a prostate specific antigen value (PSA) for a region where prostate cancer is present.

나아가, 암 영역 검출모델(100')은 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성하는 학습을 통해 구축될 수 있는데, 이러한 맥락 정보는 분석 대상 영상에 포함된 특징 영역에 대한 확률값을 바탕으로 구성될 수 있다. 이에 기초하여, 암 영역 검출부(73)는 암 영역으로 검출된 특징 영역에 대한 확률값을 포함하여 암 영역 정보를 구성할 수 있다. Furthermore, the cancer region detection model 100 ′ may be constructed through learning to extract characteristics of an image to be analyzed and generate predetermined context information based on the extracted features, and the context information is included in the analysis target image It can be configured based on the probability value for the feature area. Based on this, the dark area detection unit 73 may configure dark area information including a probability value for the feature area detected as the dark area.

이에 기초하여, 암 영역 정보 보정부(75)는 임상정보를 반영하여, 암 영역으로 검출된 특징 영역에 대한 확률값을 보정할 수 있다. Based on this, the cancer region information correcting unit 75 may correct the probability value for the feature region detected as the cancer region by reflecting the clinical information.

더 나아가, 암 영역 검출부(73)는 전술한 다수의 특징 영역의 각각에 대한 확률값을 확률 맵의 형태로 표현할 수 있으며, 암 영역 정보로서, 암 영역에 오버랩하여 표시할 수 있다. 여기서, 확률 맵은 특징 영역에 대한 확률값이 미리 정해진 기준값보다 상대적으로 높은 영역을 마킹한 것일 수 있다. Furthermore, the dark region detection unit 73 may express probability values for each of the plurality of feature regions described above in the form of a probability map, and as dark region information, may overlap and display the dark region. Here, the probability map may mark a region where a probability value for a feature region is relatively higher than a predetermined reference value.

나아가, 암 영역 정보 보정부(75)는 확률 맵(831, 도 8c 참조)에 임상정보를 반영함으로써, 암 영역 정보를 보정하고, 보정된 암 영역 정보(835)를 출력할 수 있다. Furthermore, the cancer area information correction unit 75 may correct the cancer area information and output the corrected cancer area information 835 by reflecting the clinical information in the probability map 831 (see FIG. 8C).

예를 들어, 암 영역 정보 보정부(75)는 전립선 특이 항원 값을 반영하여 상기 확률 맵에 사용되는 기준값을 조절할 수 있다. 즉, 암 영역 정보 보정부(75)는 전립선 특이 항원 값(PSA)이 높을수록 확률 맵에 사용되는 기준값을 낮게 설정하고, 전립선 특이 항원 값(PSA)이 낮을수록 확률 맵에 사용되는 기준값을 높게 설정할 수 있다. 이에 따라, 전립선 특이 항원 값(PSA)이 상대적으로 높을수록 민감도는 상대적으로 높아지게 되고, 특이도는 상대적으로 낮게 설정될 수 있다(도 8d 참조). 반면, 전립선 특이 항원 값(PSA)이 상대적으로 낮을수록 민감도는 상대적으로 낮아지게 되고, 특이도는 상대적으로 높게 설정될 수 있다.For example, the cancer region information correction unit 75 may adjust the reference value used in the probability map by reflecting the prostate-specific antigen value. That is, the cancer region information correction unit 75 sets the reference value used in the probability map to be lower as the prostate-specific antigen value (PSA) is higher, and increases the reference value used to the probability map to be lower as the prostate-specific antigen value (PSA) is lower. Can be set. Accordingly, the higher the prostate-specific antigen value (PSA) is, the higher the sensitivity is, and the higher the specificity can be set (see FIG. 8D). On the other hand, the lower the prostate-specific antigen value (PSA), the lower the sensitivity and the specificity can be set relatively high.

나아가, 암 영역 정보 보정부(75)는 전술한 바와 같이 특징 영역에 대한 확률값, 확률맵 등과 같은 암 영역 정보를 보정하는데 사용되는 임상정보를 입력받을 수 있는 환경을 제공할 수 있다. 예컨대, 암 영역 정보 보정부(75)는 분석 대상 영상에 대응되는 사용자(또는 환자)를 확인하고, 상기 사용자에 대응되는 임상정보를 입력받을 수 있는 입력 인터페이스를 제공할 수 있다. Furthermore, the cancer region information correction unit 75 may provide an environment for receiving clinical information used to correct cancer region information, such as a probability value and a probability map for a feature region, as described above. For example, the cancer region information correcting unit 75 may identify a user (or patient) corresponding to an image to be analyzed and provide an input interface for receiving clinical information corresponding to the user.

도 9는 본 개시의 일 실시예에 따른 암 영역 정보 보정방법의 순서를 도시하는 흐름도이다. 9 is a flowchart illustrating a procedure of a method for correcting dark area information according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따른 암 영역 정보 보정방법은 전술한 암 영역 정보 보정장치에 의해 수행될 수 있다.The method for correcting dark area information according to an embodiment of the present disclosure may be performed by the above-described dark area information correcting device.

우선, 본 개시의 일 실시 예에 따른 암 영역 정보 보정방법은 진단 영역 검출모델과 암 영역 검출모델을 기반으로 암 영역 정보를 생성 및 제공할 수 있다. 암 영역 정보의 생성에 기초가 되는 진단 영역 검출모델과 암 영역 검출모델을 준비하기 위한 동작으로서, 진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)가 수행될 수 있다. First, the method for correcting cancer region information according to an embodiment of the present disclosure may generate and provide cancer region information based on a diagnosis region detection model and a cancer region detection model. As an operation for preparing the diagnosis region detection model and the cancer region detection model, which are the basis for the generation of the cancer region information, a step (S901) of building a diagnosis region detection model and a step (S902) of building a cancer region detection model are performed Can be.

진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)는 딥러닝 모델 학습 장치(10)에 의해 수행될 수 있으며, 구체적인 동작은 전술한 딥러닝 모델 학습 장치(10)의 구성 및 동작 설명을 참조한다.The step (S901) of constructing the diagnostic area detection model and the step (S902) of building the cancer area detection model may be performed by the deep learning model learning device 10, and specific operations may be described in the deep learning model learning device ( 10) Refer to the configuration and operation description.

S901 단계에서, 암 영역 학습 장치는 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다. 여기서, 적어도 하나의 파라메트릭 MRI는 T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 포함할 수 있다.In step S901, the cancer region learning apparatus may provide at least one parametric MRI. A user's body may be reconstructed by applying various parameters to an image taken by a magnetic resonance imaging (MRI) imaging device, that is, various parameters to the MRI. The reconstructed image by applying the parameters is indicated as a parametric MRI. Here, the at least one parametric MRI may include a T2 (T2-weighted) image, an ADC (apparent diffusion coefficients) image, and the like.

나아가, 적어도 하나의 파라메트릭 MRI는 진단 영역에 대응되는 영역을 추출한 영상일 수 있다. 구체적으로, 암 영역 학습 장치는 원본 파라메트릭 MRI(201, 202, 도 2a 참조)를 입력받을 수 있으며, 진단 영역의 파라메트릭 MRI(203, 204)를 출력으로 하는 학습을 통해 소정의 학습모델, 즉, 진단 영역 검출모델(100)을 구축할 수 있다.Furthermore, the at least one parametric MRI may be an image in which an area corresponding to the diagnosis area is extracted. Specifically, the cancer area learning device may receive the original parametric MRI (201, 202, see FIG. 2A), and a predetermined learning model through learning by outputting the parametric MRI (203, 204) of the diagnosis area, That is, the diagnostic area detection model 100 can be constructed.

S902 단계에서, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 딥러닝 모델의 입력으로서 사용하고, 진단 영역의 파라메트릭 MRI(203, 204)를 제공하는 화면(200, 도 2b 참조)을 구성하여 디스플레이 등을 통해 출력할 수 있다. 그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)에서 암이 위치한 영역을 지정하는데 참조할 수 있는 정보(이하, '참조정보'라 함)를 제공할 수 있다. In operation S902, the cancer area learning apparatus uses a screen 200 (FIG. 2B) that uses the parametric MRIs 203 and 204 of the diagnosis area as inputs to the deep learning model and provides the parametric MRIs 203 and 204 of the diagnosis area. Configuration) and output through a display. In addition, the cancer region learning apparatus may provide information (hereinafter referred to as “reference information”) that can be referred to designate the region where the cancer is located in the parametric MRI (203, 204) of the diagnostic region.

예를 들어, 사용자(또는 환자)의 신체 일부를 추출하고, 추출된 신체 영역에서 암 조직이 존재하는 영역을 지도화하여 병리지도(pathology map)를 구성할 수 있는데, 암 영역 학습 장치는 이러한 병리지도를 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 암 영역 학습 장치는 입력받은 병리지도(205)를 화면(200)의 일 영역을 통해 디스플레이할 수 있다.For example, a pathology map may be constructed by extracting a body part of a user (or a patient) and mapping an area where cancer tissue is present in the extracted body area. It can provide an environment for receiving a map. In addition, the cancer area learning apparatus may display the received pathology map 205 through one area of the screen 200.

MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 한편, MRI에 기초하여 획득되는 영상 중, DWI(Diffusion-weighted imaging)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 이를 고려하여, 암 영역 학습 장치는 DWI(206)를 화면(200)의 일 영역을 통해 더 디스플레이할 수 있다. The MRI may include various parameters. Since the T2 image, the ADC image, etc. are made of a two-dimensional image, it may be difficult to identify cancer tissue existing in an area not displayed on the image itself. On the other hand, among the images obtained based on the MRI, DWI (Diffusion-weighted imaging) may show information in which a water molecule contained in the tissue diffuses information contained in the MRI in a specific direction, such as a T2 image or an ADC image. Information that is not displayed can be expressed. In consideration of this, the cancer area learning apparatus may further display the DWI 206 through one area of the screen 200.

나아가, 암 영역 학습 장치는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, DCE 신호정보(207)를 화면(200)의 일 영역을 통해 더 디스플레이할 수도 있다. DCE 신호정보(207)는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 암 영역 학습 장치는 사용자 인터페이스를 통해, 사용자에 의해 선택되는 영역을 확인하고, 이에 대응되는 DCE 신호정보(207)를 표시할 수 있다. Furthermore, the cancer area learning apparatus may check DCE (Dynamic Contrast Enhanced) signal information, and may further display the DCE signal information 207 through one area of the screen 200. The DCE signal information 207 is information for checking the brightness of the corresponding organ, and may be information indicating a brightness of the selected area by selecting a predetermined area from an image obtained based on the MRI. Accordingly, the dark area learning apparatus may identify an area selected by the user through the user interface, and display DCE signal information 207 corresponding thereto.

또한, 암 영역 학습 장치는 참조정보(병리지도(205), DWI(206), DCE 신호정보(207) 등)를 표시하면서, 라벨링을 수행할 수 있는 사용자 인터페이스(210)를 제공할 수 있다. In addition, the cancer area learning apparatus may provide a user interface 210 capable of performing labeling while displaying reference information (pathology map 205, DWI 206, DCE signal information 207, etc.).

상기 사용자 인터페이스(210)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(211)를 포함할 수 있다. 또한, 상기 사용자 인터페이스(210)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(212)를 포함할 수 있다. 또한, 암 영역 학습 장치는 표시자(212)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 사용자 인터페이스(210)는 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(213)를 포함할 수 있다.The user interface 210 may include at least one parametric MRI (eg, T2 image) 211. In addition, the user interface 210 may be connected through an external input device such as a mouse device, a digitizer device, a touch screen device, etc., and include a predetermined indicator 212 output in a region designated by the external input device. You can. In addition, the cancer area learning apparatus may set a predetermined area selected through the indicator 212 as a dark area, and the user interface 210 may include a labeling indicator 213 indicating a corresponding area set as a dark area. You can.

사용자 인터페이스(210)를 통해 암 영역이 설정되면, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, 라벨링된 영역을 출력으로 하여 암 영역 검출모델을 학습할 수 있다. When the cancer region is set through the user interface 210, the cancer region learning apparatus may learn the cancer region detection model by inputting the parametric MRIs 203 and 204 of the diagnosis region and outputting the labeled region as an output. .

암 영역 검출모델의 학습은 전술한 도 3 내지 도 6에서 제시되는 방식에 기초하여 수행될 수 있다.Learning of the cancer region detection model may be performed based on the methods presented in FIGS. 3 to 6 described above.

한편, S903 단계에서, 암 영역 정보 보정장치는 분석 대상 영상을 입력받을 수 있다. 본 개시의 일 실시예에서, 분석 대상 영상은 전립선 암을 진단할 대상이 되는 사용자(또는 환자)의 신체를 촬영한 MRI로서, 전술한 적어도 하나의 파라메트릭 MRI를 포함할 수 있다.On the other hand, in step S903, the dark region information correction device may receive an image to be analyzed. In one embodiment of the present disclosure, the analysis target image may include at least one parametric MRI described above as an MRI photographing the body of a user (or patient) to be diagnosed with prostate cancer.

비록, 본 개시의 일 실시예에서, 진단 영역을 전립선 영역으로 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진 장에 의해 다양하게 변경될 수 있다.Although, in one embodiment of the present disclosure, the diagnosis region is illustrated as a prostate region, the present disclosure is not limited thereto, and may be variously changed by a person having ordinary skill in the art.

분석 대상 영상이 입력됨에 따라(S903-예), 암 영역 검출장치는 전술한 진단 영역 검출모델과 암 영역 검출모델을 사용하여 암 영역 정보를 확인할 수 있다(S904). As an image to be analyzed is input (S903-Yes), the cancer region detection device may check the cancer region information using the above-described diagnostic region detection model and cancer region detection model (S904).

구체적으로, 분석 대상 영상으로서 원본 파라메트릭 MRI(801, 802, 803, 도 8a 참조)를 입력 받음에 따라, 암 영역 검출장치는 진단 영역 검출모델을 사용하여 진단 영역의 파라메트릭 MRI(811, 812, 813)를 검출하여 출력할 수 있다. Specifically, as the original parametric MRI (801, 802, 803, see FIG. 8A) is input as an analysis target image, the cancer region detection device uses the diagnostic region detection model to determine the parametric MRI of the diagnostic region (811, 812). , 813).

이에 대응하여, 암 영역 검출장치는 진단 영역의 파라메트릭 MRI(811, 812, 813)를 암 영역 검출모델에 입력하여, 암 영역 정보를 출력할 수 있다. In response to this, the cancer region detection apparatus may input parametric MRIs 811, 812, and 813 of the diagnosis region into the cancer region detection model and output cancer region information.

특히, 암 영역 검출장치는 진단 영역의 파라메트릭 MRI(811, 812, 813)에 암 영역이 위치한 영역(821, 도 8b 참조)을 마킹한 영상(820)을 암 영역 정보로서 출력할 수 있다. In particular, the cancer region detection apparatus may output the image 820 marking the region 821 (see FIG. 8B) where the cancer region is located in the parametric MRI 811, 812, 813 of the diagnosis region as cancer region information.

S905 단계에서, 암 영역 정보 보정장치는 S904 단계에서 제공한 암 영역 정보를 보정할 수 있다. 특히, 암 영역 정보 보정장치는 암이 존재하는 영역을 적출하여 획득한 임상정보를 반영하여 암 영역 정보를 보정할 수 있다.In step S905, the dark area information correcting device may correct the dark area information provided in step S904. In particular, the cancer area information correction device may correct the cancer area information by reflecting the clinical information obtained by extracting the area where the cancer is present.

예컨대, 임상정보는 전립선 암이 존재하는 영역에 대한 전립선 특이 항원 값(Prostate specific anti gen; PSA)을 포함할 수 있다. For example, the clinical information may include a prostate specific antigen value (PSA) for a region where prostate cancer is present.

이를 위해, S905 단계에서, 암 영역 정보 보정장치는 암 영역 정보를 보정하는데 사용되는 임상정보를 입력받을 수 있는 환경을 제공할 수 있다. 예컨대, 암 영역 정보 보정장치는 분석 대상 영상에 대응되는 사용자(또는 환자)를 확인하고, 상기 사용자에 대응되는 임상정보를 입력받을 수 있는 입력 인터페이스를 제공할 수 있다. To this end, in step S905, the cancer area information correction device may provide an environment capable of receiving clinical information used to correct the cancer area information. For example, the cancer area information correction device may identify a user (or patient) corresponding to an analysis target image and provide an input interface for receiving clinical information corresponding to the user.

한편, 암 영역 검출모델(100')은 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성하는 학습을 통해 구축될 수 있는데, 이러한 맥락 정보는 분석 대상 영상에 포함된 특징 영역에 대한 확률값을 바탕으로 구성될 수 있다. 이에 기초하여, 암 영역 정보 보정장치는 암 영역으로 검출된 특징 영역에 대한 확률값을 포함하여 암 영역 정보를 구성할 수 있다. Meanwhile, the cancer region detection model 100 ′ may be constructed through learning to extract characteristics of an analysis target image and generate predetermined context information based on the extracted characteristics, and this context information is included in the analysis target image It can be configured based on the probability value for the feature area. Based on this, the dark region information correcting apparatus may configure dark region information including a probability value for the feature region detected as the dark region.

이에 기초하여, 암 영역 정보 보정장치는 임상정보를 반영하여, 암 영역으로 검출된 특징 영역에 대한 확률값을 보정할 수 있다. Based on this, the cancer region information correction device may reflect the clinical information and correct the probability value for the feature region detected as the cancer region.

더 나아가, 암 영역 정보 보정장치는 전술한 다수의 특징 영역의 각각에 대한 확률값을 확률 맵의 형태로 표현할 수 있으며, 암 영역 정보로서, 암 영역에 오버랩하여 표시할 수 있다. 여기서, 확률 맵은 특징 영역에 대한 확률값이 미리 정해진 기준값보다 상대적으로 높은 영역을 마킹한 것일 수 있다. Furthermore, the dark region information correcting apparatus may express probability values for each of the plurality of feature regions described above in the form of a probability map, and as dark region information, may overlap and display the dark region. Here, the probability map may mark a region where a probability value for a feature region is relatively higher than a predetermined reference value.

나아가, 암 영역 정보 보정장치는 확률 맵(831, 도 8c 참조)에 임상정보를 반영함으로써, 암 영역 정보를 보정하고, 보정된 암 영역 정보(835)를 출력할 수 있다. Furthermore, the cancer region information correction device may correct the cancer region information and output the corrected cancer region information 835 by reflecting the clinical information in the probability map 831 (see FIG. 8C).

예를 들어, 암 영역 정보 보정장치는 전립선 특이 항원 값을 반영하여 상기 확률 맵에 사용되는 기준값을 조절할 수 있다. 즉, 암 영역 정보 보정장치는 전립선 특이 항원 값(PSA)이 높을수록 확률 맵에 사용되는 기준값을 낮게 설정하고, 전립선 특이 항원 값(PSA)이 낮을수록 확률 맵에 사용되는 기준값을 높게 설정할 수 있다. 이에 따라, 전립선 특이 항원 값(PSA)이 상대적으로 높을수록 민감도는 상대적으로 높아지게 되고, 특이도는 상대적으로 낮게 설정될 수 있다(도 8d 참조). 반면, 전립선 특이 항원 값(PSA)이 상대적으로 낮을수록 민감도는 상대적으로 낮아지게 되고, 특이도는 상대적으로 높게 설정될 수 있다.For example, the cancer region information correction device may adjust the reference value used in the probability map by reflecting the prostate-specific antigen value. That is, the cancer region information correction device may set the reference value used in the probability map to be lower as the prostate-specific antigen value (PSA) is higher, and may set the reference value used to the probability map to be higher as the prostate-specific antigen value (PSA) is lower. . Accordingly, the higher the prostate-specific antigen value (PSA) is, the higher the sensitivity is, and the higher the specificity can be set (see FIG. 8D). On the other hand, the lower the prostate-specific antigen value (PSA), the lower the sensitivity and the specificity can be set relatively high.

도 10은 본 개시의 일 실시예에 따른 암 영역 정보 보정방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다. 10 is a block diagram illustrating a computing system executing a method and apparatus for correcting dark area information according to an embodiment of the present disclosure.

도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.Referring to FIG. 10, the computing system 1000 includes at least one processor 1100 connected through a bus 1200, a memory 1300, a user interface input device 1400, a user interface output device 1500, and storage 1600, and the network interface 1700.

*프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다. * The processor 1100 may be a central processing unit (CPU) or a semiconductor device that executes processing for instructions stored in the memory 1300 and / or storage 1600. The memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media. For example, the memory 1300 may include read only memory (ROM) and random access memory (RAM).

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.Accordingly, steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented by hardware executed by the processor 1100, a software module, or a combination of the two. The software modules reside in storage media (ie, memory 1300 and / or storage 1600) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM. You may. An exemplary storage medium is coupled to the processor 1100, which can read information from and write information to the storage medium. Alternatively, the storage medium may be integral with the processor 1100. Processors and storage media may reside within an application specific integrated circuit (ASIC). The ASIC may reside within a user terminal. Alternatively, the processor and storage medium may reside as separate components within the user terminal.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Exemplary methods of the present disclosure are expressed as a series of operations for clarity of description, but are not intended to limit the order in which the steps are performed, and each step may be performed simultaneously or in a different order if necessary. In order to implement the method according to the present disclosure, the steps illustrated may include other steps in addition, other steps may be included in addition to the remaining steps, or additional other steps may be included in addition to some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.Various embodiments of the present disclosure are not intended to list all possible combinations, but are intended to describe representative aspects of the present disclosure, and the items described in various embodiments may be applied independently or in combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. For implementation by hardware, one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), Universal It can be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure includes software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause an operation according to the method of various embodiments to be executed on a device or computer, and such software or Instructions include a non-transitory computer-readable medium that is stored and executable on a device or computer.

본 발명은 암 영역 정보를 보정하는데 이용될 수 있다.The present invention can be used to correct dark area information.

Claims (12)

1. 암 영역 정보를 보정하는 장치에 있어서,In the apparatus for correcting the dark area information,

   서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력으로 하고, 진단 영역을 라벨링한 정보를 출력으로 하는 진단 영역 검출모델을 포함하는 진단 영역 검출부와,A diagnostic area detection unit including a diagnostic area detection model configured to input at least one parametric magnetic resonance imaging (MRI) configured based on different parameters and output information labeling a diagnostic area,

   상기 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하는 암 영역 검출부와,A cancer region detection unit including a cancer region detection model that receives at least one parametric MRI corresponding to the diagnosis region and outputs cancer region information;

   상기 진단 영역 검출모델 및 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 암 영역 정보가 출력됨에 따라, 상기 진단 영역에 대한 임상시험을 통해 획득한 임상정보를 반영하여, 상기 암 영역 정보를 보정하는 암 영역 정보 보정부를 포함하는 것을 특징으로 하는 암 영역에 대한 암 영역 정보 보정 장치.As the cancer region information corresponding to the image to be analyzed is output through the diagnosis region detection model and the cancer region detection model, the cancer region information is corrected by reflecting the clinical information obtained through clinical trials for the diagnosis region. And a cancer region information correction unit.
2. 제1항에 있어서, 상기 임상정보는,According to claim 1, The clinical information,

   전립선 암이 존재하는 영역에 대한 전립선 특이 항원 값(Prostate specific anti gen; PSA)을 포함하는 것을 특징으로 하는 암 영역 정보 보정 장치.Cancer region information correction device comprising a prostate specific antigen value (Prostate specific anti gen; PSA) for the region where the prostate cancer is present.
3. 제1항에 있어서, 상기 암 영역 검출모델은,According to claim 1, The cancer region detection model,

   상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값을 출력하는 것을 특징으로 하는 암 영역 정보 보정 장치.And outputting a probability value of the presence of cancer for at least one feature region included in the cancer region.
4. 제1항에 있어서, 상기 암 영역 검출모델은,According to claim 1, The cancer region detection model,

   상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값에 기초한 확률 맵을 출력하는 것을 특징으로 하는 암 영역 정보 보정 장치.And outputting a probability map based on a probability value of the presence of cancer for at least one feature region included in the cancer region.
5. 제4항에 있어서, 상기 암 영역 정보 보정부는,The method of claim 4, wherein the dark area information correction unit,

   상기 임상정보의 크기를 반영하여 상기 확률 맵의 기준값을 제어하고, 상기 제어된 기준 값을 기준으로 하여, 상기 확률값에 기초한 확률 맵을 재구성하는 것을 특징으로 하는 암 영역 정보 보정 장치.And controlling the reference value of the probability map by reflecting the size of the clinical information, and reconstructing the probability map based on the probability value based on the controlled reference value.
6. 제1항에 있어서, 상기 적어도 하나의 파라메트릭 MRI는, The method of claim 1, wherein the at least one parametric MRI,

   T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2*(T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR(Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 정보 보정 장치.Among T1 (T1-weighted) image, T2 (T2-weighted) image, T2 * (T2 star) image, ADC (apparent diffusion coefficients) image, FLAIR (Fluid Attenuated inversion recovery) image, STIR (Short TI inversion recovery) image , At least one cancer area information correction device comprising a.
7. 제1항에 있어서, According to claim 1,

   상기 암 영역 검출모델은, 적어도 하나의 참조정보를 사용하여 설정된 상기 암 영역의 라벨링 정보를 기반으로 상기 암 영역 정보를 결정하되,The cancer region detection model determines the cancer region information based on labeling information of the cancer region set using at least one reference information,

   상기 적어도 하나의 참조정보는, 추출된 진단 영역의 암이 존재하는 영역을 이미지화하여 표시한 병리영상, DWI(Diffusion-weighted imaging), PWI(Perfusion weighted image), 및 DCE(Dynamic Contrast Enhanced) 신호정보 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 정보 보정 장치.The at least one reference information is a pathology image, which is displayed by imaging an area where cancer is present in the extracted diagnostic region, DWI (Diffusion-weighted imaging), PWI (Perfusion weighted image), and DCE (Dynamic Contrast Enhanced) signal information Middle, dark area information correction device comprising at least one.
8. 암 영역 정보를 보정하는 방법에 있어서,In the method of correcting the dark area information,

   서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력으로 하고, 진단 영역을 라벨링한 정보를 출력으로 하는 진단 영역 검출모델을 구축하는 과정과,Constructing a diagnostic area detection model using at least one parametric MRI (Magnetic Resonance Imaging) configured based on different parameters as input, and outputting information labeling the diagnostic area;

   상기 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역을 라벨링한 정보를 출력으로 하는 암 영역 검출모델을 구축하는 과정과, Constructing a cancer region detection model using at least one parametric MRI corresponding to the diagnostic region as an input, and outputting information indicating the cancer region;

   상기 적어도 하나의 파라메트릭 MRI를 분석 대상 영상으로서 입력받는 과정과,Receiving the at least one parametric MRI as an analysis target image;

   상기 진단 영역 검출모델 및 암 영역 검출모델을 사용하여, 상기 분석 대상 영상에 대응되는 암 영역 정보를 확인하는 과정과,Confirming cancer region information corresponding to the analysis target image by using the diagnostic region detection model and the cancer region detection model;

   상기 진단 영역에 대한 임상시험을 통해 획득한 임상정보를 반영하여, 상기 암 영역 정보를 보정하는 과정을 포함하는 것을 특징으로 하는 암 영역 정보 보정 방법.And correcting the cancer region information by reflecting clinical information obtained through clinical trials on the diagnostic region.
9. 제8항에 있어서, 상기 암 영역 정보를 보정하는 과정은,According to claim 8, The process of correcting the dark area information,

   전립선 암이 존재하는 영역에 대한 전립선 특이 항원 값(Prostate specific anti gen; PSA)을 포함하는 상기 임상정보를 입력받는 과정을 포함하는 것을 특징으로 하는 암 영역 정보 보정 방법.A method of correcting cancer region information, comprising the step of receiving the clinical information including a prostate specific antigen value (PSA) for a region in which prostate cancer is present.
10. 제8항에 있어서, 상기 암 영역 검출모델은,The method of claim 8, wherein the cancer region detection model,

    상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값을 출력하는 것을 특징으로 하는 암 영역 정보 보정 방법.And outputting a probability value of the presence of cancer for at least one feature region included in the cancer region.
11. 제8에 있어서, 상기 암 영역 검출모델은,The method of claim 8, wherein the cancer region detection model,

    상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값에 기초한 확률 맵을 출력하는 것을 특징으로 하는 암 영역 정보 보정 방법.And outputting a probability map based on a probability value of the presence of cancer for at least one feature region included in the cancer region.
12. 제11항에 있어서, 상기 암 영역 정보를 보정하는 과정은,12. The method of claim 11, The process of correcting the dark area information,

    상기 임상정보의 크기를 반영하여 상기 확률 맵의 기준값을 제어하는 과정과,The process of controlling the reference value of the probability map by reflecting the size of the clinical information,

    상기 제어된 기준 값을 기준으로 하여, 상기 확률값에 기초한 확률 맵을 재구성하는 과정을 포함하는 것을 특징으로 하는 암 영역 정보 보정 방법.And reconstructing a probability map based on the probability value based on the controlled reference value.

Images