KR20210015834A - Diagnosis support system, diagnosis support method and diagnosis support program - Google Patents

Diagnosis support system, diagnosis support method and diagnosis support program Download PDF

Info

Publication number
KR20210015834A
KR20210015834A KR1020207034672A KR20207034672A KR20210015834A KR 20210015834 A KR20210015834 A KR 20210015834A KR 1020207034672 A KR1020207034672 A KR 1020207034672A KR 20207034672 A KR20207034672 A KR 20207034672A KR 20210015834 A KR20210015834 A KR 20210015834A
Authority
KR
South Korea
Prior art keywords
diagnosis
learning
image
information
learning completed
Prior art date
Application number
KR1020207034672A
Other languages
Korean (ko)
Inventor
가츠노리 사사키
도모유키 와타나베
Original Assignee
스미또모 가가꾸 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미또모 가가꾸 가부시키가이샤 filed Critical 스미또모 가가꾸 가부시키가이샤
Publication of KR20210015834A publication Critical patent/KR20210015834A/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

객관적인 진단에 이바지하는 정보를 제공한다. 진단 지원 시스템(1)의 서버(20)는, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득부(21)와, 해석 대상의 화상을 취득하는 화상 취득부(22)와, 취득된 화상에 대하여 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산부(23)와, 연산부(23)에 의해 산출된 정보를 출력하는 출력부(24)를 구비한다.It provides information that contributes to an objective diagnosis. The server 20 of the diagnosis support system 1 is generated by machine learning and inputs information based on an image of the diagnosis target and outputs information indicating a diagnosis result for the diagnosis target. A learning completed model acquisition unit 21 for acquiring a model, an image acquisition unit 22 for acquiring an image to be analyzed, and an operation based on a plurality of learned models on the acquired image are performed, and the plurality of learning An operation unit 23 that calculates one piece of information on the diagnosis by the complete model, and an output unit 24 that outputs information calculated by the operation unit 23 are provided.

Description

진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램Diagnosis support system, diagnosis support method and diagnosis support program

본 발명은, 화상에 기초하는 진단에 관한 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램에 관한 것이다.The present invention relates to a diagnosis support system, a diagnosis support method, and a diagnosis support program related to image-based diagnosis.

종래, 병리 조직의 검사(병리 진단) 분야에 있어서는, 슬라이드 글래스 상의 병리 표본을 전문의 병리학자가 현미경 하에서 관찰함으로써 진단이 행하여져 왔다. 당해 진단은 관찰한 병리학자 개인의 경험·지식에 크게 의존하는 주관적인 판정이다. 그 때문에, 객관적인 진단을 행하는 것은 곤란하다. 그래서 병리 진단 분야에서는, 어떤 병리학자의 진단 결과를 다른 병리학자가 평가·논평함으로써 주관적 판정의 리스크를 경감하는 피어 리뷰 제도가 취해져 왔다. 그러나, 모든 병리 진단 결과에 대하여 피어 리뷰를 실시하는 것은 극히 비효율적이다. 게다가, 피어 리뷰에 있어서의 최종 판정도 병리학자 간의 논의에 의해 이루어지기 때문에, 담당자 개인의 경험·지식·발언력에 크게 의존하는 결과가 된다. 따라서, 원리적으로 주관적 요소를 배제할 수는 없고, 객관적으로 병리 진단을 행하는 것은 곤란하였다.Conventionally, in the field of pathological tissue examination (pathologic diagnosis), diagnosis has been performed by observing a pathological specimen on a slide glass under a microscope by a specialized pathologist. This diagnosis is a subjective judgment that is highly dependent on the experience and knowledge of the observed pathologist individual. Therefore, it is difficult to perform objective diagnosis. Therefore, in the field of pathology diagnosis, a peer review system has been taken to reduce the risk of subjective judgment by evaluating and reviewing the diagnosis results of one pathologist by another pathologist. However, it is extremely inefficient to conduct a peer review of all pathologic diagnosis results. In addition, since the final decision in peer review is also made through discussion between pathologists, the result is highly dependent on the personal experience, knowledge, and speech ability of the person in charge. Therefore, in principle, subjective factors cannot be excluded, and it has been difficult to objectively diagnose pathology.

한편, 기계 학습을 사용하여 화상에 기초하는 병리 진단을 자동화하는 시도가 행하여지고 있다(예를 들어, 특허문헌 1).On the other hand, attempts have been made to automate image-based pathology diagnosis using machine learning (for example, Patent Document 1).

국제 공개 제2016/152242호International Publication No. 2016/152242

기계 학습을 사용한 병리 진단은, 병리 진단의 효율화에 이바지하지만, 객관적인 병리 진단을 행하기 위해서는, 기계 학습을 행하기 위한 콘센서스가 얻어진 대규모 학습 데이터(교사 데이터)를 수집할 필요가 있다. 이 학습 데이터 수집에는, 각 증례에 관한 병리학자 간에서의 대인 논의가 필요 불가결하여, 상술한 문제가 발생한다. 즉, 단순히 기계 학습을 사용하는 것만으로는, 주관적 요소의 배제는 용이하지 않고, 또한, 콘센서스가 얻어진 대규모 학습 데이터를 수집하는 것도 비현실적이다.Pathology diagnosis using machine learning contributes to the efficiency of pathology diagnosis, but in order to perform objective pathology diagnosis, it is necessary to collect large-scale learning data (teacher data) from which consensus for performing machine learning is obtained. In this collection of learning data, personal discussion between pathologists regarding each case is indispensable, and the above-described problem arises. That is, it is not easy to exclude subjective factors by simply using machine learning, and it is also impractical to collect large-scale learning data for which consensus is obtained.

본 발명은, 상기에 감안하여 이루어진 것이고, 객관적인 진단에 이바지하는 정보를 제공할 수 있는 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램을 제공하는 것을 목적으로 한다.The present invention has been made in view of the above, and an object of the present invention is to provide a diagnosis support system, a diagnosis support method, and a diagnosis support program capable of providing information contributing to an objective diagnosis.

본 발명의 일 실시 형태에 관한 진단 지원 시스템은, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과, 해석 대상의 화상을 취득하는 화상 취득 수단과, 화상 취득 수단에 의해 취득된 화상에 대하여, 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과, 연산 수단에 의해 산출된 정보를 출력하는 출력 수단을 구비한다.In the diagnosis support system according to an embodiment of the present invention, a plurality of learning completions that are generated by machine learning and input information based on an image taken of a diagnosis subject to output information indicating a diagnosis result for the diagnosis subject. A learned model acquisition means for acquiring a model, an image acquisition means for acquiring an image to be analyzed, and an image acquired by the image acquisition means are based on a plurality of learned models acquired by the training completed model acquisition means A calculation means for calculating one piece of information about diagnosis by the plurality of learning completed models by performing an operation to perform the calculation, and an output means for outputting the information calculated by the calculation means.

본 발명의 일 실시 형태에 관한 진단 지원 시스템에서는, 화상에 대하여, 개별적으로 생성된 복수의 학습 완료 모델에 기초하여 연산이 행하여져서 진단에 관한 하나의 정보가 산출된다. 산출되는 진단에 관한 하나의 정보로서는, 예를 들어 화상에 대한 진단 결과 자체를 나타내는 정보, 혹은 복수의 학습 완료 모델 간에서의 진단 결과의 분포를 나타내는 정보이다. 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 이렇게 복수의 학습 완료 모델을 사용하여 진단에 관한 하나의 정보를 산출함으로써, 산출하는 정보를 객관적인 진단에 이바지하는 것으로 할 수 있다. 즉, 본 발명의 일 실시 형태에 관한 진단 지원 시스템에 의하면, 객관적인 진단에 이바지하는 정보를 제공할 수 있다.In the diagnosis support system according to the embodiment of the present invention, calculations are performed on an image based on a plurality of individually generated learning completed models, and one piece of information about diagnosis is calculated. One piece of information about the calculated diagnosis is, for example, information indicating a diagnosis result for an image itself, or information indicating a distribution of diagnosis results among a plurality of learning completed models. Even if the individual learning completed models are not sufficiently objective, the calculated information can be contributing to an objective diagnosis by calculating one piece of information on diagnosis using a plurality of learning completed models in this way. That is, according to the diagnosis support system according to the embodiment of the present invention, information contributing to an objective diagnosis can be provided.

연산 수단은, 화상 취득 수단에 의해 취득된 화상에 기초하는 정보를, 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출하는 것으로 해도 된다. 이 구성에 의하면, 적절하고 또한 확실하게 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출할 수 있다. 그 결과, 확실하고 또한 적절하게 객관적인 진단에 이바지하는 정보를 제공할 수 있다.The calculation means inputs information based on the image acquired by the image acquisition means into each of the plurality of learning completed models acquired by the learning completed model acquisition means, and indicates diagnostic results output from each of the plurality of learning completed models. From the information, one piece of information about diagnosis may be calculated. According to this configuration, it is possible to appropriately and reliably calculate one piece of information regarding diagnosis by a plurality of learning completed models. As a result, it is possible to provide information contributing to an objective diagnosis reliably and appropriately.

진단 지원 시스템은, 기계 학습에 사용하는 학습 데이터인, 진단 대상이 찍힌 화상 및 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 취득하여, 취득한 학습 데이터인 화상에 기초하는 정보를 입력값으로 함과 함께 취득한 학습 데이터인 진단 결과를 나타내는 정보를 출력값으로 하여 기계 학습을 행하여 학습 완료 모델을 생성하는 학습 완료 모델 생성 수단을 더 구비하고, 학습 완료 모델 취득 수단은, 학습 완료 모델 생성 수단에 의해 생성된 학습 완료 모델을 취득하는 것으로 해도 된다. 이 구성에 의하면, 개개의 학습 완료 모델을 생성할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다.The diagnosis support system acquires training data used for machine learning, an image taken of a diagnosis target, and information indicating a diagnosis result for the diagnosis target, and uses information based on the acquired training data image as an input value. Further comprising learning completed model generation means for generating a learning completed model by performing machine learning using information indicating a diagnosis result, which is acquired learning data, as an output value, wherein the learning completed model acquisition means is a learning generated by the learning completed model generation means. It is good also as acquiring a finished model. According to this configuration, it is possible to generate individual learning completed models, and it is possible to appropriately and reliably implement one embodiment of the present invention.

학습 완료 모델 취득 수단은, 신경망을 포함하는 복수의 학습 완료 모델을 취득하는 것으로 해도 된다. 이 구성에 의하면, 학습 완료 모델을 적절한 것으로 할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다.The learning completed model acquisition means may acquire a plurality of learning completed models including a neural network. According to this configuration, the learning completed model can be made appropriate, and one embodiment of the present invention can be implemented appropriately and reliably.

그런데, 본 발명은 상기와 같이 진단 지원 시스템의 발명으로서 기술할 수 있는 것 외에, 이하와 같이 진단 지원 방법 및 진단 지원 프로그램의 발명으로서도 기술할 수 있다. 이것은 카테고리만 다른 것으로, 실질적으로 동일한 발명이고, 마찬가지의 작용 및 효과를 발휘한다.Incidentally, the present invention can be described as the invention of the diagnosis support system as described above, and also as the invention of the diagnosis support method and diagnosis support program as follows. This is a different category only, is substantially the same invention, and exhibits the same action and effect.

즉, 본 발명의 일 실시 형태에 관한 진단 지원 방법은, 진단 지원 시스템의 동작 방법인 진단 지원 방법이며, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 스텝과, 해석 대상의 화상을 취득하는 화상 취득 스텝과, 화상 취득 스텝에 있어서 취득된 화상에 대하여, 학습 완료 모델 취득 스텝에 있어서 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 스텝과, 연산 스텝에 있어서 산출된 정보를 출력하는 출력 스텝을 포함한다.That is, a diagnosis support method according to an embodiment of the present invention is a diagnosis support method, which is an operation method of a diagnosis support system, and is generated by machine learning and inputs information based on an image of the diagnosis subject to Learning completed with respect to the learning completed model acquisition step, which acquires a plurality of learning completed models that output information indicating the diagnosis result for, the image acquisition step that acquires an image to be analyzed, and the image acquired in the image acquisition step An operation step for calculating one information about diagnosis by the plurality of learning completed models by performing an operation based on the plurality of learned models acquired in the model acquisition step, and outputting the information calculated in the calculation step Includes output steps.

또한, 본 발명의 일 실시 형태에 관한 진단 지원 프로그램은, 컴퓨터를, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과, 해석 대상의 화상을 취득하는 화상 취득 수단과, 화상 취득 수단에 의해 취득된 화상에 대하여, 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과, 연산 수단에 의해 산출된 정보를 출력하는 출력 수단으로서 기능시킨다.In addition, the diagnostic support program according to an embodiment of the present invention generates a computer by machine learning and inputs information based on an image taken of the object to be diagnosed, and outputs information indicating a diagnosis result for the object to be diagnosed. Learning completed model acquisition means for acquiring a plurality of learning completed models to be analyzed, image acquisition means for acquiring an image to be analyzed, and a plurality of images acquired by the learning completed model acquisition means for the images acquired by the image acquisition means. By performing an operation based on the learning completed model, it is made to function as a calculation means for calculating one piece of information about diagnosis by the plurality of learning completed models, and an output means for outputting information calculated by the calculation means.

본 발명의 일 실시 형태에 의하면, 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 복수의 학습 완료 모델을 사용하여 진단에 관한 하나의 정보를 산출함으로써, 산출하는 정보를 객관적인 진단에 이바지하는 것으로 할 수 있다. 즉, 본 발명의 일 실시 형태에 의하면, 객관적인 진단에 이바지하는 정보를 제공할 수 있다.According to an embodiment of the present invention, even if the individual learning completed models are not sufficiently objective, by calculating one information about diagnosis using a plurality of learning completed models, the calculated information contributes to an objective diagnosis. can do. That is, according to an embodiment of the present invention, information contributing to an objective diagnosis can be provided.

도 1은, 본 발명의 실시 형태에 관한 진단 지원 시스템의 구성을 도시하는 도면이다.
도 2는, 본 발명의 실시 형태에 관한 진단 지원 시스템에서 실행되는 처리(진단 지원 방법)를 도시하는 시퀀스도이다.
도 3은, 본 발명의 실시 형태에 관한 진단 지원 프로그램의 구성을, 기록 매체와 함께 도시하는 도면이다.1 is a diagram showing a configuration of a diagnosis support system according to an embodiment of the present invention.
2 is a sequence diagram showing a process (diagnosis support method) executed in the diagnosis support system according to the embodiment of the present invention.
3 is a diagram showing a configuration of a diagnostic support program according to an embodiment of the present invention together with a recording medium.

이하, 도면과 함께 본 발명에 관한 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램의 실시 형태에 대하여 상세하게 설명한다. 또한, 도면의 설명에 있어서는 동일 요소에는 동일 부호를 붙이고, 중복하는 설명을 생략한다.Hereinafter, embodiments of a diagnosis support system, a diagnosis support method, and a diagnosis support program according to the present invention will be described in detail together with the drawings. In addition, in the description of the drawings, the same elements are denoted by the same reference numerals, and duplicate explanations are omitted.

도 1에 본 실시 형태에 관한 진단 지원 시스템(1)을 도시한다. 진단 지원 시스템(1)은, 화상에 기초하는 진단을 지원하는 시스템(디지털 파솔로지 시스템)이다. 지원의 대상으로 되는 진단은, 병리 진단, 즉, 인체 등으로부터 채취된 병리 조직을 포함하는 병리 표본의 화상에 기초하는 병변의 유무 등의 진단이다. 진단 지원 시스템(1)에 의해, 어떻게 진단이 지원되는지에 대해서서는 후술한다.Fig. 1 shows a diagnosis support system 1 according to the present embodiment. The diagnosis support system 1 is a system (digital parsology system) that supports image-based diagnosis. The diagnosis to be supported is a pathology diagnosis, that is, diagnosis of the presence or absence of a lesion based on an image of a pathological specimen including a pathological tissue collected from a human body or the like. How the diagnosis is supported by the diagnosis support system 1 will be described later.

도 1에 도시한 바와 같이 진단 지원 시스템(1)은, 복수의 PC(퍼스널 컴퓨터)(10)와, 서버(20)를 포함하여 구성된다. 본 실시 형태에 관한 진단 지원 시스템(1)은, 기계 학습에 의해 생성되는 학습 완료 모델을 사용하여 진단의 지원을 행한다.As shown in FIG. 1, the diagnosis support system 1 is comprised including a plurality of PCs (personal computers) 10 and a server 20. The diagnosis support system 1 according to the present embodiment supports diagnosis using a learning completed model generated by machine learning.

PC(10)는, 기계 학습에 의해 학습 완료 모델을 생성하는 장치이다. PC(10)는, 예를 들어 진단을 행하는 병리학자, 병리의 등의 유저에 의해 사용된다. PC(10)는, 당해 유저의 퍼스널 시스템을 구성한다. 도 1에 도시한 바와 같이 PC(10)는, 복수의 유저마다 마련된다. PC(10)와 서버(20)는, 인터넷, 또는 전화망 등의 유선 또는 무선의 네트워크에 의해 접속되어 있고, 서로 정보의 송수신을 행할 수 있다.The PC 10 is a device that generates a learning completed model by machine learning. The PC 10 is used by users, such as a pathologist or a pathologist who performs diagnosis, for example. The PC 10 constitutes a personal system of the user. As shown in Fig. 1, the PC 10 is provided for each of a plurality of users. The PC 10 and the server 20 are connected via a wired or wireless network such as the Internet or a telephone network, and can transmit and receive information with each other.

서버(20)는, 복수의 PC(10) 각각에 의해 생성된 복수의 학습 완료 모델을 취득하여, 진단의 지원에 관한 정보 처리를 행하는 장치이다. 서버(20)는, 진단 지원 시스템(1)의 관리자 등에 의해 마련된다. 서버(20)는, 클라우드 시스템에 의해 구성되어 있어도 된다.The server 20 is a device that acquires a plurality of learning completed models generated by each of the plurality of PCs 10 and processes information related to diagnosis support. The server 20 is provided by an administrator of the diagnosis support system 1 or the like. The server 20 may be configured by a cloud system.

PC(10) 및 서버(20)는, CPU(Central Processing Unit), GPU(Graphics Processing Unit), 메모리, 통신 모듈, 그리고 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD)라고 하는 스토리지 디바이스 등의 하드웨어를 포함하는 컴퓨터에 의해 구성되어 있다. PC(10) 및 서버(20)의 후술하는 각 기능은, 이들 구성 요소가 프로그램 등에 의해 동작함으로써 발휘된다. 또한, PC(10) 및 서버(20)는, 복수의 컴퓨터를 포함하는 컴퓨터 시스템이어도 된다.The PC 10 and the server 20 include a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a memory, a communication module, and a storage device such as a hard disk drive (HDD) or a solid state drive (SDD). It is composed by a computer including hardware. Each of the functions described later of the PC 10 and the server 20 is exhibited by operating these constituent elements by a program or the like. In addition, the PC 10 and the server 20 may be a computer system including a plurality of computers.

도 1에 도시한 바와 같이, PC(10)는, 본 실시 형태에 관한 기능으로서 학습 완료 모델 생성부(11)를 구비하여 구성된다. 또한, PC(10)는, 상기 이외의 통상의 PC가 구비하는 기능을 구비하고 있어도 된다. 학습 완료 모델 생성부(11)는, 프로세서 및 당해 프로세서에 의해 실행되었을 때에 당해 프로세서에 학습 완료 모델 생성부(11)의 기능을 실행시키는 명령을 기억하는 컴퓨터 판독 가능한 기록 매체에 의해 실현되어도 된다.As shown in FIG. 1, the PC 10 is comprised with the learning completed model generation part 11 as a function concerning this embodiment. In addition, the PC 10 may be equipped with functions other than the above, which a normal PC has. The learning completed model generation unit 11 may be realized by a processor and a computer-readable recording medium that stores instructions for causing the processor to execute the function of the learning completed model generation unit 11 when executed by the processor.

학습 완료 모델 생성부(11)는, 기계 학습에 사용하는 학습 데이터를 취득하고, 취득한 학습 데이터를 사용하여 기계 학습을 행하여 학습 완료 모델을 생성하는 학습 완료 모델 생성 수단이다. 학습 데이터는, 진단 대상이 찍힌 화상 및 당해 진단 대상에 대한 진단 결과를 나타내는 정보인 진단 정보를 포함한다. 진단 대상이 찍힌 화상은, 인체 등으로부터 채취된 병리 조직을 포함하는 병리 표본의 화상인 병리 조직 화상이다. 당해 화상은, 예를 들어 현미경에 접속된 카메라에서의 촬상에 의해 얻어진다. 학습 완료 모델 생성부(11)는, 예를 들어 PC(10)에 마련된 유저 인터페이스가 유저에 의해 조작되어서 상기와 같이 얻어진 화상을 학습 데이터로서 취득한다. 또한, PC(10)는, 버추얼 슬라이드 스캐너 등의 자동 촬영 장치에 접속되어 있고, 학습 완료 모델 생성부(11)는, 자동 촬영 장치에 의해 연속적으로 촬상된 다수의 화상을 취득해도 된다. 화상은, 학습 완료 모델의 입력에 대응하는 것이다.The learning completed model generation unit 11 is a learning completed model generation means for acquiring training data used for machine learning and performing machine learning using the acquired training data to generate a learning completed model. The learning data includes an image in which a diagnosis object is taken and diagnosis information, which is information indicating a diagnosis result for the diagnosis object. The image of the diagnosis target is a pathological tissue image, which is an image of a pathological specimen including pathological tissue collected from a human body or the like. The image is obtained, for example, by imaging with a camera connected to a microscope. The learning completed model generation unit 11 acquires, for example, an image obtained as above by operating a user interface provided in the PC 10 by a user as learning data. Further, the PC 10 is connected to an automatic photographing device such as a virtual slide scanner, and the learning completed model generation unit 11 may acquire a plurality of images continuously captured by the automatic photographing device. The image corresponds to the input of the learning completed model.

학습 완료 모델 생성부(11)는, 기계 학습을 적절하게 행하기 위해서, 취득한 화상의 사이즈(예를 들어, 화상의 종횡 화소수)를 미리 설정한 사이즈로 통일하는, 즉, 정규화하는 것으로 해도 된다. 화상의 정규화는, 예를 들어 화상의 축소, 확대, 트리밍 등을 행함으로써 행하여진다. 또한, 학습 완료 모델 생성부(11)는, 취득한 화상에 대하여 콘트라스트의 조정, 색의 변경 및 포맷의 변경 등의 각종 처리를 행하는 것으로 해도 된다.In order to properly perform machine learning, the learning completed model generation unit 11 may unify the size of the acquired image (for example, the number of vertical and horizontal pixels of the image) to a preset size, that is, normalize it. . Image normalization is performed, for example, by reducing, expanding, and trimming the image. In addition, the learning completed model generation unit 11 may perform various processes, such as contrast adjustment, color change, and format change, on the acquired image.

학습 데이터로서 사용하는 화상에 대해서는, PC(10)의 유저 등에 의해 사전 병리 진단이 이루어져 있다. 즉, 화상에 대하여 소정의 종별의 병변 유무(진단 종별)이 진단되어 있다. 학습 데이터로서의 진단 정보는, 예를 들어 당해 진단에 기초하는, 미리 설정된 종별의 병변 유무를 나타내는 정보이다. 진단 정보는, 구체적으로는, 병변이 있으면(이상이면) 1, 병변이 없으면(정상이면) 0의 2치의 정보로 된다. 또한, 학습 데이터로서의 진단 정보는, 복수의 종별의 병변에 대하여 병변의 유무를 나타내는 정보여도 된다. 이 경우, 진단 정보는, 예를 들어 미리 설정된 복수의 종별의 병변의 수 차원의 벡터이고, 병변이 있는 종별의 요소가 1로 되고, 병변이 없는 종별의 요소가 0으로 된다. 이러한 벡터인 진단 정보는, 유저 등에 의한 자유 기재된 진단명에 기초하여 생성될 수 있다. 진단 정보는, 학습 완료 모델의 출력에 대응하는 것이다. 학습 완료 모델 생성부(11)는, PC(10)에 마련된 유저 인터페이스가 유저에 의해 조작되어, 진단 정보를 학습 데이터로서 취득한다. 취득하는 진단 정보는, 진단원의 화상에 대응지어져 있다. 기계 학습을 행하기 위해서, 통상, 다수의 학습 데이터가 준비된다.With respect to the image used as the learning data, a pathology diagnosis is made in advance by the user of the PC 10 or the like. That is, the presence or absence (diagnosis type) of a lesion of a predetermined type with respect to the image is diagnosed. The diagnostic information as learning data is information indicating the presence or absence of a lesion of a predetermined type based on the diagnosis, for example. The diagnostic information is specifically, binary information of 1 if there is a lesion (if abnormal) and 0 if there is no lesion (normal). Further, the diagnostic information as learning data may be information indicating the presence or absence of a lesion for a plurality of types of lesions. In this case, the diagnostic information is, for example, a vector of the number of lesions of a plurality of types set in advance, the element of the type with the lesion is 1, and the element of the type without the lesion is 0. The diagnostic information, which is such a vector, can be generated based on a freely described diagnosis name by a user or the like. The diagnostic information corresponds to the output of the learning completed model. The learning completed model generation unit 11 operates the user interface provided in the PC 10 by a user, and acquires diagnostic information as learning data. The acquired diagnostic information is associated with an image of the diagnostician. In order to perform machine learning, a large number of learning data are usually prepared.

학습 완료 모델 생성부(11)에 의해 생성되는 학습 완료 모델은, 화상에 기초하는 정보를 입력하여, 진단 결과를 나타내는 정보를 출력하는, 즉, 진단 결과를 예측하는 모델이다. 예를 들어, 당해 학습 완료 모델은, 화상에 대한 병변의 유무를 나타내는 정보를 출력한다. 학습 완료 모델은, 신경망을 포함한다. 학습 완료 모델은, 컨벌루션 신경망을 포함하는 것이어도 된다. 또한, 학습 완료 모델은, 복수의 계층(예를 들어, 8층 이상)의 신경망을 포함하는 것이어도 된다. 즉, 딥 러닝에 의해 학습 완료 모델이 생성되어도 된다.The learning completed model generated by the learning completed model generation unit 11 is a model that inputs information based on an image and outputs information indicating a diagnosis result, that is, predicts a diagnosis result. For example, the learning completed model outputs information indicating the presence or absence of a lesion on an image. The learning completed model includes a neural network. The learning completed model may include a convolutional neural network. In addition, the learning completed model may include a neural network of a plurality of hierarchies (eg, 8 or more layers). That is, a learning completed model may be generated by deep learning.

신경망은, 예를 들어 화상의 각 화소의 화소값을 입력하여, 병변의 유무를 나타내는 정보를 출력한다. 신경망의 입력층에는, 화상의 화소의 수분의 뉴런이 마련된다. 신경망의 출력층에는, 병변의 유무를 나타내는 정보를 출력하기 위한 뉴런이 마련된다. 예를 들어, 진단 대상의 병변이, 특정한 1개의 병변이라면, 출력층에는 당해 1개의 병변에 대응하는 1개의 뉴런이 마련된다. 진단 대상이 복수의 종별의 병변이라면(진단 정보가 상술한 벡터라면), 출력층에는 당해 복수의 병변에 대응하는 복수의 뉴런이 마련된다. 당해 뉴런의 출력값은, 학습 데이터의 진단 정보에 따른 값이고, 예를 들어 0 내지 1의 값이다. 이 경우, 뉴런의 값이 클수록(값이 1에 가까울수록), 병변이 있고(이상이고), 뉴런의 값이 작을수록(값이 0에 가까울수록), 병변이 없는(정상인) 것을 나타내고 있다.The neural network, for example, inputs a pixel value of each pixel of an image and outputs information indicating the presence or absence of a lesion. In the input layer of the neural network, neurons of several minutes of pixels of the image are provided. Neurons for outputting information indicating the presence or absence of a lesion are provided in the output layer of the neural network. For example, if the lesion to be diagnosed is one specific lesion, one neuron corresponding to the one lesion is provided in the output layer. If the diagnosis target is a lesion of a plurality of types (if the diagnosis information is the vector described above), a plurality of neurons corresponding to the plurality of lesions are provided in the output layer. The output value of the neuron is a value according to diagnostic information of the training data, and is, for example, a value of 0 to 1. In this case, the larger the value of the neuron (the closer the value is to 1), the more there is a lesion (above), the smaller the value of the neuron (the closer the value is to 0), the more there is no lesion (normal).

학습 완료 모델 생성부(11)는, 취득한 화상의 각 화소값을 신경망으로의 입력값으로 함과 함께, 취득한 당해 화상에 대응하는 진단 정보를 신경망의 출력값으로 하여 기계 학습을 행하여 신경망을 생성한다. 화소값을 입력값으로 할 때에는, 각각의 화소(화상 상의 화소의 위치)에 대응지은 뉴런의 입력값으로 한다. 상기의 기계 학습 자체는, 종래의 기계 학습 알고리즘과 마찬가지로 행할 수 있다.The learning completed model generation unit 11 uses each pixel value of the acquired image as an input value to the neural network, and performs machine learning by using diagnostic information corresponding to the acquired image as an output value of the neural network to generate a neural network. When a pixel value is used as an input value, it is set as an input value of a neuron corresponding to each pixel (a position of a pixel in an image). The machine learning itself described above can be performed similarly to a conventional machine learning algorithm.

또한, 상기의 예에서는, 신경망으로의 입력값은, 화상의 화소값인 것으로 했지만, 화소값에 대신에, 혹은 화소값에 추가하여, 화상으로부터 추출되는 특징량인 것으로 해도 된다. 화상으로부터의 특징량의 추출은, 종래의 임의의 방법에 의해 행할 수 있다. 또한, 신경망을 생성할 때, 학습 데이터에 대한 통계학적 처리를 행하여, 빗나감 데이터를 노이즈로 하여 배제하는 것으로 해도 된다. 당해 노이즈의 배제는, 종래의 방법과 마찬가지로 행할 수 있다.In the above example, although the input value to the neural network is assumed to be the pixel value of the image, it may be a feature quantity extracted from the image instead of the pixel value or in addition to the pixel value. Extraction of the feature amount from the image can be performed by any conventional method. In addition, when generating a neural network, statistical processing may be performed on the learning data, and the deviation data may be excluded as noise. The noise can be removed in the same manner as in a conventional method.

학습 완료 모델 생성부(11)는, 생성한 학습 완료 모델을 서버(20)에 송신한다. 학습 완료 모델의 생성 및 서버(20)로의 송신은, 각 PC(10)에 있어서 각각 행하여진다. 또한, 각 PC(10)에 있어서는, 각각의 PC(10)에 있어서 생성된 학습 완료 모델이 사용되고, 미지의 화상에 대한 진단이 행하여져도 된다. 또한, PC(10)는, 후술하는 바와 같이 서버(20) 사이에서 화상 및 진단에 관한 정보의 송수신을 행하는 것으로 해도 된다. 이상이, 본 실시 형태에 관한 PC(10)의 기능이다.The learning completed model generation unit 11 transmits the generated learning completed model to the server 20. Generation of the learning completed model and transmission to the server 20 are performed in each PC 10, respectively. In addition, in each PC 10, the learning completed model generated in each PC 10 may be used, and a diagnosis may be performed on an unknown image. In addition, the PC 10 may transmit/receive information related to images and diagnosis between the servers 20 as described later. The above is the function of the PC 10 according to the present embodiment.

도 1에 도시한 바와 같이, 서버(20)는, 본 실시 형태에 관한 기능으로서 학습 완료 모델 취득부(21)와, 화상 취득부(22)와, 연산부(23)와, 출력부(24)를 구비하여 구성된다. 학습 완료 모델 취득부(21), 화상 취득부(22), 연산부(23) 및 출력부(24)는, 프로세서 및 당해 프로세서에 의해 실행되었을 때에 당해 프로세서에 각각의 기능부의 기능을 실행시키는 명령을 기억하는 컴퓨터 판독 가능한 기록 매체에 의해 실현되어도 된다. 프로세서는, 임의의 범용의 프로세서, 또는 소프트웨어의 명령이 실제의 프로세서의 디자인에 내장된 특수 용도의 프로세서를 포함하고 있어도 된다.As shown in Fig. 1, the server 20 includes a learning completed model acquisition unit 21, an image acquisition unit 22, an operation unit 23, and an output unit 24 as functions according to the present embodiment. It is configured with. The learning completed model acquisition unit 21, the image acquisition unit 22, the calculation unit 23, and the output unit 24, when executed by the processor and the processor, give instructions to the processor to execute the functions of each functional unit. It may be realized by a computer-readable recording medium to be stored. The processor may include an arbitrary general-purpose processor or a special-purpose processor in which instructions of software are embedded in the design of an actual processor.

학습 완료 모델 취득부(21)는, 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단이다. 학습 완료 모델 취득부(21)는, 각 PC(10)에 있어서 생성되어 송신된 학습 완료 모델을 수신하여 취득한다. 학습 완료 모델 취득부(21)에 의해 취득된 복수의 학습 완료 모델은, 서버(20)에 기억(축적)되어, 연산부(23)에 의한 연산에 사용된다. 취득된 복수의 학습 완료 모델은, 생성된 PC(10)에 대응지어져서 기억되어도 된다.The learning completed model acquisition unit 21 is a learning completed model acquisition means for acquiring a plurality of learning completed models. The learning completed model acquisition unit 21 receives and acquires the learning completed model generated and transmitted in each PC 10. The plurality of learning completed models acquired by the learning completed model acquisition unit 21 are stored (accumulated) in the server 20 and used for calculation by the calculation unit 23. The acquired plurality of learning completed models may be stored in association with the generated PC 10.

화상 취득부(22)는, 해석 대상의 화상을 취득하는 화상 취득 수단이다. 해석 대상의 화상은, 상기의 복수의 학습 완료 모델을 사용한 해석의 대상으로 되는 병리 조직 화상이다. 당해 화상은, 예를 들어 PC(10)에 있어서, 학습 데이터의 화상과 마찬가지로 취득되어 서버(20)에 송신된다. 화상 취득부(22)는, 당해 화상을 수신하여 취득한다. 화상 취득부(22)는, 당해 화상에 대하여, 학습 데이터의 화상과 마찬가지로 화상의 정규화 등의 화상 처리를 행하여도 된다. 또한, 화상 처리는, PC(10)에 있어서 행하여져도 된다. 또한, 당해 화상은, 상기 이외의 방법으로 취득되어도 된다. 화상 취득부(22)는, 취득한 화상을 연산부(23)에 출력한다.The image acquisition unit 22 is an image acquisition means for acquiring an image to be analyzed. The image to be analyzed is an image of a pathological structure to be analyzed using the plurality of learning completed models. This image is acquired in the same way as the image of the learning data in the PC 10 and transmitted to the server 20, for example. The image acquisition unit 22 receives and acquires the image. The image acquisition unit 22 may perform image processing such as normalization of an image similarly to the image of the training data on the image. Further, image processing may be performed in the PC 10. In addition, the image may be acquired by a method other than the above. The image acquisition unit 22 outputs the acquired image to the calculation unit 23.

연산부(23)는, 화상 취득부(22)에 의해 취득된 화상에 대하여 학습 완료 모델 취득부(21)에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단이다. 연산부(23)는, 당해 화상에 기초하는 정보를, 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출한다.The calculation unit 23 performs an operation based on a plurality of learning completed models acquired by the learning completed model acquisition unit 21 with respect to the images acquired by the image acquisition unit 22, and applies the plurality of learning completed models. It is an operation means that calculates one piece of information about the diagnosis. The calculation unit 23 inputs information based on the image into each of the plurality of learning completed models, and calculates one piece of information about diagnosis from information indicating a diagnosis result output from each of the plurality of learning completed models.

PC(10)에 있어서 생성되는 학습 완료 모델은, 상술한 바와 같이, PC(10)의 유저 등에 의한 사전 병리 진단에 기초하여 생성된다. 따라서, 생성되는 학습 완료 모델은, 병리 진단을 행한 PC(10)의 유저 등의 종래의 진단 기준(사고 로직)을 고정밀도로 재현한 것이 된다. 즉, 사전 병리 진단이 객관적인 것이 아니면, 생성되는 학습 완료 모델도 반드시 객관적인 것이라고는 할 수 없다. 본 실시 형태에서는, 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 복수의 학습 완료 모델을 사용하여 하나의 진단에 관한 정보를 산출함으로써, 산출하는 정보가 객관적인 진단에 이바지하는 것이 된다.As described above, the learning completed model generated in the PC 10 is generated based on prior pathology diagnosis by a user of the PC 10 or the like. Accordingly, the generated learning completed model is a highly accurate reproduction of conventional diagnostic criteria (accident logic) such as a user of the PC 10 who has performed pathology diagnosis. That is, unless the prior pathology diagnosis is objective, the generated learning completed model cannot necessarily be objective. In the present embodiment, even if the individual learning completed models are not sufficiently objective, by calculating information about one diagnosis using a plurality of learning completed models, the calculated information contributes to objective diagnosis.

연산부(23)는, 구체적으로는, 이하와 같이 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출한다. 연산부(23)는, 화상 취득부(22)로부터 해석 대상의 화상을 입력함과 함께, 학습 완료 모델 취득부(21)에 의해 취득되어 PC(10)에 기억되어 있는 복수의 학습 완료 모델을 판독한다. 연산부(23)는, 예를 들어 해석 대상의 화상에 대하여, 하나의 정보로서, 복수의 학습 완료 모델에 의한 하나의 진단 결과를 산출하는, 즉, 진단 결과를 예측한다. 이 경우, 연산부(23)는, 해석 대상의 화상의 각 화소의 화소값을 학습 완료 모델인 각 신경망으로의 입력값으로서 각 신경망에 따른 연산을 행하여, 각 신경망으로부터의 출력값을 얻는다. 연산부(23)는, 이들의 출력값에 기초하는 연산을 행하여 하나의 진단 결과를 산출한다.Specifically, the calculation unit 23 calculates one piece of information about diagnosis by a plurality of learning completed models as follows. The calculation unit 23 inputs an image to be analyzed from the image acquisition unit 22 and reads a plurality of learning completed models acquired by the learning completed model acquisition unit 21 and stored in the PC 10. do. The calculation unit 23 calculates, for example, one diagnosis result by a plurality of learning completed models as one piece of information for an image to be analyzed, that is, predicts a diagnosis result. In this case, the calculation unit 23 calculates the pixel value of each pixel of the image to be analyzed as an input value to each neural network that is a learning completed model, and obtains an output value from each neural network. The calculation unit 23 calculates one diagnosis result by performing calculations based on these output values.

연산부(23)는, 예를 들어 각 출력값으로부터 하나의 진단 결과를 산출한다. 연산부(23)는, 각 출력값에 대해서, 미리 설정된 역치와 비교하여, 출력값이 역치 이상인 경우, 병변이 있다고 판단하고, 출력값이 역치 미만인 경우, 병변이 없다고 판단한다. 출력값은, 복수의 학습 완료 모델의 수만큼 있으므로, 당해 판단은 복수의 학습 완료 모델의 수분, 행하여진다. 또한, 복수의 종별의 병변에 대하여 출력값이 있는 경우에는, 연산부(23)는, 병변의 종별마다 판단한다. 연산부(23)는, 병변이 있다고 판단된 출력값의 수와, 병변이 없다고 판단된 출력값의 수를 비교한다.The calculating part 23 calculates one diagnosis result from each output value, for example. The operation unit 23 compares each output value with a preset threshold value, and determines that there is a lesion when the output value is greater than or equal to the threshold value, and determines that there is no lesion when the output value is less than the threshold value. Since the output value is as much as the number of the plurality of trained models, the determination is made in several minutes of the plurality of trained models. In addition, when there is an output value for a plurality of types of lesions, the calculation unit 23 determines for each type of lesion. The operation unit 23 compares the number of output values determined to have a lesion with the number of output values determined to have no lesion.

병변이 있다고 판단된 수가 많았을 경우, 연산부(23)는, 해석 대상의 화상에 대한 복수의 학습 완료 모델에 의한 하나의 진단 결과로서 병변이 있다고 한다. 병변이 없다고 판단된 수가 많았을 경우, 연산부(23)는, 해석 대상의 화상에 대한 복수의 학습 완료 모델에 의한 하나의 진단 결과로서 병변이 없다고 한다. 이것이, 하나의 진단 결과를 나타내는 정보의 일례이다. 혹은, 연산부(23)는, 각 신경망으로부터의 출력값의 분포, 즉, 개개의 학습 완료 모델의 진단 결과의 분포를 하나의 진단 결과를 나타내는 정보로 해도 된다.When there is a large number of lesions determined to exist, the operation unit 23 assumes that the lesion is present as a result of one diagnosis by a plurality of learning completed models for the image to be analyzed. In the case where the number of times judged that there is no lesion is large, the calculation unit 23 assumes that there is no lesion as a result of one diagnosis by a plurality of learning completed models for the image to be analyzed. This is an example of information indicating one diagnosis result. Alternatively, the calculation unit 23 may use the distribution of output values from each neural network, that is, the distribution of diagnosis results of individual learning completed models as information indicating one diagnosis result.

상기에 대신하여, 혹은 추가하여, 연산부(23)는, 직접적인 진단 결과 이외의 정보를, 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보로서 산출해도 된다. 예를 들어, 연산부(23)는, 해석 대상의 화상의 생성원의 PC(10)에 대응지어진 학습 완료 모델에 의한 진단 결과와 그 이외의 학습 완료 모델에 의한 진단 결과의 일치 불일치를 나타내는 정보를 산출해도 된다. 구체적으로는, 그것들이 일치하고 있었던 수 및 불일치했던 수를 산출해도 된다. 즉, 연산부(23)는, 학습 완료 모델에 의한 진단 결과의 차이 분석을 행하여도 된다. 이 정보에 의해, 유저는, 다른 유저와 어느 정도 진단 결과가 일치하고 있는 것인지의 여부를 파악할 수 있다. 즉, 유저는, 피어 리뷰를 실시할 수 있다.In place of or in addition to the above, the calculation unit 23 may calculate information other than a direct diagnosis result as one piece of information regarding diagnosis by a plurality of learning completed models. For example, the calculation unit 23 may store information indicating a mismatch between the diagnosis result by the learning completed model corresponding to the PC 10 of the generation source of the image to be analyzed and the diagnosis result by the other learning completed model. You may calculate. Specifically, you may calculate the number that they matched and the number which did not match. That is, the calculating part 23 may analyze the difference of the diagnosis result by the learning completed model. With this information, the user can grasp to what extent the diagnosis result matches with other users. That is, the user can perform peer review.

연산부(23)는, 상기 이외의 방법에 의해 진단에 관한 하나의 정보를 산출해도 된다. 연산부(23)는, 예를 들어 개개의 학습 완료 모델로부터 출력되는 정보에 대하여, 종래의 임의의 통계학적 처리 등의 디지털 처리를 행하여 진단에 관한 하나의 정보를 산출해도 된다. 연산부(23)는, 산출한 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 출력부(24)에 출력한다.The calculation unit 23 may calculate one piece of information related to diagnosis by a method other than the above. The calculation unit 23 may perform digital processing, such as conventional arbitrary statistical processing, on the information output from each learning completed model, for example, to calculate one piece of information about diagnosis. The calculation unit 23 outputs to the output unit 24 one piece of information related to the diagnosis based on the calculated plurality of learning completed models.

출력부(24)는, 연산부(23)에 의해 산출된 정보를 출력하는 출력 수단이다. 출력부(24)는, 연산부(23)로부터 정보를 입력한다. 출력부(24)는, 예를 들어 해석 화상의 송신원인 PC(10)에 정보를 송신하여 출력한다. PC(10)에서는, 당해 정보가 수신되어 표시 등이 이루어진다. 이에 의해, PC(10)의 유저는, 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 참조하여, 진단에 도움될 수 있다. 또한, 출력부(24)는, 상기 이외의 방법으로 정보를 출력해도 된다. 이상이, 본 실시 형태에 관한 서버(20)의 기능이다.The output unit 24 is an output unit that outputs information calculated by the calculation unit 23. The output unit 24 inputs information from the calculation unit 23. The output unit 24 transmits and outputs information to the PC 10, which is a transmission source of the analyzed image, for example. In the PC 10, the information is received and displayed. As a result, the user of the PC 10 can refer to one piece of information about diagnosis by a plurality of learning completed models, and assist in diagnosis. In addition, the output unit 24 may output information by a method other than the above. The above is the function of the server 20 according to the present embodiment.

계속해서, 도 2의 시퀀스도를 사용하여, 본 실시 형태에 관한 진단 지원 시스템(1)에서 실행되는 처리(진단 지원 시스템(1)이 행하는 동작 방법)인 진단 지원 방법을 설명한다. 먼저, 진단 지원 시스템(1)에 포함되는 각각의 PC(10)에 있어서, 학습 완료 모델 생성부(11)에 의해, 학습 데이터가 취득되고, 취득된 학습 데이터가 사용되어서 기계 학습이 행하여져 학습 완료 모델이 생성된다(S01, 학습 완료 모델 생성 스텝). 생성된 학습 완료 모델은, 학습 완료 모델 생성부(11)로부터 서버(20)에 송신된다(S02).Subsequently, a diagnosis support method, which is a process executed in the diagnosis support system 1 according to the present embodiment (operation method performed by the diagnosis support system 1), will be described using the sequence diagram in FIG. 2. First, in each PC 10 included in the diagnosis support system 1, the learning data is acquired by the learning completed model generation unit 11, and machine learning is performed by using the acquired learning data to complete the learning. A model is generated (S01, a learning completed model generation step). The generated learning completed model is transmitted from the learning completed model generation unit 11 to the server 20 (S02).

서버(20)에서는, 복수의 PC(10)로부터 송신된 학습 완료 모델이, 학습 완료 모델 취득부(21)에 의해 수신되어 취득된다(S02, 학습 완료 모델 취득 스텝). 취득된 복수의 학습 완료 모델은, 서버(20)에 기억된다.In the server 20, the learning completed models transmitted from the plurality of PCs 10 are received and acquired by the learning completed model acquisition unit 21 (S02, learning completed model acquisition step). The acquired plurality of learning completed models are stored in the server 20.

계속해서, PC(10)에 의해, 해석 대상의 화상이 취득된다(S03). 해석 대상의 화상은, 예를 들어 현미경에 접속된 카메라로 촬상된 병리 조직 화상이다. 해석 대상의 화상은, PC(10)로부터 서버(20)에 송신된다(S04). 서버(20)에서는, PC(10)로부터 송신된 해석 대상의 화상이, 화상 취득부(22)에 의해 수신되어 취득된다(S04, 화상 취득 스텝).Subsequently, an image to be analyzed is acquired by the PC 10 (S03). The image to be analyzed is, for example, a pathological tissue image captured by a camera connected to a microscope. The image to be analyzed is transmitted from the PC 10 to the server 20 (S04). In the server 20, the image to be analyzed transmitted from the PC 10 is received and acquired by the image acquisition unit 22 (S04, image acquisition step).

계속해서, 연산부(23)에 의해, 당해 화상에 기초하는 정보가 복수의 학습 완료 모델 각각에 입력되어, 복수의 학습 완료 모델 각각에 따른 연산이 행하여지고, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보가 얻어진다(S05, 연산 스텝). 계속해서, 연산부(23)에 의해, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보에 기초하는 연산이 행하여져서, 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보, 예를 들어 하나의 진단 결과가 산출된다(S06, 연산 스텝).Subsequently, information based on the image is inputted to each of the plurality of learning completed models by the calculation unit 23, calculation according to each of the plurality of learning completed models is performed, and diagnosis output from each of the plurality of learning completed models Information indicating the result is obtained (S05, calculation step). Subsequently, the calculation unit 23 performs an operation based on the information indicating the diagnosis result output from each of the plurality of learning completed models, and one piece of information about the diagnosis by the plurality of learning completed models, for example, one The diagnosis result of is calculated (S06, calculation step).

계속해서, 연산부(23)에 의해 산출된 정보, 예를 들어 하나의 진단 결과를 나타내는 정보가, 출력부(24)로부터 PC(10)에 송신되어서 출력된다(S07, 출력 스텝). 당해 정보는, PC(10)에 의해 수신되어, 당해 정보의 표시 등의 출력이 행하여진다(S08). 이상이, 본 실시 형태에 관한 진단 지원 방법이다.Subsequently, information calculated by the calculation unit 23, for example, information indicating one diagnosis result, is transmitted from the output unit 24 to the PC 10 and outputted (S07, output step). This information is received by the PC 10, and output such as display of the information is performed (S08). The above is the diagnosis support method according to the present embodiment.

상술한 바와 같이 본 실시 형태에서는, 해석 대상의 화상에 대하여 개별적으로 생성된 복수의 학습 완료 모델에 기초하여 연산이 행하여져 진단에 관한 하나의 정보가 산출된다. 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 이렇게 복수의 학습 완료 모델을 사용하여 진단에 관한 하나의 정보를 산출함으로써, 산출하는 정보를 주관적인 요소를 배제한 객관적인 진단에 이바지하는 것으로 할 수 있다. 즉, 본 실시 형태에 따르면, 객관적인 진단에 이바지하는 정보를 제공할 수 있다.As described above, in the present embodiment, calculations are performed based on a plurality of learning completed models individually generated for an image to be analyzed, and one piece of information about diagnosis is calculated. Even if the individual learning completed models are not sufficiently objective, by calculating one information about diagnosis using a plurality of learning completed models in this way, the calculated information can be contributing to an objective diagnosis excluding subjective factors. That is, according to the present embodiment, information contributing to an objective diagnosis can be provided.

상술한 바와 같이 학습 완료 모델은, PC(10)의 유저 등의 종래의 진단 기준을 나타낸 것이다. 복수의 학습 완료 모델에 기초하여 진단에 관한 하나의 정보가 산출됨으로써, 진단 기준의 표준화를 도모할 수 있다. 또한, 개개의 학습 완료 모델이, 세계의 유저 학습 데이터에 의해 생성된 것이라면, 진단 기준의 세계 표준화를 도모할 수 있다.As described above, the learning completed model represents conventional diagnostic criteria such as users of the PC 10. By calculating one piece of information on diagnosis based on a plurality of learning completed models, standardization of the diagnosis criteria can be achieved. In addition, as long as the individual learning completed models are generated by world user learning data, global standardization of diagnostic criteria can be achieved.

또한, 화상에 기초하는 정보 처리에 의해 진단에 관한 정보가 산출되기 때문에, 진단의 효율화, 생력화, 시간 단축 등을 도모할 수 있다. 이에 의해, 소수의 병리학자에 의해 다수의 진단을 행하는 것이 가능해진다.In addition, since information related to diagnosis is calculated by image-based information processing, it is possible to improve diagnosis efficiency, make life, and shorten time. Thereby, it becomes possible to make a large number of diagnosis by a small number of pathologists.

또한, 본 실시 형태과 같이, 화상에 기초하는 정보를, 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출하는 것으로 해도 된다. 그 결과, 확실하고 또한 적절하게 객관적인 진단에 이바지하는 정보를 제공할 수 있다. 단, 진단에 관한 하나의 정보 산출은, 상기 이외의 방법으로 행하여져도 된다.In addition, as in the present embodiment, by inputting image-based information into each of a plurality of learning completed models, and calculating one information about diagnosis from information indicating a diagnosis result output from each of the plurality of learning completed models. You can do it. As a result, it is possible to provide information contributing to an objective diagnosis reliably and appropriately. However, one of the information related to diagnosis may be calculated by a method other than the above.

또한, 본 실시 형태과 같이, 진단 지원 시스템(1)에 있어서, 기계 학습을 행하여 학습 완료 모델을 생성하는 것으로 해도 된다. 이 구성에 의하면, 개개의 학습 완료 모델을 생성할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다. 또한, 본 실시 형태와 같이 기계 학습의 생성은, 서버(20)가 아닌, 개개의 PC(10)에 있어서 행하여지는 것으로 해도 된다. 즉, 에지 헤비 컴퓨팅의 구성을 취하는 것으로 해도 된다. 이 구성을 취함으로써, 서버(20)에 큰 부하를 가하는 일없이, 진단 지원 시스템(1)을 실현할 수 있다. 또한, 각 PC(10)의 유저가 병리학자라면, 유저에 의한 진단 지원 시스템(1)의 이용 자체가 데이터 수집의 역할도 담당하여, 질이 높은 학습 데이터를 수집할 수 있고, 개개의 학습 완료 모델을 질이 높은 것으로 할 수 있다. 또한, 개개의 PC(10)에서 학습 데이터가 취득되어 기계 학습이 행해짐으로써, 서버(20)는, 자신이 학습 데이터를 취득할 필요없이, 동적, 대규모 또한 효율적으로 학습 완료 모델을 취득할 수 있다.Further, as in the present embodiment, in the diagnosis support system 1, machine learning may be performed to generate a learning completed model. According to this configuration, it is possible to generate individual learning completed models, and it is possible to appropriately and reliably implement one embodiment of the present invention. Further, as in the present embodiment, machine learning may be generated not in the server 20 but in the individual PC 10. That is, it is good also considering the configuration of edge heavy computing. By taking this configuration, the diagnosis support system 1 can be realized without exerting a large load on the server 20. In addition, if the user of each PC 10 is a pathologist, the use of the diagnosis support system 1 by the user itself also plays a role of data collection, so that high-quality learning data can be collected, and individual learning is completed. Models can be of high quality. In addition, since learning data is acquired from each PC 10 and machine learning is performed, the server 20 can dynamically, large-scale, and efficiently acquire a learning completed model without having to acquire the learning data by itself. .

또한, 서버(20)에 의한 화상의 해석 결과도, 상술한 실시 형태와 같이 PC(10)로부터 이용할 수 있도록 해도 된다. 즉, 각 PC(10)의 유저가, 객관적인 진단에 이바지하는 정보를 상호 참조할 수 있도록 해도 된다. 이 구성에 의하면, 각 유저에 있어서 객관적인 진단을 행할 수 있고, 진단 기준의 객관화를 도모할 수 있다.Further, the analysis result of the image by the server 20 may also be made available from the PC 10 as in the above-described embodiment. That is, the user of each PC 10 may be able to cross-reference information contributing to an objective diagnosis. According to this configuration, objective diagnosis can be performed for each user, and objectification of the diagnosis criteria can be achieved.

단, 학습 완료 모델의 생성을 개개의 PC(10)에서 행하는 구성을 취할 필요는 없고, 서버(20)에 있어서 학습 완료 모델의 생성이 행하여져도 된다. 또한, 진단 지원 시스템(1)에 있어서, 학습 완료 모델을 생성하지 않는 구성으로 해도 된다. 즉, 진단 지원 시스템(1)은, PC(10)를 구비하지 않는 구성으로 해도 된다. 그 경우, 진단 지원 시스템(1)은, 진단 지원 시스템(1) 이외의 장치로부터, 복수의 학습 완료 모델을 취득할 수 있으면 된다.However, it is not necessary to take a configuration in which the learning completed model is generated in each PC 10, and the learning completed model may be generated in the server 20. Further, in the diagnosis support system 1, a configuration in which a learning completed model is not generated may be employed. That is, the diagnosis support system 1 may be configured without the PC 10. In that case, the diagnosis support system 1 just needs to be able to acquire a plurality of learning completed models from devices other than the diagnosis support system 1.

또한, 본 실시 형태와 같이 학습 완료 모델은, 신경망을 포함하는 것으로 해도 된다. 이 구성에 의하면, 학습 완료 모델을 적절한 것으로 할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다. 단, 학습 완료 모델은, 기계 학습에 의해 생성되는 것이라면, 신경망을 포함하는 것 이외여도 된다.In addition, as in the present embodiment, the learning completed model may include a neural network. According to this configuration, the learning completed model can be made appropriate, and one embodiment of the present invention can be implemented appropriately and reliably. However, as long as the learning completed model is generated by machine learning, it may be other than including a neural network.

상술한 바와 같이 본 실시 형태에 관한 진단은, 병변의 유무를 판단하는 것이었지만, 그 이외의 진단이어도 된다. 예를 들어, 병변을 나타내는 상태 또는 수치(예를 들어, 조기 진단 마커값) 등을 판단하는 것이어도 된다. 또한, 본 실시 형태는, 인간에 추가하여, 인간 이외의 동물(예를 들어, 가축, 애완동물, 실험동물)을 대상으로 해도 된다. 또한, 본 실시 형태는, 독성 병리 진단을 행하는 것이어도 된다.As described above, the diagnosis according to the present embodiment was to determine the presence or absence of a lesion, but other diagnosis may be used. For example, it may be to determine a condition or numerical value (eg, early diagnosis marker value) indicating a lesion. In addition, the present embodiment may be applied to animals other than humans (for example, livestock, pets, and experimental animals) in addition to humans. In addition, this embodiment may perform toxic pathology diagnosis.

또한, 상술한 바와 같이 본 실시 형태에서는, 병리 진단을 대상으로 했지만, 반드시 병리 진단을 대상으로 하지 않아도 된다. 예를 들어, 진단에 사용하는 화상을 병리 표본의 화상이 아닌, 심전도, 뢴트겐 사진, CT(Computed Tomography) 화상 또는 MRI(Magnetic Resonance Imaging) 화상 등으로 해도 된다. 또한, 병변에 관한 진단 이외의 진단을 대상으로 해도 된다.In addition, as described above, in the present embodiment, a pathology diagnosis is targeted, but the pathology diagnosis is not necessarily the target. For example, an image used for diagnosis may be an electrocardiogram, a roentgen photograph, a computed tomography (CT) image, a magnetic resonance imaging (MRI) image, or the like, not an image of a pathological specimen. In addition, diagnosis other than the diagnosis related to the lesion may be used.

상술한 바와 같이 본 실시 형태에서는, 학습 완료 모델에 입력하는 정보, 즉, 진단에 사용하는 정보는, 화상에 기초하는 정보로 했지만, 그 이외의 정보도 학습 완료 모델에 입력하는 것으로 해도 된다. 예를 들어, 진단 대상자의 각종 혈액 생화학적 파라미터 및 조기 진단 마커값 등을 학습 완료 모델에 입력하는 것으로 해도 된다.As described above, in the present embodiment, information input to the learning completed model, that is, information used for diagnosis, is image-based information, but other information may also be input to the learning completed model. For example, various blood biochemical parameters and early diagnosis marker values of the person to be diagnosed may be input into the learning completed model.

또한, 본 실시 형태에서는, 학습 데이터로서, 과거의 병리 화상 및 현시점의 진단 결과를 사용하여 기계학습을 행한 학습 완료 모델을 사용하는 것으로 해도 된다. 즉, 예를 들어 병변이 발생하고 있는 인물에 관한, 병변이 발생하고 있지 않은 과거의 시점 병리 화상을 사용하여 기계 학습을 행하는 것으로 해도 된다. 이에 의해, 병변이 없다고 판단될 수 있는 병리 화상(정상 화상)에 대하여, 후에 병변이 발생하는(이상화하는), 혹은 후에도 병변이 발생하지 않는(이상화하지 않는) 것을 판단하는 것이 가능하게 된다. 즉, 이와 같은 구성을 취함으로써, 조기 진단을 행하는 것이 가능해진다.Further, in the present embodiment, as the learning data, a learning completed model in which machine learning is performed using a past pathological image and a diagnosis result at the present time may be used. That is, for example, machine learning may be performed using a pathological image of a point in the past about a person with a lesion and no lesion. Thereby, with respect to a pathological image (normal image) that can be judged as having no lesion, it becomes possible to determine that a lesion develops (idealizes) later, or that a lesion does not occur (idealizes not) later. That is, by taking such a configuration, it becomes possible to perform early diagnosis.

또한, 본 실시 형태에 관한 복수의 학습 완료 모델을 사용하여, 병변이 있다고 판단되는 화상을 역산하여 무수하게 발생시키는 것으로 해도 된다. 이에 의해, 종래 알려져 있지 않았던 희소 이상 상을 발견할 수 있다.Further, by using a plurality of learning completed models according to the present embodiment, images judged to have a lesion may be inverted and generated innumerable numbers. Thereby, it is possible to find a rare abnormal image that has not been known before.

계속해서, 상술한 일련의 진단 지원 시스템(1)에 의한 처리를 컴퓨터에 실행시키기 위한 진단 지원 프로그램을 설명한다. 도 3에 도시한 바와 같이, 진단 지원 프로그램(100)은, PC측 프로그램(110)과, 서버측 프로그램(120)을 포함하여 구성된다. PC측 프로그램(110)은, 상술한 PC(10)와 마찬가지의 하드웨어 구성의 컴퓨터에 삽입되어서 액세스되는, 혹은 당해 컴퓨터가 구비하는 기록 매체(210)에 형성된 프로그램 저장 영역(211) 내에 저장된다. 서버측 프로그램(120)은, 상술한 서버(20)와 마찬가지의 하드웨어 구성의 컴퓨터에 삽입되어서 액세스되는, 혹은 당해 컴퓨터가 구비하는 기록 매체(220)에 형성된 프로그램 저장 영역(221) 내에 저장된다.Subsequently, a diagnosis support program for causing a computer to execute processing by the series of diagnosis support systems 1 described above will be described. As shown in FIG. 3, the diagnostic support program 100 is configured to include a PC-side program 110 and a server-side program 120. The PC-side program 110 is inserted and accessed in a computer having the same hardware configuration as the PC 10 described above, or stored in a program storage area 211 formed on a recording medium 210 provided with the computer. The server-side program 120 is inserted and accessed in a computer having the same hardware configuration as the server 20 described above, or stored in a program storage area 221 formed on a recording medium 220 included in the computer.

PC측 프로그램(110)은, 학습 완료 모델 생성 모듈(111)을 구비하여 구성된다. 학습 완료 모델 생성 모듈(111)을 실행시킴으로써 실현되는 기능은, 상술한 PC(10)의 학습 완료 모델 생성부(11)의 기능과 마찬가지이다.The PC-side program 110 includes a learning completed model generation module 111 and is configured. The function realized by executing the learning completed model generation module 111 is the same as the function of the learning completed model generation unit 11 of the PC 10 described above.

서버측 프로그램(120)은, 학습 완료 모델 취득 모듈(121)과, 화상 취득 모듈(122)과, 연산 모듈(123)과, 출력 모듈(124)을 구비하여 구성된다. 학습 완료 모델 취득 모듈(121)과, 화상 취득 모듈(122)과, 연산 모듈(123)과, 출력 모듈(124)을 실행시킴으로써 실현되는 기능은, 상술한 서버(20)의 학습 완료 모델 취득부(21)와, 화상 취득부(22)와, 연산부(23)와, 출력부(24)의 기능과 각각 마찬가지이다.The server-side program 120 includes a learning completed model acquisition module 121, an image acquisition module 122, an arithmetic module 123, and an output module 124. The function realized by executing the learning completed model acquisition module 121, the image acquisition module 122, the calculation module 123, and the output module 124 is the learning completed model acquisition unit of the server 20 described above. The functions of (21), the image acquisition unit 22, the calculation unit 23, and the output unit 24 are the same, respectively.

또한, 진단 지원 프로그램(100)은, 그 일부 또는 전부가, 통신 회선 등의 전송 매체를 통해 전송되고, 다른 기기에 의해 수신되어 기록(인스톨을 포함한다)되는 구성으로 해도 된다. 또한, 진단 지원 프로그램(100)의 각 모듈은, 1개의 컴퓨터가 아닌, 복수의 컴퓨터의 어느 것에 인스톨되어도 된다. 그 경우, 당해 복수의 컴퓨터에 의한 컴퓨터 시스템에 의해 상술한 일련의 진단 지원 프로그램(100)에 관한 처리가 행하여진다.In addition, the diagnostic support program 100 may be configured in which part or all of it is transmitted through a transmission medium such as a communication line, received by another device, and recorded (including installation). In addition, each module of the diagnostic support program 100 may be installed in any of a plurality of computers instead of one computer. In that case, the above-described series of processing related to the diagnostic support program 100 is performed by the computer system using the plurality of computers.

1: 진단 지원 시스템, 10: PC, 11: 학습 완료 모델 생성부, 20: 서버, 21: 학습 완료 모델 취득부, 22: 화상 취득부, 23: 연산부, 24: 출력부, 100: 진단 지원 프로그램, 110: PC측 프로그램, 111: 학습 완료 모델 생성 모듈, 120: 서버측 프로그램, 121: 학습 완료 모델 취득 모듈, 122: 화상 취득 모듈, 123: 연산 모듈, 124: 출력 모듈, 210, 220: 기록 매체, 211, 221: 프로그램 저장 영역.1: diagnosis support system, 10: PC, 11: learning completed model generation unit, 20: server, 21: learning completed model acquisition unit, 22: image acquisition unit, 23: operation unit, 24: output unit, 100: diagnosis support program , 110: PC-side program, 111: learning completed model generation module, 120: server-side program, 121: learning completed model acquisition module, 122: image acquisition module, 123: calculation module, 124: output module, 210, 220: record Medium, 211, 221: program storage area.

Claims (6)

기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과,
해석 대상의 화상을 취득하는 화상 취득 수단과,
상기 화상 취득 수단에 의해 취득된 화상에 대하여, 상기 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과,
상기 연산 수단에 의해 산출된 정보를 출력하는 출력 수단을
구비하는 진단 지원 시스템.Learning completed model acquisition means for acquiring a plurality of learning completed models that are generated by machine learning and output information indicating a diagnosis result for the diagnosis target by inputting information based on an image of the diagnosis target;
Image acquisition means for acquiring an image to be analyzed;
With respect to the image acquired by the image acquisition means, an operation based on a plurality of learned models acquired by the learning completed model acquisition means is performed, and one piece of information regarding diagnosis by the plurality of learning completed models is calculated. An operation means to perform,
An output means for outputting the information calculated by the calculation means
Diagnosis support system provided. 제1항에 있어서, 상기 연산 수단은, 상기 화상 취득 수단에 의해 취득된 화상에 기초하는 정보를, 상기 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출하는 진단 지원 시스템.The method according to claim 1, wherein the calculation means inputs information based on the image acquired by the image acquisition means into each of a plurality of learning completed models acquired by the learning completed model acquisition means, and a plurality of learning completed. A diagnosis support system that calculates one piece of information about diagnosis from information indicating a diagnosis result output from each model. 제1항 또는 제2항에 있어서, 기계 학습에 사용하는 학습 데이터인, 진단 대상이 찍힌 화상 및 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 취득하여, 취득한 학습 데이터인 화상에 기초하는 정보를 입력값으로 함과 함께 취득한 학습 데이터인 진단 결과를 나타내는 정보를 출력값으로 하여 기계 학습을 행하여 학습 완료 모델을 생성하는 학습 완료 모델 생성 수단을 더 구비하고,
상기 학습 완료 모델 취득 수단은, 상기 학습 완료 모델 생성 수단에 의해 생성된 학습 완료 모델을 취득하는 진단 지원 시스템.The method according to claim 1 or 2, wherein an image of the diagnosis target, which is the learning data used for machine learning, and information indicating the diagnosis result for the diagnosis target, are acquired, and information based on the acquired learning data, the image, is input Further comprising a learning completed model generating means for generating a learning completed model by performing machine learning using information indicating a diagnosis result, which is acquired learning data while being set as a value, as an output value,
The learning-completed model acquisition means is a diagnostic support system for acquiring the learning-completed model generated by the learning-completed model generation means. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 학습 완료 모델 취득 수단은, 신경망을 포함하는 상기 복수의 학습 완료 모델을 취득하는 진단 지원 시스템.The diagnosis support system according to any one of claims 1 to 3, wherein the learning completed model acquisition means acquires the plurality of learning completed models including a neural network. 진단 지원 시스템의 동작 방법인 진단 지원 방법이며,
기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 스텝과,
해석 대상의 화상을 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 화상에 대하여, 상기 학습 완료 모델 취득 스텝에 있어서 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 스텝과,
상기 연산 스텝에 있어서 산출된 정보를 출력하는 출력 스텝을
포함하는 진단 지원 방법.It is a diagnostic support method, which is the operation method of the diagnostic support system,
A learning completed model acquisition step of acquiring a plurality of learning completed models that are generated by machine learning and output information indicating a diagnosis result for the diagnosis target by inputting information based on an image taken of the diagnosis target;
An image acquisition step of acquiring an image to be analyzed;
With respect to the image acquired in the image acquisition step, calculation based on a plurality of learning completed models acquired in the learning completed model acquisition step is performed, and one piece of information regarding diagnosis by the plurality of learning completed models is calculated. The calculation step to do,
An output step for outputting the information calculated in the calculation step
Included diagnostic support methods. 컴퓨터를,
기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과,
해석 대상의 화상을 취득하는 화상 취득 수단과,
상기 화상 취득 수단에 의해 취득된 화상에 대하여, 상기 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과,
상기 연산 수단에 의해 산출된 정보를 출력하는 출력 수단
으로서 기능시키는 진단 지원 프로그램.

Computer,
Learning completed model acquisition means for acquiring a plurality of learning completed models that are generated by machine learning and output information indicating a diagnosis result for the diagnosis target by inputting information based on an image of the diagnosis target;
Image acquisition means for acquiring an image to be analyzed;
With respect to the image acquired by the image acquisition means, an operation based on a plurality of learned models acquired by the learning completed model acquisition means is performed, and one piece of information regarding diagnosis by the plurality of learning completed models is calculated. An operation means to perform,
Output means for outputting information calculated by the calculation means
A diagnostic support program that functions as.
KR1020207034672A 2018-06-05 2019-05-29 Diagnosis support system, diagnosis support method and diagnosis support program KR20210015834A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-107579 2018-06-05
JP2018107579 2018-06-05
PCT/JP2019/021386 WO2019235335A1 (en) 2018-06-05 2019-05-29 Diagnosis support system, diagnosis support method, and diagnosis support program

Publications (1)

Publication Number Publication Date
KR20210015834A true KR20210015834A (en) 2021-02-10

Family

ID=68770208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034672A KR20210015834A (en) 2018-06-05 2019-05-29 Diagnosis support system, diagnosis support method and diagnosis support program

Country Status (5)

Country Link
US (1) US20210125332A1 (en)
JP (1) JP7349425B2 (en)
KR (1) KR20210015834A (en)
CN (1) CN112236832A (en)
WO (1) WO2019235335A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021114082A (en) * 2020-01-17 2021-08-05 ソニーグループ株式会社 Information processing device and information processing method
JPWO2022004337A1 (en) * 2020-06-30 2022-01-06

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152242A1 (en) 2015-03-25 2016-09-29 株式会社日立ハイテクノロジーズ Cytodiagnosis assistance device, cytodiagnosis assistance method, remote diagnosis assistance system, service provision system, and image processing method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235796A (en) * 2009-09-17 2012-12-06 Sharp Corp Diagnosis processing device, system, method and program, and recording medium readable by computer and classification processing device
KR101993716B1 (en) * 2012-09-28 2019-06-27 삼성전자주식회사 Apparatus and method for diagnosing lesion using categorized diagnosis model
JP5785631B2 (en) 2014-02-24 2015-09-30 キヤノン株式会社 Information processing apparatus, control method therefor, and computer program
US20170262561A1 (en) * 2014-09-11 2017-09-14 Nec Corporation Information processing apparatus, information processing method, and recording medium
US9760990B2 (en) * 2014-12-14 2017-09-12 International Business Machines Corporation Cloud-based infrastructure for feedback-driven training and image recognition
CN113421652A (en) * 2015-06-02 2021-09-21 推想医疗科技股份有限公司 Method for analyzing medical data, method for training model and analyzer
DE102015217429A1 (en) * 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Diagnostic system and diagnostic procedure
CN105447872A (en) * 2015-12-03 2016-03-30 中山大学 Method for automatically identifying liver tumor type in ultrasonic image
JP6738163B2 (en) * 2016-03-01 2020-08-12 キヤノン株式会社 Diagnostic support device, method and program executed by diagnostic support device
CN105975793A (en) * 2016-05-23 2016-09-28 麦克奥迪（厦门）医疗诊断***有限公司 Auxiliary cancer diagnosis method based on digital pathological images
DE202017104953U1 (en) * 2016-08-18 2017-12-04 Google Inc. Processing fundus images using machine learning models
KR101880678B1 (en) * 2016-10-12 2018-07-20 (주)헬스허브 System for interpreting medical images through machine learnings
GB2555381A (en) * 2016-10-19 2018-05-02 Fujitsu Ltd Method for aiding a diagnosis, program and apparatus
CN106682435B (en) * 2016-12-31 2021-01-29 西安百利信息科技有限公司 System and method for automatically detecting lesion in medical image through multi-model fusion
CN107358605B (en) * 2017-05-04 2018-09-21 深圳硅基仿生科技有限公司 The deep neural network apparatus and system of diabetic retinopathy for identification
CN107368670A (en) * 2017-06-07 2017-11-21 万香波 Stomach cancer pathology diagnostic support system and method based on big data deep learning
KR101818074B1 (en) * 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 Artificial intelligence based medical auto diagnosis auxiliary method and system therefor
KR101977645B1 (en) * 2017-08-25 2019-06-12 주식회사 메디웨일 Eye image analysis method
CN111225612A (en) * 2017-10-17 2020-06-02 萨蒂什·拉奥 Neural obstacle identification and monitoring system based on machine learning
WO2019084697A1 (en) * 2017-11-06 2019-05-09 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152242A1 (en) 2015-03-25 2016-09-29 株式会社日立ハイテクノロジーズ Cytodiagnosis assistance device, cytodiagnosis assistance method, remote diagnosis assistance system, service provision system, and image processing method

Also Published As

Publication number Publication date
WO2019235335A1 (en) 2019-12-12
JPWO2019235335A1 (en) 2021-07-08
JP7349425B2 (en) 2023-09-22
US20210125332A1 (en) 2021-04-29
CN112236832A (en) 2021-01-15

Similar Documents

Publication Publication Date Title
CN108230296B (en) Image feature recognition method and device, storage medium and electronic device
US10810735B2 (en) Method and apparatus for analyzing medical image
AU2014271202B2 (en) A system and method for remote medical diagnosis
US10249042B2 (en) Method and apparatus for providing medical information service on basis of disease model
KR101822404B1 (en) diagnostics system for cell using Deep Neural Network learning
US9265441B2 (en) Assessment of traumatic brain injury
CN110517757B (en) Tuned medical ultrasound imaging
US11151703B2 (en) Artifact removal in medical imaging
CN108898238B (en) Medical equipment fault prediction system and related method, device and equipment
US11797846B2 (en) Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device
US10123747B2 (en) Retinal scan processing for diagnosis of a subject
US10127664B2 (en) Ovarian image processing for diagnosis of a subject
US11333730B2 (en) Systems and methods for mapping neuronal circuitry and clinical applications thereof
KR20190132832A (en) Method and apparatus for predicting amyloid positive or negative based on deep learning
US10249040B2 (en) Digital data processing for diagnosis of a subject
CN114332132A (en) Image segmentation method and device and computer equipment
KR20210015834A (en) Diagnosis support system, diagnosis support method and diagnosis support program
US10398385B2 (en) Brain wave processing for diagnosis of a subject
WO2019146358A1 (en) Learning system, method, and program
KR102036052B1 (en) Artificial intelligence-based apparatus that discriminates and converts medical image conformity of non-standardized skin image
CN115274063A (en) Method for operating an evaluation system for a medical image data set, evaluation system
CN109816632B (en) Brain image processing method and device, readable storage medium and electronic equipment
WO2023032437A1 (en) Contrast state determination device, contrast state determination method, and program
JP6998760B2 (en) Brain image analysis device, brain image analysis method, and brain image analysis program
WO2022069659A2 (en) A method and a system for determining severity of a skin condition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application