DE112021000329T5 - Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung - Google Patents

Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung Download PDF

Info

Publication number
DE112021000329T5
DE112021000329T5 DE112021000329.1T DE112021000329T DE112021000329T5 DE 112021000329 T5 DE112021000329 T5 DE 112021000329T5 DE 112021000329 T DE112021000329 T DE 112021000329T DE 112021000329 T5 DE112021000329 T5 DE 112021000329T5
Authority
DE
Germany
Prior art keywords
property
item
medical
sentence
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021000329.1T
Other languages
English (en)
Inventor
Keigo Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of DE112021000329T5 publication Critical patent/DE112021000329T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/161Applications in the field of nuclear medicine, e.g. in vivo counting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

Eine Unterstützungsvorrichtung für Dokumentenerstellung umfasst mindestens einen Prozessor, wobei der Prozessor so konfiguriert ist, dass er Eigenschaften für jedes von mehreren vorbestimmten Eigenschaftselementen in einer Struktur von Interesse, die in einem Bild enthalten ist, ableitet, mehrere Sätze erzeugt, die die Eigenschaften beschreiben, die für mindestens eines der mehreren Eigenschaftselemente spezifiziert sind, und jeden der mehreren Sätze anzeigt und ein beschriebenes Element, das ein Eigenschaftselement einer Eigenschaft, die in mindestens einem der mehreren Sätze beschrieben wird, unter den mehreren Eigenschaftselementen ist, auf einem Anzeigebildschirm auf eine identifizierbare Weise anzeigt.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Offenbarung betrifft eine Unterstützungsvorrichtung, ein Verfahren und ein Programm für Dokumentenerstellung, die Erstellung von Dokumenten, in denen medizinische Sätze und dergleichen beschrieben sind, unterstützen.
  • 2. Beschreibung des Standes der Technik
  • In den letzten Jahren haben Fortschritte bei medizinischen Geräten wie Computertomographie-(CT)-vorrichtungen und Magnetresonanztomographie-(MRT)-vorrichtungen Bilddiagnose unter Verwendung von hochauflösenden medizinischen Bildern in höherer Qualität ermöglicht. Insbesondere wird, da ein Bereich einer Läsion durch Bilddiagnose unter Verwendung von CT-Bildern, MRT-Bildern und dergleichen genau spezifiziert werden kann, eine geeignete Behandlung auf der Grundlage des spezifizierten Ergebnisses durchgeführt.
  • Darüber hinaus wird Bilddiagnose auch durchgeführt, indem ein medizinisches Bild via computergestützte Diagnose (computer-aided diagnosis, CAD) unter Verwendung eines Lernmodells analysiert wird, bei dem maschinelles Lernen durch Deep Learning oder dergleichen durchgeführt wird, Eigenschaften wie beispielsweise Form, Dichte, Position und Größe von Strukturen von Interesse wie abnormalen Verschattungskandidaten, die in den medizinischen Bildern enthalten sind, unterschieden werden und diese als ein Analyseergebnis erfasst werden. Das durch CAD erfasste Analyseergebnis wird Untersuchungsinformationen, wie beispielsweise einem Patientennamen, Geschlecht, Alter und einer Modalität, die das medizinische Bild erfasst hat, zugeordnet und in einer Datenbank gespeichert. Das medizinische Bild und das Analyseergebnis werden an ein Terminal eines Radiologen übertragen, der die medizinischen Bilder auswertet. Der Radiologe wertet das medizinische Bild auf seinem eigenen Terminal aus, indem er sich auf das übertragene medizinische Bild und das Analyseergebnis bezieht, und erstellt einen Auswertungsbericht.
  • Indessen nimmt mit der Verbesserung der Leistungsfähigkeit der CT-Vorrichtung und der MRT-Vorrichtung, die oben beschrieben sind, auch die Anzahl an auszuwertenden medizinischen Bildern zu. Da jedoch die Anzahl an Radiologen nicht mit der Anzahl an medizinischen Bildern Schritt gehalten hat, ist es wünschenswert, die Belastung der Bildauswertungsarbeit der Radiologen zu verringern. Daher wurden verschiedene Verfahren vorgeschlagen, um die Erstellung von medizinischen Sätzen, wie beispielsweise Auswertungsberichten, zu unterstützen. Beispielsweise schlägt JP2019-153250A verschiedene Verfahren zum Erzeugen eines in einem Auswertungsbericht zu enthaltenden Satzes basierend auf von einem Radiologen eingegebenen Schlüsselwörtern und auf Informationen vor, die eine Eigenschaft einer Struktur von Interesse angeben (nachstehend als Eigenschaftsinformationen bezeichnet), die in einem Analyseergebnis eines medizinischen Bildes enthalten ist. Bei den in JP2019-153250A beschriebenen Verfahren wird ein Satz bezüglich medizinischer Versorgung (nachstehend als ein medizinischer Satz bezeichnet) durch Verwenden eines Lernmodells, bei dem maschinelles Lernen durchgeführt wird, wie beispielsweise eines rekurrenten neuronalen Netzwerks erzeugt, das trainiert ist, einen Satz aus Zeichen, die die eingegebenen Eigenschaftsinformationen darstellen, zu erzeugen. Durch automatisches Erzeugen des medizinischen Satzes wie bei dem in JP2019-153250A beschriebenen Verfahren ist es möglich, eine Belastung eines Radiologen zum Zeitpunkt des Erzeugens eines medizinischen Satzes, wie etwa eines Auswertungsberichts, zu reduzieren.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Es ist vorzuziehen, dass der medizinische Satz wie etwa der Auswertungsbericht die Eigenschaft einer Struktur von Interesse, die in dem Bild enthalten ist, angemessen ausdrückt oder die Präferenz eines Lesers wie etwa eines behandelnden Arztes, der den medizinischen Satz liest, widerspiegelt. Daher besteht ein Bedarf an einem System, in dem für ein medizinisches Bild mehrere medizinische Sätze mit unterschiedlichen Ausdrücken erzeugt werden oder mehrere medizinische Sätze, die verschiedene Arten von Eigenschaften beschreiben, erzeugt und einem Radiologen präsentiert werden, so dass der Radiologe den am besten geeigneten medizinischen Satz auswählen kann. Ferner ist es in diesem Fall erwünscht, ermitteln zu können, welche Eigenschaftsinformationen in jedem der mehreren Sätze beschrieben sind.
  • Die vorliegende Offenbarung wurde im Hinblick auf die vorstehenden Umstände gemacht, und eine Aufgabe davon besteht darin, es einfach zu machen, zu erkennen, ob eine Beschreibung von Eigenschaftsinformationen über eine Struktur von Interesse, die in einem Bild enthalten ist, in einem Satz in Bezug auf das Bild vorhanden ist oder nicht.
  • Gemäß einem Aspekt der vorliegenden Offenbarung wird eine Unterstützungsvorrichtung für Dokumentenerstellung bereitgestellt, die mindestens einen Prozessor umfasst, wobei der Prozessor so konfiguriert ist, dass er Eigenschaften für jedes von mehreren vorbestimmten Eigenschaftselementen in einer Struktur von Interesse, die in einem Bild enthalten ist, ableitet, mehrere Sätze erzeugt, die die Eigenschaften beschreiben, die für mindestens eines der mehreren Eigenschaftselemente spezifiziert sind, und jeden der mehreren Sätze anzeigt und ein beschriebenes Element, das ein Eigenschaftselement einer Eigenschaft, die in mindestens einem der mehreren Sätze beschrieben wird, unter den mehreren Eigenschaftselementen ist, auf einem Anzeigebildschirm auf eine identifizierbare Weise anzeigt.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er die mehreren Sätze erzeugt, in denen eine Kombination der Eigenschaftselemente der in den Sätzen beschriebenen Eigenschaften verschieden ist.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er ein nicht beschriebenes Element, das ein Eigenschaftselement einer Eigenschaft ist, die nicht in dem Satz beschrieben ist, auf dem Anzeigebildschirm auf eine identifizierbare Weise anzeigt.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er die mehreren Eigenschaftselemente auf dem Anzeigebildschirm anzeigt und als Reaktion auf eine Auswahl eines beliebigen der mehreren Sätze das Eigenschaftselement, das dem beschriebenen Element entspricht, das in dem ausgewählten Satz enthalten ist, unter den mehreren angezeigten Eigenschaftselementen hervorhebt.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er die mehreren Eigenschaftselementen auf dem Anzeigebildschirm anzeigt und als Reaktion auf eine Auswahl eines beliebigen der mehreren Sätze das beschriebene Element, das in dem ausgewählten Satz enthalten ist, und das Eigenschaftselement, das dem beschriebenen Element entspricht, das in dem ausgewählten Satz enthalten ist, unter den mehreren angezeigten Eigenschaftselementen in Verbindung miteinander anzeigt.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er die mehreren Eigenschaftselemente in einer Zeile in einem ersten Bereich des Anzeigebildschirms anzeigt und die mehreren Sätze in einer Zeile in einem zweiten Bereich des Anzeigebildschirms anzeigt.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er die mehreren Sätze in einer Zeile anzeigt und das Eigenschaftselement, das dem beschriebenen Element in jedem der mehreren Sätze entspricht, in unmittelbarer Nähe zu einem entsprechenden Satz anzeigt.
  • „Anzeige in unmittelbarer Nähe“ bedeutet, dass der Satz und das beschriebene Element nahe aneinander angezeigt werden, so dass ermittelt werden kann, dass jeder der mehreren Sätze auf dem Anzeigebildschirm dem beschriebenen Element zugeordnet ist. Insbesondere in einem Zustand, in dem mehrere Sätze in einer Zeile angezeigt werden, wenn ein Abstand zwischen einem Bereich, in dem ein beschriebenes Element eines bestimmten Satzes angezeigt wird, und einem Bereich, in dem ein dem beschriebenen Element entsprechender Satz angezeigt wird, als ein erster Abstand definiert ist und ein Abstand zwischen dem Bereich, in dem das beschriebene Element angezeigt wird, und einem Bereich, in dem ein Satz angezeigt wird, der nicht dem beschriebenen Element entspricht, als ein zweiter Abstand definiert ist, bedeutet dies, dass der erste Abstand kleiner als der zweite Abstand ist.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er ein Eigenschaftselement, das einem nicht beschriebenen Element in jedem der mehreren Sätze entspricht, auf eine andere Weise als das Eigenschaftselement, das dem beschriebenen Element entspricht, in unmittelbarer Nähe zu dem entsprechenden Satz anzeigt.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann der Prozessor so konfiguriert sein, dass er zwischen einem nicht beschriebenen Element, das ein Eigenschaftselement einer Eigenschaft ist, die in dem ausgewählten Satz unter den mehreren Sätzen nicht beschrieben ist, und dem beschriebenen Element unterscheidet und das nicht beschriebene Element und das beschriebene Element speichert.
  • In der Unterstützungsvorrichtung für Dokumentenerstellung gemäß dem Aspekt der vorliegenden Offenbarung kann das Bild ein medizinisches Bild sein, und der Satz kann ein medizinischer Satz sein, der sich auf die Struktur von Interesse bezieht, die in dem medizinischen Bild enthalten ist.
  • Gemäß einem weiteren Aspekt der vorliegenden Offenbarung wird ein Unterstützungsverfahren für Dokumentenerstellung bereitgestellt, das umfasst: Ableiten von Eigenschaften für jedes von mehreren vorbestimmten Eigenschaftselementen in einer Struktur von Interesse, die in einem Bild enthalten ist; Erzeugen von mehreren Sätzen, die die Eigenschaften beschreiben, die für mindestens eines der mehreren Eigenschaftselemente spezifiziert sind; und Anzeigen jedes der mehreren Sätze und Anzeigen eines beschriebenen Elements, das ein Eigenschaftselement der Eigenschaft, die in mindestens einem der mehreren Sätze beschrieben wird, unter den mehreren Eigenschaftselementen ist, auf einem Anzeigebildschirm auf eine identifizierbare Weise.
  • Darüber hinaus kann ein Programm zum Veranlassen eines Computers, das Erstellungsverfahren für Dokumentenunterstützung gemäß dem Aspekt der vorliegenden Offenbarung auszuführen, bereitgestellt werden.
  • Gemäß den Aspekten der vorliegenden Offenbarung ist es möglich, leicht zu erkennen, ob eine Beschreibung von Eigenschaftsinformationen über eine Struktur von Interesse, die in einem Bild enthalten ist, in einem Satz, der sich auf das Bild bezieht, vorhanden ist oder nicht.
  • Figurenliste
    • 1 ist ein Diagramm, das eine schematische Konfiguration eines medizinischen Informationssystems zeigt, auf das eine Unterstützungsvorrichtung für Dokumentenerstellung gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird.
    • 2 ist ein Diagramm, das eine schematische Konfiguration der Unterstützungsvorrichtung für Dokumentenerstellung gemäß der vorliegenden Ausführungsform zeigt.
    • 3 ist ein Diagramm, das eine schematische Konfiguration der Unterstützungsvorrichtung für Dokumentenerstellung gemäß der vorliegenden Ausführungsform zeigt.
    • 4 ist ein Diagramm, das ein Beispiel von überwachten Trainingsdaten zum Trainieren eines ersten Lernmodells zeigt.
    • 5 ist ein Diagramm zum Beschreiben von Eigenschaftsinformationen, die von einer Bildanalyseeinheit abgeleitet werden.
    • 6 ist ein Diagramm, das schematisch eine Konfiguration eines rekurrenten neuronalen Netzwerks zeigt.
    • 7 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms eines medizinischen Satzes zeigt.
    • 8 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms eines medizinischen Satzes zeigt.
    • 9 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms eines medizinischen Satzes zeigt.
    • 10 ist ein Diagramm zum Beschreiben gespeicherter Informationen.
    • 11 ist ein Flussdiagramm, das einen Prozess zeigt, der bei der vorliegenden Ausführungsform durchgeführt wird.
    • 12 ist ein Diagramm, das einen Anzeigebildschirm zeigt, auf dem Eigenschaftselemente, die nicht beschriebenen Elementen entsprechen, angezeigt werden.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Nachstehend werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben. Zunächst wird eine Konfiguration eines medizinischen Informationssystems 1 beschrieben, auf das eine Unterstützungsvorrichtung für Dokumentenerstellung gemäß der vorliegenden Ausführungsform angewendet wird. 1 ist ein Diagramm, das eine schematische Konfiguration des medizinischen Informationssystems 1 zeigt. Das in 1 gezeigte medizinische Informationssystem 1 ist, auf der Grundlage eines Untersuchungsauftrags von einem Arzt in einer medizinischen Abteilung unter Verwendung eines bekannten Auftragssystems, ein System zum Abbilden eines Untersuchungszielteils einer Untersuchungsperson, zum Speichern eines durch das Abbilden erfassten medizinischen Bildes, zum Auswerten des medizinischen Bildes durch einen Radiologen und zum Erstellen eines Auswertungsberichts und zum Ansehen des Auswertungsberichts und zum detaillierten Betrachten des auszuwertenden medizinischen Bildes durch den Arzt in der medizinischen Abteilung, der eine Anforderungsquelle ist.
  • Wie in 1 gezeigt, sind in dem medizinischen Informationssystem 1 mehrere Bildgebungsvorrichtungen 2, mehrere Auswertungsworkstations (nachstehend als eine Auswertungsworkstation (WS) bezeichnet) 3, die Auswertungsterminals sind, eine medizinische Versorgungsworkstation (nachstehend als eine medizinische Versorgungs-WS bezeichnet) 4, ein Bildserver 5, eine Bilddatenbank (nachstehend als eine Bild-DB bezeichnet) 6, ein Berichtsserver 7 und eine Berichtsdatenbank (nachstehend als eine Berichts-DB bezeichnet) 8 über ein verdrahtetes oder drahtloses Netzwerk 10 kommunikativ miteinander verbunden.
  • Jede Vorrichtung ist ein Computer, auf dem ein Anwendungsprogramm zum Veranlassen jeder Vorrichtung installiert ist, als eine Komponente des medizinischen Informationssystems 1 zu fungieren. Das Anwendungsprogramm wird in einer Speichervorrichtung eines Server-Computers, der mit dem Netzwerk 10 verbunden ist, oder in einem Netzwerkspeicher in einem Zustand gespeichert, in dem es von außen zugänglich ist, und wird als Reaktion auf eine Anforderung auf den Computer heruntergeladen und auf diesem installiert. Alternativ wird das Optimierungsunterstützungsprogramm auf einem Aufzeichnungsmedium, wie beispielsweise einer Digital Versatile Disc (DVD) und einer Compact Disc Read-Only Memory (CD-ROM), aufgezeichnet und verteilt und von dem Aufzeichnungsmedium auf dem Computer installiert.
  • Die Bildgebungsvorrichtung 2 ist eine Vorrichtung (Modalität), die ein medizinisches Bild, das einen Diagnosezielteil der Untersuchungsperson zeigt, durch Abbilden des Diagnosezielteils erzeugt. Insbesondere enthalten Beispiele der Modalität eine einfache Röntgenbildgebungsvorrichtung, eine CT-Vorrichtung, eine MRT-Vorrichtung, eine Positronen-Emissions-Tomographie(PET)-Vorrichtung und dergleichen. Das von der Bildgebungsvorrichtung 2 erzeugte medizinische Bild wird an den Bildserver 5 übertragen und in der Bild-DB 6 gespeichert.
  • Die Auswertungs-WS 3 ist ein Computer, der beispielsweise von einem Radiologen von einer Radiologieabteilung verwendet wird, um ein medizinisches Bild auszuwerten und einen Bildauswertungsbericht zu erstellen, und beinhaltet eine Unterstützungsvorrichtung 20 für Dokumentenerstellung gemäß der vorliegenden Ausführungsform. In der Auswertungs-WS 3 werden eine Ansichtsanforderung für ein medizinisches Bild an den Bildserver 5, verschiedene Bildverarbeitungen für das von dem Bildserver 5 empfangene medizinische Bild, Anzeige des medizinischen Bildes, Eingabeempfang von Kommentaren zu Befunden in Bezug auf das medizinische Bild und dergleichen durchgeführt. In der Auswertungs-WS 3 werden ein Analyseprozess für medizinische Bilder und eingegebene Kommentare zu Befunden, Unterstützung zum Erstellen eines Auswertungsberichts auf der Grundlage des Analyseergebnisses, eine Registrierungsanforderung und eine Ansichtsanforderung für den Auswertungsbericht an den Berichtsserver 7 und Anzeige des von dem Berichtsserver 7 empfangenen Auswertungsberichts durchgeführt. Die obigen Prozesse werden von der Auswertungs-WS 3 durchgeführt, die Softwareprogramme für jeweilige Prozesse ausführt.
  • Die medizinische Versorgungs-WS 4 ist ein Computer, der von einem Arzt in einer medizinischen Abteilung verwendet wird, um ein Bild detailliert zu betrachten, einen Auswertungsbericht anzusehen, eine elektronische Krankenakte zu erstellen und dergleichen, und ist so konfiguriert, dass sie eine Verarbeitungsvorrichtung, eine Anzeigevorrichtung wie eine Anzeige und eine Eingabevorrichtung wie eine Tastatur und eine Maus enthält. In der medizinischen Versorgungs-WS 4 werden eine Ansichtsanforderung für das Bild an den Bildserver 5, Anzeige des von dem Bildserver 5 empfangenen Bildes, eine Ansichtsanforderung für den Auswertungsbericht an den Berichtsserver 7 und Anzeige des von dem Berichtsserver 7 empfangenen Auswertungsberichts durchgeführt. Die obigen Prozesse werden von der medizinischen Versorgungs-WS 4 durchgeführt, die Softwareprogramme für jeweilige Prozesse ausführt.
  • Der Bildserver 5 ist ein Allzweckcomputer, auf dem ein Softwareprogramm installiert ist, das eine Funktion eines Datenbankverwaltungssystems (database management system, DBMS) bereitstellt. Der Bildserver 5 umfasst einen Datenspeicher, in dem die Bild-DB 6 konfiguriert ist. Dieser Datenspeicher kann eine Festplattenvorrichtung sein, die über einen Datenbus mit dem Bildserver 5 verbunden ist, oder kann eine Plattenvorrichtung sein, die mit einem Storage Area Network (SAN) oder einem Network Attached Storage (NAS) verbunden ist, das/der mit dem Netzwerk 10 verbunden ist. In einem Fall, bei dem der Bildserver 5 eine Anforderung zur Registrierung eines medizinischen Bildes von der Bildgebungsvorrichtung 2 empfängt, bereitet der Bildserver 5 das medizinische Bild in einem Format für eine Datenbank vor und registriert das medizinische Bild in der Bild-DB 6.
  • Bilddaten des von der Bildgebungsvorrichtung 2 erfassten medizinischen Bildes und Zusatzinformationen werden in der Bild-DB 6 registriert. Die Zusatzinformationen enthalten zum Beispiel eine Bildidentifikation (ID) zum Identifizieren jedes medizinischen Bildes, eine Patienten-ID zum Identifizieren einer Untersuchungsperson, eine Untersuchungs-ID zum Identifizieren einer Untersuchung, eine eindeutige ID (eindeutige Identifikation (unique identification, UID)), die jedem medizinischen Bild zugewiesen wird, Untersuchungsdatum und Untersuchungszeit, zu der ein medizinisches Bild erzeugt wird, den Typ von Bildgebungsvorrichtung, der bei einer Untersuchung zum Erfassen eines medizinischen Bildes verwendet wird, Patienteninformationen wie den Namen, das Alter und das Geschlecht eines Patienten, einen Untersuchungsteil (einen Bildgebungsteil), Bildgebungsinformationen (ein Bildgebungsprotokoll, eine Bildgebungssequenz, ein Bildgebungsverfahren, Bildgebungsbedingungen, die Verwendung eines Kontrastmittels und dergleichen) und Informationen wie eine Seriennummer oder eine Sammlungsnummer in einem Fall, in dem mehrere medizinische Bilder bei einer Untersuchung erfasst werden.
  • Darüber hinaus sucht der Bildserver 5 in einem Fall, in dem die Ansichtsanforderung von der Auswertungs-WS 3 und der medizinischen Versorgungs-WS 4 über das Netzwerk 10 empfangen wird, nach einem in der Bild-DB 6 registrierten medizinischen Bild und überträgt das gesuchte medizinische Bild an die Auswertungs-WS 3 und an die medizinische Versorgungs-WS 4, die Anforderungsquellen sind.
  • Der Berichtsserver 7 beinhaltet ein Softwareprogramm zum Bereitstellen einer Funktion eines Datenbankverwaltungssystems für einen Allzweckcomputer. In einem Fall, in dem der Berichtsserver 7 eine Anforderung zur Registrierung des Auswertungsberichts von der Auswertungs-WS 3 empfängt, bereitet der Berichtsserver 7 den Auswertungsbericht in einem Format für eine Datenbank vor und registriert den Auswertungsbericht in der Berichts-DB 8.
  • In der Berichts-DB 8 wird ein Auswertungsbericht registriert, der zumindest die von dem Radiologen unter Verwendung der Auswertungs-WS 3 erstellten Kommentare zu Befunden enthält. Der Auswertungsbericht kann beispielsweise Informationen wie ein auszuwertendes medizinisches Bild, eine Bild-ID zum Identifizieren des medizinischen Bildes, eine Radiologen-ID zum Identifizieren des Radiologen, der die Auswertung durchgeführt hat, einen Läsionsnamen, Informationen über eine Position einer Läsion, Informationen zum Zugreifen auf ein medizinisches Bild, das einen spezifischen Bereich enthält, und Eigenschaftsinformationen enthalten.
  • Ferner sucht in einem Fall, in dem der Berichtsserver 7 die Ansichtsanforderung für den Auswertungsbericht von der Auswertungs-WS 3 und der medizinischen Versorgungs-WS 4 über das Netzwerk 10 empfängt, der Berichtsserver 7 nach dem Auswertungsbericht, der in der Berichts-DB 8 registriert ist, und überträgt den gesuchten Auswertungsbericht an die Auswertungs-WS 3 und an die medizinische Versorgungs-WS 4, die Anforderungsquellen sind.
  • Bei der vorliegenden Ausführungsform wird angenommen, dass das medizinische Bild ein dreidimensionales CT-Bild, das aus mehreren Tomographiebildern besteht, mit einer Lunge als ein Diagnoseziel ist, und ein Auswertungsbericht über eine in der Lunge enthaltene abnormale Verschattung wird als ein medizinischer Satz durch Auswerten des CT-Bildes erstellt. Das medizinische Bild ist nicht auf das CT-Bild beschränkt, und jedes medizinische Bild wie etwa ein MRT-Bild und ein einfaches zweidimensionales Bild, das durch eine einfache Röntgenbildgebungsvorrichtung erfasst wird, kann verwendet werden.
  • Das Netzwerk 10 ist ein drahtgebundenes oder drahtloses lokales Netzwerk, das verschiedene Vorrichtungen in einem Krankenhaus miteinander verbindet. In einem Fall, in dem die Auswertungs-WS 3 in einem anderen Krankenhaus oder einer anderen Klinik installiert ist, kann das Netzwerk 10 so konfiguriert sein, dass es lokale Netzwerke von jeweiligen Krankenhäusern über das Internet oder eine dedizierte Leitung verbindet.
  • Als Nächstes wird die Unterstützungsvorrichtung für Dokumentenerstellung gemäß der vorliegenden Ausführungsform beschrieben. 2 veranschaulicht eine Hardwarekonfiguration der Unterstützungsvorrichtung für Dokumentenerstellung gemäß der vorliegenden Ausführungsform. Wie in 2 gezeigt, enthält die Unterstützungsvorrichtung 20 für Dokumentenerstellung eine Zentraleinheit (central processing unit, CPU) 11, einen nichtflüchtigen Datenspeicher 13 und einen Speicher 16 als einen temporären Speicherbereich. Ferner enthält die Unterstützungsvorrichtung 20 für Dokumentenerstellung eine Anzeige 14, wie beispielsweise eine Flüssigkristallanzeige, eine Eingabevorrichtung 15, wie beispielsweise eine Tastatur und eine Maus, und eine Netzwerkschnittstelle 17, die mit dem Netzwerk 10 verbunden ist. Die CPU 11, der Datenspeicher 13, die Anzeige 14, die Eingabevorrichtung 15, der Speicher 16 und die Netzwerkschnittstelle 17 sind mit einem Bus 18 verbunden. Die CPU 11 ist ein Beispiel eines Prozessors bei der vorliegenden Offenbarung.
  • Der Datenspeicher 13 wird durch ein Festplattenlaufwerk (hard disk drive, HDD), ein Solid-State-Laufwerk (solid state drive, SSD), einen Flash-Speicher und dergleichen realisiert. In dem Datenspeicher 13 als einem Speichermedium wird ein Unterstützungsprogramm für Dokumentenerstellung gespeichert. Die CPU 11 liest ein Unterstützungsprogramm 12 für Dokumentenerstellung aus dem Datenspeicher 13, lädt das gelesene Unterstützungsprogramm 12 für Dokumentenerstellung in den Speicher 16 und führt das geladene Unterstützungsprogramm 12 für Dokumentenerstellung aus.
  • Als Nächstes wird eine funktionale Konfiguration der Unterstützungsvorrichtung für Dokumentenerstellung gemäß der vorliegenden Ausführungsform beschrieben. 3 ist ein Diagramm, das eine funktionale Konfiguration der Unterstützungsvorrichtung für Dokumentenerstellung gemäß der vorliegenden Ausführungsform zeigt. Wie in 3 gezeigt, umfasst die Unterstützungsvorrichtung 20 für Dokumentenerstellung eine Bilderfassungseinheit 21, eine Bildanalyseeinheit 22, eine Satzerzeugungseinheit 23, eine Anzeigesteuereinheit 24, eine Speichersteuereinheit 25 und eine Kommunikationseinheit 26. Dann fungiert in einem Fall, bei dem die CPU 11 das Unterstützungsprogramm 12 für Dokumentenerstellung ausführt, die CPU 11 als die Bilderfassungseinheit 21, die Bildanalyseeinheit 22, die Satzerzeugungseinheit 23, die Anzeigesteuereinheit 24, die Speichersteuereinheit 25 und die Kommunikationseinheit 26.
  • Die Bilderfassungseinheit 21 erfasst ein medizinisches Bild zum Erstellen eines Auswertungsberichts von dem Bildserver 5 gemäß einer Anweisung von der Eingabevorrichtung 15 durch den Radiologen, der ein Bediener ist.
  • Die Bildanalyseeinheit 22 analysiert das medizinische Bild, um eine Eigenschaft für jedes von mehreren vorbestimmten Eigenschaftselementen in der Struktur von Interesse abzuleiten, die in dem medizinischen Bild enthalten ist. Zu diesem Zweck weist die Bildanalyseeinheit 22 ein erstes Lernmodell 22A auf, bei dem maschinelles Lernen durchgeführt wird, um einen abnormalen Verschattungskandidaten in dem medizinischen Bild zu unterscheiden und die Eigenschaft des unterschiedenen abnormalen Verschattungskandidaten zu unterscheiden. Bei der vorliegenden Ausführungsform besteht das erste Lernmodell 22A aus einem faltenden neuronalen Netzwerk (convolutional neural network, CNN), in dem Deep Learning unter Verwendung von überwachten Trainingsdaten durchgeführt wird, um zu unterscheiden, ob jedes Pixel (Voxel) in dem medizinischen Bild einen abnormalen Verschattungskandidaten darstellt oder nicht, und um in einem Fall, bei dem das Pixel einen abnormalen Verschattungskandidaten darstellt, eine Eigenschaft für jedes aus mehreren vorbestimmten Eigenschaftselementen für den abnormalen Verschattungskandidaten zu unterscheiden.
  • 4 ist ein Diagramm, das ein Beispiel von überwachten Trainingsdaten zum Trainieren eines ersten Lernmodells zeigt. Wie in 4 gezeigt, enthalten überwachte Trainingsdaten 30 ein medizinisches Bild 32 einschließlich einer abnormalen Verschattung 31 und Eigenschaftsinformationen 33, die die Eigenschaft für jedes der mehreren Eigenschaftselemente für die abnormale Verschattung angeben. Bei der vorliegenden Ausführungsform wird angenommen, dass die abnormale Verschattung 31 ein Lungenknoten ist, und die Eigenschaftsinformationen 33 geben Eigenschaften für mehrere Eigenschaftselemente für den Lungenknoten an. Als die Eigenschaftselemente, die in den Eigenschaftsinformationen 33 enthalten sind, werden beispielsweise der Ort der abnormalen Verschattung, die Größe der abnormalen Verschattung, der Typ von Absorptionswert (fester Typ und Milchglastyp), das Vorhandensein oder Nichtvorhandensein von Spicula, ob es ein Tumor oder ein Knoten ist, das Vorhandensein oder Nichtvorhandensein von Pleurakontakt, das Vorhandensein oder Nichtvorhandensein von Pleuraeinstülpung, das Vorhandensein oder Nichtvorhandensein von Pleurainfiltration, das Vorhandensein oder Nichtvorhandensein einer Kavität und das Vorhandensein oder Nichtvorhandensein von Verkalkung verwendet. In Bezug auf die in den in 4 gezeigten überwachten Trainingsdaten 30 enthaltene abnormale Verschattung 31 geben die Eigenschaftsinformationen 33, wie in 4 gezeigt, an, dass der Ort der abnormalen Verschattung unter der linken Lungenpleura liegt, die Größe der abnormalen Verschattung 4,2 cm im Durchmesser beträgt, der Absorptionswert ein fester Typ ist, Spicula vorhanden ist, es ein Tumor ist, Pleurakontakt vorhanden ist, Pleuraeinstülpung vorhanden ist, Pleurainfiltration nicht vorhanden ist, eine Kavität nicht vorhanden ist und Verkalkung nicht vorhanden ist. Darüber hinaus wird in 4 in dem Fall von Vorhandensein + und in dem Fall von Nichtvorhandensein - angegeben. Nachstehend wird der Fall von Vorhandensein als ein positiver Befund und der Fall von Nichtvorhandensein als ein negativer Befund bezeichnet. Das erste Lernmodell 22A wird aufgebaut, indem ein neuronales Netzwerk unter Verwendung einer großen Menge von überwachten Trainingsdaten trainiert wird, wie in 4 gezeigt. Beispielsweise wird das erste Lernmodell 22A durch Verwenden der in 4 gezeigten überwachten Trainingsdaten 30 trainiert, um in einem Fall, bei dem das in 4 gezeigte medizinische Bild 32 eingegeben wird, die abnormale Verschattung 31 zu unterscheiden, die in dem medizinischen Bild 32 enthalten ist, und um die in 4 gezeigten Eigenschaftsinformationen 33 in Bezug auf die abnormale Verschattung 31 auszugeben.
  • Ferner kann als das erste Lernmodell 22A jedes Lernmodell, wie zum Beispiel eine Support Vector Machine (SVM), zusätzlich zu dem faltenden neuronalen Netzwerk verwendet werden.
  • Es ist zu beachten, dass das Lernmodell zum Detektieren des abnormalen Verschattungskandidaten aus dem medizinischen Bild und das Lernmodell zum Ableiten der Eigenschaftsinformationen des abnormalen Verschattungskandidaten separat aufgebaut werden können. Ferner werden die von der Bildanalyseeinheit 22 abgeleiteten Eigenschaftsinformationen in dem Datenspeicher 13 gespeichert. 5 ist ein Diagramm zum Beschreiben der Eigenschaftsinformationen, die von der Bildanalyseeinheit 22 abgeleitet werden. Wie in 5 gezeigt, wird angenommen, dass von der Bildanalyseeinheit 22 abgeleitete Eigenschaftsinformationen 35 „linker Oberlappen S1 + S2“, „24 mm“, „fest“, „mit Spicula“, „Tumor“, „kein Pleurakontakt“, „mit Pleuraeinstülpung“, „keine Pleurainfiltration“, „mit Kavität“ und „keine Verkalkung“ für jedes der Eigenschaftselemente sind.
  • Die Satzerzeugungseinheit 23 erzeugt einen medizinischen Satz, der als Kommentare zu Befunden dient, durch Verwenden der von der Bildanalyseeinheit 22 abgeleiteten Eigenschaftsinformationen. Insbesondere erzeugt die Satzerzeugungseinheit 23 einen medizinischen Satz, der die Eigenschaften für mindestens eines der mehreren Eigenschaftselemente beschreibt, die in den von der Bildanalyseeinheit 22 abgeleiteten Eigenschaftsinformationen enthalten sind. Zu diesem Zweck besteht die Satzerzeugungseinheit 23 aus einem zweiten Lernmodell 23A, das darauf trainiert wurde, aus den eingegebenen Informationen einen Satz zu erzeugen. Als das zweite Lernmodell 23A kann beispielsweise ein rekurrentes neuronales Netzwerk verwendet werden. 6 ist ein Diagramm, das schematisch eine Konfiguration eines rekurrenten neuronalen Netzwerks zeigt. Wie in 6 gezeigt, besteht ein rekurrentes neuronales Netzwerk 40 aus einem Kodierer 41 und einem Dekodierer 42. Die von der Bildanalyseeinheit 22 abgeleiteten Eigenschaftsinformationen werden in den Kodierer 41 eingegeben. Zum Beispiel werden Eigenschaftsinformationen „linker Oberlappen S1 + S2“, „24 mm“, „fest“ und „Tumor“ in den Kodierer 41 eingegeben. Der Dekodierer 42 ist darauf trainiert, Zeicheninformationen zu dokumentieren, und erzeugt einen medizinischen Satz aus den eingegebenen Eigenschaftsinformationen. Aus den oben erwähnten Eigenschaftsinformationen „linker Oberlappen S1 + S2“, „24 mm“, „fest“ und „Tumor“ wird insbesondere ein medizinischer Satz „Ein 24 mm großer fester Tumor wird in dem linken Oberlappen S1 + S2 gefunden“ erzeugt. In 6 gibt „EOS“ das Ende des Satzes (Ende von Satz, End Of Sentence) an.
  • Auf diese Weise wird, um den medizinischen Satz durch Eingeben der Eigenschaftsinformationen auszugeben, das rekurrente neuronale Netzwerk 40 aufgebaut, indem der Kodierer 41 und der Dekodierer 42 unter Verwendung einer großen Menge an überwachten Trainingsdaten gelernt werden, die aus einer Kombination der Eigenschaftsinformationen und dem medizinischen Satz bestehen.
  • Hier wird in dem von der Satzerzeugungseinheit 23 erzeugten medizinischen Satz mindestens eines der mehreren Eigenschaftselemente beschrieben, die von der Bildanalyseeinheit 22 abgeleitet werden. Das in dem von der Satzerzeugungseinheit 23 erzeugten Satz beschriebene Eigenschaftselement wird als ein beschriebenes Element bezeichnet. Darüber hinaus wird ein Eigenschaftselement, das in dem von der Satzerzeugungseinheit 23 erzeugten medizinischen Satz nicht beschrieben ist, als ein nicht beschriebenes Element bezeichnet.
  • Bei der vorliegenden Ausführungsform erzeugt die Satzerzeugungseinheit 23 mehrere medizinische Sätze, die die Eigenschaften für mindestens eines der mehreren Eigenschaftselemente beschreiben. Zum Beispiel werden bei dem zweiten Lernmodell 23A mehrere medizinische Sätze einschließlich eines medizinischen Satzes, der durch Eingeben aller der Eigenschaften (positive Befunde und negative Befunde) erzeugt wird, die aus dem medizinischen Bild spezifiziert werden, und eines medizinischen Satzes, der durch Eingeben nur der positiven Befunde als einzugebende Eigenschaftselemente erzeugt wird, erzeugt. Alternativ können mehrere Sätze mit einer hohen Bewertung erzeugt werden, die die Geeignetheit des Satzes in Bezug auf die eingegebenen Eigenschaftsinformationen angibt. In diesem Fall können durch Verwenden von Indexwerten wie beispielsweise zweisprachiger Bewertungsstudie (bilingual evaluation understudy, BLEU, siehe https://qiita.com/inatonix/items/84a66571029334fbc874) als eine Bewertung, die die Geeignetheit des Satzes angibt, mehrere Sätze mit einer hohen Bewertung erzeugt werden.
  • Zum Beispiel erzeugt, wie in 5 gezeigt, in einem Fall, bei dem die von der Bildanalyseeinheit 22 abgeleiteten Eigenschaftsinformationen 35 „linker Oberlappen S1 + S2“, „24 mm“, „fest“, „mit Spicula“, „Tumor“, „kein Pleurakontakt“, „mit Pleuraeinstülpung“, „keine Pleurainfiltration“, „mit Kavität“ und „keine Verkalkung“ für jedes der Eigenschaftselemente sind, die Satzerzeugungseinheit 23 beispielsweise die folgenden drei medizinischen Sätze.
  • (1) Ein 24 mm großer fester Tumor wird in dem linken Oberlappen S1 + 2 gefunden. Der Rand wird von Spicula und Pleuraeinstülpung begleitet. Im Inneren befindet sich eine Kavität, aber keine Verkalkung.
  • (2) Ein 24 mm großer fester Tumor wird in dem linken Oberlappen S1 + 2 gefunden. Der Rand wird von Spicula und Pleuraeinstülpung begleitet. Im Inneren befindet sich eine Kavität.
  • (3) Ein 24 mm großer Tumor wird in dem linken Oberlappen S1 + 2 gefunden. Der Rand wird von Spicula und Pleuraeinstülpung begleitet. Im Inneren befindet sich eine Kavität.
  • In dem medizinischen Satz (1) sind die beschriebenen Elemente „linker Oberlappen S1 + 2“, „24 mm“, „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“, „Kavität: +“ und „Verkalkung: -“, und die nicht beschriebenen Elemente sind „Pleurakontakt: -“ und „Pleurainfiltration: -“. In dem medizinischen Satz (2) sind die beschriebenen Elemente „linker Oberlappen S1 + 2“, „24 mm“, „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“ und „Kavität: +“, und die nicht beschriebenen Elemente sind „Pleurakontakt: -“, „Pleurainfiltration: -“ und „Verkalkung: -“. In dem medizinischen Satz (3) sind die beschriebenen Elemente „linker Oberlappen S1 + 2“, „24 mm“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“ und „Kavität: +“, und die nicht beschriebenen Elemente sind „fest“, „Pleurakontakt: -“, „Pleurainfiltration: -“ und „Verkalkung: -“.
  • Die Anzeigesteuereinheit 24 zeigt den von der Satzerzeugungseinheit 23 erzeugten medizinischen Satz auf der Anzeige 14 an. 7 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms eines medizinischen Satzes gemäß der vorliegenden Ausführungsform zeigt. Wie in 7 gezeigt, enthält ein Anzeigebildschirm 50 einen Bildanzeigebereich 51 und einen Informationsanzeigebereich 52. In dem Bildanzeigebereich 51 wird ein Schichtbild SL1 angezeigt, das am wahrscheinlichsten den von der Bildanalyseeinheit 22 detektierten abnormalen Verschattungskandidaten spezifiziert. Das Schichtbild SL1 enthält einen abnormalen Verschattungskandidaten 53 und der abnormale Verschattungskandidat 53 ist von einem rechteckigen Bereich 54 umgeben.
  • Der Informationsanzeigebereich 52 enthält einen ersten Bereich 55 und einen zweiten Bereich 56. In dem ersten Bereich 55 werden mehrere Eigenschaftselemente 57, die in den von der Bildanalyseeinheit 22 abgeleiteten Eigenschaftsinformationen enthalten sind, in einer Zeile angezeigt. Auf der linken Seite jedes Eigenschaftselements 57 wird eine Markierung 58 zum Anzeigen der Beziehung mit dem beschriebenen Element in dem Satz angezeigt. Das Eigenschaftselement 57 enthält Eigenschaften für jedes Eigenschaftselement. In dem zweiten Bereich 56 werden drei Satzanzeigebereiche 60A bis 60C zum Anzeigen von mehreren (bei der vorliegenden Ausführungsform drei) medizinischen Sätzen 59A bis 59C, die von der Satzerzeugungseinheit 23 erzeugt werden, in einer Zeile angezeigt. Die Titel von Kandidaten 1 bis 3 werden entsprechend den Satzanzeigebereichen 60A bis 60C gegeben. Ferner werden entsprechende Eigenschaftselemente 61A bis 61C, die den beschriebenen Elementen entsprechen, die in den medizinischen Sätzen 59A bis 59C enthalten sind, die in jedem der Satzanzeigebereiche 60A bis 60C angezeigt werden, entsprechend in unmittelbarer Nähe über jedem der Satzanzeigebereiche 60Abis 60C angezeigt.
  • Ein Abstand zwischen dem Bereich, in dem das entsprechende Eigenschaftselement 61B angezeigt wird, und dem Satzanzeigebereich 60B ist kleiner als ein Abstand zwischen dem Bereich, in dem das entsprechende Eigenschaftselement 61B angezeigt wird, und dem Satzanzeigebereich 60A. Darüber hinaus ist ein Abstand zwischen dem Bereich, in dem das entsprechende Eigenschaftselement 61C angezeigt wird, und dem Satzanzeigebereich 60C kleiner als ein Abstand zwischen dem Bereich, in dem das entsprechende Eigenschaftselement 61C angezeigt wird, und dem Satzanzeigebereich 60B. Daher wird es einfach, die entsprechenden Eigenschaftselemente 61A bis 61C den medizinischen Sätzen 59A bis 59C zuzuordnen, die in den Satzanzeigebereichen 60A bis 60C angezeigt werden.
  • Hier ist der in dem Satzanzeigebereich 60A angezeigte medizinische Satz 59A der oben beschriebene medizinische Satz (1). Die beschriebenen Elemente des medizinischen Satzes 59A sind „linker Oberlappen S1 + 2“, „24 mm“, „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“, „Kavität: +“ und „Verkalkung: -“. Daher werden als das entsprechende Eigenschaftselement 61A „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“, „Kavität: +“ und „Verkalkung: -“ mit Ausnahme des Orts und der Größe der abnormalen Verschattung von durchgezogenen Linien umgeben angezeigt. Bei dem entsprechenden Eigenschaftselement 61A wird der Rahmen von „Verkalkung: -“, die ein negatives Eigenschaftselement ist, durch eine gestrichelte Linie gezeigt, um klar anzugeben, dass es negativ ist. Darüber hinaus kann sich die Hintergrundfarbe von „Verkalkung: -“ von anderen entsprechenden Eigenschaftselementen unterscheiden, oder die Zeichengröße oder Schriftart kann sich von anderen entsprechenden Eigenschaftselementen unterscheiden, um klar anzugeben, dass es negativ ist. Das entsprechende Eigenschaftselement 61A enthält nicht „Pleurakontakt: -“ und „Pleurainfiltration: -“, die die negativen Eigenschaftselemente sind.
  • Ferner ist der in dem Satzanzeigebereich 60B angezeigte medizinische Satz 59B der oben beschriebene medizinische Satz (2). Die beschriebenen Elemente des medizinischen Satzes 59B sind „linker Oberlappen S1 + 2“, „24 mm“, „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“ und „Kavität: +“. Daher werden als das entsprechende Eigenschaftselement 61B „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“ und „Kavität: +“ mit Ausnahme des Orts und der Größe der abnormalen Verschattung umgeben von durchgezogenen Linien angezeigt. Das entsprechende Eigenschaftselement 61B enthält nicht „Pleurakontakt: -“, „Pleurainfiltration: -“ und „Verkalkung: -“, die die negativen Eigenschaftselemente sind.
  • Ferner ist der in dem Satzanzeigebereich 60C angezeigte medizinische Satz 59C der oben beschriebene medizinische Satz (3). Die beschriebenen Elemente des medizinischen Satzes 59C sind „linker Oberlappen S1 + 2“, „24 mm“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“ und „Kavität: +“. Daher werden als das entsprechende Eigenschaftselement 61C „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“ und „Kavität: +“ mit Ausnahme des Orts und der Größe der abnormalen Verschattung umgeben von durchgezogenen Linien angezeigt. Das entsprechende Eigenschaftselement 61C enthält nicht „Pleurakontakt: -“, „Pleurainfiltration: -“ und „Verkalkung: -“, die die negativen Eigenschaftselemente sind. Darüber hinaus ist Eigenschaftselement „fest“ nicht enthalten.
  • Ferner werden unter dem zweiten Bereich 56 in dem Informationsanzeigebereich 52 eine OK-Schaltfläche 63 zum Bestätigen des ausgewählten medizinischen Satzes und eine Korrekturschaltfläche 64 zum Korrigieren des ausgewählten medizinischen Satzes angezeigt.
  • In einem Fall, bei dem der Radiologe einen beliebigen der Satzanzeigebereiche 60Abis 60B auswählt, werden die Eigenschaftselemente, die den beschriebenen Elementen entsprechen, die in dem medizinischen Satz enthalten sind, der in dem ausgewählten Satzanzeigebereich angezeigt wird, unter den mehreren Eigenschaftselementen 57, die in dem ersten Bereich 55 angezeigt werden, hervorgehoben. Beispielsweise wird, wie in 8 gezeigt, in einem Fall, bei dem der Satzanzeigebereich 60A ausgewählt wird, der Rahmen des Satzanzeigebereichs 60A dicker, und „fest“, „Spicula: +“, „Tumor“, „Pleuraeinstülpung: +“, „Kavität: +“ und „Verkalkung: -“, die die Eigenschaftselemente 57 sind, die den beschriebenen Elementen des medizinischen Satzes 59A entsprechen, werden hervorgehoben. In 8 wird die Hervorhebung durch Schraffur für jedes der Eigenschaftselemente 57, die den beschriebenen Elementen des medizinischen Satzes 59A entsprechen, gezeigt. Zum Hervorheben ist es möglich, ein Verfahren wie beispielsweise Unterschiedlichmachen der Farbe des Eigenschaftselements, das dem beschriebenen Element entspricht, von anderen Eigenschaftselementen oder Ausgrauen anderer Eigenschaftselemente als dem Eigenschaftselement, das dem beschriebenen Element entspricht, zu verwenden. Die vorliegende Offenbarung ist jedoch nicht darauf beschränkt. Darüber hinaus werden in einem Fall, bei dem der Satzanzeigebereich 60A ausgewählt ist, Farben der Markierung 58 gegeben, die jeweils „fest“, „Spicula: +“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“, „Kavität: +“ und „Verkalkung: -“ entspricht. In 8 wird die Farbergänzung durch Füllen gezeigt.
  • In einem Fall, bei dem der Satzanzeigebereich 60B ausgewählt wird, werden „fest“, „Spicula: +“, „Tumor“ und „Kavität: +“, die die Eigenschaftselemente sind, die den beschriebenen Elementen des medizinischen Satzes 59B entsprechen, in dem ersten Bereich 55 hervorgehoben. Ferner werden in einem Fall, bei dem der Satzanzeigebereich 60C ausgewählt wird, „Spicula: +“, „Tumor“ und „Kavität: +“, die die Eigenschaftselemente sind, die den beschriebenen Elementen des medizinischen Satzes 59C entsprechen, in dem ersten Bereich 55 hervorgehoben.
  • Ferner können das beschriebene Element, das in dem medizinischen Satz enthalten ist, der in dem ausgewählten Satzanzeigebereich angezeigt wird, und die Eigenschaftselemente, die den beschriebenen Elementen entsprechen, die in dem medizinischen Satz enthalten sind, der in dem ausgewählten Satzanzeigebereich angezeigt wird, unter den mehreren Eigenschaftselementen 57, die in dem ersten Bereich 55 angezeigt werden, in Verbindung miteinander angezeigt werden. 9 ist ein Diagramm zum Beschreiben der Anzeige der Verbindung zwischen dem beschriebenen Element und dem Eigenschaftselement. Wie in 9 gezeigt, werden in einem Fall, bei dem der Satzanzeigebereich 60A ausgewählt wird, Eigenschaftselemente „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“, „Kavität: +“ und „Verkalkung: -“, die den beschriebenen Elementen des medizinischen Satzes 59A entsprechen, unter den in dem ersten Bereich 55 angezeigten Eigenschaftselementen 57 hervorgehoben. Ferner werden in dem medizinischen Satz 59A, der in dem ausgewählten Satzanzeigebereich 60A angezeigt wird, die Eigenschaftselemente „fest“, „Tumor“, „Spicula: +“, „Pleuraeinstülpung: +“, „Kavität“ und „Verkalkung: -“, die in dem medizinischen Satz 59A beschrieben sind, hervorgehoben. Dementsprechend wird das in dem medizinischen Satz enthaltene beschriebene Element dem Eigenschaftselement, das dem beschriebenen Element entspricht, unter den mehreren Eigenschaftselementen 57 zugeordnet.
  • In 9 wird die Verbindung durch Hervorheben des Eigenschaftselements in dem medizinischen Satz 59A durch Einschließen des Eigenschaftselements mit einem Rechteck mit durchgezogener Linie dargestellt, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Zum Beispiel kann die Verbindung hergestellt werden, indem die Zeichen des Eigenschaftselements fett gedruckt werden, die Farbe der Zeichen des Eigenschaftselements geändert wird, die Zeichenfarbe mit der des entsprechenden Eigenschaftselements unter den mehreren Eigenschaftselementen 57, die in dem ersten Bereich 55 angezeigt werden, identisch gemacht wird und dergleichen. Dementsprechend werden das beschriebene Element, das in dem Satz enthalten ist, der in dem ausgewählten Satzanzeigebereich angezeigt wird, und die Eigenschaftselemente, die den beschriebenen Elementen entsprechen, die in dem Satz enthalten sind, der in dem ausgewählten Satzanzeigebereich angezeigt wird, unter den mehreren Eigenschaftselementen 57, die in dem ersten Bereich 55 angezeigt werden, einander zugeordnet.
  • Der Radiologe wertet das Schichtbild SL1 aus, das in dem Bildanzeigebereich 51 angezeigt wird, und bestimmt die Eignung der medizinischen Sätze 59A bis 59C, die in den Zeichenanzeigebereichen 60A bis 60C angezeigt werden, die in dem zweiten Bereich 56 angezeigt werden. In einem Fall, bei dem das von dem Radiologen gewünschte Eigenschaftselement in dem angezeigten medizinischen Satz beschrieben ist, wählt der Radiologe den Zeichenanzeigebereich aus, in dem der medizinische Satz einschließlich des gewünschten Eigenschaftselements angezeigt wird, und wählt die OK-Schaltfläche 63 aus. Dementsprechend wird der in dem ausgewählten Satzanzeigebereich angezeigte medizinische Satz in den Auswertungsbericht transkribiert. Dann wird der Auswertungsbericht, in den der medizinische Satz transkribiert wird, zusammen mit dem Schichtbild SL1 an den Berichtsserver 7 übertragen und darin gespeichert. Der Auswertungsbericht und das Schichtbild SL1 werden von der Kommunikationseinheit 26 via die Netzwerkschnittstelle 17 übertragen.
  • Andererseits wählt in einem Fall, bei dem der in einem beliebigen der Satzanzeigebereiche 60A bis 60C angezeigte medizinische Satz von dem Radiologen nicht gewünscht wird, der Radiologe beispielsweise einen Satzanzeigebereich aus und wählt die Korrekturschaltfläche 64 aus. Dementsprechend kann der in den ausgewählten Satzanzeigebereichen 60A bis 60C angezeigte medizinische Satz durch Verwenden der Eingabevorrichtung 15 korrigiert werden. Nach der Korrektur wird in einem Fall, bei dem die OK-Schaltfläche 63 ausgewählt wird, der korrigierte medizinische Satz in den Auswertungsbericht transkribiert. Dann wird der Auswertungsbericht, in den der medizinische Satz transkribiert wurde, an den Berichtsserver 7 übertragen und darin zusammen mit später zu beschreibenden gespeicherten Informationen und dem Schichtbild SL1 gespeichert.
  • Die Speichersteuereinheit 25 unterscheidet zwischen nicht beschriebenen Elementen, die Eigenschaftselemente von Eigenschaften sind, die nicht in dem in dem ausgewählten Satzanzeigebereich angezeigten medizinischen Satz beschrieben sind, und beschriebenen Elementen und speichert sie in dem Datenspeicher 13 als gespeicherte Informationen. 10 ist ein Diagramm zum Beschreiben gespeicherter Informationen. Beispielsweise sind in einem Fall, bei dem der in dem Satzanzeigebereich 60A angezeigte medizinische Satz 59A ausgewählt wird, die nicht beschriebenen Elemente „kein Pleurakontakt“ und „keine Pleurainfiltration“. Wie in 10 gezeigt, wird in gespeicherten Informationen 70 dem beschriebenen Element entsprechend ein Flag von 1 gegeben, und dem nicht beschriebenen Element wird ein Flag von 0 gegeben. Die gespeicherten Informationen 70 werden zusammen mit dem Auswertungsbericht wie oben beschrieben an den Berichtsserver 7 übertragen.
  • Als Nächstes wird ein bei der vorliegenden Ausführungsform durchgeführter Prozess beschrieben. 11 ist ein Flussdiagramm, das einen Prozess zeigt, der bei der vorliegenden Ausführungsform durchgeführt wird. Es wird davon ausgegangen, dass das auszuwertende medizinische Bild von dem Bildserver 5 durch die Bilderfassungseinheit 21 erfasst und in dem Datenspeicher 13 gespeichert wird. Der Prozess wird in einem Fall gestartet, bei dem eine Anweisung zum Erstellen eines Auswertungsberichts durch den Radiologen gegeben wird, und die Bildanalyseeinheit 22 analysiert das medizinische Bild, um Eigenschaftsinformationen abzuleiten, die die Eigenschaft der in dem medizinischen Bild enthaltenen Struktur von Interesse, wie beispielsweise eines abnormalen Verschattungskandidaten, angeben (Schritt ST1). Als Nächstes erzeugt die Satzerzeugungseinheit 23 mehrere medizinische Sätze, die sich auf das medizinische Bild beziehen, basierend auf den Eigenschaftsinformationen (Schritt ST2). Nachfolgend zeigt die Anzeigesteuereinheit 24 den Anzeigebildschirm 50 von mehreren medizinischen Sätzen und Eigenschaftselementen auf der Anzeige 14 an (Anzeige von medizinischen Sätzen und Eigenschaftselementen: Schritt ST3).
  • Dann wird Überwachung gestartet, ob ein medizinischer Satz aus den mehreren medizinischen Sätzen ausgewählt ist oder nicht (Schritt ST4). In einem Fall, bei dem Schritt ST4 positiv ist, wird das beschriebene Element, das das Eigenschaftselement der Eigenschaft, die in dem ausgewählten medizinischen Satz der mehreren medizinischen Sätze beschrieben ist, unter den mehreren Eigenschaftselementen ist, auf eine identifizierbare Weise angezeigt (Anzeige auf eine identifizierbare Weise: Schritt ST5).
  • Nachfolgend bestimmt die Anzeigesteuereinheit 24, ob die OK-Schaltfläche 63 ausgewählt ist oder nicht (Schritt ST6), und in einem Fall, bei dem Schritt ST6 positiv ist, unterscheidet die Speichersteuereinheit 25 zwischen nicht beschriebenen Elementen, die Eigenschaftselemente von Eigenschaften sind, die nicht in dem ausgewählten medizinischen Satz beschrieben sind, und beschriebenen Elementen und speichert sie in dem Datenspeicher 13 als die gespeicherten Informationen 70 (Speichern gespeicherter Informationen: Schritt ST7). Ferner transkribiert die Anzeigesteuereinheit 24 den ausgewählten Satz in den Auswertungsbericht, die Kommunikationseinheit 26 überträgt den Auswertungsbericht, in den der Satz transkribiert wurde, zusammen mit dem Schichtbild SL1 an den Berichtsserver 7 (Übertragung von Auswertungsbericht: Schritt ST8), und der Prozess endet.
  • In einem Fall, bei dem Schritt ST4 und Schritt ST6 negativ sind, bestimmt die Anzeigesteuereinheit 24, ob die Korrekturschaltfläche 64 ausgewählt ist oder nicht (Schritt ST9). In einem Fall, bei dem Schritt ST9 negativ ist, kehrt der Prozess zu Schritt ST4 zurück, und die Prozesse nach Schritt ST4 werden wiederholt. In einem Fall, bei dem Schritt ST9 positiv ist, empfängt die Anzeigesteuereinheit 24 die Korrektur des ausgewählten medizinischen Satzes, der ausgewählte medizinische Satz wird dementsprechend korrigiert (Schritt ST10), der Prozess geht zu Schritt ST6 über und die Prozesse nach Schritt ST6 werden wiederholt.
  • Wie oben beschrieben, ist es bei der vorliegenden Ausführungsform so konfiguriert, dass jeder der mehreren medizinischen Sätze angezeigt wird und ein beschriebenes Element, das ein Eigenschaftselement der Eigenschaft, die in mindestens einem der mehreren medizinischen Sätze beschrieben wird, unter den mehreren Eigenschaftselementen ist, auf dem Anzeigebildschirm 50 auf eine identifizierbare Weise angezeigt wird. Daher ist es möglich, leicht zu erkennen, ob eine Beschreibung von Eigenschaftsinformationen über eine Struktur von Interesse, die in einem medizinischen Bild enthalten ist, in einem medizinischen Satz vorhanden ist oder nicht.
  • Ferner kann durch Anzeigen eines nicht beschriebenen Elements, das ein Eigenschaftselement der Eigenschaft ist, die nicht in dem medizinischen Satz beschrieben ist, auf eine identifizierbare Weise das Eigenschaftselement, das nicht in dem angezeigten medizinischen Satz beschrieben ist, leicht erkannt werden.
  • Darüber hinaus ist es durch Anzeigen von mehreren Eigenschaftselementen und Hervorheben des Eigenschaftselements, das dem beschriebenen Element entspricht, das in dem ausgewählten medizinischen Satz enthalten ist, unter den mehreren angezeigten Eigenschaftselementen als Reaktion auf eine Auswahl eines beliebigen der mehreren medizinischen Sätze möglich, leicht zu erkennen, welches Eigenschaftselement in dem ausgewählten medizinischen Satz beschrieben ist.
  • Darüber hinaus ist es durch Anzeigen von mehreren Eigenschaftselementen und Anzeigen des beschriebenen Elements, das in dem ausgewählten medizinischen Satz enthalten ist, und des Eigenschaftselements, das dem beschriebenen Element entspricht, das in dem ausgewählten medizinischen Satz enthalten ist, unter den mehreren angezeigten Eigenschaftselementen in Verbindung zueinander, als Reaktion auf eine Auswahl eines beliebigen der mehreren medizinischen Sätze, möglich, leicht zu erkennen, welchem der mehreren angezeigten Eigenschaftselemente das in dem medizinischen Satz beschriebene Eigenschaftselement zugeordnet ist.
  • Darüber hinaus wird es durch Anzeigen mehrerer medizinischer Sätze in einer Zeile und Anzeigen der Eigenschaftselemente, die den beschriebenen Elementen in jedem der mehreren medizinischen Sätze entsprechen, in unmittelbarer Nähe zu den entsprechenden medizinischen Sätzen einfach, den angezeigten medizinischen Satz dem Eigenschaftselement zuzuordnen, das dem beschriebenen Element in dem medizinischen Satz entspricht.
  • Ferner können durch Unterscheiden zwischen den nicht beschriebenen Elementen, die die Eigenschaftselemente der Eigenschaft sind, die nicht in dem in dem ausgewählten Satzanzeigebereich angezeigten medizinischen Satz beschrieben ist, und den beschriebenen Elementen und Speichern derselben als die gespeicherten Informationen 70, die gespeicherten Informationen 70 beispielsweise als überwachte Trainingsdaten zum Zeitpunkt von Lernen des auf die Satzerzeugungseinheit 23 angewendeten rekurrenten neuronalen Netzwerks verwendet werden. Das heißt, durch Verwenden des Satzes in einem Fall, bei dem die gespeicherten Informationen 70 erzeugt werden, und der gespeicherten Informationen als überwachte Trainingsdaten, ist es möglich, das rekurrente neuronale Netzwerk zu lernen, um den beschriebenen Elementen Priorität zu geben und den medizinischen Satz zu erzeugen. Daher ist es möglich, ein rekurrentes neuronales Netzwerk so zu lernen, dass ein medizinischer Satz erzeugt werden kann, der die Präferenz eines Radiologen widerspiegelt.
  • Bei der obigen Ausführungsform werden die entsprechenden Eigenschaftselemente 61A bis 61C, die den beschriebenen Elementen entsprechen, die in den medizinischen Sätzen 59A bis 59C enthalten sind, die in jedem der Satzanzeigebereiche 60A bis 60C angezeigt werden, in unmittelbarer Nähe zu jedem Informationsstück in den Satzanzeigebereichen 60A bis 60C angezeigt. Die vorliegende Offenbarung ist jedoch nicht darauf beschränkt. Die Eigenschaftselemente, die den nicht beschriebenen Elementen entsprechen, die nicht in den medizinischen Sätzen 59A bis 59C enthalten sind, die entsprechend in den Satzanzeigebereichen 60A bis 60C angezeigt werden, können auf eine andere Weise als die entsprechenden Eigenschaftselemente 61A bis 61C in unmittelbarer Nähe zu jedem der Satzanzeigebereiche 60A bis 60C als nicht entsprechende Eigenschaftselemente angezeigt werden.
  • 12 ist ein Diagramm, das einen Anzeigebildschirm zeigt, auf dem Eigenschaftselemente, die nicht beschriebenen Elementen entsprechen, angezeigt werden. Ferner ist in 12 nur der in 7 gezeigte zweite Bereich 55 gezeigt. Wie in 12 gezeigt, werden die mehreren Satzanzeigebereiche 60A bis 60C, auf denen jeder der medizinischen Sätze 59A bis 59C angezeigt wird, in dem zweiten Bereich 55 angezeigt, und die entsprechenden Eigenschaftselemente 61A bis 61C und die nicht entsprechenden Eigenschaftselemente 62A bis 62C werden in der Nähe von jedem der Satzanzeigebereiche 60A bis 60C angezeigt. Die entsprechenden Eigenschaftselemente 61A bis 61C sind von Rechtecken mit durchgezogener Linie umgeben, und die nicht entsprechenden Eigenschaftselemente 62A bis 62C sind von Rechtecken mit gestrichelter Linie umgeben. Dementsprechend werden die nicht entsprechenden Eigenschaftselemente 62A bis 62C auf eine andere Weise als die entsprechenden Eigenschaftselemente 61A bis 61C angezeigt. Der Anzeigemodus der entsprechenden Eigenschaftselemente 61A bis 61C und der nicht entsprechenden Eigenschaftselemente 62A bis 62C ist nicht darauf beschränkt. Bei den entsprechenden Eigenschaftselementen 61A bis 61C und den nicht entsprechenden Eigenschaftselementen 62A bis 62C kann es sein, dass nur die nicht entsprechenden Eigenschaftselemente 62A bis 62C ausgegraut sind, oder die Hintergrundfarbe kann zwischen den entsprechenden Eigenschaftselementen 61A bis 61C und den nicht entsprechenden Eigenschaftselementen 62Abis 62C geändert werden.
  • Durch Anzeigen der nicht entsprechenden Eigenschaftselemente 62A bis 62C auf eine andere Weise als die entsprechenden Eigenschaftselemente 61A bis 61C wird es auf diese Weise einfach, den angezeigten medizinischen Satz dem Eigenschaftselement zuzuordnen, das dem beschriebenen Element und dem nicht beschriebenen Element in dem medizinischen Satz entspricht.
  • Bei der obigen Ausführungsform werden mehrere medizinische Sätze aus dem medizinischen Bild erzeugt, aber es kann sein, dass nur ein Satz erzeugt wird. In diesem Fall wird nur ein Satzanzeigebereich in dem zweiten Bereich 56 des Anzeigebildschirms 50 angezeigt.
  • Ferner wird bei der obigen Ausführungsform der Erzeugungsunterstützungsprozess für den medizinischen Satz wie beispielsweise den Auswertungsbericht durch Erzeugen des medizinischen Satzes unter Verwendung des medizinischen Bildes mit der Lunge als das Diagnoseziel durchgeführt, aber das Diagnoseziel ist nicht auf die Lunge beschränkt. Zusätzlich zu der Lunge kann jeder Teil eines menschlichen Körpers, wie zum Beispiel ein Herz, eine Leber, ein Gehirn und Gliedmaßen, diagnostiziert werden. In diesem Fall werden für jedes Lernmodell der Bildanalyseeinheit 22 und der Satzerzeugungseinheit 23 Lernmodelle vorbereitet, die den Analyseprozess und den Satzerzeugungsprozess gemäß dem Diagnoseziel durchführen, ein Lernmodell, das den Analyseprozess und den Satzerzeugungsprozess gemäß dem Diagnoseziel durchführt, wird ausgewählt, und ein Prozess des Erzeugens eines medizinischen Satzes wird ausgeführt.
  • Darüber hinaus kann bei der obigen Ausführungsform, obwohl die Technologie der vorliegenden Offenbarung auf den Fall des Erstellens eines Auswertungsberichts als eines medizinischen Satzes angewendet wird, die Technologie der vorliegenden Offenbarung auch auf einen Fall des Erzeugens anderer medizinischer Sätze als dem Auswertungsbericht, wie beispielsweise einer elektronischen Krankenakte und eines Diagnoseberichts, angewendet werden.
  • Ferner wird bei der obigen Ausführungsform der medizinische Satz unter Verwendung des medizinischen Bildes erzeugt, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Natürlich kann die Technologie der vorliegenden Offenbarung auch in einem Fall angewendet werden, bei dem ein Satz erzeugt wird, der sich auf ein beliebiges anderes Bild als ein medizinisches Bild bezieht.
  • Ferner können bei der obigen Ausführungsform beispielsweise als Hardwarestrukturen von verschiedene Arten von Verarbeitung ausführenden Verarbeitungseinheiten, wie der Bilderfassungseinheit 21, der Bildanalyseeinheit 22, der Satzerzeugungseinheit 23, der Anzeigesteuereinheit 24, der Speichersteuereinheit 25 und der Kommunikationseinheit 26, verschiedene unten gezeigte Prozessoren verwendet werden. Wie oben beschrieben, enthalten die verschiedenen Prozessoren eine programmierbare Logikvorrichtung (programmable logic device, PLD) als einen Prozessor, dessen Schaltungskonfiguration nach Herstellung geändert werden kann, wie beispielsweise ein Field Programmable Gate Array (FPGA), eine dedizierte elektrische Schaltung als einen Prozessor, der eine dedizierte Schaltungskonfiguration zum Ausführen spezifischer Verarbeitungen aufweist, wie eine anwendungsspezifische integrierte Schaltung (application-specific intergrated circuit, ASIC), und dergleichen, zusätzlich zu der CPU als einem Allzweckprozessor, der als verschiedene Verarbeitungseinheiten durch Ausführen von Software (Programmen) fungiert.
  • Eine Verarbeitungseinheit kann durch einen der verschiedenen Prozessoren konfiguriert sein oder kann durch eine Kombination gleicher oder verschiedener Arten von zwei oder mehr Prozessoren konfiguriert sein (zum Beispiel eine Kombination mehrerer FPGAs oder eine Kombination aus der CPU und dem FPGA). Darüber hinaus können mehrere Verarbeitungseinheiten durch einen Prozessor konfiguriert sein.
  • Als ein Beispiel, bei dem mehrere Verarbeitungseinheiten durch einen Prozessor konfiguriert werden, gibt es erstens eine Form, bei der ein Prozessor durch eine Kombination von einer oder mehreren CPUs und Software, wie sie von einem Computer, wie einem Client oder einem Server, typisiert wird, konfiguriert wird und dieser Prozessor als mehrere Verarbeitungseinheiten fungiert. Zweitens gibt es eine Form, bei der ein Prozessor zum Realisieren der Funktion des gesamten Systems einschließlich mehrerer Verarbeitungseinheiten via einen IC(integrated circuit, integrierte Schaltung)-Chip, wie durch einen System On Chip (SoC) oder dergleichen typisiert, verwendet wird. Auf diese Weise sind verschiedene Verarbeitungseinheiten durch einen oder mehrere der vorstehend beschriebenen verschiedenen Prozessoren als Hardwarestrukturen konfiguriert.
  • Darüber hinaus kann als die Hardwarestruktur der verschiedenen Prozessoren weiter insbesondere eine elektrische Schaltung (Schaltkreis), bei der Schaltungselemente wie Halbleiterelemente kombiniert sind, verwendet werden.
  • Bezugszeichenliste
  • 1
    medizinisches Informationssystem
    2
    Modalität
    3
    Auswertungs-WS
    4
    Medizinische Abteilung-WS
    5
    Bildserver
    6
    Bild-DB
    7
    Berichtsserver
    8
    Berichts-DB
    10
    Netzwerk
    11
    CPU
    12
    Unterstützungsprogramm für Dokumentenerstellung
    13
    Datenspeicher
    14
    Anzeige
    15
    Eingabevorrichtung
    16
    Speicher
    17
    Netzwerkschnittstelle
    18
    Bus
    20
    Unterstützungsvorrichtung für Dokumentenerstellung
    21
    Bilderfassungseinheit
    22
    Bildanalyseeinheit
    22A
    erstes Lernmodell
    23
    Satzerzeugungseinheit
    23A
    zweites Lernmodell
    24
    Anzeigesteuereinheit
    25
    Speichersteuereinheit
    26
    Kommunikationseinheit
    30
    überwachte Trainingsdaten
    31
    abnormale Verschattung
    32
    medizinisches Bild
    33, 35
    Eigenschaftsinformationen
    40
    rekurrentes neuronales Netzwerk
    41
    Kodierer
    42
    Dekodierer
    50
    Anzeigebildschirm
    51
    Bildanzeigebereich
    52
    Informationsanzeigebereich
    53
    abnormaler Verschattungskandidat
    54
    rechteckiger Bereich
    55
    erster Bereich
    56
    zweiter Bereich
    57
    Eigenschaftselement
    58
    Markierung
    60A bis 60C
    Satzanzeigebereich
    61A bis 61C
    entsprechendes Eigenschaftselement
    62A bis 62C
    nicht entsprechendes Eigenschaftselement
    63
    OK-Schaltfläche
    64
    Korrekturschaltfläche
    70
    gespeicherte Informationen
    SL1
    Schichtbild
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2019153250 A [0004]

Claims (12)

  1. Unterstützungsvorrichtung für Dokumentenerstellung, die mindestens einen Prozessor umfasst, wobei der Prozessor so konfiguriert ist, dass er Eigenschaften für jedes von mehreren vorbestimmten Eigenschaftselementen in einer Struktur von Interesse, die in einem Bild enthalten ist, ableitet, mehrere Sätze, die die Eigenschaften beschreiben, die für mindestens eines der mehreren Eigenschaftselemente spezifiziert sind, erzeugt, und jeden der mehreren Sätze anzeigt und ein beschriebenes Element, das ein Eigenschaftselement einer Eigenschaft, die in mindestens einem der mehreren Sätze beschrieben ist, unter den mehreren Eigenschaftselementen ist, auf einem Anzeigebildschirm auf eine identifizierbare Weise anzeigt.
  2. Unterstützungsvorrichtung für Dokumentenerstellung nach Anspruch 1, wobei der Prozessor so konfiguriert ist, dass er die mehreren Sätze erzeugt, in denen sich eine Kombination der Eigenschaftselemente der in den Sätzen beschriebenen Eigenschaften unterscheidet.
  3. Unterstützungsvorrichtung für Dokumentenerstellung nach Anspruch 1 oder 2, wobei der Prozessor so konfiguriert ist, dass er ein nicht beschriebenes Element, das ein Eigenschaftselement einer Eigenschaft ist, die nicht in dem Satz beschrieben ist, auf dem Anzeigebildschirm auf eine identifizierbare Weise anzeigt.
  4. Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 3, wobei der Prozessor so konfiguriert ist, dass er die mehreren Eigenschaftselemente auf dem Anzeigebildschirm anzeigt und als Reaktion auf eine Auswahl eines beliebigen der mehreren Sätze das Eigenschaftselement, das dem beschriebenen Element entspricht, das in dem ausgewählten Satz enthalten ist, unter den mehreren angezeigten Eigenschaftselementen hervorhebt.
  5. Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 3, wobei der Prozessor so konfiguriert ist, dass er die mehreren Eigenschaftselemente auf dem Anzeigebildschirm anzeigt und als Reaktion auf eine Auswahl eines beliebigen der mehreren Sätze das beschriebene Element, das in dem ausgewählten Satz enthalten ist, und das Eigenschaftselement, das dem beschriebenen Element entspricht, das in dem ausgewählten Satz enthalten ist, unter den mehreren angezeigten Eigenschaftselementen in Verbindung miteinander anzeigt.
  6. Unterstützungsvorrichtung für Dokumentenerstellung nach Anspruch 4 oder 5, wobei der Prozessor so konfiguriert ist, dass er die mehreren Eigenschaftselemente in einer Zeile in einem ersten Bereich des Anzeigebildschirms anzeigt und die mehreren Sätze in einer Zeile in einem zweiten Bereich des Anzeigebildschirms anzeigt.
  7. Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 4, wobei der Prozessor so konfiguriert ist, dass er die mehreren Sätze in einer Zeile anzeigt und das Eigenschaftselement, das dem beschriebenen Element in jedem der mehreren Sätze entspricht, in unmittelbarer Nähe zu einem entsprechenden Satz anzeigt.
  8. Unterstützungsvorrichtung für Dokumentenerstellung nach Anspruch 7, wobei der Prozessor so konfiguriert ist, dass er ein Eigenschaftselement, das einem nicht beschriebenen Element in jedem der mehreren Sätze entspricht, auf eine andere Weise als das Eigenschaftselement, das dem beschriebenen Element entspricht, in unmittelbarer Nähe zu dem entsprechenden Satz anzeigt.
  9. Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 8, wobei der Prozessor so konfiguriert ist, dass er zwischen einem nicht beschriebenen Element, das ein Eigenschaftselement einer Eigenschaft ist, die in dem ausgewählten Satz unter den mehreren Sätzen nicht beschrieben ist, und dem beschriebenen Element unterscheidet und das nicht beschriebene Element und das beschriebene Element speichert.
  10. Unterstützungsvorrichtung für Dokumentenerstellung nach einem der Ansprüche 1 bis 9, wobei das Bild ein medizinisches Bild ist und der Satz ein medizinischer Satz ist, der sich auf die Struktur von Interesse bezieht, die in dem medizinischen Bild enthalten ist.
  11. Unterstützungsverfahren für Dokumentenerstellung, umfassend: Ableiten von Eigenschaften für jedes von mehreren vorbestimmten Eigenschaftselementen in einer Struktur von Interesse, die in einem Bild enthalten ist; Erzeugen von mehreren Sätzen, die die Eigenschaften beschreiben, die für mindestens eines der mehreren Eigenschaftselemente spezifiziert sind; und Anzeigen jedes der mehreren Sätze und Anzeigen eines beschriebenen Elements, das ein Eigenschaftselement einer Eigenschaft, die in mindestens einem der mehreren Sätze beschrieben ist, unter den mehreren Eigenschaftselementen ist, auf einem Anzeigebildschirm auf eine identifizierbare Weise.
  12. Unterstützungsprogramm für Dokumentenerstellung zum Veranlassen eines Computers, eine Prozedur auszuführen, die umfasst: Ableiten von Eigenschaften für jedes von mehreren vorbestimmten Eigenschaftselementen in einer Struktur von Interesse, die in einem Bild enthalten ist; Erzeugen von mehreren Sätzen, die die Eigenschaften beschreiben, die für mindestens eines der mehreren Eigenschaftselemente spezifiziert sind; und Anzeigen jedes der mehreren Sätze und Anzeigen eines beschriebenen Elements, das ein Eigenschaftselement einer Eigenschaft, die in mindestens einem der mehreren Sätze beschrieben ist, unter den mehreren Eigenschaftselementen ist, auf einem Anzeigebildschirm auf eine identifizierbare Weise.
DE112021000329.1T 2020-02-07 2021-02-05 Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung Pending DE112021000329T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-019954 2020-02-07
JP2020019954 2020-02-07
PCT/JP2021/004366 WO2021157705A1 (ja) 2020-02-07 2021-02-05 文書作成支援装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
DE112021000329T5 true DE112021000329T5 (de) 2022-12-29

Family

ID=77199530

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021000329.1T Pending DE112021000329T5 (de) 2020-02-07 2021-02-05 Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung

Country Status (4)

Country Link
US (1) US20220366151A1 (de)
JP (2) JPWO2021157705A1 (de)
DE (1) DE112021000329T5 (de)
WO (1) WO2021157705A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021107098A1 (de) * 2019-11-29 2021-06-03
US11435878B2 (en) * 2020-12-04 2022-09-06 Cava Holding Company Sentence builder system and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5153281B2 (ja) * 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法
JP2017191457A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 レポート作成装置、およびその制御方法
US10803581B2 (en) * 2017-11-06 2020-10-13 Beijing Keya Medical Technology Co., Ltd. System and method for generating and editing diagnosis reports based on medical images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Also Published As

Publication number Publication date
JPWO2021157705A1 (de) 2021-08-12
WO2021157705A1 (ja) 2021-08-12
US20220366151A1 (en) 2022-11-17
JP2024009342A (ja) 2024-01-19

Similar Documents

Publication Publication Date Title
DE102011080260B4 (de) Verfahren und Anordnung zur rechnergestützten Darstellung bzw. Auswertung von medizinischen Untersuchungsdaten
US11139067B2 (en) Medical image display device, method, and program
DE102004055767A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bilddaten, um die Erfassung einer Erkrankung zu untersützen
US20030028401A1 (en) Customizable lung report generator
DE102006055654A1 (de) Datenmanagementtool zur interaktiven Echtzeitdatenanalyse
DE102020118559A1 (de) Deep learning für eine Perfusion bei der medizinischen Bildgebung
DE102011053044A1 (de) System und Verfahren zur Analyse und sichtbaren Darstellung lokaler klinischer Merkmale
DE102008002882A1 (de) System und Verfahren zu von einer elektronischen Krankenakte beeinflusster Datenerfassung, -verarbeitung und -anzeige
DE102009025856A1 (de) Verarbeitungs- und Visualisierungstechnik medizinischer Daten
DE102021131242A1 (de) Medizinbild-Leseassistent-Vorrichtung und Verfahren zum Anpassen eines Schwellenwerts einer Diagnoseassistent-Information basierend auf einer Nachfolgeuntersuchung
DE102013218806A1 (de) Verfahren zur Auswertung einer Untersuchung
DE112021000329T5 (de) Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung
DE112019005902T5 (de) Ähnlichkeitsbestimmungsvorrichtung, ähnlichkeitsbestimmungsverfahren und ähnlichkeitsbestimmungsprogramm
US11837346B2 (en) Document creation support apparatus, method, and program
DE102008037558A1 (de) System und Verfahren zum Diagnostizieren eines medizinischen Zustands
DE112011104887B4 (de) Nichtflüchtiges computerlesbares Speichermedium zur Darstellung von Markierungen der computergestützten Detektion bei der computertomographischen Diagnose des Dickdarms
DE102020211945A1 (de) Verfahren und Anordnung zur automatischen Lokalisierung von Organsegmenten in einem dreidimensionalen Bild
DE102015205493B4 (de) Betrieb einer medizinischen Bildgebungsvorrichtung
DE112019005308T5 (de) Erzeugungsvorrichtung, -verfahren und -programm für gewichtetes bild, bestimmerlernvorrichtung, -verfahren und -programm, bereichsextraktionsvorrichtung, -verfahren und -programm und bestimmer
US20230005580A1 (en) Document creation support apparatus, method, and program
DE102023203884A1 (de) Medizinbilddiagnosehilfsvorrichtung und Verfahren zum Erzeugen und Visualisieren von Hilfsinformationen auf der Basis von Verteilungen von Signalintensitäten in Medizinbildern
DE112021001190T5 (de) Informationsverarbeitungsvorrichtung, -verfahren und -programm
DE112021006834T5 (de) Vorrichtung, verfahren und programm zum anzeigen medizinischer bilder
DE102019216745A1 (de) Anonymisierung von medizinischen Bilddaten
DE112020005870T5 (de) Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und unterstützungsprogramm für dokumentenerstellung

Legal Events

Date Code Title Description
R012 Request for examination validly filed