JP7252122B2 - 医療撮像装置、及び、画像取得方法を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体 - Google Patents

医療撮像装置、及び、画像取得方法を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体 Download PDF

Info

Publication number
JP7252122B2
JP7252122B2 JP2019527307A JP2019527307A JP7252122B2 JP 7252122 B2 JP7252122 B2 JP 7252122B2 JP 2019527307 A JP2019527307 A JP 2019527307A JP 2019527307 A JP2019527307 A JP 2019527307A JP 7252122 B2 JP7252122 B2 JP 7252122B2
Authority
JP
Japan
Prior art keywords
medical
image
image quality
session
medical images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019527307A
Other languages
English (en)
Other versions
JP2020512605A (ja
JP2020512605A5 (ja
Inventor
メルライン セブンスター
ユエチェン キアン
ユギャング ジア
マラゴーシュ アミール モハマド ターマセービ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020512605A publication Critical patent/JP2020512605A/ja
Publication of JP2020512605A5 publication Critical patent/JP2020512605A5/ja
Priority to JP2022199916A priority Critical patent/JP2023036722A/ja
Application granted granted Critical
Publication of JP7252122B2 publication Critical patent/JP7252122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Description

以下は、医療技術、医療取得技術、医療報告技術、及び関連技術に関する。
医療画像は通常、画像取得及び読影の2つの局面において行われる。取得は、技術的に訓練されているが、画像に基づいた医療診断を行う資格のあまりない、技術者(又は、超音波のための音波検査者)によって行われる。読影者、腫瘍学者、又は医療専門家は、普通は後になって(例えば、画像取得後の翌日、又は数日後)、医療診断を行う。その結果として、技術者又は音波検査者は、診断上で最適でないか又は不十分な診断だとさえ分かる画像を取得する場合がある(すなわち、読影者は、画像取得不備に基づいて診断結果を出すことができない)。
医療画像を含む医療においてコスト削減には、ますます重きが置かれている。その結果として、適合基準は、医療画像のボリュームを制御するために明瞭に表されてきた。加えて、将来のヘルスケア環境において(例えば、「責任ある介護組織」)、画像部門は高品質な画像取得及び読影を通してその価値を進歩させることを期待されることが、ますます認識される。
記述のように、画像取得及び読影は通常、2つが関連しているが、専門作業者によって一時的に分離されたプロセスが行われる。例えば、CT検査は、CT専門家によって取得され、読影者によって解釈され、心臓の心エコー図は、音波検査者によって取得され、画像心臓専門医によって解釈される(欧州では、心臓の心エコー図は、画像心臓専門医によって同時に取得され、解釈される。)。画質は、少なくとも、解像度、コントラスト使用、解剖学的適用範囲、関数の位相、モーションアーチファクト、及びノイズ、といった側面の観点から評価され得、また、個別に且つ/又は併せてカバーする意味で使用されることになる。
心エコー図検査は、心臓撮像において最も有力なモダリティであるけれども、いくつかの検査が専門の読影者によって非診断と見なされる点において、検査品質の観点で大きなバラツキがある。低品質の画像取得は、高品質の解釈を不可能にして大きな価値を妨げ、介護プロセスを増やしてヘルスケアのコストを増大させる。加えて、低品質の読影は、繰り返しの撮像を必要とし、患者を病院に戻すことと解釈の遅延を要求する。
画像取得フィードバックは、イノベーションの最先端である医療センターで日常的に収集される。しかし、フィードバックは、品質評価プログラムの過程で定期的に検討され、低品質画像を防止するために画像取得プロセスにおいて積極的に使用されるわけではない。
以下は、上記の問題などを克服する、新しく且つ改良されたデバイス及び方法を提供する。
1つの態様によれば、医療撮像装置は、ワークステーションディスプレイを有する医療ワークステーション、及び1つ又は複数のワークステーションユーザ入力デバイスを備える。医療撮像デバイスコントローラは、コントローラディスプレイ及び1つ又は複数のコントローラユーザ入力デバイスを備える。医療撮像デバイスコントローラは、医療画像を取得するように医療撮像デバイスを制御するために接続されている。1つ又は複数の電子プロセッサが、放射線科情報システム(RIS:Radiology Information System)に記憶された医療画像を表示し、医療検査報告のエントリを受信し、画像レーティングユーザダイアログを表示し、且つこの画像レーティングユーザダイアログを介して、医療ワークステーションに表示された医療画像に対する画質レーティングを受信する、グラフィカルユーザインタフェース(GUI)を提供するように、医療ワークステーションを動作させることと、撮像検査セッションを行うように医療撮像デバイスコントローラを動作させることであって、撮像検査セッションが、セッション医療画像を取得するように医療撮像デバイスを制御するように、医療撮像デバイスコントローラを動作させることを有する、動作させることと、撮像検査セッションを行う間に、医療ワークステーションに表示された画質レーティングユーザダイアログを介して受信された画質レーティングに基づいて、セッション医療画像に品質レーティングを割り当てることと、撮像検査セッションを行う間に、セッション医療画像に割り当てられた品質レーティングを表示することとを行うように、プログラムされている。
別の態様によれば、非一時的コンピュータ可読媒体は、画像取得方法を行うために、少なくとも1つのプロセッサを制御するソフトウェアを担う。方法は、医療情報システム(RIS)に記憶された医療画像を表示し、医療検査報告のエントリを受信し、画像レーティングユーザダイアログを表示し、且つ、画像レーティングユーザダイアログを介して医療ワークステーションにおいて表示された医療画像用の画質レーティングを受信する、グラフィカルユーザインタフェース(GUI)を提供するように、医療ワークステーションを動作させることと、入力医療画像用の画質レーティングを予測するための訓練済み画質分類子を生成するために、画質レーティングユーザダイアログを介して、RISに記憶され且つ受信された画質レーティングを有する医療画像を使用して機械学習を行うこととを含む。
別の態様によれば、医療撮像デバイスコントローラは、医療画像を取得するように医療撮像デバイスを制御するために接続されている。医療撮像デバイスコントローラは、コントローラディスプレイと、1つ又は複数のコントローラユーザ入力デバイスと、撮像検査セッションを行うようにプログラムされた1つ又は複数の電子プロセッサと、を備え、撮像検査セッションが、セッション医療画像を取得するように医療撮像デバイスを制御するように、医療撮像デバイスコントローラを動作させることと、セッション医療画像に訓練済み画質分類子を適用して、セッション医療画像に対する画質レーティングを生成することと、コントローラディスプレイ上に、セッション医療画像に割り当てられた画質レーティングを表示することとを有する。
1つの利点は、より効率的な医療ワークステーションを提供することにある。
別の利点は、改善されたユーザインタフェースを有する医療ワークステーションを提供することにある。
別の利点は、取得された画像の品質が容認できるものであるかどうかを即座に判断することにある。
別の利点は、画像の品質が標準以下である場合に、患者の画像を即座に再取得することにある。
当業者であれば、以下の「発明を実施するための形態」を読み、理解した時点で、本開示のさらなる利点が分かってくるであろう。いずれの所与の実施形態も、上記の利点のうちの幾つか又はすべてをもたらしてよく、且つ/又は他の利点をもたらしてもよいことが分かるであろう。
開示は、様々な構成要素及び構成要素の配置において、又様々なステップ及びステップの配置において具体化される。図面は、好ましい実施形態を説明する目的だけのためであり、開示を限定するものとして解釈されない。
放射線医学ワークステーション及び医療撮像デバイスコントローラを示す。 放射線医学ワークステーションの構成要素及び医療撮像デバイスを図表で説明する。 図1の医療ワークステーションによって行われる、関連の事前医学研究特定を実施する例示的方法を示すフローチャートを示す。 図3の方法とともに使用するための機械学習プロセスを示す。
以下は概して、取得の時点で画像を評価するための自動化機構を提供する、閉ループシステムを対象とする。このようにして、画像が十分な品質でなく、まだ患者が撮像設備にいる間に新しい画像を取得できる場合、技術者又は音波検査者は注意を促される。
この目的に向けて、医療ワークステーションは、読影者が読み込まれている画像の品質を等級付けするツールを提供するように修正される。読影者は通常、過酷な仕事量を担っているので、このツールによって、読影者がフィードバックを提供するのを簡単にすることが好ましく、1つの実施形態では、読影者は、「良好」、「普通」、又は「劣等」の選択をするように求められ、画像はそのようにラベル付けされる。このようにして、訓練データセットは、そのような等級付けを行う資格のある実際の読影者によって、画質に関して等級付けされた実際の医療画像を含んで、効率的に収集される。
訓練データは、画像(及び、任意な付加的状況、例えば、患者特性、検査目的など)を受信し、例えば「良好」、「普通」、又は「劣等」の等級を出力するように分類子(すなわち、機械学習構成要素)を訓練するのに使用される。いくつかの実施形態では、機械学習構成要素は、訓練済みニューラルネットワークのニューラル層の出力として、画像を直接に受信し、効率的に画像特徴を取り出す、ニューラルネットワークを含んでいる、深層学習を用いる。このアプローチでは、これが深層学習に組み込まれているので、顕著な画像特徴を手作業で特定する必要はない。
撮像室で、画像が取得されると、訓練済み機械学習構成要素は、「良好」、「普通」、又は「劣等」として画像を等級付けするのに適用される。「劣等」と等級付けされたいかなる画像も再取得されるのが好ましいが、「良好」画像は、適切な要員(例えば、撮像室の管理者、対応できる読影者など)によって検討される。低品質画像が取得された場合、患者がまだ撮像室にいる間に、低品質画像は直ちに特定され改善されることが有利である。
いくつかの異なる実施形態では、読影者は、複数の分類子の適切な訓練で、技術者又は音波検査者が、例えば「患者の過度な動き」などのさらなる情報評価を受信することを可能にする、さらなる粒状の画像評価を提供する。より粒状でない評価も考えられ、例えば「良好」又は「劣等」の等級のみ(又は、類義語で、例えば「容認可能」又は「容認不可能」)である。
図1を参照すると、開示された迅速画質評価の実施形態が開示される。医療ワークステーション10は、例えば、デスクトップコンピュータ、ネットワークサーバと接続した「ダム」端末、又はサーバからデータを取り出す任意の他の適切なコンピューティングデバイスとして実装される。ワークステーション10は、少なくとも1つのワークステーションディスプレイ構成要素14、少なくとも1つのワークステーションユーザ入力構成要素16、電子データ通信リンク18、ワークステーション電子データベース又はアーカイブ20(例えば、電子カルテ(EMR:Electronic Medical Record)データベース、画像保管通信システム(PACS:Picture Archiving And Communication System)データベース、放射線科情報システム(RIS)データベース、又は、任意の他の適切なデータベース)などの典型的な構成要素を有するコンピュータ12を含む。コンピュータ12は、本明細書に開示されるように医療報告機能を行うようにプログラムされた、少なくとも1つの電子プロセッサ22(例えば、マイクロプロセッサ、マルチコアマイクロプロセッサ、又はその他)を含む。少なくとも1つのディスプレイ14は、1つ又は複数の医学研究を表示するように構成され、高解像度の医療画像を表示するために、高解像度のディスプレイであることが好ましい。例えば、アーカイブ20から取り出された当時の研究は、第1のディスプレイに表示され得、さらにアーカイブ20から取り出された先行検査された医学研究は、第2のディスプレイに表示され得る。いくつかの例では、ディスプレイ14は、接触感知式ディスプレイであり得る。ユーザ入力構成要素16は、少なくとも1つの画像を選択するように構成される。場合によっては、ユーザ入力構成要素16は、マウス、キーボード、スタイラス、前述の接触感知式ディスプレイ、及び/又は同様のものであり得る。加えて、ユーザ入力構成要素16はマイクロフォンであり得る(すなわち、ユーザが少なくとも1つの診断書に内容を口述することを可能にするために)。通信リンク18は、無線又は有線の通信リンク(有線又は無線のイーサネット(登録商標)リンク、及び/又はWiFi(登録商標)リンクなど)であり得、例えば、病院ネットワークは、医療ワークステーション10が少なくとも1つの画像及び/又は研究を作成する少なくとも1つの診断書を受信することを可能にする。加えて、アーカイブ20は、読影者が医学的所見又は他の可能性のある臨床的有意性の観察報告を入力する、データ入力フィールドを含む複数の診断書を記憶するように構成される。
少なくとも1つのプロセッサ22は、アーカイブ20(例えば、RISデータベース)に記憶された医療画像を表示し、医療検査報告のエントリを受信し、画像レーティングユーザダイアログを表示し、且つ、画像レーティングユーザダイアログを介して医療ワークステーション10で表示された医療画像のための画質レーティングを受信する、グラフィカルユーザインタフェース(GUI)24を提供するように医療ワークステーション10を動作させるようにプログラムされている。
医療ワークステーション10は、例えばデスクトップコンピュータ又は他の適切なコンピューティングデバイスとして実装されている、医療撮像デバイスコントローラ26を使用して、技術者、音波検査者、又は他の撮像デバイス技師によって取得された撮像検査の画像を読影者が読むツールを提供する。医療撮像デバイス26は、コントローラディスプレイ30、1つ又は複数のコントローラユーザ入力デバイス32、及びアーカイブ20へのコントローラ電子データ通信リンク34などの典型的な構成要素を有するコンピュータ28を含む。コンピュータは、本明細書に開示されるように画像取得機能を行う、医療撮像デバイス40を制御するようにプログラムされた、少なくとも1つの電子プロセッサ38を含む。いくつかの例では、ディスプレイ30は、接触感知式ディスプレイであり得る。場合によっては、ユーザ入力デバイス32は、マウス、キーボード、スタイラス、前述の接触感知式ディスプレイ、及び/又は同様のものであり得る。通信リンク34は、無線又は有線の通信リンク(有線又は無線のイーサネット(登録商標)リンク、及び/又はWiFi(登録商標)リンクなど)であり得、例えば、病院ネットワークは、医療撮像デバイスコントローラ26が少なくとも1つの画像及び/又は研究を作成する少なくとも1つの診断書を送信することを可能にする。
プロセッサ38は、撮像検査セッションを行うように医療撮像デバイスコントローラ26を動作させるようにプログラムされ、撮像検査セッションには、セッション医療画像を取得するように医療撮像デバイスを動作させることを含む。例えば、医療撮像デバイスコントローラ26は、医療画像を取得するように、医療撮像デバイス40(例えば、X線デバイス、磁気共鳴(MR)デバイス、コンピュータ断層撮影(CT)デバイス、超音波(US)デバイス、ポジトロン断層撮影(PET)デバイス、単一光子放射型断層撮影(SPECT)デバイス、同類の合成又は組み合わせ(例えば、PET-CT)、及び同類のもの)を制御するように接続される。いくつかの例では、医療撮像デバイス40は、患者つまり撮像被験者を医療デバイスの中に支持するための、ロボット被験者支持体42を含む。医療撮像デバイスコントローラ26は、セッション医療画像を取得するのに先立ち、医療撮像デバイス40の中に撮像被験者を入れ、セッション医療画像を取得した後に、医療撮像デバイス40から撮像被験者を出すように、ロボット被験者支持体42を制御するように構成される。
典型的な配置では、医療撮像デバイスコントローラ26及び撮像デバイス40は、医療部局の、同じ部屋か又は隣接する部屋に位置する。例えば、撮像デバイス40がMRIである場合において、コントローラ26は、MRIによって生成された強磁場及び強電磁場への技術者の被曝を制限するように、隣接する部屋に位置することは一般的なことである。他方、超音波デバイスの場合には、医療撮像デバイスコントローラ26及び撮像デバイス40は、超音波パルスを超音波センサアレイに適用するための駆動電子機器、反射された超音波信号を読み込むための読み出し用電子機器、及び、超音波機械の組み込み式コントローラ26を含む、組み込み式のディスプレイ、キーボード、又は他のユーザインタフェース構成要素を含む、単一の超音波撮像機械として一体統合される。これらは単に説明的な例であり、撮像デバイス40及びそのコントローラ26の他の様々に統合された実施形態が考えられる。撮像コントローラ26は、画像モダリティ、検査理由、又はその他などの顕著なメタデータに加えて、取得された画像を典型的に含んでいる取得された撮像検査を記憶するためにアーカイブ20に接続される。
上記のものは、多くの病院において典型的な実用的配置であるが、撮像デバイス40の他の配置及びそのコントローラ26が用いられる。例えば、別の配置では、超音波撮像デバイスは、固定した超音波研究室場所に患者を連れて行くよりも、超音波撮像検査を行うように患者の病室に移動させるポータブルデバイスである。ポータブル超音波デバイスは典型的に、内臓式のコントローラ26を有し、アーカイブ20への無線接続を有する。
対照的に、医療ワークステーション10は通常、撮像デバイス40及びそのコントローラ26を含む医療部局とは異なる場所に位置し、いかなる患者の病室にも位置していない。それどころか、医療ワークステーション40は、医療画像の解釈における専門訓練を受けている1人又は複数人の読影者が配属されている、病院の医療部に位置している。通常、技術者、音波検査者、又は同様の者(医療撮像機器26、40を動作させる)及び読影者(医療ワークステーション10を使用して、医療画像の読影を行う)は、お互いに重要な日常的交流を有していない。技術者、音波検査者などは、取得された画像が意図された診断タスクに適しているかどうかに関して、読影者から適時にフィードバックを受信しないので、これは問題のあるコミュニケーション不足を引き起こす。原則として技術者又は音波検査者は、画像をプリントアウトし、読影者と相談することができる一方、医療検査の厳しい時間的制約、読影者が通常負う過酷な仕事量、及び病院の様々な部署における彼らの場所があれば、これは通常は実際的ではない。
一方では技術者又は音波検査者と、他方では読影者との間のこの食い違いは、プロセッサ22、38の1つ又は両方の上、及び/又は、いくつかの付加的プロセッサ(図示されていないが、例えば、ネットワーク基盤サーバコンピュータ、クラウドコンピューティングリソースなど)の上に様々に実装されている、画質評価構成要素1によって本明細書において扱われる。撮像検査セッションが行われる間、医療撮像デバイスコントローラ26は、医療ワークステーション10に表示されている、記述されるべき画質レーティングユーザダイアログを介して受信された画質レーティングに基づいて品質レーティングをセッション医療画像に割り当てるように構成されている、画質評価構成要素1に通信リンク34を介して画像を送信するように構成されている。次に、撮像デバイスコントローラ30は、撮像検査セッションを行う間に、ディスプレイ14のセッション医療画像に割り当てられた品質レーティングを表示するように構成される。これは、技術者又は音波検査者に、リアルタイムですなわち撮像検査の間中、取得された画像が診断目的で使用に容認できる画質であるかどうかを決定するために使用され得る、画質に関する有用なフィードバックを提供する。
図2を参照し、引き続き図1を参照すると、画質評価構成要素1の動作、及び医療ワークステーション10と撮像デバイスコントローラ30とのその相互作用は、より詳細に説明される。図2に示されるように、医療ワークステーション10は、「読影環境」(例えば、放射線科などの病院の医療部)に位置し、医療撮像デバイスコントローラ26は、「画像取得環境」(例えば、医療撮像デバイスを収納する医療部局又は病室、又は、モバイル式撮像デバイスの場合には患者の病室)に位置する。技術者又は音波検査者(又は任意の他の適切なユーザ)は、完了した画像検査68が得られるまで、医療撮像デバイス40によって画像取得環境において患者の少なくとも1つの医療画像44を得る。取得された画像は、それらが読影者(又は、医療画像の医療診断において専門訓練を受けている他の適切なユーザ)によって検討される読影環境における医療ワークステーション10に送信される。いくつかの実施形態では、次に読影者は、それぞれの画像に画質レーティング(例えば、「良好」、「普通」、「悪い」など)を与える。他の実施形態では、画質評価構成要素1は、画質レーティングを自動的に割り当てるように構成されている(例えば、以下により詳細に説明されるように、機械学習を介して)。画像が「悪い」品質レーティング(又は、いくつかの実施形態では、「普通」品質レーティング)を与えられる場合、画像を再取得するように技術者又は音波検査者に通知が送られる。
画質評価構成要素1の機械学習動作が、より詳細に説明される。医療ワークステーション10のプロセッサ22は、アーカイブ20(例えば、RIS)に記憶された医療画像を使用して機械学習を行い、また、画質レーティングユーザダイアログを介して受信された画質レーティングに基づいて、入力医療画像44用の画質レーティングを予測するために、訓練済み画質分類子又はモデルを生成するようにプログラムされている。いくつかの例では、機械学習は、ニューラルネットワークの1つ又は複数のニューラル層の出力として、画像特徴を取り出すニューラルネットワークを訓練することを有する深層学習を行うことを含む。深層学習は、手作業で特定された画像特徴には働かない。いくつかの例では、深層学習は、画像特徴に加えて、ニューラルネットワークへの入力として、画像に関するメタデータをさらに使用する。非限定的な例として、画像に関するメタデータは、1つ又は複数の、画像モダリティ、検査理由、及びアーカイブ20に記憶された患者背景を含む。さらなる例では、画質レーティングユーザダイアログ70を介して受信された画質レーティングを有して、追加の医療画像がアーカイブ20に記憶されるに従って、機械学習は、訓練済み画質分類子を更新するために更新される。
機械学習にラベル付き訓練データを提供するために、医療ワークステーション10のプロセッサ22は、アーカイブ20に記憶された医療画像を表示している間、画質レーティングユーザダイアログ70をディスプレイ14に表示するように構成(例えば、プログラム)される。いくつかの例では、画質レーティングユーザダイアログ70及びアーカイブ20からの画像は、単一のディスプレイ14に同時に表示され得るか、又は別々のディスプレイ14に個別に表示され得る。画質レーティングユーザダイアログ70は、アーカイブ20に記憶され、且つ医療ワークステーションディスプレイ14に表示された、医療画像のための画質レーティングを受信するように構成されている。他の例では、説明に役立つ画質レーティングユーザダイアログ70は、3つの無線選択ボタン、例えば、「良好」画質レーティングの選択を示す緑色無線ボタン、「普通」画質レーティングの選択を示す黄色無線ボタン、及び「劣等」画質レーティングの選択を示す赤色無線ボタン、を含む。次に、読影者は、選択ボタンを使用して、受信された画像にレーティングを割り当てることができる。これは、単に説明に役立つ画質レーティングユーザダイアログにすぎず、他の視覚の(例えば、図画での)、聴覚の、又はその混成の構成が考えられる。さらなる例では、画質レーティングユーザダイアログ70は、可聴式キューを含むことができ、この可聴式キューでは、読影者は画像が「良好」、「普通」、又は「悪い」であることを口頭で述べることができ、マイクロフォン及び口述エンジン(図示されない項目)は、口頭で述べられた画質レーティングを検出し、そのレーティングを画像に割り当てる。
1つの実施形態では、セッション医療画像44は、取得の時点で読影者に表示される。次に、プロセッサ22は、訓練済み画質分類子にセッション医療画像を入力することによって、セッション医療画像44に画質レーティングを割り当てるようにプログラムされている。画質レーティングユーザダイアログ70は、少なくとも良好画質レーティング及び劣等画質レーティングを含むユーザ選択のために制約付き画質レーティングを提供する。この実施形態では、フィードバックは、撮像デバイスコントローラ26に直ちに返信される。セッション医療画像に割り当てられた品質レーティングの表示は、再取得されるべき劣等な画質レーティングが割り当てられたセッション医療画像があれば、それをコントローラディスプレイ28に表示することを有する。
この取り組みでの難しさは、読影者が撮像検査の時点でセッション医療画像44を直ちに検討する必要があることである。これは、読影者にとって都合が悪いか、又は場合によっては、検討を行うのに手が空いている読影者がいないことがある。
したがって、図2の実施形態では、これらのフィードバック作業を自動的に行うために、医療撮像装置1は、オプションのコンテキストスキームエンジン50、読影者の作業の通常コースの間中、例えば、事前取得された撮像検査の読み込みを行う間に、調査された画像用の画質レーティングユーザダイアログ70を提示するための品質フィードバック収集機構52、フィードバック収集機構52から画質レーティングでラベル付けされた(すなわち、注釈付けられた)画像を記憶する注釈付き画像データストア54、及び、画質分類子又は品質予測エンジン60を訓練するために機械学習(例えば、ニューラルネットワークの深層学習)を使用する機械抽出エンジン58を備え、そのそれぞれは以下により詳細に説明される。
オプションのコンテキストスキームエンジン50は、コンテキスト上入手可能な情報(例えば、モダリティ、調査理由、患者情報など)を標準化データ表現に変えるようにプログラムされる。例えば、コンテキストスキームエンジン50は、エンジン間のコンテキスト情報の標準化項目を共有するようにプログラムされる。1つの例では、コンテキストスキームは、制御値のリストであり得る。例えば、コンテキストモダリティが画像モダリティを描写する場合、それは、X線、CT、MR、PET、SPECT、PET-CT、及びUSを含んでいる、様々なモダリティのリストであり得、また、それは、CTが所与のコンテキストにおける有効なモダリティであることが示され得る。別の例では、コンテキストスキームは、コンテキストスキームが複数の状況的側面(例えば、モダリティ及び身体部位)を形作る時の複数のリストとして考えられ得る。さらなる例では、コンテキストスキームは、いくつかの選択肢が不可能だと印付けられる格子として実装され得る。
1つの実施形態では、コンテキストスキームエンジン50は、構造化フォーマット(例えば、医療デジタル画像通信(DICOM)ヘッダ情報、メタデータ、患者体重など)において利用可能な情報(例えば、モダリティ、調査理由、患者情報など)を収集するようにプログラムされている。別の実施形態では、コンテキストスキームエンジン50は、それぞれが、画像、検査理由、及び患者背景のそれぞれに関してコンテキスト情報を引き出し且つ標準化するようにプログラムされている、画像タグ付けエンジン62、調査理由標準化エンジン64、及び患者プロファイルエンジン66を備えることができる。この標準化情報は、以下により詳細に説明されるように、コンテキストスキームに加えられ得る。
画像タグ付けエンジン62は、少なくとも1つの画像44の構成要素(例えば、心臓の心エコー図内のビュー、又はMR調査におけるシリーズなど)、ピクセルデータ、及び同様のものなど、検査にメタ情報を加えるようにプログラムされている。例えば、画像データが心臓の心エコー図である場合、検査内のビューはそれらのビュー(例えば、心尖部二腔、心尖部三腔、心尖部四腔、胸骨周囲長軸など)に従ってラベル付けされる。別の例では、ある容積測定画像データは、画像データにおいて自動的に解剖学的構造を検出する解剖学的セグメント化ソフトウェアの影響下にあり得る。ソフトウェアによって検出された解剖学的構造は、以下により詳細に説明されるように、品質フィードバック収集機構52によって収集されたレーティングと同期化される。次に、画像タグ付けエンジン62は、完了した画像検査68のそれぞれの画像44に対するその関連した解剖学的構造に従って、それぞれのラベルにタグ付けするようにプログラムされる。
オプションの調査理由標準化エンジン64は、提供された「調査理由」情報を画質要求に変えるようにプログラムされる。本明細書に使用される際、「調査理由」とは、検査の背後にある、症状、関連の慢性症状、及び臨床的推論を説明する委託医師からの無料通信などの情報を指す。自然言語処理技術を使用して、調査理由標準化エンジン64は、関連の情報を取り出し、且つコンテキストスキームの上に関連の情報をマッピングするようにプログラムされる。そうするために、調査理由標準化エンジン64は、検査理由から関連の解剖学的構造を取り出し、且つ発見された解剖学的構造があればコンテキストスキームにそれをマーク付けするようにプログラムされる。これは、フレーズを検出し、且つオントロジ報告における概念の上にそれらをマッピングする、SNOMED CT又はRadLexなどの、概念抽出法(MetaMap又はプロプライエタリ法)を利用することによって実装され得る。そのようなオントロジは、それらの概念を相互接続し、且つ階層的な推論パターンを可能にする関係を有する。例えば、フレーズ「肝臓切片VI」が検査理由において検出される場合、これは解剖学的部位として認識される。次に、階層的な推論を使用して、関連の概念は、コンテキストスキームに含まれている概念に遭遇するまで、反復的に一般化される(例えば、「肝臓切片VI」→「肝臓」)。
別の実施形態では、調査理由標準化エンジン64は、疾患(例えば、「肝臓癌」)及び手術(例えば、「前立腺切除術」)を認識するようにもプログラムされ、且つ関連の解剖学的構造をモデル化する事前関係を活用する。次に、階層的な推論は、上記のように、コンテキストスキームに含まれている情報に到達するように使用され得る。
さらなる実施形態では、調査理由標準化エンジン64は、オントロジ的推論又は基本的マッピング表を使用して、心臓病学ビューの上に調査理由における解剖学的構造の情報をマッピングするようにもプログラムされる。例えば、左心室機能についての懸念は、胸骨周囲長軸、短軸、心尖部四腔、及び心尖部二腔への関心を誘発する。
オプションの患者プロファイルエンジン66は、患者の臨床的疾患プロファイルを保持するようにプログラムされる。そうするために、患者プロファイルエンジン66は、ICD9/ICD10(有効診断)又はRxNorm(有効薬物治療)などの、標準化された専門用語を使用して成文化されたEMRデータベース68(又は、代わりに、ワークステーションRIS20)から患者情報を収集するようにプログラムされる。患者プロファイルエンジン66は、抽出された情報をコンテキストスキームに書き入れるようにプログラムされる。
一旦生成されると、コンテキストスキームエンジン50によって生成されたコンテキストスキーム(画像タグ付けエンジン62、調査理由標準化エンジン64、及び患者プロファイルエンジン66からの情報を含む)は、そこに記憶するために注釈付き画像データストア54に送信される。コンテキストスキームは、例えば、メタデータとしてフォーマット化され得る。
既に説明されたように、品質フィードバック収集機構52は、画像44からの低品質画像をマーク付けするために、又はより一般的に、画像に画質等級を割り当てるために、読影者が医療ワークステーション10を動作させることを可能にする、ユーザインタフェースデバイスとして構成される。例えば、撮像セッションにおいて選択された画像44(又は、代わりに、完了した画像検査68の画像のすべて)は、医療撮像デバイスコントローラ26から医療ワークステーション10に転送される。受信された画像は、品質フィードバック収集機構52の画質レーティングユーザダイアログ70に加えて、ワークステーション10のディスプレイ14に表示される。次に、読影者は、画質レーティングユーザダイアログ70を使用して、それぞれの受信された画像44に画質レーティングを割り当てる。例えば、読影者は、画像44への画質レーティングを選択するために、ワークステーションユーザ入力構成要素16を使用することができる。次に、ワークステーション10は、画質レーティングユーザダイアログ70を介して、転送されたセッション医療画像44のための画質レーティングを受信する。画質レーティングは、任意の適切な手法で表示され得る(例えば、言語、それぞれのレーティングを示す色(すなわち、「良好」は緑色、「普通」は黄色、「劣等」は赤色)、及び同様のもの)。次に、ワークステーション10のプロセッサ22は、医療ワークステーション10における転送されたセッション医療画像に対して受信された画質レーティングをセッション画像44に割り当てる。
いくつかの例では、品質フィードバック収集機構52は、撮像検査の品質、又は個々のシリーズ(多層医療検査のための)もしくはビュー(心臓の心エコー図検査のための)をマーク付け又は注釈付けのために、読影者によって使用され得る。1つの実施形態では、品質フィードバック収集機構52は、「良好」、「普通」、及び「悪い」の画質レーティングを割り当てることによって、ユーザが画質をマーク付けできるようにする。別の例では、品質フィードバック収集機構52は、最良、良好、十分、診断境界、及び非診断にわたるリッカート尺度上に、ユーザが画質をマーク付けできるようにする。さらなる例では、簡単な品質フィードバック収集機構52は、ユーザが非診断検査のみをマーク付けできるように実装される。
さらに別の例では、品質フィードバック収集機構52は、ユーザが、コンテキストスキームの基礎となるデータ表現と一致する構造化フィードバックを提供することを可能にする。もう少し進んだ例では、品質フィードバック収集機構52は、コンテキストスキームの結果に基づいたそのようなタグを事前提案する。情報は、ドロップダウンメニュー又はインタラクティブなアバターを介して選択可能にし得る。画質レーティングが提供されない例では、デフォルト品質評価が提供される。
注釈付き画像データストア54は、患者によってインデックス付けられた注釈付き画像データ及び画像取得データを残している非一時的データストアとして構成される。1つの例では、コンテキストスキームエンジン50によって生成されたコンテキストスキーム情報は、注釈付き画像データストア54に加えられる。別の例では、品質フィードバック収集機構52からの画質レーティングは、注釈付き画像データストア54に加えられる。別の例では、完了した画像検査68は、医療撮像デバイスコントローラ26から注釈付き画像データストア54に転送され得る。いくつかの実施形態では、注釈付き画像データストア54は、画像内容のソースをマーク付けする一意の識別子を有するクラウドベースシステムとして構成され得る。
品質警報機構56は、低品質画像の画像取得作業者(すなわち、技術者又は音波検査者)に警報を出すように構成されたユーザインタフェースとして構成される。そうするために、品質警報機構56は、画像取得作業者が、品質フィードバック収集機構52を介して読影者から画質レーティングを受信することを可能にする。画質レーティングは、画質レーティングユーザダイアログ70を反映することができる、画質レーティング結果ダイアログ72上に表示され得る。例えば、画像44及び画質レーティング結果ダイアログ72は、コントローラディスプレイ30上に表示され得る。次に、対応する画質レーティングは受信され、その後、画質レーティングユーザダイアログ70と同じか又はほぼ同じ手法を反映する任意の適切な手法(例えば、言語、それぞれのレーティング(すなわち、「良好」は緑色、「普通」は黄色、「劣等」は赤色)を示す色、及び同様のもの)において、画質レーティング結果ダイアログ72上に表示される。表示された画質レーティングに基づいて、次に、画像取得作業者は、患者の所望の画像(例えば、「悪い」画像44、及びいくつかの実施形態では、「普通」画像)を再取得するために、撮像デバイス40を制御する。
いくつかの実施形態では、画質評価構成要素1は、画質レーティングを画像44に提供するために、機械学習技術を利用することができる。これは、品質フィードバック収集機構52を介して、その時の画像に直接的に等級を割り当てるために、手すきで快く引き受けてくれる読影者の必要なしに、即座の画質等級付けを可能にする利点を有する。読影者の介入なしに自動化画質等級付けが、その時の画像を等級付けすることを可能にするために、画質評価構成要素1は、機械抽出エンジン58及び品質予測エンジン60を含み、そのそれぞれは以下により詳細に説明される。
機械抽出エンジン58は、撮像特徴を自己学習し、且つそのような特徴を画質と関連付けるモデルを出力する、機械学習対応エンジンとしてプログラムされる。いくつかの実施形態では、オプションのコンテキストスキームエンジン50は、画像メタデータからの相関関係にさらなる特徴を提供する。いくつかの例では、機械抽出エンジン58は、画像特徴を効果的に抽出する処理シーケンス時の初期のニューラル層とともに、複数のニューラル層を活用する深層学習ニューラルネットワークとして構成され得る。そのような深層学習ニューラルネットワークは、グラウンドトルース注釈データに基づく基本的な「極小」画像特徴に基づいて、初期又は中間の層においてニューロンによって符号化される画像特徴を自動的に抽出する。深層学習ニューラルネットワークは、以前に研究されてきたか又はこの目的に向けて特別に開発された、さらに複雑な画像特徴によって実装され得る。
機械抽出エンジン58は、注釈付き画像データストア54から画像44の画素情報を取り出すとともに、品質フィードバック収集機構52から画像注釈を取り出す。これは、分類子60の機械学習に、画像のラベル付き訓練データセットを提供する。機械抽出エンジン58は、入力画像44に基づき、画質レーティングを戻す最適化数学モデル又は分類子60を作成し、出力するようにプログラムされている。いくつかの例では、コンテキストスキームエンジン50によって生成されたコンテキストスキーム(画像に関係している情報、検査理由、及び患者背景を含む)は、機械抽出エンジン58にも入力される。コンテキストスキームは、見つけた画像をコンテキスト情報で補い、出力モデル74を生成するのに、機械抽出エンジン58によって使用され得る。
生成された品質予測エンジン、すなわち分類子60は、事前定義の尺度(例えば、「良好」、「普通」、又は「悪い」)で画像の品質を示す画質指標を出力するように、機械学習58によって訓練され、この画質指標は、今度は品質警報機構56に出力される。分類子60は、それにより、即座の読影者の可用性を求めることなく、自動的に画質等級付けを行う。
画質予測は、他の分析によって増強され得る。例えば、機械学習によって生み出された分類子によって、低品質レーティングが示されると、相当するモダリティ及び解剖学的構造を有する患者のつい最近の画像44が、取り出される。この場合、品質予測エンジン60及びコンテキストスキームごとに、その時の画像における低品質切片に一致する以前の画像における画像切片を探す論理が適用され得る。以前の画像切片の品質表示は、注釈付き画像データストア54から取り出されるか、又は品質予測エンジン60によって、即座にコンピュータ計算され得る。画質の違いが小さい場合、この画像切片(例えば、CT検査における心エコー図又は解剖学的構造)が、本質的に撮像するのが難しいことが推論される。このため、これは、品質評価に含まれ、「十分」評価に戻ることになる。
コンテキストスキームエンジン50からのコンテキストスキームが、機械学習エンジン58への入力として使用されない他の例では、品質予測エンジン60の出力が、代わりに、画像タグ付けエンジン62、調査理由標準化エンジン64、及び/又は患者プロファイルエンジン66からの情報に基づき適合され得る。例えば、標準化調査理由ごとで必ずしも妥当でない解剖学的領域内の低品質不安に印付けするのを避けるのに、この情報が使用され得る。例証として、患者の受診で前立腺がんの疑いがある場合、上部肺領域の雑音の不安は、重大ではない。又は、例えば、推論規則は、ある心エコー図が、肥満患者に対して取得するのが特に困難であり得ることから、肥満患者(ICD10コード「E66.9-肥満、不詳」)には、推論規則が適用され得る。いくつかの例において、新しい画像ビュー又は画像シリーズが完了するたびに、モダリティそのもの又はPACS保存部(図示せず)に、品質予測エンジン60が適用される。
品質警報機構56は、品質予測エンジン60から画像レーティングを受信するように構成されている。品質予測エンジン60の結果が、画像が診断に役立たない(例えば、上記の等級付けスキームで「劣等」と等級付けである)ことを示した場合、撮像デバイスコントローラ26の品質警報機構56を介して、画像取得作業者に警報が送られ得る。このようにして、例えば、画像取得作業者が、例えば、心尖部二腔像が診断に役立たないことを警告されることがある。1つの例において、品質予測エンジン60の出力に基づき適切にフォーマットされた警報を送る、より進んだ決定木が定義されている。このような決定木は、ユーザの経験レベル及び前に特定された訓練ニーズを織り込むことができる。撮像検査中に、このフィードバックが自動的に提供され、それにより、この検査中に訂正動作(例えば、診断に役立たない画像の再取得)が行われ得、患者は、新たな撮像検査のために後日再び呼び出される必要はなくなる。読影者が、不十分な画質の画像で診断を行おうとする時間をもう無駄にすることがないので、医療部局における効率向上も達成される。
図2に示される点線がエンジン間のランタイム相互作用を反映していることが分かるであろう。実線は、新たな機械学習モデルを生成するように働く相互作用を表している。
図3を参照すると、ワークステーション10の少なくとも1つのプロセッサ22が、ワークステーション10に、画像取得を行わせ、方法100を検討させるようにプログラムされている。方法100は、医療撮像デバイス40でセッション医療画像44を取得すること(102)と、セッション医療画像44を、医療撮像デバイスコントローラ26から医療ワークステーション10に転送すること(104)と、転送されたセッション医療画像44を、画質レーティングユーザダイアログ72と一緒に医療ワークステーション10に表示すること(106)と、画質レーティングユーザダイアログ72を介して、転送されたセッション医療画像44に対する画質レーティングを受信すること(108)と、医療ワークステーション10における転送されたセッション医療画像に対して受信された画質レーティングを、セッション医療画像44に割り当てること(110)と、画質レーティングを医療撮像デバイスコントローラ26に送信すること(112)と、セッション医療画像に割り当てられた画質レーティングを表示すること(114)と、再取得されるべき劣等画質レーティングが割り当てられたセッション医療画像があれば、それを表示すること(116)とを有する。
図4は、方法100の代替的な実施形態を示す。図4は、方法100のステップ106~110の代わりに行われ得る機械学習方法200のステップを示す。方法200は、RIS54に記憶された医療画像、及び受信画像に対する画質レーティングユーザダイアログ70を介した画質レーティングを表示すること(202)と、受信医療画像及び画質レーティングから、入力医療画像44に対する画質レーティングを予測するための訓練済み画質分類子74を生成すること(204)と、画質レーティングユーザダイアログ72を介した受信画質レーティングを有するRIS54に追加の医療画像が記憶されるのに従って、訓練済み画質分類子74を更新すること(206)と、訓練済み分類子74を使用して、セッション医療画像44に対する画質レーティングを予測すること(208)とを有する。
本明細書に記載の様々な文章及びグラフィカルユーザインタフェース特徴が、様々な構成要素10、26、及びデータ処理構成要素22、38に、通信ネットワーク(例えば、無線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、パーソナルエリアネットワーク、BLUETOOTH(登録商標)など)を介して伝達され得ることが分かるであろう。
ワークステーション10の様々な構成要素50、52、56、58、60、62、64には、本開示の動作を行うように、ファームウェア又はソフトウェアによってプログラムされた少なくとも1つのマイクロプロセッサ22、38が含まれ得る。いくつかの実施形態において、データ処理が様々な構成要素50、52、56、58、60、62、64によって直接行われるように、マイクロプロセッサ22、38が様々な構成要素50、52、56、58、60、62、64に一体となっている。他の実施形態において、マイクロプロセッサ22、38は、様々な構成要素とは別れている。ワークステーション10のデータ処理構成要素22、38、及び医療撮像デバイスコントローラ26は、本開示の動作を実施するように、マイクロプロセッサ(例えば、上記のような)によって可読且つ実行可能である命令を記憶する、非一時的記憶媒体としても実装される。非一時的記憶媒体には、例えば、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、フラッシュメモリ、又は様々な構成要素50、52、56、58、60、62、64、及びデータ処理構成要素22、38用のファームウェアの他の保存場所が含まれる。追加として又は代替として、非一時的記憶媒体には、コンピュータハードドライブ(コンピュータ実施式実装形態に適する)、光ディスク(例えば、このようなコンピュータへの取り付け用)、様々な構成要素50、52、56、58、60、62、64、データ処理構成要素22、38、又はコンピュータが、インターネット又は別の電子データネットワークを介して、デバイスソフトウェア又はファームウェアをそれからダウンロードすることができるネットワークサーバデータ記憶域(例えば、RAIDアレイ)などが含まれる。
本開示は、好ましい実施形態に関連して説明されてきた。先の「発明を実施するための形態」を読み、理解した時点で、当業者は、修正形態及び代替形態に気付くであろう。本開示は、それらが添付の請求項又はそれの均等物の範囲に入る限り、このような修正形態及び代替形態のすべてを含むと解釈されることが意図されている。

Claims (9)

  1. ワークステーションディスプレイ及び1つ又は複数のワークステーションユーザ入力デバイスを備える医療ワークステーションと、
    コントローラディスプレイ及び1つ又は複数のコントローラユーザ入力デバイスを備える医療撮像デバイスコントローラであって、医療画像を取得するように医療撮像デバイスを制御するために接続された、医療撮像デバイスコントローラと、
    1つ又は複数の電子プロセッサであって、
    アーカイブに記憶された医療画像を表示し、放射線科検査報告のエントリを受信し、画質レーティングユーザダイアログを表示し、且つ前記画質レーティングユーザダイアログを介して、前記医療ワークステーションに表示された医療画像に対する画質レーティングを受信する、グラフィカルユーザインタフェース(GUI)を提供するように、前記医療ワークステーションを動作させることと、
    撮像検査セッションを行うように前記医療撮像デバイスコントローラを動作させることであって、前記撮像検査セッションが、セッション医療画像を取得するため前記医療撮像デバイスを制御するように、前記医療撮像デバイスコントローラを動作させることを有する、動作させることと、
    前記撮像検査セッションを行う間に、前記医療ワークステーションに表示された前記画質レーティングユーザダイアログを介して受信された画質レーティングに基づいて、前記セッション医療画像に品質レーティングを割り当てることと、
    前記撮像検査セッションを行う間に、前記セッション医療画像に割り当てられた品質レーティングを出力することとを行うようにプログラミングされた、1つ又は複数の電子プロセッサとを備える、医療撮像装置であって、
    前記画質レーティングユーザダイアログが、少なくとも良好な画質レーティング及び劣った画質レーティングを含んで、ユーザ選択用に制約付き画質レーティングを提供し、
    前記セッション医療画像に割り当てられた品質レーティングの前記表示は、再取得されるべき前記劣った画質レーティングが割り当てられたセッション医療画像があることを表示することを有し、
    前記画質レーティングは、前記医療画像に対する、少なくとも、解像度、コントラスト使用、解剖学的適用範囲、関数の位相、モーションアーチファクト、及びノイズの側面からの画質についての等級付けを示し、前記品質レーティングは、前記セッション医療画像に対する、少なくとも、解像度、コントラスト使用、解剖学的適用範囲、関数の位相、モーションアーチファクト、及びノイズの側面からの画質についての等級付けを示し、
    前記1つ又は複数の電子プロセッサが、
    前記アーカイブに記憶され、且つ前記画質レーティングユーザダイアログを介した受信画質レーティングを有する医療画像を使用して、機械学習を行い、入力医療画像に対する画質レーティングを予測するための訓練済み画質分類子を生成するようにプログラムされ、
    前記セッション医療画像を前記訓練済み画質分類子に入力することによって、前記セッション医療画像に品質レーティングが割り当てられ、
    前記機械学習が、ニューラルネットワークの1つ又は複数のニューラル層の出力として画像特徴を抽出する前記ニューラルネットワークを訓練することを有する深層学習を行うことを含み、
    前記深層学習が、前記ニューラルネットワークへの入力として、前記医療画像についてのメタデータをさらに使用し、前記医療画像についての前記メタデータが、
    前記アーカイブに記憶された、画像モダリティ、検査理由、及び患者背景のうちの1つ又は複数を含む、医療撮像装置。
  2. 前記1つ又は複数の電子プロセッサが、
    前記アーカイブに記憶された医療画像を表示している間に、前記画質レーティングユーザダイアログを表示することと、
    前記画質レーティングユーザダイアログを介して、前記アーカイブに記憶され、且つ前記医療ワークステーションに表示された医療画像に対する画質レーティングを受信することとを行うようにプログラムされている、請求項に記載の医療撮像装置。
  3. 前記深層学習が、手作業で特定された画像特徴には働かない、請求項に記載の医療撮像装置。
  4. 前記1つ又は複数の電子プロセッサが、
    前記画質レーティングユーザダイアログを介した受信画質レーティングを有する前記アーカイブに、追加の医療画像が記憶されるのに従って前記訓練済み画質分類子を更新するために、前記機械学習を更新するように、さらにプログラムされている、請求項からのいずれか一項に記載の医療撮像装置。
  5. 画像取得方法を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体であって、前記画像取得方法が、
    アーカイブに記憶された医療画像を表示し、放射線科検査報告のエントリを受信し、画質レーティングユーザダイアログを表示し、且つ前記画質レーティングユーザダイアログを介して、医療ワークステーションに表示された医療画像に対する画質レーティングを受信する、グラフィカルユーザインタフェース(GUI)を提供するように、前記医療ワークステーションを動作させるステップと、
    前記アーカイブに記憶され、且つ前記画質レーティングユーザダイアログを介した受信画質レーティングを有する医療画像を使用して、機械学習を行い、入力医療画像に対する画質レーティングを予測するための訓練済み画質分類子を生成するステップとを有
    前記画質レーティングユーザダイアログが、少なくとも良好な画質レーティング及び劣った画質レーティングを含んで、ユーザ選択用に制約付き画質レーティングを提供し、
    前記画像取得方法が、
    医療画像読み込みセッションの間に、セッション医療画像に割り当てられた品質レーティングを表示するステップであって、前記表示は、再取得されるべき前記劣った画質レーティングが割り当てられたセッション医療画像があることを表示することを有するステップを更に有し、
    前記画質レーティングは、前記医療画像に対する、少なくとも、解像度、コントラスト使用、解剖学的適用範囲、関数の位相、モーションアーチファクト、及びノイズの側面からの画質についての等級付けを示し、前記品質レーティングは、前記セッション医療画像に対する、少なくとも、解像度、コントラスト使用、解剖学的適用範囲、関数の位相、モーションアーチファクト、及びノイズの側面からの画質についての等級付けを示し、
    前記機械学習が、ニューラルネットワークの1つ又は複数のニューラル層の出力として画像特徴を抽出する前記ニューラルネットワークを訓練することを有する深層学習を行うことを含み、
    前記深層学習が、前記ニューラルネットワークへの入力として、前記医療画像についてのメタデータをさらに使用し、前記医療画像についての前記メタデータが、
    前記アーカイブに記憶された、画像モダリティ、検査理由、及び患者背景のうちの1つ又は複数を含む、非一時的コンピュータ可読媒体。
  6. 前記医療画像読み込みセッションの間に、前記セッション医療画像を前記訓練済み画質分類子に入力することによって、品質レーティングが前記セッション医療画像に割り当てられる、請求項に記載の非一時的コンピュータ可読媒体。
  7. 前記画像取得方法が、
    前記アーカイブに記憶された医療画像を表示している間に、前記画質レーティングユーザダイアログを表示するステップと、
    前記画質レーティングユーザダイアログを介して、前記アーカイブに記憶され、且つ前記医療ワークステーションに表示された医療画像に対する聴覚画質レーティング又は視覚画質レーティングのうちの少なくとも1つを受信するステップとをさらに有する、請求項又はに記載の非一時的コンピュータ可読媒体。
  8. 前記深層学習が、手作業で特定された画像特徴には働かない、請求項5から7の何れか一項に記載の非一時的コンピュータ可読媒体。
  9. 前記方法が、
    前記画質レーティングユーザダイアログを介した受信画質レーティングを有する前記アーカイブに、追加の医療画像が記憶されるのに従って前記訓練済み画質分類子を更新するために、前記機械学習を更新するステップをさらに有する、請求項からのいずれか一項に記載の非一時的コンピュータ可読媒体。
JP2019527307A 2016-11-23 2017-11-16 医療撮像装置、及び、画像取得方法を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体 Active JP7252122B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022199916A JP2023036722A (ja) 2016-11-23 2022-12-15 医療撮像装置、及び、画像取得を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662425639P 2016-11-23 2016-11-23
US62/425,639 2016-11-23
PCT/EP2017/079380 WO2018095792A1 (en) 2016-11-23 2017-11-16 A closed-loop system for contextually-aware image-quality collection and feedback

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022199916A Division JP2023036722A (ja) 2016-11-23 2022-12-15 医療撮像装置、及び、画像取得を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JP2020512605A JP2020512605A (ja) 2020-04-23
JP2020512605A5 JP2020512605A5 (ja) 2020-12-24
JP7252122B2 true JP7252122B2 (ja) 2023-04-04

Family

ID=60569887

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019527307A Active JP7252122B2 (ja) 2016-11-23 2017-11-16 医療撮像装置、及び、画像取得方法を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体
JP2022199916A Pending JP2023036722A (ja) 2016-11-23 2022-12-15 医療撮像装置、及び、画像取得を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022199916A Pending JP2023036722A (ja) 2016-11-23 2022-12-15 医療撮像装置、及び、画像取得を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体

Country Status (5)

Country Link
US (1) US20190261938A1 (ja)
EP (1) EP3545523B1 (ja)
JP (2) JP7252122B2 (ja)
CN (1) CN110140178B (ja)
WO (1) WO2018095792A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122625B2 (ja) 2018-07-02 2022-08-22 パナソニックIpマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP7426990B2 (ja) * 2018-08-28 2024-02-02 コーニンクレッカ フィリップス エヌ ヴェ 効率的なエコー図比較を支援するための高度なループ選択システム及び方法
US20230071400A1 (en) * 2018-11-24 2023-03-09 Densitas Incorporated System and method for assessing medical images
EP3680912B1 (en) * 2019-01-10 2022-06-29 Medneo GmbH Technique for performing a quality assessment for a medical image
EP3680911A1 (en) * 2019-01-10 2020-07-15 Medneo GmbH Technique for configuring a medical imaging device
US10973472B2 (en) * 2019-03-05 2021-04-13 Siemens Healthcare Gmbh Artificial intelligence-based material decomposition in medical imaging
CN110232688B (zh) * 2019-07-12 2023-06-27 上海联影智能医疗科技有限公司 医学成像***、方法、计算机设备和可读存储介质
JP7358120B2 (ja) * 2019-08-30 2023-10-10 キヤノン株式会社 情報処理装置、断層撮影装置、情報処理方法およびプログラム
EP4052270A1 (en) * 2019-10-28 2022-09-07 Koninklijke Philips N.V. Workload reducer for quality auditors in radiology
CN114868198A (zh) * 2019-12-20 2022-08-05 皇家飞利浦有限公司 用于即时图像质量反馈的***和方法
CN111311554B (zh) * 2020-01-21 2023-09-01 腾讯科技(深圳)有限公司 图文内容的内容质量确定方法、装置、设备及存储介质
CN111739617B (zh) * 2020-06-15 2023-07-11 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
EP3925538A1 (en) * 2020-06-15 2021-12-22 Koninklijke Philips N.V. X-ray imaging system
US20240038364A1 (en) * 2020-12-11 2024-02-01 Koninklijke Philips N.V. Actionable visualization by overlaying historical data on a real-time image acquisition workflow overview
CN112669940A (zh) * 2020-12-24 2021-04-16 中电通商数字技术(上海)有限公司 一种基于ai影像质控读片方法及***
US20240170135A1 (en) * 2021-03-31 2024-05-23 Koninklijke Philips N.V. Load balancing in exam assignments for expert users within a radiology operations command center (rocc) structure

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006051198A (ja) 2004-08-12 2006-02-23 Fuji Photo Film Co Ltd 医用画像処理システム
JP2007530160A (ja) 2004-03-23 2007-11-01 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 医用画像のための自動決定支援を提供するシステムおよび方法
JP2010246862A (ja) 2009-03-24 2010-11-04 Japan Health Science Foundation 医用画像作成装置及びプログラム
JP2015510157A (ja) 2011-12-15 2015-04-02 コーニンクレッカ フィリップス エヌ ヴェ 受領者に対して最適化された医用撮像再構成

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011024A1 (en) * 2005-07-08 2007-01-11 Dale Richard B Business method - global data center for quality assessment and improvement system (GDC-QAISys)
WO2008060323A2 (en) * 2006-05-01 2008-05-22 Image Exchange Partners, Llc Method and system for peer-to-peer radiology network tool
US8270695B2 (en) * 2008-10-07 2012-09-18 Carestream Health, Inc. Diagnostic image processing with automatic self image quality validation
US8811707B2 (en) * 2011-08-25 2014-08-19 General Electric Company System and method for distributed processing of tomographic images
US20130083978A1 (en) * 2011-09-30 2013-04-04 General Electric Company Systems and methods for providing automated imaging feedback
US9330454B2 (en) * 2012-09-12 2016-05-03 Bruce Reiner Method and apparatus for image-centric standardized tool for quality assurance analysis in medical imaging
US9918700B2 (en) * 2013-02-01 2018-03-20 Siemens Medical Solutions Usa, Inc. Tuning ultrasound acquisition parameters
EP2984601A4 (en) * 2013-04-13 2016-12-07 Univ Pennsylvania SYSTEM AND METHOD FOR ANALYSIS OF MEDICAL IMAGES AND PROBABILISTIC DIAGNOSIS
US9008391B1 (en) * 2013-10-22 2015-04-14 Eyenuk, Inc. Systems and methods for processing retinal images for screening of diseases or abnormalities
DE102013221949B4 (de) * 2013-10-29 2019-03-28 Siemens Healthcare Gmbh Verfahren zur Anzeige von medizinischen Bilddaten
US9152761B2 (en) * 2014-01-10 2015-10-06 Heartflow, Inc. Systems and methods for identifying medical image acquisition parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007530160A (ja) 2004-03-23 2007-11-01 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 医用画像のための自動決定支援を提供するシステムおよび方法
JP2006051198A (ja) 2004-08-12 2006-02-23 Fuji Photo Film Co Ltd 医用画像処理システム
JP2010246862A (ja) 2009-03-24 2010-11-04 Japan Health Science Foundation 医用画像作成装置及びプログラム
JP2015510157A (ja) 2011-12-15 2015-04-02 コーニンクレッカ フィリップス エヌ ヴェ 受領者に対して最適化された医用撮像再構成

Also Published As

Publication number Publication date
CN110140178B (zh) 2023-08-18
EP3545523B1 (en) 2023-10-18
JP2023036722A (ja) 2023-03-14
JP2020512605A (ja) 2020-04-23
US20190261938A1 (en) 2019-08-29
WO2018095792A1 (en) 2018-05-31
EP3545523A1 (en) 2019-10-02
CN110140178A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
JP7252122B2 (ja) 医療撮像装置、及び、画像取得方法を行うように少なくとも1つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体
US10229497B2 (en) Integration of medical software and advanced image processing
CN108475538B (zh) 用于将第三方应用集成在图像解读工作流中的结构化发现对象
US20190088359A1 (en) System and Method for Automated Analysis in Medical Imaging Applications
US20190392944A1 (en) Method and workstations for a diagnostic support system
US20110028825A1 (en) Systems and methods for efficient imaging
Zimmerman et al. Informatics in radiology: automated structured reporting of imaging findings using the AIM standard and XML
Folio et al. Multimedia-enhanced radiology reports: concept, components, and challenges
JP2022528095A (ja) 医療情報を評価するためのプラットフォームおよびその使用方法
JP2017513590A (ja) 患者履歴の視覚化のための方法及びシステム
Demirer et al. A user interface for optimizing radiologist engagement in image data curation for artificial intelligence
US20220051805A1 (en) Clinical decision support
US20130322710A1 (en) Systems and methods for computer aided detection using pixel intensity values
JP7192372B2 (ja) 情報処理装置、医用画像表示装置及びプログラム
US20230334663A1 (en) Development of medical imaging ai analysis algorithms leveraging image segmentation
US11869654B2 (en) Processing medical images
US20200043583A1 (en) System and method for workflow-sensitive structured finding object (sfo) recommendation for clinical care continuum
WO2013133274A1 (ja) 読影レポート作成支援装置
JP2020518048A (ja) 下流のニーズを総合することにより読み取り環境を決定するためのデバイス、システム、及び方法
US20230154594A1 (en) Systems and methods for protocol recommendations in medical imaging
US20240105313A1 (en) Cardiac image workflow interpretation time prediction
Seeram et al. Artificial Intelligence Applications in Medical Imaging
Inamdar Enterprise image management and medical informatics
JP2020187542A (ja) 撮影支援装置
CN102609175A (zh) 使用略图导航器施加序列级操作和比较图像的***和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221226

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230323

R150 Certificate of patent or registration of utility model

Ref document number: 7252122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150