JP2020500378A - ディープラーニング医療システムおよび医療処置のための方法 - Google Patents

ディープラーニング医療システムおよび医療処置のための方法 Download PDF

Info

Publication number
JP2020500378A
JP2020500378A JP2019527370A JP2019527370A JP2020500378A JP 2020500378 A JP2020500378 A JP 2020500378A JP 2019527370 A JP2019527370 A JP 2019527370A JP 2019527370 A JP2019527370 A JP 2019527370A JP 2020500378 A JP2020500378 A JP 2020500378A
Authority
JP
Japan
Prior art keywords
engine
deep learning
image
learning network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019527370A
Other languages
English (en)
Other versions
JP7051849B2 (ja
JPWO2018098077A5 (ja
Inventor
シェイ，ジアン
アヴィナシュ，ゴパル
シロヘイ，サアド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020500378A publication Critical patent/JP2020500378A/ja
Publication of JPWO2018098077A5 publication Critical patent/JPWO2018098077A5/ja
Application granted granted Critical
Publication of JP7051849B2 publication Critical patent/JP7051849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Abstract

撮像システムの動作を監視および改善するための方法および装置が提供される。例示的な装置は、収集エンジンと共に動作して撮像装置構成を生成する第１の展開済みディープラーニングネットワーク（ＤＬＮ）を含む。例示的な装置は、収集画像データに基づいて再構成エンジンと共に動作する第２の展開済みＤＬＮを含む。例示的な装置は、第３の展開済みＤＬＮを有する第１の評価エンジンを含む。評価エンジンは、収集エンジンまたは再構成エンジンの少なくとも一方から出力を受け取り、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方の動作を評価し、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方にフィードバックを提供する。第１の展開済みＤＬＮおよび第２の展開済みＤＬＮは、それぞれ第１および第２の訓練用ＤＬＮから生成および展開される。【選択図】図１５Ａ

Description

本開示は、一般的には改良された医療システムに関し、より詳細には、改良されたディープラーニング医療システムおよび医療処置のための方法に関する。
経済的、技術的、および管理上の様々な障害によって、病院、診療所、医院などのヘルスケア施設は、患者に質の高いケアを提供することが困難となる場合がある。経済的要因、スタッフの技術不足、スタッフの減少、機器の複雑化、医療従事者全体にわたる放射線被曝線量の管理と標準化のための新たな資格により、患者の検査、診断、治療のための撮像および情報システムを効果的に管理して使用することが困難となっている。
システムを実際に導入するのにコストがかかりすぎるヘルスケアプロバイダを統合することで、地理的に分散した病院ネットワークを作成する。同時に、参照する医師は、共同作業をするためのより良いチャネルと共に、レポート内のデータをサポートするために、より直接的なアクセスを欲している。医師は多くの患者を抱え、時間も少なく、大量のデータが氾濫しており、彼らは支援を熱望している。
米国特許出願公開第２０１４／２２１８３２号明細書
特定の例は装置を提供し、装置は、収集エンジンに関連する第１の展開済みディープラーニングネットワークであって、収集エンジンは撮像装置に関連し、第１の展開済みディープラーニングネットワークは、収集エンジンと連動して撮像装置の構成を生成するように構成され、第１の訓練用ディープラーニングネットワークから生成され展開される、第１の展開済みディープラーニングネットワークを含む。例示的な装置はまた、再構成エンジンに関連する第２の展開済みディープラーニングネットワークであって、再構成エンジンは、収集エンジンを介して撮像装置から収集画像データを受け取り、収集画像データから画像を再構成し、第２の展開済みディープラーニングネットワークは、収集画像データに基づいて再構成エンジンと連動し、第２の訓練用ディープラーニングネットワークから生成され展開される、第２の展開済みディープラーニングネットワークを含む。例示的な装置は、第３の展開済みディープラーニングネットワークを有する第１の評価エンジンであって、収集エンジンまたは再構成エンジンの少なくとも一方から出力を受け取り、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方の動作を評価し、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方にフィードバックを提供する第１の評価エンジンをさらに含む。
特定の例は方法を提供し、本方法は、撮像装置に関連する収集エンジンに関連する第１の展開済みディープラーニングネットワークを介して画像収集のための撮像装置の構成を生成するステップであって、第１の展開済みディープラーニングネットワークは第１の訓練用ディープラーニングネットワークから生成され展開される、ステップを含む。例示的な方法は、第２の展開済みディープラーニングネットワークを使用して、収集エンジンを介して撮像装置によって収集された画像データの再構成エンジンによる画像再構成を監視するステップであって、第２の展開済みディープラーニングネットワークは、再構成エンジンに関連付けられ、収集画像データに基づいて再構成エンジンと連動し、第２の訓練用ディープラーニングネットワークから生成され展開される、ステップを含む。例示的な方法は、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方から受け取った出力に基づいて、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方の動作を評価するステップを含む。例示的な方法は、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方にフィードバックを提供するステップを含む。
特定の例は、命令を含むコンピュータ可読媒体を提供する。実行された場合に、例示的な命令は機械に少なくとも、撮像装置に関連する収集エンジンに関連する第１の展開済みディープラーニングネットワークを介して画像収集のための撮像装置の構成を生成させ、第１の展開済みディープラーニングネットワークは第１の訓練用ディープラーニングネットワークから生成され展開される。実行された場合に、例示的な命令は機械に少なくとも、第２の展開済みディープラーニングネットワークを使用して、収集エンジンを介して撮像装置によって収集された画像データの再構成エンジンによる画像再構成を監視させ、第２の展開済みディープラーニングネットワークは、再構成エンジンに関連付けられ、収集画像データに基づいて再構成エンジンと連動し、第２の訓練用ディープラーニングネットワークから生成され展開される。実行された場合に、例示的な命令は機械に少なくとも、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方から受け取った出力に基づいて、収集エンジンまたは再構成エンジン、または診断エンジンのそれぞれ少なくとも１つの動作を評価させる。実行された場合に、例示的な命令は機械に少なくとも、収集エンジンまたは再構成エンジンのそれぞれ少なくとも一方にフィードバックを提供させる。
例示的なディープラーニングニューラルネットワークを示す図である。 畳み込みニューラルネットワークとしての例示的なニューラルネットワークの特定の実施態様を示す図である。 画像解析畳み込みニューラルネットワークの例示的な実施態様を示す図である。 画像を処理および／または評価するためのディープラーニングネットワークを適用するための例示的な構成を示す図である。 複数のディープラーニングネットワークの組み合わせを示す図である。 ディープラーニングネットワークの例示的な訓練および展開段階を示す図である。 ディープラーニング製品を提供するために訓練済みネットワークパッケージを活用する例示的な製品を示す図である。 様々なディープラーニング装置の構成を示す図である。 様々なディープラーニング装置の構成を示す図である。 様々なディープラーニング装置の構成を示す図である。 ディープラーニングネットワークを活用する例示的な学習および改善ファクトリを示す図である。 ディープラーニングネットワークを活用する例示的な学習および改善ファクトリを示す図である。 ディープラーニングネットワークモデルを訓練し展開するための例示的な方法の例示的な流れ図である。 展開済みディープラーニングネットワークモデルベースの装置の動作中にフィードバックを収集して格納し、再展開のためにモデルを再訓練するための例示的なプロセスを示す図である。 １または複数のシステムおよび／または関連ユーザにアプリケーションを提供するためにディープラーニングを利用する、データファクトリ、アプリケーションファクトリ、およびラーニングファクトリを含む例示的なシステムを示す図である。 デジタルファクトリを用いて内部的および外部的に物理的に展開された装置（物理ファクトリ）を含む医療装置エコシステムの概要を示す図である。 デジタルファクトリと対話する例示的な物理的装置およびそのデータフローを示す図である。 デジタルファクトリにおいてデータを処理して活用するための例示的な方法の流れ図である。 データファクトリおよびラーニングファクトリにおいてデータを処理して活用するための例示的な方法に関するさらなる詳細を示す図である。 ディープラーニングによる患者の評価および診断のための例示的なヘルスケアシステムを示す図である。 患者の評価および診断のための例示的な改善されたヘルスケアシステムのさらなる詳細を示す図である。 収集エンジン、再構成エンジン、および診断エンジンがデータ品質評価エンジン、画像品質評価エンジン、および診断評価エンジンを伴う、例示的なシステム実施態様を示す図である。 改善された画像収集、処理、および患者診断のための例示的な方法の流れ図である。 図１５Ａの例示的なシステムの構成要素間を流れる際の例示的なデータフローおよび情報の変換を示す図である。 図１４〜図１５Ｂの例示的なシステムを使用する、画像収集、画像再構成、画像解析、および患者診断のための例示的なヘルスケア解析フレームワークを示す図である。 画像収集のための例示的な方法の流れ図である。 例示的な画像収集構成システムを示す図である。 図２０の画像収集構成装置を訓練し展開するための例示的な方法の流れ図である。 患者に提供される線量の関数としての画像品質指数のグラフである。 画像品質ディープラーニングネットワークのための例示的な学習段階および試験／評価段階を示す図である。 画像品質ディープラーニングネットワークのための例示的な学習段階および試験／評価段階を示す図である。 例示的なディープコンボリューションネットワークのための例示的な学習、検証、および試験段階を示す図である。 例示的なディープコンボリューションネットワークのための例示的な学習、検証、および試験段階を示す図である。 再構成パラメータの初期セットに対する出力品質を決定するために活用される例示的な訓練済みネットワークを示す図である。 展開済みネットワークモデルを使用した画像品質評価およびフィードバックのための例示的なシステムを示す図である。 展開済みネットワークモデルを使用した検出および／または診断評価およびフィードバックのための例示的なシステムを示す図である。 本明細書に開示された技術を用いた実験結果のグラフである。 本明細書に開示された技術を用いた実験結果のグラフである。 本明細書に開示された技術を用いた実験結果のグラフである。 本明細書に開示された技術を用いた実験結果のグラフである。 本明細書に開示された技術を用いた実験結果のグラフである。 画像再構成のための例示的な方法の流れ図である。 画像再構成のための図３１Ａの例示的な方法の特定の実施態様に関するさらなる詳細を示す図である。 図１５Ａのシステム設計エンジンの例示的な実施態様を示す図である。 図３２Ａの複合システムデジタルモデルの例示的な実施態様を示す図である。 システムの健全性、構成、および／または設計を監視し改善するための方法の流れ図である。 システム設計エンジンのディープラーニングネットワークと装置に関連するディープラーニングネットワークとの間のデータフローの例示的な表現を示す図である。 本明細書に開示および説明される構成要素を実現するために例示的な機械可読命令を実行するように構成されたプロセッサプラットフォームのブロック図である。 本明細書に開示される方法、装置、および製品を適用することができる例示的な撮像システムを示す図である。 本明細書に開示される方法、装置、および製品を適用することができる例示的な撮像システムを示す図である。
図面は一定の縮尺ではない。可能な限り、同じまたは同様の部分を指すために、同じ符号を図面および記載された説明全体にわたって使用する。
以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照し、そこでは実施され得る特定の例を例示として示している。これらの例は、当業者が発明の主題を実施することを可能にするために十分に詳細に記載されており、他の例を利用してもよく、論理的、機械的、電気的、および他の変更を本開示の発明の主題の範囲から逸脱することなく行うことができることが理解されよう。したがって、以下の詳細な説明は、例示的な実施態様を説明するために提供され、本開示に記載される発明の主題の範囲を限定するものと解釈するべきではない。以下の説明の異なる態様からの特定の特徴は、以下に記載する発明の主題のさらに別の態様を形成するために組み合わせることができる。
本開示の様々な実施形態の要素を導入する場合に、「１つの（ａ）」、「１つの（ａｎ）」、「前記（ｔｈｅ）」および「前記（ｓａｉｄ）」は１つまたは複数の要素があることを意味するものである。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語は包括的なものであって、列挙した要素以外の追加の要素が存在し得ることを意味するものとする。
特定の例は、医療システムまたはヘルスケアシステムの文脈で以下に説明されるが、他の例は、医療環境の外で実施することができる。例えば、非破壊検査、爆発物検出などの非医用撮像に特定の例を適用することができる。
Ｉ．概要
撮像装置（例えば、ガンマカメラ、陽電子放射断層撮影（ＰＥＴ）スキャナ、コンピュータ断層撮影（ＣＴ）スキャナ、Ｘ線装置、磁気共鳴（ＭＲ）撮像装置、超音波スキャナなど）は、疾患を診断および／または治療するために身体の部分（例えば、臓器、組織など）を表す医用画像（例えば、医用画像におけるネイティブデジタル撮像および通信（ＤＩＣＯＭ））を生成する。医用画像は、医用画像内に取り込まれた身体の部分に関連するボクセルを含む容積測定データを含むことができる。医用画像視覚化ソフトウェアは、医師が医用画像の様々な位置で機能的または解剖学的特徴を分割、注釈付け、測定、および／または報告することを可能にする。いくつかの例では、医師は、医用画像視覚化ソフトウェアを利用して、医用画像との関心領域を識別することができる。
医用画像データの収集、処理、解析、および記憶は、ヘルスケア環境における患者の診断および治療において重要な役割を果たす。医用撮像ワークフローおよびそのワークフローに関与する装置は、医用撮像ワークフローおよび装置の動作中に構成、監視、および更新することができる。医用撮像ワークフローおよび装置の構成、監視、および更新を支援するために、マシンラーニングを使用することができる。
特定の例は、撮像装置の改善を行い、および／または改善を容易にし、診断精度および／または有効範囲を改善する。特定の例は、改善された診断精度を提供するために改善された画像収集および再構成を容易にする。例えば、画像品質（ＩＱ）メトリックおよび自動検証は、ディープラーニングおよび／または他のマシンラーニング技術を使用して容易にすることができる。
マシンラーニング技術は、それがディープラーニングネットワークであろうと他の経験的／観察的学習システムであろうと、例えば、画像内の対象物の位置を特定し、音声を理解し、音声をテキストに変換し、検索エンジン結果の関連性を改善するために使用することができる。ディープラーニングは、一連のアルゴリズムを使用して、線形および非線形変換を含む複数の処理層を有するディープグラフを使用して、データにおける高レベル抽象化をモデル化するマシンラーニングのサブセットである。多くのマシンラーニングシステムは、マシンラーニングネットワークの学習および更新によって変更されるべき初期特徴および／またはネットワーク重みでシード値を設定するが、ディープラーニングネットワークは、それ自体を解析のための「良好な」特徴を識別するように訓練する。多層アーキテクチャを使用すると、ディープラーニング技術を採用する機械は、従来のマシンラーニング技術を使用する機械よりも生データを処理しやすくなる。高度に相関する値または特有のテーマのグループのデータを調べることは、異なる評価または抽象層を使用して容易になる。
本明細書および特許請求の範囲を通して、以下の用語は、文脈上他に明確に指示されない限り、本明細書に明示的に関連する意味をとる。「ディープラーニング」という用語は、複数のデータ処理層を使用してデータセット内の様々な構造を認識し、データセットを高精度で分類するマシンラーニング技術である。ディープラーニングネットワークは、複数の入力および出力に基づいてパターンを学習する訓練用ネットワーク（例えば、訓練用ネットワークモデルまたは装置）とすることができる。ディープラーニングネットワークは、訓練用ネットワークから生成され、入力に応答して出力を提供する展開されたネットワーク（例えば、展開されたネットワークモデルまたは装置）とすることができる。
「教師あり学習」という用語は、機械が人間のソースから既に分類されたデータを提供されるディープラーニング訓練方法である。「教師なし学習」という用語は、機械が既に分類されたデータを与えられていないが、機械を異常検出に有用なものにするディープラーニング訓練方法である。「半教師あり学習」という用語は、機械と利用可能な分類されていない大量のデータとを比較して、人間のソースからの少量の分類データが機械に提供されるディープラーニング訓練方法である。
「表現学習」という用語は、生データをマシンラーニングタスクで利用できる表現または特徴に変換する方法の分野である。教師あり学習では、ラベル付き入力を介して特徴が学習される。
「畳み込みニューラルネットワーク」または「ＣＮＮ」という用語は、データセット内の関連対象物および領域の検出、セグメンテーション、および認識のためにディープラーニングで使用される、相互に関連するデータの生物学から触発されたネットワークである。ＣＮＮは、複数の配列の形で生データを評価し、一連の段階でデータを分割し、学習された特徴のデータを検討する。
「転移学習」という用語は、第１のものと同じまたは同様の性質の別の問題を解決するために、１つの問題を適切にまたは不適切に解決するために使用される情報を記憶する機械のプロセスである。移転学習は「誘導学習」としても知られている。転移学習は、例えば、以前のタスクからのデータを利用することができる。
「アクティブラーニング」という用語は、機械が、外部エンティティによって選択された例を受動的に受け取るのではなく、訓練データを受け取る一連の例を選択するマシンラーニングのプロセスである。例えば、機械が学習するにつれて、機械は、外部の人間の専門家または外部システムのみに依存して例を識別して提供するのではなく、機械が学習に最も役立つと判定する例を機械が選択することができる。
「コンピュータ支援検出」または「コンピュータ支援診断」という用語は、可能な診断を示唆するために医用画像を解析するコンピュータを指す。
ディープラーニング
ディープラーニングは、機械に生データを与え、データ分類に必要な表現を判定することを可能にする表現学習法を用いるマシンラーニング技術の一種である。ディープラーニングは、ディープラーニング機械の内部パラメータ（例えば、ノード重み）を変更するために使用される逆伝搬アルゴリズムを使用してデータセット内の構造を確認する。ディープラーニング機械は、様々な多層アーキテクチャおよびアルゴリズムを利用することができる。例えば、マシンラーニングではネットワークの訓練に使用される特徴の識別が必要であるが、ディープラーニングでは生データを処理し、外部識別なしで関心のある特徴を識別する。
ニューラルネットワーク環境におけるディープラーニングには、ニューロンと呼ばれる多数の相互接続されたノードが含まれる。外部ソースから起動された入力ニューロンは、機械パラメータによって制御される他のニューロンへの接続に基づいて他のニューロンを起動する。ニューラルネットワークは、それ自身のパラメータに基づいて特定の方法で動作する。学習は、ニューラルネットワークが所望の仕方で動作するように、機械パラメータを修正し、および拡張によってネットワーク内のニューロン間の接続を修正する。
畳み込みニューラルネットワークを利用するディープラーニングは、畳み込みフィルタを使用してデータをセグメント化し、データ内で学習された観察可能な特徴を位置特定し識別する。ＣＮＮアーキテクチャの各フィルタまたは層は、入力データを変換してデータの選択性および不変性を向上させる。このデータの抽象化により、機械は、分類しようとしているデータの特徴に集中し、無関係の背景情報を無視することが可能となる。
ディープラーニングは、多くのデータセットに低レベル特徴を含む高レベル特徴が含まれているという理解に基づいて動作する。画像を調べる際に、例えば、対象物を探すのではなく、探している対象物を形成する部分を形成するモチーフを形成するエッジを探す方が効率的である。これらの特徴の階層は、音声およびテキストなどの様々なデータ形式で見ることができる。
学習された観察可能な特徴には、教師あり学習中に機械によって学習された対象物および定量化可能な規則が含まれる。十分に分類されたデータの大きなセットを備えた機械は、新しいデータを成功裏に分類するために特徴を識別し、抽出することに優れている。
転移学習を利用するディープラーニング機械は、データの特徴を人間の専門家が確認したある種の分類に適切につなげることができる。逆に、同じ機械が、人間の専門家による誤った分類を与えられた場合、分類のためのパラメータを更新する可能性がある。例えば、設定および／または他の構成情報は、設定および／または他の構成情報の学習された使用によって導くことができ、システムが（例えば、繰り返しおよび／または複数のユーザによって）より多く使用される場合、所与の状況では、設定および／または他の構成情報に関する多数の変動および／または他の可能性を減らすことができる。
例示的なディープラーニングニューラルネットワークは、例えば、一組の専門に分類されたデータについて訓練することができる。このデータセットはニューラルネットワークの第１のパラメータを構築し、これは教師あり学習の段階となる。教師あり学習の段階の間、所望の行動が実現されたかどうかをニューラルネットワークで試験することができる。
所望のニューラルネットワーク動作が実現されると（例えば、特定のしきい値に従って動作するように機械が訓練されたなど）、機械を使用するために展開することができる（例えば、「リアル」データなどで機械を試験する）。動作中、ニューラルネットワークの分類を、ニューラルネットワークの動作を改善し続けるために（例えば、エキスパートユーザ、エキスパートシステム、参照データベースなどによって）確認または拒否することができる。その場合、例示的ニューラルネットワークは、ニューラルネットワーク動作を決定する分類のためのパラメータが進行中の対話に基づいて更新されるので、転移学習の状態にある。特定の例では、ニューラルネットワークは、別のプロセスに直接フィードバックを提供することができる。特定の例では、ニューラルネットワークは、（例えば、クラウドなどを介して）バッファリングされ、別のプロセスに提供される前に検証されるデータを出力する。
畳み込みニューラルネットワーク（ＣＮＮ）を用いたディープラーニング機械を画像解析のために用いることができる。ＣＮＮ解析の段階は、自然画像、コンピュータ支援診断（ＣＡＤ）などにおける顔認識に使用できる。
高品質の医用画像データは、Ｘ線、コンピュータ断層撮影（ＣＴ）、分子画像およびコンピュータ断層撮影（ＭＩＣＴ）、磁気共鳴画像（ＭＲＩ）などの１つまたは複数の撮像モダリティを使用して収集することができる。医用画像品質は、画像を生成する機械によっては影響を受けないが、患者の影響を受けることが多い。患者がＭＲＩ中に動くことで、例えば、正確な診断を妨げる可能性のあるぼやけた画像またはゆがんだ画像を生成することがある。
医用画像の解釈は、品質に関係なく、まだ発展途上である。医用画像は主に医師によって解釈されるが、これらの解釈は主観的であり、医師の現場での経験および／または疲労の状態によって影響を受けるであろう。マシンラーニングによる画像解析は、医療専門家のワークフローをサポートすることができる。
ディープラーニング機械は、例えば、画像品質および分類に関する画像解析を改善するためのコンピュータ支援検出サポートを提供することができる。しかしながら、ディープラーニング機械を医学分野に適用する場合に直面する問題により、しばしば多数の誤った分類が引き起こされる。ディープラーニング機械は、例えば、小さな訓練データセットを克服し、反復的な調整を必要としなければならない。
最小限の訓練を行ったディープラーニング機械を使用して、例えば、医用画像の品質を判定することができる。半教師ありおよび教師なしのディープラーニング機械を使用して、画像の質的側面を定量的に測定することができる。例えば、画像の品質が診断用として十分であるかどうかを判定するために、画像が収集された後にディープラーニング機械を利用することができる。教師ありディープラーニング機械は、コンピュータ支援診断にも使用することができる。教師あり学習は、例えば、誤分類に対する影響の受けやすさを軽減するのに役立つ。
ディープラーニング機械は、教師あり訓練で利用可能な小さなデータセットの効力を弱めるために医師と対話する場合に、転移学習を利用することができる。これらのディープラーニング機械は、訓練および転移学習を通じて、時間の経過と共にコンピュータ支援診断を改善することができる。
ＩＩ．実施例
ディープラーニングネットワークシステムの例
図１は、例示的なディープラーニングニューラルネットワーク１００を示す図である。例示的なニューラルネットワーク１００は、層１２０、１４０、１６０、１８０を含む。層１２０、１４０は、ニューラル接続部１３０と接続されている。層１４０、１６０は、ニューラル接続部１５０と接続されている。層１６０、１８０は、ニューラル接続部１７０と接続されている。データは、入力１１２、１１４、１１６を介して入力層１２０から出力層１８０および出力１９０に進む。
層１２０は、図１の例では、複数のノード１２２、１２４、１２６を含む入力層である。層１４０、１６０は隠れ層であり、図１の例では、ノード１４２、１４４、１４６、１４８、１６２、１６４、１６６、１６８を含む。ニューラルネットワーク１００は、図示されているよりも多くのまたは少ない隠れ層１４０、１６０を含むことができる。層１８０は、出力層であり、図１Ａの例では、出力１９０を有するノード１８２を含む。各入力１１２〜１１６は、入力層１２０のノード１２２〜１２６に対応し、入力層１２０の各ノード１２２〜１２６は、隠れ層１４０の各ノード１４２〜１４８への接続部１３０を有する。隠れ層１４０の各ノード１４２〜１４８は、隠れ層１６０の各ノード１６２〜１６８への接続部１５０を有する。隠れ層１６０の各ノード１６２〜１６８は、出力層１８０への接続部１７０を有する。出力層１８０は、例示的なニューラルネットワーク１００からの出力を提供する出力１９０を有する。
接続部１３０、１５０、および１７０のうち、特定の例示的な接続部１３２、１５２、１７２に重みを加えることができ、他の例示的な接続部１３４、１５４、１７４はニューラルネットワーク１００内で重み付けを少なくすることができる。入力ノード１２２〜１２６は、例えば、入力１１２〜１１６を介して入力データを受信することによって起動される。隠れ層１４０、１６０のノード１４２〜１４８、１６２〜１６８は、接続部１３０、１５０をそれぞれ介してネットワーク１００を通るデータの順方向の流れによって起動される。隠れ層１４０、１６０で処理されたデータが接続部１７０を介して送信された後、出力層１８０のノード１８２が起動される。出力層１８０の出力ノード１８２が起動される場合、ノード１８２は、ニューラルネットワーク１００の隠れ層１４０、１６０で達成される処理に基づいて適切な値を出力する。
図２は、畳み込みニューラルネットワーク２００としての例示的なニューラルネットワーク１００の特定の実施態様を示す。図２の例に示すように、入力１１０は、入力１１０を処理して第２層１４０に伝搬する第１層１２０に提供される。入力１１０は、第２層１４０でさらに処理され、第３層１６０に伝搬される。第３層１６０は、出力層１８０に提供されるデータを分類する。より具体的には、図２の例に示すように、畳み込み２０４（例えば、５×５畳み込みなど）が第１層１２０において入力１１０（例えば、３２ｘ３２データ入力など）の一部またはウィンドウ（「受容野」とも呼ばれる）２０２に適用され、特徴マップ２０６（例えば、（６ｘ）２８ｘ２８特徴マップなど）を提供する。畳み込み２０４は、入力１１０からの要素を特徴マップ２０６にマッピングする。第１層１２０はまた、縮小された特徴マップ２１０（例えば、（６ｘ）１４ｘ１４特徴マップなど）を生成するためにサブサンプリング（例えば、２ｘ２サブサンプリングなど）を提供する。特徴マップ２１０は、畳み込み２１２を経て、第１層１２０から第２層１４０に伝搬され、そこで特徴マップ２１０は拡張特徴マップ２１４（例えば、（１６ｘ）１０ｘ１０特徴マップなど）となる。第２層１４０におけるサブサンプリング２１６の後、特徴マップ２１４は、縮小された特徴マップ２１８（例えば、（１６ｘ）４ｘ５特徴マップなど）となる。特徴マップ２１８は、畳み込み２２０を経て、第３層１６０に伝搬され、そこで、特徴マップ２１８は、例えば、畳み込み層２２２への接続部２２６を有するＮ個のカテゴリ２２４の出力層を形成する分類層２２２になる。
図３は、画像解析畳み込みニューラルネットワーク３００の例示的な実施態様を示す。畳み込みニューラルネットワーク３００は、入力画像３０２を受け取り、畳み込み層３０４内の画像を抽象化して、学習された特徴３１０〜３２２を識別する。第２の畳み込み層３３０において、画像は、複数の画像３３０〜３３８に変換され、その中で、学習された特徴３１０〜３２２はそれぞれ、各サブ画像３３０〜３３８において強調される。画像３３０〜３３８は、画像３４０〜３４８内の関心特徴３１０〜３２２に焦点を合わせるようにさらに処理される。結果的に得られる画像３４０〜３４８は、次いで、関心特徴３１０〜３２２を含む画像３４０〜３４８の一部３５０〜３５４を分離するために画像３４０〜３４８のサイズを縮小するプール層を通して処理される。畳み込みニューラルネットワーク３００の出力３５０〜３５４は、最後の非出力層から値を受け取り、最後の非出力層から受信したデータに基づいて画像を分類する。特定の例では、畳み込みニューラルネットワーク３００は、畳み込み層、プール層、学習された特徴、および出力などの多くの異なる変形を含むことができる。
図４Ａは、画像を処理および／または評価するためのディープラーニングネットワークを適用するための例示的な構成４００を示す。ディープラーニングは、画像収集、画像再構成、画像解析／診断などの様々なプロセスに適用できる。図４Ａの例示的な構成４００に示すように、生データ４１０（例えば、Ｘ線、コンピュータ断層撮影、超音波、磁気共鳴などの撮像スキャナ、スキャナから収集される超音波生データなどの生データ４１０）は、ディープラーニングネットワーク４２０に供給される。ディープラーニングネットワーク４２０は、データ４１０を処理して、生画像データ４１０を結果画像４３０（例えば、「良質」画像および／または診断に十分な品質を提供する他の画像）に相関付けおよび／または結合する。ディープラーニングネットワーク４２０は、生データ４１０を処理データ４３０に関連付けるためのノードおよび接続部（例えば、経路）を含む。ディープラーニングネットワーク４２０は、例えば、接続部について学習し、フィードバックを処理して接続を確立し、パターンを識別する訓練用ディープラーニングネットワークとすることができる。ディープラーニングネットワーク４２０は、例えば、訓練用ネットワークから生成され、訓練用ネットワーク内で確立された接続部およびパターンを活用して入力生データ４１０を収集し、結果的に得られる画像４３０を生成する、展開済みディープラーニングネットワークとすることができる。
ＤＬＮ４２０が訓練され、生画像データ４１０から良好な画像６３０を生成すると、ネットワーク４２０は、「自己学習」プロセスを継続し、動作するにつれてその性能を改良することができる。例えば、入力データ（生データ）４１０には「冗長性」があり、ネットワーク４２０には冗長性があり、冗長性を利用することができる。
ＤＬＮ４２０内のノードに割り当てられた重みが検査される場合には、非常に低い重みを有する多くの接続部およびノードが存在する可能性が高い。重みが低いことは、これらの接続部およびノードがＤＬＮ４２０の全体性能にほとんど寄与しないことを示す。したがって、これらの接続部およびノードは冗長である。このような冗長性は、入力（生データ）４１０の冗長性を低減するために評価することができる。入力４１０の冗長性を低減することは、例えば、スキャナハードウェアの節約、構成要素への要求の低減、および患者への暴露線量の低減をももたらし得る。
展開において、構成４００は、入力定義４１０、訓練済みネットワーク４２０、および出力定義４３０を含むパッケージ４００を形成する。パッケージ４００は、撮像システム、解析エンジンなどの別のシステムに対して展開して設置することができる。
図４Ｂの例に示すように、ディープラーニングネットワーク４２０は、より大きなラーニングネットワークを形成するために、複数のディープラーニングネットワーク４２１〜４２３と連鎖および／または結合することができる。ネットワーク４２０〜４２３の結合は、例えば、入力に対する応答をさらに改良するために、および／またはネットワーク４２０〜４２３をシステムの様々な態様に割り当てるために使用することができる。
いくつかの例では、動作中、「弱い」接続部およびノードは、最初にゼロに設定することができる。その後、ＤＬＮ４２０は保持プロセスにおいてそのノードを処理する。特定の例では、再訓練中にゼロに設定されたノードおよび接続部は変更することができない。ネットワーク４２０に冗長性が存在する場合、同様に良好な画像が生成される可能性が高い。図４Ｂに示すように、再訓練の後、ＤＬＮ４２０はＤＬＮ４２１になる。また、ＤＬＮ４２１は、弱い接続部およびノードを識別し、それらをゼロに設定するために検査される。このさらなる訓練済みネットワークはＤＬＮ４２２である。例示的なＤＬＮ４２２は、ＤＬＮ４２１内の「０」と、ノードおよび接続部の新しいセットと、を含む。ＤＬＮ４２２は、ＤＬＮ４２３で良好な画像品質に達するまでプロセスを繰り返すことを継続し、これは「最小実行可能ネット（ＭＶＮ）」と呼ばれる。ＤＬＮ４２３がＭＶＮであるのは、ＤＬＮ４２３において追加の接続部またはノードをゼロに設定しようと試みた場合に画像品質が低下する可能性があるからである。
ＭＶＮがＤＬＮ４２３で取得されると、「ゼロ」領域（例えば、グラフ内の暗い不規則領域）が入力４１０にマッピングされる。各暗い領域は、入力空間内の１つまたは１セットのパラメータにマッピングされる可能性が高い。例えば、ゼロ領域の１つは、生データ内のビュー数およびチャネル数にリンクすることができる。これらのパラメータに対応するネットワーク４２３の冗長性は低減することができるので、入力データを低減し、同様に良好な出力を生成することができる可能性が高い。入力データを低減するために、低減されたパラメータに対応する生データの新しいセットが得られ、ＤＬＮ４２１を介して実行される。ネットワーク４２０〜４２３は簡略化されてもされなくてもよいが、生データ入力４１０の「最小実行可能入力（ＭＶＩ）」に達するまで、ＤＬＮ４２０〜４２３の１つまたは複数が処理される。ＭＶＩでは、入力生データ４１０がさらに減少すると、画像４３０の品質が低下する可能性がある。ＭＶＩは、例えば、データ収集の複雑さの低減、システム構成要素への要求の低減、患者へのストレスの軽減（例えば、息止めまたは造影剤の低下）、および／または患者への線量の減少をもたらすことができる。
ＤＬＮ４２０〜４２３内のいくつかの接続部およびノードをゼロに強制することによって、ネットワーク４２０〜４２３は、補償するために「側枝」を構築する。このプロセスでは、ＤＬＮ４２０〜４２３のトポロジへの洞察が得られる。例えば、ＤＬＮ４２１およびＤＬＮ４２２は、いくつかのノードおよび／または接続部が強制的にゼロになるので、異なるトポロジを有することに留意されたい。ネットワークから接続部およびノードを効果的に除去するこのプロセスは、「ディープラーニング」を超えて拡張され、「ディープディープラーニング」と呼ばれることがある。
特定の例では、入力データ処理およびディープラーニング段階は、別々のシステムとして実施することができる。しかし、別々のシステムとして、どちらのモジュールも、関心のある／重要性のある入力パラメータを選択するために、より大きな入力特徴評価ループを意識することはできない。入力データ処理の選択は高品質の出力を生成するために重要であるので、ディープラーニングシステムからのフィードバックを使用して、モデルを介して入力パラメータ選択の最適化または改善を行うことができる。生データ（例えば、ブルートフォースであり高価であり得る）を作成するために入力パラメータのセット全体を走査するのではなく、アクティブラーニングの変形を実施することができる。このアクティブラーニングの変形を使用して、開始パラメータ空間を決定して、モデル内で所望のまたは「最良の」結果を生成することができる。その結果、パラメータ値を無作為に減らして結果の品質を低下させる生の入力を生成し、品質の許容範囲またはしきい値を維持しながら、モデルの品質にほとんど影響を与えない入力を処理することによってランタイムを短縮することができる。
図５は、ディープラーニングネットワークの例示的な訓練および展開段階を示す。図５の例に示すように、訓練段階では、入力５０２のセットが処理のためにネットワーク５０４に提供される。この例では、入力５０２のセットは、識別される画像の顔特徴を含むことができる。ネットワーク５０４は、入力５０２を順方向５０６で処理してデータ要素を関連付け、パターンを識別する。ネットワーク５０４は、入力５０２が犬５０８を表していると判定する。訓練において、ネットワーク結果５０８は、既知の結果５１２と比較される（５１０）。この例では、既知の結果５１２は人間の顔である（例えば、入力データセット５０２は犬の顔ではなく人間の顔を表している）。ネットワーク５０４の決定５０８は既知の結果５１２と一致しない（５１０）ので、誤差５１４が生成される。誤差５１４は、ネットワーク５０４を通る後方パス５１６に沿って逆に、既知の結果５１２および関連データ５０２の解析をトリガする。したがって、訓練用ネットワーク５０４は、ネットワーク４０５を介して、データ５０２、５１２で前方パス５０６および後方パス５１６から学習する。
ネットワーク出力５０８と既知の出力５１２との比較が一定の基準またはしきい値（例えば、ｎ倍に一致、ｘ％より大きい一致など）に従って一致する（５１０）と、訓練用ネットワーク５０４を使用して、外部システムを伴う展開用のネットワークを生成することができる。展開されると、単一入力５２０が展開済みディープラーニングネットワーク５２２に提供され、出力５２４を生成する。この場合、訓練用ネットワーク５０４に基づいて、展開済みネットワーク５２２は、入力５２０が人間の顔５２４の画像であると判定する。
図６は、ディープラーニング製品を提供するために訓練済みネットワークパッケージを活用する例示的な製品を示す。図６の例に示すように、入力６１０（例えば、生データ）が前処理６２０のために提供される。例えば、生の入力データ６１０は、フォーマット、完全性などをチェックするために前処理される（６２０）。データ６１０が前処理されると（６２０）、データのパッチが作成される（６３０）。例えば、データのパッチまたは部分または「チャンク」は、処理のために特定のサイズおよびフォーマットで作成される（６３０）。次いで、パッチは、処理のために訓練済みネットワーク６４０に送られる。学習されたパターン、ノード、および接続部に基づいて、訓練済みネットワーク６４０は、入力パッチに基づいて出力を決定する。出力がアセンブルされる（６５０）（例えば、結合され、および／またはグループ化されて、使用可能な出力などが生成される）。次いで、出力が表示され（６６０）、および／またはユーザに出力される（例えば、人間のユーザ、臨床システム、撮像モダリティ、データ記憶装置（例えば、クラウド記憶装置、ローカル記憶装置、エッジデバイスなど）など）。
上述のように、ディープラーニングネットワークは、訓練、展開、および様々なシステムへの適用のための装置としてパッケージ化することができる。図７Ａ〜図７Ｃは、様々なディープラーニング装置の構成を示す。例えば、図７Ａは一般的なディープラーニング装置７００を示す。例示的な装置７００は、入力定義７１０、ディープラーニングネットワークモデル７２０、および出力定義７３０を含む。入力定義７１０は、１つまたは複数の入力を、ネットワーク７２０を介して１つまたは複数の出力７３０に変換することを含むことができる。
図７Ｂは、例示的な訓練用ディープラーニングネットワーク装置７０１を示す。すなわち、訓練装置７０１は、訓練用ディープラーニングネットワーク装置として構成された装置７００の一例である。図７Ｂの例では、複数の訓練入力７１１がネットワーク７２１に提供され、ネットワーク７２１内で接続部を展開し、出力評価器７３１によって評価される出力を提供する。その場合、フィードバックが、出力評価器７３１によってネットワーク７２１に提供され、ネットワーク７２１をさらに発展させる（例えば、訓練する）。追加入力７１１は、ネットワーク７２１が訓練されていると出力評価器７３１が判定するまで（例えば、出力が特定のしきい値、誤差のマージンなどに従って入力対出力の既知の相関を満たすまで）ネットワーク７２１に提供することができる。
図７Ｃは、展開済みディープラーニングネットワーク装置７０３の一例を示す。訓練装置７０１が必要なレベルまで学習されると、訓練装置７０１を使用のために展開することができる。訓練装置７０１が複数の入力を処理して学習する間に、展開済み装置７０３は、例えば、出力を決定するために単一入力を処理する。図７Ｃの例に示すように、展開済み装置７０３は、入力定義７１３、訓練済みネットワーク７２３、および出力定義７３３を含む。訓練済みネットワーク７２３は、例えば、ネットワーク７２１が十分に訓練されると、ネットワーク７２１から生成することができる。展開済み装置７０３は、例えば、システム入力７１３を受け取り、ネットワーク７２３を介して入力７１３を処理して出力７３３を生成し、展開済み装置７０３が関連付けられたシステムによって使用することができる。
特定の例では、訓練装置７０１および／または展開済み装置７０３は、学習および改善ファクトリに統合されて、ターゲットシステムに出力を提供し、フィードバックを収集し、そしてフィードバックに基づいて更新／再訓練することができる。図８Ａは、訓練用ディープラーニング装置７０１および展開済みディープラーニング装置７０３を含む例示的な学習および改善ファクトリ８００を示す。図８Ａの例に示すように、訓練用ディープラーニング装置７０１はモデル評価器８０２に出力を提供する。モデル評価器８０２は、装置７０１の出力を既知の出力と比較し、および／または出力の正確さ、精度、および／または品質を測定して、訓練装置７０１が展開の準備ができているかどうかを判定する。モデル評価器８０２が装置７０１が適切に訓練されたと決定すると、モデル評価器８０２は訓練済みネットワークのモデルを装置７０１からモデル展開モジュール８０４に提供し、モデル展開モジュールは展開のために訓練済みモデルを準備する。モジュール８０４は、準備されたモデルを展開済みディープラーニング装置ジェネレータ８０６に提供し、展開済みディープラーニング装置７０３を、装置７０１からの訓練済みネットワークのモデルの周囲の入力定義および出力定義のためのフレームワークまたはパッケージでインスタンス化する。
展開済み装置７０３は入力により動作して出力を提供し、フィードバックコレクタ８０８は出力（および入力）を監視し、展開済みディープラーニング装置７０３の動作に基づいてフィードバックを集める。フィードバックは、一定量のフィードバック（例えば、一定量、一定の品質／一貫性、一定の期間など）が収集されるまで、フィードバック記憶装置８１０に格納される。十分なフィードバックが収集されると、再訓練イニシエータ８１２がトリガされる。再訓練イニシエータ８１２は、フィードバック記憶装置８１０からデータを検索し、再訓練データセレクタ８１４と連携して動作して、フィードバック記憶装置８１０からデータを選択し、訓練用ディープラーニング装置７０１に提供する。モデル評価器８０２が訓練用ネットワークモデルが完成したことを満足するまで、訓練装置７０１のネットワークはフィードバックを使用して更新／再訓練される。次に、更新／再訓練されたモデルが準備され、上述のように展開済みディープラーニング装置７０３に展開される。
図８Ｂの例に示すように、学習および改善ファクトリ８００は様々なレベル／階層で実施することができる。例えば、マイクロ学習および改善ファクトリ８０１は、特定の装置、装置機能などに対するサポートをモデル化および／または提供することができる。学習および改善ファクトリ８０３は、例えばシステムまたは設備全体を対象とすることができる。グローバル学習および改善ファクトリ８０５は、出力を提供し、組織、施設などをモデル化することができる。したがって、学習および改善ファクトリ８０１〜８０５は、システムの正確さ、性能、有効性、安全性、効率などを学習し、モデル化し、そして改善するために組織を通して実施することができる。
図８Ｃは、ディープラーニングネットワークモデルを訓練し展開するための例示的な方法８２０の流れ図を示す。ブロック８２２では、ディープラーニングネットワークモデルが訓練される。例えば、複数の入力がネットワークに提供され、出力が生成される。ブロック８２４では、ディープラーニングネットワークモデルが評価される。例えば、ネットワークの出力はそれらの入力に対する既知／基準出力と比較される。ネットワークが接続部を作成して学習するにつれて、ネットワークモデルの精度が向上する。ブロック８２６では、ネットワークが期待される出力を首尾よくモデル化したかどうかを判定するために出力が評価される。ネットワークがそうでない場合には、訓練プロセスがブロック８２２で継続する。ネットワークが出力のモデル化に成功した場合には、ブロック８２８で、ディープラーニングモデルベースの装置が生成される。ブロック８３０では、ディープラーニング装置が展開される。
ブロック８３２では、収集されたフィードバックがしきい値を満たすまで、展開されたディープラーニングモデルベースの装置の動作からのフィードバックが収集され格納される（ブロック８３４）。フィードバックは、入力、展開されたモデル情報、処理前および／または処理後の情報、実際のおよび／または修正された出力などを含むことができる。フィードバック収集しきい値が満たされると、ブロック８３６において、モデルの再訓練が開始される。ブロック８３８では、収集されたフィードバックからのデータ（および／または他の入力データ）が、ディープラーニングモデルを再訓練するために選択される。データ選択は、モデル訓練などのためにデータを適切にフォーマットするための前処理および／または後処理を含むことができる。次に制御はブロック８２２に進み、ディープラーニングネットワークモデルを（再）訓練する。
図８Ｄは、展開済みディープラーニングネットワークモデルベースの装置の動作中にフィードバックを収集して格納し（８４０）、再展開のためにモデルを再訓練するための例示的なプロセスを繰り返す。フィードバックは、入力、展開されたモデル情報、処理前および／または処理後の情報、実際のおよび／または修正された出力などを含むことができる。ブロック８４２では、収集されたフィードバックが収集／フィードバックしきい値（例えば、フィードバック量、フィードバックの頻度、フィードバックの種類、フィードバックのために経過した時間量など）を満たすかどうかを判定するために収集されたフィードバックが見直される。しきい値が満たされない場合には、フィードバックの収集および格納がブロック８４０で継続する。しかしながら、しきい値が満たされると、ブロック８４４において、モデルの再訓練が開始される。
ブロック８４６では、ディープラーニングネットワークモデルを再訓練するためにデータが選択される。データは収集されたフィードバックを含み、例えばモデルへの元の入力データおよび／または他の参照データを含む他のデータも含むことができる。したがって、モデルは、フィードバックデータだけではなく、例えば、ディープラーニングモデルに供給される新旧のデータの混合について再訓練することができる。データ選択は、モデル訓練などのためにデータを適切にフォーマットするための前処理および／または後処理を含むことができる。
ブロック８４８では、ディープラーニングネットワークモデルが（再）訓練される。すなわち、データは、ネットワークモデルを修正して出力を生成するための入力として提供される。ブロック８５０では、ネットワークモデルが（再）訓練されたかどうかを判定するために出力が評価される。ブロック８５２では、ネットワークが予想される出力をモデル化していない場合には、制御はブロック８４８に戻り、入力および出力評価を用いてモデル訓練を続ける。（再）訓練済みネットワークが予想される出力を（例えば、ある一定のしきい値時間などにわたって）首尾よくモデル化した場合には、次にブロック８５４で、ディープラーニングモデルベースの装置が生成される。ブロック８５６では、ディープラーニング装置が展開される。したがって、モデルは訓練されたおよび／または再訓練された状態で開始され、展開されたネットワークモデルベースの装置を生成するために使用することができる。展開済み装置は動作中に修正されないが、訓練モデルは、例えば展開済みネットワークモデルを交換／再展開するために更新および／またはその他の方法で修正および定期的に使用することができる。
図９は、１または複数のシステムおよび／または関連ユーザにアプリケーションを提供するためにディープラーニングを利用する、データファクトリ９０２、アプリケーションファクトリ９１６、およびラーニングファクトリ９２４を含む例示的なシステムを示す。図９の例では、データファクトリ９０２は、１つまたは複数のデータスキーマ９０４、キュレーションツール９０６、バルクデータ取り込み部９０８、データ選択／フィルタ９１０、連続データ取り込み部９１２、およびデータカタログ／レイク９１４を含む。例示的なデータファクトリ９０２は、データ９０８、９１２を取り込み、データ９１０を選択／フィルタリングし、特定のスキーマ９０４に従ってデータをフォーマットするためにデータを処理することができる。データは、１つまたは複数のキュレーションツール９０６に従って編成され、アプリケーションファクトリ９１６および／またはラーニングファクトリ９２４に利用可能となるようにデータカタログ／レイク９１４に格納することができる。アプリケーションファクトリ９１６は、システムおよび／または関連するユーザがアプリケーションサービス９２０および／またはパイプラインカタログ９２２を介して利用可能なアプリケーションを閲覧および／またはアクセスすることを可能にするビューア９１８を含む。
図９の例では、ラーニングファクトリ９２４は、例えばアプリケーションファクトリ９１６および／または他の外部システムに利用可能な１つまたは複数のネットワークモデル（例えば、ディープラーニングベースのネットワークモデル、マシンラーニングベースのネットワークマシンなど）を含むモデルカタログ９２６を含む。ラーニングファクトリ９２４はまた、モデルカタログ９２６内のモデルを形成するおよび／またはモデルによって活用されるデータを含むデータサイエンス９２８を含む。例示的なデータサイエンス９２８は、アーキテクチャカタログ９３０、データ準備９３２、結果／報告９３４、訓練および検証９３６、ならびに試験９３８を含み、データを編成および前処理し、ラーニングネットワークを訓練および検証し、結果を報告し、結果を試験するなどする。訓練され検証されたネットワークは、例えばモデルカタログ９２６を介して１つまたは複数のアプリケーションでの展開に利用可能となる。
図１０は、デジタルファクトリ１００６を用いて内部的に（１００２）および外部的に（１００４）物理的に展開された装置（物理ファクトリ）を含む医療装置エコシステム１０００の概要を示す。図１０の例に示すように、デジタルファクトリ１００６は、データファクトリ９０２、データカタログ９１４、ラーニングファクトリ９２４、ディープラーニングネットワークベースのモデルカタログ９２６などを含む。デジタルファクトリ１００６は、１つまたは複数のデジタルモデル１００８（例えば、ディープラーニングネットワークモデル、マシンラーニングモデルなど）を提供し、かつ／またはそれと対話する。デジタルファクトリ１００６は、内部的に（１００２）展開された（例えば、装置１０１０、１０１２）および外部的に（１００４）展開された（例えば、装置１０１４、１０１６）複数の装置１０１０〜１０１６を含む物理ファクトリと対話する。装置１０１０〜１０１６はデジタルファクトリ１００６に接続され、データをデジタルファクトリ１００６にアップロードし、カタログ９２６からモデルを購読し、モデルを更新するなどすることができる。例えば、内部展開１００２の装置１０１０、１０１２は、デジタルファクトリ１００６を用いた試験および改良の目的で使用することができ、一方、外部展開１００４の装置１０１４、１０１６は、例えば意思決定および／または他の実行において装置１０１４、１０１６を支援する展開されたモデルにより「ライブ」である。
図１１は、デジタルファクトリ１００６と対話する物理装置１０１０の例示的構成１１００およびそのデータフローを示し、これは、データファクトリ９０２およびそのデータカタログ９１４、データキュレーション９０６、ならびにラーニングファクトリ９２４およびそのモデルカタログ９２６、ならびにそのアプリケーションパイプラインカタログ９２２を有するアプリケーションファクトリ９１６などを含むことができる。図１１の例に示すように、物理装置１０１０（例えば、撮像スキャナ）は、患者１１０８の画像データを収集するために、装置コントローラ１１０２、検出器１１０４、および線源１１０６を含む。スキャナ装置１０１０は、画像収集１１１４においてスキャンコンテキスト１１１０およびスキャナデータ１１１２を提供する。収集エンジン１１１４はデジタルファクトリ１００６と対話して画像データの収集などをモデル化する。収集画像データは再構成１１１６に供給され、再構成エンジン１１１６はまた、収集画像データの再構成のためのモデルベースのリソースについてデジタルファクトリ１００６と対話する。再構成された画像は、例えばデジタルファクトリ１００６から提供されたアプリケーションと併せて閲覧１１１８のために提供される。例えば、（例えば、モデルおよび／またはデジタルファクトリ１００６からの他のアプリケーションなどに基づいて）１つまたは複数のアプリケーションおよび／または測定値１１２０を再構成画像に適用することができる。処理された画像および／または他のデータは、デジタルファクトリ１００６からのアプリケーション、データ、およびモデルを活用して臨床ワークフロー１１２２の改善されたおよび／または自動化された実行を促進する１つまたは複数の臨床ワークフロー１１２２で活用することができる。ワークフローの結果を解析および意思決定支援１１２４に提供して、例えばデジタルファクトリ１００６と共に、結論、推奨、次の行動、モデルの改良などを推進することができる。
図１２は、データファクトリ９０２およびラーニングファクトリ９２４内のデータを処理して活用するための例示的な方法１２００の流れ図である。ブロック１２０２では、データが（例えば、バルク取り込み部９０８および／または連続取り込み部９１２などによって）取り込まれる。ブロック１２０４では、取り込まれたデータがキュレーションされる。例えば、１つまたは複数のデータ分類、処理、および／または他のキュレーションツール９０６を適用して、取り込まれたデータを編成することができる。ブロック１２０６では、キュレーションされたデータが処理され、学習に使用される。例えば、キュレーションされたデータを解析し、ディープラーニングネットワークを訓練することなどに使用することができる。ブロック１２０８では、処理されたデータから生成され、学習に基づいた出力がパッケージ化され展開される。例えば、１つまたは複数の訓練済みディープラーニングネットワークをモデルカタログ９２６にカタログ化し、展開に利用可能とすることができる。
図１３は、データファクトリ９０２およびラーニングファクトリ９２４内のデータを処理して活用するための例示的な方法１２００に関するさらなる詳細を示す。図１３の例に示すように、データ取り込み部１２０２は、画像保管通信システム（ＰＡＣＳ）、ベンダ中立アーカイブ（ＶＮＡ）、企業アーカイブ（ＥＡ）、撮像スキャナなどの１つまたは複数のオンプレミスデータソース１３０２からデータを抽出することを含む。取り込まれたデータは収集され、データカタログ／レイク１３０６に格納される（１３０４）。ブロック１３０８では、画像および／または他のデータビューア１３１０を介して閲覧１３１０のためにデータを選択および／または取り出す。
図１３はまた、データキュレーション／編成１２０４に関するさらなる詳細を提供する。ブロック１３１２では、選択され／取り出されたデータは、アプリケーションおよび／または他の要求に対する正しいデータであるかどうかを判定するために解析される。そうでなければ、制御はブロック１３０８に戻り、異なるデータを選択し／取り出す。正しいデータが選択されている場合には、次にブロック１３１４で、データがキュレーションされているかどうかを判定するためにデータが精査される。データがキュレーションされていない場合、ブロック１３１６で、データキュレーションが行われる。例えば、データキュレーションは、データの正確なラベリング、編集可能なバウンディングボックスを用いた関心領域（ＲＯＩ）の識別、メタデータ情報の追加、不適切な事前キュレーション情報の修正など、および新しいデータセットとして保存することを含む。キュレーションされたデータはデータカタログ１３０６に戻される。ブロック１３１４でデータがキュレーションされている場合には、制御はブロック１２０６のデータ処理に移行する。
図１３により詳細に示すように、データ処理１２０６は、１つまたは複数のデータ準備ツール１３２０を使用してデータ１３１８を準備することを含む。データは、ディープラーニングネットワークモデルおよび／または他のマシンラーニングモデルなどの開発など、人工知能（ＡＩ）の開発のために準備される（ブロック１３２２）。データ準備１３１８（例えば、訓練、検証、試験など）は、データパッチの作成およびラベリング、画像処理（例えば、クロップ、スカッシュなど）、より多くの訓練サンプルを生成するためのデータ増強、学習ネットワークモデルを提供するための三次元画像処理、データベースの作成および保存（例：ＪＳＯＮおよび／またはその他の形式）、パッチ画像データ記憶装置（例えば、．ｐｎｇ、．ｊｐｅｇなど）などを含む。いくつかの例では、最終パッチ画像データデータセットは、データカタログ／レイク１３０６に格納される。
ブロック１３２４では、ＡＩ方法論（例えば、ディープラーニングネットワークモデルおよび／または他のマシンラーニングモデルなど）が、例えば、利用可能なモデルのＡＩカタログ１３２６から選択される。例えば、ディープラーニングモデルをインポートすることができ、モデルを修正することができ、転移学習を容易にすることができ、活性化機能を選択および／または修正することができ、マシンラーニングの選択および／または改善を行うことができ（例えば、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト（ＲＦ）など）、最適化アルゴリズム（例えば、確率的勾配降下法（ＳＧＤ）、ＡｄａＧなど）を選択および／または修正することなどができる。ＡＩカタログ１３２６は、古き良き人工知能（ＧＯＦＡＩ）（例えばエキスパートシステムなど）、マシンラーニング（ＭＬ）（例えばＳＶＭ、ＲＦなど）、ディープラーニング（ＤＬ）（例えば、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、長期短期記憶（ＬＳＴＭ）、生成敵対ネットワーク（ＧＡＮ）など）、パラダイム（例えば、教師付き、教師なし、強化など）などの１つまたは複数のＡＩモデルを含むことができる。
ブロック１３２８では、（例えば、活性化機能、重み、バイアス、ハイパーパラメータなどを使用して）モデル開発が初期化され、ブロック１３３０では、（例えば上述のように）モデルの訓練が行われる。特定の例では、訓練１３３０は、ハイパーパラメータ設定、ハイパーパラメータ検索、訓練／検証セット精度グラフ、曲線下面積（ＡＵＣ）グラフ、断続的なモデルの生成および保存、訓練の早期または手動による停止などを含む訓練および検証を含む反復プロセスである。ブロック１３３２では、ＡＩモデルの精度が評価され、その精度が許容できるかどうかが判定される。精度が許容できない場合には、追加のデータ準備およびその後の開発のために、制御はブロック１３１８に戻る。精度が許容可能である場合には、次にブロック１３３４で、ＡＩモデルが試験のために解放される（例えば、追加の入力を提供し、出力を評価するなど）。ブロック１３３６では、試験の結果が報告される。例えば、実験パラメータおよび結果の連続記録を提供することができる。
図１３はまた、パッケージングおよび展開１２０８に関するさらなる例示的な詳細を提供する。ブロック１３３８では、試験されたモデルの精度が許容できない場合には、制御はデータ準備のためにブロック１３１８に戻る。試験されたモデルの精度が許容可能である場合には、ブロック１３４０で、モデルは訓練済みモデルのカタログに追加される。ブロック１３４２では、訓練済みモデルのカタログ内の１つまたは複数のモデルがパッケージ化され、ブロック１３４４では、パッケージが（例えば、ターゲットサイト、ターゲットシステムなどに）展開される。
詳細なおよび／または他のマシンラーニングおよび関連する方法を利用する改善されたヘルスケアシステムの例
図１４は、患者の評価および診断のための例示的なヘルスケアシステム１４００を示す。例示的なシステム１４００は、ユーザ１４０４（例えば、医師、看護師、技師、および／または他のヘルスケア開業医など）および患者１４０６などの人間１４０２と対話するための撮像装置１４１０、情報サブシステム１４２０、収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０を含む。ヘルスケアシステム１４００の構成要素は、ハードコードされた構成、ファームウェア構成、メモリと共にソフトウェア命令などを実行する１つまたは複数のプロセッサを使用して実装することができる。例えば、システム１４００の１つまたは複数の構成要素は、ハードウェアおよび／またはソフトウェアコード、ルーチン、モジュール、または本明細書の他の箇所に記載の方法の様々な要素の性能を含む、現在説明されている機能を実行するように適合された命令の組み合わせを含むプロセッサベースのシステムを含むことができる。そのようなソフトウェアルーチンは、製造（例えば、コンパクトディスク、ハードドライブ、フラッシュメモリ、ユニバーサルシリアルバス（ＵＳＢ）ベースのドライブ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）など）において具体化され、本明細書に記載の機能を実行するためにプロセッサによって実行されるように構成することができることに留意されたい。
例示的なシステム１４００を使用して、患者１４０４は、情報サブシステム１４２０および／または収集エンジン１４３０からの設定に基づいて、撮像システム１４１０（例えば、ＣＴ、Ｘ線、ＭＲ、ＰＥＴ、超音波、ＭＩＣＴ、単一光子放出型コンピュータ断層撮影（ＳＰＥＣＴ）、デジタルトモシンセシスなど）によって検査することができる。設定は、ＣＮＮ、ＲＮＮなどの展開済みディープラーニングネットワークモデル／装置によって指示されおよび／または影響され得る。検査理由、患者の識別、患者の状況、集団健康情報などの情報に基づいて、撮像装置１４１０の設定は、収集エンジン１４３０による患者１４０６に関する画像収集のために、単独でまたは情報サブシステム１４２０（例えば、画像保管通信システム（ＰＡＣＳ）、病院情報システム（ＨＩＳ）、放射線学情報システム（ＲＩＳ）、検査室情報システム（ＬＩＳ）、心血管情報システム（ＣＶＩＳ）など）と組み合わせて構成することができる。情報サブシステム１４２０および／または収集エンジン１４３０からの情報、ならびに撮像装置１４１０からのフィードバックは、例えば画像収集のために将来の設定、推奨事項などを修正するために、収集されて訓練用ディープラーニングネットワークモデルに提供することができる。定期的におよび／または特定の基準を満足すると、訓練用ディープラーニングネットワークモデルは、フィードバックを処理し、システム１４００に関して展開のための更新済みモデルを生成することができる。
単独で、または追加の患者の病歴、患者の状況、集団健康情報、検査の理由などと併せて、撮像装置１４１０から収集されたまたは生の画像データが再構成エンジン１４４０に提供され、そのデータを処理して結果の画像を生成する。再構成エンジン１４４０は、情報および収集画像データを使用して、患者１４０６の１つまたは複数の二次元（２Ｄ）および／または三次元（３Ｄ）画像を再構成する。再構成の方法、再構成エンジン１４４０の設定などは、ＣＮＮ、ＲＮＮなどのディープラーニングネットワークによって設定され、および／または影響され得る。例えば、スライス厚、画像品質などは、ディープラーニングネットワークを使用して決定および修正することができる。
特定の例では、生画像データは再構成エンジン１４４０によって前処理することができる。前処理は、強度補正、類似化、フィルタリングなどの１つまたは複数のサブプロセスを含むことができる。特定の例では、画像データ中の解剖学的マーカーが検出されてもよく、画像グリッドが作成されてもよい。解剖学的マーカーおよび画像グリッドに基づいて、再構成エンジンは画像データを位置合わせすることができる（例えば、基準座標系などに従って）。位置合わせ後、画像データ内の関心のある特徴を抽出することができる。
特定の例では、生画像データにおいて関心のある特定の特徴は、関心のある特定の疾患または状態に応じて変わり得る。例えば、神経学的状態の診断において、診断を容易にするために脳画像データの特定の特徴を抽出することは有用であり得る。さらに、いくつかの例では、患者または１人または複数の参照個人の大脳皮質の厚さを決定することが望ましい場合がある。
特定の例は、撮像装置１４１０および収集エンジン１４３０によって収集された生データを処理し、その生画像データを再構成エンジン１４４０に提供して、ａ）診断決定支援エンジン１４５０に提供される機械可読画像、およびｂ）ユーザ診断のために表示される人間が見ることのできる画像の一方または両方を生成する。
例えば、画像再構成は主に人間の消費のために実行されるが、再構成前データは、データが人間に見えるように再構成されたかどうかを気にしない機械によって使用されることができる。したがって、再構成前データは、人間の消費用と機械の消費用とで異なる方法で処理することができる。機械可読画像データは、例えば、所与の疾患の指標に従って再構成エンジン１４４０によって処理することができ、その結果、再構成エンジン１４４０および／または診断エンジン１４５０は、（例えば、生画像データの収集状態で）再構成を実行することなく疾患を示すパターンを識別することができる。したがって、いくつかの例では、再構成エンジン１４４０は、臨床診断を行うために診断エンジン１４５０と対話するためにユーザ１４０４に頼るのではなく、診断エンジン１４５０で診断を実行することができる。
再構成エンジン１４４０から出力された画像は、次いで診断エンジン１４５０に提供することができる。診断エンジン１４５０は、再構成エンジン１４４０から画像データおよび／または情報サブシステム１４２０から非画像データを取り出し、そのデータ（例えば、静的データ、動的データ、経時的データなど）を処理して、患者１４０６に関して診断を決定する（および／またはユーザ１４０４による診断を容易にする）ことができる。診断エンジン１４５０に提供されるデータはまた、１つまたは複数の患者モニタ、例えば、脳波記録（ＥＥＧ）装置、心電図記録（ＥＣＧまたはＥＫＧ）装置、筋電図記録（ＥＭＧ）装置、電気インピーダンス断層撮影（ＥＩＴ）装置、電子筋電図記録（ＥＮＧ）装置、神経伝導データを収集するのに適した装置、および／またはこれらの装置の何らかの組み合わせなど、からのデータを含むことができる。
いくつかの例では、診断エンジン１４５０は、１つまたは複数の疾患タイプまたは疾患重症度レベルに関して患者１４０６の診断を容易にするために画像データからの１つまたは複数の関心のある特徴を処理する。画像データは、撮像装置１４１０、情報サブシステム１４２０、他の装置、他のデータベースなどの様々なソースから取得することができる。さらに、そのような画像データは、患者１４０６などの特定の患者、または母集団サンプルの１つまたは複数の参照個人に関連し得る。画像データは、例えば再構成エンジン１４４０および／または診断エンジン１４５０によって処理されて、画像から関心のある特徴を登録および抽出することができる。
次いで、情報を診断エンジン１４５０からユーザ１４０４、情報サブシステム１４２０、および／またはさらなる記憶、送信、解析、処理などのための他のシステムに出力することができる。情報は、例えば、英数字データフォーマットで表示され、さらなる解析および検討のために（例えば、メトリック解析、偏差メトリック、履歴参照比較などに基づいて）表にすることができる。その代わりにまたはそれに加えて、データは、例えば単独でまたは基準データに関して取られた、ヒートマップ、偏差マップ、表面マトリックスなどによる解析のために全体的に提示することができる。本譲受人によって共通に所有されている米国特許第９，２７１，６５１号、第８，９３４，６８５号、第８，４３０，８１６号、第８，０９９，２９９号、および第８，０１０，３８１号は、全体論的解析の例に関するさらなる開示を提供している。
患者のユーザ診断のための意思決定支援ツールも提供しながら、様々な患者の病気の種類および／または患者の状態、ならびに関連する重症度レベルに関して患者の診断を提供することができる。例えば、患者の臨床画像および非画像情報を全体的、直感的、かつ一様な方法で一緒に視覚化することができ、これによりユーザ１４０４による効率的な診断が容易になる。別の例では、既知の脳障害の患者の皮質偏差マップおよび参照皮質偏差マップは、追加の患者および参照偏差マップの計算、ならびにそのようなマップと他の臨床試験との組み合わせと共に視覚化され、脳障害の定量的評価および診断を可能にする。
診断を下すことは非常に特殊な仕事であり、そして高度に訓練された医用画像専門家でさえも画像の主観的評価を行う。この固有の主観性のために、診断は矛盾し、標準化されていない可能性がある。診断エンジン１４５０は、ＣＮＮ、ＲＮＮなどのディープラーニングネットワークを使用して、診断の一貫性、標準化、および正確さを改善するのを助けることができる。非画像データなどの追加のデータは、診断エンジン１４５０によってディープラーニングネットワークに含めることができ、患者の診断に対する総合的なアプローチを提供する。
特定の例では、システム１４００の構成要素は、インターネット、電話ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ケーブルネットワーク、および／または無線ネットワークなどの、ただしこれらに限定されない、任意のタイプの公衆または私設ネットワークを介して情報をやり取りすることができる。ネットワークを介した通信を可能にするために、システム１４００の１つまたは複数の構成要素は、イーサネット（登録商標）、デジタル加入者線（ＤＳＬ）、電話線、同軸ケーブル、または任意の無線接続などへの接続を可能にする通信インターフェースを含む。
特定の例では、情報サブシステム１４２０はローカルアーカイブおよびリモートシステムを含む。リモートシステムは、定期的におよび／またはトリガ時にネットワークを介してローカルアーカイブを受信する。リモートシステムは、遠隔医療画像アーカイブのデータベースを生成するために、様々なコンピューティングデバイスからローカルアーカイブ（例えば、情報サブシステム１４２０、再構成エンジン１４４０、診断エンジン１４５０などからのローカルアーカイブを含む）を収集することができる。いくつかの例では、リモートシステムは、様々な臨床現場からのアーカイブに基づいて大規模データ解析を開発するために情報を解析、相関、および／または処理するためのマシンラーニングアルゴリズムを含む。例えば、複数の画像をリモートシステムによって収集して、展開されるニューラルネットワークを訓練し試験して、画像内の関心領域を自動的に検出することができる（例えば、自動輪郭など）。
図１５は、患者の評価および診断のための例示的な改善されたヘルスケアシステム１５００のさらなる詳細を示す。図１５の例では、撮像装置１４１０、情報システム１４２０、収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０は、複数のディープラーニングネットワーク１５２２、１５３２、１５４２、システム健全性モジュール１５５０、およびシステム設計エンジン１５６０で構成されている。
図１５Ａの例に示すように、収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０の各々は、フィードバック評価および訓練のために関連する学習および改善ファクトリ１５２０、１５３０、１５４０と通信し、また、展開済みディープラーニング装置１５２２、１５３２、１５４２（例えば、ＣＮＮ、ＲＮＮ、他のディープニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、他のマシンラーニングなど）をそれぞれ含み、パラメータの選択、設定、データ処理、結果の決定などに役立つ。図１５Ａの例では、装置１５２２、１５３２、１５４２はエンジン１４３０、１４４０、１４５０に関して示されているが、装置１５２２〜１５４２は、例えば、図８Ａに関して上述したようにファクトリ１５２０〜１５４０に組み込むことができる。学習および改善ファクトリ１５２０、１５３０、１５４０は、例えば、展開されたディープラーニング装置１５２２、１５３２、１５４２を学習、フィードバック、および更新するプロセスを実施する。エンジン１４３０、１４４０、１４５０は、処理されるファクトリ１５２０〜１５４０のうちの１つまたは複数にフィードバックを提供し、設定の調整、出力の調整、入力の要求などのために更新されたモデルを訓練する。定期的におよび／または別の方法でしきい値に達したとき、基準を満たすときなどに、ファクトリ１５２０、１５３０、１５４０は、例えば、装置１５２２、１５３２、１５４２のためのディープラーニングネットワークモデルを置換および／または再展開することができる。
展開済みディープラーニングネットワーク（ＤＬＮ）装置１５２２、１５３２、１５４２および関連するファクトリ１５２０、１５３０、１５４０は、上述のネットワーク１００、２００、３００の例と同様に、ディープラーニング畳み込みニューラルネットワークなどのネットワークを実装するように特に構成されたプロセッサおよびメモリを使用して実装することができる。各ファクトリ１５２０、１５３０、１５４０は、ネットワーク１５２０、１５３０、１５４０の意図された目的に関連する既知の入力および出力を確立することによって教示することができる。例えば、収集学習および改善ファクトリ１５２０は、患者情報、検査理由、撮像装置１４１０のデータなどに基づいて、収集エンジン１４３０が撮像装置１４１０に提供するための画像収集設定を改善することを任されている。再構成学習および改善ファクトリ１５３０は、例えば、収集画像データ、撮像装置１４１０の設定、および履歴データに基づいて画像品質および再構成フィードバックを決定することを任されている。診断学習および改善ファクトリ１５４０は、例えば、患者情報、画像再構成情報および解析、ならびに臨床知識ベースに基づいて患者診断を支援することを任されている。
各ファクトリ１５２０、１５３０、１５４０について、訓練、検証、および試験のためにデータセットが確立される。ファクトリ１５２０、１５３０、１５４０およびそれに含まれる訓練用ネットワークモデルを訓練および検証するための学習部分は、例えば、利用可能なデータの検証および試験の部分の倍数である。ファクトリ１５２０、１５３０、１５４０は複数の方法で初期化することができる。例えば、それぞれのファクトリ１５２０、１５３０、１５４０に関連する構成要素１４３０、１４４０、１４５０に関する事前知識が存在しない場合には、ファクトリ１５２０、１５３０、１５４０の訓練用ディープラーニングネットワークは、ネットワークの最終分類器層を除くすべての層に対して乱数を使用して初期化することができ、それはゼロに初期化することができる。事前知識が存在する場合には、ファクトリ１５２０、１５３０、１５４０のネットワーク層は、以前に学習した値をネットワーク内のノードに転送することによって初期化することができる。あるいは、事前知識が存在しなくても、ネットワーク層は、スタック型オートエンコーダ技術を使用して初期化することができる。
特定の例では、ファクトリ１５２０、１５３０、および／または１５４０への、ならびに／あるいはファクトリ１５２０、１５３０、および／または１５４０からのフィードバックは、入力データ、実際の出力、および望ましい出力を含む記憶装置に取り込まれる（例えば、クラウドベースの記憶などに格納および／またはバッファされる）。十分な量のフィードバックが受信されると、対応するファクトリ１５２０、１５３０、１５４０の訓練用ＤＬＮは、受信したフィードバックデータの量に応じて（例えば、元のフィードバックデータと追加のフィードバックデータなどに基づいて）増分的に再訓練されるか、または追加のフィードバックデータを使用して新たに訓練される。（再）訓練されると、ファクトリ１５２０〜１５４０からのネットワークモデルは、ディープラーニング装置１５２２〜１５４２のために展開済みネットワークモデルを生成および／または再展開するために使用することができる。
特定の例では、オートエンコーダ技術は、人工ニューラルネットワークなどにおいて、効率的なコーディングの教師なし学習を提供する。オートエンコーダ技術を使用して、表現または符号化を一組のデータについて学習することができる。自動符号化は、データを処理して層（隠れ層を含む）および層間の接続部を構築してニューラルネットワークを形成するために、エンコーダおよびデコーダを使用してデータのモデルおよび／または他の次元縮小を学習するために使用することができる。
例えば、オートエンコーダは、入力層、隠れ層、および出力層を含む３層ニューラルネットワークを使用して実装することができる。この例では、入力層および出力層は同数のノードまたはユニットを含むが、すべての隠れ層ノードが入力層内のすべてのノードに接続されているわけではない。むしろ、隠れ層内の各ノードは、入力層の局所領域内の入力ノードに接続されている。図３の例と同様に、オートエンコーダネットワークは、例えば、低減された数のパラメータで局所パターンおよび／または特徴を検出するために画像の部分をモデル化することができる。オートエンコーダの例は、２つの構成要素を含むことができる。すなわち、１）入力ｘを隠れ層表現ｈ＝ｆ（ｘ）にマッピングするエンコーダ関数ｆ、および２）ｈを出力レイヤの再構成ｘにマッピングするデコーダ関数ｇである。重みおよびバイアスを使用して、オートエンコーダを使用して、隠れ層ｈを通る入力ｘの新しい表現を生成することができる。
確率的勾配降下法（ＳＧＤ）を使用して学習データセットからランダムに選択されたデータの所定のセット（例えば、小さいセット）を含むバッチ（例えば、ミニバッチなど）において、誤差の逆伝搬または後方伝搬を使用して、オートエンコーダネットワークにおける正則化（例えば、ドロップアウト、非線形性の前のミニバッチのバッチ正規化など）による過剰訓練を防止するようにしつつ、所定のコスト関数を最小化または他の方法で低減させることができる。訓練データセット全体ではなくミニバッチを使用すると、解析はより早く収束するはずである。初期量の訓練データを活用してファクトリ１５２０、１５３０、１５４０のＤＬＮ（例えば、検証データの倍数など）を訓練した後、訓練中の後続のデータのバッチごとに、検証が実行され、検証誤差が監視される。例えば、最良の検証誤差を有する学習パラメータは、将来の訓練を改善するためのプロセスを通して追跡され蓄積される。最小誤差を提供するパラメータ（例えば、ハイパーパラメータ）が検証後に選択される。さらに、検証誤差が所定の反復回数の後に改善されない場合には、学習反復を停止することができる。検証誤差が改善された場合には、検証誤差が安定するまで反復を続けることができる。次に、例えば、ファクトリ１５２０、１５３０、１５４０のＤＬＮに対してパラメータを選択することができる。
ハイパーパラメータは、ファクトリ１５２０、１５３０、１５４０において調整されるべき変数を表す。いくつかの例では、ハイパーパラメータは、その学習アルゴリズムをニューラルネットワークに適用する前に特定の学習アルゴリズムに対して選択される。ハイパーパラメータは、例えば、手動で固定することができ、および／またはアルゴリズムによって決定することができる。いくつかの例では、ハイパーパラメータ値を選択するために使用されるデータ（例えば、訓練データ）は、ファクトリ１５２０、１５３０、１５４０のＤＬＮを試験するために使用することができない。したがって、例えばハイパーデータパラメータ値が訓練データを使用して決定されると、別個の試験データセットがネットワークを試験するために使用される。
収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０からの出力および／または他のフィードバックは、システム健全性モジュール１５５０に提供されて、再構成エンジン１４４０からの画像品質インジケータ、診断エンジン１４５０によって提供される診断信頼スコア、ならびに／あるいは、例えば、収集エンジン１５３０、再構成エンジン１４４０、および／または診断エンジン１４５０を介してディープラーニングネットワーク１５２２、１５３２、１５４２によって生成された他のフィードバックに基づいてシステム１５００の健全性の指標を生成する。収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０によってシステム健全性モジュール１５５０に提供される出力／フィードバックもまた、学習および改善ファクトリ１５２０、１５３０に提供されて、その出力および／または他のフィードバックに基づいてそれらのネットワークモデルを更新する。したがって、前の段階の学習および改善ファクトリ１５２０、１５３０は、後の段階１５３０、１５４０などからのフィードバックを使用して更新することができる。システム健全性モジュール１５５０は、システム健全性および関連するメトリック、推奨値などの決定をモデル化および調整するために、それ自体の展開済みディープラーニング装置１５５２およびシステム学習および改善ファクトリ１５５５を含むことができる。
ディープラーニングネットワークは、パターンを学習することによってパターンを識別する。学習には、既知の入力と出力を使用してネットワークのパラメータを調整することが含まれる。学習されたネットワークは、新しい入力が与えられたときに出力を予測できる。したがって、学習プロセス中に、ネットワークは一般的な入力対出力マッピングのマッピングを表すようにパラメータを調整し、その結果、非常に高い精度で出力を決定できる。
展開されたディープラーニング装置（ＤＤＬＤ）１５２２、１５３２、１５４２への入力およびそこからの出力は、ＤＤＬＤ１５２２、１５３２、１５４２の目的に基づいて変化し得る。収集ＤＤＬＤ１５２２の場合、例えば、入力および出力は、患者パラメータと撮像装置１４１０のスキャンパラメータとを含むことができる。例えば、再構成ＤＤＬＤ１５３２の場合、入力および出力は、計算集約的なアルゴリズムを使用して投影領域データおよび再構成データを含むことができる。診断ＤＤＬＤ１５４２の場合、入力は、例えば、二次元および／または三次元の画像を含むことができ、出力は、例えば、マークされた視覚化画像または放射線医学報告を含むことができる。ＤＤＬＤ１５２２、１５３２、１５４２を実装するために使用されるネットワークの種類は、ターゲットタスクに基づいて変わってもよい。特定の例では、対応する収集、再構成、または診断学習および改善ファクトリ１５２０、１５３０、１５４０は、非医療データならびに医療データを活用することによって訓練することができ、訓練されたモデルを使用してＤＤＬＤ１５２２、１５３２、１５４２を生成する。
例えば、再構成エンジン１４４０は、収集学習および改善ファクトリ１５２０にフィードバックを提供し、収集学習および改善ファクトリ１５２０は、再構成エンジン１４４０によって決定された画像品質および／または他の出力特性に基づいてＤＤＬＤ１５２２を再展開し、かつ／または他の方法で収集エンジン１４３０のパラメータを更新することができる。そのようなフィードバックは、ＤＤＬＤ１５２２によってモデル化され処理されるときにその収集エンジン１４３０によってその設定を調整するために使用することができる。再構成エンジン１４４０はまた、それ自体の再構成学習および改善ファクトリ１５３０にフィードバックを提供することができる。収集エンジン１４３０はまた、それ自体の収集学習および改善ファクトリ１５２０にフィードバックを提供することができる。
同様に、例えば、診断エンジン１４５０は、再構成エンジン１４４０のために学習および改善ファクトリ１５３０にフィードバックを提供し、これによって、診断に関連する信頼スコアおよび／または診断エンジン１４５０によって決定された他の出力特性に基づいて、ＤＤＬＤ１５３２を再展開すること、および／またはそうでなければ再構成エンジン１４４０のパラメータを更新することができる。そのようなフィードバックは、再構成エンジン１４４０によって使用されて、ＤＤＬＤ１５３２によってモデル化され処理されたときにその設定を調整することができる。
１つまたは複数の学習および改善ファクトリ１５２０、１５３０、１５４０はまた、（例えば、診断エンジン１４５０の結果を使用して患者１４０６を診断および治療することなどに基づいて）１つまたは複数の人間のユーザ１４０４からフィードバックを受け取ることができる。エンジン１４３０〜１４５０と、ファクトリ１５２０〜１５４０ｄと、システム健全性モジュール１５５０と、エンジン１４３０、１４４０、１４５０との間のフィードバックを連鎖させることによって、撮像および診断プロセスの現在および／または後の段階から学習し、改善することができる。
したがって、特定の例は、システム１５００および撮像装置１４１０、情報サブシステム１４２０、収集エンジン１４３０、再構成エンジン１４４０、診断エンジン１４５０などのその構成要素の構成および動作を改善するために、収集展開済みディープラーニング装置１５２２、再構築展開済みディープラーニング装置１５３２、診断展開済みディープラーニング装置１５４２、およびシステム健全性展開済みディープラーニング装置１５５２と併せて患者の検査の理由を考慮する。ディープラーニングは、画像解析、画像品質（例えば、明瞭度の品質、解像度、および／または他の画像品質特徴など）などに使用することができる。
学習データセットは、各学習および改善ファクトリ１５２０、１５３０、１５４０への入力として適用することができる。学習データセットは、例えば、出力として、割り当てられた画像品質メトリック（例えば、１〜５の等級など）を有する画像データセットを含むことができる。システム１５００およびその構成要素は、継続的な改善のために、ファクトリ１５２０、１５３０、１５４０への出力およびフィードバックとして１つまたは複数のメトリックを評価する。ファクトリ１５２０、１５３０、１５４０、１５５５、ならびにＤＤＬＤ１５２２、１５３２、１５４２、１５５２への入力および出力を自動化することにより、継続的なシステム動作および改善が容易になる。
特定の例では、異なる撮像モダリティ（ＭＲＩ、ＣＴ、Ｘ線など）からの医用画像の３Ｄトポグラフィを使用することにより、分類、畳み込みなどの変化を提供することができる。モデルは、それぞれのＤＤＬＤ１５２２、１５３２、１５４２によって形成することができる。モデルは、解剖学的構造、臨床応用、患者情報（例えば、データおよび／またはスカウトスキャンなど）、患者の病歴などに基づいて調整することができる。
特定の例では、各ＤＤＬＤ１５２２、１５３２、１５４２はシグネチャを決定する。例えば、ＤＤＬＤ１５２２、１５３２、１５４２は、機械（例えば、撮像装置１４１０、情報サブシステム１４２０など）サービス問題、患者の健康に関する臨床問題、ノイズテクスチャ問題、アーチファクト問題などについてのシグネチャを決定する。ＤＤＬＤ１５２２、１５３２、１５４２は、入力、学習された履歴パターン、患者の履歴、好みなどに基づいてこれらの問題のうちの１つを示すシグネチャを決定することができる。
特定の例は、ＤＤＬＤ１５２２、１５３２、１５４２を介して検証および回帰試験のためのメトリックを提供する。出力にはシグネチャ分類からの通知も含めることができる。特定の例は、人間の目視検査のための画像品質マトリックス／メトリックを提供する。特定の例は、人間以外の解釈（例えば、ビッグデータ解析、マシンラーニングなど）のための画像品質マトリックス／メトリックを提供する。
特定の例は、品質管理のための出力を提供すること（例えば、撮像スキャンの全体的な品質を反映するための数または値を提供することなど）ができる。特定の例は、再スキャン支援（例えば、再スキャンが保証されるかどうかの決定など）のための出力を提供する。特定の例は、プロトコル選択および／または新しいプロトコルカスタマイズを自動化するために使用することができる（例えば、新しいプロトコルパラメータを、画像品質メトリックなどに基づいて計算することができる）。
特定の例では、その出力を使用してハードウェアシステムの開発を改善することができる。例えば、問題が医療システムにおいて特定された場合（例えば、ハードウェアなどによって引き起こされたアーチファクト）、次の反復はその問題を解決または軽減するための解決策を提案することができる。特定の例では、臨床上の意思決定および支援を容易にするために、臨床状況がＤＤＬＤ１５２２、１５３２、１５４２に追加される。
ＤＤＬＤ１５２２、１５３２、１５４２からの出力は、品質を測定するために使用されるアルゴリズムなどのアルゴリズムの開発を改善するために使用することができる。ファクトリ１５２０、１５３０、１５４０にフィードバックを提供することによって、アルゴリズムに対する変更をモデル化し、それぞれのファクトリ１５２０、１５３０、１５４０のＤＬＮを介して試験して、変更がどのように出力データに影響を及ぼし得るかを判定することができる。フィードバックループにおける変化の捕捉およびモデル化は、例えば、収集画像データの非線形の反復的再構成と共に使用することができる。
特定の例は、システム１５００による自動診断によって機械の健全性の監視および調整を容易にする。ディープラーニング出力情報に基づいて、サービス決定を行うことができる（例えば、機械がそれ自体で実行することができる自動化されたサービス、手動の人間による修理の依頼など）。機械ベースの意思決定支援を提供することができ、問題を示す１つまたは複数の機械固有のシグネチャを調査し調整することができる。
特定の例は、情報サブシステム１４２０から入力された患者情報と、それらのＤＤＬＤ１５２２、１５３２、１５４２と共に収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０からの出力とを組み合わせて、患者に関する追加の情報を推定することができる。特定の例では、患者の病歴、医学的問題、過去のデータセットなどに基づいて、ＤＤＬＤ１５２２は、どの収集設定が画像データセットを収集するのに最良であるかを判定するのを助けることができ、ＤＤＬＤ１５３２は、どのプロトコルが画像データセット出力を提供するための最良の選択であるかを判定するのを助けることができる。スキャン中の動きなどの患者の挙動、彼らの体がコントラストをどう処理するか、スキャンのタイミング、知覚される線量などは、例えばＤＤＬＤ１５２２による入力として収集され、例えば画像装置１４１０の収集設定を決定することができる。
特定の例は、複数のＤＤＬＤ１５２２、１５３２、１５４２を一緒に連鎖する改善されたインフラストラクチャを含むエンドツーエンドの画像収集および解析システムを提供する。例えば、撮像装置１４１０および収集エンジン１４３０によって収集された生データが処理され、再構成エンジン１４４０に提供されて、ａ）診断決定支援エンジン１４５０に提供される機械可読画像、およびｂ）ユーザ診断のために表示される人間が見ることのできる画像の一方または両方を生成する。収集、再構成、および診断のために異なるＤＬＮが提供され、各ＤＤＬＤ１５２２、１５３２、１５４２は異なる入力、異なる処理、および異なる出力を有する。
したがって、例示的システム１５００は、相互接続されたＤＤＬＤ１５２２、１５３２、１５４２および対応するエンジン１４３０、１４４０を使用して１つまたは複数の画像を作成し、診断エンジン１４５０およびＤＤＬＤ１５４２を介してその画像を意思決定支援にリンクさせて診断する。リアルタイム（または実質的にリアルタイム処理および伝送遅延）フィードバック（例えば、学習および改善ファクトリ１５２０、１５３０、１５４０とエンジン１４３０、１４４０、１４５０との間のフィードフォワードおよびフィードバック）ループが、例えば、収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０の設定および動作の継続的改善のために（例えば、直接に、および／または更新／再訓練されたＤＬＮなどに基づいてＤＤＬＤ１５２２、１５３２、１５４２を交換／更新することによって）、収集と再構成の間、および診断と再構成の間で例示的なシステム１５００に形成される。システム１５００がその構成要素の動作から学習するにつれて、システム１５００はその機能を改善することができる。ユーザ１４０４は（例えば、ファクトリ１５２０、１５３０、１５４０などに）オフラインフィードバックを提供することもできる。その結果、各ファクトリ１５２０、１５３０、１５４０は、例えば、患者１４０６に関連する個別化された変数と共にシステム１５００の入力およびユーザの入力に基づいて異なる学習をする。
特定の例では、診断エンジン１４５０は、診断エンジン１４５０が遭遇することになる予想データの変動性を適切に表すことができる十分に大きいデータセットを使用して訓練、検証および試験されるＤＤＬＤ１５４２と共に動作する。診断学習および改善ファクトリ１５４０は、例えば、診断エンジン１４５０および／または再構成エンジン１４４０によってさらに多くの入力が提供されるにつれて、その出力を改良するために使用することができる。次いで、ファクトリ１５４０は、例えばＤＤＬＤ１５４２の展開されたＤＬＮを置換することができる。
診断エンジン１４５０は、集団内の患者からのビッグデータ（例えば、情報サブシステム１４２０から検索される）に基づいて１つまたは複数の画像内のパターンを識別して、患者１４０６の診断をユーザ１４０４に提案する。例示的な診断エンジン１４５０は、ユーザ１４０４の焦点を合わせるための領域を強調表示し、例えば、ビッグデータ解析に基づいて将来の関心のある領域を予測することができる。画像が次善の方法で提示されたとしても、診断エンジン１４５０は、その特定の撮像スキャンに依存する決定よりもむしろ患者に依存する答えを提供することができる。診断エンジン１４５０は、画像を解析し、収集、再構成、解析などに使用される設定に基づいて、ユーザ１４０４が見ることができないトラブルスポットを識別することができる。出力は、別のシステム／装置を起動するために自動的にすることができ、かつ／またはユーザ１４０４に提案として提示することができる。システム１５００からのデータ出力は、例えば、クラウドベースのシステムに提供することができる。システム健全性モジュール１５５０のシステム学習および改善ファクトリ１５５５に出力を提供して、システム健全性モジュール１５５０が、システム１５００の健全性を維持または改善するためにいつ行動を取るべきかを学習することができる。
システム健全性モジュール１５５０は、複数の構成要素１４３０、１４４０、１４５０から入力を受け取り、システム１５００に変更を加えるべきかどうかを決定するために入力を処理する。収集エンジン１４３０、再構成エンジン１４４０、診断エンジン１４５０などに影響する問題への暴露およびそれからの学習に基づいて、システム健全性モジュール１５５０は、収集エンジン１４３０に出力を提供して、撮像装置１４１０および／または他のシステム構成要素の挙動を修正する。システム健全性モジュール１５５０はまた、システム設計エンジン１５６０に出力を提供し、システム設計エンジン１５６０は、例えば、識別された課題／問題を使用して、撮像装置１４１０および／またはシステム１４００、１５００の構成要素の設計を修正する。
図１５Ｂは、収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０がデータ品質評価エンジン１５７０、画像品質評価エンジン１５７２、および診断評価エンジン１５７４を伴う、例示的なシステム実施態様１５０１を示す。図１５Ｂの構成１５０１では、各エンジン１４３０、１４４０、１４５０は関連する評価エンジン１５７０、１５７２、１５７４から直接フィードバックを受け取る。特定の例では、収集エンジン１４３０、再構成エンジン１４４０、および／または診断エンジン１４５０は、それらの関連する展開済みディープラーニングモジュール１５２２、１５３２、１５４２を更新する必要なしにフィードバックを受け取る。その代わりにまたはそれに加えて、データ品質評価エンジン１５７０、画像品質評価エンジン１５７２、および診断評価エンジン１５７４は、エンジン１４３０〜１４５０にフィードバックを提供する。簡単にするために図１５Ｂの例では直接接続が示されているが、ディープラーニングベースのフィードバックモジュール１５７０〜１５７４の各々は、例えば、異なるクラスの例示的な条件、関連する学習および改善ファクトリモジュール、オーケストレーションモジュール、ならびに関連するパラメータの更新および再開のためのトリガを含む関連する訓練画像データベースを有することを理解されたい。
したがって、収集エンジン１４３０は、例えば、データ品質評価エンジン（ＤＱ−ＡＥ）１５７０、画像品質評価エンジン（ＩＱ−ＡＥ）１５７２、および／または診断評価エンジン（Ｄｉａｇ−ＡＥ）１５７４からフィードバックを受け取ることができる。再構成エンジン１４４０は、例えば、ＩＱ−ＡＥ１５７２および／またはＤｉａｇ−ＡＥ１５７４からフィードバックを受け取ることができる。診断エンジン１４５０は、例えば、Ｄｉａｇ−ＡＥ１５７４からフィードバックを受け取ることができる。
図１６は、改善された画像収集、処理、および患者診断のための例示的な方法１６００の流れ図を示す。ブロック１６０２では、個別化された患者特性が収集エンジン１４３０に入力される。例えば、臨床医は、個別化された患者の特徴を収集エンジン１４３０に入力することができる。その代わりにまたはそれに加えて、個別化された患者特性は、情報サブシステム１４２０を介して画像化されるように識別された患者に提供することができる。ブロック１６０４では、収集エンジン１４３０が、入力された個別化された患者の特徴、ならびにＤＤＬＤ１５２２から抽出された学習情報に基づいて、１つまたは複数の撮像装置１４１０の設定を提案する。
したがって、患者１４０６に特有の情報ならびにＤＤＬＤ１５２２によって学習された情報を使用して、撮像装置１４１０による画像収集のための改善された設定を決定することができる。ブロック１６０６では、患者１４０６の１つまたは複数の画像が撮像装置１４１０によって収集される。画像は、収集エンジン１４３０によって提供された設定に従って取得される。設定は、収集エンジン１４３０によって撮像装置１４１０で自動的に構成され、および／またはユーザ１４０４（例えば、臨床医、放射線科医、技師など）によって手動で入力／上書きすることができる。
ブロック１６０８で、再構成エンジン１４４０は、収集エンジン１４３０から生画像データを受け取り、その画像データを処理して画像品質メトリックを割り当てる。画像品質（ＩＱ）メトリックは、包括的な画像品質指標（ＩＱＩ）および／または画像品質の様相に関する１つまたは複数の特定のメトリックであってもよい。例えば、特定の画像品質メトリックは、空間解像度、ノイズなどを含む。上述のブロック８４０で、再構成エンジン１４４０によって生成されたフィードバックを収集して記憶することができる。したがって、収集画像データの再構成からシステム１５００によって学習された教訓は、撮像装置１４１０設定のさらなる改良のために収集学習および改善ファクトリ１５２０にフィードバックすることができる。画像データに対して画像品質解析を実行した後、再構成エンジン１４４０は画像データを処理してさらなる検討および解析のために画像を再構成する。この結果得られる１つまたは複数の画像は、コンピュータ支援診断（ＣＡＤ）などの自動化された機械解析のために、または画像を人間が見るために処理することができる。
再構成ＤＤＬＤ１５３２からの構成設定は、収集画像データが機械解析および／または人間による観察のために処理するべきかどうかを決定するために使用される。ブロック１６１２では、結果として生じる画像の表示を人間が精査するために画像が再構成される。ブロック１６１４では、画像データを処理して、機械評価および画像の解析に適した画像を生成する。例えば、機械解析可能な画像を用いて、画像の特徴をコンピュータ検出のために最適化することができるが、放射線科医などのユーザにとって視覚的に認識可能である必要はない。しかしながら、人間が見ることのできる画像の場合、画像解剖学的構造の特徴は、再構成が有用であるためには人間の視聴者によって検出可能であるべきである。
ブロック１６１６では、人間が見ることのできる画像が再構成されている場合には、再構成エージェント１４４０がその画像を診断エンジン１４５０に提供し、診断エンジン１４５０がその画像をユーザ１４０４に表示する。ブロック１６１８では、機械解析可能な画像が生成され、次いで再構成エンジン１４４０が、診断エンジン１４５０からの画像データに基づいて自動処理および提案された診断のための機械可読画像を診断エンジン１４５０に提供する。
ブロック８４０では、人間が見ることのできる画像および／または機械が提案する診断に関するフィードバックが診断エンジン４５０から提供される。ブロック１６２４では、患者１４０６の診断は、単独で得られた、あるいはＤＤＬＤ１５４２および／または情報サブシステム１４２０からのデータと共に得られた、ユーザ１４０４による画像の人間の閲覧および／または診断エンジン１４５０による画像の自動処理に基づいて行われる。
診断は、例えば、ユーザ１４０４、患者１４０６に提供され、および／または別のシステムに転送されることができる。例えば、ブロック８４０では、診断エンジン１４５０および／またはユーザ１４０４からフィードバックが提供される。システム設計エンジン１５６０にもフィードバックを提供することができる。ユーザ１４０４、診断エンジン１４５０、再構成エンジン４４０、収集エンジン１４３０、および／または他のシステム１５００の構成要素からのフィードバックは、システム１５００の健全性の指標を計算するためにシステム健全性モジュール１５６０に提供することができる。
図１７は、システム１５００の構成要素間を流れる際の例示的なデータフローおよび情報１７００の変換を示す。図１７の例に示すように、第１のデータ１７０２が撮像装置１４１０によって収集エンジン１４３０に提供される。第２のデータ１７０４が、情報サブシステム１４２０によって収集エンジン１４３０に提供される。収集エンジン１４３０は、第１のデータ１７０２および／または第２のデータ１７０４を含む第３のデータ１７０６を収集ＤＤＬＤ１５２２に送信する。収集ＤＤＬＤ１５２２は、第３のデータ１７０６を第４のデータ１７０８に変換し、第４のデータ１７０８を収集エンジン１４３０に送り返す。収集エンジン１４３０は、第４のデータ１７０８を撮像装置１４１０に送る。収集エンジン１４３０は、第５のデータ１７１０を再構成エンジン１４４０に送る。
再構成エンジン１４４０は、第５のデータ１７１０を含む第６のデータ１７１２を再構成ＤＤＬＤ１５３２に送る。ＤＤＬＤ１５３２は、第６のデータ１７１２を第７のデータ１７１４に変換し、第７のデータ１７１４を再構成エンジン１４４０に送り返す。再構成エンジン１４４０は、第７のデータ１７１４を収集エンジン１４３０に送る。再構成エンジン１４４０は、第８のデータ１７１６を診断エンジン１４５０に送る。
診断エンジン１４５０は、第８のデータ１７１６を含む第９のデータ１７１８を診断ＤＤＬＤ１５４２に送る。ＤＤＬＤ１５４２は、第９のデータ１７１８を第１０のデータ１７２０に変換し、第１０のデータ１７２０を診断エンジン１４５０に送り返す。診断エンジン１４５０は、第１０のデータ１７２０を再構成エンジン１４４０に送る。
このように、特定の例は、患者情報、検査理由、および患者画像データを診断および他の医療関連情報に変換する。ディープラーニングネットワークなどのマシンラーニングを使用して、例えば、撮像、情報、および解析機器の操作を通じて、複数のパラメータ、設定などを開発、監視、および改良することができる。例えば、ディープラーニングネットワークを使用すると、（例えば、内部または試験環境において）撮像システムが展開される前に学習／訓練および試験を容易にすることができ、一方、例えば、システムが展開されて使用のために活性化された後に「現場」でパラメータの継続的調整が行われる。
特定の例は、様々な場所に展開することができるユニットまたはモジュールに編成されたコア処理能力を提供する。装置外処理を活用して、マイクロクラウド、ミニクラウド、および／またはグローバルクラウドなどを提供することができる。例えば、マイクロクラウドは、クラウド接続性を持たない顧客などに対して超低レイテンシ処理（例えばストロークなど）を対象とした撮像装置コンソールとの一対一構成を提供する。ミニクラウドは、例えば社内のデータを保持することを好む顧客向けの低レイテンシ処理を目的とした顧客ネットワークなどに展開される。グローバルクラウドは、優れた運用性を備えた高性能コンピューティングおよび情報技術インフラストラクチャの管理のために、顧客組織の全体にわたって展開される。
装置外処理エンジン（例えば、収集エンジン１４３０、再構成エンジン１４４０、診断エンジン１４５０など、およびそれらに関連する展開済みディープラーニングネットワーク装置１５２２、１５３２、および／または１５４２など）を使用して、収集設定を決定し、例えば撮像装置１４１０に送信することができる。例えば、検査目的、電子医療記録情報、心拍数および／または心拍数の変動性、血圧、体重、腹臥位／仰臥位の目視評価、頭を先または足を先にするなどを使用して、デフォルト視野（ＤＦＯＶ）、中心、ピッチ、配向、造影剤注入速度、造影剤注入タイミング、電圧、電流などの１つまたは複数の収集設定を決定することができ、それによって「ワンクリック」撮像装置を提供することができる。同様に、カーネル情報、スライス厚、スライス間隔などを使用して、例えば、画像品質フィードバックを含む１つまたは複数の再構成パラメータを決定することができる。収集フィードバック、再構成フィードバックなどをシステム設計エンジン１５６０に提供して、１つまたは複数のデジタルモデル（例えば、ディープラーニングモデル、マシンモデル、デジタルツインなど）によって表されるような撮像装置１４１０のリアルタイム（あるいは処理遅延および／または伝送遅延があれば実質的にリアルタイム）の健全性解析を提供することができる。デジタルモデルは、リアルタイムで（あるいは処理遅延および／または伝送遅延があれば実質的にリアルタイムで）撮像装置１４１０の構成要素の健全性を予測するために使用することができる。
各ディープラーニングネットワークは、関連する結果の結果と共にキュレーションされたデータを使用して訓練することができる。例えば、脳卒中に関するデータ（例えば、治療後の発症から９０日後までのデータなど）を使用して、予測される脳卒中の結果を得るようにニューラルネットワークを訓練することができる。したがって、運用上、臨床上、治療上、および治療上の「バイオマーカー」は、最良のおよび／または他の改善された結果について識別することができる。同様に、肺がんデータは、ＣＴ、ＰＥＴ／ＣＴ、核医学を含む１つまたは複数の撮像装置１４１０について、スクリーニング、診断、治療計画、治療反応、最終結果などからの部門間追跡を含むディープラーニングネットワークによって解析することができる。
画像収集の場合は、１つまたは複数の既知の入力および１つまたは複数の既知の出力が与えられると、収集設定は、展開可能なＤＤＬＤ１５２２を生成するための予測可能な出力について収集学習および改善ファクトリ１５２０を訓練するように自動的に決定することができる。撮像装置１４１０の設定の出力が信頼性のしきい値に達すると、収集エンジン１４３０は、（例えば、撮像装置１４１０に統合されて、および／または撮像装置１４１０と通信する別の装置として）撮像装置１４１０に収集設定を提供することを認証することができる。さらなる顧客訓練または試験を行わなくても、設定を使用し変更することができる。結果として、ユーザは、高品質の画像収集を収集し、劣悪なまたは標準以下の画像収集のセットを回避することができる。収集設定および関連するＤＤＬＤ１５２２は、高品質の画像収集にのみ応答するように訓練することができ、設定の調整は、悪品質の画像が収集されたときにＤＤＬＤ１５２２によって提案することができる。このように、ユーザの観点からは、高速画像検査を一貫して収集するために１つのボタンが押される。患者パラメータ、所望の出力のためのＤＩＣＯＭヘッダ、ならびに成功したおよび／または失敗したデータセットのための撮像装置１４１０のパラメータに対応する既存の医療検査から得られた所望の出力の表示と併せて検査の目的を使用して、ＤＤＬＤ１５２２は、良好な画像品質を認識し、対応する設定をデフォルト設定として提案することができ、ならびにユーザが画像収集のために撮像装置１４１０を構成する際に誤りを犯した場合に、誤りから回復するための設定を提案することができる。経時的に、収集学習および改善ファクトリ１５２０は、例えば収集エンジン１４３０に駆動するために改善されたＤＤＬＤ１５２２を再訓練および再展開するための学習された成功および失敗に基づいて進化および改善することができる。
特定の例では、クラウドベースのプロトコルを取り込み管理して、プロトコルおよび／または規則の選択を自動化してクラウドを介して最善の実施を利用可能にすることができる。
品質フィードバックは画像再構成からも得ることができる。人間による精査なしで、例えば、ＤＤＬＤ１５３２によって、良いまたは悪い画像を識別し、１つまたは複数の画像品質メトリックおよび／またはインジケータと関連付けることができる。そのような画像品質指数（ＩＱＩ）および／または他のメトリックは、ＤＤＬＤ１５３２を使用して再構成エンジン１４４０によって生成され、例えば人間によるレビューの有無にかかわらず医学的決定を下すために使用することができる。生成された指数／メトリックは、撮像装置１４１０が良好または不良な品質の画像を収集しているかどうか、およびどのような条件下でなどに関してＤＤＬＤ１５３２および／またはユーザ１４０４に知らせるために使用することができる。
ディープラーニングでは、試験によって既知のケースの画像の品質を一定のレベルで自動的に評価できる。例えば、さらなる撮像装置１４１０の開発を容易にするために、撮像装置１４１０の設定と比較した画像品質の解析に基づくフィードバックをシステム設計エンジン１５６０に提供することができる。システム設計エンジン１５６０ならびに学習および改善ファクトリ１５２０および／または１５３０を使用して、画像品質の低下を検出し、例えば、撮像装置１４１０の健全性を含むシステム健全性１５５０を評価するために使用することができる。人間のユーザ１４０４は品質の漸進的な低下を検出しないかもしれないが、ディープラーニングは早期の検出のための客観的で公平な評価を提供する。
特定の例では、診断指数または検出可能性指数は、画像品質指標と同様に計算することができる。診断指数は、一組のデータが与えられたときにユーザ１４０４がどのような条件下で診断を下すことができるかの尺度とすることができる。ＤＤＬＤ１５４２および関連する診断学習および改善ファクトリ１５４０は、他の構成要素からの現在および過去のデータおよびシステム１５００のパラメータを解析して、ユーザ１４０４、患者１４０６、状態の種類、患者の種類、検査の種類などに対して一貫した指標を提供する。例えば、ファクトリ１５４０の訓練用ＤＬＮが訓練されると、モデルをＤＤＬＤ１５４２に展開することができ、診断データを画像品質と比較することができる。再構成エンジン１４４０、収集エンジン１４３０、関連する学習および改善ファクトリ１５２０、１５３０、および／またはユーザ１４０４にフィードバックを提供して、例えば、画像品質の指標および／または収集のための撮像装置１４１０の設定の対応する変更を提供することができる。
いくつかの例では、患者診断の数値表示の代わりにまたはそれに加えて、全体論的解析／表示を提供することができる。全体論的解析を使用して、ヒートマップ、偏差マップなどのような視覚的表示を提供して、特定の疾患または状態について、患者１４０６が傾向、特徴、指標などにどのように適合するか適合しないかを視覚化することができる。特定の例では、ファクトリ１５４０がその診断学習において向上するにつれて、視覚的表現が向上することができる。診断エンジン１４５０とそのＤＤＬＤ１５４２との全体論的アプローチを使用して、複数のソースからのデータが処理され、人間がパターンを識別できる形式に変換される。ディープラーニングを使用して、ＤＤＬＤ１５４２は、何千ものデータのビューを処理することができるが、人間のユーザ１４０４は、焦点を失う前に１０個のビューを合理的に処理することしかできないかもしれない。
ＤＤＬＤ１５４２のディープラーニングプロセスは、人間のユーザ１４０４が手動でパターンを検出および認識（例えば、参照）する必要がなく、パターンを識別することができる（そして診断エンジン１４５０を介して識別されたパターンの表示を潜在的に表示することを可能にする）。多変量解析およびパターン識別は、ＤＤＬＤ１５４２によって容易にすることができるが、人間のユーザ１４０４にはそうすることは困難であり得る。例えば、ＤＤＬＤ１５４２および診断エンジン１５４０は、人間には理解できない異なるパターン、および／または人間が理解できるが人間が合理的に精査および解析するには多すぎる可能性に埋もれているパターンを識別することができる。ＤＤＬＤ１５４２および診断エンジン１４５０は、例えば、人間による精査と併せてフィードバックを提供することができる。
特定の例では、全体論的解析は、単独で、または診断エンジン１４５０と併せて、ユーザ１４０４によって行われた診断に供給される。診断エンジン１４５０およびそのＤＤＬＤ１５４２を使用して、例えば法的に規制された／医療機器として人間の判断についてのセカンドオピニオンを提供することができる。特定の例では、診断エンジン１４５０は、自動診断を提供するためにＤＤＬＤ１５４２と連携して動作することができる。
例示的な解析フレームワーク
特定の例では、ヘルスケア解析フレームワーク１８００を、例示的なシステム１４００、１５００（収集エンジン１４３０、再構成エンジン１４４０、および診断エンジン１４５０を、それらに関連するＤＤＬＤ１５２０〜１５０および学習および改善ファクトリ１５２０〜１５４０と共に含む）を使用して、画像収集、画像再構成、画像解析、および患者診断のために提供することができる。図１８の例に示すように、撮像装置１４１０のパラメータ、再構成エンジン１４４０のパラメータなどの入力は、物理ベースの装置比較１８１０に提供される。装置比較１８１０は、例えば、ＤＤＬＤ１５２２および／または他のマシンラーニングネットワークによって容易にすることができる。入力は、装置比較１８１０によって使用され、同じおよび／または異なるベンダからの同じおよび／または異なるタイプの他の撮像装置と撮像装置１４１０とを比較する。装置１４１０の特性、画像収集パラメータ、再構成設定などに基づいて比較を行う際に学習し支援するために、ディープラーニングおよび／または他のマシンラーニング技術を使用することができる。例えば、ＤＤＬＤ１５２２および／または１５３２を装置比較１８１０に使用して、撮像装置１４１０と他の撮像スキャナとのプロファイルおよび／または他の比較を行うことができる。
装置１４１０の比較情報はデータ評価仕様１８２０に提供される。データ評価仕様１８２０は、例えば、ＤＤＬＤ１５２２および／または１５３２、ならびに／あるいは別個のプロセッサによっても実装することができる。データ評価仕様１８２０は、再構成エンジン１４４０からの再構成画像１８２２と、収集エンジン１４３０および撮像装置１４１０からの生画像データの変換１８２４と、を処理する。ディープラーニング、辞書学習（例えば、他の画像から辞書を構築し、現在の画像に辞書定義を適用するなど）などのマシンラーニング方法を、再構築済みのおよび／または生の画像データに適用して画像属性および／またはタスクベースの画像品質評価メトリクス１８２６を定義することができる。画像品質情報（例えば、ノイズ、解像度など）は、ディープラーニングおよび／または他のマシンラーニング技法を用いて、画像および生の画像データから直接（例えば、特定のファントムおよび／または変調伝達関数（ＭＴＦ）などを使用せずに、関心領域と共に）抽出することができる。さらに、ディープラーニングおよび／または他のマシンラーニングを使用して、データから１つまたは複数のタスクベースのメトリック（例えば、検出可能性など）を抽出することができる。属性およびメトリック１８２６は、装置ベースの比較に基づくデータ評価のための仕様を形成する。
特定の例では、モデルを形成することができる。データ評価仕様１８２０は、データ評価仕様１８２０への入力およびデータ評価仕様１８２０からの出力を数学的に表現またはモデル化するための伝達関数１８２８を構築する。伝達関数１８２８は、画像属性および／またはタスクベースの画像品質評価メトリクス１８２６を生成およびモデル化するのを助ける。特定の例では、小結節体積の計算、画像からの変動源の直接推定などの解析に基づいて変動をモデル化することができ、モデル化された変動を使用して再構成画像を標準化し解析を改善することができる。
画像データの解析および修正を提供するモデルおよび伝達関数１８２８に基づいて、結果プロセッサ１８３０は１つまたは複数の臨床結果を決定する。例えば、臨床結果のユーザ決定を容易にするために（例えば、診断エンジン１４５０を介して）情報を結果プロセッサ１８３０に提供することができる。その代わりにまたはそれに加えて、結果プロセッサ１８３０は、臨床結果の機械的決定を（例えば、画像解析と共に診断エンジン１４５０およびＤＤＬＤ１５４２を使用して）生成することができる。
したがって、例えば、画像解像度の品質は、ＭＴＦと共にファントム（例えば、ワイヤ、エッジなど）を使用して伝統的に測定されてきた。しかしながら、多くの放射線科医は、画像を観察することによって臨床画像がより低い解像度を有すると言うことができる。ディープラーニングおよび／または他の機械ネットワークは、例えば繰り返しの暴露および解析を通してこの観察を模倣することを学習する。例えば、再構成画像１８２２、標準化変換１８２４などと共に装置比較１８１０からの情報を使用して、データ評価仕様１８２０は、再構成エンジン１４４０およびそのＤＤＬＤ１５３２を有効にして、例えば、画像属性を計算し、診断エンジン１４５０およびそのＤＤＬＤ１５４２と協働して臨床医に解析を提供するための変換を再較正し、例えば、ＤＤＬＤ１５４２によって定義および／または学習された範囲、しきい値などに関して、画像内の許容可能または許容不可能な解像度を識別することができる。解像度が許容できない場合には、ＤＤＬＤ１５２２を、学習および改善ファクトリ１５２０を介して更新することができ、例えば収集エンジン１４３０の設定が調整される。
画像収集の例
図１９は、撮像装置１４１０および画像収集エンジン１４３０を用いた画像収集のための例示的な方法１９００の流れ図を示す。ブロック１９０２では、個別化された患者変数が収集エンジン１４３０に入力される。個別化された患者変数は、患者の身長、患者の体重、撮像の種類、検査の理由、患者の病歴などを含むことができる。例えば、臨床医は、個別化された患者の特徴を収集エンジン１４３０に入力することができる。その代わりにまたはそれに加えて、個別化された患者特性は、情報サブシステム１４２０を介して画像化されるように識別された患者に提供することができる。
ブロック１９０４では、収集展開済みディープラーニングネットワーク装置１５２２は、収集エンジン１４３０への入力を解析する。例えば、ＤＤＬＤ１５２２は、画像収集のための撮像装置１４１０設定を生成するために、患者パラメータ、事前撮像装置１４１０の走査パラメータなどを処理する。ＣＮＮ、ＲＮＮ、オートエンコーダネットワーク、および／または他のディープ／マシンラーニングネットワークを使用して、ＤＬＮ５２０は、現在の撮像装置１４１０の設定、患者情報、検査理由、患者履歴、および集団健康情報などと比較して事前収集を活用して予測出力を生成する。設定、イベント、および結果間の関係を調べて、適切な撮像装置１４１０の設定、検査の種類および患者の種類に基づく理想的なまたは好ましい収集設定、撮像装置１４１０の設計に対する変更などを決定することができる。設定は、十分な（劣った、および／または高品質などに対して）画像品質などのための強度または放射線量設定を含むことができる。設定には、収集タイプ、期間、角度、スキャン数、位置などを含めることができる。
ブロック１９０６では、収集エンジン１４３０は、入力された個別化された患者の特徴、ならびにＤＤＬＤ１５２２から抽出された学習情報に基づいて、１つまたは複数の撮像装置１４１０の設定を提案する。上述のように、ＤＤＬＤ１５２２からの出力は、患者１４０６の画像を収集するために撮像装置１４１０のための１つまたは複数のパラメータもしくは構成設定として編成することができる。したがって、展開済みディープラーニングネットワーク装置１５２２によって学習された情報だけでなく患者１４０６に特有の情報を使用して、撮像装置１４１０による画像収集のための改善された設定を決定することができる。検査の理由、特定の患者情報、および既存の撮像装置１４１０の設定に基づいて、収集ＤＤＬＤ１５２２は、撮像装置１４１０を介して患者１４０６から画像データを収集するために収集エンジン１４３０によって使用される推奨設定を生成することができる。設定は、例えば、収集エンジン１４３０によって撮像装置１４１０に自動的に適用されてもよく、および／または手動で入力され／ユーザ１４０４によって上書きされてもよい。
ブロック１９０８では、患者１４０６の１つまたは複数の画像が撮像装置１４１０によって取得される。画像は、収集エンジン１４３０によって提供された設定に従って取得される。設定は、例えば、収集エンジン１４３０によって撮像装置１４１０で自動的に構成することができ、および／またはユーザ１４０４（例えば、臨床医、放射線科医、技師など）によって手動で入力／上書きすることができる。
ブロック１９１０では、収集画像データは再構成エンジン１４４０に送信される（例えば、人間が見ることのできる画像に再構成される、および／または機械処理されるなど）。（ＤＤＬＤ１５３２を使用する）再構成エンジン１４４０は、包括的な画像品質指標（ＩＱＩ）および／または収集された生画像データに関連する画像品質の態様に関する１つまたは複数の特定の指標となる画像品質（ＩＱ）指標を生成することができる。例えば、特定の画像品質メトリックは、空間解像度、ノイズなどを含む。
ブロック１９１２では、再構成エンジン１４４０からのフィードバックが収集学習および改善ファクトリ１５２０に提供されて、撮像装置１４１０設定の生成および推奨のためにＤＤＬＤ５２０を改善する（例えば、収集エンジン１４３０と共に展開するための新しいＤＤＬＤ１５２２を生成する）。したがって、収集画像データの再構成からシステム１５００によって学習された教訓は、ネットワーク動作をさらに改良し、その結果として撮像装置１４１０の設定を改善するために、収集学習および改善ファクトリ１５２０（および／または画像品質評価エンジン１５７２など）にフィードバックすることができる。そのフィードバックは、（ファクトリ１５２０を介して）ＤＤＬＤ１５２２への、そして結果として、様々な患者１４０６のための画像収集のために撮像装置１４１０に提供される設定への継続的な改善を確実にする。
ブロック１９１４では、画像が表示されない場合には、追加のフィードバックは得られない。しかし、画像が表示されている場合には、ブロック１９１６で、追加のフィードバックが収集学習および改善ファクトリ１５２０に提供される。例えば、再構成ＤＤＬＤ１５３２、診断エンジン１４５０、診断ＤＤＬＤ１５４２、ユーザ１４０４などのうちの１つまたは複数は、収集学習および改善ファクトリ１５２０（および／または画像品質評価エンジン１５７２など）にさらなるフィードバックを提供して、その学習およびデータ処理を改善することができる。例えば、使用されるカーネル、ノイズ低減設定、スライス厚、間隔などに関するフィードバックを提供することができる。
特定の例では、収集エンジン１４３０および関連するＤＤＬＤ１５２２は、画像収集のために撮像装置１４１０の動作を構成するために撮像装置１４１０に接続することができる装置として実装することができる。収集構成装置は、現場で技師または設置者によって使用することができ、装置のそれら自体の操作のために顧客に販売することなどができる。
図２０は、撮像システム１４０１と通信する訓練用学習装置２０１０および画像収集構成装置２０２０を含む例示的な画像収集構成システム２０００を示す。画像収集設定装置２０２０は、プロセッサ２０３０およびメモリ２０４０を含む。装置２０２０のプロセッサ２０３０は、展開済みディープラーニング装置２０５０をインスタンス化する。
特定の例では、画像収集構成装置２０２０は、訓練用学習装置２０１０を使用して前の組のパラメータを訓練し試験することによって決定された第１の組の撮像システム構成パラメータを使用して最初に構成される。装置２０２０はまた、システム動作、患者入力などに基づいて構成パラメータを決定する際に画像収集構成装置を支援するために訓練用学習装置２０１０を使用して生成されるそれ自体の展開済み学習装置２０５０を含む。装置２０５０は、訓練装置２０１０がフィードバックを受け取って進化し続ける間、構成装置２０２０と共に動作する。訓練装置２０１０は、特定の基準（例えば、収集されたフィードバックのしきい値、装置２０５０の結果とモデル化された装置２０１０の結果との間の偏差のマージンなど）が満たされると、展開済み学習装置２０５０を再展開することができる。装置２０１０、２０５０は、例えば上述のように実施することができる。
装置２０２０およびその初期パラメータは、装置２０１０のネットワークが訓練されると、訓練用学習装置２０１０を使用して展開することができる（例えば、患者の種類、検査の種類、画像収集の種類、画像品質しきい値などについての撮像装置１４１０の構成パラメータに関連する信頼性しきい値に達する）。構成装置２０２０が撮像装置１４１０のための関連する信頼できる設定推奨を生成するまでは、訓練装置２０１０は、推奨および調整を提供し、非効率性、不正確さなどに関するフィードバックを組み込むことを継続し、所与の検査目的、患者の種類、状態の種類、線量、安全しきい値、動作状態などについてのパラメータ選択を学習して改良させることを継続し、展開済み学習装置２０５０を再展開する。
学習装置２０５０が展開され、構成装置２０２０が十分な信頼性および品質を有すると検証されると、（例えば、撮像装置１４１０の製造業者に関連する技師による使用のために、直接顧客により、など）顧客サイトでの展開および設置のために画像収集構成装置２０２０を解放することができる。装置２０２０は、（例えば、ワイヤ、ケーブル、コネクタなどによって）撮像装置１４１０に物理的に接続または「差し込む」ために展開することができる。その代わりにまたはそれに加えて、画像収集構成装置２０２０は、撮像装置１４１０と無線で（例えば、ブルートゥース（登録商標）、ブルートゥース低エネルギー（ＢＬＥ（商標））、近距離無線通信（ＮＦＣ）、Ｗｉ−Ｆｉ（商標）などを介して）通信して、撮像装置１４１０に設定を送信し、撮像装置１４１０からフィードバックを受信することができる。例えば、装置１４１０、２０２０の動作中に設定推奨事項を学習し、修正し、改善し続けるために、訓練用学習装置２０１０によってフィードバックが使用される。装置２０２０はまた、再構成エンジン１４４０および／または他の画像処理ワークステーションと通信して、撮像装置１４１０による画像データ収集から生じる画像についての画像品質フィードバックを得ることができる。訓練装置２０１０は、このフィードバックを同様に使用して、例えば、質の良いものに応答し、質の悪い画像収集についての提案をするためにさらに訓練する。
図２１は、画像収集構成装置２０２０を訓練し展開するための例示的な方法２１００の流れ図を示す。ブロック２１０２では、画像収集構成装置２０２０は訓練装置２０１０を用いて訓練される。例えば、装置２０２０およびその初期構成設定は、装置２０１０による１つまたは複数のパラメータの参照セットの訓練および試験に基づいて、訓練用学習装置２０１０を使用して最初に訓練することができる。
ブロック２１０４において、訓練用学習装置２０１０の出力が（例えば、参照データからの既知の応答と比較して）しきい値を満たすまで、訓練は継続する。例えば、良い参照データと悪い参照データの両方を使用して、使用可能な結果と使用不可能な結果を認識するように装置２０１０を訓練することができる。訓練装置２０１０が患者の種類、検査の種類、画像収集の種類、画像品質しきい値などについての撮像装置１４１０の構成パラメータに関連する信頼性しきい値に達すると、訓練装置２０１０は、非効率性、不正確さなどに関するフィードバックを訓練し組み込むことを継続し、所与の検査目的、患者の種類、状態の種類、線量、安全しきい値、動作状態などについてのパラメータ選択を学習して改良させることを継続する。
訓練装置２０１０が十分な信頼性および品質を有するとして訓練され検証された後、ブロック２１０６で、展開済み学習装置２０５０が生成される。例えば、訓練装置２０１０の訓練済みネットワークは、展開済み学習装置２０５０のための展開ネットワークモデルを生成するために使用される。
ブロック２１０８では、（例えば、撮像装置１４１０の製造業者に関連する技術者による使用のために、直接顧客により）顧客サイトでの展開のために画像収集構成装置２０２０を解放することができる。装置２０２０は、（例えば、ワイヤ、ケーブル、コネクタなどによって）撮像装置１４１０に物理的に接続または「差し込む」ために展開することができる。その代わりにまたはそれに加えて、画像収集構成装置１１２０は、撮像装置１４１０と無線で（例えば、ブルートゥース（登録商標）、ブルートゥース低エネルギー（ＢＬＥ（商標））、近距離無線通信（ＮＦＣ）、Ｗｉ−Ｆｉ（商標）などを介して）通信して、撮像装置１４１０に設定を送信し、撮像装置１４１０からフィードバックを受信することができる。
ブロック２１１０では、画像収集構成装置２０２０は、患者１４０６の１つまたは複数の画像を収集するために撮像装置１４１０のための構成パラメータを生成することができる。患者１４０６、以前の患者情報（例えば、患者の病歴、情報サブシステム１４２０からの家族歴、二次元および／または三次元のスカウトスキャンなど）、検査の理由および／または検査の種類などに基づいて、構成装置２０２０の展開済みネットワーク２０５０は、患者１４０６の画像収集のために撮像装置１４１０を構成するための構成パラメータを生成する。
ブロック２１１２では、構成パラメータが構成装置２０２０によって出力される。構成装置２０２０は、画像収集のために撮像装置１４１０を自動的に構成するために（例えば、オペレータによる上書きおよび／または調整により）パラメータを撮像装置１４１０に提供することができる。構成装置２０２０はまた、画像収集のために撮像装置１４１０を設定するために使用されるパラメータをオペレータに提供することができる。
ブロック２１１４では、画像収集構成装置２０２０によって撮像装置１４１０からフィードバックが受信される。例えば、フィードバックは、撮像装置１４１０による画像収集の間および／またはその後に、有線および／または無線接続を介して受信することができる。特定の例では、パラメータ生成のためのＤＤＬＤ２０５０の動作を改善するために、収集画像データの再構成および／または他の処理に関するフィードバックも収集構成装置２０２０および／または訓練装置２０１０に提供することができる。例えば、画像品質の指標（例えば、低すぎる、十分である、高すぎるなど）を訓練装置２０１０によって処理して、装置２０５０に展開される新しいディープラーニングネットワークを生成して、構成装置２０２０による撮像装置１４１０の設定の決定を改善することができる。ブロック８４０では、フィードバックが収集され、上述のように処理のために格納される。例えば、装置１４１０、２０２０の動作中に設定推奨を学習し、修正し、改善し続けるために、訓練装置２０１０によってフィードバックが使用される。フィードバックを使用して、例えば、質の良いものに応答し、質の悪い画像収集についての提案をするためにさらに訓練することができる。
したがって、画像収集構成装置２０２０は、ユーザおよび／またはサプライヤが撮像装置１４１０と共に提供することができるブラックボックスとして機能し、最小限のユーザ対話で撮像装置１４１０の動作を構成および改善することができる。顧客は装置２０２０を使用して調整することができるが、装置２０２０を撮像装置１４１０と共に展開する前に装置２０２０を訓練し試験する必要はない。平均的なユーザは、構成装置２０２０およびその展開済み学習装置２０５０を使用して、撮像装置１４１０からの品質の悪いまたは許容できない一組の画像収集を回避しながら、高品質（または読み取りに十分な診断品質など）の画像収集を得ることができる。
特定の例では、ユーザ１４０４がボタンを押すか、そうでなければオプションを選択し、構成装置２０２０が残りの操作を実行して撮像装置１４１０を構成し起動することで、画像収集のために１回だけボタンを押すことを容易にすることができる。例えば、装置２０２０は、画像収集のために患者情報と共に撮像装置１４１０に提供されるＤＩＣＯＭヘッダ情報を生成する。得られた画像は、患者の病歴、血圧などのデータを含むＤＩＣＯＭヘッダと関連付けることができる。以前の画像、以前の診断、他のモダリティからの情報などに関する情報を含めることができる。
展開済み学習装置２０５０は、良い（または十分な）品質の画像に応答し、低い（または不十分な）品質の画像が得られたときにはユーザ１４０４に提案を提供するように訓練される。装置２０５０は、良好な画像品質を認識し、特定の状況においてその高品質の画像を収集するために使用される設定をその特定の状況に対するデフォルト設定として提案する。（例えば、悪い設定、ユーザの誤りなどにより）悪い品質の画像が収集された場合、装置２０５０は、間違いを修正するために変更することができる異なる設定を提案することなどによって、間違いから回復する方法を提案することができる。入力パラメータは、デフォルトの視野（ＤＦＯＶ）、中心、電圧（ｋＶ）、電流（ｍＡ）、ピッチ、配向、注入速度、注入タイミングなどを含む。ランドマークを識別してそれらの設定を使用するためにスカウト画像を収集するのではなく、展開済み装置２０５０を通じたディープラーニングは、スキャン範囲、視野、および／または他の設定のワンクリック決定を容易にすることができ、オペレータは、例えば画像収集を修正または承認し起動することができる。
例えば、肝臓の検査では、患者をスキャンするための様々な方法がある。純粋なオペレータの選択、血液検査などではなく、症状、検査の指示の理由、血液検査の結果などを提供することによって、展開済み学習装置２０５０は、患者１４０６をどのようにスキャンするか、造影剤注入を使用するか使用しないか（例えば、どれくらい速く、濃度、総注入量など）、デュアルエネルギーを使用するか使用しないかなどを決定することができる。ＣＴ、ＭＩＣＴ、ＳＰＥＣＴ、ＰＥＴなどの複数の撮像モダリティについて設定を評価して構成することができ、これらは、異なる出力に対して異なる入力で同じプロセスをたどる。心臓撮像、神経灌流、肺がんのスクリーニング、治療反応などは、構成装置２０２０を使用して支援および改善することができる。
例えば、患者１４０６が造影肝臓検査を予定している場合には、正常な心臓の大きさ、大きさ、および肝機能を有する患者は特定の造影剤設定を使用するが、しかし、患者の心臓機能が低い（例えば、低下している）場合には、より遅いボーラス（例えばより遅い注入速度）およびより長く希釈された造影剤を撮像装置１４１０で設定して、造影剤を患者の特定の場所に確実に提供することを助けることができる構成装置２０２０によって提供されるより正確な構成設定がなくても、９００を超える患者のビューを得ることができる。しかしながら、事前学習を活用することによって、例えば、診断には６０の見解しか関与しない可能性がある。特定の例では、システム健全性モジュール１５５０およびシステム設計エンジン１５６０を用いて、システムが最適な性能で動作していない場合には、撮像装置１４１０が正常に動作していなくても収集および／または再構成を調整して診断画像品質を得ることができる。特定の例では、訓練用学習装置２０１０は、装置２０１０にそのノード、接続部、重みなどを再評価させるように（例えば、定期的に、および／または結果、データの種類、試験の種類などのイベントトリガに基づいて）摂動することができる。
特定の例では、装置２０２０への、ならびに／あるいは装置２０２０からのフィードバックは、入力データ、実際の出力、および望ましい出力を含む記憶装置に取り込まれる（例えば、クラウドベースの記憶などに格納および／またはバッファされる）。十分な量のフィードバックが受信されると、装置１１２０の訓練学習ネットワーク２０１０は、受信したフィードバックデータの量に応じて（例えば、元のフィードバックデータと追加のフィードバックデータなどに基づいて）増分的に再訓練されるか、または追加のフィードバックデータを使用して新たに訓練される。したがって、訓練用ネットワーク２０１０は、時間の経過と共に、撮像装置１４１０などのユーザおよび／またはサイトの嗜好について学習し、展開済み学習装置２０５０を再展開することによって、設定、アラート、推奨プロトコルなどの嗜好に反応することができる。
画像再構成の例
上述のように、収集画像データは、機械処理および／または人間による観察のために再構成および／または他の方法で処理することができる。しかしながら、画像データが意図された機械処理および／または人間の読み取りにとって十分な品質でなければ、撮像装置１４１０による画像収集は成功せず、患者１４０６にとって有益ではない。
画像品質は医用撮像にとって重要なパラメータである。以前は、空間分解能、時間分解能、低コントラスト検出能などの従来の撮像測定メトリックが、Ｘ線ＣＴなどの様々な撮像装置の性能を比較するために医療用撮像業界で広く使用されてきた。最近では、タスクベースの結果の性能にリンクさせることができる画像品質メトリックを再定義することに大きな努力が払われている。しかしながら、複雑な解剖学的構造、対象物に依存する空間分解能、線量に依存する空間分解能、画像テクスチャ、用途依存性、ノイズおよびパターン、人間の視覚系、画像アーチファクト、解剖学的構造に依存する時間分解能、対象物に依存する低コントラスト検出能（ＬＣＤ）、線量に依存するＬＣＤなどの画像品質に影響を及ぼす多数の要因のために、これらの努力は限定された成功しか収めていない。
特定の例では、反復的な再構成は、多くのメトリックを非線形にし、予測可能性を低くする。例えば、反復的な再構成画像の変調伝達関数（ＭＴＦ）は、線量依存性と同様に対象物のコントラストに依存する。したがって、例えばＣＴシステム全体に対して１セットのＭＴＦ番号を引用するだけではもはや不十分である。ＭＴＦが得られた試験条件を示さなければならない。これは数値を複雑な多次元変数に変換する。
この問題は人間の視覚系によってさらに複雑になる。画像の「品質」の判断は、観察者によって異なる可能性がある。例えば、各放射線科医は過去の経験に基づいて画像の外観に自分の好みを持っている。一部の放射線科医はより粗いノイズテクスチャを好むが、他の放射線科医はより細かいテクスチャを好む。多くの場合、放射線科医は画像内のノイズの存在と画像内の構造の「鮮明さ」を結び付ける。さらに、画像テクスチャは現在数学的に定義することができない。例えば、ノイズパワースペクトル（ＮＰＳ）の導入など、多くの試みでは、ノイズテクスチャの微妙な違いを区別することができない。
問題の複雑さを考慮して、特定の例は、ディープラーニングおよび／または他のマシンラーニングに基づいて画像品質メトリックを確立するためのシステムおよび方法を提供する。説明のみを目的として、この方法論はＸ線ＣＴ撮像解析と品質メトリックに焦点を当てている。しかしながら、そのような技術は、ＭＲ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、超音波などの他の撮像モダリティに広く適用可能であり得ることを理解されたい。
Ｘ線ＣＴでは、画像品質指数（ＩＱＩ）は、線量などの複数の要因を含み、Ｘ線束のレベルなどの環境要因によって影響を受ける可能性がある。一般に、より高いＸ線線量はより良い画像品質を生み出す。しかしながら、ＣＴは電離放射線を使用するので患者の健康に有害な影響があり、高レベルの放射線被曝はがんの可能性の増加に関連している。したがって、図２２のグラフに示すように、患者に提供される線量の関数としてＩＱＩを確立することが望ましい。ＩＱＩ対線量は臨床応用に依存する可能性があることに留意されたい。例えば、４０〜５０ミリグレイ（ｍＧｙ）の放射線を用いて良好な造影剤を用いない頭部画像を生成し、一方、８〜１０ｍＧｙを用いて良好な腹部および骨盤の画像を生成する。
特定の例では、ＩＱＩは、人間が消費するための５段階の尺度に基づいている。他の例では、画像分類の確率値の変化としてコンピュータ解析のために画像品質が生成される。例えば１〜５の尺度で、３は画像が診断可能である（例えば診断品質である）ことを示し、５は完全な画像（例えばおそらく高すぎる線量で）を示し、１はその画像データが診断には使用できないことを示す。その結果、好ましいスコアは３〜４である。ＤＤＬＤ１５３２は、放射線科医の行動および１〜５の尺度を模倣することによって、収集画像データに基づいてＩＱＩを生成することができる。画像データ属性を使用して、ＤＤＬＤ１５３２は、画像を解析し、特徴（例えば、小さな病変）を決定し、そして画像データ中の各特徴の診断品質を評価することができる。ＩＱＩが低い場合（例えば、１、２など）、ＤＤＬＤ１５３２は、収集ＤＤＬＤ１５２２において画像品質を改善する方法に関する提案を提供することができる。ＩＱＩが満足のいくものである場合（例えば３、４など）、その画像をユーザ１４０４（例えば放射線科医など）の読み取りのために推奨することができる。特定の例では、学習および改善ファクトリ１５３０は、特定のユーザおよび／またはサイトの画像品質の嗜好について経時的に学習することができる。例えば、医師Ｓは通常４のＩＱＩを持つ画像を見るのが好きである。これを学習すると、学習および改善ファクトリ１５３０および／または画像品質評価エンジン１５７２は、４のＩＱＩを達成するためのスキャンプロトコルを提案するか、またはプロトコルが医師ＳのＩＱＩ嗜好を達成しないであろうという警告をトリガすることができる。したがって、再構成学習および改善ファクトリ１５３０および／または画像品質評価エンジン１５７２は、ＩＱＩ決定に基づいて自己学習プロトコルを容易にすることができる（例えば、ファクトリ１５３０は、ユーザがＹのＩＱＩに達するためにプロトコルＸを好むことを学習する、など）。
特定の例では、再構成ＤＤＬＤ１５３２は、特定の値またはクラスに属する変動確率を有するものとして画像をモデル化することができる。例えば、画像は、関連する確率が９０％、画像がクラス５に属する確率が９％、および画像がクラス３に属する確率が１％で、クラス４に属するものとして分類することができる。時間の経過に伴うこれらの割合の値を活用して、段階的な変化をより詳細なレベルで統計的に判断することができる。
ＩＱＩを生成する従来の方法は成功していないが、少なくともそれらは非線形反復再構成および人間の視覚系の予測不可能な性質を説明することができないので、特定の例は非線形反復再構成および人間の視覚化を説明するＩＱＩ生成を提供する。上記のように、ディープラーニングを使用して、入力データおよび所望の出力に基づいてターゲットアルゴリズムを訓練および改良することができる。特定の例は、ＩＱＩなどの画像再構成および画像品質メトリックの決定に、ディープラーニングおよび／または他のマシンラーニングを適用する。
ディープラーニングは、階層化アプローチを使用して対象物を認識することによって人間の脳を模倣しようとする。ディープラーニングネットワークが下位層から上位層にナビゲートされるにつれて、より高レベルの特徴セットが抽出され抽象化される。抽出および抽象化は、質問に対する答え、および答えを決定するために使用する重要な「特徴」の識別を提供する。例えば、ＩＱＩを決定するために使用される画像特徴は、局所信号対雑音比、マルコフ確率場、スケールおよび空間ベースのガボールウェーブレット分解、フーリエ変換などを含む。これらの特徴は、例えば、ニューラルネットワークを初期化し、自動特徴マップを補足して画像品質のための分類器を生成するために使用することができる。画像は、様々なモダリティの二次元（２Ｄ）、三次元（３Ｄ）、四次元（４Ｄ）、またはｎ次元（ＮＤ）の画像とすることができる。
ディープラーニング入力は、例えば、ラベル付き画像および／またはラベルなし画像を含む。ラベル付き画像は、臨床用途、人体の解剖学的構造、および／または他の重要な属性に基づいて分類することができる。ラベル付き画像もまた画像品質評価を受けており、各ラベル付き画像にＩＱＩを割り当てることができる。ラベル付き画像は、その画像を用いて臨床上の決定を下すための信頼水準に基づいて評価される。例えば、レベル３は画像に基づいて決定を下すのに十分な信頼度を示し、レベル５は画像に基づいて決定を下す際の最高レベルの信頼度を示す。一方、レベル１は、そのような画像が診断に使用できないことを示す。ラベル付き画像は、最初にディープラーニング画像品質アルゴリズムを訓練するために使用される。
図２３Ａ〜図２３Ｂは、画像品質ディープラーニングネットワークのための例示的な学習段階および試験／評価段階を示す。図２３Ａの例に示すように、既知のラベル付き画像２３１０が畳み込みネットワーク２３２０に適用される。画像２３１０は複数のユーザを使用して収集され、それらの画像品質指数は既知である。図１〜図３に関して上述したように、畳み込み２３２０を入力画像２３１０に適用して特徴マップを生成し、プーリング２３３０は画像サイズを縮小して関心のある特徴を含む画像２３１０の部分２３２５を分離して完全に接続された層２３４０を形成する。分類器２３５０（例えば、ソフトマックス分類器など）は、関心のある特徴を表すノードと重みを関連付ける。分類器２３５０は、既知の画像品質指数２３６０を生成するために使用することができる重み付けされた特徴を提供する。特定の例では、平均画像品質指数などの中心的傾向メトリックを、訓練目的のための既知の画像品質指数２３６０として使用することができる。評価は、例えば個々の画像に対して別々に実行することができる。
図２３Ａの例では、いくつかの畳み込みカーネル２３２０によって入力２３１０を畳み込むことによって、いくつかの特徴マップが作成される。各畳み込みカーネル２３２０はランダムに初期化され、学習が進むにつれて、ランダムカーネルは「特徴マップ」に収束する。これにはプール層２３３０が続く。完全に接続された層２３４０はプール２３３０によって形成され、追加の畳み込み層およびプール層が任意に追加されてもよい。分類器段階２３５０は、出力指数２３６０を決定するための最後の層である。特定の例では、ネットワーク２３００の訓練は、確率的勾配法（ＳＧＤ）を使用してバッチで行われる。
ラベルなし画像は、画像内の特徴を識別し、ラベル付けするためにまだ評価されていない画像である。ラベルなし画像を使用して、図２３Ａで訓練されたディープラーニングアルゴリズムの性能を試験し、そしてアルゴリズム性能を改良することができる。図２３Ｂの例に示すように、例示的ネットワーク２３００はまた、ラベルなし画像２３１５にも適用することができる。画像品質指数２３６５を生成し、既知の画像品質指数２３６０と比較して、ネットワーク２３００の開発および信頼性を評価することができる。ネットワーク２３００が試験され、画像品質の満足のいく決定要因であることがわかった場合には、ネットワーク２３００は、例えば、再構成ＤＤＬＤ１５３２として展開することができる。
特定のＩＱＩに関連付けられるように画像を分類するのに役立つことがあるいくつかのディープラーニングと他のマシンラーニング技術がある。例えば、ディープコンボリューションネットワークは、ラベル付きデータの可用性、計算上およびメモリ上の制約、パフォーマンス要件などに応じて、いくつかの方法で設定することができる。例示的なディープ畳み込みネットワークの畳み込み層では、初期層は、ノード重みがパラメータ化正規確率変数を使用して初期化される複数の特徴マップを含む。特徴マップの後には第１のプーリング層が続き、それに続いて第２の畳み込み層があり、それに続いて第２のプーリング層が続き、以下同様である。後続のプーリング層および畳み込み層は、構成、複雑さ、データの種類、ターゲット環境などに応じて任意に選択できる。最終層は、ネットワーク内の任意選択を評価するための、例えば、ソフトマックス分類器を使用する分類層である。
特定の例では、分類層に対する重みおよびバイアスは０に設定される。ソフトマックス層からの出力は、合計１までの正数の集合である。言い換えれば、ソフトマックス層からの出力は確率分布として考えることができる。この分布を使用して、ネットワークは所望のハイパーパラメータの値を選択するために使用することができる。図２４Ａ〜図２４Ｂは、例示的なディープコンボリューションネットワークのための例示的な学習、検証、および試験段階を示す。
図２４Ａの例に示すように、多数のラベル付きデータが医療データの収集において利用可能ではない場合には、例示的ネットワーク２４００を訓練し、検証し、そして試験することができる。学習段階２４１０において、ラベル付き画像は教師なし学習層２４１３（例えば、オートエンコーダなど）に入力２４１１される。教師なし学習層２４１３は、入力２４１１用の特徴空間を初期化する。教師なし学習層２４１３による処理の後、画像情報は次に畳み込みネットワーク２４１５の１つまたは複数の教師付き学習層に渡される。上述のように、畳み込み層２４１５を介して特徴マップを作成し、特徴を縮小することができる。教師付き学習層２４１５は、ネットワーク２４００内の隠れ層であり、逆伝搬を実行する。次に、出力は分類層２４１７を介して分類され、分類層２４１７は重みおよびバイアスを解析し、１つまたは複数の画像品質指数２４１９を生成する。
検証段階２４２０において、ハイパーパラメータは、ラベルなし画像２４２１を教師なし学習層２４１３に入力し、次に畳み込みネットワーク２４１５の教師付き学習層に入力することによって調整される。分類２４１７の後、１つまたは複数の画像品質指数２４１９が生成される。
検証段階２４２０の間にパラメータを調整した後、試験段階２４３０は、畳み込みネットワークの学習された層２４３５を使用して入力ラベルなし画像２４３１を処理する。分類層２４１７は画像品質指数２４３９を生成する。
ラベル付きデータの多くのセットが利用可能である場合には、図２４Ｂの例に示すようにネットワークを訓練し、検証し、試験することができる。学習段階２４４０において、ラベル付き画像は畳み込みネットワーク２４４５の１つまたは複数の学習層に入力２４４１される。上述のように、特徴マップを作成することができ、特徴を畳み込み層２４４５を介して縮小することができる。次に、出力は分類層２４４７を介して分類され、分類層２４４７は重みおよびバイアスを解析し、１つまたは複数の画像品質指数２４４９を生成する。
検証段階２４５０では、ラベルなし画像２４５１を畳み込みネットワーク２４４５の学習層に入力することによってハイパーパラメータが調整される。分類２４４７の後、１つまたは複数の画像品質指数２４５９が生成される。
検証段階２４５０の間にパラメータを調整した後、試験段階２４６０は、畳み込みネットワークの学習された層２４６５を使用して入力ラベルなし画像２４６１を処理する。分類層２４４７は画像品質指数２４６９を生成する。
図２４Ａ〜図２４Ｂの例はオートエンコーダおよびディープコンボリューションネットワークを用いて示されているが、ディープ残差ネットワークも同様に例において使用することができる。ディープ残差ネットワークでは、所望の基礎となるマッピングは、ネットワークの積み重ねられた非線形内部層に関して明示的に定義される。フィードフォワードニューラルネットワークを使用して、ディープ残差ネットワークは、ノードを接続するために１つまたは複数の内部層を飛び越えるショートカット接続部を含むことができる。ディープ残差ネットワークは、上述したように、逆伝搬を用いた確率的勾配降下法（ＳＧＤ）によって端から端まで訓練することができる。
さらに、ディープラーニングネットワークは、運用中の継続的な学習および評価を通じて改善することができる。特定の例では、入力データの前処理と組み合わせたニューラルネットワークの中間層の解析を使用してデータ内の冗長度を決定し、データ生成効率を高めることができる。データの前処理は、主成分解析、ウェーブレット分解、フーリエ分解、整合フィルタ分解などを含むことができるが、これらに限定されない。各前処理は異なる解析を生成することができ、前処理技術は１つまたは複数の既知の条件下でディープラーニングネットワークの構造に基づいて組み合わせることができる。次いで、メタ解析は、（例えば、実行された各前処理機能からの）複数の個々の解析にわたって実行することができる。
特定の例では、ディープラーニングシステムからのフィードバックを使用して入力パラメータ選択を最適化または改善し、それによって入力（例えば画像データ、装置パラメータなど）を処理して出力（例えば画像品質、装置設定など）を生成するのに使用されるディープラーニングネットワークを変更することができる。生データを作成するために入力パラメータのセット全体をスキャンするのではなく、アクティブラーニングのバリエーションを使用して、最良の結果が得られる開始パラメータ空間を選択し、次にパラメータ値をランダムに減少させて画像品質を低下させるが品質値の許容範囲を依然として維持する生入力を生成することができる。値をランダムに減少させると、ネットワーク内の冗長ノード、冗長接続などを排除するなど、画像品質にほとんど影響を与えない入力を処理することによって実行時間を短縮できる。
例えば、複数の入力パラメータを使用して各生データセットを処理し、対応する出力データセットを生成する一方で、処理済み出力データセットを依然として維持するパラメータセット値を減らすために、検索戦略を用いてパラメータ空間をナビゲートする。最初に、データ処理に使用されるパラメータ（例えば、再構成パラメータなど）が決定される。図２５Ａの例に示すように、訓練済みネットワーク２５００を活用して、再構成パラメータの開始パラメータセットまたは初期パラメータセット２５１０の出力品質（例えば、再構成画像データセットのＩＱＩ）を決定し、ベースラインとして使用する。例えば、開始パラメータセット２５１０は、再構成パラメータＰａｒａｍ ０、Ｐａｒａｍ １、…、Ｐａｒａｍ Ｎを含む。既知の値（冗長パラメータを含む）から開始して、Ｎ個のデータセットについて基準ＩＱＩを決定することができる。
目標はパラメータの数を減らすことであるから、停止基準が満たされるまで（例えば、悪い結果をもたらす既知の自明な選択を排除するなど）、パラメータ値は所与の戦略（例えば勾配度合いなど）に従って減少する。パラメータ値セレクタ２５０４は、検索空間を制限し検索結果を更新する検索方針を決定する。生データセット２５０６（例えば、データセット０、データセット１、…、データセットＮ）は再構成２５０８のために処理されてＮ個の再構成画像データセット２５１０を生成する。ＩＱＩ比較器２５１２は、各画像データセット２５１０を処理してパラメータ値セレクタ２５０４へのフィードバック値を生成する。フィードバック値は、平均パラメータベースのＩＱＩと現在の平均パラメータベースのＩＱＩとの間の視差に基づく。このプロセスは、正規化された空間内の各パラメータに対するパラメータ剪定プロセスの一般的な振る舞いをマップするために、異なるデータセットに対して繰り返される。最小のパラメータ値を提供するセットが識別されるまでプロセスは繰り返され、それは依然として最良の利用可能な解決策として使用することができる許容可能な画像品質を提供する。
図２５Ｂは、展開済みネットワークモデルを使用した画像品質評価およびフィードバックのための例示的なシステム２５０１を示す。図２５Ｂの例に示すように、収集パラメータ更新器および再始動器２５２０は、収集エンジン１４３０に更新を提供する。再構成パラメータ更新器および再始動器２５２２は、再構成エンジン１４４０に更新を提供する。オーケストレータ２５２４は、エンジン２５２０、２５２２、および展開モデル２５２６を有する画像品質評価エンジンの間で調整する。画像品質学習および更新ファクトリ２５２８は、訓練画像データベース２５３０から学習して、画像品質評価エンジン２５２６（例えば、画像品質評価エンジン１５７２など）と共に展開されるディープラーニングネットワークモデルを訓練する。動作中、展開済みモデル２５２６を有する画像品質評価エンジンは、例えば、ファクトリ２５２８の継続的な監視および改善に使用することができる情報を訓練画像データセット２５３０に提供する。訓練画像データセット２５３０は、例えば、異なるクラスの例示的な誤差状態を表す画像データを含むことができる。オーケストレータ２５２４を使用して、収集エンジン１４３０および／または再構成エンジン１４４０は、例えば、それぞれ収集パラメータ更新器および再始動器２５２０、および／または再構成パラメータ更新器および再始動器２５２２によって更新および再始動することができる。
図２５Ｃは、診断エンジン１４５０に関連する検出／診断パラメータ更新器および再始動器２５３２をさらに含む例示的なシステム構成２５０３を示す。例示的システム２５０３はまた、展開モデル２５３４を有する検出／診断評価エンジンを含む。展開モデル２５３４を有する診断評価エンジンは、訓練画像データベース２５３０からのデータを活用して検出／診断学習および更新ファクトリ２５３６から生成される。訓練画像データベース２５３０は、例えば、異なるクラスの例示的な状態の検出および診断を表すデータを含む。
図２５Ｃの例では、オーケストレータ２５２４は、エンジン２５２０、２５２２、２５３２、および展開済みモデル２５３４を有する検出／診断評価エンジンの間で調整を行う。検出／診断学習および更新ファクトリ２５３５は、訓練画像データベース２５３０から学習して、検出／診断評価エンジン２５３４（例えば、診断評価エンジン１５７４など）と共に展開されるディープラーニングネットワークモデルを訓練する。動作中、展開済みモデル２５３４を有する検出／診断評価エンジンは、例えば、ファクトリ２５３４の継続的な監視および改善に使用することができる情報を訓練画像データセット２５３０に提供する。エンジン２５３４は、例えばエキスパート２５３８と連携して動作することができる。オーケストレータ２５２４を使用して、収集エンジン１４３０、再構成エンジン１４４０、および／または診断エンジン１４５０は、例えば、収集パラメータ更新器および再始動器２５２０、再構成パラメータ更新器および再始動器２５２２、ならびに／あるいは検出／診断パラメータ更新器および再始動器２５３２によってそれぞれ更新および再始動することができる。
特定の例は、ターゲットの収集画像データからタスクベースの画像品質を計算するためにディープラーニングおよび／または他のマシンラーニング技術を利用する。人間は、画像を見ることによって画像品質のレベル（例えば、ノイズ、解像度、一般的な診断品質など）を視覚的に理解することができるので、人工知能または学習方法（例えば人工ニューラルネットワークなどを使用）を訓練して画像品質を評価することができる。画像品質（ＩＱ）は、通常、ワイヤ、線対、および均一領域（例えば、空気、水、他の材料などから形成される）を使用したファントムスキャンに基づいて推定されてきた。これは、人間のオペレータによる物理的ファントムの別個のスキャンと技師および／または放射線科医による読み取りとを必要とし、画像品質を測定するために複数のファントムスキャンを実行することは実際的ではない。さらに、画像品質自体は、スキャンされている対象物または患者に依存し得る。したがって、試験ファントムを用いた画像品質は、実際の患者をスキャンするときに得られる品質を表すものではない可能性がある。最後に、点拡がり関数（ＰＳＦ）の半値全幅（ＦＷＨＭ）、変調伝達関数（ＭＴＦ）のカットオフ周波数、線対の最大可視周波数、ノイズの標準偏差などの従来のＩＱメトリクスは、真のタスクベースの画像品質を反映していない。代わりに、特定の例では、収集した臨床画像から直接ＩＱを推定することが効果的である。特定の例は、学習モデルと呼ばれる、特徴ベースのマシンラーニングまたはディープラーニングアプローチを使用して画像品質を評価する。特定の例では、タスクベースの画像品質（および／または全体的な画像品質指数）は、実際の患者の画像および／または対象物の画像から直接計算することができる。
関心のある既知の画像品質（ＩＱ）を有する画像（例えば、臨床画像）を使用して、学習モデルを訓練することができる。追加の訓練画像は、元の画像を操作することによって（例えば、異なる画像品質を有する訓練画像を得るためにぼかしまたはノイズ挿入などによって）生成することができる。学習モデルが訓練されると、そのモデルを新しい臨床画像に適用して、関心のある画像ＩＱを推定することができる。
例えば、平均、標準偏差、尖度、歪度、エネルギー、モーメント、コントラスト、エントロピーなど、切り取られた生画像データおよびエッジマップ情報などから得られた画像入力特徴は、マシンラーニングシステムのためのトレーニングセットを形成するために、空間解像度レベル、空間解像度値などの１つまたは複数のラベルと組み合わされる。マシンラーニングネットワークは、訓練セットを使用して訓練モデルを形成し、そのモデルを画像データの試験セットから得られた特徴に適用する。その結果、マシンラーニングネットワークは、訓練モデル情報に基づいて推定空間分解能（例えば、レベルおよび／または値）を出力する。
特定の例では、回帰および／または分類方法を使用して、訓練データを対応する画像ＩＱメトリックの絶対値および／またはレベルでラベル付けすることによって画像品質メトリックを生成することができる。すなわち、メトリックは、画像品質の定量的尺度（例えば、ノイズレベル、検出可能性など）、画像品質の記述的尺度（例えば、リッカートスコアなど）、画像品質の分類（例えば、画像が診断的であるかどうか、アーチファクトがあるかどうかなど）、および／または画像品質の全体的な指標（例えば、ＩＱＩ）を含むことができる。
特徴ベースのマシンラーニング手法では、モデル訓練への入力は、訓練画像データセットから抽出された特徴を含む。特徴選択は、関心のある画像ＩＱに合わせて調整することができる。特徴は、強度値のヒストグラムに基づく特徴（例えば、平均、標準偏差、歪度、尖度、エネルギー、エネルギー、コントラスト、モーメント、エントロピーなど）を含むが、これらに限定されない。これらの特徴は、生の画像データから計算することができ、および／または局所強調および／または他の画像操作および／または変換のために画像に差分フィルタを適用した後に抽出することができる。これらの特徴は、画像全体、トリミング画像、および／または１つまたは複数の関心領域（ＲＯＩ）から計算することができる。隣接行列（Ｍａｈｏｔａｓ Ｈａｒａｌｉｃｋなど）に基づくグローバルおよび／またはローカルテクスチャ特徴も含めることができる。
ディープラーニング（例えば、畳み込みニューラルネットワーク）ベースのアプローチでは、一組の特徴を定義する必要はない。ＤＬＮは、訓練データセットの解析に基づいて特徴自体を識別する。特定の例では、特徴が入力の一部として識別されている特徴ベースのマシンラーニングアプローチを用いるよりも多くのデータが訓練に関与している（特徴が識別されていない場合）。
したがって、特定の例では、入力は、完全な画像、トリミングされた画像（例えば、関心領域にトリミングされた）、画像パッチなどを含むことができる。画像パッチを用いると、より小さな画像パッチを使用して局所的に画像品質を評価することができ、画像の画像品質マップを生成することができる。定量的画像ＩＱ、例えば空間分解能、ノイズレベル、および／またはタスクベースのＩＱメトリクス（例えば、検出能など）などのメトリクスは、臨床画像から直接抽出することができる。放射線量を減らすか最小限に抑えながらリアルタイム（あるいは処理、記憶、および／またはデータ伝送レイテンシがある場合には実質的にリアルタイム）でスキャン技術および再構成を改善または最適化するために、および／または診断などを助けるために臨床医に定量化された画像ＩＱを提供するために、画像を収集する間に、撮像技術（例えば、ハードウェアおよび／またはアルゴリズム）を比較するなどのために、画像品質評価が実行されるかまたは望まれる任意の状況において特定の例を適用することができる。提案された技術は、ＭＲＩ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、トモシンセシス、超音波などのＣＴの例の間の他の撮像モダリティに適用することができる。
したがって、（例えば、画像解像度などにおける）変動の原因を識別し、変動を考慮して画像を再構成することによって、標準化変換は、マシンラーニングネットワークによって作成され、改良され、そして（例えば、再構成エンジン１４３０および関連するＤＤＬＤ１５３２を使用して）画像再構成に適用することができる。画像属性が計算される場合には、再較正変換が開発され、改良され、そして画像属性を計算するために適用され得る。解析は臨床医に提供され、ラーニングネットワークを使用して画像解像度を評価するために使用することができる。
例えば、データセットがボリューム当たり２２４個の画像を有する９つの心臓ボリュームを含むと仮定する。ガウスぼかしを画像に適用して、４つの追加の解像度レベルで画像を生成する。合計サンプルサイズは、２２４＊５＊９＝１００８０である。生の画像データから７つの特徴が抽出され、画像のエッジマップから８つの特徴が抽出される。サンプルを訓練セット（７０％）と試験セット（３０％）に分割することで交差検定が容易になり、ランダムフォレスト回帰が使用された。
結果が生成され、（マシンラーニングを使用して）推定された誤差または分布と実際の（測定された）誤差または分布との間で対比された。例えば、図２６は、推定されたＦＷＨＭ（ミリメートル単位）と真のＦＷＨＭとの比較を示す。図２７は、真のＦＷＨＭ分布の一例を示す。図２８は、推定されたＦＷＨＭ分布の一例を示す。図２９は、ＰＳＦのＦＷＨＭにおける例示的な推定された誤差（例えば、推定されたＦＷＨＭ−真のＦＷＨＭ（ｍｍ））を示す。図３０は、例示的なデータセットからの特徴の重要度の例示的な比較を示す。図３０の例示的なグラフは、特徴指数によって特徴の重要度を構成する。生画像データからの特徴は、０：平均、１：尖度、２：歪度、３：エネルギー、４：モーメント、５：コントラスト、６：エントロピーを含む。エッジマップからの特徴は、７：平均、８：標準偏差、９：尖度、１０：歪度、１１：エネルギー、１２：モーメント、１３：コントラスト、１４：エントロピーを含む。例示的なデータから示すように、マシンラーニングは臨床データセットから空間分解能を推定するための合理的な結果をもたらす。さらに、エッジマップのエントロピーは、生画像のエントロピーと同様に、空間解像度を推定するための重要な特徴であることが示されている。
さらなる使用事例は、肺結節／石灰化または小構造検出および肺がん検出のための解析を含むことができる。変動源は、ノイズ（例えば、ｍＡ、ピークキロボルト電圧（ｋＶｐ）、患者のサイズなど）、解像度（例えば、再構成カーネルの種類、厚さ、ピクセルサイズなど）、呼吸運動および心臓運動（例えば、回転速度および患者のコンプライアンスなど）、ブルーミングアーチファクト（例えば、再構成方法、部分体積、動きなど）を含むことができる。結果への影響には、過小評価および見落とされた構造につながる体積および密度の測定誤差が含まれる可能性がある。別の使用事例は、冠状動脈疾患（ＣＡＤ）を診断するための心臓灌流解析を含むことができる。変動源は、患者の生理機能（例えば、交差する患者と同じ患者、小さいダイナミックレンジなど）、ビーム硬化アーチファクト（患者の取り込み、ボーラスタイミングなど）、心臓の動き、コントラストプーリングなどを含むことができる。結果への影響は、誤った灌流マップ（例えば、灌流障害の見逃しまたは灌流障害の誤った診断など）を含むことができる。別の使用事例は、がん検出のための肝病変／小さな暗い構造を含むことができる。変動源は、ノイズ（例えば、ｍＡ、ｋＶｐ、患者サイズなど）、解像度（例えば、再構成カーネルの種類、厚さ、ピクセルサイズなど）、構造化ノイズ（例えば、ストリーク、パターン、テクスチャなど）、シャドウイングアーチファクト（例えば、骨、肋骨、脊椎再構成アーチファクトなど）、動きなどを含むことができる。結果への影響は、コントラストの検出性が低いために病変の見落としや誤った診断を含むことができる。
別の使用事例は冠状動脈／血管撮像を含むことができる。変動源は、ストリークまたはブルーミングアーチファクト（例えば、再構成方法、部分体積、動きなど）、ノイズ（例えば、ｍＡ、ｋＶｐ、患者サイズなど）、解像度などを含むことができる。結果への影響は、内腔の解析が必要な場合に、ノイズと分解能がより大きな影響を与えることを含むことができる。
別の使用事例は、脳卒中に対する脳灌流を含むことができる。変動源は、骨からのシャドウイングアーチファクト、小さな生理学的変化（例えば、ダイナミックレンジが小さいなど）、構造化ノイズ（例えば、再構成方法など）などを含むことができる。結果への影響は、誤った灌流マップ（例えば、灌流障害の見逃しまたは灌流障害の誤った診断など）などを含むことができる。
別の使用事例は、慢性閉塞性肺疾患（ＣＯＰＤ）および／または他の肺疾患（例えば、じん肺など）の診断および分類（例えば、胸部ＶＣＡＲ）などを含むことができる。変動源は、ノイズ（例えば、ｍＡ、ｋＶｐ、患者のサイズ、スライスの厚さなど）、解像度（例えば、カーネル、ピクセルサイズ、厚さのサイズなど）、コントラスト（例えば、ヨウ素など）、患者の生理学（例えば、スキャン中の肺容量、画像などから測定することができる）、呼吸の動きなどを含むことができる。結果への影響は、測定誤差（例えば、気道の直径／周囲、内腔の狭小化の過小評価、壁の肥厚の過大評価など）などを含むことができる。
別の使用事例は、肝脂肪の定量化（例えば、脂肪症の等級付け、肝硬変の病期分類など）を含むことができる。変動源は、ノイズ（例えば、ｍＡ、ｋＶｐ、患者サイズなど）、解像度（例えば、再構成カーネルの種類、厚さ、ピクセルサイズなど）、構造化ノイズ（例えば、ストリーク、パターン、テクスチャなど）、シャドウイングアーチファクト（例えば、肋骨、脊椎再構成アーチファクトなど）などを含むことができる。結果への影響は、測定誤差やステージミスなどを含むことができる。別の使用事例は、他の臓器（例えば腎臓移植片など）または臓器内の塊（例えば嚢胞または結石など）などの体積／サイズの定量化を含むことができる。
図３１Ａは、画像再構成のための例示的な方法３１００の流れ図である。ブロック３１０２では、画像データが収集エンジン１４３０から受け取られる。例えば、再構成エンジン１４４０は、収集エンジン１４３０を介して撮像装置１４１０から画像を受け取る。ブロック３１０４では、画像データが前処理される。例えば、ＤＤＬＤ１５３２は、収集画像データから人間が見ることができる画像および／または機械可読画像を生成するかどうかなど、１つまたは複数の設定またはパラメータに従って画像データを前処理する。例えば、再構成ＤＤＬＤ１５３２は、ノイズの多いデータを変換して高品質のデータを生成するために、（例えば、学習および改善ファクトリ１５３０内のＤＬＮをノイズのあるおよびノイズのない画像対の複数の例について訓練することによって）ノイズ低減アルゴリズムを置き換えるように訓練済みネットワークと共に展開され得る。
上述のように、機械可読画像は人間が見るためにフォーマットされる必要はないが、その代わりに機械解析（例えばコンピュータ支援診断など）のために処理することができる。逆に、人間が見ることのできる画像は、放射線科医および／または他の人間のユーザ１４０４がその画像を読んで評価する（例えば放射線読影を実行する）ことができるように、特徴を明確にすべきである（例えば十分な解像度およびノイズの低減など）。ＤＤＬＤ１５３２は、例えば、再構成前に画像データを評価し、再構成設定を決定することができる。再構成および／または他の処理パラメータは、人間が見ることができる画像および／または機械可読の画像についてＤＤＬＤ１５３２によって決定することができる。
ブロック３１０６では、再構成設定を評価して、人間が見ることのできる画像および／または機械可読画像を生成するかどうかを決定する。いくつかの例では、ユーザ１４０４が閲覧できるように、人間が見ることのできる画像だけが生成されるべきである。いくつかの例では、例えば、診断エンジン１４５０による自動評価のために、機械処理可能な画像データのみが生成されるべきである。いくつかの例では、人間が見ることのできる画像データと機械処理可能な画像データの両方が提供されるべきである。
人間が見ることのできる画像が所望される場合には、次にブロック３１０８で、人間が見るため（例えば、放射線科医の読み取り）の画像データを使用して画像が再構成される。例えば、生データを取り込んで画像を生成する計算集約的な反復再構成アルゴリズムを使用するのではなく、再構成エンジン１４４０およびＤＤＬＤ１５３２（例えば、生画像データと再構成画像対の複数の例について訓練された）が生画像データを処理して、反復アルゴリズムと同等または同等に近い品質の１つまたは複数の再構成画像を生成することができる。さらに、上述のように、ＤＤＬＤ１５３２は、例えば、ノイズの多いデータをより高品質の画像データに変換することができる。さらに、ＤＤＬＤ１５３２は、画像データを調整し、撮像装置１４１０の検出器の視野（ＦＯＶ）外の画像を再構成するための「ワイドビュー」を提供するために使用することができる。検出器の外側のデータを推定するために方程式を使用するのではなく、ＤＤＬＤ１５３２は訓練データセットから学習したことに基づいてギャップを埋めることができる。機械可読画像データが望まれる場合には、ブロック３１１０で、画像データが機械解析のために処理される。ＤＤＬＤ１５３２は、例えば、ノイズを除去し、視野を拡大するなどのために画像データを処理することができる。
ブロック３１１２では、再構成画像が解析される。例えば、画像は、品質、ＩＱＩ、データ品質指数、他の画像品質メトリックなどについてＤＤＬＤ１５３２によって解析される。ＤＤＬＤ１５３２は、再構成画像の内容（例えば、識別された特徴、解像度、ノイズなど）から学習し、（例えば、同じ患者１４０６、同じ種類などについての）以前の再構成画像と比較する。ブロック３１１４では、再構成された画像は診断エンジン１４５０に送られる。画像は、例えば、患者１４０６の診断を容易にするために診断エンジン１４５０およびそのＤＤＬＤ１５４２によって表示および／またはさらに処理することができる。
同様に、ブロック３１１６では、処理された画像データが解析される。例えば、画像データは、品質、ＩＱＩ、データ品質指数、他の画像品質メトリックなどについてＤＤＬＤ１５３２によって解析される。ＤＤＬＤ１５３２は、機械処理可能な画像データ（例えば、識別された特徴、解像度、ノイズなど）の内容から学習し、（例えば、同じ患者１４０６、同じ種類などについての）以前の画像データおよび／または再構成画像と比較する。ブロック３１１８では、処理された画像データは診断エンジン１４５０に送られる。画像データは、例えば、患者１４０６の診断を容易にするために診断エンジン１４５０およびそのＤＤＬＤ１５４２によってさらに処理することができる。例えば、機械可読画像データは、他の患者情報（例えば、病歴、検査結果、２Ｄ／３Ｄスカウト画像など）と共に診断エンジン１４５０に提供することができ、これは、患者１４０６を診断する際にユーザ１４０４を支援するための出力を生成する（例えば、放射線科医が画像を読むのを助けるための支援文書を作成するなど）ために一緒に処理することができる。
図３１Ｂは、画像再構成のための図３１Ａの例示的な方法３１００の特定の実施態様におけるブロック３１１２、３１１６に関するさらなる詳細を示す。図３１Ｂの例示的な方法は、例示的な方法３１００におけるブロック３１１２、３１１６の一方または両方によってトリガすることができる。
ブロック３１２０では、画像／画像データは、収集された画像が良質な画像であるかどうかを決定するために解析される。収集画像データが「良質な」画像を表すかどうかを判断するために、データを１つまたは複数のしきい値、値、設定などと比較することができる。上述のように、患者１４０６の診断のためのデータの信頼性および／または有用性を表すために、ＩＱＩ、他のデータ品質指数、検出能指数、診断指数などを生成することができる。ＩＱＩは、診断のために放射線科医にとって画像の許容性の尺度（例えば、リッカート尺度など）を取り込む。例えば、解像度画像品質、ノイズ画像品質、生検データ品質、および／または他のデータ品質メトリックなどの他の指標を、診断のための画像データの適合性を表すために組み込むことができる。例えば、タスク特有のデータ品質指数は、機械指向解析のための収集画像データの品質を表すことができる。
ブロック３１２２では、収集および処理された画像および／または画像データが十分な品質ではない場合には、再構成ＤＤＬＤ１５３２は、収集された画像データが解析および診断に十分な品質ではないことを示すフィードバックを収集学習および改善ファクトリ１５２０に送る。このようにして、ファクトリ１５２０は、異なる状況に対して画像収集設定を学習し改善し続け、ＤＤＬＤ１５２２を再展開するためのネットワークモデルを生成することができる。ブロック３１２４では、収集エンジン１４３０は、（例えば、ブロック３１０２において）撮像装置１４１０を介して患者１４０６からの画像データの再収集をトリガする。したがって、再構成ＤＤＬＤ１５３２および収集ＤＤＬＤ１５２２は、患者１４０６が依然としてテーブルの上にいる間、または少なくとも撮像装置１４１０の近くにいる間に、撮像パラメータを変更して画像データを再収集するように協働することができ、それにより、患者１４０６およびスタッフへの苦労ならびに機器のスケジューリングが軽減される。
ブロック３１２６では、画像／画像データ品質がしきい値を満たす場合には、画像品質が評価されて、品質が高すぎるかどうかが判定され得る。高すぎる画像品質（例えば、「完全な」画像を示す５のＩＱＩなど）は、画像データを収集するときに患者１４０６が多すぎる放射線に曝されたことを示すことができる。例えば、３または４の画像品質が、ユーザ１４０４および／または診断エンジン１４５０による診断読み取りに十分である場合には、５の画像品質は必要ではない。画像品質が高すぎる場合には、ブロック３１２８では、再構成ＤＤＬＤ１５３２から収集学習および改善ファクトリ１５２０にフィードバックが提供されて、将来の画像収集のために撮像装置１４１０の線量／強度設定を調整する（例えば、特定の種類、その患者のためなど）。次いで、プロセスはブロック３１１４および／または３１１８に続き、再構成された画像（ブロック３１１４）および／または処理された画像データ（ブロック３１１８）を処理および精査のために診断エンジン１４５０に提供する。
システムの健全性およびシステムの改善
上述のように、システム設計エンジン１５６０は、システム１４００、１５００および／またはその個々の構成要素１４１０、１４２０、１４３０、１４４０、１４５０などの１つまたは複数のデジタルモデルを構築し維持する。システム設計エンジン１５６０はまた、潜在的な問題、問題、改善の余地などを特定するためにシステム健全性モジュール１５５０からのシステム健全性の指標を評価する。例えば、エンジン１４３０、１４４０、１４５０からのフィードバックのその処理に基づくシステム健全性モジュール１５５０による劣ったシステム健全性の指標は、例えば、一般的な設計改善の解析をトリガすることができる。
図３２Ａの例に示すように、システム設計エンジン１５６０は、入力フォーマッタ１５６１と、モデルプロセッサ１５６３と、１つまたは複数の訓練用ディープラーニングネットワークモデル１５６５と、出力ジェネレータ１５６９と、を含む。特定の例では、複数のターゲットシステム１５００の構成要素がエンジン１５６０に接続されており、ＤＬＮを各構成要素に関連付けることができる。各ＤＬＮには、それを訓練するための既知の入力と出力が含まれている。入力および出力は、物理的構成要素の入力および出力をシミュレートする。ＤＬＮを構成要素のように接続して、ターゲットシステム１５００のデジタルモデルを導出することができる。デジタルモデルを使用して、モデルプロセッサ１５６３によって数値モデル上で実行されたシミュレーションに基づいて推奨を提供することができる。
例示的なシステム設計エンジン１５６０は、複数の構成要素モデル（例えば、収集デジタルモデル１５８１、再構成デジタルモデル１５８３、診断デジタルモデル１５８５など）および複合システムデジタルモデル１５８７を含むシステムデジタルモデルライブラリ１５８０を含む。モデル１５８１〜１５８７は、訓練用ディープラーニングネットワークモデル１５６５を使用して生成され展開される。モデル１５８１〜１５８５は、それらの対応するシステム１４００、１５００個の構成要素が接続されてターゲットシステムのデジタルモデル（例えば、複合モデル１５８７など）を形成するときに接続することができる。図３２Ｂの例に示すように、各モデル（ここで示される例は複合システムモデル１５８７である）は、入力データ、パラメータ、命令などを受け取るために入力３２０２を使用して実装され、入力を処理して出力を生成するために訓練済みディープラーニングネットワークを使用して生成された展開済みディープラーニングネットワークモデル３２０４は、監視されているターゲットシステム１４００、１５００の１つまたは複数の構成要素の推奨に使用するために、出力３２０６によって取得され、モデルプロセッサ１５６３および／または出力ジェネレータ１５６５に提供される。
システム設計エンジン１５６０はシステム入力および出力を活用する。システム設計エンジン１５６０は、システム設計エンジン１５６０がシステム１５００およびその構成要素の動作を通じて遭遇する予想データの変動性を適切に表すことができる既知の構成要素入力および出力の十分に大きいデータセットを使用して訓練、検証および試験されるＤＬＮ１５８１〜１５８７を含む。ＤＬＮモデル１５８１〜１５８７は、システム１５００全体および／またはその個々の構成要素１４１０〜１４５０、１５２０〜１５４０、１５２２〜１５４２、１５５０、１５５２、１５５５などから入力を受け取る。入力フォーマッタ１５６１は、入力を正規化および／または適切にフォーマットし、入力を確認／検証し、入力を補足するなどのために入力を処理する。モデルライブラリ１５８０内のモデルは、モデルプロセッサ１５６３と協働して入力を処理し、モデル１５８０を使用してシステム１５００および／またはその構成要素１４１０〜１４５０の動作をシミュレートする。訓練モデル１５６５は、例えば、ライブラリ１５８０内のモデル１５８１〜１５８７の再展開のためにモデル１５６５を修正するためのフィードバックを受け取り続けることができる。
特定の例では、システム健全性１５５０の入力１５６１は、使用スケジュール、パターン、装置１４１０、１４２０、１４３０、１４４０、１４５０のステータスなどに基づいて、ＤＬＮモデル１５８０がシステム１５００の動作およびステータスをモデル化して保守および／または交換スケジュールを作成するのを助ける。例えば、再構成ＤＬＮ１５３２からの画像品質の低下に関するフィードバックは、システム健全性モジュール１５５０によって反映され、訓練モデル１５６５を更新するために入力１５６１として提供され、収集デジタルモデル１５８１に影響を与えて、メンテナンススケジュール、交換時期など（例えば、Ｘ線管が故障している、検出器が故障しているなど）を生成および／または修正することができる。
他の例では、ＤＤＬＤ１５２２、１５３２、１５４２からのフィードバックは、撮像装置１４１０、情報サブシステム１４２０などの既存の機器における設計上の制限を識別するために提案または使用することができる。例えば、一貫して目標を外れた画像収集は、撮像装置１４１０内の患者位置決め装置が特定のサイズの患者を適切に位置決めすることができないことをＤＤＬＤ１５５２に示すことができる。ＤＬＮ装置１５５２および関連するシステム学習および改善ファクトリ１５５５が時間の経過と共にこのタイプのフィードバックを集め、画像品質、患者の位置、および患者の大きさの間の接続部を作成するので、ライブラリ１５８０内のモデル１５８１〜１５８７のうちの１つまたは複数は、これらの要因間の関係を決定し、例えば、撮像装置１４１０の物理的設計における変動を提案することができる。
特定の例では、エンジン１５６０および／またはシステム健全性モジュール１５５０からの推奨を使用して、撮像および／または他の検査プロトコルを調整することができる。例えば、「標準」またはデフォルトの撮像プロトコルを特定の場所の撮像装置１４１０に提供することができる。しかしながら、特定のサイトならびにその機器およびオペレータは、特定の好み、制約などを有する可能性がある。システム設計エンジン１５６０は、例えば、受け取った情報を処理し、デフォルトプロトコルとの整合性および不整合性を学習する。次いで、エンジン１５６０は、（例えば、ユーザが無効にするためのオプションおよび／または調整するためのオプションを用いて）そのサイトの撮像プロトコルを提案するおよび／または自動的に変更することができる。
例えば、検査時の患者１４０６の状態に基づいて検査プロトコルを調整することができる。例えば、患者の心拍数および心拍数の変動性を使用して、造影剤量および／またはタイミングを調整することができる。患者の寸法により、最適なｋＶ、ｍＡ、およびピッチ設定を決定することができる。これらの設定はまた、設計エンジン１５６０を使用して継続的な学習フィードバックループにおいて施設の好みに合わせて調整することができる（例えば、ノイズレベル、ｍＡ設定などを調整する）。次に、関連するＤＬＮ１５８１、１５８３、１５８５を使用して個々の構成要素を修正するための推奨を提供することができる。
特定の例では、機械健全性監視は、システム設計エンジン１５６０を使用して容易にすることができる。例えば、ＩＱＩなどのデータ品質指数は、データを標準化または正規化するためにエンジン１５６０によって使用することができ、設計エンジン１５６０は、１つまたは複数のクラスまたはカテゴリ（例えば、撮像装置１４１０が許容可能な品質の画像を提供している可能性が最も高いことを監視すること、診断のために許容できない品質の画像を提供する可能性が高いことなど）に属する構成要素の確率を監視することができる。設計エンジン１５６０はまた、データログファイル、ユーザと患者との対話の音声記録、機械のノイズの音声記録、顧客フィードバックデータセットなどを解析して、機械の健全性（例えば、撮像装置１４１０の健全性など）を監視および評価することができる。特定の例では、システム設計エンジン１５６０は、対応する「正常値」または許容値などから現在の機械値の正規化された偏差（例えば、ｚスコア）を計算することができる。
特定の例では、システム１４００、１５００の設計改善は、現場に展開された撮像装置１４１０などの機械からの保守および／またはサービスの問題の解析に基づいてシステム設計エンジン１５６０によって生成することができる。データは、例えば学習および改善ファクトリ１５２０、１５３０、１５４０および／またはシステム健全性モジュール１５５０を介して撮像装置１４１０から検索され、入力フォーマッタ１５６１を介してモデルライブラリ１５８０に提供され得る。モデルプロセッサ１５６３は、ライブラリ１５８０からの１つまたは複数のモデル１５８１〜１５８７と協働して、情報を処理（例えば、動作および結果における可能性のある変動、パラメータ設定、構成などをシミュレート）して、撮像装置１４１０の将来の設計改善を提案する。モデル番号、モダリティ、顧客使用タイプなどに基づいて、１つまたは複数の撮像装置１４１０についてデータを処理することができる。論文、特許、ウェブコンテンツなどの追加のテキストソースも、訓練用ディープラーニングネットワークモデル１５６５を介してモデルライブラリ１５８０内の１つまたは複数のモデルに追加することができ、ライブラリ内の１つまたは複数のモデル１５８１〜１５８７を再訓練および再展開するために使用される。撮像装置１４１０（スキャナとも呼ばれる）は、それらのそれぞれの機能および使用統計に基づいて区別することができる。モデル１５８１〜１５８７は、パターンおよび関係を識別し、特定のスキャナを購入および／または使用すべき理由を定量化するのに役立つことができる。これは、スキャナ品質指数、スキャナ値指数などを用いて定量化することができる（例えば、１〜５の格付けであり、５は特定のシステム／アプリケーションに最も有用であり、１は特定のシステム／アプリケーションに最も有用でないなど）。したがって、システム設計エンジン１５６０は競争ベンチマークを容易にすることができる。使用に基づいて、システム設計エンジン１５６０は、新しいスキャナを購入すべきかどうか、どのスキャナを購入すべきかなど、将来のシステム１５００設計を改善するために必要なものを決定することができる。
特定の例では、機械修理スケジューリングは、システム設計エンジン１５６０を使用してサポートおよび強化することができる。問題、誤差、障害、非効率性、不十分性、超過などを識別するために、撮像装置１４１０および／またはその学習および改善ファクトリ１５２０、１５３０、１５４０から情報を検索することができ、システム設計エンジン１５６０は、ファクトリ１５２０、１５３０および／または１５４０、ならびに関連するＤＤＬＤ１５２２、１５３２、１５４２を助けて、例えば、画像処理装置１４１０のパラメータを調整し、および／または他の方法で画像処理装置１４１０および／または他のシステム１５００の構成要素に関する問題をその情報の処理およびシステム状態１５５０に基づいて補償することができる。したがって、システム１５００は多くの問題に対して自己修復的であり得る。問題がハードウェアのメンテナンスおよび／または交換を含む場合には、システム設計エンジン１５６０は、自動スケジューリング、ユーザへの通知１４０４、誤差ロギングなどを介してメンテナンスおよび／または交換を予測およびスケジューリングするのを助けることができる。
したがって、ディープラーニングネットワークモデル１５８１〜１５８７は、エミュレートされるターゲットシステム１４００、１５００の各構成要素と関連付けられ、各ディープラーニングネットワークモデルは、ターゲットシステムの関連する構成要素の入出力をシミュレートする既知の入力および既知の出力を使用して訓練される。エミュレートされる関連する各構成要素がターゲットシステム内で接続されてターゲットシステムのデジタルモデルが形成されると、各ディープラーニングネットワークモデルが接続される。モデルプロセッサ１５６３は、デジタルモデルを使用してエミュレートされるターゲットシステムおよび／またはターゲットシステムの各構成要素の挙動をシミュレートして、ターゲットシステムの構成要素の構成および／またはターゲットシステムの構成要素の構造に関する推奨を生成する。
図３３は、システムの健全性、構成、および／または設計を監視し改善するための方法３３００の流れ図である。ブロック３３０２では、構成要素の動作およびシステムの健全性に関するデータが入力フォーマッタ１５６１を介して収集される。例えば、システム健全性情報は、システム健全性モジュール１５５０、ファクトリ１５２０、１５３０、１５４０、装置１４１０、１４２０、エンジン１４３０、１４４０、１４５０などを介して収集することができる。
ブロック３３０４では、１つまたは複数の訓練学習ネットワークモデル１５６５が入力に基づいて訓練される。例えば、監視されているターゲットシステムの各構成要素に対する既知の出力に対応する既知の入力を使用して、モデル１５６５が安定し、ライブラリ１５８０への展開が予測可能になるまで、対応するモデル１５６５の挙動を訓練する。特定の例では、システム健全性モジュール１５５０、ファクトリ１５２０、１５３０、１５４０、装置１４１０、１４２０、エンジン１４３０、１４４０、１４５０などを介して収集された入力を使用して、特定のシステムとその構成要素上のモデル１５６５を訓練し続けることができる。ブロック３３０６では、モデル１５６５が訓練された後、モデル１５６５を使用してモデルライブラリ１５８０内に展開済みモデル１５８１〜１５８７を生成する。
ブロック３３０８では、システム設計エンジン１５６０を使用してシステム動作を監視しモデル化する。例えば、収集された入力データは、入力フォーマッタ１５６１によってフォーマットされ、モデル化され監視されている各構成要素に関連するモデルライブラリ１５８０からの１つまたは複数のモデル１５８１〜１５８７と共にモデルプロセッサ１５６３を使用して処理される。例えば、データは、ディープコンボリューションニューラルネットワーク、オートエンコーダネットワーク、ディープ残差ネットワーク、マシンラーニングネットワークなどのディープラーニングネットワークにおけるノードおよび／またはノード間の接続部を形成および／または修正するために使用され、（上述したように）ライブラリまたはカタログ１５８０の１つまたは複数のモデル１５８１〜１５８７に具体化されている。ノード、接続部などに関連する重みおよび／またはバイアスもまた、例えば、入力データ内のモデル１５８１〜１５８７によって見出されるパターン、関係、値、値の有無などによって修正することができる。単独で、または組み合わせて（例えば、対応するシステム構成要素がターゲットシステム１５００に接続されてデジタルモデル、デジタルツインなどを形成するときに接続されるように）接続された各モデル１５８１〜１５８７は、入力が与えられた場合に、構成要素および／またはシステム１５００全体の動作をシミュレートするためにモデルプロセッサ１５６３によって使用することができる。
したがって、システム設計エンジン１５６０は、ライブラリ１５８０内の入力データおよびモデルを使用して、撮像装置１４１０および／または他の構成要素の動作をシミュレートし、結果、故障、保守スケジュールなどを予測することができる。撮像装置１４１０の実際の動作からより多くのデータが収集されるにつれて、訓練用ネットワークモデル１５６５は、装置１４１０のモデリングおよび理解を改善するために更新され、例えばモデルライブラリ１５８０内により正確な展開ネットワークモデルを生成する。
ブロック３３１０では、モデル１５８１〜１５８７を用いたシミュレーションに基づいて、モデルプロセッサ１５６３によって推奨が生成される。例えば、システム設計エンジン１５６０によるシステム動作情報の処理に基づいて、撮像装置１４１０の保守／修理、撮像装置１４１０の構成設定の変更、提案される物理的修正および／または新製品機能などを推奨することができる。
ブロック３３１２では、推奨が解析されて、変更が構成要素の構成および／または構成要素の構造に影響を与えるかどうかが判断される。観察された変化が構成要素の構成に影響を与える場合には、ブロック３３１４で、システム設計エンジン１５６０は、例えば、その変更を処理し、その構成に対する修正を提案／生成することができる。観察された変化が構成要素の構造に影響を与える場合には、ブロック３３１６で、提案された設計変更を、（例えば、設計チームによって）その後の開発のために生成することができる。
推奨が構成変更である場合には、ブロック３３１４で、出力推奨１５６９が１つまたは複数のシステム構成要素の構成に関して生成される。例えば、撮像装置１４１０の保守／修理の要求、撮像装置１４１０の構成設定の変更などを、撮像装置１４１０、ＤＤＬＤ１５２２、学習および改善ファクトリ１５２０、情報サブシステム１４２０、および／または実施、公開、さらなる処理などのための外部システムに出力１５６９することができる。特定の例では、出力推奨の受け取りに基づいて、学習および改善ファクトリ１５２０、１５３０、１５４０のうちの１つまたは複数が修正される。例えば、ファクトリ１５２０、１５３０、１５４０は、それらの情報、理解、および操作を改善するためにシステム設計エンジン１５６０によって生成された処理および推奨から学習する。システム設計エンジン１５６０からの出力推奨がパラメータおよび／または他の設定の変更を含む場合、対応するファクトリ１５２０、１５３０、１５４０は、その推奨に基づいて含まれるＤＬＮのノード、重み、接続部、バイアスなどを修正する。したがって、ファクトリ１５２０、１５３０、１５４０、１５５５は、フィードバックループ内で互いに学習し続け、進化し続け、それらの対応する構成要素に対してより良い出力を提供する。
推奨が構造的変更である場合には、ブロック３３１６で、出力１５６９推奨が、１つまたは複数のシステム構成要素に対する将来の設計変更および／または物理的展開に関する提案と共に生成される。例えば、撮像装置１４１０の保守／修理、提案された物理的修正および／または新製品の機能などを、撮像装置１４１０、ＤＤＬＤ１５２２、学習および改善ファクトリ１５２０、情報サブシステム１４２０、および／または実施、公開、さらなる処理などのための外部システムに出力１５６９することができる。例えば、出力１５６９の推奨および／または対応するデジタルファクトリ１５２０、１５３０、１５４０からのさらなるフィードバックに基づいて、１つまたは複数の撮像装置１４１０、情報サブシステム１４２０、収集エンジン１４３０、再構成エンジン１４４０、診断エンジン１４５０などを修正し（例えば、物理的構成および／または設計変更など）および／または再構成（例えば設定またはパラメータ変更など）することができる。
ブロック３３１８で、入力および出力を評価して、訓練モデル１５６５を調整する必要があるかどうかを判定する。例えば、入力に示されている偏差を使用してモデル１５６５を更新することができ、例えば、展開済みモデルライブラリ１５８０内の１つまたは複数のモデル１５８１〜１５８７を再展開する可能性がある。そうでなければ、システム動作の監視は継続する。
したがって、機械の健全性は患者の健康に影響を及ぼし、システム設計エンジン１５６０は、機械の健全性を監視、モデル化、および評価し、機械構成の変更をトリガして機械の動作を改善し、それによって患者の健康に悪影響を及ぼす可能性を回避するのを助けることができる。例えば、システム設計エンジン１５６０は、所望の画像が所望の画像品質で得られることを確実にするのを助けるために、収集学習および改善ファクトリ１５２０および／または収集エンジン１４３０自体（およびそのＤＤＬＤ１５２２）に命令して、設定を調整し、ピッチを遅くし、コントラストを調整することなどをすることができる。システム設計エンジン１５６０は、機械の状態および機能を理解し、例えば学習および改善ファクトリ１５２０がそれに応じて反応することを学ぶのを助けることができる。システムレベルでのエンジン１５６０によるマシンラーニングはまた、プロトコル、ワークフロー、動作の順序、装置設定などに対する調整を通じて患者の行動を推進するためにシステムおよび患者パターンの学習を活用するために使用することができる。それぞれをネットワーク内のノードとしてマッピングすることができ、装置の特性、望ましい結果、関係性などに基づいて異なるノードに異なる重みを付けることができる。特定の例では、ペースメーカー、ベビーウォーマー、フィットネストラッカー、バイオメトリックセンサなど、医療機器および／またはシステム１５００の外部および／またはそれに付随する他の機器をモデル化および修正することができる。
図３４は、システム設計エンジン１５６０と、撮像装置１４１０、収集エンジン１４３０、システム健全性モジュール１５５０、および外部システム３４２０などの他のシステム１５００の構成要素との間のデータフロー３４００の例示的な表現を示す。収集エンジン１４３０およびそのＤＤＬＤ１５２２は、装置１４１０と対話して装置１４１０を構成し３４０２、装置１４１０からフィードバック３４０４を取得する。システム健全性モジュール１５５０は、収集エンジン１４３０からのフィードバック３４０６を監視し、そしてフィードバック３４１０をシステム設計エンジン１５６０に提供する。システム設計エンジン１５６０は、装置健全性モジュール１５５０によって収集エンジン１４３０にルーティング３４０８され、装置１４１０の構成に関してシステム健全性モジュール１５５０に推奨３４１２を提供し、それは次に装置１４１０に情報３４０２を提供する。システム設計エンジン１５６０はまた、装置１４１０の物理的設計および／または構成の変更についての推奨３４１４を外部システム３４２０に提供することができる。したがって、構成要素１４１０、１４３０、１５５０、１５６０は、継続的な監視、処理、および改善のためのフィードバックループ内にある。
特定の例では、収集エンジン１４３０（およびそのＤＤＬＤ１５２２）は、経時的に特定のユーザおよび／またはサイト画像品質の嗜好について知ることができる。エンジン１４３０は、学習された嗜好を達成するためのスキャンプロトコルを提案するか、または嗜好が達成されないときに警告をトリガすることができる。したがって、エンジン１４３０は（そのＤＤＬＤ１５２２およびファクトリ１５３０と共に）ＩＱＩ決定に基づいて自己学習プロトコル（例えば、ユーザ／サイトがプロトコルＸをＹのＩＱＩに達することを好むことの学習など）を容易にすることができる。
図１〜図３４と関連して例示的な実施態様が示されているが、図１〜図３４に関連して示される要素、プロセス、および／または装置は、他の方法で組み合わせること、分割すること、再配置すること、省略すること、排除すること、および／または実現することができる。さらに、本明細書に開示され説明される構成要素は、ハードウェア、機械可読命令、ソフトウェア、ファームウェア、ならびに／もしくはハードウェア、機械可読命令、ソフトウェアおよび／またはファームウェアの任意の組み合わせによって実現することができる。したがって、例えば、本明細書で開示および説明する構成要素は、アナログおよび／またはデジタル回路、論理回路、プログラム可能プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理装置（ＰＬＤ）、および／またはフィールドプログラマブル論理装置（ＦＰＬＤ）によって実現することができる。純粋にソフトウェアおよび／またはファームウェアの実施態様をカバーするために、この特許の装置またはシステムクレームのいずれかを読む場合、構成要素の少なくとも１つは、ソフトウェアおよび／またはファームウェアを記憶する、メモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、ブルーレイディスクなどの有形のコンピュータ可読記憶装置または記憶ディスクを含むように本明細書によって明確に定義される。
本明細書で開示および説明した構成要素を実施するための例示的な機械可読命令を表すフローチャートを、少なくとも図８Ｃ、図８Ｄ、図１２、図１３、図１６、図１７、図１９、図２１、図３１Ａ、図３１Ｂ、および図３３と併せて示す。本例において、機械可読命令は、図３５に関連して以下で説明する例示的プロセッサプラットフォーム３５００に示されるプロセッサ３５１２などのプロセッサによって実行するためのプログラムを含む。本プログラムは、ＣＤ−ＲＯＭ、フロッピーディスク、ハードドライブ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、またはプロセッサ３５１２と関連するメモリなどの有形のコンピュータ可読記憶媒体に記憶された機械可読命令で実施することができるが、あるいは、プログラム全体および／またはその一部を、プロセッサ３５１２以外の装置によって実行すること、および／またはファームウェアもしくは専用ハードウェアで実施することも可能である。さらに、例示的なプログラムは、少なくとも図８Ｃ、図８Ｄ、図１２、図１３、図１６、図１７、図１９、図２１、図３１Ａ、図３１Ｂ、および図３３に関連して示されたフローチャートを参照しながら説明したが、本明細書に開示され記載されている構成要素を実施する他の多くの方法を代わりに使用することができる。例えば、ブロックの実行順序を変更してもよく、記載されたブロックのいくつかを変更したり、削除したり、組み合わせたりしてもよい。少なくとも図８Ｃ、図８Ｄ、図１２、図１３、図１６、図１７、図１９、図２１、図３１Ａ、図３１Ｂ、および図３３のフローチャートは例示的な動作を図示の順序で示しているが、これらの動作は網羅的なものではなく、示された順序に限定されない。さらに、本開示の精神および範囲内で、当業者によって様々な変更および修正がなされてもよい。例えば、フローチャートに示されるブロックは、別の順序で実行してもよいし、並列に実行してもよい。
上述したように、少なくとも図８Ｃ、図８Ｄ、図１２、図１３、図１６、図１７、図１９、図２１、図３１Ａ、図３１Ｂ、および図３３の例示的なプロセスは、ハードディスクドライブ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、および／または他の任意の記憶装置もしくは情報が任意の期間（例えば、長期間、恒久的、短時間、一時的にバッファリングする間、および／または情報をキャッシュする間）で記憶されている記憶ディスクなどの有形のコンピュータ可読記憶媒体に記憶されるコード化された命令（例えば、コンピュータおよび／または機械可読命令）を使用して実施することができる。本明細書で使用される場合、有形のコンピュータ可読記憶媒体という用語は、任意の種類のコンピュータ可読記憶装置および／または記憶ディスクを含み、伝搬する信号を排除し、伝送媒体を排除するように明示的に定義される。本明細書で使用される場合、「有形のコンピュータ可読記憶媒体」および「有形の機械可読記憶媒体」は互換的に使用される。それに加えてまたはその代わりに、少なくとも図８Ｃ、図８Ｄ、図１２、図１３、図１６、図１７、図１９、図２１、図３１Ａ、図３１Ｂ、および図３３の例示的なプロセスは、ハードディスクドライブ、フラッシュメモリ、読み取り専用メモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、および／または他の任意の記憶装置もしくは情報が任意の期間（例えば、長期間、恒久的、短時間、一時的にバッファリングする間、および／または情報をキャッシュする間）で記憶されている記憶ディスクなどの非一時的コンピュータおよび／または機械可読媒体に記憶されるコード化された命令（例えば、コンピュータおよび／または機械可読命令）を使用して実施することができる。本明細書で使用される場合、非一時的コンピュータ可読媒体という用語は、任意の種類のコンピュータ可読記憶装置および／または記憶ディスクを含み、伝搬する信号を排除し、伝送媒体を排除するように明示的に定義される。本明細書で使用される場合、「少なくとも」という句が、請求項の前文における遷移用語として使用される場合、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語がオープンエンドであるのと同様にオープンエンドである。さらに、「含む（ｉｎｃｌｕｄｉｎｇ）」という用語は、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語がオープンエンドであるのと同様にオープンエンドである。
図３５は、少なくとも図８Ｃ、図８Ｄ、図１２、図１３、図１６、図１７、図１９、図２１、図３１Ａ、図３１Ｂ、および図３３の命令を実行するように構成された例示的なプロセッサプラットフォーム３５００のブロック図であり、本明細書で開示および説明する例示的な構成要素を実施する。プロセッサプラットフォーム３５００は、例えば、サーバ、パーソナルコンピュータ、モバイル装置（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、パーソナルデジタルアシスタント（ＰＤＡ）、インターネットアプライアンス、または任意の他の種類のコンピューティングデバイスとすることができる。
図示する例のプロセッサプラットフォーム３５００は、プロセッサ３５１２を含む。図示する例のプロセッサ３５１２はハードウェアである。例えば、プロセッサ３５１２は、任意の所望のファミリまたは製造業者からの集積回路、論理回路、マイクロプロセッサ、またはコントローラによって実現することができる。
図示する例のプロセッサ３５１２は、ローカルメモリ３５１３（例えば、キャッシュ）を含む。図３５の例示的なプロセッサ３５１２は、少なくとも図８Ｃ、図８Ｄ、図１２、図１３、図１６、図１７、図１９、図２１、図３１Ａ、図３１Ｂ、および図３３の命令を実行して学習および改善ファクトリ１５２０、１５３０、１５４０、１５５５および／または情報サブシステム１４２０、収集エンジン１４３０、再構成エンジン１４４０、診断エンジン１４５０などの他の構成要素を実施する。図示する例のプロセッサ３５１２は、バス３５１８を介して揮発性メモリ３５１４および不揮発性メモリ３５１６を含む主メモリと通信する。揮発性メモリ３５１４は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、および／または任意の他の種類のランダムアクセスメモリ装置によって実現することができる。不揮発性メモリ３５１６は、フラッシュメモリおよび／または任意の他の所望の種類のメモリ装置によって実現することができる。主メモリ３５１４、３５１６へのアクセスは、クロックコントローラによって制御される。
図示する例のプロセッサプラットフォーム３５００はまた、インターフェース回路３５２０を含む。インターフェース回路３５２０は、イーサネット（登録商標）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）、および／またはＰＣＩエクスプレスインターフェースなどの任意の種類のインターフェース規格によって実現することができる。
図示する例では、１つまたは複数の入力装置３５２２がインターフェース回路３５２０に接続される。入力装置３５２２は、ユーザがデータおよびコマンドをプロセッサ３５１２に入力することを可能にする。入力装置は、例えば、センサ、マイクロホン、カメラ（静止画または動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイント、および／または音声認識システムによって実現することができる。
１つまたは複数の出力装置３５２４もまた、図示する例のインターフェース回路３５２０に接続される。出力装置３５２４は、例えば、ディスプレイ装置（例えば、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ、陰極線管ディスプレイ（ＣＲＴ）、タッチスクリーン、触覚出力装置、および／またはスピーカ）によって実現することができる。したがって、図示する例のインターフェース回路３５２０は、通常、グラフィックスドライバカード、グラフィックスドライバチップ、またはグラフィックスドライバプロセッサを含む。
図示する例のインターフェース回路３５２０はまた、ネットワーク３５２６（例えば、イーサネット（登録商標）接続、デジタル加入者回線（ＤＳＬ）、電話回線、同軸ケーブル、携帯電話システムなど）を介した外部装置（例えば、任意の種類のコンピューティングデバイス）とのデータのやり取りを容易にするために、送信器、受信器、トランシーバ、モデム、および／またはネットワークインターフェースカードなどの通信装置を含む。
図示する例のプロセッサプラットフォーム３５００は、ソフトウェアおよび／またはデータを記憶するための１つまたは複数の大容量記憶装置３５２８も含む。そのような大容量記憶装置３５２８の例には、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、ＲＡＩＤシステム、およびデジタル多用途ディスク（ＤＶＤ）ドライブが含まれる。
図３５のコード化された命令３５３２は、大容量記憶装置３５２８、揮発性メモリ３５１４、不揮発性メモリ３５１６、および／またはＣＤもしくはＤＶＤなどの取り外し可能な有形コンピュータ可読記憶媒体に記憶することができる。
上記から、複数のディープラーニングおよび／または他のマシンラーニング技術を使用して、撮像および／または他のヘルスケアシステムの動作を監視、処理、および改善するために、上記した開示の方法、装置、および製品が開示されていることが理解されよう。
上記の方法、装置、および製品は、様々なヘルスケアおよび非ヘルスケアシステムに適用することができる。１つの特定の例では、上記の方法、装置、および製品は、ＣＴ撮像システムの構成要素、構成、および動作に適用することができる。図３６〜図３８は、本明細書に開示される方法、装置、および製品を適用することができるＣＴ撮像スキャナとしての撮像装置１４１０の例示的な実施態様を示す。図３６および図３７は、ガントリ１２を含むコンピュータ断層撮影（ＣＴ）撮像システム１０を示す。ガントリ１２は、回転部材１３を有し、回転部材１３は、回転部材１３の反対側の検出器アセンブリ１８に向けてＸ線ビーム１６を投影するＸ線源１４を有する。主ベアリングを利用して、回転部材１３をガントリ１２の静止構造に取り付けることができる。Ｘ線源１４は、静止ターゲットまたは回転ターゲットのいずれかを含む。検出器アセンブリ１８は、複数の検出器２０およびデータ収集システム（ＤＡＳ）２２によって形成され、コリメータを含むことができる。複数の検出器２０は、被検体２４を通過する投影されたＸ線を感知し、ＤＡＳ２２は、その後の処理のためにそのデータをデジタル信号に変換する。各検出器２０は、衝突するＸ線ビームの強度を表すアナログまたはデジタルの電気信号を生成し、したがって、被検体２４を通過する場合に減衰ビームを生成する。Ｘ線投影データを収集するためのスキャン中、回転部材１３および回転部材１３に取り付けられた構成要素は、回転中心の周りを回転することができる。
回転部材１３の回転およびＸ線源１４の動作は、ＣＴシステム１０の制御機構２６によって制御される。制御機構２６は、Ｘ線源１４に電力およびタイミング信号を供給するＸ線コントローラ２８およびジェネレータ３０と、回転部材１３の回転速度および位置を制御するガントリモータコントローラ３２とを含むことができる。画像再構成器３４は、ＤＡＳ２２からサンプリングされデジタル化されたＸ線データを受け取り、高速画像再構成を実行する。再構成された画像はコンピュータ３６に出力され、コンピュータ３６はその画像をコンピュータ記憶装置３８に格納する。
コンピュータ３６はまた、キーボード、マウス、タッチセンシティブコントローラ、音声起動コントローラ、または任意の他の適切な入力装置などの何らかの形式のオペレータインターフェースを有するオペレータコンソール４０を介してオペレータからコマンドおよび走査パラメータを受信する。ディスプレイ４２は、オペレータがコンピュータ３６からの再構成された画像および他のデータを観察することを可能にする。オペレータが供給したコマンドおよびパラメータは、制御信号および情報をＤＡＳ２２、Ｘ線コントローラ２８、およびガントリモータコントローラ３２に提供するためにコンピュータ３６によって使用される。さらに、コンピュータ３６は、被検体２４およびガントリ１２を位置決めするために電動テーブル４６を制御するテーブルモータコントローラ４４を動作させる。特に、テーブル４６は、ガントリ開口部４８またはボアを通って被検体２４を全体的または部分的に移動させる。座標系５０は、被検体２４が開口部４８の内外に移動する患者またはＺ軸５２と、検出器アセンブリ１８が通過するガントリ円周またはＸ軸５４と、Ｘ線管１４の焦点から検出器アセンブリ１８への方向に沿って通るＹ軸５６とを定義する。
したがって、特定の例では、ディープラーニングおよび／またはマシンラーニング技術を、ＣＴスキャナ１０およびそのガントリ１２、回転部材１３、Ｘ線源１４、検出器アセンブリ１８、制御機構２６、画像再構成器３４、コンピュータ３６、オペレータコンソール４０、ディスプレイ４２、テーブルコントローラ４４、テーブル４６、および／またはガントリ開口部４８などの構成、設計、および／または動作に適用することができる。構成要素の構成、動作、構造を入力、所望の出力、実際の出力などに基づいて監視して、例えば、スキャナ１０および／またはその構成要素の構成、動作、および／または構造に対する変更を学習および提案することができる。
本明細書では、特定の例示的な方法、装置、および製品について説明したが、本特許の適用範囲はこれに限定されない。対照的に、この特許は、本特許請求の範囲内に相当するすべての方法、装置および製品を対象とする。
１０ コンピュータ断層撮影（ＣＴ）撮像システム
１２ ガントリ
１３ 回転部材
１４ Ｘ線源
１６ Ｘ線ビーム
１８ 検出器アセンブリ
２０ 検出器
２４ 被検体
２６ 制御機構
２８ Ｘ線コントローラ
３０ ジェネレータ
３２ ガントリモータコントローラ
３４ 画像再構成器
３６ コンピュータ
３８ コンピュータ記憶装置
４０ オペレータコンソール
４２ ディスプレイ
４４ テーブルモータコントローラ
４６ 電動テーブル
４８ ガントリ開口部
５０ 座標系
５２ Ｚ軸
５４ Ｘ軸
５６ Ｙ軸
１００ ディープラーニングニューラルネットワーク
１１０〜１１６ 入力
１２０ 第１層
１２２〜１２６ 入力ノード
１３０ ニューラル接続部
１３２ 接続部
１３４ 接続部
１４０ 第２層
１４２〜１４８ ノード
１５０ ニューラル接続部
１５２ 接続部
１５４ 接続部
１６０ 第３層
１６２〜１６８ ノード
１７０ ニューラル接続部
１７２ 接続部
１７４ 接続部
１８０ 出力層
１８２ 出力ノード
１９０ 出力
２００ 畳み込みニューラルネットワーク
２０４ 畳み込み
２０６ 特徴マップ
２１０ 特徴マップ
２１２ 畳み込み
２１４ 特徴マップ
２１６ サブサンプリング
２１８ 特徴マップ
２２０ 畳み込み
２２２ 畳み込み層
２２４ Ｎ個のカテゴリ
２２６ 接続部
３００ 画像解析畳み込みニューラルネットワーク
３０２ 入力画像
３０４ 畳み込み層
３１０〜３２２ 特徴
３３０ 第２の畳み込み層
３３１〜３４８ 画像
３５０〜３５４ 出力
４００ 構成
４０５ ネットワーク
４１０ 生画像データ
４２０〜４２３ ディープラーニングネットワーク
４３０ 画像
４４０ 再構成エンジン
４５０ 診断エンジン
５０２ 入力
５０４ 訓練用ネットワーク
５０６ 順方向
５０８ ネットワーク結果
５１２ 既知の結果
５１４ 誤差
５１６ 後方パス
５２０ 単一入力
５２２ 展開済みディープラーニングネットワーク
５２４ 出力
６１０ 入力データ
６２０ 前処理
６３０ 作成
６４０ 訓練済みネットワーク
６５０ アセンブル
６６０ 表示
７００ ディープラーニング装置
７０１ 訓練用ディープラーニングネットワーク装置
７０３ 展開済みディープラーニングネットワーク装置
７１０ 入力定義
７１１ 訓練入力
７１３ 入力定義
７２０ ディープラーニングネットワークモデル
７２１ ネットワーク
７２３ 訓練済みネットワーク
７３０ 出力定義
７３１ 出力評価器
７３３ 出力定義
８００ 改善ファクトリ
８０１ 改善ファクトリ
８０２ モデル評価器
８０３ 改善ファクトリ
８０４ モデル展開モジュール
８０５ 改善ファクトリ
８０６ ディープラーニング装置ジェネレータ
８０８ フィードバックコレクタ
８１０ フィードバック記憶装置
８１２ 再訓練イニシエータ
８１４ 再訓練データセレクタ
８２０ 方法
９０２ データファクトリ
９０４ データスキーマ
９０６ キュレーションツール
９０８ バルクデータ取り込み部
９１０ データ選択／フィルタ
９１２ 連続データ取り込み部
９１４ データカタログ／レイク
９１６ アプリケーションファクトリ
９１８ ビューア
９２０ アプリケーションサービス
９２２ アプリケーションパイプラインカタログ
９２４ ラーニングファクトリ
９２６ モデルカタログ
９２８ データサイエンス
９３０ アーキテクチャカタログ
９３２ データ準備
９３４ 結果／報告
９３６ 訓練および検証
９３８ 試験
１０００ 医療装置エコシステム
１００２ 内部展開
１００４ 外部展開
１００６ デジタルファクトリ
１００８ デジタルモデル
１０１０ 装置
１０１２ 装置
１０１４ 装置
１０１６ 装置
１１００ 構成
１１０２ 装置コントローラ
１１０４ 検出器
１１０６ 線源
１１０８ 患者
１１１０ スキャンコンテキスト
１１１２ スキャナデータ
１１１４ 収集エンジン
１１１６ 再構成エンジン
１１１８ 閲覧
１１２０ 画像収集構成装置
１１２２ 臨床ワークフロー
１１２４ 解析および意思決定支援
１２００ 方法
１２０２ データ取り込み部
１２０４ 編成
１２０６ データ処理
１２０８ 展開
１３０２ オンプレミスデータソース
１３０６ データカタログ／レイク
１３１０ データビューア
１３１８ データ準備
１３２０ データ準備ツール
１３２６ ＡＩカタログ
１３３０ 訓練
１４００ ヘルスケアシステム
１４０１ 撮像システム
１４０２ 人間
１４０４ ユーザ
１４０６ 患者
１４１０ 撮像装置
１４２０ 情報サブシステム
１４３０ 収集エンジン
１４４０ 再構成エンジン
１４５０ 診断エンジン
１５００ ヘルスケアシステム
１５０１ システム実施態様
１５２０ デジタルファクトリ
１５２２ 展開済みディープラーニングネットワーク装置
１５３０ 改善ファクトリ
１５３２ 展開済みディープラーニングネットワーク装置
１５４０ 改善ファクトリ
１５４２ 展開済みディープラーニングネットワーク装置
１５５０ システム健全性モジュール
１５５２ 展開済みディープラーニングネットワーク装置
１５５５ 改善ファクトリ
１５６０ システム設計エンジン
１５６１ 入力フォーマッタ
１５６３ モデルプロセッサ
１５６５ 訓練用ディープラーニングネットワークモデル
１５６９ 出力ジェネレータ
１５７０ データ品質評価エンジン
１５７２ 画像品質評価エンジン
１５７４ 診断評価エンジン
１５８０ システムデジタルモデルライブラリ
１５８１ 収集デジタルモデル
１５８３ 再構成デジタルモデル
１５８５ 診断デジタルモデル
１５８７ 複合システムデジタルモデル
１６００ 方法
１７００ 情報
１７０２ 第１のデータ
１７０４ 第２のデータ
１７０６ 第３のデータ
１７０８ 第４のデータ
１７１０ 第５のデータ
１７１２ 第６のデータ
１７１４ 第７のデータ
１７１６ 第８のデータ
１７１８ 第９のデータ
１７２０ 第１０のデータ
１８００ ヘルスケア解析フレームワーク
１８１０ 装置比較
１８２０ データ評価仕様
１８２２ 再構成画像
１８２４ 生画像データ
１８２６ 画像品質評価メトリクス
１８２８ 伝達関数
１８３０ 結果プロセッサ
１９００ 方法
２０００ 画像収集構成システム
２０１０ 訓練用学習装置
２０２０ 画像収集構成装置
２０３０ プロセッサ
２０４０ メモリ
２０５０ 展開済みディープラーニング装置
２１００ 方法
２３００ ネットワーク
２３１０ 入力画像
２３２０ 畳み込みネットワーク
２３３０ プール層
２３４０ 完全に接続された層
２３５０ 分類器段階
２３６０ 既知の画像品質指数
２３６５ 画像品質指数
２４００ ネットワーク
２４１０ 学習段階
２４１１ 入力
２４１３ 教師なし学習層
２４１５ 畳み込みネットワーク
２４１７ 分類層
２４２０ 検証段階
２４３０ 試験段階
２４３５ 畳み込みネットワーク
２４３９ 画像品質指数
２４４０ 学習段階
２４４５ 畳み込みネットワーク
２４４７ 分類層
２４５０ 検証段階
２４６０ 試験段階
２４６５ 畳み込みネットワーク
２４６９ 画像品質指数
２５００ 訓練済みネットワーク
２５０１ システム
２５０４ パラメータ値セレクタ
２５１０ 初期パラメータセット
２５１２ ＩＱＩ比較器
２５２０ 再始動器
２５２２ 再始動器
２５２４ オーケストレータ
２５２６ 画像品質評価エンジン
２５２８ 更新ファクトリ
２５３０ 訓練画像データセット
２５３２ 再始動器
２５３４ 検出／診断評価エンジン
２５３５ 更新ファクトリ
２５３６ 更新ファクトリ
２５３８ エキスパート
３１００ 方法
３２０２ 入力
３２０４ 展開済みディープラーニングネットワークモデル
３２０６ 出力
３３００ 方法
３４００ データフロー
３４１２ 推奨
３４１４ 推奨
３４２０ 外部システム
３５００ プロセッサプラットフォーム
３５１２ プロセッサ
３５１３ ローカルメモリ
３５１４ 主メモリ
３５１６ 主メモリ
３５１８ バス
３５２０ インターフェース回路
３５２２ 入力装置
３５２４ 出力装置
３５２６ ネットワーク
３５２８ 大容量記憶装置
３５３２ コード化された命令

Claims (20)

  1. 収集エンジン（１１１４，１４３０）に関連する第１の展開済みディープラーニングネットワーク（５２２）であって、前記収集エンジン（１１１４，１４３０）は撮像装置（１４１０）に関連し、前記第１の展開済みディープラーニングネットワーク（５２２）は、前記収集エンジン（１１１４，１４３０）と連動して前記撮像装置（１４１０）の構成を生成するように構成され、第１の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、第１の展開済みディープラーニングネットワーク（５２２）と、
    再構成エンジン（４４０，１１１６，１４４０）に関連する第２の展開済みディープラーニングネットワーク（５２２）であって、前記再構成エンジン（４４０，１１１６，１４４０）は、前記収集エンジン（１１１４，１４３０）を介して前記撮像装置（１４１０）から収集画像データを受け取り、前記収集画像データから画像を再構成し、前記第２の展開済みディープラーニングネットワーク（５２２）は、前記収集画像データに基づいて前記再構成エンジン（４４０，１１１６，１４４０）と連動し、第２の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、第２の展開済みディープラーニングネットワーク（５２２）と、
    第３の展開済みディープラーニングネットワーク（５２２）を有する第１の評価エンジン（１５７０）であって、前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）の少なくとも一方から出力を受け取り、前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）の前記それぞれ少なくとも一方の動作を評価し、前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）の前記それぞれ少なくとも一方にフィードバックを提供する第１の評価エンジンと、
    を含む装置。
  2. 診断エンジン（４５０，１４５０）に関連する第４の展開済みディープラーニングネットワーク（５２２）であって、前記診断エンジン（４５０，１４５０）は、前記再構成エンジン（４４０，１１１６，１４４０）からの前記再構成画像（１８２２）を使用して診断を容易にし、前記第４の展開済みディープラーニングネットワーク（５２２）は、前記診断エンジン（４５０，１４５０）と連動し、第４の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、第４の展開済みディープラーニングネットワーク（５２２）と、
    第５の展開済みディープラーニングネットワーク（５２２）を有する第２の評価エンジンであって、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の少なくとも１つから出力を受け取り、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の前記それぞれ少なくとも１つの動作を評価し、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の前記それぞれ少なくとも１つにフィードバックを提供する第２の評価エンジンと、
    をさらに含む、請求項１に記載の装置。
  3. 前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、および前記診断エンジン（４５０，１４５０）は、システム健全性の指標を生成するためにフィードバックを交換する、請求項１に記載の装置。
  4. 前記再構成エンジン（４４０，１１１６，１４４０）は、人間が見るための前記再構成画像（１８２２）を生成し、前記診断エンジン（４５０，１４５０）による前記画像データのコンピュータ解析のために前記収集画像データを処理する、請求項１に記載の装置。
  5. 前記第１の展開済みディープラーニングネットワーク（５２２）は、前記収集エンジン（１１１４，１４３０）、前記撮像装置（１４１０）、および撮像される患者（１１０８，１４０６）に関連する患者変数に基づいて前記撮像装置（１４１０）の構成を生成する、請求項１に記載の装置。
  6. 前記第１の展開済みディープラーニングネットワーク（５２２）、前記第２の展開済みディープラーニングネットワーク（５２２）、または前記第３の展開済みディープラーニングネットワーク（５２２）のうちの少なくとも１つは、畳み込みニューラルネットワーク（２００，３００）を含む、請求項１に記載の装置。
  7. 前記第１の訓練用ディープラーニングネットワーク（５０４）、第２の訓練用ディープラーニングネットワーク（５０４）、または第３の訓練用ディープラーニングネットワーク（５０４）のうちの少なくとも１つには、前記対応する第１、第２、または第３の展開済みディープラーニングネットワーク（５２２）の訓練において１つまたは複数の関心のある特徴が提供される、請求項１に記載の装置。
  8. 撮像装置（１４１０）に関連する収集エンジン（１１１４，１４３０）に関連する第１の展開済みディープラーニングネットワーク（５２２）を介して画像収集のための前記撮像装置（１４１０）の構成を生成するステップであって、前記第１の展開済みディープラーニングネットワーク（５２２）は第１の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、ステップと、
    第２の展開済みディープラーニングネットワーク（５２２）を使用して、前記収集エンジン（１１１４，１４３０）を介して前記撮像装置（１４１０）によって収集された画像データの再構成エンジン（４４０，１１１６，１４４０）による画像再構成を監視するステップであって、前記第２の展開済みディープラーニングネットワーク（５２２）は、前記再構成エンジン（４４０，１１１６，１４４０）に関連付けられ、前記収集画像データに基づいて前記再構成エンジン（４４０，１１１６，１４４０）と連動し、第２の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、ステップと、
    前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）のそれぞれ少なくとも一方から受け取った出力に基づいて、前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）の前記それぞれ少なくとも一方の動作を評価するステップと、
    前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）の前記それぞれ少なくとも一方にフィードバックを提供するステップと、
    を含む方法（８２０，１２００，１６００，１９００，２１００，３１００，３３００）。
  9. 第３の展開済みディープラーニングネットワーク（５２２）を使用して、前記再構成エンジン（４４０，１１１６，１４４０）からの前記再構成画像（１８２２）を使用する診断を容易にするステップであって、前記第３の展開済みディープラーニングネットワーク（５２２）は、前記診断エンジン（４５０，１４５０）と連動し、第３の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、ステップと、
    前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）のそれぞれ少なくとも１つにフィードバックを提供するために、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の前記それぞれ少なくとも１つから受け取った出力に基づいて、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の前記それぞれ少なくとも１つの動作を評価するステップと、
    をさらに含む、請求項８に記載の方法（８２０，１２００，１６００，１９００，２１００，３１００，３３００）。
  10. 前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、および前記診断エンジン（４５０，１４５０）の間のフィードバックの交換に基づいて、システム健全性の指標を生成するステップをさらに含む、請求項８に記載の方法（８２０，１２００，１６００，１９００，２１００，３１００，３３００）。
  11. 前記再構成エンジン（４４０，１１１６，１４４０）は、人間が見るための前記再構成画像（１８２２）を生成し、前記診断エンジン（４５０，１４５０）による前記画像データのコンピュータ解析のために前記収集画像データを処理するように構成される、請求項８に記載の方法（８２０，１２００，１６００，１９００，２１００，３１００，３３００）。
  12. 前記第１の展開済みディープラーニングネットワーク（５２２）は、前記収集エンジン（１１１４，１４３０）、前記撮像装置（１４１０）、および撮像される患者（１１０８，１４０６）に関連する患者変数に基づいて前記撮像装置（１４１０）の構成を生成する、請求項８に記載の方法（８２０，１２００，１６００，１９００，２１００，３１００，３３００）。
  13. 前記第１の展開済みディープラーニングネットワーク（５２２）、前記第２の展開済みディープラーニングネットワーク（５２２）、または前記第３の展開済みディープラーニングネットワーク（５２２）のうちの少なくとも１つは、畳み込みニューラルネットワーク（２００，３００）を含む、請求項８に記載の方法（８２０，１２００，１６００，１９００，２１００，３１００，３３００）。
  14. 前記第１の訓練用ディープラーニングネットワーク（５０４）、第２の訓練用ディープラーニングネットワーク（５０４）、または第３の訓練用ディープラーニングネットワーク（５０４）のうちの少なくとも１つには、前記対応する第１、第２、または第３の展開済みディープラーニングネットワーク（５２２）の訓練において１つまたは複数の関心のある特徴が提供される、請求項８に記載の方法（８２０，１２００，１６００，１９００，２１００，３１００，３３００）。
  15. 命令を含むコンピュータ可読媒体であって、前記命令は、実行された場合に、機械に少なくとも、
    撮像装置（１４１０）に関連する収集エンジン（１１１４，１４３０）に関連する第１の展開済みディープラーニングネットワーク（５２２）を介して画像収集のための前記撮像装置（１４１０）の構成を生成することであって、前記第１の展開済みディープラーニングネットワーク（５２２）は第１の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、生成すること、
    第２の展開済みディープラーニングネットワーク（５２２）を使用して、前記収集エンジン（１１１４，１４３０）を介して前記撮像装置（１４１０）によって収集された画像データの再構成エンジン（４４０，１１１６，１４４０）による画像再構成を監視することであって、前記第２の展開済みディープラーニングネットワーク（５２２）は、前記再構成エンジン（４４０，１１１６，１４４０）に関連付けられ、前記収集画像データに基づいて前記再構成エンジン（４４０，１１１６，１４４０）と連動し、第２の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、監視すること、
    前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）のそれぞれ少なくとも一方から受け取った出力に基づいて、前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の前記それぞれ少なくとも一方の動作を評価すること、および
    前記収集エンジン（１１１４，１４３０）または前記再構成エンジン（４４０，１１１６，１４４０）の前記それぞれ少なくとも一方にフィードバックを提供すること、
    を行わせる、コンピュータ可読媒体。
  16. 前記命令は、実行された場合に、前記機械にさらに、
    第３の展開済みディープラーニングネットワーク（５２２）を使用して、前記再構成エンジン（４４０，１１１６，１４４０）からの前記再構成画像（１８２２）を使用する診断を容易にすることであって、前記第３の展開済みディープラーニングネットワーク（５２２）は、前記診断エンジン（４５０，１４５０）と連動し、第３の訓練用ディープラーニングネットワーク（５０４）から生成され展開される、容易にすること、および
    前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）のそれぞれ少なくとも１つにフィードバックを提供するために、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の前記それぞれ少なくとも１つから受け取った出力に基づいて、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、または前記診断エンジン（４５０，１４５０）の前記それぞれ少なくとも１つの動作を評価すること、
    を行わせる、請求項１５に記載のコンピュータ可読媒体。
  17. 前記命令は、実行された場合に、前記機械にさらに、前記収集エンジン（１１１４，１４３０）、前記再構成エンジン（４４０，１１１６，１４４０）、および前記診断エンジン（４５０，１４５０）の間のフィードバックの交換に基づいて、システム健全性の指標を生成させる、請求項１５に記載のコンピュータ可読媒体。
  18. 前記再構成エンジン（４４０，１１１６，１４４０）は、人間が見るための前記再構成画像（１８２２）を生成し、前記診断エンジン（４５０，１４５０）による前記画像データのコンピュータ解析のために前記収集画像データを処理するように構成される、請求項１５に記載のコンピュータ可読媒体。
  19. 前記第１の展開済みディープラーニングネットワーク（５２２）は、前記収集エンジン（１１１４，１４３０）、前記撮像装置（１４１０）、および撮像される患者（１１０８，１４０６）に関連する患者変数に基づいて前記撮像装置（１４１０）の構成を生成する、請求項１５に記載のコンピュータ可読媒体。
  20. 前記第１の展開済みディープラーニングネットワーク（５２２）、前記第２の展開済みディープラーニングネットワーク（５２２）、または前記第３の展開済みディープラーニングネットワーク（５２２）のうちの少なくとも１つは、畳み込みニューラルネットワーク（２００，３００）を含む、請求項１５に記載のコンピュータ可読媒体。
JP2019527370A 2016-11-23 2017-11-20 ディープラーニング医療システムおよび医療処置のための方法 Active JP7051849B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/360,410 2016-11-23
US15/360,410 US10242443B2 (en) 2016-11-23 2016-11-23 Deep learning medical systems and methods for medical procedures
PCT/US2017/062587 WO2018098077A1 (en) 2016-11-23 2017-11-20 Deep learning medical systems and methods for medical procedures

Publications (3)

Publication Number Publication Date
JP2020500378A true JP2020500378A (ja) 2020-01-09
JPWO2018098077A5 JPWO2018098077A5 (ja) 2022-02-03
JP7051849B2 JP7051849B2 (ja) 2022-04-11

Family

ID=60812128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019527370A Active JP7051849B2 (ja) 2016-11-23 2017-11-20 ディープラーニング医療システムおよび医療処置のための方法

Country Status (5)

Country Link
US (2) US10242443B2 (ja)
EP (1) EP3545525A1 (ja)
JP (1) JP7051849B2 (ja)
CN (1) CN110114834B (ja)
WO (1) WO2018098077A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172825A1 (en) * 2020-11-28 2022-06-02 GE Precision Healthcare LLC Medical scanner application platform
JP7467336B2 (ja) 2017-11-03 2024-04-15 ゼネラル・エレクトリック・カンパニイ 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム
JP7495713B2 (ja) 2020-03-31 2024-06-05 株式会社アラヤ 情報処理装置及び情報処理方法

Families Citing this family (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
JP6499918B2 (ja) * 2015-05-20 2019-04-10 株式会社トプコン 眼科検査支援システム及び眼科検査支援サーバ
US9846938B2 (en) * 2015-06-01 2017-12-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
EP3445250B1 (en) 2016-04-21 2021-09-15 The University of British Columbia Echocardiographic image analysis
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN107025369B (zh) * 2016-08-03 2020-03-10 北京推想科技有限公司 一种对医疗图像进行转换学习的方法和装置
US10242443B2 (en) 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US11281993B2 (en) * 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
WO2018133034A1 (en) * 2017-01-20 2018-07-26 Intel Corporation Dynamic emotion recognition in unconstrained scenarios
US10275820B2 (en) 2017-01-31 2019-04-30 Walmart Apollo, Llc Systems and methods for utilizing a convolutional neural network architecture for visual product recommendations
DE102017203333A1 (de) * 2017-03-01 2018-09-06 Siemens Healthcare Gmbh Verfahren zur Überprüfung eines medizinischen Bildes und Verfahren zur Anpassung eines Untersuchungsprotokolls während einer medizinischen Bildgebungsuntersuchung
US10733533B2 (en) * 2017-03-07 2020-08-04 General Electric Company Apparatus and method for screening data for kernel regression model building
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180342324A1 (en) * 2017-05-26 2018-11-29 pulseData Inc. Systems and Methods for Creating Modular Data Processing Pipelines
JP7169094B2 (ja) 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
US10832387B2 (en) * 2017-07-19 2020-11-10 Petuum Inc. Real-time intelligent image manipulation system
US10706534B2 (en) * 2017-07-26 2020-07-07 Scott Anderson Middlebrooks Method and apparatus for classifying a data point in imaging data
EP3435379A1 (en) * 2017-07-27 2019-01-30 Roche Diagnostics GmbH Augmenting measurement values of biological samples
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析***以及存储介质
US11517197B2 (en) 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11586905B2 (en) * 2017-10-11 2023-02-21 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for customizing kernel machines with deep neural networks
US10540589B2 (en) * 2017-10-24 2020-01-21 Deep North, Inc. Image quality assessment using similar scenes as reference
US11605447B2 (en) * 2017-10-27 2023-03-14 Siemens Healthcare Gmbh Intelligent agents for patient management
US10761894B2 (en) * 2017-10-30 2020-09-01 Sas Institute Inc. Methods and systems for automated monitoring and control of adherence parameters
US11335460B2 (en) * 2017-11-09 2022-05-17 International Business Machines Corporation Neural network based selection of representative patients
US11464490B2 (en) * 2017-11-14 2022-10-11 Verathon Inc. Real-time feedback and semantic-rich guidance on quality ultrasound image acquisition
KR102607208B1 (ko) * 2017-11-16 2023-11-28 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 디바이스
US10580137B2 (en) * 2018-01-30 2020-03-03 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
US20210042916A1 (en) * 2018-02-07 2021-02-11 Ai Technologies Inc. Deep learning-based diagnosis and referral of diseases and disorders
US10839578B2 (en) * 2018-02-14 2020-11-17 Smarter Reality, LLC Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures
US10347255B1 (en) * 2018-03-08 2019-07-09 Ces Advancements, Llc Healthcare systems and methods using voice inputs
US11514267B2 (en) * 2018-04-11 2022-11-29 ProKarma, Inc. System and method for performing test data management
US11557390B2 (en) * 2018-04-30 2023-01-17 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
JP7282487B2 (ja) * 2018-06-07 2023-05-29 キヤノンメディカルシステムズ株式会社 医用画像診断装置
EP3807814A4 (en) * 2018-06-15 2022-03-16 Subtle Medical, Inc. MAGNETIC RESONANCE IMAGING STANDARDIZATION SYSTEMS AND METHODS USING DEEP LEARNING
US10978176B2 (en) 2018-06-29 2021-04-13 pulseData Inc. Machine learning systems and methods for predicting risk of renal function decline
US10678822B2 (en) * 2018-06-29 2020-06-09 International Business Machines Corporation Query expansion using a graph of question and answer vocabulary
JP7199850B2 (ja) * 2018-06-29 2023-01-06 キヤノンメディカルシステムズ株式会社 医用情報処理装置
KR20200003444A (ko) * 2018-07-02 2020-01-10 삼성전자주식회사 영상 모델 구축 장치 및 방법
JP7304223B2 (ja) * 2018-07-09 2023-07-06 タタ コンサルタンシー サービシズ リミテッド ハイブリッド学習技法を生成するための方法およびシステム
JP7091174B2 (ja) * 2018-07-09 2022-06-27 キヤノン株式会社 システム、システムの制御方法及びプログラム
EP3830793A4 (en) * 2018-07-30 2022-05-11 Memorial Sloan Kettering Cancer Center MULTIMODE, MULTI-RESOLUTION DEEP LEARNING NETWORKS FOR SEGMENTATION, OUTCOME PREDICTION, AND MONITORING LONGITUDINAL RESPONSES TO IMMUNOTHERAPY AND RADIATION THERAPY
KR102107021B1 (ko) * 2018-08-10 2020-05-07 주식회사 딥핑소스 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US10430708B1 (en) * 2018-08-17 2019-10-01 Aivitae LLC System and method for noise-based training of a prediction model
US10751029B2 (en) * 2018-08-31 2020-08-25 The University Of British Columbia Ultrasonic image analysis
JP7175682B2 (ja) * 2018-09-06 2022-11-21 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援システム、診断支援方法、及び診断支援プログラム
EP3628229B1 (de) * 2018-09-27 2021-07-21 Siemens Healthcare GmbH Erzeugung eines ergebnisbildes
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
KR102246318B1 (ko) * 2018-10-05 2021-04-30 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
CA3116554A1 (en) * 2018-10-15 2020-04-23 University Of Louisville Research Foundation, Inc. Computer aided diagnostic systems and methods for detection of cancer
US11640519B2 (en) 2018-10-31 2023-05-02 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using cross-domain batch normalization
US11494612B2 (en) * 2018-10-31 2022-11-08 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using domain classifier
CN109461495B (zh) 2018-11-01 2023-04-14 腾讯科技（深圳）有限公司 一种医学图像的识别方法、模型训练的方法及服务器
US10957032B2 (en) * 2018-11-09 2021-03-23 International Business Machines Corporation Flexible visual inspection model composition and model instance scheduling
US10929708B2 (en) 2018-12-10 2021-02-23 International Business Machines Corporation Deep learning network for salient region identification in images
GB2579797B (en) * 2018-12-13 2022-11-16 Room4 Group Ltd Classification of cell nuclei
CN109740481B (zh) * 2018-12-26 2019-12-10 山东科技大学 基于跳跃连接的cnn与lstm结合的房颤信号分类***
US10373025B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Method and device for verifying integrity of parameters of CNN by using test pattern to enhance fault tolerance and fluctuation robustness in extreme situations for functional safety
CA3129213A1 (en) * 2019-02-06 2020-08-13 The University Of British Columbia Neural network image analysis
US20200257985A1 (en) * 2019-02-08 2020-08-13 DeepSig Inc. Adversarially generated communications
US20220254005A1 (en) * 2019-03-15 2022-08-11 Inv Performance Materials, Llc Yarn quality control
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
EP3943011A4 (en) * 2019-03-22 2022-12-21 Medical Optfellow Inc. PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
US20220165395A1 (en) * 2019-04-17 2022-05-26 Koninklijke Philips N.V. Medical imaging systems and methods with auto-correction of image quality-based on the log analysis of medical devices
CN110068760A (zh) * 2019-04-23 2019-07-30 哈尔滨理工大学 一种基于深度学习的异步电动机故障诊断方法
WO2020219757A1 (en) * 2019-04-23 2020-10-29 The Johns Hopkins University Abdominal multi-organ segmentation with organ-attention networks
US11120215B2 (en) * 2019-04-24 2021-09-14 International Business Machines Corporation Identifying spans using visual recognition
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
TWI701681B (zh) * 2019-05-16 2020-08-11 中國醫藥大學附設醫院 心房顫動預測模型及其預測系統
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US20210082565A1 (en) * 2019-06-01 2021-03-18 Inteneural Networks Inc. Method and system for predicting neurological treatment
WO2021009715A1 (en) * 2019-07-16 2021-01-21 16 Bit Inc. Approximating bone mineral density and fracture risk using single energy x-rays
WO2021022365A1 (en) * 2019-08-02 2021-02-11 Intellijoint Surgical Inc. Systems and methods to collaborate, to train an expert system and to provide an expert system
JP7446736B2 (ja) * 2019-08-09 2024-03-11 キヤノンメディカルシステムズ株式会社 医用データ処理装置および医用画像診断装置
US11183294B2 (en) * 2019-08-30 2021-11-23 International Business Machines Corporation Automatic detection and replacement of identifying information in images using machine learning
CN110559009B (zh) * 2019-09-04 2020-12-25 中山大学 基于gan的多模态低剂量ct转换高剂量ct的方法
US20210070334A1 (en) * 2019-09-05 2021-03-11 Progress Rail Services Corporation Machine learning based train control
MX2022002692A (es) * 2019-09-06 2022-04-11 Sports Data Labs Inc Sistema para generar datos y modelos simulados sobre animales.
CN110610207B (zh) * 2019-09-10 2022-11-25 重庆邮电大学 一种基于迁移学习的小样本sar图像舰船分类方法
US10924334B1 (en) * 2019-09-12 2021-02-16 Salesforce.Com, Inc. Monitoring distributed systems with auto-remediation
US11070441B2 (en) * 2019-09-23 2021-07-20 Cisco Technology, Inc. Model training for on-premise execution in a network assurance system
JP7453767B2 (ja) * 2019-09-25 2024-03-21 キヤノン株式会社 情報処理装置、情報処理方法
CN110689068B (zh) * 2019-09-25 2023-07-18 贵州电网有限责任公司 一种基于半监督svm的变压器故障类型诊断方法
US20210096934A1 (en) * 2019-10-01 2021-04-01 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for enhancing a patient positioning system
JP7350595B2 (ja) * 2019-10-01 2023-09-26 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び画像処理プログラム
US11583244B2 (en) * 2019-10-04 2023-02-21 GE Precision Healthcare LLC System and methods for tracking anatomical features in ultrasound images
US11769587B2 (en) * 2019-10-08 2023-09-26 GE Precision Healthcare LLC Systems and methods to configure, program, and personalize a medical device using a digital assistant
US11570030B2 (en) * 2019-10-11 2023-01-31 University Of South Carolina Method for non-linear distortion immune end-to-end learning with autoencoder—OFDM
TWI726459B (zh) * 2019-10-25 2021-05-01 中國醫藥大學附設醫院 遷移學習輔助預測系統、方法及電腦程式產品
US11804050B1 (en) * 2019-10-31 2023-10-31 Nvidia Corporation Processor and system to train machine learning models based on comparing accuracy of model parameters
CN110755076B (zh) * 2019-11-01 2023-08-11 上海联影医疗科技股份有限公司 磁共振扫描仪的图像采集方法、装置、设备和介质
JP7337675B2 (ja) * 2019-12-04 2023-09-04 キヤノンメディカルシステムズ株式会社 医用データ処理装置
EP3835828A1 (en) * 2019-12-11 2021-06-16 Koninklijke Philips N.V. Ai-based scintillator response modelling for increased spatial resolution in pet
JP7466301B2 (ja) * 2019-12-20 2024-04-12 キヤノンメディカルシステムズ株式会社 医用システム、医用情報管理装置及び端末装置
CN111067507B (zh) * 2019-12-26 2021-11-26 常熟理工学院 基于生成对抗网络和策略梯度的心电信号去噪方法
CN110974299A (zh) * 2019-12-31 2020-04-10 上海杏脉信息科技有限公司 超声扫查机器人***、超声扫查方法及介质
CN110974217B (zh) * 2020-01-03 2022-08-09 苏州大学 基于卷积自编码器的双阶段心电信号降噪方法
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US20210209509A1 (en) * 2020-01-07 2021-07-08 Alegion, Inc. System and method for guided synthesis of training data
US11574246B2 (en) * 2020-01-21 2023-02-07 Microsoft Technology Licensing, Llc Updating training examples for artificial intelligence
CN111311703B (zh) * 2020-01-21 2023-11-21 浙江工业大学 一种基于深度学习的电阻抗断层图像重构方法
TWI753361B (zh) * 2020-02-06 2022-01-21 商之器科技股份有限公司 用於醫療影像存取系統與輔助診斷的整合系統
US11077320B1 (en) 2020-02-07 2021-08-03 Elekta, Inc. Adversarial prediction of radiotherapy treatment plans
TWI767188B (zh) * 2020-02-13 2022-06-11 國立中央大學 基於電腦斷層成像分析腦組織成分的系統及其運作方法
KR102322616B1 (ko) * 2020-02-18 2021-11-05 서울대학교 산학협력단 Mri 스캐너 고유의 장치특성정보를 이용하는 변환 네트워크부를 포함하는 mri 데이터 변환장치 및 이를 이용한 mri 데이터 변환방법
KR20210107288A (ko) * 2020-02-24 2021-09-01 삼성전자주식회사 전자 장치 및 그 제어 방법
US11676031B2 (en) * 2020-02-25 2023-06-13 Ventech Solutions, Inc. Anatomical position monitoring for bodily pressure ulcers
EP4110161A4 (en) 2020-02-26 2024-03-20 Get-Grin Inc. SYSTEMS AND METHODS FOR NON-INVASIVE DENTAL MONITORING
CN111382792B (zh) * 2020-03-09 2022-06-14 兰州理工大学 一种基于双稀疏字典稀疏表示的滚动轴承故障诊断方法
EP3879482A1 (en) 2020-03-09 2021-09-15 Lyfegen HealthTech AG System and methods for success based health care payment
US11651107B2 (en) 2020-03-17 2023-05-16 Ventech Solutions, Inc. Securing personally identifiable and private information in conversational AI-based communication
US20210295551A1 (en) 2020-03-19 2021-09-23 Unitedhealth Group Incorporated Systems and methods for automated digital image selection and pre-processing for automated content analysis
US11568262B2 (en) 2020-03-25 2023-01-31 Ventech Solutions, Inc. Neural network based radiowave monitoring of fall characteristics in injury diagnosis
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
KR20230003485A (ko) * 2020-04-16 2023-01-06 하마마츠 포토닉스 가부시키가이샤 방사선 화상 처리 방법, 학습 완료 모델, 방사선 화상 처리 모듈, 방사선 화상 처리 프로그램, 및 방사선 화상 처리 시스템
WO2021225390A1 (ko) * 2020-05-06 2021-11-11 주식회사 슈파스 인공지능을 이용한 환자의 쇼크 발생 예측 방법, 장치 및 컴퓨터프로그램
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
CN111796710B (zh) * 2020-06-02 2023-05-23 南京信息工程大学 一种在触摸屏上再现图像轮廓特征的方法
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20220139006A1 (en) * 2020-07-29 2022-05-05 Canon Medical Systems Corporation Information processing method, medical image diagnostic apparatus, and information processing system
US20220036281A1 (en) * 2020-07-30 2022-02-03 Spring Care, Inc. Evaluating medical providers
CN111968195B (zh) * 2020-08-20 2022-09-02 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112137581A (zh) * 2020-08-26 2020-12-29 西北大学 一种基于多层感知网络的契伦科夫荧光断层成像重建方法
CN111968108B (zh) * 2020-09-02 2024-04-16 广州海兆印丰信息科技有限公司 基于智能扫描协议的ct智能成像方法、装置及***
CN112426147B (zh) * 2020-10-21 2023-08-08 华南师范大学 睡眠呼吸事件检测模型处理方法、***和存储介质
CN112164122B (zh) * 2020-10-30 2022-08-23 哈尔滨理工大学 一种基于深度残差生成对抗网络的快速cs-mri重建方法
CN112612951B (zh) * 2020-12-17 2022-07-01 上海交通大学 一种面向收益提升的无偏学习排序方法
CN112998697B (zh) * 2021-02-22 2022-06-14 电子科技大学 一种基于骨架数据的跌倒伤害程度预测方法、***及终端
US11996201B2 (en) * 2021-03-04 2024-05-28 Abbott Laboratories Technology to automatically identify the most relevant health failure risk factors
US20220327691A1 (en) * 2021-04-07 2022-10-13 Clarius Mobile Health Corp. Method and system to assess medical images for suitability in clinical interpretation
CN113128585B (zh) * 2021-04-16 2022-08-16 重庆康如来科技有限公司 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN113408697B (zh) * 2021-05-31 2022-09-16 杭州电子科技大学 一种基于强化学习自编码器的脑电数据重建方法
US20220386977A1 (en) * 2021-06-08 2022-12-08 Canon Medical Systems Corporation Method and system for automatic deployment of image restoration parameters
US12004900B2 (en) * 2021-06-09 2024-06-11 GE Precision Healthcare LLC System and methods for a measurement tool for medical imaging
CN113537373A (zh) * 2021-07-23 2021-10-22 中国人民解放军陆军工程大学 基于数字孪生的柴油机健康状态评估方法、装置及设备
CN113763406B (zh) * 2021-07-28 2024-04-26 华中师范大学 基于半监督学习的婴儿脑mri分割方法
CN113409825A (zh) * 2021-08-19 2021-09-17 南京裕隆生物医学发展有限公司 健康智能检测方法、装置、电子设备及可读存储介质
US11881041B2 (en) 2021-09-02 2024-01-23 Bank Of America Corporation Automated categorization and processing of document images of varying degrees of quality
CN113807267A (zh) * 2021-09-22 2021-12-17 华北电力大学 基于紫外视频和深度学习的悬式绝缘子放电严重程度评估方法
WO2023081279A1 (en) * 2021-11-03 2023-05-11 Amit Bahl Methods and systems for detecting intravascular device failure
WO2023097285A1 (en) * 2021-11-25 2023-06-01 GE Precision Healthcare LLC System and methods for automatically recommending radiology protocols using machine learning techniques
WO2023126246A1 (en) * 2021-12-27 2023-07-06 Koninklijke Philips N.V. Screening for subtle condition sign detection
US20240020417A1 (en) * 2022-04-29 2024-01-18 BeeKeeperAI, Inc. Systems and methods for federated feedback and secure multi-model training within a zero-trust environment
WO2024008599A1 (en) * 2022-07-07 2024-01-11 Koninklijke Philips N.V. System and method to improve image quality and prevent rescans by analyzing cross-hospital context and scan settings
WO2024101875A1 (ko) * 2022-11-08 2024-05-16 주식회사 트라이얼인포매틱스 인공지능 기반의 임상시험 영상 자동 표준화 장치, 방법 및 프로그램
CN116976566B (zh) * 2023-09-22 2023-12-22 中国标准化研究院 基于深度学习的公共标识***和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003190105A (ja) * 2001-12-27 2003-07-08 Toshiba Corp 画像蓄積サービスプロバイダ向けの医用画像診断装置の運用管理装置及び方法
JP2007528746A (ja) * 2003-06-27 2007-10-18 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド Ｃａｄ（コンピュータ援用決定）プロセスを日常的なｃａｄシステム利用から得られた知識に適合させるために機械学習を利用する医用画像診断用のｃａｄ支援
JP2010029481A (ja) * 2008-07-29 2010-02-12 Univ Of Tsukuba 腫瘍の経過観察レポート自動作成診断支援システム
JP2013106951A (ja) * 2011-11-23 2013-06-06 General Electric Co <Ge> ユーザからの明示的な学習により駆動されるスマートｐａｃｓワークフローシステムおよび方法
JP2014188082A (ja) * 2013-03-26 2014-10-06 Fujifilm Corp 携帯型コンソール端末
JP2015524107A (ja) * 2012-06-01 2015-08-20 コーニンクレッカ フィリップス エヌ ヴェ 患者情報を臨床基準にマッチングするシステム及び方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7749100A (en) * 1999-10-04 2001-05-10 University Of Florida Local diagnostic and remote learning neural networks for medical diagnosis
US20090006131A1 (en) * 2007-06-29 2009-01-01 General Electric Company Electronic medical record-influenced data acquisition, processing, and display system and method
US20090006132A1 (en) * 2007-06-29 2009-01-01 General Electric Company Patient-specific electronic medical record and method for making same
US8430816B2 (en) 2008-05-20 2013-04-30 General Electric Company System and method for analysis of multiple diseases and severities
US8099299B2 (en) 2008-05-20 2012-01-17 General Electric Company System and method for mapping structural and functional deviations in an anatomical region
US8010381B2 (en) 2008-05-20 2011-08-30 General Electric Company System and method for disease diagnosis from patient structural deviation data
US8053735B2 (en) * 2008-12-19 2011-11-08 Utah State University Optimized case specific SPECT sampling
US9271651B2 (en) 2009-11-30 2016-03-01 General Electric Company System and method for integrated quantifiable detection, diagnosis and monitoring of disease using patient related time trend data
US8934685B2 (en) 2010-09-21 2015-01-13 General Electric Company System and method for analyzing and visualizing local clinical features
US8811695B2 (en) * 2010-12-14 2014-08-19 General Electric Company Methods, apparatus and articles of manufacture to adaptively reconstruct medical diagnostic images
US9918700B2 (en) 2013-02-01 2018-03-20 Siemens Medical Solutions Usa, Inc. Tuning ultrasound acquisition parameters
US9152761B2 (en) * 2014-01-10 2015-10-06 Heartflow, Inc. Systems and methods for identifying medical image acquisition parameters
WO2015134665A1 (en) 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
WO2016054287A1 (en) * 2014-10-01 2016-04-07 Bright.Md Inc. Medical diagnosis and treatment support apparatus, system, and method
US9524450B2 (en) * 2015-03-04 2016-12-20 Accenture Global Services Limited Digital image processing using convolutional neural networks
US20180144241A1 (en) * 2016-11-22 2018-05-24 Mitsubishi Electric Research Laboratories, Inc. Active Learning Method for Training Artificial Neural Networks
US10242443B2 (en) 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003190105A (ja) * 2001-12-27 2003-07-08 Toshiba Corp 画像蓄積サービスプロバイダ向けの医用画像診断装置の運用管理装置及び方法
JP2007528746A (ja) * 2003-06-27 2007-10-18 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド Ｃａｄ（コンピュータ援用決定）プロセスを日常的なｃａｄシステム利用から得られた知識に適合させるために機械学習を利用する医用画像診断用のｃａｄ支援
JP2010029481A (ja) * 2008-07-29 2010-02-12 Univ Of Tsukuba 腫瘍の経過観察レポート自動作成診断支援システム
JP2013106951A (ja) * 2011-11-23 2013-06-06 General Electric Co <Ge> ユーザからの明示的な学習により駆動されるスマートｐａｃｓワークフローシステムおよび方法
JP2015524107A (ja) * 2012-06-01 2015-08-20 コーニンクレッカ フィリップス エヌ ヴェ 患者情報を臨床基準にマッチングするシステム及び方法
JP2014188082A (ja) * 2013-03-26 2014-10-06 Fujifilm Corp 携帯型コンソール端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467336B2 (ja) 2017-11-03 2024-04-15 ゼネラル・エレクトリック・カンパニイ 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム
JP7495713B2 (ja) 2020-03-31 2024-06-05 株式会社アラヤ 情報処理装置及び情報処理方法
US20220172825A1 (en) * 2020-11-28 2022-06-02 GE Precision Healthcare LLC Medical scanner application platform

Also Published As

Publication number Publication date
CN110114834A (zh) 2019-08-09
CN110114834B (zh) 2024-04-26
US20190220975A1 (en) 2019-07-18
JP7051849B2 (ja) 2022-04-11
US10438354B2 (en) 2019-10-08
EP3545525A1 (en) 2019-10-02
US10242443B2 (en) 2019-03-26
US20180144465A1 (en) 2018-05-24
WO2018098077A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
US10438354B2 (en) Deep learning medical systems and methods for medical procedures
US10896352B2 (en) Deep learning medical systems and methods for image reconstruction and quality evaluation
US10628943B2 (en) Deep learning medical systems and methods for image acquisition
US11003988B2 (en) Hardware system design improvement using deep learning algorithms
KR102229853B1 (ko) 환자 특정적 딥러닝 이미지 잡음제거 방법들 및 시스템들
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10984905B2 (en) Artificial intelligence for physiological quantification in medical imaging
US11443201B2 (en) Artificial intelligence-based self-learning in medical imaging
US10984894B2 (en) Automated image quality control apparatus and methods
US20240127436A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US20220399107A1 (en) Automated protocoling in medical imaging systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200917

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220330

R150 Certificate of patent or registration of utility model

Ref document number: 7051849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150