JP7053541B2 - 患者固有の深層学習画像ノイズ除去方法およびシステム - Google Patents

患者固有の深層学習画像ノイズ除去方法およびシステム Download PDF

Info

Publication number
JP7053541B2
JP7053541B2 JP2019149230A JP2019149230A JP7053541B2 JP 7053541 B2 JP7053541 B2 JP 7053541B2 JP 2019149230 A JP2019149230 A JP 2019149230A JP 2019149230 A JP2019149230 A JP 2019149230A JP 7053541 B2 JP7053541 B2 JP 7053541B2
Authority
JP
Japan
Prior art keywords
image
noise
patient
deep learning
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019149230A
Other languages
English (en)
Other versions
JP2020064609A (ja
Inventor
ジエ・タン
エリック・グロス
ジャン・シェイ
ロイ・ニルセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020064609A publication Critical patent/JP2020064609A/ja
Application granted granted Critical
Publication of JP7053541B2 publication Critical patent/JP7053541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本開示は、広くには、改善された医療システムに関し、より詳細には、医用画像処理のための改善された機械学習システムおよび方法に関する。
画像ノイズは、画像取得プロセスの構成要素によって持ち込まれる(例えば、画像ソース、画像検出器、撮像スキャナの他の部分の欠陥や摩耗、画像処理ソフトウェアのエラー、センサおよび/または他の撮像機器の加熱、などによって持ち込まれる)画像データのランダムな変動(例えば、画像の輝度および/または色情報の変動など)である。例えば、X線および/またはコンピュータ断層撮影による撮像においては、X線光子のポアソン統計に起因する量子ノイズが、画像のノイズの原因となり得る。画像におけるノイズまたは干渉が、実際の画像データを破損させ、さらには/あるいは他のかたちで結果として得られる画像内の特徴を不明瞭にする可能性がある。このように、画像におけるノイズは、きわめて破壊的であり得、画像内のノイズによって臨床医(例えば、放射線科医、専門医、外科医、など)が健康の問題を診断できず、あるいは処置について適切な準備ができない場合には、患者にとって危険にすらなり得る。
画像の処理および分析などを含む医療提供者のタスクは、時間がかかるリソース集約的なタスクであり、人間が単独で達成することが、不可能ではないかもしれないが非現実的である。患者の治療および安全のために処理、分析、および依拠されるべき画像にノイズが加わると、既に困難であるが重要であるタスクがさらに難しくなる。
特定の例は、深層学習ネットワークモデルを使用する改善された画像ノイズ除去のためのシステムおよび方法を提供する。
特定の例は、入力データプロセッサと、画像データノイズ除去装置と、後処理画像生成装置と、出力イメージャとを含む画像データ処理システムを提供する。典型的な入力データプロセッサは、第1の患者の第1の患者画像を処理し、第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成する。典型的な画像データノイズ除去装置は、第1の深層学習ネットワークを使用してノイズの多い画像入力を処理して第1のノイズを識別する。典型的な画像データノイズ除去装置は、ノイズの多い画像入力を使用して第1の深層学習ネットワークを訓練し、第1の深層学習ネットワークのノイズ出力と予想されるノイズ出力との比較に基づいてネットワーク重みを修正する。第1の深層学習ネットワークが第1のノイズを識別するように訓練されたときに、画像データノイズ除去装置は、第1の深層学習ネットワークを、第1の患者の第2の患者画像の第2のノイズを識別すべく第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開する。典型的な後処理画像生成装置は、第2の深層学習ネットワークモデルによって識別された第2のノイズを第2の患者画像から除去してノイズ除去された患者画像を形成する。典型的な出力イメージャは、ノイズ除去された患者画像を出力する。
特定の例は、命令を含んでいるコンピュータ可読記憶媒体を提供し、これらの命令は、実行されたときに、少なくとも、第1の患者の第1の患者画像を処理し、第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成するステップ、第1のノイズを識別するようにノイズの多い画像入力を入力として使用して第1の深層学習ネットワークを訓練するステップ、および第1の深層学習ネットワークが第1のノイズを識別するように訓練されたときに、第1の深層学習ネットワークを、第1の患者の第2の患者画像の第2のノイズを識別すべく第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開するステップを少なくとも1つのプロセッサに実行させ、第2の深層学習ネットワークモデルによって識別された第2のノイズは、出力されるべきノイズ除去された患者画像を形成するために第2の患者画像から除去される。
特定の例は、コンピュータによって実行される画像のノイズ除去の方法を提供し、この方法は、少なくとも1つのプロセッサを使用し、第1の患者の第1の患者画像を処理し、第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成するステップと、少なくとも1つのプロセッサを使用し、第1のノイズを識別するようにノイズの多い画像入力を入力として使用して第1の深層学習ネットワークを訓練するステップと、第1の深層学習ネットワークが第1のノイズを識別するように訓練されたときに、少なくとも1つのプロセッサを使用し、第1の深層学習ネットワークを、第1の患者の第2の患者画像の第2のノイズを識別すべく第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開するステップとを含み、第2の深層学習ネットワークモデルによって識別された第2のノイズは、出力されるべきノイズ除去された患者画像を形成するために第2の患者画像から除去される。
本明細書に開示される方法、装置、および製品を適用することができる典型的な撮像システムを示す図である。 本明細書に開示される方法、装置、および製品を適用することができる典型的な撮像システムを示す図である。 典型的な学習ニューラルネットワークの図である。 畳み込みニューラルネットワークとしての典型的なニューラルネットワークの特定の実施態様を示している。 画像解析畳み込みニューラルネットワークの典型的な実施態様の図である。 画像を処理および/または他のやり方で評価するための学習ネットワークを適用するための典型的な構成を示している。 複数の学習ネットワークの組み合わせを示している。 学習ネットワークの典型的な訓練および展開段階を示している。 訓練されたネットワークパッケージを活用して深層学習製品を提供する典型的な製品を示している。 種々の深層学習装置の構成を示している。 種々の深層学習装置の構成を示している。 種々の深層学習装置の構成を示している。 深層学習ネットワーク主導の画像ノイズ除去と他の再構成技術との間の比較結果を示している。 撮像手段から得られた画像データを処理およびノイズ除去する典型的な画像プロセッサ装置を示している。 図11の例の画像ノイズ除去装置の典型的な実施態様を示している。 ニューラルネットワークを使用して患者画像を処理し、その患者の画像からノイズを識別および除去する典型的な方法のフロー図を示している。 ニューラルネットワークを使用して患者画像を処理し、その患者の画像からノイズを識別および除去する典型的な方法のフロー図を示している。 ニューラルネットワークを使用して患者画像を処理し、その患者の画像からノイズを識別および除去する典型的な方法のフロー図を示している。 ニューラルネットワークを使用して患者画像を処理し、その患者の画像からノイズを識別および除去する典型的な方法のフロー図を示している。 本明細書において開示および説明される構成要素を実現するために典型的な機械可読命令を実行するように構成されたプロセッサプラットフォームのブロック図である。
図面は一定の縮尺ではない。可能な限り、同じ参照番号が、同一または同様の部分を指すために、図面および付随の書面による説明の全体を通して用いられる。
以下の詳細な説明において、本明細書の一部を形成する添付の図面を参照するが、図面には、実施され得る具体的な例が例示として示されている。これらの例は、本主題の実施を当業者にとって可能にするように充分に詳細に説明されているが、他の例も利用可能であり、本開示の主題の範囲から逸脱することなく論理的、機械的、電気的、および他の変更が可能であることを、理解すべきである。したがって、以下の詳細な説明は、典型的な実施態様を説明するために提示されており、本開示に記載される発明の主題の範囲を限定するものと解釈されるべきではない。以下の説明の別々の態様からの特定の特徴を組み合わせて、以下で説明される主題のさらなる新たな態様を形成することができる。
本開示の種々の実施形態の要素を紹介する場合に、冠詞「1つの(a)」、「1つの(an)」、「前記(the)」、および「前記(said)」は、その要素が1つ以上存在することを意味するように意図される。「・・・を備える(comprising)」、「・・・を含む(including)」、および「・・・を有する(having)」という用語は、非排他的(inclusive)であって、そこに挙げられた要素以外のさらなる要素が存在してもよいことを意味するように意図される。
特定の例が、医療システムまたはヘルスケアシステムの文脈において以下で説明されるが、他の例は、医療環境以外の環境で実施することが可能である。例えば、特定の例を、非破壊検査、爆発物検出、などの非医療の撮像に適用することができる。
I.概要
撮像装置(例えば、ガンマカメラ、陽電子放射断層撮影(PET)スキャナ、コンピュータ断層撮影(CT)スキャナ、X線装置、磁気共鳴(MR)撮像装置、超音波スキャナ、など)が、疾患を診断および/または治療するために身体の一部分(例えば、臓器、組織、など)を表す医用画像(例えば、ネイティブな医用デジタル撮像および通信(Digital Imaging and Communications in Medicine)(DICOM)画像)を生成する。医用画像は、医用画像内に取り込まれた身体の一部分に関連するボクセルを含む容積測定データを含むことができる。医用画像視覚化ソフトウェアが、医用画像のさまざまな位置における機能的または解剖学的特徴のセグメント分け、注釈付け、測定、および/または報告を、医師にとって可能にする。いくつかの例において、医師は、医用画像視覚化ソフトウェアを利用して、医用画像で関心領域を識別することができる。
医用画像データの取得、処理、解析、および保存が、ヘルスケア環境における患者の診断および治療において、重要な役割を果たす。医用撮像ワークフローおよびそのワークフローに関与する装置を、医用撮像ワークフローおよび装置の動作の全体を通して設定、監視、および更新することができる。医用撮像ワークフローおよび装置の設定、監視、および更新を支援するために、機械学習を使用することができる。
例えば、ターゲット領域の周辺の放射線感受性臓器のセグメント分けが、放射線治療計画の重要な一段階である。臨床診療において、セグメント分けは、多くの場合に手作業で実行され、これに数時間を要する可能性がある。セグメント分けの自動化、ならびに感度、精度、および正確さの改善が、効率を大幅に向上させると考えられ、このタスクにより、効率および健康ならびに患者ケアの安全性が大幅に向上すると考えられる。
自動化されたセグメント分けにおいて、各々のボクセルを、ボクセルがセグメント分けされた臓器に属するか否かを判断するために解析しなければならない。このような解析に時間がかかる可能性がある。特定の例は、種々の臓器の境界ボックスを検出および/または他のやり方で決定することによって、このような解析の速度、正確さ、および精度を向上させる。
特定の例は、診断の精度および/またはカバー範囲を改善する撮像装置の改善を提供および/または促進する。特定の例は、診断精度の改善をもたらすために、画像の再構成およびさらなる処理の改善を促進する。
機械学習は、データセットに基づいて学習する(例えば、相関を作成する、結論を導き出す、など)ことができる構造を定義する。例えば、機械学習を使用して、データセット内の抽象的概念をモデル化することができる。機械学習の例は、ニューラルネットワークであり、ニューラルネットワークは、接続されたノードの入力層および出力層などの可視層と、決定された相関関係、接続、動作、などに従ってノードを接続するようにネットワークモデルによって定義された内部層などの隠れ層とを含むことができる。一部のニューラルネットワークは、予想される相関関係などによる訓練にシード(seed)される。深層学習ネットワークなどの他のニューラルネットワークは、大規模なデータセットの分析から独自の相関関係を決定する。機械学習技術は、深層学習ネットワークであっても、他の経験的/観察的な学習システムであっても、例えば画像内のオブジェクトの位置の特定、音声の理解および音声のテキストへの変換、ならびに検索エンジン結果の関連性の改善に使用することが可能である。
深層学習は、一連のアルゴリズムを使用し、線形および非線形変換を含む複数の処理層を有するディープグラフを使用してデータにおける高レベルの抽象的概念をモデル化する機械学習の一種類である。多くの機械学習システムが、機械学習ネットワークの学習および更新によって修正されるべき初期の特徴および/またはネットワーク重みでシードされる一方で、深層学習ネットワークは、解析のための「良好な」特徴を識別するように自ら訓練する。多層のアーキテクチャを使用して、深層学習技術を採用するマシンは、従来からの機械学習技術を使用するマシンよりも良好に生データを処理することができる。高度に相関する値または弁別的テーマのグループのデータの調査が、異なる評価または抽象化の層を使用して容易にされる。
本明細書および特許請求の範囲を通して、以下の用語は、そのようではないことが文脈から明らかでない限り、本明細書において明示的に関連付けられる意味をとる。「深層学習」という用語は、複数のデータ処理層を使用してデータセット内のさまざまな構造を認識し、データセットを高精度で分類する機械学習技術である。深層学習ネットワークは、複数の入力および出力に基づいてパターンを学習する訓練用ネットワーク(例えば、訓練用ネットワークモデルまたは装置)であってよい。深層学習ネットワークは、訓練用ネットワークから生成され、入力に応答して出力をもたらす展開されたネットワーク(例えば、展開されたネットワークモデルまたは装置)であってよい。
「教師あり学習」という用語は、人間のソースから既に分類済みのデータがマシンに提供される深層学習訓練方法である。「教師なし学習」という用語は、既に分類済みのデータがマシンに与えられることがないが、マシンを異常検出に有用なものにする深層学習訓練方法である。「半教師あり学習」という用語は、マシンにとって利用可能な大量の未分類データと比べ、少量の分類済みデータが人間のソースから提供される深層学習訓練方法である。
「表現学習」という用語は、生データを機械学習タスクで利用することができる表現または特徴へと変換するための方法の一分野である。教師あり学習においては、特徴がラベル付き入力を介して学習される。
「畳み込みニューラルネットワーク」または「CNN」という用語は、データセット内の該当のオブジェクトおよび領域の検出、セグメント分け、および認識のために深層学習において使用される相互に関連するデータの生物学からインスパイアされたネットワークである。CNNは、複数の配列の形態で生データを評価し、一連の段階にてデータを分解し、学習された特徴についてデータを調査する。
「転移学習」という用語は、第1の問題と同一または同様の性質の別の問題を解決するために、或る問題の適切または不適切な解決に使用された情報を記憶するマシンのプロセスである。転移学習は、「誘導学習」としても知られている。転移学習は、例えば、以前のタスクからのデータを利用することができる。
「アクティブラーニング」という用語は、マシンが外部のエンティティによって選択された例を受動的に受け取るのではなく、マシンが訓練用データを受け取るべき一連の例を選択する機械学習のプロセスである。例えば、マシンが学習するにつれて、マシンは、例の識別および提供において外部の専門家または外部のシステムに頼るだけでなく、自身が学習に最も有用であると判断する例を選択することができる。
「コンピュータ支援検出」または「コンピュータ支援診断」という用語は、考えられる診断を提案する目的で医用画像を解析するコンピュータを指す。
「ノイズ除去」または「画像ノイズ除去」という用語は、画像のノイズ低減および特徴維持を指す。したがって、画像データへと持ち込まれたノイズが低減または除去される一方で、画像データに取り込まれたターゲットの実際の特徴は維持され、結果としての画像に表示される。画像ノイズ除去は、放射線科医および/または他の臨床医のレビューのための診断品質の画像のために、特徴を維持しつつ画像内のノイズを除去する。
特定の例は、画像(例えば、2次元および/または3次元コンピュータ断層撮影(CT)、X線、などの画像)における身体検出、関心領域の周囲の境界ボックスの生成、および境界ボックス領域のボクセル分析を含む画像分析の新しいワークフローを実現するために、ニューラルネットワークおよび/または他の機械学習を使用する。特定の例は、画像をセグメント分けし、画像内の臓器を識別するために、関連の特徴セットを有する完全接続ネットワーク(FCN)およびCNNに重なる勾配ブースティングマシン(GBM)による革新的なネットワークアーキテクチャを使用して、CNNの多層入力機能と併せたFCNのクラウド型確率的特徴セットを促進する。
深層学習および他の機械学習
深層学習は、マシンに生データを与え、データ分類に必要な表現を判断させることを可能にする表現学習法を用いる機械学習技術の一種である。深層学習は、深層学習マシンの内部パラメータ(例えば、ノード重み)を変更するために使用される逆伝搬アルゴリズムを使用してデータセット内の構造を確認する。深層学習マシンは、さまざまな多層アーキテクチャおよびアルゴリズムを利用することができる。例えば、機械学習は、ネットワークの訓練に使用されるべき特徴の識別を必要とするが、深層学習は、外部の識別を必要とすることなく、生データを処理して関心の特徴を識別する。
ニューラルネットワーク環境における深層学習には、ニューロンと呼ばれる多数の相互接続されたノードを含む。入力ニューロンが、外部のソースから活性化され、マシンパラメータによって支配される他のニューロンへの接続に基づいて、他のニューロンを活性化させる。ニューラルネットワークは、自身のパラメータに基づく特定の様相で挙動する。学習によってマシンパラメータ、したがってネットワーク内のニューロン間の接続がリファインされ、ニューラルネットワークが所望の様相で挙動するようになる。
畳み込みニューラルネットワークを利用する深層学習は、畳み込みフィルタを使用してデータをセグメント分けし、データ内の学習された観察可能な特徴を位置特定および識別する。CNNアーキテクチャの各々のフィルタまたは層は、入力データを変換して、データの選択性および不変性を向上させる。このデータの抽象化により、マシンは、分類を試みているデータ内の特徴に集中し、無関係な背景情報を無視することができる。
深層学習は、多くのデータセットが低レベルの特徴を含む高レベルの特徴を含むという理解に基づいて動作する。例えば、画像を調べる際に、対象物を探すよりもむしろ、探している対象物を形成する部分を形成するモチーフを形成するエッジを探す方が効率的である。特徴のこれらの階層を、音声およびテキストなどの多数のさまざまなデータ形式において見ることができる。
学習された観察可能な特徴は、教師あり学習においてマシンによって学習されたオブジェクトおよび定量化可能な秩序が含まれる。充分に分類されたデータの大きなセットが提供されたマシンは、新たなデータの成功裏の分類に関する特徴の識別および抽出へと良好に準備されている。
転移学習を利用する深層学習マシンは、データの特徴を人間の専門家によって確認された特定の分類に適切に結び付けることができる。反対に、同じマシンは、人間の専門家による誤った分類が与えられた場合に、分類のためのパラメータを更新することができる。例えば、設定および/または他の構成情報を、設定および/または他の構成情報の学習された使用によって導くことができ、システムがより多く使用される(例えば、繰り返し使用され、さらには/あるいは複数のユーザによって使用される)場合、所与の状況において、設定および/または他の構成情報に関するいくつかの変動および/または他の可能性を減らすことができる。
典型的な深層学習ニューラルネットワークは、例えば、専門家によって分類されたデータセットについて訓練可能である。このデータセットは、ニューラルネットワークの第1のパラメータを構築し、これは教師あり学習の段階であると考えられる。教師あり学習の段階において、ニューラルネットワークを、所望の挙動が達成されたか否かについて試験することができる。
ひとたび所望のニューラルネットワーク挙動が達成される(例えば、マシンが特定のしきい値に従って動作するように訓練される)と、マシンを使用(例えば、「本物の」データを有するマシンを試験するなど)のために展開することができる。動作時に、ニューラルネットワークの分類を、ニューラルネットワークの挙動を改善し続けるために(例えば、専門家ユーザ、エキスパートシステム、参照データベース、などによって)確認または拒否することができる。次いで、典型的なニューラルネットワークは、転移学習の状態になり、ニューラルネットワークの挙動を決定する分類のためのパラメータが進行中の相互作用に基づいて更新される。特定の例において、ニューラルネットワークは、別のプロセスに直接的なフィードバックを提供することができる。特定の例において、ニューラルネットワークは、別のプロセスへの提供前に(例えば、クラウドなどを介して)バッファおよび検証されるデータを出力する。
畳み込みニューラルネットワーク(CNN)を用いた深層学習マシンを、画像解析に用いることができる。CNN解析の各段階を、自然画像における顔認識、コンピュータ支援診断(CAD)、などに使用することができる。
高品質の医用画像データを、X線、コンピュータ断層撮影(CT)、分子画像およびコンピュータ断層撮影(MICT)、磁気共鳴画像(MRI)、などの1つ以上の撮像態様を使用して取得することができる。医用画像の品質は、画像を生成するマシンの影響は受けないが、患者の影響を受けることが多い。患者がMRIの最中に動くと、例えば正確な診断を妨げかねないぼやけた画像またはゆがんだ画像が生じる可能性がある。
医用画像の解釈は、品質に関係なく、まだ発展途上である。医用画像は、主に医師によって解釈されるが、これらの解釈は主観的になりかねず、現場での医師の経験および/または疲労の状態によって影響を受けるであろう。機械学習による画像解析は、医療専門家のワークフローを支援することができる。
深層学習マシンは、例えば、画像品質および分類に関して画像解析を改善するためのコンピュータ支援検出のサポートを提供することができる。しかしながら、医療分野に適用された深層学習マシンが直面する問題が、多数の誤った分類につながることが多い。例えば、深層学習マシンは、小さな訓練用データセットを克服し、反復的な調整を必要としなければならない。
最小限の訓練による深層学習マシンを、例えば医用画像の品質の判断に使用することができる。半教師ありおよび教師なしの深層学習マシンを、画像の定性的側面の定量的測定に使用することができる。例えば、画像の品質が診断用として充分であるかどうかを判定するために、画像の取得後に深層学習マシンを利用することができる。教師あり深層学習マシンを、コンピュータ支援診断に使用することもできる。教師あり学習は、例えば、誤分類への感受性の軽減に役立つことができる。
深層学習マシンは、教師あり訓練において利用することができる小さなデータセットに対処するために、医師との対話時に転移学習を利用することができる。これらの深層学習マシンは、訓練および転移学習を通じて、時間の経過につれてコンピュータ支援診断を改善することができる。
II.実施例の説明
典型的な撮像システム
本明細書に記載される方法、装置、および製品は、さまざまな医療および非医療システムに適用可能である。1つの特定の例において、本明細書に記載される方法、装置、および製品は、コンピュータ断層撮影(CT)撮像システムの構成要素、構成、および動作に適用可能である。図1および図2が、本明細書に開示される方法、装置、および製品を適用することができるCT撮像スキャナの典型的な実施態様を示している。図1および図2は、ガントリ12を含むCT撮像システム10を示している。ガントリ12は、X線源14を有する回転部材13を有し、X線源14は、回転部材13の反対側の検出器アセンブリ18に向けてX線ビーム16を投射する。主ベアリングを利用して、回転部材13をガントリ12の静止構造体へと取り付けることができる。X線源14は、静止ターゲットまたは回転ターゲットのいずれかを含む。検出器アセンブリ18は、複数の検出器20およびデータ取得システム(DAS)22によって形成され、コリメータを含むことができる。複数の検出器20は、被検体24を通過する投影されたX線を感知し、DAS22は、そのデータを、その後の処理のために、デジタル信号に変換する。各々の検出器20は、衝突するX線ビーム、したがって被検体24を通過して減衰したビームについて、その強度を表すアナログまたはデジタル電気信号を生成する。X線投影データを取得するためのスキャン時に、回転部材13および回転部材13に取り付けられた構成要素は、回転中心の周りを回転することができる。
回転部材13の回転およびX線源14の動作は、CTシステム10の制御機構26によって制御される。制御機構26は、X線源14に電力およびタイミング信号を供給するX線コントローラ28およびジェネレータ30と、回転部材13の回転速度および位置を制御するガントリモータコントローラ32とを含むことができる。画像再構成器34が、DAS22からサンプリングされデジタル化されたX線データを受け取り、高速画像再構成を実行する。再構成された画像は、コンピュータ36に出力され、コンピュータ36はその画像をコンピュータ記憶装置38に格納する。
さらに、コンピュータ36は、キーボード、マウス、タッチセンシティブコントローラ、音声起動コントローラ、または任意の他の適切な入力装置などの何らかの形式のオペレータインターフェースを有するオペレータコンソール40を介して、オペレータからコマンドおよび走査パラメータを受信する。ディスプレイ42が、コンピュータ36からの再構成された画像および他のデータを、オペレータにとって観察可能にする。オペレータからもたらされたコマンドおよびパラメータは、制御信号および情報をDAS22、X線コントローラ28、およびガントリモータコントローラ32に提供するためにコンピュータ36によって使用される。さらに、コンピュータ36は、被検体24およびガントリ12を位置決めするために電動テーブル46を制御するテーブルモータコントローラ44を動作させる。とくに、テーブル46は、全体的または部分的にガントリ開口部48またはボアを通って被検体24を移動させる。座標系50が、被検体24が開口部48の内外に移動する患者軸またはZ軸52と、検出器アセンブリ18が通過するガントリ円周軸またはX軸54と、X線管14の焦点から検出器アセンブリ18への方向に沿って通るY軸56とを定める。
したがって、特定の例は、機械学習技術を、CTスキャナ10およびそのガントリ12、回転部材13、X線源14、検出器アセンブリ18、制御機構26、画像再構成器34、コンピュータ36、オペレータコンソール40、ディスプレイ42、テーブルコントローラ44、テーブル46、および/またはガントリ開口部48、などの構成および/または動作に適用することができる。構成要素の構成、動作、などを、例えば、入力、所望の出力、実際の出力、などに基づいて監視し、スキャナ10および/またはその構成要素の構成、動作、ならびに/あるいは画像の取得および/または処理の変更を学習および提案することができる。
典型的な学習ネットワークシステム
図3が、典型的な学習ニューラルネットワーク300の図を示している。典型的なニューラルネットワーク300は、層320、340、360、および380を含む。層320および340は、ニューラル接続部330と接続されている。層340および360は、ニューラル接続部350と接続されている。層360および380は、ニューラル接続部370と接続されている。データは、入力312、314、316を介して入力層320から出力層380および出力390へと順方向に流れる。
層320は、図3の例では、複数のノード322、324、326を含む入力層である。層340および360は隠れ層であり、図3の例ではノード342、344、346、348、362、364、366、368を含む。ニューラルネットワーク300は、図示されているよりも多数または少数の隠れ層340および360を含んでもよい。層380は、出力層であり、図3の例では、出力390を有するノード382を含む。各々の入力312~316は、入力層320のノード322~326に対応し、入力層320の各々のノード322~326は、隠れ層340の各々のノード342~348への接続部330を有する。隠れ層340の各々のノード342~348は、隠れ層360の各々のノード362~368への接続部350を有する。隠れ層360の各々のノード362~368は、出力層380への接続部370を有する。出力層380は、この典型的なニューラルネットワーク300からの出力をもたらす出力390を有する。
接続部330、350、および370のうち、特定の典型的な接続部332、352、372に追加の重みを与えることができる一方で、他の典型的な接続部334、354、374には、ニューラルネットワーク300におけるより軽い重みを与えることができる。入力ノード322~326は、例えば、入力312~316を介して入力データを受信することによって活性化される。隠れ層340および360のノード342~348および362~368は、接続部330および350をそれぞれ介するネットワーク300におけるデータの順方向の流れによって活性化される。出力層380のノード382は、隠れ層340および360において処理されたデータが接続部370を介して送信された後に活性化される。出力層380の出力ノード382が活性化されたとき、ノード382は、ニューラルネットワーク300の隠れ層340および360で達成された処理に基づいて適切な値を出力する。
図4が、畳み込みニューラルネットワーク400としての典型的なニューラルネットワーク300の特定の実施態様を示している。図4の例に示されるように、入力310が、入力310を処理して第2の層340へと伝搬させる第1の層320へと提供される。入力310は、第2の層340でさらに処理され、第3の層360に伝搬する。第3の層360は、出力層380へともたらされるデータを分類する。より具体的には、図4の例に示されるように、畳み込み404(例えば、5×5の畳み込みなど)が第1の層320において入力310(例えば、32x32のデータ入力など)の一部またはウインドウ(「受容野」とも呼ばれる)402に適用され、特徴マップ406(例えば、(6x)28x28の特徴マップなど)がもたらされる。畳み込み404は、入力310からの要素を特徴マップ406にマッピングする。さらに、第1の層320は、縮小された特徴マップ410(例えば、(6x)14x14の特徴マップなど)を生成するためにサブサンプリング(例えば、2x2のサブサンプリングなど)をもたらす。特徴マップ410は、畳み込み412を経て、第1の層320から第2の層340へと伝搬し、そこで特徴マップ410は、拡張された特徴マップ414(例えば、(16x)10x10の特徴マップなど)となる。第2の層340におけるサブサンプリング416の後に、特徴マップ414は、縮小された特徴マップ418(例えば、(16x)4x5の特徴マップなど)となる。特徴マップ418は、畳み込み420を経て、第3の層360へと伝搬し、ここで特徴マップ418は、例えば畳み込みされた層422への接続部426を有するN個の分類の出力層424を形成する分類層422となる。
図5が、画像解析畳み込みニューラルネットワーク500の典型的な実施態様を示している。畳み込みニューラルネットワーク500は、入力画像502を受け取り、畳み込み層504において画像を抽象化して、学習された特徴510~522を識別する。第2の畳み込み層530において、画像は、複数の画像530~538へと変換され、画像530~538において、学習された特徴510~522の各々は、それぞれのサブ画像530~538において強調される。画像530~538は、画像540~548において関心の特徴510~522に注目するようにさらに処理される。結果として得られる画像540~548は、次に、画像540~548のうちの関心の特徴510~522を含む部分550~554を分離するために画像540~548のサイズを縮小するプール層を通って処理される。畳み込みニューラルネットワーク500の出力550~554は、最後の非出力層から値を受け取り、最後の非出力層から受け取ったデータに基づいて画像を分類する。特定の例において、畳み込みニューラルネットワーク500は、畳み込み層、プール層、学習された特徴、および出力、などの多くの異なる変形を含むことができる。
図6Aが、画像を処理し、さらには/あるいは他のやり方で評価するために学習(例えば、機械学習、深層学習、など)ネットワークを適用するための典型的な構成600を示している。機械学習は、画像取得、画像再構成、画像解析/診断、などのさまざまなプロセスに適用することができる。図6Aの典型的な構成600に示されるように、生データ610(例えば、X線スキャナ、コンピュータ断層撮影スキャナ、超音波スキャナ、磁気共鳴スキャナ、などの撮像スキャナから得られたソノグラム生データなどの生データ610)が、学習ネットワーク620に供給される。学習ネットワーク620は、データ610を処理して、生画像データ610を結果として得られる画像630(例えば、「良質」画像および/または診断に充分な品質を提供する他の画像、など)に相関付け、さらには/あるいは他のやり方で結合させる。学習ネットワーク620は、生データ610を最終的な画像630に関連付けるためのノードおよび接続部(例えば、経路)を含む。学習ネットワーク620は、例えば、接続部について学習し、フィードバックを処理して接続部を確立し、パターンを識別する訓練用ネットワークであってよい。学習ネットワーク620は、例えば、訓練用ネットワークから生成され、訓練用ネットワークにおいて確立された接続部およびパターンを利用して、入力生データ610を取得し、結果として得られる画像630を生成する展開ネットワークであってよい。
ひとたび学習620が訓練され、生画像データ610から良好な画像630を生成すると、ネットワーク620は、「自己学習」プロセスを継続し、動作するにつれてその性能をリファインすることができる。例えば、入力データ(生データ)610における「冗長性」およびネットワーク620における冗長性が存在し、冗長性を利用することができる。
学習ネットワーク620内のノードに割り当てられた重みが検査される場合、きわめて小さい重みを有する多数の接続部およびノードが存在する可能性が高い。小さい重みは、これらの接続部およびノードが学習ネットワーク620の全体的な性能にほとんど寄与しないことを示す。したがって、これらの接続部およびノードは冗長である。このような冗長性を、入力(生データ)610の冗長性を低減するために評価することができる。入力610の冗長性の低減は、例えば、スキャナハードウェアの節約および構成要素への要求の低減をもたらすことができ、患者への曝露線量の低減ももたらすことができる。
展開において、構成600は、入力定義610と、訓練されたネットワーク620と、出力定義630とを含むパッケージ600を形成する。パッケージ600を、撮像システム、解析エンジン、などの別のシステムに対して展開および設置することができる。
図6Bの例に示されるように、学習ネットワーク620を、より大きな学習ネットワークを形成するために、複数の学習ネットワーク621~623と連鎖させ、さらには/あるいは他のやり方で組み合わせることができる。ネットワーク620~623の組み合わせを、例えば、入力への応答をさらにリファインし、かつ/またはネットワーク620~623をシステムの種々の態様に割り当てるために使用することができる。
いくつかの例においては、動作時に、「弱い」接続部およびノードを最初にゼロに設定することができる。その場合、学習ネットワーク620は、保持プロセスにおいてそのノードを処理する。特定の例において、ゼロに設定されたノードおよび接続部は、再訓練時に変更することができない。ネットワーク620に存在する冗長性に鑑み、同様に良好な画像が生成される可能性が高い。図6Bに示されるように、再訓練後に、学習ネットワーク620はDLN621となる。学習ネットワーク621も、弱い接続部およびノードを識別し、それらをゼロに設定するために検査される。このさらに再訓練されたネットワークが、学習ネットワーク622である。典型的な学習ネットワーク622は、学習ネットワーク621内の「ゼロ」ならびに新たな一式のノードおよび接続部を含む。学習ネットワーク622は、「最小実行可能ネット(MVN)」と呼ばれる学習ネットワーク623において良好な画質に達するまで、プロセスを繰り返し続ける。学習ネットワーク623は、学習ネットワーク623においてさらなる接続部またはノードをゼロに設定しようと試みた場合に画像品質が損なわれる可能性があるため、MVNである。
ひとたびMVNが学習ネットワーク623で取得されると、「ゼロ」領域(例えば、グラフ内の暗い不規則領域)が入力610にマッピングされる。各々の暗い領域は、入力空間内の1つまたは1組のパラメータにマッピングされる可能性が高い。例えば、ゼロ領域のうちの1つが、生データ内のいくつかのビューおよびいくつかのチャネルにリンクされ得る。これらのパラメータに対応するネットワーク623の冗長性は減らすことが可能であるため、入力データを低減し、同様に良好な出力を生成することができる可能性が高い。入力データを低減するために、低減されたパラメータに対応する生データの新たな組が得られ、学習ネットワーク621を通じて実行される。ネットワーク620~623は簡略化されても、簡略化されなくてもよいが、学習ネットワーク620~623のうちの1つ以上は、生データ入力610の「最小実行可能入力(MVI)」に達するまで処理される。MVIにおいて、入力生データ610のさらなる低減が、画像630の品質の低下につながる可能性がある。MVIは、例えば、データ取得における複雑さの低減、システム構成要素への要求の低減、患者へのストレスの軽減(例えば、息止めまたは造影剤を減らす)、および/または患者への線量の減少をもたらすことができる。
学習ネットワーク620~623内のいくつかの接続部およびノードを強制的にゼロにすることによって、ネットワーク620~623は、補償のために「側枝」を構築する。このプロセスにおいて、学習ネットワーク620~623のトポロジへの洞察が得られる。例えば、ネットワーク621およびネットワーク622が、いくつかのノードおよび/または接続部が強制的にゼロにされているため、異なるトポロジを有することに留意されたい。ネットワークから接続部およびノードを効果的に除去するこのプロセスは、「深層学習」を超えて拡がり、例えば「ディープ深層学習」と呼ばれることがある。
特定の例においては、入力データ処理および深層学習段階を、別々のシステムとして実現することができる。しかしながら、別々のシステムとして、どちらのモジュールも、関心の/重要な入力パラメータを選択するために、より大きな入力特徴評価ループを意識することはできない。入力データ処理の選択は、高品質の出力を生成するために重要であるため、深層学習システムからのフィードバックを使用し、モデルを介して入力パラメータ選択の最適化または改善を行うことができる。生データ(例えば、総当たりであり、高価になり得る)を生成するために入力パラメータの組の全体を走査するのではなく、アクティブラーニングの変種を実施することができる。このアクティブラーニングの変種を使用して、開始パラメータ空間を決定して、モデル内で所望または「最良」の結果を生成することができる。したがって、パラメータ値を、結果の品質を低下させるが、許容できる品質の範囲またはしきい値を依然として維持する生の入力を生成するために、無作為に減少させることができ、モデルの品質にほとんど影響しない入力を処理することによるランタイムを減らすことができる。
図7が、深層学習または他の機械学習ネットワークなどの学習ネットワークの訓練段階および展開段階の例を示している。図7の例に示されるように、訓練段階において、入力702の組が処理のためにネットワーク704に提供される。この例において、入力702の組は、識別すべき画像の顔特徴を含むことができる。ネットワーク704は、入力702を順方向706に処理し、データ要素を関連付け、パターンを識別する。ネットワーク704は、入力702が犬708を表していると判定する。訓練において、ネットワーク結果708は、既知の結果712と比較される(710)。この例において、既知の結果712は人間の顔である(例えば、入力データセット702は、犬の顔ではなく人間の顔を表している)。ネットワーク704の判定708が既知の結果712と一致していない(710)ので、エラー714が生成される。エラー714は、ネットワーク704を通る後方への経路716に沿って逆方向に既知の結果712および関連データ702の解析を開始させる。したがって、訓練用ネットワーク704は、ネットワーク704を介して、データ702、712によって、前方への経路706および後方への経路716から学習する。
ひとたびネットワーク出力708と既知の出力712との比較が特定の基準またはしきい値(例えば、n回の一致、xパーセントを超える一致、など)に従って一致する(710)と、訓練用ネットワーク704を使用して、外部システムとの展開用のネットワークを生成することができる。ひとたび展開されると、単一の入力720が展開された学習ネットワーク722に提供され、出力724が生成される。この場合、訓練用ネットワーク704に基づいて、展開されたネットワーク722は、入力720が人間の顔724の画像であると判定する。
図8が、訓練されたネットワークパッケージを活用して深層および/または他の機械学習製品の提供をもたらす典型的な製品を示している。図8の例に示されるように、入力810(例えば、生データ)が前処理820のために提供される。例えば、生の入力データ810は、フォーマット、完全性、などをチェックするために前処理される(820)。ひとたびデータ810が前処理(820)されると、データのパッチが作成される(830)。例えば、データのパッチまたは一部分または「チャンク」が、処理のために特定のサイズおよびフォーマットで作成される(830)。次いで、パッチは、処理のために訓練されたネットワーク840に送られる。学習されたパターン、ノード、および接続部に基づいて、訓練されたネットワーク840は、入力パッチに基づいて出力を決定する。出力は集められて整理される(850)(例えば、使用可能な出力などを生成するために組み合わせられ、さらには/あるいは他のやり方でグループ化される)。次いで、出力が表示され(860)、さらには/あるいは他のやり方でユーザ(例えば、人間のユーザ、臨床システム、撮像手段、データストレージ(例えば、クラウドストレージ、ローカルストレージ、エッジデバイス、など)など)へと出力される。
上述のように、学習ネットワークを、訓練、展開、および種々のシステムへの適用のための装置としてパッケージすることができる。図9A~図9Cが、種々の学習装置の構成を示している。例えば、図9Aは、一般的な学習装置900を示している。この典型的な装置900は、入力定義910、学習ネットワークモデル920、および出力定義930を含む。入力定義910は、ネットワーク920を介して1つ以上の出力930に変化する1つ以上の入力を含むことができる。
図9Bは、典型的な訓練装置901を示している。すなわち、訓練装置901は、訓練用学習ネットワーク装置として構成された装置900の一例である。図9Bの例において、ネットワーク921内の接続部を発展させ、出力評価器931によって評価される出力をもたらすために、複数の訓練用入力911がネットワーク921に提供される。次いで、ネットワーク921をさらに発展させる(例えば、訓練する)ために、出力評価器931によってネットワーク921へとフィードバックがもたらされる。ネットワーク921が訓練された(例えば、出力が特定のしきい値、誤差のマージン、などによる入力および出力の既知の相関を満たした)と出力評価器931が判定するまで、さらなる入力911をネットワーク921へと提供することができる。
図9Cは、典型的な展開された装置903を示している。ひとたび訓練装置901が必要なレベルまで学習すると、訓練装置901を使用のために展開することができる。訓練装置901が学習のために複数の入力を処理する一方で、展開された装置903は、例えば出力を決定するために単一の入力を処理する。図9Cの例に示されるように、展開された装置903は、入力定義913、訓練されたネットワーク923、および出力定義933を含む。訓練されたネットワーク923を、例えばネットワーク921が充分に訓練されたならば、ネットワーク921から生成することができる。展開された装置903は、例えば、システム入力913を受け取り、ネットワーク923を介して入力913を処理して出力933を生成し、出力933を、展開された装置903が関連付けられたシステムによって使用することができる。
典型的な画像ノイズ除去システムおよび方法
画像ノイズ除去は、得られた画像データを処理し、画像データ内の撮像システムによってキャプチャされた患者および/または他のターゲットの特徴を維持しつつ、画像データ内のノイズを低減する。画像ノイズ除去を、ウェーブレット変換、統計的手法、深層学習、などを使用して促進することができる。例えば、ウェーブレット変換は、しきい値(サブバンド係数しきい値)を使用して、少数の大きな係数に集中した画像データを残しつつ、画像データ係数の全体に均一に広がるノイズを除去する。代案として、ウェーブレット変換は、非線形推定器のベイジアンフレームワークを使用して、画像データ信号およびノイズ成分の正確な統計的記述を採用することにより、ノイズの低減および特徴の維持を提供することができる。画像ノイズ除去のための統計的方法は、画像内のピクセルのグレースケール値が所与の分散にて近傍のピクセルの平均グレースケール値に等しい平均で正規分布するガウス分布などの分布に従って、画像ピクセル値をモデル化する。深層学習を、CNNおよび/または他の学習モデルを介して、ノイズの低減、解像度の向上、などのために画像データを処理するために適用することができる。
画像ノイズ除去は、CT撮像においてとくに重要であり、何故ならば、画像からのノイズ除去は、画像取得プロセスにおける放射線量の節約につながるからである。従来からの画像ノイズ除去方法は、(GEのASiR-V(商標)などの大部分は非線形な)手作業で設計される画像フィルタに注力している。しかしながら、従来からの画像ノイズ除去方法は、得られるノイズ除去後の画像に斑状のテクスチャおよび鋸歯状のエッジが生じるなど、多くの欠点を有する。本明細書で開示および説明される特定の例は、これらの欠点を克服して、診断用の品質のノイズ除去画像を提供する。
深層学習技術は、画像ノイズ除去を含む多くの用途に利用されている。一部の深層学習ノイズ除去方法は、ノイズ除去画像における喜ばしいテクスチャおよび滑らかなエッジなど、従来からのノイズ除去方法に比べて独自の利点を示す。大部分の深層学習方法は、成功のために、大規模な訓練用データセットに依存する。しかしながら、大量の訓練用データを取得する困難および大量の訓練用データを処理するための長い訓練時間の他に、ノイズ除去モデルを訓練するために患者データの母集団を使用することは、別の高リスクを有し、すなわちニューラルネットワークが訓練用データから解剖学的構造を学習し、推論によってノイズ除去タスクの実行時に類似の構造を生成しようとする可能性がある。特定の例は、例えば、患者に属しておらず、元の画像データには見られない解剖学的構造を生成することなく、同じ患者のCTスキャンから訓練用データを生成してノイズ除去タスクを実行するシステムおよび方法を提供する。
例えば、別の患者が使用される場合、ネットワークモデルは、別の患者からの解剖学的特徴を現在の患者スキャンへとコピーする恐れがある。例えば、訓練用データから健康な患者へと病変がコピーされると、誤診断が発生する。特定の例は、訓練および推論に同じ患者のデータを使用することで、深層学習の訓練プロセスを通じて他の患者の画像の特徴が誤ってインポートされ、あるいは不注意にインポートされることを回避する。
したがって、特定の例においては、深層学習の典型的な実施の方法である数名の患者にまたがる大規模なデータセットの利用よりもむしろ、ただ1人の患者が、その特定の患者から得られる画像に展開されたネットワークモデルを適用するために、CNNまたは他のニューラルネットワークの患者固有の訓練に使用される。患者固有のネットワーク訓練によれば、はるかに少ないデータを用いてネットワークを効果的に訓練することができ、ネットワークの重みおよび接続部がその特定の患者について開発され、その患者への適用性が向上する。1人の患者のデータを使用して、その患者のためのモデルを訓練し、その患者の画像のノイズ除去を可能にする充分な詳細を提供することができる。
ノイズの多い患者画像は、既知のノイズを含むように多数のやり方で生成され得る。例えば、投影ドメインおよび/または画像ドメインにおいて患者画像にノイズが加えられ得る。ノイズは、例えば、シミュレーション(例えば、解析的計算および/またはノイズモデリングに基づくモンテカルロシミュレーションなどによる)および/または実際の取得(例えば、ファントム/動物/死体からの反復スキャン、均一な領域を持つファントムからの単一スキャンの使用、などによる)によって、投影ドメインおよび/または画像ドメインノイズで生成され得る。さまざまなファントム/動物/死体/などが、ノイズのさまざまなパターンをもたらし得る。ファントムは、単純なファントム(例えば、円柱/長円体内にあり、あるいは1つ以上のインサートを有する水/ポリエステル、など)または擬人化ファントム(例えば、Lungmanファントム、Kyoto全身ファントム、など)であり得る。
訓練用ネットワークの出力は、低ノイズの患者画像に追加されたノイズの識別である。識別されたノイズは、モデルの精度を判断するために追加された実際のノイズと照合される。特定の例において、ネットワークモデルの出力はノイズのみであり、そのノイズは画像ボリュームに存在するノイズの推定に対応する。出力を既知のクリーンな画像または参照画像(例えば、ファントムからの画像、または患者から検証された画像、など)と比較して、例えば識別されたノイズが除去されたときに画像にアーチファクトが残っていないことを確認することができる。また、得られた画像を検証済みの参照画像と比較して、例えば実際の画像データがノイズと共に除去されていないことを確認することができる。
ネットワークを訓練することにより、展開されたネットワークモデルは、入力画像データのノイズを識別することができる。ノイズの正確な識別を備えたネットワークモデルを展開して、例えばネットワークモデルの訓練に使用した同じ患者および/または別の患者の画像に適用することができる。モデルを薄いスライスおよび/または厚いスライスの患者画像に適用して、それらの患者画像のノイズを推定することができる(例えば、たとえネットワークモデルが厚いスライスについて訓練されている場合でも、薄い画像スライスのノイズの検出および除去に適用することができる)。
特定の例においては、畳み込みニューラルネットワーク(CNN)を使用して、患者の画像のノイズの識別およびノイズ除去を行うことができる。例えば、各々の2次元(2D)畳み込み層について64個の出力を含み、単一の出力を有する最後の畳み込み出力層を除く各層について3x3のカーネルサイズを含む17層のCNNを使用することができる。この例では、整流線形ユニット(ReLU)アクティベーションが、この典型的なCNNの最初の16の層で使用され、バッチ正規化が、CNNの最後の層で使用される。ノイズの多い訓練用データが、FBP再構成にノイズを追加することによって生成され、次いで40x40の小さなパッチイメージに分割される。ノイズの多い画像を、ノイズを追加する前の画像と比較することによって、訓練用データに追加されたノイズパターンのグランドトゥルースを有することができる。
訓練のために、ノイズの多い画像が、ニューラルネットワークへの入力として使用され、ノイズのグランドトゥルースが、訓練のターゲット出力/結果として使用される。例えば、平均二乗誤差(MSE)損失関数および確率的勾配降下Adamオプティマイザーを使用でき、訓練を事前に設定されたエポックに達した後に停止させることができる。したがって、CNNを反復訓練において使用して、訓練用データセットを通過させ、その後に検証セットによって試験して、単一のエポックを形成することができる。複数のエポックを実行して、ノイズ除去の展開のためにネットワークモデルを訓練することができる。
この例において、CNNを用いたノイズ除去のための推論入力サイズは、訓練入力サイズと違ってもよい。例えば、(例えば、画像データに逆投影を実行して、画像を通って逆方向にソースプロジェクションを行ってソースを再構成し、フィルタ処理によってぼけまたは星状のアーチファクトなどを除去した後の)512x512のフィルタ処理逆投影(FBP)画像を、CNNへの入力として使用でき、推定ノイズ画像を推論によって生成することができる。次に、推定ノイズ画像が入力画像から差し引かれて、ノイズ除去画像が生成される。最後に、ノイズ除去画像は後処理され、最終的な出力画像が生成される。
したがって、この例では、患者スキャンが取得され、画像の処理およびネットワークモデルの訓練のために、他の患者スキャンまたは追加の患者データは不要である。水ファントムスキャンを特定のスキャナについて1回だけ取得し、スキャナの構成が変更されるまで、各々の患者の画像スキャンにおいて使用するためのスキャナの較正データとして保存することができる。したがって、深層学習に典型的に必要とされる大きなデータセットではなく、単一の患者スキャン(または、その単一の患者の複数のスキャン)を使用して、患者画像のノイズ除去のために深層学習ネットワークを訓練することができる。
図10が、a)FBP再構成、b)深層学習ネットワーク主導のノイズ除去、およびc)ASiR-Vが100%の再構成の間の比較の結果を示している。図1の例に示されるように、FBP再構成1002、深層学習ネットワークノイズ除去1004、およびASiR-V再構成1006で処理された腹部スキャン、ならびにFBP再構成1008、深層学習ネットワークノイズ除去1010、およびASiR-V再構成1012で処理された腹部/骨盤の前後(AP)像を比較して、深層学習ネットワーク主導のノイズ除去技術の精度の向上を示すことができる。
図11が、撮像手段(例えば、CT、MR、超音波、X線、など)から得られた画像データを処理し、画像からノイズ/アーチファクトを除去する典型的な画像プロセッサ装置1100を示している。典型的な装置1100は、入力データプロセッサ1110、画像ノイズ除去装置1120、後処理画像生成装置1130、および出力イメージャ1140を含む。典型的な入力データプロセッサ1110は、撮像手段、画像アーカイブ、電子医療記録、などからもたらされる画像、ノイズ、および他のデータを処理する。もたらされるデータを、画像プロセッサ1100によるさらなる処理のために、例えば解析し、フォーマットし、編成し、リファインさせることができる。典型的な画像ノイズ除去装置1120は、患者画像および対応する撮像手段のノイズ情報を含む処理済みの入力データを取得し、ノイズ情報に基づいて画像を処理して患者画像内のノイズ/アーチファクトを識別する。典型的な後処理画像生成装置1130は、患者におけるノイズに関する情報を取得し、画像を後処理して画像からノイズを除去し、後処理(例えば、コントラスト、輝度、関心領域の識別、など)を適用して典型的な出力イメージャ1140によって出力される画像を生成する。例えば、出力イメージャ1140は、出力画像を画像読み取りワークステーション、別の画像ビューア、画像処理システム、臨床決定支援システム、画像アーカイブ、電子医療記録、などへと提供することができる。
図12が、図11の例の画像ノイズ除去装置1120の典型的な実施態様を示している。図12の例に示されるように、画像ノイズ除去装置1120は、ノイズ入力プロセッサ1210、訓練用ニューラルネットワークモデル1220、比較器1230、ネットワーク重み更新器1240、展開されたニューラルネットワークモデル1250、およびノイズ識別器1260を含む。動作時に、入力データプロセッサ1110からの画像、ノイズ、および他のデータが、ノイズ入力プロセッサ1210へともたらされ、ノイズ入力プロセッサ1210は、ノイズ情報を患者画像データと組み合わせて、訓練用ニューラルネットワークモデル1220を訓練するための入力としてのノイズの多い画像を形成する。訓練用ニューラルネットワークモデル1220は、畳み込み、フィルタ処理、などによってノイズの多い画像データを処理し、ノイズの多い画像データにおけるノイズを識別する。訓練用ニューラルネットワークモデル1220は、ノイズを抽出および出力し、比較器1230へと送る。比較器1230は、訓練用ニューラルネットワーク1220によって抽出されたノイズを、予想されるノイズ値、既知のノイズ値、または「グランドトゥルース」のノイズ値と比較して、ネットワークモデル1220の精度を判断する。ニューラルネットワークモデル1220がノイズの多い画像内の既知のノイズの正しい識別に対してどれだけ近いか、またはどれだけ離れているかを示す比較器1230からのフィードバックを、ネットワーク重み更新器1240へともたらすことができ、ネットワーク重み更新器1240は、訓練用モデル1220のネットワーク重みを調整して、ノイズの多い画像データに対するモデル1220の動作を調整することができる。比較器1230が、トレーニングモデル1220がノイズの多い画像内のノイズを正確に識別および定量化していることに満足すると、訓練用ニューラルネットワークモデル1220をデータ構造としてインスタンス化し、展開されたニューラルネットワークモデル1250として展開することができる。その後に、展開されたニューラルネットワークモデル1250は、撮像手段からの患者画像におけるノイズを識別するために、画像データなどを処理することができる。ノイズ識別器1260は、ノイズ情報を定量化し、画像と共にパッケージして、この情報をノイズ/アーチファクトが除去された患者画像を生成するために後処理画像生成装置1130へと送ることができる。
典型的な実施態様が図1~図12に関連して示されているが、図1~図12に関連して示される要素、プロセス、および/または装置は、任意の他のやり方で組み合わせられ、分割され、配置変更され、省略され、排除され、さらには/あるいは実現されてよい。さらに、本明細書において開示および説明される構成要素は、ハードウェア、機械可読命令、ソフトウェア、ファームウェア、ならびに/あるいはハードウェア、機械可読命令、ソフトウェア、および/またはファームウェアの任意の組み合わせによって実現することができる。したがって、例えば、本明細書において開示および説明される構成要素は、アナログおよび/またはデジタル回路、論理回路、プログラム可能プロセッサ、特定用途向け集積回路(ASIC)、プログラマブル論理装置(PLD)、および/またはフィールドプログラマブル論理装置(FPLD)によって実現することができる。純粋にソフトウェアおよび/またはファームウェアの実施態様を包含するように本特許の装置またはシステムの請求項のいずれかを理解するとき、構成要素のうちの少なくとも1つは、ソフトウェアおよび/またはファームウェアを格納するメモリ、デジタル多用途ディスク(DVD)、コンパクトディスク(CD)、ブルーレイディスク、などの有形のコンピュータ可読記憶装置または記憶ディスクを含むように本明細書によって明確に定義される。
本明細書において開示および説明される構成要素を実現するための典型的な機械可読命令を表すフローチャートが、少なくとも図13~図16に関連して示される。これらの例において、機械可読命令は、図17に関連して以下で説明される典型的なプロセッサプラットフォーム1700に示されるプロセッサ1712などのプロセッサによる実行のためのプログラムを含む。このプログラムを、CD-ROM、フロッピーディスク、ハードドライブ、デジタル多用途ディスク(DVD)、ブルーレイディスク、またはプロセッサ1712に関連付けられたメモリなどの有形のコンピュータ可読記憶媒体上に記憶された機械可読命令に具現化させることができるが、代案として、プログラム全体および/またはその一部が、プロセッサ1712以外の装置によって実行されてよく、さらには/あるいはファームウェアまたは専用ハードウェアに具現化されてもよい。さらに、典型的なプログラムは、少なくとも図13~図16に関連して示されるフローチャートを参照して説明されるが、本明細書において開示および説明される構成要素について、これらを実現する多数の他の方法を代わりに使用してもよい。例えば、ブロックの実行順序を変更してもよく、さらには/あるいは記載されたブロックのいくつかを変更したり、削除したり、組み合わせたりしてもよい。少なくとも図13~図16のフローチャートは、典型的な動作を例示の順序にて示しているが、これらの動作は網羅的なものではなく、例示の順序に限られるわけでもない。さらに、本開示の精神および範囲において、当業者であれば種々の変更および修正を行うことができる。例えば、フローチャートに示されたブロックは、別の順序で実行されてもよいし、並列に実行されてもよい。
上述したように、少なくとも図13~図16の典型的なプロセスは、情報を任意の期間にわたって記憶する(例えば、長期間にわたって記憶し、恒久的に記憶し、短時間だけ記憶し、一時的にバッファし、さらには/あるいは情報をキャッシュする)ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ(ROM)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、キャッシュ、ランダムアクセスメモリ(RAM)、ならびに/あるいは任意の他の記憶装置または記憶ディスクなどの有形のコンピュータ可読記憶媒体に記憶された符号化命令(例えば、コンピュータおよび/または機械可読命令)を使用して実現することができる。本明細書において使用されるとき、有形のコンピュータ可読記憶媒体という用語は、任意の種類のコンピュータ可読記憶装置および/または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書において使用されるとき、「有形のコンピュータ可読記憶媒体」および「有形の機械可読記憶媒体」は、互換的に使用される。これに加え、あるいはこれに代えて、少なくとも図13~図16の典型的なプロセスは、情報を任意の期間にわたって記憶する(例えば、長期間にわたって記憶し、恒久的に記憶し、短時間だけ記憶し、一時的にバッファし、さらには/あるいは情報をキャッシュする)ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、ならびに/あるいは任意の他の記憶装置または記憶ディスクなどの非一時的なコンピュータおよび/または機械可読媒体に記憶された符号化命令(例えば、コンピュータおよび/または機械可読命令)を使用して実現され得る。本明細書において使用されるとき、非一時的なコンピュータ可読媒体という用語は、任意の種類のコンピュータ可読記憶装置および/または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書において使用されるとき、「少なくとも」という表現は、請求項の前文における遷移の用語として使用される場合、「備える(comprising)」という用語がオープンエンドであるのと同様の様相でオープンエンドである。さらに、「含む(including)」という用語は、「備える(comprising)」という用語がオープンエンドであるのと同様の様相でオープンエンドである。
図13が、ニューラルネットワーク1220、1250(例えば、CNNおよび/または他の深層学習ネットワーク)を使用して患者画像を処理し、その患者の画像からノイズを識別および除去する典型的な方法1300のフロー図を示している。ブロック1302において、患者の第1の画像ボリュームが(例えば、CTスキャナ、MRスキャナ、X線装置、超音波プローブ、などから)取得される。この画像ボリュームはノイズが大きい。例えば、再構成パラメータの第1の組を使用して、第1の画像ボリュームを取得および生成することができる。ブロック1304において、再構成パラメータの異なる組が使用され、低ノイズの第2の画像ボリュームが生成される。
ブロック1306において、ブロック1304において第2の画像ボリュームを生成するために使用された再構成パラメータを、画像再構成の最中に加えられるノイズと組み合わせて再び使用することができる。したがって、ノイズと組み合わせられた第2の画像ボリュームは、ノイズの多い画像を生成する。ブロック1306において再構成されたノイズの多い画像を、例えばCNN1220を訓練するための入力として使用することができる。ブロック1308において、追加されたノイズを再構成するためにノイズの多い画像から第2の画像ボリュームを差し引く(1310)ことにより、定量化されたノイズまたは「既知の」ノイズを決定することができる。
ブロック1312において、畳み込みニューラルネットワーク1220におけるノイズの多い画像データの分析に基づいてノイズの多い画像入力1306内のノイズを識別しようとするネットワークの試みを表す予測ノイズが、CNN1220によって出力される。ブロック1314において、CNN1220がノイズの多い入力1306内のノイズ1312をどれだけ近く識別したか(または、識別できなかったか)に基づいて、CNN1220内のノード、接続部、などのネットワーク重みを調整することができる。次いで、CNN1220は、ノイズの多い入力1306について再び動作して、予測ノイズ1312を決定することができ、必要であれば、ネットワーク重みをさらに調整することができる(1314)。
(例えば、損失関数値または訓練されたエポックの数が予め設定されたしきい値に達するなど)CNN1220が充分な精度で画像内のノイズ1312を識別するように訓練されると、ネットワークを展開することができる。展開されたCNN1250は、診断に使用される高ノイズの画像ボリュームを受け取り(ブロック1316)、患者画像を処理して画像の予測ノイズを生成する(ブロック1318)。ブロック1320において、予測ノイズ1318をチェックおよび/または他のやり方で定量化して、リファインされたノイズを生成することができる。ブロック1322において、リファインされたノイズ1320が患者画像1316から差し引かれ、診断用のノイズ除去された画像ボリュームが生成される(ブロック1324)。
図14が、撮像手段について、患者の画像のノイズ除去をその患者の画像データにおいて訓練されたディープニューラルネットワークモデルを使用して行うための典型的な方法1400のフローチャートを示している。ブロック1402において、ディープニューラルネットワーク1220は、患者自身の画像で訓練される。したがって、複数の患者からの複数の画像の大きなデータプールを必要とするのではなく、ディープニューラルネットワーク1220を、撮像スキャナからの患者自身の画像と、その撮像スキャナの既知のノイズ情報とを使用して、訓練することができる。ひとたびネットワーク1220が訓練され、(例えば、目立つノイズがネットワーク1220によって画像において検出されないままであり、目立つ画像データが誤ってノイズに分類されることがないように、誤差の交差またはマージンの範囲内で)スキャナによって患者画像へと導入されたノイズを適切に識別することが確認されると、訓練用ネットワーク1220を、ディープニューラルネットワークモデル1250として展開し(ブロック1404)、もたらされる患者画像を処理するために使用する(ブロック1406)ことができる。
図15が、図14に関して上述したディープニューラルネットワークの訓練(ブロック1402)の典型的な実行を示している。この例では、ブロック1502において、患者画像が取得される(例えば、薄いスライス、厚いスライス、などとして取得される患者の画像ボリューム)。ブロック1504において、患者の画像は、訓練用ディープニューラルネットワーク1220のための画像を準備するために前処理される。例えば、薄い画像スライスを(例えば、薄いスライスを組み合わせる、追加のデータを外挿する、などによって)厚くして、患者画像のノイズを減らすことができる。例えば、1つ以上のパッチを患者画像から抽出することができる。ノイズ(例えば、シミュレートされ、さらには/あるいはスキャナを使用してファントムから測定される、など)が患者画像に追加され、訓練用ネットワーク1220による処理のためのノイズの多い画像入力が形成される。
ブロック1506において、ノイズの多い画像入力は、訓練用ニューラルネットワーク1220を使用して処理される。例えば、畳み込み、フィルタ、などが、カーネルを介してノイズの多い画像入力に適用され、画像内のノイズを識別および定量化する。ネットワーク1220の出力は、ノイズの識別/定量化である。
ブロック1508において、訓練用ネットワークによって出力されたノイズ結果は、前処理において導入されたノイズに関する既知の情報に対して評価される。例えば、比較器1230が、訓練用ネットワーク1220によって識別されたノイズが、患者画像に追加された実際のノイズにどれだけ近いかを評価する。ノイズ検出の精度または「近さ」を、例えば、目立つノイズがネットワーク1220によって画像において検出されないままであり、目立つ画像データが誤ってノイズに分類されることがないように、誤差の交差またはマージンとの比較によって評価することができる。
ブロック1510において、訓練用ネットワーク1220によって正確なノイズ結果が抽出された場合、制御はブロック1404へと戻り、訓練用ネットワーク1220が、さらなる患者画像において使用されるニューラルネットワークモデル1250として展開される。しかしながら、訓練用ネットワーク1220によって抽出されたノイズ結果が充分に正確ではない場合、ブロック1512において、ノイズ比較に基づいて訓練用ネットワーク1220のネットワーク重みが調整される。次いで、ネットワーク1220は、更新された重み値でノイズの多い患者画像パッチを再評価し(ブロック1506)、例えば調整後のネットワーク重みがより正確なノイズ判定をもたらすか否かが判断される(ブロック1508)。
このように、一例においては、患者のCTスキャンデータが取得された後に、低ノイズ再構成が実行される(例えば、滑らかなカーネル、より大きなピクセルサイズ、および/またはより厚いスライス、などによって)。低ノイズ再構成画像は、「クリーンな」参照データとして機能する。次に、同じ再構成パラメータが再構成における追加ノイズと使用され、「ノイズの多い」再構成画像が生成される。ノイズは(例えば、投影ドメインおよび/または画像ドメインなどにおいて)多数のやり方で追加され得る。投影ドメインおよび/または画像ドメインにおいて、ノイズは、シミュレーション(例えば、解析的計算、ノイズモデリングに基づくモンテカルロシミュレーションの使用、などによる)によって生成でき、さらには/あるいは実際の取得(例えば、ファントム/動物/死体からの反復スキャン、または均一な領域を持つファントムからの単一スキャン、などによる)によって生成され得る。異なるファントム/動物/死体は、異なるノイズパターンをもたらす可能性があり、ファントムは、例えば、単純なファントム(例えば、水/ポリエステルの円柱/長円体または何らかのインサートを有する、など)または擬人化ファントム(例えば、Lungmanファントム、Kyoto全身ファントム、など)のいずれかであってよい。(例えば、1つ以上の画像変換モデルを使用するなど)「クリーン」な画像および「ノイズの多い」画像を訓練用データとして、例えば「ノイズの多い」画像をネットワークへの入力として使用する一方で、「クリーン」な画像または「ノイズ」画像(「クリーン」な画像を「ノイズの多い」画像から差し引くことによって計算される)をネットワークのノイズ検出の精度を判断するためのグランドトゥルースまたは比較画像として使用することにより、ノイズ除去ニューラルネットワークを訓練することができる。
図16が、図14に関して上述した展開されたディープニューラルネットワークモデル(ブロック1406)を用いる患者画像の処理の典型的な実行を示している。この例では、ブロック1602において患者画像データが受信される。例えば、患者の追加の薄いスライス画像および/または厚いスライス画像を、撮像手段、画像アーカイブ、電子医療記録、臨床意思決定支援システム、放射線レポート/レビューシステム、などからもたらすことができる。
ブロック1604において、患者画像データは、患者画像データ内のノイズを識別および定量化するために、展開されたディープニューラルネットワークモデル1250を使用して処理される。例えば、訓練において構成されて展開されたモデル1250に設定された重みを有するカーネルを使用する畳み込み、フィルタ、などが、画像の特徴を撮像スキャナおよび/または他の環境/データ処理の異常/エラーによって持ち込まれたノイズから区別し、患者画像データに存在するノイズ(例えば、非画像データまたはアーチファクトなど)を識別および定量化することができる。患者画像データのノイズのこの表示は、展開されたモデル1250によって出力される。
ブロック1606において、展開されたニューラルネットワークモデル1250の出力として生成されたノイズがリファインされる。例えば、ノイズをチェック(例えば、しきい値、期待値、基準値、などに基づいて)し、画像データが誤ってノイズ判定に含まれていないことを確認するなどにより、ノイズ情報をリファインすることができる。例えば、画像データが誤って含まれていた場合には、フィードバックを生成して(例えば、負のフィードバックが限界または他のしきい値を超えた後に)ネットワークモデル1220を再び訓練し、例えば更新されたニューラルネットワークモデル1250として再び展開することができる。
ブロック1608において、展開されたニューラルネットワークモデル1250からのリファインされたノイズ出力を使用して、患者画像データのノイズが除去される。例えば、識別されたノイズ値が、患者画像データから削除され、撮像手段および/または他のデータ伝送、処理、保存エラー、などによって追加されたノイズのない実際の患者画像コンテンツが残される。
ブロック1610において、ノイズ除去後の患者画像が出力される。例えば、1つ以上のノイズ除去後の患者画像スライスを、表示、保存、臨床意思決定支援システムによるさらなる処理、などのために出力することができる。
このように、ネットワーク1220の訓練後に、ネットワーク1220を、ディープニューラルネットワークモデル1250として展開し、同じ患者の画像データについてノイズ除去タスクを実行するために使用することができる。例えば、薄いスライスの再構成が、訓練用画像の再構成に使用された再構成パラメータとは異なる再構成パラメータで同じ患者スキャンデータについて実行され、展開された深層学習ニューラルネットワーク1250が、ノイズ除去された薄いスライスの再構成を生成するために適用される。例えば、ノイズを除去した薄いスライスボリュームから厚い(または、薄い)スライスの再フォーマットを生成することができる。ニューラルネットワーク訓練ターゲットが「クリーン」な画像であった場合、推論における展開されたモデル1250の出力は、例えばノイズ除去された画像である。ニューラルネットワーク訓練ターゲットが「ノイズ」画像であった場合、この「ノイズ」画像が、展開されたニューラルネットワークモデル1250を介してノイズ除去画像を生成するために「ノイズの多い」入力から差し引かれる。深層学習の結果は完全には予測可能ではないため、検証チェックまたはリファインが適用され、例えば深層学習ニューラルネットワーク1250によって除去される「ノイズ」が実際にノイズであることが入力画像からノイズを差し引く前に確認される。
いくつかの例をCT画像に関して図示および説明したが、同じシステムおよび方法を、MR、X線、MICT、超音波、などに適用することができる。いくつかの例においては、CTモデルをMR画像に適用するなど、手段を組み合わせることが可能である。
図17が、本明細書において開示および説明される典型的な構成要素を実現するために少なくとも図14~図16の命令を実行するように構成された典型的なプロセッサプラットフォーム1700のブロック図である。プロセッサプラットフォーム1700は、例えば、サーバ、パーソナルコンピュータ、モバイルデバイス(例えば、携帯電話機、スマートフォン、iPad(商標)などのタブレット)、携帯情報端末(PDA)、インターネット家電、または任意の他の種類のコンピューティングデバイスであってよい。
図示の例のプロセッサプラットフォーム1700は、プロセッサ1712を含む。図示の例のプロセッサ1712は、ハードウェアである。例えば、プロセッサ1712を、任意の所望のファミリまたは製造業者からの集積回路、論理回路、マイクロプロセッサ、またはコントローラによって実現することができる。
図示の例のプロセッサ1712は、ローカルメモリ1713(例えば、キャッシュ)を含む。図17の典型的なプロセッサ1712は、少なくとも図14~図16の命令を実行して、典型的な入力データプロセッサ1110、典型的な画像データノイズ除去装置1120、典型的な後処理画像生成装置1130、典型的な出力イメージャ1140、あるいはより一般的には典型的な画像プロセッサシステム1100など、図1~図13のシステムおよびインフラストラクチャならびに関連の方法を実行する。図示の例のプロセッサ1712は、バス1718を介して揮発性メモリ1714および不揮発性メモリ1716を含む主メモリと通信する。揮発性メモリ1714は、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、ダイナミックランダムアクセスメモリ(DRAM)、RAMBUSダイナミックランダムアクセスメモリ(RDRAM)、および/または任意の他の種類のランダムアクセスメモリデバイスによって実現することができる。不揮発性メモリ1716は、フラッシュメモリおよび/または任意の他の所望の種類のメモリデバイスによって実現することができる。主メモリ1714、1716へのアクセスは、クロックコントローラによって制御される。
さらに、図示の例のプロセッサプラットフォーム1700は、インターフェース回路1720を含む。インターフェース回路1720を、イーサネットインターフェース、ユニバーサルシリアルバス(USB)、および/またはPCIエクスプレスインターフェースなどの任意の種類のインターフェース規格によって実現することができる。
図示の例においては、1つ以上の入力装置1722が、インターフェース回路1720に接続される。入力装置1722は、プロセッサ1712へのデータおよびコマンドの入力をユーザにとって可能にする。入力装置は、例えば、センサ、マイクロホン、カメラ(静止画または動画)、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイント、および/または音声認識システムによって実現することができる。
1つ以上の出力装置1724も、図示の例のインターフェース回路1720に接続される。出力装置1724は、例えば、ディスプレイ装置(例えば、発光ダイオード(LED)、有機発光ダイオード(OLED)、液晶ディスプレイ、陰極線管ディスプレイ(CRT)、タッチスクリーン、触覚出力装置、および/またはスピーカ)によって実現することができる。したがって、図示の例のインターフェース回路1720は、典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、またはグラフィックスドライバプロセッサを含む。
さらに、図示の例のインターフェース回路1720は、ネットワーク1726(例えば、イーサネット接続、デジタル加入者回線(DSL)、電話回線、同軸ケーブル、携帯電話システム、など)を介した外部装置(例えば、任意の種類のコンピューティングデバイス)とのデータのやり取りを容易にするために、送信器、受信器、トランシーバ、モデム、および/またはネットワークインターフェースカードなどの通信装置を含む。
さらに、図示の例のプロセッサプラットフォーム1700は、ソフトウェアおよび/またはデータを記憶するための1つ以上の大容量記憶装置1728も含む。そのような大容量記憶装置1728の例として、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、RAIDシステム、およびデジタル多用途ディスク(DVD)ドライブが挙げられる。
図17の符号化された命令1732を、大容量記憶装置1728、揮発性メモリ1714、不揮発性メモリ1716、ならびに/あるいはCDまたはDVDなどの取り外し可能な有形のコンピュータ可読記憶媒体に記憶することができる。
以上から、上記開示の方法、装置、および製品が、複数の深層学習および/または他の機械学習技術を使用して、撮像および/または他のヘルスケアシステムの動作を監視、処理、および改善するために開示されていることを、理解できるであろう。開示された方法、装置、および製品は、コンピューティングデバイスの動作を、大規模な複数の患者のデータセットよりもむしろ単一の患者の画像で訓練されるディープニューラルネットワークモデルを取り入れることによって画像のノイズを除去する機能で拡張することによって改善する。したがって、開示された方法、装置、および製品は、コンピュータの機能の1つ以上の改善に関する。
したがって、特定の例は、同じ患者のスキャンにおいてノイズ除去および推論のためのニューラルネットワークを訓練および展開するためのコンピュータシステムおよび関連の方法を提供する。同じ患者のスキャンを使用することで、展開された深層学習ニューラルネットワークモデルが、ノイズ除去のプロセスにおいて患者に属さない解剖学的構造を生成することがないように保証される。
深層学習の成功がビッグデータに基づくことは広く受け入れられており、訓練用データが多いほどより良い結果が得られると一般的に考えられている。しかしながら、特定の例は、同じ患者データを使用して訓練および推論を行う。この患者ごとの訓練方法を使用することで、大規模なデータセット、匿名化された追加の患者データ、および/または該当の患者以外の他の患者の関与を必要とすることなく、深層学習ノイズ除去が提供することができる望ましい特徴(例えば、良好なテクスチャ、滑らかなエッジ、など)を依然として達成できることが、実証されている。さらに、特定の例は、訓練用データと推論データとが同じ患者スキャンからのものであるため、訓練用データからの(例えば、別の患者からの)解剖学的構造が推論データへとコピーされる心配がないという大きな独自の利点を提供する。別の患者のデータが使用される場合、別の患者のスキャンからの解剖学的特徴が現在の患者スキャンへとインポートされるリスクが存在する。病変が訓練用データから健康な患者へとコピーされると、例えば誤診断の原因になる。
したがって、特定の例は、患者画像を取得し、その画像および追加されたノイズに基づいてネットワークを訓練し、すべてのノイズの除去およびノイズだけの除去を保証するためにネットワークによって識別された結果としてのノイズを分析し、ネットワークをその患者の後続の画像に適用する。特定の例においては、フィードバックを使用して、訓練に使用される患者画像に追加されるノイズをスケーリングすることにより、ネットワークの訓練を変更することができる。ノイズのスケーリングの程度は、レビューされた画像からのフィードバックおよび関連のノイズに基づくことができる。例えば、所与の患者および/または撮像装置について、より多くのノイズを除去すべき場合には、より高いノイズをネットワークの訓練に取り入れることができる。例えば、ファントムを介して訓練用の患者画像に多少のノイズを導入することができる。ノイズを、ファントムスキャン、患者スキャン、コンピュータシミュレーション、などから患者画像に追加することができる。
特定の例において、スケーリング係数はファジー値であり(例えば、係数は多くの値(明確な整数値よりもむしろ0~1の間のすべての数などの値の範囲または勾配)を含む)、ノイズシミュレーションもファジー値である(例えば、ファントムスキャンから抽出され、さらには/あるいは他のやり方でシミュレートされる、など)。
特定の例において、画像プロセッサ装置は、撮像装置自体、撮像装置と通信する別個のコンピュータ、クラウドベースのサーバ、などに位置することができる。深層学習モデルに基づく画像ノイズ除去は、撮像装置と併せて画像再構成チェーンの一部として挿入されてよく、さらには/あるいは画像が取得されて例えばPACSに保存された後に生じることができる。
特定の例において、画像プロセッサは、単一の患者の画像を超えて広がり、患者にまたがり、かつ/またはクラウドを介して異なる画像装置にまたがる訓練を行うことができる。特定の例においては、ニューラルネットワークに基づく画像ノイズ除去を、ローカルプロセッサと併せたクラウドベースのサーバによって調整することができる。クラウドサーバは、ノイズ除去をリモートで監視することができ、ローカルプロセッサからの残留信号が意味をなさない場合(例えば、特定のしきい値、制限、および/または予想値などを満たさない場合)、クラウドサーバは、ローカル画像プロセッサにおける調整または修正を開始させることができる。例えば、ローカルおよび/またはクラウドベースのフィードバック(例えば、ユーザから、ノイズ除去された画像を使用するシステムから、など)を、例えばニューラルネットワークモデルの訓練および/または再訓練のためにもたらすことができる。
特定の例においては、画像ヘッダ(例えば、DICOMヘッダなど)が、画像、画像に関連付けられた患者、画像を取得した撮像装置、画像について使用すべき再構成アルゴリズム、などに関する情報を提供する。DICOMおよび/または他の画像ファイルヘッダの解析を、画像データノイズ除去装置1120によって使用して、例えば、ネットワーク1220を訓練し、展開されたネットワークモデル1250のパラメータを設定することができる。
特定の例において、セグメント分けアルゴリズムは、特定の形式などの特定の情報を想定する。したがって、ネットワーク1220は、選択/提供されたセグメント分けアルゴリズムに基づいて異なるやり方で訓練される。異なるアルゴリズムは、異なるやり方でネットワーク1220を訓練する。同様に、異なるスキャナ、異なる患者、および/または異なる臨床医は、異なるやり方でネットワーク1220を訓練することができる。例えば、人間は、診断のための観察に関してより滑らかな画像を好むが、マシンは、プロセッサが画像のノイズを自動的に除去できるため、よりシャープなエッジを好む。ニューラルネットワークモデル1220を、システムによって生成されるノイズに影響する特定の特性を有している特定のシステムを反映するように訓練することができ、次いでモデル1220を、例えば異なる撮像システムによって生成されるノイズを考慮して、異なる特性を有する異なるシステムのように見えるように再訓練することができる。したがって、例えば、ネットワーク1220が異なるパラメータで再訓練されるときにモデル1250を動的に展開することができる。
特定の例において、ニューラルネットワーク1220、1250は、現在の患者画像の例の局所的特徴をより広範な例の組に一致させるニューラルスタイル変換を採用する。画像品質に基づいて知覚的損失が発生する可能性がある。したがって、演繹的(a priori)訓練が、何が良好な画像を形成するかをネットワーク1220に教えることができる。次いで、現在の患者のデータを分析して、知覚的損失を満たす低レベルの特徴、病理、などを識別することができる。知覚的損失は人間に依存するため、ニューラルネットワークがローカルに保存されるか、あるいはクラウドに保存されるかにかかわらず、放射線科医ごとの知覚的損失が存在する可能性がある。したがって、ネットワーク1250を、個人ユーザの好みに合わせてパーソナライズすることができる。例えば、訓練用ネットワーク1220は、異なる特性を記述する特性を埋め込むことができ、ネットワーク1220は、特定の医師を記述するものを学習する。次いで、ネットワーク1220は、特定の医師のために画像を処理および表示する方法を調整することができる。
特定の例において、パーソナライズは多次元であり得る。例えば、ネットワークモデル1250を、1)特定の患者およびその関連の病状、2)ユーザ/リーダおよびその好み、知覚、など、3)予想される病状(例えば、特定の病状を精査する医師からのフィードバックに基づいて学習される病状主導のカーネルなど)、などに合わせてパーソナライズすることができる。品質にとって重要(CTQ)な因子を、ニューラルネットワークモデル1250の訓練1220および展開において考慮することができる。例えば、ぼやけた画像は、灌流においては許容され得るが、顔の骨においては許容できない。特定の例において、ネットワークモデル1220、1250が特定の知覚的損失を最良として選択した理由を定義および/または理解するのに役立つように、知覚的損失を、特定のターゲット/目的に関連するCTQに基づいて画像品質指標へとマッピングすることができる。
特定の例は、新たに取得された患者画像を取得し、画像を厚くしてノイズを減らした後に、厚くした画像に既知のノイズを追加する。特定の例においては、現在の患者画像に代え、あるいは現在の患者画像に加えて、以前の患者画像を使用することができる。例えば、コントラスト画像を、患者の非コントラスト画像と組み合わせて使用することができ、より高線量の曝露の後に低線量の曝露を行うことなどができる(例えば、胸部/肺のスクリーンなど)。例えば、腫瘍患者が、高線量での初期画像および低線量での追跡画像を有しているかもしれない。両方の画像を、複数の画像にまたがるその特定の患者の特性に基づくより効果的な画像ノイズ除去のためのニューラルネットワーク1220の訓練のために、組み合わせて使用することができる。複数の態様の画像の組は、例えばニューラルネットワーク1220が患者のより良好な画像を得ることを可能にすることができる。
特定の例においては、ニューラルネットワーク1250を、画像にノイズを再び追加するために使用することができる。例えば、低線量でのスキャンの影響を評価するためにノイズを追加することができる。したがって、臨床プロトコルの検討において、プロトコルが高線量でのスキャンを含むことができ、ネットワーク1250は、例えば低線量でのスキャンの影響(したがって、より多くのノイズによるより低い解像度)の評価に役立つことができる。さらに、ネットワークモデル1250を、臨床プロトコルの選択および/または制御のためのシミュレータとしても使用することができる。例えば、CNNを使用して現実的なノイズをシミュレートすることができ、CNNを訓練するために使用された実際のノイズを使用して、患者、スキャナ、環境、などに合った適切なプロトコルおよび線量を現実的に選択するために使用することができる実際のノイズパターンを生成することができる。
本明細書において、特定の典型的な方法、装置、および製品を説明したが、本特許の適用範囲は、これらに限定されない。むしろ反対に、本特許は、本特許の特許請求の範囲の技術的範囲に正当に含まれるすべての方法、装置、および製品を包含する。
[実施態様1]
第1の患者の第1の患者画像を処理し、前記第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成する入力データプロセッサ(1110)と、
第1の深層学習ネットワークを使用して前記ノイズの多い画像入力を処理して前記第1のノイズを識別する画像データノイズ除去装置(1120)であって、前記ノイズの多い画像入力を使用して前記第1の深層学習ネットワークを訓練し、前記第1の深層学習ネットワークのノイズ出力と予想されるノイズ出力との比較に基づいてネットワーク重みを修正し、前記第1の深層学習ネットワークが前記第1のノイズを識別するように訓練されたときに、前記第1の深層学習ネットワークを、前記第1の患者の第2の患者画像の第2のノイズを識別すべく前記第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開する画像データノイズ除去装置(1120)と、
前記第2の深層学習ネットワークモデルによって識別された前記第2のノイズを前記第2の患者画像から除去してノイズ除去された患者画像を形成する後処理画像生成装置(1130)と
前記ノイズ除去された患者画像を出力する出力イメージャ(1140)と
を備える画像データ処理システム(1100)。
[実施態様2]
前記入力データプロセッサ(1110)は、前記第1のノイズが前記第1の患者画像へと加えられる前に前記第1の患者画像のノイズを減らすために前記第1の患者画像を薄いスライス画像ボリュームから厚いスライス画像ボリュームへと厚くする、実施態様1に記載のシステム(1100)。
[実施態様3]
前記第1のノイズは、第1のファントムスキャンまたはシミュレーションの少なくとも一方を使用して得られる、実施態様1に記載のシステム(1100)。
[実施態様4]
前記第1のファントムスキャンは、前記第1の患者画像の取得に使用される撮像スキャナにおいて取得される、実施態様1に記載のシステム(1100)。
[実施態様5]
前記入力データプロセッサ(1110)は、フィードバックに基づいて前記第1のノイズをスケーリングする、実施態様1に記載のシステム(1100)。
[実施態様6]
前記識別された第2のノイズは、前記画像データノイズ除去装置(1120)によって前記第2の患者画像から除去される前にチェックおよびリファインされる、実施態様1に記載のシステム(1100)。
[実施態様7]
前記第2の深層学習ネットワークモデルは、前記第1の患者について展開され、前記第1の深層学習ネットワークは、前記第1の患者および前記第2の患者画像を精査して前記第1の患者を診断するユーザについて訓練される、実施態様1に記載のシステム(1100)。
[実施態様8]
命令を含んでいるコンピュータ可読記憶媒体であって、前記命令は、実行されたときに、少なくとも
第1の患者の第1の患者画像を処理し、前記第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成するステップ、
前記第1のノイズを識別するように前記ノイズの多い画像入力を入力として使用して前記第1の深層学習ネットワークを訓練するステップ、および
前記第1の深層学習ネットワークが前記第1のノイズを識別するように訓練されたときに、前記第1の深層学習ネットワークを、前記第1の患者の第2の患者画像の第2のノイズを識別すべく前記第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開するステップを少なくとも1つのプロセッサに実行させ、前記第2の深層学習ネットワークモデルによって識別された前記第2のノイズは、出力されるべきノイズ除去された患者画像を形成するために前記第2の患者画像から除去される、コンピュータ可読記憶媒体。
[実施態様9]
前記命令は、実行されたときに、少なくとも前記第1のノイズが前記第1の患者画像へと加えられる前に前記第1の患者画像のノイズを減らすために前記第1の患者画像を薄いスライス画像ボリュームから厚いスライス画像ボリュームへと厚くするステップを前記少なくとも1つのプロセッサに実行させる、実施態様8に記載のコンピュータ可読記憶媒体。
[実施態様10]
前記第1のノイズは、第1のファントムスキャンまたはシミュレーションの少なくとも一方を使用して得られる、実施態様8に記載のコンピュータ可読記憶媒体。
[実施態様11]
前記第1のファントムスキャンは、前記第1の患者画像の取得に使用される撮像スキャナにおいて取得される、実施態様8に記載のコンピュータ可読記憶媒体。
[実施態様12]
前記命令は、実行されたときに、少なくともフィードバックに基づいて前記第1のノイズをスケーリングするステップを前記少なくとも1つのプロセッサに実行させる、実施態様8に記載のコンピュータ可読記憶媒体。
[実施態様13]
前記命令は、実行されたときに、少なくとも前記識別された第2のノイズを、前記第2のノイズを前記第2の患者画像から除去する前にチェックおよびリファインするステップを前記少なくとも1つのプロセッサに実行させる、実施態様8に記載のコンピュータ可読記憶媒体。
[実施態様14]
前記第2の深層学習ネットワークモデルは、前記第1の患者について展開され、前記第1の深層学習ネットワークは、前記第1の患者および前記第2の患者画像を精査して前記第1の患者を診断するユーザについて訓練される、実施態様8に記載のコンピュータ可読記憶媒体。
[実施態様15]
コンピュータによって実行される画像のノイズ除去の方法であって、
少なくとも1つのプロセッサを使用し、第1の患者の第1の患者画像を処理し、前記第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成するステップと、
前記少なくとも1つのプロセッサを使用し、前記第1のノイズを識別するように前記ノイズの多い画像入力を入力として使用して前記第1の深層学習ネットワークを訓練するステップと、
前記第1の深層学習ネットワークが前記第1のノイズを識別するように訓練されたときに、前記少なくとも1つのプロセッサを使用し、前記第1の深層学習ネットワークを、前記第1の患者の第2の患者画像の第2のノイズを識別すべく前記第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開するステップとを含み、前記第2の深層学習ネットワークモデルによって識別された前記第2のノイズは、出力されるべきノイズ除去された患者画像を形成するために前記第2の患者画像から除去される、方法(1300、1400)。
[実施態様16]
前記第1のノイズが前記第1の患者画像へと加えられる前に前記第1の患者画像のノイズを減らすために前記第1の患者画像を薄いスライス画像ボリュームから厚いスライス画像ボリュームへと厚くするステップをさらに含む、実施態様15に記載の方法(1300、1400)。
[実施態様17]
前記第1のノイズは、第1のファントムスキャンまたはシミュレーションの少なくとも一方を使用して得られる、実施態様15に記載の方法(1300、1400)。
[実施態様18]
フィードバックに基づいて前記第1のノイズをスケーリングするステップをさらに含む、実施態様15に記載の方法(1300、1400)。
[実施態様19]
前記識別された第2のノイズを、前記第2のノイズを前記第2の患者画像から除去する前にチェックおよびリファインするステップをさらに含む、実施態様15に記載の方法(1300、1400)。
[実施態様20]
前記第2の深層学習ネットワークモデルは、前記第1の患者について展開され、前記第1の深層学習ネットワークは、前記第1の患者および前記第2の患者画像を精査して前記第1の患者を診断するユーザについて訓練される、実施態様15に記載の方法(1300、1400)。
10 CT撮像システム
12 ガントリ
13 回転部材
14 X線源
16 X線ビーム
18 検出器アセンブリ
20 検出器
22 データ取得システム(DAS)
24 被検体
26 制御機構
28 X線コントローラ
30 ジェネレータ
32 ガントリモータコントローラ
34 画像再構成器
36 コンピュータ
38 コンピュータ記憶装置
40 オペレータコンソール
42 ディスプレイ
44 テーブルモータコントローラ
46 テーブル
48 開口部
50 座標系
52 Z軸
54 X軸
56 Y軸
300 学習ニューラルネットワーク
310 入力
312 入力
314 入力
316 入力
320 入力層
322 ノード
324 ノード
326 ノード
330 接続部
332 (追加の重みが与えられた)接続部
334 (より軽い重みが与えられた)接続部
340 隠れ層
342 ノード
344 ノード
346 ノード
348 ノード
350 接続部
352 (追加の重みが与えられた)接続部
354 (より軽い重みが与えられた)接続部
360 隠れ層
362 ノード
364 ノード
366 ノード
368 ノード
370 接続部
372 (追加の重みが与えられた)接続部
374 (より軽い重みが与えられた)接続部
380 出力層
382 ノード
390 出力
400 畳み込みニューラルネットワーク
402 ウインドウ
404 畳み込み
406 特徴マップ
410 特徴マップ
412 畳み込み
414 特徴マップ
416 サブサンプリング
418 特徴マップ
420 畳み込み
422 分類層
424 N個の分類の出力層
426 接続部
500 画像解析畳み込みニューラルネットワーク
502 入力画像
504 畳み込み層
510 学習された特徴
512 学習された特徴
514 学習された特徴
516 学習された特徴
518 学習された特徴
520 学習された特徴
522 学習された特徴
530 画像、第2の畳み込み層
532 画像
534 画像
536 画像
538 画像
540 画像
542 画像
544 画像
546 画像
548 画像
550 画像のうちの関心の特徴を含む部分
552 画像のうちの関心の特徴を含む部分
554 画像のうちの関心の特徴を含む部分
600 学習ネットワークを適用するための典型的な構成
610 生データ
620 学習ネットワーク
621 学習ネットワーク
622 学習ネットワーク
623 学習ネットワーク
630 画像
702 入力の組
704 ネットワーク
706 順方向
708 ネットワーク結果「犬」
710 比較
712 既知の結果「人間の顔」
714 エラー
716 後方への経路
720 入力
722 ネットワーク
724 人間の顔
810 生の入力データ
820 前処理
830 パッチを生成
840 訓練されたネットワーク
850 出力を集める
860 表示
900 学習装置
901 訓練装置
903 展開された装置
910 入力
911 訓練用入力
913 入力定義
920 ネットワーク
921 ネットワーク
923 ネットワーク
930 出力
931 出力評価器
933 出力定義
1002 FBP再構成
1004 深層学習ネットワークノイズ除去
1006 ASiR-V再構成
1008 FBP再構成
1010 深層学習ネットワークノイズ除去
1012 ASiR-V再構成
1100 画像プロセッサ装置
1110 入力データプロセッサ
1120 画像ノイズ除去装置
1130 後処理画像生成装置
1140 出力イメージャ
1210 ノイズ入力プロセッサ
1220 訓練用ニューラルネットワークモデル
1230 比較器
1240 ネットワーク重み更新器
1250 展開されたニューラルネットワークモデル
1260 ノイズ識別器
1300 方法
1302 ブロック
1304 ブロック
1306 ノイズの多い画像入力
1308 ブロック
1310 減算
1312 予測されるノイズ
1314 ブロック
1316 患者画像
1318 予測されるノイズ
1320 リファインされたノイズ
1322 ブロック
1324 ブロック
1400 方法
1402 ブロック
1404 ブロック
1406 ブロック
1502 ブロック
1504 ブロック
1506 ブロック
1508 ブロック
1510 ブロック
1512 ブロック
1602 ブロック
1604 ブロック
1606 ブロック
1608 ブロック
1610 ブロック
1700 プロセッサプラットフォーム
1712 プロセッサ
1713 ローカルメモリ
1714 揮発性メモリ
1716 不揮発性メモリ
1718 バス
1720 インターフェース回路
1722 入力装置
1724 出力装置
1726 ネットワーク
1728 大容量記憶装置
1732 符号化された命令

Claims (9)

  1. 第1の患者の第1の患者画像を処理し、前記第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成する入力データプロセッサ(1110)と、
    第1の深層学習ネットワークを使用して前記ノイズの多い画像入力を処理して前記第1のノイズを識別する画像データノイズ除去装置(1120)であって、前記ノイズの多い画像入力を使用して前記第1の深層学習ネットワークを訓練し、前記第1の深層学習ネットワークのノイズ出力と予想されるノイズ出力との比較に基づいてネットワーク重みを修正し、前記第1の深層学習ネットワークが前記第1のノイズを識別するように訓練されたときに、前記第1の深層学習ネットワークを、前記第1の患者の第2の患者画像の第2のノイズを識別すべく前記第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開する画像データノイズ除去装置(1120)と、
    前記第2の深層学習ネットワークモデルによって識別された前記第2のノイズを前記第2の患者画像から除去してノイズ除去された患者画像を形成する後処理画像生成装置(1130)と
    前記ノイズ除去された患者画像を出力する出力イメージャ(1140)と
    を備える画像データ処理システム(1100)。
  2. 前記入力データプロセッサ(1110)は、前記第1のノイズが前記第1の患者画像へと加えられる前に前記第1の患者画像のノイズを減らすために前記第1の患者画像を薄いスライス画像ボリュームから厚いスライス画像ボリュームへと厚くする、請求項1に記載のシステム(1100)。
  3. 前記第1のノイズは、第1のファントムスキャンまたはシミュレーションの少なくとも一方を使用して得られる、請求項1に記載のシステム(1100)。
  4. 前記第1のファントムスキャンは、前記第1の患者画像の取得に使用される撮像スキャナにおいて取得される、請求項に記載のシステム(1100)。
  5. 前記入力データプロセッサ(1110)は、フィードバックに基づいて前記第1のノイズをスケーリングする、請求項1に記載のシステム(1100)。
  6. 前記識別された第2のノイズは、前記画像データノイズ除去装置(1120)によって前記第2の患者画像から除去される前にチェックおよびリファインされる、請求項1に記載のシステム(1100)。
  7. 命令を含んでいるコンピュータ可読記憶媒体であって、前記命令は、実行されたときに、少なくとも
    第1の患者の第1の患者画像を処理し、前記第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成するステップ、
    前記第1のノイズを識別するように前記ノイズの多い画像入力を入力として使用して1の深層学習ネットワークを訓練するステップ、および
    前記第1の深層学習ネットワークが前記第1のノイズを識別するように訓練されたときに、前記第1の深層学習ネットワークを、前記第1の患者の第2の患者画像の第2のノイズを識別すべく前記第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開するステップを少なくとも1つのプロセッサに実行させ、前記第2の深層学習ネットワークモデルによって識別された前記第2のノイズは、出力されるべきノイズ除去された患者画像を形成するために前記第2の患者画像から除去される、コンピュータ可読記憶媒体。
  8. 前記命令は、実行されたときに、少なくとも前記第1のノイズが前記第1の患者画像へと加えられる前に前記第1の患者画像のノイズを減らすために前記第1の患者画像を薄いスライス画像ボリュームから厚いスライス画像ボリュームへと厚くするステップを前記少なくとも1つのプロセッサに実行させる、請求項に記載のコンピュータ可読記憶媒体。
  9. コンピュータによって実行される画像のノイズ除去の方法であって、
    少なくとも1つのプロセッサを使用し、第1の患者の第1の患者画像を処理し、前記第1の患者画像に第1のノイズを加えてノイズの多い画像入力を形成するステップと、
    前記少なくとも1つのプロセッサを使用し、前記第1のノイズを識別するように前記ノイズの多い画像入力を入力として使用して1の深層学習ネットワークを訓練するステップと、
    前記第1の深層学習ネットワークが前記第1のノイズを識別するように訓練されたときに、前記少なくとも1つのプロセッサを使用し、前記第1の深層学習ネットワークを、前記第1の患者の第2の患者画像の第2のノイズを識別すべく前記第2の患者画像へと適用される第2の深層学習ネットワークモデルとして展開するステップとを含み、前記第2の深層学習ネットワークモデルによって識別された前記第2のノイズは、出力されるべきノイズ除去された患者画像を形成するために前記第2の患者画像から除去される、方法(1300、1400)。
JP2019149230A 2018-08-23 2019-08-16 患者固有の深層学習画像ノイズ除去方法およびシステム Active JP7053541B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/110,764 US10949951B2 (en) 2018-08-23 2018-08-23 Patient-specific deep learning image denoising methods and systems
US16/110,764 2018-08-23

Publications (2)

Publication Number Publication Date
JP2020064609A JP2020064609A (ja) 2020-04-23
JP7053541B2 true JP7053541B2 (ja) 2022-04-12

Family

ID=67659603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019149230A Active JP7053541B2 (ja) 2018-08-23 2019-08-16 患者固有の深層学習画像ノイズ除去方法およびシステム

Country Status (5)

Country Link
US (1) US10949951B2 (ja)
EP (1) EP3633601A1 (ja)
JP (1) JP7053541B2 (ja)
KR (1) KR102229853B1 (ja)
CN (1) CN110858391B (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713537B2 (en) * 2017-07-01 2020-07-14 Algolux Inc. Method and apparatus for joint image processing and perception
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
US10823685B2 (en) * 2018-01-16 2020-11-03 Creative Electron, Inc. Method and system to automatically inspect parts using x-rays
WO2019178133A1 (en) * 2018-03-12 2019-09-19 Lvis Corporation Systems and methods for generating thin image slices from thick image slices
JP2022501982A (ja) * 2018-09-13 2022-01-06 スペクトル オプティックス インコーポレイテッド ニューラルネットワークを使用した写真の露出不足補正
RU2709661C1 (ru) * 2018-09-19 2019-12-19 Общество с ограниченной ответственностью "Аби Продакшн" Обучение нейронных сетей для обработки изображений с помощью синтетических фотореалистичных содержащих знаки изображений
KR20200052441A (ko) * 2018-10-29 2020-05-15 삼성전자주식회사 뉴럴 네트워크를 이용하여 3d 미세구조를 생성하는 방법 및 장치
US11132771B2 (en) * 2018-11-07 2021-09-28 Spectrum Optix Inc. Bright spot removal using a neural network
US20220051781A1 (en) * 2018-12-21 2022-02-17 Varian Medical Systems International Ag Methods and systems for radiotherapy treatment planning based on deep transfer learning
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
US11315221B2 (en) * 2019-04-01 2022-04-26 Canon Medical Systems Corporation Apparatus and method for image reconstruction using feature-aware deep learning
US11954578B2 (en) * 2019-04-24 2024-04-09 University Of Virginia Patent Foundation Denoising magnetic resonance images using unsupervised deep convolutional neural networks
US11067786B2 (en) * 2019-06-07 2021-07-20 Leica Microsystems Inc. Artifact regulation methods in deep model training for image transformation
KR20200141813A (ko) * 2019-06-11 2020-12-21 삼성전자주식회사 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
WO2021041772A1 (en) 2019-08-30 2021-03-04 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising
US11798159B2 (en) * 2019-09-20 2023-10-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for radiology image classification from noisy images
DE102019215460A1 (de) * 2019-10-09 2021-04-15 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Rauschreduktion von Bildaufnahmen
US11790492B1 (en) * 2019-12-18 2023-10-17 Thales Sa Method of and system for customized image denoising with model interpretations
FR3105851B1 (fr) * 2019-12-27 2023-01-06 Bull Sas Procede et systeme d’agregation de donnees pour une plateforme de gouvernance unifiee d’une pluralite de solutions de calcul intensif
US20210290191A1 (en) * 2020-03-18 2021-09-23 The Regents Of The University Of California Method and system for denoising ct images using a neural network
JP7469738B2 (ja) * 2020-03-30 2024-04-17 ブラザー工業株式会社 学習済みの機械学習モデル、および、画像生成装置、機械学習モデルのトレーニング方法
EP3893198A1 (en) * 2020-04-08 2021-10-13 Siemens Healthcare GmbH Method and system for computer aided detection of abnormalities in image data
CN111476741B (zh) * 2020-04-28 2024-02-02 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
CN111583142B (zh) * 2020-04-30 2023-11-28 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
US20210350935A1 (en) * 2020-05-06 2021-11-11 Quantitative Imaging Solutions, Llc Therapeutic response prediction based on synthetic tumor models
US20230177746A1 (en) * 2020-05-08 2023-06-08 The Johns Hopkins University Machine learning image reconstruction
CN111603191B (zh) * 2020-05-29 2023-10-20 上海联影医疗科技股份有限公司 医学扫描中的语音降噪方法、装置和计算机设备
EP3937122A1 (en) * 2020-07-08 2022-01-12 Koninklijke Philips N.V. 3d-cnn processing for ct image noise removal
CN112001856A (zh) * 2020-07-29 2020-11-27 东软医疗***股份有限公司 去噪模型的训练方法及去除图像噪声方法、相关装置
US20230301614A1 (en) * 2020-07-29 2023-09-28 University Of Florida Research Foundation, Inc. Systems and methods for image denoising via adversarial learning
US11672498B2 (en) * 2020-07-29 2023-06-13 Canon Medical Systems Corporation Information processing method, medical image diagnostic apparatus, and information processing system
US12004893B2 (en) * 2020-07-30 2024-06-11 GE Precision Healthcare LLC Systems and methods for artifact detection for images
CN112070660B (zh) * 2020-09-08 2022-08-12 哈尔滨工业大学 一种基于迁移学习的全切片数字成像自适应自动聚焦方法
CN112200720B (zh) * 2020-09-29 2023-08-08 中科方寸知微(南京)科技有限公司 一种基于滤波器融合的超分辨率图像重建方法及***
US20220107378A1 (en) * 2020-10-07 2022-04-07 Hyperfine, Inc. Deep learning methods for noise suppression in medical imaging
NL2026785B1 (en) * 2020-10-28 2022-06-21 Univ Delft Tech Method and apparatus for magnetic resonance imaging
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法
KR102481027B1 (ko) * 2021-01-21 2022-12-23 연세대학교 산학협력단 팬텀을 이용한 의료 영상 보정 방법 및 장치
KR102316312B1 (ko) 2021-02-01 2021-10-22 주식회사 클라리파이 딥러닝 기반의 조영 증강 ct 이미지 대조도 증폭 장치 및 방법
EP4066741A4 (en) 2021-02-01 2023-12-20 Claripi Inc. DEEP LEARNING-BASED APPARATUS AND METHOD FOR CONTRAST AMPLIFICATION OF CONTRAST-ENHANCED CT IMAGE
EP4292042A1 (en) * 2021-02-12 2023-12-20 Mayo Foundation for Medical Education and Research Generalizable image-based training framework for artificial intelligence-based noise and artifact reduction in medical images
KR102514709B1 (ko) * 2021-03-12 2023-03-29 한국과학기술원 두 단계 비지도 학습 기반 뉴럴 네트워크를 이용한 3차원 비행시간 자기공명혈관영상 처리 방법 및 그 장치
US20220327665A1 (en) * 2021-04-08 2022-10-13 Canon Medical Systems Corporation Neural network for improved performance of medical imaging systems
US11763429B2 (en) * 2021-05-19 2023-09-19 GE Precision Healthcare LLC Deep learning based medical system and method for image acquisition
US20220414832A1 (en) * 2021-06-24 2022-12-29 Canon Medical Systems Corporation X-ray imaging restoration using deep learning algorithms
EP4124359A1 (en) * 2021-07-27 2023-02-01 Smart Scientific Solutions B.V. An apparatus and a computer implemented method for calculating a radiotherapy dose distribution using monte carlo simulations
US11881041B2 (en) 2021-09-02 2024-01-23 Bank Of America Corporation Automated categorization and processing of document images of varying degrees of quality
US11896408B2 (en) * 2021-11-12 2024-02-13 Shanghai United Imaging Intelligence Co., Ltd. Automated patient modeling and positioning
CN114154569B (zh) * 2021-11-25 2024-02-02 上海帜讯信息技术股份有限公司 噪音数据识别方法、装置、终端及存储介质
US20230177747A1 (en) * 2021-12-06 2023-06-08 GE Precision Healthcare LLC Machine learning generation of low-noise and high structural conspicuity images
CN114219820A (zh) * 2021-12-08 2022-03-22 苏州工业园区智在天下科技有限公司 神经网络的生成方法、去噪方法及其装置
US20230281457A1 (en) 2022-03-07 2023-09-07 Hyperconnect LLC Apparatus for Training and Method Thereof
CN117897733A (zh) * 2022-05-09 2024-04-16 上海联影医疗科技股份有限公司 医学成像***和方法
EP4345736A1 (en) * 2022-09-29 2024-04-03 Koninklijke Philips N.V. Evaluation of artifact removal from magnetic resonance images using neural networks
WO2024111145A1 (ja) * 2022-11-22 2024-05-30 浜松ホトニクス株式会社 ノイズ除去方法、ノイズ除去プログラム、ノイズ除去システム及び学習方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015129987A (ja) 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
JP2018089301A (ja) 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148057A (en) * 1998-11-02 2000-11-14 Analogic Corporation Apparatus and method for calibrating detectors in a computed tomography scanner
US6243746B1 (en) * 1998-12-04 2001-06-05 Sun Microsystems, Inc. Method and implementation for using computer network topology objects
US7136538B2 (en) * 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
JP2004337391A (ja) * 2003-05-16 2004-12-02 Hitachi Medical Corp X線ct装置
CA2616871A1 (en) * 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d noise reduction
US7623691B2 (en) * 2004-08-06 2009-11-24 Kabushiki Kaisha Toshiba Method for helical windmill artifact reduction with noise restoration for helical multislice CT
CN1877637A (zh) * 2006-06-20 2006-12-13 长春工业大学 一种基于微机的医学图像模板匹配方法
CN100578546C (zh) * 2007-05-15 2010-01-06 骆建华 基于复二维奇异谱分析的磁共振部分k数据图像重建方法
CN101067650A (zh) * 2007-06-08 2007-11-07 骆建华 基于部分频谱数据信号重构的信号去噪方法
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
US20110142316A1 (en) * 2009-10-29 2011-06-16 Ge Wang Tomography-Based and MRI-Based Imaging Systems
US8824753B2 (en) * 2011-10-06 2014-09-02 Carestream Health, Inc. Task oriented noise suppression in medical images
JP5774447B2 (ja) * 2011-10-28 2015-09-09 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X線ct装置および被曝線量計算方法並びにプログラム
CN103955899A (zh) * 2014-05-02 2014-07-30 南方医科大学 基于组合图像引导的动态pet图像去噪方法
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
KR101827827B1 (ko) * 2016-12-08 2018-02-13 한국생산기술연구원 Oct영상 후처리 방법
CN106778668B (zh) * 2016-12-30 2019-08-09 明见(厦门)技术有限公司 一种联合ransac和cnn的鲁棒的车道线检测方法
CN106600568B (zh) * 2017-01-19 2019-10-11 东软医疗***股份有限公司 一种低剂量ct图像去噪方法及装置
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN107145846B (zh) * 2017-04-26 2018-10-19 贵州电网有限责任公司输电运行检修分公司 一种基于深度学习的绝缘子识别方法
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
US11475542B2 (en) * 2017-07-27 2022-10-18 Nvidia Corporation Neural network system with temporal feedback for adaptive sampling and denoising of rendered sequences
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
CN107633486B (zh) * 2017-08-14 2021-04-02 成都大学 基于三维全卷积神经网络的结构磁共振图像去噪方法
JP2019061577A (ja) * 2017-09-27 2019-04-18 パナソニックIpマネジメント株式会社 異常判定方法及びプログラム
CN107993200A (zh) * 2017-11-02 2018-05-04 天津大学 基于深度学***估计方法
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107730474B (zh) * 2017-11-09 2022-02-22 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
US11120551B2 (en) * 2017-11-27 2021-09-14 Rensselaer Polytechnic Institute Training a CNN with pseudo ground truth for CT artifact reduction
CN107862695A (zh) * 2017-12-06 2018-03-30 电子科技大学 一种基于全卷积神经网络的改进型图像分割训练方法
CN108416755B (zh) * 2018-03-20 2020-06-30 南昌航空大学 一种基于深度学习的图像去噪方法及***
US11011257B2 (en) * 2018-11-21 2021-05-18 Enlitic, Inc. Multi-label heat map display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015129987A (ja) 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
JP2018089301A (ja) 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム

Also Published As

Publication number Publication date
KR20200026071A (ko) 2020-03-10
KR102229853B1 (ko) 2021-03-22
JP2020064609A (ja) 2020-04-23
CN110858391B (zh) 2023-10-10
US10949951B2 (en) 2021-03-16
CN110858391A (zh) 2020-03-03
EP3633601A1 (en) 2020-04-08
US20200065940A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
JP7053541B2 (ja) 患者固有の深層学習画像ノイズ除去方法およびシステム
US10896352B2 (en) Deep learning medical systems and methods for image reconstruction and quality evaluation
US10438354B2 (en) Deep learning medical systems and methods for medical procedures
US10628943B2 (en) Deep learning medical systems and methods for image acquisition
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US11003988B2 (en) Hardware system design improvement using deep learning algorithms
EP3675130A1 (en) Systems and methods to determine disease progression from artificial intelligence detection output
EP3648016A1 (en) Scalable artificial intelligence model generation systems and methods for healthcare
US10984894B2 (en) Automated image quality control apparatus and methods
US11443201B2 (en) Artificial intelligence-based self-learning in medical imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R150 Certificate of patent or registration of utility model

Ref document number: 7053541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150