JP7154322B2 - 医療画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

医療画像処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7154322B2
JP7154322B2 JP2020573401A JP2020573401A JP7154322B2 JP 7154322 B2 JP7154322 B2 JP 7154322B2 JP 2020573401 A JP2020573401 A JP 2020573401A JP 2020573401 A JP2020573401 A JP 2020573401A JP 7154322 B2 JP7154322 B2 JP 7154322B2
Authority
JP
Japan
Prior art keywords
target
feature map
detection module
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020573401A
Other languages
English (en)
Other versions
JP2021529400A (ja
Inventor
チン・シア
ユンヘ・ガオ
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2021529400A publication Critical patent/JP2021529400A/ja
Application granted granted Critical
Publication of JP7154322B2 publication Critical patent/JP7154322B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

（関連出願の相互参照）
本願は、出願番号が２０１８１０８１８６９０．Ｘで、出願日が２０１８年７月２４日である中国特許出願に基づいて提出され、且つこの中国特許出願の優先権を主張し、この中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願は、情報技術に関するが、それに限定されなく、特に、医療画像処理方法及び装置、電子機器並びに記憶媒体に関する。
医療画像は、医者が診断するための重要な補助情報である。しかし、関連技術においては、医療画像を撮影した後、医者が医療画像の実体の画像を持って又はコンピュータで見ることで診断するようになっている。しかしながら、医療画像は、一般的に各種の放射線等によって非表層の構造を撮影し、撮影技術又は撮影シーンに制限されて見られない角度が存在することがあり、医療関係者の診断に影響を及ぼしてしまうことが勿論である。従って、医療関係者にどのように全面的且つ完全な有効情報を提供するかということは、関連技術において更に解決しようとする課題となっている。
本願の実施例は、医療画像処理方法及び装置、電子機器並びに記憶媒体を提供することが望まれている。
本願の技術的手段は以下のように実現される。
第１態様では、本願の実施例は、
第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するステップであって、前記第２目標は少なくとも２つの前記第１目標を含む、ステップと、
前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するステップと、を含む医療画像処理方法を提供する。
選択可能に、前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するステップは、前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標に対して画素レベルの分割を行って前記目標特徴マップ及び前記第１診断補助情報を取得するステップを含む。
選択可能に、第２検出モジュールを用いて医療画像を検出して、前記医療画像内の前記第２目標の第２位置情報を取得するステップと、前記第２位置情報にしたがって前記医療画像から前記第２目標を含む処理待ち画像を分割するステップと、を更に含み、第１検出モジュールを用いて医療画像を検出して第２目標内の第１目標の第１位置情報を取得するステップは、前記第１検出モジュールを用いて前記処理待ち画像を検出して、前記第１位置情報を取得するステップを含む。
選択可能に、前記第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するステップは、第１検出モジュールを用いて処理待ち画像又は医療画像を検出して前記第１目標の画像検出領域を取得するステップと、前記画像検出領域を検出して前記第１目標の外郭情報を取得するステップと、前記第２目標を分割して前記第１目標の分割画像を取得するためのマスク領域を前記外郭情報にしたがって生成するステップと、を含む。
選択可能に、前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するステップは、前記分割画像を処理して、前記第１目標に一対一に対応する前記目標特徴マップを取得するステップと、前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得するステップと、を含む。
選択可能に、前記分割画像を処理して前記目標特徴マップを取得するステップは、前記第１検出モジュールの特徴抽出層を用いて前記分割画像から第１特徴マップを抽出するステップと、前記第１検出モジュールのプーリング層を用いて、前記第１特徴マップに基づいて、スケールが前記第１特徴マップと異なる少なくとも１つの第２特徴マップを生成するステップと、前記第２特徴マップにしたがって前記目標特徴マップを取得するステップと、を含む。
選択可能に、前記分割画像を処理して前記目標特徴マップを取得するステップは、前記第１検出モジュールのアップサンプリング層を用いて前記第２特徴マップに対してアップサンプリングを行って、第３特徴マップを取得するステップと、前記第１検出モジュールの融合層を用いて前記第１特徴マップ及び前記第３特徴マップを融合して融合特徴マップを取得し、又は、前記第３特徴マップ及び前記第３特徴マップと異なるスケールの前記第２特徴マップを融合して融合特徴マップを取得するステップと、前記第１検出モジュールの出力層を用いて前記融合特徴マップにしたがって前記目標特徴マップを出力するステップと、を含む。
選択可能に、前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得するステップは、前記処理待ち画像及び前記分割画像を組み合わせることにより、前記目標特徴マップに対応する前記第１目標の第１識別情報を決定するステップと、前記目標特徴マップに基づいて前記第１目標の属性情報を決定するステップと、前記目標特徴マップに基づいて、前記第１目標の属性情報を基に生成するプロンプト情報を決定するステップとの少なくとも１つを含む。
選択可能に、サンプルデータを用いてトレーニングして第２検出モジュールと第１検出モジュールを取得するステップと、損失関数に基づいて、ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するステップと、前記損失値が所定の値以下であれば、前記第２検出モジュールと前記第１検出モジュールのトレーニングを完了し、又は、前記損失値が前記所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するステップと、を含む。
選択可能に、前記損失値が前記所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するステップは、前記損失値が前記所定の値より大きければ、逆伝搬方式を用いて前記ネットワークパラメータを更新するステップを含む。
選択可能に、損失関数に基づいて、前記ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するステップは、１つの損失関数を用いて、前記第２検出モジュールから入力され且つ前記第１検出モジュールから出力されるエンドツーエンド損失値を計算するステップを含む。
選択可能に、前記第１検出モジュールは第１検出モデルを含み、及び／又は、第２検出モジュールは第２検出モデルを含む。
選択可能に、前記第２目標が脊柱であり、前記第１目標が椎間板である。
第２態様では、本願の実施例は、
第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するように構成される第１検出ユニットであって、前記第２目標は少なくとも２つの前記第１目標を含む、第１検出ユニットと、
前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するように構成される処理ユニットと、を含む医療画像処理装置を提供する。
選択可能に、前記処理ユニットは、前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標に対して画素レベルの分割を行って、前記目標特徴マップ及び前記第１診断補助情報を取得するように構成される。
選択可能に、第２検出ユニットは、第２検出モジュールを用いて医療画像を検出して、前記医療画像内の前記第２目標の第２位置情報を取得し、前記第２位置情報にしたがって前記医療画像から前記第２目標を含む処理待ち画像を分割するように構成され、前記第１検出ユニットは、前記第１検出モジュールを用いて前記処理待ち画像を検出して前記第１位置情報を取得するように構成される。
選択可能に、前記第１検出ユニットは、第１検出モジュールを用いて処理待ち画像又は医療画像を検出して前記第１目標の画像検出領域を取得し、前記画像検出領域を検出して前記第１目標の外郭情報を取得し、前記第２目標を分割して前記第１目標を取得するためのマスク領域を前記外郭情報にしたがって生成するように構成される。
選択可能に、前記処理ユニットは、前記分割画像を処理して、前記第１目標に一対一に対応する前記目標特徴マップを取得し、前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得するように構成される。
選択可能に、前記処理ユニットは、前記第１検出モジュールの特徴抽出層を用いて前記分割画像から第１特徴マップを抽出し、前記第１検出モジュールのプーリング層を用いて、前記第１特徴マップに基づいて、スケールが前記第１特徴マップと異なる少なくとも１つの第２特徴マップを生成し、前記第２特徴マップにしたがって前記目標特徴マップを取得するように構成される。
選択可能に、前記処理ユニットは、前記第１検出モジュールのアップサンプリング層を用いて前記第２特徴マップに対してアップサンプリングを行って、第３特徴マップを取得するステップと、前記第１検出モジュールの融合層を用いて前記第１特徴マップ及び前記第３特徴マップを融合して融合特徴マップを取得し、又は、前記第３特徴マップ及び前記第３特徴マップと異なるスケールの前記第２特徴マップを融合して融合特徴マップを取得するステップと、前記第１検出モジュールの出力層を用いて前記融合特徴マップにしたがって前記目標特徴マップを出力するステップとを実行するように構成される。
選択可能に、前記処理ユニットは、前記処理待ち画像及び前記分割画像を組み合わせることにより、前記目標特徴マップに対応する前記第１目標の第１識別情報を決定するステップと、前記目標特徴マップに基づいて前記第１目標の属性情報を決定するステップと、前記目標特徴マップに基づいて、前記第１目標の属性情報を基に生成するプロンプト情報を決定するステップとの少なくとも１つを実行するように構成される。
選択可能に、トレーニングユニットは、サンプルデータを用いてトレーニングして前記第２検出モジュールと第１検出モジュールを取得するように構成され、計算ユニットは、損失関数に基づいて、ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するように構成され、最適化ユニットは、前記損失値が所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するように構成され、又は、前記トレーニングユニットは、更に、前記損失値が前記所定の値以下であれば、前記第２検出モジュールと前記第１検出モジュールのトレーニングを完了するために用いられる。
選択可能に、前記最適化ユニットは、前記損失値が前記所定の値より大きければ、逆伝搬方式を用いて前記ネットワークパラメータを更新するように構成される。
選択可能に、前記計算ユニットは、１つの損失関数を用いて、前記第２検出モジュールから入力され且つ前記第１検出モジュールから出力されるエンドツーエンド損失値を計算するように構成される。
選択可能に、前記第１検出モデルは第１検出モジュールを含み、及び／又は、第２検出モジュールは第２検出モデルを含む。
選択可能に、前記第２目標が脊柱であり、前記第１目標が椎間板である。
第３態様では、本願の実施例は、コンピュータ実行可能コードを記憶したコンピュータ記憶媒体であって、前記コンピュータ実行可能コードが実行されると、第１態様のいずれか１つの技術的手段で提供される方法を実現できるコンピュータ記憶媒体を提供する。
第４態様では、本願の実施例は、コンピュータ実行可能コマンドを含むプログラム製品であって、前記コンピュータ実行可能コマンドが実行されると、第１態様のいずれか１つの技術的手段で提供される方法を実現できるコンピュータプログラム製品を提供する。
第５態様では、本願の実施例は、
情報を記憶するためのメモリと、
前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能コマンドを実行することによって、第１態様のいずれか１つの技術的手段で提供される方法を実現できるプロセッサと、を含む画像処理装置を提供する。
本願の実施例で提供される技術的手段は、第１検出モジュールを用いて医療モデルを検出し、第１目標を所在する第２目標から全体的に分離するようになっており、そのようにして、医者が第２目標内でのみ第１目標を見ることができる問題を解決して、医者がより全面的且つ完全に第１目標を見ることができ、一方、本願の実施例は、出力される、第１目標の医療診断のための特徴を含む目標特徴マップを提供し、そのように不必要な干渉特徴が除去され、診断への干渉が少なくなり、更に、第１診断補助情報を生成して医療関係者の診断により多くの補助を提供するようになっている。そのようにして、本実施例では医療画像処理方法によれば、医療診断のための第１目標を示すより全面的且つ完全な目標特徴画像を取得し且つ第１診断補助情報を提供して、診断を支援することができる。
本願の実施例で提供される第１種の医療画像処理方法のフローを模式的に示す図である。 本願の実施例で提供される第２種の医療画像処理方法のフローを模式的に示す図である。 本願の実施例で提供される第３種の医療画像処理方法のフローを模式的に示す図である。 本願の実施例で提供される医療画像から分割画像への変化の模式図である。 本願の実施例で提供される医療画像処理装置の構成模式図である。 本願の実施例で提供される医療画像処理装置の構成模式図である。
図１に示すように、本実施例は、
第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するステップＳ１１０であって、前記第２目標は少なくとも２つの前記第１目標を含む、ステップＳ１１０と、
前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するステップＳ１２０と、を含む医療画像処理方法を提供する。
前記第１検出モジュールは検出機能を有する様々なモジュールであってよい。例えば、前記第１検出モジュールは様々なデータモデルに対応する機能モジュールであってよい。前記データモデルは様々な深層学習モデルを含んでよい。前記深層学習モデルは、ニューラルネットワークモデル、ベクタマシンモデル等を含んでよいが、前記ニューラルネットワークモデル又はベクタマシンに限定されない。
前記医療画像は、各種の医療診断過程で撮影した画像情報、例えば、核磁気共鳴画像、更に例えば、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＣＴ）画像であってよい。
前記第１検出モジュールは、畳み込み等の処理によって第２目標の特徴抽出を行って目標特徴マップを取得し、且つ第１診断補助情報を生成することができるニューラルネットワークモデル等であってよい。
いくつかの実施例では、前記医療画像は、同一の収集対象に対して異なる収集角度で収集した複数枚の２次元画像を含むＤｉｘｏｎシーケンスを含んでよく、これらの２次元画像は前記第１収集対象の３次元画像を構築することに利用可能である。
前記第１位置情報は、前記第１目標の第２目標での位置を記述する情報を含んでよく、該位置情報は具体的には、第１目標の画像座標での座標値、例えば、第１目標のエッジのエッジ座標値、第１目標の中心の中心座標値及び第１目標の第２目標での各次元のサイズ値を含んでよい。
前記第１目標は診断される最終目標であり、前記第２目標は複数の前記第１目標を含んでよい。例えば、いくつかの実施例では、前記第２目標は脊椎であり、第１目標は椎骨又は隣接する椎骨間の椎間板であってよい。別の実施例では、前記第２目標は更に複数本のＪ肋骨で構成され得る胸部の肋骨群であってよい。前記第１目標は肋骨群内の単独した肋骨であってよい。
要するに、前記第２目標と第１目標は医療診断を要する様々な対象であってよく、以上の例に限定されない。
ステップＳ１２０では、第１検出モジュールを用いて前記医療画像に対して画像処理を行って第２目標を分割して、前記第２目標を構成する各第１目標の目標特徴マップを分離して、対応する目標特徴マップに含まれる第１目標の第１診断補助情報を取得することができる。
いくつかの実施例では、前記目標特徴マップは、原医療画像から切り出された、単独した第１目標を含む画像を含んでよい。
別の実施例では、前記目標特徴マップは、前記原医療画像に基づいて改めて生成する、目標特徴を表す特徴マップを更に含んでよい。該特徴マップには医療診断のための各種の診断情報が含まれると共に、医療診断に関連しない詳細情報が除去された。例えば、椎間板を例とすれば、椎間板の外郭、形状及び体積は医療診断に関連する目標特徴であるが、椎間板表面の模様は医療に関連しないものであり、この時に、前記目標特徴マップは、椎間板の外郭、形状及び体積等の医療診断に関連する情報のみを含み、医療診断に関連しない表面模様等の干渉特徴が除去されたものであってよい。このような目標特徴マップが出力された後、医療関係者は目標特徴マップに基づいて診断を行う時に、干渉が少なくなったので、高速且つ精確な診断を実現することができる。
前記第１診断補助情報は対応する目標特徴マップ内の第１目標の属性又は状態を記述する様々な情報であってよい。前記第１診断補助情報は直接前記目標特徴マップに付加した情報であってもよいし、前記目標特徴マップと同一のファイルに記憶された情報であってもよい。
例えば、ステップＳ１２０で第１検出モジュールにより目標特徴マップを含む１つの診断ファイルが生成され、該診断ファイルが３次元動的画像ファイルであってよく、該３次元動的ファイルを再生する時に、特定のソフトウェアによって３次元目標特徴マップの現在表示角度を調整すると共に、表示画面に前記第１診断補助情報を表示することができ、そのようにして、医者等の医療関係者は目標特徴マップを見ると同時に、前記第１診断補助情報を見ることができ、目標特徴マップ及び第１診断補助情報の両方を基に診断することが容易になる。
ここの３次元目標特徴マップは複数の２次元目標特徴マップで構築されたものであってよい。例えば、Ｄｉｘｏｎシーケンス内の各２次元画像に対してそれぞれステップＳ１１０～ステップＳ１２０の操作を行い、そのように、１つの２次元画像は少なくとも１つの目標特徴マップを生成し、複数の２次元画像は複数の目標特徴マップを生成し、同一の第１目標の異なる収集角度に対応する目標特徴マップは、該第１目標の３次元目標特徴を構築することができる。
いくつかの実施例では、ステップＳ１２０で出力される目標特徴マップは直接３次元構築を完成した３次元目標特徴マップであってもよい。
前記第１診断補助情報の種類としては、
例えば、テキストとして属性を記述するテキスト情報と、
例えば、座標軸等の補助情報を組み合わせて、座標軸上で矢印及び文字説明等によって、椎間板等の第１目標の異なる次元（方向）のサイズをラベリングするラベリング情報と、を含んでよい。
本実施例では、前記目標特徴マップの画像画素は前記処理待ち画像の画素と一致してもよく、例えば、前記処理待ち画像はＮ＊Ｍ個の画素を含む画像であり、そのように前記目標特徴マップはＮ＊Ｍ個の画素を含む目標特徴マップであってもよい。
いくつかの実施例では、前記第２目標にＦ個の第１目標を含む場合に、Ｆ個の３次元目標特徴マップを出力するか、又は、Ｆ組の２次元目標特徴を出力してよく、１組の２次元目標特徴マップは１つの第１目標に対応し、該第１目標の３次元目標特徴マップを構築可能である。
いくつかの実施例では、前記目標特徴マップと第１診断補助情報は２部分の情報となって目標特徴ファイルを形成して出力され、例えば、前記第１診断補助情報はテキスト情報として前記目標特徴ファイルに記憶され、前記目標特徴マップはイメージとして前記目標ファイルに記憶される。
別の実施例では、第１診断補助情報が目標特徴マップに付加されて診断画像を形成し、この時に、第１診断補助情報及び目標特徴マップはいずれも診断画像の一部となり、画像情報として記憶される。
前記ステップＳ１２０には、前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標に対して画素レベルの分割を行って前記目標特徴マップ及び前記第１診断補助情報を取得するステップを含んでよい。
本実施例で第２検出モジュールを用いて医療画像内の第２目標に対して画素レベルの分割を行うようになっており、そのように異なる第１目標を完全に分離しエッジを明瞭にすることを実現でき、医者が分割して形成された目標特徴マップ及び／又は第１診断補助情報により診断することが容易になる。
以上と同様に、前記第２検出モデルは第２目標の分割を実現できる様々な機能モジュールであってもよい。例えば、前記第２検出モデルは、様々なデータモデルを作動させる機能モジュール、例えば、様々な深層学習モデルの作動モジュールであってもよい。
ここの画素レベルの分割は分割精度が画素精度に達したことを示し、例えば、画像で異なる椎間板の分離を行い、又は、画像で椎間板と椎柱の分離を行う時に、複数の画素で形成された画素領域を分割精度とすることでなく、ある画素まで精確化可能であり、椎間板に属する画素であるか、椎柱に属する画素であるかを具体的に判断でき、従って、第１目標を前記第２目標から精確に分離することが実現され、精確に診断されることが容易になる。
図２に示すように、前記方法は、
第２検出モジュールを用いて医療画像を検出して、前記医療画像内の前記第２目標の第２位置情報を取得するステップＳ１００と、
前記第２位置情報にしたがって前記医療画像から前記第２目標を含む処理待ち画像を分割するステップＳ１０１と、を更に含み、
前記ステップＳ１１０には、前記第１検出モジュールを用いて前記処理待ち画像を検出して、前記第１位置情報を取得するステップＳ１１０’を含んでよい。
本実施例では、前記第２検出モジュールにより前記医療画像を前処理してよく、その後で第１検出モジュールにより医療画像から処理待ち画像を分割することが容易になる。
本実施例では、前記第２検出モジュールはニューラルネットワークモデルであってよく、ニューラルネットワークモデル中の畳み込み処理等によって、少なくとも前記第２目標の外郭情報等を取得でき、外郭情報に基づいて前記第２位置情報が取得される。そのように、処理待ち画像は原医療画像と比べて診断に関連しない背景情報及び干渉情報が切り出されたものである。
前記背景情報は医療画像における情報量を有さない空白画像領域の画像情報であってよい。
前記干渉情報は前記第２目標以外の画像情報であってよい。例えば、前記医療画像は人体腰部の核磁気共鳴画像であってよく、該核磁気共鳴画像には人の腰部が収集されると共に、腰部の組織、腰椎、肋骨等の情報が収集されている。第２目標が腰椎であれば、組織及び肋骨に対応する画像情報は前記干渉情報となる。
ステップＳ１００では第２検出モジュールを用いてそれぞれの２次元画像を検出して、前記第２位置情報を決定することができる。
前記第２位置情報は、画像座標における第２目標の所在する画像領域の座標値、例えば、第２目標外郭の各２次元画像での座標値を含んでよい。該座標値は前記第２目標エッジのエッジ座標値、又は、前記第２目標のサイズと第２目標の中心の中心座標値であってよい。前記第２位置情報は画像から前記第２目標の位置を確定できる様々な情報であってよいが、前記座標値に限定されない。更に例えば、各種の検出枠を用いて前記画像を検出し、前記第２位置情報は更に前記検出枠のマークであってよい。例えば、１枚の画像は、重なり合わなく且つ間隔がないように若干の検出枠によりカバーされてもよく、第２目標が第Ｔ個の検出枠にあれば、前記第Ｔ個の検出枠のマークが前記第２位置情報の一種となる。要するに、前記第２位置情報は多種の態様があり、前記座標値にも前記検出枠の枠マークにも限定されない。
第２検出モジュールを用いて前記第２位置情報を決定した後、第２位置情報により原医療画像から、第１検出モジュールにより処理される処理待ち画像を分割し、ここの処理待ち画像の分割は、前記第２検出モジュールにより実行されてもよく、前記第１検出モジュールにより実行されてもよく、更に前記第２検出モジュールと前記第１検出モジュールとの間に位置する第３サブモデルにより実行されてもよい。
前記処理待ち画像は、背景情報と干渉情報が除去され且つ前記第２目標を含む画像である。原医療画像を処理することによって処理待ち画像を取得することは、関連技術において直接原医療画像に対して第２目標の分割処理を行うことに比べて、大幅に演算量を減少し、処理速度を高めることができ、また、背景情報及び干渉情報が取り入れられるため後続の目標特徴マップ及び第１診断補助情報の抽出が不正確になる問題を減少し、目標特徴マップ及び第１診断補助情報の精確性を高めた。
第１検出モジュールを用いれば前記処理待ち画像に対して画像処理を行うだけで、第２目標の分割を実現でき、前記第２目標を構成する各第１目標が原医療画像から分離され、次に分離された医療画像を処理することによって対応する目標特徴マップに含まれる第１目標の第１診断補助情報が取得される。
いくつかの実施例では、図３に示すように、前記ステップＳ１１０は、
第１検出モジュールを用いて前記処理待ち画像又は医療画像を検出して、前記第１目標の画像検出領域を取得するステップＳ１１１と、
前記画像検出領域を検出して前記第２目標の外郭情報を取得するステップＳ１１２と、
前記外郭情報にしたがってマスク領域を生成するステップＳ１１３と、
前記マスク領域により、前記医療画像又は処理待ち画像から第２目標を含む分割画像を分割するステップＳ１１４と、を含んでよい。
例えば、検出枠を用いて医療画像又は処理待ち画像を分割して、第１目標の所在する画像検出領域を取得する。
画像検出領域に対して第２目標の外郭情報の抽出を行い、例えば、外郭を抽出可能な畳み込みネットワークによって前記画像検出領域に対して画像処理を行って、前記外郭情報を取得でき、外郭情報の抽出によってマスク領域を生成できる。該マスク領域はちょうど前記第１目標をカバーできる行列又はベクトル等の形式の情報であってよい。前記マスク領域は前記画像検出領域内に位置し、一般的には面積が前記画像検出領域の面積より小さい。前記画像検出領域は標準的な矩形領域であってよく、前記マスク領域に対応する領域は不規則な領域であってよい。マスク領域の形状は前記第１目標の外郭に依存する。
いくつかの実施例では、マスク領域と医療画像の関連演算によって前記処理待ち画像又は医療画像から前記分割画像を抽出できる。例えば、１枚の全黒色画像に１つの透明な前記マスク領域を加えれば、１つの透明化待ち領域の画像が取得され、該画像を対応する前記処理待ち画像又は医療画像と重なり合わせた後、第２目標のみを含む分割画像が生成される。又は重なり合った後の画像から全黒色領域を切り出して除去することで前記分割画像を取得できる。更に例えば、１枚の全白色画像に１つの透明な前記マスク領域を加えれば、１つの透明化待ち領域の画像が取得され、該画像を対応する医療画像と重なり合わせた後、第２目標のみを含む分割画像が生成される。又は重なり合った後の画像から全白色領域を切り出して除去することで前記分割画像を取得できる。更に例えば、直接前記マスク領域の所在する各画素の画素座標に基づいて医療画像から対応する分割画像を抽出してもよい。
以上で説明したのは処理を行って前記分割画像を取得するいくつかの例に過ぎず、具体的な実現形態は様々あり、上記のいずれか１種に限定されない。
いくつかの実施例ではマスク領域に基づいて前記分割画像を抽出してよく、別の実施例では、直接前記画像検出領域に基づいて前記分割画像を決定してもよく、画像検出領域内の医療画像全体を前記分割画像としてもよいが、マスク領域に基づいて決定される処理待ち画像と比べて、少量の背景情報及び／又は干渉情報が取り入れられることがある。
いくつかの実施例では、前記処理待ち画像の取得方法は、
第２検出モジュールを用いて医療画像を検出して、第２目標の画像検出領域を取得するステップと、
第２目標の画像検出領域を検出して第２目標の外郭情報を取得するステップと、
第２目標の外郭情報に対応するマスク領域に応じて前記処理待ち画像を切り出すステップと、を含んでよい。
図４において左から右へ順に、腰部全体の側面核磁気共鳴画像、それに近接している、中央にある長尺状の脊椎のマスク領域、単一の椎間板のマスク領域、最も右にある椎間板の分割画像の模式図である。
いくつかの実施例では、前記ステップＳ１２０には、
前記分割画像を処理して、前記第１目標に一対一に対応する前記目標特徴マップを取得するステップと、
前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得するステップと、を含んでよい。
分割画像に対して画像処理を行って目標特徴マップを取得し、例えば、畳み込み処理によって目標特徴マップを取得する。前記畳み込み処理は、予め設置された特徴抽出畳み込みカーネルと処理待ち画像の画像データを用いて畳み込みを行って、特徴マップを抽出するステップを含んでよい。例えば、ニューラルネットワークモデル中の全結合畳み込みネットワーク又は局所結合畳み込みネットワークの畳み込み処理により、前記目標特徴マップを出力する。
本実施例では、更に、前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得する。例えば、目標特徴マップに対応する第１目標の、前記処理待ち画像に含まれる複数の第１目標での配列順序により、現在目標特徴マップに対応する第１識別情報を取得する。第１識別情報によって、目標特徴マップに第２目標内のどの第１目標が表示されているかということが医者に理解される。
第２目標が脊柱であれば、前記第１目標は椎間板又は椎骨であってよく、隣接する２つの椎骨間に１つの椎間板がある。前記第１目標は椎間板であれば、隣接する椎骨により識別することができる。例えば、人の脊柱は、１２個の胸椎骨、５個の腰椎骨、７個の頸椎骨及び１つ又は複数の仙椎骨を含んでよい。本願の実施例では、医療名付け規則によりＴで胸部を示し、Ｌで腰仙を示し、Ｓで仙椎を示し、Ｃで頸部を示してよく、そのように椎骨をＴ１、Ｔ２と呼んでよく、椎間板をＴｍ１－ｍ２と呼んでよく、該椎間板が第ｍｌ個の胸椎骨と第ｍ２個の胸椎骨との間の椎間板であることを示す。Ｔ１２は、第１２個の胸椎骨を識別することに利用可能である。ここのＴｍ１－ｍ２及びＴ１２はいずれも第１目標の第１識別情報の一種である。ただし、具体的に実現する時に、前記第１目標の第１識別情報は更に他の名付け規則を採用してもよく、例えば、第２目標を基准とすることを例とすれば、上か下へ配列し、配列順序番号で対応する椎骨又は椎間板を識別することができる。
いくつかの実施例では、前記ステップＳ１２０には、
直接前記目標特徴マップにより対応する第１目標の第１診断補助情報を取得するステップを更に含んでよい。例えば、第１目標の異なる方向でのサイズ、例えば、第１目標の長さ及び厚さ等のサイズ情報を取得する。このようなサイズ情報は第１目標の属性情報の一種となってよい。別の実施例では、前記属性情報は更に形状を記述する形状情報を含んでよい。
別の実施例では、前記第１診断補助情報は各種のプロンプト情報を更に含み、例えば、第１目標に正常な第１目標と異なる特徴が発生した場合に、警告プロンプト情報を生成することで医者に重点として閲覧させることができ、前記プロンプト情報はプロンプト情報を更に含んでよく、第１目標の属性と標準的な属性に基づいてプロンプト情報を生成する。このようなプロンプト情報は画像処理装置で自動的に発生する情報であり、最終的な診療結果については、医療関係者により更に確認する必要があることがあるので、このようなプロンプト情報は医療関係者にとって別のプロンプト情報となる。
例えば、目標特徴マップに示されている１つの第１目標は、サイズが大き過ぎるか小さ過ぎる場合に、病変が発生したことが可能であって、プロンプト情報によって直接病変が発生した予測結論を出すことができ、プロンプト情報によってサイズが大き過ぎるか小さ過ぎることを通知することもできる。
要するに、前記第１診断補助情報は様々あり、上記のいずれか１種に限定されない。
いくつかの実施例では、前記ステップＳ１２０には、
前記第１検出モジュールの特徴抽出層を用いて前記分割画像から第１特徴マップを抽出するステップと、
前記第１検出モジュールのプーリング層を用いて、前記第１特徴マップに基づいて、スケールが前記第１特徴マップと異なる少なくとも１つの第２特徴マップを生成するステップと、
前記第２特徴マップにしたがって前記目標特徴マップを取得するステップと、を含んでよい。
本実施例では、前記第１検出モジュールは、それぞれ異なる機能を有する複数の機能層を含んでよいニューラルネットワークモデルであってよい。各機能層は、いずれも被処理データを入力するための入力層と、データ処理を行う中間層と、処理結果を出力する出力層とを含んでよい。入力層、中間層及び出力層の間に複数のニューロンを含んでよい。次の層のいずれか１つのニューロンがその１つ前の層の全てのニューロンに接続されていてもよく、このようなものは全結合ニューラルネットワークモデルとなる。次の層のニューロンがその１つ前の層の一部のニューロンのみに接続されたものは部分結合ネットワークとなる。本実施例では、前記第１検出モジュールは部分結合ネットワークであってよく、そのように該ネットワークのトレーニング時間を減少し、ネットワークの複雑性を低減し、トレーニング効率を高めることができる。前記中間層は、数が１つ又は複数であってよく、隣接する２つの中間層が接続されている。ここで説明された入力層、中間層及び出力層の原子層については、１つの原子層は複数の並列に設置されたニューロンを含み、１つの機能層は複数の原子層を含む。
本実施例では、前記抽出層は、畳み込み演算によって処理待ち画像内の異なる領域の特徴、例えば、輪郭特徴及び／又は模様特徴等を抽出する畳み込み層であってよい。
特徴抽出によって特徴マップ、即ち前記第１特徴マップが生成される。後続の計算量を減少するために、本実施例ではプーリング層が取り入れられており、プーリング層のダウンサンプリング処理により、第２特徴マップが生成される。前記第２特徴マップに含まれる特徴数が前記第１特徴マップに含まれる最初の数より少ない。例えば、前記第１特徴マップに対して１／２ダウンサンプリングを行うことで、Ｎ＊Ｍ個の画素を含む第１特徴マップを、（Ｎ／２）＊（Ｍ／２）個の画素を含む第２特徴マップにダウンサンプリングすることができる。ダウンサンプリングのプロセスで、１つの隣接領域に対してダウンサンプリングを行う。例えば、隣接する４つの画素で構成される２＊２の隣接領域に対してダウンサンプリングを行って第２特徴マップ中の１つの画素の画素値を生成する。例えば、２＊２の分野中の極大値、極小値、平均値又は中央値を前記第２特徴マップの画素値として出力する。
本実施例では極大値を第２特徴マップにおける対応画素の画素値としてよい。
そのようにして、ダウンサンプリングすることによって特徴マップのデータ量が減少され、後続処理が容易になり、速度が向上可能になると共に、単一画素の受容野が向上した。ここの受容野は画像内の１つの画素が原始の画像においてマッピングし又は対応する画素の数を表す。
いくつかの実施例では、一回又は複数回のプーリング操作によって、スケールが異なる複数の第２特徴マップを取得できる。例えば、第１特徴マップに対して第１回のプーリング操作を行って第１回のプーリング特徴マップを取得し、第１回プーリング特徴マップに対して第２回のプーリング操作を行って第２回のプーリング特徴マップを取得し、第２回のプーリング特徴マップに対して第３回のプーリング操作を行って第３回のプーリング特徴マップを取得する。これによって類推すれば、複数回のプーリングを行う時に、前回のプーリング操作に基づいてプーリングを行って、最終的にスケールが異なるプーリング特徴マップを取得することができる。本願の実施例ではプーリング特徴マップを全て第２特徴マップと呼ぶ。
本実施例では第１目標特徴マップに対して３～５回のプーリングを行ってよく、そのようにして最終的に得られた第２特徴マップは、十分な受容野を有すると共に、後続処理のデータ量を著しく低下させる。例えば、第１特徴マップに基づいて４回のプーリング操作を行って、最終的には含まれる画素数が最も少ない（即ちスケールが最も小さい）第４プーリング特徴マップが得られる。
毎回のプーリング操作のプーリングパラメータが異なってもよく、例えば、ダウンサンプリングのサンプリング係数が異なり、例えば、１／２のプーリング操作を行ってもよく、１／４のプーリング操作を行ってもよい。本実施例では、前記プーリングパラメータが同じであってもよく、そのように、第１検出モジュールのモデルトレーニングを簡単化することができる。前記プーリング層は同様にニューラルネットワークモデルに対応してよく、そのようにしてニューラルネットワークモデルのトレーニングを簡単化し、ニューラルネットワークモデルのトレーニング効率を高めることができる。
本実施例では、第２特徴マップにより前記目標特徴マップを取得する。例えば、最終回のプーリングにより得られたプーリング特徴マップに対してアップサンプリングを行って、画像解像度が入力された処理待ち画像と同じな目標特徴マップを取得する。別の実施例では、前記目標特徴マップの画像解像度は前記処理待ち画像よりやや低くてもよい。
プーリング操作を行った後生成される特徴マップ内の画素値は、実質的には医療画像において隣接する画素の関連関係を示している。
いくつかの実施例では、前記分割画像を処理して前記目標特徴マップを取得するステップは、
前記第１検出モジュールのアップサンプリング層を用いて前記第２特徴マップに対してアップサンプリングを行って、第３特徴マップを取得するステップと、
前記第１検出モジュールの融合層を用いて前記第１特徴マップ及び前記第３特徴マップを融合して融合特徴マップを取得し、又は、前記第３特徴マップ及び前記第３特徴マップと異なるスケールの前記第２特徴マップを融合して融合特徴マップを取得するステップと、
前記第１検出モジュールの出力層を用いて前記融合特徴マップにしたがって前記目標特徴マップを出力するステップと、を含む。
ここのアップサンプリング層は、ニューラルネットワークモデルで構成されてもよく、第２特徴マップに対してアップサンプリングを行うことができ、アップサンプリングによれば、画素値を増加でき、前記アップサンプリングのサンプリング係数は２倍又は４倍サンプリングであってよい。例えば、アップサンプリング層のアップサンプリングによって、８＊８の第２特徴マップから１６＊１６の第３特徴マップを生成することができる。
本実施例では更に融合層を含み、ここの融合層はニューラルネットワークモデルで構成されてもよく、第３特徴マップと第１特徴マップを結合することができ、第３特徴マップと前記第３特徴マップを生成する第２特徴マップと異なる別の第２特徴マップを結合することもできる。
例えば、８＊８の第２特徴マップを例とし、アップサンプリングによって３２＊３２の第３特徴マップを取得し、該第３特徴マップと３２＊３２の第２特徴マップを融合し、融合特徴マップを取得する。
ここで、融合して融合特徴マップを取得する２つの特徴マップ間の画像解像度が同じであり、又は含まれる特徴数又は画素数が同じであると言える。例えば、特徴マップが行列で示され、そのように含まれる特徴数が同じであり又は含まれる画素数が同じであると考えられる。
融合特徴マップは、低いスケールの第２特徴マップによって生成された第３特徴マップを融合したので、十分な受容野を有し、それと同時に高いスケールの第２特徴マップ又は第１特徴マップを融合しており、十分な詳細情報を含み、そのようにして、受容野と詳細情報が両立され、その後で最終的に生成される目標特徴マップにより第１目標の属性を精確に表すことができる。
本実施例では、第３特徴マップと第２特徴マップを融合し又は第３特徴マップと第１特徴マップを融合する過程で、複数の特徴マップの特徴値に対して長さの融合を行うステップを含んでよい。例えば、仮に第３特徴マップの画像サイズをＳ１＊Ｓ２とし、前記画像サイズは、対応する画像に含まれる画素数又は要素のフォーマットを記述することに利用可能である。いくつかの実施例では前記第３特徴マップの各画素又は要素は更に特徴長さを対応的に有し、特徴長さをＬ１とする。仮に融合される第２特徴マップの画像サイズをＳ１＊Ｓ２とし、各画素又は要素の特徴長さがＬ２となる。このような第３特徴マップと第２特徴マップの融合は、画像サイズがＳ１＊Ｓ２の融合画像を形成するステップを含んでよいが、該融合画像中の各画素又は要素の特徴長さがＬ１＋Ｌ２であってよい。勿論、ここで説明したのは特徴マップ間の融合の一例に過ぎず、具体的に実現する時に、前記融合特徴マップの生成方式は多種あり、上記のいずれか一種にも限定されない。
前記出力層は確率に基づいて複数の融合特徴画像のうち、最も精確な融合特徴画像を出力して前記目標特徴画像としてよい。
前記出力層はｓｏｆｔｍａｘ関数に基づくｓｏｆｔｍａｘ層であってもよいし、ｓｉｇｍｏｉｄ関数に基づくｓｉｇｍｏｉｄ層であってもよい。前記出力層は異なる融合特徴画像の値を０～１の間の値にマッピングでき、そしてこれらの値の和は１であってよく、それによって確率特性が満たされることになり、マッピングした後確率値が最も大きい融合特徴マップを選択して前記目標特徴マップとして出力する。
いくつかの実施例では、前記ステップＳ１２０には、
前記処理待ち画像及び前記分割画像を組み合わせることにより、前記目標特徴マップに対応する前記第１目標の第１識別情報を決定するステップと、
前記目標特徴マップに基づいて前記第１目標の属性情報を決定するステップと、
前記目標特徴マップに基づいて前記第１目標のプロンプト情報を決定するステップとの少なくとも１つを含んでよい。
ここで、前記第１診断補助情報は少なくとも前記第１識別情報を含んでよく、別の実施例では、前記第１診断補助情報は、前記第１識別情報に加えて、更に属性情報及びプロンプト情報の一種又は複数種を含んでよい。前記属性情報はサイズ情報及び／又は形状情報等を含んでよい。
前記第１識別情報、属性情報及びプロンプト情報の情報内容については上述した部分を参照してもよく、ことで再度説明することを省略する。
いくつかの実施例では、前記方法は、
サンプルデータを用いて第２検出モジュールと第１検出モジュールをトレーニングするステップと、
サンプルデータを用いてトレーニングして前記第２検出モジュールと第１検出モジュールのネットワークパラメータを取得するステップと、
損失関数に基づいて、前記ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するステップと、
前記損失値が所定の値以下であれば、前記第２検出モジュールと前記第１検出モジュールのトレーニングを完了し、又は、前記損失値が前記所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するステップと、を更に含む。
該サンプルデータは、サンプル画像と医者により第２目標及び／又は第１目標に対してラベリングしたデータを含んでよい。サンプルデータのトレーニングによって第２検出モジュールと第１検出モジュールのネットワークパラメータを取得することができる。
該ネットワークパラメータは、ニューロン間の入力出力に影響を与える重み値及び／又は閾値を含んでよい。前記重み値と入力の積及び閾値との重み付け関係は、対応するニューロンの出力に影響を与えることがある。
ネットワークパラメータが取得された後、対応する第２検出モジュールと第１検出モジュールが処理待ち画像の分割及び目標特徴マップの生成を精確に完了できる機能を有するようになることが保証できるというわけでない。従って、本実施例では検証がなされる。例えば、検証データ中の検証画像を入力することによって、第２検出モジュールと第１検出モジュールはそれぞれ自分の出力を取得し、検証画像に対応するラベリングデータと比較し、損失関数を用いて損失値を算出でき、該損失値が小さいほど、モデルのトレーニング結果が優れることを示し、損失値が予め設定された所定の値より小さい時に、ネットワークパラメータの最適化及びモデルのトレーニングが完了されたと考えられる。損失値が所定の値より大きければ、最適化を継続する必要があり、即ちモデルをトレーニングし続ける必要があると考えられ、損失値が前記所定の値以下になると、又は、最適化回数が回数上限に達すると、モデルのトレーニングを停止する。
前記損失関数は、交差エントロピー損失関数又はＤＩＣＥ損失関数等であってよく、具体的に実現する時にいずれか１種にも限定されない。
いくつかの実施例では、前記損失値が前記所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するステップは、
前記損失値が前記所定の値より大きければ、逆伝搬方式を用いて前記ネットワークパラメータを更新するステップを含む。
前記逆伝搬方式は、一層の出力層から入力層へ各ネットワーク経路をトラバーサルするようになっていてもよく、そのように、ある出力ノードにとって、該出力ノードに繋がる経路については逆方向にトラバーサルする時に１回しかトラバーサルしないので、逆伝搬方式でネットワークパラメータを更新すれば、順伝搬方式で前記ネットワークパラメータを更新する場合と比べて、ネットワーク経路上の重み値及び／又は閾値の重複処理を減少し、処理量を減少し、更新効率を高めることができる。順伝搬方式は、入力層から出力層方向へネットワーク経路をトラバーサルしてネットワークパラメータを更新するようになっている。
いくつかの実施例では、前記第２検出モジュールと第１検出モジュールによりエンドツーエンドモデルが構成され、前記エンドツーエンドモデルは、検出される医療画像の画像データを直接該エンドツーエンドモデルに入力し、直接出力されるものが望まれる出力結果となるようになっており、このように情報をモデルに入力して処理した後直接結果を出力するモデルはエンドツーエンドモデルと呼ばれる。ただし、該エンドツーエンドモデルは少なくとも２つの相互に接続されるサブモデルで構成される。第２検出モジュールと第１検出モジュールの損失値はそれぞれ算出可能であり、そのようにして、第２検出モジュールと第１検出モジュールはそれぞれ自分の損失値を取得し、それぞれ自分のネットワークパラメータを最適化する。しかしながら、このような最適化方式によれば、後続の使用で、第２検出モジュールの損失と第１検出モジュールの損失が累積して大きくなって、最終的な出力結果の精度が高くなることがある。それに鑑みて、損失関数に基づいて、前記ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するステップは、
１つの損失関数を用いて、前記第２検出モジュールから入力され且つ前記第１検出モジュールから出力されるエンドツーエンド損失値を計算するステップを含む。
本実施例では、直接１つの損失関数を用いて第２検出モジュールと第１検出モジュールを含むエンドツーエンドモデルに対してエンドツーエンド損失値を計算し、該エンドツーエンド損失値に基づいて２つのモデルのネットワークパラメータの最適化を行い、そのように、モデルを実際に適用する時に十分に精確な出力結果、即ち十分に精確な前記目標特徴マップ及び前記第１診断補助情報を取得することを確保できる。
仮に前記ステップＳ１１０での医療画像を現在医療画像とし、前記ステップＳ１２０での目標特徴マップを現在目標特徴マップとすれば、いくつかの実施例では、前記方法は、
前記現在医療画像の第２識別情報を取得するステップ、
前記第２識別情報により履歴医療画像に対応する履歴目標特徴マップを取得し、同一の第１目標の現在目標特徴マップと前記履歴目標特徴マップを比較し、第２診断補助情報を取得するステップ、
及び／又は、
前記第２識別情報により前記履歴医療画像に対応する第１診断補助情報を取得し、現在医療画像の第１診断補助情報と前記履歴医療画像に対応する第１診断補助情報を比較して第３診断補助情報を生成するステップを更に含む。
前記第２識別情報は診断対象の対象マークであってよく、例えば、人を診断することを例にして、前記第２識別情報は、診断を受ける人の診断番号又は医療番号であってよい。
医療データベースには履歴医療診断情報が記憶されていてもよい。履歴医療画像は本願の医療画像処理方法によって目標特徴マップ及び第１診断補助情報が生成されている。
本実施例では、現在医療画像と履歴医療画像に対応する目標特徴マップの比較によって、第２診断補助情報を取得でき、そのようにして、医療関係者が知能的に比較することができる。
例えば、いくつかの実施例では、同一の第１目標の履歴目標特徴マップ及び現在目標特徴マップから、動画シーケンスフレームを生成し又はビデオを生成する。前記動画シーケンスフレーム又はビデオには少なくとも前記履歴特徴マップ及び現在目標特徴マップが含まれており、それによって動画シーケンスフレーム又はビデオの方式で同一の診断対象の同一の第１目標の目標特徴マップの変化を動的に表し、ユーザがこのような可視化画像によって前記同一の第１目標の変化及び変化傾向を簡便に見ることができ、医療関係者がこのような変化又は変化傾向により診断することができる。ここの同一の第１目標の変化は、同一の第１目標のサイズ変化、形状変化及び／又は模様変化の１種又は複数種であってよい。
例えば、椎間板を前記第１目標とすることを例にすれば、前記第２診断補助情報は、前記第１目標のサイズ変化又はサイズ変化傾向を記述するテキスト情報及び／又は画像情報であってよい。ここの画像情報は、単一のイメージを含んでもよいし、上述した動画シーケンスフレーム又はビデオを含んでもよい。
ここの前記履歴特徴マップ及び現在目標特徴マップを含む動画シーケンスフレーム又はビデオは、前記第２第１診断補助情報の一種である。別の実施例では、前記第２診断補助情報は更にテキスト情報であってよい。
前記第２診断補助情報は、更に、医療画像処理装置により履歴特徴マップ及び現在目標特徴マップに基づいて取得した装置評価情報を含んでよい。例えば、腰椎椎間板の変形又は厚さ変化により、病変が発生したか否か又は病変程度を示す装置評価情報を提供可能である。該装置評価情報は医者の診断補助情報としてよい。
いくつかの実施例では、異なる時刻の医療診断情報に対応する第１診断補助情報を基に第３診断補助情報を生成し、このような第３診断補助情報は、異なる時刻の医療画像により生成される第１診断補助情報の対照的な差異に基づいて生成されるものであってよい。例えば、前記第３診断情報は、同一の第１目標の属性情報の変化及び変化傾向による結論情報を含んでよい。例えば、胸椎椎間板Ｔ１１－Ｔ１２の２回の診断過程で発生したＤｉｘｏｎシーケンスのサイズに変化があるか否か又は形状に変化があるか否かについての結論を含んでよい。いくつかの実施例では、前記第３診断情報は更に直接属性情報の変化量又は変化傾向を出してもよく、また、勿論、このような変化量及び／又は変化傾向により出された装置評価情報を含んでもよい。
履歴医療画像情報に対応する目標特徴マップ及び第１診断補助情報は医療システムのデータベースに記憶されていてもよく、前記第２識別情報により同一の診断対象の複数回のそれぞれの医療画像情報による目標特徴マップ及び第１診断補助情報が検索でき、それによって、装置は、上述した目標特徴マップ、第１診断補助情報、第２診断補助情報及び第３診断補助情報の１つ又は複数を含んでよい、隣接する２回又は複数回の医療画像総合情報を利用する。
いくつかの実施例では、前記方法は、更に、
ステップＳ１３０の後に現在医療画像の目標特徴マップ及び第１診断補助情報を出力すると同時に、履歴医療診断画像に対応する目標特徴マップ及び／又は第１診断補助情報のリンクを前記第２識別情報により出力画面で確立するステップを含んでよく、そのようにして、医者が現在の需要に応じてリンクによって履歴医療画像の目標特徴マップ及び／又は第１診断補助情報を簡便に取得することもできる。
図５に示すように、本願の実施例は、
第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するように構成される第１検出ユニット１１０であって、前記第２目標は少なくとも２つの前記第１目標を含む、第１検出ユニット１１０と、
前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するように構成される処理ユニット１２０と、を含む医療画像処理装置を提供する。
いくつかの実施例では、前記第１検出ユニット１１０及び処理ユニット１２０はプログラムユニットであってよく、プロセッサにより実行されると、第２目標の第２位置情報の取得、処理待ち画像の抽出及び目標特徴マップと第１診断補助情報の決定を実現できる。
別の実施例では、前記第１検出ユニット１１０及び処理ユニット１２０は、ハードウェア又はソフトウェアとハードウェアの組合せであってよい。例えば、前記第１検出ユニット１１０及び処理ユニット１２０は、フィールドプログラマブルデバイス又は複雑なプログラマブルデバイスに対応してよい。更に例えば、前記第１検出ユニット１１０及び前記処理ユニット１２０は専用集積回路（ＡＳＩＣ）に対応してよい。
いくつかの実施例では、前記処理ユニット１２０は、前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標に対して画素レベルの分割を行って前記目標特徴マップ及び前記第１診断補助情報を取得するように構成される。
いくつかの実施例では、前記装置は、
第２検出モジュールを用いて医療画像を検出して、前記医療画像内の前記第２目標の第２位置情報を取得し、前記第２位置情報にしたがって前記医療画像から前記第２目標を含む処理待ち画像を分割するように構成される第２検出ユニットと、
前記医療画像を検出して前記第２目標の所在する画像検出領域を取得し、前記画像検出領域を検出して前記第２目標の外郭情報を取得し、前記外郭情報にしたがってマスク領域を生成するように構成される前記第１検出ユニット１１０と、を更に含む。
いくつかの実施例では、前記処理ユニット１２０は、前記マスク領域により前記医療画像から前記処理待ち画像を分割するように構成される。
いくつかの実施例では、前記第１検出ユニット１１０は、第１検出モジュールを用いて処理待ち画像又は医療画像を検出して前記第１目標の画像検出領域を取得し、前記画像検出領域を検出して前記第１目標の外郭情報を取得し、前記第２目標を分割して前記第１目標を取得するためのマスク領域を前記外郭情報にしたがって生成するように構成される。
いくつかの実施例では、前記処理ユニット１２０は、前記分割画像を処理して、前記第１目標に一対一に対応する前記目標特徴マップを取得し、前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得するように構成される。
いくつかの実施例では、前記処理ユニット１２０は、前記第１検出モジュールの特徴抽出層を用いて前記分割画像から第１特徴マップを抽出し、前記第１検出モジュールのプーリング層を用いて、前記第１特徴マップに基づいて、スケールが前記第１特徴マップと異なる少なくとも１つの第２特徴マップを生成し、前記第２特徴マップにしたがって前記目標特徴マップを取得するように構成される。
いくつかの実施例では、前記処理ユニット１２０は、前記第１検出モジュールのアップサンプリング層を用いて前記第２特徴マップに対してアップサンプリングを行って、第３特徴マップを取得し、前記第１検出モジュールの融合層を用いて前記第１特徴マップ及び前記第３特徴マップを融合して融合特徴マップを取得し、又は、前記第３特徴マップ及び前記第３特徴マップと異なるスケールの前記第２特徴マップを融合して融合特徴マップを取得し、前記第１検出モジュールの出力層を用いて前記融合特徴マップにしたがって前記目標特徴マップを出力するように構成される。
また、前記処理ユニット１２０は、
前記処理待ち画像及び前記分割画像を組み合わせることにより、前記目標特徴マップに対応する前記第１目標の第１識別情報を決定するステップと、
前記目標特徴マップに基づいて前記第１目標の属性情報を決定するステップと、
前記目標特徴マップに基づいて、前記第１目標の属性情報を基に生成するプロンプト情報を決定するステップとの少なくとも１つを実行するように構成される。
いくつかの実施例では、前記装置は、
サンプルデータを用いてトレーニングして前記第２検出モジュールと第１検出モジュールを取得するように構成されるトレーニングユニットと、
損失関数に基づいて、ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するように構成される計算ユニットと、
前記損失値が所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するように構成される最適化ユニットと、を更に含み、又は、前記トレーニングユニットは、更に、前記損失値が前記所定の値以下であれば、前記第２検出モジュールと前記第１検出モジュールのトレーニングを完了するために用いられる。
いくつかの実施例では、前記最適化ユニットは、前記損失値が前記所定の値より大きければ、逆伝搬方式を用いて前記ネットワークパラメータを更新するように構成される。
いくつかの実施例では、前記計算ユニットは、１つの損失関数を用いて、前記第２検出モジュールから入力され且つ前記第１検出モジュールから出力されるエンドツーエンド損失値を計算するように構成される。
いくつかの実施例では、前記第２目標が脊柱であり、
前記第１目標が椎間板である。
以下、上記の任意の実施例に基づいていくつかの具体的な例を提供する。
例１：
まず深層学習モデルを用いて検出して椎間板の位置を確定し、各椎間板の位置情報を取得し、例えば、各椎間板の中心座標を取得し、且つどの椎間板であるかを表記する（つまり、該椎間板がどの２つの椎骨の間に位置するかを表記し、例えば胸椎Ｔ１２と腰椎Ｌ１の間に位置する）。ここの深層学習モデルは、上述したニューラルネットワークモデルを含んでよい。
前のステップで検出された椎間板の位置情報に基づいて、深層学習モデルを用いて椎間板に対して画素レベルの分割を行って、椎間板の完全なエッジ、形状、体積等の情報を取得して、医者の診断を補助する。
この例の深層学習アーキテクチャは全自動的なエンドツーエンドの解决手段であり、医学画像を入力すると、完全な椎間板検出と分割結果が出力される。
具体的には、この例で提供される方法は、以下のステップを含む。
まず、椎間板のＤｉｘｏｎシーケンス中の２次元画像を前処理し、画像に対して再サンプリングを行い、それは前記Ｄｉｘｏｎシーケンスの画像を複製することに相当し、最初のＤｉｘｏｎシーケンスは、保存され、又はバックアップとして使用されることが可能である。
検出機能を有するニューラルネットワークモデルを用いて椎間板の位置を検出し、特定椎間板の検出枠と、前記検出枠内に位置する、次のステップで椎間板を分割して単一の椎間板を取得するためのマスク領域と、を取得する。
完全畳み込みニューラルネットワークモデル（例えば、Ｕ－Ｎｅｔ）を用いて、ダウンサンプリングによって畳み込みカーネルにより多くの受容野を持たせることができる。
アップサンプリングによって畳み込み処理をなされた特徴マップを、最初の大きさに回復し、ｓｏｆｔｍａｘ層によって分割結果を取得する。該分割結果は、目標特徴マップ及び前記第１診断補助情報を含んでよい。
ニューラルネットワークモデルには、分割精度を高めるように、異なるスケールの目標特徴マップを融合する融合層を加えられてよい。異なるスケールのマップの融合によって、大きい受容野を含むマップと画像の最初の詳細を多く含むマップが同時に融合され、そのようにして、取得されたマップが大きい受容野を有すると共に、十分に多い最初の詳細を含む。
損失関数としてクロスエントロピー損失関数を用い、損失関数により、ネットワークで予測された分割結果と医者のラベリングしたものを比較し、逆伝搬方式によってモデルのパラメータを更新する。
分割では椎間板検出により得られたマスク領域が用いられてトレーニングを補助し、大部分の無用な背景が除去され、そのようにして、ネットワークは椎間板近傍の領域に注目することが可能になって分割精度を効果的に高めることができる。
椎間板の検出とマスク領域の取得、及び椎間板の画素レベルの分割を行う。
図４に示すように、左から右へそれぞれは、原医療画像、脊椎分割結果、検出ネットワークにより得られた特定椎間板（Ｔ１１－Ｓ１間の７個）のマスク領域及び椎間板の分割結果である。
椎間板の検出と分割は、
入力されたＤｉｘｏｎシーケンスにより分割アルゴリズムを用いて脊椎部分の分割結果を取得し、干渉になる他の部分を除去するステップを含んでよく、具体的には、Ｄｉｘｏｎシーケンスを検出ネットワークに入力し、脊椎分割結果の制限により、椎間板の具体的位置を検出し、分割のための大まかなマスク領域を生成するステップと、完全畳み込みネットワークの２次元画像分割に基づいて、Ｄｉｘｏｎシーケンス内の各フレーム画像をそれぞれ分割し、次に結合して完全な分割結果を取得するステップと、を含んでよい。
ネットワーク構成としてはＦＣＮ又はＵ－Ｎｅｔ及びそれらの改良モデルに基づく構成が用いられる。原画像に対して異なる層の畳み込み、４回のプーリング操作を行って、１２８＊１２８の画像を６４＊６４、３２＊３２、１６＊１６、８＊８の大きさの特徴マップにダウンサンプリングする。そのようにして、同じ大きさの畳み込みカーネルにより大きい受容野を持たせることができる。椎間板の特徴マップを取得した後、逆畳み込み又は補間の方法によって最初の解像度に回復する。ダウンサンプリングした後の解像度が徐々に低くなるため、多くの詳細情報損失が発生し、そのため、アップサンプリングの過程で詳細情報を徐々に回復するために、異なるスケールの特徴マップを融合することができ、例えば、同じ解像度のダウンサンプリングとアップサンプリング層の間にショート接続を加える。
ｓｏｆｔｍａｘ層を通った後、分割結果が取得され、医者のラベリングしたものと比較して、クロスエントロピー損失又はＤＩＣＥ等の他の損失関数を計算する。
損失値を計算する時に、検出ネットワークにより得られた椎間板マスク領域の損失のみを計算し、このようにして大量の無関係な背景が無視可能になって、ネットワークは椎間板近傍の領域に注目可能になって、分割正確率を高めることができる。モデルが縮約され又は最大反復回数に達するまで、逆伝搬によってモデルパラメータを更新し、モデルを反復最適化する。
脊椎分割を制限とし、より強い安定性を有する検出アルゴリズムをも利用する。検出した後で精確な分割を行って、干渉が除去され、分割結果がより正確になる。
脊椎分割を制限とし、検出アルゴリズムをも利用する。該アルゴリズムはより強い安定性を有する。
椎間板を検出した後で精確な分割を行って、干渉が除去され、分割結果がより正確になる。
分割結果がより正確になったため、それに基づいて算出された体積等のパラメータもより正確になる。医者の診断をより好適に補助する。
図６に示すように、本願の実施例は、
情報を記憶するように構成されるメモリと、
前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能コマンドを実行することによって、上述した１つ又は複数の技術的手段で提供された画像処理方法、例えば、図１、図２及び／又は図３に示す方法を実現できるように構成されるプロセッサと、を含む画像処理装置を提供する。
該メモリは、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ等の様々メモリであってよい。前記メモリは情報を記憶可能であり、例えば、コンピュータ実行可能コマンド等を記憶する。前記コンピュータ実行可能コマンドは、例えば、目的プログラムコマンド及び／又はソースプログラムコマンド等の様々なプログラムコマンドであってよい。
前記プロセッサは、例えば、中央処理装置、マイクロプロセッサ、デジタルシグナルプロセッサ、プログラマブルゲートアレイ、デジタルシグナルプロセッサ、専用集積回路又は画像プロセッサ等の様々なプロセッサであってよい。
前記プロセッサはバスを介して前記メモリに接続可能である。前記バスは集積回路バス等であってよい。
いくつかの実施例では、前記端末装置は、例えば、ローカルエリアネットワークインターフェイス、送受信アンテナ等のネットワークインターフェイスを含んでよい通信インターフェイスを更に含んでよい。前記通信インターフェイスは同様に前記プロセッサに接続され、情報を送受信可能である。
いくつかの実施例では、前記端末装置は、例えば、キーボード、タッチパネル等の様々な入力出力装置を含んでよいマンマシンインタラクションインターフェイスを更に含む。
本願の実施例は、コンピュータ実行可能コードを記憶したコンピュータ記憶媒体であって、前記コンピュータ実行可能コードが実行されると、上述した１つ又は複数の技術的手段で提供された画像処理方法、例えば、図１、図２及び図３に示す方法の１つ又は複数を実現できるコンピュータ記憶媒体を提供する。
前記記憶媒体は、携帯型記憶装置、読出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。前記記憶媒体は非一時的な記憶媒体であってよい。
本願の実施例は、コンピュータ実行可能コマンドを含むコンピュータプログラム製品であって、前記コンピュータ実行可能コマンドが実行されると、上述した１つ又は複数の技術的手段で提供された画像処理方法、例えば、図１、図２及び図３に示す方法の１つ又は複数を実現できるコンピュータプログラム製品を提供する。
本実施例における前記コンピュータプログラム製品に含まれるコンピュータ実行可能コマンドは、アプリケーション、ソフトウェア開発キット、プラグイン又はパッチ等を含んでよい。
本願が提供するいくつかの実施例では、開示する装置および方法は、他の形態で実現できることを理解すべきである。以上で説明した装置実施例は例示的なものに過ぎず、例えば、例えば、前記ユニットの区別は、論理機能の区別に過ぎず、実際に実現時に別の区別形態にしてもよく、例えば複数のユニットまたはコンポーネントは組み合わせてもよく、または別のシステムに統合してもよく、またはいくつかの特徴を無視してもよく、もしくは実行しなくてもよい。また、示したまたは論じた各構成部分間の結合または直接結合または通信接続はいくつかのインターフェイスによるものであってもよく、装置またはユニットの間接結合または通信接続は、電気的、機械的または他の形式であってもよい。
上記の分離部材として説明したユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示された部材は物理ユニットであってもなくてもよく、一箇所に位置してもよく、または複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部または全てのユニットを選択して本実施例の解決手段の目的を実現できる。
また、本願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよく、それぞれ独立して１つのユニットとして存在してもよく、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形式で実現してもよく、ハードウェアにソフトウェア機能ユニットを加えた形式で実現してもよい。
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、携帯型記憶装置、読出し専用記憶装（ＲＯＭ，Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
以上で説明したのは本願の具体的な実施形態に過ぎず、本願の保護範囲がそれに限定されるものでなく、本願に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本願の保護範囲に含まれる。従って、本願の保護範囲は請求項の保護範囲に準ずるべきである。
１１０ 第１検出ユニット
１２０ 処理ユニット

Claims (17)

  1. 医療画像処理方法であって、
    第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するステップであって、前記第２目標は少なくとも２つの前記第１目標を含み、前記第１位置情報は、前記第１目標のエッジのエッジ座標値、前記第１目標の中心の中心座標値及び前記第１目標の前記第２目標での各次元のサイズ値を含む、ステップと、
    前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するステップと、を含む医療画像処理方法。
  2. 前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するステップは、
    前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標に対して画素レベルの分割を行って前記目標特徴マップ及び前記第１診断補助情報を取得するステップを含む請求項１に記載の方法。
  3. 第２検出モジュールを用いて医療画像を検出して、前記医療画像内の前記第２目標の第２位置情報を取得するステップと、
    前記第２位置情報にしたがって前記医療画像から前記第２目標を含む処理待ち画像を分割するステップと、を更に含み、
    前記第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するステップは、
    前記第１検出モジュールを用いて前記処理待ち画像を検出して、前記第１位置情報を取得するステップを含む請求項１又は２に記載の方法。
  4. 前記第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するステップは、
    第１検出モジュールを用いて処理待ち画像又は医療画像を検出して前記第１目標の画像検出領域を取得するステップと、
    前記画像検出領域を検出して前記第１目標の外郭情報を取得するステップと、
    前記外郭情報にしたがってマスク領域を生成するステップであって、前記マスク領域は前記第２目標を分割して前記第１目標の分割画像を取得するためである、ステップと、を含む請求項１～３のいずれか一項に記載の方法。
  5. 前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するステップは、
    前記分割画像を処理して、前記第１目標に一対一に対応する前記目標特徴マップを取得するステップと、
    前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得するステップと、を含む請求項４に記載の方法。
  6. 前記分割画像を処理して前記目標特徴マップを取得するステップは、
    前記第１検出モジュールの特徴抽出層を用いて前記分割画像から第１特徴マップを抽出するステップと、
    前記第１検出モジュールのプーリング層を用いて、前記第１特徴マップに基づいて、スケールが前記第１特徴マップと異なる少なくとも１つの第２特徴マップを生成するステップと、
    前記第２特徴マップにしたがって前記目標特徴マップを取得するステップと、を含む請求項５に記載の方法。
  7. 前記分割画像を処理して前記目標特徴マップを取得するステップは、
    前記第１検出モジュールのアップサンプリング層を用いて前記第２特徴マップに対してアップサンプリングを行って、第３特徴マップを取得するステップと、
    前記第１検出モジュールの融合層を用いて前記第１特徴マップ及び前記第３特徴マップを融合して融合特徴マップを取得し、又は、前記第３特徴マップ及び前記第３特徴マップと異なるスケールの前記第２特徴マップを融合して融合特徴マップを取得するステップと、
    前記第１検出モジュールの出力層を用いて前記融合特徴マップにしたがって前記目標特徴マップを出力するステップと、を含む請求項６に記載の方法。
  8. 前記処理待ち画像、前記目標特徴マップ及び前記分割画像の少なくとも１つに基づいて、前記第１目標の第１診断補助情報を取得するステップは、
    前記処理待ち画像及び前記分割画像を組み合わせることにより、前記目標特徴マップに対応する前記第１目標の第１識別情報を決定するステップと、
    前記目標特徴マップに基づいて前記第１目標の属性情報を決定するステップと、
    前記目標特徴マップに基づいて、前記第１目標の属性情報を基に生成するプロンプト情報を決定するステップとの少なくとも１つを含む請求項６に記載の方法。
  9. サンプルデータを用いてトレーニングして第２検出モジュールと第１検出モジュールを取得するステップと、
    損失関数に基づいて、ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するステップと、
    前記損失値が所定の値以下であれば、前記第２検出モジュールと前記第１検出モジュールのトレーニングを完了し、又は、前記損失値が前記所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するステップと、を更に含む請求項３～８のいずれか一項に記載の方法。
  10. 前記損失値が前記所定の値より大きければ、前記損失値にしたがって前記ネットワークパラメータを最適化するステップは、
    前記損失値が前記所定の値より大きければ、逆伝搬方式を用いて前記ネットワークパラメータを更新するステップを含む請求項９に記載の方法。
  11. 損失関数に基づいて、前記ネットワークパラメータを取得した第２検出モジュールと前記第１検出モジュールの損失値を計算するステップは、
    １つの損失関数を用いて、前記第２検出モジュールから入力され且つ前記第１検出モジュールから出力されるエンドツーエンド損失値を計算するステップを含む請求項９に記載の方法。
  12. 前記第１検出モジュールは第１検出モデルを含み、
    及び／又は、
    前記第２検出モジュールは第２検出モデルを含む請求項３、９～１１のいずれか一項に記載の方法。
  13. 前記第２目標が脊柱であり、
    前記第１目標が椎間板である請求項１～１２のいずれか一項に記載の方法。
  14. 医療画像処理装置であって、
    第１検出モジュールを用いて医療画像を検出して、第２目標内の第１目標の第１位置情報を取得するように構成される第１検出ユニットであって、前記第２目標は少なくとも２つの前記第１目標を含み、前記第１位置情報は、前記第１目標のエッジのエッジ座標値、前記第１目標の中心の中心座標値及び前記第１目標の前記第２目標での各次元のサイズ値を含む、第１検出ユニットと、
    前記第１検出モジュールを用いて前記第１位置情報にしたがって前記第２目標を分割して前記第１目標の目標特徴マップ及び第１診断補助情報を取得するように構成される処理ユニットと、を含む医療画像処理装置。
  15. コンピュータに請求項１～１３のいずれか一項に記載の方法を実行させるためのコンピュータ実行可能コードを記憶したコンピュータ読み取り可能な記憶媒体。
  16. コンピュータに請求項１～１３のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
  17. 情報を記憶するように構成されるメモリと、
    前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能コマンドを実行することによって、請求項１～１３のいずれか一項によって提供される方法を実現できるように構成されるプロセッサと、を含む画像処理装置。
JP2020573401A 2018-07-24 2018-11-27 医療画像処理方法及び装置、電子機器並びに記憶媒体 Active JP7154322B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810818690.X 2018-07-24
CN201810818690.XA CN108986891A (zh) 2018-07-24 2018-07-24 医疗影像处理方法及装置、电子设备及存储介质
PCT/CN2018/117759 WO2020019612A1 (zh) 2018-07-24 2018-11-27 医疗影像处理方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021529400A JP2021529400A (ja) 2021-10-28
JP7154322B2 true JP7154322B2 (ja) 2022-10-17

Family

ID=64549848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573401A Active JP7154322B2 (ja) 2018-07-24 2018-11-27 医療画像処理方法及び装置、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210073982A1 (ja)
JP (1) JP7154322B2 (ja)
KR (1) KR20210002606A (ja)
CN (1) CN108986891A (ja)
SG (1) SG11202011655YA (ja)
TW (1) TWI715117B (ja)
WO (1) WO2020019612A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435432B (zh) * 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN109949309B (zh) * 2019-03-18 2022-02-11 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN109978886B (zh) * 2019-04-01 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110148454B (zh) * 2019-05-21 2023-06-06 上海联影医疗科技股份有限公司 一种摆位方法、装置、服务器及存储介质
CN110555833B (zh) * 2019-08-30 2023-03-21 联想(北京)有限公司 图像处理方法、装置、电子设备以及介质
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN111369582B (zh) * 2020-03-06 2023-04-07 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
WO2021247034A1 (en) * 2020-06-05 2021-12-09 Aetherai Ip Holding Llc Object detection method and convolution neural network for the same
CN111768382B (zh) * 2020-06-30 2023-08-15 重庆大学 一种基于肺结节生长形态的交互式分割方法
TWI771761B (zh) * 2020-09-25 2022-07-21 宏正自動科技股份有限公司 醫療影像處理方法及其醫療影像處理裝置
TWI768575B (zh) 2020-12-03 2022-06-21 財團法人工業技術研究院 三維影像動態矯正評估與矯具輔助設計方法及其系統
TWI755214B (zh) * 2020-12-22 2022-02-11 鴻海精密工業股份有限公司 區分物件的方法、電腦裝置及儲存介質
CN113052159B (zh) * 2021-04-14 2024-06-07 ***通信集团陕西有限公司 一种图像识别方法、装置、设备及计算机存储介质
CN113112484B (zh) * 2021-04-19 2021-12-31 山东省人工智能研究院 一种基于特征压缩和噪声抑制的心室图像分割方法
CN113255756B (zh) * 2021-05-20 2024-05-24 联仁健康医疗大数据科技股份有限公司 图像融合方法、装置、电子设备及存储介质
CN113269747B (zh) * 2021-05-24 2023-06-13 浙江大学医学院附属第一医院 一种基于深度学习的病理图片肝癌扩散检测方法及***
CN113554619A (zh) * 2021-07-22 2021-10-26 深圳市永吉星光电有限公司 3d医用***头的图像目标检测方法、***及装置
KR102632864B1 (ko) * 2023-04-07 2024-02-07 주식회사 카비랩 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091833A1 (en) 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143090A1 (en) * 2009-08-16 2012-06-07 Ori Hay Assessment of Spinal Anatomy
TWI473598B (zh) * 2012-05-18 2015-02-21 Univ Nat Taiwan Breast ultrasound image scanning and diagnostic assistance system
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CN105678746B (zh) * 2015-12-30 2018-04-03 上海联影医疗科技有限公司 一种医学图像中肝脏范围的定位方法及装置
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US10366491B2 (en) * 2017-03-08 2019-07-30 Siemens Healthcare Gmbh Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
CN107220980B (zh) * 2017-05-25 2019-12-03 重庆师范大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
WO2019023891A1 (en) * 2017-07-31 2019-02-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEMS AND METHODS FOR AUTOMATIC SEGMENTATION AND IDENTIFICATION OF VERTEBRA IN MEDICAL IMAGES
WO2019041262A1 (en) * 2017-08-31 2019-03-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE SEGMENTATION
US11158047B2 (en) * 2017-09-15 2021-10-26 Multus Medical, Llc System and method for segmentation and visualization of medical image data
CN107784647B (zh) * 2017-09-29 2021-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及***
EP3872759A1 (en) * 2017-10-20 2021-09-01 Nuvasive, Inc. Intervertebral disc modeling
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN108230323B (zh) * 2018-01-30 2021-03-23 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
US10902587B2 (en) * 2018-05-31 2021-01-26 GE Precision Healthcare LLC Methods and systems for labeling whole spine image using deep neural network
CN111063424B (zh) * 2019-12-25 2023-09-19 上海联影医疗科技股份有限公司 一种椎间盘数据处理方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091833A1 (en) 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation

Also Published As

Publication number Publication date
US20210073982A1 (en) 2021-03-11
CN108986891A (zh) 2018-12-11
SG11202011655YA (en) 2020-12-30
KR20210002606A (ko) 2021-01-08
JP2021529400A (ja) 2021-10-28
WO2020019612A1 (zh) 2020-01-30
TWI715117B (zh) 2021-01-01
TW202008163A (zh) 2020-02-16

Similar Documents

Publication Publication Date Title
JP7154322B2 (ja) 医療画像処理方法及び装置、電子機器並びに記憶媒体
Shin et al. Deep vessel segmentation by learning graphical connectivity
Rampun et al. Breast pectoral muscle segmentation in mammograms using a modified holistically-nested edge detection network
Al Arif et al. Fully automatic cervical vertebrae segmentation framework for X-ray images
JP6657132B2 (ja) 画像分類装置、方法およびプログラム
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
JP2022518446A (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
EP2866200A1 (en) Apparatus and method for computer-aided diagnosis
JP2021002338A (ja) 画像セグメンテーション及び識別のための方法及びシステム
CN102934126A (zh) 放射摄影图像中的微钙化检测和分级
CN112489005A (zh) 骨分割方法及装置、骨折检出方法及装置
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN115115575A (zh) 一种图像检测方法、装置、计算机设备及存储介质
Laumer et al. Weakly supervised inference of personalized heart meshes based on echocardiography videos
CN110009641A (zh) 晶状体分割方法、装置及存储介质
CN112541900A (zh) 基于卷积神经网络的检测方法、装置、计算机设备及存储介质
KR102173321B1 (ko) 형태학적 특징을 이용한 자동 척추 골절 진단 및 검출 장치 및 방법
JP7456928B2 (ja) 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
AU2019204365B1 (en) Method and System for Image Segmentation and Identification
Lee et al. True-false lumen segmentation of aortic dissection using multi-scale wavelet analysis and generative-discriminative model matching
CN110176007A (zh) 晶状体分割方法、装置及存储介质
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221004

R150 Certificate of patent or registration of utility model

Ref document number: 7154322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150