JP2023130225A - 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法 - Google Patents

磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法 Download PDF

Info

Publication number
JP2023130225A
JP2023130225A JP2022034774A JP2022034774A JP2023130225A JP 2023130225 A JP2023130225 A JP 2023130225A JP 2022034774 A JP2022034774 A JP 2022034774A JP 2022034774 A JP2022034774 A JP 2022034774A JP 2023130225 A JP2023130225 A JP 2023130225A
Authority
JP
Japan
Prior art keywords
noise
image
cnn
input image
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022034774A
Other languages
English (en)
Other versions
JP2023130225A5 (ja
Inventor
敦郎 鈴木
Atsuro Suzuki
知樹 雨宮
Tomoki Amamiya
幸生 金子
Yukio Kaneko
亨 白猪
Toru Shirai
慧祐 西尾
Keisuke Nishio
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Healthcare Corp
Original Assignee
Fujifilm Healthcare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Healthcare Corp filed Critical Fujifilm Healthcare Corp
Priority to JP2022034774A priority Critical patent/JP2023130225A/ja
Priority to CN202211154552.9A priority patent/CN116797467A/zh
Priority to US18/112,498 priority patent/US20230281760A1/en
Priority to EP23159376.5A priority patent/EP4242682A1/en
Publication of JP2023130225A publication Critical patent/JP2023130225A/ja
Publication of JP2023130225A5 publication Critical patent/JP2023130225A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】ＣＮＮを用いた画像ノイズ低減処理において、画像の信号レベル及びノイズレベルに依らず、効果的なノイズ低減を行う。【解決手段】ＣＮＮに入力する画像から、ノイズ情報と信号レベル情報とを算出し、算出した情報を用いて、ＣＮＮに適した規格化因子を決定し、入力画像の規格化を行う。ノイズ情報は、入力画像がＭＲＩ画像の場合には、入力画像の背景ノイズの大きさから推定する。信号レベル情報は、背景ノイズの大きさで入力画像を除した画像について被検体領域の画素値から、例えばその平均値として算出することができる。【選択図】図２

Description

本発明は、ＣＮＮ（Convolutional Neural Network）を用いた医用画像のノイズ低減技術に関し、特に磁気共鳴撮像装置（以下、ＭＲＩ装置と略す）で得られた画像のノイズ低減技術に関する。
医用撮像装置で取得した医用画像には、モダリティの特性や撮像条件等に起因してノイズが混入する。撮像条件の工夫によって低ノイズの画像を得ることは可能であるが、例えば撮像時間短縮のために短時間で撮像した画像は高ノイズとなり、ノイズ低減に限界がある。このように不可避的に混入するノイズを後処理によって低減する技術として、ＣＮＮを用いた手法が種々提案されている（例えば特許文献１）。この方法では、ノイズが多い画像（ノイズ画像）とノイズの少ない画像（正解画像）とを学習画像として、ノイズ画像が正解画像になるように学習したＣＮＮを用い、これを実際に取得したノイズの多い画像に適用することでノイズを低減する。
学習済ＣＮＮの適用に際しては、学習に用いた画像（ノイズ画像）とＣＮＮ適用の際に入力される画像（入力画像）との信号レベルの違いに起因して、十分なノイズ低減効果が得られないことがある。このような信号レベルの違いに起因する不十分なデノイズを防止するため、ＣＮＮを用いたノイズ低減では、画像を信号値の最大値で規格化するのが一般的である（特許文献２）。規格化は、学習用の画像とＣＮＮの入力画像との両方について行われる。
米国特許出願公開2010-0183217号 中国特許出願公開1334495号
従来技術のように、ノイズを低減される画像（入力画像）の画素値を最大値で規格化した場合、関心領域の画素値が学習画像（ノイズ画像と正解画像）の関心領域の画素値の範囲から外れると、学習によって得たＣＮＮのノイズ低減効果が得られない場合がある。
本発明は、入力画像の関心領域の画素値を、学習画像の関心領域の画素値の範囲に入るような規格化を実行することで、確実且つ効果的に画像のノイズを低減することを課題とする。
本発明では、ノイズを加味して規格化を行うことで上記課題を解決する。
即ち、本発明のＭＲＩ装置は、被検体から発生する核磁気共鳴信号を計測する計測部と、前記核磁気共鳴信号を用いて画像を生成する演算部と、を備え、演算部は、規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したＣＮＮを用いて、ＣＮＮの入力画像のノイズを低減するノイズ低減部を含む。ノイズ低減部は、入力画像のノイズ情報と信号レベル情報とを用いて、入力画像をＣＮＮに適した規格化因子で規格化する規格化部を有し、規格化後の入力画像についてＣＮＮを用いたノイズ低減処理を行う。
上記ＭＲＩ装置の演算部の機能は、ＭＲＩ装置とは独立した画像処理装置として実現可能であり、本発明はそのような画像処理装置を包含する。
また本発明のノイズ低減方法は、規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したＣＮＮを用いて、前記ＣＮＮの入力画像のノイズを低減するノイズ低減方法であって、入力画像のノイズ情報と信号レベル情報とを用いて、入力画像をＣＮＮに適した規格化因子で規格化するステップを含み、規格化後の入力画像についてＣＮＮを用いたノイズ低減処理を行う。
本発明のノイズ低減方法は、ＭＲＩ装置で取得した画像（ＭＲ画像）に好適に適用される。
なお本明細書では「規格化因子」とは、画像を規格化するために用いる値を意味し、特に所定の画素値に係数を乗じて規格化する場合、その係数を「規格化係数」と呼ぶこととする。
本発明によれば、ノイズ情報を加味して推定した信号レベルで入力画像を規格化することで、入力画像の注目領域の画素値が、ＣＮＮの学習用画像の画素値から外れることなく規格化して処理を行うことができ、種々のノイズレベルの画像に対し効果的にノイズ低減を行うことができる。
ＭＲＩ装置の全体概要を示す図 計算機の機能ブロック図 ノイズ低減の処理の概要を示す図 実施形態１のノイズ低減部の機能ブロック図 実施形態１のＣＮＮ学習部の機能ブロック図 実施形態１のＣＮＮ学習部の処理手順を示す図 実施形態１のノイズ低減処理のフロー図 ＣＮＮの構成例を示す図 背景ノイズの推定と領域抽出を説明する図 被検体領域抽出と画素算出を説明する図 デノイズ強度に関わるＧＵＩの一例を示す図 実施形態２のノイズ低減部の機能ブロック図 実施形態２のＣＮＮ学習の処理手順を示す図 実施形態２のターゲットノイズ設定の処理手順を示す図 ターゲットノイズ設定の詳細を説明する図 ターゲットノイズ設定の詳細を説明する図 実施形態２のノイズ低減処理のフロー図 実施形態３のノイズ低減部の機能ブロック図 実施形態３のＣＮＮ学習と近似式算出の手順を示す図 実施形態３のノＳＮＲと規格化係数との関係を示す図 実施形態３のノイズ低減処理を説明する図
以下、本発明のノイズ低減方法の実施形態を説明する。本発明のノイズ低減方法は、限定されるものではないが、ＭＲＩで得られる画像（ＭＲ画像）に好適に適用することができ、その場合、ＭＲＩ装置或いはＭＲ画像を処理する画像処理装置が本発明のノイズ低減方法を実現する機能を備えた構成となる。
以下、本発明の一実施形態として、ＭＲＩ装置の実施形態を説明する。最初に本発明が適用されるＭＲＩ装置１の全体構成を、図１を参照して説明する。
＜ＭＲＩ装置の構成＞
本実施形態のＭＲＩ装置１は、図１に示すように、被検体が置かれる空間に静磁場を生成する、例えば、静磁場コイル１１などの静磁場生成部と、被検体の計測領域に対し高周波磁場パルスを送信する送信用高周波コイル１２（以下、単に送信コイルという）および送信器１６と、被検体から生じる核磁気共鳴信号を受信する受信用高周波コイル１３（以下、単に受信コイルという）および受信器１７と、静磁場コイル１１が発生する静磁場に磁場勾配を与える傾斜磁場コイル１４およびその駆動電源である傾斜磁場電源１５と、シーケンス制御装置１８と、計算機２０と、を備える。計算機２０を除くＭＲＩ装置１の各部を総称して計測部１０という。
ＭＲＩ装置１には、発生する静磁場の方向により、垂直磁場方式や水平磁場方式があり、静磁場コイル１１は、その方式に応じて、種々の形態のものが採用される。傾斜磁場コイル１４は互いに直交する３軸方向（ｘ方向、ｙ方向、ｚ方向）それぞれに傾斜磁場を発生する複数のコイルの組み合わせからなり、それぞれ傾斜磁場電源１５により駆動される。傾斜磁場を印加することで、被検体から生じる核磁気共鳴信号に位置情報を付加することができる。
なお、図示する例では、送信コイル１２と受信コイル１３とが別個である場合を示しているが、送信コイル１２と受信コイル１３との機能を兼用する１つのコイルを用いる場合もある。送信コイル１２が照射する高周波磁場は、送信器１６により生成される。受信コイル１３が検出した核磁気共鳴信号は、受信器１７を通して計算機２０に送られる。
シーケンス制御装置１８は、傾斜磁場電源１５、送信器１６及び受信器１７の動作を制御し、傾斜磁場、高周波磁場の印加および核磁気共鳴信号の受信のタイミングを制御し、計測を実行する。制御のタイムチャートは撮像シーケンスと呼ばれ、計測に応じて予め設定され、後述する計算機２０が備える記憶装置等に格納される。
計算機２０は、ＣＰＵ、メモリ、記憶装置などを備える情報処理装置であり、シーケンス制御装置１８を介してＭＲＩ装置の各部の動作を制御するとともに受信したエコー信号に対して演算処理を行い、予め定めた撮像領域の画像を得る。計算機２０が実現する機能については後述するが、その機能はＭＲＩ装置１に含まれる計算機２０として実現してもよいし、ＭＲＩ装置とは独立した計算機やワークステーションなどで実現することも可能である。すなわち計算機２０の機能の一部または全部を含む画像処理装置であってもよい。
計算機２０には、表示装置３０、入力装置（入力部）４０、外部記憶装置５０などが接続される。表示装置３０は、演算処理で得られた結果等をオペレータに表示するインタフェースである。入力装置４０は、本実施形態で実施する計測や演算処理に必要な条件、パラメータ等をオペレータが入力するためのインタフェースである。ユーザは、入力装置４０を介して、例えば、計測するエコーの数や、エコー時間ＴＥ、エコー間隔などの計測パラメータを入力できる。外部記憶装置５０は、計算機２０内部の記憶装置とともに、計算機２０が実行する各種の演算処理に用いられるデータ、演算処理により得られるデータ、入力された条件、パラメータ等を保持する。
計算機２０は、上述したように、ＭＲＩ装置の計測部１０の制御と計測部１０が計測した信号の処理を行うものであるが、計測部１０が計測する核磁気共鳴信号は、撮像の対象である被検体からの信号に、装置の特性や撮像条件等に依存して所定のノイズが重畳した信号として得られ、画質を劣化させる原因となる。本実施形態の計算機２０は、信号処理の一部として、画像に重畳するノイズを低減する機能を備える。
本実施形態では、このノイズ低減を、ＣＮＮを用いて行う。このため計算機２０は、図２に示すように、画像再構成部２１０、ノイズ低減部２３０、及びＣＮＮ学習部２５０を含む。ノイズ低減部２３０は、さらに、処理対象である画像のノイズに関する情報を算出するノイズ推定部２３１、推定したノイズ情報をもとに画像を所定の画素値に規格化する規格化部２３３、及び学習済のＣＮＮ２３５を含む。ノイズ低減部２３０における処理の手法については後の実施形態で詳述する。
さらに計算機２０には、図示していないが、計測部１０の各要素を制御する計測制御部や表示装置に表示させる画像を生成する画像生成部などが含まれていてもよい。
また図２では、ＣＮＮ学習部２５０を計算機２０に含まれる一機能として示しているが、ＣＮＮ学習部２５０の機能は、実際の計測画像についてノイズ低減処理を行うＭＲＩ装置１の計算機或いは画像処理装置とは別の計算機で実現することも可能であり、その場合、計算機２０のＣＮＮ学習部２５０は省略され、図２に点線で示すように、別の計算機２０Ａにおいて同機能を持つＣＮＮ学習部２５０が設けられ、このＣＮＮ学習部２５０で学習を行ったＣＮＮをＭＲＩ装置１の計算機２０に導入する。従って、以下の説明において、ＣＮＮ学習部２５０で行うＣＮＮの学習は、学習済ＣＮＮを搭載する装置（例えばＭＲＩ装置の計算機２０）で行う場合とそれ以外の装置（計算機２０Ａ）で行う場合の両者を含むものとする。
ＣＮＮ学習部２５０は、ノイズを含む画像（ノイズ画像）とノイズがない或いはノイズ画像よりもノイズが少ない画像（正解画像）とのペアを多数用いて、ノイズ画像の入力に対し正解画像を出力するようにＣＮＮの学習を行う。その際、学習用画像に対し、用いたノイズ画像のノイズ強度をもとに規格化を行い、学習済ＣＮＮを得る。
ノイズ低減部２３０は、学習済ＣＮＮ２３５を用いてノイズ低減処理を行う。ノイズ低減部２３０は、ノイズ低減の対象である画像（入力画像）に学習済ＣＮＮ２３５を適用するのに先立って、入力画像のノイズに応じて、学習済ＣＮＮに適した規格化を行う。このため、図３に示すように、まずノイズ推定部２３１が、入力画像について、ノイズレベルを推定し（Ｓ１）、規格化部２３３が、推定したノイズレベルをもとに、入力画像の画素値が、適用する学習済ＣＮＮ２３５の学習用画像（規格化された学習用画像）の画素値範囲に対し適切な範囲となるように入力画像の規格化を行う（Ｓ２）。ノイズ低減部２３０は、規格化後の入力画像をＣＮＮ２３５に入力しノイズ低減処理（Ｓ３）を行う。必要に応じてＣＮＮの出力画像に対し、規格化前の画素値に戻す処理を行ってノイズ低減画像を出力する（Ｓ４）。
上述したように、本実施形態によれば、ノイズ低減部２３０が、ノイズレベルをもとに規格化した学習用画像で学習したＣＮＮを用いるとともに、学習済ＣＮＮの適用においては、入力画像を、入力画像のノイズレベルをもとに学習済ＣＮＮの画素値範囲となるように規格化して、ノイズ低減を行うことにより、入力画像の注目領域の画素値が、ＣＮＮの学習用画像の画素値から外れ、それによりノイズ低減効果が薄れるという課題を解決することができ、種々のノイズレベルの画像に対し確実にノイズ低減を行うことができる。
以下、入力画像を規格化してノイズ低減する手法の具体的な実施形態を説明する。
＜実施形態１＞
本実施形態は、ノイズレベルが異なる複数のＣＮＮを用意し、入力画像のノイズレベルに応じて複数のＣＮＮからノイズレベルが同等のＣＮＮを選択し、入力画像に対し、選択したＣＮＮと同様の規格化を行った後、ノイズ低減を行う。ノイズレベルに応じた処理を行うために、画像のノイズレベルの推定を行う。
ノイズレベルの推定において、本実施形態は、空気のノイズレベルが画像自体のノイズに比例するというＭＲ画像の特性を利用する。即ち、空気のノイズレベル、即ち背景ノイズを推定し、推定した背景ノイズを用いて規格化係数を決定する。規格化は、ＣＮＮの学習段階及び適用段階の両方で、ＣＮＮに入力される画像に対し行う。
このため本実施形態のノイズ低減部２３０は、図４Ａに示すように、ノイズ低減処理の対象である画像（入力画像）の背景ノイズの大きさを推定する背景ノイズ推定部２３１１と、推定した背景ノイズの大きさをもとに被検体領域を抽出し、当該領域の画素値を算出する画素値算出部２３２と、被検体領域の画像の画素値を用いてノイズレベルを算出するノイズレベル算出部２３１２とを備える。さらにノイズ低減部２３０は、ノイズレベル毎に学習した複数のＣＮＮ２３５から入力画像の処理に用いるＣＮＮを選択するＣＮＮ選択部２３４を備える。その他、図２に示す要素と同じ機能を持つ要素は同じ符号で示す。
またＣＮＮ学習部２５０には、図４Ｂに示すように、ノイズ低減部２３０が備える機能、即ちノイズ推定部２３１、画素値算出部２３２及び規格化部２３３の機能、に対応する機能部（２５１、２５２、２５３等）が備えられている。
以下、図５Ａ、図５Ｂに示す処理の流れを参照して、本実施形態のノイズ低減処理を説明する。図５ＡはＣＮＮの学習段階のフロー、図５Ｂはノイズ低減の処理フローである。
最初にＣＮＮ学習部２５０によるＣＮＮの学習について、説明する。なお以下の説明において、学習前のＣＮＮと学習後のＣＮＮとを区別するときは、前者をＣＮＮ２３５Ｂ、後者をＣＮＮ２３５Ａとし、区別を要しない場合は総括的にＣＮＮと記す。
ＣＮＮ学習部２５０は、ＣＮＮ２３５Ｂに入力する学習用画像に対し、所定の規格化を行い、規格化された学習用画像を用いて繰り返し演算を行ってＣＮＮにノイズ低減された画像を出力するように学習を行う。
ＣＮＮ２３５は、図６に示すように、入力層と出力層との間に、複数の層（畳み込み層及びプーリング層）とを積み重ねた構造を有し、層の数や各層のカーネルサイズが設定された公知のソフトウェアとして入手可能であり、また層の数やカーネルサイズ等を適宜カスタマイズしたものを用いてもよい。
ＣＮＮ２３５Ｂは、多数の学習用画像を用いて、入力と出力とを繰り返すことで、最終的にノイズが低減された画像を出力するように、ＣＮＮで用いられる係数（バイアスやカーネル等）が決定され、学習済ＣＮＮ２３５Ａとなる。学習用画像として、本実施形態では、例えばＭＲＩでは、同じ撮像を複数回行って加算したＳＮＲ（Signal to noise ratio）が高い画像（正解画像）と、正解画像にノイズを加えた画像（ノイズ画像という）と、のセットを用いる。加えるノイズとしては、例えばガウスノイズなど所定の分布を持つノイズを用いることができる。あるいは、学習用画像として、ＳＮＲが高い画像にノイズを加えたＳＮＲが低い正解画像と、ＳＮＲが低い正解画像にさらにノイズを加えたノイズ画像と、のセットを用いてもよい。このＳＮＲが低い正解画像を学習に用いることで、過剰なノイズ低減を抑制し、ノイズ低減後の画像のノイズの粒状性が自然に見える効果が得られる。
また、ＭＲＩでは複数のコントラスト画像（T2強調画像、T1強調画像等）を取得することが可能であり、これらの複数のコントラスト画像を混合して学習する場合がある。このとき、正解画像のＳＮＲはコントラスト画像ごとに異なる場合がある。そこで、高ＳＮＲの正解画像に対して加えるノイズをコントラスト画像ごとに調整することで、コントラスト画像ごとのＳＮＲを統一した低ＳＮＲの正解画像を作成することが可能となる。作成した低ＳＮＲの正解画像にコントラスト間で同一のノイズを加えてノイズ画像を作成することで、正解画像のＳＮＲとノイズ画像のＳＮＲの比率をコントラスト間で統一することが可能となる。
ＣＮＮ学習部２５０は、学習に先立って、ノイズレベルを変えて、ノイズレベル毎に学習用のノイズ画像を作成するとともに（図５Ａ：Ｓ１１）、ノイズ情報を用いて決定した規格化係数（規格化因子）で学習用画像を規格化する。このため、まずＣＮＮ学習部２５０は所定のノイズレベルの学習用画像ペアを入力すると、ノイズ画像について、その関心領域外の背景（空気）ノイズの大きさＮを推定する（Ｓ１２）。ノイズ推定の手法としては、例えば図７に示すようなノイズ画像のヒストグラムから、信号値が最も低く且つ頻度が高いピークを背景ノイズと決定し、その信号値をノイズの大きさＮ（以下、単に背景ノイズＮという）とする。
次に被検体領域を抽出する（Ｓ１３）。被検体領域の抽出は、ノイズ画像全体（各画素値）を背景ノイズＮで割り、その値が、１よりも大きい所定の閾値Ｔ以上となる画素を抽出することでなされる。図７の下側に、背景ノイズＮで割った画像のヒストグラムと閾値との関係を示している。閾値Ｔ以上の画素値を持つ画像が被検体領域として抽出される。抽出前後の画像を図８に示す。画素値算出部２３２は、背景ノイズＮで割った画像の抽出領域について画素値の平均値Ｍを算出する。また1/Ｍ（＝Ｌ）を算出し、Lをノイズ画像のノイズレベルとする（Ｓ１４）。
ＣＮＮ学習部２５０（規格化部）は、ノイズ画像全体（ノイズＮで割った画像）を、抽出画像について求めた画素値の平均値Ｍで割る。これによりノイズ画像は抽出領域の画素の平均値Ｍで規格化される（Ｓ１５）。正解画像については、（１/Ｎ）/Ｍを乗じて規格化を行う（Ｓ１６）。これにより正解画像は、ノイズ画像と同様の規格化がなされたことになる。
このように規格化された正解画像とノイズ画像とのペアを用いてＣＮＮ２３５Ｂの学習を行い、学習済ＣＮＮを得る（Ｓ１７）。正解画像に加えるノイズの大きさを変えて、上記処理Ｓ１１～Ｓ１７を繰り返し（Ｓ１８）、最終的に、複数のノイズレベル毎のＣＮＮ２３５Ａを作成する。
なお処理Ｓ１３における領域抽出方法として、上述したように、Ｓ１１で用いたヒストグラムを利用する方法が簡便であるが、それ以外の方法、例えば、被検体領域の輪郭を追跡し領域を抽出する方法或いは領域拡張法により被検体領域を抽出し、被検体領域を除いた残りの領域を背景領域として、その画素値からノイズを求める方法など、を採用することも可能である。
また被検体領域の画素値を算出する画像として、予めノイズを低減した画像を用いてもよい。このような画像は、例えば、公知のノイズ除去フィルタによる処理を行ったり、画像のマトリクスサイズを変更（例えば２５６×２５６の画像の隣接する画素値を加算して１２８×１２８などに縮小するなど）したりすることで得ることができる。
次にＣＮＮ学習部２５０が作成した複数のノイズレベル毎のＣＮＮ２３５Ｂを用いたノイズ低減部２３０の処理の流れを説明する。
ノイズ低減部２３０においても、入力画像について規格化する処理は、ＣＮＮの学習過程における規格化と同様であり、まず、背景ノイズ推定部２３１１が、入力画像から被検体以外の領域（背景）を抽出し、背景ノイズＮを推定する（Ｓ２１）。次いで、画素値算出部２３２が、入力画像をノイズＮで割り、所定閾値以上となる領域を被検体領域として抽出し、抽出した領域の画素値の平均値Ｍを算出する（Ｓ２２）。規格化部２３３は、入力画像（Ｎで割った後の入力画像）全体を平均値Ｍで割り、入力画像を規格化する（Ｓ２３）。またノイズレベル算出部２３１２は、この入力画像のノイズレベルＬ（＝１／Ｍ）を算出する。このように入力画像は、ノイズレベルと画素値（信号レベル）とを規格化因子として規格化される。
ノイズ低減部２３０は、ＣＮＮ学習過程において、複数作成されたＣＮＮ２３５ＡのうちノイズレベルＬが、入力画像について算出されたノイズレベルと同じ或いは最も近いＣＮＮ２３５Ａを選択し（Ｓ２４）、選択されたＣＮＮ２２３５Ａに入力画像を入力し、その出力画像としてノイズが低減された画像を得る（Ｓ２５）。
以上説明したように、ノイズレベル毎に学習済ＣＮＮを用意するとともに、入力画像のノイズレベルに応じたＣＮＮ２３５Ａを選択し、その学習用画像と同様にノイズレベルと信号レベルを規格因子とする規格化を行ってＣＮＮ２３５Ａを適用することで、ノイズ低減効果を損うことがなく、信号レベルやノイズレベルが種々の画像に対し、効果的なノイズ低減を行うことができる。
なお本実施形態では、ノイズレベルに応じて複数のＣＮＮから所定のＣＮＮを選択する場合を説明したが、ユーザが所望するデノイズの程度に応じてＣＮＮを選択するようにしてもよい。例えば、図９に示すようなＧＵＩを表示装置３０に表示し、ユーザが選択するデノイズ強度に合わせて、いずれかを選択するようにしてもよい。この場合、入力画像のノイズレベルＬinputと最も近いノイズレベルのＣＮＮをＮＬmedium、ノイズレベルが低いＣＮＮをＮＬlight、ノイズレベルが高いＣＮＮをＮＬheavyとしたとき、デノイズ強度「弱」が選択された場合には、適用するＣＮＮとしてＮＬlightを選択し、デノイズ強度「強」が選択された場合には、ＮＬheavyを選択するなどである。
このようなＧＵＩを設けることで、デノイズ強度についてのユーザ選択の自由度を高めることができる。
さらに本実施形態では、一つのノイズレベルの入力画像について対応する一つのＣＮＮ２３５Ａを選択して適用する場合を説明したが、２以上のＣＮＮ２３５Ａを用いることも可能である。例えば、入力画像のノイズレベルに近い２つのＣＮＮ２３５Ａを選択して適用し、両者の出力を合成してもよい。
＜実施形態２＞
実施形態１では、ノイズレベルの異なる複数のＣＮＮ２３５Ａを用意しておき、入力画像のノイズレベルに応じて１ないし複数を選択し、選択したＣＮＮ２３５Ａの学習用画像と同じ画素値範囲になるように入力画像を規格化してノイズ低減を行う実施形態であるが、本実施形態は、一つのＣＮＮ２３５Ａを作成し、その一つのＣＮＮ２３５Ａを適用したときに、最適な画素値範囲に規格化されるようにノイズレベルに応じて異なる係数（規格化係数）を用いて入力画像を規格化する。規格化係数は、用意されたＣＮＮを適用したときに、目標となるノイズレベル（ターゲットノイズ）を設定し、ノイズレベル毎に当該ターゲットノイズとなる値（範囲）に設定される。
本実施形態のノイズ低減部２３０の構成を図１０に示す。図１０において、図２及び図４と同様の機能を持つ要素は同じ符号で示し、重複する説明は省略する。またＣＮＮ学習部２５０の機能は、ノイズ低減を行うＭＲＩ装置或いは画像処理装置とは別の装置で実現できることは実施形態１と同様である。
図１０に示すように、本実施形態のノイズ低減部２３０は、実施形態１のノイズ低減部２３０に、規格化係数算出部２３６とターゲットノイズ算出部２３７とが追加される。規格化係数算出部２３６は、ノイズ画像と正解画像との差を最小とする規格化係数を算出する。ターゲットノイズ算出部２３７は、ＣＮＮ学習部２５０が作成したＣＮＮ２３５Ａを用いて、ノイズレベルが異なる種々のノイズ画像を、規格化係数算出部２３６が算出した規格化係数で規格化後のノイズ（最適背景ノイズ）をターゲットノイズとして算出する。規格化部２３３は、ターゲットノイズを用いて、入力画像の規格化を行う。また図示しないが、ＣＮＮ学習部２５０が、ノイズ低減２３０に対応する機能を持つことは実施形態１と同様である。
以下、図１１～図１３を参照して、本実施形態におけるＣＮＮ学習及びノイズ低減の処理を説明する。図１１Ａ，１１Ｂ及び図１２Ａ，１２ＢはＣＮＮ学習及びターゲットノイズ設定の処理を示すフロー及び説明図、図１３はノイズ低減処理を示す図である。
最初にＣＮＮ学習部２５０におけるＣＮＮの学習（それに先立つ学習用画像の規格化）について説明する。
実施形態１と同様に、正解画像及びノイズ画像のペアを用意する（Ｓ３１）。ノイズ画像に用いるノイズは、所定のノイズレベルのものを用いることができる。次に正解画像の被検体領域外の背景（空気）ノイズＮを推定する（ノイズ推定機能）（Ｓ３２）。背景ノイズＮで正解画像全体を割り（Ｓ３３）、ノイズＮで割った正解画像に対し、閾値Ｔ（Ｔ＞１）よりも値の大きい画素値の領域（すなわち被検体領域）を抽出する。
実施形態１では、上記処理Ｓ３２、Ｓ３３に対応する処理Ｓ１２、Ｓ１３において、ノイズ画像を対象としてノイズＮの推定と、被検体領域の抽出を行ったが、本実施形態では、ノイズレベル毎に異なる規格化を行うものではないので、ノイズ画像を用いる必要はなく、正解画像を用いることとしている。但し、実施形態１と同様にノイズ画像を用いることも可能である。
抽出した被検体領域の画素の平均値Ｍを算出し、正解画像を算出した平均値Ｍで割る。これにより正解画像は抽出領域の画素値（平均値）で規格化される。次いで、ノイズ画像に（１／Ｎ）／Ｍを乗じて、ノイズ画像を規格化する（Ｓ３４）。Ｓ３４で規格化した正解画像及びノイズ画像のペアを用いてＣＮＮの学習を行うこと（Ｓ３５）は実施形態１と同様であるが、ここではノイズレベル毎の繰り返し（図５Ａ：Ｓ１８）は不要であり、単一のＣＮＮ２３５Ａを作成する。
続いてターゲットノイズを設定する。ターゲットノイズを設定するため、まず規格化係数算出部２３６が、ＣＮＮ学習部２５０が作成したＣＮＮ２３５Ａをノイズ強度が異なる種々の画像に適用した場合に、入力画像と正解画像との差を最小とする規格化係数を算出する。次いで、ターゲットノイズ算出部２３７が、規格化係数算出部２３６が算出した規格化係数で規格化してノイズ低減する前の画像の背景ノイズを求め、背景ノイズの最適範囲をターゲットノイズとして決定する。
具体的には、ＣＮＮ学習時の処理と同様に、正解画像にノイズを加えノイズ画像を作成する（Ｓ４１）。このノイズ画像に、複数の係数（Ｋmin～Ｋmax）をそれぞれ乗じ、係数の数と同数のノイズ画像を得て（Ｓ４２）、これらノイズ画像に対し、学習済ＣＮＮを用いたノイズ低減を行う（Ｓ４３）。学習済ＣＮＮの出力即ちノイズ低減後の画像を、それぞれの係数（Ｋmin～Ｋmax）で除した後、正解画像との二乗平均平方根誤差（ＲＭＳＥ）を算出し、この値が最小となる係数（Ｋj）を求める（Ｓ４４）。次いで、係数（Ｋｊ）を乗じた後のノイズ低減する前のノイズ画像の背景ノイズＮ’を推定する（Ｓ４５）。背景ノイズＮ’の推定方法は、ＣＮＮ学習において正解画像について背景ノイズを推定した手法と同様の手法を用いることができる。
処理Ｓ４１～Ｓ４５を、ノイズ強度を変えて行い（Ｓ４６）、ノイズ強度の異なるノイズ画像毎に、正解画像とのＲＭＳＥを最小とする係数Ｋｊ及び係数Ｋｊ乗じた後のノイズ低減する前のノイズ画像の背景ノイズＮ’を求める。その後、各ノイズ画像の背景ノイズＮ’の許容範囲（最適背景ノイズ）をターゲットノイズとして決定する（Ｓ４７）。
ターゲットノイズ算出の詳細を図１２（図１２Ａ、図１２Ｂ）を用いてさらに説明する。図１２Ａは、ノイズ強度が異なる４つのノイズ画像について、係数を変えてノイズ低減した場合の、係数と各画像のＲＭＳＥとの関係を示す図で、ＲＭＳＥが最小値となっている位置（図中、〇で示す位置）の係数がＫｊである。ノイズ強度は、“noise SD”で表し、図１２では、noise ＳＤを１、２、３、５に変えた４つの場合を示している。このグラフでは、noise ＳＤ＝１（ノイズ強度が最小）の入力画像ではＫｊ≒０．６のときに正解画像との差（ＲＭＳＥ）が最小となり、noise ＳＤ＝２の入力画像ではＫｊ≒１のときに正解画像との差（ＲＭＳＥ）が最小となり、ノイズ強度が高いほど、ＲＭＳＥが最小となるＫｊの値は大きくなる。
図１２Ｂは、ノイズ強度が異なる４つのノイズ画像について、係数と背景ノイズＮ’との関係を示すグラフで、図１２ＡのグラフにおいてＲＭＳＥが最小となるＫｊの位置を同じく〇で示している。ターゲットノイズ算出部２３７は、各ノイズ強度のＫｊが収まる背景ノイズの範囲内の値をターゲットノイズとして算出する。図１２Ｂのグラフでは、４つのノイズ画像毎に求めたＫｊ（４つの点）は、背景ノイズＮ’（N’(SNR1)、N’(SNR2)、N’(SNR3)、N’(SNR4)Nがほぼ０．１８～０．２２の範囲となる。ターゲットノイズ算出部２３７は、例えば、これら４つの背景ノイズＮ’の平均値や中央値を算出し、ターゲットノイズとする。
以上の処理で、学習済ＣＮＮの作成とターゲットノイズの設定が完了する。これら学習済ＣＮＮとターゲットノイズを用いて、ノイズ低減部２３０は、入力画像の処理を行う。以下、図１３を参照してノイズ低減処理を説明する。
最初に入力画像の関心領域外の背景（空気）ノイズＮを推定し（Ｓ５１）、ノイズＮで入力画像全体を割る（Ｓ５２）。次いで入力画像（ノイズＮで割ったもの）に対してターゲットノイズを乗じる（Ｓ５３）。これにより入力画像は、背景ノイズが最適な範囲となるように規格化される。規格化後の画像をそのまま学習済ＣＮＮの入力画像としてノイズ低減処理を行ってもよいが、本実施形態では、規格化後のノイズ画像にデノイズ強度を調整する調整係数Ｆを乗じた後に（Ｓ５４）、学習済ＣＮＮに入力し、ノイズが低減された出力画像を得る（Ｓ５５）。
調整係数Ｆは、デノイズ強度に応じて、例えば強度が弱（Light）であればＦ＝2.0、中（Medium）であればＦ＝1.0、強（Heavy）であればＦ＝0.5、と予め定めた値であり、このような係数Ｆを乗じることで、入力画像は背景ノイズ×係数Ｆで規格化されることになり、デノイズ強度を弱めたり強めたりすることができる。どの調整係数を適用するかは、実施形態１の説明で参照した図１０に示したようなＧＵＩを介してユーザ指定を受け付けてもよいし、ノイズレベルに応じて規定値として設定しておいてもよい。
本実施形態によれば、学習済ＣＮＮを適用するためのターゲットノイズ（最適背景ノイズ）を決めておき、このターゲットノイズで入力画像を規格化することで、ノイズレベルが異なる入力画像に対しても一つの学習済ＣＮＮでノイズ低減処理を実現できる。またターゲットノイズに加えて、デノイズ強度に応じた調整係数Ｆを設定しておくことで、処理の汎用性を高めることができる。
＜実施形態３＞
本実施形態も、種々のノイズレベルの入力画像（ノイズ低減処理画像）に対し一つの学習済ＣＮＮを用いることは実施形態２と同様である。但し、実施形態２ではその学習済ＣＮＮを用いたときに最適なターゲットノイズとなるように入力画像を規格化したものであるが、本実施形態では、信号ノイズ比（ＳＮＲ）の関数として規格化係数を算出しておき、入力画像のＳＮＲを推定し、そのＳＮＲから規格化係数を求め、入力画像を規格化する。
本実施形態のノイズ低減部２３０の構成例を図１４に示す。図１４において、図４及び図１０と同じ要素は同じ符号で示し重複する説明は省略する。図１４に示すように、本実施形態のノイズ低減部２３０は、ノイズ推定部２３１の一態様として、ＳＮＲ推定部２３８を含み、また規格化部２３３は、規格化係数の近似式を算出する近似式算出部２３９を含む。また図示しないが、ＣＮＮ学習部２５０がノイズ低減２３０に対応する機能を持つこと、およびＣＮＮ学習部２５０が計算機２０及び他の計算機２０Ａのいずれに設けられていてもよいことは他の実施形態と同様である。
以下、図１５～図１７を参照して、上記各部の処理内容を含む本実施形態のノイズ低減処理を説明する。
最初にＣＮＮ学習部２５０の処理を説明する。
ＣＮＮ学習部２５０は、図１５に示すように、ノイズが少ない画像（正解画像）と、正解画像にノイズを加えたノイズ画像を用意する（Ｓ６１）。次に正解画像の画素値がゼロ以外の領域（非ゼロ領域）の中央値を求め、求めた中央値で正解画像及びノイズ画像全体を割り、両画像を規格化する（Ｓ６２）。なお、中央値は正解画像の中央値ではなくノイズ画像（その非ゼロ領域）の中央値でもよい。規格化後の正解画像とノイズ画像とのペアを用いてＣＮＮの学習を行い、学習済ＣＮＮ２３５Ａを得る（Ｓ６３）。
次に近似式算出部部２３９が規格化係数の近似式を算出する。このため、まず上記処理Ｓ６１、Ｓ６２と同様に、正解画像及びノイズ画像を作成し（Ｓ７１）、ノイズ画像の非ゼロ領域の中央値Ｍnoiseでノイズ画像全体を割り、ノイズ画像を規格化する（Ｓ７２）。次いで規格化後のノイズ画像に複数（Ｎ個）の係数Ｋ（Ｋ1～ＫN）をそれぞれ乗じて、複数のノイズ画像（Ｎ枚の画像）とした後、Ｓ６３で学習済ＣＮＮ２３５Ａを用いて各ノイズ画像のノイズ低減を行う（Ｓ７３）。ノイズ低減後の画像に、それぞれ、「ノイズ画像の中央値Ｍnoise」／「ノイズ画像に乗じた係数」を乗じて元の値に戻した後、正解画像との二乗平均平方根誤差（ＲＭＳＥ）を算出し、この値が最小となる係数（最適係数）Ｋoptを求める（Ｓ７４）。元のノイズ画像に最適係数Ｋoptを乗じた後のノイズ低減する前のノイズ画像の背景ノイズＮ”を推定する（Ｓ７５）。ＳＮＲ推定部２３８は、最適係数Ｋoptを乗じた後のノイズ画像の非ゼロ領域の中央値Ｍ’noiseを求め、この画像のＳＮＲをＭ’noise/Ｎ”として算出する（Ｓ７６）。
Ｓ７１で作成するノイズ画像のノイズ強度を変えて、処理Ｓ７１～Ｓ７６を繰り返し（Ｓ７７）、ノイズ強度が異なるノイズ画像毎に、最適係数ＫoptとＳＮＲとの組み合わせを算出する（Ｓ７８）。図１６に上記繰り返しにより求めたＳＮＲと最適係数Ｋoptとの関係を示す。図示するように両者の関係は、例えば、
Ki＝a・SNR+b （１）
で表される一次式で近似することができる。近似式算出部２３９は、ノイズ強度の異なるノイズ画像毎に求めたＫoptとＳＮＲとの関係から、近似式の線形回帰傾斜a及び線形回帰切片ｂを近似的に求める。但し、近似式は一次式に限定されるものではない。
以上の処理で、学習済ＣＮＮの作成及び規格化係数とノイズとの関係を表す近似式の算出が完了する。ノイズ低減部２３０は、学習済ＣＮＮと近似式を用いて、入力画像の規格化及びノイズ低減処理を行う。以下、図１７を参照してノイズ低減処理を説明する。
まず入力画像について、ノイズ推定部２３１（背景ノイズ推定部２３１１）が実施形態１と同様に背景ノイズＮを求め（Ｓ８１）、画素値算出部２３２が入力画像の非ゼロ領域の中央値Ｍinputを算出する。ＳＮＲ推定部２３８は、Ｍinput／Ｎを算出し、この値を入力画像のＳＮＲとする（Ｓ８２）。
規格化部２３３は、このＳＮＲを近似式算出部２３９が算出した近似式に代入し、最適係数Ｋoptを求める（Ｓ８３）。
Ｋopt＝a・（ＳＮＲ/ｆ）＋ｂ （２）
式中、ｆはデノイズ強度決める調整係数であり、実施形態２で説明した調整係数Ｆと同様の意味を持つ。即ちｆの値を大きくすることで、デノイズ強度を強くし、値を小さくすることでデノイズ強度を弱くする。但し、実施形態２ではＦとして離散的な値を取る場合を説明したが、本実施形態では規格化係数はＳＮＲとの関数になっているので、調整係数ｆについても中間的な値を取ることが可能である。ｆの値は中程度のデノイズ強度である１に固定しておいてもよいし、ユーザ指定等に応じて例えば０．５～２．０の間の値を適宜調整可能にしてもよい。ｆ＝１とした場合には、前述の式（１）となる。
規格化部２３３は、入力画像をその中央値Ｍinputで割った後、上記のように求めた最適係数Ｋoptを乗じる（次式（３））。これにより入力画像が規格化される（Ｓ８４）。
Ｉｎ＝（１/Ｍinput(I0)）・Ｋopt・Ｉ０
＝（１/Ｍinput(I0)）・（a・（SNR/ｆ）＋ｂ）・Ｉ０
式中、Ｉ０は規格化前の入力画像、Ｉｎは規格化後の入力画像、
こうして規格化された入力画像を学習済ＣＮＮに入力し、ノイズが低減された出力画像を取得する（Ｓ８５）。
本実施形態によれば、ノイズを示す指標ＳＮＲと、最適な規格化係数との関係を近似的に求めておき、ノイズをもとに規格化された学習用画像を用いて学習したＣＮＮの適用において、入力画像の推定ＳＮＲをもとに、近似的に求めたＳＮＲと最適規格化係数との関係から求めた最適規格化係数を用いて入力画像を規格化することで、ノイズレベルや信号レベルが異なる種々の入力画像に対応したノイズ低減を実現できる。また本実施形態によれば、ＳＮＲと規格化係数との関係式を用いることで、学習済ＣＮＮは単一のものを用意すればよく、且つ、精度の良いノイズ低減が可能になる。
さらに本実施形態によれば、デノイズの強度を関係式において調整可能であり、ユーザのデノイズ強度を調整する際の自由度が向上する。
以上、本発明のノイズ低減方法について、ＭＲＩ装置内での処理を例に各実施形態を説明したが、本発明はＭＲＩ装置に限らず、一般的な画像処理プロブラムを実現できるデバイス（画像処理装置、計算機、ワークステーション等）において実現可能である。また実施形態では、背景ノイズが画像全体のノイズに比例するというＭＲ画像の特性を利用したＭＲ画像のノイズ低減処理を説明したが、本発明は、ＣＮＮを用いた画像のノイズ低減処理において、ＣＮＮに用いた規格化画像の画素値範囲に、入力画像の画素値が収まるよう規格化を最適化することを主旨とし、特に、画像のノイズ情報を反映させた規格化を行うというものであり、ノイズ情報を推定できる画像であれば、ＭＲ画像に限定されることなく、適用することができ、また利用可能なノイズ情報やそれを規格化に反映させる手法も実施形態の手法に限定されるものではない。
１：ＭＲＩ装置、２０：計算機、２１０：画像再構成部、２３０：ノイズ低減部、２３１：ノイズ推定部、２３１１：背景ノイズ推定部、２３１２：ノイズレベル算出部、２３２：画素値算出部、２３３：規格化部、２３４：ＣＮＮ選択部、２３５：ＣＮＮ、２３６：規格化係数算出部、２３７：ターゲットノイズ算出部、２３８：ＳＮＲ推定部、２３９：近似式算出部、２５０：ＣＮＮ学習部

Claims (20)

  1. 被検体から発生する核磁気共鳴信号を計測する計測部と、前記核磁気共鳴信号を用いて画像を生成する演算部と、を備え、
    前記演算部は、規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したＣＮＮを用いて、前記ＣＮＮの入力画像のノイズを低減するノイズ低減部を含み、
    前記ノイズ低減部は、前記入力画像のノイズ情報と信号レベル情報とを用いて、前記入力画像を前記ＣＮＮに適した規格化因子で規格化する規格化部を有し、規格化後の入力画像について前記ＣＮＮを用いたノイズ低減処理を行うことを特徴とする磁気共鳴撮像装置。
  2. 請求項１に記載の磁気共鳴撮像装置であって、
    前記規格化部は、前記入力画像における被検体領域の画素値を算出する画素値算出部を備え、前記信号レベル情報として前記画素値を用いることを特徴とする磁気共鳴撮像装置。
  3. 請求項２に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記入力画像から背景ノイズの大きさを推定する背景ノイズ推定部を有し、前記画素値算出部は、前記背景ノイズ推定部が推定した背景ノイズの大きさよりも大きな画素値を用いて、前記被検体領域の画素値を算出することを特徴とする磁気共鳴撮像装置。
  4. 請求項３に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記ノイズ情報として、前記背景ノイズの大きさと前記被検体領域の画素値とを用いて前記入力画像のノイズレベルを算出するノイズレベル算出部を備え、前記ノイズレベル算出部が算出したノイズレベルと同じ又は近いノイズレベルのノイズ画像を用いて学習したＣＮＮを用いることを特徴とする磁気共鳴撮像装置。
  5. 請求項１に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、ノイズの大きさを変えて学習した複数のＣＮＮを有し、前記入力画像のノイズ情報に応じて、前記複数のＣＮＮのいずれかを選択してノイズ低減処理を行うことを特徴とする磁気共鳴撮像装置。
  6. 請求項５に記載の磁気共鳴撮像装置であって、
    デノイズ強度に関するユーザ指定を受け付ける入力部をさらに備え、
    前記ノイズ低減部は、前記入力部が受け付けたユーザ指定に従い、前記複数のＣＮＮから１以上のＣＮＮを選択することを特徴とする磁気共鳴撮像装置。
  7. 請求項１に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記入力画像のノイズ情報を推定するノイズ推定部を備え、前記規格化部は、前記規格化因子として、前記ノイズ推定部が推定したノイズ情報を用いることを特徴とする磁気共鳴撮像装置。
  8. 請求項７に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、ノイズの大きさが異なる複数のノイズ画像を用いて予め求めた、複数の値が異なる規格化因子と当該規格化因子で規格化後の画像の背景ノイズとの関係を用いて、ターゲットノイズを算出するターゲットノイズ算出部をさらに備え、
    前記規格化部は、前記規格化因子として前記ターゲットノイズを用いて前記入力画像を規格化することを特徴とする磁気共鳴撮像装置。
  9. 請求項８に記載の磁気共鳴撮像装置であって、
    前記規格化因子は、デノイズ強度を調整する調整係数をさらに含むことを特徴とする磁気共鳴撮像装置。
  10. 請求項１に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、画像のＳＮＲを推定するＳＮＲ推定部をさらに備え、
    前記規格化部は、ＳＮＲが異なる複数のノイズ画像を用いて予め求めた、それらノイズ画像と正解画像との差を最小化する最適規格化因子とノイズ画像のＳＮＲとの関係、および、前記ＳＮＲ推定部が推定した入力画像のＳＮＲを用いて、当該入力画像の規格化因子を決定し、決定した規格化因子で前記入力画像を規格化することを特徴とする磁気共鳴撮像装置。
  11. 請求項１０に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記最適規格化因子とノイズ画像のＳＮＲとの関係を近似式として算出する近似式算出部をさらに備えることを特徴とする磁気共鳴撮像装置。
  12. 請求項１１に記載の磁気共鳴装置であって、
    前記近似式算出部は、前記近似式のＳＮＲにデノイズ強度を調整する調整係数を乗じて近似式とすることを特徴とする磁気共鳴撮像装置。
  13. 請求項１に記載の磁気共鳴撮像装置であって、
    前記ＣＮＮで用いる学習用画像は、ノイズが少ないＳＮＲの高い正解画像と、当該高ＳＮＲ正解画像にノイズを加えたノイズ画像との組み合わせ、あるいは、ノイズが少ないＳＮＲの高い正解画像にノイズを加えたＳＮＲの低い正解画像と、当該低ＳＮＲ正解画像にノイズを加えたノイズ画像との組み合わせであり、前記ノイズ画像及び前記正解画像は、被写体領域の推定画素値を用いて規格化されていることを特徴とする磁気共鳴撮像装置。
  14. 請求項１３に記載の磁気共鳴撮像装置であって、
    前記被写体領域の推定画素値は、前記ノイズ画像からノイズの大きさを推定し、前記推定したノイズの大きさよりも大きな画素値の平均値を求めることにより得た値であることを特徴とする磁気共鳴撮像装置。
  15. 規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したＣＮＮを用いて、前記ＣＮＮの入力画像のノイズを低減するノイズ低減方法であって、
    前記入力画像のノイズ情報と信号レベル情報とを用いて、前記入力画像を前記ＣＮＮに適した規格化因子で規格化するステップを含み、規格化後の入力画像について前記ＣＮＮを用いたノイズ低減処理を行うことを特徴とするノイズ低減方法。
  16. 請求項１５に記載のノイズ低減方法であって、
    前記入力画像は、磁気共鳴撮像装置で取得した画像であることを特徴とするノイズ低減方法。
  17. 請求項１５に記載のノイズ低減方法であって、
    前記入力画像をノイズの大きさで除した画像から、１より大きい閾値よりも大きな画素値の領域を抽出し、抽出した領域の画素値の平均値を求めるステップと、
    前記ノイズの大きさで除した画像を前記平均値で除して、前記ＣＮＮの入力画像とするステップと、を含むノイズ低減方法。
  18. 請求項１５に記載のノイズ低減方法であって、
    ノイズの大きさが異なる複数のノイズ画像について、複数の値が異なる規格化因子と当該規格化因子で規格化後の画像の背景ノイズとの関係を求めるステップと、
    前記規格化因子と背景ノイズとの関係をもとにターゲットノイズを設定するステップとをさらに含み、
    前記規格化因子として前記ターゲットノイズを用いて前記入力画像を規格化することを特徴とするノイズ低減方法。
  19. 請求項１５に記載のノイズ低減方法であって、
    ＳＮＲが異なる複数のノイズ画像について、それらノイズ画像と正解画像との差を最小化する最適規格化因子とノイズ画像のＳＮＲとの関係を求めるステップと、
    前記入力画像のＳＮＲを推定するステップと、をさらに備え、
    前記最適規格化因子とノイズ画像のＳＮＲとの関係および前記入力画像のＳＮＲを用いて、当該入力画像の規格化因子を決定し、決定した規格化因子で前記入力画像を規格化することを特徴とするノイズ低減方法。
  20. 規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したＣＮＮを有し、前記ＣＮＮの入力画像のノイズを低減する画像処理装置であって、
    前記ノイズ低減部は、前記入力画像のノイズ情報と信号レベル情報とを用いて、前記入力画像を前記ＣＮＮに適した規格化因子で規格化する規格化部を有し、規格化後の入力画像について前記ＣＮＮを用いたノイズ低減処理を行うことを特徴とする画像処理装置。
JP2022034774A 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法 Pending JP2023130225A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022034774A JP2023130225A (ja) 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法
CN202211154552.9A CN116797467A (zh) 2022-03-07 2022-09-20 磁共振摄像装置、图像处理装置以及图像的噪声减少方法
US18/112,498 US20230281760A1 (en) 2022-03-07 2023-02-21 Magnetic resonance imaging apparatus, image processor, and image noise reduction method
EP23159376.5A EP4242682A1 (en) 2022-03-07 2023-03-01 Magnetic resonance imaging apparatus, image processor, and image noise reduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022034774A JP2023130225A (ja) 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法

Publications (2)

Publication Number Publication Date
JP2023130225A true JP2023130225A (ja) 2023-09-20
JP2023130225A5 JP2023130225A5 (ja) 2024-05-21

Family

ID=85415418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022034774A Pending JP2023130225A (ja) 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法

Country Status (4)

Country Link
US (1) US20230281760A1 (ja)
EP (1) EP4242682A1 (ja)
JP (1) JP2023130225A (ja)
CN (1) CN116797467A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008133951A2 (en) 2007-04-24 2008-11-06 Massachusetts Institute Of Technology Method and apparatus for image processing
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
CN113344951B (zh) 2021-05-21 2024-05-28 北京工业大学 一种边界感知双重注意力引导的肝段分割方法

Also Published As

Publication number Publication date
CN116797467A (zh) 2023-09-22
EP4242682A1 (en) 2023-09-13
US20230281760A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
US7636098B2 (en) Salience preserving image fusion
US9466098B2 (en) Local definition of global image transformations
EP3410392A1 (en) Image processing system and medical information processing system
CN108364297B (zh) 血管图像分割方法、终端、存储介质
US9280811B2 (en) Multi-scale large radius edge-preserving low-pass filtering
US11100611B2 (en) Systems and methods for background noise reduction in magnetic resonance images
CN112150368A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2020197915A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102669220B1 (ko) 지향성 스케일링 시스템들 및 방법들
US8379938B2 (en) Gradation correction characteristics evaluation device, image processing device, gradation correction characteristics evaluation method, image processing method, and computer-readable computer program product
Zhang et al. Joint channel-spatial attention network for super-resolution image quality assessment
CN112785540B (zh) 一种扩散加权图像的生成***及方法
US10497106B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium having recorded thereon a program for performing the image processing method
JP2023130225A (ja) 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法
Hernández-Gutiérrez et al. Improved preclassification non local-means (IPNLM) for filtering of grayscale images degraded with additive white Gaussian noise
US20210374480A1 (en) Arithmetic device, arithmetic method, program, and discrimination system
Sitdikov et al. Variational image deringing using varying regularization parameter
KR100452644B1 (ko) 영상 처리 방법과 장치, 기록 매체 및 촬상 장치
Bianco et al. Image quality assessment by preprocessing and full reference model combination
US9123126B2 (en) Method for enhancing local contrast of an image
Benzi et al. A bio-inspired synergistic virtual retina model for tone mapping
RU2364937C1 (ru) Способ и устройство фильтрования шума видеосигналов
US20230061884A1 (en) Control method of image signal processor and control device for performing the same
Alai et al. Optimization of ISP parameters for low light conditions using a non-linear reference based approach
Maksymiv et al. METHODS TO INCREASE THE CONTRAST OF THE IMAGE WITH PRESERVING THE VISUAL QUALITY

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240508