JP5977158B2 - 検出装置、磁気共鳴装置、検出方法、およびプログラム - Google Patents

検出装置、磁気共鳴装置、検出方法、およびプログラム Download PDF

Info

Publication number
JP5977158B2
JP5977158B2 JP2012262965A JP2012262965A JP5977158B2 JP 5977158 B2 JP5977158 B2 JP 5977158B2 JP 2012262965 A JP2012262965 A JP 2012262965A JP 2012262965 A JP2012262965 A JP 2012262965A JP 5977158 B2 JP5977158 B2 JP 5977158B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
boundary
area
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012262965A
Other languages
English (en)
Other versions
JP2014108164A (ja
Inventor
後藤 隆男
隆男 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Priority to JP2012262965A priority Critical patent/JP5977158B2/ja
Priority to US14/443,203 priority patent/US9582729B2/en
Priority to PCT/US2013/068244 priority patent/WO2014085027A1/en
Priority to CN201380071896.6A priority patent/CN104937434B/zh
Publication of JP2014108164A publication Critical patent/JP2014108164A/ja
Application granted granted Critical
Publication of JP5977158B2 publication Critical patent/JP5977158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/543Control of the operation of the MR system, e.g. setting of acquisition parameters prior to or during MR data acquisition, dynamic shimming, use of one or more scout images for scan plane prescription
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G01R33/56509Correction of image distortions, e.g. due to magnetic field inhomogeneities due to motion, displacement or flow, e.g. gradient moment nulling
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/567Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution gated by physiological signals, i.e. synchronization of acquired MR data with periodical motion of an object of interest, e.g. monitoring or triggering system for cardiac or respiratory gating
    • G01R33/5676Gating or triggering based on an MR signal, e.g. involving one or more navigator echoes for motion monitoring and correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、被検体の第1の部位と第2の部位との境界の位置を検出する検出装置、その検出装置を適用した磁気共鳴装置、被検体の第1の部位と第2の部位との境界の位置を検出する検出方法、および被検体の第1の部位と第2の部位との境界の位置を検出するためのプログラムに関する。
被検体の呼吸により体動する部位を撮影する方法として、被検体の呼吸信号を取得するためのナビゲータシーケンスを用いた方法が知られている(特許文献1参照)。
特開2011−193884号公報
ナビゲータシーケンスを用いて被検体の呼吸信号を取得する場合、ナビゲータエコーを収集するためのナビゲータ領域を設定する必要がある。ナビゲータ領域は、例えば、肺と肝臓との境界に設定される。肝臓は被検体の呼吸によって動くので、肺と肝臓との境界にナビゲータ領域を設定することによって、被検体の呼吸信号を収集することができる。ナビゲータ領域を設定する方法の一例としては、事前に画像データを取得しておき、オペレータがその画像データを見ながら、肺と肝臓との境界を探し出し、ナビゲータ領域を設定する方法がある。しかし、この方法では、オペレータ自身が肺と肝臓との境界を探し出さなければならず、オペレータにとっては煩雑な作業となる。そこで、肺と肝臓との境界を自動的に検出する技術の開発が試みられているが、境界の検出精度を向上させることは難しいという問題がある。したがって、境界の検出精度を向上させることができる技術が望まれている。
本発明の第1の観点は、被検体の第1の部位と第2の部位との境界の位置を検出する検出装置であって、
前記第1の部位と前記第2の部位とを横切る第1の断面の画像データに基づいて、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出手段と、
機械学習のアルゴリズムを用いて作成された識別器を用いて、前記複数の候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定手段と、
を有する検出装置である。
本発明の第2の観点は、被検体の第1の部位と第2の部位との境界の位置を検出する磁気共鳴装置であって、
前記第1の部位と前記第2の部位とを横切る第1の断面の画像データに基づいて、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出手段と、
機械学習のアルゴリズムを用いて作成された識別器を用いて、前記複数の候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定手段と、
を有する磁気共鳴装置である。
本発明の第3の観点は、被検体の第1の部位と第2の部位との境界の位置を検出する検出方法であって、
前記第1の部位と前記第2の部位とを横切る第1の断面の画像データに基づいて、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出ステップと、
機械学習のアルゴリズムを用いて作成された識別器を用いて、前記複数の候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定ステップと、
を有する検出方法である。
本発明の第4の観点は、被検体の第1の部位と第2の部位との境界の位置を検出する検出装置のプログラムであって、
前記第1の部位と前記第2の部位とを横切る第1の断面の画像データに基づいて、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出処理と、
機械学習のアルゴリズムを用いて作成された識別器を用いて、前記複数の候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定処理と、
を計算機に実行させるためのプログラムである。
機械学習のアルゴリズムを用いて作成された識別器を用いて、複数の候補ピクセルの中から境界に位置するピクセルを特定するので、境界の位置の検出精度を向上させることができる。
本発明の第1の形態の磁気共鳴装置の概略図である。 第1の形態で実行されるスキャンを示す図である。 撮影部位を概略的に示す図である。 第1の形態において被検体を撮影するときのフローを示す図である。 ローカライザスキャンLSの説明図である。 ローカライザスキャンLSの説明図である。 被検体の肝臓のAP方向の範囲を決定するときの説明図である。 被検体の体内領域の中で、肝臓の上端が位置する可能性が高いRL方向の範囲を決定するときの説明図である。 肝臓のAP方向の範囲Tに含まれているコロナル画像データを示す図である。 画像データDC〜DCそれぞれについて作成された投影プロファイルF〜Fを概略的に示す図である。 投影プロファイルFに現れる段差の位置を検出する方法の説明図である。 投影プロファイルFに対して、相関が最大となるときのバイナリテンプレートBTの位置を概略的に示す図である。 バイナリテンプレートBTにより検出された投影プロファイルF〜Fの段差の位置b〜bを概略的に示す図である。 肺と肝臓との境界が位置する可能性の高いSI方向の範囲を概略的に示す図である。 微分画像データDI〜DIを概略的に示す図である。 コロナル面COの中から、肺と肝臓との境界に位置するピクセルの候補を抽出する方法の説明図である。 抽出された候補ピクセルの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込む方法の一例の説明図である。 候補ピクセルx〜xそれぞれについて領域VおよびWを設定し、3つの条件1〜3を満たすか否かを判断するときの説明図である。 検索領域Rsの中から絞り込まれた候補ピクセルを概略的に示す図である。 肝臓の境界に位置しているピクセルを識別する方法の一例の説明図である。 本形態で使用される識別器の説明図である。 コロナル面COの検索領域Rs内において特定されたピクセルを概略的に示す図である。 コロナル面CO〜COごとに特定されたピクセルの集合Seti〜Setkを概略的に示す図である。 ピクセルの集合Seti〜Setkの中から、ナビゲータ領域の位置を決定するときに使用されるピクセルの集合を選択するときの説明図である。 前処理の説明図である。 動的計画法の処理を行う前のピクセルの集合Setjと、動的計画法の処理を実行した後のピクセルの集合Setj′を概略的に示す図である。 フィッティング処理の説明図である。 最もS方向側に位置するピクセルを検出するときの説明図である。 ナビゲータ領域Rnavの位置を概略的に示す図である。 第2の形態においてピクセルxが肺と肝臓との境界に位置しているか否かを判断する方法の説明図である。
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
(1)第1の形態
図1は、本発明の第1の形態の磁気共鳴装置の概略図である。
磁気共鳴装置(以下、「MR装置」と呼ぶ。MR:Magnetic Resonance)100は、マグネット2、テーブル3、受信コイル4などを有している。
マグネット2は、被検体11が収容されるボア21を有している。また、マグネット2は、超伝導コイル22と、勾配コイル23と、RFコイル24とを有している。超伝導コイル22は静磁場を印加し、勾配コイル23は勾配磁場を印加し、RFコイル24はRFパルスを送信する。尚、超伝導コイル22の代わりに、永久磁石を用いてもよい。
テーブル3は、被検体11を支持するクレードル3aを有している。クレードル3aは、ボア21内に移動できるように構成されている。クレードル3aによって、被検体11はボア21に搬送される。
受信コイル4は、被検体11に取り付けられており、被検体11からの磁気共鳴信号を受信する。
MR装置100は、更に、送信器5、勾配磁場電源6、受信器7、制御部8、操作部9、および表示部10などを有している。
送信器5はRFコイル24に電流を供給し、勾配磁場電源6は勾配コイル23に電流を供給する。
受信器7は、受信コイル4から受け取った信号に対して、検波などの信号処理を実行する。
制御部8は、表示部10に必要な情報を伝送したり、受信器7から受け取ったデータに基づいて画像を再構成するなど、MR装置100の各種の動作を実現するように、MR装置100の各部の動作を制御する。制御部8は、画像データ作成手段81〜ナビゲータ領域決定手段88などを有している。
画像データ作成手段81は、被検体11の撮影部位の画像データを作成する。
脂肪除去手段82は、画像データ作成手段81が作成した画像データから、脂肪を除去する。
AP範囲決定手段83は、被検体11の肝臓のAP方向の範囲を決定する。
RL範囲決定手段84は、肝臓の上端が位置する可能性の高いRL方向の範囲を決定する。
SI範囲決定手段85は、肺と肝臓との境界が位置する可能性の高いSI方向の範囲を決定する。
ピクセル抽出手段86は、肺と肝臓との境界に位置するピクセルの候補となる候補ピクセルを抽出する。
ピクセル特定手段87は、ピクセル絞込み手段87aと、識別手段87bとを有している。ピクセル絞込み手段87aは、抽出された候補ピクセルの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込む。識別手段87bは、識別器を用いて、絞り込まれたピクセルの中から、肺と肝臓との境界に位置するピクセルを特定する。
ナビゲータ領域決定手段88は、特定されたピクセルに基づいて、ナビゲータ領域の位置を決定する。
制御部8は、画像データ作成手段81〜ナビゲータ領域決定手段88を構成する一例であり、所定のプログラムを実行することにより、これらの手段として機能する。尚、制御部8は検出装置に相当する。
操作部9は、オペレータにより操作され、種々の情報を制御部8に入力する。表示部10は種々の情報を表示する。
MR装置100は、上記のように構成されている。
図2は第1の形態で実行されるスキャンを示す図、図3は撮影部位を概略的に示す図である。
本形態では、ローカライザスキャンLSと本スキャンMSなどが実行される。
ローカライザスキャンLSは、ナビゲータ領域Rnav(図3参照)を設定するために実行されるスキャンである。ナビゲータ領域Rnavは、被検体の呼吸信号を収集するために設定される領域である。本スキャンMSは、ナビゲータ領域Rnavから呼吸信号を収集するとともに、肝臓を含む部位の画像データを収集する。以下に、ローカライザスキャンLSおよび本スキャンMSを実行するときのフローについて説明する。
図4は、第1の形態において被検体を撮影するときのフローを示す図である。
ステップST1では、ローカライザスキャンLS(図2参照)を実行する。
図5および図6は、ローカライザスキャンLSの説明図である。
ローカライザスキャンLSでは、肝臓を含む撮影部位を横切る複数のコロナル面CO〜COのスキャン(図5参照)と、肝臓を含む撮影部位を横切る複数のアキシャル面AX〜AXのスキャン(図6参照)が実行される。画像データ作成手段81(図1参照)は、ローカライザスキャンLSにより収集されたデータに基づいて、コロナル面CO〜COの画像データDC〜DCと、アキシャル面AX〜AXの画像データDA〜DAを作成する。以下では、コロナル面の画像データを「コロナル画像データ」と呼び、アキシャル面の画像データを「アキシャル画像データ」と呼ぶ。コロナル画像データDC〜DCおよびアキシャル画像データDA〜DAを作成した後、ステップST2に進む。
ステップST2では、脂肪除去手段82(図1参照)が、コロナル画像データDC〜DCおよびアキシャル画像データDA〜DAから脂肪を除去する。脂肪は高信号であるので、脂肪を除去するための閾値を事前に設定しておき、ピクセル値が閾値よりも大きいピクセルを検出することにより、脂肪を除去することができる。脂肪を除去した後、ステップST3に進む。
ステップST3では、AP範囲決定手段83(図1参照)が、アキシャル画像データDA〜DA(図6参照)に基づいて、被検体の肝臓のAP方向の範囲を決定する。
図7は、被検体の肝臓のAP方向の範囲を決定するときの説明図である。
AP範囲決定手段83は、先ず、アキシャル面AX〜AXごとに、被検体の体内領域のAP方向の範囲T〜Tを求める。被検体の体外領域は低信号であるが、被検体の体内領域は高信号となるので、信号値の違いから、アキシャル面AX〜AXごとに、被検体の体内領域のAP方向の範囲T〜Tを求めることができる。
次に、AP範囲決定手段83は、これらの範囲T〜Tに基づいて、肝臓のAP方向の範囲Tを決定する。被検体の体内領域に対する肝臓のAP方向の位置は大よそ決まっているので、範囲T〜Tの情報から、肝臓のAP方向の範囲Tを決定することができる。この決定方法の一例としては、例えば、範囲T〜Tの中から一つの範囲Tを選択し、範囲Tの中央部分を、肝臓のAP方向の範囲Tとして決定する方法がある。肝臓のAP方向の範囲Tを決定した後、ステップST4に進む。
ステップST4では、RL範囲決定手段84(図1参照)が、アキシャル画像データDA〜DA(図6参照)に基づいて、被検体の体内領域の中から、肝臓の上端が位置する可能性の高いRL方向の範囲を決定する。
図8は、被検体の体内領域の中で、肝臓の上端が位置する可能性が高いRL方向の範囲を決定するときの説明図である。
RL範囲決定手段84は、先ず、各アキシャル面AX〜AXにおける被検体の体内領域のRL方向の範囲W〜Wを求める。被検体の体外領域は低信号であるが、被検体の体内領域は高信号となるので、信号値の違いから、アキシャル面AX〜AXごとに、被検体の体内領域のRL方向の範囲W〜Wを求めることができる。RL範囲決定手段84は、これらの範囲W〜Wに基づいて、肝臓の上端が位置する可能性が高いRL方向の範囲WRLを決定する。一般的に、肝臓の上端は被検体の右半身側に位置しているので、範囲W〜Wの情報から、肝臓の上端が位置する可能性が高いRL方向の範囲WRLを求めることができる。肝臓の上端が位置する可能性が高いRL方向の範囲WRLを決定した後、ステップST5に進む。
ステップST5では、コロナル画像データDC〜DCの中で、肝臓のAP方向の範囲Tに含まれているコロナル画像データを選択する。図9に、肝臓のAP方向の範囲Tに含まれているコロナル画像データを示す。本形態では、コロナル画像データDC〜DCが、肝臓のAP方向の範囲Tに含まれているとする。肝臓のAP方向の範囲Tに含まれているコロナル画像データDC〜DCを選択した後、ステップST6に進む。
ステップST6では、SI範囲決定手段85(図1参照)が、ステップST5で選択されたコロナル画像データDC〜DCごとに、肺と肝臓との境界が位置する可能性の高いSI方向の範囲を決定する。この範囲は、以下のようにして決定する。
SI範囲決定手段85は、先ず、コロナル画像データDC〜DCについて、ピクセル値をRL方向に加算することにより得られる投影プロファイルを作成する。図10に、画像データDC〜DCそれぞれについて作成された投影プロファイルF〜Fを概略的に示す。肝臓は高信号であるが、肺は低信号であるので、肺と肝臓とを横切るコロナル画像データの投影プロファイルを作成すると、肺側で加算値が小さくなり、肝臓側で加算値が大きくなる。このような加算値の違いにより、投影プロファイルF〜Fには、SI方向に加算値の段差が現れる。したがって、投影プロファイルF〜Fに現れる段差の位置を検出することにより、肺と肝臓との境界が位置する可能性の高いSI方向の範囲を求めることが可能となる。次に、投影プロファイルF〜Fに現れる段差の位置を検出する方法について説明する。尚、どの投影プロファイルであっても、段差の位置の検出方法は同じであるので、以下では、投影プロファイルF〜Fのうちの投影プロファイルFを取り上げ、投影プロファイルFに現れる段差の位置を検出する方法について説明する。
図11は、投影プロファイルFに現れる段差の位置を検出する方法の説明図である。
本形態では、バイナリテンプレートBTを使用して、投影プロファイルFの段差を検出する。バイナリテンプレートBTは、値「1」と値「0」とによる信号値の段差Δsを有するテンプレートである。投影プロファイルFの段差を検出する場合、バイナリテンプレートBTを、投影プロファイルFの肺側から肝臓側に向かって少しずつ移動させ、バイナリテンプレートBTを移動させるたびに、バイナリテンプレートBTと投影プロファイルFとの相関を算出する。バイナリテンプレートBTは段差Δsを有しているので、相関が最大となるときのバイナリテンプレートBTの位置を特定することにより、投影プロファイルFに現れる段差の位置を検出することができる。図12に、投影プロファイルFに対して、相関が最大となるときのバイナリテンプレートBTの位置を概略的に示す。図12では、バイナリテンプレートBTが位置bに到達したときに、投影プロファイルFとバイナリテンプレートBTとの相関が最大になっている。したがって、コロナル画像データDCにおける肝臓の上端は、SI方向に関しては、位置bの周辺に存在していることがわかる。
尚、図11および図12では、投影プロファイルFの段差の位置を検出する方法について説明したが、その他の投影プロファイルについても、バイナリテンプレートBTとの相関を算出し、相関が最大となるときのバイナリテンプレートBTの位置を特定することにより、段差の位置を検出することができる。図13に、バイナリテンプレートBTにより検出された投影プロファイルF〜Fの段差の位置b〜bを概略的に示す。各投影プロファイルF〜Fの段差の位置b〜bを検出した後、検出された段差の位置b〜bを基準にして、肺と肝臓との境界が位置する可能性の高いSI方向の範囲を決定する(図14参照)。
図14は、肺と肝臓との境界が位置する可能性の高いSI方向の範囲を概略的に示す図である。
SI範囲決定手段85は、検出された段差の位置b〜bを基準として、肺側に幅w1の範囲を規定し、肝臓側に幅w2の範囲を規定する。このようにしてコロナル画像データDC〜DCごとに規定された範囲が、肺と肝臓との境界が位置する可能性の高いSI方向の範囲WSI_i〜WSI_kとして決定される。幅w1およびw2は、被検体を撮影する前に予め設定された値であり、例えば数cmとすることができる。コロナル画像データDC〜DCごとに、肺と肝臓との境界が位置する可能性の高いSI方向の範囲WSI_i〜WSI_kを決定した後、ステップST7に進む。
ステップST7では、コロナル画像データDC〜DCを微分し、微分画像データを作成する。図15に微分画像データDI〜DIを概略的に示す。尚、微分値には正の値と負の値が存在しているが、図15では、説明の便宜上、微分値を絶対値で表した場合の微分画像データDI〜DIを示してある。
コロナル画像データDC〜DCでは、肝臓のピクセルのピクセル値と、肺のピクセルのピクセル値との差が大きい。したがって、コロナル画像データDC〜DCを微分すると、肺と肝臓との境界に位置するピクセルの微分値は大きくなる。これに対し、肝臓の内側のピクセルの微分値や、肺の内側のピクセルの微分値は小さくなる。したがって、微分画像データDI〜DIを作成することにより、肺と肝臓との境界に位置するピクセルを強調して描出することができる。図15の微分画像データDI〜DIでは、白の部分は微分値が大きく、黒の部分は微分値が小さいことを示している。コロナル面CO〜COの微分画像データDI〜DIを作成した後、ステップST8に進む。
ステップST8では、ピクセル抽出手段86(図1参照)が、微分画像データDI〜DIに基づいて、コロナル面CO〜COごとに、肺と肝臓との境界に位置するピクセルの候補を抽出する。以下に、肺の上端に位置するピクセルの候補を抽出する方法について説明する。尚、この抽出方法は、どのコロナル面でも同じであるので、以下では、コロナル面CO〜COのうちのコロナル面COを取り上げ、コロナル面COから、肺と肝臓との境界に位置するピクセルの候補を抽出する方法について説明する。
図16は、コロナル面COの中から、肺と肝臓との境界に位置するピクセルの候補を抽出する方法の説明図である。
ピクセル抽出手段86は、先ず、微分画像データDI上に、ピクセルの検索が行われる領域(以下、「検索領域」と呼ぶ)Rsを設定する。検索領域Rsは、ステップST4で求めたRL方向の範囲WRLと(図8参照)ステップST6で求めたSI方向の範囲WSI_jとの重なる領域として設定される。
次に、ピクセル抽出手段86は、微分画像データDI上に、検索領域Rsを横切るSI方向のラインLを考え、ラインL上のピクセルの微分値のプロファイルを求める。図16では、RL方向の座標値P=PのラインL上の微分値のプロファイルが示されている。尚、実際には、微分値には、正の値と負の値が存在するが、図16では、説明の便宜上、正の微分値のみを考えることにする。
先に説明したように、肺と肝臓との境界に位置するピクセルの微分値は大きくなる。したがって、プロファイルの検索領域Rs内に現れるピークを検出することにより、肺と肝臓との境界に位置するピクセルの候補を抽出することができる。図16では、微分値のプロファイルに、5つのピークa〜eが現れている。したがって、ピークa〜eに対応するピクセルx〜xが、肺と肝臓との境界に位置するピクセルの候補(以下、「候補ピクセル」と呼ぶことがある)となる。
上記の説明では、座標値P=PcのラインL上において候補ピクセルを抽出する方法について説明したが、ラインLがPc以外の座標値であっても、同様の方法で候補ピクセルを抽出することができる。したがって、ラインLのRL方向の座標値Pを検索領域Rsの中で変更し、各座標値PのラインL上における微分値のプロファイルを求め、各プロファイルごとにピークを検出することにより、検索領域Rsの中から、肺と肝臓との境界に位置するピクセルの候補を抽出することができる。
また、図16では、コロナル面COから候補ピクセルを抽出する場合について説明されているが、他のコロナル面から候補ピクセルを抽出する場合も同じ方法で抽出することができる。したがって、各コロナル面CO〜COごとに、肺と肝臓との境界に位置するピクセルの候補を抽出することができる。候補ピクセルを抽出した後、ステップST9に進む。
ステップST9では、ピクセル特定手段87(図1参照)が、抽出された候補ピクセルの中から、肺と肝臓との境界に位置するピクセルを特定する。以下に、肺と肝臓との境界に位置するピクセルの特定方法について説明する。ステップST9は、2つのステップST91およびST92を有しているので、以下に、順に説明する。
ステップST91では、ピクセル絞込み手段87a(図1参照)が、抽出された候補ピクセルの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込む。例えば、図16を参照すると、座標値P=PcのラインL上において、5つの候補ピクセルx〜xが抽出されている。候補ピクセルx〜xのうち、肺と肝臓との境界に位置しているピクセルは、候補ピクセルxであり、残りの候補ピクセルx、x、x、およびxは、肺と肝臓との境界には位置していない。そこで、本形態では、抽出された候補ピクセルx〜xの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込む。以下に、ピクセルを絞り込む方法について説明する。
図17は、抽出された候補ピクセルの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込む方法の一例の説明図である。
先ず、コロナル画像データDCの中に、肺と肝臓との境界に位置しているピクセルを考える。ここでは、肺と肝臓との境界に位置しているピクセルを、符号「x」で示してある。
次に、ピクセルxに対して、肺側に領域Vを設定し、肝臓側に領域Wを設定する。領域VおよびWの大きさは、n×mのピクセルサイズである。図17では、5×5のピクセルサイズの例が示されている。そして、領域Vに含まれるピクセルのピクセル値の平均値M1と、領域Wに含まれるピクセルのピクセル値の平均値M2とを求める。
一般的に、肺の領域のピクセルは、ピクセル値が小さくなり、一方、肝臓の領域のピクセルは、ピクセル値が大きくなる傾向がある。したがって、領域Vにおけるピクセル値の平均値M1と、領域Wにおけるピクセル値の平均値M2とを比較すると、以下の関係が成り立つと考えられる。
M1<M2 ・・・(1)
また、領域Vは肺側に位置している。肺に含まれているピクセルのピクセル値は小さくなる傾向があるので、領域Vにおけるピクセル値の平均値M1が取り得る値はある程度絞り込むことができる。具体的には、ピクセル値の平均値M1は、以下の式で表される範囲に含まれる可能性が高いと考えられる。
p<M1<q ・・・(2)
ここで、p:平均値M1として許容することが可能な値の下限値
q:平均値M1として許容することが可能な値の上限値
下限値pおよび上限値qは、例えば、複数の人間を実際にスキャンして取得された画像データの肺のピクセル値を参考にして決定される値である。
更に、領域Wは肝臓側に位置している。肝臓に含まれているピクセルのピクセル値は大きくなる傾向があるので、領域Wにおけるピクセル値の平均値M2が取り得る値はある程度絞り込むことができる。具体的には、ピクセル値の平均値M2は、以下の式で表される範囲に含まれる可能性が高いと考えられる。
r<M2<s ・・・(3)
ここで、r:平均値M2として許容することが可能な値の下限値
s:平均値M2として許容することが可能な値の上限値
下限値rおよび上限値sは、例えば、複数の人間を実際にスキャンして取得された画像データの肝臓のピクセル値を参考にして決定される値である。
つまり、ピクセルxが肺と肝臓との境界に位置している場合、領域Vにおけるピクセル値の平均値M1と、領域Wにおけるピクセル値の平均値M2は、以下の条件1〜3を満たすと考えられる。
(条件1)M1<M2
(条件2)p<M1<q
(条件3)r<M2<s
したがって、3つの条件1〜3を全て満たすピクセルを探し出すことができれば、抽出された候補ピクセルの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込むことができる。そこで、本形態では、候補ピクセルx〜xそれぞれについて領域VおよびWを設定し、3つの条件1〜3を満たすか否かを判断する(図18参照)。
図18は、候補ピクセルx〜xそれぞれについて領域VおよびWを設定し、3つの条件1〜3を満たすか否かを判断するときの説明図である。尚、この判断方法はどの候補ピクセルでも同じであるので、図18では、候補ピクセルx〜xのうち、代表して2つの候補ピクセルxおよびxを取り上げて説明する。
ピクセル絞込み手段87aは、先ず、コロナル画像データDC上で候補ピクセルxおよびxの位置を検出する。そして、候補ピクセルxおよびxそれぞれについて領域VおよびWを設定し、ピクセル値の平均値M1およびM2を算出する。
候補ピクセルxに対して領域VおよびWを設定した場合(拡大図(a)参照)、領域Vは肺側に位置しており、領域Wは肝臓側に位置している。したがって、候補ピクセルxの場合、ピクセル値の平均値M1およびM2は、条件1〜3を全て満たすと考えられる。
しかし、候補ピクセルxに対して領域VおよびWを設定した場合(拡大図(b)参照)、領域Vだけでなく領域Wも肺側に位置しているので、条件3を満たさないと考えられる。
したがって、3つの条件1〜3を満たす候補ピクセルを特定することにより、抽出された候補ピクセルx〜xの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込むことができる。ここでは、候補ピクセルx〜xのうち、候補ピクセルx、x、xが上記の3つの条件1〜3を満たしたとする。したがって、候補ピクセルx、x、xが、肺と肝臓との境界に位置する可能性の高いピクセルとして選択される。
上記の説明では、座標値P=PcのラインL上で抽出された候補ピクセルx〜xの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込む方法について記載されている。しかし、Pc以外の座標値のラインL上で2つ以上の候補ピクセルが抽出されている場合も、同様の方法で、肝臓の境界に位置する可能性の高いピクセルを絞り込むことができる。したがって、検索領域Rsの全ての候補ピクセルから、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込むことができる。図19に、検索領域Rsの中から絞り込まれた候補ピクセルを概略的に示す。図19では、絞り込まれた候補ピクセルを「○」で示してある。
ピクセルを絞り込んだ後、ステップST92に進む。
ステップST92では、識別手段87b(図1参照)が、絞り込まれた候補ピクセルの中から、肺と肝臓との境界に位置するピクセルを特定する。例えば、図19を参照すると、座標値P=Pcのライン上では、3つの候補ピクセルx、x、xに絞り込まれている。しかし、候補ピクセルx、x、xのうち、肺と肝臓との境界に位置しているピクセルは、候補ピクセルxであり、候補ピクセルxおよびxは肺と肝臓との境界には位置していない。したがって、肺と肝臓との境界に位置していないピクセルも、候補ピクセルとして絞り込まれていることがわかる。そこで、絞り込まれた候補ピクセルx、x、xのうち、どのピクセルが肺と肝臓との境界に位置しているのかを識別する必要がある。以下に、この識別方法について説明する。
図20は、肝臓の境界に位置しているピクセルを識別する方法の一例の説明図である。
先ず、候補ピクセルxを中心として、ウインドウWを設定する。ウインドウWの大きさは、n×mのピクセルサイズ(例えば、19×19のピクセルサイズ)である。そして、識別器を用いて、ピクセルxが肺と肝臓との境界に位置しているか否かを判断する。以下に、本形態で使用される識別器について説明する。
図21は、本形態で使用される識別器の説明図である。
識別器C(i=1〜n)は、被検体を撮影する前に予め準備されている。本形態では、識別器Cは、機械学習のアルゴリズムであるAdaBoostを用いて作成されている。具体的には、教師データ(例えば、実際の人間の肺と肝臓とを横切る断面の画像データ)を用意し、AdaBoostで教師データを学習させることにより、肺と肝臓との境界を検出するのに適した識別器Cを作成している。
識別器Cは、ウインドウWの中の領域Rのピクセル値が所定の条件を満たしているか否かを判断する。具体的には、領域Rの中に2つのサブ領域aおよびbを考え、サブ領域aのピクセル値とサブ領域bのピクセル値が、以下の式(4)を満たしているか否かを判断する。そして、識別器Cは、判断結果に応じた出力値OUTを出力する。本形態では、式(4)を満たす場合、出力値OUT=1を出力し、式(4)を満たさない場合、出力値OUT=0を出力する。
VA−VB>TH ・・・(4)

ここで、VA:サブ領域a内の各ピクセルの平均値
VB:サブ領域b内の各ピクセルの平均値
TH:AdaBoostにより求められる領域Rの閾値
例えば、i=1の識別器Cは、式(4)のiをi=1と設定し、領域R内のサブ領域aのピクセル値とサブ領域bのピクセル値が、式(4)を満たしているか否かを判断する。そして、識別器Cは、式(4)を満たす場合OUT=1を出力し、式(4)を満たさない場合OUT=0を出力する。
以下同様に、i=2〜nの識別器C〜Cは、式(4)のiをi=2〜nと設定し、式(4)を満たしているか否かを判断する。そして、識別器C〜Cは、式(4)を満たす場合OUT=1を出力し、式(4)を満たさない場合OUT=0を出力する。
次に、識別手段87bは、識別器C〜Cの出力値OUT〜OUT(「1」又は「0」)のうち半分以上の出力値が「1」を出力したか否かを判断する。出力値OUT〜OUTのうち半分以上の出力値が「1」の場合、識別手段87bは、ピクセルが肺と肝臓との境界に位置していることを表す判定結果trueを出力する。一方、出力値OUT〜OUTのうち半分以上の出力値が「1」でない場合、識別手段87bは、ピクセルが肺と肝臓との境界に位置していないことを表す判定結果falseを出力する。図21では、ピクセルxに関する判定結果(true or false)について示されているが、他のピクセルxおよびxについてもウインドウWを設定し、識別器C〜Cを用いて判定結果(true or false)を求める。したがって、ピクセルx、x、およびxの各々について、ピクセルが肺と肝臓との境界に位置しているか否かを判定することができる。ここでは、ピクセルxおよびxの判定結果はfalseであるが、ピクセルxの判定結果はtrueであるとする。したがって、ピクセルxが肺と肝臓との境界に位置していると判断することができる。
AdaBoostで作成される識別器C〜Cは、個別にみると弱い識別器である。しかし、これらの識別器C〜Cを組み合わせて使用することにより、高い識別能力を得ることができる。したがって、上記の識別器C〜Cを用いることにより、肺と肝臓との境界に位置しているピクセルの検出精度を高めることができる。
図20および図21では、座標値P=PのラインL上で絞り込まれた候補ピクセルx、x、およびxの中から、肺と肝臓との境界に位置するピクセルxを識別する方法について説明されている。しかし、P以外の座標値のラインL上で絞り込まれた候補ピクセルについても、同様の方法で、肺と肝臓との境界に位置するピクセルを識別することができる。したがって、検索領域Rsの候補ピクセルの中から、肺と肝臓との境界に位置するピクセルを特定することができる。図22に、コロナル面COの検索領域Rs内において特定されたピクセルを概略的に示す。図22では、特定されたピクセルの集合を、符号「Setj」で示してある。尚、特定されたピクセルの中には、肝臓と肺との境界に位置しないピクセルNも存在するので、ピクセルNを、肺と肝臓との境界に位置するピクセルから除外する必要がある。ピクセルNを、肺と肝臓との境界に位置するピクセルから除外する方法としては、微分画像データにおけるピクセルNの微分値を使用する方法がある。一般的には、肺と肝臓との境界に位置しないピクセルの微分値の絶対値は、肺と肝臓との境界に位置するピクセルの微分値の絶対値よりも小さくなる傾向がある。したがって、ピクセルの微分値の絶対値が大きいか小さいかを判断するための閾値を用意しておき、ピクセルNの微分値の絶対値が閾値より小さいか否かを判断することにより、ピクセルNが肺と肝臓との境界に位置しているか否かを判断することができる。
上記の説明では、コロナル面COにおいて肺と肝臓との境界に位置するピクセルを特定する場合について説明されているが、他のコロナル面において肺と肝臓との境界に位置するピクセルを特定する場合も、同じ方法で特定することができる。したがって、コロナル面CO〜COごとに、肺と肝臓との境界に位置するピクセルを特定することができる。図23に、コロナル面CO〜COごとに特定されたピクセルの集合Seti〜Setkを概略的に示す。肺と肝臓との境界に位置するピクセルを特定した後、ステップST10に進む。
ステップST10では、ナビゲータ領域決定手段88(図1参照)が、ナビゲータ領域の位置を決定する。以下に、ステップST10の各ステップST101〜ST104について説明する。
ステップST101では、ナビゲータ領域決定手段88は、コロナル面CO〜COにおけるピクセルの集合Seti〜Setk(図23参照)の中から、ナビゲータ領域の位置を決定するときに使用されるピクセルの集合を選択する(図24参照)。
図24は、ピクセルの集合Seti〜Setkの中から、ナビゲータ領域の位置を決定するときに使用されるピクセルの集合を選択するときの説明図である。図24では、説明の便宜上、ピクセルの集合Seti〜Setkのうち、代表して、ピクセルの集合Seti、Setj、およびSetkのみが示されている。
本形態では、ピクセルの集合Seti〜Setkの中で、最もS側に位置するピクセルの集合を、ナビゲータ領域の位置を決定するときに使用されるピクセルの集合として選択する。図24を参照すると、ピクセルの集合Seti〜Setkの中で、最もS側に位置するピクセルの集合は、Setjである。したがって、ナビゲータ領域決定手段88は、ピクセルの集合Seti〜Setkの中から、コロナル面COにおけるピクセルの集合Setjを選択する。ピクセルの集合Setjを選択した後、ステップST102に進む。
ステップST102では、ナビゲータ領域決定手段88は、選択したピクセルの集合Setjに対して前処理を行う(図25参照)。
図25は、前処理の説明図である。
肺と肝臓との境界は連続的に繋がっている。したがって、図25(a)に示すように、ピクセルの集合Setjは、理想的には連続的に繋がっているはずである。しかし、実際には、理想的なピクセルの集合Setjが得られない場合がある。その例が、図25(b)に示してある。図25(b)では、座標値P=P、P、Pにおいてピクセルの切れ目が存在しており、また、座標値P=Pにおいて2つのピクセルxg1およびxg2が肺と肝臓との境界に位置するピクセルとして特定されている。
そこで、ナビゲータ領域決定手段88は、ピクセルの集合Setjを連続的に繋げるための処理を行う。ピクセルの集合Setjを繋ぐ方法としては、例えば動的計画法を用いることができる。動的計画法では、先ず、最もR側に位置するピクセルxを始点とし、最もL側に位置するピクセルxを終点として、始点と終点とを繋ぐ複数の経路を考える。そして、各径路ごとに、ピクセルの微分値の逆数の加算値を計算し、この加算値が最小になるときの径路を特定し、特定された径路上のピクセルを、切れ目を繋ぐピクセルとして用いる。図26に、動的計画法の処理を行う前のピクセルの集合Setjと、動的計画法の処理を実行した後のピクセルの集合Setj′を概略的に示す。このように、動的計画法を用いることにより、ピクセルを繋ぐことができる。ピクセルを繋いだ後、ステップST103に進む。
ステップST103では、ナビゲータ領域決定手段88が、ピクセルの集合Setj′に対して、フィッティング処理を行う(図27参照)。
図27は、フィッティング処理の説明図である。
図27(a)は、フィッティング処理前のピクセルの集合Setj′を示し、図27(b)は、フィッティング処理後のピクセルの集合Setj″を示す図である。
フィッティング処理を行うことにより、ピクセルの集合Setj′に、肺と肝臓との境界には本来は見られないような不自然な屈曲部cがあっても、修正することができる。フィッティングとしては、例えば、多項式フィッティング(例えば、2次式フィッティング)を用いることができる。フィッティング処理を実行した後、ステップST104に進む。
ステップST104では、フィッティング処理後のピクセルの集合Setj″の中から、最もS方向側に位置するピクセルを検出する(図28参照)。
図28は、最もS方向側に位置するピクセルを検出するときの説明図である。
図28では、最もS方向側に位置するピクセルの座標値Qは、Q=qである。尚、座標値qのピクセルは、複数個存在している。この場合、複数のピクセルの中から、いずれか一つのピクセルを検出する。本形態では、座標値qのピクセルの中から最もR側に位置するピクセルxを検出する。このようにして検出されたピクセルxの位置が、ナビゲータ領域Rnavの位置として決定される。図29に、ナビゲータ領域Rnavの位置を概略的に示す。ピクセルxのRL方向の座標値PはP=Pであり、SI方向の座標値QはQ=qである。また、ピクセルxはコロナル面COに含まれているので、コロナル面COのAP方向の座標値が、ピクセルxのAP方向の座標値となる。したがって、ピクセルxの3方向(RL方向、SI方向、およびAP方向)の座標値が求められているので、ピクセルxの位置にナビゲータ領域Rnavを設定することができる。また、最もR側に位置するピクセルxの位置を、ナビゲータ領域Rnavの位置とすることにより、ナビゲータ領域Rnavを心臓から離すことができるので、心拍動による呼吸信号の劣化を低減することもできる。ナビゲータ領域Rnavの位置を決定した後、ステップST11に進む。
ステップST11では、本スキャンを実行する。本スキャンでは、ナビゲータ領域Rnavから呼吸信号を収集するためのナビゲータシーケンスと、肝臓を含む部位の画像データを収集するためのイメージングシーケンスが実行される。本スキャンが終了したら、フローを終了する。
本形態では、肺と肝臓とを横切るコロナル面の画像データ(コロナル画像データ)に基づいて、肺と肝臓との境界に位置するピクセルの候補となる候補ピクセルを抽出する。次に、抽出された候補ピクセルの中から、肺と肝臓との境界に位置する可能性が高い候補ピクセルを絞り込む。そして、絞り込まれた候補ピクセルの中から、Adaboostにより作成された識別器C〜Cを用いて、肺と肝臓との境界に位置するピクセルを特定している。識別器C〜Cを組み合わせて使用することにより、高い識別能力を得ることができるので、肺と肝臓との境界に位置するピクセルの検出精度を高めることができる。また、各コロナル面CO〜COごとに特定されたピクセルの集合Seti〜Setkに基づいてナビゲータ領域Rnavの位置を決定するので、肺と肝臓との境界にナビゲータ領域を設定することができ、良好な呼吸信号を取得することが可能となる。更に、オペレータはナビゲータ領域の位置を探し出す必要がないので、オペレータの作業負担を軽減することもできる。
本形態では、候補ピクセルの中から、肺と肝臓との境界に位置する可能性の高いピクセルを絞り込む場合、領域Vのピクセルのピクセル値の平均値M1と、領域Wのピクセルのピクセル値の平均値M2とを用いている(図17および図18参照)。しかし、肺と肝臓との境界に位置するピクセルを絞り込むことができるのであれば、ピクセル値の平均値とは別の特徴量を用いてもよい。例えば、領域Vのピクセルのピクセル値の中央値(メジアン)と、領域Wのピクセルのピクセル値の中央値(メジアン)とを用いてもよい。
本形態では、候補ピクセルの中から、肺と肝臓との境界に位置する可能性の高い候補ピクセルを絞り込み、絞り込まれた候補ピクセルに対して識別器を適用し、肺と肝臓との境界に位置するピクセルを特定している。しかし、候補ピクセルを絞り込む処理を行わずに、全ての候補ピクセルに対して識別器を適用し、肺と肝臓との境界に位置するピクセルを特定してもよい。
本形態では、肺と肝臓との境界にナビゲータ領域を設定する例について説明されているが、本発明は、肺と肝臓との境界にナビゲータ領域を設定する場合に限定されることはなく、別の境界にナビゲータ領域を設定する場合にも適用することができる。
本形態では、ローカライザスキャンLSにおいて、n枚のコロナル面CO〜COの画像データを取得しているが、肝臓と肺とを横切る1枚のコロナル面の画像データのみを取得してもよい。ただし、より最適な位置にナビゲータ領域Rnavを位置決めするためには、ローカライザスキャンLSにおいて、複数枚のコロナル面の画像データを取得することが望ましい。
本形態では、識別器Cは、式(4)を用いて、ピクセルが肺と肝臓との境界に位置しているか否かを判断している。しかし、式(4)とは別の式を用いて、ピクセルが肺と肝臓との境界に位置しているか否かを判断してもよい。
本形態では、ローカライザスキャンLSにおいて、m枚のアキシャル面AX〜AXの画像データを取得している。しかし、肝臓を横切る1枚のアキシャル面の画像データのみを取得し、肝臓のAP方向の範囲Tや(図7参照)、肝臓の上端が位置する可能性の高いRL方向の範囲WRL(図8参照)を求めてもよい。
本形態では、コロナル画像データに基づいて、ナビゲータ領域Rnavの位置を決定しているが、コロナル面とは別の面(例えば、コロナル面に対して斜めに交差するオブリーク面)の画像データに基づいてナビゲータ領域Rnavの位置を決定してもよい。
本形態では、ステップST2で脂肪を除去した後に、ステップST3に進んでいるが、ステップST2の脂肪除去を行わずに、ステップST3に進んでもよい。
(2)第2の形態
以下、第2の形態について、図4に示すフローを参照しながら、説明する。尚、第2の形態のMR装置のハードウェア構成は、第1の形態と同じである。
ステップST1〜ステップST8およびステップST91は第1の形態と同じであるので、説明は省略する。ステップST91において、候補ピクセルを絞り込んだ後(図19参照)、ステップST92に進む。
ステップST92では、絞り込んだ候補ピクセルの中から、肺と肝臓との境界に位置するピクセルを特定する。以下に、特定方法について説明する。
先ず、図20に示すように、候補ピクセルxを中心として、ウインドウWを設定する。ウインドウWの大きさは、n×mのピクセルサイズ(例えば、19×19のピクセルサイズ)である。ウインドウWを設定する点は、第1の形態と同じである。ウインドウWを設定した後、ピクセルxが肺と肝臓との境界に位置しているか否かを判断する(図30参照)。
図30は、第2の形態においてピクセルxが肺と肝臓との境界に位置しているか否かを判断する方法の説明図である。
識別手段87b(図1参照)は、識別器Cを用いて、ピクセルxが肺と肝臓との境界に位置しているか否かを判断する。識別器Cは、ピクセルxが肺と肝臓との境界に位置しているか否かを判断するために、式yを用いている。式yは、ウインドウW内の各ピクセルのピクセル値x11〜xmnを変数として含んでいる。また、式yは、係数F〜Fも含んでいる。この係数F〜Fは、機械学習のアルゴリズムであるサポートベクターマシン(Support Vector Machine)を用いて事前に決定されている。この係数F〜Fは、例えば以下の手順で決定することができる。
先ず、教師データを用意する。教師データは、例えば、実際の人間の肺と肝臓とを横切る断面の画像データである。そして、教師データを2種類のデータ(肺と肝臓との境界に位置するピクセルのデータと、肺と肝臓との境界に位置しないピクセルのデータ)に分離するための超平面を求める。このとき、超平面が最大のマージンを持つように係数F〜Fの値が求められる。
識別器Cは、このようにして求められた係数F〜Fを含む式yを用いて、ピクセルxが肺と肝臓との境界に位置しているか否かを判断する。具体的には、識別器Cは、式yに、ウインドウWの各ピクセルのピクセル値x11〜xmnを代入する。ピクセルxが肺と肝臓との境界に位置している場合、y=1になるが、ピクセルxが肺と肝臓との境界に位置していない場合、y=0となる。したがって、yの値から、ピクセルxが肺と肝臓との境界に位置しているか否かを判断することができる。図30では、ピクセルxについて説明されている。しかし、他のピクセルx、xについても、ピクセルx、xを中心としたウインドウWを設定し、ウインドウW内のピクセルのピクセル値を式yに代入することにより、肺と肝臓との境界に位置しているか否かを判断することができる。ここでは、ピクセルxおよびxはy=0であるが、ピクセルxはy=1となる。したがって、ピクセルxが肺と肝臓との境界に位置していると判断することができる。
このようにして、検索領域Rsの候補ピクセルの中から、肺と肝臓との境界に位置するピクセルを特定することができる。肺と肝臓との境界に位置するピクセルを特定したら、ステップST10およびST11に進み、フローを終了する。
第2の形態では、サポートベクターマシンにより式yの係数F〜Fを求めている。係数F〜Fは、超平面が最大のマージンを持つように決定されているので、肺と肝臓との境界に位置するピクセルの検出精度を高めることができる。
尚、第1の形態では、機械学習のアルゴリズムとしてAdaBoostが用いられており、第2の形態では、機械学習のアルゴリズムとしてサポートベクターマシンが使用されている。しかし、機械学習のアルゴリズムは、これらに限定されることはなく、例えば、ニューラルネットワークを用いてもよい。
2 マグネット
3 テーブル
3a クレードル
4 受信コイル
5 送信器
6 勾配磁場電源
7 受信器
8 制御部
9 操作部
10 表示部
11 被検体
21 ボア
22 超伝導コイル
23 勾配コイル
24 RFコイル
81 画像データ作成手段
82 脂肪除去手段
83 AP範囲決定手段
84 RL範囲決定手段
85 SI範囲決定手段
86 ピクセル抽出手段
87 ピクセル特定手段
87a ピクセル絞込み手段
87b 識別手段
88 ナビゲータ領域決定手段

Claims (22)

  1. 被検体の呼吸により動く第1の部位と前記被検体の呼吸により動く第2の部位との境界の位置を検出する検出装置であって、
    前記第1の部位と前記第2の部位とを横切る複数の第1の断面の各々の画像データに基づいて、前記第1の断面ごとに、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出手段と、
    前記候補ピクセルに対して第1の領域と第2の領域とを設定し、前記第1の領域に含まれるピクセルのピクセル値と、前記第2の領域に含まれるピクセルのピクセル値とに基づいて、前記複数の候補ピクセルの中から、前記境界に位置する可能性が高いピクセルを絞り込み、機械学習のアルゴリズムを用いて作成された識別器を用いて、絞り込まれた候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定手段であって、前記第1の断面ごとに、前記境界に位置するピクセルの集合を特定するピクセル特定手段と、
    を有し、
    前記第1の断面ごとに特定されたピクセルの集合のうちの一つの集合は、被検体の呼吸信号を得るためのナビゲータ領域の位置を決定するために使用されるピクセルの集合として選択され、
    選択されたピクセルの集合にピクセルの切れ目がある場合、前記ピクセルの切れ目が繋がれ、
    前記ピクセルの切れ目が繋がれた後のピクセルの集合が、前記ナビゲータ領域の位置を決定するために用いられる検出装置。
  2. 前記識別器は、
    AdaBoostで教師データを学習させることにより作成されている、請求項1に記載の検出装置。
  3. 前記識別器は、
    サポートベクターマシンで教師データを学習させることにより作成されている、請求項1に記載の検出装置。
  4. 前記ピクセル特定手段により特定されたピクセルに基づいて、前記ナビゲータ領域の位置を決定するナビゲータ領域決定手段、
    を有する請求項1〜3のうちのいずれか一項に記載の検出装置。
  5. 前記ナビゲータ領域決定手段は、
    前記第1の断面ごとに特定されたピクセルの集合から、前記ナビゲータ領域の位置を決定するために使用されるピクセルの集合を選択し、選択されたピクセルの集合に基づいて、前記ナビゲータ領域の位置を決定する、請求項4に記載の検出装置。
  6. 前記ナビゲータ領域決定手段は、
    選択されたピクセルの集合に、ピクセルの切れ目があるか否かを判断し、前記ピクセルの切れ目がある場合、前記ピクセルの切れ目を繋ぎ、前記ピクセルの切れ目が繋がれた後のピクセルの集合に基づいて、前記ナビゲータ領域の位置を決定する、請求項5に記載の検出装置。
  7. 前記ナビゲータ領域決定手段は、
    前記ピクセルの切れ目が繋がれた後のピクセルの集合に対してフィッティング処理を行い、フィッティング処理された後のピクセルの集合に基づいて、前記ナビゲータ領域の位置を決定する、請求項6に記載の検出装置。
  8. 前記ナビゲータ領域決定手段は、
    前記フィッティング処理された後のピクセルの集合の中から、いずれか一つのピクセルを、前記ナビゲータ領域の位置として決定する、請求項7に記載の検出装置。
  9. 前記第1の断面の画像データは微分画像データである、請求項1〜8のうちのいずれか一項に記載の検出装置。
  10. 前記ピクセル抽出手段は、
    前記微分画像データを用いて、前記境界を横切るライン上のピクセルの微分値のプロファイルを求め、前記プロファイルに基づいて、前記候補ピクセルを抽出する、請求項9に記載の検出装置。
  11. 前記ピクセル特定手段は、
    前記ライン上において2つ以上の候補ピクセルが抽出された場合、前記2つ以上の候補ピクセルの中から、前記境界に位置する可能性が高いピクセルを絞り込む、請求項10に記載の検出装置。
  12. 前記ピクセル特定手段は、
    前記第1の領域に含まれるピクセルのピクセル値の平均値と、前記第2の領域に含まれるピクセルのピクセル値の平均値とに基づいて、前記境界に位置する可能性が高いピクセルを絞り込む、請求項1〜11のうちのいずれか一項に記載の検出装置。
  13. 前記ピクセル特定手段は、
    前記第1の領域に含まれるピクセルのピクセル値の中央値と、前記第2の領域に含まれるピクセルのピクセル値の中央値とに基づいて、前記境界に位置する可能性が高いピクセルを絞り込む、請求項1〜11のうちのいずれか一項に記載の検出装置。
  14. 前記ピクセル抽出手段は、
    前記境界を含む検索領域を求め、前記検索領域の中から前記候補ピクセルを抽出する、請求項1〜13のうちのいずれか一項に記載の検出装置。
  15. 前記検索領域を求める場合、前記第1の断面と交差する第2の断面の画像データが用いられる、請求項14に記載の検出装置。
  16. 前記第1の断面はコロナル面である、請求項1〜15のうちのいずれか一項に記載の検出装置。
  17. 前記第1の断面はコロナル面であり、前記第2の断面はアキシャル面である、請求項15に記載の検出装置。
  18. 前記画像データは、脂肪が除去された画像データである、請求項1〜17のうちのいずれか一項に記載の検出装置。
  19. 前記第1の部位は肺を含み、前記第2の部位は肝臓を含む、請求項1〜18のうちのいずれか一項に記載の検出装置。
  20. 被検体の呼吸により動く第1の部位と前記被検体の呼吸により動く第2の部位との境界の位置を検出する磁気共鳴装置であって、
    前記第1の部位と前記第2の部位とを横切る複数の第1の断面の各々の画像データに基づいて、前記第1の断面ごとに、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出手段と、
    前記候補ピクセルに対して第1の領域と第2の領域とを設定し、前記第1の領域に含まれるピクセルのピクセル値と、前記第2の領域に含まれるピクセルのピクセル値とに基づいて、前記複数の候補ピクセルの中から、前記境界に位置する可能性が高いピクセルを絞り込み、機械学習のアルゴリズムを用いて作成された識別器を用いて、絞り込まれた候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定手段であって、前記第1の断面ごとに、前記境界に位置するピクセルの集合を特定するピクセル特定手段と、
    を有し、
    前記第1の断面ごとに特定されたピクセルの集合のうちの一つの集合は、被検体の呼吸信号を得るためのナビゲータ領域の位置を決定するために使用されるピクセルの集合として選択され、
    選択されたピクセルの集合にピクセルの切れ目がある場合、前記ピクセルの切れ目が繋がれ、
    前記ピクセルの切れ目が繋がれた後のピクセルの集合が、前記ナビゲータ領域の位置を決定するために用いられる磁気共鳴装置。
  21. 被検体の呼吸により動く第1の部位と前記被検体の呼吸により動く第2の部位との境界の位置を検出する検出方法であって、
    前記第1の部位と前記第2の部位とを横切る複数の第1の断面の各々の画像データに基づいて、前記第1の断面ごとに、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出ステップと、
    前記候補ピクセルに対して第1の領域と第2の領域とを設定し、前記第1の領域に含まれるピクセルのピクセル値と、前記第2の領域に含まれるピクセルのピクセル値とに基づいて、前記複数の候補ピクセルの中から、前記境界に位置する可能性が高いピクセルを絞り込み、機械学習のアルゴリズムを用いて作成された識別器を用いて、絞り込まれた候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定ステップであって、前記第1の断面ごとに、前記境界に位置するピクセルの集合を特定するピクセル特定ステップと、
    を有し、
    前記第1の断面ごとに特定されたピクセルの集合のうちの一つの集合は、被検体の呼吸信号を得るためのナビゲータ領域の位置を決定するために使用されるピクセルの集合として選択され、
    選択されたピクセルの集合にピクセルの切れ目がある場合、前記ピクセルの切れ目が繋がれ、
    前記ピクセルの切れ目が繋がれた後のピクセルの集合が、前記ナビゲータ領域の位置を決定するために用いられる検出方法。
  22. 被検体の呼吸により動く第1の部位と前記被検体の呼吸により動く第2の部位との境界の位置を検出する検出装置のプログラムであって、
    前記第1の部位と前記第2の部位とを横切る複数の第1の断面の各々の画像データに基づいて、前記第1の断面ごとに、前記境界に位置するピクセルの候補となる複数の候補ピクセルを抽出するピクセル抽出処理と、
    前記候補ピクセルに対して第1の領域と第2の領域とを設定し、前記第1の領域に含まれるピクセルのピクセル値と、前記第2の領域に含まれるピクセルのピクセル値とに基づいて、前記複数の候補ピクセルの中から、前記境界に位置する可能性が高いピクセルを絞り込み、機械学習のアルゴリズムを用いて作成された識別器を用いて、絞り込まれた候補ピクセルの中から前記境界に位置するピクセルを特定するピクセル特定処理であって、前記第1の断面ごとに、前記境界に位置するピクセルの集合を特定するピクセル特定処理と、
    を計算機に実行させるためのプログラムであり、
    前記第1の断面ごとに特定されたピクセルの集合のうちの一つの集合は、被検体の呼吸信号を得るためのナビゲータ領域の位置を決定するために使用されるピクセルの集合として選択され、
    選択されたピクセルの集合にピクセルの切れ目がある場合、前記ピクセルの切れ目が繋がれ、
    前記ピクセルの切れ目が繋がれた後のピクセルの集合が、前記ナビゲータ領域の位置を決定するために用いられるプログラム。

JP2012262965A 2012-11-30 2012-11-30 検出装置、磁気共鳴装置、検出方法、およびプログラム Active JP5977158B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012262965A JP5977158B2 (ja) 2012-11-30 2012-11-30 検出装置、磁気共鳴装置、検出方法、およびプログラム
US14/443,203 US9582729B2 (en) 2012-11-30 2013-11-04 Image-based detection of the boundary between a first part and a second part
PCT/US2013/068244 WO2014085027A1 (en) 2012-11-30 2013-11-04 Image-based detection of the boundary between a first part and a second part
CN201380071896.6A CN104937434B (zh) 2012-11-30 2013-11-04 第一部位与第二部位之间的边界的基于图像的检测

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012262965A JP5977158B2 (ja) 2012-11-30 2012-11-30 検出装置、磁気共鳴装置、検出方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014108164A JP2014108164A (ja) 2014-06-12
JP5977158B2 true JP5977158B2 (ja) 2016-08-24

Family

ID=49585631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012262965A Active JP5977158B2 (ja) 2012-11-30 2012-11-30 検出装置、磁気共鳴装置、検出方法、およびプログラム

Country Status (4)

Country Link
US (1) US9582729B2 (ja)
JP (1) JP5977158B2 (ja)
CN (1) CN104937434B (ja)
WO (1) WO2014085027A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706359B2 (en) * 2012-11-30 2020-07-07 Servicenow, Inc. Method and system for generating predictive models for scoring and prioritizing leads
JP5755285B2 (ja) * 2013-05-31 2015-07-29 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴装置およびプログラム
JP6224560B2 (ja) * 2014-09-12 2017-11-01 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴装置およびプログラム
JP6309417B2 (ja) * 2014-09-30 2018-04-11 富士フイルム株式会社 検出器生成装置、方法およびプログラム並びに画像検出装置
JP6554718B2 (ja) * 2014-10-31 2019-08-07 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー データ処理装置、磁気共鳴装置、およびプログラム
EP3322997A1 (en) * 2015-07-15 2018-05-23 Koninklijke Philips N.V. Mr imaging with motion detection
JP6742758B2 (ja) * 2016-02-29 2020-08-19 ゼネラル・エレクトリック・カンパニイ 磁気共鳴装置およびプログラム
JP6378715B2 (ja) * 2016-04-21 2018-08-22 ゼネラル・エレクトリック・カンパニイ 血管検出装置、磁気共鳴イメージング装置、およびプログラム
US20190219655A1 (en) 2016-09-13 2019-07-18 Institut National De La Sante Et De La Recherche Medicale (Inserm) Method for post-processing images for compensating respiratory movements
US10521907B2 (en) * 2018-03-21 2019-12-31 Shimadzu Corporation Image processing apparatus, program, and radiation image capturing apparatus
CN110031786B (zh) * 2019-05-14 2022-01-11 上海联影医疗科技股份有限公司 磁共振图像重建方法、磁共振成像方法、设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046326B2 (ja) * 1990-06-15 2000-05-29 株式会社東芝 画像処理装置及び画像処理方法
JP2903995B2 (ja) * 1994-03-08 1999-06-14 株式会社島津製作所 臓器輪郭の自動抽出方法
CN1063625C (zh) * 1994-08-04 2001-03-28 深圳安科高技术有限公司 一种磁共振成象图象重构的技术
WO2003046833A2 (en) * 2001-11-24 2003-06-05 Image Analysis, Inc. Automatic detection and quantification of coronary and aortic calcium
JP3967210B2 (ja) * 2002-06-27 2007-08-29 株式会社日立メディコ 磁気共鳴イメージング装置
JP2004052873A (ja) 2002-07-18 2004-02-19 Honda Motor Co Ltd 液圧式オートテンショナ
US7894647B2 (en) * 2004-06-21 2011-02-22 Siemens Medical Solutions Usa, Inc. System and method for 3D contour tracking of anatomical structures
US20070081706A1 (en) * 2005-09-28 2007-04-12 Xiang Zhou Systems and methods for computer aided diagnosis and decision support in whole-body imaging
JP4896526B2 (ja) * 2006-01-11 2012-03-14 株式会社東芝 磁気共鳴イメージング装置
JP2007249115A (ja) 2006-03-20 2007-09-27 Ricoh Co Ltd 現像装置、プロセスカートリッジ及び画像形成装置
JP4999163B2 (ja) * 2006-04-17 2012-08-15 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
US8369590B2 (en) * 2007-05-21 2013-02-05 Cornell University Method for segmenting objects in images
JP5177367B2 (ja) * 2007-08-28 2013-04-03 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴イメージング装置及びナビゲータデータ解析方法
WO2010052629A1 (en) * 2008-11-05 2010-05-14 Koninklijke Philips Electronics N.V. Automated sequential planning of mr scans
US9025841B2 (en) * 2009-11-18 2015-05-05 Siemens Aktiengesellschaft Method and system for segmentation of the prostate in 3D magnetic resonance images
JP5461255B2 (ja) 2010-03-17 2014-04-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴イメージング装置
JP5011426B2 (ja) * 2010-08-11 2012-08-29 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
JP5345610B2 (ja) 2010-12-28 2013-11-20 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴イメージング装置

Also Published As

Publication number Publication date
WO2014085027A1 (en) 2014-06-05
US20150310299A1 (en) 2015-10-29
US9582729B2 (en) 2017-02-28
CN104937434B (zh) 2018-03-27
JP2014108164A (ja) 2014-06-12
CN104937434A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
JP5977158B2 (ja) 検出装置、磁気共鳴装置、検出方法、およびプログラム
Baert et al. Guide-wire tracking during endovascular interventions
EP2977921B1 (en) Apparatus and method for automatically registering landmarks in three-dimensional medical image
JP4585471B2 (ja) 特徴点検出装置及びその方法
JP2013022463A (ja) 運動対象輪郭抽出装置、左心室画像分離装置、運動対象輪郭抽出方法及び左心室画像分離方法
EP3171333B1 (en) Apparatus and method for correcting lesion in image frame
US11751823B2 (en) Image processing apparatus, image processing method, and program
US10521906B2 (en) Method and image processor for evaluating a contrast agent-enhanced magnetic resonance slice image of a heart
WO2013191061A1 (ja) 画像処理装置
JP5922465B2 (ja) 磁気共鳴装置、ナビゲータ領域設定方法、およびプログラム
JP2011089784A (ja) 物体方向推定装置
US10390799B2 (en) Apparatus and method for interpolating lesion detection
JP2014221201A (ja) 撮像制御装置、医用画像診断装置及び撮像制御方法
Allin et al. Enhanced snake based segmentation of vocal folds
JP6041781B2 (ja) 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
US20080112605A1 (en) Methods and Apparatus for Automatic Body Part Identification and Localization
Park et al. Medical image segmentation using level set method with a new hybrid speed function based on boundary and region segmentation
JP6224560B2 (ja) 磁気共鳴装置およびプログラム
Cardoso et al. Automatic breast contour detection in digital photographs
JP2015047224A (ja) 血管画像作成装置および磁気共鳴装置
JP6082337B2 (ja) 心胸郭比算出装置
JP6616682B2 (ja) 中心線決定装置、医用装置、およびプログラム
JP5403431B2 (ja) 断層画像処理方法及び装置
JP5307705B2 (ja) 画像判別装置、画像判別方法、及びプログラム
Rajput et al. Brain MRI segmentation using canny edge detection technique

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20141017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150511

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150603

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160721

R150 Certificate of patent or registration of utility model

Ref document number: 5977158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250