JP2017027357A - 画像処理装置、撮像システム、画像処理方法 - Google Patents

画像処理装置、撮像システム、画像処理方法 Download PDF

Info

Publication number
JP2017027357A
JP2017027357A JP2015145042A JP2015145042A JP2017027357A JP 2017027357 A JP2017027357 A JP 2017027357A JP 2015145042 A JP2015145042 A JP 2015145042A JP 2015145042 A JP2015145042 A JP 2015145042A JP 2017027357 A JP2017027357 A JP 2017027357A
Authority
JP
Japan
Prior art keywords
image
filter
image processing
subject
anisotropic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015145042A
Other languages
English (en)
Other versions
JP6594075B2 (ja
JP2017027357A5 (ja
Inventor
長井 健太郎
Kentaro Nagai
健太郎 長井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015145042A priority Critical patent/JP6594075B2/ja
Priority to US15/200,256 priority patent/US9837178B2/en
Publication of JP2017027357A publication Critical patent/JP2017027357A/ja
Publication of JP2017027357A5 publication Critical patent/JP2017027357A5/ja
Application granted granted Critical
Publication of JP6594075B2 publication Critical patent/JP6594075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G21NUCLEAR PHYSICS; NUCLEAR ENGINEERING
    • G21KTECHNIQUES FOR HANDLING PARTICLES OR IONISING RADIATION NOT OTHERWISE PROVIDED FOR; IRRADIATION DEVICES; GAMMA RAY OR X-RAY MICROSCOPES
    • G21K1/00Arrangements for handling particles or ionising radiation, e.g. focusing or moderating
    • G21K1/06Arrangements for handling particles or ionising radiation, e.g. focusing or moderating using diffraction, refraction or reflection, e.g. monochromators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/484Diagnostic techniques involving phase contrast X-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/542Control of apparatus or devices for radiation diagnosis involving control of exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】被検体画像(特にSN比が低い画像)に対し非等方フィルタリングを適用する場合に、フィルタ特性を適切に決定し、信頼性の高いフィルタ結果を得るための技術を提供する。【解決手段】画像処理装置は、被検体を透過した電磁波により形成される像を撮像装置によって撮影することによって得られたデータを、前記被検体の測定データとして取得する測定データ取得手段と、前記測定データから、互いに異なる物理量の情報を表す第1画像と第2画像を生成する画像生成手段と、前記第1画像に基づいて、非等方フィルタを適用するときに設定すべきフィルタ特性を画像内の位置ごとに決定するフィルタ特性決定手段と、前記第1画像に基づいて決定されたフィルタ特性にしたがって、画像内の位置ごとに前記非等方フィルタのフィルタ特性を変えながら、前記第2画像に対し前記非等方フィルタを適用するフィルタリング手段と、を有する。【選択図】図4

Description

本発明は、被検体画像の画像処理技術に関する。
従来、精密に物質を測定する手段として位相を用いた測定法が用いられてきた。位相を用いた測定法は、波面のそろった(コヒーレントな)入射光に対して干渉を起こし、その干渉縞を計測することで、波長の数分の一から数十分の一の位相差による入射光波面(位相)の変化を測定する。このような測定法を利用した干渉計は、例えばレンズの表面のわずかな凹凸を測定するのに好適な手段である。
さらに、干渉を用いた波面計測手法の中でも近年注目を集めているのが、数十ナノメール以下の波長の光(電磁波)、すなわちX線を利用したX線位相イメージングである。X線位相イメージングは、従来の被検体の吸収によるコントラストを画像化するX線吸収像とは異なり、被検体に対するX線の透過時に生じる入射光の光路長の変化を位相の干渉によって検出する手法である。
X線位相イメージングの例として、X線を用いたトールボット干渉法について述べる。X線トールボット干渉計では、光源からのX線が被検体を透過し、それに伴って光の入射位相が変化する。被検体を透過した光は、回折格子と呼ばれる周期的パターンを持った格子で回折されることによって、回折格子からトールボット距離と呼ばれる所定の距離だけ離れた位置に第一の干渉パターンを形成する。この第一の干渉パターンの変化を被検体のない場合と比較解析することで前述の入射光波面の変化を測定する。
前述の周期的なパターンを持った回折格子のパターン周期は、装置長や入射光の波長等の条件によって変化する。一般的なX線の場合、その周期は数μmのオーダーとなる。また、それによって生じる第一の干渉パターンも同様に数μmのオーダーの周期となることが知られている。このような場合、一般的に用いられている検出器では、分解能がせいぜい数十μmであるため、第一の干渉パターンを検出することは不可能である。そのため、干渉パターンが形成される位置に第一の干渉パターンとほぼ同じ周期の遮蔽格子を配置する。遮蔽格子で第一の干渉パターンの一部を遮ることにより周期が数百μm程度の第二の干渉パターン、すなわちモアレを形成し、このモアレを検出器で検出することによって干渉パターンの変化を間接的に測定することができる。モアレの形成法には周期を調節した遮蔽格子を第一の格子による第一の干渉パターンと同じ向きにアライメントして出す方法(拡大モアレ)と、格子を回転させてモアレの周期と向きを調節する方法(回転モアレ)がある。
このモアレを数値的に解析することによって、被検体に関するいくつかのパラメータを取得できる。代表的なものが前述した入射光の光路長の違いを微分位相として検出するものである。これによって、被検体の屈折率を計算することができる。このような屈折率による画像は被検体の種類、特に軟組織やプラスチックの様な被検体に対してはX線吸収像よりも信号雑音比(SN比)が高くなる利点がある。
近年ではモアレの振幅の変化を計算することで被検体の画素オーダー以下の小角散乱の情報を取得する手法に関しても研究がおこなわれている。つまり二次元X線トールボット干渉計においては、従来の吸収像に加えて、微分位相像、振幅像、散乱像など、互いに独立した物理量を表す画像を一度の撮像プロセスで取得可能である。
さらに近年、二次元格子を用いた二次元X線トールボット干渉計の研究も進んでいる。二次元X線トールボット干渉計は、例えばX軸方向の微分位相像とX軸に垂直なY軸方向の微分位相像を同時に取得できる特徴があるため、より正確な屈折率情報を取得することができる。このような二方向の微分位相像から、被検体に対する明瞭な像を取得する方法が、特許文献1に開示されている。特許文献1の方法は、逆リース変換を利用して被検体のエッジ境界部を明確化することが可能であり、被検体の輪郭に関するSN比のさらなる向上が期待できる。その他にも微分位相からさらに微分してラプラシアンを求めてもよい。
このような技術はX線干渉計のようにX線を使用するモダリティ、特に被検体が生体のような被曝に弱いものである場合に大いに有効となる。このような被検体の場合、X線照射量が低ければ低いほど望ましい。当然照射量を減らすことはSN比の悪化とトレードオフの関係になっており、最終的な画像に対してはよりエッジ部を強調する手法が望まれる。
効果的にエッジ部を強調する手法としては、例えば特許文献2の手法がある。特許文献2の手法はノイズリダクションの改良手法で、非等方なノイズリダクションフィルタリングを被検体の場所・形状に合わせて適用するプロセスを繰り返すことで効果的に強調したい情報部分のみを強調することが可能となる。このような手法はX線トールボット干渉計にも応用可能であるが、特許文献2の手法は一次情報として得られた像に一定のSN比がすでに得られていることが前提となり、そこから非等方フィルタの方向を検出していく必要がある。一方で、低被曝化のために照射量を可能な限り低下させると、特許文献2の手法の適用が困難な程度(非等方フィルタの方向の検出ができない程度)までSN比が悪化する場合もある。
このような例の一つが生体中の軟骨の撮像である。軟骨の撮像は従来の吸収X線では撮像できず、X線トールボット干渉計の応用用途として有望視されている撮像対象の一つである。この軟骨そのものは真空中の屈折率が高いが、これが生体組織中に存在すると他の生体組織との相対屈折率が低下し、撮像が不可能ではないが十分なコントラストが得られない場合がある。
特開2014−108358号公報 特表2012−504003号公報
本発明は上記実情に鑑みなされたものであり、被検体画像(特にSN比が低い画像)に対し非等方フィルタリングを適用する場合に、信頼性の高いフィルタ結果を得るための技術を提供することを目的とする。
本発明の第一態様は、被検体を透過した電磁波により形成される像を撮像装置によって撮影することによって得られたデータを、前記被検体の測定データとして取得する測定データ取得手段と、前記測定データから、互いに異なる物理量の情報を表す第1画像と第2画像を生成する画像生成手段と、前記第1画像に基づいて、非等方フィルタを適用するときに設定すべきフィルタ特性を画像内の位置ごとに決定するフィルタ特性決定手段と、前記第1画像に基づいて決定されたフィルタ特性にしたがって、画像内の位置ごとに前記非等方フィルタのフィルタ特性を変えながら、前記第2画像に対し前記非等方フィルタを適
用するフィルタリング手段と、を有することを特徴とする画像処理装置を提供する。
本発明の第二態様は、被検体を透過した電磁波により形成される像を撮影し、前記被検体の測定データを出力する撮像装置と、前記撮像装置により得られた前記測定データに対し画像処理を適用する、本発明の第一態様に係る画像処理装置と、を有することを特徴とする撮像システムを提供する。
本発明の第三態様は、コンピュータが、被検体を透過した電磁波により形成される像を撮像装置によって撮影することによって得られたデータを、前記被検体の測定データとして取得するステップと、コンピュータが、前記測定データから、互いに異なる物理量の情報を表す第1画像と第2画像を生成するステップと、コンピュータが、前記第1画像に基づいて、非等方フィルタを適用するときに設定すべきフィルタ特性を画像内の位置ごとに決定するステップと、コンピュータが、前記第1画像に基づいて決定されたフィルタ特性にしたがって、画像内の位置ごとに前記非等方フィルタのフィルタ特性を変えながら、前記第2画像に対し前記非等方フィルタを適用するステップと、を含むことを特徴とする画像処理方法を提供する。
本発明の第四態様は、本発明の第三態様に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムを提供する。
本発明によれば、被検体画像(特にSN比が低い画像)に対し非等方フィルタリングを適用する場合に、信頼性の高いフィルタ結果を得ることができる。
本発明の実施形態の撮像システムの構成を模式的に示す図。 被検体の構成と、微分位相像および逆リース画像の例を示す図。 比較例によるフィルタリング結果を示す図。 実施例のフィルタリング処理に関する機能ブロック図。 実施例のフィルタリング処理の流れを示すフローチャート。 実施例によるフィルタリング結果を示す図。 実施例の結果と比較例の結果と理論値を比較する図。 実施例の結果と比較例の結果と理論値を比較する図。
本発明は、被検体画像に対し非等方フィルタを用いたフィルタリングを行う画像処理装置及び画像処理方法に関する。被検体の撮像装置・撮像法は問わないが、本発明は、一回の撮像プロセスによって得られる測定データを基に、互いに異なる(独立した)物理量の情報を表す複数種類の被検体画像を取得できる撮像装置に対し好ましく適用することができる。この種の撮像装置としては、被検体を透過した電磁波により形成される像を撮影する撮像装置、例えば、電磁波が被検体を透過するときに生じる波面(位相)の変化を強度(コントラスト)として画像化する位相イメージング装置などがある。位相イメージング装置の測定データには、微分位相、吸収率、散乱(振幅変化)などの複数の物理量の情報が含まれている。撮像に用いる電磁波としては、光、X線、ガンマ線などいかなる波長帯域のものでもよい。ただし、詳しくは後述するが、本実施形態のフィルタリング手法はSN比の低い画像に対して適用可能なため、X線、ガンマ線、中性子線、電子線などの放射線を利用する撮像装置における低線量撮像に対し特に好ましく適用できる。なお本明細書においてX線とはエネルギが2keV以上200keV以下の電磁波を指す。
以下、本発明の好ましい実施の形態として、二次元微分干渉計の一つである二次元トー
ルボットX線位相イメージング装置で得られる被検体画像を例に挙げて説明する。なお、以下に述べるフィルタリング手法は二次元だけでなく一次元の微分干渉計で得られた画像にも応用可能である。
(撮像システム)
図1はトールボットX線位相イメージングの撮像システムの構成を示した図である。撮像システムは、X線トールボット干渉計からなる撮像装置10と、撮像装置10で取得したX線画像を処理する画像処理装置11とから構成される。撮像装置10は、X線を発生させるX線源(光源)110と、X線を回折する回折格子130と、X線の一部を遮る遮蔽格子140と、X線を検出する検出器150とを備えている。画像処理装置11は、撮像装置10に接続された演算部(コンピュータ)160と、演算部160による演算結果に基づいた画像を表示する画像表示装置170とを有している。
演算部160は、CPU(中央演算処理装置)、RAM(ランダムアクセスメモリ)、補助記憶装置などのハードウェア資源を備えた汎用のコンピュータにより構成できる。後述する画像処理、各種演算、および制御は、補助記憶装置に格納されたプログラムをCPUが読み込み実行することで実現されるものである。なお、演算部160の機能のうちの一部又は全部をASIC(Application Specific Integrated Circuit)のような回路で構成することもできる。
X線源110からのX線は回折格子130により回折され、トールボット距離と呼ばれる所定の距離をおいて明部と暗部が配列方向に並んだ干渉パターン180を形成する。
通常、回折格子130による第一の干渉パターン180の周期は数μmから十数μm程度である。そこで、第一の干渉パターン180と同じかわずかに異なる周期をもつ遮蔽格子140を、第一の干渉パターン180が形成される位置に配置する。そうすると、第一の干渉パターン180と遮蔽格子140によりモアレが形成され、干渉パターンの周期を数十μm以上あるいは無限に拡大することができる。モアレの周期は、用いる位相回復方法と検出器の画素サイズを考慮して適宜決めることができるが、本実施形態においては、モアレの周期が画素サイズの2倍以上であることが好ましい。尚本実施形態においては、周期が大きく、検出器の撮像範囲内に明暗が形成されない場合であっても、第一の干渉パターン180と遮蔽格子140により形成される強度分布のことをモアレと呼ぶ。このモアレ(空間的な周期性をもつパターン)を二次元イメージセンサである検出器150により画像化し、二次元画像を得る。このような仕組みにより、数十μm平方程度の分解能の検出器150で、数μmから十数μmの周期をもつ干渉パターンのイメージングを可能にしている。ただし、検出器150の空間分解能が十分に高い場合には、遮蔽格子140を省略し、第一の干渉パターン180をそのまま撮像してもよい。以下、検出器150で得られた周期的なパターンをもつ画像を干渉像と呼び、検出器150から出力される干渉像の画像データを測定データと呼ぶ。
回折格子130には、周期的にX線の位相を変調する位相型の回折格子(位相格子)でも、周期的にX線の振幅を変調する振幅型の回折格子(遮蔽格子)でもよいが、X線の損失が少ないため位相格子が用いられることが多い。遮蔽格子140には、X線透過部とX線遮蔽部とが配列された格子が用いられることが多い。
測定時には、被検体120を回折格子130の前に設置する。X線は一般に透過性が高いために被検体120を透過するが、その際に透過した物質の元素組成と密度に応じた位相の変化が生じる。この位相の変化は第一の干渉パターン180の配置に影響を与える。そのため遮蔽格子140によるモアレにも歪みを生じさせる。したがって、演算部160で、被検体120が無いときの測定データと被検体120を設置したときの測定データの
間での干渉像の歪みを計算することで、被検体120によるX線の位相変化の情報(微分位相)を取得できる。また、X線が被検体120を透過する際にX線のエネルギの一部は吸収されるが、その吸収率は組織の元素組成によって違いがある。したがって、演算部160で、被検体120が無いときの測定データと被検体120を設置したときの測定データの間での強度比を計算することで、被検体120によるX線吸収の情報を取得できる。また、被検体120の内部に微小な構造が密集した部分(例えば線維組織や微小石灰化)が存在すると、その部分において小角散乱が生じ、測定されるX線の振幅が変化する。したがって、演算部160で、被検体120が無いときの測定データと被検体120を設置したときの測定データの間での振幅の変化を解析することで、被検体120によるX線の小角散乱の情報を取得できる。結果として、検出器150で得られる測定データを基に、微分位相、吸収率、小角散乱の3つの独立した物理量の情報を取得できる。各物理量の情報の二次元分布を画像化したものを、それぞれ、微分位相像、吸収像、散乱像(又はビジビリティコントラスト像)と呼ぶ。以上がX線位相イメージング装置の概要である。尚、微分位相の情報を積分すると位相の情報を取得できるが、微分位相と位相は独立した物理量ではない。
(比較例)
まず、比較例として、特許文献1に開示されている逆リース変換を利用した画像処理方法(以後、従来方法1と呼ぶ)と特許文献2に開示されている非等方フィルタリング方法(以後、従来方法2と呼ぶ)を単純に組み合わせた例について説明する。
本明細書では、被検体として現実の生体組織を模したファントムを想定し、コンピュータ・シミュレーションによって得られた干渉像(モアレ像)を基に、以下の画像処理を行う。図2Aはファントムの構造である。このファントムは球形の二重の構造物を有している形になっている。第一の層201は吸収率の高い構造物である。これは例えば生体組織でいえば骨にあたる部分を示す。第二の層202は吸収率が低く屈折率も低い構造物である。これは生体組織でいえば前述の生体組織中の軟骨を模擬している。物理定数もそれらの状況に準じた吸収率・屈折率に設定し、大きさを2cmとした。また、皮膚や筋肉組織といった他の生体組織中の軟骨像を再現するため、このファントムは水中に設置されていると仮定した。これによって第二の層202との屈折差が小さくなり、位相像のコントラストが弱くなる。
図2Aのファントムを図1の撮像装置10で撮像した場合に観測される干渉像をシミュレーションにより求め、その干渉像を基に生成した微分位相像の例が図2Bおよび図2Cである。図2BがX軸方向の微分位相像であり、図2CがY軸方向の微分位相像である。またここで被曝量は5mGyを想定した。これは医療用のX線撮像としては標準的かやや多めの照射線量である。中央の骨に対応する箇所のコントラストは付いているが、軟骨の端部に関するコントラストはほぼ不可視になっている。これらの微分位相像に対し従来方法1を適用することで生成した画像(逆リース画像と呼ぶ)が図2Dである。図2Bおよび図2Cの微分位相像に比べて幾分軟骨端部が可視化されているが、十分とは言い難い。例えば医療応用では、軟骨の存在が確認できるだけでは十分でなく、軟骨の厚みが重要な診断基準となることがある。図2Dは軟骨の存在を確認できるものの、正確な厚み測長を行うには困難が伴う。このように、被検体と撮像条件の組み合わせによっては、従来方法1で得られる画像が診断に不十分なことがあると考えられる。
次に、図2Dの逆リース画像に対してフィルタによるノイズリダクションを適用した結果を紹介する。図3Aは等方的なフィルタを図2Dの逆リース画像に適用した結果である。フィルタの大きさは25×25ピクセルを用いた。平滑化手法としてメディアンフィルタを用いた。その結果、軟骨部において若干コントラストの改善が見られるものの、コントラストが不均一であり、また軟骨のエッジを示す箇所の幅が広いため、厚み測長時の定
量性が低く、厚み測長が困難であることが分かる。
図3Bは、図2Dの逆リース画像に従来方法2を適用した結果を示す。ここでは81×7ピクセルの大きさの非等方フィルタを使用した。非等方フィルタの方向は、二次元トールボットX線位相イメージングで取得される一次情報であるX軸方向およびY軸方向の微分位相から計算した。二つの微分位相を合わせることで位相勾配のベクトルが設定できるため、そのベクトル方向に非等方フィルタの短辺の向きが合うようにして先ほどと同じメディアンフィルタを適用した。その結果全体としてぼやけてしまい特に軟骨のエッジ部のコントラストが消滅した。
このように、従来方法1と従来方法2の単純な組み合わせをこのサンプルに適用すると、SN比が十分にとれない、あるいはSN比が悪化することが分かる。
(実施例)
次に、本実施形態の画像処理装置11によって実行される画像処理の一実施例について説明する。本実施例では、非等方フィルタを適用するときのフィルタ特性(方向、形状など)を、微分位相ではなく、同じ測定データから生成された吸収像に基づいて決定する。骨の部分に関しては吸収像のコントラストは微分位相像および逆リース画像に比べて高いため、吸収像における構造のエッジ方向を補助情報としてフィルタの方向を決定する。このようにフィルタ特性の決定に用いる画像(第1画像)とフィルタ処理を適用する画像(第2画像)とが、同じ測定データから生成された画像のうち異なる物理量の情報を表す画像である点に、本実施例の特徴の一つがある。ここで、第1画像と第2画像の組み合わせは任意であるが、第1画像が第2画像に比べてSN比が高い(観察したい構造のコントラストが高い)画像であることが好ましい。フィルタを適用する第2の画像よりもSN比が高い第1の画像を用いてフィルタ特性を決定することで、第2の画像を用いてフィルタ特性を決定するよりも適切にフィルタ特性を決めることができ、被検体の情報に近い値を得ることができる。
図4は画像処理装置11によって提供されるフィルタリング処理に関する機能ブロック図である。画像処理装置11は、その機能として、測定データ取得部500、画像生成部501、フィルタ特性決定部502、フィルタリング部503を有する。測定データ取得部500は、撮像装置10によって得られた被検体120の測定データを取得する機能であり、画像生成部501は、測定データを解析し、吸収像、微分位相像、散乱像、逆リース画像などの画像を生成する機能である。また、フィルタ特性決定部502は、非等方フィルタのフィルタ特性を決定する機能であり、フィルタリング部503は、フィルタ特性決定部502で決定されたフィルタ特性にしたがって非等方フィルタを画像に適用する機能である。この非等方フィルタは、画像を一方向に沿って平滑化する、方向依存性をもつフィルタである。本実施例では、81×7ピクセルの大きさをもち、その短辺方向に沿って平滑化効果(ノイズリダクション効果)を有する非等方フィルタを用いる。これらの機能は、演算部160が必要なプログラムを実行することで実現されるものである。
図5のフローチャートを参照して、画像処理装置11によって提供されるフィルタリング処理の流れを説明する。まず測定データ取得部500が、撮像装置10によって得られた測定データを取得する(ステップS400)。このとき、撮像装置10からリアルタイムで測定データを取得してもよいし、過去に撮像されストレージ等に保存されている測定データを読み込んでもよい。次に画像生成部501が、測定データを解析し、吸収像、X軸方向の微分位相像、Y軸方向の微分位相像を生成する(ステップS401)。次に画像生成部501は、逆リース変換により、微分位相像から逆リース画像を取得する(ステップS402)。吸収像、微分位相像、逆リース画像などが既に生成され、ストレージ等に保存されている場合には、ステップS401、S402ではその画像データを読み込んで
もよい。なお、逆リース変換については特許文献1に開示された方法を利用するため、ここでは詳しい説明は省略する。
次に、フィルタ特性決定部502は、吸収像を用いて、画像中の構造(例えば骨)のエッジ方向(境界の接線方向)を抽出し、そのエッジ方向に直交する法線方向を求める。そのためには、画像中の画素値の勾配の向きを画像内の位置ごとに計算すればよい。本実施例では、フィルタ特性決定部502がまず吸収像を二値化する(ステップS403)。二値化とは、画像内の各画素の値を1(True)か0(False)に変換する操作である。本実施例では、吸収像の画素値が閾値より大きいか否かを判定することで二値化を行う。このときの閾値は固定値でもよいし、動的(適応的)に決めてもよい。さらに必要に応じて二値画像に対してメディアンフィルタを適用することが好ましい。これは骨の領域とそれ以外の領域をより明確に分けるための操作である。このようにして取得した二値画像が図6Aである。閾値とメディアンフィルタのパラメータを調整することで骨の領域を抽出可能である(図6Aの白色の領域が骨の領域である。)。
次に、フィルタ特性決定部502は、二値画像に対してコンボリューションによるぼけを与える(ステップS404)。本実施例では、二値画像に対しガウシアンフィルタをコンボリューションする。その結果得られた画像(勾配画像と呼ぶ)が図6Bである。ステップS404の処理は、画像中の構造のエッジ(例えば骨の境界)を稜線とする画素値の連続的な勾配を形成するためである。このような勾配画像を用いることで、画像内の各位置におけるフィルタ特性を適切に設定することが容易になる。このとき、画像の隅までぼけを与えることが好ましく、このぼけは等方的であることが好ましい。
次に、フィルタ特性決定部502は、勾配画像から画像内の各位置の勾配を計算する(ステップS405)。本実施例では、勾配の向きだけを取得するが、勾配の大きさをも取得してフィルタ特性の決定に利用してもよい。図6Bの勾配画像から計算された勾配の向きを示したのが図6Cである。矢印が勾配の向きを表している。中央から外向きに勾配ベクトルが向いていることが分かる。これによって画像全領域に対して骨の境界を判別し、その境界の法線方向を得ることができたことになる。今回の被検体は球状になっているが、本手法を用いれば複雑な境界線を持つ骨の像に関してもその境界の法線方向を求めることが可能となる。フィルタ特性決定部502は、勾配の向きと非等方フィルタの方向(短辺方向)とが平行になるように、画像内の位置ごとのフィルタ特性を決定する(ステップS406)。
次に、フィルタリング部503は、ステップS406で決定されたフィルタ特性にしたがって、画像内の位置ごとにフィルタ特性(本実施例ではフィルタの方向)を変えながら、逆リース画像の全ての画素に対し非等方フィルタを適用する(ステップS407)。これにより、勾配の向きに沿ったノイズリダクションが実施される。
図6Dは、図2Dの逆リース画像に対して図6Cに示す方向に沿ったノイズリダクション(ここではメディアンフィルタを用いた)を実施した結果である。図3A、図3Bの比較例と比べると、図6Dの画像では軟骨の形状がはっきりしていることが分かる。また、軟骨のエッジを示す個所の幅も狭いため、骨表面(境界)から軟骨のエッジ位置がどれだけ離れているか、すなわち軟骨の厚さ、を測長することに適していることが分かる。
図7A〜図7Dは本実施例の効果を比較例と定量的に比較するための図である。図7A〜図7Dは、軟骨の近傍領域をドーナツ形状に切り出し、それを長方形状に写像した画像である。図7Aが理論値、図7B〜図7Dはそれぞれ図3A(比較例1)、図3B(比較例2)、図6D(実施例)から切り出した画像である。本実施例で得られた画像(図7D)では、理論値(図7A)とほぼ同じ位置に、軟骨のエッジ部が明りょうに現れているこ
とが分かる。
また、図8は、図7A〜図7Dの画像の横方向の平均値をプロットした図である。縦方向の位置は、図7A〜図7Dの紙面における上端を0とした。比較例1および比較例2のプロファイルは理論値のものとずれており、プロファイルの極小値の位置(軟骨のエッジと推定される位置)も理論値から大きくずれている。これに対し、本実施例では、理論値に近いプロファイルが取得できており、比較例よりも定量性の高い画像処理が可能であることが分かる。
(応用例)
本発明に係るフィルタリング手法は様々な形態で応用が可能である。例えば上記実施例は吸収像を参照して微分位相から取得される逆リース画像のノイズリダクションを行った。しかし、非等方フィルタを適用する画像は、微分位相像、その積分像である位相像、微分位相像をさらに微分したラプラシアン像でもよいし、それ以外の画像でもよい。また、吸収コントラストよりも位相コントラストの方が強い場合には、本実施例とは逆に、微分位相像やそれを加工した画像(逆リース画像、位相像など)からフィルタ特性を決定し、吸収像に対し非等方フィルタを適用してもよい。また、これらの技術を位相イメージングで取得できるもう一つの画像である散乱像(モアレ振幅像)のノイズリダクションに用いることも可能である。X線位相イメージングでは、一次像として吸収像、微分位相像、散乱像が取得できるため、こられの画像、もしくは画像から作成される別の画像の一つを画像処理するために、他の作成された画像を利用する様々な様態が考えられる。また本手法は二次元X線位相イメージングに限らず、一次元X線位相イメージングにも応用可能である。また、トールボット干渉計以外の撮像装置にも本手法を応用可能である。上記の実施例では、第1画像の勾配情報を取得するために、二値化及びコンボリューションによるぼけの付与を行っているが、勾配情報の取得方法はこれに限らず、既知の方法を用いることもできる。第1画像で取得した勾配情報を用いて第2画像に適用する非等方フィルタを決定すれば、上記実施例と同様の結果が得られると考えられる。
また、上記実施例では非等方フィルタは形状が81×7ピクセルで固定されていたが、フィルタ形状はこれに限らないし、また、条件もしくは画像内の場所によって非等方フィルタの形状を変えたり、正方のフィルタを使用したりしてもよい。例えば、本実施例ではフィルタ特性としてフィルタの方向のみを変更したが、勾配の大きさに応じて非等方フィルタの形状、サイズ、係数などを変えてもよい。また、フィルタ手法もメディアンフィルタではなく、普通のガウシアンによる平均化フィルタやその他様々なフィルタを用いることができる。
上述した画像処理装置の具体的な実装は、ソフトウェア(プログラム)による実装と、ハードウェアによる実装のいずれも可能である。例えば、画像処理装置に内蔵されたコンピュータ(マイコン、CPU、MPU、FPGA等)のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するASIC等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。
また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。よって、上記コンピュータ(CPU、MPU等のデバイ
スを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
10:撮像装置、11:画像処理装置、160:演算部、500:測定データ取得部、501:画像生成部、502:フィルタ特性決定部、503:フィルタリング部

Claims (13)

  1. 被検体を透過した電磁波により形成される像を撮像装置によって撮影することによって得られたデータを、前記被検体の測定データとして取得する測定データ取得手段と、
    前記測定データから、互いに異なる物理量の情報を表す第1画像と第2画像を生成する画像生成手段と、
    前記第1画像に基づいて、非等方フィルタを適用するときに設定すべきフィルタ特性を画像内の位置ごとに決定するフィルタ特性決定手段と、
    前記第1画像に基づいて決定されたフィルタ特性にしたがって、画像内の位置ごとに前記非等方フィルタのフィルタ特性を変えながら、前記第2画像に対し前記非等方フィルタを適用するフィルタリング手段と、
    を有することを特徴とする画像処理装置。
  2. 前記フィルタ特性は、前記非等方フィルタの方向を含む
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記非等方フィルタは、前記非等方フィルタの方向に沿って画像を平滑化するフィルタである
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記フィルタ特性決定手段は、前記第1画像に含まれる構造のエッジ方向と前記非等方フィルタの方向とが直交するように、画像内の位置ごとの前記非等方フィルタのフィルタ特性を決定する
    ことを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記フィルタ特性決定手段は、前記第1画像の画素値の勾配の向きを画像内の位置ごとに計算し、前記勾配の向きと前記非等方フィルタの方向とが平行になるように、画像内の位置ごとの前記非等方フィルタのフィルタ特性を決定する
    ことを特徴とする請求項2〜4のうちいずれか1項に記載の画像処理装置。
  6. 前記第1画像は、前記第2画像に比べてSN比が高い画像である
    ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理装置。
  7. 前記撮像装置は、位相イメージング装置である
    ことを特徴とする請求項1〜6のうちいずれか1項に記載の画像処理装置。
  8. 前記電磁波は、放射線である
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記第1画像は、前記被検体による前記電磁波の吸収の情報を表す画像である
    ことを特徴とする請求項7又は8に記載の画像処理装置。
  10. 前記第2画像は、前記被検体による前記電磁波の位相変化の情報を表す画像である
    ことを特徴とする請求項7〜9のうちいずれか1項に記載の画像処理装置。
  11. 被検体を透過した電磁波により形成される像を撮影し、前記被検体の測定データを出力する撮像装置と、
    前記撮像装置により得られた前記測定データに対し画像処理を適用する、請求項1〜10のうちいずれか1項に記載の画像処理装置と、
    を有することを特徴とする撮像システム。
  12. コンピュータが、被検体を透過した電磁波により形成される像を撮像装置によって撮影することによって得られたデータを、前記被検体の測定データとして取得するステップと、
    コンピュータが、前記測定データから、互いに異なる物理量の情報を表す第1画像と第2画像を生成するステップと、
    コンピュータが、前記第1画像に基づいて、非等方フィルタを適用するときに設定すべきフィルタ特性を画像内の位置ごとに決定するステップと、
    コンピュータが、前記第1画像に基づいて決定されたフィルタ特性にしたがって、画像内の位置ごとに前記非等方フィルタのフィルタ特性を変えながら、前記第2画像に対し前記非等方フィルタを適用するステップと、
    を含むことを特徴とする画像処理方法。
  13. 請求項12に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
JP2015145042A 2015-07-22 2015-07-22 画像処理装置、撮像システム、画像処理方法 Active JP6594075B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015145042A JP6594075B2 (ja) 2015-07-22 2015-07-22 画像処理装置、撮像システム、画像処理方法
US15/200,256 US9837178B2 (en) 2015-07-22 2016-07-01 Image processing apparatus, imaging system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015145042A JP6594075B2 (ja) 2015-07-22 2015-07-22 画像処理装置、撮像システム、画像処理方法

Publications (3)

Publication Number Publication Date
JP2017027357A true JP2017027357A (ja) 2017-02-02
JP2017027357A5 JP2017027357A5 (ja) 2018-08-16
JP6594075B2 JP6594075B2 (ja) 2019-10-23

Family

ID=57836080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015145042A Active JP6594075B2 (ja) 2015-07-22 2015-07-22 画像処理装置、撮像システム、画像処理方法

Country Status (2)

Country Link
US (1) US9837178B2 (ja)
JP (1) JP6594075B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045981A (ja) * 2017-08-30 2019-03-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10295485B2 (en) 2013-12-05 2019-05-21 Sigray, Inc. X-ray transmission spectrometer system
US20150117599A1 (en) * 2013-10-31 2015-04-30 Sigray, Inc. X-ray interferometric imaging system
USRE48612E1 (en) 2013-10-31 2021-06-29 Sigray, Inc. X-ray interferometric imaging system
US10401309B2 (en) 2014-05-15 2019-09-03 Sigray, Inc. X-ray techniques using structured illumination
US10247683B2 (en) 2016-12-03 2019-04-02 Sigray, Inc. Material measurement techniques using multiple X-ray micro-beams
WO2018175570A1 (en) 2017-03-22 2018-09-27 Sigray, Inc. Method of performing x-ray spectroscopy and x-ray absorption spectrometer system
US10578566B2 (en) 2018-04-03 2020-03-03 Sigray, Inc. X-ray emission spectrometer system
CN112424591B (zh) 2018-06-04 2024-05-24 斯格瑞公司 波长色散x射线光谱仪
GB2591630B (en) 2018-07-26 2023-05-24 Sigray Inc High brightness x-ray reflection source
US10656105B2 (en) 2018-08-06 2020-05-19 Sigray, Inc. Talbot-lau x-ray source and interferometric system
CN112638261A (zh) 2018-09-04 2021-04-09 斯格瑞公司 利用滤波的x射线荧光的***和方法
CN112823280A (zh) 2018-09-07 2021-05-18 斯格瑞公司 用于深度可选x射线分析的***和方法
CN115035015A (zh) * 2021-02-23 2022-09-09 京东方科技集团股份有限公司 图片处理方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014097065A1 (en) * 2012-12-21 2014-06-26 Koninklijke Philips N.V. Image processing apparatus and method for filtering an image
JP2014524301A (ja) * 2011-08-19 2014-09-22 コーニンクレッカ フィリップス エヌ ヴェ 異なるモダリティのx線画像の周波数依存複合

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1223553A3 (en) * 2000-10-17 2003-09-24 Fuji Photo Film Co., Ltd. Apparatus for suppressing noise by adapting filter characteristics to input image signal based on characteristics of input image signal
US7835562B2 (en) * 2004-07-23 2010-11-16 General Electric Company Methods and apparatus for noise reduction filtering of images
US7502499B2 (en) * 2004-11-02 2009-03-10 Siemens Medical Solutions Usa, Inc. System and method for filtering noise from a medical image
US7782998B2 (en) * 2004-12-21 2010-08-24 General Electric Company Method and apparatus for correcting motion in image reconstruction
US7623732B1 (en) * 2005-04-26 2009-11-24 Mercury Computer Systems, Inc. Method and apparatus for digital image filtering with discrete filter kernels using graphics hardware
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US20080007747A1 (en) * 2006-06-30 2008-01-10 Fuji Photo Film Co., Ltd. Method and apparatus for model based anisotropic diffusion
US7860331B2 (en) * 2006-11-23 2010-12-28 General Electric Company Purpose-driven enhancement filtering of anatomical data
US7706497B2 (en) * 2008-03-14 2010-04-27 General Electric Company Methods and apparatus for noise estimation for multi-resolution anisotropic diffusion filtering
JP5367704B2 (ja) * 2008-05-28 2013-12-11 株式会社日立メディコ 画像処理装置、画像処理方法、及び画像処理プログラム
US8189945B2 (en) * 2009-05-27 2012-05-29 Zeitera, Llc Digital video content fingerprinting based on scale invariant interest region detection with an array of anisotropic filters
JP5223702B2 (ja) * 2008-07-29 2013-06-26 株式会社リコー 画像処理装置、ノイズ低減方法、プログラム、記憶媒体
GB2463906A (en) 2008-09-29 2010-03-31 Medicsight Plc Identification of medical image objects using local dispersion and Hessian matrix parameters
JP5525867B2 (ja) * 2009-03-04 2014-06-18 株式会社東芝 超音波診断装置、画像処理装置、超音波診断装置の制御方法、及び画像処理方法
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8396273B2 (en) * 2009-12-30 2013-03-12 General Electric Company Noise reduction method for dual-energy imaging
DE102010034099B4 (de) * 2010-08-12 2017-04-06 Siemens Healthcare Gmbh Iterative Bildfilterung mit anisotropem Rauschmodell für ein CT-Bild
JP5818592B2 (ja) * 2010-09-09 2015-11-18 株式会社東芝 超音波診断装置、医用画像処理装置及び医用画像処理方法
US8855394B2 (en) * 2011-07-01 2014-10-07 Carestream Health, Inc. Methods and apparatus for texture based filter fusion for CBCT system and cone-beam image reconstruction
JP2013050441A (ja) * 2011-08-03 2013-03-14 Canon Inc 波面測定装置、波面測定方法、及びプログラム並びにx線撮像装置
EP2745780B1 (en) * 2011-09-07 2015-12-09 Shimadzu Corporation Image processing device and radiation imaging apparatus comprising same
US8953902B2 (en) * 2012-07-06 2015-02-10 Morpho Detection, Llc Systems and methods for thin object imaging
US8971605B2 (en) * 2012-08-23 2015-03-03 General Electric Company System and method for correcting for metal artifacts using multi-energy computed tomography
JP2014090967A (ja) * 2012-11-06 2014-05-19 Canon Inc X線撮像装置
JP6381895B2 (ja) * 2012-11-20 2018-08-29 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理方法およびx線診断装置
AU2012258412A1 (en) 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
JP2015190776A (ja) 2014-03-27 2015-11-02 キヤノン株式会社 画像処理装置および撮像システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524301A (ja) * 2011-08-19 2014-09-22 コーニンクレッカ フィリップス エヌ ヴェ 異なるモダリティのx線画像の周波数依存複合
WO2014097065A1 (en) * 2012-12-21 2014-06-26 Koninklijke Philips N.V. Image processing apparatus and method for filtering an image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045981A (ja) * 2017-08-30 2019-03-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US9837178B2 (en) 2017-12-05
JP6594075B2 (ja) 2019-10-23
US20170023683A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
JP6594075B2 (ja) 画像処理装置、撮像システム、画像処理方法
US9795350B2 (en) Material differentiation with phase contrast imaging
CN105874509B (zh) 微分相衬成像中的相位恢复
JP6105586B2 (ja) エネルギー高感度検出の微分位相コントラストイメージング
JP5777360B2 (ja) X線撮像装置
JP6741080B2 (ja) X線位相イメージング装置
JP6670398B2 (ja) 暗視野又は位相コントラストx線撮像における特徴抑制
JP5868132B2 (ja) 撮像装置および画像処理方法
JP6793469B2 (ja) データ処理装置、x線ct装置及びデータ処理方法
JP2012200567A (ja) 放射線撮影システム及び放射線撮影方法
CN102525531B (zh) 减少x射线成像检查中使用的放射剂量的方法及ct***
JP6987352B2 (ja) 医用画像処理装置および医用画像処理方法
WO2011011014A1 (en) X-ray scattering imaging
Tahir et al. Mesh-based phase contrast Fourier transform imaging
Sanchez et al. Task‐based optimization of dedicated breast CT via Hotelling observer metrics
JP2014140632A (ja) 演算装置、画像取得方法、プログラム、及びx線撮像システム
JP2015213665A (ja) 放射線撮像装置
US20160162755A1 (en) Image processing apparatus and image processing method
Flay et al. Application of the optical transfer function in x-ray computed tomography-a review.
JP6116222B2 (ja) 演算装置、プログラム及び撮像システム
CN102711611B (zh) 放射线图像处理装置以及放射线图像处理方法
CN114650774B (zh) 用于处理由暗场和/或相衬x射线成像***采集的数据的装置
CN113228099A (zh) 基于mtf调制的量子噪声测量来计算数字图像检测器***的点扩散函数的方法和***
Baier et al. Contrast based method for the automated analysis of transfer functions and spatial resolution limits of micro-and nano-focus computed tomography systems: Evaluation with simulated data
Pyakurel et al. Phase and dark‐field imaging with mesh‐based structured illumination and polycapillary optics

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180704

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190924

R151 Written notification of patent or utility model registration

Ref document number: 6594075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151