JP2015190776A - 画像処理装置および撮像システム - Google Patents

画像処理装置および撮像システム Download PDF

Info

Publication number
JP2015190776A
JP2015190776A JP2014066353A JP2014066353A JP2015190776A JP 2015190776 A JP2015190776 A JP 2015190776A JP 2014066353 A JP2014066353 A JP 2014066353A JP 2014066353 A JP2014066353 A JP 2014066353A JP 2015190776 A JP2015190776 A JP 2015190776A
Authority
JP
Japan
Prior art keywords
image
pattern
pixel
original image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014066353A
Other languages
English (en)
Inventor
長井 健太郎
Kentaro Nagai
健太郎 長井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014066353A priority Critical patent/JP2015190776A/ja
Priority to US14/659,925 priority patent/US20150279027A1/en
Priority to EP15161087.0A priority patent/EP2924972A1/en
Publication of JP2015190776A publication Critical patent/JP2015190776A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/484Diagnostic techniques involving phase contrast X-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating thereof
    • A61B6/582Calibration
    • A61B6/585Calibration of detector units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

【課題】周期的なパターンを含む画像に含まれる欠損画素を高品位に補正するための技術を提供する。【解決手段】画像処理装置が、周期的なパターンと欠損画素とを含む元画像を取得する画像取得部と、前記元画像と共通する周期的なパターンを含む補完用パターン画像を取得する補完用パターン画像取得部と、前記元画像における欠損画素の位置を特定する欠損個所特定部と、特定された前記元画像における欠損画素を、前記補完用パターン画像における同じ位置の画素で補完することにより、欠損画素が補正された補正画像を生成する補正部と、を有する。【選択図】図6

Description

本発明は周期的なパターンを含む像のイメージング技術に関する。
従来、精密に物質の形状を測定する手段として位相を用いた測定方法が用いられてきた。位相を用いた測定法は波面のそろった電磁波などの(コヒーレントな)入射光に対して、干渉を生じさせる機構を有しており、その干渉縞を計測することで波長の数分の一から数十分の一の位相差による入射光波面(位相)の変化を測定する。このような干渉計は例えばレンズの表面のわずかな凹凸を測定するのに好適な手段である。
さらに、干渉を用いた波面計測手法の中でも近年注目を集めているのが、数十ナノメール以下の波長の電磁波、すなわちX線を利用したX線位相イメージングである。X線位相イメージングは、従来の被検体の吸収によるコントラストを画像化するX線吸収像とは異なり、被検体に対するX線の透過時に生じる入射光の位相変化を干渉によって検出する手段である。位相変化を検出することで従来の吸収像では検出が困難であった生体軟組織などの被検体内部における吸収係数の低い箇所を観察することができる。
X線位相イメージングの例として、X線を用いたトールボット干渉法について述べる(特許文献1)。X線トールボット干渉計では、光源からのX線が被検体を透過し、それに伴って光の入射位相が変化する。被検体を透過した光は、回折格子と呼ばれる周期的パターンを持った格子で回折されることによって、回折格子からトールボット距離と呼ばれる所定の距離だけ離れた位置に第一の干渉パターンを形成する。この第一の干渉パターンの変化を被検体のない場合と比較解析することで前述の入射光波面の変化を測定する。
前述の周期的なパターンを持った回折格子のパターン周期は、装置長や入射光の波長等の条件によって変化する。一般的なX線の場合、その周期は数μmのオーダーとなる。また、それによって生じる第一の干渉パターンも同様に数μmのオーダーの周期となることが知られている。このような場合、一般的に用いられている検出器では、分解能がせいぜい数十μmであるため、第一の干渉パターンを検出することは不可能である。そのため、干渉パターンが形成される位置に第一の干渉パターンとほぼ同じ周期の遮蔽格子を配置する。遮蔽格子で第一の干渉パターンの一部を遮ることにより周期が数百μm程度の第二の干渉パターン、すなわちモアレを形成し、このモアレを検出器で検出することによって干渉パターンの変化を間接的に測定することができる。
モアレから微分位相を解読する手法、すなわち位相回復手法にはいくつかの手法があげられるが、その一つとしてフーリエ変換法がある。この手法ではモアレ像をフーリエ変換しそのキャリア周波数と一致したスペクトル周りのデータから位相情報を取得する。
国際公開第2010/050483号 特開2011−19591号公報
前述の通りトールボット干渉計ではモアレ画像を取得してそれを解析する位相回復手法が必要である。しかし、検出器の欠損や格子の欠損といった理由によりモアレの強度情報
が検出できない場合がある。このような場合、該当箇所に位置する画素の位相情報は消失してしまう。さらにフーリエ変換法など実質的に一枚もしくは数枚の画像中の複数の画素から情報を抽出する位相回復手法の場合、その欠損画素の情報が、その欠損画素エリア内のみならず近傍の正常エリアまで広がってしまう可能性もある。
欠損画素エリアのデータ補完方法としてはさまざまな方法がすでに提案されている。特許文献2は、検出器で欠損画素が生じた場合に、近接の正常画素の情報から補完する手法を開示している。特許文献2の手法は吸収画像を撮像する装置には有効であるが、トールボット干渉計のように空間的な周期性をもつパターンをイメージングするタイプの装置に用いるデータ補完としては十分ではないことが多い。なぜならば、モアレのような周期的な強度パターンを含む画像の場合、単純に近接画素の情報で置換しただけではその周期が再現されず、前述のように欠損画素の情報が正常画素エリアまで広がってしまう影響を消し去ることが困難であるためである。
またトールボット干渉計の場合、直接解析されるのは微分位相であるため、位相を計算するためには微分位相に対して積分操作を行う必要がある。前述のような欠損による誤った情報は積分時に増幅され位相像全体に定性的、定量的誤差を与える。
本発明は上記実情に鑑みなされたものであって、周期的なパターンを含む画像に含まれる欠損画素を補正するための技術を提供することを目的とする。
本発明の第1態様は、周期的なパターンと欠損画素とを含む元画像を取得する画像取得部と、前記元画像と共通する周期的なパターンを含む補完用パターン画像を取得する補完用パターン画像取得部と、前記元画像における欠損画素の位置を特定する欠損個所特定部と、特定された前記元画像における欠損画素を、前記補完用パターン画像における同じ位置の画素で補完することにより、欠損画素が補正された補正画像を生成する補正部と、を有することを特徴とする画像処理装置である。
本発明の第2態様は、被検体を反射もしくは透過した電磁波を干渉させて干渉パターンを形成し、その干渉パターンを検出器によって画像化する撮像装置と、本発明に係る画像処理装置と、を有することを特徴とする撮像システムである。
本発明の第3態様は、画像処理装置の制御方法であって、周期的なパターンと欠損画素とを含む元画像を取得するステップと、前記元画像と共通する周期的なパターンを含む補完用パターン画像を取得するステップと、前記元画像における欠損画素の位置を特定するステップと、特定された前記元画像における欠損画素を、前記補完用パターン画像における同じ位置の画素で補完することにより、欠損画素が補正された補正画像を生成するステップと、を有することを特徴とする画像処理装置の制御方法である。
本発明の第4態様は、本発明に係る画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
本発明によれば、周期的なパターンを含む画像に含まれる欠損画素を補正することができる。
本実施形態の撮像システムの構成を示す図。 被検体、モアレ画像、モアレ画像内の欠損個所の例。 比較例1における位相回復の例。 比較例2における位相回復の例。 欠損画素の補完処理に関わる機能のブロック図。 実施例1と実施例2における欠損画素の補完処理のフローチャート。 実施例1におけるフーリエパターン、フィルタ、補正モアレ画像の例。 実施例1における位相回復の例。 実施例2における位相回復の例。
以下、本発明の実施の形態について説明する。図1はトールボットX線位相イメージングの撮像システムの構成を示した図である。撮像システムは、X線トールボット干渉計からなる撮像装置10と、撮像装置10で取得したX線画像を処理する画像処理装置11とから構成される。撮像装置10は、X線を発生させるX線源(光源)110と、X線を回折する回折格子130と、X線の一部を遮る遮蔽格子140と、X線を検出する検出器150とを備えている。画像処理装置11は、撮像装置10に接続された演算部(コンピュータ)160と、演算部160による演算結果に基づいた画像を表示する画像表示装置170とを有している。
演算部160は、CPU(中央演算処理装置)、RAM(ランダムアクセスメモリ)、補助記憶装置などのハードウェア資源を備えた汎用のコンピュータにより構成できる。後述する画像処理、各種演算、および制御は、補助記憶装置に格納されたプログラムをCPUが読み込み実行することで実現されるものである。なお、演算部160の機能のうちの一部又は全部をASIC(Application Specific Integrated Circuit)のような回路で構成することもできる。
X線源110からのX線は回折格子130により回折され、トールボット距離と呼ばれる所定の距離をおいて明部と暗部が配列方向に並んだ干渉パターン180を形成する。
通常、回折格子130による第一の干渉パターン180の周期は数μmから十数μm程度である。そこで、第一の干渉パターン180と同じかわずかに異なる周期をもつ遮蔽格子140を、第一の干渉パターン180が形成される位置に配置する。そうすると、第一の干渉パターン180と遮蔽格子140によりモアレが形成され、干渉パターンの周期を数十μm以上あるいは無限に拡大することができる。モアレの周期は、用いる位相回復方法と検出器の画素サイズを考慮して適宜決めることができるが、本実施形態においては、モアレの周期が画素サイズの2倍以上、検出器の撮像範囲以下であることが好ましい。このモアレ(空間的な周期性をもつパターン)を二次元イメージセンサである検出器150により画像化し、二次元画像を得る。このような仕組みにより、数十μm平方程度の分解能の検出器150で、数μmから十数μmの周期をもつ干渉パターンのイメージングを可能にしている。ただし、検出器150の空間分解能が十分に高い場合には、遮蔽格子140を省略し、第一の干渉パターン180をそのまま撮像してもよい。
測定時には、被検体120を回折格子130の前に設置する。X線は一般に透過性が高いために被検体120を透過するが、その際に透過した物質の分子構造と密度に応じた位相の変化が生じる。この位相の変化は第一の干渉パターン180の配置に影響を与える。そのため遮蔽格子140によるモアレにも歪みを生じさせる。この歪みは演算部160で計算することで位相の微分情報として取得できる。
モアレから微分位相を取得する方法について説明する。この微分位相像を取得する手法はトールボット干渉計においては位相シフト法、フーリエ変換位相回復法など様々な方法があり、位相回復方法は特に限定されない。本実施形態では、単一のモアレから一度にx方向、y方向二方向の微分位相像を取得できる二次元格子を用いた例について説明する。
しかし、その他にも一次元の格子を用いて二回撮像操作を行い、xとyの微分位相像を別々に取得する方法も考えられる。また、以下では二次元格子を用い位相回復法としてフーリエ変換位相回復法に基づいた結果について説明する。フーリエ変換位相回復法については特許文献1に詳しい。
こうして取得したx方向、y方向それぞれの微分位相像を用いて積分演算を行う。積分演算の方法も単純に一方の端から積算していく方法や、フーリエ変換を用いた方法等、さまざま考えられるが、ここでは二次元格子を用いたモアレの特性を生かすフーリエ積分法を用いた方法について説明する。フーリエ積分法と上記の微分位相を求める際に用いたフーリエ変換位相回復法とはフーリエ変換を用いる点が共通ではあるが、独立した別個の手法であり、例えば位相シフト法とフーリエ積分法とを組み合わせても良い。
上記の手法によって取得されたx方向、y方向の微分位相像をそれぞれD(x,y)、D(x,y)とおく。x,yは座標である。フーリエ積分法による積分ではこの二つの方向成分を式1のように複素数で表現した関数を用いる。
Figure 2015190776

ここでiは虚数単位である。このDから式2の演算を通してD、Dを微分成分とした積分値Pが取得される。
Figure 2015190776

ここで、F[・]とは括弧内の関数に対してフーリエ変換を行うことを指す演算記号である。F−1[・]は同様に逆フーリエ変換を行うことを示す演算記号である。また、kとkはフーリエ空間内における波数を示す。このフーリエ変換による手法では、ノイズの影響を抑えて精度の高い積分値を求めることができる。
以上がトールボット型X線位相イメージング装置の概要である。以下ではコンピュータによるシミュレーションの結果を用いて、本装置の処理の詳細及び効果を具体的に説明する。
(比較例1)
シミュレーションでは、図2Aに示すように、領域210のなかに4つの球が重なった構造の被検体220が存在する例を想定する。図2Bは、図2Aの被検体220から得られるモアレ画像の例である。ここではモアレ画像が一定の欠損画素を有していると仮定した。図2Cは欠損画素を示したマップであり、白い個所が欠損画素である。今回のシミュレーションでは、欠損画素を、X線の検出強度が所定値TH1より高い画素(ホットスポットと呼ばれる)、もしくは所定値TH2(<TH1)より低い画素(ダークスポットと呼ばれる)と設定した。つまり、モアレ画像において画素値がTH1〜TH2の範囲の画素は正常画素、当該範囲を外れた画素は欠損画素とする。ただし、欠損画素の検出方法は本発明の本質ではなく様々な欠損画素の取得方法を用いることができることを注記しておく。また、欠損画素とは単に検出器の異常だけにとどまらず、格子等の異常もしくは構成により生じる、データとして使用できない領域の画素も欠損画素に含まれる。
欠損画素には、大きく分けて、周囲が正常画素で囲まれて孤立している点欠損、点欠損
がいくつか連続して面上に存在している面欠損(ここでは3×3の大きさを仮定)、ライン上に点欠損画素が並んでいる線欠損の3種類が生じていると仮定した。
比較例1では何ら欠損補完を行わず位相回復を行った例を紹介する。図3A〜図3Dは比較例1の結果を示す。図3Aと図3Bはそれぞれ、欠損補完を行わずに位相回復した場合のx軸方向の微分位相像とy軸方向の微分位相像である。図3Cはフーリエ積分法を用いて取得した積分像を示す。図3A、図3B、および図3Cより、モアレ像における欠損画素が位相像に影響を及ぼし、更に積分像に深刻な影響を及ぼしていることが分かる。
図3Dは図3Aの位相像のうちで点欠損に該当する個所を拡大した図である。モアレ画像上では点欠損は1×1の孤立した欠損画素であるが、位相像では数値の異常が欠損画素の外側にまで広がっている(310および320で指示された領域)ことがわかる。これは位相回復したイメージ上において欠損画素エリアが広がっているとみなすことができる。すなわち位相回復の後に欠損画素を補完する方法は効率が悪いことを意味する。
(比較例2)
次に比較例2として、入力画像の欠損画素部を特許文献2のような近接の画素で補完する方法で補正し位相回復した例を紹介する。ここでは欠損画素部の代表値を計算する手法として5×5のメディアンフィルタを用いた。まず、元画像であるモアレ画像(図2B)にメディアンフィルタを施したデータを作成する。そして、元画像のうちの欠損画素を、メディアンフィルタを施したデータの同じ位置の画素で置換することで補完した後、位相回復を行った。
図4A〜図4Cは比較例2の結果を示す。図4Aと図4Bはそれぞれ、比較例2の方法で位相回復した場合のx軸方向の微分位相像とy軸方向の微分位相像であり、図4Cはフーリエ積分法を用いて取得した積分像である。比較例1に比べて欠損画素部の影響は軽減されているものの、依然として欠損の影響が積分像において正常画素エリアまで広がっている。特に線欠損が積分像に縞状のずれを生じさせている。
(実施例1)
比較例2で提示したような近接画素情報で補完する手法はトールボット干渉計では適切でない場合がある。その原因はトールボット干渉計がモアレと呼ばれる干渉縞(空間的な周期性をもつパターン)を利用している点にある。モアレは場所によって強度が周期的に変化するため、欠損個所の補完もその周期的変化を考慮し、干渉縞の値として蓋然性の高い値で置換する必要があるためである。本実施例の補完手法は、モアレの周期性を考慮してこれら欠損個所のモアレ像を補完するプロセスを含むことで、モアレを再現し、それによって欠損画素部の影響を比較例1,2よりも軽減することを可能とする。
図5は、画像処理装置11における欠損画素の補完処理(補正処理)に関わる機能のブロック図である。当該機能は、画像取得部300、欠損個所特定部301、補完用パターン画像取得部302、及び、補正部303から構成される。画像取得部300は、周期的なパターンと欠損画素とを含む元画像(モアレ画像)を取得する機能である。欠損個所特定部301は、元画像における欠損画素の位置を特定する機能である。補完用パターン画像取得部302は、補完用パターン画像を取得する機能である。補完用パターン画像とは、元画像と共通する周期的なパターンを含む画像であり、元画像に比べ欠損画素の影響が低減された(又は欠損画素を含まない)画像である。補正部303は、元画像と補完用パターン画像を用いて、欠損画素が補正された補正画像を生成する機能である。
実施例1では、モアレに対応する空間周波数成分を元画像から抽出することにより補完用パターン画像を生成し、元画像の欠損画素を補完用パターン画像の同じ位置の画素に置
き換えることで、欠損画素の補完を行う。以下、図6Aに示すフローチャートに沿って、これらの機能の詳細を説明する。
まず、画像取得部300が、撮像装置10からモアレ画像(元画像)を取得する(ステップ500)。続いて、欠損個所特定部301が、入力したモアレ画像に対して欠損個所の判定を行う(510)。具体的には、欠損個所特定部301は、比較例1で述べたように、モアレ画像において画素値がTH1〜TH2の範囲の画素を正常画素とみなし、当該範囲を外れた画素を欠損画素と判定する。ただし、欠損個所の特定はこの方法に限らずどのような方法を用いてもよい。例えば、欠損画素の位置は撮像装置10に依存するものなので、撮像装置10ごとの欠損画素の位置情報を記憶部に予め保持しておき、ステップ510では記憶部から該当する位置情報を読み込むだけでもよい。
次に、補完用パターン画像取得部302が、モアレ画像にフーリエ変換を施す(ステップ520)。フーリエ変換するとモアレのフーリエパターン(フーリエ像、パワースペクトル、空間周波数画像とも呼ぶ)が得られる。フーリエパターンでは、モアレの周期に対応する周波数成分にピークが出現する。このピークの位置と数はモアレの種類によって変化する。補完用パターン画像取得部302は、フーリエパターンからスペクトルピークを検出し、各々のピーク位置(ピーク周波数)に中心が一致したバンドパスフィルタを生成する(ステップ530)。そして、補完用パターン画像取得部302は、これらのバンドパスフィルタを組み合わせたフィルタをフーリエパターンにかけることで、ピーク周波数の部分の情報、つまりモアレに対応する空間周波数成分を抽出する(ステップ540)。このフィルタ操作は、元画像に含まれるモアレパターン以外の画像情報である欠損画素の空間周波数成分を除去ないし低減する操作に相当する。
パスフィルタの幅を広くすることでモアレパターンの精度を向上させることができるが、広く取りすぎると欠損個所の影響を受けてしまう可能性がある。そこでフィルタの幅(サイズ)は適当な大きさに設定する必要がある。ここではパスフィルタとして、式3で定義されるガウシアンを用い、その幅(半径)を表す分散σの値を1(画素単位)に設定した。
Figure 2015190776
次に、補完用パターン画像取得部302は、フィルタ後のフーリエパターンを逆フーリエ変換することで(ステップ550)、元画像内の欠損エリアが蓋然性の高いデータで置き換えられた補完用パターン画像を生成する。最後に、補正部303が、元のモアレ画像における欠損画素のデータを、ステップ550で求めた補完用パターン画像における同じ位置のデータで置き換えることで、欠損画素の補完を行う(ステップ560)。
以上の処理により、欠損画素が補正された補正画像(以下、補正モアレ画像とも記す)を得ることができる。このような方法によれば、元のモアレ画像における欠損画素エリアのモアレ情報が復元される。そのため位相回復操作を行っても自然な画像が生成される。
図7Aは、図2Bのモアレ画像をフーリエ変換することで得られたフーリエパターンである。なお、フーリエ変換後の値は一般的に複素数になるので正確にはフーリエパターンの絶対値である(またここでは図の可視性を高めるために絶対値の対数で表示している)。この場合モアレの周期に対応した位置に合計9つのピークが出現する。図7Bは、9つのピークのそれぞれに応じたガウシアンパスフィルタを組み合わせたフィルタの例である
。ここで各々のガウシアンパスフィルタの半径を表す偏差σは1ピクセルとした(注意:ここでも図の可視性のためにパスフィルタの対数をとって表示しているため幅が実際より広がって見える)。このフィルタを重畳したフーリエパターンを逆フーリエ変換し、補完用パターン画像を生成した。図7Cは、図2Bのモアレ画像における欠損画素を、補完用パターン画像の同じ位置の画素に置き換えた、補正モアレ画像である。
図8Aと図8Bはそれぞれ、図7Cの補正モアレ画像を用いて位相回復したx軸方向の微分位相像とy軸方向の微分位相像を示している。図8Cは、フーリエ積分法を用いて取得した積分像を示している。比較例1、比較例2で示されたような微分位相像、および積分された位相像の歪みが軽減していることが分かり、実施例1の方法の効果が証明されている。
(実施例2)
実施例2では実施例1で示した方法を一定回数繰り返す方法について提案する。すなわち、補正モアレ画像から新たな補完用パターン画像を生成し、その新たな補完用パターン画像を用いて元のモアレ画像の欠損画素を補完する、という処理を繰り返し実行する。これにより、補正効果を高めることができ、特に線欠損に関して実施例1よりも高い補正効果を得ることができる。
図6Bに実施例2の処理のフローチャートを示す。実施例1の処理(図6A)との違いは、一定の条件下でステップ520からステップ560の処理を繰り返すことにある(ステップ570)。なお、ステップ520では、2回目以降、ステップ560で得られた補正モアレ画像を用いるものとする。こうすることで補完用パターン画像におけるモアレパターンの再現性を高めることが可能である。
ステップ570における繰り返しの終了条件はどのように設定してもよい。実施例2では、繰り返し回数を予め定めておき(例えば20回)、その回数繰り返したら処理を終了することとした。他の方法としては、何らかの評価式や評価値を定義して処理の収束を判定してもよい。例えば、前回の補正モアレ画像と今回の補正モアレ画像の画素ごとの差分の合計を評価値とし、この評価値が所定の閾値以下に下がったら(つまり、繰り返し処理による補正の改善効果が小さくなったら)、繰り返し処理を終了してもよい。
さらに実施例2では、処理を繰り返すごとに、ステップ530におけるガウシアンパスフィルタの幅(フィルタ半径)を徐々に大きくした(具体的には、ガウシアンの偏差σの値を1ずつ20まで増やした)。フィルタの幅を大きくすることで、モアレパターンに重畳されている被検体の情報もより多く抽出できるため、補完用パターン画像におけるモアレと被検体情報の両方の再現性を高めることが可能となる。なお、繰り返し処理の前半では、フィルタの幅が小さいため欠損画素の情報を極力拾わないようにでき、欠損画素の是正が進むにつれて、フィルタの幅を大きくし、被検体の情報抽出を優先するようにしている。これにより、より妥当な補完用パターン画像が得られ、補正モアレ画像の正確性を高めることができると期待できる。
図9Aと図9Bはそれぞれ、本実施例の方法で最終的に得られた補正モアレ画像を用いて位相回復したx軸方向の微分位相像とy軸方向の微分位相像を示している。図9Cは、フーリエ積分法を用いて取得した積分像を示している。実施例1で得られた結果よりもさらに歪み(ライン状の誤差)が軽減しており、実施例1よりも高い効果が得られたことを示している。
これらの実施例の効果を定量的に示すために表1を示す。表1は、比較例1、2と実施例1、2の四例で得られた微分位相像と積分像を、欠損画素がなかったと仮定した場合の
値とそれぞれ比較した結果を示す。表1の値は、各画像の画素値と欠損画素がなかった場合の画素値との差の二乗平均を示したもので、値が低いほど良い結果である。
Figure 2015190776
実施例1、2の方法によれば、比較例1、2に比べて、欠損画素を高品位に補正できることが分かる。
(他の実施例)
以上述べた実施例は本発明の一具体例を示したものにすぎず、本発明の範囲をそれらの具体例に限定する趣旨のものではない。
補完用パターン画像としては、元画像と共通する周期的なパターンを含んでいる画像であれば、どのような画像を用いることもできるし、また補完用パターン画像の取得方法、手段、タイミング(時期)等にも様々なバリエーションが考えられる。例えば、上記実施例では元画像から補完用パターン画像を生成しており、この方法は補完用パターン画像において元画像内の被検体の情報も再現できるという利点がある。しかし、元画像ではなく、同じ撮像装置で得られた他の画像(例えば、被検体を置かずに撮像した画像、ファントム(モデル)を用いて撮像した画像など)から補完用パターン画像を生成してもよい。あるいは、撮像装置を構成する格子や検出器のパラメータから理論的に計算したモアレパターン画像を、補完用パターン画像として用いることもできる。このように元画像以外から補完用パターン画像を生成する場合には、予め生成した補完用パターン画像を記憶部に保持しておくとよい。そうすると実施例1(図6A)のステップ520から550の処理の代わりに、記憶部から該当する補完用パターン画像を読み込む処理を行うだけでよくなり、処理時間の短縮を図ることが可能となる。尚、本発明及び本明細書では、このように予め生成した補完用パターン画像を読み込む処理のことも、補完用パターン画像を取得する処理とみなす。
また上記実施例ではガウシアンパスフィルタを用いたが、フィルタの形状はこれに限られない。Sinc関数や単純な円柱型窓関数のようなフィルタを用いてもよい。また上記実施例ではフーリエパターンのピークを検出し、そのピーク周波数に合わせてフィルタを設定している。撮像装置のドリフトや被検体に応じてピーク周波数が変動し得るため、上記実施例のように元画像のスペクトルピークに合わせてフィルタの位置を設定する方が、より正確な補完用パターン画像を生成できるという利点があるからである。しかし、ピーク周波数の変動を無視してもよい場合は、位置固定のフィルタを用いても構わない。これにより、ステップ530の処理を省略できるので、処理時間の短縮を図ることが可能となる。
また上記実施例では、二次元格子を用いたX線トールボット干渉計を例示したが、本発明の適用範囲はこれに限らない。例えば、一次元の格子を用いた干渉計や、X線以外の様々な波長、種類の電磁波を用いた干渉計(例えば、光学干渉計)などにも適用可能である。また干渉計に限らず、被検体を反射もしくは透過した電磁波により形成される、空間的な周期性をもつパターンを撮像することにより得られる画像であれば、本発明の欠損画素補完を好適に適用できる。また、本発明が適用される撮像装置は、X線源又は電磁波源と別体に構成され、X線源又は電磁波源と組み合わせられることで撮像が可能になる構成でも良い。尚、本発明及び本明細書において撮像装置とは、周期性をもつパターンを撮像す
る装置であれば良く、被検体の情報を画像化するものに限定されない。
上述した画像処理装置の具体的な実装は、ソフトウェア(プログラム)による実装と、ハードウェアによる実装のいずれも可能である。例えば、画像処理装置に内蔵されたコンピュータ(マイコン、CPU、MPU、FPGA等)のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するASIC等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。
また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。よって、上記コンピュータ(CPU、MPU等のデバイスを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
10:撮像装置、11:画像処理装置
110:X線源、120:被検体、130:回折格子、140:遮蔽格子、150:検出器、160:演算部、170:画像表示装置、180:干渉パターン
300:画像取得部、301:欠損個所特定部、302:補完用パターン画像取得部、303:補正部

Claims (14)

  1. 周期的なパターンと欠損画素とを含む元画像を取得する画像取得部と、
    前記元画像と共通する周期的なパターンを含む補完用パターン画像を取得する補完用パターン画像取得部と、
    前記元画像における欠損画素の位置を特定する欠損個所特定部と、
    特定された前記元画像における欠損画素を、前記補完用パターン画像における同じ位置の画素で補完することにより、欠損画素が補正された補正画像を生成する補正部と、を有する
    ことを特徴とする画像処理装置。
  2. 前記補完用パターン画像取得部は、
    前記元画像から、前記周期的なパターンに対応する空間周波数成分を抽出することにより、前記補完用パターン画像を生成する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記補完用パターン画像取得部は、
    前記元画像をフーリエ変換し、得られたフーリエパターンに対しバンドパスフィルタをかけることでピーク周波数の部分の情報を抽出し、抽出した情報を逆フーリエ変換することにより前記補完用パターン画像を生成する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記補完用パターン画像取得部は、前記フーリエパターンからピーク周波数を検出し、検出したピーク周波数を中心に前記バンドパスフィルタを設定する
    ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記補完用パターン画像取得部が前記補正画像から新たな補完用パターン画像を生成し、前記補正部が前記新たな補完用パターン画像を用いて前記元画像における欠損画素を補完することにより新たな補正画像を生成する、という処理を繰り返す
    ことを特徴とする請求項3又は4に記載の画像処理装置。
  6. 前記補完用パターン画像取得部は、前記処理を繰り返すごとに、前記バンドパスフィルタの幅を大きくする
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記補完用パターン画像取得部は、予め生成された補完用パターン画像を記憶する記憶部から、前記元画像と共通する周期的なパターンを含む補完用パターン画像を読み込む
    ことを特徴とする請求項1に記載の画像処理装置。
  8. 前記欠損個所特定部は、前記元画像において画素値が所定の範囲を外れた画素を欠損画素と特定する
    ことを特徴とする請求項1〜7のうちいずれか1項に記載の画像処理装置。
  9. 前記元画像は、被検体を反射もしくは透過した電磁波により形成される、空間的な周期性をもつパターンを撮像することにより得られる画像である
    ことを特徴とする請求項1〜8のうちいずれか1項に記載の画像処理装置。
  10. 前記元画像は、被検体を反射もしくは透過した電磁波を干渉させて干渉パターンを形成し、その干渉パターンを検出器によって画像化する撮像装置によって得られる画像であることを特徴とする請求項1〜9のうちいずれか1項に記載の画像処理装置。
  11. 前記撮像装置は、X線トールボット干渉計である
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 被検体を反射もしくは透過した電磁波を干渉させて干渉パターンを形成し、その干渉パターンを検出器によって画像化する撮像装置と、
    請求項1〜11のうちいずれか1項に記載の画像処理装置と、を有する
    ことを特徴とする撮像システム。
  13. 画像処理装置の制御方法であって、
    周期的なパターンと欠損画素とを含む元画像を取得するステップと、
    前記元画像と共通する周期的なパターンを含む補完用パターン画像を取得するステップと、
    前記元画像における欠損画素の位置を特定するステップと、
    特定された前記元画像における欠損画素を、前記補完用パターン画像における同じ位置の画素で補完することにより、欠損画素が補正された補正画像を生成するステップと、を有する
    ことを特徴とする画像処理装置の制御方法。
  14. 請求項13に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
JP2014066353A 2014-03-27 2014-03-27 画像処理装置および撮像システム Pending JP2015190776A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014066353A JP2015190776A (ja) 2014-03-27 2014-03-27 画像処理装置および撮像システム
US14/659,925 US20150279027A1 (en) 2014-03-27 2015-03-17 Image processing apparatus and imaging system
EP15161087.0A EP2924972A1 (en) 2014-03-27 2015-03-26 Image processing apparatus and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014066353A JP2015190776A (ja) 2014-03-27 2014-03-27 画像処理装置および撮像システム

Publications (1)

Publication Number Publication Date
JP2015190776A true JP2015190776A (ja) 2015-11-02

Family

ID=52774139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014066353A Pending JP2015190776A (ja) 2014-03-27 2014-03-27 画像処理装置および撮像システム

Country Status (3)

Country Link
US (1) US20150279027A1 (ja)
EP (1) EP2924972A1 (ja)
JP (1) JP2015190776A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LT6498B (lt) 2016-07-05 2018-02-12 Uab "Esspo" Inhibitorių kompozicijos, skirtos skystiems ledo tirpikliams
JP2018075173A (ja) * 2016-11-09 2018-05-17 キヤノン株式会社 X線撮像装置
JP2018109593A (ja) * 2017-01-06 2018-07-12 国立研究開発法人産業技術総合研究所 モアレによる材料の欠陥分布の可視化方法およびその自動検出方法、プログラム、装置
WO2020039655A1 (ja) * 2018-08-22 2020-02-27 株式会社島津製作所 X線位相イメージング装置
JP7460577B2 (ja) 2020-06-03 2024-04-02 株式会社リガク X線画像生成装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594075B2 (ja) 2015-07-22 2019-10-23 キヤノン株式会社 画像処理装置、撮像システム、画像処理方法
JP6643043B2 (ja) * 2015-10-30 2020-02-12 キヤノン株式会社 放射線撮像システム、信号処理装置、及び、放射線画像の信号処理方法
CN108921823B (zh) 2018-06-08 2020-12-01 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
TWI719490B (zh) * 2019-05-28 2021-02-21 國立中正大學 影像缺陷條紋之移除方法及其系統
CN115035015A (zh) * 2021-02-23 2022-09-09 京东方科技集团股份有限公司 图片处理方法、装置、计算机设备及存储介质
CN113409417B (zh) * 2021-07-15 2023-05-30 南京信息工程大学 一种基于小波变换的莫尔条纹信息提取方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142705B2 (en) * 2001-05-01 2006-11-28 Canon Kabushiki Kaisha Radiation image processing apparatus, image processing system, radiation image processing method, storage medium, and program
US8559594B2 (en) * 2008-10-29 2013-10-15 Canon Kabushiki Kaisha Imaging apparatus and imaging method
CN103876761B (zh) 2008-10-29 2016-04-27 佳能株式会社 X射线成像装置和x射线成像方法
WO2010080708A2 (en) * 2009-01-12 2010-07-15 Molecular Sensing, Inc. Methods and systems for interferometric analysis
JP2011019591A (ja) 2009-07-14 2011-02-03 Shimadzu Corp X線撮影装置、x線検出器における欠損画素の補間方法、および、x線検出器における欠損マップの作成方法
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
JP5538936B2 (ja) * 2010-02-10 2014-07-02 キヤノン株式会社 解析方法、プログラム、記憶媒体、x線位相イメージング装置
JP5378335B2 (ja) * 2010-03-26 2013-12-25 富士フイルム株式会社 放射線撮影システム
JP2012143549A (ja) * 2010-12-21 2012-08-02 Fujifilm Corp 放射線画像生成方法および放射線画像撮影装置
WO2012099220A1 (ja) * 2011-01-21 2012-07-26 兵庫県 3次元形状計測方法および3次元形状計測装置
JP5885405B2 (ja) * 2011-06-13 2016-03-15 キヤノン株式会社 撮像装置、干渉縞解析プログラム及び干渉縞解析方法
JP2013063099A (ja) * 2011-09-15 2013-04-11 Canon Inc X線撮像装置
JP2013150780A (ja) * 2011-12-27 2013-08-08 Fujifilm Corp 放射線撮影装置及び放射線撮影方法
JP2014006247A (ja) * 2012-05-28 2014-01-16 Canon Inc 被検体情報取得装置、被検体情報取得方法及びプログラム
AU2012268882B2 (en) * 2012-12-24 2015-07-09 Canon Kabushiki Kaisha Estimating phase for phase-stepping algorithms

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LT6498B (lt) 2016-07-05 2018-02-12 Uab "Esspo" Inhibitorių kompozicijos, skirtos skystiems ledo tirpikliams
JP2018075173A (ja) * 2016-11-09 2018-05-17 キヤノン株式会社 X線撮像装置
JP2018109593A (ja) * 2017-01-06 2018-07-12 国立研究開発法人産業技術総合研究所 モアレによる材料の欠陥分布の可視化方法およびその自動検出方法、プログラム、装置
WO2020039655A1 (ja) * 2018-08-22 2020-02-27 株式会社島津製作所 X線位相イメージング装置
JPWO2020039655A1 (ja) * 2018-08-22 2021-08-10 株式会社島津製作所 X線位相イメージング装置
JP7111166B2 (ja) 2018-08-22 2022-08-02 株式会社島津製作所 X線位相イメージング装置
JP7460577B2 (ja) 2020-06-03 2024-04-02 株式会社リガク X線画像生成装置

Also Published As

Publication number Publication date
US20150279027A1 (en) 2015-10-01
EP2924972A1 (en) 2015-09-30

Similar Documents

Publication Publication Date Title
JP2015190776A (ja) 画像処理装置および撮像システム
JP5538936B2 (ja) 解析方法、プログラム、記憶媒体、x線位相イメージング装置
JP5868132B2 (ja) 撮像装置および画像処理方法
JP2016077904A (ja) 撮像方法、画像処理装置、コンピュータ可読媒体、方法、装置およびシステム
US20150362444A1 (en) Phase information acquisition apparatus and imaging system
CN102142144A (zh) 图像处理装置和图像处理方法
CN110133014B (zh) 一种芯片内部缺陷检测方法及***
US20140114615A1 (en) Imaging apparatus and program and method for analyzing interference pattern
CN109377457A (zh) 药丸包衣图像处理方法、装置、计算机设备和存储介质
US20150204661A1 (en) Image processing apparatus and image processing method
JP2016087473A (ja) 2次元のフリンジ模様の復調において軸外周波数を低減するための非線形処理の方法、記憶媒体、および撮影システム
US20160162755A1 (en) Image processing apparatus and image processing method
JP2015205174A (ja) 画像処理装置および画像処理装置の制御方法
CN116559179B (zh) 一种反光表面形貌与缺陷检测方法及其***
JP2023514944A (ja) Ct画像内のリングアーチファクトの補正の方法及びデバイス並びにコンピュータプログラム媒体
CN113228099A (zh) 基于mtf调制的量子噪声测量来计算数字图像检测器***的点扩散函数的方法和***
JP2014117336A (ja) 演算装置、プログラム及び撮像システム
JP2017006468A (ja) 放射線撮像装置および微分方向推定方法
US20130314714A1 (en) Apparatus for acquiring information of object, and program
JP2018179969A (ja) X線位相差撮像システム
JP2016061608A (ja) 画像処理方法、画像処理装置、撮像システム
CN109781153B (zh) 物理参数估计方法、装置和电子设备
US11199812B2 (en) Digital holographic imaging apparatus
CN109754395A (zh) 有价票据的缺陷提取方法和缺陷提取装置
JP2002286411A (ja) 縞解析方法および装置