JP5657141B2 - 液体媒体中の乱流の影響を含む画像データの処理 - Google Patents

Description

本発明は、デジタル画像データの処理に関する。

本発明は具体的には、連続した画像(一般的には撮影された一続きの画面)の処理を目的とする。こうした画像は、カメラによって取得され、具体的にはカメラは、乱流が存在する液体の中に浸漬される。例えば、こうした乱流の影響は、温度の局所的差異のような、液体媒体中の不均一性によるものである可能性がある。このような乱流現象が、画像の画素の見かけ上の変位(apparent displacement)の影響を引き起こす。例えば、画像のエッジに対応する領域の温度の局所的差異が乱流現象を招き、撮影画像上のその影響は、この画像のエッジの画素の一部が(元の位置に対して)見かけ上変位する、画素の乱れとなって現れ、この変位は時間と共に(ランダムに)変わるものである。

こうした変動のランダム性は、画像から乱流の影響を除去するために画像を処理することの難しさ(さらには不可能)につながる。

本発明は、この状況を改善することを目的とする。

この目的のために、本発明は、前述のタイプの画像データを処理するための方法を提供し、具体的にはこの方法は:
- 画像の画素に対する乱流の影響をモデル化することと、
- 時間平均化された画像の上記モデル化による逆畳み込み(de-convolution)と
を含む。

有利には、乱流の影響を完全にモデル化することは可能であったが、比較的長期間にわたることが実際に認められている。したがって、時間をかけて画像の画素を平均化することにより、乱流の影響を封じ込める（squash）ことができるようにする。平均的な、ぼやけた画像が取得される。この画像を鮮明にレンダリングするために、乱流の影響を表すモデルによって、この画像に逆畳み込みが適用される。

当然ながら、カメラで撮影される場面は固定したものであると仮定するが、本明細書で後に提示する一実施形態は、静止した場面に対して平行移動するカメラの場合を扱う。

1つの有利な実施形態では、前述の、乱流の影響をモデル化することは、乱流の影響に関連する変位ベクトルuの確率密度のモデルh(u)の推定を含む。具体的には、特に有利な方法では、画像の画素における乱流の影響の確率的なモデル化(probabilistic modeling)により、これまでのランダムの乱流をモデル化するという問題に完璧にうまく対処することができたと認められている。

有利なモデルの一例は、指数関数的に減少するタイプのものであり、次のタイプの方程式によって、ベクトルuの関数として表すことができる:

ここで:
- σは、ベクトルuのノルムの標準偏差を表し、
- AおよびBは、例えばA=3/πおよびB=√6のように、正の実数定数である。

他の実施形態が可能であり、これについて下記に説明する。

時間平均化された画像の推定に関する限り、1つの可能な実施形態では、それぞれ時間の関数として減少する忘却係数(これ以降αと示す)の累乗によって重み付けされた平均が含まれる。

平均化された画像I_α(x,n)は、ベクトル座標xを有する画素について時間nにおいて推定され、下記式により求めることができる:

項αは、忘却係数に対応する実数である。

実際には、時間平均化された画像は、巡回型時間フィルタリングによって推定することができる。

したがって、時間nについて、I_f(x,n)と示される、時間フィルタのn番目の出力、および平均化された画像I_α(x,n)が、次の方程式により関連付けられる:

実行された試験は、忘却係数αが、1未満でありながら、1に近い場合、最良であったことを示した。0.99に等しく選択された値が、良い結果をもたらした。

次に、モデル化による逆畳み込みに関する限り、前述のモデル化に対応する式を用いた線形空間フィルタリングの適用が有利に含まれる。

空間フィルタリングは、ウィーナー(Wiener)型であることが有利であるが、他の実施形態も可能である。

空間フィルタは、例えばスペクトル領域で下記のタイプの式によって求められる:

の場合、

の場合、W_σ(f)=0

ここで:
- fは、2次元フーリエ変換後に正規化される2つの周波数の2次元ベクトルである。
- f_cは、潜在的なスペクトルエイリアシングを除去するためのフィルタの遮断周波数である。
- S_b(f)およびS_sharp(f)は、それぞれ雑音のスペクトルパワー密度および測定される鮮明な画像のスペクトルパワー密度である。
- H_σ(f)は、乱流h(u)の影響の確率密度の2次元フーリエ変換である。

この式の単純化は、下記のタイプの関係に従って空間フィルタを検討することになる:

ここで項RBSは、項RBSが10^-2と10^-4の間の範囲となるように選択されたパラメータの関数として表される。

前述のタイプの関係を用いて:

乱流h_σ(u)の影響の確率密度の2次元フーリエ変換H_σ(f)は、下記式により求められる:

ここでCは、正の実数であり、σは、画素数で数えられる正の実数である。

定数AおよびBの値を事前に与えられるとし、2次元フーリエ変換H_σ(f)を完全に定義すると、これは次式により求めることができる:

具体的には、実行された試験は、項σが有利には0ピクセルと30ピクセルの間に選択されるべきであることを示した。

先に述べたように、本発明は、静止した場面に対してカメラを平行移動させることができる実施形態を提供する。この場合、時間n-1における画像の画素を時間nにおける次の画像へ再配置すること(repositioning)を適用し、そしてカメラの変位の速度を考慮に入れてもなお、上記に提示した処理は維持され得る。

このようにこの実施形態では、平均化された画像を推定するために、前の画像から現在の画像への再配置を行う。

その後再配置および正規化と共に巡回型時間フィルタリングが実行され、1つの例示的実施形態では処理全体は、下記のステップを含む:
- 下記のようにリセットするステップ:
I_f(x,1)=0 N(x,1)=0、
- 下記のように巡回型時間フィルタリングするステップ:
I_f(x,n)=(1-α)I(x,n)+αI_f(x+[δ_n,n-1],n-1)、
ここで、
[δ_n,n-1]=([δx_n,n-1],[δy_n,n-1])
は、カメラの平行移動に起因する現在の画像nと前の画像n-1との間の、最も近い整数に丸められた、列シフトxおよび/または行シフトyのベクトルに対応する。
- 下記のように正規化行列(normalization matrix)Nを更新するステップ:
N(x,n)=(1-α)×1+αN(x+[δ_n,n-1],n-1)
- 下記のように時間フィルタの出力を正規化するステップ:

本発明はまた、コンピュータプログラムを目的とし、このプログラムはプロセッサによって実行されるとき、上記の方法を実施するための命令を含む。このようなプログラムの一般的なアルゴリズムの流れ図の一例を図3に示し、これについて下記に詳細に説明する。

本発明はまた、画像データを処理するための装置を目的とし、この装置は、画像の画素の見かけ上の変位の影響を引き起こす乱流現象を含む液体に浸漬されたカメラによって取得される連続デジタル画像データを処理するための入力を備える。具体的には、このような装置はさらに、上記の方法を実施するための計算手段を備える。このような計算手段は、プロセッサと、例えば前述のコンピュータプログラムの命令を実行するための作業用記憶装置（working storage）とを含むことができる。

本発明は、それに限定されないが、有利には、燃料要素集合体(fuel element assemblies)を撮影するために核施設の水中に浸漬されたカメラによって取得される画像データの処理に適用することができる。この文脈において、本発明の意味する方法のそのような使用法は、少なくとも下記を含む:
- 取得されて処理された画像から、燃料要素集合体の状態を判断すること。

例えば、取得されて処理された画像において、燃料要素集合体の少なくとも1つの識別子を判断することができる。
この実施形態により、有利には、監視され、調べられる炉心内での集合体の配列(arrangement)が可能である。

本発明の意味する方法の使用法は、さらに下記を含む:
- 上記画像内で、燃料要素集合体間の間隔を測定すること。
この実施形態により、有利には、精密に監視され、調べられる炉心内で集合体をそれぞれ位置付けることができる。

最終的には、このような使用の枠内で本発明の意味する方法を実施すると、これが原子炉ホール内の原子炉容器の水中であろうと、燃料ホールの貯蔵池の中であろうと、集合体の状態の全体的な検査が可能になることを理解されよう。

本発明はまた、好ましくは漏れ止めされて放射線に対する耐性があり、本発明を実施するための上述のタイプの装置に接続されると共に少なくとも1つのカメラを備えた、このような使用を実施するための設備を目的とする。

限定しない例示的実施形態の下記の詳細な説明を読み、また添付の図面を調べると、本発明の他の利点および特徴が明らかになるであろう。

本発明を実施するためのカメラおよび装置を備える設備と共に、本発明の1つの実施の枠組みにおける原子炉心を概略的に示す図である。 本発明の実施によって処理されない画像および処理される画像の両方を支援する、本発明の1つの実施形態における方法のステップを概略的に示す図である。 カメラが水平移動することができる1つの実施形態における方法の諸ステップの概略流れ図である。 図3にその諸ステップを示す方法を適用後に取得される鮮明な画像を示す図である。

まず、水で満たされた容器ENC中の原子炉心が、複数の核燃料要素集合体ASS(通常それぞれが例えば多数の燃料棒を含んでいる)を含む図1を参照する。各集合体ASSは、識別子ID(図4の図では白丸で囲んでいる)を含み、集合体は、集合体間の仕切りECによって間隔をあけられている。

次にカメラCAMが設けられて、集合体ASS、および具体的にはこのような集合体間の「S穴」と呼ばれる領域(図1には示さず)、および/または少なくとも1つの集合体識別子IDを撮影する。カメラによって取得される画像により、下記が可能になる:
- 例えばS穴について、集合体を安定させるために使用されるピンで燃料要素集合体を受け止めることの危険を軽減するために、有用な時間内に穴の変形が識別されること。
- 各燃料要素集合体が所定の炉心計画で指定される位置にあることを確認するために、集合体識別子を読み取ること。

集合体が浸漬された水に浸漬されたカメラCAMで、これらの画像を撮る。その場の水中の温度が違うために(水の指標の局所的変動をもたらし)、光乱流現象TURが生じる。本発明は、画像に影響を及ぼす乱流のモデル化を提供し、この乱流モデルを取得画像の処理に使用する。1つの有利な実施形態により、具体的には平行移動の速度に適合された画像再配置の技術を使用して、処理すべきこうした画像が得られるカメラの平行移動が可能となる。

再び図1を参照すると、カメラCAMは、一般的に下記を含む、取得された画像を処理するための装置DISに接続される:
- 取得された画像データを受信するためのインタフェースINT
- これらの画像データを処理するためのプロセッサPROCおよび作業用記憶装置（working storage）MEM
- 画像信号を調整して画面ECRに伝え、その後処理済み画像IMT(処理済み画像の一例を図4に示す)を表示するための出力インタフェースOUT

したがって、本発明の意味する方法を使用すると、遠隔ビデオ検査の状況で、特に現在電力を生成中の原子力発電所の原子炉停止動作で重要なステップを成す、燃料要素の再装填の終わりにおいて、有利である。こうした遠隔ビデオ検査は、(集合体番号の確認によって)炉心計画を検証し、(例えば集合体間のギャップ（gap：すき間）の測定によって)集合体の位置を正確に特定するために実行される。遠隔ビデオ検査はさらに、例えば集合体の位置調整が検証されることを可能にする。

またこの方法は、有利には、特に集合体要素の全部または一部の位置測定の計算を支援するための一連の画像(写真)の処理に適用できるが、しかし、例えば燃料ホール内の集合体の状態の検査にも適用できる。

これらの遠隔ビデオ検査の観察（interpretation）は、しばしば、水中の乱流現象を引き起こす、燃料要素からの熱の放出に起因する障害を提示する。こうした障害に直面して、撮影された一続きの画面を処理するための技法が開発されてきた。この処理のアルゴリズムは、リアルタイムで動作するように(ゆえにビデオデータストリームライブ（video data stream live）をフレームごとに処理できるように)設計されている。

包括的には、この処理は、画像の画素における乱流の影響の確率的なモデル化に基づいている。この乱流モデルにより、復元処理アルゴリズム(restoration processing algorithm)を次の2つのステップで定義することができる:
- 第1の時間フィルタリングにより、安定した、しかしぼやけた画像を取得することができる(このぼやけた画像は、その式が乱流ベクトルの確率密度に全く等しい、線形空間フィルタによる(未知の)元の鮮明な画像の畳み込みに対応することがわかる)。
- 例えばウィーナー型の、空間的な第2のフィルタリングにより、元の画像を鮮明にすることができる(したがってこれは線形逆畳み込みによって取得される)。

上述の2つのステップでの処理は、カメラが静止しているときに適用できる。時間フィルタの収束時間のために、満足できる復元画像を取得する前に数秒間カメラを固定することが好ましい。1つの有利な実施形態では、カメラが移動(一般には、最も多くの場合に対応する平行移動)しているとき、画像処理技法が提供される。

平行移動しているカメラの場合、時間フィルタがカメラの変動に適合するように、画像再配置のステップ(オプションであるが有利)が提供される。この画像再配置は、カメラの動きの暫定的な推定によって行われる。性能特性は満足できるものであり、有利には静止カメラを用いた処理に対して品質が損なわれない。

下記に、第1のステップとして、乱流による劣化モデルの一例について述べる。

これ以降、I(x,n,c)は、成分c(赤成分、緑成分、青成分に対してそれぞれc=1,2,3)について、受信されたn番目の生画像上の座標

を有する画素の値を示す。処理動作は3つの成分で同一であるので、処理される成分に言及しないことにより表記は単純化され、I(x,n,c)は単にI(x,n)と書かれる。

理想的な条件(乱流がない、静止カメラ、一定の場面)のもとでは、撮影された一続きの画面の画像I(x,n)は、I_sharp(x)と示される単一の、同じ鮮明な、元の連続した画像をサンプリングすることから生じ、I(x,n)=I_sharp(x)となる。

次に、乱流がある場合、画像の各画素が、その最初の位置からずれていることを考慮する。画像nにおいて、画素xのシフトに対応するベクトルをu_x,nと示すと、次のように書くことができる:
I(x,n)=I_sharp(x+u_x,n)

さらに、乱流による変位はランダムである。変位ベクトルu_x,nの解析式(analytical expression)を見つけることは、想定できるものであるとは思われない。

こうした変位の確率論的記述を次に提供する。乱流ベクトルu_x,nは、下記に示すある確率密度に従ってランダムベクトルとみなされる:
h_x,n(u)

乱流現象は、(水のような液体媒体の場合)時間的にも空間的にも、変動がないと想定すると、確率密度は、xにも、nにも依存しないとみなすことができ、次のように書くことができる:
h_x,n(u)=h(u)
ここでh(u)は、所与の任意の画像nの、そして所与の任意の画素xの乱流の確率密度である。

下記の処理動作は、乱流現象の定常性のこの仮説に基づいている。実際には、時間nにおける平均化された画像をI_m(x,n)と示すことによって、下記式のように定義され:

この平均化された画像が、乱流の確率密度との元の鮮明な画像(未知の)の畳み込みに等しい安定した画像I_stable(x)に収束することが示される:

したがって、未知の鮮明な画像を回復するために、平均化された画像を乱流h(u)の確率密度で逆畳み込みするだけでよい。この確率密度はわかっていないので、下記に経験的モデルを提供して、2つの次の物理学的考察に基づいて確率密度の変動を説明する:
- 乱流現象は、一般的な等方性であり、確率密度は、ベクトルuの角度に無関係であるはずである。
- 画素の小さい変位は、画素の大きい変位よりも頻繁に起こる。したがって、ベクトルuのノルムが減少するとき、値h(u)は減少するはずである。

当然ながら他の要素をモデルの選択に含むことができる。例えば、そのパラメータが、h(u)に対して、特にそのフーリエ変換に対して調整可能である解析式を処理することが、実用的である可能性がある。これらの仮説の全てを検証する単純なモデルは、例えば下記式のような、指数関数的に減少するタイプのモデルである:

この式では、σが、乱流ベクトルのノルムの標準偏差(平均変動)を表す。このパラメータにより、撮影される一続きの画面による乱流のレベルの差を考慮に入れることができる。

変形として、ガウス(Gaussian)モデルを使用することができる。しかし、指数モデルを用いた試験が良い結果をもたらした。ガウスモデルまたは指数モデルよりも緩やかな減少を示す他の型のモデルを、当然ながら、さらなる変形として想定することができる。

次に、2つの処理ステップで元の画像を推定することができる。第1のステップとして、一連の生画像が、時間平均化される。この平均化された画像は、乱流の確率密度との未知の鮮明な画像(それは乱流現象がない場合に観察することができる)の畳み込みに等しい安定した画像I_stable(x)に収束し、下記式のようになる:

次に、第2のステップとして、乱流の確率密度による平均化された画像の逆畳み込みにより、元の鮮明な画像を推定することができる。

図2は、実際の集合体の画像に関する処理の2つの主要ステップを示す。第1の(時間)フィルタF1により、連続した画像IM_n、IM_n-1などから始めて、平均的で、安定しているが、ぼやけた画像ISFを取得することができる。

第2の(空間的な逆畳み込み)フィルタF2により、ぼやけた画像ISFから始めて、元の鮮明な画像INを復元することができる。

時間フィルタリングF1について、下記に説明する。

撮影された場面が、特に明暗、ズーム倍率などに関して一定である(乱流の影響を無視する)場合、n番目の平均化された画像は次の式によって取得される:

この式では、各画像に同じ重みを割り当てる。場面のいかなる潜在的な変動(明暗など)にも対処するために、平均化された画像では、過去の画像よりも最近の画像により大きな重みを割り当てることが好ましい。時間nにおける平均化された画像については、画像I_α(x,n)は、下記式により求められる:

項αは、過去の画像に(フィルタの履歴メモリとして)多少の重要性を割り当てることができる忘却係数である。項

による正規化により、下記式から、1に等しい重みα^kの幾何学的な合計(geometrical sum)を取得することができる:

式Iα(x,n)は、その後に正規化のステップが続く巡回型時間フィルタリングの形をとることができる。I_f(x,n)と示される、時間フィルタのn番目の出力、および、I_α(x,n)と示される、正規化出力画像は、下記式により関連付けられる:

忘却係数αに選択された値は、時間フィルタの性能特性を決定する。こうした性能特性を評価するために、n番目の画像の画素xと目標とされる安定した画像の画素xとの平均二次差分(mean quadratic difference)が、次のように定義される:

次に、画像nの全体の平均二次差分を定義することができる:

乱流の影響を無視した、安定した場面の場合、平均二次差分は次のように示される:

ここで、Σ²は、生画像の画素の平均分散である。収束後(nが無限大に近づくとき)、時間フィルタの正規化された出力の残留性の二次差分（residual quadratic difference）は、下記式により求められる:

忘却関数αの様々な値に対する、処理される画像の数の関数としての標準偏差の漸進的変化(evolution)の計算は、静止した場面の場合、できる限り大きいαを選択することが好ましいことを示す。しかし、変わりやすい場面の場合、忘却係数αの選択は、画面の変化に適合するための短い時間(小さいα)と、小さい残差標準偏差(大きいα)との間の折り合いにより生じる。例えば、時間n₀に場面の突然の変化(例えば明暗の変動)が起こるが、時間フィルタが収束した場合、時間nにおけるフィルタの出力と安定した画像との間の標準偏差は次のようになることがわかる:

ここで、Δは、場面の変化によって引き起こされるレベルの平均変動を表す。

したがって、忘却係数αが高くなるにつれて、収束時間は長くなる(α= 0.99に対して約300画像、すなわち12秒)が、しかし残差標準偏差は十分に小さく(α= 0.99に対して0.77)、出力画像を安定させることができる。αの選択値を下げることによって、収束の速度は上がる(α= 0.95に対して約50画像、すなわち2秒)が、しかし残差標準偏差も同様に上がる(α= 0.95に対して0.16)。出力画像は、収束後でも、完全には安定化されない。

1つの現在の実施形態では、忘却係数は、好ましくは、一定の場面(乱流の影響を無視する)の場合の最適値である0.99に設定される。それにもかかわらず、本明細書で提示する処理は、撮影された場面中の頻繁な変動(一般には明暗の変化)に十分に柔軟に適合する。

具体的には、(下記に提示する)移動中のカメラの場合、場面の各要素は、画像の数を削減した場合にのみ見える。残差分散よりも収束時間により大きい意味を割り当てるために、忘却係数を下げることが好ましい。

次に、この方法の第2のステップに含まれる空間フィルタリングについて、1つの例示的実施形態において説明する。

上記に述べた劣化モデルによれば、正規化された出力I_α(x,n)は、安定した画像I_stable(x)(乱流の確率密度と未知の鮮明な画像の畳み込み)に等しくなり、これに雑音b(x,n)が、下記式により求められる平均分散で付加される:

これを下記式のように書くことができる:

したがって出力I_α(x,n)から始まる鮮明な画像の推定は、線形空間逆畳み込み（linear spatial de-convolution）の問題に帰着する。最適復元フィルタは、空間領域において、ウィーナーの公式により求められる:

の場合、

の場合、W_σ(f)=0

ここで:
- fは、2次元フーリエ変換後の2つの正規化された周波数の2次元ベクトル(f=(f,g))である。
- f_cは、入力画像上のいかなる潜在的なスペクトルエイリアシングも除去することができるフィルタの遮断周波数である。
- S_b(f)およびS_sharp(f)は、それぞれ雑音のスペクトルパワー密度および回復される鮮明な画像のスペクトルパワー密度である。
- H_σ(f)は、h(u)の2次元フーリエ変換である。

h(u)に選択された指数モデルを用いると下記のようになる:

第1のステップでは、雑音および画像が一定のスペクトルパワー密度を有する(画像および白色雑音、S_b(f)およびS_sharp(f)が一定である)と仮定する。確率密度のフーリエ変化が実数であるとすれば、復元の最適フィルタは、下記式により求められる:

ここでは、「信号対雑音比」を示す項RBSは、時間フィルタの出力における雑音の電力と、鮮明な画像(未知の)の電力との比に対応する。この復元フィルタは、2つのパラメータ、RBSおよびσを含む。これらの2つのパラメータは、フィルタの周波数応答に影響を及ぼす。RBSの指標(order of magnitude：等級)を取得するために、鮮明な画像(未知の)が範囲Pにわたって比較的均一に分布した画素の値を有することを考慮することができる。画素がとる値の分散は、P²/12であることがわかる。時間フィルタの収束後、出力の残差分散は、(1-α)/(1+α)・Σ²に等しくなり、ここでΣ²は生画像上の雑音の分散であり、αはフィルタの忘却係数である。したがって、比RBSについては下記のようになる:

例えば、処理前の、Σ/P=0.1の「画像の雑音/レンジ」比については、忘却係数α=0.99で、6・10^-4のRBSが取得される。この結果は、RBSの最適値の指標(order of magnitude：等級)を示す。

比RBSは、処理済み画像における様々なテストにより経験的に固定することができる。一般には、RBSが0に向かうとき、逆畳み込みフィルタは、1/H_σ(f)の、ハイパスの逆フィルタに向かうことになり、そして雑音に影響されやすくなる。RBSの値が低すぎると、雑音の多い復元画像を生じる(「処理済み画像には粒子の粗い(grainy)」雑音が観察される)。RBSが無限大に向かう場合、逆畳み込みフィルタは、ぼかしフィルタH_σ(f)に向かう。したがってRBSの値が高すぎると、ぼやけた復元画像となる。試験に従って、RBSの最適値が10^-4と10^-2との間に位置付けられ、そのため10^-3というデフォルト値が選択されている。

パラメータσにより、復元フィルタを乱流の影響の標準偏差(平均変動)に適合させることができる。一般には、σが乱流の影響の実際の標準偏差よりも小さい場合、(空間フィルタの入力で)時間フィルタリングされた画像のぼけは、完全には減衰されない。σが乱流の影響の実際の標準偏差よりも高い場合、画像の高周波数が高度に増幅されすぎ、画像は劣化する。σの最適値は、乱流の影響のレベル、およびズーム倍率(乱流の影響はズーム倍率が大きいとき、ビデオシーケンスをより大きく劣化させる)に大いに依存する。σの最適値の1つの例は、低レベルの乱流については8ピクセル辺りである。対照的に、大きいズーム倍率での高レベルの乱流については、σの最適値はおよそ30ピクセルである。そこでσを0ピクセルと30ピクセルの間で選択することができることがわかる。このパラメータは、処理動作中に、取得画像の質に応じて、画像を取得するときに更新することができる。

これ以降、画像を撮影中のカメラの平行移動を考慮に入れる1つの実施形態について説明する。

上記で提示した処理は、下記式により求められる時間フィルタからの正規化された出力を逆畳み込みすることにあった:

しかし、上記のこの平均は、カメラが動いている場合、および生画像が互いに対してシフトされる場合、もはや意味をなさない。平行移動するカメラの場合、各画像kは、現在の画像nに対して、ある一定のベクトルδ_n,_kだけシフトされる。各画像が、その変位の関数として再配置される場合、上記の式は次のようになる:

δ_nk=(δx_nk,δy_nk)は、画像kと画像nとの間の列(x沿い)および行(y沿い)のシフトのベクトルであり、n(x)は、再配置後の画素xを含む連続画像の数を示す。

式:

は、x+δ_nkにおける生画像の補間である。

静止カメラで復元の場合、平均画像は、巡回型フィルタの後に正規化を行う形をとることができる。ここでは正規化は、利用できる画像の数が、対象の画像の領域によって決まるので、静止カメラの場合よりも複雑である(画素による正規化)。それにもかかわらず、正規化は次のように表されることがわかる:

これらの式はしたがって、フィルタの前の出力(時間n-1)の補間を含む。

処理能力における犠牲が大きい補間の動作を回避するために、フィルタリング方程式を次のように簡略化することを選択する:

この方程式では、最も近い整数に丸められた、現在の画像nと前の画像n-1との間の行および列シフトベクトルは、次のように示される。
[δ_n,n-1]=([δ_n,n-1],[δy_n,n-1n])

1に等しい一定の画像が全ての画素にわたって入力で設定されるとき、再配置された時間フィルタの出力を計算することによって、画素あたりただ1つの正規化行列が計算されることがわかる:
N(x,n)=1-α^n(x)

再配置および正規化を用いた時間フィルタリングの完全な演算は、最終的に4つのステップに従って書かれる:
- リセットするステップ:
I_f(x,1)=0 N(x,1)=0、
- 時間フィルタリングするステップ:
I_f(x,n)=(1-α)I(x,n)+αI_f(x+[δ_n,n-1],n-1)、
- 正規化行列を更新するステップ:
N(x,n)=(1-α)×1+αN(x+[δ_n,n-1],n-1)
- 時間フィルタの出力を正規化するステップ:

したがって、各画像が受信されるとき:
- 第1のステップにおいて、現在の画像nと前の画像n-1との間のシフトδ_n,n-1を推定し、
- このシフトを、時間フィルタを再配置するために使用すると共に、
- 各画素の正規化行列を計算するために使用し、
- その後、時間フィルタからの正規化された出力は、空間フィルタにより逆畳み込みされる。
逆畳み込みの方法は、静止カメラの場合に前述した方法である。

これ以降、2つの画像の平行移動の推定について説明する。様々な画像間のシフトを推定するには、いくつかのタイプの手法が存在する。リアルタイムの処理動作を想定するためにここでは単純な技術が支持される。最も単純な手法は、画像間の最大相互相関(inter-correlation)を探索することにある。雑音、乱流の影響、および明暗の変動に左右されないようにするために、画像自体を検討するのではなく、画像の輪郭を検討することが好ましい。したがって2つの画像間のシフトの推定は、2つのステップから成る。第1のステップでは、最初の画像をフィルタリングすることによって2つの「輪郭」画像を取得する。第2のステップでは、2つの画像間の相互相関行列を計算する。相互相関の最大の座標は、2つの画像間の行および列シフトを示す。

輪郭の画像を取得できるようにするフィルタは、下記式により求められるソーベル(Sobel)フィルタである:

ここでσ_Sobelは、フィルタの通過帯域を調整し、M_Sobelは、フィルタリングウィンドウのサイズである。これらのパラメータの有利な値は、σ_Sobel=0.9画素、M_Sobel=5・σ_Sobelである。

同じフィルタは、画像I(x,y)の行を、その後、列をフィルタリングするために使用されて、I_contour(x,y)と示す輪郭画像を取得する:

2つの輪郭画像I¹ _contour(x,y)とI² _contour(x,y)の間の相互相関は、下記式により求められる:

計算時間を大幅に削減するために、項:
γ(δx,δy)
は、下記の高速フーリエ変換を使用することにより、取得されることができる:

計算時間をさらに削減するために、画像の単一チャネルに限り、動きの推定を行う。この場合、受信される生画像の数行が織り交ぜられる(interlaced)。この場合、1つおきの行(例えば偶数行)のみを相互相関画像に保持することが好ましい。最後に、いくつかの場合には、ビデオシーケンスは、上書きデータを含む(一般的には、日付および時刻、原子炉の名称、撮影される集合体の座標)。当然ながら、画像のこの領域を、シフトを推定するために使用しないことが推奨される。

次に、再配置の計算について説明する。

2つの画像間の時間フィルタの連続出力を再配置するために、第1の解決法は、各時間nに、現在の画像nと前の画像n-1との間のシフトδ_n,n-1を計算することにある。しかし、この手法は、ゆっくりとしたカメラの動きの場合(よくある)に適用できないことを試験が示している。これは、次のように説明することができる:例えば、カメラが動いた結果、画像あたり0.3行の変位、および列にはゼロ変位が生じると仮定すると、2つの連続画像間の相互相関行列は、一般にδ_n,n-1=([0],[0.3])=(0,0)で最大となる。したがって、変位を検出することはできず、再配置される画像はないが、カメラの動きは、10画像ごとに約3行の実際の再配置を必要とする。

ゆっくりとした変位(一般的には画像あたり0.5行または列未満)を扱うために、下記に別の手法を提供する。シフトは、現在の画像nと前の画像n-1との間ではなく、現在の画像nと参照画像δ_n,refとの間で推定される。

項δ_n,n-1は、下記式により簡単に求められる:
δ_n,n-1=δ_n,ref-δ_n-1,ref

下記のテーブル1(表1)は、画像あたり0.3行の変位の速度の場合におけるこのような処理を示している。この例では、10画像ごとに3シフトされる画像の平均が、実際に推定される。参照画像は、現在の画像が実質的にシフトされたとき、更新される。最大シフトの20ピクセルのしきい値が固定されており、これにより1/20(すなわち画像あたり0.05行/列)よりも高い速度を有するカメラのいかなる動きも管理することができ、これは、想定される用途の場合に十分であることがわかる。

図3は、下記のように、移動状況における画像処理の様々なステップをまとめている:
- 現在の画像IM_n(時間n)を使用して、ステップS1においてシフトを推定し、ステップS1で推定されたシフトが、しきい値を超える場合(テストS6)、ステップS7において、しきい値を更新する。
- ステップS2において、再配置を計算する。
- ステップS3において時間フィルタリングし、ステップS4において画素で正規化する。
- 鮮明な画像INを取得するためにステップS5において空間フィルタリングする。

この処理の性能特性は満足できるものであり、静止カメラを使用する処理に対して品質の低下がない。しかし、カメラが数秒間静止した後に動き始めるとき、いくらかのアーチファクトが現れる可能性がある。それでもやはりこうしたアーチファクトは、機能的に問題はない。図4に示すように、こうしたアーチファクト(この図では黒い矢印で示す行)は、集合体番号(白い円内に、番号「2D EL」が表示されている)の読み取りも、集合体間の間隔(白い両端矢印)の計算も、妨げない。さらには、こうしたアーチファクトは、単純な画像処理技法によって削減することができる。

本発明は、例として上記に説明した実施形態に限定されず、他の変形形態に拡張可能であることは言うまでもない。

上記の例では、時間フィルタは、ビデオシーケンスの連続画像の単純な平均化を行う。この平均化には、良い(または悪い)品質の画像により大きい重み(またはより軽い重み)を割り当てることを、含むことができる。さらに一般的には、時間フィルタは、より関連性のある画像を結合するための処理動作に置き換えることができる。しかしこうした手法は、画像の関心領域(集合体番号を含む領域)にわたって計算された、1つまたは複数の品質インジケータの定義を想定する。

上記に提示した空間フィルタは、画像の全体で機能する。変形形態として、関心領域に処理を集中させることを想定することができる。具体的には、番号を含む領域の2値特性(binary nature)などの「事前の知識(prior knowledge)」情報を、復元処理において考慮に入れることができる。

さらに、現在の空間フィルタは、画像の全体にウィーナーの逆畳み込みを行う。例えばウェーブレットを使用する他の逆畳み込み処理技法を、等しく使用することができる。

さらに、コントラストの均等化のためのヒストグラムの局所的均等化によるコントラスト向上のための技法が有利である可能性があることに注意すべきである。

F1：時間フィルタ
F2：空間フィルタ

Claims (25)

1. 画像の画素の見かけ上の変位の影響を引き起こす乱流現象を含む液体に浸漬されたカメラによって取得される連続デジタル画像データを処理するための方法であって、
   - 前記画像の前記画素に対する前記乱流の前記影響のモデル化と、
   - 時間平均化された画像の前記モデル化による逆畳み込みと
   を含むことを特徴とする、方法。
2. 前記モデル化が、乱流の前記影響に関連する変位ベクトルuの確率密度のモデルの推定を含むことを特徴とする、請求項1に記載の方法。
3. 前記モデルが、指数関数的に減少するタイプのモデルであることを特徴とする、請求項2に記載の方法。
4. 前記モデルh_σ(u)が、下記のタイプの式により、ベクトルuの関数として表され:
   ここで:
   - σは、前記ベクトルuのノルムの標準偏差を表し、
   - AおよびBは、正の実数定数である
   ことを特徴とする、請求項3に記載の方法。
5. A=3/πおよびB=√6であることを特徴とする、請求項4に記載の方法。
6. 前記時間平均化された画像が、時間の関数として個々に減少する、忘却係数の累乗によって重み付けされた平均によって推定されることを特徴とする、請求項1から5のいずれか一項に記載の方法。
7. ベクトル座標xを有する画素に対して時間nで推定される前記平均画像I_α(x,n)が、下記式によって求められ:
   項αが、前記忘却係数に対応する実数である
   ことを特徴とする、請求項6に記載の方法。
8. 前記時間平均化された画像が、回帰時間フィルタリングによって推定されることを特徴とする、請求項1から7のいずれか一項に記載の方法。
9. 前記時間平均化された画像が、回帰時間フィルタリングによって推定されると共に、
   前記時間nに対する、I_f(x,n)と示される、前記時間フィルタのn番目の出力、および前記平均画像I_α(x,n)が、下記式によって関連付けられる:
   ことを特徴とする、請求項7に記載の方法。
10. 前記忘却計数αが、0.99に等しく選択されることを特徴とする、請求項6、7、および9のいずれか一項に記載の方法。
11. 前記逆畳み込みが、前記モデル化に対応する式を用いた線形空間フィルタリングの適用を含むことを特徴とする、請求項1から10のいずれか一項に記載の方法。
12. 前記フィルタリングが、ウィーナー型であることを特徴とする、請求項11に記載の方法。
13. 前記モデル化が、乱流の前記影響に関連する変位ベクトルuの確率密度のモデルの推定を含むと共に、
    前記空間フィルタが、スペクトル領域において、下記式により求められ:
    の場合、
    の場合、W_σ(f)=0
    ここで:
    - fは、2次元フーリエ変換後に正規化された2つの周波数の2次元ベクトルであり、
    - f_cは、いかなる潜在的なスペクトルエイリアシングも除去するためのフィルタの遮断周波数であり、
    - S_b(f)およびS_sharp(f)は、それぞれ雑音のスペクトルパワー密度および測定される鮮明な画像のスペクトルパワー密度であり、
    - H_σ(f)は、前記乱流h_σ(u)の前記影響の前記確率密度の前記2次元フーリエ変換である
    ことを特徴とする、請求項12に記載の方法。
14. 前記空間フィルタが、下記式によって表され:
    ここで項RBSが、前記項RBSが10^-2と10^-4の間の範囲となるように選択されたパラメータの関数として表されることを特徴とする、請求項13に記載の方法。
15. 前記画像の前記画素に対する前記乱流の前記影響の前記モデル化が、乱流の前記影響に関連する変位ベクトルuの確率密度のモデルの前記推定を含み、
    前記画像の前記画素に対する前記乱流の前記影響の前記モデルh _σ (u)が、下記のタイプの式により、前記ベクトルuの関数として表され:
    ここで:
    - σは、前記ベクトルuのノルムの標準偏差を表し、
    - AおよびBは、正の実数定数である
    と共に、
    前記乱流h_σ(u)の前記影響の前記確率密度の前記2次元フーリエ変換H_σ(f)が、下記式によって求められ:
    ここで、Cは正の実数定数であり、σは画素数で数えられる正の実数であることを特徴とする、請求項13および14のいずれか一項に記載の方法。
16. 前記2次元フーリエ変換H_σ(f)が下記式によって求められ:
    σを0ピクセルと30ピクセルの間の範囲とすることを特徴とする、請求項15に記載の方法。
17. 前記カメラが平行移動し、前記平均画像の前記推定のために、前の画像の再配置が、現在の画像に適用されることを特徴とする、請求項1から16のいずれか一項に記載の方法。
18. 前記時間平均化された画像が、回帰時間フィルタリングによって推定されると共に、
    前記方法が、再配置および正規化と共に時間フィルタリングを含むことを特徴とする、請求項17に記載の方法。
19. 前記時間平均化された画像I _α (x,n)が、回帰時間フィルタリングによって推定され、
    前記時間nに対する、I _f (x,n)と示される、前記時間フィルタのn番目の出力、および前記平均画像I _α (x,n)が、下記式によって関連付けられると共に、
    前記方法が、
    - 下記のようにリセットするステップと:
    I_f(x,1)=0 N(x.1)=0、
    - 下記のように巡回型時間フィルタリングするステップと:
    I_f(x,n)=(1-α)I(x,n)+αI_f(x+[δ_n,n-1],n-1)、
    ここで、
    [δ_n,n-1]=([δx_n,n-1],[δy_n,n-1])
    は、前記カメラの前記平行移動に起因する現在の画像nと前の画像n-1との間の、最も近い整数に丸められた、行シフトxおよび/または列シフトyベクトルに対応し、
    - 下記のように、正規化行列Nを更新するステップと:
    N(x,n)=(1-α)×1+αN(x+[δ_n,n-1],n-1)
    - 下記のように前記時間フィルタの前記出力を正規化するステップと:
    を含む、請求項18に記載の方法。
20. コンピュータプログラムであって、
    このプログラムがプロセッサ(PROC)によって実行されるとき、請求項1から19のいずれか一項に記載の方法を実施するための命令を含むコンピュータプログラム。
21. 画像の画素の見かけ上の変位の影響を引き起こす乱流現象を含む液体に浸漬されたカメラによって取得される連続的なデジタル画像データを処理するための入力を備えた、画像データを処理するための装置であって、
    請求項1から19に記載の方法を実施するための計算手段をさらに備えることを特徴とする、装置。
22. 燃料要素集合体を撮影するために核施設の水中に浸漬されたカメラによって取得される画像データの前記処理のための、請求項1から19のいずれか一項に記載の方法の使用法であって、
    - 前記取得されて処理された画像からの前記燃料要素集合体の状態の判断
    を少なくとも含むことを特徴とする、使用法。
23. - 前記取得されて処理された画像における、前記燃料要素集合体の少なくとも1つの識別子の判断
    を少なくとも含むことを特徴とする、請求項22に記載の使用法。
24. - 前記画像における、前記燃料要素集合体間の間隔の測定
    をさらに含むことを特徴とする、請求項22および23のいずれか一項に記載の使用法。
25. 燃料要素集合体を撮影するために核施設の水中に浸漬されたカメラを含む設備であって、
    前記カメラによって取得される画像データの処理のための請求項21に記載の装置をさらに含むことを特徴とする、設備。