JP4767240B2 - 映像の境界を検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体 - Google Patents

Description

本発明は、被写体の映像内の境界を検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体{METHOD FOR DETECTING EDGE OF AN IMAGE AND APPARATUS THEREOF AND COMPUTER READABLE MEDIUM PROCESSING THE METHOD}に関する。

一般的に、従来技術による被写体の映像内の境界を検出する装置は、カメラによって撮影された映像に存在する雑音を緩和させるために、撮影された映像に平坦化(Smoothing)過程を行う。この時、平坦化過程を経た映像内のラインが異なる。すなわち、平坦化過程を経た映像内の角ラインの位置が実際の角ラインの位置と異なるように表示される。また、従来技術による映像の境界検出装置は、映像に平坦化過程を行う時、雑音のみならず映像内の微細な変化(微細な境界)も除去した。

一方、従来技術による映像の境界検出装置は、映像に対する境界の程度を使用者が決めた値によって区分する。例えば、従来技術による映像の境界検出装置は、使用者が設定した映像の明るさや場面及びカメラの設定に従って映像に対する境界を検出した。

本発明は、映像に対して平坦化過程を行わずにその映像の雑音分布を検出して、検出された雑音分布に基づいて映像内の境界を速くて正確に検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体を提供することを目的とする。

前述したような目的を達成するための本発明による映像の境界検出方法は、被写体の映像の雑音分布を検出する段階と、前記検出された雑音分布に基づいて前記映像内の境界を検出する段階とで構成されることを特徴とする。

前述したような目的を達成するための本発明による映像の境界検出装置は、被写体の映像の雑音分布を検出する雑音検出部と、前記検出された雑音分布に基づいて前記映像内の境界を検出する境界検出部とで構成されることを特徴とする。

また、本発明による記録媒体は、被写体の映像の雑音分布を検出する段階と、前記検出された雑音分布に基づいて前記映像内の境界を検出する段階を行うプログラムが収録される。

このような記録媒体は、コンピューターシステムによって読み取れるようにプログラム及びデータが貯蔵される全ての種類の記録媒体を含む。例えば、ロム(Read Only Memory)、ラム(Random Access Memory)、ＣＤ(Compact Disk)、ＤＶＤ(Digital Video Disk)−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ貯蔵装置などがあって、さらに、キャリアウエーブ(例えば、インターネットを通じた送信)の形での具現も含む。また、このような記録媒体は、ネットワークで連結されたコンピューターシステムの内部に分散されて、分散方式によってコンピューターが読み取れるコードで貯蔵され、実行される。

本発明の実施例による境界検出方法及びその装置と、これを具現するコンピューターで読み取れる記録媒体は、従来の境界検出方法に比べると、自動化されたシステムに適用するにおいて、卓然な性能の差を有している。

従来の境界検出方法を産業用システムに適用するにおいて、最もな問題は、場面や照明などの変化に従って使用者が境界検出の媒介変数を修正することである。

ところが、本発明の実施例による境界検出方法及びその装置は、図１６に示したように、照明の変化にも従来の境界検出器に比べて、強靭な
結果を見せている。例えば、本発明の実施例による境界検出方法及びその装置は、非常に暗くて人が認知できない映像に対しても場面の構造が分かって、非常に明るくて従来の境界検出器では映像の雑音が除去できなかった映像に対しても効果的に雑音を除去している。

また、従来の境界検出方法は、図１５Ａないし図１５Ｆに示したように、平坦化のレベルに従って角部分が実際とは異に、直線ではなく曲線の形態になる問題があった。ところが、本発明の実施例による境界検出方法及びその装置は、平坦化過程が根本的に不必要であるため、角部分でも正確な境界検出が可能になって、場面の正確な構造が分かるシステムの開発においても、効果的に使用される。

以下、映像に平坦化過程を行わずに映像の雑音分布を検出して、検出された雑音分布に基づいて映像内の境界を速くて正確に検出できる方法及びその装置の望ましい実施例を、図１ないし図１６Ｄを参照して詳しく説明する。

図１は、本発明の実施例による映像の境界検出装置１０の構成を示した図である。

図１に示したように、本発明の実施例による映像内の境界検出装置１０は、被写体の映像(Image)内の雑音分布(Noise distribution)を検出する雑音検出部１１と、検出された雑音分布に基づいて映像内の境界(Edge or boundary)を検出する境界検出部１２とで構成される。ここで、映像内の境界検出方法及びその装置は、ＣＣＤ(charge-coupled device)カメラに適用することもできる。

雑音検出部１１は、映像の雑音媒介変数等(Noise parameters)と映像の明るさとの間の線形関係に従って雑音分布を推定して、推定された雑音分布を境界検出部１２へと出力する。

境界検出部１２は、推定された雑音分布に基づいて映像内の境界を検出して、検出された境界を表示部２０を通じて外部に表示される。この時、表示部２０は、最初の映像に対する境界映像を画面上に表示する。

以下、ＣＣＤカメラで撮影した被写体の映像内の境界検出の概念と境界検出の結果を図２Ａ及び図２Ｂを参照して説明する。

図２Ａ及び図２Ｂは、本発明の実施例による映像内の境界検出方法及びその装置を説明するための境界検出の概念と境界検出の結果を示した図である。すなわち、図２Ａ及び図２Ｂは、映像内の境界検出が行われる概略的な説明と境界検出の結果を示している。

図２Ａ及び図２Ｂに示したように、雑音の媒介変数等(Skellam parameter:ｕ１)とパッチのサンプルの平均(sample mean of patch)、すなわち、明るさとの線形性によって各明るさでの雑音の分布を決めて、これに従って明るさの許容範囲を決める。例えば、各ピクセルで明るさによる雑音の分布を決めると、これによる明るさの許容範囲によってピクセル間の差が雑音に基づいているか、実際の場面の変化に基づいているかが判断される。

以下、明るさの差の雑音モデリングのためのスケルラム(Skellam)の分布を説明する。

各ピクセルの映像の明るさがポアソン(Poisson)分布に従うとする場合、観察時間の間隔Ｔ秒の間、ｐ光子に対する確率(probability)分布は、第１式のようなポアソン分布になる。

ここで、ｐは、単位秒当たり測定された光子の比率である。平均と標準偏差は、以下の第２式及び第３式のように与えられる。

光子の数がピクセルの明るさを決めるため、光子の雑音は、信号から独立的ではない。また、光子の雑音は、ガウス(Gaussian)でもなく、付加的でもない。第２式及び第３式のようにμは、Ｔ区間の間の光子の数を意味する。明るいピクセルでの光子の数が暗いピクセルでの数より多いというのは当然なことである。このような簡単な事実から、明るさが増加するによってμが増加することが予測できる。このような予測は、次のセクションで立証される。

仮に、μが充分に大きいと、ポアソン分布をガウス分布に近似化することができる。この場合、二つのガウスの差は、ガウスに従うので、明るさの差の分布もガウスになる。ところが、μが明るさによって異なる。これは、暗いピクセルでは、ガウスの近似化が崩れる可能性があることを意味する。

誤ったガウスの近似化から脱して明るさの差を示すために、ポアソン分布を直接的に使用した。二つのポアソン確率変数の差は、スケルラム分布で定義される。スケルラム分布の確率密集関数(probability mass function)は、二つのポアソン確率変数間の差を意味するkの関数であって、第４式のように示される。

ここで、μ₁とμ₂は、二つのポアソン分布の平均や期待値を意味して、I_kは、ベッセル関数(modified Bessel function of the first kind)を意味する。
以下、スケルラム分布の確率密集関数の例を図３を参照して説明する。

図３は、スケルラム分布の確率密集関数の例を示した図である。
μ₁＝μ₂の特別な場合に大きい値を有するμとｋに対してスケルラム分布は、ガウス分布になる傾向がある。μとｋは、暗い明るさのピクセルに対して充分大きい値を有しないため、スケルラムをガウスに近似化することができない。これを図４Ａないし図４Ｄを参照して説明する。

図４Ａないし図４Ｄは、μ₁とμ₂によるスケルラムとガウス分布を示した図である。

図４Ａは、μ₁＝μ₂＝０.１、σ＝０.２の時のスケルラムとガウス分布、
図４Ｂは、μ₁＝μ₂＝０.５、σ＝１.０の時のスケルラムとガウス分布、
図４Ｃは、μ₁＝μ₂＝１.０、σ＝２.０の時のスケルラムとガウス分布、
図４Ｄは、μ₁＝μ₂＝３.０、σ＝６.０の時のスケルラムとガウス分布、
を示している。

従って、スケルラム分布の統計学を利用すると、明るさの差のスケルラム媒介変数を簡単に推正することができる。スケルラム分布の平均μ_sと分散σ_s ²は、第５式及び第６式のように与えられる。

ここで、第５式及び第６式によってμ₁とμ₂を第７式及び第８式のように直接的に得ることができる。

ここで、μ_sとσ_s ²は、静的な場面の映像から第９式及び第１０式のように得ることができる。

ここで、ｘ_t(ｉ,ｊ)は、フレームｔで位置(ｉ、ｊ)の明るさを意味して、ｎは、映像全体の数である。多様なカラーでスケルラム媒介変数を推正するために、Gretag-Macbeth ColorCheckerの静的な場面に対して１０,０００個の映像を獲得した。カメラは、Pointgrey Scorpionカメラを利用した。この時、図５Ａないし図５Ｃは、推定結果(映像解像度：１６００ｘ１２００、露出時間：１/１５ｓ)である。

図５Ａないし図５Ｃは、１０,０００枚の静的な映像を利用してスケルラム(Skellam)パラメーター推定結果を示した図である。図５Ａは、ブラックパッチ(Black patch)(２４th patch)に対するスケルラムパラメーター推定結果、図５Ｂは、グレーパッチ(Gray patch)(２１th patch)に対するスケルラムパラメーター推定結果、図５Ｃは、レッドパッチ(Red patch)(１５th patch)に対するスケルラムパラメーター推定結果を示している。

すなわち、スケルラムの媒介変数は、各々のパッチごとに異なる。ブラックパッチでは低いスケルラム媒介変数を有して、グレーパッチでは高いスケルラム媒介変数を有する。
これは、μ₁とμ₂が獲得時間の間、ＣＣＤ素子での光子の数という事実から期待される。

また、図５Ａないし図５Ｃは、他の重要な検証を示している。すなわち、スケルラム(Skellam)モデリングによって明るさの差の分布を正確に推正することができる。これは、本発明で仮定した光子の雑音が支配的であることを意味する。

図５Ａないし図５Ｃに示したように、スケルラムモデリングを一般化させるために単一映像から雑音を推正する。本発明では、各々のピクセルが空間的ドメインから相互に独立的であると仮定した。これは、雑音の分布が空間的ドメインと時間的ドメインで同一であることを意味する。仮定を立証するために、空間的ドメインと時間的ドメインでの雑音分布を比較した。時間的ドメインでのモデリングの結果は、第９式と図１０式によって得ることができる。空間的ドメインでの雑音をモデリングするために、カラーパターンの映像から単色のカラーパッチを選択した。このパッチ等を利用して空間的ドメインでの雑音モデリングを次の第１１式及び第１２式から得ることができる。

ここで、「（ｉ，ｊ）∈Ｐ」は、パッチでの全ての点を意味して、ｄ_x、ｄ_yは、水平方向及び垂直方向への不一致(disparity)を意味する。ｎは、パッチでのピクセル全体の数である。

以下、空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を図６Ａないし図６Ｄを参照して説明する。

図６Ａないし図６Ｄは、空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。

図６Ａは、オレンジパッチ(Orange)(７th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果、図６Ｂは、ブルーパッチ(Blue)(１３th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果、図６Ｃは、グリーンパッチ(Green)(１４th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果、図６Ｄは、中間グレー(Medium Gray)(２２th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示している。
ここで、空間的ドメイン及び時間的ドメインでのモデリングに使用されたカメラは、Pointgrey Scorpionカメラ(映像解像度：１６００ｘ１２００、露出時間：１/７.５ｓ)である。

図６Ａないし図６Ｄに示したように、空間的ドメイン及び時間的ドメインでのスケルラム媒介変数は、殆ど同一であることを立証することができる。これは、明るさの差がエルゴード(ergodic)過程を見せている。不一致(disparity)が、１の時のスケルラム媒介変数が異なる推定結果よりさらに小さい。これがピクセル値の圧縮に基づいていると判断した。HITACHI HV-F２２のような非圧縮ＲＧＢ出力が可能なカメラでテストした時、このような現象がないことを確認した。空間的ドメインと時間的ドメインの結果の間に少しの差があるが、これは、時間的ドメインで分布を推正する時、パッチのうちの一つのピクセルのみを選択したからである。パッチからどのピクセルを選択したかによってスケルラム媒介変数の少しの変動があり得る。この実験では、水平方向の不一致、ｄ_xを１から１０まで増加させたが、垂直方向の不一致も同一な結果を有する。提案したモデリング体系がエルゴード性(ergodicity)を満足するので、提案したモデリングを単一映像に対して適用することができる。

以下、スケルラム媒介変数を使用して、雑音統計値を推正する方法を説明する。
スケルラムモデリングは、時間的ドメインのみならず空間的ドメインにも適用できるが、ピクセルの明るさに対応する正確なスケルラム媒介変数が分かるように映像の明るさとスケルラム媒介変数間の線形性を利用する。

図７Ａないし図７Ｃは、パッチのサンプルの平均とスケルラム媒介変数間の線形性を示した図である。すなわち、本発明では、映像のスケルラム媒介変数と明るさの間の線形関係によって映像の雑音分布を推正する。

図７Ａは、レッドチャンネル(Ｒ channel)に対する映像のスケルラム媒介変数と明るさの間の線形関係、図７Ｂは、グリーンチャンネル(Ｇ channel)に対する映像のスケルラム媒介変数と明るさの間の線形関係、図７Ｃは、ブルーチャンネル(Ｂ channel)に対する映像のスケルラム媒介変数と明るさの間の線形関係を示している。ここで、単一ピクセルからは、平均と分散の意味ある統計値の抽出が難しいので、映像の明るさとスケルラム媒介変数の間の連関関係を見せるために、パターン映像を１０,０００枚獲得した。

図７Ａないし図７Ｃに示したように、各パッチでの決められた位置でピクセル等のサンプルの平均に関するスケルラム媒介変数の散点度及び、サンプルの平均とスケルラム媒介変数の線形的関係を見せている。また、サンプルの平均とスケルラム媒介変数の線形関係に対応するラインを明るさ−スケルラムライン(Intensity-Skellam line)と言う。仮に、ピクセル値がサンプルの平均に近似化されて明るさ−スケルラムラインを有する傾向がある場合、スケルラム媒介変数を推正することができる。図７Ａないし図７Ｃでの直線は、カメラの振幅利得(gain)のみに変化して、場面や照明には変化しない。また、明るさ−スケルラムラインを一度決めると、振幅利得が固定されている限り、変化なしにこの直線を使用することができる。

以下、与えられた二つの静的映像での明るさ−スケルラムラインを推正する方法を説明する。

映像のスケルラム媒介変数と明るさの値のペアを有すると、このペアに当たるラインを得ることができる。仮に、時間的ドメインで特定ピクセルのスケルラム媒介変数を得るとすると、計算される統計値が充分に安定するように、少なくとも１０,０００枚の映像を必要とする。ところが、室内、室外の環境でこの程度の静的映像を獲得することは非実用的である。

本発明では、必要な静的映像の数を２枚に減少できるように、明るさ−スケルラムラインの推定方法を提供する。これは、１０,０００枚の映像を獲得するよりさらに実用的である。映像での各ピクセルが相互に独立的である場合、二つの映像での対応するピクセル等の明るさの差を時間的ドメインでの明るさの差の集合であると看做される。従って、任意の明るさでのスケルラム媒介変数を推正するための十分なピクセル等を有するようになる。一つのチャンネルに対する線推定アルゴリズムは、次のようになる。

１．１番目のフレームで明るさのヒストグラムを得て、地域最大値(local maxima)を捜す。
ｘ_m ¹,ｍ=0,1,...,Ｍ

２．地域最大値の周辺で第１３式を満足する二つのフレームの対応するピクセ等の集合を捜す。

３．各々のＸ_mに対して集合スケルラム分布の平均と分散を第１４式及び第１５式と計算する。

４．第７式と第８式からスケルラム媒介変数、μ₁とμ₂を計算する。

５．一般的なＲＡＮＳＡＣ(RANdom SAmple Consensus)方法を使用して
（ｘ_m ¹，μ₁）と（ｘ_m ¹，μ₂）のペアに二つのラインを推正する。

パターン映像に対する２枚の実際の映像を獲得して、アルゴリズムに対する実験を行った。カラーパターンの映像を獲得したのは、多数の静的映像から実際の値(ground truth)に近い明るさ−スケルラムラインを求めて比べるためである。

以下、Ｒチャンネルでの明るさのヒストグラムと検出された地域最大値を図７を参照して説明する。

図８は、Ｒチャンネルでの明るさのヒストグラムと検出された地域最大値を示した図である。

図８に示したように、地域最大値から明るさとスケルラム媒介変数のペアを得ることができる。ここで、εの値は、１とした。また、ＲＡＮＳＡＣを通じて明るさ−スケルラムラインを決めた。

以下、時間的ドメインで明るさ−スケルラムラインの推定結果を図９Ａないし図９Ｃを参照して説明する。

図９Ａないし図９Ｃは、各チャンネルでの明るさ−スケルラムラインの推定結果を示した図である。

図９Ａは、Ｒチャンネルでの明るさ−スケルラムラインの推定結果、図９Ｂは、Ｇチャンネルでの明るさ−スケルラムラインの推定結果、図９Ｃは、Ｂチャンネルでの明るさ−スケルラムラインの推定結果を示している。ここで、明るさ−スケルラムラインの比較のため、１０,０００枚の静的映像から得た直線を示している。すなわち、推定された明るさ−スケルラムラインは、実際の値に比べる時、正確な結果を有する。明るさ−スケルラムラインを得る時に利用されたペアが殆ど推定されたラインの周辺にあるため、数の少ないペアを利用しても明るさ−スケルラムラインを得ることができる。

以下、単一映像での明るさ−スケルラムラインを推正する方法を説明する。
明るさ−スケルラムラインを推正するためには、少なくとも２枚の静的映像を必要とする。ところが、コンピュータービジョンでは、特徴点の抽出や映像分割のような単一映像を利用する分野がある。エルゴード(ergodic)の特徴に基づいて時間的ドメインの代わりに空間的ドメインでのサンプルを集めることができる。単一カラーを有するパッチを捜すと、その時のサンプルの平均に当たるスケルラム媒介変数を計算することができる。

また、本発明では、スケルラム媒介変数の特性を利用して適切なパッチを捜す。スケルラム(Skellam)平均は、第１１式のように周辺のピクセルの明るさの差の平均で計算される。仮に、周辺のピクセル間にカラーが変化する部分がある場合、これは、スケルラム平均の変化をもたらす。これを図１０Ａ及び図１０Ｂを参照して説明する。

図１０Ａ及び図１０Ｂは、境界線でのスケルラム媒介変数の変化を示した図である。

図１０Ａ及び図１０Ｂに示したように、境界線でのスケルラム媒介変数の変化を示すために、赤−黒の変化パッチを通じて実験を行った。すなわち、パッチが右側に移動(Ｘ position)するに従ってパッチが変化する部分を有する時、 スケルラム媒介変数が大きくなる。

映像が方向性を有する照明の条件で獲得されると、単一色のカラーを有するとしても、パッチでのスケルラム平均が少しずつ移動される。これを考慮するために、先ず、スケルラム平均のヒストグラムを得る。スケルラム平均のヒストグラムで最高点を捜して、この平均の移動現象を考慮する。照明が上の方向に位置しているが、実験上でスケルラム媒介変数の平均は、殆ど移動しなかった。

図１１Ａ及び図１１Ｂは、スケルラム媒介変数間の差に対するヒストグラムを示した図である。すなわち、図１１Ｂは、図１１Ａの入力映像に対するスケルラム平均のヒストグラムを示している。

図１１Ａ及び図１１Ｂに示したように、最高点が簡単に捜せて、最高点周辺のスケルラム平均を有するパッチを利用した。パッチの明るさとスケルラム媒介変数のペアは、スケルラム媒介変数の変化のため、単一直線上に位置しない。さらに、フィルタリングされないことを特徴とする。

本発明では、直線を推正するために簡単なＲＡＮＳＡＣアルゴリズムを適用した。パッチの分布が殆ど中心に存在するので、直線が捜し易い。従って、パッチは、時間を短縮させるため任意に１９×１９のパッチ１０００個を選択した。

図１２Ａないし図１２Ｃは、単一映像で映像の明るさとスケルラムラインの推定結果を示した図である。すなわち、このような推定結果から提案された雑音モデリングを単一映像に対応することができる。

以下、明るさの許容範囲(Intensity allowance)を決める方法を説明する。
各々の明るさの値に対してスケルラム媒介変数を有するため、スケルラム媒介変数に従って正確な分布を有するようになる。この分布に基づいてセンサー雑音によって発生する明るさの変化の許容範囲を決める。明るさの許容範囲を決める方法は、与えられた信頼区間に対して仮説を検証することである。

仮説を検証するために、累積分布関数(cumulative distribution function)
を有するべきである。スケルラム分布の確率密集関数が定数に対してのみ定義されているため、累積分布関数を第１６式のように計算することができる。

臨界値(critical value)Ｉに対する採択域(acceptance region)は、第１７式のようになる。

明るさの許容範囲Ｉ_Aは、第１８式のようになる。

図１３に示したように、αは、（１−α）*100%の信頼区間を有するための実際の棄却率(true rejection rate)を意味するＩ型エラーの大きさである。
図１３は、与えられた確率密度関数の明るさの許容範囲を示した図である。ここで、１−αは、実線の長さの合、αは、点線の長さの合である。

以下、前述した雑音モデリングを境界検出に適用させる方法を説明する。
明るさの許容範囲を直接適用して境界検出に提案した雑音モデリングを適用する。

一般的な映像の境界検出方法及び装置は、映像雑音を軽減するために、前処理としてガウスカーネルによって映像を平坦化するが、本発明の実施例による雑音モデリングに基づいた境界検出方法及びその装置は、センサー雑音による明るさの変化の範囲を正確に分かるため、映像を平坦化させる必要がない。

本発明の実施例による雑音モデリングに基づいた境界検出方法及びその装置は、ガウス平坦化をしない代わりに、詳細な境界を捜すのみならず映像での雑音も軽減させることができる。

以下、映像内の境界を検出する方法と後処理過程を説明する。
スケルラム分布を利用して、雑音推定に基づいた正確な明るさの許容範囲を有するため、映像内の境界を簡単に検出することができる。すなわち、映像内の境界を検出する方法は、連続される映像での変化の検出方法と大変類似している。

例えば、境界検出部１２は、隣接するピクセル等の差が明るさの許容範囲内にある場合、境界がないと判断して、隣接するピクセル等の差が明るさの許容範囲内にない場合、実際の場面でカラーの変化があるので、境界があると判断する。水平方向と垂直方向での境界の程度は、第１９式及び第２０式のように定義される。

ここで、Ｉ_Aは、ピクセルでの明るさの許容範囲を意味し、ｃは、ＲＧＢカラーの空間での赤色、緑色、青色のカラーチャンネルを意味して、ｘ(ｉ、ｊ)は、映像の位置(ｉ、ｊ)でのピクセル値を意味する。境界の程度は、明るさの許容範囲から明るさの正規化された距離を測定する。全ての水平方向、垂直方向の境界の程度が負数である場合、そのピクセルは、エッジではないピクセルとして看做されて、負数でない場合、全ての垂直方向、水平方向の境界の程度を足す。結果的に、一つのピクセルで境界全体の程度は、第２１式のようなる。

この境界の程度は、センサー雑音による境界の程度を先行的に軽減する。
境界の程度が全てのピクセルに対して計算されると、実際の境界が単一直線になるように非最大軽減(nonmaximum suppression)を行う。最も使用されるキャニーエッジ(Canny edge)では、非最大軽減以後、境界を連結するためにヒステリシス分類をするための二つの値を必要とする。

ところが、本発明では、明るさの差が雑音の分布によって決められた明るさの許容範囲を超過するため、０ではない境界の程度は、既に境界ピクセルと看做している。

以下、本発明の実施例による映像の境界検出結果を図１４Ａないし図１４Ｆ及び図１５Ａないし図１５Ｆを参照して説明する。

図１４Ａないし図１４Ｆは、本発明の実施例による映像の境界検出結果と キャニー(Canny)境界検出器の境界検出結果を比較して示した第１例示図である。
本発明の実施例による境界検出装置をMATLABで提供したキャニー境界検出器と比較した。ここで、本発明の実施例による境界検出装置は、信頼区間の一つの媒介変数のみを有する。

図１４Ａないし図１４Ｆに示したように、キャニー境界検出器は、ガウス平坦化のスケール、ヒステリシス連結のための高い臨界値と低い臨界値の三種類の媒介変数を有している。この値を決めるのは、場合によって敏感であって、性能に大きい影響を与える。三種類の結果全てガウス平坦化のスケールは固定して、図１４Ｄのように、自動の臨界値、図１４Ｅのように、低い臨界値、図１４Ｆのように、高い臨界値で設定した。

本発明の境界検出装置は、三種類のキャニー境界検出器を超える性能を有する。
低い臨界値または自動の臨界値によるキャニー境界検出器の結果に比べて本発明の境界検出結果は、誤って検出された境界の殆どを軽減させた。さらに、低い臨界値の結果に比べて、相対的に正確な細部を有している。これは、推定された雑音の分布によって各ピクセルが臨界値を異なるように決めるからである。

図１５Ａないし図１５Ｆは、本発明の実施例による映像の境界検出結果と キャニー境界検出器の境界検出結果を比較して示した第２例示図である。

図１５Ａないし図１５Ｆに示したように、キャニー境界検出器でガウス平坦化のスケールを変化させた時の境界検出結果を有する。キャニー(Canny)の臨界値は、MATLABから自動的に選択された。

本発明は、境界の位置の推定がよく保存されたが、キャニー境界検出器では、映像雑音による予測できなかった境界を軽減するに十分な程度の高いスケールの平坦化によって位置推定が完全にできなかった。

以下、多様な照明の変化による境界検出結果を図１６Ａないし図１６Ｄを参照して説明する。

図１６Ａないし図１６Ｄは、多様な照明の変化による境界検出結果を示した図である。

図１６Ａないし図１６Ｄに示したように、キャニー境界検出器と本発明の境界検出結果は、正規化された境界程度を見せている。暗い映像に対してキャニー境界は、低い臨界値であっても境界が捜せなかったが、本発明は、微細な境界が捜せる。明るい入力映像に対しては、普通の照明の映像での結果に類似している反復的な境界を得ることができる。ところが、キャニー境界検出器は、単一色の部分で発生する誤警報が軽減できない。
従って、本発明の実施例による映像内の境界検出方法及びその装置は、多様な照明の変化に対しても高い反復な性能を見せている。

本発明が属する技術分野で通常の知識を有する者なら、本発明の本質的な特性から脱しない範囲内で、多様な修正及び変形ができる。従って、前述した実施例は、本発明の技術的思想に限られるのではない。

本発明の保護範囲は、請求範囲によって解釈されて、これと同等な範囲内にある全ての技術的思想は、本発明の権利範囲に含まれると解釈されるべきである。

本発明の実施例による映像の境界検出装置の構成を示した図である。 本発明による映像の境界検出の概念を示した図である。 本発明による映像の境界検出結果を示した図である。 スケルラム分布の確率密集関数の例を示した図である。 μ₁とμ₂によるスケルラムとガウス分布を示した図である。 μ₁とμ₂によるスケルラムとガウス分布を示した図である。 μ₁とμ₂によるスケルラムとガウス分布を示した図である。 μ₁とμ₂によるスケルラムとガウス分布を示した図である。 静的な映像を利用してスケルラムパラメーター推定結果を示した図である。 静的な映像を利用してスケルラムパラメーター推定結果を示した図である。 静的な映像を利用してスケルラムパラメーター推定結果を示した図である。 空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。 空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。 空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。 空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。 パッチのサンプルの平均及びスケルラム媒介変数間の線形性を示した図である。 パッチのサンプルの平均及びスケルラム媒介変数間の線形性を示した図である。 パッチのサンプルの平均及びスケルラム媒介変数間の線形性を示した図である。 Ｒチャンネルに対する明るさのヒストグラム及び地域最大値を示した図である。 Ｒチャンネルでの明るさ−スケルラムラインの推定結果を示した図である。 Ｇチャンネルでの明るさ−スケルラムラインの推定結果を示した図である。 Ｂチャンネルでの明るさ−スケルラムラインの推定結果を示した図である。 赤−黒パッチの単一映像を示した図である。 赤−黒パッチの単一映像の境界線に対するスケルラム媒介変数の変化を示した図である。 入力映像を示した図である。 入力映像に対するスケルラム平均のヒストグラムを示した図である。 入力映像に対する映像の明るさ及びスケルラムラインの推定結果を示した図である。 入力映像に対する映像の明るさ及びスケルラムラインの推定結果を示した図である。 入力映像に対する映像の明るさ及びスケルラムラインの推定結果を示した図である。 与えられた確率密度関数の明るさの許容範囲を示した図である。 入力映像を示した図である。 本発明による映像の境界検出結果を示した図である。 本発明による映像の境界検出結果を示した図である。 キャニー境界検出器の境界検出結果を示した第１例示図である。 キャニー境界検出器の境界検出結果を示した第１例示図である。 キャニー境界検出器の境界検出結果を示した第１例示図である。 入力映像を示した図である。 本発明による映像の境界検出結果を示した図である。 本発明による映像の境界検出結果を示した図である。 キャニー境界検出器の境界検出結果を示した第２例示図である。 キャニー境界検出器の境界検出結果を示した第２例示図である。 キャニー境界検出器の境界検出結果を示した第２例示図である。 多様な照明の変化による入力映像を示した図である。 入力映像に対するキャニー境界検出結果を示した図である。 入力映像に対するキャニー境界検出結果を示した図である 入力映像に対する本発明による映像の境界検出結果を示した図である。

符号の説明

１１：雑音検出部
１２：境界検出部

Claims (13)

1. 被写体の映像の雑音分布を検出する段階と、前記検出された雑音分布に基づいて映像の明るさの許容範囲を決定する段階と、前記検出された雑音分布に基づいて前記映像内の境界を検出する段階とを含む、映像の境界検出方法であって、
   前記雑音分布を検出する段階は、
   スケルラム(Skellam)媒介変数からなる前記映像の雑音媒介変数と、前記映像の明るさと、との線形性に基づいて前記雑音分布を算出し、
   前記明るさの許容範囲を決定する段階は、
   前記雑音分布に基づき、与えられた信頼区間に対して累積分布関数を用いて仮説を検証することによって、明るさの許容範囲を決定し、
   前記境界を検出する段階は、
   前記映像の隣接したピクセル間の明るさの差が明るさの許容範囲内に属する時、前記映像内の境界がないと判断して、
   前記映像の隣接したピクセル間の明るさの差が前記明るさの許容範囲内に属しない時、前記映像内の境界があると判断する、
   ことを特徴とする、映像の境界検出方法。
2. 前記雑音媒介変数は、二つの静的な映像の同一な明るさを有するピクセルの集合のスケルラム媒介変数と明るさの値のペアから検出されたスケルラム媒介変数であることを特徴とする請求項１に記載の映像の境界検出方法。
3. 前記雑音媒介変数は、前記映像のスケルラム分布のエルゴード特性を通じて前記映像内の色相が均一なパッチで検出されたスケルラム媒介変数であることを特徴とする請求項１に記載の映像の境界検出方法。
4. 前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の線形性に基づいて前記映像の各ピクセルの赤色Ｒ、緑色Ｇ、青色Ｂに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項１に記載の映像の境界検出方法。
5. 前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の検出された関係に基づいて、前記映像の各ピクセルのＲＧＢに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項１に記載の映像の境界検出方法。
6. 前記映像の一つのピクセルに対する境界の程度ｅ(ｉ,ｊ)は、
   

   

   

   

   の式によって計算されて、ここで、前記Ｉ_Aは、前記映像のピクセルでの明るさの許容範囲であって、ｃは、カラー空間でのＲＧＢチャンネルであり、ｘ(ｉ,ｊ)は、映像の位置(ｉ,ｊ)でのピクセル値であることを特徴とする請求項１に記載の映像の境界検出方法。
7. 請求項１ないし請求項６のいずれかの請求項の方法を行うプログラムが収録されたコンピューターで読み取れることを特徴とする記録媒体。
8. 被写体の映像の雑音分布を検出する雑音検出部と、前記検出された雑音分布に基づいて映像の明るさの許容範囲を決定し、前記明るさの許容範囲に基づいて前記映像内の境界を検出する境界検出部とを含む、映像の境界検出装置であって、
   前記雑音検出部は、
   スケルラム(Skellam)媒介変数からなる前記映像の雑音媒介変数と、前記映像の明るさと、との線形性に基づいて前記雑音分布を算出し、
   境界検出部は、
   前記雑音分布に基づき、与えられた信頼区間に対して累積分布関数を用いて仮説を検証することによって、明るさの許容範囲を決定し、
   前記映像の隣接したピクセル間の明るさの差が明るさの許容範囲内に属する時、前記映像内の境界がないと判断して、
   前記映像の隣接したピクセル間の明るさの差が前記明るさの許容範囲内に属しない時、前記映像内の境界があると判断する、
   ことを特徴とする、映像の境界検出装置。
9. 前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の検出された関係に基づいて前記映像の各ピクセルのＲＧＢに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項８に記載の映像の境界検出装置。
10. 前記雑音媒介変数は、二つの静的な映像の同一な明るさを有するピクセルの集合のスケルラム媒介変数と明るさの値のペアから検出されたスケルラム媒介変数であることを特徴とする請求項８に記載の映像の境界検出装置。
11. 前記雑音媒介変数は、前記映像のスケルラム分布のエルゴード特性を通じて前記映像内の色相が均一なパッチで検出されたスケルラム媒介変数であることを特徴とする請求項８に記載の映像の境界検出装置。
12. 前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の線形性に基づいて前記映像の各ピクセルのＲＧＢに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項８に記載の映像の境界検出装置。
13. 前記映像の一つのピクセルに対する境界の程度ｅ(ｉ,ｊ)は、
    

    

    

    

    の式によって計算されて、ここで、前記Ｉ_Aは、前記映像のピクセルでの明るさの許容範囲であって、ｃは、カラー空間でのＲＧＢチャンネルであり、ｘ(ｉ,ｊ)は、映像の位置(ｉ,ｊ)でのピクセル値であることを特徴とする請求項８に記載の映像の境界検出装置。
    

Images