JP4477222B2 - 画像中の空を検出する方法 - Google Patents
画像中の空を検出する方法 Download PDFInfo
- Publication number
- JP4477222B2 JP4477222B2 JP2000361907A JP2000361907A JP4477222B2 JP 4477222 B2 JP4477222 B2 JP 4477222B2 JP 2000361907 A JP2000361907 A JP 2000361907A JP 2000361907 A JP2000361907 A JP 2000361907A JP 4477222 B2 JP4477222 B2 JP 4477222B2
- Authority
- JP
- Japan
- Prior art keywords
- sky
- image
- color
- blue
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は概してディジタル画像処理及びディジタル画像理解の分野に関連し、更に特定的には、写真及び他の同様な画像中のどの領域が空であるかを検出するシステムに関連し、更に特定的には色分類、領域抽出及び物理学的空シグナチャ(特徴)検証に基づく空検出システムに関する。
【0002】
【従来の技術】
空は、重要な被写体のうちの1つであり、写真画像中にしばしば見られる。空を検出することにより、様々な画像の理解、強調、操作タスクが容易となる。空は、シーン分類(例えば、屋外シーンと屋内シーン、ピクニックシーンと会議シーン、都市と風景等)のための屋外画像の強い指標である。例えば、M.Szummer and R.W.Picard, "Indoor-Outdoor Image Classification", in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998及びA. Vailaya, A. Jain, and H.J. Zhang, "On Image Classification: City vs. Landscape," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998(共にここに参照として組み入れられる)を参照のこと。空に関する情報については、「かなりの空を含む屋外画像」又は「夕焼けの画像」等(例えば、ここに参照として組み入れられるJ.R.Smith and C.-S. Li, "Decoding Image Semantics Using Composite Region Templates," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998)といったクエリーを作成することが可能である。このように、空検出により、更に有効な内容に基づく画像検索が可能となる。
【0003】
画像の向きを認識するために、空及びその向きに関する知識は、屋外画像についての画像の向きを示しうる(一般的に信じられているのとは逆に、空領域は必ず画像の上部にあるとは限らない)。更に、画像中の主要な被写体を検出するとき、空領域は背景である可能性が高いため通常は排除される。
【0004】
空の最も顕著な特徴はその色であり、空が晴れているときはその色は通常は薄い青である。このような特徴は画像中の空を検出するために使用されてきた。例えば、F.S. Jamzadehによる「Method and Apparatus for Using Film Scanning Information to Determine the Type and Category of an Image」なる名称の米国特許第5,889,578号(ここに参照として組み入れられる)は、更なる記述を与えることなく空を検出するために色のキュー(「薄い青」)を使用することについて記載している。
【0005】
Robert M. Goodwinによる「Whole Order Orientation Method and Apparatus」なる名称の米国特許第5,642,443号(ここに参照として組み入れられる)は、画像中の空に関連付けられる画素を示すために色及びテクスチャ(が無いこと)を用いる。特に、Goodwinによれば、色度により領域をセクタへ分割する方法が用いられている。方向が揃えられていない画像の2つの長辺に沿ったサンプリングゾーンの画素が調べられる。空の色の非対称的な分布が見つかると、画像の向きが推定される。写真の注文全体の向きは、その注文の個々の画像についての推定値に基づいて決定される。Goodwinによる注文全体の向きの方法が成功するには、十分に大きな特徴の群(少なくとも80%の成功率を有するものが殆ど各画像ごとに見つかる)か、又はより小さい特徴(90%以上の成功率であり、この特徴が全ての画像の約40%に見つけられる)の群が必要である。従って、Goodwinでは、非常に強固な空検出方法は必要とされていない。
【0006】
Saber et al. (E. Saber, A.N. Tekalp, R. Eschbach, and K. Knox), "Automatic Image Annotation Using Adaptive Color Classification", CVGIP: Graphical Models and Image Processing, vol. 58, pp. 115-125, 1996(ここに参照として組み入れられる)では、空を検出するために色分類が使用される。空の画素は、2次元ガウス確率密度関数(PDF)に従うと想定される。従って、空の画素を決定するために、所与の画像についての適応的に決定される閾値と共に、マハラノビス距離と同様の計量が用いられる。最後に、画像の分類及び注釈(例えば「屋外」、「人々」)を決定するために、上述の色分類にのみ基づいて画像から抽出される空、草、肌の有無に関する情報が使用される。
【0007】
大局的な類似性にのみ基づいて自然画像を整合させることは、その程度までしか物を撮像することができない。従って、上述のSmithは、内容に基づく画像検索の文脈で複合領域テンプレート(CRT)を用いて画像セマンチックを復号化する方法を開発した。Smithの方法では、画像が色領域セグメント化を用いて分割された後、典型的な5×5のグリッドに対して垂直及び水平走査が行われ、本質的には領域間の空間的関係を示す5×5マトリックスであるCRTが形成される。既知の画像の向きを仮定すると、画像の上部の青の拡大したパッチは晴れた空を表わす可能性が高く、空及び雲に対応する領域は草木に対応する領域の情報の上にある可能性が高い。これらの仮定は常に有効であるわけではないが、上述のSmithでは、CRT、色ヒストグラム、及びテクスチャを用いて実行されたクエリーは、「夕焼け」及び「自然」といったカテゴリでははるかに有効であることが示されている。
【0008】
【発明が解決しようとする課題】
従来技術の主な欠点は、同じように色づけされた又はテクスチャを有する被写体、例えば、青い壁、水域(海、湖等)、青いシャツ等を区別できないことである。更に、これらの技術の幾つかは、画像の向きに関する知識に依存する必要がある。空の有無を高い信頼性で検出できないこと、特に偽の肯定的な検出は、それ以降の適用に失敗をもたらす可能性がある。
【0009】
【課題を解決するための手段】
本発明は、色相、テクスチャ解析、及び物理学的空トレース解析に基づく強固な空検出システムを提供する。本発明は、明るい空の色の画素を選択するために色相情報を使用し、潜在的な空の領域を見つけるために連結成分解析を用いる。本発明は、テクスチャ内容が低い空領域を確認するために勾配(グラディエント)を用い、同様の空の色の信念であるが同様でない空の色を有する隣接する領域を分割するために平滑な広がりとして画成されるオープンスペースをセグメント化する。本発明はまた、天頂−水平線方向を決定するために勾配を用い、候補領域が空モデルに当てはまるかどうかを決定するために物理学的空トレースシグナチャを用いる。
【0010】
更に特定的には、本発明は画像中で空領域を検出するための方法、画像認識システム、コンピュータプログラム等の形式を取ることができ、画像中の潜在的な空画素を色によって分類すること、潜在的な空画素の連結成分を抽出すること、所定のテクスチャ閾値以上のテクスチャを有する連結成分のうちの1つを除去すること、連結成分の飽和度低下(desaturation)勾配を比較すること、及び画像中の真の空領域を識別するために、連結成分の飽和度低下勾配と空についての所定の飽和度低下勾配とを比較することを含む。
【0011】
飽和度低下勾配は、画像の赤、緑、青のトレース成分についての飽和度低下勾配を含み、空についての所定の飽和度低下勾配は、水平線から天頂まで、赤及び緑の光トレース成分の減少と、略一定の青の光トレース成分とを含む。
【0012】
色分類は、画素分類器を用いて画像中の画素の信念マップを形成し、空の色の適応閾値を計算し、閾値を越える画素を分類することは、信念マップから得られる信念ヒストグラム中の第1の谷を識別することを含む。信念マップ及び信念ヒストグラムは、画像に固有である。
【0013】
本発明はまた、画像の幅方向に平行な第1の勾配を識別し、画像の幅方向に垂直な第2の勾配を識別し、第1の勾配と第2の勾配とを比較することによって、画像中のシーンの水平方向を決定する。シーンの水平方向は、第1の勾配と第2の勾配のうちの小さい方によって識別される。
【0014】
【発明の実施の形態】
上述及び他の目的、面、及び利点は、添付の図面を参照して本発明の望ましい実施例の詳細な説明を読むことにより明らかとなろう。
【0015】
上述のように、強固な空検出処理は、色及びテクスチャを越えてなされる必要がある。特に、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別するために、空の物理的モデルが所望とされる。以下説明される本発明は、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別する強固な空検出処理を提供する。
【0016】
本願では、空検出は、空の閉塞されていない部分に対応する画像中の全ての画素を識別することを含む。更に、空の検出により、個々のセグメント化された領域に、空を含む確率が割り当てられる。確率を用いた表現を使用するか、これをクリスプな決定に変換するかは、画像理解システムの続く従来の処理にゆだねられる。本発明の幾つかの重要な特徴は、色相分類、テクスチャ解析、及び物理的空トレース解析に基づく強固な空検出処理、明るい空の色の画素を選択するために色相情報を使用すること、潜在的な空領域を見つけるために連結成分解析を用いること、空領域のテクスチャ内容が低いこと(即ちオープンスペースであること)を確かめるために勾配を使用すること、同様の空の色の信念を有し同様でない空の色を有する隣接する領域を分割するためにオープンスペースのセグメント化を使用すること、天頂−水平線方向を決定するために勾配を使用すること、候補領域が空モデルに当てはまるかどうかを決定するために物理的空トレースシグナチャを使用することを含む。
【0017】
本発明の主要な事項は、ディジタル画像理解技術、即ちディジタル画像を理解しそれにより人間によって理解可能な対象、属性又は条件に対して有用な意味を割り当てるよう処理し、次に得られた結果をディジタル画像の更なる処理に用いることに関する。
【0018】
図1は、空検出システム(例えばディジタル画像理解技術)全体を示すブロック図である。まず、ディジタル画像(10)がディジタル式に処理される(20)。
画像変更段階(40)において、処理段階(20)から得られる結果(30)と、元のディジタル画像(10)とを用いて、変更画像(50)が生成される。
【0019】
図2は、本発明による空検出処理をより詳細に示す図である。本発明の方法は、3つの主な段階を含む。最初の主な段階(例えばブロック201)では、以下説明される正及び負の例を用いてブートストラップ式に学習されるマルチレイヤバックプロパゲーションニューラルネットワークによって色分類が実行される。色分類段階の出力は、2値決定マップよりも望ましい連続的な「信念」値のマップである。
【0020】
次に主な段階では、領域抽出段階(例えばブロック202)は、信念ヒストグラム中を低い信念から高い信念へ移動するときに通る第1の谷を見つけることによって空の色の信念マップのための適当な閾値を自動的に決定し、連結成分解析を実行する。更に、(1)高くテクスチャ化された領域を判定するため、及び(2)空を、他の青色の領域、例えば水域から区別するために、オープンスペースの検出(例えばブロック204)が組み込まれる。閾値信念よりも上の値を有する画素と、オープンスペースのマップ中で連結成分との交点を取ることにより、シード領域が形成される。閾値信念よりも下の値の画素では、信念値の連続性及び色値の連続性により、シード領域からの成長が生ずる。
【0021】
最後に、第3の主な段階では、空シグナチャ検証処理(例えばブロック205乃至209)は、各抽出された領域についての垂直/水平勾配を調べること、推定された水平線−天頂方向に沿った領域中の1次元トレースを抽出すること、トレースが空のトレースに似ているかどうか(以下に説明する一組の規則により)決定すること、最後に、物理学的空トレースモデルに当てはまるトレースの割合に基づいて領域の空信念を計算することによって、空の向きを推定する。1つの実施例では、本発明は、画像の幅方向に平行な第1の勾配及び画像の幅方向に垂直な第2の勾配を識別することにより画像中のシーンの水平方向を識別し、第1の勾配と第2の勾配のうち小さい方がシーンの方向を示すとされる。
【0022】
更に特定的には、図2中、入力画像はディジタル形式(200)で受信される。次に画素は、以下に説明される本発明の色分類処理を用いて、空の色の画素と空でない色の画素に分類される(201)。やはり以下に説明する連結成分解析を用いて、空の色の画素の空間的に連続する領域が抽出される(202)。連結成分(又は「領域」)の各内部画素に対して勾配演算子が与えられ、水平及び垂直勾配値が計算される(203)。連結成分の境界の近傍の画素は、空と他の被写体との間、例えば水平線における大きさのかなりの遷移を示すため、1つの実施例では排除されることが望ましい。
【0023】
平均の水平勾配値Gx及び垂直勾配値Gyは、領域の全ての内部画素を用いて計算される。多数の試験により、過剰なテクスチャに基づいて候補領域が失格とされる。このように、いずれかの勾配値が所定の上限閾値Thighを越えるとき、即ち領域のテクスチャが多い場合、領域は空領域であるとは考慮されないことを示す。|Gx|と|Gy|が略同一である場合も、領域は空領域であるとは考慮されない。更に、候補領域中の全ての画素の色(色相)分布が空領域の予想される特徴に当てはまらない場合も、領域は空領域であるとは考慮されない。
【0024】
本発明は、空の色の分布の3次元形状が、部分的には飽和度低下効果の結果として、略ルミナンス方向に沿った長軸を有する傾斜した楕円体に似ているべきであることを認める。
【0025】
領域が低テクスチャ試験(204)に合格すれば、天頂−水平線方向の考えられる方向が決定される(205)。不合格であれば、方法はステップ(202)に戻って、空の色を有する次の潜在的な画素領域を解析する。特に、赤のチャネルの勾配が検査される。|Gx|>|Gy|であれば、風景画像である可能性が高いことを示している。そうでなければ、画像は肖像画像である可能性が高い。更に、風景画像では、Gx<0であれば直立画像である可能性が高いことが示されており、そうでなければ倒立画像である可能性が高い。肖像画像では、Gy<0であれば、左向き画像である可能性が高いことが示され、そうでなければ右向き画像である可能性が高い。
【0026】
次に、水平線−頂点方向に沿って候補空領域に亘ってトレースが抽出される(ステップ206)。各トレースが空領域から得られたものであるかどうかを判定するため、各トレースについて複数の空−トレースシグナチャが測定される(ステップ207)。候補領域が空である可能性又は信念は、抽出された全ての空トレースから投票することによって決定される(ステップ208)。候補領域の全体としての信念が所定の閾値を越える場合(ステップ209)、候補領域は空領域であると宣言される(ステップ210)。処理は、同じようにして全ての候補領域を解析するために繰り返される(例えば、処理はステップ202へ戻る)。検出された空領域が空の向きと一致しない場合、画像の全体の向きはより大きくより高い信念空領域からの結果によって決定される。相反する空領域を有する領域は、拒絶される。
【0027】
人間の視覚系には、空は青、草は緑、土は灰色/赤/茶、水は青/緑に見えることが殆ど公理のようなものである。しかしながら、ディジタル画像に実際に記録されるものは幾らか異なる。これは、朝焼け及び夕焼けに関連する暖色を含む空の領域についていえるだけでなく、示される色の記録物よりも更に青みがかって見える空の領域についてもいえる。この問題は、画像補足中又はイメージングチェーンの他の段階において導入される誤りにより、画像全体の色バランスが崩れうることによって、更に混乱される。
【0028】
カラー画像中の空の青のみかけは、物理学的な結果だけでなく、人間の生理的及び心理的な面の結果によるものであり、青く見える空画像における赤及び緑成分は、青成分よりも(僅かなパーセント割合で)強くなりうる。更に、例えば太陽自体、照らされた雲、雪、氷、又は人工的な対象が青い空よりも明るくされうるとしても、晴れた雲のない空は通常は画像中の最も明るい被写体である。太陽は、オレンジ−黄の波長において最も明るく照射する。空気の粒子の波長選択的散乱は、散乱は波長の4乗に反比例することを示すレイリーの法則に従って、太陽光線の青光成分をより長い波長よりも強く分散させる(例えば、ここに参照として組み入れられるC.F.Bohren and D.R.Huffman, Absorption and Scattering of Light by Small Particles, New York, John Wiley and Sons, 1983を参照のこと)。空の色は、実際に、殆ど紫(人間の目によってあまり感知されない)によって構成され、幾らかの青、少しの緑、非常に僅かな黄及び赤を含み、これらの成分を全て合計すると、空の青となる(例えば、ここに参照として組み入れられるM. Minnaert, The Nature of Light and Color in the Open Air, New York: 1954を参照のこと)。
【0029】
しかしながら、空の青のみかけは均一ではない。空はしばしば水平線に向かって飽和度が低下して現れる。太陽をはずして頭上に晴れた空を直接見た場合、散乱された青い光が優位であり、空は濃い青に見える。見る方向を遠い水平線に向かって移動させると、様々な選択的な因子が等化され、空は殆ど白へ飽和度が低下される。
【0030】
空での光の分布に関する多くの興味深い効果、例えば暈、蜃気楼、虹がある。これらの効果では、光の強度は天頂から水平線にかけて増加し、同時に色は濃い青から白へ変化する。この効果は、主に人間の目と水平線の間の空気層の厚さが厚いことによって生ずる。空気の小さな粒子が選択的に青の光を散乱させるが、散乱された光線は散乱する粒子から人間の目への長い路において最も弱くされる。非常に厚い空気層により、散乱効果と減衰効果は相互に打ち消し合う。
【0031】
所与の点から距離sにある小さい粒子が、分数sds(sは色依存散乱係数、dsは粒子の寸法とする)を散乱させると想定する。光の量は、所与の点に到達する前に、e-sxの比率で弱められる。無限に厚い空気層(妥当な近似)から受けられる光は、全ての粒子dsからの寄与の合計、即ち、
【0032】
【数1】
からなり、これは1に等しい。明らかに、受けた光の量はsとは独立であり、従って光の色とは独立である。
【0033】
従って、水平線に近い空は、太陽によって照らされた白いスクリーンと同じ明度及び色を示す。更に、地面に近い空気層は、より多くの浮遊する大きい塵粒子を含み、(空気層が無限の厚さであると考えられなくても)全ての色を等しい強さで散乱させ、光の色をより白くする。
【0034】
観察者が太陽を背にしており、太陽が観察者の後方から横向きに照っているとき、太陽の位置(水平線よりも高いところにある)と、観察者の制限された視野のため、光の同心的な分布は水平線に略平行となる。観察者が太陽の方向を向いてみているとき(観察者は建物の影の中の影の縁の近傍に立つべきである)、空の明度は太陽の近くでは急速に増加し、目を眩ませるほどとなり、その色は更に白くなる。写真画像では、太陽が水平線上にあるか光の強度が非常に弱い朝焼け又は夕焼けの場合を除き、直接太陽光の写真を撮影することはあまりない。
【0035】
青い空は色の均一なグラデーションの最も良い例として考えられ、一方、図3A及び3Bに示されるように、夕焼けは一定の明度及び色の同心の分布の同様の形状でよりドラマチックな色のグラデーションを示す。更に特定的には、図4A及び3Bは、太陽が西の水平線に沈むときに東の水平線に見られる異なる色を示す図である(即ち、昼光対薄明)。薄明の空を検出することは本発明の目的ではないが、この薄明の空の固有のシグナチャはより一般的な空検出処理において使用されうる。実際に、本発明によって使用される特性のうちの1つがターンオフされると、以下に説明するように、方法は、図3B中の薄明の空を検出することに成功する。
【0036】
また、しばしば空の色と区別することが可能でない水の色を決定する因子について見ることも重要である。人間の目が水から受ける光の一部は表面によって反射され、表面が平滑であるときに鏡のように作用し、水の色は、空の色により青やグレーとなる。遠くの海(又は任意の大きい開いた水域)の色は、20°乃至30°の高さの空の色と略同じである。これは、人間が遠くのウェーブレットのスロープを見ているときに、光の一部のみが反射されるためである(例えば上記のMinnaertを参照のこと)。
【0037】
深い水は、反射のほかに、「それ自体の色」即ち散乱されて下から戻る光の色を有する。深い水及び同じように深い水の深さは、水の底から実質的に全く光が戻らないほど深いと考えられうる。「それ自体の色」は、水中での散乱及び吸収の組み合わされた効果に寄与する。深い、殆ど純粋な水の色は、光が水を通過し、散乱されて戻った後、スペクトルのオレンジ及び赤の部分での水による吸収により、青である。
【0038】
空検出のため、青い(通常は深い)水域を、空と一緒に現れるか現れないかに関わらず、空とは区別することが重要である。考慮される要因は、水による光のオレンジ及び赤の成分の吸収である。かかる深い水域の波及び波動は、様々な勾配の小さい面を形成する。一般的に、見る方向により垂直な面又はより近い面を見るときに色は暗くなる。しかしながら、変化するのは、主に色相ではなく明度である。
【0039】
ここで色分類について説明すると、上述したように(例えば図2のブロック201)、本発明はまず、簡単化及び明瞭性のため、特に昼間に見られる晴れた明るい青い空について色分類器を学習させる。朝焼け及び夕焼けに関連する暖色を含む空領域は、多くの屋外シーンにおいて背景をなす青い空又はグレーの空とは一緒にされない。本発明では、色に基づく検出によって全ての候補青い空画素を識別し、これらは晴れた空と一貫性のある空間的なシグナチャについての領域としてのスクリーンである。
【0040】
次に、色分類器の学習を完了するために、ニューラルネットワーク学習が用いられる。最初の学習セットは、理想の青い空の特徴、グレーの空の画像、及び空ではない(主に屋内の)画像を有する画像を含む。全ての青い空の画素は肯定的な例として含まれ、否定的な例は全ての画素から青い空でも水でもない画素をサンプリングすることによって含まれる。
【0041】
フィードフォワードニューラルネットワークは、3又は2のニューロンを含む2つの隠れ層と単一の出力ニューロンとによって構成される(例えば、Howard Demuth and Mark Beale, Matlab Neural Network Toolbox, The Math Works, Inc., 1998を参照のこと)。隠れ層のニューロンは、タンジェント−シグモイド伝達関数を有し、出力ニューロンの伝達関数はログ−シグモイドである。ネットワークは、画素値を理想の青い空又は空でないものとして分類するために、Levernberg-Marquardtバックプロパゲーションを用いて学習された(例えばHoward Demuth and Mark Bealeを参照のこと)。ターゲット応答は、理想の青い空ではa=1であり、空でないときはa=0である。
【0042】
このように学習された色分類器は、処理された各画素について0乃至1の信念値を有し、1は画素が青い空である可能性が高いことを示し、0は画素が青い空である可能性があまり高くないことを示す。(r,g,b)入力空間中の点に対する本発明の応答を視覚化するため、本発明により処理される例の画像から得られる(r,g,b)トリプレットの規則的な間隔のグリッドが図4Aに示され、各色平面は図4B乃至4Dに別々に示されている。
【0043】
図4A中、0.1よりも大きい青い空の信念を生成する点は、「.」で示されている。この分布の3つの平面への投影もまた示されている(「o」によって示される。)。分布はルミナンスの方向に非常に細長く延びており、低いルミナンスに向かってわずかに発散し始めることに注意すべきである。特定に入力画像について、各画素は別々に分類され、信念マップは、各画素の明度をその信念値に比例するよう設定することによって形成される。このような信念マップの例は、図12E−F及び図13E−Fに示される。
【0044】
図5は、本発明による色分類器の画素レベルの受信器動作特徴(ROC)を示す図である。この曲線は、色分類器における処理の後に様々なレベルにおける厳しい閾値が続いた場合の真の肯定的なパフォーマンスと偽の肯定的なパフォーマンスを示す。
【0045】
従来、大局閾値は動的でなく、図5に示されるグラフの曲線上の左上の隅に最も近い位置を探すことにより見つけられる。例えば、0.0125の閾値を用いることにより青い空画素の90.4%の正しい検出が与えられるが、13%の青い空でない画素も検出する。これらの検出された青い空でない画素のうち、水がかなりの部分を占める。これに対して、本発明は、所定の「厳しい」閾値を使用するのではなく、各領域を一組の空シグナチャに対して検証する前に領域抽出方法を実行する。この処理について、以下、図7を参照して詳述する。
【0046】
更に特定的には、本発明の領域抽出処理(例えば上述のブロック202)は、信念ヒストグラム中で低い信念から高い信念へ動くときに存在する第1の谷点を見つけることによって空色信念マップについての適当な閾値を自動的に決定し、次に図7に示されるような連結成分解析を実行する。更に、本発明によれば、連結された成分は空セグメントの領域レベルの表現を生成するために細分化され、これにより画素レベルでは不可能であった空シグナチャ検証が容易となる。
【0047】
図6中、(図2の)領域抽出処理(ステップ202)についての詳細が与えられている。各画素値が空の色を有する画素の信念に比例する信念マップ71について、図7を参照して以下説明するように、大局閾値72が適応的に決定される。この閾値を用いて2値マップ73が形成され、「1」画素は候補空画素と考えられ、「0」画素は空でない画素と考えられる。空間的に連続する「1」画素の領域である連結成分は、空の色の空間的に分離されたゼロでない領域を生成するために固有にラベル付けされる(ステップ74)。空でない画素は、廉潔性とは無関係に「0」とラベル付けされる。(本願では「ラベルなし」と称される。)空の色の各連結結成分は、空の色の連結成分を生成するため(ステップ76)、以下詳細に示す2つの演算を用いて細分化される(ステップ75)。オープンスペースマップ77(やはり以下に説明する)は、図2中ブロック202によって出力される候補空領域を生成するために組み合わされる。
【0048】
図7は、本発明による方法を、大局閾値を動的に決定する本発明の方法を示す。まず、空の色の信念マップから信念値のヒストグラムが得られる。次にヒストグラムは、雑音(図7中の曲線を生成する)。第1の顕著な谷(例えば図7中の「第1の谷」)は、平滑化されたヒストグラムの中に含まれる。明らかな空領域があり、その他は全て明らかに空ではない単純な画像では、ヒストグラムは2つのピークとその間の1つの谷のみを有する。複雑な画像には、空と、水と、他の青い領域がある。従って、本発明は各画像について異なるヒストグラムを用い、本発明によって処理される個々の画像に対して動的な閾値が形成されることを可能とする。
【0049】
上述のSaberでは、平滑化されたヒストグラム中の最後の谷は、画像中の真の空領域が常に最も高い確率を有するという仮定に基づいて、最尤推定(MLE)スキームでユニバーサル閾値を調整するために使用される。しかしながら、幾つかの場合、青色の空でない領域が、色に関して高い空信念を有しうる。従って、本発明は、更なる解析のために全ての空の色の領域を保持し、空検出処理のより高い段階において空の色を有する空でない領域を排除する。従って、第1の谷がある位置の信念値が大局閾値として選択される。上述のように、この閾値は空の異なる影及び画像補足条件を適応させるために個々の画像について決定される。
【0050】
上述のブロック75において説明される2つの細分化動作のうちの1つは、領域分割である。領域分割は、異なる対象に属するが空の色を有するということに関しては同様の信念値を有する空間的に連結された青っぽい(潜在的な空)領域を分割するために用いられる。例えば、かかる領域は、青い空を背景とする青い布でありうる。かかる領域は、(空の典型的な色であるという)同様の信念を有し、従って信念マップ中で分離することができない。
【0051】
しかしながら、かかる領域は青の色の異なる影を有し、従って適応k平均処理(ここに参照として組み入れられるJ.Luo, R.T.Gray, H.-C.Le "Towards a Physics-Based Segmentation of Photographic Color Images," in Proc. IEEE Int. Comf. Image Process., 1997を参照のこと)。本発明は、この処理を使用し、領域が色セグメント化領域の多数の領域についての集合でなければ、空の色の領域を2つ以上の領域(固有の新しいラベル)へ分割する。
【0052】
本発明の他の実施例では、汎用色分割処理の代わりに、オープンスペース検出処理(ステップ77)(ここに参照として組み入れられる、J. Warnick, R.Mehrotra and R.Senn, のU.S Patent 5,901,245号、"Method and system for detection and characterization of open space in digital images")が使用されうる。オープンスペースは、画像中の平滑的且つ連続的な領域であると定義される。画像中に所望のキャプション又は図形的な要素を配置するために有用である。
【0053】
上述の自動的なオープンスペースの処理は、動作の2つの別々の段階に基づく(上述のWarnick)。まず、正しい色空間変換が実行された後、勾配に基づくアクティビティマップが計算され、多領域ヒストグラム解析により正しい閾値が決定される。第2の段階では、ボイドを埋めるために2値アクティビティマップに対して連結成分解析が実行され、小さい領域が排除される。上述のWarnickで実施されるオープンスペースの処理は、効果的且つ効率的である。その速度は、色セグメント化方法に必要とされる速度の数分の1である。オープンスペースの検出は、候補領域の平滑さについての追加的な確認を与える。従って、本発明のこの望ましい実施例では、本発明はオープンスペースの検出処理を用いる。このように、オープンスペースの検出は、(1)非常にテクスチャ化された領域を排除するため、(2)空を水域といった他の青ではない領域から分離するために組み入れられる。
【0054】
図6のステップ75で実行される第2の細分化動作は、領域成長を含む。本発明の領域制御処理は、孔を埋め、境界を拡張するために使用される。これは特に、「周縁」画素が、大局閾値に僅かに達しないが、最初の大局閾値を合格した近傍の画素の信念値に十分に近い空色信念値を有しうる場合に有用である。
【0055】
本発明によれば、「成長閾値」は、「ラベル付けされていない」画素とその近傍の「ラベル付けされた」画素の信念値の差が、領域成長のための第2の閾値よりも小さい場合に、かかる周縁画素を連結画素に対して再びラベル付けするために使用される。更に特定的には、閾値よりも上の信念値の画素とオープンスペースマップ中の連結成分との交差を取ることによりシード領域が形成される。閾値よりも下の信念値の画素では、領域成長は、信念値の連続性及び色値の連続性によって案内される。小さい独立した空領域は無視される。
【0056】
図2のブロック207について説明された空シグナチャ尺度では、水平線−天頂方向に沿った領域から1次元トレースが抽出される。本発明は、各抽出された領域における垂直勾配及び水平勾配の両方の分布に基づいて空の向きを決定する。
【0057】
更に特定的には、本発明は、物理学に基づく空のモデルにより、空の向きを決定するために赤の信号を用いる。上述のように、空の物理学に基づくモデルでは、散乱する光の量は光の波長及び散乱角度に依存する。一般的に、水平線に向かう飽和度低下効果は、青の光に対する赤の光及び緑の光の増加によって生ずる。更に、本発明は、青の光が水平線−天頂方向に略不変のままであると決定した。緑の信号の変化は、青の信号ほど顕著でない。従って、赤の信号は、最も信頼性の高い飽和低下効果のしるしが与えられる。従って、不均一な勾配分布は、赤の信号において最もよく観察できる。
【0058】
飽和度低下効果により、空は水平線−天頂方向に低い勾配を有するが、垂直方向では本質的に一定である。太陽の位置が水平線よりもかなり上であれば、散乱する光の同心分布は、異なる色領域の水平のストリップによって近似されうる(例えば図3のbarring lens falloff効果)。従って、図8A(水平線に平行)及び図8B(水平線に垂直)に示されるように、勾配の分布は水平方向と垂直方向に異なる特徴を有し、平均1<<平均2である。
【0059】
領域抽出202及び向き決定205の後、空シグナチャ検証処理は、上述のように、水平線−天頂方向に沿った領域内の1次元トレースを抽出し(ステップ206)、一組の規則によりトレースが空から得られるトレースに似ているか否かを決定し(ステップ207)、最後に物理学に基づく空トレースモデルに当てはまるトレースの割合によって領域の空信念を計算する。
【0060】
空から得られる多数の1次元トレースと画像中の幾つかの他の一般的な空の色の被写体の解析に基づき、本発明はこれらのトレースを定量化するモデルを含む。特に、水平線−天頂方向に沿って抽出されるトレースは、図10Aに示される空のトレースのシグナチャを示す。トレースの青の信号は空全体に亘って一定である傾向がある。緑の信号及び青の信号は、水平線から遠ざかって徐々に減少し、赤の信号は緑の信号よりも早く減少する。更に特定的には、全ての3つの信号は低次の多項式(例えば2次多項式)によって近似されうる。3つの信号中のマクロ変形は相関されない。比較として、幾つかの他の青の色の被写体はかかるシグナチャを示さない。これに対して、図10Bは、フラッシュ発光された画像中の青い壁の一般的なトレースを示す図であり、3つの信号は平行に平滑に変化している。
【0061】
同様に、図11Bは、水域を通る一般的なトレースを示す図であり、3つの信号は局所的な変形において強く相関している。これらの2つの場合の両方は、変化が主にルミナンスの変化であることを示す。更に、図11Aに示されるように、(白い)雲が晴れた青い空と共に存在する混合された空では、赤の信号及び緑の信号は雲の中では高くジャンプし、青の信号は同じままに維持され中立の雲領域を形成する。一般的に、雲の中で、赤の信号は緑の信号よりも多くジャンプする。
【0062】
図9は、入力トレースの処理を示すフローチャートである。更に特定的には、ブロック100では、抽出されたトレースは、図10A−11Bに示されるトレースモデルに対して解析される。まず、赤、緑、青の3つの信号について夫々、2項多項式当てはめが計算される(ステップ101)。2次多項式は、
y=f(x)=c1+c2*x+c3*x2
として示され、式中、xは1次元トレースのインデックスを示し、yは対応する信号のコード値である。
【0063】
次に、元のトレース又は当てはめされたトレースのいずれかに基づいて複数の特徴(「シグナチャ」)が計算される。特徴は、青の空トレース(104)、又は青の空トレースではない(混合された空トレース(105)、水のトレース(106)、又は「わからない」(107))として特徴付けられうる。以下示される例では、各抽出されたトレースについて10の尺度(「シグナチャ」)が計算される。しかしながら、当業者は、本願を読むことにより任意の数のかかるシグナチャを準備しうる。
【0064】
第1のシグナチャは、当てはめ2次多項式のオフセットに関するものである。オフセットは、赤のチャネル、緑のチャネル、青のチャネルの平均値に関連する。このシグナチャ特性は、平均青成分が平均赤成分及び平均緑成分よりも上であることを必要とする。トレースが抽出される特定の方法により、この特徴は実際に、青成分がトレースの殆どの青側で最も強いという要件へ翻訳される。かかる論理ステートメントのためのC言語的な疑似コードは、以下の通りである。
【0065】
【数2】
上述のクリスプな規則を用いる代わりに、条件を破った場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値の台形ファジースコアリング関数を用いることが有利でありうる。
【0066】
第2の典型的なシグナチャは、当てはめ2次多項式の傾斜に関するものである。一般的に、トレースが抽出される特定の方法により、RGB信号の傾斜は負である。この特徴は、青の信号が(減少するのであれば)赤の信号及び緑の信号よりもゆっくりと減少することを必要とする。一方、この特徴により単調増加(正の傾斜)もまた可能である。かかる論理ステートメントについてのC言語的疑似コードは以下の通りである。
【0067】
if (cb[2] > cg[2] && cb[2] > cr[2])
sig2 = 1;
if (!sig2 && sig2bg && sig2br)
sig2 = 1;
これは、クリスプな規則として実施される。ただし、sig2の厳しい条件を、sig2が満たされない場合に、より緩く定義される2つの条件sig2bg及びsig2brへゆるめられる。
【0068】
第3のシグナチャは、当てはめられた信号間の類似性又は平行性に関するものである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【0069】
if ((rgdist < brdist && bgdist < brdist) || (rgdist < bgdist && rgdist < brdist))
sig3 = 1;
ここで、rgdistは、2つの当てはめられた赤の信号と緑の信号の間の差(「距離」)を示すために使用される。これは以下のようにして決められる。まず、2つの信号のうちの1つが、移動された信号が移動されていない信号の開始点と同じ値を有するように適当に移動される。当てはめられた赤の信号と緑の信号を、
【0070】
【数3】
とすると、
【0071】
【数4】
であり、ただし、
【0072】
【数5】
とされる。
【0073】
次に、当てはめられた赤の信号と緑の信号の差又は距離は、
rgdist = |r(L/2)-g(L/2)| (9)
となり、式中、Lはトレースの全長である。換言すれば、この特徴は2つの当てはめられた信号の間の差を、両方の信号が同じ開始値を有するよう一方の信号が移動されたときの2つの中点における距離によって測定する。他の2つの項bgdist及びbrdistは同様に決められる。ここで1つの可能性は、かかる符号情報が絶対差と共に使用されるよう絶対値を使用しないことである。
【0074】
第4のシグナチャは、赤−緑の類似性に関するものである。赤の信号及び緑の信号は、かなり似ているべきである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【0075】
if (rgdist < MAXRGDIST)
sig4 = 1;
where
#define MAXRGDIST 15
第5のシグナチャは、低い非線形性に関するものである。全ての3つの信号は低い線形性を有するべきである。かかる論理ステートメントについての疑似コードは以下の通りである。
【0076】
if ( fabs (cb[3]) < MAXNONLINEARITY &&
fabs (cg[3]) < MAXNONLINEARITY &&
fabs (cr[3]) < MAXNONLINEARITY)
sig5 = 1;
where
#define MAXNONLINEARITY 0.05
上述のクリスプな規則を用いる代わりに、条件を破った場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【0077】
第6のシグナチャは、大きい変更のための赤−緑−青相関に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【0078】
if (largesignal && corr_rg > 0.5 && corr_br < 0.3 && corr_bg < 0.3)
sig6 = 1; //red-grn-blue correlation for large modulation
else if (!largesignal && corr_rg > 0.2 && corr_br < 0.4 && corr_bg < 0.4)
sig6 = 1; //red-grn-blue correlation for small modulation
else if (largesignal == -1)
sig6 = 1; //red-grn-blue correlation for micro modulation
if (largesignal ! = -1 && corr_rg > 0.9 && corr_rg >5*corr_br && corr_rg > 5*corr_bg)
sig6 = -1; //significantly higher red-grn-blue correlation
式中、corr-xyは、信号xと信号yの相関係数を示す。やはり、上述のクリスプな規則を用いる代わりに、この条件(s>0.95)が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【0079】
第7のシグナチャは、赤−緑−青の類似性又は***行性に関するものである。かかる論理ステートメントについての疑似コードは次の通りである。
【0080】
if (rgdist < MINDIST && bgdist < MINDIST && brdist < MINDIST)
sig7 = 0;
where
#define MINDIST 1.5
やはり、上述のクリスプな規則を用いる代わりに、この条件(s>0.95)が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【0081】
第8のシグナチャは、負の赤/緑傾斜に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【0082】
if (cr[2] > 0 AND cg[2] > 0)
sig8 = 0;
これは、クリスプな規則として実施される。
【0083】
第9のシグナチャは、当てはめの良さに関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【0084】
if (rchisq > MAXCHISQ_R && gchisq > MAXCHISQ_G && bchisq > MAXCHISQ_B) sig9 = 0;
where
#define MAXCHISQ_R 50
#define MAXCHISQ_G 25
#define MAXCHISQ_B 100
であり、式中、CHISQはχ二乗当てはめ誤差を示す。
【0085】
やはり、上述のクリスプな規則を用いる代わりに、この条件(s<0.1)が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【0086】
第10のシグナチャは、赤の信号及び緑の信号の減少に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【0087】
sigA = rdec*gdec;
であり、rdecは、赤の信号が(単調に)減少するかどうかを示す。特に、rdecは、全長の1/4の点における第1のサンプルx1と3/4の点における第2のサンプルx2の2つのサンプルを取ることにより当てはめられた赤の信号を用いて決定される。かかる論理ステートメントの疑似コードは以下の通りである。
【0088】
if (x2 < x1)
rdec = 1;
else
rdec = 0
他の項gdecは、緑の信号について同様に決定される。これはクリスプな規則として実施される。rdec =1且つgdec=1の場合にのみsigA=1であることに注意すべきである。
【0089】
これらの10のシグナチャは、現在の規則に基づく処理に、クリスプな決定として統合される。所与のトレースは、全ての条件が満たされたとき、即ち
if (sig1 && sig2 && sig3 && sig4 && sig5 && sig6 ! = 0 && sig7 && sig8 && sig9 && sigA)
skysignature =1;
又は、ファジー論理に基づくアルゴリズムでは、
if (sig1 > EFFECTIVEZERO && sig2 > EFFECTIVEZERO && sig3 > EFFECTIVEZERO && sig4 > EFFECTIVEZERO && sig5 > EFFECTIVEZERO &&
fabs(sig6) > EFFECTIVEZERO && sig8 > EFFECTIVEZERO && sig9 > EFFECTIVEZERO && sigA > EFFECTIVEZERO)
skysignature = (sig1+sig2+…+sig9+sigA)/10
where
#define EFFECTIVEZERO 0.1
の場合にのみ、空のトレースであると宣言される。
【0090】
殆どが(例えば95%が)空の色の画素である全ての候補トレースを検査するとき、領域の空の信念は、物理学に基づく空トレースモデルを満たすトレースの割合として計算される。空の信念が閾値(本例では一般的な目的では経験的に0.25)よりも下であれば、空でないと宣言される。
【0091】
図12A乃至図13Hは、様々な画像に対する本発明の作用を示す図である。更に特定的には、図12A−12B及び13A−13Bは、元の画像が処理されることについて示す。図12C−12D及び図13C−13Dは、上述のように図2中のブロック201に示される本発明の色分類処理の結果を示す図打得る。図12E−12F及び図13E−13DFは本発明によって生成されるオープンスペースマップ(図6中のブロック77)の結果を示す図である。図12G−12H及び図13G−13Hは、本発明による、空領域を白の部分として、空でない部分を黒の部分として示す図である。図12C−12D及び図13C−13Dの明度は、空の色の信念に比例するが、図12E−12F及び図13E−13Fの明度は分離されたラベルの領域を示すだけである。
【0092】
本発明は、フィルム及びディジタルカメラといったソースによって生成されるRGB画像に対して非常によく作用する。検出される空領域は、知覚的な境界に対して非常によい整合を示す。図12A乃至12Hに示される幾つかの例は、本発明の作用を示す。図12中、空と海は正しく分離され、真の空領域が検出される。図12Bの画像は、空の向きの正しい検出に基づいて本発明による方法によって正しく検出されている。図13A中の平滑な青い対象及び図13Bのテクスチャ化されたテーブルクロスは、本発明により夫々正しく排除されている。
【0093】
本発明による空シグナチャ検証処理の有効性が与えられていれば、色分類段階をゆるめて、夕焼け又は朝焼けのときの影といった空の青でない影を含むようにすることが可能である。曇った空に対して、夕焼け又は朝焼けのときの雲のない空は、日中の同じ部分と同様の散乱効果を示す。主な差は、昇っている又は沈んでいる太陽からの暖色の色合いである。
【0094】
候補領域の2次元平面当てはめは、空の検証を行なうための他の方法である。孔のある領域については、孔の位置の重み係数をゼロに設定して空の色の画素のみが平面当てはめに寄与するようにすることができる。偽の行程の検出の潜在的な増加を制限するため、孔を明るい中立の対象(雲)だけによるものとすることが必要でありうる。
【0095】
従って、本発明は、色分類、領域抽出、及び物理的空シグナチャ検証に基づく空検出のためのシステムを含む。本発明は、フィルム及びディジタルカメラを含むソースからの8ビット画像に対して予めバランス調整し、正しいダイナミックレンジ調整を行ったものに対して非常に良く作用する。検出された空領域は、近くされた空境界に対する非常によい空間的整合を示す。
【0096】
上述のように、本発明は、空中の小さい粒子による光の散乱に基づく空の物理的モデルを使用する。(色又はテクスチャモデルではなく)物理的モデルを使用することにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【0097】
【発明の効果】
本発明の1つの利点は、空気中の小さい粒子による光の散乱に基づく空の物理的モデルを使用することにある。(テクスチャモデルではなく)物理的モデルを用いることにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【0098】
本発明は、予めバランス調整すること及び正しいダイナミックレンジ調整をした後、フィルム及びディジタルカメラを含むソースからの8ビット画像に対して非常によく作用する。本発明によって検出される空領域は、知覚される空の境界に対して非常に良い空間的な整列を示す。
【図面の簡単な説明】
【図1】本発明の1つの実施例を示す概略構成図である。
【図2】本発明の1つの実施例を示す概略構成図である。
【図3A】晴れた空での昼光の色を示す概略図である。
【図3B】晴れた空での薄明の色を示す概略図である。
【図4A】色空間中の青い空のクラスタを3次元グラフとして示す図である。
【図4B】クラスタを生成する1つの色平面を示す図である。
【図4C】クラスタを生成する他の色平面を示す図である。
【図4D】クラスタを生成する他の色平面を示す図である。
【図5】空の色の分類の受信器動作特徴(ROC)を示すグラフ表現である。
【図6】本発明の領域抽出部を示す概略構成図である。
【図7】本発明による空の色の信念のための閾値決定を示すグラフ表現である。
【図8A】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図8B】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図9】本発明によって実行されるトレース分析を示す概略構成図である。
【図10A】晴れた空の典型的なトレースを示す図である。
【図10B】青い壁の典型的なトレースを示す図である。
【図11A】空と雲が混ざった典型的なトレースを示す図である。
【図11B】水の典型的なトレースを示す図である。
【図12A】本発明によって処理される画像の1つの段階を示す図である。
【図12B】本発明によって処理される画像の他の段階を示す図である。
【図12C】本発明によって処理される画像の他の段階を示す図である。
【図12D】本発明によって処理される画像の他の段階を示す図である。
【図12E】本発明によって処理される画像の他の段階を示す図である。
【図12F】本発明によって処理される画像の他の段階を示す図である。
【図12G】本発明によって処理される画像の他の段階を示す図である。
【図12H】本発明によって処理される画像の他の段階を示す図である。
【図13A】本発明によって処理される画像の1つの段階を示す図である。
【図13B】本発明によって処理される画像の他の段階を示す図である。
【図13C】本発明によって処理される画像の他の段階を示す図である。
【図13D】本発明によって処理される画像の他の段階を示す図である。
【図13E】本発明によって処理される画像の他の段階を示す図である。
【図13F】本発明によって処理される画像の他の段階を示す図である。
【図13G】本発明によって処理される画像の他の段階を示す図である。
【図13H】本発明によって処理される画像の他の段階を示す図である。
【符号の説明】
10 ディジタル画像
20 画像処理段階
30 結果
40 画像変更段階
50 変更された画像
Claims (3)
- 画像中の空領域を検出する方法であって、
上記画像中の飽和度低下勾配を計算する段階と、
上記画像中の真の画像領域を識別するために、上記領域の飽和度低下勾配と空についての所定の飽和度低下勾配とを比較する段階とを含む方法。 - 上記画像中の潜在的な空領域を色によって分類する段階を更に含む、請求項1記載の方法。
- 上記分類段階は、
画素識別器を用いて上記画像中の画素の信念マップを形成し、
空の色の適応閾値を計算する段階と、
上記画素と上記閾値を超過する画素を上記潜在的な空の画素によって分類する段階とを含む、請求項2記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/450,190 US6504951B1 (en) | 1999-11-29 | 1999-11-29 | Method for detecting sky in images |
US450190 | 1999-11-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001195591A JP2001195591A (ja) | 2001-07-19 |
JP4477222B2 true JP4477222B2 (ja) | 2010-06-09 |
Family
ID=23787139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000361907A Expired - Fee Related JP4477222B2 (ja) | 1999-11-29 | 2000-11-28 | 画像中の空を検出する方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6504951B1 (ja) |
EP (1) | EP1107179B1 (ja) |
JP (1) | JP4477222B2 (ja) |
DE (1) | DE60008486T2 (ja) |
Families Citing this family (115)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020001096A1 (en) * | 2000-04-28 | 2002-01-03 | Kenro Hama | Image processor for detecting specified pattern |
US7212668B1 (en) * | 2000-08-18 | 2007-05-01 | Eastman Kodak Company | Digital image processing system and method for emphasizing a main subject of an image |
FR2827060B1 (fr) | 2001-07-05 | 2003-09-19 | Eastman Kodak Co | Procede d'identification du ciel dans une image et image obtenue grace a ce procede |
US7062085B2 (en) * | 2001-09-13 | 2006-06-13 | Eastman Kodak Company | Method for detecting subject matter regions in images |
US7092573B2 (en) * | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
US7956889B2 (en) | 2003-06-04 | 2011-06-07 | Model Software Corporation | Video surveillance system |
US8363951B2 (en) * | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US8330831B2 (en) * | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US7269292B2 (en) * | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US8989453B2 (en) * | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US7315630B2 (en) | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US8498452B2 (en) * | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7792970B2 (en) * | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US7792335B2 (en) | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7317815B2 (en) * | 2003-06-26 | 2008-01-08 | Fotonation Vision Limited | Digital image processing composition using face detection information |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
ITMI20031449A1 (it) * | 2003-07-15 | 2005-01-16 | St Microelectronics Srl | Metodo per classificare una immagine digitale |
US7295700B2 (en) * | 2003-10-24 | 2007-11-13 | Adobe Systems Incorporated | Object extraction based on color and visual texture |
US7336819B2 (en) * | 2003-12-29 | 2008-02-26 | Eastman Kodak Company | Detection of sky in digital color images |
US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7558408B1 (en) | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
US7551755B1 (en) | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7555148B1 (en) | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7715597B2 (en) * | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US8503800B2 (en) * | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7936903B2 (en) * | 2005-05-31 | 2011-05-03 | Koninklijke Philips Electronics N.V. | Method and a system for detecting a road at night |
JP4622874B2 (ja) * | 2006-02-02 | 2011-02-02 | 富士ゼロックス株式会社 | 色調整方法および色調整装置 |
US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
EP2033142B1 (en) * | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
WO2008015586A2 (en) * | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US20080089591A1 (en) * | 2006-10-11 | 2008-04-17 | Hui Zhou | Method And Apparatus For Automatic Image Categorization |
FR2910143B1 (fr) * | 2006-12-19 | 2009-04-03 | Eastman Kodak Co | Procede pour predire automatiquement des mots dans un texte associe a un message multimedia |
US8055067B2 (en) * | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
JP5049356B2 (ja) | 2007-02-28 | 2012-10-17 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離 |
EP2188759A1 (en) | 2007-03-05 | 2010-05-26 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
US7916971B2 (en) * | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
US7822275B2 (en) * | 2007-06-04 | 2010-10-26 | Objectvideo, Inc. | Method for detecting water regions in video |
US8934717B2 (en) * | 2007-06-05 | 2015-01-13 | Intellectual Ventures Fund 83 Llc | Automatic story creation using semantic classifiers for digital assets and associated metadata |
US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
US7855737B2 (en) * | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
CN101588450B (zh) | 2008-05-19 | 2013-08-14 | 株式会社日立制作所 | 记录再现装置及方法 |
WO2010012448A2 (en) | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
US8913831B2 (en) * | 2008-07-31 | 2014-12-16 | Hewlett-Packard Development Company, L.P. | Perceptual segmentation of images |
US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
US8611677B2 (en) | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
WO2010063463A2 (en) * | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
US8351724B2 (en) * | 2009-05-08 | 2013-01-08 | Sharp Laboratories Of America, Inc. | Blue sky color detection technique |
US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
CN101930533B (zh) * | 2009-06-19 | 2013-11-13 | 株式会社理光 | 在图像采集设备中进行天空检测的装置和方法 |
US20100322513A1 (en) * | 2009-06-19 | 2010-12-23 | Sharp Laboratories Of America, Inc. | Skin and sky color detection and enhancement system |
WO2011001587A1 (ja) * | 2009-07-01 | 2011-01-06 | 日本電気株式会社 | コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム |
US20110016150A1 (en) * | 2009-07-20 | 2011-01-20 | Engstroem Jimmy | System and method for tagging multiple digital images |
US8503767B2 (en) * | 2009-09-16 | 2013-08-06 | Microsoft Corporation | Textual attribute-based image categorization and search |
US8379917B2 (en) * | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
US9009163B2 (en) * | 2009-12-08 | 2015-04-14 | Intellectual Ventures Fund 83 Llc | Lazy evaluation of semantic indexing |
US8872887B2 (en) | 2010-03-05 | 2014-10-28 | Fotonation Limited | Object detection and rendering for wide field of view (WFOV) image acquisition systems |
US20120050570A1 (en) | 2010-08-26 | 2012-03-01 | Jasinski David W | Audio processing based on scene type |
US9460353B2 (en) * | 2010-09-16 | 2016-10-04 | California Institute Of Technology | Systems and methods for automated water detection using visible sensors |
US8774528B2 (en) | 2010-09-24 | 2014-07-08 | Kodak Alaris Inc. | Method of selecting important digital images |
US8612441B2 (en) | 2011-02-04 | 2013-12-17 | Kodak Alaris Inc. | Identifying particular images from a collection |
US8836777B2 (en) | 2011-02-25 | 2014-09-16 | DigitalOptics Corporation Europe Limited | Automatic detection of vertical gaze using an embedded imaging device |
US8947501B2 (en) | 2011-03-31 | 2015-02-03 | Fotonation Limited | Scene enhancements in off-center peripheral regions for nonlinear lens geometries |
US8896703B2 (en) | 2011-03-31 | 2014-11-25 | Fotonation Limited | Superresolution enhancment of peripheral regions in nonlinear lens geometries |
US9454280B2 (en) | 2011-08-29 | 2016-09-27 | Intellectual Ventures Fund 83 Llc | Display device providing feedback based on image classification |
US8625904B2 (en) | 2011-08-30 | 2014-01-07 | Intellectual Ventures Fund 83 Llc | Detecting recurring themes in consumer image collections |
CN103049735B (zh) * | 2011-10-14 | 2016-02-03 | 株式会社理光 | 检测图像中特定物体的方法和检测图像中特定物体的设备 |
US8923567B2 (en) * | 2011-12-19 | 2014-12-30 | General Electric Company | Apparatus and method for predicting solar irradiance variation |
US20130201316A1 (en) | 2012-01-09 | 2013-08-08 | May Patents Ltd. | System and method for server based control |
US8873833B2 (en) | 2012-02-17 | 2014-10-28 | Sony Corporation | System and method for effectively performing a scene representation procedure |
US8750566B2 (en) | 2012-02-23 | 2014-06-10 | General Electric Company | Apparatus and method for spatially relating views of sky images acquired at spaced apart locations |
JP5703255B2 (ja) * | 2012-04-27 | 2015-04-15 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
WO2014072737A1 (en) * | 2012-11-12 | 2014-05-15 | Bae Systems Plc | Cloud feature detection |
US9552374B2 (en) | 2013-08-19 | 2017-01-24 | Kodak Alaris, Inc. | Imaging workflow using facial and non-facial features |
US9589349B2 (en) | 2013-09-25 | 2017-03-07 | Heartflow, Inc. | Systems and methods for controlling user repeatability and reproducibility of automated image annotation correction |
US10319035B2 (en) | 2013-10-11 | 2019-06-11 | Ccc Information Services | Image capturing and automatic labeling system |
RU2630744C2 (ru) * | 2014-04-10 | 2017-09-12 | Самсунг Электроникс Ко., Лтд. | Способ обнаружения периодических текстур |
EP3134850B1 (en) | 2014-04-22 | 2023-06-14 | Snap-Aid Patents Ltd. | Method for controlling a camera based on processing an image captured by other camera |
US11170037B2 (en) | 2014-06-11 | 2021-11-09 | Kodak Alaris Inc. | Method for creating view-based representations from multimedia collections |
JP2016085593A (ja) * | 2014-10-24 | 2016-05-19 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6642970B2 (ja) * | 2015-03-05 | 2020-02-12 | キヤノン株式会社 | 注目領域検出装置、注目領域検出方法及びプログラム |
US10019657B2 (en) * | 2015-05-28 | 2018-07-10 | Adobe Systems Incorporated | Joint depth estimation and semantic segmentation from a single image |
WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
US10346996B2 (en) | 2015-08-21 | 2019-07-09 | Adobe Inc. | Image depth inference from semantic labels |
US9792522B2 (en) * | 2015-12-01 | 2017-10-17 | Bloomsky, Inc. | Weather information extraction using sequential images |
CN106326901B (zh) * | 2016-08-30 | 2019-06-14 | 南京鑫和汇通电子科技有限公司 | 基于边缘点自相似性的水渍图像识别方法及teds*** |
WO2018145015A1 (en) | 2017-02-06 | 2018-08-09 | Kodak Alaris Inc. | Method for creating audio tracks for accompanying visual imagery |
CN106954022B (zh) * | 2017-03-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端 |
US10742899B1 (en) * | 2017-08-30 | 2020-08-11 | Snap Inc. | Systems, devices, and methods for image enhancement |
CN109214334B (zh) | 2018-09-03 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
US10902260B2 (en) | 2018-11-29 | 2021-01-26 | International Business Machines Corporation | Estimating a height of a cloud depicted in an image |
CN110796834B (zh) * | 2019-11-01 | 2021-10-08 | 广州小鹏汽车科技有限公司 | 车辆淹水的报警方法及***、车辆和可读存储介质 |
CN115100439B (zh) * | 2022-07-15 | 2022-11-04 | 广东瑞恩科技有限公司 | 一种用于水产养殖的水体异常检测方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5889578A (en) | 1993-10-26 | 1999-03-30 | Eastman Kodak Company | Method and apparatus for using film scanning information to determine the type and category of an image |
JPH0896129A (ja) | 1994-09-21 | 1996-04-12 | Omron Corp | モデル画像登録方法 |
US5642443A (en) | 1994-10-12 | 1997-06-24 | Eastman Kodak Company | Whole order orientation method and apparatus |
US5822453A (en) * | 1996-12-10 | 1998-10-13 | Eastman Kodak Company | Method for estimating and adjusting digital image contrast |
US5901245A (en) | 1997-01-23 | 1999-05-04 | Eastman Kodak Company | Method and system for detection and characterization of open space in digital images |
US6097470A (en) * | 1998-05-28 | 2000-08-01 | Eastman Kodak Company | Digital photofinishing system including scene balance, contrast normalization, and image sharpening digital image processing |
US6282317B1 (en) * | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
US6408103B1 (en) * | 1998-12-31 | 2002-06-18 | Eastman Kodak Company | Method for preserving spatial detail and color content when adjusting the tone scale of a digital color image |
-
1999
- 1999-11-29 US US09/450,190 patent/US6504951B1/en not_active Expired - Fee Related
-
2000
- 2000-11-17 DE DE60008486T patent/DE60008486T2/de not_active Expired - Lifetime
- 2000-11-17 EP EP00204040A patent/EP1107179B1/en not_active Expired - Lifetime
- 2000-11-28 JP JP2000361907A patent/JP4477222B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE60008486D1 (de) | 2004-04-01 |
DE60008486T2 (de) | 2004-12-16 |
EP1107179A3 (en) | 2002-07-31 |
JP2001195591A (ja) | 2001-07-19 |
US6504951B1 (en) | 2003-01-07 |
EP1107179B1 (en) | 2004-02-25 |
EP1107179A2 (en) | 2001-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4477222B2 (ja) | 画像中の空を検出する方法 | |
JP4477221B2 (ja) | 青い空を含む画像の向きを決定する方法 | |
CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
JP4234378B2 (ja) | 画像中で素材の領域を検出する方法 | |
Nadimi et al. | Physical models for moving shadow and object detection in video | |
Luo et al. | A physical model-based approach to detecting sky in photographic images | |
Al-Najdawi et al. | A survey of cast shadow detection algorithms | |
Lalonde et al. | Detecting ground shadows in outdoor consumer photographs | |
US7336819B2 (en) | Detection of sky in digital color images | |
CN111104943B (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
Onyango et al. | Physics-based colour image segmentation for scenes containing vegetation and soil | |
CN108921857A (zh) | 一种面向监视场景的视频图像焦点区域分割方法 | |
Murali et al. | A survey on shadow detection techniques in a single image | |
Manaf et al. | Hybridization of SLIC and Extra Tree for Object Based Image Analysis in Extracting Shoreline from Medium Resolution Satellite Images. | |
McFeely et al. | Shadow identification for digital imagery using colour and texture cues | |
Arévalo et al. | Detecting shadows in QuickBird satellite images | |
Sasi et al. | Shadow detection and removal from real images: state of art | |
Jyothisree et al. | Shadow detection using tricolor attenuation model enhanced with adaptive histogram equalization | |
Luo et al. | A physics-motivated approach to detecting sky in photographs | |
Das et al. | A novel shadow detection method using fuzzy rule based model | |
Figov et al. | Detecting and removing shadows | |
Singhal et al. | Hybrid approach to classifying sky regions in natural images | |
Subhashini et al. | Implementation of Satellite Road Image Denoising using Iterative Domain Guided Image Filtering with Gray World Optimization. | |
Recky et al. | Semantic Segmentation of Street-Side Images | |
Shiping et al. | Shadow Detection in Satellite Images by Computing Its Characteristics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4477222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |