JP7462360B2 - 地表を撮影した画像から影の無い画像を取得する方法 - Google Patents
地表を撮影した画像から影の無い画像を取得する方法 Download PDFInfo
- Publication number
- JP7462360B2 JP7462360B2 JP2023070816A JP2023070816A JP7462360B2 JP 7462360 B2 JP7462360 B2 JP 7462360B2 JP 2023070816 A JP2023070816 A JP 2023070816A JP 2023070816 A JP2023070816 A JP 2023070816A JP 7462360 B2 JP7462360 B2 JP 7462360B2
- Authority
- JP
- Japan
- Prior art keywords
- shadow
- image
- histogram
- shadow region
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 55
- 239000000203 mixture Substances 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000002902 bimodal effect Effects 0.000 description 4
- 230000010339 dilation Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000916 dilatatory effect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
地表を撮影した画像から影の無い画像を取得する方法は、
前記画像に含まれる影領域のヒストグラムと影以外の領域のヒストグラムを作成する工程と、
前記影領域のヒストグラムに対する影領域の混合ガウスモデルと前記影以外の領域のヒストグラムに対する影以外の領域の混合ガウスモデルを作成する工程と、
前記影領域の混合ガウスモデルを前記影以外の混合ガウスモデルに変換する変換関数を作成する工程と、
前記影領域の画素が前記混合ガウスモデルを構成する一つ又は複数のそれぞれのガウス分布に属する確率と前記変換関数とを用いて前記影領域に含まれる各画素の画素値を決定する工程と、
前記影領域に含まれる各画素の画素値と前記影以外の領域の画素値を用いて影の無い画像を得る工程を有する。
図2に示すように、影検出プロセスと影除去プロセスを実行するシステム10は、一般的なコンピュータと同様に、制御装置11、演算装置12、記憶装置13、入力装置14及び出力装置15を含む。システム10が実行するプログラムとデータは記憶装置13に記憶され、プログラムによって処理される画像データは記憶装置13に記憶されている。制御装置11は、記憶装置13に記憶されているプログラムに基づいて、記憶装置13に記憶されているデータとプログラムを読み出し、演算装置12に処理(計算)を実行させ、その結果を記憶装置13に記憶させる。したがって、以下に説明する数々の処理又は計算は、記憶装置13に記憶されたプログラムにしたがって制御装置11が演算装置12と記憶装置13に指令を発し、記憶装置13から読み出されたデータ等がプログラムに基づいて演算装置12によって処理され、その処理結果が記憶装置13に記憶される。以下の説明で使用される画像データ及び各種パラメータは例えば入力装置14を通じてオペレータによって入力されて記憶装置13に記憶されており、記憶装置13に記憶されているプログラムの要求に基づいて適宜読み出されて種々の計算に利用される。
図3(a)(b)を参照して、影検出プロセスを説明する。
システム10の記憶装置13には、入力装置14を介して、商用地球観測衛星で撮影された地表面の画像データ(原画像1)が入力されて記憶される(データ取得S1)。実施形態では、衛星で撮影された画像データを用いているが、航空機、又はその他の飛行体又は浮遊体に搭載された撮像装置で撮影された画像のデータであってもよい。
制御装置11は、記憶装置13に記憶されているプログラムにしたがって、記憶装置13に記憶されているBGR及びNIRの原画像のデータ100B,100G,100R及び100NIRを読み出し、演算装置12に、BGR及びNIRについてそれぞれのヒストグラム(度数分布図)101B,101G,101R及び101NIR(図4(a)、(b)、(c)、(d))を作成させる。各ヒストグラム11B,11G,11R及び11NIRにおいて、横軸は画素値(輝度値)、縦軸は画素値の個数である。
次に、制御装置11は、記憶装置13に記憶されているプログラムにしたがって、演算装置12に、BGR及びNIRのヒストグラム101B,101G,101R及び101NIRをそれぞれ拡張(ストレッチ)処理させて濃度を調整する。
次に、制御装置11は、記憶装置13に記憶されているプログラムにしたがって、拡張されたヒストグラム(B),(G),(R)及び(NIR)及びその画像データをそれぞれ正規化する。正規化されたBGR及びNIRの画像データ102B、102G,102R及び102NIRは記憶装置13に記憶される。
制御装置11は、記憶装置13に記憶されたプログラムに基づいて、演算装置12において、拡張され正規化されたBGR画像データ(BGR色空間)をHSV画像データ(HSV色空間)103に変換させる。変換されたHSV画像データは記憶装置13に記憶される。
制御装置11は、演算装置12において、記憶装置13に記憶されているHSV画像データ103を用いて、数式1に基づいて、各画素に対して正規化彩度明度差指標NSDVI(Normalized Saturation Value Difference Index)104を計算させ、計算されたNSDVI104を記憶装置13に記憶する。
制御装置11は、演算装置12において、拡張処理されて正規化されたR画像データとNIR画像データを用いて、数式2に基づいて、各画素に対して正規化植生指標NDVI(Normalized Difference Vegetation Index)105を計算させ、計算されたNDVI105を記憶装置13に記憶する。
制御装置11は、演算装置12において、数式3に基づいて、各画素に対してNSDVI104とNDVI105の差DIFF106を計算させ、計算したDIFF106を記憶装置13に記憶させる。
次に、制御装置11は、記憶装置13に記憶されているプログラムに基づいて、演算装置12において、DIFF106を用いて影領域と非影領域を区別する影閾値を計算させる。そのために、制御装置11はまず、記憶装置13に記憶されているDIFF106を用いて、演算装置12においてDIFFヒストグラム107を作成させる。
図示するように、複数の仮の影閾値(検出値)108’には、適正と考えられる検出値(多数派検出値)と、不適正と考えられる検出値(少数派検出値)が含まれる。実施形態のシステム10では、多数決ロジックを採用しており、検出された仮の影閾値を複数のクラスタ、例えば2つのクラスタ(多数派検出値と少数派検出値)に分類し、多数派検出値のクラスタに含まれる検出値の平均値を真の影閾値108と決定し、該真の影閾値108を記憶装置13に記憶する。
制御装置11は、演算装置12において記憶装置13に記憶された各画素のDIFF値と真の影閾値108とを比較させ、影閾値108未満のDIFF値を有する画素を影以外の領域の画素(影画素)と判断する一方、影閾値108以上のDIFF値を有する画素を影領域の画素(影画素)と判断し、影画素の集合からなる影マスク109(図9参照)を作成してこれを記憶装置13に記憶する。
影除去プロセスの実施形態を説明する。
制御装置11は、記憶装置13に記憶されているプログラムにしたがって、記憶装置13に記憶されているBGRの原画像のデータ10B,10G,10Rを取得する。
制御装置11は、上述の影検出プロセスによって作成された影マスクによって特定される影領域に含まれる画素のヒストグラム(横軸:画素値(輝度値)、縦軸:画素値の個数)121を作成する。また、制御装置11は、BGRのそれぞれに対して、影マスクによって特定された影領域を除く影以外の領域に含まれる画素のBGRヒストグラム(横軸:画素値(輝度値)、縦軸:画素値の個数)121B、121G、121Rを作成する。
制御装置11は、記憶装置13に記憶されているプログラムに基づいて、影部分のヒストグラム121と影以外の部分のBGRヒストグラム121B,121G,121Rのそれぞれに対して混合ガウスモデル122,122B,122G,122Rを作成する。混合するガウス分布の数Kは1又は2が適当であるが、それ以上の数のガウス分布を混合してモデルを作成してもよい。例えば、単峰性のヒストグラムに対してはK=1、2峰性ヒストグラムに対してはK=2が適当である。
次に、制御装置は、BGRのそれぞれに対して、影部分の混合ガウスモデルを影部分以外の混合ガウスモデルに変換する変換関数(transfer function) fB,fG,fRを求める。例えば、2つの正規分布からなる2峰性の混合ガウスモデルの場合、それぞれの正規分布に対する変換関数f1B,f2B;f1G,f2G;f1R,f2Rを求める。
制御装置11はまた、影部分を構成する各画素が、混合ガウスモデルを構成する一つ又は複数のガウス分布に属する確率を計算する。例えば、2つの正規分布からなる混合ガウスモデルの場合、2つの正規分布のそれぞれに属する確率p1,p2が計算される。
制御装置11は、影部分を構成する各画素の輝度q、変換関数fB,fG,fR及び確率pをもとに、BGRに含まれる影画素のそれぞれに対して画素値(輝度値)を計算し、計算された画素値をBGR画像の対応する画素に与えて、影の無いBGR画像を得る。例えば、2つの正規分布からなる混合ガウスモデルの場合、影部分のB画素に対する輝度はp1・f1B(qB)+p2・f2B(qB)として計算される。
上述の実施形態では、動的閾値決定処理法を採用し、複数のパラメータセットを用意してそれぞれのパラメータセットに対して仮の影閾値を求め、求めた複数の仮の影閾値から真の影閾値を計算したが、一つのパラメータセットだけを用意し、そのパラメータセットを利用して求めた影閾値を真の影閾値としてもよい。
本件特許出願は、地表を撮影した画像に含まれる影を除去するための影マスクを作成する新たな方法を開示する。本件特許出願はまた、大津の二値化以外の手法によって影領域と影以外の領域を閾値判別するプロセスを含む影マスクを作成する方法を開示する
(a) 地表を撮影した画像のBGRデータ及びNIRデータを拡張し正規化する拡張・正規化工程と、
(b) 拡張し正規化された前記BGRデータをHSVデータに変換するデータ変換工程と、
(c) 前記HSVデータをもとに、前記画像の各画素に対して数式4に基づいてNSVDIを計算するNSVDI計算工程と、
(d) 拡張し正規化されたRデータとNIRデータをもとに、前記画像の各画素に対して数式5に基づいてNDVIを計算するNDVI計算工程と、
(e) 前記画像の各画素に対して数式6に基づいてDIFFを計算するDIFF計算工程と、
(f) 前記DIFFの度数分布を表したDIFFヒストグラムを作成するDIFFヒストグラム作成工程と、
(g) 前記DIFFヒストグラムの度数分布から影以外の画素と影の画素とを区別する閾値を求める閾値決定工程と、
(h) 前記影閾値を用いて影マスクを作成する影マスク作成工程を有する。
したがって、上記影マスク作成方法によれば、植物を影と認識することがなく、真の影部分だけを影とする影マスクを作成できる。そのため、この方法によって作成された影マスクを利用して得られる影無し画像は、真の影を除去した画像である。
前記拡張・正規化工程が、
パラメータ設定工程を有し、
前記パラメータ設定工程によって設定されるパラメータセットは、下分位値(Qlower)、上分位値(Qupper)及びオフセット値(Offset)を含み、
前記拡張・正規化手段は、前記下分位値(Qlower)、前記上分位値(Qupper)及び前記オフセット値(Offset)を用いて、数式7に基づいて前記BGRデータ及び前記NIRデータを正規化することを特徴とする。
前記パラメータ設定工程が動的閾値決定工程を有し、
前記動的閾値決定工程は、
前記下分位値、及び前記上分位値及び前記オフセット値の少なくとも一つが異なる複数のパラメータセットを提供する工程と、
前記複数のパラメータセットに対してそれぞれ前記(c)~(f)を実行して複数のDIFFヒストグラムを取得する工程と、
前記複数のDIFFヒストグラムのそれぞれから仮の影閾値を得る工程と、
複数の前記仮の影閾値を用いて真の影閾値を決定する工程と、
を有することを特徴とする。
前記複数のDIFFヒストグラムから得られた複数の仮の影閾値を複数のクラスタに分類する工程と、
多数決法に基づいて前記複数のクラスタのうちで最も多くの仮の影閾値を含むクラスタを選択する工程と、
前記選択されたクラスタから真の影閾値を決定する工程を有することを特徴とする。
したがって、得られる影閾値は真の影閾値を表しており、この真の影閾値を用いて得られる影マスクは信頼性の高いものとなり、またこの影マスクを用いて得られる影無し画像は真の影無し地表画像となる。
100B,100G,100R,100NIR:画像データ
101B,101G,101R,101NIR:ヒストグラム
102B,102G,102R,102NIR:正規化されたヒストグラム
104:NSDVI
105:NDVI
106:DIFF
107:DIFFヒストグラム
108:影閾値
109,110:影マスク
Claims (3)
- 地表を撮影した画像から影の無い画像を取得する方法は、
前記画像に含まれる影領域のヒストグラムと影以外の領域のヒストグラムを作成する工程と、
前記影領域のヒストグラムに対する影領域の混合ガウスモデルと前記影以外の領域のヒストグラムに対する影以外の領域の混合ガウスモデルを作成する工程と、
前記影領域の混合ガウスモデルを前記影以外の混合ガウスモデルに変換する変換関数を作成する工程と、
前記影領域の画素が前記混合ガウスモデルを構成する一つ又は複数のそれぞれのガウス分布に属する確率と前記変換関数とを用いて前記影領域に含まれる各画素の画素値を決定する工程と、
前記影領域に含まれる各画素の画素値と前記影以外の領域の画素値を用いて影の無い画像を得る工程、を有する方法。 - 地表を撮影した画像から影の無い画像を取得する方法は、
前記画像に含まれる影領域のヒストグラムと影以外の領域のヒストグラムを作成する工程と、
前記影領域のヒストグラムに対する影領域の混合ガウスモデルと前記影以外の領域のヒストグラムに対する影以外の領域の混合ガウスモデルを作成する工程と、
前記影領域の混合ガウスモデルを前記影以外の混合ガウスモデルに変換する変換関数を作成する工程と、
前記影領域の影画素が前記混合ガウスモデルを構成する一つ又は複数のそれぞれのガウス分布に属する確率、前記変換関数、及び前記影領域を構成する影画素の輝度をもとに、前記影画素のそれぞれに対して画素値を計算する工程と、
計算された前記画素値を対応する前記影画素に与えて影の無い画像を得る工程、を有する方法。 - 前記画素値が輝度値である、請求項1又は2の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023070816A JP7462360B2 (ja) | 2021-10-11 | 2023-04-24 | 地表を撮影した画像から影の無い画像を取得する方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021166861A JP7290848B2 (ja) | 2021-10-11 | 2021-10-11 | 影マスクの作成方法、影を除去する方法、影マスクを作成させるプログラム |
JP2023070816A JP7462360B2 (ja) | 2021-10-11 | 2023-04-24 | 地表を撮影した画像から影の無い画像を取得する方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021166861A Division JP7290848B2 (ja) | 2021-10-11 | 2021-10-11 | 影マスクの作成方法、影を除去する方法、影マスクを作成させるプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023093668A JP2023093668A (ja) | 2023-07-04 |
JP7462360B2 true JP7462360B2 (ja) | 2024-04-05 |
Family
ID=86006344
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021166861A Active JP7290848B2 (ja) | 2021-10-11 | 2021-10-11 | 影マスクの作成方法、影を除去する方法、影マスクを作成させるプログラム |
JP2023070816A Active JP7462360B2 (ja) | 2021-10-11 | 2023-04-24 | 地表を撮影した画像から影の無い画像を取得する方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021166861A Active JP7290848B2 (ja) | 2021-10-11 | 2021-10-11 | 影マスクの作成方法、影を除去する方法、影マスクを作成させるプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7290848B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016024743A (ja) | 2014-07-23 | 2016-02-08 | 西谷 隆夫 | 動画像処理装置、動画像情報処理プログラムおよび動画像処理方法 |
WO2020066456A1 (ja) | 2018-09-25 | 2020-04-02 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2960366B2 (ja) * | 1997-03-18 | 1999-10-06 | 防衛庁技術研究本部長 | 目標抽出方法 |
CN113191312A (zh) * | 2021-05-20 | 2021-07-30 | 鲁东大学 | 一种基于直方图智能阈值和srm辅助的遥感图像水体提取方法 |
-
2021
- 2021-10-11 JP JP2021166861A patent/JP7290848B2/ja active Active
-
2023
- 2023-04-24 JP JP2023070816A patent/JP7462360B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016024743A (ja) | 2014-07-23 | 2016-02-08 | 西谷 隆夫 | 動画像処理装置、動画像情報処理プログラムおよび動画像処理方法 |
WO2020066456A1 (ja) | 2018-09-25 | 2020-04-02 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023057364A (ja) | 2023-04-21 |
JP2023093668A (ja) | 2023-07-04 |
JP7290848B2 (ja) | 2023-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Object-oriented shadow detection and removal from urban high-resolution remote sensing images | |
Qin et al. | A hierarchical building detection method for very high resolution remotely sensed images combined with DSM using graph cut optimization | |
CN110309781B (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
US6263113B1 (en) | Method for detecting a face in a digital image | |
Ghaffarian | Automatic building detection based on supervised classification using high resolution Google Earth images | |
Manno-Kovács et al. | Building detection from monocular VHR images by integrated urban area knowledge | |
JP2006285310A (ja) | 森林の樹冠の評価方法及びその樹冠評価プログラム | |
CN108446707B (zh) | 基于关键点筛选及dpm确认的遥感图像飞机检测方法 | |
US11804025B2 (en) | Methods and systems for identifying topographic features | |
US20040091146A1 (en) | Representative color designating method using reliability | |
JP2010205067A (ja) | 領域抽出装置、領域抽出方法及び領域抽出プログラム | |
JP2005234603A (ja) | 地図情報更新方法及び地図更新装置 | |
JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
JP6334281B2 (ja) | 林相解析装置、林相解析方法及びプログラム | |
JP7462360B2 (ja) | 地表を撮影した画像から影の無い画像を取得する方法 | |
JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
JP2009176163A (ja) | 区画データ作成システム | |
JP5305485B2 (ja) | 地盤高データ生成装置、地盤高データ生成方法、及びプログラム | |
JP4030318B2 (ja) | 地図データ更新装置および地図データ更新方法 | |
JP2005241886A (ja) | 地理画像間変化領域の抽出方法、地理画像間変化領域を抽出可能なプログラム、閉領域抽出方法及び閉領域抽出可能なプログラム | |
JP6218678B2 (ja) | 林相解析装置、林相解析方法及びプログラム | |
JP3897306B2 (ja) | 地理画像間変化領域の抽出の支援方法及び地理画像間変化領域の抽出を支援可能なプログラム | |
CN110443811B (zh) | 一种复杂背景叶片图像的全自动分割方法 | |
Mostafa et al. | Study on shadow detection from high-resolution satellite images using color model | |
Wu et al. | Tree crown detection and delineation in high resolution RS image: a texture approach discussion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7462360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |