JP2004046777A

JP2004046777A - 画像処理装置及びそれに用いる画像処理方法並びにそのプログラム

Info

Publication number: JP2004046777A
Application number: JP2002323250A
Authority: JP
Inventors: Hisao Furukawa; 古川　久雄
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-05-15
Filing date: 2002-11-07
Publication date: 2004-02-12
Anticipated expiration: 2022-11-07
Also published as: JP3915664B2

Abstract

【課題】ＤＥＭデータに含まれるノイズの影響を受けにくく、また欠損領域に起因する違和感の少ない、より自然なオルソ画像が得られる画像処理装置を提供する。
【解決手段】ステレオ処理手段１１は複数の画像データに対してステレオマッチング処理を行い、ＤＥＭデータｂを抽出する。ＤＥＭ平滑化手段１２はステレオ処理手段１１によって得られたＤＥＭデータｂに平滑化フィルタを適用して平滑化ＤＥＭデータｃを生成する。オルソ化手段１３はＤＥＭ平滑化手段１２によって平滑化された平滑化ＤＥＭデータｃを用いて画像の正射変換を行い、オルソ画像ｄを生成する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置及びそれに用いる画像処理方法並びにそのプログラムに関し、特にステレオ画像からの３　次元データ生成及び正射影変換に用いる画像処理方法に関する。
【０００２】
【従来の技術】
従来、ディジタル写真測量や地図作成作業等においては、地上に設置したカメラから得られるステレオ画像、あるいは衛星や航空機から撮影される画像を基に３次元データ［以下、ＤＥＭ（Ｄｉｇｉｔａｌ　Ｅｌｅｖａｔｉｏｎ　Ｍａｐ）データとする］をステレオマッチングによって生成し、それを用いて画像を正射変換してオルソ画像を生成し、図面化等に応用する方法が広く行われている。
【０００３】
ここで、オルソ画像とは、通常のカメラの場合、図１１（ａ）に示すように、中心投影のために傾いて撮影される対象を、図１１（ｂ）に示すように、所定の面に対して正射影して得られる画像のことであり、複数の画像を連結して広範囲の対象を把握し、図面等を作成するためには不可欠な画像である。
【０００４】
上記の手法を応用した例としては、地上でのディジタル画像計測を行う際に上記の手法を用いる技術がある（例えば、特許文献１，２参照）。また、上記の技術を航空写真や衛星画像に応用したシステム例としは、航空写真や衛星画像をステレオマッチングして正射変換する技術がある（例えば、特許文献３参照）。
【０００５】
図１２は従来の画像処理装置の構成例を示すブロック図である。この図１２に示すように、従来の画像処理装置５は複数の画像に対してステレオマッチング処理を行ってＤＥＭデータを抽出するステレオ処理手段１１と、ＤＥＭデータを用いて画像を正射変換するオルソ化手段１３とを備えている。
【０００６】
上記のような構成を持つ画像処理装置５では、図１３に示すような動作が行われている。すなわち、複数の写真から得られる画像データがステレオ処理手段１１に与えられ、従来のシステムと同様に、ステレオマッチングを行うことによって自動的にＤＥＭデータを抽出する（図１３ステップＳ４１）。
【０００７】
これによって得られるＤＥＭデータは画像データとともに、オルソ化手段１３に与えられ、ＤＥＭ情報と標定された撮影角度情報とに基づいて画像内の画素を移動させることによってオルソ画像が生成される（図１３ステップＳ４２）。
【０００８】
【特許文献１】
特開２０００−１８２０５９号公報（第３〜７頁、図１，２）
【特許文献２】
特開平１１−３５１８６５号公報（第４，５頁、図１）
【特許文献３】
特開２０００−３４８１６０号公報（第２，３頁、図１）
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来のオルソ画像生成手法では、ステレオマッチングによって得られたＤＥＭデータに、対応点のミスマッチングによって生じた誤差が含まれており、正射変換の際に誤ったＤＥＭデータを持つ画素が誤った位置に移されてしまうため、上記の方法によって生成されたオルソ画像の画質が低いという問題がある。
【００１０】
また、従来のオルソ画像生成手法では、市街地を撮影した航空画像等、画像中の撮影対象が不連続な形状を多く含む場合、ビル等によって隠れた道路等の隠蔽領域で画素が撮像されていないため、オルソ画像中に対応する画素を移すことができず、図１４に示すように、隠蔽領域に画素の欠損した抜け領域が生じるので、上記の方法によって生成されたオルソ画像に画素が欠損した領域を多く含むこととなり、不自然な画像になるという問題がある。
【００１１】
従来のオルソ画像生成手法では、上述したような問題があるため、作図やＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）生成に活用することができ、より自然なオルソ画像が得られる処理方法が望まれている。
【００１２】
そこで、本発明の目的は上記の問題点を解消し、ＤＥＭデータに含まれるノイズの影響を受けにくく、また欠損領域に起因する違和感の少ない、より自然なオルソ画像を得ることができる画像処理装置及びそれに用いる画像処理方法並びにそのプログラム画像処理装置及びそれに用いるオルソ画像自動整形方法並びにそのプログラムを提供することにある。
【００１３】
【課題を解決するための手段】
本発明による画像処理装置は、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理装置であって、前記ステレオマッチング処理によって前記３次元データを抽出するステレオ処理手段と、前記ステレオ処理手段で抽出された前記３次元データに平滑化フィルタを適用して前記３次元データのノイズを除去して平滑化するＤＥＭ平滑化手段と、前記ＤＥＭ平滑化手段で平滑化された３次元データを用いて前記画像を正射変換するオルソ化手段とを備えている。
【００１４】
本発明による他の画像処理装置は、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理装置であって、前記ステレオマッチング処理によって前記３次元データを抽出するステレオ処理手段と、前記３次元データを用いて前記画像を正射変換するオルソ化手段と、前記画像を正射投影面に対する標定角にしたがって射影変換する射影変換手段と、前記オルソ化手段で得られたオルソ画像と前記射影変換手段で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成する画像合成手段とを備えている。
【００１５】
本発明による画像処理方法は、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法であって、前記ステレオマッチング処理によって前記３次元データを抽出するステップと、その抽出された前記３次元データに平滑化フィルタを適用して前記３次元データのノイズを除去して平滑化するステップと、平滑化された３次元データを用いて前記画像を正射変換するステップとを備えている。
【００１６】
本発明による他の画像処理方法は、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法であって、前記ステレオマッチング処理によって前記３次元データを抽出するステップと、前記３次元データを用いて前記画像を正射変換するステップと、前記画像を正射投影面に対する標定角にしたがって射影変換するステップと、前記画像の正射変換で得られたオルソ画像と前記射影変換で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成するステップとを備えている。
【００１７】
本発明による画像処理方法のプログラムは、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法のプログラムであって、コンピュータに、前記ステレオマッチング処理によって前記３次元データを抽出する処理と、その抽出された前記３次元データに平滑化フィルタを適用して前記３次元データのノイズを除去して平滑化する処理と、平滑化された３次元データを用いて前記画像を正射変換する処理とを実行させている。
【００１８】
本発明による他の画像処理方法のプログラムは、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法のプログラムであって、コンピュータに、前記ステレオマッチング処理によって前記３次元データを抽出する処理と、前記３次元データを用いて前記画像を正射変換する処理と、前記画像を正射投影面に対する標定角にしたがって射影変換する処理と、前記画像の正射変換で得られたオルソ画像と前記射影変換で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成する処理とを実行させている。
【００１９】
すなわち、本発明の画像処理装置は、複数の画像に対してステレオマッチング処理を行って３次元データ［以下、ＤＥＭ（Ｄｉｇｉｔａｌ　Ｅｌｅｖａｔｉｏｎ　Ｍａｐ）データとする］を抽出するステレオ処理手段と、ＤＥＭデータに平滑化フィルタを適用してノイズを除去するＤＥＭ平滑化手段と、ＤＥＭデータを用いて画像を正射変換するオルソ化手段と、画像を正射投影面に対する標定角にしたがって射影変換する射影変換手段と、射影変換画像とオルソ画像とを合成して補間オルソ画像を生成する画像合成手段とを備えている。
【００２０】
本発明の画像処理装置では上記のような構成とすることで、複数の画像に対してステレオマッチング処理を自動的に行い、得られた視差情報による画像中の各点における高さ情報、すなわちＤＥＭデータを抽出し、平滑化フィルタを適用してＤＥＭデータ中のノイズを除去した後、画像を平滑化したＤＥＭデータを用いて正射変換してオルソ画像を生成し、さらに画像を正射投影面と平行な面に対して射影変換した射影変換画像と合成し、欠損した画素を補間した補間オルソ画像を生成するよう動作している。
【００２１】
これによって、本発明の画像処理装置では、ＤＥＭデータ中のノイズを低減してオルソ化に利用し、また隠蔽による画素の欠損領域を射影変換画像で補間することで、ノイズによる画質低下や欠損領域による違和感の少ない、より自然なオルソ画像を生成することが可能となる。
【００２２】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例による画像処理装置の構成を示すブロック図である。図１において、画像処理装置１は複数の画像（航空画像データａ）に対してステレオマッチング処理を行って３次元データ［以下、ＤＥＭ（Ｄｉｇｉｔａｌ　ＥｌｅｖａｔｉｏｎＭａｐ）データとする］ｂを抽出するステレオ処理手段１１と、抽出されたＤＥＭデータｂに平滑化フィルタ（図示せず）を適用してノイズを除去するＤＥＭ平滑化手段１２と、平滑化ＤＥＭデータｃを用いて画像（航空画像データａ）を正射変換するオルソ化手段１３と、画像処理装置１の各手段を実現するためのプログラムを格納する記録媒体１４とから構成されている。
【００２３】
上記の画像処理装置１の各手段はそれぞれ概略、次のように動作する。つまり、画像処理装置１を主に構成するコンピュータが記録媒体１４のプログラムを実行することで、以下の処理が行われる。
【００２４】
まず、ステレオ処理手段１１は複数の画像データ（航空画像データａ）に対してステレオマッチング処理を行い、ＤＥＭデータｂを抽出する。ＤＥＭ平滑化手段１２はステレオ処理手段１１によって得られたＤＥＭデータｂに平滑化フィルタを適用して平滑化ＤＥＭデータｃを生成する。
【００２５】
オルソ化手段１３はＤＥＭ平滑化手段１２によって平滑化された平滑化ＤＥＭデータｃを用いて画像（航空画像データａ）の正射変換を行い、オルソ画像ｄを生成する。ここで、オルソ画像とは、上述したように、通常のカメラの場合、図１１（ａ）に示すように、中心投影のため傾いて撮影される対象を、図１１（ｂ）に示すように、所定の面に対して正射影して得られる画像のことであり、複数の画像を連結して広範囲の対象を把握し、図面等を作成するためには不可欠な画像である。
【００２６】
図２は本発明の第１の実施例による画像処理装置１の動作を示すフローチャートである。これら図１及び図２を参照して本発明の第１の実施例による画像処理装置１の動作について説明する。尚、図２に示す処理は画像処理装置１を主に構成するコンピュータが記録媒体１４のプログラムを実行することで実現される。
【００２７】
まず、ステレオ処理手段１１は複数の画像（航空画像データａ）に対して自動的にステレオマッチング処理を行い、ＤＥＭデータを抽出する（図２ステップＳ１）。ここで用いるステレオマッチング処理には特に制限がなく、例えば、特開平３−１６７６７８号公報に開示された方法で実現することができる。
【００２８】
次に、ＤＥＭ平滑化手段１２は、上記のステレオ処理手段１１によって得られたＤＥＭデータｂに対して平滑化フィルタを適用し、平滑化ＤＥＭデータｃを生成する（図２ステップＳ２）。ここで用いる平滑化フィルタはノイズを軽減する効果を持つフィルタであれば、特に制限はなく、例えば、メディアンフィルタ、多値モルフォロジカルフィルタ等を用いてもよい。また、それらのフィルタを複数組合せて適用することも可能である。
【００２９】
オルソ化手段１３は上記のＤＥＭ平滑化手段１２によって平滑化された平滑化ＤＥＭデータｃを用い、画像（航空画像データａ）をある基準面に対して正射変換し、オルソ画像ｄを作成する（図２中のステップＳ３）。この時の正射投影面は、例えば、衛星画像や航空写真を用いる場合であれば、地上面に平行な面となるが、用途によって任意の面を定めて正射変換することができる。
【００３０】
上述したように、本実施例では、平滑化したＤＥＭデータをオルソ化処理に用いる構成とすることで、元々のＤＥＭデータｂに含まれるノイズの影響を軽減したオルソ画像ｄを生成することができる。
【００３１】
図３は本発明の第２の実施例による画像処理装置の構成を示すブロック図である。図３において、本発明の第２の実施例はＤＥＭ平滑化手段１２を省き、射影変換手段２１と画像合成手段２２と追加した以外は図１に示す本発明の第１の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【００３２】
すなわち、画像処理装置２は複数の画像（航空画像データａ）に対してステレオマッチング処理を行ってＤＥＭデータｂを抽出するステレオ処理手段１１と、その抽出されたＤＥＭデータｂを用いて画像（航空画像データａ）を正射変換するオルソ化手段１３と、画像（航空画像データａ）を正射投影面に対する回転角にしたがって射影変換する射影変換手段２１と、射影変換画像（射影変換航空画像ｅ）とオルソ画像ｄとを合成し、欠損した画素が補間された補間オルソ画像ｆを生成する画像合成手段２２と、画像処理装置２の各手段を実現するためのプログラムを格納する記録媒体１４とから構成されている。
【００３３】
上記の画像処理装置２の各手段はそれぞれ概略、次のように動作する。つまり、画像処理装置２を主に構成するコンピュータが記録媒体１４のプログラムを実行することで、以下の処理が行われる。
【００３４】
ステレオ処理手段１１は、上述したように、複数の画像データ（航空画像データａ）に対してステレオマッチング処理を行い、ＤＥＭデータｂを抽出する。オルソ化手段１３は上記のステレオ処理手段１１によって得られたＤＥＭデータａを用いて画像（航空画像データａ）を正射変換する。
【００３５】
射影変換手段２１は画像（航空画像データａ）を標定計算によって得られた正射投影面への回転角にしたがって射影変換する。画像合成手段２２は上記のオルソ化手段１３によって得られたオルソ画像ｄと、上記の射影変換手段２１によって変換された画像（射影変換航空画像ｅ）とを重ね合わせて補間し、欠損した画素が補間された補間オルソ画像ｆを生成する。
【００３６】
図４は本発明の第２の実施例による画像処理装置２の動作を示すフローチャートである。これら図３及び図４を参照して本発明の第２の実施例による画像処理装置２の動作について説明する。尚、図４に示す処理は画像処理装置２を主に構成するコンピュータが記録媒体１４のプログラムを実行することで実現される。
【００３７】
まず、ステレオ処理手段１１は複数の画像（航空画像データａ）に対して自動的にステレオマッチング処理を行い、ＤＥＭデータｂを抽出する（図４ステップＳ１１）。ここで用いるステレオマッチング処理には特に制限はなく、例えば、特開平３−１６７６７８号公報に開示された方法で実現することができる。
【００３８】
次に、オルソ化手段１３は上記のステレオ処理手段１１によって得られたＤＥＭデータｂを用いて、画像（航空画像データａ）をある基準面に対して正射変換し、オルソ画像ｄを作成する（図４ステップＳ１２）。この時の正射投影面は、例えば、衛星画像や航空写真を用いる場合であれば、地上面に平行な面となるが、用途によって任意の面を定めて正射変換することができる。
【００３９】
射影変換手段２１は上記のステレオ処理手段１１で用いた複数の画像（航空画像データａ）のうちのいずれかの画像を、正射投影面への回転角にしたがって射影変換した画像（射影変換航空画像ｅ）を生成する（図４ステップＳ１３）。これは画像を平面で近似し、視点を固定したまま正射投影面に再投影する操作である。その際に用いる画像はステレオ処理手段１１で用いた画像（航空画像データａ）のうちの任意の画像を用いて良いが、正射投影面に対する回転角が小さい画像の方が望ましい。
【００４０】
最後に、画像合成手段２２はオルソ化手段１３において得られたオルソ画像ｄ及び射影変換変換手段２１において得られた射影変換航空画像ｅを重ね合わせて補間し、補間オルソ画像ｆを生成する（図４ステップＳ１４）。具体的には、オルソ画像ｄ中に値が得られない抜け領域の画素に対し、対応する位置の射影変換航空画像ｅの画素を用いて補間する処理を行う。
【００４１】
上述したように、本実施例では、画像（航空画像データａ）を正射投影面に対する回転角に合せて射影変換し、その画像（射影変換航空画像ｅ）の対応領域の画素をオルソ画像ｄの欠損領域において代用する構成としているため、オルソ画像ｄの抜け領域を補間することができ、その結果、オルソ画像ｄをＣＧ等に応用する際、抜け領域によって発生していた違和感を減少させることができる。
【００４２】
図５は本発明の第３の実施例による画像処理装置の構成を示すブロック図である。図５において、本発明の第３の実施例はＤＥＭ平滑化手段１２を追加した以外は図３に示す本発明の第２の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第２の実施例と同様である。
【００４３】
すなわち、画像処理装置３は複数の画像（航空画像データａ）に対してステレオマッチング処理を行い、ＤＥＭデータｂを抽出するステレオ処理手段１１と、ＤＥＭデータｂに平滑化フィルタを適用してノイズを除去するＤＥＭ平滑化手段１２と、平滑化ＤＥＭデータｃを用いて画像（航空画像データａ）を正射変換するオルソ化手段１３と、画像（航空画像データａ）を正射投影面に対する標定角にしたがって射影変換する射影変換手段２１と、射影変換航空画像ｅとオルソ画像ｄとを合成し、欠損した画素が補間された補間オルソ画像ｆを生成する画像合成手段２２と、画像処理装置２の各手段を実現するためのプログラムを格納する記録媒体１４とから構成されている。
【００４４】
上記の画像処理装置３の各手段はそれぞれ概略、次のように動作する。つまり、画像処理装置３を主に構成するコンピュータが記録媒体１４のプログラムを実行することで、以下の処理が行われる。
【００４５】
ステレオ処理手段１１は複数の画像データ（航空画像データａ）に対してステレオマッチング処理を行い、ＤＥＭデータｂを抽出する。ＤＥＭ平滑化手段１２は上記のステレオ処理手段１１によって得られたＤＥＭデータｂに平滑化フィルタを適用し、平滑化ＤＥＭデータｃを生成する。
【００４６】
オルソ化手段１３は上記のＤＥＭ平滑化手段１２によって平滑化された平滑化ＤＥＭデータｃを用いて画像（航空画像データａ）を正射変換し、オルソ画像ｄを作成する。
【００４７】
射影変換手段２１は画像（航空画像データａ）を、標定された正射投影面への回転角にしたがって射影変換する。画像合成手段２２は上記のオルソ化手段１３によって得られたオルソ画像ｄと、上記の射影変換手段２１によって変換された画像（射影変換航空画像ｅ）とを重ね合わせて補間し、欠損した画素が補間された補間オルソ画像ｆを生成する。
【００４８】
図６は本発明の第３の実施例による画像処理装置３の動作を示すフローチャートである。これら図５及び図６を参照して本発明の第３の実施例による画像処理装置３の動作について説明する。尚、図６に示す処理は画像処理装置３を主に構成するコンピュータが記録媒体１４のプログラムを実行することで実現される。
【００４９】
まず、ステレオ処理手段１１は複数の画像（航空画像データａ）に対して自動的にステレオマッチング処理を行い、ＤＥＭデータｂを抽出する（図６ステップＳ２１）。ここで用いるステレオマッチング処理には、特に制限はなく、例えば、特開平３−１６７６７８号公報に開示された方法で実現することができる。
【００５０】
次に、ＤＥＭ平滑化手段１２は上記のステレオ処理手段１１によって得られたＤＥＭデータｂに対し、平滑化フィルタを適用して平滑化ＤＥＭデータｃを作成する（図６ステップＳ２２）。ここで用いる平滑化フィルタはノイズを軽減する効果を持つフィルタであれば、特に制限はなく、例えば、メディアンフィルタ、多値モルフォロジカルフィルタ等を用いてよい。また、それらのフィルタを複数組合せて適用することも可能である。
【００５１】
オルソ化手段１３は上記のＤＥＭ平滑化手段１２によって平滑化された平滑化ＤＥＭデータｃを用いて、画像（航空画像データａ）をある基準面に対して正射変換し、オルソ画像ｄを作成する（図６ステップＳ２３）。この時の正射投影面は、例えば、衛星画像や航空写真を用いる場合であれば、地上面に平行な面となるが、用途によって任意の面を定めて正射変換することができる。
【００５２】
続いて、射影変換手段２１は上記のステレオ処理手段１１で用られた複数の画像（航空画像データａ）のうちのいずれかの画像を、正射投影面への回転角にしたがって射影変換した画像（射影変換航空画像ｅ）を生成する（図６ステップＳ２４）。これは画像を平面で近似し、視点を固定したまま正射投影面に再投影する操作である。この際に用いる画像は、ステレオ処理手段１１で用いた画像（航空画像データａ）のうちの任意の画像を用いて良いが、正射投影面に対する回転角が小さい画像の方が望ましい。
【００５３】
最後に、画像合成手段２２は上記のオルソ化手段１３において得られたオルソ画像ｄ及び上記の射影変換変換手段２１において得られた射影変換航空画像ｅを重ね合わせて補間し、欠損した画素が補間された補間オルソ画像ｆを生成する（図６ステップＳ２５）。具体的には、オルソ画像ｄ中に値が得られない抜け領域の画素に対し、対応する位置の射影変換航空画像ｅの画素を用いて補間する処理を行う。
【００５４】
上述したように、本実施例では平滑化された平滑化ＤＥＭデータｃをオルソ化処理に用いる構成としているので、元々のＤＥＭデータｂに含まれるノイズの影響を軽減したオルソ画像ｄを生成することができる。
【００５５】
また、本実施例では、画像（航空画像データａ）を正射投影面に対する回転角に合せて射影変換し、その画像（射影変換航空画像ｅ）の対応領域の画素をオルソ画像ｄの欠損領域において代用する構成としているので、オルソ画像ｄの抜け領域を補間することができ、その結果、オルソ画像ｄをＣＧ等に応用する際、抜け領域によって発生していた違和感を減少させることができる。
【００５６】
図７は本発明の第４の実施例による画像処理装置の構成を示すブロック図である。図７において、本発明の第４の実施例はステレオペア設定手段４２を追加した以外は図５に示す本発明の第３の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第３の実施例と同様である。
【００５７】
すなわち、画像処理装置４は複数の画像（航空画像データａ）の中から対になる画像を選択するステレオペア設定手段４２と、オルソ画像ｄを生成するオルソ画像生成手段４１と、画像（航空画像データａ）を正射投影面に対する標定角にしたがって射影変換する射影変換手段２１と、射影変換航空画像ｅとオルソ画像ｄとを合成し、欠損した画素が補間された補間オルソ画像ｆを生成する画像合成手段２２と、画像処理装置２の各手段を実現するためのプログラムを格納する記録媒体１４とから構成されている。
【００５８】
ここで、オルソ画像生成手段４１は複数の画像（航空画像データａ）に対してステレオマッチング処理を行い、ＤＥＭデータｂを抽出するステレオ処理手段１１と、その抽出されたＤＥＭデータｂに平滑化フィルタを適用してノイズを除去するＤＥＭ平滑化手段１２と、平滑化された平滑化ＤＥＭデータｃを用いて画像（航空画像データａ）を正射変換するオルソ化手段１３とから構成されている。
【００５９】
上記の画像処理装置４の各手段はそれぞれ概略、次のように動作する。つまり、画像処理装置４を主に構成するコンピュータが記録媒体１４のプログラムを実行することで、以下の処理が行われる。
【００６０】
ステレオペア設定手段４２は同一地点を撮影した３枚以上の画像データ群から、うち２枚を選択して得られるステレオ画像対を複数決定し、処理単位とする。ステレオ処理手段１１は上記のステレオペア設定手段４２によって与えられる各ステレオ画像対に対してステレオマッチング処理を行い、ＤＥＭデータｂを抽出する。
【００６１】
ＤＥＭ平滑化手段１２は上記のステレオ処理手段１１によって得られたＤＥＭデータｂに平滑化フィルタを適用して平滑化する。オルソ化手段１３は上記のＤＥＭ平滑化手段１２によって平滑化された平滑化ＤＥＭデータｃを用いて画像（航空画像データａ）を正射変換する。
【００６２】
射影変換手段２１は画像（航空画像データａ）を、標定された正射投影面への回転角にしたがって射影変換する。画像合成手段２２は上記のオルソ化手段１３によって得られた各オルソ画像ｄと、上記の射影変換手段２１によって変換された画像（射影変換航空画像ｅ）とを重ね合わせて補間し、欠損した画素が補間された補間オルソ画像ｆを生成する。
【００６３】
図８は本発明の第４の実施例による画像処理装置４の動作を示すフローチャートである。これら図７及び図８を参照して本発明の第４の実施例による画像処理装置４の動作について説明する。尚、図８に示す処理は画像処理装置４を主に構成するコンピュータが記録媒体１４のプログラムを実行することで実現される。
【００６４】
まず、ステレオペア設定手段４２は同一地点を撮影した３枚以上の画像データ群から、うち２枚を選択して得られるステレオ画像対を複数決定し、処理単位とする（図８ステップＳ３１）。例えば、４枚の画像を得た場合、これらのうちある２枚で一組、残りの２枚でもう一組のステレオ画像対を設定する。選べる組合せは全部で６通り存在するが、必ずしもこれらを全てステレオ画像対として設定する必要はなく、隠蔽領域を減らすために全ての画像が使われるよう、ステレオ画像対を複数定めればよい。
【００６５】
次に、ステレオ処理手段１１は上記のステレオペア設定手段４２によって設定された各ステレオ画像対についてステレオマッチング処理を行い、ＤＥＭデータｂを抽出する（図８ステップＳ３２）。ここで用いるステレオマッチング処理には、特に制限はなく、例えば、特開平３−１６７６７８号公報に開示された方法で実現することができる。
【００６６】
続いて、ＤＥＭ平滑化手段１２は上記のステレオ処理手段１１によって得られた各ＤＥＭデータｂに対し、平滑化フィルタを適用して平滑化処理を行う（図８ステップＳ３３）。ここで用いる平滑化フィルタはノイズを軽減する効果を持つフィルタであれば、特に制限はなく、例えば、メディアンフィルタ、多値モルフォロジカルフィルタ等を用いてよい。また、それらのフィルタを複数組合せて適用することも可能である。
【００６７】
オルソ化手段１３は上記のＤＥＭ平滑化手段１２によって平滑化された各ＤＥＭデータ（平滑化ＤＥＭデータｃ）を用いて、画像（航空画像データａ）をある基準面に対して正射変換し、オルソ画像ｄを作成する（図８ステップＳ３４）。この時の正射投影面は、例えば、衛星画像や航空写真を用いる場合であれば、地上面に平行な面となるが、用途によって任意の面を定めて正射変換することができる。
【００６８】
射影変換手段２１は上記のステレオ処理手段１１で用いた複数の画像（航空画像データａ）のうちのいずれかの画像を正射投影面への回転角にしたがって射影変換した画像（射影変換航空画像ｅ）を生成する（図８ステップＳ３５）。これは画像（航空画像データａ）を平面で近似し、視点を固定したまま正射投影面に再投影する操作である。その際に用いる画像は、ステレオ処理手段１１で用いた画像のうちの任意の画像を用いて良いが、正射投影面に対する回転角が小さい画像の方が望ましい。
【００６９】
最後に、画像合成手段２２は上記のオルソ化手段１３において得られた各オルソ画像ｄ及び上記の射影変換変換手段２１において得られた射影変換航空画像ｅを重ね合わせて補間し、欠損した画素が補間された補間オルソ画像ｆを生成する（図８ステップＳ３６）。具体的には、オルソ画像ｄ中に値が得られない抜け領域の画素に対し、他のオルソ画像中の対応画素を用いて補間する。この処理で残った抜け領域の画素に対しては、射影変換画像中の対応する画素を用いて補間する処理を行う。
【００７０】
尚、上述した本発明の第４の実施例では、複数のステレオペアに対する処理をステレオ処理手段１１、ＤＥＭ平滑化手段１２、オルソ化手段１３において繰り返し行っているが、例えば上記のオルソ画像生成手段４１を複数設け、複数のステレオペアについての処理を並列に行わせることも可能である。
【００７１】
上述したように、本実施例では、平滑化した平滑化ＤＥＭデータｃをオルソ化処理に用いているため、元々のＤＥＭデータに含まれるノイズの影響を軽減したオルソ画像を生成することができる。
【００７２】
また、本実施例では、視線方向の異なる複数のステレオペアからオルソ画像を相互補完して生成し、加えて画像を正射投影面に対する回転角に合せて射影変換し、その画像の対応領域の画素をオルソ画像の欠損領域において代用しているので、オルソ画像の抜け領域を補間することができ、その結果、オルソ画像をＣＧ等に応用する際、抜け領域によって発生していた違和感を減少させることが可能となる。
【００７３】
尚、本発明は、上述した本発明の第１〜第４の実施例各々に限定されるものではなく、様々な条件での実施が可能である。例えば、対象となる画像は航空写真や衛星画像に限定されるものではなく、地上あるいは室内においてステレオ撮影を行った画像に対しても適用が可能である。また画像は２台のカメラを使用して撮影しても、単眼カメラを２度用いて撮影したものでもよく、画像データについても、ディジタルカメラで直接撮影したもの、あるいはアナログ写真をスキャンしたデータであっても実施可能である。
【００７４】
続いて、具体例を用いて本発明の実施例の動作について説明する。この説明ではステレオ航空写真から地上面に平行なオルソ画像を、上記の本発明の第３の実施例にしたがって生成する場合について述べる。
【００７５】
ステレオ航空写真は連続して航空機から撮影された画像の重複部分をステレオ画像と見なして扱われ、まずスキャナを用いてディジタルデータ化される。続いて、撮影時のカメラパラメータを決定するため、標定作業が行われる。通常、鉛直に近い方向で撮影した航空写真でも、航空機の姿勢変化等の影響によって、撮影時にカメラパラメータを把握するのは難しいため、通常左右の画像中で共通に映っている対象の、それぞれの画像中における座標値を読取り、この対応点の座標対を用いて左右画像間のカメラ回転角等のパラメータを標定する。ここで用いる標定方法には、特に制限はなく、例えば、図化ソフトによって算出される値を使用しても良い。
【００７６】
カメラパラメータの標定が行われた後、図９に示すように、左右の画像を必要に応じて共通平行面に再投影する。これは平行化と呼ばれる操作であり、平行化を行った後の左右画像中の同一対象は同一走査線上にくることになる。
【００７７】
また、平行化を行った左右の画像に対し、ステレオ処理手段１１において、自動的にステレオマッチング処理を行い、左右の画像間の対応を求めて密な視差画像を生成する。ここで用いるステレオマッチング処理には、特に制限はなく、例えば、特開平３−１６７６７８号公報に開示された方法で実現することができる。
【００７８】
視差画像が得られたならば、標定されたカメラパラメータと組合せて各画素に対応する３次元座標系での位置を計算し、ＤＥＭデータを抽出する。得られたＤＥＭデータはステレオマッチング処理時に対応付けを誤った画素等の影響によって、結果として不連続な３次元座標を持つスパイク状の孤立点をノイズとして多く含むこととなる。
【００７９】
これら孤立点の影響を除くため、ＤＥＭ平滑化手段１２において、上記のステレオ処理手段１１によって得られたＤＥＭデータに対し、平滑化フィルタを適用して平滑化処理を行う。ここで用いる平滑化フィルタはノイズを軽減する効果を持つフィルタであれば、特に制限はないが、例えば、対象画素を中心とする小領域における画素値のメディアンを代表値として置換するメディアンフィルタを用いれば、実際の形状に依存するエッジを維持しつつ、上記のような孤立した雑音を効率的に除去することができる。
【００８０】
その他、小領域に対する最大値フィルタと最小値フィルタとを組合せて構成される多値モルフォロジカルフィルタ等も、上記と同様の効果が期待できる。このようなフィルタを複数組合せて適用することも可能である。
【００８１】
続いて、上記のＤＥＭ平滑化手段１２によって平滑化され、ノイズが除去された平滑化ＤＥＭデータ及び標定されているカメラパラメータを用いて、オルソ化手段１３によって元となる航空画像の地上面に対する正射影変換を行い、オルソ画像を作成する。
【００８２】
具体的には、まずＤＥＭデータ中の全ての点における３次元座標を地上面に投影した場合の地上座標系（例えば、平面直角座標系）での平面座標と、元の画像中の座標との対応を求める。次に、求めた対応にしたがって、元となる航空画像の画素を地表面に対応する画像に補間しながら写像する。
【００８３】
さらに、射影変換手段２１において、航空画像データを地表面に平行な面に射影変換によって再投影する作業が行われる。上述したように、航空写真撮影時のカメラの光軸は地上面に対して完全に鉛直ではなく、地表を斜めから撮影しているため、オルソ画像との重ね合わせは難しい。このため、航空画像に射影変換を適用して、カメラ中心位置を変えず、地上に平行な投影面に再投影する操作を適用する。この操作によって完全な鉛直写真に相当する画像を生成することができる。
【００８４】
射影変換の具体的な方法は、撮影時のカメラパラメータのうち、地上面に対するカメラ座標系の回転角と、焦点距離とを用いて、例えば、特開平８−５６７号公報に開示された方法によって行うことができる。
【００８５】
最後に、画像合成手段２２は上記のオルソ化手段１３によって生成されたオルソ画像と、上記の射影変換手段２１によって生成された射影変換画像とを合成し、補間オルソ画像を生成する処理を行う。具体的には、オルソ画像と射影変換画像とを重ね合わせた後、隠蔽の影響によって値が得られていないオルソ画像中の抜け領域の画素について、対応する位置の射影変換画像の画素を引用し、補間する処理を行うことで補間オルソ画像を生成する。
【００８６】
この際に画素を引用する元となる画像は、左右の射影変換画像のうち、対象となる位置に主点が近い位置に存在する画像、すなわち対象点になるべく正対する方を用いる。こうすることによって、平面近似のため倒れこんで写る建物壁面が隠蔽領域に使用されてしまう場合を減少させ、画質を向上させることができる。
【００８７】
また、引用の際に境界部あるいは引用部をぼかすことによって、発生するエッジの影響を抑え、より違和感の少ない補間オルソ画像を生成することもできる。
【００８８】
次に、上記第４の実施の形態の実施例に従って、４枚のステレオ航空写真から地上面に平行なオルソ画像を生成する場合の具体例を説明する。
【００８９】
４枚のステレオ航空写真は、例えば、図１０に示すように、２つの隣接する撮影コース＃１，＃２間の重なりを大きくとって撮影を行い、同一地点を撮影している画像対をそれぞれのコースから１組ずつ選択することによって得ることができる。しかしながら、撮影方法はこれに限られるものではなく、個別に撮影して得られた４枚の画像＃１〜＃４を用いても良い。得られた航空写真群は、まずスキャナを用いてディジタルデータ化される。
【００９０】
次に、ステレオペア設定手段４２において、ディジタルデータ化された４枚のステレオ航空写真からステレオペアを設定する。画像に付加されるメタデータ等を参照し、同じ撮影コース内の画像２枚をそれぞれ組合せて２組のステレオペアを得る。しかしながら、ペアの設定方法はこれに限るものではなく、４枚の画像＃１〜＃４全てを用いるならば、異なるコース間で画像対を設定しても良い。また、各画像＃１〜＃４を複数回使用して、最大６組のステレオペアを生成しても構わない。
【００９１】
設定された各ステレオペアについて、本発明の第３の実施例と同様に、撮影時のカメラパラメータを決定する標定作業、平行化、ステレオマッチング処理、ＤＥＭデータの抽出、ＤＥＭデータの平滑化が行われる。
【００９２】
続いて、上記のＤＥＭ平滑化手段１２によって平滑化し、ノイズを除去された平滑化ＤＥＭデータ及び標定されているカメラパラメータを用いて、オルソ化手段１３によって各航空写真毎に元となる航空画像の地上面に対する正射影変換を行い、オルソ画像を作成する。
【００９３】
具体的には、まずＤＥＭデータ中の全ての点における３次元座標を地上面に投影した場合の、地上座標系（例えば、平面直角座標系）での平面座標と、元の画像中の座標の対応を求める。次に、求めた対応にしたがって、元となる航空画像の画素を地表面に対応する画像に補間しながら写像する。
【００９４】
さらに、射影変換手段２１において、各ステレオペアの航空画像データを地表面に平行な面に射影変換によって再投影する作業が行われる。上述したように、航空写真撮影時のカメラの光軸は地上面に対して完全に鉛直ではなく、地表を斜めから撮影しているため、オルソ画像との重ね合わせは難しい。このため、航空画像に射影変換を適用し、カメラ中心位置を変えず、地上に平行な投影面に再投影する操作を適用する。この操作によって完全な鉛直写真に相当する画像を生成することができる。
【００９５】
射影変換の具体的な方法は、撮影時のカメラパラメータのうちの地上面に対するカメラ座標系の回転角と焦点距離とを用いて、例えば特開平８−５６７号公報に記載されているような方法によってこれを行える。
【００９６】
最後に、画像合成手段２２において、上記のオルソ化手段１３によって生成された各オルソ画像と、上記射影変換手段２１によって生成された各射影変換画像とを合成し、補間オルソ画像を生成する処理を行う。
【００９７】
具体的には、各オルソ画像と各射影変換画像を重ね合わせた後、まず複数のオルソ画像を画素を相互補間する形で合成する。すなわち、あるオルソ画像についてのみ画素が得られている点についてはその値を用い、複数のオルソ画像で値が得られている場合には、そのうちの対象となる位置に主点が近い位置に存在する画像、つまりその画素をなるべく正対して撮影している画像中の画素値を用いて合成する。
【００９８】
さらに、隠蔽の影響によって値が得られていないオルソ画像中の抜け領域の画素については、対応する位置の射影変換画像の画素を引用し、補間する処理を行うことで補間オルソ画像を生成する。この際に画素を引用する元となる画像は、複数の射影変換画像のうち、対象となる位置に主点が近い位置に存在する画像、すなわち対象点になるべく正対する方を用いる。これによって、平面近似のために倒れこんで写る建物壁面が隠蔽領域に使用されてしまう場合を減少させ、画質を向上させることができる。また、引用の際に境界部あるいは引用部をぼかすことによって、発生するエッジの影響を抑え、より違和感の少ない補間オルソ画像を生成することもできる。
【００９９】
このように、本発明は、平滑化したＤＥＭデータをオルソ化処理に用いることによって、元のＤＥＭデータに含まれるノイズを軽減することができ、ノイズのためにオルソ画像の画質が低下するのを防ぐことができるので、ノイズの少ない自然なオルソ画像を生成することができる。
【０１００】
また、本発明は、画像を正射投影面に対する回転角に合せて射影変換し、その画像の対応領域の画素をオルソ画像の欠損領域において代用することによって、オルソ画像の抜け領域を補間することができるので、抜け領域による違和感の少ないオルソ画像を生成することができる。
【０１０１】
【発明の効果】
以上説明したように本発明の画像処理装置は、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理装置において、ステレオマッチング処理によって３次元データを抽出し、その抽出された３次元データに平滑化フィルタを適用して３次元データのノイズを除去して平滑化し、この平滑化された３次元データを用いて画像を正射変換することによって、３次元データに含まれるノイズの影響を受けにくく、また欠損領域に起因する違和感の少ない、より自然なオルソ画像を得ることができるという効果が得られる。
【０１０２】
また、本発明の他の画像処理装置は、複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理装置において、ステレオマッチング処理によって３次元データを抽出し、この３次元データを用いて画像を正射変換し、画像を正射投影面に対する標定角にしたがって射影変換し、画像の正射変換で得られたオルソ画像と射影変換で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成することによって、３次元データに含まれるノイズの影響を受けにくく、また欠損領域に起因する違和感の少ない、より自然なオルソ画像を得ることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施例による画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施例による画像処理装置の動作を示すフローチャートである。
【図３】本発明の第２の実施例による画像処理装置の構成を示すブロック図である。
【図４】本発明の第２の実施例による画像処理装置の動作を示すフローチャートである。
【図５】本発明の第３の実施例による画像処理装置の構成を示すブロック図である。
【図６】本発明の第３の実施例による画像処理装置の動作を示すフローチャートである。
【図７】本発明の第４の実施例による画像処理装置の構成を示すブロック図である。
【図８】本発明の第４の実施例による画像処理装置の動作を示すフローチャートである。
【図９】本発明のステレオ撮影幾何を示す模式図である。
【図１０】本発明の実施例における４方向からの航空写真撮影例を示す模式図である。
【図１１】（ａ），（ｂ）は中心投影画像と正射画像との違いを示す模式図である。
【図１２】従来例による画像処理装置の構成を示すブロック図である。
【図１３】従来例による画像処理装置の動作を示すフローチャートである。
【図１４】オルソ画像における抜け領域の発生を示す模式図である。
【符号の説明】
１，２，３，４　画像処理装置
１１　ステレオ処理手段
１２　ＤＥＭ平滑化手段
１３　オルソ化手段
１４　記録媒体
２１　射影変換手段
２２　画像合成手段
４１　オルソ画像生成手段
４２　ステレオペア設定手段

Claims

複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理装置であって、前記ステレオマッチング処理によって前記３次元データを抽出するステレオ処理手段と、前記ステレオ処理手段で抽出された前記３次元データに平滑化フィルタを適用して前記３次元データのノイズを除去して平滑化するＤＥＭ平滑化手段と、前記ＤＥＭ平滑化手段で平滑化された３次元データを用いて前記画像を正射変換するオルソ化手段とを有することを特徴とする画像処理装置。
前記画像を正射投影面に対する標定角にしたがって射影変換する射影変換手段と、前記オルソ化手段で得られたオルソ画像と前記射影変換手段で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成する画像合成手段とを含むことを特徴とする請求項１記載の画像処理装置。
前記複数の画像の中から対になる画像を選択するステレオペア設定手段を含み、前記ステレオ処理手段と前記オルソ化手段と前記射影変換手段とが前記ステレオペア設定手段で選択された画像対に対して各々の処理を行うことを特徴とする請求項２記載の画像処理装置。
複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理装置であって、前記ステレオマッチング処理によって前記３次元データを抽出するステレオ処理手段と、前記３次元データを用いて前記画像を正射変換するオルソ化手段と、前記画像を正射投影面に対する標定角にしたがって射影変換する射影変換手段と、前記オルソ化手段で得られたオルソ画像と前記射影変換手段で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成する画像合成手段とを有することを特徴とする画像処理装置。
前記画像合成手段は、複数のオルソ画像において値の得られていない画素を相互に補間するとともに、重複して値が得られる画素について値を持つ画像のうちの当該点に最も近い撮影主軸を持つオルソ画像を選択して合成し、複数生成されたオルソ画像のいずれにおいても値が得られない画素について当該点に最も近い撮影主軸を持つ射影変換画像から対応する画素を用いて補間することで前記補間オルソ画像を合成することを特徴とする請求項４記載の画像処理装置。
画像処理装置において複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法であって、前記画像処理装置に、前記ステレオマッチング処理によって前記３次元データを抽出するステップと、その抽出された前記３次元データに平滑化フィルタを適用して前記３次元データのノイズを除去して平滑化するステップと、平滑化された３次元データを用いて前記画像を正射変換するステップとを有することを特徴とする画像処理方法。
前記画像処理装置に、前記画像を正射投影面に対する標定角にしたがって射影変換するステップと、前記画像の正射変換で得られたオルソ画像と前記射影変換で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成するステップとを含むことを特徴とする請求項６記載の画像処理方法。
前記画像処理装置に、前記複数の画像の中から対になる画像を選択するステップを含み、この選択された画像対に対して前記３次元データの抽出と前記画像の正射変換と前記射影変換とを行うことを特徴とする請求項７記載の画像処理方法。
画像処理装置において複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法であって、前記画像処理装置に、前記ステレオマッチング処理によって前記３次元データを抽出するステップと、前記３次元データを用いて前記画像を正射変換するステップと、前記画像を正射投影面に対する標定角にしたがって射影変換するステップと、前記画像の正射変換で得られたオルソ画像と前記射影変換で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成するステップとを有することを特徴とする画像処理方法。
前記補間オルソ画像を生成するステップは、複数のオルソ画像において値の得られていない画素を相互に補間するとともに、重複して値が得られる画素について値を持つ画像のうちの当該点に最も近い撮影主軸を持つオルソ画像を選択して合成し、複数生成されたオルソ画像のいずれにおいても値が得られない画素について当該点に最も近い撮影主軸を持つ射影変換画像から対応する画素を用いて補間することによって前記補間オルソ画像を合成することを特徴とする請求項９記載の画像処理方法。
複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法のプログラムであって、コンピュータに、前記ステレオマッチング処理によって前記３次元データを抽出する処理と、その抽出された前記３次元データに平滑化フィルタを適用して前記３次元データのノイズを除去して平滑化する処理と、平滑化された３次元データを用いて前記画像を正射変換する処理とを実行させるためのプログラム。
複数の画像に対してステレオマッチング処理を行って３次元データを生成する画像処理方法のプログラムであって、コンピュータに、前記ステレオマッチング処理によって前記３次元データを抽出する処理と、前記３次元データを用いて前記画像を正射変換する処理と、前記画像を正射投影面に対する標定角にしたがって射影変換する処理と、前記画像の正射変換で得られたオルソ画像と前記射影変換で得られた射影変換画像とを合成して欠損した画素が補間された補間オルソ画像を生成する処理とを実行させるためのプログラム。
前記コンピュータに、前記補間オルソ画像を生成する処理を実行する際に、複数のオルソ画像において値の得られていない画素を相互に補間するととも、重複して値が得られる画素について値を持つ画像のうちの当該点に最も近い撮影主軸を持つオルソ画像を選択して合成し、複数生成されたオルソ画像のいずれにおいても値が得られない画素について当該点に最も近い撮影主軸を持つ射影変換画像から対応する画素を用いて補間することによって前記補間オルソ画像を合成することを特徴とする請求項１２記載のプログラム。