JP2007066041A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2007066041A JP2007066041A JP2005251991A JP2005251991A JP2007066041A JP 2007066041 A JP2007066041 A JP 2007066041A JP 2005251991 A JP2005251991 A JP 2005251991A JP 2005251991 A JP2005251991 A JP 2005251991A JP 2007066041 A JP2007066041 A JP 2007066041A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- partial
- images
- frame images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】 連続するフレーム画像で構成されるビデオ画像から、太陽の反射や雲などによる遮蔽の影響を軽減したパノラマ静止画像を生成できるようにする。
【解決手段】 入力されるビデオ画像から所定間隔でフレーム画像を抽出するフレーム抽出部1と、抽出されたフレーム画像を複数記憶するフレームメモリ2と、その各フレーム画像を部分画像に分割し、異なるフレーム画像より得られた同じ部分に対応する複数の部分画像から対象部を最も多く含む部分画像を選択する画像選択部3と、選択された部分画像とは異なる部分画像を透明にして抽出された複数のフレーム画像を順次接合しパノラマ静止画像を生成するフレーム接合部4とを備え、被写体の同じ部分に対応する複数の部分画像の中から遮蔽の影響が最も少ない部分画像を選択してパノラマ静止画像を生成するようにして、遮蔽の影響を軽減できるようにする。
【選択図】 図1
【解決手段】 入力されるビデオ画像から所定間隔でフレーム画像を抽出するフレーム抽出部1と、抽出されたフレーム画像を複数記憶するフレームメモリ2と、その各フレーム画像を部分画像に分割し、異なるフレーム画像より得られた同じ部分に対応する複数の部分画像から対象部を最も多く含む部分画像を選択する画像選択部3と、選択された部分画像とは異なる部分画像を透明にして抽出された複数のフレーム画像を順次接合しパノラマ静止画像を生成するフレーム接合部4とを備え、被写体の同じ部分に対応する複数の部分画像の中から遮蔽の影響が最も少ない部分画像を選択してパノラマ静止画像を生成するようにして、遮蔽の影響を軽減できるようにする。
【選択図】 図1
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、航空機等により空撮されたビデオ画像に基づいて一枚のパノラマ静止画像を生成する画像処理装置、画像処理方法、及びプログラムに用いて好適なものである。
航空機やヘリコプタから鉛直下向き方向に撮影された、いわゆる航空機等により空撮されたビデオ画像を基に、繋ぎ目の目立たない一枚のパノラマ静止画像を生成する技術がある(例えば、特許文献1参照。)。このパノラマ静止画像の生成方法は、オルソ画像生成法あるいはモザイク画像生成法などとも呼ばれている。
特に、航空機等での空撮により得られた空撮画像の場合には、航空機の速度や高度、あるいは画像を撮影するカメラの撮影方向が必ずしも一定に保たれないため、衛星画像を用いたリモートセンシングと比べて、撮像画像が歪んでしまうという問題がある。この撮像画像の歪みによる影響を低減する1つの方法として、画像中の特徴点を利用したモザイク画像生成法が提案されている(例えば、非特許文献1参照。)。
パノラマ静止画像の生成処理について、河川流水部のパノラマ画像を生成する場合を一例として説明する。
例えば、図7に示すような実際の河川流水部の様子を航空機等での空撮を行うことにより連続する複数のフレーム画像で構成されるビデオ画像が得られ、さらに所定間隔でのフレーム間引きを施すことで図8(A)に示すような右横方向に繋がるべき複数のフレーム画像801、802、803が得られたとする。図8(A)に示した例では、各フレーム画像は、そのおよそ(2/3)が前後のフレーム画像と互いに重畳している。
このようにして得られるフレームA801とフレームB802とが接合されてパノラマ画像が生成される。このとき、フレームA801の右側部分とフレームB802の左側部分との重畳位置が検出され、その検出結果に基づいてフレームA801とフレームB802とが接合される。さらに、フレームA801及びフレームB802を接合して得られたパノラマ画像と、新たに入力されるフレームC803とが、同様にして接合され、図8(B)に示すようなパノラマ画像804が得られる。
上述のようにして空撮により得られたビデオ画像の各フレームを順次接合させることにより、撮影した河川流水部全体を見渡せる一枚のパノラマ画像が生成される。
ここで、空撮の途中にビデオ画像を構成する一部のフレームにおいて、小さな雲などにより撮影対象が遮蔽されてしまうことがある。例えば、図8(A)に示したフレームC803には、小さな雲などにより河川流水部が遮蔽されている遮蔽部分805(白抜きで図示)が示されているが、この遮蔽部分805は図8(B)に示したように最終的に得られるパノラマ画像804にも残ってしまう。その結果、パノラマ画像を用いた河川流水部の監視に障害をきたしてしまう。
また、このような撮影対象である河川流水部の遮蔽は、太陽が水面に映り込む場合にも同様に発生し、河川の濁度や土砂の堆積度あるいは水中の生態系を観測する際に、流水部の色彩が太陽光の反射により遮蔽され障害を来たす。また、人工衛星に比べて低空を飛ぶ航空機等からの撮像では太陽の映り込みが高い確率で発生するため、その回避方法が待たれている。
本発明は、撮影して得られるビデオ画像から、太陽の反射や雲などによる遮蔽の影響を軽減し良好なパノラマ静止画像を生成可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
本発明の画像処理装置は、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出手段と、上記抽出手段により抽出したフレーム画像を複数記憶する記憶手段と、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択手段と、上記画像選択手段により選択した部分画像とは異なる部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合しパノラマ静止画像を生成する接合手段とを備えることを特徴とする。
本発明の画像処理方法は、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出工程と、上記抽出工程で抽出したフレーム画像を記憶手段に複数記憶させる記憶工程と、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択工程と、上記画像選択工程で選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合工程とを有することを特徴とする。
本発明のプログラムは、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出ステップと、上記抽出ステップにて抽出したフレーム画像を記憶手段に複数記憶させる記憶ステップと、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択ステップと、上記画像選択ステップで選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合ステップとをコンピュータに実行させる。
本発明の画像処理方法は、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出工程と、上記抽出工程で抽出したフレーム画像を記憶手段に複数記憶させる記憶工程と、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択工程と、上記画像選択工程で選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合工程とを有することを特徴とする。
本発明のプログラムは、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出ステップと、上記抽出ステップにて抽出したフレーム画像を記憶手段に複数記憶させる記憶ステップと、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択ステップと、上記画像選択ステップで選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合ステップとをコンピュータに実行させる。
本発明によれば、連続するフレーム画像で構成されるビデオ画像から所定間隔で抽出した各フレーム画像を複数の部分画像に分割し、互いに異なるフレーム画像より得られた同じ部分に係る複数の部分画像から対象部が最も多く含まれる部分画像を選択する。そして、その選択した部分画像とは異なる部分画像を透明にして、抽出した複数のフレーム画像を順次接合し一枚のパノラマ静止画像を生成する。これにより、同じ部分に係る複数の部分画像の中から遮蔽の影響が最も少ない部分画像を選択し、それをパノラマ静止画像の生成に用いることで、撮影途中に一部のフレーム画像において太陽の反射や雲などにより撮影対象部が遮蔽されても、遮蔽の影響を軽減し良好なパノラマ静止画像を生成することができる。
以下、本発明の実施形態を図面に基づいて説明する。
図1は、本発明の一実施形態による画像処理装置の構成例を示すブロック図である。本実施形態による画像処理装置は、空撮ビデオ画像などの入力されるビデオ画像を基に一枚のパノラマ静止画像を生成する画像処理装置であり、図1に示すように、フレーム抽出部1、フレームメモリ2、画像選択部3、及びフレーム接合部4を有する。
図1は、本発明の一実施形態による画像処理装置の構成例を示すブロック図である。本実施形態による画像処理装置は、空撮ビデオ画像などの入力されるビデオ画像を基に一枚のパノラマ静止画像を生成する画像処理装置であり、図1に示すように、フレーム抽出部1、フレームメモリ2、画像選択部3、及びフレーム接合部4を有する。
以下、図1に示した画像処理装置の各機能部について詳細に説明する。なお、以下の説明においては、必要に応じて、図7に示したような実際の河川流水部の様子を航空機等での空撮により撮影し、そのビデオ画像に基づいて河川流水部のパノラマ静止画像を生成する場合を適宜例示し説明する。
(フレーム抽出部1)
フレーム抽出部1は、連続する複数のフレーム画像で構成されたビデオ画像が入力され、このビデオ画像から所定の間隔でフレーム画像を抽出する。言い換えれば、フレーム抽出部1は、ビデオ画像を構成する連続するフレーム画像をある間隔で間引く。
フレーム抽出部1は、連続する複数のフレーム画像で構成されたビデオ画像が入力され、このビデオ画像から所定の間隔でフレーム画像を抽出する。言い換えれば、フレーム抽出部1は、ビデオ画像を構成する連続するフレーム画像をある間隔で間引く。
具体的には、フレーム抽出部1は、1秒あたり30枚乃至60枚の割合で撮影されたフレーム画像と呼ばれるディジタル画像が連続して入力される。フレーム抽出部1は、1秒あたりN枚のフレーム画像を有するように、連続して入力されるフレーム画像の中から所定間隔でフレーム画像を取り出す。
ここで、抽出後の1秒あたりのフレーム画像数Nは次式(1)により決定される。
N=(vD)/{(1−x)L}…(1)
式(1)において、vは撮影時の単位時間あたりの移動距離、すなわちカメラなど撮像装置の単位時間あたりの移動距離である移動速度[m/秒]、Dは撮影して得られた画像において移動方向の単位距離(移動方向に沿った単位距離)に含まれる画素の数を示す画素密度[画素/m]である。また、Lは移動方向への1フレーム画像あたりの画素数、x(ここで0<x<1)は抽出後のフレーム画像において時間的に隣り合うフレーム画像間での重畳の割合である。例えば、上述した図8(A)に示す例の場合には、矢印810で示した移動方向のフレーム画像の画素数がL画素であり、隣のフレーム画像とは各フレーム画像全体の略(100x)[%]の(xL)画素が重畳している。図8(A)の場合には、x=2/3であり、フレーム画像全体の2/3×100=66.7[%]が重畳している。このように抽出後のフレーム画像間で重畳させる割合に応じてxの値は適宜決定すれば良い。
N=(vD)/{(1−x)L}…(1)
式(1)において、vは撮影時の単位時間あたりの移動距離、すなわちカメラなど撮像装置の単位時間あたりの移動距離である移動速度[m/秒]、Dは撮影して得られた画像において移動方向の単位距離(移動方向に沿った単位距離)に含まれる画素の数を示す画素密度[画素/m]である。また、Lは移動方向への1フレーム画像あたりの画素数、x(ここで0<x<1)は抽出後のフレーム画像において時間的に隣り合うフレーム画像間での重畳の割合である。例えば、上述した図8(A)に示す例の場合には、矢印810で示した移動方向のフレーム画像の画素数がL画素であり、隣のフレーム画像とは各フレーム画像全体の略(100x)[%]の(xL)画素が重畳している。図8(A)の場合には、x=2/3であり、フレーム画像全体の2/3×100=66.7[%]が重畳している。このように抽出後のフレーム画像間で重畳させる割合に応じてxの値は適宜決定すれば良い。
なお、入力されるビデオ画像を例えば航空機を使用した空撮により得る場合には、実際の撮像時における航空機の速度、つまり撮影時の移動速度vが一定であるとは限らない。そこで、撮影時の移動速度vの代わりに撮影時における航空機の最高速度、つまり撮影時の移動速度の最高速度を用い、抽出後の1秒あたりのフレーム画像数Nの代わりにそれよりも若干大きい値を用いるようにしても良い。これにより、撮影時の移動速度vが変化する場合でも、抽出後のフレーム画像間の連続的な繋がりを保証することができる。
(フレームメモリ2)
フレームメモリ2は、フレーム抽出部1で抽出されたフレーム画像を複数保持する。フレームメモリ2は、フレーム抽出部1にて1秒あたりのフレーム画像数がN枚となるようにビデオ画像から所定の間隔で抽出され出力されるフレーム画像のうち、連続するS=1/(1−x)枚のフレーム画像を記憶し蓄積する。
フレームメモリ2は、フレーム抽出部1で抽出されたフレーム画像を複数保持する。フレームメモリ2は、フレーム抽出部1にて1秒あたりのフレーム画像数がN枚となるようにビデオ画像から所定の間隔で抽出され出力されるフレーム画像のうち、連続するS=1/(1−x)枚のフレーム画像を記憶し蓄積する。
ここで、xは式(1)と同様に抽出後のフレーム画像において時間的に隣り合うフレーム画像間での重畳の割合であり、xの値はSの値が整数となるように選定することが望ましい。しかし、S=1/(1−x)の値が整数とならない場合には、Sの値の小数第一位を四捨五入した値をフレームメモリ2に記憶するフレーム画像数にすれば良い。例えば、上述した図8(A)の場合には、x=2/3であるのでS=3となり、フレームメモリ2に記憶するフレーム画像数は3枚となる。
(画像選択部3)
画像選択部3は、フレームメモリ2に保持された各フレーム画像を互いに重複しない複数の部分画像に分割する。また、画像選択部3は、複数のフレーム画像より得られた撮影対象物の同じ部分に対応する複数の部分画像の中から、遮蔽の影響が最も少ない、対象部分の画像が最も良好な部分画像を選択する。
画像選択部3は、フレームメモリ2に保持された各フレーム画像を互いに重複しない複数の部分画像に分割する。また、画像選択部3は、複数のフレーム画像より得られた撮影対象物の同じ部分に対応する複数の部分画像の中から、遮蔽の影響が最も少ない、対象部分の画像が最も良好な部分画像を選択する。
具体的には、画像選択部3は、フレームメモリ2より得られたS枚のフレーム画像のそれぞれを、撮影時における撮像装置の移動方向(例えば航空機を使用した空撮の場合には、航空機の移動方向)にS等分する。これにより、各フレーム画像は、互いに重複しないS個の部分画像に分割される。例えば、各フレーム画像は、撮影時における撮像装置の移動方向に対して長辺が交差する(望ましくは直交する)S個の短冊状の部分画像に分割される。
画像選択部3は、上述のようにして互いに異なるフレーム画像より得られた被写体の同じ部分に対応するS個の部分画像について、最も遮蔽の影響が少なく撮影対象を最も良く映し出している部分画像、すなわち撮影対象の部分が最も多く含まれる部分画像をひとつだけ選択する。そして、画像選択部3は、選択した部分画像以外の部分画像に対して透明として扱うためのラベル付けを行う。言い換えれば、画像選択部3は、被写体の同じ部分に対応するS個の部分画像から遮蔽の影響が最も少ない部分画像を1つ選択し、それ以外の部分画像を透明として扱うための重み付け処理を行う。
画像選択部3のより詳細な構成については後述する。
画像選択部3のより詳細な構成については後述する。
(フレーム接合部4)
フレーム接合部4は、抽出された複数のフレーム画像を順次接合してパノラマ静止画像を生成し出力する。フレーム接合部4は、フレーム画像を接合するとき、画像選択部3により選択された部分画像以外の部分画像、つまり透明として扱うラベルが付された部分画像を透明にしてフレーム画像を接合する。具体的には、フレーム接合部4は、上述のように画像選択部3により重み付け処理されたフレーム画像が入力され、その重み付け処理されたフレーム画像と既に得られているパノラマ静止画像とを接合する。
フレーム接合部4は、抽出された複数のフレーム画像を順次接合してパノラマ静止画像を生成し出力する。フレーム接合部4は、フレーム画像を接合するとき、画像選択部3により選択された部分画像以外の部分画像、つまり透明として扱うラベルが付された部分画像を透明にしてフレーム画像を接合する。具体的には、フレーム接合部4は、上述のように画像選択部3により重み付け処理されたフレーム画像が入力され、その重み付け処理されたフレーム画像と既に得られているパノラマ静止画像とを接合する。
これにより、互いに異なるフレーム画像より得られた被写体の同じ部分に対応するS個の部分画像のうち、対象部を最も多く含む1つの部分画像だけがフレーム接合部4に入力され、その部分画像と既に得られているパノラマ静止画像とが接合される。
ここで、フレーム画像の接合手法としては種々の方法が知られているが、例えば、文献「G.Borgefors, "Hierarchical chamfer matching: A parametric edge matching algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.10, No.6, pp.849-865, 1988」に記載のエッジマッチング手法が適用できる。このエッジマッチング手法は、2つずつフレーム画像を取り出してエッジ抽出した後に、抽出したエッジに関し相互相関が最大となる画像間変位量を算出し、その画像間変位量に基づきフレーム画像を接合する。
図2は、画像選択部3の詳細な構成を示すブロック図である。
図2に示すように、画像選択部3は、画像分割部11、部分画像記憶部12、特徴抽出部13、領域判別部14、占有率算出部15、及び部分画像選択部16を有する。
図2に示すように、画像選択部3は、画像分割部11、部分画像記憶部12、特徴抽出部13、領域判別部14、占有率算出部15、及び部分画像選択部16を有する。
画像分割部11は、フレームメモリ2から得られる各フレーム画像を撮影時における撮像装置の移動方向にS等分することにより、互いに重複しない複数(ここではS個)の部分画像に分割する。部分画像記憶部12は、画像分割部11により分割して得られた複数の部分画像を記憶する。
特徴抽出部13は、部分画像記憶部12に記憶された部分画像(言い換えればフレーム画像)を所定の大きさの分割画像に分割して、分割画像毎に特徴抽出を行う。本実施形態では、特徴抽出部13は、分割画像に含まれる各画素について、着目画素とその近隣にある複数の画素とを入力信号とする線形変換を行うことで、その出力信号として各画素値について特徴ベクトルを算出する。この特徴抽出部13での特徴ベクトルの計算方法としては、例えばガボールフィルタを用いたフィルタ処理が適用可能である。分割画像にガボールフィルタを施し、フィルタ出力として得られる複素数の振幅成分(実部と虚部の2乗和)を特徴ベクトルとすれば良い。
領域判別部14は、特徴抽出部13での特徴抽出結果を基に、分割画像を所定の領域部に選択的に分類する。本実施形態では、領域判別部14は、比較部17、教師画像データ記憶部18、及び領域決定部19を有し、最尤推定法により分割画像を分類する。
比較部17は、特徴抽出部13にて算出された特徴ベクトルと各領域部に対応する教師画像の特徴ベクトルとを比較する。ここで、教師画像の特徴ベクトルは、各領域部に対応して指定された教師画像に基づいて予め算出され教師画像データ記憶部18に記憶されている。領域決定部19は、比較部17における特徴ベクトルの比較結果に基づいて、教師画像として予め指定した複数の領域部のうち最も似ている(尤もらしい)領域部に分割画像を分類する。
図3は、領域判別部14による領域判別結果の一例を示す図である。なお、図3に示す例では、対象とするもとの画像31を、例えば流水部、市街部、及び森林部の各領域部(クラス)に分類した場合を示している。教師画像32としては、流水部の教師画像32A、市街部の教師画像32B、及び森林部の教師画像32Cが予め指定されており、その特徴ベクトルが教師画像データ記憶部18に記憶されている。上述したようにして比較部17が処理対象となる画像の特徴ベクトルと教師画像の特徴ベクトルとを比較し、領域決定部19が比較結果に基づいて処理対象となる画像がどの領域部(クラス)に属するかを判別し尤もらしい領域部に分類する。その処理を対象とするもとの画像31全体にわたって行うことで、模式的に結果画像51に示すように各画素が流水部、市街部、及び森林部の何れかの領域部(クラス)に分類される。
このようにして、特徴抽出部13が特徴ベクトルを算出し、それを基に領域判別部14が予め指定されている各領域部の教師画像のいずれに最も似ているかを判別することで、領域部への分類が行われる。
なお、上述した特徴抽出部13及び領域判別部14によるガボールフィルタと最尤推定法を用いた判別方法については、例えば文献「田中秀郎,吉田靖夫,深見公彦,中野広毅,“ガボールフィルタの振幅及び位相情報を用いたテクスチャ画像の領域分割”,電子情報通信学会論文誌,Vol.J-84-D-II, No.12, pp.2565-2576, Dec.2003」などにも記載されている。
また、上述した領域判別に係る処理においては、ビデオカメラなどの撮像装置から得られるR(赤)信号、G(緑)信号、B(青)信号の何れかの信号を用いる。あるいは、RGB信号をY(輝度)、U(色差)、V(色差)に変換した後の何れかの成分を用いる。あるいは、RGB信号を主成分分析した結果として得られる成分を用いる。
占有率算出部15は、領域判別部14での判別結果から、部分画像において対象とする領域部と判別された画素の占有率を算出する。
部分画像選択部16は、占有率算出部15により算出された占有率に基づいて、異なるフレーム画像より得られ部分画像記憶部12に記憶された被写体の同じ部分に対応するS個の部分画像から、遮蔽の影響が最も少ない、すなわち対象とする領域(対象部)を最も多く含む部分画像を選択する。具体的には、部分画像選択部16は、占有率算出部15により算出された占有率に基づき、被写体の同じ部分に対応するS個の部分画像のうち対象とする領域(対象部)の占有率が最も高い部分画像以外の(S−1)個の部分画像に透明として扱うためのラベルを付して出力する。
例えば、図7に示すような実際の河川流水部の様子を撮影したビデオ画像から所定間隔でフレーム画像を抽出することにより、図4(A)に示すようなフレーム画像401、402、403が得られたとする。なお、図4(A)には領域判別部14によって各領域部に分類した後の画像を示している。
図4(A)に示すように、各フレーム画像401、402、403がそれぞれ移動方向に3等分されることで、異なるフレーム画像より得られる被写体(撮影対象物)の同じ部分に対応した3つの部分画像PA、PB、PCが得られる。
ここで、本実施形態では、図4(A)に示す各フレーム画像中において白色により示された流水部について良好な画像が得られるパノラマ静止画像を生成するため、部分画像選択部16は、流水部について遮蔽の影響が最も少ない、つまり流水部と判別された領域を最も多く含む部分画像を選択する。
図4(A)に示す例では図から明らかなように、遮蔽部分404が流水部に含まれる部分画像PCは選択されず、部分画像PA又は部分画像PBが選択される。このように、いずれを選択しても占有率に大差の無い複数の部分画像PA、PBが存在する場合には、部分画像選択部16は、フレーム画像において、より中心にある部分画像を選択する。中心部分の映像はレンズによる歪みの影響が少ないため、部分画像選択部16がフレーム画像の中心との距離が短い方の部分画像を選択することで、レンズによる歪みの影響を低減することができる。
以上のように図4(A)に示す例において、部分画像選択部16は、被写体の同じ部分に対応した3つの部分画像PA、PB、PCの中から、フレーム画像B402の部分画像PBを選択する。したがって、部分画像選択部16は、図4(B)に示すように部分画像PA、PCにそれぞれ対応するフレーム画像A406の部分画像IA、フレーム画像C408の部分画像ICについては透明として扱うためのラベルを付して出力する。一方、部分画像選択部16により選択された部分画像PBに対応するフレーム画像B407の部分画像IBには透明として扱うためのラベルを付さない。
このようにして、画像選択部3により部分画像に対する重み付け処理が行われたフレーム画像がフレーム接合部4に出力される。フレーム接合部4は、図5(A)に示すように透明として扱うラベルが付された部分画像IA、ICを透明にしてフレーム画像406、407、408を接合する。具体的には、フレーム接合部4は、フレーム画像406とフレーム画像407とを接合してパノラマ画像を生成し、その生成したパノラマ画像にフレーム画像408を接合する。これにより、図5(B)に示すように、遮蔽の影響が最も少ないフレーム画像B407の部分画像IBにより部分画像IMGが得られ、図4に示した遮蔽部分404を含まないパノラマ静止画像410を得ることができる。
以上、説明したように本実施形態によれば、下記に示すような効果を得ることができる。従来のパノラマ静止画像の生成処理では、対象とする部分についての遮蔽の有無を判断することなく、単にフレーム画像を順次接合してパノラマ静止画像を生成していた。そのため、例えば河川流水部のパノラマ静止画像生成においては、太陽の水面への映り込みや小さな雲などにより、流水部の一部が遮蔽されてしまい、流水部の詳細な監視などに障害を来たすという問題があった。
それに対して、本実施形態では、入力されるビデオ画像からフレーム抽出部1により所定間隔でフレーム画像を抽出して、抽出した複数のフレーム画像をフレームメモリ2に記憶する。画像選択部3は、抽出された各フレーム画像を部分画像に分割し、異なるフレーム画像より得られた被写体の同じ部分に対応する複数の部分画像から対象部が最も多く含まれる部分画像を選択する。フレーム接合部4は、画像選択部3により選択された部分画像とは異なる部分画像を透明にして、複数のフレーム画像を順次接合し一枚のパノラマ静止画像を生成する。これにより、同じ部分に対応する部分画像の中から遮蔽の影響が最も少ない部分画像が選択されてパノラマ静止画像が生成されるので、撮影途中に一部のフレーム画像において太陽の反射や雲などにより撮影対象部が遮蔽されても遮蔽の影響を軽減し、遮蔽の影響が少ない良好なパノラマ静止画像を生成することが可能になる。例えば、本実施形態による画像処理装置を用い、空撮して得られたビデオ画像を基に河川流水部のパノラマ静止画像を生成することで、河川の濁度や土砂の堆積度、あるいは水中の生態系の詳細な観測に非常に有用である。
なお、上述した実施形態では、画像選択部3は、まず入力されるフレーム画像を画像分割部11にて複数の部分画像に分割するようにしているが、これに限定されるものではない。フレーム画像を複数の部分画像に分割する処理は、占有率算出部15にて占有率を算出する前までに行われていれば良く、そのように動作可能な限り、画像分割部11を設ける位置は任意である。
(本発明の他の実施形態)
なお、以上に説明した本実施形態の画像処理装置は、コンピュータのCPU又はMPU、RAM、ROM等で構成されるものであり、RAMやROMに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばCD−ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、CD−ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
なお、以上に説明した本実施形態の画像処理装置は、コンピュータのCPU又はMPU、RAM、ROM等で構成されるものであり、RAMやROMに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばCD−ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、CD−ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
例えば、本実施形態の画像処理装置は、図6に示すようなコンピュータ機能600を有し、そのCPU601により上述した実施形態での動作が実施される。
コンピュータ機能600は、図6に示すように、CPU601と、ROM602と、RAM603と、キーボード(KB)609のキーボードコントローラ(KBC)605と、表示部としてのCRTディスプレイ(CRT)610のCRTコントローラ(CRTC)606と、ハードディスク(HD)611及びフレキシブルディスク(FD)612のディスクコントローラ(DKC)607と、ネットワークインタフェースカード(NIC)608とが、システムバス604を介して互いに通信可能に接続された構成としている。
CPU601は、ROM602又はHD611に記憶されたソフトウェア、又はFD612より供給されるソフトウェアを実行することで、システムバス604に接続された各構成部を総括的に制御する。
すなわち、CPU601は、上述したような動作を行うための処理プログラムを、ROM602、HD611、又はFD612から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
RAM603は、CPU601の主メモリ又はワークエリア等として機能する。
KBC605は、KB609や図示していないポインティングデバイス等からの指示入力を制御する。
CRTC606は、CRT610の表示を制御する。
DKC607は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するHD611及びFD612とのアクセスを制御する。
NIC608はネットワーク613上の他の装置と双方向にデータをやりとりする。
コンピュータ機能600は、図6に示すように、CPU601と、ROM602と、RAM603と、キーボード(KB)609のキーボードコントローラ(KBC)605と、表示部としてのCRTディスプレイ(CRT)610のCRTコントローラ(CRTC)606と、ハードディスク(HD)611及びフレキシブルディスク(FD)612のディスクコントローラ(DKC)607と、ネットワークインタフェースカード(NIC)608とが、システムバス604を介して互いに通信可能に接続された構成としている。
CPU601は、ROM602又はHD611に記憶されたソフトウェア、又はFD612より供給されるソフトウェアを実行することで、システムバス604に接続された各構成部を総括的に制御する。
すなわち、CPU601は、上述したような動作を行うための処理プログラムを、ROM602、HD611、又はFD612から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
RAM603は、CPU601の主メモリ又はワークエリア等として機能する。
KBC605は、KB609や図示していないポインティングデバイス等からの指示入力を制御する。
CRTC606は、CRT610の表示を制御する。
DKC607は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するHD611及びFD612とのアクセスを制御する。
NIC608はネットワーク613上の他の装置と双方向にデータをやりとりする。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
1 フレーム抽出部
2 フレームメモリ
3 画像選択部
4 フレーム接合部
11 画像分割部
12 部分画像記憶部
13 特徴抽出部
14 領域判別部
15 占有率算出部
16 部分画像選択部
17 比較部
18 教師画像データ記憶部
19 領域決定部
2 フレームメモリ
3 画像選択部
4 フレーム接合部
11 画像分割部
12 部分画像記憶部
13 特徴抽出部
14 領域判別部
15 占有率算出部
16 部分画像選択部
17 比較部
18 教師画像データ記憶部
19 領域決定部
Claims (10)
- 連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出手段と、
上記抽出手段により抽出したフレーム画像を複数記憶する記憶手段と、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択手段と、
上記画像選択手段により選択した部分画像とは異なる部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合しパノラマ静止画像を生成する接合手段とを備えることを特徴とする画像処理装置。 - 上記画像選択手段は、上記対象部を最も多く含む部分画像とは異なる部分画像に所定のラベルを付し、
上記接合手段は、上記所定のラベルが付された部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合することを特徴とする請求項1記載の画像処理装置。 - 上記ビデオ画像は、上記対象部を空撮して得られたビデオ画像であって、
上記画像選択手段は、上記抽出した各フレーム画像を上記空撮における移動方向に対して長辺が交差する複数の短冊状の部分画像に分割することを特徴とする請求項1又は2記載の画像処理装置。 - 上記画像選択手段は、上記対象部を最も多く含む部分画像が複数得られた場合には、それらのうち上記フレーム画像の中心との距離が最も短い1つの部分画像を上記対象部を最も多く含む部分画像として選択することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。
- 上記画像選択手段は、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出手段と、
上記特徴抽出手段での特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別手段と、
上記領域判定手段での結果から上記部分画像における上記対象部の占有率を算出する占有率算出手段とを有し、
上記占有率算出手段により算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。 - 上記特徴抽出手段は、上記分割画像毎に上記分割画像の特徴ベクトルを算出し、
上記領域判別手段は、上記所定の領域部に対応して予め指定された教師画像の特徴ベクトルと、上記特徴抽出手段により得られた上記分割画像の特徴ベクトルとを比較し、比較結果に基づいて当該分割画像を上記所定の領域部に選択的に分類することを特徴とする請求項5記載の画像処理装置。 - 連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出工程と、
上記抽出工程で抽出したフレーム画像を記憶手段に複数記憶させる記憶工程と、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択工程と、
上記画像選択工程で選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合工程とを有することを特徴とする画像処理方法。 - 上記画像選択工程は、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出工程と、
上記特徴抽出工程での特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別工程と、
上記領域判定工程での結果から上記部分画像における上記対象部の占有率を算出する占有率算出工程とを有し、
上記占有率算出工程にて算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項7記載の画像処理方法。 - 連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出ステップと、
上記抽出ステップにて抽出したフレーム画像を記憶手段に複数記憶させる記憶ステップと、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択ステップと、
上記画像選択ステップで選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合ステップとをコンピュータに実行させるためのプログラム。 - 上記画像選択ステップは、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出ステップと、
上記特徴抽出ステップでの特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別ステップと、
上記領域判定ステップでの結果から上記部分画像における上記対象部の占有率を算出する占有率算出ステップとを有し、
上記占有率算出ステップにて算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項9記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005251991A JP2007066041A (ja) | 2005-08-31 | 2005-08-31 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005251991A JP2007066041A (ja) | 2005-08-31 | 2005-08-31 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007066041A true JP2007066041A (ja) | 2007-03-15 |
Family
ID=37928159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005251991A Pending JP2007066041A (ja) | 2005-08-31 | 2005-08-31 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007066041A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011002892A (ja) * | 2009-06-16 | 2011-01-06 | Asahi Koyo Kk | モザイク画像生成方法、装置及びプログラム |
JP2019174345A (ja) * | 2018-03-29 | 2019-10-10 | 株式会社Nttドコモ | 状態判定装置 |
-
2005
- 2005-08-31 JP JP2005251991A patent/JP2007066041A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011002892A (ja) * | 2009-06-16 | 2011-01-06 | Asahi Koyo Kk | モザイク画像生成方法、装置及びプログラム |
JP2019174345A (ja) * | 2018-03-29 | 2019-10-10 | 株式会社Nttドコモ | 状態判定装置 |
JP6997664B2 (ja) | 2018-03-29 | 2022-01-17 | 株式会社Nttドコモ | 状態判定装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
JP7106665B2 (ja) | 単眼深度推定方法およびその装置、機器ならびに記憶媒体 | |
EP3349176B1 (en) | Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality | |
Dosovitskiy et al. | Flownet: Learning optical flow with convolutional networks | |
US8605946B2 (en) | Moving object detection apparatus and moving object detection method | |
CN116018616A (zh) | 保持帧中的目标对象的固定大小 | |
US9042662B2 (en) | Method and system for segmenting an image | |
US8331614B2 (en) | Method and apparatus for tracking listener's head position for virtual stereo acoustics | |
US9542735B2 (en) | Method and device to compose an image by eliminating one or more moving objects | |
EP2721583B1 (en) | Content-adaptive method and apparatus for determining optical flow | |
EP1519589A2 (en) | Object tracking in vector images | |
US10999500B2 (en) | Imaging apparatus and imaging method, and image processing apparatus and image processing method | |
US20190080462A1 (en) | Method and apparatus for calculating depth map based on reliability | |
JP2018022360A (ja) | 画像解析装置、画像解析方法およびプログラム | |
EP2980754A1 (en) | Method and apparatus for generating temporally consistent superpixels | |
US10176401B2 (en) | Method and apparatus for generating temporally consistent superpixels | |
WO2014208963A1 (ko) | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 | |
US10628999B2 (en) | Method and apparatus with grid-based plane estimation | |
CN108234826B (zh) | 图像处理方法及装置 | |
US20230394834A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
KR101851896B1 (ko) | 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치 | |
CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
KR101146417B1 (ko) | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 | |
US9392146B2 (en) | Apparatus and method for extracting object |