JP6366108B2 - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Description

本発明は、被写体とカメラを相対移動させながらカメラで撮像した画像を時系列的に順次貼り合わせてリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理装置、画像処理方法、画像処理プログラム、記録媒体に関する。

特許文献１には、物体の全焦点画像を作成するシステムであって、物体を階層的に順次撮影する撮影装置と、前記物体を載置する載置台と、前記撮影装置と載置台との間隔を調整可能な間隔調整手段と、前記撮影装置で撮影した画像をデータ化する画像変換器と、該画像変換器から出力された撮影データを処理する画像処理手段と、該画像処理手段から出力された画像データを表示する表示手段とを具備して構成され、前回得られた各画素の画像輝度数値と今回撮影された各画素の画像輝度数値とを比較演算して得られた画像輝度数値に基づいて再構築されていく前記画像処理手段によって得られた最新の全焦点画像データが順次更新されて表示手段に画像として表示させる技術が開示されている。

また、画像処理手段として、特許第２７７５１２１号公報に開示されたイラスト作成支援方法によるイラストの輪郭線を強調する演算を行うと開示されている。

特許文献２には、移動する被写体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う画像処理装置であって、被写体が撮影された順序と、原画像の画像データにおける被写体の画像データの位置情報と、に基づいて、時間的に未来の被写体が、時間的に過去の被写体に対して筆触が異なるように、動体連写合成画像の画像データに含まれる画素の少なくとも色を基準としての相関に基づいて生成された画素のグループの形状を、時間的に未来の被写体の画素データの筆触を細かくし、時間的に過去の被写体の画素データの筆触を荒くするように変化させる画像処理装置が開示されている。

特開２００３−２８１５０１号公報 特開２０１１−１７６５５７号公報

特許文献１の発明は、物体に対する撮影がＸＹ軸方向は変えずにＺ軸方向のみ移動させて撮影した画像を貼り合わせていく技術であるので、カメラをＸＹ軸方向に移動させた場合は画像の貼り合わせができず、リアルタイムでパノラマ画像をディスプレイで見ることができないという問題があった。

また、画像輝度数値を比較演算する処理は、閾値を設定し輪郭線を抽出する処理であるので、画像全体を鮮明にする技術ではないことから、画像に不鮮明な部分が生ずるという問題があった。

特許文献２の発明は、ＸＹ軸方向に移動する被写体に対して前後の画像データの位置情報に基づいて合成画像を作成する技術であり、カメラをＺ軸方向に移動させた場合は画像の貼り合わせができず、リアルタイムで立体的な被写体のパノラマ画像をディスプレイで見ることができないという問題があった。

また、時間的に未来の被写体の画素データの色調・明暗等の表現を形成する画筆のタッチを細かくし、時間的に過去の被写体の画素データの画筆のタッチを荒くするように変化させる画像処理を行うので、ディスプレイ上の画像に鮮明さが異なる画像が表示されるという問題があった。

そこで、本発明の課題は、物体をカメラでＸＹ軸方向やＺ軸方向に移動させながら、カメラで撮像した画像を時系列的に順次貼り合わせてディスプレイ上にリアルタイムで鮮明なパノラマ画像を表示させることができる画像処理装置、画像処理方法、画像処理プログラム、記録媒体を提供することである。

本発明においてパノラマ画像とは、被写体とカメラをＸＹ軸方向やＺ軸方向に相対移動させながらカメラで被写体を撮影した撮像を、順次、横方向や縦方向に貼り合わせて連続した１枚の画像を意味する。

請求項１に記載の画像処理装置１の発明は、被写体とカメラとを相対移動させながらカメラで撮像した画像を時系列的に順次貼り合わせてリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理装置１であって、載置した被写体又はカメラをＸＹ軸方向又はＺ軸方向に移動させる移動手段４と、前記移動手段４により移動させながら被写体を撮像し画像を連続的に取得する画像取得手段３と、前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第一の画像データの１フレーム後に取得した第二の画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索し、さらにそれぞれの画像データの前記探索で対応する前記座標範囲の輝度の差分が最少となる座標を探索し、該探索した座標を第一の画像データと第二の画像データでの被写体の一致する部位の座標としてそれぞれ特定し、前記特定した第一の画像データの座標と第二の画像データの座標が異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、前記座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する移動方向判断手段と、前記移動方向判断手段で被写体がＸＹ軸方向に相対移動したと判断した場合は、第一の画像データと第二の画像データとを前記移動方向判断手段で特定したそれぞれの座標をＸＹ軸方向で一致させて時系列的に順次貼り合わせるＸＹ軸方向貼り合わせ手段と、
前記移動方向判断手段で被写体がＺ軸方向に相対移動したと判断した場合は、第一の画像データ及び第二の画像データそれぞれの数画素範囲からなる座標範囲ごとに各画素間の輝度の差分を算出し、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていくＺ軸方向貼り合わせ手段と、を備えることを特徴とする。

請求項２に記載の画像処理装置は、請求項１において、前記移動方向判断手段における、輝度成分の周波数の差分が最少となる座標範囲の探索を、第一及び第二の画像データをそれぞれ第一及び第二の縮小画像データに画像縮小し、前記第一の縮小画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第二の縮小画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、それぞれの周波数の差分が最少となる座標範囲を探索することを特徴とする。

請求項３に記載の画像処理方法１０は、被写体とカメラとを相対移動させながらカメラで撮像した画像を時系列的に順次貼り合わせてリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理方法であって、載置した被写体又はカメラをＸＹ軸方向又はＺ軸方向に移動させる移動工程と、前記移動工程により移動させながら被写体を撮像し画像を連続的に取得する画像取得工程と、前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第一の画像データの１フレーム後に取得した第二の画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索し、さらにそれぞれの画像データの前記探索で対応する前記座標範囲の輝度の差分が最少となる座標を探索し、該探索した座標を第一の画像データと第二の画像データでの被写体の一致する部位の座標としてそれぞれ特定し、前記特定した第一の画像データの座標と第二の画像データの座標が異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、前記座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する移動方向判断工程と、前記移動方向判断工程で被写体がＸＹ軸方向に相対移動したと判断した場合は、第一の画像データと第二の画像データとを前記移動方向判断工程で特定したそれぞれの座標をＸＹ軸方向で一致させて時系列的に順次貼り合わせるＸＹ軸方向貼り合わせ工程と、前記移動方向判断工程で被写体がＺ軸方向に相対移動したと判断した場合は、第一の画像データ及び第二の画像データそれぞれの数画素範囲からなる座標範囲ごとに各画素間の輝度の差分を算出し、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていくＺ軸方向貼り合わせ工程と、を備えることを特徴とする。

請求項４に記載の画像処理方法は、請求項３において、前記移動方向判断工程における、輝度成分の周波数の差分が最少となる座標範囲の探索を、第一及び第二の画像データをそれぞれ第一及び第二の縮小画像データに画像縮小し、前記第一の縮小画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第二の縮小画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、それぞれの周波数の差分が最少となる座標範囲を探索することを特徴とする。

請求項５に記載の画像処理プログラムは、被写体とカメラとを相対移動させながらカメラで撮像した画像を時系列的に順次貼り合わせてリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理プログラムであって、載置した被写体又はカメラをＸＹ軸方向又はＺ軸方向に移動させる移動手順と、前記移動手順により移動させながら被写体を撮像し画像を連続的に取得する画像取得手順と、前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第一の画像データの１フレーム後に取得した第二の画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索し、さらにそれぞれの画像データの前記探索で対応する前記座標範囲の輝度の差分が最少となる座標を探索し、該探索した座標を第一の画像データと第二の画像データでの被写体の一致する部位の座標としてそれぞれ特定し、前記特定した第一の画像データの座標と第二の画像データの座標が異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、前記座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する移動方向判断手順と、前記移動方向判断手順で被写体がＸＹ軸方向に相対移動したと判断した場合は、第一の画像データと第二の画像データとを前記移動方向判断手順で特定したそれぞれの座標をＸＹ軸方向で一致させて時系列的に順次貼り合わせるＸＹ軸方向貼り合わせ手順と、前記移動方向判断手順で被写体がＺ軸方向に相対移動したと判断した場合は、第一の画像データ及び第二の画像データそれぞれの数画素範囲からなる座標範囲ごとに各画素間の輝度の差分を算出し、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていくＺ軸方向貼り合わせ手順と、を備えることを特徴とする。

請求項６に記載の画像処理プログラムは、請求項５において、前記移動方向判断手順における、輝度成分の周波数の差分が最少となる座標範囲の探索を、第一及び第二の画像データをそれぞれ第一及び第二の縮小画像データに画像縮小し、前記第一の縮小画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第二の縮小画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、それぞれの周波数の差分が最少となる座標範囲を探索することを特徴とする。

請求項７に記載の画像処理プログラムは、請求項５又は６において、前記ＸＹ軸方向貼り合わせ手順又はＺ軸方向貼り合わせ手順により時系列的に順次貼り合わされた画像の全体画像が、アスペクト比を固定にした状態でディスプレイの画面の大きさに合うように表示する画像表示手順を備えることを特徴とする。

請求項８に記載の記録媒体は、請求項５乃至７のいずれかに記載の画像処理プログラムをコンピュータ読み取り可能に記録したことを特徴とする。

請求項１乃至８のいずれかに記載の発明は、被写体とカメラとを相関関係でＸＹ軸方向やＺ軸方向にずらしながら、カメラで撮像した画像をリアルタイムで時系列的に順次貼り合わせて、ディスプレイ上にリアルタイムで物体の鮮明な画像を奥行も含めたパノラマ画像として表示させることができる。

被写体とカメラとの相対位置関係が、ＸＹ軸方向に移動したか、Ｚ軸方向に移動したかを瞬時に判断することができるので、立体的な被写体を対象にしてもリアルタイムで鮮明な画像をディスプレイに表示することができる。

請求項２、４、６に記載の発明は、輝度の周波数解析を、画像を縮小させた状態で行うことにより、画面全体を範囲とした周波数解析を極めて短時間に行うことができるようになり、これによりさらに画像処理時間の短縮化ができた。

請求項７に記載の発明は、ディスプレイにカメラで撮像した範囲の被写体の画像をすべて表示させることができるので、被写体のカメラで撮像した範囲全体を常時把握することができる。

本発明の請求項１に記載の画像処理装置の概要図である。 第一の画像と第二の画像の貼り合わせの説明図で、（ａ）は被写体の図で、（ｂ）は第一の画像と第二の画像の被写体に対する撮影範囲を示す図である。 第一の画像と第二の画像のＸＹ軸方向の貼り合わせの説明図で、（ａ）は第一の画像の説明図で、（ｂ）は第二の画像の説明図で、（ｃ）は第二の画像で第一の画像と重なる部分を切り取った図を示す説明図で、（ｄ）は第一の画像と第二の画像を貼り合わせた図である。 第一の画像と第二の画像のそれぞれの周波数の差分の最小座標範囲の探索の説明図で、（ａ）は第一の画像と第二の画像の周波数が略一致する座標範囲を示す説明図で、（ｂ）は第一の画像の周波数を示す説明図で、（ｃ）は第二の画像の周波数を示す説明図である。 座標範囲ごとの輝度の差分を算出する方法の説明図で、（ａ）は注目座標と周囲座標の説明図で、（ｂ）はその次の注目座標における注目座標と周囲座標の説明図である。 第一の画像と第二の画像のＺ軸方向の貼り合わせの説明図で、（ａ）は被写体を示した図で、（ｂ）は第一の画像の説明図で、（ｃ）は第二の画像の説明図で、（ｄ）は第二の画像から輝度の差分の大きい画素を取り出した説明図で、（ｅ）は取り出した画素を第一の画像に貼り付けた状態の説明図である。 第三の画像を第一及び第二の貼り合わせ画像にＺ軸方向で貼り合わせていく説明図で、（ａ）は第三の画像の説明図で、（ｂ）は第三の画像から輝度の差分の大きい画素を取り出した説明図で、（ｃ）は取り出した画素を第一及び第二の貼り合わせ画像に貼り付けた状態の説明図で、（ｄ）は第四の画像を第一から第三までの貼り合わせ画像に貼り付けた状態を示す説明図である。 ＸＹ軸方向に移動しながら撮像した画像を順次貼り合わせていく説明図で、（ａ）は第三の画像の説明図で、（ｂ）は貼り合わせた画像と切り取った状態を示す第三の画像の説明図で、（ｃ）は第三の画像を貼り合わせた状態を示す説明図で、（ｄ）は貼り合わせた画像をディスプレイに合わせて縮小する説明図である。 本発明の画像処理方法を説明するフロー図である。 移動方向判断手順を説明図するフロー図である、

以下、図面を参照しながら本発明に係る実施形態について説明する。

図１は本発明の一実施形態の画像処理装置１の基本構成を示す図である。パソコン等の画像処理手段２、カメラ等の画像取得手段３、被写体５を載置しＸＹ軸方向やＺ軸方向に移動する移動手段４、画像を表示するディスプレイ等の画像表示手段６を備える。移動手段４はカメラ等の画像取得手段３をＸＹ軸方向やＺ軸方向に移動させる手段でもよい。画像処理手段２には、移動方向判断手段、ＸＹ軸方向貼り合わせ手段、Ｚ軸方向貼り合わせ手段、画像表示手段が含まれる。

また、本発明の画像処理方法１０は、図９に示すように、移動手順６１、画像取得手順６２、移動方向判断手順６３を経て、ＸＹ軸方向貼り合わせ手順６４又はＺ軸方向貼り合わせ手順６５を実施し、画像表示手順６６を備える。

本願発明の画像処理装置１は、被写体とカメラとを相対移動させながらカメラで撮像した画像をリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理装置１であって、載置した被写体又はカメラをＸＹ軸方向又はＺ軸方向に移動させる移動手段４と、前記移動手段４により移動させながら被写体を撮像し画像を連続的に取得する画像取得手段３と、
前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第一の画像データの１フレーム後に取得した第二の画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索し、さらにそれぞれの画像データの前記探索で対応する前記座標範囲の輝度の差分が最少となる座標を探索し、該探索した座標を第一の画像データと第二の画像データでの被写体の一致する部位の座標としてそれぞれ特定し、前記特定した第一の画像データの座標と第二の画像データの座標が異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、前記座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する移動方向判断手段と、前記移動方向判断手段で被写体がＸＹ軸方向に相対移動したと判断した場合は、第一の画像データと第二の画像データとを前記移動方向判断手段で特定したそれぞれの座標をＸＹ軸方向で一致させて時系列的に順次貼り合わせるＸＹ軸方向貼り合わせ手段と、前記移動方向判断手段で被写体がＺ軸方向に相対移動したと判断した場合は、第一の画像データ及び第二の画像データそれぞれの数画素範囲からなる座標範囲ごとに各画素間の輝度の差分を算出し、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていくＺ軸方向貼り合わせ手段と、を備える。

前記移動手段４は、被写体を載置した台をＸＹ軸方向又はＺ軸方向に移動させる機構か、あるいはカメラをＸＹ軸方向又はＺ軸方向に移動させる機構であれば、手動による移動でも自動による移動でもよい。

前記画像取得手段３は、前記移動手段４により被写体又はカメラを移動させながら被写体を撮像し画像を連続的に取得するカメラであればよい。取得される画像はカラー画像でもモノクロ画像でもよく、撮像した被写体の画像の範囲と次の１フレーム後に撮像した被写体の画像の範囲は少なくとも部分的に同じ範囲の撮像部分を取得できるように撮影する。カメラで撮影された画像は、時系列的に順次画像データとして画像処理装置１に記憶される。

前記移動方向判断手段を説明する。まず、前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データ、並びに前記第一の画像データの１フレーム後に取得した第二の画像データを比較する。第一の画像データは、撮像した１枚の画像の画像データ、又は、時系列的に順次貼り合わせていった画像データをいい、次に撮像した１フレーム後の画像の画像データを貼り付ける先の画像データをいう。第二の画像データは、１フレーム後に撮像し次に貼り付けようとする画像データをいう。第一及び第二の画像データはともにカラー画像でもモノクロ画像でもよい。

次に、前記第一の画像データと第二の画像データのそれぞれの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索する。それぞれの画像データがモノクロ画像の場合は単色のグレースケール画像としてそのままで色変換せず、カラー画像の場合は単色のグレースケール画像データに色変換する。

輝度成分の周波数の差分が最少となる座標範囲の探索を、撮像した画像の大きさのグレースケール画像で行ってもいいし、該グレースケール画像を縮小した縮小画像で行ってもいい。縮小画像にすると画像全体の探索時間の短縮化ができる。

輝度成分の周波数の波形の差分が最少となる座標範囲の探索は、被写体の一部の部位を共通にして撮像した画像ならば該共通範囲の周波数の波形は略同一になるので、第一の画像及び第二の画像から周波数の波形が略同一になるそれぞれの座標範囲を探索する。

まず、第一の画像データと第二の画像データで、ともに被写体の一部の部位を共通にして撮影している座標範囲の概要範囲を求める。この段階の座標範囲の探索は粗い探索をする。そのため、第一及び第二のグレースケール画像データ、あるいは、第一及び第二のグレースケール画像データの縮小画像データの各画素の輝度の周波数解析を例えば横列に順に又は縦列に順に全画素に亘って行う。そして、第一及び第二のグレースケール画像データ、あるいは、前記第一及び第二の縮小画像データの周波数の波形を比較し、周波数の波形が略一致する、第一及び第二のグレースケール画像データのそれぞれの座標範囲、あるいは、前記第一及び第二の縮小画像データのそれぞれの座標範囲を探索し特定する。この段階は、図１０における「座標ごとの輝度成分を周波数解析した周波数の波形を比較し差分最少の座標範囲特定」６３１に該当する。この段階は画像データ７又は縮小画像データ８を使用する。

周波数の波形の比較を図４で説明する。図４（ｂ）は第一の画像１１の座標に対する周波数２１を示し、図４（ｃ）は第二の画像１２の座標に対する周波数２２を示している。第一の画像１１と第二の画像１２が図４（ａ）に示すような位置関係で撮像された場合は、被写体５の同一部位を撮影した個所は第一の画像１１からも第二の画像１２からも略同一の周波数の波形２０が示される。そこで、周波数の波形２０を示した座標範囲は周波数の波形が略一致するとして、第一の画像１１の座標範囲２０１及び第二の画像１２の座標範囲２０２をそれぞれ特定する。

縮小画像の場合は、縮小前に比較してＸＹ軸方向の大きさを１／２〜１／２０に、好ましくは１／１０〜１／２０に縮小する。これにより、前記周波数の波形が略同一の座標範囲を探索する時間が、画像サイズなどの画像データなどにより多少変わるが、発明者の実験では１枚の画像に対する探索時間をグレースケール画像では略１秒かかるのを縮小画像では略３０μ秒に短縮させることができた。カメラでの撮影では１撮影当り略３０μ秒を要するので使用者にとってはリアルタイムで貼り合わせが時系列的に順次実現されていると実感することができる。

次に、第一及び第二の画像データの前記探索で求めて特定した座標範囲を中心にその周囲の座標範囲も含めて精緻な探索を行い、第一及び第二の画像データにともに被写体の一部の部位を共通にして撮影している座標範囲を探索する。精緻な探索では、被写体の一部の部位を共通にして撮像した画像ならば該共通範囲の輝度は略一致するので、第一の画像及び第二の画像から輝度が略一致するそれぞれの座標を探索する。この探索では縮小画像は粗い探索になるので使用しない。

特定した第一及び第二のグレースケール画像データのそれぞれの座標範囲、あるいは、特定した前記第一及び第二の縮小画像データのそれぞれの座標範囲に対して、前記探索結果で得られたそれぞれの対応する座標範囲に対して輝度が略一致する座標を探索する。その探索結果輝度が略一致する座標を、第一のグレースケール画像データと第二のグレースケール画像データでの被写体の一致する部位の座標としてそれぞれ特定する。この特定により、被写体の同一部位の第一の画像データの座標と第二の画像データの座標が求められた。この段階は、図１０における「特定した座標範囲の座標ごとの輝度を比較し差分最少の座標特定」６３２に該当する。この段階は画像データ７を使用する。

前記精緻な探索で求められた、第一の画像データの座標と第二の画像データの座標とが異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、第一の画像データの座標と第二の画像データの座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する。この段階は、図１０における「特定した座標が略一致すればＺ軸方向移動、特定した座標がずれていればＸＹ軸方向移動と判断」６３３に該当する。この段階は画像データ７を使用する。

次に、ＸＹ軸方向貼り合わせ手段について説明する。ＸＹ軸方向に移動させた場合は、被写体の同一部位に対する、第一の画像データと第二の画像データとのそれぞれのＸＹ軸方向の座標は同一ではない。そこで、第一の画像データと第二の画像データとを前記移動方向判断手段で特定したそれぞれの座標をＸＹ軸方向で一致させて、第一の画像データに第二の画像データを時系列的に順次貼り合わせる。このときに撮像した画像がカラー画像の場合はカラー画像データ同士を貼り合わせ、モノクロ画像の場合はモノクロ画像同士を貼り合わせる。

前記貼り合わせにより、万一第一の画像と第二の画像がずれて貼り合わされた場合には第一の画像と第二の画像の境界が目立つが、本発明のＸＹ軸方向貼り合わせ手段では第一の画像と第二の画像がずれないので第一の画像と第二の画像の境界が全く目立たずに貼り合わせることができる。

図２でＸＹ軸方向貼り合わせについて説明する。図２（ａ）に被写体５ａを示し、図２（ｂ）に第一の画像１１と第二の画像１２の被写体５ａに対する撮像位置を示す。そして第一の画像１１と第二の画像１２ともに、座標ハは被写体５ａの共通して撮像された部位に相当する。座標ハにおける周波数の波形や輝度は略一致する。

前記座標ハは、図３（ａ）における第一の画像１１の座標ハａと図３（ｂ）における第二の画像１２の座標ハｂに相当する。すると、第一の画像１１の座標イと第二の画像１２の座標ロとは同じ座標であるのに対して、座標ハａと座標ハｂとは座標がずれていることがわかる。これにより、第二の画像１２は第一の画像１１に対してＸＹ軸方向に移動して撮影したことがわかる。そして、図３（ｃ）に示すように第一の画像１１すべてに対して、第二の画像１２の第一の画像１１と輝度が略一致した部分を、輝度の一致不一致の境界である境界線ｇ及びｈで切り取って、図３（ｄ）に示すように貼り合わせる。貼り合わせた画像には境界線が見えない１枚の貼り合わせ画像１３ができる。

次に、図８（ａ）に示すような第三の画像１４を撮像し、第三の画像１４の座標範囲１４Ａと、図８（ｂ）に示す、貼り合わせ画像１３の座標範囲１３Ａの輝度が略一致し、第三の画像１４の座標範囲１４Ｂと貼り合わせ画像１３の座標範囲１３Ｂの輝度が略一致したとする。すると、図８（ｂ）に示すように第三の画像１４から貼り合わせ画像１３と輝度が一致する範囲を切り取り、図８（ｃ）に示すように貼り付けて貼り合わせ画像１５を作成する。貼り合わせ画像１５には画像間の境界線は見えない状態で貼り合わされている。このように、時系列的に順次画像を貼り合わせることができる。

次に、Ｚ軸方向貼り合わせ手段について説明する。Ｚ軸方向に移動させた場合は、被写体の同一部位に対する、第一の画像データ及び第二の画像データのそれぞれのＸＹ軸方向の座標は一致しているが、第一の画像と第二の画像は、焦点が合っている座標が異なっている状態である。そこで、後から撮影した第二の画像から焦点が合っている画素を第一の画像に貼りつける処理を行う。

第一のグレースケール画像及び第二のグレースケール画像において、それぞれ数画素範囲からなる座標範囲ごとに該座標範囲の中心の注目画素と該注目画素に隣接する画素である周囲画素との各画素間の輝度の差分を求める演算を、１画素ずつ順にずらしながらそれぞれのグレースケール画像の全画素について行う。そして、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていく。

図５において前記輝度の差分を求める演算について説明する。図５（ａ）において、注目画素３１を周囲画素３２の８つが取り囲んでいる。まず８つの周囲画素３２の輝度の平均を求め、求めた平均周囲画素輝度と、周囲画素３２の中心に位置する注目画素３１の輝度との差分を求める。これを図５（ｂ）に示すように、注目画素３１を画素一つずつずらしながらすべての画素に亘って実施する。

次に、Ｚ軸方向貼り合わせについて図６及び図７で説明する。図６（ａ）に示した被写体５ｂを画像取得手段３であるカメラで撮影した画像を、図６（ｂ）に示すように第一の画像４１とし、次に図６（ｃ）に示す撮影した画像を第二の画像４２とする。そして、第一の画像４１の座標ニａと第二の画像４２の座標ニｂにおける周波数の波形と輝度が略一致したとする。そして、第一の画像４１は全体的に不明瞭な画像であり、第二の画像４２は被写体５ｂの最上位の平面部５１の部分が鮮明な画像で他の範囲は不鮮明な画像とする。この場合、第一の画像４１の画素ごとの輝度の差分より第二の画像１２の前記平面部５１の画素ごとの輝度の差分が大きく現れるから、図６（ｄ）に示すように第二の画像４２から前記平面部５１の画素範囲のみを切り取り、図６（ｅ）に示すように貼り付けて貼り合わせ画像４３を作成する。

次に、カメラがＺ軸方向に移動して、図７（ａ）に示すように、第三の画像４４は円盤形部５２の画像が鮮明に表示された画像が得られ、かつ座標ニｃにおける周波数の波形と輝度が貼り合わせ画像４３の座標ニａと略一致したとする。すると、第三の画像４４は貼り合わせ画像４３からＺ軸方向に移動したと判断する。次に、第三の画像４４と貼り合わせ画像４３とを比較して、第三の画像４４の円盤形部５２の画素範囲が貼り合わせ画像４３の画素範囲より大きく輝度の差分が現れるから、図７（ｂ）に示すように前記円盤形部５２の画素範囲を切り取り、図７（ｃ）に示すように貼り付けて貼り合わせ画像４５を作成する。同じようにして外枠部５３が鮮明な画像が得られると貼り合わせて貼り合わせ画像４６を作成する。各画像における座標ニａ、ニｂ、ニｃ、ニｄ及びニｅは同一の座標とする。

次に、ディスプレイの画像表示手順である。ＸＹ軸方向貼り合わせ手順又はＺ軸方向貼り合わせ手順により時系列的に順次貼り合わされた画像の全体画像を、アスペクト比を固定にした状態でディスプレイの画面の大きさに合うように表示する。

図８（ｃ）に示すように、貼り合わせ画像１５がディスプレイ画面８０より大きく画像全体が表示されないのを防ぐために、図８（ｄ）に示すようにアスペクト比を固定にした状態でディスプレイの画面８０の大きさに合うように縮小して表示する。

１ 画像処理装置
２ 画像処理手段
３ 画像取得手段
４ 移動手段
５ 被写体
６ 画像表示手段
７ 画像データ
８ 縮小画像データ
１０ 画像処理方法
１１ 第一の画像
１２ 第二の画像
１３ 貼り合わせ画像
２０ 波形
２１ 波形
２２ 波形
３０ 画像
３１ 注目画素
３２ 周囲画素
４１ 第一の画像
４２ 第二の画像
４３ 貼り合わせ画像
４４ 第三の画像
４５ 貼り合わせ画像
４６ 貼り合わせ画像
６１ 移動手順
６２ 画像取得手順
６３ 移動方向判断手順
６４ ＸＹ軸方向貼り合わせ手順
６５ Ｚ軸方向貼り合わせ手順
６６ 画像表示手順
８０ ディスプレイ画面

Claims (8)

1. 被写体とカメラとを相対移動させながらカメラで撮像した画像を時系列的に順次貼り合わせてリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理装置であって、
   載置した被写体又はカメラをＸＹ軸方向又はＺ軸方向に移動させる移動手段と、
   前記移動手段により移動させながら被写体を撮像し画像を連続的に取得する画像取得手段と、
   前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第一の画像データの１フレーム後に取得した第二の画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索し、さらにそれぞれの画像データの前記探索で対応する前記座標範囲の輝度の差分が最少となる座標を探索し、該探索した座標を第一の画像データと第二の画像データでの被写体の一致する部位の座標としてそれぞれ特定し、前記特定した第一の画像データの座標と第二の画像データの座標が異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、前記座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する移動方向判断手段と、
   前記移動方向判断手段で被写体がＸＹ軸方向に相対移動したと判断した場合は、第一の画像データと第二の画像データとを前記移動方向判断手段で特定したそれぞれの座標をＸＹ軸方向で一致させて時系列的に順次貼り合わせるＸＹ軸方向貼り合わせ手段と、
   前記移動方向判断手段で被写体がＺ軸方向に相対移動したと判断した場合は、第一の画像データ及び第二の画像データそれぞれの数画素範囲からなる座標範囲ごとに各画素間の輝度の差分を算出し、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていくＺ軸方向貼り合わせ手段と、を備えることを特徴とする画像処理装置。
2. 前記移動方向判断手段における、輝度成分の周波数の差分が最少となる座標範囲の探索を、
   第一及び第二の画像データをそれぞれ第一及び第二の縮小画像データに画像縮小し、前記第一の縮小画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第二の縮小画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、それぞれの周波数の差分が最少となる座標範囲を探索することを特徴とする請求項１に記載の画像処理装置。
3. 被写体とカメラとを相対移動させながらカメラで撮像した画像を時系列的に順次貼り合わせてリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理方法であって、
   載置した被写体又はカメラをＸＹ軸方向又はＺ軸方向に移動させる移動工程と、
   前記移動工程により移動させながら被写体を撮像し画像を連続的に取得する画像取得工程と、
   前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第一の画像データの１フレーム後に取得した第二の画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索し、さらにそれぞれの画像データの前記探索で対応する前記座標範囲の輝度の差分が最少となる座標を探索し、該探索した座標を第一の画像データと第二の画像データでの被写体の一致する部位の座標としてそれぞれ特定し、前記特定した第一の画像データの座標と第二の画像データの座標が異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、前記座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する移動方向判断工程と、
   前記移動方向判断工程で被写体がＸＹ軸方向に相対移動したと判断した場合は、第一の画像データと第二の画像データとを前記移動方向判断工程で特定したそれぞれの座標をＸＹ軸方向で一致させて時系列的に順次貼り合わせるＸＹ軸方向貼り合わせ工程と、
   前記移動方向判断工程で被写体がＺ軸方向に相対移動したと判断した場合は、第一の画像データ及び第二の画像データそれぞれの数画素範囲からなる座標範囲ごとに各画素間の輝度の差分を算出し、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていくＺ軸方向貼り合わせ工程と、を備えることを特徴とする画像処理方法。
4. 前記移動方向判断工程における、輝度成分の周波数の差分が最少となる座標範囲の探索を、
   第一及び第二の画像データをそれぞれ第一及び第二の縮小画像データに画像縮小し、前記第一の縮小画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第二の縮小画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、それぞれの周波数の差分が最少となる座標範囲を探索することを特徴とする請求項３に記載の画像処理方法。
5. 被写体とカメラとを相対移動させながらカメラで撮像した画像を時系列的に順次貼り合わせてリアルタイムでディスプレイ上にパノラマ画像として表示する画像処理を行う画像処理プログラムであって、
   載置した被写体又はカメラをＸＹ軸方向又はＺ軸方向に移動させる移動手順と、
   前記移動手順により移動させながら被写体を撮像し画像を連続的に取得する画像取得手順と、
   前記取得した状態の又は取得し複数の画像データを貼り合わせた状態の第一の画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第一の画像データの１フレーム後に取得した第二の画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、座標ごとの周波数の差分が最少となる座標範囲を探索し、さらにそれぞれの画像データの前記探索で対応する前記座標範囲の輝度の差分が最少となる座標を探索し、該探索した座標を第一の画像データと第二の画像データでの被写体の一致する部位の座標としてそれぞれ特定し、前記特定した第一の画像データの座標と第二の画像データの座標が異なる場合は被写体がＸＹ軸方向に相対移動したと判断し、前記座標が一致する場合は被写体がＺ軸方向に相対移動したと判断する移動方向判断手順と、
   前記移動方向判断手順で被写体がＸＹ軸方向に相対移動したと判断した場合は、第一の画像データと第二の画像データとを前記移動方向判断手順で特定したそれぞれの座標をＸＹ軸方向で一致させて時系列的に順次貼り合わせるＸＹ軸方向貼り合わせ手順と、
   前記移動方向判断手順で被写体がＺ軸方向に相対移動したと判断した場合は、第一の画像データ及び第二の画像データそれぞれの数画素範囲からなる座標範囲ごとに各画素間の輝度の差分を算出し、それぞれの該差分を同一座標の画素ごとに比較し、第二の画像データのうちの該差分が大きい座標の画素を時系列的に順次第一の画像データに貼り合わせていくＺ軸方向貼り合わせ手順と、を備えることを特徴とする画像処理プログラム。
6. 前記移動方向判断手順における、輝度成分の周波数の差分が最少となる座標範囲の探索を、
   第一及び第二の画像データをそれぞれ第一及び第二の縮小画像データに画像縮小し、前記第一の縮小画像データの座標ごとの輝度成分を周波数解析した周波数と、前記第二の縮小画像データの座標ごとの輝度成分を周波数解析した周波数とを比較して、それぞれの周波数の差分が最少となる座標範囲を探索することを特徴とする請求項５に記載の画像処理プログラム。
7. 前記ＸＹ軸方向貼り合わせ手順又はＺ軸方向貼り合わせ手順により時系列的に順次貼り合わされた画像の全体画像が、アスペクト比を固定にした状態でディスプレイの画面の大きさに合うように表示する画像表示手順を備えることを特徴とする請求項５又は６に記載の画像処理プログラム。
8. 請求項５乃至７のいずれかに記載の画像処理プログラムをコンピュータ読み取り可能に記録したことを特徴とする記録媒体。

Images