JP6891808B2 - 画像位置合わせシステム、方法およびプログラム - Google Patents

Description

本発明は、各カメラで撮影された画像の位置を合わせる画像位置合わせシステム、画像位置合わせ方法および画像位置合わせプログラムを記憶する記録媒体に関する。

異なる２台のカメラで撮影された画像の位置合わせを行う方法が各種知られている。例えば、２つの画像の濃淡画像を用いたブロックマッチング処理や、エッジ量を利用した特徴点マッチング処理を行って画像間の位置ずれ量を算出することで、画像の位置合わせが行われる。

また、特許文献１には、２つの画像から種類が異なる複数の特徴量を算出し、それぞれの特徴量を用いて位置ずれ量を算出することで、画像の位置合わせを行う方法が記載されている。

また、特許文献２には、可視画像と遠赤外画像の特徴領域を抽出し、同一の特徴領域として位置ずれ量を算出することで、位置合わせを行う方法が記載されている。

特開２０１３−１７５０２３号公報 特許第４６８５０５０号公報

特許文献１に記載されているように、２台のカメラ画像から種類が異なる複数の特徴量を抽出し、各々の特徴量を用いて、異なる２台のカメラの位置ずれ量を算出することにより、位置合わせを行うことも可能である。しかし、特許文献１に記載された方法は、複数の特徴量をそれぞれ算出する必要があるため、処理が煩雑になってしまうという問題がある。

また、特許文献２に記載された方法では、可視画像と遠赤外画像の特徴領域を抽出する際、予め既知の形状から特徴を抽出することにより、可視画像と遠赤外画像の位置ずれ量を算出する。しかし、特許文献２に記載された方法の場合、既知の形状でなければ、可視画像と遠赤外画像の特徴領域を抽出することができないという問題がある。例えば、遠方と近傍でそれぞれ特徴領域が検出された場合、位置合わせを行う事ができないという問題がある。

そこで、本発明は、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる画像位置合わせシステム、画像位置合わせ方法および画像位置合わせプログラムを記憶する記録媒体を提供することを目的とする。

本発明による画像位置合わせシステムは、第一の画像の画像特徴である第一特徴を算出する第一特徴算出部と、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出部と、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出部と、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離を特定する距離特定部と、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する座標位置決定部とを備える。

本発明による画像位置合わせ方法は、第一の画像の画像特徴である第一特徴を算出し、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出し、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出し、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離を特定し、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する。

本発明によるコンピュータ読み取り可能な記録媒体は、コンピュータに、第一の画像の画像特徴である第一特徴を算出する第一特徴算出処理、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出処理、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出処理、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離を特定する距離特定処理、および、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する座標位置決定処理を実行させる画像位置合わせプログラムを記憶する。

本発明によれば、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。

本発明による画像位置合わせシステムの一実施形態を示すブロック図である。 各カメラで撮影された画像の例を示す説明図である。 各カメラで撮影された画像の他の例を示す説明図である。 第一特徴と第二特徴との距離の関係を示す説明図である。 第一特徴と第二特徴との距離の関係を示す説明図である。 画像位置合わせシステムを含む構成の一例を示す説明図である。 画像位置合わせシステムの動作例を示すフローチャートである。 本発明の画像位置合わせシステムの概要を示すブロック図である。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明による画像位置合わせシステムの一実施形態を示すブロック図である。
本実施形態の画像位置合わせシステムは、第一カメラ画像入力部１１と、第二カメラ画像入力部１２と、第一画像特徴算出部１３と、第二画像特徴算出部１４と、距離特定部１５と、画像座標位置決定部１６とを備えている。

第一カメラ画像入力部１１は、第一のカメラ（図１において図示せず）で撮影された画像を入力する。また、第二カメラ画像入力部１２は、第二のカメラ（図１において図示せず）で撮影された画像を入力する。なお、第一のカメラと第二のカメラとは、少なくとも撮影範囲の一部が重複するように設置される。すなわち、第一のカメラで撮影される画像（以下、第一の画像と記す。）と、第二のカメラで撮影される画像（以下、第二の画像と記す。）とは、少なくとも撮影範囲の一部が重複する。

第一のカメラが撮影する画像の種類と、第二のカメラが撮影する画像の種類とは、同一であってもよく、異なっていてもよい。具体的には、第一のカメラと第二のカメラとは、同種のセンサを備えたカメラで実現されていてもよく、異種のセンサを備えたカメラで実現されていてもよい。例えば、第一のカメラが可視カメラで、第二のカメラが遠赤外カメラであってもよい。なお、第一のカメラおよび第二のカメラの態様は、可視カメラや遠赤外カメラに限られず、例えば、近赤外カメラなどであってもよい。本実施形態では、第一のカメラが可視光領域を撮像する可視カメラであるとし、第二のカメラが遠赤外領域を撮像する遠赤外カメラであるとする。

また、第一のカメラの撮影範囲と第二のカメラの撮影範囲に基づいて、第一の画像または第二の画像のいずれか一方の画像の被写体が他方の画像の被写体に重なるように変換する変換方法を予め計算しておいてもよい。例えば、第一のカメラと第二のカメラの設置位置に対して十分に遠方の距離にある既知の被写体（例えば、ビルの壁面、ガラス窓等）を利用して画像全体の位置合わせが行われていてもよい。

この場合、第一カメラ画像入力部１１または第二カメラ画像入力部１２は、入力された画像を予め定められた変換方法に基づいて変換してもよい。例えば、第一カメラ画像入力部１１が、第一のカメラのキャリブレーション情報に基づいて、第一の画像をホモグラフィ変換し、第二の画像とのステレオ画像を生成してもよい。このようにすることで、画角が異なる場合でも、画像の見た目の差異を吸収することが可能になる。

図２は、各カメラで撮影された画像の例を示す説明図である。図２（ａ）は、可視カメラで撮影された画像の例を示す。第一のカメラが可視カメラである場合、例えば、図２（ａ）に例示する画像Ｐ１０が入力される。画像Ｐ１０において、明るい空Ｐ１０１の領域と、明るい灰色の塀Ｐ１０２の領域が存在する。また、画像Ｐ１０は、塀Ｐ１０２を背景として楕円の暗い色のボールＰ１０３が飛んでいるシーンを示す。

また、図２（ｂ）は、遠赤外カメラで撮影された画像の例を示す説明図である。第二のカメラが遠赤外カメラである場合、例えば、図２（ｂ）に例示する画像Ｐ２０が入力される。例えば、雲一つない空Ｐ２０１の場合、この領域は極端に低い温度になるため、画像Ｐ２０において、空Ｐ２０１を示す領域は、黒く表示される。また、例えば、それほど暖められていない塀Ｐ２０２の場合、画像Ｐ２０において、塀Ｐ２０２を示す領域は、濃い灰色で表示される。また、楕円の暗いボールＰ２０３が太陽光で熱せられている場合、そのボールは高い温度になるため、ボールＰ２０３を示す領域は薄い灰色で表示される。

図３は、各カメラで撮影された画像の他の例を示す説明図である。例えば、図２と見た目に同じシーンが撮影された場合、図３（ａ）に例示する画像Ｐ１０は、図２（ａ）に例示する画像Ｐ１０と同じになる。一方、同じ見た目のシーンでも、被写体の温度が異なる場合、遠赤外カメラで撮影される画像の内容は異なる。

例えば、同じボールや塀でも、塀が直射日光に熱せられ、ボールが水につかって冷やされているとする。この場合、図３（ｂ）に例示するように、画像Ｐ２０において、塀Ｐ２０４を示す領域は薄い灰色で表示され、ボールＰ２０５を示す領域は暗い灰色で表示される。このように、見た目には同じボールや塀であっても、図２およびと図３に例示するように、別の画像が得られる場合がある。

第一画像特徴算出部１３は、第一カメラ画像入力部１１が入力する画像（第一の画像）から１つ以上の画像特徴を算出する。以下の説明では、第一の画像から算出された画像特徴を第一特徴と記す。ここで、画像特徴とは、スケールが変化しても画像中に特徴的に現れる部分のことであり、広く知られた任意の方法を用いて算出される。第一画像特徴算出部１３は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform ）アルゴリズムを用いて画像特徴を算出してもよい。

ただし、算出される画像特徴はＳＩＦＴアルゴリズムを用いて算出される画像特徴に限定されず、例えば、ＢＲＩＥＦ（Binary Robust Independent Elementary Features ）特徴や、ＯＲＢ（Oriented-BRIEF）特徴が画像特徴として用いられてもよい。

ＢＲＩＥＦ特徴やＯＲＢ特徴のようなバイナリ特徴が用いられる場合、第一画像特徴算出部１３は、例えば、ＦＡＳＴ（Features from Accelerated Segment Test）を利用して特徴点を抽出してもよい。この場合、第一画像特徴算出部１３は、注目画素ｐの周辺の円周上の１６画素を観測し、注目画素ｐの輝度値と比較して円周上の輝度値が連続してｎ個以上が閾値ｔ以上明るい（または暗い）場所をコーナー点とし、キーポイントとして登録する。そして、第一画像特徴算出部１３は、キーポイントを中心としてガウシアンフィルタによりパッチを平滑化し、ランダムに選択されたペアの画素値の大小関係からバイナリ列を生成する。このバイナリ列がバイナリ特徴として用いられる。画像特徴がバイナリ特徴で表される場合、バイナリ列が同一となるキーポイントが同一のコーナー点として表現されるため、対応付ける画像特徴の微妙なずれを吸収することが可能になる。

第二画像特徴算出部１４は、第二カメラ画像入力部１２が入力する画像（第二の画像）から１つ以上の画像特徴を算出する。以下の説明では、第二の画像から算出された画像特徴を第二特徴と記す。さらに、第二画像特徴算出部１４は、第二特徴を算出した部分の画像の色（具体的には、輝度値）を反転させた画像の画像特徴を算出する。以下の説明では、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴を反転特徴と記す。なお、第二画像特徴算出部１４が画像特徴を算出する方法は、第一画像特徴算出部１３が画像特徴を算出する方法と同様である。

距離特定部１５は、第一の画像と第二の画像で対応する画像特徴同士の距離を算出する。第一の画像と第二の画像は、少なくとも撮影範囲の一部が重複するため、その重複する撮影範囲で画像特徴同士が対応付けられればよい。

具体的には、距離特定部１５は、対応する第一特徴と第二特徴との距離を算出する。さらに、距離特定部１５は、対応する第一特徴と反転特徴との距離を算出する。そして、距離特定部１５は、算出した２種類の距離のうち、短い方の距離を、第一特徴と第二特徴との距離として特定する。

例えば、画像特徴がバイナリ特徴で表される場合、画像特徴同士の距離は、値が異なるビットの数に相当する。図４および図５は、第一特徴と第二特徴との距離の関係を示す説明図である。図４および図５に例示するグラフは、横軸にビット間符号の異なる数が設定され、縦軸に特徴点間距離（すなわち、バイナリ特徴の距離）が設定されている。図４に例示するグラフは、一般的な方法により特定される距離の関係を示しており、ビット間符号の異なる数が増加するにしたがって、特徴点間距離も単調に増加することを示す。

一方、図５に例示するグラフは、距離特定部１５により特定される距離の関係を示している。図５に示す例では、ビット間符号の異なる数が増加するにしたがって、特徴点距離も単調に増加するが、ビット間符号の異なる数が全体のビット数の半分を超えると、特徴点距離は単調に減少する。これは、ビット間符号の異なる数が全体のビット数の半分を超えると、反転した画像の画像特徴との距離が逆に近くなるためである。

画像座標位置決定部１６は、特定された距離が予め定めた閾値以下である第一特徴と第二特徴のペアを抽出する。この閾値は、例えば、カメラのノイズ等に応じてユーザにより設定される。画像座標位置決定部１６は、抽出した第一特徴の第一の画像中における座標位置を特定する。同様に、画像座標位置決定部１６は、抽出した第二特徴の第二の画像中における座標位置を特定する。そして、画像座標位置決定部１６は、特定した座標位置に基づいて、第一の画像と第二の画像とを合わせる座標位置を算出する。

画像座標位置決定部１６は、例えば、算出した第二の画像の各座標位置を第一の画像の各座標位置に合わせるようにしてもよい。なお、画像間で対応する座標位置を一致させるように座標位置を算出する方法は広く知られており、ここでは詳細な説明は省略する。

また、画像座標位置決定部１６は、画像特徴により特定した座標位置と、算出した座標位置との差異に基づいて、一方の画像の局所的な補正（具体的には、移動、変形、拡大、縮小など）を実施して、第一の画像と第二の画像とを重ね合わせて表示してもよい。第一のカメラと第二のカメラの相対位置関係が固定されていれば、事前の各カメラのキャリブレーションにより、第一の画像と第二の画像との重ね合わせは概ね実施できるが、被写体の距離に応じて視差が生ずる。そこで、局所的に補正して画像を重ね合わせることで、全体として適切な重ね合わせ画像を生成できる。

例えば、遠方のビルやビルの窓枠などで各カメラのキャリブレーションを行っていた場合、手前を飛行する小型無線飛行機を可視カメラ及び遠赤外カメラで撮影した場合、一般的な方法では、画像の位置合わせを行うことは困難である。しかし、本実施形態では、距離特定部１５が、対応する画像特徴を特定できるため、このような状況を撮影した画像であっても、適切に位置合わせを行うことが可能になる。

可視画像と遠赤外画像が適切に合わせられることを、上述する図２および図３を参照して説明する。図３に例示するように、画像の明暗が可視と遠赤外で一致している場合、第一特徴と第二特徴との距離が、第一特徴と反転特徴との距離に比べて短くなる。一方、図２に例示するように、画像の明暗が可視と遠赤外で逆転する場合、第一特徴と反転特徴との距離が、第一特徴と第二特徴との距離に比べて短くなる。

したがって、いずれの場合にも、距離が近く算出される特徴同士の対応関係に基づいて両画像の座標位置を特定できるため、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。

このことを、画像特徴がバイナリ特徴で表される場合を例に挙げ、具体的に説明する。
例えば、黒い高温のボールが白い低温の壁の前を通過していると仮定する。これを可視画像として撮影すると、撮影される可視画像は、白の背景に黒丸の画像データになる。一方これを遠赤外画像として撮影すると、撮影される遠赤外画像は、高温が白色に表現されることが多いため、黒の背景に白丸の画像データになる。

各画像データの画像特徴をバイナリ特徴で表現した場合、排他的論理和の演算結果（距離）は最大値になるが、否定排他的論理和の演算結果（距離）は最小値になるため、最小値を選択することによって位置合わせが可能になる。

逆に、黒い低温のボールが白い高温の壁の前を通過していると仮定する。これを可視画像として撮影すると、撮影される可視画像は、前述する仮定と同様に、白の背景に黒丸の画像データとなる。一方、これを遠赤外画像として撮影すると、撮影される遠赤外画像は、白の背景に黒丸の画像データになる。

各画像データの画像特徴をバイナリ特徴で表現した場合、排他的論理和の演算結果（距離）は最小値になるが、否定排他的論理和の演算結果（距離）は最大値になるため、最小値を選択することによって、やはり位置合わせが可能になる。

したがって、仮に可視画像の明暗と遠赤外画像の明暗の状態が異なる場合にも、可視画像と遠赤外画像から算出された特徴量が近い部分を判断することができるため、画像の位置合わせをすることが可能になる。すなわち、物体や周辺の色や温度を予め考慮することなく、異なる２台のカメラ画像の位置合わせをすることが可能になる。

第一カメラ画像入力部１１と、第二カメラ画像入力部１２と、第一画像特徴算出部１３と、第二画像特徴算出部１４と、距離特定部１５と、画像座標位置決定部１６とは、プログラム（画像位置合わせプログラム）に従って動作するコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。

図６は、本実施形態の画像位置合わせシステムを含む構成の一例を示す説明図である。
例えば、プログラムは、図６に例示する記憶部３４に記憶され、ＣＰＵを含むＣＰＵ部３３は、そのプログラムを読み込み、プログラムに従って、第一カメラ画像入力部１１、第二カメラ画像入力部１２、第一画像特徴算出部１３、第二画像特徴算出部１４、距離特定部１５および画像座標位置決定部１６として動作してもよい。

また、ＣＰＵ部３３は、カメラ部３１から入力される画像を第一の画像とし、カメラ部３２から入力される画像を第二の画像として処理を実行してもよい。また、ＣＰＵ部３３は、必要な情報を記憶部３４から読み込むとともに、画像の位置合わせ結果を表示部３５に表示させてもよい。表示部３５は、例えば、ディスプレイ装置により実現される。また、記憶部３４は、例えば、磁気ディスク装置等により実現される。

また、第一カメラ画像入力部１１と、第二カメラ画像入力部１２と、第一画像特徴算出部１３と、第二画像特徴算出部１４と、距離特定部１５と、画像座標位置決定部１６とは、それぞれが専用のハードウェアで実現されていてもよい。また、本発明による画像位置合わせシステムは、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。

次に、本実施形態の画像位置合わせシステムの動作を説明する。図７は、本実施形態の画像位置合わせシステムの動作例を示すフローチャートである。第一カメラ画像入力部１１は、第一の画像を入力する。また、第二カメラ画像入力部１２は、第二の画像を入力する（ステップＳ１１）。

第一画像特徴算出部１３は、第一の画像の画像特徴（第一特徴）を算出する（ステップＳ１２）。同様に、第二画像特徴算出部１４は、第二の画像の画像特徴（第二特徴）を算出する（ステップＳ１３）。また、第二画像特徴算出部１４は、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴（反転特徴）を算出する（ステップＳ１４）。なお、ステップＳ１２からステップＳ１４までの処理の順序は任意である。

距離特定部１５は、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出する（ステップＳ１５）。そして、距離特定部１５は、両者のうち短い距離を第一特徴と第二特徴との距離と特定する（ステップＳ１６）。

特定された距離が予め定めた距離以下の各特徴を対象に、画像座標位置決定部１６は、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定する（ステップＳ１７）。そして、画像座標位置決定部１６は、第一の画像と第二の画像とを合わせる座標位置を算出する（ステップＳ１８）。

以上のように、本実施形態では、第一画像特徴算出部１３が第一特徴を算出し、第二画像特徴算出部１４が第二特徴を算出するとともに、第二特徴を算出した部分の画像の色を反転させた画像の反転特徴を算出する。その後、距離特定部１５が、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離と特定する。そして、画像座標位置決定部１６は、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する。よって、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。

また、本実施形態では、第二画像特徴算出部１４が、全体の画像を反転するのではなく、画像特徴を算出した部分の画像を反転して画像特徴（反転特徴）を算出する。このように、部分単位で反転した画像の画像特徴を算出して比較することで、全体のホモグラフィとしては整合する画像のうち一部がずれるような画像の位置合わせを適切に行うことが可能になる。

また、本実施形態では、距離特定部１５が、温度情報に基づく画像特徴の差異を吸収できるため、事前に撮像される物体の温度情報を得ることが困難な場合でも、対応する特徴のペアを一度に検出でき、且つ位置合わせを高速に行うことができる。

また、画像特徴がバイナリ特徴で表される場合、上述するように、画像特徴同士の距離は値が異なるビット数に相当する。そのため、本実施形態の画像位置合わせシステムの各構成要素は、以下の処理を実施していると言うこともできる。

具体的には、第一画像特徴算出部１３は、第一特徴として第一バイナリ特徴を算出する。また、第二画像特徴算出部１４は、第二特徴として第二バイナリ特徴を算出する。距離特定部１５は、第一バイナリ特徴と第二バイナリ特徴の排他的論理和の演算を行うことにより、両特徴（第一バイナリ特徴と第二バイナリ特徴）間の第一の距離を算出する。

さらに、距離特定部１５は、第一バイナリ特徴と第二バイナリ特徴の否定排他的論理和の演算を行うことにより、両特徴間の第二の距離を算出する。この処理は、本実施形態において、第二画像特徴算出部１４が反転特徴を算出し、距離特定部１５が第一特徴と反転特徴の距離を算出する処理に対応する。そして、距離特定部１５は、第一の距離と第二の距離のうち短い距離を第一特徴と第二特徴との距離と特定する。

このようにすることで、両特徴間の距離がビット計算で算出できるため、対応する画像特徴を特定する処理を高速化できる。

次に、本実施形態の概要を説明する。図８は、本実施形態による画像位置合わせシステムの概要を示すブロック図である。本実施形態による画像位置合わせシステムは、第一の画像の画像特徴である第一特徴を算出する第一特徴算出部８１（例えば、第一画像特徴算出部１３）と、第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出部８２（例えば、第二画像特徴算出部１４）と、第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出部８３（例えば、第二画像特徴算出部１４）と、対応する第一特徴と第二特徴との距離、および、対応する第一特徴と反転特徴との距離を算出して、両者のうち短い距離を第一特徴と第二特徴との距離と特定する距離特定部８４（例えば、距離特定部１５）と、特定された距離が予め定めた距離以下の場合、第一特徴の第一の画像中における座標位置および第二特徴の第二の画像中における座標位置を特定して、第一の画像と第二の画像とを合わせる座標位置を算出する座標位置決定部８５（例えば、画像座標位置決定部１６）とを備えている。

そのような構成により、被写体の温度や形状を事前に把握しなくても、適切に画像の位置合わせを行うことができる。

例えば、第一の画像は可視光領域を撮像した画像（例えば、可視カメラによって撮影される画像）であり、第二の画像は物体が放出する温度領域を撮像した画像（例えば、遠赤外カメラによって撮影される画像）である。

また、第一特徴算出部８１は、第一特徴として第一バイナリ特徴を算出し、第二特徴算出部８２は、第二特徴として第二バイナリ特徴を算出し、距離特定部８４は、第一バイナリ特徴と第二バイナリ特徴の排他的論理和の演算を行うことにより両特徴間の第一の距離を算出し、第一バイナリ特徴と第二バイナリ特徴の否定排他的論理和の演算を行うことにより両特徴間の第二の距離を算出し、第一の距離と第二の距離のうち短い距離を第一特徴と第二特徴との距離と特定してもよい。例えば、第一特徴および第二特徴には、ＢＲＩＥＦ特徴が用いられる。

そのような構成により、両特徴間の距離がビット計算で実現できるため、対応する画像特徴を特定する処理を高速化できる。

また、座標位置決定部８５は、画像特徴により特定した座標位置と、算出した座標位置との差異に基づいて、一方の画像の局所的な補正を実施して、第一の画像と第二の画像とを重ね合わせて表示してもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
この出願は、２０１５年８月１９日に出願された日本出願特願２０１５−１６１７８９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、各カメラで撮影された画像の位置を合わせる画像位置合わせシステムに好適に適用される。本発明は、例えば、可視と遠赤外といった異なる波長の画像を取得する２台のカメラで撮影された画像の位置ずれを補正する場合に好適に適用される。

１１ 第一カメラ画像入力部
１２ 第二カメラ画像入力部
１３ 第一画像特徴算出部
１４ 第二画像特徴算出部
１５ 距離特定部
１６ 画像座標位置決定部
３１ カメラ部（第一のカメラ）
３２ カメラ部（第二のカメラ）
３３ ＣＰＵ部
３４ 記憶部
３５ 表示部

Claims (9)

1. 第一の画像の画像特徴である第一特徴を算出する第一特徴算出手段と、
   前記第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出手段と、
   前記第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出手段と、
   対応する前記第一特徴と前記第二特徴との距離、および、対応する前記第一特徴と前記反転特徴との距離を算出して、両者のうち短い距離を前記第一特徴と前記第二特徴との距離と特定する距離特定手段と、
   特定された距離が予め定めた距離以下の場合、前記第一特徴の第一の画像中における座標位置および前記第二特徴の第二の画像中における座標位置を特定して、当該第一の画像と当該第二の画像とを合わせる座標位置を算出する座標位置決定手段とを備えた
   ことを特徴とする画像位置合わせシステム。
   
2. 前記第一の画像は可視光領域を撮像した画像であり、
   前記第二の画像は物体が放出する温度領域を撮像した画像である
   請求項１記載の画像位置合わせシステム。
3. 前記第一特徴算出手段は、前記第一特徴として第一バイナリ特徴を算出し、
   前記第二特徴算出手段は、前記第二特徴として第二バイナリ特徴を算出し、
   前記距離特定手段は、前記第一バイナリ特徴と前記第二バイナリ特徴の排他的論理和の演算を行うことにより両特徴間の第一の距離を算出し、前記第一バイナリ特徴と前記第二バイナリ特徴の否定排他的論理和の演算を行うことにより両特徴間の第二の距離を算出し、前記第一の距離と前記第二の距離のうち短い距離を第一特徴と第二特徴との距離と特定する
   請求項１または請求項２記載の画像位置合わせシステム。
4. 前記第一特徴および前記第二特徴には、ＢＲＩＥＦ特徴が用いられる
   請求項１から請求項３のうちのいずれか１項に記載の画像位置合わせシステム。
5. 前記座標位置決定手段は、画像特徴により特定した座標位置と、算出した座標位置との差異に基づいて、一方の画像の局所的な補正を実施して、前記第一の画像と前記第二の画像とを重ね合わせて表示する
   請求項１から請求項４のうちのいずれか１項に記載の画像位置合わせシステム。
6. 第一の画像の画像特徴である第一特徴を算出し、
   前記第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出し、
   前記第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出し、
   対応する前記第一特徴と前記第二特徴との距離、および、対応する前記第一特徴と前記反転特徴との距離を算出して、両者のうち短い距離を前記第一特徴と前記第二特徴との距離と特定し、
   特定された距離が予め定めた距離以下の場合、前記第一特徴の第一の画像中における座標位置および前記第二特徴の第二の画像中における座標位置を特定して、当該第一の画像と当該第二の画像とを合わせる座標位置を算出する
   ことを特徴とする画像位置合わせ方法。
   
7. 前記第一の画像は可視光領域を撮像した画像であり、
   前記第二の画像は物体が放出する温度領域を撮像した画像である
   請求項６記載の画像位置合わせ方法。
8. コンピュータに、
   第一の画像の画像特徴である第一特徴を算出する第一特徴算出処理、
   前記第一の画像と少なくとも撮影範囲の一部が重複する第二の画像の画像特徴である第二特徴を算出する第二特徴算出処理、
   前記第二特徴を算出した部分の画像の色を反転させた画像の画像特徴である反転特徴を算出する反転特徴算出処理、
   対応する前記第一特徴と前記第二特徴との距離、および、対応する前記第一特徴と前記反転特徴との距離を算出して、両者のうち短い距離を前記第一特徴と前記第二特徴との距離と特定する距離特定処理、および、
   特定された距離が予め定めた距離以下の場合、前記第一特徴の第一の画像中における座標位置および前記第二特徴の第二の画像中における座標位置を特定して、当該第一の画像と当該第二の画像とを合わせる座標位置を算出する座標位置決定処理
   を実行させるためのプログラム。
   
9. 前記第一の画像は可視光領域を撮像した画像であり、
   前記第二の画像は物体が放出する温度領域を撮像した画像である
   請求項８記載のプログラム。

Images