JP2020027000A - レンズマーカ画像の補正方法、補正装置、プログラム、および記録媒体 - Google Patents

Abstract

【課題】異物が付着したり被検出部の欠けが発生してもその影響を抑制できるレンズマーカの画像の補正方法を提供する。【解決手段】レンズマーカは光軸に対する傾斜に応じて、少なくとも一つの移動方向に沿って虚像が移動するマーカであり、レンズマーカの表面の画像を取得する画像取得工程、移動方向に沿った既定幅ごとに、移動方向に対する直交方向における一端側から他端側までの明度レベルを抽出する抽出工程、既定幅ごとに、明度レベルの第１平均値および標準偏差を算出し、第１平均値を中心とする標準偏差の範囲を明度レベル領域として選択する選択工程、既定幅ごとに、明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、第２平均値を補正明度レベルに設定する補正工程、各既定幅の補正明度レベルに基づいて、レンズマーカの補正画像を再構築する再構築工程を含む。【選択図】図５

Description

本発明は、レンズマーカ画像の補正方法、補正装置、プログラム、および記録媒体に関する。

拡張現実感（Augmented Reality、以下、「ＡＲ」ともいう）およびロボティクス等の分野において、物体の位置および姿勢等を認識するために、いわゆる視認マーカが使用されている。前記視認マーカとしては、例えば、可変モアレパターン（ＶＭＰ）を示すＶＭＰマーカがある。前記ＶＭＰマーカは、例えば、被検出部である黒線が並ぶ縞模様の上に、レンチキュラレンズが配置されたマーカが報告されている（特許文献１）。

前記ＶＭＰマーカは、その中心軸が光軸に対して傾斜するに伴って、表面のレンズ面に投影される黒線の虚像パターンが移動する。このため、前記ＶＭＰマーカの画像について、２値化処理を行い、２値化画像における黒線の虚像パターンの位置を検出することによって、前記ＶＭＰマーカの傾きを決定できる。したがって、前記ＶＭＰマーカを利用することによって、例えば、前記ＶＭＰマーカが配置された物体の位置および姿勢等を計測することが可能となる。

特開２０１２−１４５５５９号公報

しかしながら、前記ＶＭＰマーカは、使用時において、砂やごみ等の異物が付着したり、前記被検出部に欠けが生じたりする場合がある。このため、前述のような２値化処理を行うと、２値化画像において、検出目的である虚像パターンの他にも、異物の付着が原因となる黒い像が現れたり、前記被検出部の欠けが原因となる白抜きの像が現れる場合がある。このため、虚像パターンの位置が誤検出され、結果的に、位置および姿勢等の計測にも誤差が発生するおそれがある。

前記異物の付着や前記被検出部の欠けは、例えば、使用時に発生する場合もあるが、製造時に発生する場合もある。このため、出荷前には、前記ＶＭＰマーカについて異物の付着および前記被検出部の欠けの発生を確認が必要であり、異物の付着や前記被検出部の欠けが確認された場合には、出荷できないということもある。

そこで、本発明は、ＶＭＰマーカ等のレンズマーカについて、前記異物が付着したり、前記被検出部の欠けが発生した場合でも、その影響を抑制できるレンズマーカの画像の補正方法の提供を目的とする。

前記目的を達成するために、本発明のレンズマーカ画像の補正方法は、
レンズマーカの画像取得工程、
明度レベルの抽出工程、
明度レベル領域の選択工程、
前記明度レベル領域における明度レベルの補正工程、および
補正明度レベルに基づく補正画像の再構築工程を含み、
前記レンズマーカは、
その一方の表面において、光軸に対する傾斜に応じて、少なくとも一つの移動方向に沿って虚像が移動するマーカであり、
前記画像取得工程は、
前記レンズマーカの前記表面の画像を取得し、
前記抽出工程は、
前記画像について、前記移動方向に沿った既定幅ごとに、前記移動方向に対する直交方向における一端側から他端側までの明度レベルを抽出し、
前記選択工程は、
前記既定幅ごとに、
各明度レベルを示すピクセルの数の分布から、全ピクセルの明度レベルの第１平均値および標準偏差（±σ）を算出し、
前記第１平均値を中心とする標準偏差の範囲を、明度レベル領域として選択し、
前記補正工程は、
前記既定幅ごとに、
前記明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、前記第２平均値を補正明度レベルに設定し、
前記再構築工程は、
前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築する
ことを特徴とする。

本発明のレンズマーカ画像の補正装置は、
レンズマーカの画像取得部、
明度レベルの抽出部、
明度レベル領域の選択部、
前記明度レベル領域における明度レベルの補正部、および
補正明度レベルに基づく補正画像の再構築部を含み、
前記レンズマーカは、
その一方の表面において、光軸に対する傾斜に応じて、少なくとも一つの移動方向に沿って虚像が移動するマーカであり、
前記画像取得部は、
前記レンズマーカの前記表面の画像を取得し、
前記抽出部は、
前記画像について、前記移動方向に沿った既定幅ごとに、前記移動方向に対する直交方向における一端側から他端側までの明度レベルを抽出し、
前記選択部は、
前記既定幅ごとに、
各明度レベルを示すピクセルの数の分布から、全ピクセルの明度レベルの第１平均値および標準偏差（±σ）を算出し、
前記第１平均値を中心とする標準偏差の範囲を、明度レベル領域として選択し、
前記補正部は、
前記既定幅ごとに、
前記明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、前記第２平均値を補正明度レベルに設定し、
前記再構築部は、
前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築する
ことを特徴とする。

本発明のプログラムは、前記本発明のレンズマーカ画像の補正方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記本発明のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、例えば、前記ＶＭＰマーカ等のレンズマーカについて、前記異物が付着したり、前記被検出部の欠けが発生した場合でも、その影響を抑制したレンズマーカの画像の補正を行うことができる。このため、本発明によれば、これらの影響を回避して、例えば、レンズマーカの傾きから、対象物の位置や姿勢等を決定できる。

図１（Ａ）は、レンズマーカの一例を示す上面図であり、図１（Ｂ）は、図１（Ａ）のＩ−Ｉ方向から見たマーカの断面図である。 図２（Ａ）は、像が投影されたレンズマーカのレンズ面の画像であり、図２（Ｂ）は、前記画像における検出線Ｄ上の明度レベルを示すグラフである。 図３は、参照例であり、図３（Ａ）は、長さ方向Ｙに平均化した明度レベルを示すグラフであり、図３（Ｂ）は、平均化した明度レベルに基づく補正画像である。 図４は、レンズマーカのレンズ面の画像において、虚像パターンと異物像とが現れた模式図である。 図５は、実施形態１の補正方法における各工程の処理の結果を示す概略図である。 図６は、実施形態１の補正方法における各工程の処理の結果を示す概略図である。 図７は、実施形態１の補正方法における各工程の処理の結果を示す概略図である。 図８は、レンズユニットの一例を示す平面図である。 図９は、実施形態２の補正装置の一例を示すブロック図である。 図１０は、実施形態２の補正装置のハードウエア構成の一例を示すブロック図である。

本発明の補正方法、補正装置、プログラム、および記録媒体（以下、あわせて「本発明」ともいう）は、レンズマーカ画像の補正に使用できる。対象となるレンズマーカは、その一方の表面において、光軸に対する傾斜に応じて、少なくとも一つの移動方向に沿って虚像が移動するマーカであればよい。前記レンズマーカは、光軸に対する傾斜に応じて、その表面に現れる虚像が移動することから、例えば、前記レンズマーカの位置および姿勢等（または、前記レンズマーカが配置された対象物の位置または姿勢等）を、前記レンズマーカの表面に現れる虚像の変動に基づいて、解析することができる。

前記レンズマーカの種類は、特に制限されず、例えば、ＶＭＰマーカが例示できる。前記レンズマーカは、例えば、一方の表面側にレンズ面を有し、他方の表面側に繰り返し模様の被検出部を有し、前記被検出部の模様が、前記レンズ面に、変化する虚像として現れる。前記レンズマーカにおけるレンズ体は、例えば、レンチキュラレンズでもよいし、レンズアレイでもよい。前記レンチキュラレンズは、例えば、円柱を軸方向に分割した複数のシリンドリカルレンズ（以下、レンズ部ともいう）が、前記軸方向が平行となるように連続して配置された、レンズ体である。前記レンズアレイは、例えば、非球面または球面のレンズ面が連続して配置された、レンズ体である。前記被検出部の模様は、例えば、複数の線により構成される縞模様、ドット模様等があげられる。

前記レンズマーカは、例えば、図８に示すように、マーカセット４として使用される。マーカセット４は、通常、中央に二次元コード３が配置され、４隅に傾き検出マーク２が配置され、隣り合う一対の傾き検出マーク２の間に、レンズマーカ１が配置されている。マーカセット４を用いることで、例えば、以下のようにして、マーカセット４の角度が検出される。すなわち、まず、カメラによって、マーカセット４における二次元コード３が検出され、この検出により、傾き検出マーク２が認識される。つぎに、傾き検出マーク２が認識されると、傾き検出マーク２の位置関係に基づいて、カメラからマーカセット４までの距離および角度が算出される。さらに、前記算出結果に基づいて、マーカセット４を正対させた場合の画像を再構築する。そして、レンズマーカ１に投影された虚像パターンの中心位置を検出することで、マーカセット４の正確な角度が算出される。本発明の検出方法は、このレンズマーカ１の画像の再構築において利用できる。

マーカセット４において、２次元コード３は、例えば、ＡＲマーカ、ＱＲマーカ等があげられる。前記ＡＲマーカは、例えば、ARToolKit、Arteaga、Cybercide、ARToolKitPlus等があげられる。

ここで、まず、前記レンズマーカとして、ＶＭＰマーカを例にあげ、前記ＶＭＰマーカの構造、および、前記ＶＭＰマーカにおいて投影された虚像パターンの一般的な解析について説明する。

前記ＶＭＰマーカの一例を、図１に示す。図１（Ａ）は、レンズマーカ１の視認側から見た平面図であり、図１（Ｂ）は、図１（Ａ）のＩ−Ｉ方向から見たレンズマーカ１の断面図である。図１（Ｂ）においては、見やすさを考慮して、断面を表すハッチを省略している。図１において、便宜上、矢印Ｘを幅方向、矢印Ｙを長さ方向、矢印Ｚを厚み方向という。

図１に示すとおり、レンズマーカ１は、レンズ本体１０を含む。レンズ本体１０は、一方の表面、すなわち、図１（Ｂ）における上面側（視認側）において、平面方向（具体的に、図１において幅方向Ｘ）に連続する複数のレンズ部１０１を有する。レンズ本体１０において、レンズ部１０１が連続する表面を、レンズ面ともいう。また、レンズ本体１０は、他方の表面側、すなわち、図１（Ｂ）における下面側において、レンズ部１０１に投影される複数の被検出部１１を有する。図１において、被検出部１１は、レンズ本体１０の長さ方向Ｙに沿って伸びる線であり、複数の線により、縞模様が形成されている。複数の被検出部１１は、例えば、光学的に検出可能な像として、レンズ本体１０の上面側に投影され、光学的に検出できる。被検出部１１の形状は、特に制限されず、例えば、点（ドット）が、長さ方向Ｙに沿って整列された形状でもよい。レンズマーカ１は、例えば、その中心軸と光軸との傾きによって、レンズ部１０１の表面に投影される虚像パターンが、移動したり変化したりする。具体的に、図１に示すレンズマーカ１の場合、長さ方向Ｙに延びる線状の虚像パターンが、幅方向Ｘに移動する。以下、幅方向Ｘを、移動方向Ｘともいう。

つぎに、図２に、前記レンズ面に虚像が投影されたレンズマーカ１の画像を示す。図２（Ａ）は、レンズマーカ１のレンズ面を、視認側から撮影した画像２０であり、図２（Ｂ）は、図２（Ａ）の画像２０における検出線Ｄの明度を示す概略図である。

図２（Ａ）の画像２０に示すように、レンズマーカ１の前記レンズ面には、複数の検出部１１が投影された黒い虚像パターンＶが現れる。そして、通常は、例えば、この画像２０の各ピクセルの明度を抽出し、既定の閾値に基づいて２値化処理を行い、２階調（白黒）で表した２値化画像を作成し、移動方向Ｘの中心線を検出線Ｄとして、検出線Ｄにおける虚像パターンＶの位置から、レンズマーカの姿勢等が決定される。しかしながら、例えば、レンズマーカ１にゴミ等の異物が付着した場合、図２に示すように、虚像パターンＶ以外に、異物による像Ｆ１、Ｆ２、Ｆ３が現れる。このため、図２（Ａ）の画像２０について、検出ラインＤにおける明度を抽出すると、図２（Ｂ）に示すように、虚像パターンＶと同様に、異物Ｆ１、Ｆ２、Ｆ３に依存する低い明度が抽出される。このため、前述のように２値化画像を作成しても、検出線Ｄにおいて、虚像パターンＶ以外でも黒い部分が生じるため、誤検出が発生し、本来の虚像パターンＶに基づく正確な解析が困難となる。誤検出の問題は、異物の付着に関わらず、例えば、後述するように、レンズマーカ１の被検出部１１に欠けが生じた場合も同様である。

このような場合、異物の影響を回避する方法としては、例えば、明度の単純な平均処理が考えられる。単純な平均処理について、図３を用いて説明する。前述した図２（Ｂ）は、レンズマーカ１の検出線Ｄのみについて、明度を示した概略図である。これに対して、単純な平均処理では、検出線Ｄ上の点の明度ではなく、検出線Ｄと直交する長さ方向Ｙにおける各ピクセルの明度を抽出し、長さ方向Ｙにおける平均明度を算出する。この平均明度を表したのが、図３（Ａ）である。しかしながら、図３（Ａ）に示すように、長さ方向Ｙにおける平均明度を算出しても、異物Ｆ１、Ｆ２、Ｆ３に依存する低い明度は残存してしまう。このため、図３（Ａ）の平均明度に基づいて、画像を再構築しても、図３（Ｂ）の再構築画像２１に示すように、異物Ｆ１、Ｆ２、Ｆ３の位置に黒い像が残存する。したがって、この再構築画像２１を用いて、さらに２値化画像を生成しても、依然、誤検出の問題が生じることは明らかである。

これに対して、本発明は、前述のように、前記抽出工程において、前記画像について、前記移動方向に沿った既定幅ごとに、前記移動方向に対する直交方向における一端側から他端側までの明度レベルを抽出し、前記選択工程において、前記既定幅ごとに、各明度レベルを示すピクセルの数の分布から、全ピクセルの明度レベルの第１平均値および標準偏差（±σ）を算出し、前記第１平均値を中心とする標準偏差の範囲を、明度レベル領域として選択し、前記補正工程において、前記既定幅ごとに、前記明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、前記第２平均値を補正明度レベルに設定し、前記再構築工程において、前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築することを特徴とする。これによって、本発明は、例えば、前記画像における、前記異物の付着や被検出部の欠けによる影響をキャンセルすることができるため、誤検出等の問題を解消できる。

つぎに、本発明の実施形態について、図を用いて説明する。本発明は、下記の実施形態によって何ら限定および制限されない。各図において、同一箇所には同一符号を付している。なお、図においては、説明の便宜上、各部の構造は、適宜、簡略化して示す場合があり、各部の寸法比等は、図の条件には制限されない。

［実施形態１］
本実施形態は、本発明の補正方法について、具体的に説明する。

まず、本発明の補正方法について、レンズマーカに異物が付着している場合を例にあげ、図４および図５を用いて説明する。図４は、レンズマーカの画像３０の模式図であり、虚像パターンＶと異物像Ｆとが現れている。

前記画像取得工程において、画像３０を取得する。画像３０は、例えば、前記レンズマーカを撮像した生画像でもよいし、ガウシアンフィルタ等のフィルタ処理した処理画像でもよい。

つぎに、前記抽出工程において、画像３０について、移動方向Ｘに沿った既定幅ごとに、移動方向Ｘに対する直交方向（長さ方向Ｙ）における一端側から他端側までの明度レベルを抽出する。具体的には、図４に示すように、移動方向Ｘに沿って、既定幅Ｗごとに領域を分割し（Ｗ１〜Ｗｎ）、各領域について、直交方向Ｙの一端Ｙ０からＹ１までの明度レベルを抽出する。

例えば、領域Ｗ１は、図４に示すように、何ら黒い像が現れていないことから、直交方向Ｙの一端Ｙ０から他端Ｙ１までの各ピクセルの明度レベルは、ほぼ一定で高い明度レベル（白の明度レベル）を示す。また、領域Ｗｖは、図４に示すように、虚像パターンＶを含むため、直交方向Ｙの一端Ｙ０から他端Ｙ１までの各ピクセルの明度レベルは、ほぼ一定の低い明度レベル（黒の明度レベル）を示す。

一方、領域Ｗｆは、図４に示すように、異物像Ｆを含むため、直交方向Ｙの一端Ｙ０から他端Ｙ１までの各ピクセルの明度レベルは、一定にはならない。ここで、図５（Ａ）および（Ｂ）を用いて、領域Ｗｆについて、さらに説明する。図５（Ａ）の画像３０に示すように、点線で囲んだ領域Ｗｆは、異物像Ｆが含まれる。そして、この領域Ｗｆにおいて、直交方向Ｙの一端Ｙ０から他端Ｙ１までの各ピクセルの明度レベルを抽出すると、図５（Ｂ）のグラフのようになる。図５（Ｂ）において、Ｘ軸は、直交方向Ｙの一端Ｙ０から他端Ｙ１までの位置であり、一端Ｙ０から他端Ｙ１までのピクセル位置ともいえる。図５（Ｂ）に示すように、領域Ｗｆは、直交方向Ｙにおいて、一端Ｙ０から他端Ｙ１に移動していくと、異物像Ｆの位置で明度レベルが急激に小さくなる。

つぎに、前記選択工程は、前記既定幅ごとに、各明度レベルを示すピクセルの数の分布から、全ピクセルの明度レベルの第１平均値および標準偏差（±σ）を算出し、前記第１平均値を中心とする標準偏差の範囲を、明度レベル領域として選択し、前記補正工程は、前記既定幅ごとに、前記明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、前記第２平均値を補正明度レベルに設定する。

ここで、まず、領域Ｗｆについて、さらに説明する。図５（Ｂ）に示した領域Ｗｆの明度レベルと位置との関係は、各明度レベルを示すピクセルの数の分布として、例えば、図５（Ｃ）のヒストグラムで表わすことができる。図５（Ｃ）において、Ｘ軸は、明度レベルであり、Ｙ軸は、各明度レベルを示すピクセル数である。この分布について、まず、全ピクセルの明度レベルの平均値（第１平均値Ａ１）と、標準偏差（±σ）とを算出し、第１平均値Ａ１を中心とする標準偏差の範囲を、明度レベル領域（Ｂｆ）として選択する。そして、明度レベル領域（Ｂｆ）に該当するピクセルについて、明度レベルの第２平均値Ａ２を算出し、第２平均値Ａ２を補正明度レベルに設定する。図５（Ｃ）に示すように、領域Ｗｆは、異物像Ｆにより、黒を示す低い明度レベルにもピークＦが見られるが、前述の処理を行うことによって、ピークＦがキャンセルされた、領域Ｗｆの補正明度レベルが得られることになる。つまり、異物像の影響を受けた第１平均値Ａ１ではなく、異物像の影響をキャンセルした第２平均値Ａ２が、領域Ｗｆの補正明度レベルとなる。

一方、前述のように、領域Ｗ１および領域Ｗｖ等は、前述のように、それぞれ、直交方向Ｙの一端Ｙ０から他端Ｙ１までの各ピクセルの明度レベルは、ほぼ一定の明度レベルを示す。このため、前記選択工程において、第１平均値および標準偏差（±σ）を算出し、明度レベル領域を選択し、前記補正工程において、算出した第２平均値を補正明度レベルに設定しても、誤検出の原因となるキャンセルすべき像がないため結果的に、第１平均値と補正明度レベル（第２平均値）とは、ほぼ同程度の明度レベルとなる。

そして、前記再構築工程において、前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築する。前述のように、既定幅のそれぞれについて、誤検出の原因となる像がキャンセルされた補正明度レベルが得られていることから、これらの補正明度レベルから補正画像を再構築すれば、異物像が現れていない補正画像を得ることができる。

この方法により、図２（Ａ）と同じ図６（Ａ）に示す画像２０を処理すると、画像２０の補正明度レベルは、図６（Ｂ）のように表わされることになる。そして、画像２０の補正明度レベルから、補正画像を再構築すると、図６（Ｃ）に示すように、補正画像２２において、異物像Ｆ１、Ｆ２、Ｆ３はキャンセルされ、虚像パターンＶのみが現れた状態となる。このため、補正画像２２から２値化画像を作成し、虚像パターンＶを解析しても、異物Ｆ１、Ｆ２、Ｆ３が原因となる誤検出を回避できる。

つぎに、レンズマーカの検出部に欠けが発生している場合を例にあげ、図７を用いて説明する。図７（Ａ）は、レンズマーカの画像４０の模式図であり、虚像パターンＶにおいて、欠けＦが現れている。

この場合も、前述と同様に処理が行われる。図７（Ａ）に示すように、欠けが発生している領域Ｗｆにおいて、直交方向Ｙの一端Ｙ０から他端Ｙ１までの各ピクセルの明度レベルを抽出すると、図７（Ｂ）のグラフのようになる。図７（Ｂ）において、Ｘ軸は、直交方向Ｙの一端Ｙ０から他端Ｙ１までの位置であり、一端Ｙ０から他端Ｙ１までのピクセル位置ともいえる。図７（Ｂ）に示すように、領域Ｗｆは、直交方向Ｙにおいて、一端Ｙ０から他端Ｙ１に移動していくと、欠けＦの位置で明度レベルが急激に高くなる。

そして、図７（Ｂ）に示した領域Ｗｆの明度レベルと位置との関係は、各明度レベルを示すピクセルの数の分布として、例えば、図７（Ｃ）のヒストグラムで表わすことができる。図７（Ｃ）において、Ｘ軸は、明度レベルであり、Ｙ軸は、各明度レベルを示すピクセル数である。この分布について、まず、全ピクセルの明度レベルの平均値（第１平均値Ａ１）と、標準偏差（±σ）とを算出し、第１平均値Ａ１を中心とする標準偏差の範囲を、明度レベル領域（Ｂｆ）として選択する。そして、明度レベル領域（Ｂｆ）に該当するピクセルについて、明度レベルの第２平均値Ａ２を算出し、前記第２平均値を補正明度レベルに設定する。図７（Ｃ）に示すように、領域Ｗｆは、欠けＦにより、白を示す高い明度レベルにもピークＦが見られるが、前述の処理を行うことによって、ピークＦがキャンセルされた、領域Ｗｆの補正明度レベルが得られることになる。つまり、欠けＦの影響を受けた第１平均値Ａ１ではなく、欠けＦの影響をキャンセルした第２平均値Ａ２が、領域Ｗｆの補正明度レベルとなる。

このため、前記再構築工程において、前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築すれば、欠けが現れていない補正画像を得ることができる。

前記抽出工程において、既定幅は、何ら制限されず、例えば、ピクセル数で設定できる。ピクセル数の下限は、例えば、１ピクセルであり、その上限は、例えば、３ピクセル、５ピクセル、１０ピクセル、５０ピクセルである。なお、ピクセル数の上限は、特に制限されず、例えば、検出に用いるカメラ等の装置の解像度によって適宜決定できる。前記既定幅のピクセル数を相対的に小さく設定する程、より効果的に異物や欠けの影響を解消できる。

前記抽出工程において、明度レベルの階調は、特に制限されず、例えば、８ビットで演算される場合は、明度レベル０から２５５の２５６階調となる。

前記選択工程において、前記明度レベル領域の幅を調整できることから、例えば、前記標準偏差は、さらに係数をかけてもよい。

本発明は、前記既定幅において、直交方向Ｙの一端Ｙ０から他端Ｙ１までの距離のうち、明度が極端に変化しているＹ方向のピクセル数が、例えば、１／５以下、好ましくは１／１０以下の場合、前述のような異物や欠けのキャンセルを効果的に行うことができる。

本発明は、例えば、レンズマーカを対象物に設置して、その姿勢や位置を解析する場合に、画像の補正として適用することが好ましい。本発明によれば、レンズマーカに異物が付着したり欠けが発生したりしても、その影響を回避して、解析を行なえるため、例えば、従来であれば、異物が付着したり欠けが発生したりして精度が不十分であるとして使用できなかったレンズマーカも、使用することが可能になる。

［実施形態２］
本実施形態は、本発明の補正装置について、具体的に説明する。本実施形態の補正装置によれば、例えば、前記実施形態１の補正方法を実行できる。本実施形態は、特に示さない限り、前記実施形態１の記載を援用できる。

図９は、本実施形態の補正装置の一例を示すブロック図である。補正装置５０は、レンズマーカの画像取得部５１、明度レベルの抽出部５２、明度レベル領域の選択部５３、明度レベルの補正部５４、補正画像の再構築部５５を有する。また、補正装置５０は、例えば、さらに、記憶部を有する。補正装置５０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、例えば、通信回線網を介して接続可能な装置でもよい。補正装置５０は、例えば、補正システムともいう。

レンズマーカの画像取得部５１は、レンズマーカの表面（レンズ面）の画像を取得する。画像取得部５１によれば、前記実施形態１における画像取得工程を実行できる。補正装置５０は、例えば、それ自体が、前記レンズマーカの画像を撮像してもよく、この場合、画像取得部５１は、例えば、ＣＣＤ等のカメラがあげられる。また、補正装置５０は、例えば、外部機器によって撮像された前記レンズマーカの画像を取得してもよい。この場合、画像取得部５１は、例えば、前記外部機器との接続により、前記外部機器から前記画像を取得できる。補正装置５０と前記外部機器とは、例えば、通信回線網を介して、接続可能であってもよい。前記通信は、例えば、有線でも無線でもよい。前記外部機器は、例えば、前記カメラ等があげられる。

明度レベルの抽出部５２は、前記画像について、前記移動方向に沿った既定幅ごとに、前記移動方向に対する直交方向における一端側から他端側までの明度レベルを抽出する。抽出部５２によれば、前記実施形態１における抽出工程を実行できる。

選択部５３は、前記既定幅ごとに、各明度レベルを示すピクセルの数の分布から、全ピクセルの明度レベルの第１平均値および標準偏差（±σ）を算出し、前記第１平均値を中心とする標準偏差の範囲を、明度レベル領域として選択する。選択部５３によれば、前記実施形態１における選択工程を実行できる。

補正部５４は、前記既定幅ごとに、前記明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、前記第２平均値を補正明度レベルに設定する。補正部５４によれば、前記実施形態１における補正工程を実行できる。

再構築部５５は、前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築する。再構築部５５によれば、前記実施形態１における再構築工程を実行できる。

前記記憶部は、例えば、各部で取得した情報や、前記画像の撮像条件、前記既定幅の条件等を記憶する。

図１０に、補正装置５０のハードウエア構成のブロック図を例示する。補正装置５０は、例えば、ＣＰＵ（中央処理装置）１０２、メモリ１０３、バス１０４、入力装置１０５、ディスプレイ１０６、通信デバイス１０７、記憶装置１０８等を有する。補正装置５０の各部は、例えば、それぞれのインターフェイス（Ｉ／Ｆ）により、バス１０４を介して、相互に接続される。

ＣＰＵ１０２は、補正装置５０の全体の制御を担う。補正装置５０において、ＣＰＵ１０２により、例えば、プログラム１０９（本発明のプログラムを含む）が実行され、また、各種情報の読み込みや書き込みが行われる。

バス１０４は、例えば、ＣＰＵ１０２、メモリ１０３等のそれぞれの機能部間を接続する。バス１０４は、例えば、外部機器とも接続できる。補正装置５０は、バス１０４に接続された通信デバイス１０７により、通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続できる。前記通信回線網は、特に制限されず、公知の通信回線網を使用でき、具体的には、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。また、前記外部機器と接続する方法は、特に制限されず、公知の方法を使用でき、具体的には、例えば、ＵＳＢ、ＧｉＧＥ、ＣｏａＸＰｒｅｓｓ、ＣａｍｅｒａＬｉｎｋ等があげられる。

メモリ１０３は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０２が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム１０９を、メモリ１０３が読み込み、ＣＰＵ１０２は、メモリ１０３からデータを受け取って、プログラム１０９を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０３は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。

記憶装置１０８は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０８は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０８は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）も例示できる。記憶装置１０８は、例えば、前記記憶部であり、前述のような各部で取得された情報が格納されてもよい。

補正装置５０は、さらに、入力装置１０５、ディスプレイ１０６等を備えてもよい。入力装置１０５は、例えば、タッチパネル、キーボード等である。ディスプレイ１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等があげられる。

補正装置５０で得られた結果は、例えば、ディスプレイ１０６に出力されてもよいし、前記通信回線網を介して、外部機器に出力されてもよい。

また、本発明は、例えば、レンズマーカの虚像パターンの位置を決定する決定装置であってもよい。この場合、本発明の決定装置は、前記本発明の補正装置と、さらに、前記得られた補正画像を２値化処理する２値化処理部、２値化画像から前記虚像パターンの位置を決定する位置決定部とを含む。本発明の補正装置によれば、例えば、前述のように、異物や欠けがキャンセルされた補正画像が得られるため、前記補正画像を使用する以外は、従来と２値化処理部および位置決定部で処理することにより、前記虚像パターンの位置を決定できる。

［実施形態３］
本実施形態のプログラムは、前記実施形態の補正方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以上のように、本発明によれば、例えば、前記ＶＭＰマーカにおいて、複数のレンズ部にわたって複数の虚像（例えば、黒線）が生じた場合でも、精度よく、虚像パターンの中心を決定することができる。

１ レンズマーカ
２０、３０、４０ 画像
２１、２２ 補正画像
２ 傾き検出マーク
３ 二次元コード
４ マーカセット
５０ 補正装置
１０２ ＣＰＵ
１０３ メモリ
１０４ バス
１０５ 入力装置
１０６ ディスプレイ
１０７ 通信デバイス
１０８ 記憶装置
１０９ プログラム

Claims (6)

1. レンズマーカの画像取得工程、
   明度レベルの抽出工程、
   明度レベル領域の選択工程、
   前明度度レベル領域における明度レベルの補正工程、および
   補正明度レベルに基づく補正画像の再構築工程を含み、
   前記レンズマーカは、
   その一方の表面において、光軸に対する傾斜に応じて、少なくとも一つの移動方向に沿って虚像が移動するマーカであり、
   前記画像取得工程は、
   前記レンズマーカの前記表面の画像を取得し、
   前記抽出工程は、
   前記画像について、前記移動方向に沿った既定幅ごとに、前記移動方向に対する直交方向における一端側から他端側までの明度レベルを抽出し、
   前記選択工程は、
   前記既定幅ごとに、
   各明度レベルを示すピクセルの数の分布から、全ピクセルの明度レベルの第１平均値および標準偏差（±σ）を算出し、
   前記第１平均値を中心とする標準偏差の範囲を、明度レベル領域として選択し、
   前記補正工程は、
   前記既定幅ごとに、
   前記明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、前記第２平均値を補正明度レベルに設定し、
   前記再構築工程は、
   前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築する
   ことを特徴とするレンズマーカ画像の補正方法。
2. 前記抽出工程は、前記既定幅を、１〜５ピクセルの幅に設定する、請求項１記載の補正方法。
3. レンズマーカの画像取得部、
   明度レベルの抽出部、
   明度レベル領域の選択部、
   前記明度レベル領域における明度レベルの補正部、および
   補正明度レベルに基づく補正画像の再構築部を含み、
   前記レンズマーカは、
   その一方の表面において、光軸に対する傾斜に応じて、少なくとも一つの移動方向に沿って虚像が移動するマーカであり、
   前記画像取得部は、
   前記レンズマーカの前記表面の画像を取得し、
   前記抽出部は、
   前記画像について、前記移動方向に沿った既定幅ごとに、前記移動方向に対する直交方向における一端側から他端側までの明度レベルを抽出し、
   前記選択部は、
   前記既定幅ごとに、
   各明度レベルを示すピクセルの数の分布から、全ピクセルの明度レベルの第１平均値および標準偏差（±σ）を算出し、
   前記第１平均値を中心とする標準偏差の範囲を、明度レベル領域として選択し、
   前記補正部は、
   前記既定幅ごとに、
   前記明度レベル領域に該当するピクセルについて、明度レベルの第２平均値を算出し、前記第２平均値を補正明度レベルに設定し、
   前記再構築部は、
   前記各既定幅の補正明度レベルに基づいて、前記レンズマーカの補正画像を再構築する
   ことを特徴とするレンズマーカ画像の補正装置。
4. 前記抽出部は、前記既定幅を、１〜５ピクセルの幅に設定する、請求項３記載の補正装置。
5. 請求項１または２に記載のレンズマーカ画像の補正方法をコンピュータに実行させることを特徴とするプログラム。
6. 請求項５記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。