JP5339070B2 - 変位量測定装置及び同測定方法 - Google Patents

Description

本発明は、撮影画像を用いる変位量測定装置及び同測定方法に関する。

従来から、特定の測定対象の動き或いは変位を測定するために画像を用いる方式が知られている。この画像方式は、他の方式と比べて一度に広範囲の（複数の）対象の変位を測定することができるという利点がある。
ところで、画像を用いる動き或いは変位の計測において、１台の固定カメラで撮影した画像を用いて２次元的に変位量を求める場合と、複数の固定カメラで撮影した画像を用いて３次元的に変位量を求める場合（特許文献１参照）とがあるが、１台の固定カメラで測定する場合は、測定対象の画像上における変位量を実際の３次元空間の変位量に換算することになるため、実際の変位量の精度は画像上の変位量の精度によって左右される。
つまり、この画像式変位量測定装置では、画像における変位量の精度を上げることによって実際に変位量の精度を上げることができるが、その測定分解能は撮影画像を構成する画素以下、つまり１画素以下にすることはできないという問題がある。

特開２００４−７７３７７号公報

本発明は、上記従来の問題を解決すべくなされたものであって、その目的は、カメラ（撮影装置）で撮影した複数枚の撮影画像を用いて変位を測定する場合に、その測定分解能を従来のように１画素以上に限定されることなく、高精度に対象物の移動を検知できるようにすることである。

請求項１の発明は、測定対象を撮影した撮影画像に基づき測定対象の変位量を測定する変位量測定装置であって、前記撮影画像を処理する画像処理装置及び表示部を備え、前記画像処理装置は、撮影した測定対象画像を構成する画素の輝度を測定する輝度測定部と、前記測定対象画像の画素の位置座標に前記輝度測定部で得た当該画素の輝度情報の重みを付けて前記測定対象画像の位置座標上での中心位置を算出する座標算出部と、予め蓄積した前記測定対象の基準画像の前記位置座標上での中心位置と算出された前記中心位置との変位量を比較判定し、判定した変位量を前記表示部に表示する比較判定部と、を有し、前記座標算出部は、測定対象を対称となる方向で撮影した対を成す複数枚の画像についてそれぞれ算出した前記測定対象の中心位置を、平均化処理して算出することを特徴とする変位量測定装置である。
請求項２の発明は、請求項１に記載された変位量測定装置において、前記測定対象は変位量を測定すべき対象物に描いた所定の形状又は前記対象物に固定した所定の形状の標識であることを特徴とする変位量測定装置である。
請求項３の発明は、測定対象を撮影した撮影画像に基づき測定対象の変位量を測定する変位量測定方法であって、測定対象を撮影した撮影画像を取得する工程と、取得した測定対象画像を構成する画素の輝度を測定する輝度測定工程と、測定対象画像の画素の位置座標に前記輝度測定工程で得た当該画素の輝度情報の重みを付けて前記測定対象画像の位置座標上での中心位置を算出する位置座標算出工程と、予め蓄積した前記測定対象の基準画像の前記位置座標上での中心位置と算出された前記中心位置との変位量を判定する比較判定工程と、判定した変位量を表示部に表示する表示制御工程と、を有し、前記位置座標算出工程は、測定対象を対称となる方向で撮影した対を成す複数枚の画像についてそれぞれ算出した前記測定対象の中心位置を、平均化処理して算出する工程であることを特徴とする変位量測定方法である。

本発明によれば、測定対象の画像上における大きさや位置を、画像を構成する画素の大きさの制約を受けず、つまりサブピクセル精度で測定することができるため変位量の検出精度を向上させることができる。

本発明の実施形態の画像式変位計の基本原理を説明するための図である。 図１のカメラ及び標識Ｄの配置における撮影画像を示す図である。 標識Ｄの初期画像と所定時間経過後の画像とを対比して示した図であって、図３Ａは画素を表す升目と共にその初期値を示し、図３Ｂは所定時間経過後の同じ標識Ｄの同様の画像を示す図である。 図３と同様に標識Ｄの初期画像と所定時間経過後の画像とを対比して示した図であって、図４Ａはその初期画像、図４Ｂは所定時間経過後の画像をそれぞれ画素を示す升目とともに示した図である。 図４Ｂに示す画像と、同じ画像について実際に取得した画像とを対比して示したものであって、それぞれ画素を示す升目とともに示した図である。 図５Ｂに示す画像を閾値を変えて２値化したときの各画像を示す。即ち、図６Ａは閾値を８０％にしたときの画像、図６Ｂは閾値を５０％にしたときの画像、及び図６Ｃは閾値を２０％にしたときの画像を示す図である。 図７Ａは、画素の輝度情報を利用する場合における、対象画素の座標系の定義を説明する画像であり、図７Ｂは本実施形態に係るサブピクセル処理の原理を説明する図である。図７Ｃは、Ｙ軸（高→低）に沿った図７Ａについて、横軸をＹ座標、縦軸を輝度値としたグラフである。 図８Ａ、Ｂは、それぞれカメラを上及び下にパンして撮影した画像であって、図７の画像から０．３画素下方、及び上方に変位した画像を示す。 本発明の実施形態に係る測定対象の変位を測定するための装置の機能ブロック図である。 本発明の測定対象の変位量測定手順を説明するためのフロー図である。

本発明を図面に示す実施形態に基づき説明する。
本実施形態は、１台のカメラで撮影した複数枚の測定対象（標識Ｄ）の画像を基に、これに当該画像を構成する輝度情報を加味して、最初に撮影した初期画像（基準画像）と、所定時間後に撮影された画像とを比較して、標識Ｄの変位を画素単位未満で測定できるようにするものであるが、その説明を行う前に、まず、本発明の基本原理について説明する。

図１は、本発明の実施形態の変位量測定装置の基本原理を説明するための図である。
図１は、変位の測定対象となる、構造物例えば橋Ｂと変位量測定に用いるカメラＣとの配置関係を示す図である。ここでは、橋Ｂの両側部に予め用意しておいた測定対象となる標識Ｄを、カメラＣの方向に向けて等間隔で例えば貼り付けなどの適宜の手段で設置し、カメラＣは変位量を測定したいエリアが撮影範囲に収まるように設置されている。

図２は、図１の配置における撮影画像を示す図である。
最初に撮影した標識Ｄの位置を初期値とし、所定時間（期間）後に、各標識Ｄがその位置からどれだけ動いたのかを画像上で測定する（この時点での測定単位は画素である）。ここで、標識Ｄの大きさは既知なので、撮影画像から、その標識Ｄが写っている場所（距離）では１画素がどれ位の大きさで写っているのかを知ることができる。この原理を利用して、その標識Ｄが実空間ではどれ位変位したのかを算出することができる。

即ち、図３は、ある標識Ｄが変位した画像を示す図であり、図３Ａは画素を表す升目と共にその初期値を示し、図３Ｂは所定時間経過後の同じ標識Ｄの同様の画像を示す図である。
即ち、図３Ａと図３Ｂとを対比すれば明らかなように、ある時間が経過したとき、標識Ｄは初期値から２画素分下へ変位している。
ここで、この標識Ｄが例えば１辺が５ｃｍの正方形であるとすると、画素から見た寸法は、５ｃｍ÷１０画素＝０．５ｃｍ／画素、つまり、この標識Ｄの１画素当たりの寸法は０．５ｃｍということになる。
したがって、図３Ｂで２画素分下がったとうことは、
０．５ｃｍ／画素×２画素＝１ｃｍとなり、これにより標識Ｄの実空間での変位量は１ｃｍ、つまり標識Ｄは所定時間経過後に１ｃｍ下がったということが分かる。

しかし、実際の変位は連続量であり、１画素分づつステップ状に変位するわけではない。
図４は、図３と同様に、ある標識Ｄの初期画像と所定時間経過後の画像とを対比して示した図であって、図４Ａはその初期画像、図４Ｂは所定時間経過後の画像をそれぞれ画素を示す升目とともに示した図である。
図４Ｂでは、標識Ｄの上下の輪郭部分が画像を示す升目の上に懸かり、升目から変位した状態で結像している。この場合、標識Ｄの輪郭部分は写るか写らないか、つまり画像が存在するか否かの二者択一の状態ではなく、白と黒の間の色（グレー）となって現れる（図５Ｂ）。

図５は、図４Ｂに示す画像と、同じ画像について実際に取得した画像とを対比して示したものであって、それぞれ画素を示す升目とともに示した図である。
この例では、ほぼ０．３画素だけ下に変位した状態を示している。ここで、一般的な解析手法として取得画像を２値化すると、当然のことながら、２値化の際に用いる閾値によりその形状が変化する。

図６は、図５Ｂに示す画像を、閾値を変えて２値化したときの各画像を示す。即ち、図６Ａは閾値を８０％にしたときの画像、図６Ｂは閾値を５０％にしたときの画像、及び図６Ｃは閾値を２０％にしたときの画像を示す図である。
これを例えば図４Ａの初期画像と対比すると、閾値８０％の画像への変位をみると変位量は０．５画素であり、閾値５０％の画像への変位量は０画素、つまり変化なしであり、閾値２０％の画像への変位量は０．５画素となる。
これから明らかなように、どの画像によっても正しい変位量を表すことはできない。

そこで、本実施形態では、図示しない任意の輝度測定部で測定した各画素毎の輝度情報を利用して画像の変位量をより正確に表すこととした。
次に、その原理を説明する。
図７Ａは、画素の輝度情報を利用する場合における、対象画素の座標系の定義を説明する図であり、図７Ｂは本実施形態に係るサブピクセル処理の原理を説明する図である。図７Ｃは、Ｙ軸（高→低）に沿った図７Ａについて、横軸をＹ座標、縦軸を輝度値としたグラフである。
図７Ａにおいて、縦にＹ軸、横にＸ軸をとった場合、標識Ｄの中心（＋）として白画素の中心をとる。これは外側の黒部分と背景が同色の黒であった場合には境界が分からない、つまり境界が背景に溶け込んでしまうため、外側黒部分がどこにあるのか分からなくなるためである。
ここで、中心座標を求めると、

図７Ａの場合、標識Ｄの中心座標は（０．５，０．５）になる。
図７Ｂは、図７Ａの画像から０．３画素下方に変位した画像である。
この画像について標識Ｄの中心座標を求めると、

中心（＋）の初期値が（０．５，０．５）、変位後の位置が（０．５，０．２）なので、変位量はＹ軸方向に−０．３画素（つまり、下方へ０．３画素）となり、正しい結果が得られている。

また、本方式においては標識Ｄの変位量を画素ベースから換算する時点で、標識Ｄが写る大きさを基に計算するため、面積を求める時点においてもこの原理は有効である。
この原理によらないと、（画像内の標識Ｄの）面積を間違う ⇒ 換算量が違ってくる ⇒ 変位量も違ってくるとなるが、本実施形態では、このような誤りは生じない。

なお、輝度情報を利用する際、例えば、図７Ａの標識画像のＹ軸に沿った各画素について輝度値を算出する。
即ち、図７Ａの標識画像の上半分の画像の上から黒、グレー、白の部分として表されたとして、Ｙ軸（高→低）に沿った標識画像の上半分の画素毎に、横軸をＹ座標、縦軸を輝度値とすると、図７Ｃに示すグラフを得る。ここでは標識の黒い部分の輝度値をＬ_Ａ、白い部分をＬ_Ｂ、黒と白の境界のグレーをＬ_Ｃとすると、先ず図７Ａの標識の上半分をみると、先ず、黒い部分（輝度値：Ｌ_Ａ）がＹ座標のＹ_１からＹ_２まで続き、続いてＹ_２からＹ_３まではグレー部分（輝度値：Ｌ_Ｃ）、Ｙ_３からＹ_４までは白い部分（輝度値：Ｌ_Ｂ）となる。図７Ｃの縦線間の幅は画素の幅に等しい。実際の撮像画面では、標識画像は撮像装置の画素配列に対してずれるため、その輝度値を計算するには、ずれた幅（１画素の幅未満）を考慮して実際の輝度値を算出する。特定の画素の重みは次の計算式で求めることができる。
Ｗ（Ｌ）＝（Ｌ_Ｃ−Ｌ_Ａ）／（Ｌ_Ｂ−Ｌ_Ａ）
各画素に付加する重みは、Ｌ_Ａを０、Ｌ_Ｂを１に正規化することで得られる。

次に、カメラのパン・チルトによるサブピクセル演算の精度向上のための原理について説明する。
本実施形態では、上記の原理に基づき変位量測定の精度を向上させるが、輝度情報を元にしているためノイズ等による誤差が含まれてくる虞がある。
そこで、カメラを微小角度分（１画素未満が妥当）だけパン・チルトさせることで撮影画像中の標識Ｄのぼやける境界を変えつつ複数の画像を撮影し、それらから求められた座標の平均をとることで誤差の影響を緩和させることができる。そのため、左にパンした画像を使用したときは、必ず右にパンした画像も使用するというように、カメラの方向が必ず対称になるようなペアで撮影する必要がある。これは、どちらかに偏ると中心の位置も同様に偏る結果になるからである。

図８は、カメラの方向を上下にパンして撮影した対称の画像であり、図８Ａはカメラを標識Ｄに向けて上にパンして撮影した画像であり、図８Ｂは同様に下にパンして撮影した画像である。
本実施形態によれば、カメラの方向を対称の方向に変えることによりノイズを相殺し、かつそれぞれの画像において算出した二次元座標上の中心位置座標の平均をとることで検出精度を一層高めることができる。

図９は、以上で説明した測定対象物である標識Ｄ、したがって、ここでは橋Ｂの変位を測定するための装置の機能ブロック図である。
即ち、本実施形態の変位量測定装置は、測定対象物の画像を撮像するための例えば電子カメラ１と、画像処理装置４と、画像処理装置４の操作や設定値やその他の入力等を行うための入力装置２と、画像などの表示を行う表示部３とから成っている。なお、表示部３は液晶などによる可視的表示手段にかぎらず、音声や光により表示を行うものでもよい。

画像処理装置４は、画像処理装置４とカメラ１、入力装置２、表示部３とを接続するためのインタフェース１０と、画像処理装置４全体を制御するＣＰＵ１２、ＲＡＭ１４、輝度測定部１６と、図示しないＲＯＭ等とから成っている。
ここで、ＣＰＵ１２は、ＲＯＭに格納されたプログラムを実施することにより得られる機能実現手段として、カメラ制御部１２０，標識探索部１２２と、比較判定部１２４を有する。
カメラ制御部１２０は、外部からの指示により或いはタイマーに基づき定期的に測定対象物を撮影する。その場合、カメラのパン制御を行うため図示しないカメラ駆動部を制御する信号を生成してインタフェース１０を介してカメラ１に伝える。

標識探索部１２２は、前処理部１２２ａと標識Ｄの位置座標を算出する座標算出部１２２ｂを有する。前処理部１２２ａは撮影画像の解析を行う前に撮影画像の処理を行い、かつ座標算出部１２２ｂは、輝度測定部１６で得た画素毎の輝度情報を加味して算出した標識Ｄの変位を判断するために標識Ｄの中心の位置座標値を既に述べた方法で算出する。
比較判定部１２４は、初期画像と所定時間後に撮影した画像（現画像）とを例えばそれぞれの中心位置座標で比較して変位が生じたか、その変位量が閾値を越えるものか否か判断し、閾値を越えたとき表示部３に変位量を表示する制御を行う。

ＲＡＭ１４には取得画像を格納するための取得画像領域１４０と、標識Ｄ探査部１２２の処理の途中結果を格納する領域１４２と、基準データを格納する基準データ領域１４４と各種の設定値を格納する領域１４６が設けられている。
当該領域１４２には、標識Ｄの平均座標を収容する平均座標領域１４２ａが設けられており、基準データ領域１４４には、基準画像（当初画像）１４４ａ、基準画像の基準座標１４４ｂ、既に説明した各種の閾値１４４ｃが格納されている。

図１０は、以上で説明した対象物の変位量測定手順を説明するためのフロー図である。
対象物の変位を測定する場合、先ず、カメラ例えば電子カメラにより画像を取得する（Ｓ１０１）なお、この取得した画像をＲＡＭ１４に格納する前に輝度測定部１６（図９）による撮影画像の画素の輝度測定を行い、画像と共にＲＡＭ１４に保存する。続いて、カメラで撮像した画像について行う例えば画質の修正などの画像処理を前処理として行う（Ｓ１０２）。続いて画像中の標識位置検索を行い（Ｓ１０３）、位置検索された標識Ｄについて上記サブピクセル処理を行い当該標識Ｄの初期値、例えばその中心のＸ−Ｙ座標値を算出し（Ｓ１０４）、算出した標識Ｄの初期値とその面積を算出して記憶装置に記憶する。以上の処理を全ての標識Ｄについて行う（Ｓ１０６）。
上記処理から所定時間後に、同じ標識Ｄについて上記と同様に画像を取得し（Ｓ１０７）、この場合も、この取得した画像をＲＡＭ１４に格納する前に輝度測定部１６（図９）による撮影画像の画素の輝度測定を行い、画像と共にＲＡＭ１４に保存する。続いて、上記と同様の前処理として行い（Ｓ１０８）、続いて画像中の標識位置検索を行い（Ｓ１０９）、位置検索された標識ＤについてステップＳ１０４と同様のサブピクセル処理を行い（Ｓ１１０）、その移動量を算出する（Ｓ１１１）。続いて、その移動量と予め定めた閾値とを比較し（Ｓ１１２）、その移動量が閾値を越えるか否かチェックして（Ｓ１１３）、越えたときは、例えば移動対象物を管理する管理センタなど予め定めた部署等に通知する（Ｓ１１４）。全ての標識Ｄについて上記処理を終了したときは（Ｓ１１５）、再度、ステップＳ１０７以降の処理を続行するか否か判断し、処理を続行しないときは（Ｓ１１６、ＮＯ）、処理を終了する。

以上、本実施形態によれば、測定対象画像の輝度情報を用いたことにより、従来のような画素単位での変位検知では不可能であった、より詳細な変位、つまり測定対象画像の１画素に満たない変位も正確に測定できる。また、カメラの方向を一対の対称となる撮影位置で撮影した複数画像を用いることにより、輝度情報におけるノイズを除去でき、また、それぞれの画像において算出した中心位置の位置座標を平均化処理することにより、中心の座標位置をより高い精度で算出することができる。

１・・・電子カメラ、２・・・入力装置、３・・・表示部、４・・・画像処理装置、１０・・・インタフェース、１２・・・ＣＰＵ、１４・・・ＲＡＭ、１６・・・輝度測定部、１２０・・・カメラ制御部、１２２・・・標識探索部、１２４・・・比較判定部。

Claims (3)

1. 測定対象を撮影した撮影画像に基づき測定対象の変位量を測定する変位量測定装置であって、
   前記撮影画像を処理する画像処理装置及び表示部を備え、
   前記画像処理装置は、撮影した測定対象画像を構成する画素の輝度を測定する輝度測定部と、前記測定対象画像の画素の位置座標に前記輝度測定部で得た当該画素の輝度情報の重みを付けて前記測定対象画像の位置座標上での中心位置を算出する座標算出部と、予め蓄積した前記測定対象の基準画像の前記位置座標上での中心位置と算出された前記中心位置との変位量を比較判定し、判定した変位量を前記表示部に表示する比較判定部と、
   を有し、前記座標算出部は、測定対象を対称となる方向で撮影した対を成す複数枚の画像についてそれぞれ算出した前記測定対象の中心位置を、平均化処理して算出することを特徴とする変位量測定装置。
2. 請求項１に記載された変位量測定装置において、
   前記測定対象は変位量を測定すべき対象物に描いた所定の形状又は前記対象物に固定した所定の形状の標識であることを特徴とする変位量測定装置。
3. 測定対象を撮影した撮影画像に基づき測定対象の変位量を測定する変位量測定方法であって、
   測定対象を撮影した撮影画像を取得する工程と、取得した測定対象画像を構成する画素の輝度を測定する輝度測定工程と、測定対象画像の画素の位置座標に前記輝度測定工程で得た当該画素の輝度情報の重みを付けて前記測定対象画像の位置座標上での中心位置を算出する位置座標算出工程と、予め蓄積した前記測定対象の基準画像の前記位置座標上での中心位置と算出された前記中心位置との変位量を判定する比較判定工程と、判定した変位量を表示部に表示する表示制御工程と、
   を有し、
   前記位置座標算出工程は、測定対象を対称となる方向で撮影した対を成す複数枚の画像についてそれぞれ算出した前記測定対象の中心位置を、平均化処理して算出する工程であることを特徴とする変位量測定方法。

Images