JP7043992B2 - 変更点検出装置、変更点検出方法及び変更点検出プログラム - Google Patents

Description

本発明は、制御盤の撮影画像により制御盤の変更点を検出するための技術に関する。

被写体の画像により被写体の変化を検出する技術としては例えば特許文献１，２に開示された変化検出装置等が挙げられる。

特許文献１の検出技術装置は、同一の被写体に対して撮影場所および撮影時期の異なる複数の画像データ群を取得し、この各画像の特徴となる点に対して三角測量法により特徴点と撮影装置の位置関係を把握して三次元点群データを作成する。そして、各画像データ群から得られた三次元点群データを比較することにより被写体の変化点を抽出する。

特許文献２の変化検出装置は、被写体にAR（Augmented Reality）マーカーを取り付け、映像のフレーム毎の被写体の変化点を検出する。

特開２０１６－１１０２１０号公報 特開２０１５－１５８８８０号公報 特開２０１７－３９１８９号公報

青木孝文，伊藤康一，柴原琢磨，長嶋聖，" 位相限定相関法に基づく高精度マシンビジョン － ピクセル分解能の壁を越える画像センシング技術を目指して － ，" IEICE Fundamentals Review ， Vol.1， No.1， pp.30-40 ， July 2007.

制御盤に例示される機器は、単色の箱型を成し特徴点が乏しいことと、機器に付属するレバーやスイッチ等の部品類は黒色や光沢があるので撮影時に光反射することがあり、変更点の誤検出が起こり易くなる。したがって、特許文献１のような三次元点群データに基づく変化点検出技術は特徴点の乏しい被写体の変更点の検出には適さない。

一方、特許文献２の検出技術は、被写体に付されたARマーカーを基準に被写体の変化点を検出する。しかしながら、被写体が例えば顧客の保有する機器である場合、その被写体にARマーカーを付することは顧客の要望に沿わないことがある。また、マグネットシートのように着脱自在にARマーカーを機器に付する場合、機器のメンテナンスの際にARマーカーの位置や向きが変化することがあり、変化点の検出に支障が生ずることがある。さらに、上述のように制御盤等の機器は一般的に特徴点に乏しいのでARマーカーに準ずるような特徴点を抽出して変更点を検出することは困難となる。また、制御盤のような比較的大型の被写体に小サイズのARマーカーを付することは変化点の検出精度が劣るものとなる。

本発明は、上記の事情を鑑み、制御盤の外観の変更点を高精度に検出することを課題とする。

そこで、本発明の一態様は、制御盤の改修の作業前後の変更点を検出する変更点検出装置であって、前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して盤前面画像を抽出する盤前面特定部と、前記盤前面画像を射影変換結果画像に変換する射影変換部と、前記作業前と前記作業後の射影変換結果画像を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像を生成する差分検出部とを備える。

本発明の一態様は、前記変更点検出装置において、前記盤前面特定部は、前記画像データに対して指定された盤前面角座標に基づき特定される領域を前記盤前面画像として抽出する。

本発明の一態様は、前記変更点検出装置において、前記盤前面特定部は、前記画像データに対して指定された盤前面角座標に基づき特定される領域を前記盤前面画像として抽出すると共に、当該盤前面角座標から、盤前面盤四隅のマッチングテンプレート画像を得て、作業後の盤前面を当該盤前面盤四隅のマッチングテンプレート画像により特定することにより、前記盤前面画像を抽出する。

本発明の一態様は、前記変更点検出装置において、前記盤前面特定部は、前記画像データに含まれる四角形のうち面積が最大の四角形を盤前面の輪郭とする。

本発明の一態様は、前記変更点検出装置において、前記差分検出部は、RGB閾値に基づき前記差異を検出する。

本発明の一態様は、前記変更点検出装置において、前記差分検出部は、HSV閾値に基づき前記差異を検出する。

本発明の一態様は、前記変更点検出装置において、前記差分検出部は、前記作業前と前記作業後の射影変換結果画像の階層的な縮小画像のテンプレートマッチングにより当該作業後の射影変換結果画像において検出された当該作業前との射影変換結果画像の非類似特徴点の座標群を着色した変更点検出結果画像を生成する。

本発明の一態様は、前記変更点検出装置において、前記差分検出部は、前記非類似特徴点の座標群のうち隣接座標数が閾値以上である領域を変更があった領域とみなす。

本発明の一態様は、コンピュータが制御盤の改修の作業前後の変更点を検出する変更点検出方法であって、前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して盤前面画像を抽出する盤前面特定過程と、前記盤前面画像を射影変換結果画像に変換する射影変換過程と、前記作業前と前記作業後の射影変換結果画像を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像を生成する差分検出過程とを有する。

本発明の一態様は、前記変更点検出方法において、前記盤前面特定過程は、前記画像データに対して指定された盤前面角座標に基づき特定される領域を前記盤前面画像として抽出する。

本発明の一態様は、前記変更点検出方法において、前記盤前面特定過程は、前記画像データに対して指定された盤前面角座標に基づき特定される領域を前記盤前面画像として抽出すると共に、当該盤前面角座標から、盤前面盤四隅のマッチングテンプレート画像を得て、作業後の盤前面を当該盤前面盤四隅のマッチングテンプレート画像により特定することにより、前記盤前面画像を抽出する。

本発明の一態様は、前記変更点検出方法において、前記盤前面特定過程は、前記画像データに含まれる四角形のうち面積が最大の四角形を盤前面の輪郭とする。

本発明の一態様は、前記変更点検出方法において、前記差分検出過程は、RGB閾値に基づき前記差異を検出する。

本発明の一態様は、前記変更点検出方法において、前記差分検出過程は、HSV閾値に基づき前記差異を検出する。

本発明の一態様は、前記変更点検出方法において、前記差分検出過程は、前記作業前と前記作業後の射影変換結果画像の階層的な縮小画像のテンプレートマッチングにより当該作業後の射影変換結果画像において検出された当該作業前との射影変換結果画像の非類似特徴点の座標群を着色した変更点検出結果画像を生成する。

本発明の一態様は、前記変更点検出方法において、前記差分検出過程は、前記非類似特徴点の群のうち隣接座標数が閾値以上である領域を変更があった領域とみなす。

本発明の一態様は、前記変更点検出装置としてコンピュータを機能させる変更点検出プログラム、または、前記変更点検出方法をコンピュータに実行させる変更点検出プログラムである。

以上の本発明によれば制御盤の外観の変更点を高精度に検出できる。

本発明の一態様である変更点検出装置を備えた盤変更点検出システムの概要を示したブロック構成図。 図１の変更点検出装置の動作例の説明図。 図１の盤変更点検出システムを用いた際の画像処理過程の説明図。 本発明の実施形態１における盤前面特定過程の説明図。 実施形態１における差分検出過程の説明図。 実施形態１における画素比較過程の説明図。 本発明の実施形態２の盤前面特定部０００による盤前面特定過程の説明図。 実施形態２の盤前面特定部０１０による盤前面特定過程の説明図。 実施形態２における被処理画像の処理過程の説明図。 実施形態３における盤前面特定過程の説明図。 実施形態３における被処理画像の処理過程の説明図。 実施形態３における盤前面角座標に基づく盤前面画像の抽出過程の説明図。 実施形態４における差分検出過程の説明図。 実施形態４における画素比較過程の説明図。 実施形態５における差分検出過程の説明図。 実施形態５における階層的特徴点探索処理の説明図。 実施形態５における座標範囲化処理の説明図。

以下に図面を参照しながら本発明の実施形態について説明する。

［実施形態１］
（概要）
制御盤の改修作業を行う際に制御盤のスイッチのON/OFF等の意図しない些細な変更が事故や損害に繋がる可能性があるので、改修作業後の制御盤の変更点が妥当であるかの確認の重要性が高まっている。

図１に例示された本実施形態の盤変更点検出システム１は、改修作業前後の制御盤の画像に基づき当該制御盤の変更点を簡単且つ高精度に把握する。

（盤変更点検出システム１の態様例）
盤変更点検出システム１は、撮影装置２０，入力装置３０，画像データ記憶装置４０，変更点検出装置００及び表示装置５０を有する。

撮影装置２０、入力装置３０、画像データ記憶装置４０、変更点検出装置００及び表示装置５０は、コンピュータのハードウェア資源とソフトウェア資源との協働により盤変更点検出システム１に実装される。

撮影装置２０は、改修作業前後の制御盤の写真を撮影する。撮影装置２０としては、一般的なディジタルカメラ２１が適用される。ディジタルカメラ２１は、例えば、盤変更点検出システム１がスマートフォン、タブレット、ノートパソコン等のスマート端末に実装される場合、当該スマート端末に内蔵される。

入力装置３０は、前記撮影により得られた制御盤の画像に対する盤前面角の指定をユーザー（例えば、制御盤の管理者）の入力操作により受け付ける。入力装置３０は入力部３１を介して前記指定を明示的に受け付ける。入力部３１としては、例えば、盤変更点検出システム１が前記スマート端末に実装される場合、当該スマート端末のディスプレイに表示された状態で入力デバイスやタッチ操作により前記指定を受け付けるユーザーインターフェースの態様が挙げられる。

画像データ記憶装置４０は、前記制御盤の撮影により得られた画像データを記憶する。

変更点検出装置００は、前記画像データを処理して被撮影盤の変更点を検出する。

表示装置５０は、表示部５００を介して被撮影盤の変更点検出結果を表示する。表示部５００としては、例えば、前記スマート端末のディスプレイが挙げられる。

尚、盤変更点検出システム１は、前記スマート端末のハードウェア資源とソフトウェア資源との協働により、撮影装置２０、入力装置３０、画像データ記憶装置４０、変更点検出装置００、表示装置５０を単一の機器で構成することも可能である。

（変更点検出装置００の構成例と動作例）
図１に示されたように、変更点検出装置００は、盤前面特定部０００，０１０と射影変換部００１，０１１と差分検出部０２０を備える。

盤前面特定部０００は、制御盤の改修の作業前の盤前面の撮影により得られた作業前盤画像の画像データ１００から当該盤前面の輪郭を特定して盤前面画像１０１を抽出する。

盤前面特定部０１０は、前記改修の作業後の盤前面の撮影により得られた作業後盤画像の画像データ１１０から当該盤前面の輪郭を特定して盤前面画像１１１を抽出する。

射影変換部００１は、盤前面画像１０１を盤前面の角の座標に基づく射影変換により射影変換結果画像１０２に変換する。

射影変換部０１１は、盤前面画像１１１を盤前面の角の座標に基づく射影変換により射影変換結果画像１１２に変換する。

差分検出部０２０は、前記作業前の射影変換結果画像１０２と前記作業後の射影変換結果画像１１２を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像１２０を生成する。

図２，３を参照して変更点検出装置００による画像データ処理の流れを説明する。

先ず、制御盤の改修作業前に変更点検出対象の制御盤の撮影が行われ、撮影装置２０により画像データ１００が得られる。入力装置３０のユーザーの操作により画像データ１００に対して盤前面角座標群Ｃ１０１が指定される。画像データ１００及び盤前面角座標群Ｃ１０１が盤前面特定部０００に入力されると盤前面画像１０１が得られる。盤前面画像１０１及び盤前面角座標群Ｃ１０１は射影変換部００１により射影変換結果画像１０２に変換される。射影変換結果画像１０２は差分検出部０２０に入力される。

以上のように、前記入力された画像データが前記制御盤の正面から撮影された画像に変換される。上述の盤前面特定処理と射影変換処理は、以下に述べるように、同じ撮影対象に対して撮影場所および撮影時期の異なる画像データに対して行われる。

次いで、制御盤の改修作業後に当該制御盤の撮影が再度行われ、撮影装置２０により画像データ１１０が得られる。先と同様に、ユーザーによる入力装置３０の操作により画像データ１１０に対して盤前面角座標群Ｃ１１１が指定される。画像データ１１０及び盤前面角座標群Ｃ１１１は盤前面特定部０１０に入力され、盤前面画像１１１が得られる。盤前面画像１１１及び盤前面角座標群Ｃ１１１は射影変換部０１１により射影変換結果画像１１２に変換される。この射影変換結果画像１１２は差分検出部０２０に入力される。

そして、差分検出部０２０は各画像データに対して得られた射影変換後の画像データを比較することにより、変更点検出を行い、変更点検出結果画像を得る。すなわち、差分検出部０２０は、射影変換結果画像１０２と射影変換結果画像１１２とを比較して異なる箇所を検出し、射影変換結果画像１１２上に変更点を着色して変更点検出結果画像１２０を得る。

以上の処理により、撮影対象物に対して撮影を行うカメラの位置が異なる２枚の画像であったとしても、その変更点を検出できる。

（盤前面特定部０００，０１０の動作例）
図４を参照しながら盤前面特定部０００，０１０の具体的な動作例について説明する。

本実施形態の盤前面特定部０００，０１０は以下の盤前面特定過程を実行する。

Ｓ１０１：ユーザーにより操作された入力装置３０から受けた指示により入力画像（盤の画像）に対する盤前面角を指定する。

Ｓ１０２：前記指定された盤前面角の座標を認識する。

本過程では、盤前面特定部０００が、画像データ１００中の盤前面角がユーザーの入力装置３０からの明示的な指定により、盤前面角座標群Ｃ１０１を得る。

一方、盤前面特定部０１０は、画像データ１１０中の盤前面角がユーザーの入力装置３０からの明示的な指定により、盤前面角座標群Ｃ１１１を得る。

Ｓ１０３：前記指定した角を線で繋ぎ、盤前面の輪郭線を描画する。

本過程では、盤前面特定部０００の輪郭線描画機能２００が、前記指定された盤の角を線で結ぶことにより盤前面輪郭線Ｌ１００を描画する。

一方、盤前面特定部０１０の輪郭線描画機能２００は、前記指定された盤の角を線で結ぶことにより盤前面輪郭線Ｌ１１０を描画する。

Ｓ１０４：前記盤前面の輪郭線で囲まれた部分の画像を切り取る。

本過程では、盤前面特定部０００の画像抽出機能２０１が、前記入力された画像のうち盤前面輪郭線Ｌ１００で囲まれた部分のみ画像を抽出して盤前面画像１０１を作成する。一方、盤前面特定部０１０の画像抽出機能２０１は、前記入力された画像のうち盤前面輪郭線Ｌ１１０で囲まれた部分のみ画像を抽出して盤前面画像１１１を作成する。

Ｓ１０５：前記切り取った盤前面の画像と前記盤前面の角座標を射影変換部００１，０１１に入力する。

本過程では、盤前面画像１０１及び盤前面角座標群Ｃ１０１が射影変換部００１に入力される。一方、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。

Ｓ１０６：以上のＳ１０１～Ｓ１０５の処理を前記作業前後の各画像に対して行う。

（射影変換部００１，０１１の動作例）
図２を参照しながら射影変換部００１，０１１の具体的な動作例について説明する。

射影変換部００１，０１１は以下の射影変換過程を実行する。

Ｓ１１１：盤前面特定部０００，０１０から盤前面画像と盤前面角座標を受け取る。

本過程では、射影変換部００１が盤前面特定部０００から盤前面画像１０１及び盤前面角座標群Ｃ１０１を受け取る。

一方、射影変換部０１１は盤前面特定部０１０からの盤前面画像１１１及び盤前面角座標群Ｃ１１１を受け取る。

Ｓ１１２：盤前面画像を、盤の正面から撮影した画像に射影変換する。

本過程では、射影変換部００１は、盤前面角座標群Ｃ１０１に基づく射影変換に準ずる一般的な手法により、盤前面画像１０１を盤の正面から撮影された画像に変換し、射影変換結果画像１０２を得る。

一方、射影変換部０１１は、盤前面角座標群Ｃ１１１に基づく射影変換に準ずる一般的な手法により、盤前面画像１１１を盤の正面から撮影された画像に変換し、射影変換結果画像１１２を得る。

Ｓ１１３：射影変換結果を差分検出部０２０に入力する。

本過程では、射影変換結果画像１０２及び射影変換結果画像１１２が差分検出部０２０に入力される。

Ｓ１１４：上記を前記作業前，作業後の各画像（盤前面画像１０１，１１１）に対して行う。

図示の事例では、射影変換結果画像１０２または射影変換結果画像１１２の画像形式、画像サイズ、画像解像度、射影変換結果画像中に描画される盤前面の面積および画像中の盤前面の位置は、入力される盤前面画像によらず一定とする。

（差分検出部０２０の動作例）
図５を参照しながら差分検出部０２０の具体的な動作例について説明する。

差分検出部０２０の処理は以下の差分検出過程を実行する。

Ｓ１２１：前記作業前，作業後の射影変換結果画像１０２，１１２を受け取る。

本過程では、射影変換部００１から、前記作業前の射影変換結果画像１０２を受け取る。また、射影変換部０１１から、前記作業後の射影変換結果画像１１２を受け取る。

Ｓ１２２：各画像をメッシュ状に切り分けて細分化し、各細分化画像の座標を記憶する。

本過程では、差分検出部０２０の画像細分化機能３００は、先ず、射影変換部００１から得られた射影変換結果画像１０２を細分化し、細分化画像群１０３と射影変換結果画像１０２中の各細分化画像の座標群Ｃ１０３を得る。

一方で、差分検出部０２０の画像細分化機能３０１は、先ず、射影変換部０１１から得られた射影変換結果画像１１２を細分化し、細分化画像群１１３と射影変換結果画像１１２中の各細分化画像の座標群Ｃ１１３を得る。

この時、細分化画像群１０３及び細分化画像群１１３中の全ての細分化画像は同サイズかつ同解像度とする。

Ｓ１２３：同座標の細分化画像において、一画素ずつRGB色空間で比較する。

本過程では、差分検出部０２０の細分化画像比較機能３０２が、同座標における細分化画像を画素単位で比較し、事前に変更点検出装置００に設定された画素数閾値S1以上の画素数に差があれば変更がある部分とみなす処理を行う。

Ｓ１２４：RGB閾値以上の差異がある画素が、画素数閾値以上に存在する場合、その細分化画像は差異がある部分として認識し、その座標を記録する。

本過程で、画素単位の比較にはRGB色空間を参照する。細分化画像群１０３及び細分化画像群１１３における同座標の細分化画像中の各画素に対して、事前に変更点検出装置００に設定したRGB閾値群S2以上の差異がある場合、その画素は変更があったものとして認識する。RGB閾値群S2はR(レッド)、G(グリーン)、B(ブルー)に対して各RGB値の差の閾値S2R、S2G、S2Bを持つ。細分化画像群１１３の細分化画像中の各画素のRGB値が、これと同座標の細分化画像群１０３の細分化画像中の各画素のRGB値に対して一つでも±S2R、±S2G、±S2Bの範囲外であれば、その画素には変更があったものとみなす。

各細分化画像において差のある画素数が画素数閾値S1に満たない場合は、当該細分化画像中の画素比較を続行する。全ての画素を比較しても差のある画素数が画素数閾値S1未満であるならば当該細分化画像に変化がないものと見なし、当該細分化画像の比較を終了し、次の細分化画像の比較を行う。

また、上記比較処理において、細分化画像中の画素に対して画素数閾値S1以上の画素数の差を確認した場合、図６に例示されたように、変更がある部分と見なし、その時点で当該細分化画像の比較を終了する。その後、当該細分化画像の座標を記録し、次の細分化画像の比較を行う。

Ｓ１２５：上記の処理を全ての細分化画像に対して行う。

本過程では、上記比較処理を繰り返し、細分化画像群１０３及び細分化画像群１１３の全ての細分化画像を比較し、変更点を確認した細分化画像の座標を変更点座標群Ｃ１２０として記録する。

Ｓ１２６：前記作業後の射影変換結果画像１１２に、差異のある細分化画像の部分のみ着色して出力する。

本過程では、射影変換結果画像１１２に対して、変更点座標群Ｃ１２０の各座標に細分化画像と同サイズの領域を着色する。これにより変更点検出結果画像１２０を得る。

（実施形態１の効果）
特許文献１のような従来技術は、三次元形状復元技術を用いて変更点検出を行う手法であった。しかし、一般に盤は特徴点が少なく、三次元形状復元を実施した際の精度が低い。本文献に記載された技術を盤に使用すると、三次元形状復元の際に盤上の特徴点を捉えることができず三次元形状復元を行えないか、または盤の三次元形状復元を行えたとしてもその精度が低く、変更していない箇所を変更点として認識してしまう場合がある。

また、特許文献２のような従来技術は、撮影対象にARマーカーを取り付け被撮影物の変化点を検出する手法であった。盤に対して後付でARマーカーを取り付ける場合、盤の改造や補修の作業中にARマーカーの位置や向きが変化する可能性がある。その場合、ARマーカーの位置を基準とした盤上のスイッチやランプといった構成部品の位置が全て移動した状態として認識されることとなり、変更点を検出できなくなる。また、盤の改造や補修の作業中にARマーカーが移動しなかったとしても、制御盤のような大きさの物に対して小さなARマーカーを設置して位置関係を認識するのは、一般に精度が悪く、その結果、変更していない箇所を変更点として認識してしまう場合がある。

これに対して、本実施形態の盤変更点検出システム１は、盤前面特定部０００，０１０により盤前面を認識し、射影変換部００１，０１１により盤前面を正面から撮影した画像を生成し、差分検出部０２０により盤前面の変更点がRGB値差で判断される。つまり、前記作業前後の盤前面画像を比較する際、盤前面上の特徴点やARマーカーを基準にして比較を行うのではなく、盤前面角を基準とした盤前面上の同座標の色を比較する。これにより、より高精度に盤前面を認識し、かつその変更点をより高精度に認識することが可能となる。

以上のように、本実施形態の盤変更点検出システム１によれば、一般に特徴となる点が少ないとされる制御盤を撮影対象として、異なる撮影条件下および照明条件下において撮影された被改造盤および被補修盤の変更点を高精度に検出することができる。また、ARマーカーのような特徴となる特殊なイラストを設置せずとも、その変更点を高精度に検出することができる。

［実施形態２］
（概要）
実施形態１は、画像データ１００及び画像データ１１０において、盤の前面の角座標を設定する際、ユーザーが入力装置３０の操作により入力部３１において明示的に設定する方式を採る。

これに対して、実施形態２は、変更点検出装置００を実装したコンピュータのハードウェア資源による画像処理を活用することにより、画像データ１１０の盤前面角座標の設定を自動化させている。

実施形態２の盤変更点検出システム１は、変更点検出装置００の図２の盤前面特定部０００が図４の処理機能が図７の処理機能に変更され、図２の盤前面特定部０１０の図４の処理機能が図８の処理機能に変更された以外は、実施形態１の同様の態様となっている。

（盤前面特定部０００，０１０の動作例）
図７～９を参照して本実施形態の画像処理の流れについて説明する。

実施形態２の盤前面特定部０００，０１０は以下の盤前面特定過程を実行する。

Ｓ２０１：入力された前記作業前の盤の画像に対して、前記ユーザーが盤前面角を指定する。

本過程では、図７に示されたように、盤前面特定部０００は、まず入力された画像データ１００の盤前面角座標群Ｃ１０１が、前記ユーザーの入力装置３０の操作により、入力部３１において明示的に指定される。

Ｓ２０２：盤前面角の座標を認識する。

Ｓ２０３：指定した角を線で繋ぎ、盤前面の輪郭線を描画する。

本過程では、盤前面特定部０００の輪郭線描画機能２１０が、指定された盤前面角座標群Ｃ１０１を線で結ぶことで盤前面輪郭線Ｌ１０１を描画する。

Ｓ２０４：盤前面の輪郭線で囲まれた部分の画像を切り取る。

本過程では、盤前面特定部０００の画像抽出機能２１１が、入力された画像のうち盤前面輪郭線Ｌ１０１で囲まれた部分のみ画像を抽出して盤前面画像１０１を得る。この盤前面画像１０１は盤前面角座標群Ｃ１０１と共に射影変換部００１に入力される。

Ｓ２０５：盤前面の角（盤前面盤四隅）周辺の画像を切り取り、マッチングテンプレート画像として登録する。

本過程では、盤前面特定部０００の画像抽出機能２１２が、盤前面画像１０１のうち盤前面角座標群Ｃ１０１周辺画像を抽出し、マッチングテンプレート画像群１０４を得る。盤前面画像１０１のうち盤前面角座標群Ｃ１０１周辺画像が抽出されると、盤前面角周辺の盤前面輪郭線が含まれていることを前提とし、盤前面輪郭線と画像端で囲まれた領域を抽出することにより盤前面のうち盤前面角周辺を抽出したマッチングテンプレート画像群１０４を得る。マッチングテンプレート画像群１０４は盤前面特定部０１０に入力される。

Ｓ２０６：入力された前記作業後の盤の画像に対して、テンプレートマッチングを行う。

本過程では、図８に示されたように、盤前面特定部０１０のテンプレートマッチング機能２１３が、先ず、入力された画像データ１１０に対して、マッチングテンプレート画像群１０４をマッチングテンプレートとし、テンプレートマッチングを行う。得られたマッチング結果のうち、画像データ１１０上の各マッチングテンプレート画像に最も近い画像部を選定し、その画像部の角端を盤前面角座標群Ｃ１１１とする。

Ｓ２０７：盤前面角の座標を認識する。

Ｓ２０８：検出された盤の角を線で繋ぎ、盤前面の輪郭線を描画する。

図９の事例のように、マッチングテンプレート画像群１０４、すなわち、四枚のマッチングテンプレート画像のうち、どのマッチングテンプレート画像に対してマッチしたかで、どの角端を盤前面角座標とするかは異なる。そこで、本過程では、盤前面特定部０１０の輪郭線描画機能２１４が、盤前面角座標群Ｃ１１１を線で結ぶことにより盤前面輪郭線Ｌ１１１を描画する。

Ｓ２０９：盤前面の輪郭線で囲まれた部分の画像を切り取る。

本過程では、盤前面特定部０１０の描画抽出機能２１５が、入力された画像のうち盤前面輪郭線Ｌ１１１で囲まれた部分のみ画像を抽出して盤前面画像１１１を得る。

Ｓ２１０：切り取られた盤前面画像と盤前面の角座標を射影変換部に入力する。

本過程では、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。

以上のように本実施形態の盤変更点検出システム１によれば、実施形態１と同様に、上記で得られた盤前面画像１０１及び盤前面角座標群Ｃ１０１が射影変換部００１に、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。そして、射影変換部０１１で得られた射影変換結果画像１０２及び射影変換結果画像１１２が差分検出部０２０に入力され、変更点検出結果画像１２０が得られる。

特に、本実施形態においては、上記のテンプレートマッチング手法に限定せず、例えば、特許文献３の配置検出技術を適用することで実現できる。

以上のように、本実施形態の盤変更点検出システム１によれば、コンピュータの画像処理を活用することにより、画像データ１１０における盤前面角座標の設定が自動化されるので、実施形態１の発明の効果に加えて、データ処理の効率化が図れる。

［実施形態３］
（概要）
上述の実施形態１は、画像データ１００及び画像データ１１０において、盤の前面の角座標を指定する際、前記ユーザーが明示的に変更点検出装置００にて設定される。

また、実施形態２は、画像データ１００の盤前面角座標を前記ユーザーが明示的に設定すれば、画像データ１１０の盤前面角座標は変更点検出装置００により自動認識される。

これに対し、図１１の実施形態３では、撮影された写真中では盤前面が最も大きく写っている事を前提とし、前記ユーザーが盤前面角座標を設定することなく、かつ盤前面のどの箇所の改造や補修を行ったとしても、変更点検出装置００が自動で盤前面角を認識する。

実施形態３の盤変更点検出システム１は、実施形態１の入力装置３０を備えていないこと、変更点検出装置００の盤前面特定部０００，盤前面特定部０１０の処理内容が図４の代わりに図１０の内容となっていること以外は、実施形態１の同様の態様である。

（盤前面特定部０００，０１０の動作例）
図１０～１２を参照して本実施形態の画像処理の流れについて説明する。

実施形態３の盤前面特定部０００，０１０は以下の盤前面特定過程を実行する。

Ｓ３０１：入力された盤の画像に対して、直線検出と角検出を行う。

本過程では、盤前面特定部０００の直線検出機能２２０は、先ず、ハフ変換に準ずる一般的な手法を用い、入力された画像データ１００中に存在する直線成分式群Ｅ１００の抽出を行う。一方、盤前面特定部０１０の直線検出機能２２０は、先ず、ハフ変換に準ずる一般的な手法を用い、入力された画像データ１１０中に存在する直線成分式群Ｅ１１０の抽出を行う。

また、盤前面特定部０００の角検出機能２２１は、コーナー検出に準ずる一般的な手法を用い、画像データ１００に存在する角を検出し、角座標群Ｃ１００を得る。一方、盤前面特定部０１０の角検出機能２２１は、コーナー検出に準ずる一般的な手法を用い、画像データ１１０に存在する角を検出し、角座標群Ｃ１１０を得る。

Ｓ３０２：検出した直線上に検出した角座標が存在する場合、その座標間のみ線を描画した画像を作成する。

本過程では、盤前面特定部０００の全直線輪郭描画機能２２２は、直線成分式群Ｅ１００の各直線成分式に着目し、当該直線成分式の線上に複数の角座標が存在する場合、その角座標間に直線を描画する（図１２）。これにより、画像データ１００に存在する全直線輪郭のみを描画した直線輪郭画像１０５が得られる。

一方、盤前面特定部０１０の全直線輪郭描画機能２２２は、直線成分式群Ｅ１１０の各直線成分式に着目し、当該直線成分式の線上に複数の角座標が存在する場合、その角座標間に直線を描画する（図１２）。これにより、画像データ１１０に存在する全直線輪郭のみを描画した直線輪郭画像１１５が得られる。

Ｓ３０３：描画された線で囲まれた全ての四角形の面積を算出し、そのなかでも最も面積の大きな四角形のみ描画した画像を作成する。

本過程では、盤前面特定部０００の最大面積平面選定機能２２３は、直線輪郭画像１０５の全ての四角形の面積を算出し、最大面積平面である四角形を選定する。これにより、直線輪郭画像１０５の最大面積平面のみを描画した最大面積平面輪郭画像１０６が得られる。

一方、盤前面特定部０１０の最大面積平面選定機能２２３は、直線輪郭画像１１５の全ての四角形の面積を算出し、最大面積平面である四角形を選定する。これにより、直線輪郭画像１１５の最大面積平面のみを描画した最大面積平面輪郭画像１１６が得られる。

Ｓ３０４：最大面積の四角形が描画された画像と、元々の入力画像を重ね合わせ、四角形で囲まれた範囲内のみ画像を抽出する。これにより、盤前面のみを抽出した画像となる。

本過程では、盤前面特定部０００の画像抽出機能２２４は、最大面積平面輪郭画像１０６に画像データ１００を重ね合わせ、最大面積平面輪郭内の画像部分のみを切り取る。これにより、盤前面画像１０１が得られる。

一方、盤前面特定部０１０の画像抽出機能２２４は、最大面積平面輪郭画像１１６に画像データ１１０を重ね合わせ、最大面積平面輪郭内の画像部分のみを切り取る。これにより、盤前面画像１１１が得られる。

Ｓ３０５：最大面積の四角形を描画した画像に対して角座標を重ね合わせ、最大面積の四角形の角座標を選定する。これにより、盤前面の角座標を認識する。

本過程では、盤前面特定部０００の盤前面角座標選定機能２２５は、最大面積平面輪郭画像１０６に角座標群Ｃ１００を重ね合わせ、角座標群Ｃ１００から最大面積平面の角座標を選定する。これにより、盤前面角座標Ｃ１０１が得られる。

一方、盤前面特定部０１０の盤前面角座標選定機能２２５は、最大面積平面輪郭画像１１６に角座標群Ｃ１１０を重ね合わせ、角座標群Ｃ１００から最大面積平面の角座標を選定する。これにより、盤前面角座標Ｃ１１１が得られる。

Ｓ３０６：切り取った盤前面画像と盤前面の角座標を射影変換部に入力する。

本過程では、Ｓ３０５で得られた盤前面画像１０１及び盤前面角座標群Ｃ１０１は射影変換部００１に入力される。一方、Ｓ３０５で得られた盤前面画像１１１及び盤前面角座標群Ｃ１１１は射影変換部０１１に入力される。

Ｓ３０７：以上のＳ３０１～Ｓ３０６の処理を前記作業前後の各画像に対して行う。

以上のように本実施形態の盤変更点検出システム１によれば、実施形態１と同様に、上記で得られた盤前面画像１０１及び盤前面角座標群Ｃ１０１が射影変換部００１に、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。そして、射影変換部０１１で得られた射影変換結果画像１０２及び射影変換結果画像１１２が差分検出部０２０に入力され、変更点検出結果画像１２０が得られる。

したがって、本実施形態の盤変更点検出システム１によれば、実施形態１，２の発明の効果に加えて、前記ユーザーが盤前面角座標の設定する手間が省かれ、現場作業の迅速性が図られる。また、改造及び補修の作業において盤前面角部分の変更が行われても、盤前面角を認識できる。

［実施形態４］
（概要）
図１３に示された実施形態４の差分検出部０２０は、細分化画像群１０３及び細分化画像群１１３を比較する際に、RGB色空間を参照するのではなく、HSV色空間を参照する。HSV色空間では、色相(H)、彩度(S)、明度(V)をそれぞれ個別のパラメータとして扱っている。

実施形態４の盤変更点検出システム１は、変更点検出装置００の差分検出部０２０の処理内容が図５の代わりに図１３の内容となっていること以外は、実施形態１の同様の態様である。

（差分検出部０２０の動作例）
図１３，１４を参照して本実施形態の差分検出の流れについて説明する。

実施形態４の差分検出部０２０は以下の差分検出過程を実行する。

Ｓ４０１：射影変換部００１から前記作業前の射影変換結果画像１０２を受け取る。一方、射影変換部０１１から前記作業後の射影変換結果画像１１２を受け取る。

Ｓ４０２：各画像をメッシュ状に切り分けて細分化して各細分化画像の座標を記憶する。

本過程では、差分検出部０２０は、先ず、射影変換部００１から得られた射影変換結果画像１０２を細分化し、細分化画像群１０３と射影変換結果画像１０２の各細分化画像の座標群Ｃ１０３を得る。一方、射影変換部０１１から得られた射影変換結果画像１１２を細分化し、細分化画像群１１３と射影変換結果画像１１２の各細分化画像の座標群Ｃ１１３を得る。

Ｓ４０３：同座標の細分化画像において、一画素ずつHSV色空間で色相を比較する。

本過程では、細分化画像群１０３，細分化画像群１１３の全ての細分化画像は同サイズかつ同解像度とする。同座標における細分化画像を画素単位で比較し、事前に変更点検出装置００に設定した画素数閾値S1以上の画素数に差があれば変更がある部分とみなす処理を行う。

画素単位の比較にはHSV色空間における色相を参照する。細分化画像群１０３及び細分化画像群１１３における同座標の細分化画像中の各画素に対して、事前に変更点検出装置００上に設定した色相閾値S3に基づき、各画素に対して変更有無の判断を行う。

実施形態４における色相閾値S3はHSV色空間における色相の差の閾値（HSV閾値）を示す。HSV色空間は、色相(H)、彩度(S)、および明度(V)の三要素からなる色空間であり、色相を１パラメータで表現することを特徴とする。これにより前記作業前後の被撮影盤画像の明度が異なる場合であっても、色相H値のみを比較することで被撮影盤の色相のみを比較することが可能となる。

同色相かつ明度が異なる二色をRGB色空間におけるRGB値で表現する場合、同色相であるにも関わらず、R値、G値、B値の３つのパラメータが異なる。したがって、前記作業前後の被撮影盤画像の明度が異なる場合、実施形態１のようにRGB色空間で色相差を判定することは難易度が高く、閾値の設定を誤ると被撮影盤の明度によっては変更していない箇所を変更点として誤認識する可能性がある。

実施形態４では、HSV色空間における色相H値でのみ比較することで、前記作業前後の被撮影盤画像の明度が異なる場合であっても、その色相差を判定する際に閾値設定がより容易であり、その結果、閾値設定を誤ることに起因する誤認識が発生しにくい。

Ｓ４０４：色相閾値以上の差異がある画素が、画素数閾値以上に存在する場合、その細分化画像は差異がある部分として認識し、その座標を記録しておく。

本過程では、細分化画像群１０３の細分化画像中の各画素の色相値をH1、これと同座標の細分化画像群１１３の細分化画像中の各画素の色相値をH2として、|H1-H2|および(360-|H1-H2|)のうち小さい方がS3以上であれば、その画素には変更があったものとみなす。各細分化画像において差のある画素数が画素数閾値S1に満たない場合は、当該細分化画像中の画素比較を続行する。全ての画素を比較しても差のある画素数が画素数閾値S1未満であるならば当該細分化画像に変化がないものと見なし、当該細分化画像の比較を終了し、次の細分化画像の比較を行う。また、上記比較処理において、細分化画像中の画素に対して画素数閾値S1以上の画素数の差を確認した場合、変更がある部分と見なし、その時点で当該細分化画像の比較を終了する（図１４）。その後、当該細分化画像の座標を記録し、次の細分化画像の比較を行う。

Ｓ４０５：上記処理を全ての細分化画像に対して行う。

Ｓ４０３，Ｓ４０４の比較処理を繰り返し、細分化画像群１０３，細分化画像群１１３の全ての細分化画像を比較し、変更点を確認した細分化画像の座標を変更点座標群Ｃ１２０として記録する。

Ｓ４０６：前記作業後の射影変換結果画像に、差異のある細分化画像の部分のみ着色して出力する。

本過程では、射影変換結果画像１１２に対して、変更点座標群Ｃ１２０の各座標に細分化画像と同サイズの領域が着色される。これにより、図３に示したように変更点検出結果画像１２０が得られる。

被撮影盤画像の明度が前記作業前後で異なる場合、変更していない場所でも変更点として認識されてしまうことがある。これは色相が同じでかつ明度が異なる二色をRGB値で表現する場合に、R値、G値、B値の三つのパラメータが全て異なる場合があることに起因する。このことから、RGB閾値群S2の設定を誤ると被撮影盤の明度によっては、変更していない所を変更点として誤認識してしまう可能性がある。

これに対して、本実施形態の盤変更点検出システム１によれば、色相(H)にのみ閾値を設けることにより、細分化画像群１０３及び細分化画像群１１３を色相でのみ比較することが容易となる。したがって、本実施形態によれば、実施形態１～３の発明の効果に加えて、両画像群の明度が異なる場合であっても、高精度に変更点認識を行うことができる。

［実施形態５］
（概要）
実施形態１及び４は、射影変換結果画像１０２及び射影変換結果画像１１２を細分化画像群１０３及び細分化画像群１１３に切り分け、同じ座標の細分化画像において色の比較を行うことにより、変更点を検出する。

これに対して、図１５に示された本実施形態の差分検出部０２０は、射影変換結果画像１０２及び射影変換結果画像１１２を比較する際、両者の同座標の色を比較するのではなく、射影変換結果画像１１２から射影変換結果画像１０２の特徴点を見出す。これにより、射影変換結果画像１０２及び射影変換結果画像１１２に含まれる盤面構成部品の位置座標が局所的に異なる場合であっても、高精度に変更点認識を行える。

（差分検出部０２０の動作例）
図１５～１７を参照して本実施形態の差分検出の流れについて説明する。

実施形態５の差分検出部０２０は以下の差分検出過程を実行する。

Ｓ５０１：射影変換部００１から前記作業前の射影変換結果画像１０２を受け取る。一方、射影変換部０１１から前記作業後の射影変換結果画像１１２を受け取る。

Ｓ５０２：前記作業前及び作業後の射影変換結果画像１０２，１１２に対して画像サイズを縮小した縮小画像１０２ａ，１１２ａを作成する。

本過程では、差分検出部０２０の画像縮小機能３２０は、射影変換部００１から得られた射影変換結果画像１０２の画像サイズを縮小し、縮小画像１０２ａを得る。一方、差分検出部０２０の画像縮小機能３２１は、射影変換部０１１から得られた射影変換結果画像１１２の画像サイズを縮小し、縮小画像１１２ａを得る。

Ｓ５０３：縮小画像１０２ａ，１１２ａに対して更に画像サイズを縮小した縮小画像１０２ｂ，１１２ｂを作成する。

本過程では、差分検出部０２０の画像縮小機能３２２は、縮小画像１０２ａの画像サイズを更に縮小し、図１６に示したように、縮小画像１０２ｂを得る。一方、差分検出部０２０の画像縮小機能３２３は、縮小画像１１２ａの画像サイズを更に縮小し、同図に示したように、縮小画像１１２ｂを得る。

Ｓ５０４：前記作業前及び作業後の射影変換結果画像及びＳ５０２～Ｓ５０３の過程で得られた縮小画像に基づき階層的特徴点探索処理を行う。

本過程では、差分検出部０２０の階層的特徴点探索処理機能３２４は、射影変換結果画像１０２、射影変換結果画像１１２、縮小画像１０２ａ、縮小画像１１２ａ、縮小画像１０２ｂ及び縮小画像１１２ｂについて、階層的特徴点探索処理を行う。

階層的特徴点探索処理は、初めに最も解像度の低い縮小画像１０２ｂと縮小画像１１２ｂのテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶しておく。また、差異が無いと判定された領域について解像度が高い縮小画像１０２ａ、縮小画像１１２ａのテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶しておく。また、差異が無いと判定された領域についてさらに射影変換結果画像１０２、射影変換結果画像１１２のテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶する。このような階層的特徴点探索処理としては、階層的テンプレートマッチング、階層的マッチングなどと呼ばれる一般的な手法を適用すればよい（例えば、非特許文献１）。

Ｓ５０５：階層的特徴点探索処理により得られた類似度の低い特徴点の座標群を得る。

本過程では、階層的特徴点探索処理機能３２４は、類似度が類似度閾値S4以上の特徴点は変更がない箇所とみなし、類似度が類似度閾値S4よりも低い特徴点の座標群が非類似特徴点の座標群Ｃ１３０として得られる。

Ｓ５０６：前記座標範囲化処理により得られた変更点検出領域の座標群のうち隣接する座標が存在する領域を変更範囲とみなす。

本過程では、差分検出部０２０の座標範囲化処理機能３２５は、図１７に示したように、非類似特徴点の座標群Ｃ１３０のうち、ある座標を中心として座標隣接距離R1を半径とする円領域内に隣接座標数閾値S5個以上の座標が存在する場合のみ、当該領域は変更があった領域とみなし、変更点検出領域とする。同図の事例においては、（１）、（３）で示した領域が変更点検出領域として検出されている。以上の座標範囲化処理が非類似特徴点の座標群Ｃ１３０の全ての座標に対して行われることにより、変更点検出領域群Ａ１３０が得られる。

Ｓ５０７：射影変換結果画像１１２における所定の変更範囲を着色して出力する。

本過程では、差分検出部０２０の変更点検出領域着色機能３２６は、射影変換結果画像１１２における変更点検出領域群Ａ１３０の領域を着色することにより、変更点検出結果画像１２０を得る。

作業前盤画像１００及び作業後盤画像１１０の撮影の際、被撮影盤に対する撮影装置の位置関係が大きく異なると、射影変換処理により盤正面から撮影した画像に変更したとしても、射影変換結果画像１０２及び射影変換結果画像１１２中の盤面構成部品の位置座標が異なる場合がある。これは変更点検出システムの変更点検出精度を下げる原因となる。

これに対して、本実施形態の差分検出部０２０は、射影変換結果画像１０２及び射影変換結果画像１１２を比較する際、同座標の色を比較するのではなく、階層的特徴点探索処理により射影変換結果画像１０２から特徴点を射影変換結果画像１１２から見出す。

特に、階層的特徴点探索処理によれば、探索ウィンドウサイズを一定とし、低解像度である縮小画像１０２ｂ及び縮小画像１１２ｂから順にテンプレートマッチングが行われるので、射影変換結果画像１１２から射影変換結果画像１０２中の特徴点が見出される。

以上のように、本実施形態によれば、被撮影盤に対する撮影装置の位置関係が異なることにより、実施形態１，４と同様に、射影変換結果画像中の盤面構成部品の位置座標が局所的に異なる場合でも、高精度に変更点検出を行うことができる。また、本実施形態の階層的特徴点探索処理は、階層毎に探索範囲を限定して探索し、指定された探索範囲中に類似度の高い特徴点の有無を判断基準とする。したがって、射影変換結果画像において同座標の色を比較する実施形態１及び４の方式と比べても、射影変換結果画像中の盤面構成部品の局所的な位置座標の違いに対して頑健なものとなる。特に、類似して特徴点が並ぶ盤の特徴点探索に適したものとなる。尚、階層的特徴点探索処理手法に関して限定せず、一般的な手法を使用することで実現できる。

［本発明の他の態様例］
本発明の他の態様例としては、コンピュータを上述の変更点検出装置００としてまたは変更点検出方法をコンピュータに実行させる変更点検出プログラムが挙げられる。このプログラムはコンピュータが読み取り可能な周知の記録媒体またはインターネット等のネットワークを介して提供できる。

尚、本発明は、以上説明した実施形態に限定されるものではなく、本発明の特許請求の範囲内で様々な態様で実施が可能である。

１…盤変更点検出システム
３０…入力装置
４０…画像データ記憶装置
００…変更点検出装置、０００，０１０…盤前面特定部、００１，０１１…射影変換部、０２０…差分検出部
５０…表示装置

Claims (15)

1. 制御盤の改修の作業前後の変更点を検出する変更点検出装置であって、
   前記改修の作業前の盤前面の撮影により得られた画像データに対して指定された当該作業前の盤前面角座標に基づき特定される領域を当該作業前の盤前面画像として抽出する作業前盤前面特定部と、
   前記改修の作業後の盤前面の撮影により得られた画像データに対して指定された当該作業後の盤前面角座標に基づき特定される領域を当該作業後の盤前面画像として抽出する作業後盤前面特定部と、
   前記作業前の盤前面画像を当該作業前の盤前面角座標に基づく射影変換により当該作業前の射影変換結果画像に変換する作業前射影変換部と
   前記作業後の盤前面画像を当該作業後の盤前面角座標に基づく射影変換により当該作業後の射影変換結果画像に変換する作業後射影変換部と
   前記作業前及び前記作業後の射影変換結果画像を細分化して得られた当該作業前及び当該作業後の細分化画像群から当該作業前と当該作業後の差異のある細分化画像を検出して着色することにより前記制御盤の変更点検出結果画像を生成する差分検出部と
   を備えたことを特徴とする変更点検出装置。
2. 前記作業前盤前面特定部は、前記作業前の画像データに対して指定された当該作業前の盤前面角座標に基づき特定される領域を当該作業前の盤前面画像として抽出すると共に当該盤前面角座標に基づき当該作業前の盤前面盤四隅のマッチングテンプレート画像を得て、
   前記作業後盤前面特定部は、前記マッチングテンプレート画像と前記作業後の盤前面の画像データとのテンプレートマッチングにより得られた当該作業後の盤前面輪郭線に基づき当該作業後の盤前面画像を抽出すること
   を特徴とする請求項１に記載の変更点検出装置。
3. 前記作業前盤前面特定部は、前記作業前の画像データに含まれる四角形のうち面積が最大の四角形を盤前面の輪郭と特定し、
   前記作業後盤前面特定部は、前記作業後の画像データに含まれる四角形のうち面積が最大の四角形を盤前面の輪郭と特定すること
   を特徴とする請求項１または２に記載の変更点検出装置。
4. 前記差分検出部は、前記作業前及び前記作業後の細分化画像群のＲＧＢ閾値に基づき前記差異を検出することを特徴とする請求項１から３のいずれか１項に記載の変更点検出装置。
5. 前記差分検出部は、前記作業前及び前記作業後の細分化画像群のＨＳＶ閾値に基づき前記差異を検出することを特徴とする請求項１から３のいずれか１項に記載の変更点検出装置。
6. 前記差分検出部は、
   前記作業前及び前記作業後の射影変換結果画像に対して画像サイズを縮小した当該作業前及び当該作業後の射影変換結果画像の第一の縮小画像を作成し、
   当該作業前及び当該作業後の第一の縮小画像に対してさらに画像サイズを縮小した当該作業前及び当該作業後の射影変換結果画像の第二の縮小画像を作成し、
   当該作業前と当該作業後の第二の縮小画像のテンプレートマッチングを行い、このテンプレートマッチングにより差異が無いと判定された領域について当該作業前と当該作業後の第一の縮小画像のテンプレートマッチングをさらに行い、このテンプレートマッチングにより差異が無いと判定された領域について当該作業前と当該作業後の射影変換結果画像のテンプレートマッチングをさらに行い、
   当該射影変換結果画像のテンプレートマッチングにより検出された当該作業前と当該作業後の射影変換結果画像の非類似特徴点の群、当該第一の縮小画像のテンプレートマッチングにより検出された当該作業前と当該作業後の第一の縮小画像の非類似特徴点の群、及び、当該第二の縮小画像のテンプレートマッチングにより検出された当該作業前と当該作業後の第二の縮小画像の非類似特徴点の群を着色した変更点検出結果画像を生成すること
   を特徴とする請求項１に記載の変更点検出装置。
7. 前記差分検出部は、前記非類似特徴点の群のうち隣接座標数が閾値以上である領域を変更があった領域とみなすことを特徴とする請求項６に記載の変更点検出装置。
8. コンピュータが制御盤の改修の作業前後の変更点を検出する変更点検出方法であって、
   前記改修の作業前の盤前面の撮影により得られた画像データに対して指定された当該作業前の盤前面角座標に基づき特定される領域を当該作業前の盤前面画像として抽出する作業前盤前面特定過程と、
   前記改修の作業後の盤前面の撮影により得られた画像データに対して指定された当該作業後の盤前面角座標に基づき特定される領域を当該作業後の盤前面画像として抽出する作業後盤前面特定過程と、
   前記作業前の盤前面画像を当該作業前の盤前面角座標に基づく射影変換により当該作業前の射影変換結果画像に変換する作業前射影変換過程と
   前記作業後の盤前面画像を当該作業後の盤前面角座標に基づく射影変換により当該作業後の射影変換結果画像に変換する作業後射影変換過程と
   前記作業前及び前記作業後の射影変換結果画像を細分化して得られた当該作業前及び当該作業後の細分化画像群から当該作業前と当該作業後の差異のある細分化画像を検出して着色することにより前記制御盤の変更点検出結果画像を生成する差分検出過程と
   を有する変更点検出方法。
9. 前記作業前盤前面特定過程は、前記作業前の画像データに対して指定された当該作業前の盤前面角座標に基づき特定される領域を当該作業前の盤前面画像として抽出すると共に当該盤前面角座標に基づき当該作業前の盤前面盤四隅のマッチングテンプレート画像を得て、
   前記作業後盤前面特定過程は、前記マッチングテンプレート画像と前記作業後の盤前面の画像データとのテンプレートマッチングにより得られた当該作業後の盤前面輪郭線に基づき当該作業後の盤前面画像を抽出すること
   を特徴とする請求項８に記載の変更点検出方法。
10. 前記作業前盤前面特定過程は、前記作業前の画像データに含まれる四角形のうち面積が最大の四角形を盤前面の輪郭と特定し、
    前記作業後盤前面特定過程は、前記作業後の画像データに含まれる四角形のうち面積が最大の四角形を盤前面の輪郭と特定すること
    を特徴とする請求項８または９に記載の変更点検出方法。
11. 前記差分検出過程は、前記作業前及び前記作業後の細分化画像群のＲＧＢ閾値に基づき前記差異を検出することを特徴とする請求項８から１０のいずれか１項に記載の変更点検出方法。
12. 前記差分検出過程は、前記作業前及び前記作業後の細分化画像群のＨＳＶ閾値に基づき前記差異を検出することを特徴とする請求項８から１０のいずれか１項に記載の変更点検出方法。
13. 前記差分検出過程は、
    前記作業前及び前記作業後の射影変換結果画像に対して画像サイズを縮小した当該作業前及び当該作業後の射影変換結果画像の第一の縮小画像を作成し、
    当該作業前及び当該作業後の第一の縮小画像に対してさらに画像サイズを縮小した当該作業前及び当該作業後の射影変換結果画像の第二の縮小画像を作成し、
    当該作業前と当該作業後の第二の縮小画像のテンプレートマッチングを行い、このテンプレートマッチングにより差異が無いと判定された領域について当該作業前と当該作業後の第一の縮小画像のテンプレートマッチングをさらに行い、このテンプレートマッチングにより差異が無いと判定された領域について当該作業前と当該作業後の射影変換結果画像のテンプレートマッチングをさらに行い、
    当該射影変換結果画像のテンプレートマッチングにより検出された当該作業前と当該作業後の射影変換結果画像の非類似特徴点の群、当該第一の縮小画像のテンプレートマッチングにより検出された当該作業前と当該作業後の第一の縮小画像の非類似特徴点の群、及び、当該第二の縮小画像のテンプレートマッチングにより検出された当該作業前と当該作業後の第二の縮小画像の非類似特徴点の群を着色した変更点検出結果画像を生成すること
    を特徴とする請求項８に記載の変更点検出方法。
14. 前記差分検出過程は、前記非類似特徴点の群のうち隣接座標数が閾値以上である領域を変更があった領域とみなすことを特徴とする請求項１３に記載の変更点検出方法。
15. 請求項１から７のいずれか１項に記載の変更点検出装置としてコンピュータを機能させることを特徴とする変更点検出プログラム。

Images