JP2016018463A - State change management system and state change management method - Google Patents
State change management system and state change management method Download PDFInfo
- Publication number
- JP2016018463A JP2016018463A JP2014141890A JP2014141890A JP2016018463A JP 2016018463 A JP2016018463 A JP 2016018463A JP 2014141890 A JP2014141890 A JP 2014141890A JP 2014141890 A JP2014141890 A JP 2014141890A JP 2016018463 A JP2016018463 A JP 2016018463A
- Authority
- JP
- Japan
- Prior art keywords
- image
- change
- time
- terminal device
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、端末装置により取得する対象設備の映像により対象設備の経時変化を自動検知する技術に関する。 The present invention relates to a technique for automatically detecting a temporal change of a target facility from an image of the target facility acquired by a terminal device.
本技術分野の背景技術として、特開平０８−１７１６８９（特許文献１）がある。特許文献１にはカメラによって設備を監視し、異常事象を自動的に検出する設備異常監視装置などにおいて、時間的に変化する複数枚の画像から変化領域を検出する変化領域検出方法が記載されており、特に、時間的に異なる２枚の画像間で起こる変化のうち、誤検出の起きやすい背景特徴部分での変化を除去する構成をとることにより、複数枚の画像中より本来検出すべき変化領域のみを正確、かつ安定して検出し、誤検出のない信頼性の高い変化領域検出方法が開示されている。
As a background art of this technical field, there is JP-A-08-171689 (Patent Document 1).
特許文献１では、時間的に異なる２枚の画像間で起こる変化のうち、検出対象は対象物そのものの経時変化であり、背景部分の変化を除去することで対象物の経時変化を確実に検出するための方法が開示されている。しかし、例えば、電力配電設備における電柱等を巡視点検する際には、対象設備そのものの変化（錆、亀裂、変色等）の他に、背景と相対的な変化（電柱の傾斜等）も発見する必要がある。また、時間的に異なる２枚の画像は全く同じ撮影条件（位置、方角等）で撮影されるとは限らず、特許文献１では、完全に一致しない撮影条件の時間的に異なる２枚の画像から前記２種類の経時変化を正確に検出することができない。
In
本発明は、上記課題を鑑みてなされたものであり、撮影機能と測位機能とを備える携帯端末によって取得した時間的に異なる複数の撮影画像から、前記２種類の対象物の経時変化を自動で検出する状態変化管理システム及び状態変化管理方法を提供することを目的とする。 The present invention has been made in view of the above problems, and automatically changes the temporal changes of the two types of objects from a plurality of temporally different captured images acquired by a mobile terminal having a photographing function and a positioning function. An object of the present invention is to provide a state change management system and a state change management method for detection.
上記課題を解決するために、本願は上記課題を解決する手段を複数含んでいるが、その代表的な構成は以下とおりである。すなわちその構成は、ネットワークに接続される計算機と、前記ネットワークに接続される端末装置と、を有し、前記端末装置は、対象物の画像を撮影する撮影部、を有し、前記計算機は、前記撮影部によって撮影された対象物の画像の撮影条件を算出する撮影条件取得部と、前記撮影条件取得部によって取得された撮影条件を備える対象物の複数の撮影画像を保持する記憶装置を有し、前記計算機は、さらに、前記端末装置で撮影された対象物の画像と、前記記憶装置に保持されている対象物の過去の画像から、画像における対象物部分と背景部分から算出される特徴点の重みを変えて前記過去と現在の対象物の画像の位置合せを行うことで、対象物そのものの経時変化と、対象物の背景と相対的な経時変化を両方検出する変化検出部を有し、前記端末装置は、さらに、前記検出された対象物の経時変化の情報を表示する表示部を有する。 In order to solve the above problems, the present application includes a plurality of means for solving the above problems, and a typical configuration is as follows. That is, the configuration includes a computer connected to a network and a terminal device connected to the network, and the terminal device includes an imaging unit that captures an image of an object. An imaging condition acquisition unit that calculates imaging conditions of an image of the object imaged by the imaging unit; and a storage device that holds a plurality of captured images of the object including the imaging conditions acquired by the imaging condition acquisition unit. The computer further calculates a feature from an object part and a background part in the image from an image of the object photographed by the terminal device and a past image of the object held in the storage device. By changing the weight of the points and aligning the images of the past and current objects, a change detection unit is provided that detects both changes over time of the object itself and changes over time relative to the background of the object. The terminal device further includes a display unit for displaying the information changes over time of the detected object.
本発明の代表的な実施の形態によれば、前記２種類の経時変化（対象設備そのものの変化、背景と相対的な変化）を自動で検出し、提示することができる。 According to the typical embodiment of the present invention, the two types of changes with time (changes in the target equipment itself, changes relative to the background) can be automatically detected and presented.
以下、本発明の実施例を、図面を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本実施例では、電力配電設備における電柱等の巡視、点検の際に、対象設備を撮影した画像データを保持し、対象設備を撮影した画像データと対象設備の過去の画像データとの経時変化を自動検出し、その結果を提示することで巡視作業を支援する巡視作業支援システムの一例を説明する。 In this embodiment, during inspection and inspection of power poles and the like in the power distribution facility, the image data obtained by photographing the target facility is held, and the temporal change between the image data obtained by photographing the target facility and the past image data of the target facility is represented. An example of a patrol work support system that supports patrol work by automatically detecting and presenting the result will be described.
図１は、本発明の実施例１の巡視作業支援システムの全体構成を示すブロック図である。 FIG. 1 is a block diagram illustrating the overall configuration of the inspection work support system according to the first embodiment of the present invention.
実施例１の巡視作業支援システムは、サーバシステム１００と、複数の携帯情報端末１０１と、それらを接続するネットワーク１０２と、を有する。図１では携帯情報端末は３台示されているが、接続台数はこれに限定されない。以下、本システムの構成要素について説明する。
The patrol work support system according to the first embodiment includes a
図２は、本発明の実施例１の巡視作業支援システムにおける携帯情報端末１０１の構成を示すブロック図である。
FIG. 2 is a block diagram illustrating the configuration of the
携帯情報端末１０１は、無線通信部２００、撮影画像及び設備情報等をユーザに提示するディスプレイ等の表示部２０１、時計等の日時を取得する日時取得部２０２、ＧＰＳ衛星２１０から位置情報を取得する位置情報取得部２０３、対象設備２１１を撮影するデジタルスチルカメラ等の撮影部２０９、全体の処理を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４、ユーザが入力操作を行うボタン又はタッチパネル等の操作部２０５、画像データ及び設備情報等を保存するフラッシュメモリ等の不揮発性記憶装置であるメモリ２０６、端末の加速度のｘ、ｙ、ｚ軸成分を取得するための３軸加速度センサ２０７、及び、地磁気のｘ、ｙ、ｚ軸成分を取得する３軸地磁気センサ２０８から構成される。
The
携帯情報端末１０１は、具体的には、デジタルカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、タブレット端末等の携帯端末が該当する。位置情報取得部２０３は、受信回路等から構成され、ＧＰＳ衛星２１０からの電波を受信し、受信した電波から距離を測定することで、携帯情報端末１０１の（すなわち撮影部２０９の）位置情報、具体的には緯度及び経度を取得する。また、後述するように、３軸加速度センサ２０７が測定した加速度及び３軸地磁気センサ２０８が測定した地磁気に基づいて、携帯情報端末１０１の（すなわち撮影部２０９の）姿勢情報が取得される。
Specifically, the
対象設備２１１は、巡視点検の対象となる設備であり、巡視点検の際には撮影部２０９による撮影対象となる。本実施例では対象設備２１１が電柱である場合を例として説明するが、対象設備２１１は電柱以外の設備であってもよい。図２には一つの対象設備２１１のみを示すが、実際にはそれぞれが固有の設備ＩＤによって識別される多数の対象設備２１１が存在する。
The
図３は、本発明の実施例１の巡視作業支援システムにおけるサーバシステム１００の構成を示すブロック図である。
FIG. 3 is a block diagram illustrating a configuration of the
サーバシステム１００は、全体を制御するＣＰＵ３００、他の機器と接続するためのネットワークインタフェース３０１、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の規格に準拠した外部機器と接続するためのＩ／Ｏ３０２、設備に関する情報、地図情報、及び設備画像等が保存されているデータベース３０３、ユーザが入力するためのキーボード及びマウス等の操作部３０４、処理の結果及びログ等を表示するための表示部３０５、不揮発性記憶装置であるメモリ３０６、及びデータバス３０８から構成され、上記の各部３００〜３０６がそれぞれデータバス３０８と接続されている。メモリ３０６には撮影条件付加プログラム３０９、経時変化検出プログラム３１０が格納されており、これらのプログラムはＣＰＵ３００によって実行される。以下、各プログラムに基づいてＣＰＵ３００が実行する処理を、便宜上、各プログラムが実行する処理として説明する場合がある。
The
本実施例では、携帯情報端末１０１を携帯して巡視している巡視員が、対象設備２１１を撮影部２０９によって撮影し、それと同時に位置情報取得部２０３がＧＰＳ衛星２１０から位置情報を取得し、３軸加速度センサ２０７がｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサがｘ、ｙ、ｚ軸方向の地磁気を取得し、日時取得部２０２が撮影した日時を取得し、ＣＰＵ２０４はこれらの情報を無線通信部２００、ネットワーク１０２を介して図１におけるサーバシステム１００に送信する。
In this embodiment, a patrolman who is carrying around the
サーバシステム１００では、ＣＰＵ３００がメモリ３０６に格納されている撮影条件付加プログラム３０９を実行することによって、取得した情報から撮影条件（撮影位置、撮影方角、撮影角度、撮影距離等）を算出し、それらを撮影画像データに付加してデータベース３０３に蓄積する。それと同時に、経時変化検出プログラム３１０は、携帯情報端末１０１から送信されてきた撮影画像の撮影条件を参照し、その撮影条件と近い撮影条件を持つ過去の設備画像をデータベースから検索し、現在の撮影画像と検索した過去の撮影画像との経時変化を検出し、検出結果を携帯情報端末１０１に送信する。携帯情報端末１０１は、サーバシステム１００から受信した検出結果を表示部２０１に表示することで巡視員に提示する。詳細な処理内容については後述する。
In the
次に、図４、図５、図６を参照して、図３のサーバシステム１００におけるデータベース３０３の構成を説明する。
Next, the configuration of the
図４は、本発明の実施例１のサーバシステム１００が保持するデータベース３０３の構成を示すブロック図である。データベース３０３は、設備情報データ４００、設備画像データ４０１、地図データ４０２、及び履歴データ４０３から構成される。
FIG. 4 is a block diagram illustrating a configuration of the
設備情報データ４００は、対象設備を識別する設備ＩＤと、その設置位置を示す情報とを含む。図５は、設備情報データ４００の構成を示す説明図である。設備情報データ４００には、電力配電設備における巡視、点検の対象となる電柱等に関するデータが格納されており、具体的には、設備ＩＤ５００と設備の設置位置５０１とが対応付けられて格納されている。設備の設置位置５０１は、緯度５０２及び経度５０３を含んでいる。図５に示す設備情報データ４００の構成は上記の通りであるが、設備情報データ４００の構成はこれに限られず、巡視、点検の際に必要となる設備に関する情報を含む構成であればよい。
The
レコード５０４、５０５及び５０６は設備情報データ４００の格納データの一例を示している。例えば、レコード５０４は設備ＩＤ５００の値「１０４」によって識別される設備に関するデータであり、この設備は、緯度３５．６５８２、経度１３９．７４５６に設置されている。レコード５０５、５０６も同様に、それぞれの設備に関する設備ＩＤ５００、緯度５０２及び経度５０３の値の例を含む。
履歴データ４０３は、対象設備の設備ＩＤ、過去の巡視実施年月日、巡視の報告書、改修要否、及び改修年月日を含む。図６は、履歴データ４０３の構成を示す説明図である。履歴データ４０４には、電力配電設備における過去の巡視、点検の履歴情報が格納されており、設備ＩＤ６００、巡視実施年月日６０１、報告書６０２、改修要否６０３、及び改修年月日６０４が対応付けられて格納されている。図６に例示する履歴データ４０４の構成は上記の通りであるが、履歴データ４０３の構成はこれに限られず、その他に過去の巡視、点検時に記録した様々な情報を必要に応じて含んでもよい。
The
レコード６０５、６０６、６０７及び６０８は履歴データ４０３の格納データの一例を示している。例えば、レコード６０７及び６０８は設備ＩＤ６００の値「１０５」によって識別される設備に関するデータであり、レコード６０７によると当該設備の巡視点検が２００４／０４／１２に実施され、そのときに改修が必要だと判断され、実際に２００４／０６／１９に改修が実施されている。レコード６０５及び６０６にも同様にそれぞれの設備の巡視点検に関するデータが格納される。
設備画像データ４０１は、対象設備の設備ＩＤ、及び設備を撮影した画像データを含む。図７は、設備画像データ４０１の構成の一例を示す説明図である。設備画像データ４０１には、電力配電設備における巡視、点検の際に撮影された設備の画像データが格納されており、設備ＩＤ７００と設備画像７０１が対応付けられて格納されている。
The
レコード７０２、７０３及び７０４は設備画像データ４０１の格納データの一例を示している。例えば、レコード７０２は設備ＩＤ７００の値「１０４」によって識別される設備に関するデータであり、画像データ７０４等の複数の画像データが格納されている。レコード７０３、７０４についても同様である。
図８は、画像データ７０４の詳細形式の一例を示す説明図である。本実施例では、画像データ７０４のフォーマットとしてＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）（登録商標、以下同じ）が採用されている。Ｅｘｉｆフォーマットは、写真用のメタデータを含む画像フォーマットであり、写真に様々なメタデータを付加することができる。図８を用いて具体例を説明する。
FIG. 8 is an explanatory diagram illustrating an example of a detailed format of the
本実施例における設備画像データ７０４のヘッダ８０１には、撮影条件付加プログラム３０９によって算出され付加される撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、及び撮影位置情報、画像中の対象物位置等）が格納されている。このヘッダ８０１、実際の画像データ８０３及びサムネイル画像８０２から設備画像データ７０４が構成される。姿勢角度Ａは、Ｒｏｌｌ角とも呼び、携帯情報端末１０１の向く方位角を意味する。姿勢角度Ｂは、Ｐｉｔｃｈ角とも呼び、巡視員が携帯情報端末１０１を持ったときの仰角を意味する。姿勢角度Ｃは、Ｙａｗ角とも呼び、巡視員が携帯情報端末１０１を持ったときの左右方向の傾き度合いを意味する。これらの姿勢角度Ａ、Ｂ、Ｃは携帯情報端末１０１の３軸加速度センサ２０７から得られるｘ、ｙ、ｚ軸方向の加速度成分と、３軸地磁気センサ２０８から得られるｘ、ｙ、ｚ軸方向の地磁気成分から算出される。撮影された、また格納された撮影画像は対象物、ここでは電柱と、その背景を含んでいる。画像中の対象物位置は、撮影画像において、どの部分に対象物が写っているかを表しており、例えば、画像の複数の座標点が記録され、その順序によって対象物領域を指定する。画像中の対象物位置は、画像の撮影時に、携帯情報端末１０１が例えば表示部がタッチパネルによって構成されている場合には、撮影者が撮影画像を見ながら、タッチパネル上をなぞることで対象物領域を指定してもよいし、撮影画像がサーバシステムに送信された後に、色情報などに基づいて背景と対象物領域を分離し、対象物領域を指定してもよい。
In the
本実施例では図７及び図８の形式で画像データを扱うが、設備画像データ４０１の形式はこれに限られず、図９のような形式であってもよい。図９は、設備画像データ４０１の構成の別の例を示す説明図である。図９では、図８で画像のヘッダに格納されていた撮影条件が画像データのヘッダに含まれず、それぞれの撮影条件を画像データに対応させて格納している。
In this embodiment, the image data is handled in the format of FIGS. 7 and 8, but the format of the
具体的には、図９の例では、設備ＩＤ９００、撮影距離９０１、撮影日時９０２、撮影位置９０３、撮影方角９０４、端末の姿勢角９０５及び画像データ９０６が対応付けられて格納されている。レコード９０７、９０８及び９０９は設備画像データ４０１の格納データの一例を示している。例えば、レコード９０７は設備ＩＤ９００の値「１０４」によって識別される設備を撮影した画像に関するデータであり、撮影距離１０ｍ、撮影日時１９９８／０１／２８／１２：４５、撮影位置（３５．６５８、１３９．７４５５）、撮影方角２５４°（北を０°として）、姿勢角（２５４°、１０°、０°）となっている。レコード９０８、９０９についても同様に撮影された画像及び撮影条件のデータが格納される。
Specifically, in the example of FIG. 9, the
地図データ４０２には、一般的なＧＩＳ（Ｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）データベースと同様に、道路や建物等の位置情報が格納されており、詳細な説明は割愛する。
Similar to a general GIS (Graphical Information System) database, the
以上の構成に基づいて、本実施の形態における巡視作業支援システム全体の処理について説明する。本実施例における巡視作業支援システムでは、電力配電設備における電柱等の巡視、点検の際に、対象設備を撮影した画像データを保持し、対象設備を撮影した画像データと対象設備の過去の画像データとの経時変化を自動検出し、その結果を提示することで巡視作業を支援するが、まず本実施例で検出対象とする経時変化の種類について図１０を用いて説明する。図１０は、本実施例の、検出対象となる対象物の経時変化の種類を示す説明図であり、１００１は過去の撮影画像の一例、１００２は現在の撮影画像の一例である。これら２枚の時間的に異なる画像から経時変化を検出する。過去の撮影画像１００１における対象設備１００３は、現在の撮影画像１００２において１００５の状態に変化している。図１０の例では、対象設備に関する経時変化として、対象設備の亀裂１００７、対象設備の傾斜１００６が生じている。この一例のように、電力配電設備の巡視点検では、対象設備そのものの変化（錆、亀裂、変色等）と、背景と相対的な変化（電柱の傾斜等）の２種類の経時変化を発見する必要がある。また、時間的に異なる２枚の画像は全く同じ撮影条件（位置、方角等）で撮影されるとは限らず、本実施例における巡視作業支援システムでは、完全に一致しない撮影条件の時間的に異なる２枚の画像から前記２種類の経時変化を正確に検出する。
Based on the above configuration, processing of the entire inspection work support system in the present embodiment will be described. In the patrol work support system in the present embodiment, during inspection and inspection of power poles and the like in the power distribution facility, image data obtained by photographing the target facility is held, and image data obtained by photographing the target facility and past image data of the target facility. The patrol work is supported by automatically detecting the change with time and presenting the result. First, the type of change with time as a detection target in this embodiment will be described with reference to FIG. FIG. 10 is an explanatory diagram showing the type of change with time of the target object to be detected in this embodiment, where 1001 is an example of a past photographed image, and 1002 is an example of a current photographed image. A change with time is detected from these two temporally different images. The
図１１は、本発明の実施例１の巡視作業支援システム全体の処理の一例を示すフローチャートである。 FIG. 11 is a flowchart illustrating an example of processing of the entire inspection work support system according to the first embodiment of the present invention.
具体的には、図１１は、本実施例における巡視作業支援システム全体の処理フローを示すフローチャートである。ステップ１１００、１１０１及び１１０４が携帯情報端末１０１による処理ステップであり、ステップ１１０２、１１０３、１１０５がサーバシステム１００による処理ステップである。以下、携帯情報端末１０１における各処理はＣＰＵ２０４が実行、制御し、サーバシステム１００における各処理はＣＰＵ３００が実行、制御するものとする。
Specifically, FIG. 11 is a flowchart showing a processing flow of the entire inspection work support system in the present embodiment.
まずは、巡視点検を担当するユーザ（巡視員）が携帯情報端末１０１を持って現場に行き、巡視点検作業を開始する（ステップ１１００）。
First, a user (patient) in charge of inspection inspection goes to the site with the
巡視員は対象設備の付近まで行き、携帯情報端末１０１を用いて対象設備２１１の写真を撮影する。携帯情報端末１０１は、撮影時の位置情報、日時、３軸加速度センサ及び３軸地磁気センサの値を取得し、撮影画像と上記の取得情報をサーバシステム１００に送信する（ステップ１１０１）。
The patrolman goes to the vicinity of the target equipment and takes a picture of the
撮影条件付加プログラム３０９は、携帯情報端末１０１から送信されてきた取得情報から、撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末１０１の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時及び撮影位置情報等）を算出し、それらをメタデータとして撮影画像のＥｘｉｆ情報に付加する（ステップ１１０２）。撮影条件付加プログラム３０９の詳細処理については後述する。
The shooting
経時変化検出プログラム３１０は、ステップ１３０２で撮影画像に付加された撮影条件を参照し、その撮影条件に近い撮影条件を持つ該当する設備の過去の撮影画像をデータベース３０３の設備画像データ４０１から検索し、撮影した画像と検索した対象設備の過去の撮影画像の経時変化を検出し、検出結果を携帯情報端末に送信する（ステップ１１０３）。変化検出プログラムの詳細処理は後述する。
The temporal
ステップ１１０３と並行して、サーバシステム１００は、ステップ１１０２で撮影条件を付加した撮影画像を、その設備ＩＤに基づいてデータベース３０３の設備画像データ４０１に格納する（ステップ１１０５）。
In parallel with
携帯情報端末１０１は、サーバシステム１００から送信された変化の検出結果を表示部２０１に表示する（ステップ１１０４）。
The
該当日（すなわち巡視点検等の作業を行う日）の巡視が全て終了した場合は処理は終了である。まだ巡視対象が残っている場合にはステップ１１０１へ戻り、ステップ１１０１〜ステップ１１０５の処理を、全ての巡視対象を巡視し終えるまで繰り返す（ステップ１１０６）。
When all the inspections on the corresponding day (that is, the day on which inspection work or the like is performed) are completed, the processing is ended. If there are still inspection targets left, the process returns to step 1101 and the processing of
次に、図１１の処理フローチャートにおける処理ステップ１１０１、１１０２（撮影条件付加プログラム３０９）、１１０５の詳細について図１２、図１３を用いて説明する。
Next, details of
図１２は、本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１１のフローチャートにおける処理ステップ１１０１、１１０２（撮影条件付加プログラム３０９）及び１１０５の詳細を示す。図１２において、ステップ１２００、１２０１、１２０２、１２０３及び１２０４が携帯情報端末１０１による処理を示し、ステップ１２０５、１２０６及び１２０７はサーバシステム１００による処理を示す。特に、ステップ１２０６は撮影条件付加プログラム３０９の処理を示す。
FIG. 12 is a flowchart showing details of the processing of the inspection work support system according to the first embodiment of the present invention. Specifically, the
まず、巡視、点検を行っている巡視員が対象設備２１１の付近で携帯情報端末１０１の操作部２０５を操作することで撮影部２０９に対象設備２１１の撮影を指示する（ステップ１２００）。
First, a patrolman who performs inspection and inspection operates the
巡視員の撮影指示を受けた撮影部２０９が対象設備２１１を撮影し、撮影によって取得された画像データをメモリ２０６に格納する（ステップ１２０１）。
The
巡視員からの撮影指示をトリガとして、日時取得部２０２は撮影を実行した日時を取得し、メモリに格納する（ステップ１２０２）。
The
巡視員からの撮影指示をトリガとして、位置情報取得部２０３がＧＰＳ衛星２１０から携帯情報端末の位置情報を取得し、３軸加速度センサ２０７は端末のｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサ２０８は端末のｘ、ｙ、ｚ軸方向の地磁気を取得し、それらをメモリ２０６に格納する（ステップ１２０３）。
The position
ステップ１２０１〜１２０３によってメモリ２０６に格納された情報（撮影画像、携帯情報端末の位置情報、撮影日時、加速度、地磁気）を無線通信部２００がネットワーク１０２を介してサーバシステム１００に送信する（ステップ１２０４）。
The
サーバシステム１００は、ステップ１２０４で携帯情報端末１０１から送信された撮影画像と情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気）をメモリ３０６に格納する（ステップ１２０５）。
The
撮影条件付加プログラム３０９は、撮影画像データと情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気）とデータベース３０３に含まれる設備情報データ４００とを用いて撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を算出し、撮影画像にメタデータとして付加する（ステップ１２０６）。
The shooting
サーバシステム１００は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像を、対応する設備ＩＤが示す設備画像データ４０１に格納する（ステップ１２０７）。
The
次に撮影条件付加プログラム３０９の詳細処理について図１３を用いて説明する。図１３は、本発明の実施例１の撮影条件付加プログラム３０９の詳細な処理フローチャートである。
Next, detailed processing of the shooting
まず、撮影条件付加プログラム３０９は、３軸加速度センサ２０７から取得したｘ、ｙ、ｚ軸方向の加速度と、３軸地磁気センサ２０８から取得した端末のｘ、ｙ、ｚ軸方向の地磁気のセンサ値から、前記携帯情報端末１０１の姿勢角Ａ、Ｂ、Ｃを算出する（ステップ１３００）。加速度センサ値と地磁気センサ値から端末の姿勢角を算出する方法は一般に知られているので、ここでは説明を割愛する。
First, the imaging
次に撮影条件付加プログラム３０９は、ステップ１２０６で算出した角度Ａ（＝端末の向く方位角）とＧＰＳから取得した携帯情報端末１０１の位置情報とデータベース３０３における設備情報データ４００に格納されている設備位置情報から、撮影画像に写っている対象設備２１１の設備ＩＤを特定する（ステップ１３０１）。具体的には、撮影条件付加プログラム３０９は、撮影位置の周辺に設置されている設備のなかで、撮影位置からステップ１３００で算出した方位角で撮影した場合に撮影可能な設備を設備情報データ４００から検索することで、撮影された対象設備２１１の設備ＩＤを特定する。
Next, the imaging
なお、上記の設備ＩＤの特定方法は一例であり、撮影条件付加プログラム３０９は撮影した対象設備２１１の設備ＩＤをいかなる方法で特定してもよい。例えば、巡視員が撮影した対象設備２１１の設備ＩＤをあらかじめ知っていた場合には、巡視員がその設備ＩＤを手動で携帯情報端末１０１に入力してもよい。あるいは、対象設備２１１の外観に当該対象設備２１１の設備ＩＤを示す表示が含まれる場合には、巡視員が目視でその情報を読み取って携帯情報端末１０１に入力してもよいし、携帯情報端末１０１が撮影画像からその情報を読み取ってもよい。あるいは、巡視員が対象設備２１１の位置を示す情報を入力し、それに従って携帯情報端末１０１又はサーバシステム１００が対象設備２１１の設備ＩＤを特定してもよい。
Note that the above-described method for identifying the facility ID is an example, and the imaging
撮影条件付加プログラム３０９は、携帯情報端末１０１の位置情報とステップ１３０１で特定した対象設備２１１の位置情報から、両者の距離（すなわち撮影距離）を算出する（ステップ１３０２）。
The shooting
最後に撮影条件付加プログラム３０９は、算出した撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を図８に示すようにメタデータとして撮影画像のヘッダ部分に書き込む（ステップ１３０３）。
Finally, the shooting
次に、図１１の処理フローチャートにおける処理ステップ１１０３（経時変化検出プログラム３１０）及び１１０４の詳細について図１４、図１５、図１６、図１７、図１８及び図１９を用いて説明する。 Next, details of processing steps 1103 (time change detection program 310) and 1104 in the processing flowchart of FIG. 11 will be described with reference to FIG. 14, FIG. 15, FIG. 16, FIG.
図１４は、本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１１のフローチャートにおける処理ステップ１１０３（経時変化検出プログラム３１０）及び１１０４の詳細を示す。図１４において、ステップ１４００、１４０１、１４０２、１４０３及び１４０４がサーバシステム１００による処理を示し、ステップ１４０５は携帯情報端末１０１による処理を示す。特に、ステップ１４００、１４０１、１４０２、１４０３及び１４０４は変化検出プログラム３１の処理を示す。
FIG. 14 is a flowchart showing details of the processing of the patrol work support system according to the first embodiment of the present invention. Specifically, details of processing steps 1103 (time change detection program 310) and 1104 in the flowchart of FIG. 11 are shown. Show. In FIG. 14,
まず、変化検出プログラム３１０によって実行される処理ステップ１４００、１４０１、１４０２、１４０３及び１４０４について説明する。
First, processing
変化検出プログラム３１０は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像から設備ＩＤを読み取り、その設備ＩＤに該当する過去の設備画像をデータベース３０３の設備画像データ４０１から検索する（ステップ１４００）。
The
次に、変化検出プログラム３１１は、ステップ１４００で検索した対象設備の画像群から、撮影画像に付加されている撮影条件（撮影方角、姿勢角、位置）と近い条件を持つ画像を検索し、読み込む（ステップ１４０１）。図１６は、現在の撮影画像の撮影条件と似た撮影条件を持つ過去画像の検索する処理（ステップ１４０１）の一例を示す説明図である。撮影画像１６００には撮影条件付加プログラム３０９で付加された撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）が記録されている。これらの撮影条件のうち、主に携帯情報端末の位置情報、撮影距離、撮影方角、端末の姿勢角を用いて、空間上で対象設備をどの位置からどのような角度で撮影したかを判断する。図１６の例では、現在、ユーザ（巡視員）１６０４が携帯情報端末１０１の撮影部２０９を対象設備１６０２に向けて撮影した。このときステップ１４０１では、撮影画像に付加された撮影条件から、例えば、撮影位置のある程度近い範囲１６０５（予め決めておいた閾値による範囲）で撮影された同設備の過去の撮影画像を検索する。図１６の例では、撮影条件の近い範囲１６０５内に１６０３があるので、この撮影写真を経時変化検出対象とする。図１６の例では撮影位置のある程度近い範囲を示しているが、その他、端末の姿勢角（Ａ、Ｂ、Ｃ）もある程度近いものを対象とするとしてもよい。
Next, the change detection program 311 searches for and reads an image having conditions close to the shooting conditions (shooting direction, posture angle, and position) added to the shot image from the image group of the target facility searched in
次に、経時変化検出プログラム３１０は、ステップ１４０１で検索した過去の撮影画像と現在の撮影画像の経時差分を検出する（ステップ１４０２）。ステップ１４０２の処理の詳細を図１５、図１７を用いて説明する。図１５は経時変化検出プログラム３１０（ステップ１４０１）の処理の詳細を示すフローチャートであり、図１７は経時変化検出プログラム３１０の処理の一例を示す説明図である。
Next, the temporal
まず、現在と過去の画像中で、対象物部分と背景部分を分離し、画像のそれぞれの部分から特徴点を算出する（ステップ１５００）。対象物部分と背景部分の分離については、撮影画像に付加されている撮影条件における画像中の対象物位置情報に基づいて実行される。この撮影条件における画像中の対象物位置情報は、画像の撮影時に、携帯情報端末１０１が例えば表示部がタッチパネルによって構成されている場合には、撮影者が撮影画像を見ながら、タッチパネル上をなぞることで対象物領域を指定してもよいし、撮影画像がサーバシステムに送信された後に撮影条件付加プログラム３０９で、色情報などに基づいて背景と対象物領域を分離し、対象物領域を指定してもよい。上記の処理によって、例えば、図１７の過去画像１７０１の場合は、対象物部分１７０８と背景部分１７０９が分離される。その後、画像の対象物部分、背景部分それぞれから特徴点を算出する。特徴点とは、画像においてエッジ等のコントラストが明確になっている点のことである。この特徴点算出処理には、例えば、水平垂直斜め方向の輝度変化に反応する３×３の微分フィルタを用いる。このようなフィルタ処理では、画像のエッジ等、例えば図１７における対象設備１７０８の場合、外形の辺や角等のコントラストが明確になっている場所に対応する画素において、得られる特徴量が最大となる。すなわち、平面形状の特徴点を抽出することができる。図１７の例においては、現在画像１７０２、過去画像１７０８の対象物部分と背景部分それぞれに対して、特徴点１７０３、１７０４等が算出されている。
First, the object portion and the background portion are separated from the current and past images, and feature points are calculated from the respective portions of the image (step 1500). Separation of the object portion and the background portion is performed based on the object position information in the image under the image capturing condition added to the captured image. The object position information in the image under this shooting condition is traced on the touch panel while the photographer looks at the shot image when the
次に、経時変化検出プログラム３１０は、画像の対象物部分の特徴点に重みを付けて、２枚の画像の特徴点の対応関係に基づいて画像形状変換パラメータを算出する（ステップ１５０１）。典型的には対象物部分の特徴点の重みを１、背景部分の特徴点の重みを０として画像形状変換パラメータを算出する。すなわち、過去の画像を基準画像とし、現在の画像を変換画像とすると、ステップ１５０１では、基準画像と変換画像における対象物部分の特徴点のみを用いて、それらの特徴点の対応付けを行い、基準画像に対する変換画像の形状変換パラメータを算出する。変換変化前の座標を（ｘ、ｙ）、変化後の座標を（Ｘ，Ｙ）とすると画像形状変換パラメータＨによる座標変換は（数１）で表すことができる。画像形状変換パラメータＨは遮蔽変換を表すパラメータである。
Next, the temporal
ここで、ｓはスケーリングパラメータである。未知のパラメータが８個あり、１つの対応点から得られる方程式は２本である。よって４つの対応点（ｘ１、ｙ１）−（Ｘ１，Ｙ１）、（ｘ２、ｙ２）−（Ｘ２，Ｙ２）、（ｘ３、ｙ３）−（Ｘ３，Ｙ３）、（ｘ４、ｙ４）−（Ｘ４，Ｙ４）について方程式を作れば、パラメータＨが算出できる。４組の対応点を導入すると、（数２）のように書き換えられる。 Here, s is a scaling parameter. There are eight unknown parameters, and two equations are obtained from one corresponding point. Therefore, the four corresponding points (x 1 , y 1 )-(X 1 , Y 1 ), (x 2 , y 2 )-(X 2 , Y 2 ), (x 3 , y 3 )-(X 3 , Y 3 ), if an equation is created for (x 4 , y 4 ) − (X 4 , Y 4 ), the parameter H can be calculated. When four sets of corresponding points are introduced, the equation is rewritten as (Equation 2).
（数２）を解くことで得られた変換パラメータＨによって、変換画像から基準画像への画像の変換は、変換画像の変換前の座標（ｘ、ｙ）、変換後の座標（Ｘ，Ｙ）とすると、式（数３）、（数４）で表すことができる。 According to the conversion parameter H obtained by solving (Equation 2), the conversion of the image from the converted image to the reference image is performed by converting the converted image into coordinates (x, y) and converted coordinates (X, Y). Then, it can be expressed by equations (Equation 3) and (Equation 4).
具体的な２枚の画像の特徴点の対応付けについては、ＲＡＮＳＡＣ（Ｒａｍｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）と呼ばれる手法がよく用いられ、この方法によると、変換画像にてランダムに選択した４点の特徴点に対して変換パラメータＨを適用し、（数３）（数４）により基準画像の座標に変換する。そして、その近傍の基準画像の特徴点において最も位置の誤差が小さくなる特徴点を選択し対応座標とし、対応関係を決めた４点の特徴点に対し、再び変換パラメータを計算する。これらの処理を繰り返し行うことで、最小の位置誤差となる特徴点の組合せを求める。そして、最終的に決まった特徴点の対応関係における変換パラメータＨが変換画像から基準画像への変換パラメータＨとなる。 A specific technique called RANSAC (Random Sample Consensus) is often used for associating feature points between two specific images. According to this method, four feature points randomly selected in a converted image are used. Then, the conversion parameter H is applied to convert to the coordinates of the reference image by (Equation 3) and (Equation 4). Then, the feature point having the smallest positional error is selected from the feature points of the reference image in the vicinity thereof, and the corresponding coordinate is selected, and the conversion parameters are calculated again for the four feature points for which the correspondence relationship is determined. By repeating these processes, a combination of feature points that gives the minimum position error is obtained. Then, the conversion parameter H in the finally determined correspondence relationship between the feature points becomes the conversion parameter H from the converted image to the reference image.
算出された画像形状変換パラメータに基づいて、現在の画像を形状変換し、過去の画像に位置合せする（ステップ１５０２）。ステップ１５０１で求められた形状変換パラメータＨを現在の画像（変換画像）に適用し、過去の画像（基準画像）に形状変換することで位置合せする図１７の例によると、形状変換後の現在画像は１７０５となり、過去画像と現在画像の対象物部分に関して位置合せが行われている。
Based on the calculated image shape conversion parameter, the current image is shape-converted and aligned with the past image (step 1502). According to the example of FIG. 17 in which the shape conversion parameter H obtained in
次に、対象物部分について過去の画像と位置合せ後の現在画像との比較を行い、閾値以上の画素値の変化がある程度まとまって検出されたら経時変化ありと判定する（ステップ１５０３）。ステップ１５０３で検出される経時変化は、対象物そのものの経時変化（錆、亀裂、変色等）である。図１７の例では、形状変換後の現在画像１７０５と過去画像１７０１の対象物部分の比較、つまり差分をとった結果、予め設定された閾値以上の画素値の変化がある程度まとまって検出され、対象物そのものの経時変化１７０７が検出されている。
Next, a comparison is made between the past image and the current image after alignment for the object portion, and if changes in pixel values equal to or greater than the threshold are detected to some extent, it is determined that there is a change with time (step 1503). The temporal change detected in
次に、２枚の画像中の対象物が位置合せされた状態で、背景部分の特徴点に重みを付けて、２枚の画像の特徴点の対応関係に基づいて画像形状変換パラメータを算出する（ステップ１５０４）。典型的には、背景部分の特徴点の重みを１、対象物部分の特徴点の重みを０として画像変換パラメータの算出を行う。具体的には、ステップ１５０２で形状変換された現在の画像、すなわち図１７の変換画像１７０５をそのまま用い、過去画像１７０１を基準画像とし、基準画像と変換画像１７０５における背景部分の特徴点のみを用いて、それらの特徴点の対応付けを行い、基準画像に対する変換画像１７０５の形状変換パラメータを算出する。具体的な処理内容はステップ１５０１と同様であるので割愛する。
Next, in a state where the objects in the two images are aligned, the feature points of the background portion are weighted, and the image shape conversion parameter is calculated based on the correspondence between the feature points of the two images. (Step 1504). Typically, the image conversion parameter is calculated by setting the weight of the feature point of the background portion to 1 and the weight of the feature point of the object portion to 0. Specifically, the current image whose shape has been converted in
算出された画像形状変換パラメータから、回転量、移動量を算出し、閾値以上であれば経時差分ありと判定する（ステップ１５０５）。 ステップ１５０４では、２枚の画像の対象物部分の位置合せが行われている状態で背景部分の形状変換パラメータを算出した。つまり、ステップ１５０４で算出された変換パラメータは、対象物を基準とした背景の回転量と移動量を示しており、すなわち対象物と背景との相対的な経時変化の度合いを表していることになる。ステップ１５０４で算出された変換パラメータは射影変換を表しており、射影変換は平行移動、拡大、縮小、回転を含んだ変換であるので、このパラメータから回転の度合い、移動の度合いを算出できる。もし、算出した回転度合い、移動度合いが予め決めておいた閾値以上であったら、経時変化ありと判定される。例えば図１７では、変換パラメータから回転成分が算出された場合を示しており、つまり対象物の傾斜に関する経時変化が検出されている。
A rotation amount and a movement amount are calculated from the calculated image shape conversion parameters, and if there is a threshold value or more, it is determined that there is a time difference (step 1505). In
変化検出プログラム３１０は、ステップ１４０２の検出結果と、データベース３０３における対象設備の経時変化検出に用いた過去画像とそれに対応する巡視報告書を履歴データ４０３から検索し、それらを携帯情報端末１０１に送信する（ステップ１３０３）。
The
ステップ１３０４は携帯情報端末１０１での処理である。携帯情報端末１０１は、サーバシステム１００から送信されてきた経時変化の検出結果を端末の表示部２０１に表示する。変化を検出した場合には、変化を検出した箇所を撮影画像に重畳して強調表示することで、巡視員に注意を促す（ステップ１３０４）。ステップ１３０４における携帯情報端末１０１の表示部２０１を用いた変化検出結果の提示の具体例について、図１８を参照して説明する。
Step 1304 is processing in the
図１８は、本発明の実施例１の巡視作業支援システムによる現在の撮影画像と過去の撮影画像の経時変化の検出結果の表示の一例を示す説明図である。具体的には携帯情報端末１０１の表示部２０１に現在の撮影画像１８００が表示されており、さらに追加表示１８０１と１８０２は、撮影画像に重畳して変化が検出された部分を強調、もしくはマーク付けしている。追加表示１８０１は設備そのものの経時変化、この例では設備の亀裂を示しており、追加表示１８０２は背景との相対的な経時変化、この例では設備の傾斜を示している。さらに、それぞれの経時変化部分に吹き出しでアノテーション１８０３が付加されている。この実施例では、表示部２０１がタッチパネルによって構成されている。このアノテーション１８０３の部分をタッチすることで、表示部２０１の表示が図１９に示す巡視報告書閲覧画面に遷移する。この巡視報告書は、経時変化検出に用いられた対象設備の過去画像が撮影されたときに作成された巡視報告書であり、データベース３０３の履歴データ４０３から検索し、変化の検出結果とともにサーバシステム１００から送信されてくるものである。過去の撮影画像１８０５や巡視報告書１８０４を参照可能とすることによって、巡視の参考とすることができる。以上のような経時変化部分の強調表示によって、巡視員が容易に経年変化に容易に気付くことができ、判断支援をすることができるため、巡視点検の精度が向上する。
FIG. 18 is an explanatory diagram illustrating an example of a display of a detection result of a temporal change in a current captured image and a past captured image by the inspection work support system according to the first embodiment of the present invention. Specifically, the current photographed
以上、本発明の実施形態について、添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。 As mentioned above, although embodiment of this invention was described in detail with reference to attached drawing, this invention is not limited to such a specific structure, Various within the meaning of the attached claim. Includes modifications and equivalent configurations.
例えば、上記の実施例は、電柱等の電力配電設備の巡視作業を支援するために本発明を適用する実施形態であるが、本発明は、巡視作業の支援に限らず、対象物の状態の変化（例えば経時変化）を管理するためのシステム、サーバ及び端末に幅広く適用することができる。 For example, the above-described example is an embodiment in which the present invention is applied to support a patrol work of a power distribution facility such as a power pole, but the present invention is not limited to the patrol work support, The present invention can be widely applied to systems, servers, and terminals for managing changes (for example, changes over time).
また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Further, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described. Further, a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment. In addition, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。 Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function is stored in a non-volatile semiconductor memory, a hard disk drive, a storage device such as an SSD (Solid State Drive), or a computer-readable non-readable information such as an IC card, SD card, or DVD. It can be stored on a temporary data storage medium.
また、図面には、実施形態を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。 In the drawings, control lines and information lines considered necessary for describing the embodiment are shown, and all control lines and information lines included in an actual product to which the present invention is applied are not necessarily shown. Not necessarily. Actually, it may be considered that almost all the components are connected to each other.
１００ サーバシステム
１０１ 携帯情報端末
１０２ ネットワーク
２００ 無線通信部
２０１、３０５ 表示部
２０２ 日時取得部
２０３ 位置情報取得部
２０４、３００ ＣＰＵ
２０５、３０４ 操作部
２０６、３０６ メモリ
２０７ ３軸加速度センサ
２０８ ３軸地磁気センサ
２０９ 撮影部
２１０ ＧＰＳ衛星
２１１ 対象設備
３０１ ネットワークインタフェース
３０２ Ｉ／Ｏ
３０３ データベース
３０７ データバス
DESCRIPTION OF
205, 304
303 Database 307 Data bus
Claims (12)
前記ネットワークに接続される端末装置と、を有し、
前記端末装置は、背景を含んで対象物を撮影する撮影部、を有し、
前記計算機は、前記撮影部によって撮影された対象物の画像の撮影条件を算出する撮影条件取得部と、
前記撮影条件取得部によって取得された撮影条件を備える対象物の複数の撮影画像を保持する記憶装置を有し、
前記計算機は、さらに、前記端末装置で撮影された対象物の現在の画像と、前記記憶装置に保持されている前記対象物の過去の画像から、画像における対象物部分から抽出される特徴点と背景部分から抽出される特徴点との重みを変えて前記過去の画像と前記現在の画像との位置合せを行うことで、前記対象物そのものの経時変化と、前記対象物と前記背景との相対的な経時変化を両方検出する変化検出部を有し、
前記端末装置は、さらに、前記検出された対象物の経時変化の情報を表示する表示部を有することを特徴とする状態変化管理システム。 A computer connected to the network;
A terminal device connected to the network,
The terminal device includes an imaging unit that captures an object including a background,
The calculator includes an imaging condition acquisition unit that calculates imaging conditions of an image of an object captured by the imaging unit;
A storage device that holds a plurality of captured images of the object having the imaging conditions acquired by the imaging condition acquisition unit;
The calculator further includes a current image of the object photographed by the terminal device, and a feature point extracted from an object portion in the image from a past image of the object held in the storage device. By changing the weight of the feature point extracted from the background portion and aligning the past image and the current image, the temporal change of the object itself and the relative relationship between the object and the background A change detector that detects both changes over time,
The terminal device further includes a display unit for displaying information on a change with time of the detected object.
前記端末装置は、さらに、対象物の画像を撮影した位置の情報を取得する位置情報取得部と、対象物の画像を撮影した端末装置の姿勢角度の情報を取得する姿勢情報取得部と、対象物の画像を撮影した日時を取得する日時取得部と、を有し、
前記撮影条件取得部は、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した端末装置の姿勢角度の情報と、前記対象物の画像を撮影した日時の情報と、前期複数対象物の位置情報から、前記撮影部によって撮影された対象物の画像の撮影位置と、撮影距離と、撮影時の端末装置の姿勢角度と、対象物の識別ＩＤと、撮影日時と、を含む撮影条件を算出することを特徴とする請求項１に記載の状態変化管理システム。 The storage device further holds position information of a plurality of objects,
The terminal device further includes a position information acquisition unit that acquires information on a position at which an image of the object is imaged, an attitude information acquisition unit that acquires information on an attitude angle of the terminal device that images the image of the object, and a target A date and time acquisition unit that acquires the date and time when the image of the object was taken,
The imaging condition acquisition unit includes information on a position where an image of the object is imaged, information on an attitude angle of a terminal device that images the image of the object, information on a date and time when the image of the object is imaged, From the position information of the plurality of objects in the previous period, the shooting position of the image of the object shot by the shooting unit, the shooting distance, the attitude angle of the terminal device at the time of shooting, the identification ID of the target object, the shooting date and time, The state change management system according to claim 1, further comprising:
前記端末装置から前記対象物の撮影画像と、撮影時の撮影条件を取得する第２ステップと、
前記撮影画像と、保持されていた前記対象物の過去の画像とから、前記対象物の経時変化を検出する第３ステップと、
前記検出された前記対象物の経時変化の情報を表示する第４ステップとを有し、
前記第３ステップでは、前記撮影画像と前記対象物の過去の画像とから、画像における対象物部分から抽出される特徴点と背景部分から抽出される特徴点との重みを変えて前記過去の画像と前記現在の画像との位置合せを行い、もって前記対象物そのものの経時変化と、前記対象物と前記背景との相対的な経時変化を検出することを特徴とする状態変化管理方法。 A first step of taking an image of an object with a terminal device;
A second step of acquiring a photographed image of the object and photographing conditions at the time of photographing from the terminal device;
A third step of detecting a change with time of the object from the captured image and a past image of the object held;
A fourth step of displaying information on the change of the detected object with time,
In the third step, the past image is obtained by changing the weight of the feature point extracted from the object part and the feature point extracted from the background part from the photographed image and the past image of the object. A state change management method characterized by detecting a time-dependent change of the object itself and a time-dependent change of the object and the background.
前記端末装置は、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した端末装置の姿勢角度の情報と、前記対象物の画像を撮影した日時の情報と、前期複数対象物の位置情報から、前記撮影部によって撮影された対象物の画像の撮影位置と、撮影距離と、撮影時の端末装置の姿勢角度と、対象物の識別ＩＤと、撮影日時と、を含む撮影条件を算出することを特徴とする請求項７に記載の状態変化管理方法。 In the second step, a captured image of a plurality of objects and shooting conditions at the time of shooting are further acquired and held,
The terminal device includes information on a position where the image of the object is captured, information on an attitude angle of the terminal device where the image of the object is captured, information on a date and time when the image of the object is captured, From the position information of the object, it includes the shooting position of the image of the object shot by the shooting unit, the shooting distance, the attitude angle of the terminal device at the time of shooting, the identification ID of the target object, and the shooting date and time. The state change management method according to claim 7, wherein a photographing condition is calculated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014141890A JP2016018463A (en) | 2014-07-10 | 2014-07-10 | State change management system and state change management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014141890A JP2016018463A (en) | 2014-07-10 | 2014-07-10 | State change management system and state change management method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016018463A true JP2016018463A (en) | 2016-02-01 |
Family
ID=55233624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014141890A Pending JP2016018463A (en) | 2014-07-10 | 2014-07-10 | State change management system and state change management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016018463A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017164288A1 (en) * | 2016-03-24 | 2017-09-28 | 日本電気株式会社 | System, terminal, method, and program for displaying images |
| JP2018010630A (en) * | 2016-06-30 | 2018-01-18 | 株式会社日立システムズ | Subject abnormality presence/absence investigation system |
| JP2019087111A (en) * | 2017-11-08 | 2019-06-06 | 株式会社東芝 | Method, device, and program for maintaining electric power facility |
| JP2019179305A (en) * | 2018-03-30 | 2019-10-17 | 東北電力株式会社 | Utility pole management system and utility pole management method |
| KR20200069911A (en) * | 2018-12-07 | 2020-06-17 | 한국전자통신연구원 | Method and apparatus for identifying object and object location equality between images |
| WO2020174916A1 (en) | 2019-02-26 | 2020-09-03 | 株式会社日立国際電気 | Imaging system |
| JP2021026330A (en) * | 2019-07-31 | 2021-02-22 | 株式会社リコー | Examination result management server, communication system, communication method and program |
| JPWO2020066414A1 (en) * | 2018-09-28 | 2021-08-30 | シャープ株式会社 | Image generator, image generation method, image generation program and recording medium |
| WO2021235063A1 (en) * | 2020-05-18 | 2021-11-25 | パナソニックＩｐマネジメント株式会社 | Disaster prevention equipment management system, disaster prevention system, disaster prevention equipment management method, and program |
| WO2023162613A1 (en) * | 2022-02-25 | 2023-08-31 | パナソニックＩｐマネジメント株式会社 | Image management system, image management method, and program |
| WO2023203847A1 (en) * | 2022-04-22 | 2023-10-26 | 株式会社Ｎｔｔドコモ | Display control device |
| CN117152187A (en) * | 2023-10-30 | 2023-12-01 | 山东中科冶金矿山机械有限公司 | Crack contour extraction method in geological mapping |
| JP7467206B2 (en) | 2020-04-03 | 2024-04-15 | 株式会社東芝 | Video management support system and video management support method |
-
2014
- 2014-07-10 JP JP2014141890A patent/JP2016018463A/en active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017164288A1 (en) * | 2016-03-24 | 2017-09-28 | 日本電気株式会社 | System, terminal, method, and program for displaying images |
| JPWO2017164288A1 (en) * | 2016-03-24 | 2018-10-18 | 日本電気株式会社 | Image display system, terminal, method and program |
| JP2018010630A (en) * | 2016-06-30 | 2018-01-18 | 株式会社日立システムズ | Subject abnormality presence/absence investigation system |
| JP2019087111A (en) * | 2017-11-08 | 2019-06-06 | 株式会社東芝 | Method, device, and program for maintaining electric power facility |
| JP2019179305A (en) * | 2018-03-30 | 2019-10-17 | 東北電力株式会社 | Utility pole management system and utility pole management method |
| JP7011515B2 (en) | 2018-03-30 | 2022-01-26 | 東北電力株式会社 | Utility pole management system and utility pole management method |
| JPWO2020066414A1 (en) * | 2018-09-28 | 2021-08-30 | シャープ株式会社 | Image generator, image generation method, image generation program and recording medium |
| KR102297217B1 (en) * | 2018-12-07 | 2021-09-03 | 한국전자통신연구원 | Method and apparatus for identifying object and object location equality between images |
| KR20200069911A (en) * | 2018-12-07 | 2020-06-17 | 한국전자통신연구원 | Method and apparatus for identifying object and object location equality between images |
| WO2020174916A1 (en) | 2019-02-26 | 2020-09-03 | 株式会社日立国際電気 | Imaging system |
| US11373409B2 (en) | 2019-02-26 | 2022-06-28 | Hitachi Kokusai Electric Inc. | Photography system |
| JP2021026330A (en) * | 2019-07-31 | 2021-02-22 | 株式会社リコー | Examination result management server, communication system, communication method and program |
| JP7322575B2 (en) | 2019-07-31 | 2023-08-08 | 株式会社リコー | Inspection result management server, communication system, communication method, and program |
| JP7467206B2 (en) | 2020-04-03 | 2024-04-15 | 株式会社東芝 | Video management support system and video management support method |
| WO2021235063A1 (en) * | 2020-05-18 | 2021-11-25 | パナソニックＩｐマネジメント株式会社 | Disaster prevention equipment management system, disaster prevention system, disaster prevention equipment management method, and program |
| WO2023162613A1 (en) * | 2022-02-25 | 2023-08-31 | パナソニックＩｐマネジメント株式会社 | Image management system, image management method, and program |
| WO2023203847A1 (en) * | 2022-04-22 | 2023-10-26 | 株式会社Ｎｔｔドコモ | Display control device |
| CN117152187A (en) * | 2023-10-30 | 2023-12-01 | 山东中科冶金矿山机械有限公司 | Crack contour extraction method in geological mapping |
| CN117152187B (en) * | 2023-10-30 | 2024-01-26 | 山东中科冶金矿山机械有限公司 | Crack contour extraction method in geological mapping |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016018463A (en) | State change management system and state change management method | |
| JP5255595B2 (en) | Terminal location specifying system and terminal location specifying method | |
| JP2015001756A (en) | State change management system, state change management server, and state change management terminal | |
| US20180188033A1 (en) | Navigation method and device | |
| JP6316176B2 (en) | Inspection history management system, inspection history management method | |
| JP2013222335A (en) | Object identification system, object identification server and object identification terminal | |
| KR20090019184A (en) | Image reproducing apparatus which uses the image files comprised in the electronic map, image reproducing method for the same, and recording medium which records the program for carrying the same method | |
| WO2018214778A1 (en) | Method and device for presenting virtual object | |
| US9836826B1 (en) | System and method for providing live imagery associated with map locations | |
| WO2018193880A1 (en) | Plant equipment recognition system and plant equipment recognition method | |
| KR102198172B1 (en) | Photo Information Management Method, and User's Terminal Installed with Program Executing the Method | |
| JP2017211811A (en) | Display control program, display control method and display control device | |
| JP6672673B2 (en) | Information processing apparatus, control method, and program | |
| JP2022054521A (en) | Round inspection work evaluation system, round inspection work evaluation device, operation terminal, position detection terminal, and round inspection work evaluation method | |
| US10970876B2 (en) | Methods and apparatus for image locating relative to the global structure | |
| JP7001711B2 (en) | A position information system that uses images taken by a camera, and an information device with a camera that uses it. | |
| JP2017118319A (en) | Video retrieval system | |
| CN107291717B (en) | Method and device for determining position of interest point | |
| JP2022027111A (en) | Measurement processing device, method and program | |
| JP2014181954A (en) | Method for correcting positional information for information terminal, and method for correcting azimuth information, and information terminal | |
| JP2019002747A (en) | Destination specification system | |
| JP5517977B2 (en) | Video shooting position specifying device and video display system using the same | |
| JP2017016553A (en) | Photograph management apparatus, photograph management system, and photograph management method | |
| JP2008135996A (en) | Information processing method and information processor | |
| CN114600162A (en) | Scene lock mode for capturing camera images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170110 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170112 |