JP7408865B2 - Meter reading work device and method and meter reading work system - Google Patents
Meter reading work device and method and meter reading work system Download PDFInfo
- Publication number
- JP7408865B2 JP7408865B2 JP2023051859A JP2023051859A JP7408865B2 JP 7408865 B2 JP7408865 B2 JP 7408865B2 JP 2023051859 A JP2023051859 A JP 2023051859A JP 2023051859 A JP2023051859 A JP 2023051859A JP 7408865 B2 JP7408865 B2 JP 7408865B2
- Authority
- JP
- Japan
- Prior art keywords
- meter
- recognition
- image
- reading
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 96
- 238000012545 processing Methods 0.000 claims description 93
- 208000003580 polydactyly Diseases 0.000 claims description 4
- 230000008569 process Effects 0.000 description 77
- 238000004891 communication Methods 0.000 description 53
- 239000003550 marker Substances 0.000 description 27
- 230000006870 function Effects 0.000 description 16
- 230000009471 action Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000009434 installation Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Arrangements For Transmission Of Measured Signals (AREA)
- Character Input (AREA)
- Studio Devices (AREA)
Description
本発明は、メータ読み取り作業装置および方法ならびにメータ読み取り作業システムに関し、特に移動式のカメラにより各種メータの撮影画像から指示値を読み取るメータ読み取り作業装置および方法ならびにメータ読み取り作業システムに関する。 The present invention relates to a meter reading device and method, and a meter reading system, and more particularly to a meter reading device, method, and meter reading system that read indicated values from images of various meters using a mobile camera.
各種の工場やプラント等において、メータ装置の指示値（メータ値）を読み取る作業は、従来、作業員が巡回して目視確認するのが専らであったが、近時、メータ装置をカメラで撮影した撮影画像からその指示値を読み取ることで、設備の点検や監視業務の効率化を図るようにした技術が提案されている。 In various factories and plants, the work of reading the indicated values (meter values) of meter devices has traditionally been carried out exclusively by workers going around and visually checking the readings, but in recent years, meters have been photographed using cameras. A technology has been proposed that improves the efficiency of equipment inspection and monitoring operations by reading the indicated values from captured images.
例えば特許文献１には、カメラで撮影したメータ画像から指示領域を切り取り、切り取った指示領域を画像処理することによってメータ指示値を読み取る装置が開示されている。また、特許文献１には、種々のメータ形式に対応するための基準画像パターンとカメラで撮影したメータ画像とを照合してメータ形式を特定することや、読み取り対象のメータの指示面全体をカバーで覆うとともに、カバーの中心部にカメラを設置し、さらに、カメラの周囲にリングライトを配置することで、メータの指示面を常に一定の安定した明るさに保つことが開示されている。
For example,
しかしながら、メータ装置は、各種の工場やプラント等を始めとする様々な場所に設置されており、様々な撮影条件下でメータ装置の撮影を行う必要がある。撮影条件は、例えばメータ装置の設置場所、設置場所の周辺環境から照射される光の照度（光量）や向き等によってそれぞれ異なっており、また、撮影時刻によっても異なっている。したがって、カメラによるメータ読み取り作業には、メータ装置をカメラで撮影して良好な撮影画像を得るために様々な撮影条件に対応する必要があるという課題がある。 However, meter devices are installed in various places including various factories and plants, and it is necessary to photograph the meter devices under various photographing conditions. The photographing conditions vary depending on, for example, the installation location of the meter device, the illuminance (light amount) and direction of light emitted from the surrounding environment of the installation location, and also vary depending on the photographing time. Therefore, the meter reading operation using a camera has a problem in that it is necessary to cope with various photographing conditions in order to photograph the meter device with a camera and obtain a good photographed image.
特許文献１に開示されている技術は、上記の課題を解決することを意図しており、カメラにカバーを設けるとともに周囲にリングライトを配置することで、メータ装置を撮影する際の撮影条件を一定条件に維持することで、撮影画像が良好な認識状態となるようにしている。しかしながら、カバーやリングライト等の極めて限定された物理的な構成要素を準備することは決して容易ではなく、作業者は複雑となる装置構成を取り扱わなくてはならず利便性に劣るという課題がある。
The technology disclosed in
本発明は、前述のような従来の課題を解消すべくなされたものであり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りを可能にするメータ読み取り作業装置および方法ならびにメータ読み取り作業システムを提供する。 The present invention has been made in order to solve the conventional problems as described above, and provides a meter reading system that improves the convenience of meter reading work with a simple configuration and that enables meter reading with good recognition status. Work apparatus and methods and meter reading work systems are provided.
上記目的を達成するため、本発明に係るメータ読み取り作業装置は、メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を実行するメータ読み取り作業装置（２０）であって、
移動可能なカメラ（１１）で撮影された前記メータ装置の読み取り対象領域の画像を取得する画像取得部（２１１）と、
前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部（２１２）と、
前記カメラの操作者が視認可能なディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部（２２）と、を備え、
前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とする。
In order to achieve the above object, a meter reading work device according to the present invention is a meter reading work device (20) that reads an indicated value of a meter device based on an image of a reading target area of the meter device. ,
an image acquisition unit (211) that acquires an image of the reading target area of the meter device taken by a movable camera (11);
an image recognition unit (212) that performs image recognition processing to recognize a recognition target included in the image of the reading target area acquired by the image acquisition unit;
A plurality of instruction value display areas each displaying a part of the instruction value and displaying the instruction value as a whole are set in advance on a screen of a display that is visible to the operator of the camera, and the image recognition unit an output mode control unit (22) that controls to individually display each of the recognition states of the part of the instruction value recognized as the recognition target object in each of the plurality of instruction value display areas. ,
The output mode control unit displays binarized images corresponding to respective captured images of the part of the instruction value in the plurality of instruction value display areas as images representing recognition states of the portion of the instruction value. Each is characterized by being displayed in real time.
この構成により、指示値を構成する複数の要素の認識状態をそれぞれ個別に表示することで、作業者は当該複数の要素のそれぞれの認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
また、この構成により、作業者は、写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を端的に表す２値化画像を視認することで撮影画像の認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
With this configuration, by displaying the recognition status of multiple elements that make up the instruction value individually, the operator can change the position or posture of the camera, etc. while checking the recognition status of each of the multiple elements. It becomes possible to improve photographing conditions with only a simple operation, improve the convenience of meter reading work with a simple configuration, and enable meter reading with good recognition status.
In addition, with this configuration, the operator can visually confirm the recognition status of the photographed image by visually checking the binarized image that clearly represents the conditions in which the meter value cannot be recognized due to reflections, low illuminance, low contrast, blown out highlights, crushed shadows, etc. It is now possible to improve the shooting conditions with simple actions such as changing the position and posture of the camera while checking the camera, improving the convenience of meter reading work with a simple configuration, and improving the recognition status. This enables accurate meter reading.
本発明に係るメータ読み取り作業装置は、さらに、前記メータ装置が複数桁からなるメータ値をデジタル表示するデジタルメータ装置であり、前記画像認識部が、前記メータ値を含む画像を読み取り対象領域に設定するとともに、前記メータ値を含む画像の読み取り対象領域を前記メータ値の桁数に基づいて自動で分割することで、前記メータ値の各桁の数値の画像を含む複数の読み取り対象領域を設定することを特徴とする。 The meter reading work device according to the present invention is further a digital meter device in which the meter device digitally displays a meter value consisting of a plurality of digits, and the image recognition unit sets an image including the meter value as a reading target area. At the same time, by automatically dividing the reading target area of the image including the meter value based on the number of digits of the meter value, a plurality of reading target areas including images of numerical values of each digit of the meter value are set. It is characterized by
この構成により、デジタルメータ装置でデジタル表示されるメータ値の各桁をメータ値の桁数に基づいて自動的に分割および設定されるため、作業者はメータ値の各桁の読み取り対象領域を逐次設定する必要はなく、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。 With this configuration, each digit of the meter value digitally displayed on the digital meter device is automatically divided and set based on the number of digits of the meter value, so the operator can sequentially select the area to be read for each digit of the meter value. There is no need to set it, and the convenience of meter reading work is improved with a simple configuration, and it is possible to read meters with good recognition status.
本発明に係るメータ読み取り作業装置は、さらに、前記メータ装置が複数桁からなるメータ値をデジタル表示するデジタルメータ装置であり、前記出力態様制御部は、前記メータ値の各桁の認識状態を前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする。 The meter reading work device according to the present invention is further a digital meter device in which the meter device digitally displays a meter value consisting of a plurality of digits, and the output mode control section controls the recognition state of each digit of the meter value. It is characterized in that it is controlled to be displayed individually in each of a plurality of instruction value display areas.
この構成により、デジタルメータ装置でデジタル表示されるメータ値の各桁に分割して各桁の認識状態をそれぞれ個別に表示することで、作業者はメータ値の各桁のそれぞれの認識状態の確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。 With this configuration, the meter value digitally displayed on the digital meter device is divided into each digit and the recognition status of each digit is displayed individually, allowing the operator to check the recognition status of each digit of the meter value. However, it is now possible to improve the shooting conditions with simple actions such as changing the position and posture of the camera, improving the convenience of meter reading work with a simple configuration, and improving the meter reading condition with good recognition status. Reading becomes possible.
本発明に係るメータ読み取り作業装置は、さらに、前記出力態様制御部は、前記メータ値の撮影画像から認識される前記メータ値の各桁の読み取り結果を前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする。 In the meter reading work device according to the present invention, the output mode control section may individually transmit the reading result of each digit of the meter value recognized from the photographed image of the meter value to each of the plurality of indicated value display areas. It is characterized in that it is controlled so that it is displayed on the screen.
この構成により、デジタルメータ装置でデジタル表示されるメータ値の各桁に分割して各桁の認識状態および読み取り結果をそれぞれ個別に表示することで、作業者はメータ値の各桁のそれぞれの認識状態および読み取り結果を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。 With this configuration, the meter value digitally displayed on the digital meter device is divided into each digit, and the recognition status and reading result of each digit are displayed separately, allowing the operator to recognize each digit of the meter value. While checking the status and reading results, it is possible to improve the shooting conditions with simple actions such as changing the position and posture of the camera, improving the convenience of meter reading work with a simple configuration. It is possible to read the meter with good recognition status.
本発明に係るメータ読み取り作業装置は、さらに、前記メータ装置が複数の指示値標示物の位置により複数の数値を指示するアナログメータ装置であり、前記出力態様制御部は、前記複数の指示値標示物が指示する前記複数の数値の認識状態のそれぞれを前記複数の指示値表示領域のそれぞれに個別に表示するよう制御することを特徴とする。 The meter reading work device according to the present invention is further an analog meter device in which the meter device indicates a plurality of numerical values based on the positions of a plurality of indicated value indicators, and the output mode control section is configured to read a plurality of indicated value indicators. The present invention is characterized in that each of the recognition states of the plurality of numerical values indicated by an object is controlled to be individually displayed in each of the plurality of indicated value display areas.
この構成により、アナログメータ装置で指示される複数の数値の認識状態をそれぞれ個別に表示することで、作業者は複数の数値のそれぞれの認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。 With this configuration, the recognition status of multiple numerical values indicated by the analog meter device is displayed individually, allowing the operator to change the position or posture of the camera while checking the recognition status of each of the multiple numerical values. It is possible to improve the photographing conditions with only a simple operation, and the convenience of meter reading work is improved with a simple configuration, and it is possible to read the meter with a good recognition condition.
本発明に係るメータ読み取り作業装置は、さらに、前記アナログメータ装置は前記複数の指示値標示物として複数の指示針を備えており、前記複数の指示針のそれぞれが示す目盛位置により前記複数の数値が特定されることを特徴とする。 In the meter reading work device according to the present invention, the analog meter device further includes a plurality of indicator needles as the plurality of indicated value indicators, and the plurality of numerical values are determined by the scale position indicated by each of the plurality of indicator needles. is specified.
この構成により、アナログメータ装置の複数の指示針で示される複数の数値の認識状態をそれぞれ個別に表示することで、作業者は複数の数値のそれぞれの認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。 With this configuration, the recognition status of multiple numerical values indicated by the multiple indicator hands of the analog meter device can be displayed individually, allowing the operator to check the recognition status of each of the multiple numerical values while adjusting the position of the camera. It becomes possible to improve the photographing conditions with a simple action such as changing the posture, improve the convenience of meter reading work with a simple configuration, and make it possible to read the meter with good recognition status.
本発明に係るメータ読み取り作業装置は、さらに、前記カメラの撮影の開始から該撮影された画像を前記メータ装置の指示値を読み取り可能に認識するまでの複数段階のうちの所定段階において、前記読み取り対象領域の画像に含まれる認識対象物の認識状態が所定以上の良好な認識状態となる画像が撮影されなかった場合には、所定以上の良好な認識状態となる画像が撮影されるまで前記カメラによる前記読み取り対象領域の撮影を行うよう制御する画像処理制御部と、を備えることを特徴とする。 The meter reading work device according to the present invention further provides a method for reading the reading data at a predetermined stage among a plurality of stages from the start of photographing by the camera to the time when the photographed image is readably recognized as the indicated value of the meter device. If an image in which the recognition state of the recognition target included in the image of the target area is a predetermined or better recognition state is not captured, the camera is operated until an image in which the recognition state of the recognition target included in the target area image is a predetermined or better recognition state is captured. and an image processing control unit configured to perform control to perform imaging of the reading target area.
この構成により、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。 With this configuration, in a low recognition state, the camera continues to take pictures until an image with a good recognition state is obtained, allowing the operator to adjust the shooting conditions with simple actions such as changing the position and posture of the camera. This makes it possible to improve the convenience of meter reading work with a simple configuration, and also enables meter reading with good recognition status.
上記目的を達成するため、本発明に係るメータ読み取り作業方法は、メータ装置の読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を支援するメータ読み取り作業方法であって、
前記メータ装置を撮影する移動可能なカメラと、少なくとも前記カメラの撮影画像を表示可能なディスプレイとを準備するとともに、
前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、
前記カメラの撮影画像から認識される前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するものであって、
前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とする。
In order to achieve the above object, a meter reading work method according to the present invention is a meter reading work method that supports the work of reading the indicated value of the meter device based on an image of the reading target area of the meter device, comprising:
preparing a movable camera for photographing the meter device and a display capable of displaying at least an image taken by the camera;
Presetting a plurality of instruction value display areas on the screen of the display, each displaying a part of the instruction value and displaying the instruction value as a whole, and
Each of the recognition states of a part of the instruction value recognized from the image taken by the camera is individually displayed in each of the plurality of instruction value display areas,
Displaying in each of the plurality of instruction value display areas in real time a binarized image corresponding to each photographed image of the portion of the instruction value as an image representing each recognition state of the portion of the instruction value. It is characterized by
この動作により、指示値を構成する複数の要素の認識状態をそれぞれ個別に表示することで、作業者は当該複数の要素のそれぞれの認識状態の確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
また、この動作により、作業者は、写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を端的に表す２値化画像を視認することで撮影画像の認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
This operation allows the recognition status of multiple elements that make up the instruction value to be displayed individually, allowing the operator to change the position or posture of the camera, etc. while checking the recognition status of each of the multiple elements. It becomes possible to improve photographing conditions with only a simple operation, improve the convenience of meter reading work with a simple configuration, and enable meter reading with good recognition status.
Additionally, with this operation, the operator can visually confirm the recognition status of the photographed image by visually checking the binarized image that clearly represents the conditions in which the meter value cannot be recognized due to reflections, low illuminance, low contrast, blown out highlights, crushed shadows, etc. It is now possible to improve the shooting conditions with simple actions such as changing the position and posture of the camera while checking the camera, improving the convenience of meter reading work with a simple configuration, and improving the recognition status. This enables accurate meter reading.
上記目的を達成するため、本発明に係るメータ読み取り作業システムは、メータ装置の読み取り対象領域の画像を撮影するカメラ（１１）と、
操作者が視認可能なディスプレイ（１２）と、
前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を実行するメータ読み取り作業装置（２０）と、を有するメータ読み取り作業システム（１）であって、
前記メータ読み取り作業装置は、
前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像を取得する画像取得部（２１１）と、
前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部（２１２）と、
前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部（２２）と、
を備え、
前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とする。
In order to achieve the above object, a meter reading work system according to the present invention includes a camera (11) that takes an image of a reading target area of a meter device;
a display (12) that is visible to the operator;
A meter reading work system (1) comprising: a meter reading work device (20) that performs work of reading an indicated value of the meter device based on an image of the reading target area of the meter device taken by the camera; There it is,
The meter reading work device is
an image acquisition unit (211) that acquires an image of the reading target area of the meter device taken by the camera;
an image recognition unit (212) that performs image recognition processing to recognize a recognition target included in the image of the reading target area acquired by the image acquisition unit;
A plurality of instruction value display areas are set in advance on the screen of the display, each displaying a part of the instruction value and displaying the instruction value as a whole, and the image recognition unit recognizes the object as the recognition target. an output mode control unit (22) that controls to individually display each of the recognition states of the part of the instruction value in each of the plurality of instruction value display areas;
Equipped with
The output mode control unit displays binarized images corresponding to respective captured images of the part of the instruction value in the plurality of instruction value display areas as images representing recognition states of the portion of the instruction value. Each is characterized by being displayed in real time.
この構成により、指示値を構成する複数の要素の認識状態をそれぞれ個別に表示することで、作業者は当該複数の要素のそれぞれの認識状態の確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
また、この構成により、作業者は、写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を端的に表す２値化画像を視認することで撮影画像の認識状態を確認しながら、カメラの位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
With this configuration, by displaying the recognition status of multiple elements that make up the instruction value individually, the operator can change the position or posture of the camera, etc. while checking the recognition status of each of the multiple elements. It becomes possible to improve photographing conditions with only a simple operation, improve the convenience of meter reading work with a simple configuration, and enable meter reading with good recognition status.
In addition, with this configuration, the operator can visually confirm the recognition status of the photographed image by visually checking the binarized image that clearly represents the conditions in which the meter value cannot be recognized due to reflections, low illuminance, low contrast, blown out highlights, crushed shadows, etc. It is now possible to improve the shooting conditions with simple actions such as changing the position and posture of the camera while checking the camera, improving the convenience of meter reading work with a simple configuration, and improving the recognition status. This enables accurate meter reading.
本発明によれば、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りを可能にするメータ読み取り作業装置および方法ならびにメータ読み取り作業システムを提供することができる。 According to the present invention, it is possible to provide a meter reading work device, a method, and a meter reading work system that improve the convenience of meter reading work with a simple configuration and enable meter reading with good recognition status. .
以下、本発明の実施するための形態について、図面を参照しつつ説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明は、メータ装置の読み取り対象領域の画像に基づいてメータ装置の指示値を読み取る作業を行う際に、メータ装置の撮影条件を一定の条件下に維持しようとするのではなく、様々な撮影条件下で撮影された画像を取得して、その撮影画像からメータ装置の指示値を良好な認識状態で認識することを基本概念としている。本発明は、例えば撮影時刻の異なる様々な撮影条件下で撮影された複数枚の撮影画像を取得し、複数枚の撮影画像において、良好な撮影条件で撮影された良好な認識状態となる撮影画像を抽出することで具現化される。また、本発明は、例えば撮影画像内に複数の認識対象箇所を設定し、複数の認識対象箇所において、良好な撮影条件で撮影された良好な認識状態となる認識対象箇所を抽出することで具現化される。 The present invention does not attempt to maintain the shooting conditions of the meter device under constant conditions when reading the indicated value of the meter device based on the image of the area to be read by the meter device, but instead uses various shooting conditions. The basic concept is to acquire an image taken under certain conditions and recognize the indicated value of the meter device from the taken image in a good recognition state. The present invention acquires a plurality of photographed images taken under various photographing conditions at different photographing times, for example, and obtains a photographed image that is taken under good photographing conditions and has a good recognition state among the plurality of photographed images. It is realized by extracting. Furthermore, the present invention can be implemented by setting a plurality of recognition target locations in a photographed image, for example, and extracting a recognition target location that is photographed under good photographing conditions and has a good recognition state from among the plurality of recognition target locations. be converted into
まず、図１を参照しながら、本発明の第１～第５実施形態のメータ読み取り作業方法を実施可能なメータ読み取り作業システムについて説明する。 First, with reference to FIG. 1, a meter reading work system that can implement the meter reading work methods of the first to fifth embodiments of the present invention will be described.
図１は、本発明の第１～第５実施形態におけるメータ読み取り作業システムの一例を示す概略構成図である。図１に示すメータ読み取り作業システム１は、メータ装置Ｍｔの読み取り対象領域の画像に基づいてメータ装置Ｍｔの指示値を読み取る作業を実行するシステムである。
FIG. 1 is a schematic configuration diagram showing an example of a meter reading work system according to the first to fifth embodiments of the present invention. A meter
図１には、好適な一例として、通信端末１０とメータ読み取り作業装置２０とが一体となったメータ読み取り作業システム１が図示されている。通信端末１０は、例えばカメラ１１、ディスプレイ１２、スピーカ１３を備えたスマートフォンやタブレット型情報端末等であり、メータ読み取り作業装置２０の機能がプログラムとしてスマートフォンに実装されている。
FIG. 1 shows, as a preferred example, a meter
通信端末１０の構成としては、（１）上述したようなスマートフォンやタブレット型情報端末等のポータブルなスマートデバイスを単独で含む構成の他に、（２）スマートデバイス（スマートフォンやタブレット型情報端末）と、外部カメラ（スマートデバイスと有線あるいは無線で接続）と、を含む構成、（３）ヘッドマウントディスプレイ（ＨＭＤ）を単独で含む構成、（４）ＨＭＤ（カメラ機能のみ利用）と、スマートデバイス（スマートフォンやタブレット型情報端末）と、を含む構成、（５）ＨＭＤと、外部カメラ（ＨＭＤと有線あるいは無線で接続）と、を含む構成、（６）スマートデバイス（カメラ、ディスプレイ、スピーカ含む）と、ノート型ＰＣ（メータ読み取り制御装置含む）と、を含む構成のいずれかであってもよい。上記構成（２）や（５）の外部カメラは、高い位置や作業者の背面など、ディスプレイ表示とカメラ撮影を両立できない場合であっても使用できる。
The configuration of the
通信端末１０は、メータ装置Ｍｔを撮影するカメラ１１と、カメラ１１の撮影画像をリアルタイムに表示する（ライブビューとも呼ばれる）ことが可能なディスプレイ１２と、音声を出力するスピーカ１３と、メータ読み取り作業装置２０とを有している。
The
また、通信端末１０は、カメラ１１とディスプレイ１２および／またはスピーカ１３とを具備するものであればよく、特定の機器に限定されるものではない。さらに、カメラ１１、ディスプレイ１２、スピーカ１３がそれぞれ単独で着用可能なウェアラブルデバイス等として構成されていてもよいし、スピーカ１３は、ワイヤレスヘッドフォンや骨伝導ヘッドフォン等でもよく、あるいは、振動や熱等を発生する他の情報伝達手段であってもよい。
Moreover, the
メータ読み取り作業装置２０は、一例として、通信端末１０において実行可能なプログラムとして実装される機能を表しており、メータ読み取り部２１と、出力態様制御部２２と、情報出力部２３と、読み取り設定情報格納部２４とを有している。
The meter
メータ読み取り部２１は、画像取得部２１１と、画像認識部２１２と、画像処理制御部２１３と、認識確度計算部２１４とを含んで構成されている。
The
画像取得部２１１は、通信端末１０のカメラ１１で撮影された画像を取得する機能を有している。画像取得部２１１は、カメラ１１に対して撮影指示を送信し、この撮影指示に応じてカメラ１１により撮影された撮影画像を取得してもよく、あるいは、カメラ１１からリアルタイムに送信されてくる映像に対して画像キャプチャ処理等を行うことで撮影画像を取得してもよい。また、メータ読み取り作業を行うカメラ１１の操作者（以下、作業者と記載する）に逐次撮影動作（例えばシャッタを切る動作）を行わせることなく、作業者がメータ装置Ｍｔにカメラ１１を向ける動作を行うだけで、画像取得部２１１が自動的に撮影画像を取得することが好ましい。
The
画像認識部２１２は、画像取得部２１１により取得したカメラ１１の撮影画像に対して画像認識処理を行う機能を有している。撮影画像はメータ装置Ｍｔの一部または全体を含む画像であり、画像認識部２１２は、画像認識処理を行うことによって、メータ装置Ｍｔの読み取り対象領域の画像に含まれる認識対象物を認識することが可能である。なお、画像認識部２１２における画像認識方式は特に限定されるものではなく、例えばパターンマッチング等の画像認識方式を用いることが可能である。また、画像認識部２１２を推定器や分類器で構成してもよい。
The
メータ装置Ｍｔの読み取り作業では、カメラの撮影の開始からメータ装置Ｍｔの指示値を読み取るまでの動作を、複数段階（例えば第１～第３の認識段階）に分けることができる。画像認識部２１２は、複数段階のそれぞれの段階において、各段階における認識対象物を画像認識処理によって特定することが可能である。
In the reading operation of the meter device Mt, the operation from the start of photographing by the camera to the reading of the indicated value of the meter device Mt can be divided into multiple stages (for example, first to third recognition stages). The
第１の認識段階では、画像認識部２１２は、例えば個体識別コードやメータ装置Ｍｔの表示面の形状パターン等を認識対象物として、メータ装置Ｍｔの種別を特定するための画像認識処理を行う。第２の認識段階では、画像認識部２１２は、例えばメータ装置Ｍｔの指示値標示物（例えば、指示針やメータ値標示板）を含む領域を特定するためのずれ補正用マーカや、メータ装置Ｍｔの表示面の形状パターン等を認識対象物として、カメラ１１で撮影された画像の傾きを補正するための画像認識処理を行う。第３の認識段階では、画像認識部２１２は、指示値標示物を含む画像の領域を特定して指示値を読み取るための画像認識処理を行う。
In the first recognition stage, the
画像処理制御部２１３は、画像取得部２１１および画像認識部２１２における処理を制御することで、カメラの撮影の開始からメータ装置Ｍｔの指示値を読み取るまでの一連の動作を制御する機能を有している。画像処理制御部２１３は、例えば後で詳述する図２に示すフローチャートに係る制御処理を実行することが可能である。
The image
認識確度計算部２１４は、画像認識部２１２における認識対象物の認識について、その認識の精度（認識確度）を計算する機能を有している。なお、本明細書においては、認識確度とは、画像認識部２１２による認識対象物の認識状態がどの程度信頼できるものであるかを表す数値を意味している。例えば画像認識部２１２における画像認識処理にパターンマッチングを採用した場合には、パターンマッチングの一致率を認識確度とみなすことができる。また、例えば画像認識部２１２を分類器で構成した場合には、分類器から出力される分類結果の確率値を認識確度とみなすことができる。
The recognition
出力態様制御部２２は、画像認識部２１２による認識状態や認識結果、認識確度計算部２１４により計算された認識確度等に基づいて、通信端末１０に対する出力態様を決定する機能を有している。出力態様制御部２２は、出力態様として、出力すべき情報の内容、出力すべき情報の形式（例えば画像および／または音声）、出力タイミング等を決定することができる。出力態様制御部２２は、例えば後で詳述する図３に示すフローチャートに係る制御処理を実行することが可能である。
The output
情報出力部２３は、出力態様制御部２２で決定された情報をディスプレイ１２やスピーカ１３から出力する機能を有している。情報出力部２３は、出力する情報が画像情報である場合には、ディスプレイ１２で表示可能な形態で出力し、出力する情報が音声情報である場合には、スピーカ１３において音声出力可能な形態で出力する。
The
読み取り設定情報格納部２４は、画像処理制御部２１３や出力態様制御部２２における処理に必要な情報を格納する機能を有している。読み取り設定情報格納部２４に読み取り設定情報として格納される情報としては、メータ装置Ｍｔの正常な撮影画像を解析することで得られる様々な情報、例えば、メータ装置Ｍｔの個体識別記号や形状パターン、認識対象物の形状や輪郭、認識対象物が含まれる読み取り対象領域の位置や範囲、指示針を持つメータ装置Ｍｔの場合には指示針の位置や輪郭および色、指示針が指し示す目盛表示の数値、デジタル数値を表示するメータ装置Ｍｔの場合には、指示値の位置や桁数等が挙げられる。
The reading setting
また、認識対象物が所定以上の良好な認識状態で認識されたかどうかを判定するために必要な設定情報、例えば、認識確度に係る判断で用いられる閾値等も読み取り設定情報として格納される。さらには、作業者によるメータ読み取り作業を支援するガイド情報の要否を判定したり必要なガイド情報の内容を判定したりするために必要な設定情報等も読み取り設定情報として格納される。 Additionally, setting information necessary to determine whether the recognition target object has been recognized in a recognition state that is better than a predetermined level, such as a threshold value used in determining recognition accuracy, is also stored as read setting information. Furthermore, setting information and the like necessary for determining whether or not guide information is necessary to support meter reading work by an operator and determining the content of necessary guide information are also stored as reading setting information.
メータ読み取り作業装置２０は、上述したようにスマートフォンやタブレット型情報端末等の通信端末１０に含まれる構成であってもよいが、この構成に限定されるものではない。メータ読み取り作業装置２０は、例えば、通信端末１０とデータ通信が可能なコンピュータにより実現可能であり、例えば通信端末１０との近距離無線通信が可能なノート型コンピュータであってもよく、通信端末１０とネットワークを通じて通信が可能なサーバ装置等であってもよい。メータ読み取り作業システム１は、スマートフォンやタブレット型情報端末等の通信端末１０とメータ読み取り作業装置２０とが一体であってもよく、通信端末１０とメータ読み取り作業装置２０とが別体で通信接続された構成であってもよい。
The meter
また、図１では、メータ読み取り作業装置２０が有する各機能をブロック図により表現しているが、各ブロックで表される機能は、その機能を実現するよう作成されたプログラムをＣＰＵ（中央演算処理装置）等のプロセッサで実行することにより実現され得る。すなわち、メータ読み取り作業装置２０は、ＣＰＵ等のプロセッサと、プロセッサにより読み取り可能な状態で所定のプログラムおよび読み取り設定情報等を含む各種設定情報が格納された補助記憶装置（不揮発性メモリ）とにより構成することができる。
In addition, in FIG. 1, each function that the meter
次に、図１に示すメータ読み取り作業装置２０において実行される処理について説明する。図１０は、図１に示すメータ読み取り作業システム１の基本的な処理の流れを示すフローチャートである。メータ読み取り作業システム１は、カメラ１１によってメータ装置Ｍｔを撮影して（ステップＳ１）、当該撮影画像からメータ装置Ｍｔを特定する第１の認識段階に係る処理を行い（ステップＳ２）、当該撮影画像からマーカ等を抽出して撮影画像の傾き補正を行う第２の認識段階に係る処理を行い（ステップＳ３）、当該撮影画像からメータ装置Ｍｔの指示針やメータ値等のメータ指示値を含む領域を抽出して読み取り処理を行う第３の認識段階に係る処理を行う（ステップＳ４）。
Next, the processing executed in the meter
なお、第２の認識段階の傾き補正は、例えばメータ指示値を含む領域を特定するためのマーカ情報を利用して行うことが可能であり、傾き補正を行ったほうがメータ指示値の数値認識精度をより高くすることができる。ただし、第２の認識段階の傾き補正は必ずしも必須の処理ではなく、実施態様により任意選択的に行うことができる処理である。例えば、デジタルメータ装置では、画像のパターンマッチベースによってメータ指示値の読み取りを行う場合、撮影画像の向きを予め合わせる必要があることから傾き補正を行うことが好ましいが、一方、機械学習ベースで読み取りを行う場合には、傾きがある状態で学習を行うことで、傾き補正により撮影画像の向きを合わせることなく読み取りを行うことが可能である。 Incidentally, the tilt correction in the second recognition stage can be performed using, for example, marker information for specifying the area containing the meter reading, and the accuracy of numerical recognition of the meter reading can be improved by performing the slope correction. can be made higher. However, the tilt correction in the second recognition stage is not necessarily an essential process, but is a process that can be optionally performed depending on the embodiment. For example, in digital meter devices, when reading meter readings based on image pattern matching, it is preferable to perform tilt correction because it is necessary to align the orientation of the photographed image in advance. In this case, by performing learning in a tilted state, it is possible to perform reading without adjusting the direction of the photographed image by tilt correction.
以下、図２を参照しながら画像処理制御部２１３により実行される処理の概要を説明し、図３を参照しながら出力態様制御部２２により実行される処理の概要について説明する。
Hereinafter, an outline of the processing executed by the image
図２は、本発明の第１～第５実施形態において、メータ読み取り作業装置２０の画像処理制御部２１３により実行される処理の概要を示すフローチャートである。なお、ここでは基本的な処理について説明し、より具体的な処理の適用については後述する。
FIG. 2 is a flowchart showing an overview of the processing executed by the image
図２には、メータ読み取り作業装置２０の画像処理制御部２１３が各認識段階で実行する処理の一例が示されている。
FIG. 2 shows an example of the processing that the image
図１０の基本的な処理の流れに示すように、画像取得部２１１がカメラ１１で撮影された撮影画像を取得した後に、第１～第３の認識段階の各々の段階に係る処理が順次実行される。各段階においては、まず画像処理制御部２１３が、画像認識部２１２に、カメラ１１で撮影された撮影画像に係る画像認識処理を行わせる（ステップＳ１０３）。
As shown in the basic processing flow in FIG. 10, after the
ステップＳ１０３の画像認識処理では、例えば撮影画像内に含まれるメータ装置Ｍｔの個体識別コード、ずれ補正用マーカ、指示値を表す指示値標示物（例えば、指示針やメータ値標示板）等の認識対象物や、これらの認識対象物を含む領域等、各認識段階で認識対象としている認識対象物の特定および読み取りが行われる。さらにステップＳ１０３の画像認識処理において、認識確度計算部２１４により認識対象物の認識に係る認識確度の計算が行われてもよい。
In the image recognition process of step S103, for example, the individual identification code of the meter device Mt included in the photographed image, a marker for deviation correction, an indication value indicator (for example, an indicator needle or a meter value indicator board) representing an indication value, etc. are recognized. At each recognition stage, recognition objects such as objects and regions containing these recognition objects are identified and read. Furthermore, in the image recognition process of step S103, the recognition
画像処理制御部２１３は、認識対象物が所定以上の良好な認識状態で認識されたかどうかを判定する（ステップＳ１０５）。ここでは、画像処理制御部２１３は、認識対象物が適切に認識されて情報の読み取りができたかどうかを表す認識の成否を判定してもよい。また、認識確度計算部２１４により認識確度の計算が行われている場合には、認識確度が所定の閾値以上となっているかどうかを判断することで、認識対象物が所定以上の良好な認識状態で認識されたかどうかを判定してもよい。認識確度に係る判断で用いられる閾値は、事前に定めた任意の値を用いることが可能であり、各段階における認識対象物毎に異なる閾値を設定することが可能である。閾値は、例えば読み取り設定情報格納部２４等に、画像処理制御部２１３により参照可能な状態で予め格納される。
The image
ステップＳ１０５で認識対象物が所定以上の良好な認識状態で認識されていない場合には、図１０に示すフローチャートにおけるカメラ１１による撮影処理（ステップＳ１）に戻り、第１の認識段階からの処理が再度開始される。例えば第３の認識段階（指示値の読み取り処理）において指示値が良好に認識できなかった場合には、カメラ１１による撮影が行われて、第１の認識段階（メータ装置Ｍｔの特定）に係る処理以降が再度実行される。
If the recognition target object is not recognized in a recognition state that is better than a predetermined level in step S105, the process returns to the photographing process by the camera 11 (step S1) in the flowchart shown in FIG. 10, and the process from the first recognition stage is continued. will be started again. For example, if the indicated value cannot be recognized well in the third recognition stage (reading process of the indicated value), an image is taken by the
一方、ステップＳ１０５で認識対象物が所定以上の良好な認識状態で認識された場合には、ステップＳ１０３の認識結果を確定し（ステップＳ１０７）、処理を終了する。 On the other hand, if the recognition target object is recognized in a recognition state that is better than a predetermined level in step S105, the recognition result in step S103 is determined (step S107), and the process ends.
図１０に示すように、本発明に係る基本的な処理の流れは、まずカメラ１１による撮影を行ったうえで、撮影画像に基づいて複数の認識段階（第１～第３の認識段階）が実行される。そして、いずれかの段階で良好な認識状態が得られなかったとき、カメラ１１による撮影に戻り、複数の認識段階（第１～第３の認識段階）が再び実行される。このように本発明では、認識対象物が良好な認識状態で認識されない場合には再びカメラ１１による撮影が行われるようになっており、すなわち、所定以上の良好な認識状態で認識されるまでカメラ１１による撮影が行われる。認識対象物の認識確度が低い場合には、撮影画像が得られるまでカメラによる撮影を行うようにすることで、結果的にカメラ１１の撮影回数が多くなり、これによって認識確度の高い撮影画像を取得できる確率が増加し、認識対象物を適切に認識することができるようになる。
As shown in FIG. 10, the basic process flow according to the present invention is that the
また、画像処理制御部２１３は、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階の各段階間における移行をすぐに行うように制御する。すなわち、画像処理制御部２１３は、メータ装置Ｍｔの種別を特定する第１の認識段階に係る処理において認識対象物を適切に認識できた場合には、カメラ１１で撮影された画像の傾きを補正する第２の認識段階の処理に移行し、さらに、第２の認識段階に係る処理において認識対象物を適切に認識できた場合には、指示値標示物を含む画像の領域を特定して指示値を認識する第３の認識段階に係る処理に移行するようになっている。このように、前段階の処理を完了した場合に次の段階の処理をすぐに開始することで、カメラ１１による撮影の開始から指示値の読み取りまでの一連の処理が連続して実行され、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させることが可能となる。作業者は、カメラ１１をメータ装置Ｍｔに向けるだけで指示値の読み取りが行われる自動化を体感できるようになる。
Further, the image
なお、ここではステップＳ１０３において、例えば１枚の撮影画像の認識確度と閾値とを比較する単純な例を挙げているが、複数枚の撮影画像の認識確度が所定の条件を満たしたかどうかに基づく判定が行われてもよい。例えば、連続して取得した複数枚の撮影画像の認識確度がいずれも閾値以上である場合や、所定の枚数の撮影画像のうち認識確度が閾値以上であるものが所定の比率以上存在する場合等に、所定以上の良好な認識状態で認識されたと判定してもよい。 Although a simple example is given here in which the recognition accuracy of one photographed image is compared with a threshold value in step S103, the recognition accuracy of a plurality of photographed images is based on whether or not the recognition accuracy satisfies a predetermined condition. A determination may be made. For example, when the recognition accuracy of multiple consecutively acquired images is equal to or higher than a threshold, or when a predetermined proportion or more of a predetermined number of captured images have recognition accuracy equal to or higher than a threshold, etc. Alternatively, it may be determined that the recognition state is better than a predetermined level.
また、１つの撮影画像に複数の認識対象物が含まれている場合には、複数の認識対象物のそれぞれについて個別に、上述した図２に示すフローチャートの処理が実行されてもよい。例えば、複数の認識対象物を含む撮影画像から複数の認識対象物のそれぞれを含む領域を特定して、各々の領域において個別に認識対象物の認識を行うようにしてもよい。この場合、複数の認識対象物のすべての認識結果が確定するまで撮影画像の取得および画像認識処理が繰り返し実行される。 Further, when one photographed image includes a plurality of recognition targets, the process of the flowchart shown in FIG. 2 described above may be executed individually for each of the plurality of recognition targets. For example, regions including each of the plurality of recognition objects may be identified from a photographed image including the plurality of recognition objects, and the recognition objects may be individually recognized in each region. In this case, acquisition of captured images and image recognition processing are repeatedly executed until recognition results for all of the plurality of recognition targets are finalized.
上述した１つの撮影画像に複数の認識対象物が含まれている場合の一例としては、後述するように、例えば４桁の指示値の各桁を認識対象物として設定する場合（図６および図７参照）や、長短２種類の指示針を認識対象物として設定する場合（図８参照）等が挙げられる。これらの場合には、複数の認識対象物のそれぞれに対して画像認識処理が行われるため、個々の認識対象物の認識結果が確定するタイミングがずれることがあり、認識結果が確定した認識対象物と未確定の認識対象物が混在した状態となることがある。このように、認識結果が確定した認識対象物と認識結果が未確定の認識対象物とが混在した状態となる点も本発明の特徴であり、この状態をディスプレイ１２上に表示することも有用であり、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、作業者による作業を支援することが可能となる。
As an example of a case where a plurality of recognition target objects are included in one captured image mentioned above, for example, when each digit of a four-digit instruction value is set as a recognition target object (as described in FIG. 6 and 7) or when two types of indicator needles, long and short, are set as objects to be recognized (see FIG. 8). In these cases, since image recognition processing is performed on each of the multiple recognition targets, the timing at which the recognition results for each recognition target are finalized may lag, and the recognition results for each recognition target may be delayed. There may be a situation in which there are a mixture of recognition targets and undetermined recognition targets. In this way, it is a feature of the present invention that the recognition target object for which the recognition result has been determined and the recognition target object for which the recognition result has not been determined are mixed, and it is also useful to display this state on the
図３は、本発明の第１～第５実施形態において、メータ読み取り作業装置２０の出力態様制御部２２により実行される処理の概要を示すフローチャートである。なお、ここでは基本的な処理について説明し、より具体的な処理の適用については、特に第３～第５実施形態にて後述する。
FIG. 3 is a flowchart showing an overview of the processing executed by the output
図３には、上述した１つの撮影画像に複数の認識対象物が含まれている場合において、メータ読み取り作業装置２０の出力態様制御部２２が実行する処理の一例が示されている。図３に示すフローチャートでは説明を明瞭にするため、Ｎ個（Ｎは２以上の整数）の認識対象物が存在すると仮定し、それぞれの認識対象物をパラメータｉ（ｉは１～Ｎの整数）で識別する。
FIG. 3 shows an example of a process executed by the output
まず、出力態様制御部２２は、複数の認識対象物のそれぞれの認識結果を取得する（ステップＳ２０１）。複数の認識対象物のそれぞれの認識結果とは、例えば図２に示すフローチャートのステップＳ１０７において確定される認識結果である。図３に示すフローチャートに係る処理は、図２に示すフローチャートに係る処理と並列して実行されるものである。したがって、ステップＳ２０１で取得した認識結果は、図２に示すフローチャートに係る処理の進行状況に依存して、その認識結果が確定している場合もありまだ確定していない場合もある。
First, the output
出力態様制御部２２は、ある認識対象物（ｉ＝１）を処理対象とし（ステップＳ２０３）、その認識対象物の認識結果が確定しているかどうかを判定する（ステップＳ２０５）。
The output
その認識対象物の認識結果がまだ確定していない場合には、出力態様制御部２２は、認識結果が未確定であることを示す情報をディスプレイ１２上に表示させる（ステップＳ２０７）。一方、その認識対象物の認識結果が確定している場合には、出力態様制御部２２は、認識結果をディスプレイ１２上に表示させる。このとき、認識確度計算部２１４により認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（ステップＳ２０９）。
If the recognition result of the recognition target has not been determined yet, the output
今回の認識確度が前回の認識確度より向上している場合には、出力態様制御部２２は、今回の認識結果を前回の認識結果に上書きする形でディスプレイ１２上に表示させる（ステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、出力態様制御部２２は、前回の認識結果をそのまま保持し、その結果、前回の認識結果の表示がディスプレイ１２上に維持される（ステップＳ２１３）。
If the current recognition accuracy is better than the previous recognition accuracy, the output
上記の処理は、Ｎ個全ての認識対象物に対して実行される。出力態様制御部２２は、未処理の認識対象物が残っているかどうかを判断し（ステップＳ２１５）、未処理の認識対象物が残っている場合には、次の認識対象物（ｉ＝ｉ＋１）を処理対象として（ステップＳ２１７）、ステップＳ２０５以降の処理を実行する。すべての認識対象物に対する処理が完了した場合には処理は終了となるが、認識結果が未確定の認識対象物が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。
The above processing is executed for all N recognition objects. The output
図３に示すフローチャートに係る処理は、図２に示すフローチャートに係る処理と並列して繰り返し実行され得るものであり、複数の認識対象物のそれぞれの認識状態の変化に伴って、ディスプレイ１２上の表示を変化させることができるようになっている。具体的には、例えば後述するように、指示値の各桁を認識対象物として、図６の指示値表示領域Ｐ３１～Ｐ３４や図７の指示値表示領域Ｐ４１～Ｐ４４内に指示値の各桁の認識結果を認識状態に応じて個別に表示することが可能である。また、各指示針の指示値を認識対象物として、図８の指示値表示領域Ｐ５１、Ｐ５２内に、各指示針の指示値の認識結果を認識状態に応じて個別に表示することが可能である。これにより、指示値のどの桁が認識できておりどの桁が認識できていないか、あるいは、どの指示針が認識できておりどの指示針が認識できていないかをディスプレイ１２上に表示することができ、メータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、作業者による作業を支援することが可能となる。
The process according to the flowchart shown in FIG. 3 can be repeatedly executed in parallel with the process according to the flowchart shown in FIG. The display can be changed. Specifically, as will be described later, each digit of the instruction value is displayed in the instruction value display areas P31 to P34 in FIG. 6 or in the instruction value display areas P41 to P44 in FIG. It is possible to display the recognition results individually according to the recognition state. Furthermore, the recognition results of the indicated values of each pointer can be individually displayed in the indicated value display areas P51 and P52 of FIG. 8 according to the recognition state, using the indicated value of each pointer as a recognition target. be. As a result, it is possible to display on the
（第１実施形態）
本発明の第１実施形態について説明する。図４は、本発明の第１実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。
(First embodiment)
A first embodiment of the present invention will be described. FIG. 4 is a front view of the communication terminal showing an example of a display screen displayed on the display of the communication terminal during meter reading work in the first embodiment of the present invention.
本発明の第１実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、１つの指示針が指し示す方向により指示値を表すアナログメータ装置であり、メータ装置Ｍｔ本体の上部に二次元コードが貼付されている。 The meter device Mt, which is the object of the meter reading work in the first embodiment of the present invention, is an analog meter device that indicates the indicated value by the direction pointed by one indicator needle, and a two-dimensional code is affixed to the upper part of the main body of the meter device Mt. There is.
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
When the worker points the
このメータ装置Ｍｔに係るメータ読み取り作業では、まず第１の認識段階において、メータ装置Ｍｔの種別を特定する二次元コードを読み取る処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像から、二次元コード画像Ｐ１１を含む読み取り対象領域Ｒ１１を特定して、図４に示すように、読み取り対象領域Ｒ１１を示す略四角形の輪郭を赤線等で強調表示するガイド情報Ｇ１１をディスプレイ１２上に表示させる。このガイド情報Ｇ１１が表示されることで、作業者は、二次元コード画像Ｐ１１の認識処理の最中でありカメラ１１によって二次元コードを撮影する必要があることを把握できる。
In the meter reading operation related to the meter device Mt, first, in a first recognition stage, a process of reading a two-dimensional code that specifies the type of the meter device Mt is performed. The meter
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物として二次元コードの特定および読み取り処理を行い（図２のステップＳ１０３）、二次元コードからメータ装置Ｍｔの個体識別コードを適切に読み取ることができたかどうかを判定する（図２のステップＳ１０５）。
At this time, the meter
二次元コードから個体識別コードを適切に読み取ることができた場合には、読み取られた個体識別コードを認識結果として確定して（図２のステップＳ１０７）、次の第２段階に係る処理へ移行する。一方、個体識別コードを適切に読み取ることができなかった場合には、カメラ１１の撮影画像を再び取得し、個体識別コードを適切に読み取ることができるまで上記の処理を繰り返し行う。
If the individual identification code can be properly read from the two-dimensional code, the read individual identification code is determined as the recognition result (step S107 in FIG. 2), and the process moves to the next second stage. do. On the other hand, if the individual identification code cannot be read properly, an image taken by the
メータ読み取り作業装置２０は、例えば認識状態を出力したり、二次元コードの認識確度を計算してその認識確度を出力したりしてもよい。認識状態には、二次元コードの存在自体が認識できていない状態や、二次元コードの存在は認識できているが個体識別コードの読み取りが適切に行われていない状態等があり、通信端末１０において、これらの認識状態を報知できるようにしてもよい。例えば、ディスプレイ１２上の画面表示において、強調表示している略四角形の輪郭の色や線種などを認識状態に応じて変化させてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。さらに、計算された認識確度も同様に画面表示および／または音声出力されてもよい。
The meter
なお、ここでは、メータ装置Ｍｔ本体に貼付されている二次元コードから読み取られる個体識別コードに基づいてメータ装置Ｍｔの種別が特定される場合を想定しているが、メータ装置Ｍｔの種別の特定は、これに限定されるものではない。例えば、メータ読み取り作業装置２０は、カラーコードやバーコードからメータ装置Ｍｔの種別を特定してもよく、メータ装置Ｍｔの指示値表示面全体の形状からパターンマッチングによってメータ装置Ｍｔの種別を特定してもよい。さらには、カメラ１１をメータ装置Ｍｔに向ける操作前に、作業者がテキスト入力したりリストから選択したりすることでメータ装置Ｍｔの種別を入力してもよい。作業者がメータ装置Ｍｔの種別を入力した場合には、カメラ１１の撮影画像からメータ装置Ｍｔの種別を特定する第１段階に係る処理は省略される。
Note that here, it is assumed that the type of the meter device Mt is specified based on the individual identification code read from the two-dimensional code affixed to the main body of the meter device Mt. is not limited to this. For example, the meter
第１の認識段階の完了後すぐに実行される第２段階においては、カメラ１１で撮影された画像の傾きを補正する処理が行われる。このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、例えば認識対象物としてずれ補正用マーカ（図２には不図示）等を認識し（図２のステップＳ１０３）、カメラ１１で撮影された画像の傾きが適切かどうかを判定する（図２のステップＳ１０５）。なお、カメラ１１で撮影された画像の傾きを補正する方法は特に限定されるものはなく、例えばパターンマッチングによって読み取り対象領域Ｒ２１の周囲に存在する要素を特定してもよく、あるいは、後述の第２実施形態において説明するように、ずれ補正用に設けられたマーカの位置から読み取り対象領域Ｒ２１を特定してもよい。
In the second stage, which is executed immediately after the first recognition stage is completed, a process of correcting the tilt of the image taken by the
カメラ１１で撮影された画像の傾きが適切であることを認識対象物から確認できた場合には、画像の傾きが適切であることを認識結果として確定して（図２のステップＳ１０７）、次の第３段階に係る処理へ移行する。一方、カメラ１１で撮影された画像の傾きが適切であると判定できなかった場合には、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。また、第１段階と同様に、メータ読み取り作業装置２０は、例えば認識状態を出力したり、二次元コードの認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
If it is confirmed from the recognition target that the inclination of the image photographed by the
第２の認識段階の完了後すぐに実行される第３段階においては、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する処理が行われる。このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物として指示値を表す指示針画像Ｐ２１の特定および指示値の読み取りを行い（図２のステップＳ１０３）、指示針の特定および指示値の読み取りが適切に行われたかどうかを判定する（図２のステップＳ１０５）。なお、指示針の特定方法および指示値の読み取り方法は特に限定されるものはなく、例えば指示針に着けられている色から指示針の存在や指示針が指し示す方向等を特定してもよい。指示針が指し示す方向に対応する指示値は、例えば、読み取り設定情報として格納されている当該メータ装置Ｍｔの目盛画像や目盛設定値等から特定することができる。
In the third stage, which is executed immediately after the completion of the second recognition stage, processing is performed to identify the reading target region R21 including the image of the designated value indicator and to recognize the designated value. At this time, the meter
指示針の特定および指示値の読み取りが適切に行われた場合には、読み取られた指示値を認識結果として確定して（図２のステップＳ１０７）、確定した指示値を通信端末１０のディスプレイ１２上に表示したり、所定のメモリに記憶したりすることで処理は終了となる。一方、指示針の特定および指示値の読み取りが適切に行われなかった場合には、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。また、第１段階と同様に、メータ読み取り作業装置２０は、例えば認識状態を出力したり、二次元コードの認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
If the indicator needle has been identified and the indicated value has been read properly, the read indicated value is determined as the recognition result (step S107 in FIG. 2), and the determined indicated value is displayed on the
以上説明したように、本発明の第１実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
As explained above, according to the first embodiment of the present invention, in a low recognition state, the operator can take pictures with the
また、本発明の第１実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
Further, according to the first embodiment of the present invention, the recognition state and recognition accuracy related to meter reading work can be notified to the worker in real time, so the worker can easily change the position and posture of the
（第２実施形態）
本発明の第２実施形態について説明する。図５は、本発明の第２実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第２実施形態では、主に、カメラ１１で撮影された画像の傾きを補正する第２段階においてマーカ画像を利用する場合について説明する。
(Second embodiment)
A second embodiment of the present invention will be described. FIG. 5 is a front view of the communication terminal showing an example of a display screen displayed on the display of the communication terminal during meter reading work in the second embodiment of the present invention. In the second embodiment of the present invention, a case will be mainly described in which a marker image is used in the second stage of correcting the tilt of an image photographed by the
本発明の第２実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、本発明の第１実施形態で説明したメータ装置Ｍｔと同様に、１つの指示針が指し示す方向により指示値を表すアナログメータ装置である。ただし、本発明の第２実施形態におけるメータ装置Ｍｔには、指示針を含む領域を示す４つの四角いマーカのシールがメータ装置Ｍｔ本体に貼付されている。 The meter device Mt to which the meter reading work is performed in the second embodiment of the present invention is an analog meter device that indicates an indicated value by the direction pointed by one pointer, similar to the meter device Mt described in the first embodiment of the present invention. It is. However, in the meter device Mt according to the second embodiment of the present invention, four square marker stickers indicating the area including the indicator needle are attached to the main body of the meter device Mt.
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
When the worker points the
マーカは、指示値標示物を含む領域を示す役割に加えて、画像読み取りの際のずれを補正する際の基準としての役割を有しており、マーカの個数は３つ以上であることが好ましい。また、本発明の第２実施形態では、マーカを利用して指示値標示物を含む領域を特定するが、指示値標示物を含む領域に対して位置が相対的に固定されている任意の設置物を利用して指示値標示物を含む領域を特定してもよい。例えば、図２に示す二次元コードの四隅の位置やメータ装置Ｍｔの表示面の形状パターン等を基準として指示値標示物を含む領域を特定してもよい。 In addition to the role of indicating the area containing the indicated value indicator, the marker also serves as a reference for correcting deviations during image reading, and the number of markers is preferably three or more. . Further, in the second embodiment of the present invention, the area including the indicated value indicator is identified using a marker, but any installation whose position is fixed relative to the area including the indicated value indicator may be used. An object may be used to specify the area including the indicated value indicator. For example, the area containing the indicated value indicator may be specified based on the positions of the four corners of the two-dimensional code shown in FIG. 2, the shape pattern of the display surface of the meter device Mt, etc.
ここでは、第２段階以降の処理について説明する。第２段階においては、カメラ１１で撮影された画像の傾きを補正する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像において、図５に示すように、４つのマーカ画像Ｍ２１～Ｍ２４が表示されるべき領域を指定するガイド情報Ｇ２１～Ｇ２４をディスプレイ１２上に表示させる。このガイド情報Ｇ２１～Ｇ２４が表示されることで、作業者は、指示針を含む読み取り対象領域Ｒ２１を特定する処理の最中であり、４つのマーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように撮影する必要があることを把握できる。
Here, the processing from the second stage onwards will be explained. In the second stage, a process of correcting the tilt of the image photographed by the
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物としてマーカを認識し（図２のステップＳ１０３）、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされたかどうかを判定する（図２のステップＳ１０５）。
At this time, the meter
なお、複数のマーカ画像Ｍ２１～Ｍ２４の表示とガイド情報Ｇ２１～Ｇ２４との重なりは、必ずしも完全に一致する必要はなく、例えばマーカ画像Ｍ２１～Ｍ２４とガイド情報Ｇ２１～Ｇ２４との幾何学的な対応度合いに基づいて、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされたかどうかの判定が行われる。ここにいう「幾何学的な対応度合い」とは、例えばマーカ画像Ｍ２１～Ｍ２４のそれぞれの中心点と、ガイド情報Ｇ２１～Ｇ２４のそれぞれの中心点の位置関係との一致率であり、この一致率が所定以上の良好な状態となった場合に、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるよう位置決めされたと判定することができる。 Note that the display of the plurality of marker images M21 to M24 and the guide information G21 to G24 do not necessarily have to overlap completely; for example, the overlap between the marker images M21 to M24 and the guide information G21 to G24 may be Based on the degree, it is determined whether the marker images M21 to M24 are positioned so as to overlap the guide information G21 to G24. The "degree of geometric correspondence" referred to here is, for example, the coincidence rate between the center points of each of the marker images M21 to M24 and the positional relationship between the center points of each of the guide information G21 to G24, and this coincidence rate When the condition is as good as a predetermined value or better, it can be determined that the marker images M21 to M24 are positioned so as to overlap the guide information G21 to G24.
マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされた場合には、画像の傾きが適切であることを認識結果として確定して（図２のステップＳ１０７）、次の第３段階に係る処理へ移行する。一方、マーカ画像Ｍ２１～Ｍ２４がガイド情報Ｇ２１～Ｇ２４に重なるように位置決めされていない場合には、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。 When the marker images M21 to M24 are positioned so as to overlap the guide information G21 to G24, it is determined as a recognition result that the image inclination is appropriate (step S107 in FIG. 2), and the next third step is performed. Shift to processing related to. On the other hand, if the marker images M21 to M24 are not positioned so as to overlap the guide information G21 to G24, the process returns to the process of acquiring the captured image of the camera 11 (step S1 in FIG. 10), and the series of processes described above are performed. Do it again.
このとき、メータ読み取り作業装置２０は、例えば認識状態を出力したり、マーカ画像Ｍ２１～Ｍ２４とガイド情報Ｇ２１～Ｇ２４との幾何学的な対応度合いを認識確度として計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。図５には一例として、マーカ画像Ｍ２１～Ｍ２４と同一色の背景画像Ｆが映り込んで誤認識されており、右下のマーカ画像Ｍ２４が適切に認識できていない状態が図示されている。上記の状態を作業者に通知するため、ガイド情報表示領域Ｒ２２に「色マーカが認識できません。右上領域が映らないようにしてください。」等のメッセージをガイド情報として表示することが可能である。
At this time, the meter
第２の認識段階の完了後すぐに実行される第３段階においては、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する処理が行われる。なお、本発明の第２実施形態における第３段階の処理は、上述した本発明の第１実施形態における第３段階の処理と同一であり、ここでは説明を省略する。 In the third stage, which is executed immediately after the completion of the second recognition stage, processing is performed to identify the reading target region R21 including the image of the designated value indicator and to recognize the designated value. Note that the third stage processing in the second embodiment of the present invention is the same as the third stage processing in the first embodiment of the present invention described above, and a description thereof will be omitted here.
以上説明したように、本発明の第２実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
As explained above, according to the second embodiment of the present invention, in a low recognition state, the operator can take pictures with the
また、本発明の第２実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。
Further, according to the second embodiment of the present invention, the recognition state and recognition accuracy related to the meter reading work can be notified to the worker in real time, so the worker can easily change the position and posture of the
（第３実施形態）
本発明の第３実施形態について説明する。図６は、本発明の第３実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第３実施形態では、主に、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する第３段階の処理について説明する。
(Third embodiment)
A third embodiment of the present invention will be described. FIG. 6 is a front view of the communication terminal showing an example of a display screen displayed on the display of the communication terminal during meter reading work in the third embodiment of the present invention. In the third embodiment of the present invention, a third stage process will be mainly described in which the reading target area R21 including the image of the indicated value indicator is identified and the indicated value is recognized.
本発明の第３実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、４桁のメータ値をデジタル表示するデジタルメータ装置であり、メータ値標示板を含む領域を示す４つの四角いマーカのシールがメータ装置Ｍｔ本体に貼付されている。なお、メータ値の桁数は４桁に限定されるものではなく、複数桁（２桁以上）のメータ値であってもよい。 The meter device Mt that is the target of the meter reading work in the third embodiment of the present invention is a digital meter device that digitally displays a four-digit meter value, and the four square marker stickers indicating the area including the meter value display plate are the meter device. It is attached to the main body of the device Mt. Note that the number of digits of the meter value is not limited to four digits, and may be a meter value of multiple digits (two or more digits).
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
When the worker points the
ここでは、第３段階の処理について説明する。第３段階においては、メータ値標示板の画像を含む読み取り対象領域Ｒ２１を特定してメータ値を認識する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像の読み取り対象領域Ｒ２１内の画像から、メータ値標示板を含む画像を抽出するとともにメータ値の各桁の画像を更に抽出し、認識対象物として各桁の数値を個別に読み取り、図６に示すように、各桁の数値の読み取り結果をディスプレイ１２上に表示させる。１つの撮影画像内に、複数の認識対象箇所として各桁の数値の画像を含む読み取り対象領域を設定することで、複数の認識対象箇所のそれぞれに対して個別に数値の読み取り処理を行い、数値全体の読み取り処理の効率化を図ることが可能となる。なお、各桁の数値の画像を含む読み取り対象領域の設定は、例えば、メータ値を含む画像を１つの読み取り対象領域に設定し、さらにメータ値を含む画像の読み取り対象領域をメータ値の桁数（図６の例では４桁）に基づいて認識して自動で分割することで実現可能である。
Here, the third stage processing will be explained. In the third stage, a process is performed to identify the reading target area R21 including the image of the meter value display board and recognize the meter value. The meter
例えば、メータ値の各桁（指示値の一部）に対応するとともに、全体としてメータ値（指示値全体）を表示する複数の指示値表示領域Ｐ３１～Ｐ３４をディスプレイ１２上のライブビュー画像を表示する領域内に設定し、メータ値の一部である各桁の数値の認識状態に応じて、複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに、撮影画像を２値化処理することによって生成された各桁の数値を表す２値化画像を表示する。これにより、メータ値の各桁の数値の読み取りが個別に行われるとともに、各桁の読み取り結果が個別に表示されるようになり、作業者は、読み取り結果が確定している桁位置および読み取り結果が未確定の桁位置を把握し、読み取り結果が未確定の桁位置を適切に撮影する必要があることを把握できる。また、２値化画像は、例えば写り込み、低照度、低コントラスト、白飛びや黒潰れ等によりメータ値が認識できない状態を顕現しており、撮影画像の認識状態を端的に表していると言えるものである。２値化画像の表示により、作業者は撮影画像の認識状態を確認することが可能となり、カメラ１１の位置や姿勢を変える等の簡単な動作で撮影条件の改善を図ることが可能となる。
For example, a live view image on the
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、読み取り対象領域Ｒ２１において認識対象物としてデジタル数字でメータ値が表示されているメータ値標示板の画像を抽出し、さらにメータ値の各桁の画像を抽出してメータ値の各桁の数値を個別に読み取り（図２のステップＳ１０３）、メータ値の各桁の数値の読み取りが適切に行われたかどうかを桁毎に個別に判定する（図２のステップＳ１０５）。
At this time, the meter
メータ値のすべての桁の読み取りが適切に行われた場合には、読み取られたメータ値を認識結果として確定して（図２のステップＳ１０７）、確定したメータ値を通信端末１０のディスプレイ１２上に表示したり、所定のメモリに記憶したりすることで処理は終了となる。一方、メータ値の一部の桁の読み取りが適切に行われなかった場合には、適切に読み取りが行われている桁については読み取られたメータ値を認識結果として確定したうえで、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。なお、メータ読み取り作業装置２０は、例えば認識状態を通信端末１０へ出力したり、各桁の数値の認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
If all digits of the meter value have been properly read, the read meter value is determined as the recognition result (step S107 in FIG. 2), and the determined meter value is displayed on the
また、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理と並列して、図３に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、各桁の数値の読み取り結果を取得し（図３のステップＳ２０１）、各桁の数値毎に読み取り結果が確定しているかどうかを判定する（図３のステップＳ２０５）。
Further, in the meter
読み取り結果がまだ確定していない桁の数値については、その桁に対応する指示値表示領域Ｐ３１～Ｐ３４に、読み取り結果が未確定であることを示す情報を表示する（図３のステップＳ２０７）。一方、読み取り結果が確定している場合には、その桁に対応する指示値表示領域Ｐ３１～Ｐ３４に、その桁の数値の読み取り結果を表示する。このとき、認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（図３のステップＳ２０９）。 For numerical values in digits for which the reading result has not been determined yet, information indicating that the reading result is unconfirmed is displayed in the instruction value display areas P31 to P34 corresponding to the digit (step S207 in FIG. 3). On the other hand, if the reading result is confirmed, the reading result of the numerical value of that digit is displayed in the instruction value display areas P31 to P34 corresponding to that digit. At this time, if the recognition accuracy is being calculated, the previous recognition accuracy and the current recognition accuracy are compared to further determine whether the current recognition accuracy is improved over the previous recognition accuracy. (Step S209 in FIG. 3).
今回の認識確度が前回の認識確度より向上している場合には、今回の読み取り結果を前回の読み取り結果に上書きする形で、その桁に対応する指示値表示領域Ｐ３１～Ｐ３４に表示する（図３のステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、前回の読み取り結果をそのまま保持し、その結果、前回の読み取り結果の表示がディスプレイ１２上に維持される（図３のステップＳ２１３）。すべての桁の読み取りが完了した場合には処理は終了となるが、読み取り結果が未確定の桁が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。 If the current recognition accuracy is better than the previous recognition accuracy, the current reading result is displayed in the indicated value display areas P31 to P34 corresponding to that digit by overwriting the previous reading result (Fig. 3 step S211). On the other hand, if the current recognition accuracy is not improved over the previous recognition accuracy, the previous reading result is retained as is, and as a result, the display of the previous reading result is maintained on the display 12 (see FIG. 3). Step S213). When the reading of all digits is completed, the process ends, but if there is even one digit whose reading result is unconfirmed, the process according to the flowchart shown in FIG. 3 is started again.
以上の処理により、デジタル数字で表示されているメータ値について、メータ値の桁毎に読み取りを行って読み取り結果を出力することが可能となる。また、一度読み取った桁であっても、認識確度のより高い読み取り結果が得られた場合には、認識確度のより高い読み取り結果で上書き表示を行うことが可能となる。 Through the above processing, it becomes possible to read each digit of the meter value displayed in digital numbers and output the reading result. Furthermore, even if a digit has been read once, if a reading result with higher recognition accuracy is obtained, it is possible to overwrite and display the reading result with higher recognition accuracy.
また、メータ読み取り作業装置２０は、読み取り結果だけではなく、各桁の数値の認識確度を計算してその認識確度を出力してもよい。例えば、各桁の数値の認識確度に応じて、各桁に対応する指示値表示領域Ｐ３１～Ｐ３４の輪郭を強調表示したり、各桁の数値のフォント、文字の色や背景の色等を変化させたりしてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態や認識確度を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。
Further, the meter
図６には一例として、１、２、４桁目のメータ値の読み取り結果が確定している一方、３桁目の数値は画像が不鮮明であり読み取り結果が未確定である状態が図示されている。上記の状態を作業者に通知するため、ガイド情報表示領域Ｒ２２に「３桁目の数値がつぶれています。撮影向きを調整してください。」等のメッセージをガイド情報として表示したり、読み取り結果が確定している１、２、４桁目のメータ値を枠線で囲う強調表示を行ったりすることが可能である。 As an example, FIG. 6 shows a state in which the reading results of the meter values in the 1st, 2nd, and 4th digits are confirmed, while the image of the 3rd digit is unclear and the reading results are unconfirmed. There is. In order to notify the operator of the above condition, a message such as "The third digit number is distorted. Please adjust the shooting direction" is displayed as guide information in the guide information display area R22, and the reading result is displayed as guide information. It is possible to highlight the meter values of the 1st, 2nd, and 4th digits, which have been determined, by surrounding them with a frame line.
上述したように、図２および図３に示すフローチャートの処理は並列処理であり、各桁画像の認識状態や読み取り結果として確定される各桁のメータ値が変更されると、この変更に伴ってディスプレイ１２上の表示も変更されるようになっている。これにより、作業者は、ディスプレイ１２上の表示を視認することでメータ値の桁毎の認識状態や読み取り結果を確認することが可能である。例えば、図６の例では、１、２、４桁目のメータ値の読み取り結果が確定している状態が図示されているが、認識確度が向上した読み取り結果が得られた場合には、より良好な読み取り結果を得られたことを反映するよう表示が更新される。また、図６の例では、３桁目のメータ値の読み取り結果が未確定である状態が図示されているが、読み取り結果が確定した場合には読み取り結果の確定を反映するよう表示が更新される。
As mentioned above, the processing in the flowcharts shown in FIGS. 2 and 3 is parallel processing, and when the recognition state of each digit image or the meter value of each digit determined as the reading result is changed, the processing of the flowcharts shown in FIGS. The display on the
また、図６には一例として、ライブビュー画像を表示する領域内の複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに各桁の読み取り結果を表す２値化画像を表示しているが、さらに、ディスプレイ１２上にカメラ１１のライブビュー画像を同時に表示してもよい。例えば、ライブビュー画像で映し出されたメータ値標示板の画像と並列して２値化画像を表示してもよく、メータ値標示板の画像の上に、各桁の読み取り結果を表す２値化画像を半透明化した状態で重畳表示してもよい。
Further, as an example in FIG. 6, a binarized image representing the reading result of each digit is displayed in each of the plurality of instruction value display areas P31 to P34 in the area displaying the live view image, but furthermore, A live view image of the
以上説明したように、本発明の第３実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
As explained above, according to the third embodiment of the present invention, in a low recognition state, the operator shoots with the camera until a photographed image in a good recognition state is obtained, so that the operator can control the
また、本発明の第３実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。特に、メータ値の各桁をそれぞれ個別に認識してその認識状態や認識確度を作業者へ通知することで、どの桁の撮影条件を改善すればよいかを作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。また、撮影画像を２値化して表示することにより認識状態を視覚的な情報として作業者へ提供することで、改善すべき撮影条件を作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。
Further, according to the third embodiment of the present invention, the recognition state and recognition accuracy related to the meter reading work can be notified to the worker in real time, so the worker can easily change the position and posture of the
（第４実施形態）
本発明の第４実施形態について説明する。図７は、本発明の第４実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第４実施形態では、主に、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する第３段階の処理について説明する。
(Fourth embodiment)
A fourth embodiment of the present invention will be described. FIG. 7 is a front view of the communication terminal showing an example of a display screen displayed on the display of the communication terminal during meter reading work in the fourth embodiment of the present invention. In the fourth embodiment of the present invention, a third stage process will be mainly described in which the reading target area R21 including the image of the indicated value indicator is identified and the indicated value is recognized.
本発明の第４実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、本発明の第３実施形態で説明したメータ装置Ｍｔと同様に、４桁のメータ値をデジタル表示するデジタルメータ装置であり、メータ値標示板を含む領域を示す４つの四角いマーカのシールがメータ装置Ｍｔ本体に貼付されている。なお、メータ値の桁数は４桁に限定されるものではなく、複数桁（２桁以上）のメータ値であってもよい。 The meter device Mt to which the meter reading work is performed in the fourth embodiment of the present invention is a digital meter device that digitally displays a four-digit meter value, similar to the meter device Mt described in the third embodiment of the present invention, Four square marker stickers indicating areas including the meter value display board are affixed to the main body of the meter device Mt. Note that the number of digits of the meter value is not limited to four digits, and may be a meter value of multiple digits (two or more digits).
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
When the worker points the
ここでは、第３段階の処理について説明する。第３段階においては、メータ値標示板の画像を含む読み取り対象領域Ｒ２１を特定してメータ値を認識する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像の読み取り対象領域Ｒ２１内の画像から、メータ値標示板を含む画像を抽出するとともにメータ値の各桁の画像を更に抽出し、認識対象物として各桁の数値を個別に読み取り、図７に示すように、各桁の数値の読み取り結果をディスプレイ１２上に表示させる。１つの撮影画像内に、複数の認識対象箇所として各桁の数値の画像を含む読み取り対象領域を設定することで、複数の認識対象箇所のそれぞれに対して個別に数値の読み取り処理を行い、数値全体の読み取り処理の効率化を図ることが可能となる。なお、各桁の数値の画像を含む読み取り対象領域の設定は、例えば、メータ値を含む画像を１つの読み取り対象領域に設定し、さらにメータ値を含む画像の読み取り対象領域をメータ値の桁数（図７の例では４桁）に基づいて認識して自動で分割することで実現可能である。
Here, the third stage processing will be explained. In the third stage, a process is performed to identify the reading target area R21 including the image of the meter value display board and recognize the meter value. The meter
本発明の第４実施形態では、例えば、メータ値の各桁（指示値の一部）に対応するとともに、全体としてメータ値（指示値全体）を表示する複数の指示値表示領域Ｐ４１～Ｐ４４をディスプレイ１２上のライブビュー画像を表示する領域の外側（ディスプレイ１２の表示画面上部）に設定し、メータ値の一部である各桁の数値の認識状態に応じて、複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに各桁の数値を表示する。これにより、メータ値の各桁の数値の読み取りが個別に行われるとともに、各桁の読み取り結果が個別に表示されるようになり、作業者は、読み取り結果が確定している桁位置および読み取り結果が未確定の桁位置を把握し、読み取り結果が未確定の桁位置を適切に撮影する必要があることを把握できる。 In the fourth embodiment of the present invention, for example, a plurality of indicated value display areas P41 to P44 that correspond to each digit of the meter value (part of the indicated value) and display the meter value (the entire indicated value) as a whole are provided. A plurality of indicated value display areas P31 are set outside the area where the live view image is displayed on the display 12 (at the top of the display screen of the display 12), and are displayed in a plurality of indicated value display areas P31 according to the recognition state of each digit of the numerical value that is part of the meter value. -Display the numerical value of each digit in each of P34. As a result, each digit of the meter value is read individually, and the reading results for each digit are displayed individually. It is possible to understand the digit positions for which the reading result is undetermined and the need to appropriately photograph the digit positions for which the reading result is undetermined.
本発明の第４実施形態における画像認識処理および指示値読み取り処理は、上述した本発明の第３実施形態において図２のフローチャートを参照しながら説明した処理と同一であり、ここでは説明を省略する。 The image recognition process and the instruction value reading process in the fourth embodiment of the present invention are the same as the processes described above in the third embodiment of the present invention with reference to the flowchart of FIG. 2, and the description thereof will be omitted here. .
メータ読み取り作業装置２０では、図２に示すフローチャートに係る処理と並列して、図３に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、各桁の数値の読み取り結果を取得し（図３のステップＳ２０１）、各桁の数値毎に読み取り結果が確定しているかどうかを判定する（図３のステップＳ２０５）。
In the meter
読み取り結果がまだ確定していない桁の数値については、その桁に対応する指示値表示領域Ｐ４１～Ｐ４４に、例えば図７に示すように、読み取り結果が未確定であり現在読み取り処理中であることを示す回転矢印表示等の読み取り結果が未確定であることを示す情報を表示する（図３のステップＳ２０７）。一方、読み取り結果が確定している桁の数値については、その桁に対応する指示値表示領域Ｐ４１～Ｐ４４に、その桁の数値の読み取り結果を表示する。このとき、認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（図３のステップＳ２０９）。 For numerical values in digits for which the reading result has not yet been determined, the instruction value display areas P41 to P44 corresponding to that digit will indicate, for example, as shown in FIG. Information indicating that the reading result is unconfirmed, such as a rotating arrow display indicating , is displayed (step S207 in FIG. 3). On the other hand, for numerical values of digits for which the reading results have been determined, the reading results of the numerical values of those digits are displayed in the instruction value display areas P41 to P44 corresponding to the digits. At this time, if the recognition accuracy is being calculated, the previous recognition accuracy and the current recognition accuracy are compared to further determine whether the current recognition accuracy is improved over the previous recognition accuracy. (Step S209 in FIG. 3).
今回の認識確度が前回の認識確度より向上している場合には、今回の読み取り結果を前回の読み取り結果に上書きする形で、その桁に対応する指示値表示領域Ｐ４１～Ｐ４４に表示する（図３のステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、前回の読み取り結果をそのまま保持し、その結果、前回の読み取り結果の表示がディスプレイ１２上に維持される（図３のステップＳ２１３）。すべての桁の読み取りが完了した場合には処理は終了となるが、読み取り結果が未確定の桁が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。 If the current recognition accuracy is better than the previous recognition accuracy, the current reading result is displayed in the indicated value display areas P41 to P44 corresponding to that digit by overwriting the previous reading result (Fig. 3 step S211). On the other hand, if the current recognition accuracy is not improved over the previous recognition accuracy, the previous reading result is retained as is, and as a result, the display of the previous reading result is maintained on the display 12 (see FIG. 3). Step S213). When the reading of all digits is completed, the process ends, but if there is even one digit whose reading result is unconfirmed, the process according to the flowchart shown in FIG. 3 is started again.
以上の処理により、デジタル数字で表示されているメータ値について、メータ値の桁毎に読み取りを行って読み取り結果を出力することが可能となる。また、一度読み取った桁であっても、認識確度のより高い読み取り結果が得られた場合には、認識確度のより高い読み取り結果で上書き表示を行うことが可能となる。 Through the above processing, it becomes possible to read each digit of the meter value displayed in digital numbers and output the reading result. Furthermore, even if a digit has been read once, if a reading result with higher recognition accuracy is obtained, it is possible to overwrite and display the reading result with higher recognition accuracy.
また、メータ読み取り作業装置２０は、読み取り結果だけではなく、各桁の数値の認識確度を計算してその認識確度を出力してもよい。例えば、各桁の数値の認識確度に応じて、各桁に対応する指示値表示領域Ｐ４１～Ｐ４４の輪郭を強調表示したり、各桁の数値のフォント、文字の色や背景の色等を変化させたりしてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態や認識確度を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。
Further, the meter
図７には一例として、１、２桁目のメータ値の読み取り結果が確定している一方、３、４桁目の数値の読み取り結果が未確定である状態が図示されている。上述したように、図２および図３に示すフローチャートの処理は並列処理であり、各桁画像の認識状態や読み取り結果として確定される各桁のメータ値が変更されると、この変更に伴ってディスプレイ１２上の表示も変更されるようになっている。これにより、作業者は、ディスプレイ１２上の表示を視認することでメータ値の桁毎の認識状態や読み取り結果を確認することが可能である。例えば、図７の例では、１、２桁目のメータ値の読み取り結果が確定している状態が図示されているが、認識確度が向上した読み取り結果が得られた場合には、より良好な読み取り結果を得られたことを反映するよう表示が更新される。また、図７の例では、３、４桁目のメータ値の読み取り結果が未確定である状態が図示されているが、読み取り結果が確定した場合には読み取り結果の確定を反映するよう表示が更新される。
As an example, FIG. 7 shows a state in which the reading results of the meter values in the first and second digits are determined, while the reading results of the numerical values in the third and fourth digits are undetermined. As mentioned above, the processing in the flowcharts shown in FIGS. 2 and 3 is parallel processing, and when the recognition state of each digit image or the meter value of each digit determined as the reading result is changed, the processing of the flowcharts shown in FIGS. The display on the
また、図７の一例では、ライブビュー画像を表示する領域内に、撮影画像を２値化処理することによって生成された２値化画像Ｐ３０が表示される。２値化画像の表示により、作業者は撮影画像の認識状態を確認することが可能となり、カメラ１１の位置や姿勢を変える等の簡単な動作で撮影条件の改善を図ることが可能となる。
Further, in the example of FIG. 7, a binarized image P30 generated by binarizing a photographed image is displayed within the area where the live view image is displayed. By displaying the binarized image, the operator can check the recognition state of the photographed image, and it becomes possible to improve the photographing conditions by simple actions such as changing the position and posture of the
また、図７には一例として、ライブビュー画像を表示する領域に撮影画像のメータ値全体を含む２値化画像Ｐ３０が表示されているが、例えば本発明の第３実施形態と組み合わせて、ライブビュー画像を表示する領域内に複数の指示値表示領域Ｐ３１～Ｐ３４を設定し、複数の指示値表示領域Ｐ３１～Ｐ３４のそれぞれに各桁の読み取り結果を表す２値化画像を表示してもよい。 Further, as an example in FIG. 7, a binarized image P30 including the entire meter value of the photographed image is displayed in the area displaying the live view image. A plurality of instruction value display areas P31 to P34 may be set in the area where the view image is displayed, and a binarized image representing the reading result of each digit may be displayed in each of the plurality of instruction value display areas P31 to P34. .
以上説明したように、本発明の第４実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
As explained above, according to the fourth embodiment of the present invention, in a low recognition state, the operator shoots with the camera until a photographed image in a good recognition state is obtained, so that the operator can control the
また、本発明の第４実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。特に、メータ値の各桁をそれぞれ個別に認識してその認識状態や認識確度を作業者へ通知することで、どの桁の撮影条件を改善すればよいかを作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。また、撮影画像を２値化して表示することにより認識状態を視覚的な情報として作業者へ提供することで、改善すべき撮影条件を作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。
Further, according to the fourth embodiment of the present invention, the recognition state and recognition accuracy related to the meter reading work can be notified to the worker in real time, so the worker can easily change the position and posture of the
（第５実施形態）
本発明の第５実施形態について説明する。図８は、本発明の第５実施形態において、メータ読み取り作業中の通信端末のディスプレイに表示された表示画面の一例を示す通信端末の正面図である。本発明の第４実施形態では、主に、指示値標示物の画像を含む読み取り対象領域Ｒ２１を特定して指示値を認識する第３段階の処理について説明する。
(Fifth embodiment)
A fifth embodiment of the present invention will be described. FIG. 8 is a front view of the communication terminal showing an example of a display screen displayed on the display of the communication terminal during meter reading work in the fifth embodiment of the present invention. In the fourth embodiment of the present invention, a third stage process will be mainly described in which the reading target area R21 including the image of the indicated value indicator is identified and the indicated value is recognized.
本発明の第５実施形態におけるメータ読み取り作業対象のメータ装置Ｍｔは、２つの指示針が指し示す方向により２つの指示値を表すアナログメータ装置である。なお、指示針の数は２つに限定されるものではなく、複数（２つ以上）の数の指示針であってもよい。 The meter device Mt to which the meter reading work is performed in the fifth embodiment of the present invention is an analog meter device that indicates two indicated values depending on the directions pointed by two pointers. Note that the number of indicator needles is not limited to two, and may be a plurality (two or more) of indicator needles.
作業者が通信端末１０のカメラ１１をメータ装置Ｍｔに向けると、通信端末１０のディスプレイ１２上にカメラ１１の撮影画像がリアルタイム表示されるとともに、カメラ１１の撮影画像がメータ読み取り作業装置２０に送信され、メータ読み取り作業装置２０において指示値の読み取りが行われる。
When the worker points the
ここでは、第３段階の処理について説明する。第３段階においては、第２段階で特定された読み取り対象領域Ｒ２１内の画像から複数の指示針が指し示す指示値を認識する処理が行われる。メータ読み取り作業装置２０は、カメラ１１による撮影画像から、読み取り対象領域Ｒ２１内の画像から複数の指示針を含む画像を特定するとともに複数の指示針画像Ｐｔ１、Ｐｔ２を更に特定し、認識対象物として複数の指示針が指し示す複数の指示値を個別に読み取り、図８に示すように、複数の指示針が指し示す複数の指示値の読み取り結果をディスプレイ１２上に表示させる。
Here, the third stage processing will be explained. In the third step, a process is performed to recognize the instruction values pointed by the plurality of pointers from the image within the reading target region R21 specified in the second step. The meter
例えば、複数の指示針が指し示す複数の指示値のそれぞれ（指示値の一部）に対応するとともに、全体として複数の指示値（指示値全体）を表示する複数の指示値表示領域Ｐ５１、Ｐ５２をディスプレイ１２上のライブビュー画像を表示する領域の外側（ディスプレイ１２の表示画面上部）に設定し、複数の指示値のそれぞれの認識状態に応じて、複数の指示値表示領域Ｐ５１、Ｐ５２のそれぞれに複数の指示値を表示する。これにより、複数の指示針が指し示す複数の指示値の読み取りが個別に行われるとともに、複数の指示値の読み取り結果が個別に表示されるようになり、作業者は、読み取り結果が確定している指示値および読み取り結果が未確定の指示値を把握し、読み取り結果が未確定の指示値に係る指示針を適切に撮影する必要があることを把握できる。 For example, a plurality of indicated value display areas P51 and P52 that correspond to each of a plurality of indicated values (a part of the indicated values) pointed to by a plurality of pointers and also display a plurality of indicated values (the entire indicated value) as a whole. It is set outside the area where the live view image is displayed on the display 12 (at the top of the display screen of the display 12), and is displayed in each of the plurality of instruction value display areas P51 and P52 according to the recognition state of each of the plurality of instruction values. Display multiple readings. As a result, the readings of multiple indication values pointed to by multiple indicator hands are performed individually, and the reading results of the multiple indication values are displayed individually, allowing the operator to confirm that the reading results are confirmed. It is possible to grasp the instruction value and the instruction value for which the reading result is not determined, and to understand that it is necessary to appropriately photograph the indicator needle related to the instruction value for which the reading result is not determined.
このとき、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、カメラ１１で撮影された撮影画像から、認識対象物として複数の指示針画像Ｐｔ１、Ｐｔ２を抽出し、複数の指示針が指し示す各指示値を個別に読み取り（図２のステップＳ１０３）、各指示値の読み取りが適切に行われたかどうかを個別に判定する（図２のステップＳ１０５）。
At this time, the meter
複数の指示針が指し示す複数の指示値すべての読み取りが適切に行われた場合には、読み取られた指示値を認識結果として確定して（図２のステップＳ１０７）、確定した指示値を通信端末１０のディスプレイ１２上に表示したり、所定のメモリに記憶したりすることで処理は終了となる。一方、複数の指示値のうちの一部の指示値の読み取りが適切に行われなかった場合には、適切に読み取りが行われている指示値については読み取られた指示値を認識結果として確定したうえで、カメラ１１の撮影画像を取得する処理（図１０のステップＳ１）に戻って、上述した一連の処理を再び行う。なお、メータ読み取り作業装置２０は、例えば認識状態を出力したり、各指示値の数値の認識確度を計算してその認識確度を出力したりすることで、通信端末１０において、認識状態や認識確度に応じた画面表示や音声出力を行うようにしてもよい。
If all of the plurality of indication values pointed by the plurality of indicator hands have been properly read, the read indication values are determined as recognition results (step S107 in FIG. 2), and the determined indication values are sent to the communication terminal. The process ends by displaying the information on the
また、メータ読み取り作業装置２０では、上述した図２に示すフローチャートに係る処理と並列して、図３に示すフローチャートに係る処理が実行される。具体的には、メータ読み取り作業装置２０は、各指示値の読み取り結果を取得し（図３のステップＳ２０１）、各指示値の読み取り結果が確定しているかどうかを判定する（図３のステップＳ２０５）。
Further, in the meter
読み取り結果がまだ確定していない指示値については、その指示値に対応する指示値表示領域Ｐ５１、Ｐ５２に、読み取り結果が未確定であることを示す情報を表示する（図３のステップＳ２０７）。一方、読み取り結果が確定している指示値については、その指示値に対応する指示値表示領域Ｐ５１、Ｐ５２に、その指示値の読み取り結果を表示する。このとき、認識確度の計算が行われている場合には、前回の認識確度と今回の認識確度とを比較して、今回の認識確度が前回の認識確度より向上しているかどうかを更に判定する（図３のステップＳ２０９）。 For instruction values whose reading results have not been determined yet, information indicating that the reading results are undetermined is displayed in the instruction value display areas P51 and P52 corresponding to the instruction values (step S207 in FIG. 3). On the other hand, for an instruction value whose reading result has been determined, the reading result of that instruction value is displayed in the instruction value display area P51, P52 corresponding to the instruction value. At this time, if the recognition accuracy is being calculated, the previous recognition accuracy and the current recognition accuracy are compared to further determine whether the current recognition accuracy is improved over the previous recognition accuracy. (Step S209 in FIG. 3).
今回の認識確度が前回の認識確度より向上している場合には、今回の読み取り結果を前回の読み取り結果に上書きする形で、その指示値に対応する指示値表示領域Ｐ３１～Ｐ３４に表示する（図３のステップＳ２１１）。一方、今回の認識確度が前回の認識確度より向上していない場合には、前回の読み取り結果をそのまま保持し、その結果、前回の読み取り結果の表示がディスプレイ１２上に維持される（図３のステップＳ２１３）。すべての指示値の読み取りが完了した場合には処理は終了となるが、読み取り結果が未確定の指示値が１つでもあった場合には、再び図３に示すフローチャートに係る処理が開始される。 If the current recognition accuracy is better than the previous recognition accuracy, the current reading result is displayed in the instruction value display areas P31 to P34 corresponding to the instruction value by overwriting the previous reading result ( Step S211 in FIG. 3). On the other hand, if the current recognition accuracy is not improved over the previous recognition accuracy, the previous reading result is retained as is, and as a result, the display of the previous reading result is maintained on the display 12 (see FIG. 3). Step S213). When reading of all indicated values is completed, the process ends, but if there is even one indicated value for which the reading result is unconfirmed, the process according to the flowchart shown in FIG. 3 is started again. .
以上の処理により、複数の指示針が指し示す複数の指示値について、複数の指示値のそれぞれの読み取りを行って読み取り結果を出力することが可能となる。また、一度読み取った指示値であっても、認識確度のより高い読み取り結果が得られた場合には、認識確度のより高い読み取り結果で上書き表示を行うことが可能となる。 Through the above processing, it becomes possible to read each of the plurality of instruction values pointed by the plurality of indicator hands and output the reading results. Further, even if an instruction value is read once, if a reading result with higher recognition accuracy is obtained, it is possible to overwrite and display the reading result with higher recognition accuracy.
また、メータ読み取り作業装置２０は、読み取り結果だけではなく、各指示値の認識確度を計算してその認識確度を出力してもよい。例えば、各指示値の認識確度に応じて、各指示値に対応する指示値表示領域Ｐ５１、Ｐ５２の輪郭を強調表示したり、各指示値のフォント、文字の色や背景の色等を変化させたりしてもよく、スピーカ１３からの音声出力において、音色や周波数（音程）、ビープ音の間隔等を認識状態に応じて変化させてもよい。また、所定のガイド情報表示領域Ｒ２２に認識状態や認識確度を説明するテキストを表示してもよく、音声合成機能等を利用してテキストの読み上げ音声を出力してもよい。
Further, the meter
図８には一例として、２つの指示針のうちの一方（「メータ１」）の指示値の読み取り結果が確定している一方、他方（「メータ２」）の指示値の読み取り結果が未確定である状態が図示されている。上記の状態を作業者に通知するため、読み取り結果が確定している「メータ１」の指示値表示領域Ｐ５１には、読み取られた指示値「２９．５」を表示する一方、読み取り結果が未確定である「メータ２」の指示値表示領域Ｐ５２には「認識中」のメッセージをガイド情報として表示することが可能である。
As an example, FIG. 8 shows that the reading result of the indicated value of one of the two indicator hands ("
上述したように、図２および図３に示すフローチャートの処理は並列処理であり、各指示針が指し示す各指示値の認識状態や読み取り結果として確定される各指示値が変更されると、この変更に伴ってディスプレイ１２上の表示も変更されるようになっている。これにより、作業者は、ディスプレイ１２上の表示を視認することで各指示値の認識状態や読み取り結果を確認することが可能である。例えば、図８の例では、「メータ１」の指示値の読み取り結果が確定している状態が図示されているが、認識確度が向上した読み取り結果が得られた場合には、より良好な読み取り結果を得られたことを反映するよう表示が更新される。また、図８の例では、「メータ２」の指示値の読み取り結果が未確定である状態が図示されているが、読み取り結果が確定した場合には読み取り結果の確定を反映するよう表示が更新される。
As mentioned above, the processing in the flowcharts shown in FIGS. 2 and 3 is parallel processing, and when the recognition state of each instruction value pointed by each indicator needle or each instruction value determined as a reading result is changed, this change is The display on the
以上説明したように、本発明の第５実施形態によれば、低認識状態では良好な認識状態となる撮影画像が得られるまでカメラによる撮影を行うようにすることで、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。また、メータ装置Ｍｔの読み取り作業を開始してからメータ装置Ｍｔの指示値を読み取り可能に認識するまでの複数段階に係る一例の処理が作業者による指示および操作無しに実行されるため、作業者は、メータ読み取り作業の自動化を体感することが可能となる。
As explained above, according to the fifth embodiment of the present invention, in a low recognition state, the operator can take pictures with the
また、本発明の第５実施形態によれば、メータ読み取り作業に係る認識状態や認識確度をリアルタイムに作業者へ通知することができるため、作業者はカメラ１１の位置や姿勢を変える等の簡単な動作のみで撮影条件の改善を図ることが可能となり、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りが可能となる。特に、複数の指示針が指し示す各指示値をそれぞれ個別に認識してその認識状態や認識確度を作業者へ通知することで、どの指示針の撮影条件を改善すればよいかを作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。また、撮影画像を２値化して表示することにより認識状態を視覚的な情報として作業者へ提供することで、改善すべき撮影条件を作業者に把握させることが可能となり、その結果、迅速なメータ読み取り作業が実現可能となる。
Further, according to the fifth embodiment of the present invention, the recognition state and recognition accuracy related to the meter reading work can be notified to the worker in real time, so the worker can easily change the position and posture of the
なお、上述の各実施形態において例示したメータ装置Ｍｔは一例に過ぎない。図９には、例えばデジタルメータ装置Ｍｔａ～Ｍｔｃ、回転式メータ装置Ｍｔｄ、指示針を持つアナログメータ装置Ｍｔｅ、Ｍｔｆ、棒状温度計Ｍｔｇ、フロートメータ装置Ｍｔｈの多様なメータ装置Ｍｔａ～Ｍｔｈが図示されている。各メータ装置Ｍｔａ～Ｍｔｈはいずれも読み取り対象領域（指示値標示域）Ｚａ～Ｚｈを有している。本発明によれば、作業者が各種メータ装置Ｍｔの設置場所を巡回し、設置場所ごとに異なる種類のメータ装置Ｍｔ（例えば、図９に示すメータ装置Ｍｔａ～Ｍｔｈを含む各種メータ装置Ｍｔ）をカメラ１１で撮影することで、様々な場所に設置されている様々なメータ装置Ｍｔのメータ読み取り作業を行うことが可能となる。
Note that the meter device Mt illustrated in each of the above-described embodiments is only an example. FIG. 9 shows various meter devices Mta to Mth, such as digital meter devices Mta to Mtc, rotary meter device Mtd, analog meter devices Mte and Mtf with indicator needles, bar thermometer Mtg, and float meter device Mth. ing. Each of the meter devices Mta to Mth has a reading target area (indication value display area) Za to Zh. According to the present invention, an operator goes around the installation locations of various meter devices Mt, and installs different types of meter devices Mt (for example, various meter devices Mt including meter devices Mta to Mth shown in FIG. 9) at each installation location. By taking pictures with the
本発明は、上記の実施の形態や変形例に限定されるものではなく、本発明の技術的思想を逸脱しない範囲における種々の変形例および設計変更等をその技術的範囲に包含するものである。 The present invention is not limited to the above-described embodiments and modifications, but includes within its technical scope various modifications and design changes without departing from the technical idea of the present invention. .
以上説明したように、本発明は、作業者に煩雑な操作を強いることなくメータ読み取り作業に係る利便性を簡易な構成で向上させるとともに、認識状態の良好なメータ読み取りを可能にするという効果を有し、メータ読み取り作業装置および方法ならびにメータ読み取り作業システム全般に有用である。 As explained above, the present invention improves the convenience of meter reading work with a simple configuration without forcing the operator to perform complicated operations, and also has the effect of enabling meter reading with good recognition status. and is useful for meter reading work apparatus and methods and meter reading work systems in general.
１ メータ読み取り作業システム
１０ 通信端末
１１ カメラ
１２ ディスプレイ
１３ スピーカ
２０ メータ読み取り作業装置
２１ メータ読み取り部
２２ 出力態様制御部
２３ 情報出力部
２４ 読み取り設定情報格納部
２１１ 画像取得部
２１２ 画像認識部
２１３ 画像処理制御部
２１４ 認識確度計算部
Ｆ 背景画像
Ｇ１１、Ｇ２１～Ｇ２４ ガイド情報
Ｍ２１～Ｍ２４ マーカ画像Ｍ
Ｍｔ、Ｍｔａ～Ｍｔｈ メータ装置
Ｒ２２ ガイド情報表示領域
Ｒ１１、Ｒ２１、Ｚ、Ｚａ～Ｚｈ 読み取り対象領域
Ｐ１１ 二次元コード画像
Ｐ２１ 指示針画像
Ｐ３０ メータ値全体を含む２値化画像
Ｐ３１～Ｐ３４、Ｐ４１～Ｐ４４、Ｐ５１、Ｐ５２ 指示値表示領域
Ｐｔ１、Ｐｔ２ 指示針画像
1 Meter
Mt, Mta to Mth Meter device R22 Guide information display area R11, R21, Z, Za to Zh Reading target area P11 Two-dimensional code image P21 Indicator needle image P30 Binarized image including the entire meter value P31 to P34, P41 to P44 , P51, P52 Indication value display area Pt1, Pt2 Indicator needle image
Claims (9)
移動可能なカメラで撮影された前記メータ装置の読み取り対象領域の画像を取得する画像取得部と、
前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部と、
前記カメラの操作者が視認可能なディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部と、を備え、
前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とするメータ読み取り装置。 A meter reading work device that performs a task of reading an indicated value of the meter device based on an image of a reading target area of the meter device,
an image acquisition unit that acquires an image of the reading target area of the meter device taken with a movable camera;
an image recognition unit that performs image recognition processing to recognize a recognition target included in the image of the reading target area acquired by the image acquisition unit;
A plurality of instruction value display areas each displaying a part of the instruction value and displaying the instruction value as a whole are set in advance on a screen of a display that is visible to the operator of the camera, and the image recognition unit an output mode control unit that controls to individually display each of the recognition states of the part of the instruction value recognized as the recognition target object in each of the plurality of instruction value display areas,
The output mode control unit displays binarized images corresponding to respective captured images of the part of the instruction value in the plurality of instruction value display areas as images representing recognition states of the portion of the instruction value. A meter reading device that displays information on each meter in real time.
前記メータ装置を撮影する移動可能なカメラと、少なくとも前記カメラの撮影画像を表示可能なディスプレイとを準備するとともに、
前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、
前記カメラの撮影画像から認識される前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するものであって、
前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とするメータ読み取り作業方法。 A meter reading work method that supports the work of reading an indicated value of a meter device based on an image of a reading target area of the meter device, the method comprising:
preparing a movable camera for photographing the meter device and a display capable of displaying at least an image taken by the camera;
Presetting a plurality of instruction value display areas on the screen of the display, each displaying a part of the instruction value and displaying the instruction value as a whole, and
Each of the recognition states of a part of the instruction value recognized from the image taken by the camera is individually displayed in each of the plurality of instruction value display areas,
Displaying in each of the plurality of instruction value display areas in real time a binarized image corresponding to each photographed image of the portion of the instruction value as an image representing each recognition state of the portion of the instruction value. A meter reading work method featuring:
操作者が視認可能なディスプレイと、
前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像に基づいて前記メータ装置の指示値を読み取る作業を実行するメータ読み取り作業装置と、を有するメータ読み取り作業システムであって、
前記メータ読み取り作業装置は、
前記カメラで撮影された前記メータ装置の前記読み取り対象領域の画像を取得する画像取得部と、
前記画像取得部により取得した前記読み取り対象領域の画像に含まれる認識対象物を認識する画像認識処理を行う画像認識部と、
前記ディスプレイの画面上に、それぞれに指示値の一部を表示し、全体として前記指示値を表示する複数の指示値表示領域を予め設定するとともに、前記画像認識部により前記認識対象物として認識された前記指示値の一部の認識状態のそれぞれを、前記複数の指示値表示領域のそれぞれに個別に表示するよう制御する出力態様制御部と、
を備え、
前記出力態様制御部は、前記指示値の一部の認識状態のそれぞれを表す画像として、前記指示値の一部のそれぞれの撮影画像に対応する２値化画像を前記複数の指示値表示領域のそれぞれにリアルタイムに表示することを特徴とするメータ読み取り作業システム。 a camera that takes an image of the area to be read by the meter device;
A display that is visible to the operator;
A meter reading work system comprising: a meter reading work device that reads an indicated value of the meter device based on an image of the reading target area of the meter device taken by the camera,
The meter reading work device is
an image acquisition unit that acquires an image of the reading target area of the meter device taken by the camera;
an image recognition unit that performs image recognition processing to recognize a recognition target included in the image of the reading target area acquired by the image acquisition unit;
A plurality of instruction value display areas are set in advance on the screen of the display, each displaying a part of the instruction value and displaying the instruction value as a whole, and the image recognition unit recognizes the object as the recognition target. an output mode control unit that controls to individually display each of the recognition states of the part of the instruction value in each of the plurality of instruction value display areas;
Equipped with
The output mode control unit displays binarized images corresponding to respective captured images of the part of the instruction value in the plurality of instruction value display areas as images representing recognition states of the portion of the instruction value. A meter reading work system featuring real-time display on each meter.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023051859A JP7408865B2 (en) | 2019-03-29 | 2023-03-28 | Meter reading work device and method and meter reading work system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019066911A JP7253957B2 (en) | 2019-03-29 | 2019-03-29 | METER READING WORK DEVICE AND METHOD, AND METER READING WORK SYSTEM |
| JP2023051859A JP7408865B2 (en) | 2019-03-29 | 2023-03-28 | Meter reading work device and method and meter reading work system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019066911A Division JP7253957B2 (en) | 2019-03-29 | 2019-03-29 | METER READING WORK DEVICE AND METHOD, AND METER READING WORK SYSTEM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023080125A JP2023080125A (en) | 2023-06-08 |
| JP7408865B2 true JP7408865B2 (en) | 2024-01-05 |
Family
ID=72717472
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019066911A Active JP7253957B2 (en) | 2019-03-29 | 2019-03-29 | METER READING WORK DEVICE AND METHOD, AND METER READING WORK SYSTEM |
| JP2023051859A Active JP7408865B2 (en) | 2019-03-29 | 2023-03-28 | Meter reading work device and method and meter reading work system |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019066911A Active JP7253957B2 (en) | 2019-03-29 | 2019-03-29 | METER READING WORK DEVICE AND METHOD, AND METER READING WORK SYSTEM |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7253957B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7463263B2 (en) * | 2020-12-10 | 2024-04-08 | 株式会社日立ビルシステム | REMOTE MAINTENANCE OPERATION MANAGEMENT SERVER AND REMOTE MAINTENANCE OPERATION MANAGEMENT METHOD |
| WO2022180963A1 (en) * | 2021-02-25 | 2022-09-01 | 日本電気株式会社 | Image processing device, image processing method, and recording medium |
| CN114179110A (en) * | 2021-12-31 | 2022-03-15 | 国家石油天然气管网集团有限公司 | Inspection robot |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002288780A (en) | 2001-03-28 | 2002-10-04 | Mitsubishi Electric Corp | Automatic meter reader and instrumentation system using the same |
| JP2006309405A (en) | 2005-04-27 | 2006-11-09 | Chugoku Electric Power Co Inc:The | Meter recognition system, meter recognition method, and meter recognition program |
| JP2017188049A (en) | 2016-04-08 | 2017-10-12 | 株式会社東芝 | Inspection support terminal, inspection support method and program |
| JP2018109801A (en) | 2016-12-28 | 2018-07-12 | オムロンヘルスケア株式会社 | Terminal device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4592311B2 (en) | 2004-03-23 | 2010-12-01 | 中国電力株式会社 | Indication value recognition method, indication value recognition system, indication value recognition program, and recording medium on which indication value recognition program is recorded |
| JP5601250B2 (en) * | 2011-03-08 | 2014-10-08 | 富士通株式会社 | Image data processing method, program, and terminal device |
-
2019
- 2019-03-29 JP JP2019066911A patent/JP7253957B2/en active Active
-
2023
- 2023-03-28 JP JP2023051859A patent/JP7408865B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002288780A (en) | 2001-03-28 | 2002-10-04 | Mitsubishi Electric Corp | Automatic meter reader and instrumentation system using the same |
| JP2006309405A (en) | 2005-04-27 | 2006-11-09 | Chugoku Electric Power Co Inc:The | Meter recognition system, meter recognition method, and meter recognition program |
| JP2017188049A (en) | 2016-04-08 | 2017-10-12 | 株式会社東芝 | Inspection support terminal, inspection support method and program |
| JP2018109801A (en) | 2016-12-28 | 2018-07-12 | オムロンヘルスケア株式会社 | Terminal device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023080125A (en) | 2023-06-08 |
| JP2020166587A (en) | 2020-10-08 |
| JP7253957B2 (en) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7408865B2 (en) | Meter reading work device and method and meter reading work system | |
| EP2928180A1 (en) | Image processing apparatus, method for controlling image processing apparatus and program | |
| JP5701262B2 (en) | Inspection support system and method | |
| US7286725B2 (en) | Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method | |
| EP2953094A2 (en) | Method for supporting an operator in measuring a part of an object | |
| TW201350912A (en) | Information processing apparatus, information processing system, and information processing method | |
| JP2011239361A (en) | System and method for ar navigation and difference extraction for repeated photographing, and program thereof | |
| US20150339819A1 (en) | Method for processing local information | |
| EP3306565A1 (en) | Entity visualization method | |
| JP6783894B2 (en) | Meter reader, meter reading method and computer program | |
| CN113780201B (en) | Hand image processing method and device, equipment and medium | |
| JP2018077837A (en) | Position recognition method and system, and abnormality determination method and system | |
| CN110751728A (en) | Virtual reality equipment and method with BIM building model mixed reality function | |
| JP5152281B2 (en) | Image processing apparatus, method, and program | |
| JP7512451B2 (en) | Meter reading support system and method | |
| JP2020160691A (en) | Remote meter reading computer, method and program of the same | |
| JP6818795B2 (en) | Information processing equipment, information processing methods and computer programs | |
| KR101497944B1 (en) | Apparatus and method for displaying instrumentation data based on image process | |
| WO2020045635A1 (en) | Meter reading device, meter reading method, and computer program | |
| JP2020057298A (en) | Determination device, determination method, and determination program | |
| JP2019197537A (en) | Information processor, information processing method, and computer program | |
| CN104751445A (en) | Thermal image analysis configuration device and thermal image analysis configuration method | |
| JP7206236B2 (en) | Indicated value reading system, method and program | |
| US11636827B2 (en) | Method for managing the display of a least one information item, and associated computer program product, information medium and display system | |
| JP2013156909A (en) | Shape model generation device and pre-and-post work corresponding image determination system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7408865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |