JP7411534B2 - Instrument reading system, instrument reading program - Google Patents
Instrument reading system, instrument reading program Download PDFInfo
- Publication number
- JP7411534B2 JP7411534B2 JP2020193527A JP2020193527A JP7411534B2 JP 7411534 B2 JP7411534 B2 JP 7411534B2 JP 2020193527 A JP2020193527 A JP 2020193527A JP 2020193527 A JP2020193527 A JP 2020193527A JP 7411534 B2 JP7411534 B2 JP 7411534B2
- Authority
- JP
- Japan
- Prior art keywords
- scale
- candidates
- instrument
- candidate
- meter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 28
- 230000009466 transformation Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000006740 morphological transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Arrangements For Transmission Of Measured Signals (AREA)
Description
本発明は、プラントや工場等の施設内に設置されている指針により指示値を表す種類の計器を対象として、点検や保守等において計器の指示値を取得および記録する作業を支援する計器読み取りシステム、計器読み取りプログラムに関するものである。 The present invention is an instrument reading system that supports the work of acquiring and recording the indicated values of meters during inspections, maintenance, etc., for the types of instruments that indicate indicated values by guidelines installed in facilities such as plants and factories. , relating to instrument reading programs.
プラントや工場等における点検作業や保守作業の一つとして、施設内に設置されている計器の指示値を取得し記録する作業がある。また、施設内に設置されている計器の中でも、指針によって指示値を表す種類の計器(指針型計器)がある。指針型計器の読み取り作業を支援する技術としては、スマートフォンやタブレット端末に搭載されているカメラやパソコンに接続されたカメラ等で計器の画像を撮影し、撮影した画像から計器の指示値を自動的に読み取る技術がある（例えば、特許文献１）。 BACKGROUND ART One of the inspection and maintenance tasks in plants, factories, etc. is to obtain and record readings from meters installed in the facility. Furthermore, among the meters installed in facilities, there is a type of meter (pointer-type meter) that indicates an indicated value using a pointer. A technology that supports the reading of pointer-type meters is to take an image of the meter using a camera installed in a smartphone or tablet device or a camera connected to a computer, and automatically calculate the indicated value of the meter from the photographed image. There is a technology for reading the information (for example, Patent Document 1).
特許文献１では、指示値の読み取りに必要な情報を利用者があらかじめ設定し、設定した情報を用いて指示値の読み取りを行う技術が提示されている。カメラで撮影した計器の画像を画面上に表示し、計器の画像上で読み取りに必要な情報の設定を利用者が行うことができる。設定する情報としては、指針の支点位置、針の可動領域、目盛りを含む領域であり、これらの設定を支援する図形を計器の画像上に重ね合わせて表示し、利用者がその図形を移動・変形することにより設定を行えるようにして、設定作業の効率化を図っている。 Patent Document 1 presents a technique in which a user sets information necessary for reading an instruction value in advance, and reads the instruction value using the set information. An image of the instrument taken with a camera is displayed on the screen, and the user can set the information necessary for reading on the image of the instrument. The information to be set includes the fulcrum position of the pointer, the movable area of the needle, and the area including the scale.A figure that supports these settings is displayed superimposed on the instrument image, and the user can move and move the figure. Settings can be made by changing the shape, making the setting work more efficient.
計器読み取りシステムを導入する場合、読み取りが可能であるかどうかを点検作業や保守作業を行う実際の現場において、事前に確認することが通常と考えられる。このため、特許文献１のような、各計器に対して、事前に読み取りに必要となる情報を設定することにより読み取りを行う技術を用いることが現実的である。 When introducing a meter reading system, it is considered normal to check in advance whether reading is possible at the actual site where inspection or maintenance work is being performed. For this reason, it is practical to use a technique such as that disclosed in Patent Document 1, in which information required for reading is set in advance for each meter to perform reading.
しかしながら、点検作業や保守作業を実施する現場では、設備の配置や安全面から、使用できる機材や行動範囲が制限されるため、例えば、スマートフォンやタブレット端末のみで効率的に設定作業を行えることが望ましい。 However, at the site where inspection and maintenance work is carried out, the equipment that can be used and the range of movement are limited due to equipment layout and safety aspects, so for example, it is not possible to efficiently perform setting work using only a smartphone or tablet terminal. desirable.
特許文献１では、指針が回転する中心位置や目盛り位置を、計器を撮影した画面上で利用者が指定することにより設定を行う方法が提示されている。しかし、読み取りの精度を上げるためには、中心位置や目盛り位置として、より正確な位置を指定する必要がある。一般的に使用されるパソコンおよびマウスが使える環境であれば、画像上で正確な位置を指定することは容易である。しかし、使用できる手段がスマートフォンやタブレット端末である場合、画面が小さい上に、指によるタッチ操作となるため、画像上で正確な位置を指定することが困難となり、設定に要する時間も増大する。このため、スマートフォンやタブレット端末の画面上においても、計器の読み取りに必要となる情報をより正確に設定するための手段が必要であると考えられる。 Patent Document 1 proposes a method in which the user specifies the center position around which the pointer rotates and the position of the scale on a screen that captures an image of the meter. However, in order to improve reading accuracy, it is necessary to specify more accurate positions as the center position and scale position. In an environment where a commonly used personal computer and mouse can be used, it is easy to specify an accurate position on an image. However, when the available means is a smartphone or tablet terminal, the screen is small and touch operations are required with a finger, making it difficult to specify an accurate position on the image and increasing the time required for setting. For this reason, it is thought that there is a need for a means to more accurately set the information necessary for meter reading on the screen of a smartphone or tablet terminal.
以上のことから、本発明の目的は、計器の読み取りに必要となる情報の設定にスマートフォンやタブレット端末等のモバイル機器を用いる場合でも、正確に且つ短時間で、計器の読み取りに必要となる情報を設定することを可能とする技術を提供することにある。 Based on the above, an object of the present invention is to provide information necessary for meter reading accurately and in a short time even when a mobile device such as a smartphone or tablet terminal is used to set the information necessary for meter reading. The goal is to provide technology that makes it possible to set up
本発明の一態様にかかる計器読み取りシステムは、計器の画像を取得する取得手段と、計器が示す数値を読み取るために必要な計器の情報を設定するための設定手段と、設定された前記計器の情報に基づいて前記計器の画像から計器が示す数値を読み取る読み取り手段と、前記計器が示す数値を読み取った結果を表示する表示手段と、を有する計器読み取りシステムであって、前記設定手段は、前記計器の画像における目盛りを含む領域の候補を検出する領域候補検出手段と、検出された目盛りを含む領域の各候補に対して、目盛り位置の候補を検出する位置候補検出手段と、前記目盛りを含む領域の候補および前記目盛り位置の候補から、最適な候補を選択するための制約条件に関する情報を入力する入力手段と、前記目盛りを含む領域の候補および前記目盛り位置の候補と、入力された前記制約条件とに基づいて、前記目盛りを含む領域の候補と前記目盛り位置の候補とに順位付けを行う順位付け手段と、前記順位付けの結果に基づいて最適な目盛りを含む領域の候補と目盛り位置の候補を表示する表示手段と、を有することを特徴とする計器読み取りシステムとして構成される。 An instrument reading system according to one aspect of the present invention includes: an acquisition means for acquiring an image of an instrument; a setting means for setting instrument information necessary for reading a numerical value indicated by the instrument; An instrument reading system comprising: a reading means for reading a numeric value indicated by the instrument from an image of the instrument based on information; and a display means for displaying the result of reading the numeric value indicated by the instrument, the setting means comprising: an area candidate detection means for detecting a candidate for a region including a scale in an image of an instrument; a position candidate detection means for detecting a candidate for a scale position for each candidate for a region including a detected scale; an input means for inputting information regarding constraint conditions for selecting an optimal candidate from the region candidates and the scale position candidates, the region candidates including the scale and the scale position candidates, and the input constraints; a ranking means for ranking candidates for a region including the scale and candidates for the scale position based on the conditions; and a ranking means for ranking candidates for the region including the scale and the candidate for the scale position based on the ranking results; and display means for displaying candidates.
本発明によれば、計器の読み取りに必要となる情報の設定にスマートフォンやタブレット端末等のモバイル機器を用いる場合でも、正確に且つ短時間で、計器の読み取りに必要となる情報を設定することが可能となる。 According to the present invention, even when using a mobile device such as a smartphone or a tablet terminal to set the information necessary for meter reading, the information necessary for meter reading can be set accurately and in a short time. It becomes possible.
以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。 Embodiments of the present invention will be described below with reference to the drawings. The following description and drawings are examples for explaining the present invention, and are omitted and simplified as appropriate for clarity of explanation. The present invention can also be implemented in various other forms. Unless specifically limited, each component may be singular or plural.
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。 The position, size, shape, range, etc. of each component shown in the drawings may not represent the actual position, size, shape, range, etc. in order to facilitate understanding of the invention. Therefore, the present invention is not necessarily limited to the position, size, shape, range, etc. disclosed in the drawings.
以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。 In the following description, various information may be described using expressions such as "table" and "list," but various information may be expressed using data structures other than these. "XX table", "XX list", etc. are sometimes referred to as "XX information" to indicate that they do not depend on the data structure. When describing identification information, when expressions such as "identification information", "identifier", "name", "ID", and "number" are used, these expressions can be replaced with each other.
同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。 When there are multiple components having the same or similar functions, the same reference numerals may be given different suffixes for explanation. However, if there is no need to distinguish between these multiple components, the subscripts may be omitted in the description.
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit））を含んでいてもよい。 In addition, in the following explanation, processing performed by executing a program may be explained, but the program is executed by a processor (for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit)). The processor may be the main body of the processing in order to perform the processing using appropriate storage resources (for example, memory) and/or interface devices (for example, communication ports). Similarly, the subject of processing performed by executing a program may be a controller, device, system, computer, or node having a processor. The main body of the processing performed by executing the program may be an arithmetic unit, and may include a dedicated circuit (for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit)) that performs specific processing. .
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。 A program may be installed on a device, such as a computer, from a program source. The program source may be, for example, a program distribution server or a computer-readable storage medium. When the program source is a program distribution server, the program distribution server includes a processor and a storage resource for storing the program to be distributed, and the processor of the program distribution server may distribute the program to be distributed to other computers. Furthermore, in the following description, two or more programs may be realized as one program, or one program may be realized as two or more programs.
以下では、計器の読み取りに必要となる情報をあらかじめ設定し、設定した情報に基づいて計器の指示値を読み取る計器読み取り技術において、計器の読み取りに必要となる情報の設定にスマートフォンやタブレット端末等のモバイル機器を用いる場合でも、正確に且つ短時間で、計器の読み取りに必要となる情報を設定することを可能としている。 In the following, we will explain how to use a smartphone, tablet, etc. to set the information necessary for meter reading in meter reading technology, which sets the information necessary for meter reading in advance and reads the indicated value of the meter based on the set information. Even when using a mobile device, it is possible to set the information necessary for meter reading accurately and in a short time.
第一の実施例を図１から図１９を用いて説明する。 A first embodiment will be described using FIGS. 1 to 19.
図１は、第一の実施例における計器読み取りシステム１０００を一般的なコンピュータによって実行させる場合のコンピュータの構成図を示す。本実施例における計器読み取りシステム１０００は、図２に示すように、利用者２０１が手に把持した端末２０２を用いて計器２０３を撮影し、端末２０２で計器２０３の指示値を読み取らせる場合を想定している。指示値の読み取りに必要となる各種情報についても、端末２０２で計器２０３の画像を取得し、端末２０２の画面上で計器２０３の画像を操作することにより、設定を行う。端末２０２は、スマートフォンやタブレット端末、ノートＰＣ等の、よく知られているモバイル端末であり、図１に含まれる構成要素を端末２０２に含む構成とすることができる。あるいは、データやプログラムの一部をサーバに格納し、必要な処理をネットワーク経由で実行する構成とすることも可能である。また、本実施例は、計器２０３を撮影するカメラを固定して設置するようなシステム対しても適用可能である。
FIG. 1 shows a configuration diagram of a computer when an
メモリ１０４に格納されたプログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＵＳＢ（Universal Serial Bus）メモリ等の可搬性を有する非一時的な記録媒体に格納され、コンピュータにインストールされてもよい。計器読み取りシステム１０００の機能は、メモリ１０４に格納されたプログラムがＣＰＵ１０１によって実行されることで、定められた処理がハードウェアと協働して実現される。計器読み取りシステム１０００が実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」等と呼ぶ場合がある。
The program stored in the memory 104 is stored in a portable, non-temporary recording medium such as a CD (Compact Disk), DVD (Digital Versatile Disk), or USB (Universal Serial Bus) memory, and is installed in the computer. Good too. The functions of the
図１におけるＣＰＵ１０１は、計器読み取りシステム１０００における各プログラムを実行するための情報処理装置である。入力Ｉ／Ｆ（インタフェース）１０２には、計器を撮影するためのカメラおよび、システムの開始や終了等を制御するためのキーボード、ボタン、マウスあるいはタッチパネル等の一般的なコンピュータにおける入力装置が含まれる。出力Ｉ／Ｆ（インタフェース）１０３は利用者にシステムの動作状況等を表示するための手段であり、スマートフォンやタブレット端末の画面、あるいは一般的なコンピュータ用の表示装置が含まれる。また、メモリ１０４は、計器読み取りシステム１０００における各プログラムを格納するための記憶媒体である。メモリ１０４には、計器設定プログラム１０５および、計器読み取りプログラム１０６が含まれる。
第一の実施例では、指針によって指示値を表す種類の計器のうち、図３の計器３０１に示すように、目盛りが円状に配置されており、指針がその円の中心を支点として回転する種類の計器を読み取りの対象と想定する。図３の計器３０１に示す種類の計器を読み取るために必要となる基本的な情報は、目盛りが構成する円と目盛りの最小値の位置および最大値の位置である。図３では、目盛りが構成する円の中心位置３０２、目盛りが構成する円の半径３０３、目盛りの最小値位置３０４および目盛りの最大値位置３０５が読み取りに必要な基本的な情報となる。以下では、一例として、目盛りの最小値の位置および最大値の位置が、読み取りに必要な基本的な情報であるとして説明している。しかし、目盛りの最小値の位置および最大値の位置に限らず、例えば、目盛りが通常指し示す値の範囲がわかる場合には、その範囲の下限値の位置および上限値の位置を、読み取りに必要な基本的な情報としてもよい。例えば、指針が指し示す指示値が、経験上あるいは制御等により、最小値および最大値の８０％の範囲で推移することがわかっている場合には、当該範囲の下限値の位置および上限値の位置を、読み取りに必要な基本的な情報とすればよい。このように、本システムの利用者は、上記最小値の位置および最大値の位置にかえて、読み取り位置や範囲を任意に設定することができる。
In the first embodiment, as shown in the
円の中心位置３０２は、例えば図３に示すように、画像の左下を原点とした位置座標により表すことができる。原点位置は、任意に設定することもできる。さらに、目盛りの最小値位置３０４および目盛りの最大値位置３０５は、例えば、図３に示すように、円の中心位置３０２から真下におろした線を基準とした相対的な角度で表すことができる。基準とする線も任意に設定することができる。これらの情報を利用者が効率的に指定するためには、例えば、目盛りの最小値位置３０４および目盛りの最大値位置３０５のみを指定すれば良い。２点のみの指定では通常、２種類の円が候補として求められることになるが、本実施例では、計器全体がなるべく大きく画像中に映るように撮影する、というような制約を用いることができる。この制約を用いることにより、目盛りの最小値位置３０４および目盛りの最大値位置３０５のみを用いて、目盛りが構成する円を一意に特定することが可能となる。また、目盛りの最小値位置３０４および目盛りの最大値位置３０５は指定された情報をそのまま使用すれば良い。
The
さらに、図３の計器３０１に示す種類の計器において、最小値位置と最大値位置が計器の中心線（例えば、円の中心位置３０２を通る垂直な線や水平な線）に対して線対称の位置にある場合は、目盛りの最小値位置３０４および目盛りの最大値位置３０５のいずれか一方と、円の中心位置３０２を指定することでも、目盛りが構成する円を一意に特定することができる。上述した情報は、計器の読み取りに必要となる基本的な情報であるが、それ以外の情報を追加することもできる。例えば、最小値と最大値以外の目盛りの位置を追加するようにしても良い。また、図３に示す計器は傾きが無い状態で撮影された状態となっているが、実際に計器を撮影する場合、計器が傾いて撮影される場合が一般的である。このため、上記に示した情報に加えて、傾きに関する情報を追加するようにしても良い。
Furthermore, in the type of meter shown in
計器情報データ１０７には、計器の読み取りに必要な情報の種類および計器の設定時に利用者が指定する情報の種類を登録する。図４に、計器情報データ１０７のフォーマットの一例を示す。計器情報ＩＤ４０１は、計器情報の種類を表す識別子であり、計器情報データ１０７の中において唯一の識別子であれば、任意の数字列あるいは文字列を使用することができる。設定情報リスト４０２は、上述した計器の指示値の読み取りに必要な情報の種類を文字列等により列挙したものである。図３に示す種類の計器であれば、例えば「円の中心位置、円の半径、最小値位置、最大値位置」のような文字列を記述する。「円の中心位置」は図３に示した円の中心位置３０２、「円の半径」は図３に示した円の半径３０３、「最小値位置」は図３に示した目盛りの最小値位置３０４、「最大値位置」は図３に示した目盛りの最大値位置３０５にそれぞれ対応することを想定している。
In the
入力情報リスト４０３は、設定情報リスト４０２に列挙されている情報のうち、計器の設定を行う際に利用者が手動で入力を行う情報の種類を列挙したものである。例えば、図３に示す計器に対して、目盛りの最小値位置３０４および最大値位置３０５を利用者が入力するという想定の場合、上述した設定情報リスト４０２の例に対する入力情報リスト４０３には「最小値位置、最大値位置」のような文字列を記述する。あるいは、目盛りが構成する円の中心位置３０２と目盛りの最小値位置３０４を利用者が入力する想定の場合は「中心位置、最小値位置」のような文字列を記述する。このように、利用者が入力すると想定する情報の種類および組み合わせは、設定情報リスト４０２に含まれる情報の種類の範囲内であれば、任意に設定することができる。
The
計器設定データ１０８には、計器設定プログラム１０５により設定される各計器の指示値の読み取りに必要となる情報が格納される。図３に示す計器の設定情報を格納するためのフォーマットの一例を図５に示す。図５において、計器名称５０１は読み取り対象の各計器に付与される名称であり、計器設定データ１０８において唯一の文字列であれば、任意の文字列を使用することができる。計器情報ＩＤ５０２は、計器情報の種類を表す識別子であり、計器情報データ１０７における計器情報ＩＤ４０１のいずれかが記述される。テンプレート画像５０３は、対象計器の読み取りに必要な情報を設定する際に計器を撮影した画像である。円の中心位置５０４、円の半径５０５、最小値位置５０６および最大値位置５０７は、図３における目盛りが構成する円の中心位置３０２、目盛りが構成する円の半径３０３、目盛りの最小値位置３０４および目盛りの最大値位置３０５にそれぞれ対応するデータが記述される。また、最小値５０８および最大値５０９は、最小値位置５０６および最大値位置５０７を指針が指示した場合の計器の指示値を記述する。
The
計器設定プログラム１０５や計器読み取りプログラム１０６には、読み取りに必要な情報の種類を表す上述のような文字列が登録されており、読み取りに必要な情報の種類の組み合わせにより、設定方法や読み取り方法を選択し、実行するようにしておく。想定する以外の種類の計器を対象とする必要が生じた場合は、読み取りに必要な新たな情報の種類の定義、新たな情報の組み合わせの計器情報データ１０７への登録、および、計器設定プログラム１０５および計器読み取りプログラム１０６への必要な情報や設定方法、読み取り方法の追加、を必要に応じて行うことにより、新しい種類の計器の設定および読み取りを行うことができる。
In the instrument setting program 105 and the
計器読み取り結果データ１０９には、計器読み取りプログラム１０６により読み取られた計器の指示値が格納される。図６に読み取られた計器の指示値を格納するフォーマットの一例を示す。図６において、計器名称６０１は読み取られた指示値に対応する計器の名称であり、図５における計器名称５０１と同様の名称が記述される。日時６０２には、指示値が読み取られた日付および時間を示す数値あるいは文字列が記述される。６０３は読み取られた指示値を表す数値あるいは文字列である。
The instrument reading
計器設定プログラム１０５は、計器の読み取りに必要な情報を設定し、設定した情報を計器設定データ１０８に格納するためのプログラムである。図７に、計器設定プログラム１０５により実行される処理のフローチャートの一例を示す。なお、図７に示すフローチャートは、図３に示す種類の計器を対象とした処理となっている。
The meter setting program 105 is a program for setting information necessary for meter reading and storing the set information in the
以下に説明するように、実施例１および後述する実施例２では、計器の画像（例えば、図３の円形形状の計器の画像や図２０の矩形形状の計器の画像）に示す種類の計器を取得する取得手段（例えば、入力装置１０２であるカメラ）と、計器が示す数値を読み取るために必要な計器の情報を設定するための設定手段（例えば、計器設定プログラム１０５）と、設定された計器の情報に基づいて計器の画像から計器が示す数値を読み取る読み取り手段（例えば、計器読み取りプログラム１０６）と、計器が示す数値を読み取った結果を表示する表示手段（例えば、出力装置１０３である表示装置）と、を有する計器読み取りシステム１０００において、上記設定手段は、計器の画像における目盛りを含む領域の候補（例えば、図３の円候補や図２０の矩形候補）を検出する領域候補検出手段（例えば、図７のＳ７０４～Ｓ７０７を実行する計器読み取りプログラム１０６）と、検出された目盛りを含む領域の各候補に対して、目盛り位置の候補を検出する位置候補検出手段（例えば、図７のＳ７０８を実行する計器読み取りプログラム１０６）と、目盛りを含む領域の候補および目盛り位置の候補から、最適な候補を選択するための制約条件に関する情報（例えば、図７のＳ７０９で指定される情報）を入力する入力手段（例えば、図７のＳ７０９を実行する計器読み取りプログラム１０６）と、目盛りを含む領域の候補および目盛り位置の候補と、入力された制約条件とに基づいて、目盛りを含む領域の候補と目盛り位置の候補とに順位付けを行う順位付け手段（例えば、図７のＳ７１０を実行する計器読み取りプログラム１０６）と、順位付けの結果に基づいて最適な目盛りを含む領域の候補と目盛り位置の候補を表示する表示手段（例えば、図７のＳ７１１を実行する計器読み取りプログラム１０６）と、を有することを特徴とする計器読み取りシステムとして機能する。
As explained below, in Example 1 and Example 2 described later, the types of instruments shown in the instrument images (for example, the image of a circular instrument in FIG. 3 and the image of a rectangular instrument in FIG. 20) are used. An acquisition means (e.g., a camera that is the input device 102), a setting means (e.g., the instrument setting program 105) for setting instrument information necessary to read the numerical value indicated by the instrument, and a set instrument. reading means (for example, the meter reading program 106) that reads the numerical value indicated by the meter from the image of the meter based on the information of the meter, and display means (for example, the display device which is the output device 103) that displays the result of reading the numerical value indicated by the meter. ), the setting means includes an area candidate detection means (e.g., a circle candidate in FIG. 3 or a rectangular candidate in FIG. 20) that detects a region candidate including a scale in the image of the meter (e.g., a circle candidate in FIG. 3 or a rectangular candidate in FIG. 20). , the
図７におけるステップ７０１では、計器設定プログラム１０５は、計器情報データ１０７から読み取り対象となる計器に関する情報を取得する。具体的には、計器設定プログラム１０５は、計器情報データ１０７から計器情報ＩＤ４０１の一覧を取得し、端末２０２の画面上に一覧表示するとともに、利用者に対象となる計器に対応する計器情報ＩＤを選択するよう指示を行う。計器設定プログラム１０５は、利用者が一覧から選択した計器情報ＩＤに対応する計器情報を計器情報データ１０７から取得する。
In
ステップ７０２では、計器設定プログラム１０５は、端末２０２に設置されているカメラを用いて、読み取り対象となる計器の画像を撮影する。この画像は、計器設定データ１０８のテンプレート画像５０３として格納される。
In
ステップ７０３では、計器設定プログラム１０５は、撮影した計器の画像から輪郭線（エッジ）を抽出する。輪郭線は、一般によく知られた方法、例えば、Ｃａｎｎｙ法等を用いることにより容易に抽出することができる。ステップ７０３で輪郭線を抽出した後、ステップ７０４への処理とステップ７０５への処理に分岐する。この分岐は、異なるデザインの目盛りに対応することが目的である。
In step 703, the instrument setting program 105 extracts contour lines (edges) from the photographed image of the instrument. The contour line can be easily extracted using a generally well-known method such as the Canny method. After extracting the contour line in step 703, the process branches to step 704 and
図３に示す種類の計器を目盛りのデザインで分類すると、図８に示す種類の計器と図９に示す種類の計器に大別される。図８に示す種類の計器は、目盛り線によって構成される円と同心円である円弧の線に各目盛り線が接触しているデザイン８０１である。円弧の線８１１は、目盛り線と同様に描かれた線である場合もあるが、計器の枠が同様の役割を果たしている場合もある。この種類の計器では、輪郭線の抽出結果においても円弧と各目盛り線が接続された状態となる。一方、図９に示す種類の計器は、各目盛り線が独立した短い線になっているデザイン９０１であり、輪郭線の抽出においても各目盛り線に対して独立した輪郭線が抽出される。これら二種類の目盛りのデザインに柔軟に対応するため、図７に示すフローチャートでは、計器設定プログラム１０５は、ステップ７０４において図８に示す種類の目盛り線に対応した処理を、ステップ７０５以降において図９に示す種類の目盛り線に対応した処理を行う。図７では、ステップ７０４の処理と、ステップ７０５以降の処理とを実行する場合を例示しているが、どちらかの処理を選択的に実行してもよい。
When the types of meters shown in FIG. 3 are classified based on the design of their scales, they are roughly divided into the types of meters shown in FIG. 8 and the types of meters shown in FIG. 9. The type of instrument shown in FIG. 8 has a
ステップ７０４では、計器設定プログラム１０５は、ステップ７０３で抽出した輪郭線すべてを用いて円候補の検出を行う。円候補の検出方法としては、一般によく知られた方法、例えば、Ｈｏｕｇｈ変換等を用いることにより、容易に検出することができる。計器設定プログラム１０５は、図８に示す計器の画像から抽出した輪郭線に対して円候補の検出を行うことにより、例えば図１０における円候補１００１、円候補１００２および円候補１００３に示すような円候補を抽出することできる。図１０において、円候補１００１は目盛り線が接する円弧の線に対して検出された候補、円候補１００２および円候補１００３は計器の枠によって表される線が円候補として検出されたものである。また、計器設定プログラム１０５は、抽出した輪郭線すべてを用いて円候補の検出を行う代わりに、抽出された輪郭線を連結された輪郭線のまとまり（例えば、図１０で示す円を構成する１または複数の破線を含む小領域）に分割し、分割された輪郭線のまとまりがあらかじめ定められた長さより長い輪郭線のみに対して円候補の検出を行うようにしても良い。
In
一方、ステップ７０５では、計器設定プログラム１０５は、抽出された輪郭線を連結された輪郭線のまとまり（例えば、図１１で示す円を構成する目盛り線に対応する小領域）に分割し、分割された輪郭線のまとまりの領域が占める面積（例えば、図１１で示す目盛り線に対応する小領域の面積）を求める。計器設定プログラム１０５は、求めた面積があらかじめ目盛り線の面積を想定した閾値より小さい輪郭線のまとまりのみを残す。この処理により、計器設定プログラム１０５は、図９に示す種類の計器の画像から、目盛り線に関する輪郭線のみを抽出することが可能となる。
On the other hand, in
次にステップ７０６において、計器設定プログラム１０５は、ステップ７０５により残された各輪郭線のまとまりについて、それぞれの輪郭線の重心位置を求める。さらにステップ７０７において、計器設定プログラム１０５は、求めた重心位置に対してステップ７０４で使用したのと同様の方法を用いて円候補の検出を行う。ステップ７０５から７０７の処理により、図１１の円候補１１０１に示すように、独立した目盛り線により構成される円候補を検出することができる。
Next, in step 706, the instrument setting program 105 determines the position of the center of gravity of each contour line for each group of contour lines left in
ステップ７０４および、ステップ７０５から７０７によって検出された各円候補のうち、目盛りによって構成される円に対して検出された候補は、円候補１００１のように全ての目盛りに接触、あるいは、円候補１１０１のように全ての目盛りと交差する形になる。この場合、円候補の半径を基準として当該半径よりも一定程度大きくした円および当該半径よりも一定程度小さくした円によって挟まれるドーナツ状の領域は目盛りを含む領域となるため、各円候補は目盛り領域の候補となる。
Among the circle candidates detected in
このように、上記領域候補検出手段（例えば、図７のＳ７０４～Ｓ７０７を実行する計器読み取りプログラム１０６）は、計器の画像中から抽出した輪郭情報から目盛りを含む領域を表す形状を特定することにより、計器の画像中から目盛りを含む領域の候補を検出する処理（例えば、図７のＳ７０４）と、計器の画像中から各々の目盛りに対応する小領域を抽出し、抽出した複数の小領域が構成する形状が目盛りを含む領域を表す形状であるかどうかを判定することにより、計器の画像中から目盛りを含む領域の候補を検出する処理（例えば、図７のＳ７０５～Ｓ７０７）と、の少なくともいずれかの処理を行う。
In this way, the area candidate detection means (for example, the
ステップ７０８では、計器設定プログラム１０５は、ステップ７０４および、ステップ７０５から７０７によって検出された各円候補に対して、目盛り位置候補の検出を行う。目盛り位置候補の検出を行うためには、まず、円候補の中心位置に基づいて、図８や図９に示すような計器画像に対して極座標変換を行い、目盛り領域の画像を矩形状の画像に変換する。具体的には、計器設定プログラム１０５は、円候補の中心位置から円周方向に伸ばした直線を想定し、その直線上の画素値を取得する。計器設定プログラム１０５は、中心位置を軸に、直線の角度を少しずつ変えながら取得した画素を接続していくことにより、円形の画像を矩形状の画像に変換することができる。この際、計器設定プログラム１０５は、円候補の半径を中心として、あらかじめ設定された範囲の画素値のみを取得することにより、円候補が目盛りによって構成される円と一致している場合、図１２および図１３に示すように、目盛り領域のみを矩形状に変形した画像を取得することができる。図１２は図８に示す画像から抽出された目盛り領域の画像、図１３は図９に示す画像から抽出された目盛り領域の画像を想定している。また図１２および図１３では、目盛り線のみが抽出されている場合を想定した画像であるが、実際には、数字やその他模様の一部が含まれる場合もある。
In
さらにステップ７０８では、計器設定プログラム１０５は、目盛り領域の画像に対して、目盛り線のみを残すための処理を行う。具体的には、図１２および図１３のような画像の場合、計器設定プログラム１０５は、縦方向の線のみを残す処理を行う。この方法としては、一般によく知られたモルフォロジー変換等を用いることにより、容易に行うことができる。縦方向の線のみを残す処理を行うことにより、図１２に示す画像も図１３と同様の画像に変換される。計器設定プログラム１０５は、目盛り線のみとなった画像に対して、例えば図１３に示すような画像の場合、各目盛り線の横方向の位置を目盛り位置候補として取得する。
Furthermore, in
ステップ７０９では、計器設定プログラム１０５は、計器の設定時に利用者が指定する情報を取得する。このため、計器設定プログラム１０５は、端末２０２の画面上に図１４に示すような指示画面を表示する。この画面は、ステップ７０２で計器の撮影を行った後に表示される画面となる。端末２０２の画面がタッチパネルを有する場合、計器の画像１４０１上の該当位置を指でタッチすることにより、必要な情報を指定することができる。利用者が設定する必要がある情報の種類は、ステップ７０１で取得した計器情報データ１０７中における入力情報リスト４０３の内容によって決定される。計器設定プログラム１０５は、入力情報リスト４０３の内容に従って、利用者が指定した情報を順番に設定情報リスト中の情報に対応付ける。
In step 709, the meter setting program 105 obtains information specified by the user when configuring the meter. Therefore, the instrument setting program 105 displays an instruction screen as shown in FIG. 14 on the screen of the terminal 202. This screen is displayed after the instrument is photographed in
図１５に利用者が必要な情報を指定した状態の一例を示す。図１５は、利用者が指定する情報が目盛りの最小値位置３０４と目盛りの最大値位置３０５である場合の例を示しており、最小値位置１５０１が設定され、最大値位置１５０２が設定されている。なお、この時に利用者が指定する位置は正確な位置である必要は無い。また、図１４においてボタン１４０２は直前の画面に戻るためのボタンであり、計器設定プログラム１０５は、利用者からマウスや画面タッチ等による選択を受け付けると、画面を遷移させて直前画面に戻ることができる。以降の画面でも同様に、計器設定プログラム１０５は、このボタンが選択されると、直前の画面に遷移させる。
FIG. 15 shows an example of a state in which the user has specified necessary information. FIG. 15 shows an example where the information specified by the user is the
ステップ７１０では、計器設定プログラム１０５は、利用者が指定した情報に基づいて、すでに検出されている円候補および目盛り位置候補に対して順位付けを行う。いずれの順位付けについても、利用者が指定した位置と円候補や目盛り位置候補との距離に基づいて行うことができる。例えば、円候補の順位付けについては、計器設定プログラム１０５は、各円候補について、円候補の中心位置から利用者が指定した位置までの距離と円候補の半径との差を求め、差がより小さい候補を順位が上位の候補とすれば良い。また、目盛り位置候補の順位付けについては、計器設定プログラム１０５は、利用者が指定した位置を上述した極座標変換後の画像上での位置に変換し、各目盛り候補との距離がより小さい候補を順位が上位の候補とすれば良い。 In step 710, the instrument setting program 105 ranks the already detected circle candidates and scale position candidates based on the information specified by the user. Any ranking can be performed based on the distance between the position designated by the user and the circle candidate or scale position candidate. For example, regarding ranking of circle candidates, the instrument setting program 105 calculates the difference between the distance from the center position of the circle candidate to the position specified by the user and the radius of the circle candidate for each circle candidate, and calculates the difference between the radius of the circle candidate and the radius of the circle candidate. The smaller candidate may be set as the higher ranked candidate. Furthermore, regarding the ranking of scale position candidates, the instrument setting program 105 converts the position specified by the user into the position on the image after the above-mentioned polar coordinate transformation, and selects candidates with smaller distances from each scale candidate. It is preferable to choose a candidate with a higher ranking.
円候補や目盛り位置候補に順位付けを行う方法としては、これら以外にも順位がつけられる方法であればどのような方法でも用いることができる。さらに、円候補や目盛り位置候補の順位付けにおいて、利用者が指定した位置以外を制約に加えるようにしても良い。例えば、対象の計器が画像の中央付近に撮影されると想定できる場合、中心位置が画像の中心により近い円候補を順位が上位の候補とするようにしても良い。またさらに、複数の条件を組み合わせて順位付けを行うようにすることもできる。 As a method for ranking circle candidates and scale position candidates, any method other than these that can be used to rank candidates can be used. Furthermore, in ranking circle candidates and scale position candidates, positions other than those designated by the user may be added to constraints. For example, if it is assumed that the target instrument is photographed near the center of the image, a circle candidate whose center position is closer to the center of the image may be set as a higher ranked candidate. Furthermore, it is also possible to perform ranking by combining a plurality of conditions.
このように、上記設定手段（例えば、計器設定プログラム１０５）は、上記入力手段（例えば、図７のＳ７０９を実行する計器読み取りプログラム１０６）から、目盛り位置の概略の位置を取得し、上記順位付け手段（例えば、図７のＳ７１０を実行する計器読み取りプログラム１０６）は、検出された目盛りを含む領域の候補と、目盛り位置の候補の位置と取得した概略の位置との距離とに基づいて、検出された目盛りを含む領域の候補と目盛り位置の候補とに順位付けを行う。
In this way, the setting means (for example, the instrument setting program 105) obtains the approximate positions of the scale positions from the input means (for example, the
ステップ７１１では、計器設定プログラム１０５は、ステップ７１０で行った順位付けの結果に基づいて、円候補および目盛り位置候補を端末２０２の画面上に表示する。図１６に順位付けされた円候補および目盛り位置候補の表示例を示す。図１６において、画面の上部１６０１には、ステップ７０２で取得された計器の画像上に、順位付けされた円候補および目盛り位置候補を重ね合わせた結果が表示されている。特に図１６では、円候補、目盛り位置候補ともに、上位３つの候補のみが表示されており、さらに第一候補はそれぞれ太い線で表示されているとともに、円候補の第一候補については中心位置も合わせて表示されている。図１６において、円候補は破線、最小値の目盛り位置候補は四角、最大値の目盛り位置候補は三角、円候補の中心位置は計器中央の小さい破線の円１６０２として表示されている。また図１６では、目盛り位置候補は第一の円候補に対する候補のみとしている。さらに、計器設定プログラム１０５は、図１６における「円１」、「円２」、「円３」、「最小１」、「最小２」等のように、各候補には順位に応じた名称を自動的に付与し、各候補に紐づけて表示する。図１６に示す表示は一例であり、表示する候補数や線の太さ、記号の形状、表示色等を必要に応じて変更することができる。あるいは、利用者が使い勝手や嗜好に合わせて個別に調整できるようにしても良い。
In step 711, the instrument setting program 105 displays circle candidates and scale position candidates on the screen of the terminal 202 based on the ranking results performed in step 710. FIG. 16 shows a display example of ranked circle candidates and scale position candidates. In FIG. 16, in the
また、図１６の画面の下部１６０３には、検出された円候補および目盛り位置候補に付与された名称が上位の候補から順に一覧表示されている。候補の左側に表示されている丸は、黒丸が選択されている候補、白丸は選択されていない候補を示している。画面の下部１６０３では、いずれも第一位の候補が選択された状態であることを示している。画面の下部１６０３においても上位３つの候補のみが表示されているが、表示する候補の個数は任意に変更しても良い。例えば、計器設定プログラム１０５は、画面の上部１６０１に表示されている候補より多く候補を表示するようにしても良い。
Further, in the
ステップ７１２では、計器設定プログラム１０５は、ステップ７１１で表示された内容に対して利用者が行った操作の結果を取得し、ステップ７１３において図１６の決定ボタン１６０４が選択されたと判定した場合（ステップ７１３；Ｙｅｓ）、ステップ７１５に進む。ステップ７１３において、計器設定プログラム１０５は、利用者の操作が決定ボタン１６０４の選択ではないと判定した場合（ステップ７１３；Ｎｏ）、別候補選択または微調整であると判断し、ステップ７１４で必要な画面表示の変更を行い、再度ステップ７１２に戻り、利用者の操作を取得する。利用者の操作としては、例えば、円候補や目盛り候補の選択変更、円候補の位置や目盛り候補の位置の微調整等を想定することができる。他に必要な操作があれば、適宜追加することが可能である。
In
このように、上記設定手段（例えば、計器設定プログラム１０５）は、目盛りを含む領域の候補のうち、順位が上位の候補からあらかじめ定められた個数の候補を、計器の画像に重ねて表示するとともに、目盛りを含む領域の各候補に対応する目盛り位置の候補のうち、順位が上位の候補からあらかじめ定められた個数の候補を計器の画像に重ね合わせて表示する。 In this way, the setting means (for example, the instrument setting program 105) displays a predetermined number of candidates with the highest ranks among the candidates for the area including the scale, superimposed on the image of the instrument, and , A predetermined number of candidates having a higher rank among the candidates for the scale position corresponding to each candidate of the region including the scale are displayed in a superimposed manner on the image of the meter.
また、上記設定手段（例えば、計器設定プログラム１０５）は、画像上に表示されている目盛りを含む領域の候補あるいは目盛り位置の候補を選択する選択手段（例えば、図１６の画面下部１６０３に表示された円候補、最大値候補、最小値候補の選択を受け付ける計器設定プログラム１０５）を有し、選択された目盛りを含む領域の候補および目盛り位置の候補を、他の目盛りを含む領域の候補および目盛り位置の候補とは異なる形態で表示する処理、選択された目盛りを含む領域の候補に対する目盛り位置の候補のみを計器の画像上に表示する処理、のいずれか１つ以上の処理を行い、目盛りを含む領域の候補および目盛り位置の候補を計器の画面上に表示し、視認性を向上させることができる。
The setting means (for example, the instrument setting program 105) may also include a selection means (for example, the selection means (for example, the area displayed at the bottom of the
図１６において円候補の選択を変更した場合の画面の一例を図１７に示す。円候補の選択は、図１６における画面の下部１６０３に表示されている候補の一覧において、該当する候補の名称やその横に表示されている丸印をマウスや画面タッチ等により選択することで行うことができる。あるいは、図１６における画面の上部１６０１で計器の画像上に表示されている候補を直接選択するようにしても良い。図１７は、円候補を「円１」から「円３」に変更した場合の表示例であり、「円３」を太い破線で表示することにより「円３」が選択されていることを示しており、さらに、「円３」に対する目盛り位置候補が表示されている。計器設定プログラム１０５は、目盛り位置候補の選択の変更を、選択されている円候補に関連する目盛り位置候補のみに対して行うことができる。図１７の場合、「円３」に対する目盛り位置候補、「最小１」から「最小３」および「最大１」から「最大３」のいずれかを選択することができる。
FIG. 17 shows an example of the screen when the selection of circle candidates in FIG. 16 is changed. A circle candidate is selected by selecting the name of the candidate or the circle displayed next to it in the list of candidates displayed at the
このように、上記設定手段（例えば、計器設定プログラム１０５）は、目盛りを含む領域の候補と目盛り位置の候補の一覧を表示し、一覧の中で選択された目盛りを含む領域の候補あるいは目盛り位置の候補に対応する候補を、他の目盛りを含む領域の候補あるいは目盛り位置の候補とは異なる形態で計器の画像上で表示し、画面下部１６０３で選択された内容を画面上部１６０１に反映させることができる。
In this way, the setting means (for example, the instrument setting program 105) displays a list of candidates for the area containing the scale and candidates for the scale position, and selects the candidate for the area containing the scale or the scale position selected from the list. Displaying candidates corresponding to the candidates on the instrument image in a format different from candidates for areas including other scales or candidates for scale positions, and reflecting the content selected at the lower part of the
また、図１８は、円候補の位置を微調整する場合の画面の一例である。図１８の画面は、図１７の画面の下部１７０２に配置されている「微調整」と記述されたボタンをマウスや画面タッチ等で選択することで表示される画面であり、図１６で選択されている円候補のみの位置を修正することができる。図１８の画面上において、指のスライド方向１８０１に示すように画面上で指をスライドさせることにより、計器設定プログラム１０５がこれを検知し、円候補のスライド方向１８０２のように指の動きに合わせて対象の円候補の位置を修正することができる。マウスを使用して同様の操作を行うようにすることもできる。また図１８において、調整ラジオボタン１８０３をマウスあるいは画面タッチ等により選択することで、計器設定プログラム１０５がこれを検知し、円候補の大きさの微調整を行うことができる。円候補の大きさの変更方法としては、円候補の位置の場合と同様に、指のスライドやマウスの移動に合わせて変更する方法を用いることができる。目盛り位置候補についても同様に位置の微調整を行うようにすることができる。なお、目盛り位置候補の場合、微調整が可能な範囲を円候補によって決定される円周上に制限するようにしても良い。
Moreover, FIG. 18 is an example of a screen when finely adjusting the position of a circle candidate. The screen in FIG. 18 is displayed by selecting the button labeled "Fine adjustment" located at the bottom 1702 of the screen in FIG. 17 with the mouse or by touching the screen. You can modify the position of only the circle candidates. On the screen of FIG. 18, by sliding your finger on the screen as shown in the
このように、上記設定手段（例えば、計器設定プログラム１０５）は、目盛りを含む領域の候補および目盛り位置の候補のうち、選択されている候補の計器の画像上における位置を調整することができる。 In this way, the setting means (for example, the instrument setting program 105) can adjust the position of the instrument on the image of the selected candidate among the candidates for the region including the scale and the candidates for the scale position.
ステップ７１５では、計器設定プログラム１０５は、選択されている円候補および目盛り位置候補から計器の読み取りに必要な情報を取得し、計器設定データ１０８に保存する。これにより、利用者が指定した位置が正確でない場合でも、より正確な情報を設定することができる。さらに、計器設定プログラム１０５は、選択された目盛り位置候補に対する計器の指示値を取得し、計器設定データ１０８に保存し、処理を終了する。目盛り位置候補に対する計器の指示値は利用者が入力することを想定しており、計器設定プログラム１０５は、端末２０２の画面上に、それぞれの目盛り位置候補に対する指示値を入力するよう指示を表示し、利用者が入力した結果を計器設定データ１０８に保存する。
In step 715, the meter setting program 105 acquires information necessary for reading the meter from the selected circle candidate and scale position candidate, and stores it in the
計器の指示値の読み取りに必要な情報を設定するための上述した方法では、ステップ７０９で利用者が指定する情報を全て取得した後、ステップ７１０で円候補および目盛り位置候補に順位付けを行い、ステップ７１１でその結果を表示していた。このステップ７０９からステップ７１１までの処理フローについては、上述した方法の他、利用者が情報を一つ設定するたびに、計器設定プログラム１０５は、設定された情報に基づいて円候補および目盛り候補の順位付けを行い、その結果が表示されるようにしても良い。 In the above-described method for setting the information necessary for reading the indicated value of the meter, after all the information specified by the user is acquired in step 709, circle candidates and scale position candidates are ranked in step 710, The result was displayed in step 711. Regarding the processing flow from step 709 to step 711, in addition to the method described above, each time the user sets one piece of information, the instrument setting program 105 selects circle candidates and scale candidates based on the set information. It is also possible to perform ranking and display the results.
さらに、利用者が設定する情報として最小値位置５０６あるいは最大値位置５０７のいずれか一方のみが設定されている場合は、計器設定プログラム１０５は、これらの位置に加えて、円候補の中心位置から真下に引いた直線に対して線対称にある位置あるいは、円候補の中心位置から水平方向に引いた直線に対して線対称にある位置も円候補や目盛り位置候補の順位付けの基準に追加し、円候補や目盛り位置候補の順位付けを行うようにしても良い。これは、目盛り線が円形状に配置されている計器において、多くの場合、最小値位置と最大値位置が計器の中心線に対して線対称の位置にあるためである。設定された位置に対して、円候補の中心位置から垂直あるいは水平に引いた直線に線対称な位置を自動的に円候補や目盛り位置候補の順位付けに使用するようにするとともに、利用者が情報を一つ設定するたびに、設定された情報に基づいて円候補および目盛り候補の順位付けを行い、その結果が表示されるようにする。すなわち、上記設定手段（例えば、計器設定プログラム１０５）は、上記入力手段（例えば、図７のＳ７０９を実行する計器読み取りプログラム１０６）から、制約条件となる情報を一つ取得するごとに、目盛りを含む領域の候補および目盛り位置の候補の順位付けを更新し、計器の画像上における目盛りを含む領域の候補および目盛り位置の候補の表示を変更する。これにより、最短、一つの情報を設定するだけで、計器の読み取りに必要な情報を全て設定することが可能となる。
Furthermore, if only either the
このように、上記設定手段（例えば、計器設定プログラム１０５）は、目盛りを含む領域の形状が円形の場合、上記入力手段（例えば、図７のＳ７０９を実行する計器読み取りプログラム１０６）から、（１）最小値および最大値を示す目盛り位置の概略の位置、（２）円形の中心位置の概略の位置と最小値を示す目盛り位置の概略の位置、（３）円形の中心位置の概略の位置と最大値を示す目盛り位置の概略の位置、（４）最小値を示す目盛り位置の概略の位置と計器の画像の中心位置、（５）最大値を示す目盛り位置の概略の位置と計器の画像の中心位置、のいずれかを条件を取得し、上記順位付け手段（例えば、図７のＳ７１０を実行する計器読み取りプログラム１０６）は、検出された目盛りを含む領域の候補と、上記（１）～（５）のいずれかの条件とに基づいて、目盛りを含む領域の候補、および目盛り位置の候補に順位付けを行ってもよい。
In this way, when the shape of the area including the scale is circular, the setting means (for example, the instrument setting program 105) receives (1 ) the approximate position of the scale position indicating the minimum value and the maximum value; (2) the approximate position of the center position of the circle and the approximate position of the scale position indicating the minimum value; (3) the approximate position of the center position of the circle. The approximate position of the scale position indicating the maximum value, (4) The approximate position of the scale position indicating the minimum value and the center position of the instrument image, (5) The approximate position of the scale position indicating the maximum value and the center position of the instrument image. The ranking means (for example, the
また、上記設定手段（例えば、計器設定プログラム１０５）は、目盛り位置が特定の線に対して線対称である計器である場合、上記入力手段（例えば、図７のＳ７０９を実行する計器読み取りプログラム１０６）から取得する情報として、最小値を示す目盛り位置の概略の位置、あるいは、最大値を示す目盛り位置の概略の位置、のいずれか一方を取得し、上記順位付け手段（例えば、図７のＳ７１０を実行する計器読み取りプログラム１０６）は、検出された目盛りを含む領域の候補と、目盛り位置の候補の位置と取得したいずれかの概略の位置との距離とに基づいて、検出された目盛りを含む領域の候補と目盛り位置の候補とに順位付けを行ってもよい。
Further, when the setting means (for example, the instrument setting program 105) is a meter whose scale position is symmetrical with respect to a specific line, the above-mentioned input means (for example, the
図１における計器読み取りプログラム１０６は、計器設定プログラム１０５により保存された計器設定データ１０８に基づいて、計器を撮影した画像から計器の指示値の読み取りを行い、読み取った指示値を計器読み取り結果データ１０９に格納するためのプログラムである。図１９に、計器読み取りプログラム１０６により実行される処理のフローチャートの一例を示す。
The
図１９におけるステップ１９０１では、計器読み取りプログラム１０６は、計器設定データ１０８から読み取り対象となる計器に関する設定情報を取得する。具体的には、計器読み取りプログラム１０６は、計器設定データ１０８から計器名称５０１の一覧を取得し、端末２０２の画面上に一覧表示するとともに、利用者に対象となる計器に対応する計器名称を選択するよう指示を行う。計器読み取りプログラム１０６は、利用者が一覧から選択した計器名称に対応する設定情報を計器設定データ１０８から読み込む。
In
ステップ１９０２では、計器読み取りプログラム１０６は、端末２０２に設置されているカメラを用いて、読み取り対象となる計器の画像を撮影する。上述したステップ１９０１およびステップ１９０２では、読み取り対象となる計器名称を利用者が指定した後、対象となる計器の画像を撮影する流れとなっているが、その他、計器の名称を登録した画像パターンや記号、文字列を対象となる計器の周辺に設置し、計器を撮影する際、その画像パターンや記号、文字列を対象の計器とともに撮影し、画像パターンや記号、文字列を認識させることにより、計器の名称を取得する方法を用いることができる。例えば、計器の名称を登録した画像パターンとしては、よく知られたＱＲコード（登録商標）やＡＲマーカーと呼ばれる画像パターンを用いることができる。また、計器の名称を表す記号や文字列を使用する場合は、よく知られた文字認識技術を用いることにより、撮影した画像から計器の名称を取得することが可能となる。
In
計器設定データ１０８のテンプレート画像５０３およびステップ１９０２で撮影した計器の画像は、ともに読み取り対象となる計器を撮影した画像であるが、撮影時のカメラの位置や向きが同一となることは無いため、画像上における計器の位置、向き、大きさが異なっている画像となる。この状態では、計器設定データ１０８に保存されている情報を使用して計器の指示値の読み取りを行うことが困難である。そのため、計器読み取りプログラム１０６は、ステップ１９０３において、ステップ１９０２で撮影した画像上での計器とテンプレート画像上での計器の位置、向き、大きさを一致させる処理を行う。この方法としては、計器読み取りプログラム１０６は、例えば、よく知られた画像の局所特徴点および局所特徴点に付随する局所特徴量と呼ばれる情報をテンプレート画像５０３およびステップ１９０２で撮影した計器の画像から抽出する。
The
次に、計器読み取りプログラム１０６は、局所特徴量の類似度に基づいてテンプレート画像５０３から抽出した局所特徴点と、ステップ１９０２で撮影した計器の画像から抽出した局所特徴点との対応関係を求める。対応関係を求める方法としては、よく知られた総当たり法等を用いることができる。計器読み取りプログラム１０６は、局所特徴点の対応関係を求めた後、求めた対応関係を用いてステップ１９０２で撮影した計器の画像をテンプレート画像５０３上に投影するための変換行列を求める。この変換行列は、よく知られたホモグラフィー行列と呼ばれる行列である。
Next, the
最後に、計器読み取りプログラム１０６は、求めた変換行列を用いて、ステップ１９０２で撮影した計器の画像をテンプレート画像５０３上に投影する処理を行う。これにより、ステップ１９０２で撮影した画像中の計器の部分をテンプレート画像５０３上の計器の部分に合わせ込んだ画像、すなわち計器の位置、向き、大きさを一致させた画像を取得することができる。テンプレート画像５０３上の計器とステップ１９０２で撮影した画像上の計器を一致させる方法としては、同様の結果が得られる手法であればどのような手法を用いても良い。
Finally, the
ステップ１９０４では、計器読み取りプログラム１０６は、ステップ１９０３により得られた計器の画像、および計器設定データ１０８の情報を用いて、計器の指示値の読み取りを行う。ステップ１９０３により得られた画像上における計器の位置、向き、大きさは、テンプレート画像上における計器の位置、向き、大きさに一致しているため、計器読み取りプログラム１０６は、例えば、以下のような方法により、指示値の読み取りを行う。計器読み取りプログラム１０６は、まず、指針の色と同じ領域をステップ１９０３により得られた計器の画像中から抽出することにより、指針を画像中から抽出する。
In step 1904, the
さらに、計器読み取りプログラム１０６は、抽出した指針の輪郭線（エッジ）を求め、求めた輪郭線から直線の抽出を行う。輪郭線を求める方法としては、例えば上述したＣａｎｎｙ法を用いることができる。直線を抽出する方法としては、例えば上述したＨｏｕｇｈ変換を用いることができる。その他、同様の結果を得られる方法であれば、どのような方法を用いても良い。計器読み取りプログラム１０６は、抽出した直線のうち、最も長い二本の直線が交わる位置を求めることにより、指針の先端位置を取得することができる。あるいは、ステップ１９０３により得られた計器の画像中から直接、輪郭線を求め、輪郭線から抽出した直線のうち、最も長い二本の直線が交わる位置を求めることにより、指針の先端位置を取得するようにしても良い。なお、指針の抽出や輪郭線の抽出等において、計器設定データ１０８における円の中心位置５０４および円の半径５０５によって決定される円の範囲に処理の範囲を限定することにより、不要な領域や輪郭線の抽出を抑制することができる。
Furthermore, the
計器読み取りプログラム１０６は、画像中における指針の先端位置を求めた後、最小値位置５０６および最大値位置５０７の値と同じ計算方法による値に指針の先端位置を変換する。用いる計算方法としては、例えば、円の中心位置５０４から真下に下した直線と、円の中心位置５０４から対象位置に伸ばした直線がなす角度を求める、というような方法を用いることができる。この計算方法により求めた指針の先端位置と、計器設定データ１０８における最小値位置５０６、最大値位置５０７、最小値５０８、最大値５０９を用いて、（式１）により計器の指示値を算出することができる。
After determining the position of the tip of the pointer in the image, the
M=(Vmax-Vmin)/(θmax-θmin)×P （式１）
（式１）において、Mは求められた計器の指示値、Pは指針の先端位置、θminは最小値位置５０６、θmaxは最大値位置５０７、Vminは最小値５０８、Vmaxは最大値５０９である。（式１）は、最小値５０８から最大値５０９までの間の目盛りが全て等間隔である場合に計器の指示値を算出するために使用することができる計算式であり、よく知られた線形補間による計算式である。目盛りの間隔が不均等である場合は、最小値５０８と最大値５０９の間の中間的な目盛り位置および目盛り値に関する情報を計器設定データ１０８に追加し、指針の先端位置を挟む中間的な目盛り位置および目盛り値を用いて線形補間を行うことにより、計器の指示値を算出するようにしても良い。指針の先端位置を検出する方法や計器の指示値を算出する方法としては、上述した方法に限定されるものではなく、同様の結果が得られる方法であれば、どのような方法でも用いることができる。
M=(Vmax-Vmin)/(θmax-θmin)×P (Formula 1)
In (Equation 1), M is the obtained reading of the meter, P is the pointer tip position, θmin is the
最後に、計器読み取りプログラム１０６は、ステップ１９０５で、ステップ１９０４で読み取った計器の指示値を端末２０２の画面上に表示するとともに、計器読み取り結果データ１０９に格納し、処理を終了する。
Finally, in
以上のように第一の実施例によれば、目盛りが円状に配置されており、指針がその円の中心を支点として回転する種類の計器の指示値を画像から読み取る計器読み取りシステムにおいて、計器の読み取りに必要となる情報の設定にスマートフォンやタブレット端末等のモバイル機器を用いる場合でも、正確に且つ短時間で、計器の読み取りに必要となる情報を設定することが可能となる。 As described above, according to the first embodiment, in an instrument reading system that reads from an image the indicated value of an instrument in which the scale is arranged in a circle and the pointer rotates around the center of the circle, Even when using a mobile device such as a smartphone or tablet terminal to set the information necessary for reading the meter, it is possible to set the information necessary for reading the meter accurately and in a short time.
第二の実施例を図２０から図２１を用いて説明する。第一の実施例では図３に示すように、目盛りが円状に配置されており、指針がその円の中心を支点として回転する種類（例えば、円形形状）の計器を読み取り対象の計器として想定していた。一方、第二の実施例では図２０の計器２００１に示すように、目盛りが直線状に配置されており、指針がその直線に平行に直線状に移動する種類（例えば、矩形形状）の計器を読み取り対象の計器として想定する。
A second embodiment will be described using FIGS. 20 and 21. In the first embodiment, as shown in Fig. 3, a type of meter (e.g. circular shape) in which the scale is arranged in a circular shape and the pointer rotates around the center of the circle as a fulcrum is assumed as the meter to be read. Was. On the other hand, in the second embodiment, as shown in a
図２０に示す種類の計器の指示値を読み取るために必要となる基本的な情報は、図２０の指針の支点（が稼働する範囲の）位置２００２、目盛りが構成する直線の位置２００３、目盛りの最小値位置２００４および目盛りの最大値位置２００５に描かれた破線で囲まれた領域を特定する情報であり、指針の支点（が稼働する範囲の）位置２００２、目盛りが構成する直線の位置２００３、目盛りの最小値位置２００４および目盛りの最大値位置２００５がそれらの情報となる。これらの情報はすべて、例えば、画像の左下を原点とした位置座標により表すことができる。原点位置は、任意に設定することもできる。これらの情報を利用者が効率的に指定するためには、例えば、支点位置２００２、目盛りの最小値位置２００４および目盛りの最大値位置２００５のみを指定すれば良い。
The basic information required to read the indicated value of the type of meter shown in FIG. This information specifies the area surrounded by the broken line drawn at the
図２０では、目盛りの最小値位置２００４および最大値位置２００５は縦方向の位置座標のみで表している。しかし、画像上での位置を指定する際は点で指定される、すなわちＸ座標とＹ座標の両方が取得できるため、目盛りの最小値位置２００４および最大値位置２００５がＸ－Ｙ形式で保存されていると想定すれば、上述の３種類の情報が計器の読み取りに必要な基本的な情報となる。さらに計器の画像を撮影する際に、計器の中心が画像の中心と一致するように撮影する、というような制約を用いることにより、計器設定プログラム１０５は、目盛りの最小値位置２００４および最大値位置２００５のうちのいずれか一方と、支点位置２００２のみで、図２０における計器の読み取りに必要な領域、すなわち、指針の支点位置２００２、目盛りが構成する直線の位置２００３、目盛りの最小値位置２００４および目盛りの最大値位置２００５の箇所に引かれている破線で囲まれた領域を特定することが可能となる。この場合、計器設定プログラム１０５は、例えば目盛りの最小値位置２００４のみを使用する場合、図２０における画像の中心を通る水平線に対して線対称にある位置を目盛りの最大値位置２００５とみなせば良い。上述した情報は、図２０に示す種類の計器の読み取りに必要となる基本的な情報であるが、それ以外の情報を追加することもできる。例えば、目盛りの間隔が不均等であるような場合等は、目盛りの最小値位置２００４と目盛りの最大値位置２００５の間に中間的な目盛り位置を追加しても良い。さらに、図２０に示す計器は、傾きが無い状態で撮影された状態となっているが、実際に計器を撮影する場合、計器が傾いて撮影される場合が一般的である。このため、上記に示した情報に加えて、傾きに関する情報を追加するようにしても良い。
In FIG. 20, the
計器情報データ１０７には、計器設定プログラム１０５は、設定情報リスト４０２および入力情報リスト４０３の内容を上述した情報に合わせて変更したデータを登録する。例えば、設定情報リスト４０２は「支点位置、直線位置、最小値位置、最大値位置」、入力情報リスト４０３は「支点位置、最小値位置、最大値位置」のように記述することができる。「支点位置」は指針の支点位置２００２、「直線位置」は目盛りが構成する直線の位置２００３、「最小値位置」は目盛りの最小値位置２００４、「最大値位置」は目盛りの最大値位置２００５にそれぞれ対応することを想定している。第一の実施例では、指針の支点位置である円の中心位置は検出された円候補によって決定されるため利用者による入力は不要であるが、図４に示す種類の計器では支点が稼働する範囲を目盛りが構成する直線の位置２００３などから一意に決定することが困難であるため、第二の実施例においては、「支点位置」も利用者が入力することを想定する。
In the
図２１に、第二の実施例で使用する計器設定データ１０８のフォーマットの一例を示す。図５との違いは、円の中心位置５０４が支点位置２１０１に、円の半径５０５が直線の位置２１０２に変更されている点である。支点位置２１０１および直線の位置２０１２は、それぞれ、図２０における指針の支点位置２００２および目盛りが構成する直線の位置２００３に対応している。
FIG. 21 shows an example of the format of the
第二の実施例における計器設定プログラム１０５では、ステップ７０４、ステップ７０７で行われる処理を円候補の検出から直線候補の検出に変更する。また、計器設定プログラム１０５は、ステップ７０８以降の処理では、検出された直線候補に対して目盛り候補の検出（ステップ７０８）、直線候補への順位付け（ステップ７１０）、順位付けの結果に基づく直線候補の表示（ステップ７１１）等を行うようにすれば良い。また、目盛り候補の検出（ステップ７０８）では、目盛りが直線状であるため、第一の実施例で使用した極座標変換を行う必要は無い。計器設定プログラム１０５は、計器の画像から図１２あるいは図１３に示すような画像を直接、取得し、目盛り位置の候補を検出することが可能となる。直線候補の順位付け（ステップ７１０）については、計器設定プログラム１０５は、第一の実施例において利用者が指定した位置と円候補との距離に基づいて行っていた処理を、利用者が指定した位置と直線候補との距離に基づいて行う処理に変更するのみで良い。候補の表示および候補に対する利用者の操作については、円と直線という形状的な差異はあるが、基本的に同様の方法を用いることができる。
In the instrument setting program 105 in the second embodiment, the processing performed in
第二の実施例における計器読み取りプログラム１０６では、図１９に示すフローチャートで示される処理と同様の処理を行うことで、計器の指示値の読み取りを行うことができる。ただし第二の実施例では、ステップ１９０４で実施される処理において、以下の二点が第一の実施例とは異なる。まず、第一の実施例では円の中心位置５０４および円の半径５０５によって決定される円の範囲に処理の範囲を限定していたが、第二の実施例では指針の支点位置２００２および目盛りが構成する直線の位置２００３によって決定される矩形領域（図２０において、２００２と２００３で挟まれた領域）に処理の範囲を限定する。また、第一の実施例では指針の先端位置を円の中心位置５０４からの相対的な値に変換した後、指示値の計算をしていたが、第二の実施例では検出した指針の先端位置をそのまま使用することができる。例えば、計器読み取りプログラム１０６は、図２０に示すように指針が縦方向に移動する場合は指針位置のＹ座標の値をそのまま用いることができる。この場合、目盛りの最小値位置２００４、目盛りの最大値位置２００５についても同様の値を用いれば良い。また、指針が横方向に移動する場合はＸ座標の値を用いれば良い。
The
以上のように第二の実施例によれば、目盛りが直線状に配置されており、指針がその直線に沿って直線状に移動する種類の計器の指示値を画像から読み取る計器読み取りシステムにおいて、計器の読み取りに必要となる情報の設定にスマートフォンやタブレット端末等のモバイル機器を用いる場合でも、正確に且つ短時間で、計器の読み取りに必要となる情報を設定することが可能となる。 As described above, according to the second embodiment, in a meter reading system that reads the indicated value of a meter in which the scale is arranged in a straight line and the pointer moves linearly along the straight line, from an image, Even when using a mobile device such as a smartphone or a tablet terminal to set the information necessary for meter reading, it is possible to set the information necessary for meter reading accurately and in a short time.
また、実施例１で示した円形形状の計器、実施例２で示した矩形形状の計器、あるいは円形形状や矩形形状に含まれる様々な種類の計器について、少なくとも、計器の種類ごとに、目盛りを含む領域の形状、制約条件に関する情報の種類、制約条件を入力する順序に関する情報を格納する計器情報格納手段（例えば、計器情報データ１０７、計器設定データ１０８、計器読み取り結果データ１０９を記憶するストレージ）と、設定を行う計器の種類を取得する種類取得手段(例えば、計器設定プログラム１０５）と、画像上に表示されている目盛りを含む領域の候補あるいは目盛り位置の候補を選択する選択手段（例えば、図１６の画面下部１６０３に表示された円候補、最大値候補、最小値候補の選択を受け付ける計器設定プログラム１０５）と、を有し、上記設定手段は、取得された計器の種類に対応する情報を計器情報格納手段から取得し、取得した情報に基づいて、目盛りを含む領域の候補または目盛り位置の候補の順位付けに必要な制約条件に関する情報を取得し、上記順位付け手段は、取得された情報に基づいて、目盛りを含む領域の候補または目盛り位置の候補の順位付けを行い、上記選択手段は、順位付けの結果に基づいて、目盛りを含む領域の候補または目盛り位置の候補の選択を行うことも可能である。これにより、計器読み取りシステムを様々な種類の計器に適用することができる。
In addition, for the circular instrument shown in Example 1, the rectangular instrument shown in Example 2, or various types of instruments included in the circular or rectangular shape, at least scales are set for each type of instrument. Instrument information storage means that stores information about the shape of the included region, the type of information about constraints, and the order in which constraints are input (for example, a storage that stores
１０００ 計器読み取りシステム
１０１ ＣＰＵ
１０２ 入力Ｉ／Ｆ
１０３ 出力Ｉ／Ｆ
１０４ メモリ
１０５ 計器設定プログラム
１０６ 計器読み取りプログラム
１０７ 計器情報データ
１０８ 計器設定データ
１０９ 計器読み取り結果データ
２０１ 利用者
２０２ モバイル端末
２０３ 対象計器
1000
102 Input I/F
103 Output I/F
104 Memory 105
Claims (12)
計器が示す数値を読み取るために必要な計器の情報を設定するための設定手段と、
設定された前記計器の情報に基づいて前記計器の画像から計器が示す数値を読み取る読み取り手段と、
前記計器が示す数値を読み取った結果を表示する表示手段と、を有する計器読み取りシステムであって、
前記設定手段は、
前記計器の画像における目盛りを含む領域の候補を検出する領域候補検出手段と、
検出された目盛りを含む領域の各候補に対して、目盛り位置の候補を検出する位置候補検出手段と、
前記目盛りを含む領域の候補および前記目盛り位置の候補から、最適な候補を選択するための制約条件に関する情報を入力する入力手段と、
前記目盛りを含む領域の候補および前記目盛り位置の候補と、入力された前記制約条件とに基づいて、前記目盛りを含む領域の候補と前記目盛り位置の候補とに順位付けを行う順位付け手段と、
前記順位付けの結果に基づいて最適な目盛りを含む領域の候補と目盛り位置の候補を表示する表示手段と、
を有することを特徴とする計器読み取りシステム。 an acquisition means for acquiring an image of the instrument;
a setting means for setting meter information necessary to read the numerical value indicated by the meter;
reading means for reading a numerical value indicated by the meter from an image of the meter based on set information of the meter;
A meter reading system comprising: a display means for displaying a result of reading a numerical value indicated by the meter,
The setting means includes:
region candidate detection means for detecting a region candidate including a scale in the image of the instrument;
position candidate detection means for detecting a candidate scale position for each candidate of a region including the detected scale;
input means for inputting information regarding constraint conditions for selecting an optimal candidate from candidates for the region including the scale and candidates for the scale position;
a ranking means for ranking the candidates for the region including the scale and the candidates for the scale position based on the candidate for the region including the scale, the candidate for the scale position, and the input constraint condition;
a display means for displaying candidates for an area including an optimal scale and candidates for a scale position based on the ranking result;
An instrument reading system comprising:
前記領域候補検出手段は、
前記計器の画像中から抽出した輪郭情報から目盛りを含む領域を表す形状を特定することにより、前記計器の画像中から前記目盛りを含む領域の候補を検出する処理と、前記計器の画像中から各々の目盛りに対応する小領域を抽出し、抽出した複数の小領域が構成する形状が目盛りを含む領域を表す形状であるかどうかを判定することにより、前記計器の画像中から前記目盛りを含む領域の候補を検出する処理と、
の少なくともいずれかの処理を行うこと、
を特徴とする計器読み取りシステム。 The meter reading system of claim 1, comprising:
The area candidate detection means includes:
A process of detecting a candidate for a region including the scale from the image of the instrument by identifying a shape representing a region including the scale from contour information extracted from the image of the instrument; A region including the scale is extracted from the image of the instrument by extracting a small region corresponding to the scale and determining whether the shape formed by the plurality of extracted small regions is a shape representing the region including the scale. a process of detecting candidates for
carrying out at least one of the following;
An instrument reading system featuring:
前記設定手段は、
前記入力手段から、前記目盛り位置の概略の位置を取得し、
前記順位付け手段は、
検出された前記目盛りを含む領域の候補と、前記目盛り位置の候補の位置と取得した前記概略の位置との距離とに基づいて、検出された前記目盛りを含む領域の候補と前記目盛り位置の候補とに順位付けを行うこと、
を特徴とする計器読み取りシステム。 The meter reading system of claim 1, comprising:
The setting means includes:
obtaining the approximate position of the scale position from the input means;
The ranking means is
A candidate for a region including the detected scale and a candidate for the scale position based on the detected candidate for the region including the scale and the distance between the position of the candidate for the scale position and the obtained approximate position. to rank the
An instrument reading system featuring:
前記設定手段は、
前記目盛りを含む領域の形状が円形の場合、前記入力手段から、（１）最小値および最大値を示す前記目盛り位置の概略の位置、（２）円形の中心位置の概略の位置と最小値を示す前記目盛り位置の概略の位置、（３）円形の中心位置の概略の位置と最大値を示す前記目盛り位置の概略の位置、（４）最小値を示す前記目盛り位置の概略の位置と前記計器の画像の中心位置、（５）最大値を示す前記目盛り位置の概略の位置と前記計器の画像の中心位置、のいずれかを条件を取得し、
前記順位付け手段は、
検出された前記目盛りを含む領域の候補と、前記（１）～（５）のいずれかの条件とに基づいて、前記目盛りを含む領域の候補、および前記目盛り位置の候補に順位付けを行うこと、
を特徴とする計器読み取りシステム。 4. The meter reading system of claim 3, comprising:
The setting means includes:
When the shape of the region including the scale is circular, the input means inputs (1) the approximate position of the scale position indicating the minimum value and maximum value, and (2) the approximate position of the center position of the circle and the minimum value. (3) the approximate position of the center position of the circle and the approximate position of the scale position indicating the maximum value; (4) the approximate position of the scale position indicating the minimum value and the meter (5) the approximate position of the scale position indicating the maximum value and the center position of the image of the instrument;
The ranking means is
Ranking candidates for a region including the scale and candidates for the scale position based on the detected candidate for the region including the scale and any of the conditions (1) to (5) above. ,
An instrument reading system featuring:
前記設定手段は、
前記目盛り位置が特定の線に対して線対称である計器である場合、前記入力手段から取得する情報として、最小値を示す前記目盛り位置の概略の位置、あるいは、最大値を示す前記目盛り位置の概略の位置、のいずれか一方を取得し、
前記順位付け手段は、
検出された前記目盛りを含む領域の候補と、前記目盛り位置の候補の位置と取得したいずれかの前記概略の位置との距離とに基づいて、検出された前記目盛りを含む領域の候補と前記目盛り位置の候補とに順位付けを行うこと、
を特徴とする計器読み取りシステム。 4. The meter reading system of claim 3, comprising:
The setting means includes:
In the case of a meter in which the scale position is symmetrical with respect to a specific line, the information acquired from the input means includes the approximate position of the scale position indicating the minimum value, or the approximate position of the scale position indicating the maximum value. Get the approximate position,
The ranking means is
A candidate for a region including the detected scale and the scale based on the distance between the detected candidate for the scale and the position of the candidate for the scale position and any of the obtained approximate positions. ranking the candidate positions;
An instrument reading system featuring:
前記設定手段は、前記目盛りを含む領域の候補のうち、順位が上位の候補からあらかじめ定められた個数の候補を、前記計器の画像に重ねて表示するとともに、前記目盛りを含む領域の各候補に対応する目盛り位置の候補のうち、順位が上位の候補からあらかじめ定められた個数の候補を前記計器の画像に重ね合わせて表示すること、
を特徴とする計器読み取りシステム。 4. The meter reading system of claim 3, comprising:
The setting means displays a predetermined number of candidates having a higher ranking among the candidates for the area including the scale, superimposed on the image of the instrument, and also displays a predetermined number of candidates for the area including the scale, overlapping the image of the instrument. displaying a predetermined number of candidates with higher ranks among the candidates for the corresponding scale positions in a superimposed manner on the image of the meter;
An instrument reading system featuring:
前記設定手段は、
画像上に表示されている前記目盛りを含む領域の候補あるいは前記目盛り位置の候補を選択する選択手段を有し、
選択された前記目盛りを含む領域の候補および前記目盛り位置の候補を、他の前記目盛りを含む領域の候補および前記目盛り位置の候補とは異なる形態で表示する処理、選択された前記目盛りを含む領域の候補に対する前記目盛り位置の候補のみを計器の画像上に表示する処理、
のいずれか１つ以上の処理を行い、前記目盛りを含む領域の候補および前記目盛り位置の候補を計器の画面上に表示すること、
を特徴とする計器読み取りシステム。 7. The meter reading system of claim 6, comprising:
The setting means includes:
comprising a selection means for selecting a candidate for an area including the scale displayed on the image or a candidate for the position of the scale;
A process of displaying a candidate for a region including the selected scale and a candidate for the scale position in a form different from other candidates for a region including the scale and candidates for the scale position, an area including the selected scale. a process of displaying only the scale position candidates for the candidates on the instrument image;
performing any one or more of the following processes to display candidates for the area including the scale and candidates for the scale position on the screen of the instrument;
An instrument reading system featuring:
前記設定手段は、
前記目盛りを含む領域の候補と前記目盛り位置の候補の一覧を表示し、前記一覧の中で選択された前記目盛りを含む領域の候補あるいは前記目盛り位置の候補に対応する候補を、他の前記目盛りを含む領域の候補あるいは前記目盛り位置の候補とは異なる形態で計器の画像上で表示すること、
を特徴とする計器読み取りシステム。 8. The meter reading system of claim 7,
The setting means includes:
A list of candidates for the area including the scale and candidates for the scale position is displayed, and a candidate corresponding to the candidate for the area including the scale or the candidate for the scale position selected in the list is selected from the other candidates for the scale. Displaying on the image of the instrument in a form different from the area candidate containing the area or the scale position candidate;
An instrument reading system featuring:
前記設定手段は、
前記目盛りを含む領域の候補および前記目盛り位置の候補のうち、選択されている候補の前記計器の画像上における位置を調整することができること、
を特徴とする計器読み取りシステム。 8. The meter reading system of claim 7,
The setting means includes:
being able to adjust the position of the selected candidate on the image of the meter among the candidates for the region including the scale and the candidates for the scale position;
An instrument reading system featuring:
前記設定手段は、
前記入力手段から、制約条件となる情報を一つ取得するごとに、前記目盛りを含む領域の候補および前記目盛り位置の候補の順位付けを更新し、前記計器の画像上における前記目盛りを含む領域の候補および前記目盛り位置の候補の表示を変更すること、
を特徴とする計器読み取りシステム。 7. The meter reading system of claim 6, comprising:
The setting means includes:
Every time one piece of information serving as a constraint condition is acquired from the input means, the ranking of candidates for the area including the scale and the candidates for the scale position is updated, and the ranking of the area including the scale on the image of the meter is updated. changing the display of the candidates and the candidates of the scale positions;
An instrument reading system featuring:
少なくとも、計器の種類ごとに、前記目盛りを含む領域の形状、制約条件に関する情報の種類、制約条件を入力する順序に関する情報を格納する計器情報格納手段と、設定を行う前記計器の種類を取得する種類取得手段と、画像上に表示されている前記目盛りを含む領域の候補あるいは前記目盛り位置の候補を選択する選択手段と、を有し、
前記設定手段は、
取得された前記計器の種類に対応する前記情報を前記計器情報格納手段から取得し、取得した前記情報に基づいて、前記目盛りを含む領域の候補または前記目盛り位置の候補の順位付けに必要な制約条件に関する情報を取得し、
前記順位付け手段は、
取得された前記情報に基づいて、前記目盛りを含む領域の候補または前記目盛り位置の候補の順位付けを行い、
前記選択手段は、
前記順位付けの結果に基づいて、前記目盛りを含む領域の候補または前記目盛り位置の候補の選択を行うこと、
を特徴とする計器読み取りシステム。 The meter reading system of claim 1, comprising:
At least, for each type of meter, an instrument information storage unit that stores information regarding the shape of the area including the scale, the type of information regarding the constraints, and the order in which the constraints are input, and the type of the meter for which settings are to be made are acquired. comprising a type acquisition means, and a selection means for selecting a candidate for an area including the scale displayed on the image or a candidate for the scale position;
The setting means includes:
The information corresponding to the type of the acquired instrument is acquired from the instrument information storage means, and based on the acquired information, constraints necessary for ranking candidates for the area including the scale or candidates for the scale position. Get information about conditions,
The ranking means is
Based on the acquired information, rank candidates for a region including the scale or candidates for the scale position;
The selection means is
selecting a candidate for a region including the scale or a candidate for the scale position based on the ranking result;
An instrument reading system featuring:
計器の画像を取得する取得手段、
計器が示す数値を読み取るために必要な計器の情報を設定するための設定手段、
設定された前記計器の情報に基づいて前記計器の画像から計器が示す数値を読み取る読み取り手段、
前記計器が示す数値を読み取った結果を表示する表示手段、として機能させる計器読み取りプログラムであって、
前記設定手段を、
前記計器の画像における目盛りを含む領域の候補を検出する領域候補検出手段、
検出された目盛りを含む領域の各候補に対して、目盛り位置の候補を検出する位置候補検出手段、
前記目盛りを含む領域の候補および前記目盛り位置の候補から、最適な候補を選択するための制約条件に関する情報を入力する入力手段、
前記目盛りを含む領域の候補および前記目盛り位置の候補と、入力された前記制約条件とに基づいて、前記目盛りを含む領域の候補と前記目盛り位置の候補とに順位付けを行う順位付け手段、
前記順位付けの結果に基づいて最適な目盛りを含む領域の候補と目盛り位置の候補を表示する表示手段、
として機能させることを特徴とする計器読み取りプログラム。 computer,
an acquisition means for acquiring an image of the instrument;
a setting means for setting instrument information necessary to read the numerical value indicated by the instrument;
reading means for reading a numerical value indicated by the meter from an image of the meter based on set information of the meter;
An instrument reading program that functions as a display means for displaying a result of reading a numerical value indicated by the instrument,
The setting means,
region candidate detection means for detecting a region candidate including a scale in the image of the instrument;
position candidate detection means for detecting a candidate scale position for each candidate in a region including the detected scale;
input means for inputting information regarding constraint conditions for selecting an optimal candidate from candidates for the region including the scale and candidates for the scale position;
a ranking means for ranking the candidates for the region including the scale and the candidates for the scale position based on the candidate for the region including the scale, the candidate for the scale position, and the input constraint condition;
a display means for displaying candidates for an area including an optimal scale and candidates for a scale position based on the ranking result;
An instrument reading program characterized by functioning as an instrument reading program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020193527A JP7411534B2 (en) | 2020-11-20 | 2020-11-20 | Instrument reading system, instrument reading program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020193527A JP7411534B2 (en) | 2020-11-20 | 2020-11-20 | Instrument reading system, instrument reading program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022082140A JP2022082140A (en) | 2022-06-01 |
| JP7411534B2 true JP7411534B2 (en) | 2024-01-11 |
Family
ID=81801370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020193527A Active JP7411534B2 (en) | 2020-11-20 | 2020-11-20 | Instrument reading system, instrument reading program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7411534B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004133560A (en) | 2002-10-08 | 2004-04-30 | Central Res Inst Of Electric Power Ind | Automatic reading method and automatic reader for analog meter |
| JP2020181467A (en) | 2019-04-26 | 2020-11-05 | Ｇｍｏクラウド株式会社 | Meter reading system, meter reading method, and program |
| JP2020194275A (en) | 2019-05-27 | 2020-12-03 | 株式会社東芝 | Reading system, mobile body, reading method, program, and storage medium |
-
2020
- 2020-11-20 JP JP2020193527A patent/JP7411534B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004133560A (en) | 2002-10-08 | 2004-04-30 | Central Res Inst Of Electric Power Ind | Automatic reading method and automatic reader for analog meter |
| JP2020181467A (en) | 2019-04-26 | 2020-11-05 | Ｇｍｏクラウド株式会社 | Meter reading system, meter reading method, and program |
| JP2020194275A (en) | 2019-05-27 | 2020-12-03 | 株式会社東芝 | Reading system, mobile body, reading method, program, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022082140A (en) | 2022-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5963325B2 (en) | Apparatus, method, and program for presenting information specified based on marker | |
| EP2733629A1 (en) | System for associating tag information with images supporting image feature search | |
| US8645901B2 (en) | Visualization and information display for shapes in displayed graphical images based on a cursor | |
| US8438531B2 (en) | Visualization and information display for shapes in displayed graphical images | |
| US20150242114A1 (en) | Electronic device, method and computer program product | |
| US20110050686A1 (en) | Three-dimensional data display apparatus and method | |
| JP5877824B2 (en) | Information processing system, information processing method, and information processing program | |
| TW200941314A (en) | Touch sensor device and pointing coordinate determination method thereof | |
| JP7013994B2 (en) | Medical image display device and program | |
| JP2012123608A (en) | Gesture recognition device, method, program and computer readable medium storing program | |
| CN103140826B (en) | Information terminal device and the display methods of contact panel | |
| CN108027903B (en) | Information processing apparatus, control method, and program | |
| US8533626B2 (en) | Visualization and information display for shapes in displayed graphical images based on user zone of focus | |
| JP4950716B2 (en) | Image processing system and scanning electron microscope apparatus | |
| CN103529933A (en) | Method and system for controlling eye tracking | |
| JP2013182524A (en) | Image processing apparatus and image processing method | |
| JP7411534B2 (en) | Instrument reading system, instrument reading program | |
| US11994665B2 (en) | Systems and methods for processing electronic images of pathology data and reviewing the pathology data | |
| CN105930845A (en) | Method of teaching for parts information and device thereof | |
| CN104869268B (en) | Display control unit, image forming apparatus and display control method | |
| WO2022022757A1 (en) | A method for testing an embedded system of a device, a method for identifying a state of the device and a system for these methods | |
| US20150277705A1 (en) | Graphical user interface user input technique for choosing and combining digital images as video | |
| JP6256545B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
| US20230367473A1 (en) | Ink data generation apparatus, method, and program | |
| JP5683764B1 (en) | Data input system, data input method, data input program, and data input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7411534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |