JP5701262B2 - Inspection support system and method - Google Patents
Inspection support system and method Download PDFInfo
- Publication number
- JP5701262B2 JP5701262B2 JP2012171178A JP2012171178A JP5701262B2 JP 5701262 B2 JP5701262 B2 JP 5701262B2 JP 2012171178 A JP2012171178 A JP 2012171178A JP 2012171178 A JP2012171178 A JP 2012171178A JP 5701262 B2 JP5701262 B2 JP 5701262B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- instruction value
- instrument
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Recording Measured Values (AREA)
- Character Discrimination (AREA)
Description
本発明は、計器の指示値を取得する検査支援システム及び方法に関する。 The present invention relates to an inspection support system and method for acquiring an indication value of a meter.
一般に、各種計器の指示値を記録する際には、持ち運びが容易なことから携帯端末が用いられることが多い。また、携帯端末の通信機能を利用して、携帯端末に記録された指示値を他の端末や管理サーバに簡単に送信でき、データを一元管理できるといった利点もある。携帯端末で計器の指示値を記録する手法としては、作業員が計器の指示値を目で読み取り、その指示値をテンキーや手書き文字認識で入力する手法が一般的である。この場合、指示値の読み取りや入力に時間がかかり、作業効率が悪いという問題があった。 In general, a portable terminal is often used when recording indication values of various instruments because it is easy to carry. In addition, there is an advantage that the instruction value recorded in the portable terminal can be easily transmitted to another terminal or a management server by using the communication function of the portable terminal, and the data can be managed centrally. As a method of recording the indicator value of a meter with a portable terminal, a method in which an operator reads the indicator value of the meter with the eyes and inputs the indicator value with a numeric keypad or handwritten character recognition is common. In this case, it takes time to read and input the instruction value, and there is a problem that work efficiency is poor.
例えばプラントの検査では、各機器にそれぞれ設けられた計器の指示値を目視で確認して携帯端末に記録し、これらの指示値を用いてプラントの健全性を評価している。ところが、通常、プラントでは多数の計器が用いられるため、計器の記録作業に作業員の多大な労力と時間を費やすこととなる。
そこで、記録作業の効率化の観点から、画像認識を用いて計器の指示値を自動読み取り可能にした技術が提案されている。
For example, in the inspection of the plant, the indicator values of the instruments provided in the respective devices are visually confirmed and recorded on a portable terminal, and the plant soundness is evaluated using these indicator values. However, since a large number of instruments are usually used in a plant, a great deal of labor and time is spent on the recording operation of the instruments.
In view of this, from the viewpoint of improving the efficiency of recording work, a technique has been proposed in which an indicator value of a meter can be automatically read using image recognition.
例えば、特許文献１には、計数機器の計数数字をカメラで撮影したデータと、文字や数字を認識するためのデータが登録された文字認識辞書とに基づいて計数数字を認識する方法が開示されている。
また、計器の指示値を取得する目的ではないが、特許文献２にも、文字列を光学的に読み取り、文字列の画像に対して文字認識を行って認識文字を出力する方法が開示されている。この方法では、認識文字の候補を選択させることによって、認識文字の修正を行うようになっている。
For example, Patent Document 1 discloses a method of recognizing a counting number based on data obtained by photographing counting numbers of a counting device with a camera and a character recognition dictionary in which data for recognizing characters and numbers is registered. ing.
Further, although not intended to acquire the indicated value of the instrument,
しかしながら、特許文献１及び２の方法は、計数数字や文字列を文字認識する構成であるため、デジタル計器には適用できるもののアナログ計器には適用できなかった。一般に普及している計器は多種多様であり、そのため、どのような種類の計器であっても指示値を取得し得るシステムが要望されている。
そこで、アナログ計器に対して画像認識を適用しようとすると、文字認識に比べて演算負荷が大きくなってしまい、処理時間が長くなることが考えられる。
However, since the methods of
Therefore, if it is attempted to apply image recognition to an analog instrument, it is considered that the calculation load becomes larger than character recognition, and the processing time becomes longer.
本発明の少なくとも一実施形態は、上述の事情に鑑みて案出されたものであり、画像認識処理の演算負荷を軽減でき、且つアナログ計器であっても精度良く指示値を取得し得る検査支援システム及び方法を提供することを目的とする。 At least one embodiment of the present invention has been devised in view of the above-described circumstances, can reduce the calculation load of image recognition processing, and can provide an examination support that can accurately obtain an instruction value even with an analog instrument. It is an object to provide a system and method.
本発明の少なくとも一実施形態に係る検査支援システムは、計器の指示値を取得する検査支援システムであって、前記計器の種類と形状パターンとが紐付けられて複数記憶された記憶部と、前記指示値を取得すべき対象計器の種類を特定する種類特定部と、前記種類特定部で特定された前記種類に対応する前記形状パターンを前記記憶部から抽出するパターン抽出部と、前記対象計器の撮影画像を取得する画像取得部と、前記パターン抽出部で抽出した前記形状パターンを用いて前記撮影画像の前記指示値を画像認識する画像認識部と、前記画像取得部で取得された前記撮影画像と、前記画像認識部で画像認識された前記指示値とを重畳させて画面表示させる画像表示部と、前記画像表示部に表示させた画面を用いて前記指示値を修正する指示値修正部とを備える。 An inspection support system according to at least one embodiment of the present invention is an inspection support system that acquires an indication value of an instrument, and a storage unit that stores a plurality of types and shape patterns of the instrument associated with each other, and A type specifying unit for specifying a type of a target instrument for which an instruction value is to be acquired; a pattern extracting unit for extracting the shape pattern corresponding to the type specified by the type specifying unit from the storage unit; and An image acquisition unit that acquires a captured image, an image recognition unit that recognizes the instruction value of the captured image using the shape pattern extracted by the pattern extraction unit, and the captured image acquired by the image acquisition unit And an image display unit that superimposes the instruction value recognized by the image recognition unit on a screen, and a finger that corrects the instruction value using the screen displayed on the image display unit. And a value correction unit.
上記検査支援システムでは、計器の種類と形状パターンとが紐付けられて記憶部に複数記憶されている。対象計器の指示値を取得する際には、計器の種類に対応した形状パターンを記憶部から抽出し、この形状パターンを用いて対象計器の撮影画像の指示値を画像認識する。これにより、デジタル計器のみならず、アナログ計器であっても指示値を取得可能となる。また画像認識に際して形状パターンを用いるようにしたので、画像認識精度の向上、演算負荷の軽減及び処理時間の短縮化が図れる。さらに、撮影画像と指示値とを重畳表示させた状態で該指示値を修正するようにしたので、修正が容易に行えるようになり、操作性の向上が図れる。 In the inspection support system, a plurality of instrument types and shape patterns are linked and stored in the storage unit. When the instruction value of the target instrument is acquired, a shape pattern corresponding to the type of the instrument is extracted from the storage unit, and the instruction value of the captured image of the target instrument is image-recognized using this shape pattern. As a result, it is possible to acquire the indicated value not only for digital instruments but also for analog instruments. Since the shape pattern is used for image recognition, the accuracy of image recognition can be improved, the calculation load can be reduced, and the processing time can be shortened. Furthermore, since the instruction value is corrected in a state where the captured image and the instruction value are displayed in a superimposed manner, the correction can be easily performed, and the operability can be improved.
一実施形態において、前記種類特定部は、前記対象計器に付与された該対象計器の種類を識別する計器識別情報を読み込むことによって前記計器の種類を特定するようにしてもよい。
なお、対象計器への計器識別情報の付与は、例えばＩＤ、バーコード、ＱＲコード（登録商標）等の二次元コードが印字されたタグを対象計器に取り付けてもよいし、ＩＣタグを対象計器に取り付けてもよい。また、計器識別情報を有するタグが対象計器に埋め込まれていてもよい。
このように、予め対象計器に付与された計器識別情報を読み込むのみで計器の種類が特定されるようにしたので、計器の種類を手入力する必要がなく操作性の向上、作業時間の短縮化が図れるとともに、計器の種類を把握していない場合であっても容易に計器の種類を特定することができる。
In one embodiment, the type specifying unit may specify the type of the instrument by reading instrument identification information for identifying the type of the target instrument assigned to the target instrument.
Note that the instrument identification information can be given to the target instrument by attaching a tag printed with a two-dimensional code such as ID, barcode, QR code (registered trademark) to the target instrument, or by attaching an IC tag to the target instrument. You may attach to. A tag having meter identification information may be embedded in the target meter.
In this way, the instrument type is specified simply by reading the instrument identification information given to the target instrument in advance, so there is no need to manually input the instrument type, improving operability and reducing work time. In addition, the type of instrument can be easily specified even when the type of instrument is not known.
一実施形態において、前記記憶部には、前記対象計器の種類と該対象計器の過去の指示値とが紐付けられて蓄積され、前記指示値修正部で取得した前記指示値と、前記過去の前記指示値とを対比させて画面表示させる対比表示部をさらに備えてもよい。
このように、対象計器の過去の指示値を対象計器の種類と紐付けて蓄積しておき、指示値修正部で取得した指示値と、過去の指示値とを対比させて画面表示させることによって、画像認識した指示値が正常な範囲内であるか否かを簡単に把握できる。例えば、計器の故障や画像認識の誤り等によって、指示値が通常時には想定し得ない値となることがある。そこで、画像認識した指示値を正常時における過去の指示値と対比させることによって、画像認識結果の異常判定を容易に行えるようになる。
In one embodiment, in the storage unit, the type of the target instrument and the past instruction value of the target instrument are stored in association with each other, the instruction value acquired by the instruction value correction unit, and the past You may further provide the comparison display part which compares the said instruction | indication value and displays on a screen.
In this way, past instruction values of the target instrument are accumulated in association with the type of the target instrument, and the instruction value acquired by the instruction value correction unit and the past instruction value are compared and displayed on the screen. Thus, it is possible to easily grasp whether or not the instruction value recognized by the image is within a normal range. For example, the indication value may become a value that cannot be assumed during normal operation due to instrument failure, image recognition error, or the like. Therefore, by comparing the image-recognized instruction value with the past instruction value at the normal time, it is possible to easily determine the abnormality of the image recognition result.
一実施形態において、前記撮影画像の一部が欠落している場合であって、前記画像認識部にて前記対象計器を画像認識した画像認識結果を用いて、前記撮影画像の欠落部位を補間する画像補間部をさらに備えてもよい。
撮影画像の画質は撮影時の周囲環境に影響される。例えば、撮影時に逆光であったり、撮影環境が暗闇であったり、あるいは撮影画像に写り込みがあったりした場合、同じ計器の画像でも輝度が異なり、撮影画像の一部が欠落する場合がある。このような場合、画像認識結果を用いて撮影画像の欠落部位を補間することによって、確実に指示値を取得可能となる。
In one embodiment, when a part of the photographed image is missing, the missing part of the photographed image is interpolated using an image recognition result obtained by image recognition of the target instrument in the image recognition unit. An image interpolation unit may be further provided.
The image quality of the shot image is affected by the surrounding environment at the time of shooting. For example, if the image is backlit at the time of shooting, the shooting environment is dark, or the captured image is reflected, the brightness of the same instrument image may be different and a portion of the captured image may be lost. In such a case, it is possible to reliably acquire the instruction value by interpolating the missing portion of the captured image using the image recognition result.
一実施形態において、前記画像取得部は連続的な複数の撮影画像を取得し、前記画像認識部にて前記複数の撮影画像からそれぞれ画像認識された複数の指示値候補の中央値を前記指示値として選択する指示値選択部をさらに備えてもよい。
計器の指示値が脈動していると、人間が指示値を読み取る場合には脈動の中から中央値を認識できるが、撮影画像を用いて指示値を読み取る場合、指示値が偏っている瞬間を撮影された画像の可能性もあり、脈動の影響を加味することはできない。そこで、画像取得部では連続的な複数の撮影画像を取得し、これらの撮影画像をそれぞれ画像認識して得られる複数の指示値候補の中央値を指示値として選択することにより、脈動の影響を考慮した正確な指示値を取得することができる。
In one embodiment, the image acquisition unit acquires a plurality of continuous captured images, and the median value of a plurality of instruction value candidates respectively recognized from the plurality of captured images by the image recognition unit is used as the instruction value. An instruction value selection unit may be further selected.
When the reading value of the instrument is pulsating, when a human reads the reading value, the median value can be recognized from the pulsation, but when reading the reading value using a photographed image, the moment when the reading is biased. There is a possibility of a photographed image, and the influence of pulsation cannot be taken into account. Therefore, the image acquisition unit acquires a plurality of continuous captured images, and selects the median value of a plurality of instruction value candidates obtained by recognizing each of these captured images as an instruction value, thereby reducing the influence of pulsation. It is possible to acquire an accurate instruction value in consideration.
一実施形態において、前記対象計器は、前記指示値が目盛及び針で表わされるアナログ計器であって、前記画像認識部では、前記アナログ計器の撮影画像を画像認識し、前記指示値修正部では、前記撮影画像と画像認識結果とが重畳表示された状態で、該画像認識結果で表わされる針の位置を調整することによって前記指示値を修正してもよい。
このように、アナログ計器の場合、撮影画像と画像認識結果とが重畳表示された状態で画像認識結果の針の位置を調整することによって指示値を修正する構成としたので、視覚的にも指示値の修正量が明瞭に把握でき、且つ簡単な操作で指示値の修正を行うことができる。
In one embodiment, the target instrument is an analog instrument in which the instruction value is represented by a scale and a needle, and the image recognition unit recognizes an image captured by the analog instrument, and the instruction value correction unit The indication value may be corrected by adjusting the position of the needle represented by the image recognition result in a state where the photographed image and the image recognition result are superimposed and displayed.
As described above, in the case of an analog instrument, the instruction value is corrected by adjusting the position of the needle of the image recognition result in a state where the captured image and the image recognition result are superimposed and displayed. The correction amount of the value can be clearly grasped, and the instruction value can be corrected by a simple operation.
一実施形態において、前記対象計器は、前記指示値が数値で表わされるデジタル計器であって、前記画像認識部では、前記デジタル計器の撮影画像を画像認識し、前記指示値修正部では、前記撮影画像と画像認識結果とが重畳表示された状態で、該画像認識結果で表わされる数値を変更することによって前記指示値を修正してもよい。
このように、デジタル計器の場合、撮影画像と画像認識結果とが重畳表示された状態で、画像認識結果の数値を変更することによって指示値を修正する構成としたので、簡単な操作で指示値の修正を行うことが可能となる。
In one embodiment, the target instrument is a digital instrument in which the instruction value is represented by a numerical value, the image recognition unit recognizes an image captured by the digital instrument, and the instruction value correction unit performs the imaging. The instruction value may be corrected by changing a numerical value represented by the image recognition result in a state where the image and the image recognition result are superimposed and displayed.
As described above, in the case of a digital instrument, the instruction value is corrected by changing the numerical value of the image recognition result in a state where the captured image and the image recognition result are displayed in a superimposed manner. Can be corrected.
本発明の少なくとも一実施形態に係る検査支援方法は、計器の指示値を取得する検査支援方法であって、前記計器の種類と形状パターンとを紐付けて記憶部に予め記憶しておき、前記指示値を取得すべき対象計器の種類を特定するステップと、前記種類特定ステップで特定された前記種類に対応する前記形状パターンを前記記憶部から抽出するステップと、前記対象計器の撮影画像を取得するステップと、前記パターン抽出ステップで抽出した前記形状パターンを用いて前記撮影画像の前記指示値を画像認識するステップと、前記画像取得ステップで取得された前記撮影画像と、前記画像認識ステップで画像認識された前記指示値とを重畳させて画面表示させるステップと、前記画像表示ステップに表示させた画面を用いて前記指示値を修正するステップとを備える。 An inspection support method according to at least one embodiment of the present invention is an inspection support method for acquiring an instruction value of an instrument, and stores the type and shape pattern of the instrument in a storage unit in advance, A step of specifying the type of the target instrument for which the instruction value is to be acquired, a step of extracting the shape pattern corresponding to the type specified in the type specifying step from the storage unit, and a captured image of the target instrument Performing the step of recognizing the instruction value of the photographed image using the shape pattern extracted in the pattern extraction step, the photographed image obtained in the image obtaining step, and an image in the image recognition step. The instruction value is corrected using the screen displayed in the image display step and the step of superimposing the recognized instruction value on the screen. That and a step.
上記検査支援方法では、計器の種類に対応した形状パターンを用いて対象計器の撮影画像の指示値を画像認識するようにしたので、デジタル計器のみならず、アナログ計器であっても指示値を取得可能で、且つ演算負荷の軽減、処理時間の短縮化が図れる。さらに、撮影画像と指示値とを重畳表示させた状態で該指示値を修正するようにしたので、修正が容易に行えるようになり、操作性の向上が図れる。 In the above inspection support method, the indication value of the photographed image of the target instrument is recognized using the shape pattern corresponding to the type of instrument, so the indication value can be obtained not only for digital instruments but also for analog instruments. It is possible to reduce the calculation load and the processing time. Furthermore, since the instruction value is corrected in a state where the captured image and the instruction value are displayed in a superimposed manner, the correction can be easily performed, and the operability can be improved.
本発明の少なくとも一実施形態によれば、画像認識処理の演算負荷の軽減且つ処理時間の短縮化が可能で、且つアナログ計器であっても確実に指示値を取得でき、計器の種類に関わらずどのような計器であっても高精度で指示値を取得可能である。 According to at least one embodiment of the present invention, it is possible to reduce the calculation load of the image recognition process and shorten the processing time, and it is possible to reliably acquire an instruction value even with an analog instrument, regardless of the type of instrument. Any instrument can obtain the indicated value with high accuracy.
以下、添付図面に従って本発明の実施形態について説明する。ただし、この実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, the dimensions, materials, shapes, relative arrangements, and the like of the components described in this embodiment are not intended to limit the scope of the present invention, but are merely illustrative examples.
図１及び図２を参照して、本発明の実施形態に係る検査支援システム１の構成について説明する。ここで、図１は検査支援システムの主要構成を示す図で、図２は検査支援システム及び周辺機器の構成例を示す図である。
なお、検査支援システム１は、製造現場や保守現場、サービス現場等に設置される各種の計器３０の指示値を取得するものであり、デジタル計器及びアナログ計器を含むどのような計器３０に対しても適用可能である。
With reference to FIG.1 and FIG.2, the structure of the test | inspection assistance system 1 which concerns on embodiment of this invention is demonstrated. Here, FIG. 1 is a diagram illustrating a main configuration of the inspection support system, and FIG. 2 is a diagram illustrating a configuration example of the inspection support system and peripheral devices.
The inspection support system 1 acquires indication values of
図１に示すように、検査支援システム１は、主に、記憶部２と、種類特定部４、パターン抽出部５、画像取得部６、画像認識部７、画像表示部８及び指示値修正部９を含む処理部３とを備える。これらの機能は、図２に示すように、携帯端末１０側に設けられてもよいし、携帯端末１０とネットワーク１５を介して接続可能な管理サーバ２０側に設けられてもよい。
As shown in FIG. 1, the inspection support system 1 mainly includes a
記憶部２には、計器の種類と形状パターンとが紐付けられて複数記憶されている。なお、記憶部２には、形状パターンの他に、計器の種類に紐付けられた計器のレンジ、単位、分解能等が記憶されていてもよい。計器３０の種類は、各計器固有の計器識別情報であってもよいし、同一の形状、大きさ、目盛及びレンジを有する計器３０に付与される型番であってもよい。形状パターンは、例えばアナログ計器又はデジタル計器を識別する形状、アナログ計器においては針の形状や長さ、目盛の形状及び位置（例えば、円形に目盛が配列され、０．１刻みで主目盛が配置され、０．０１刻みで補助目盛が配置されているといった情報）、数値（例えば、０，０．１，０．２，…０．６が円形状に配置されているといった情報）、計器の外形形状（例えば、目盛が針で、反対側は扇形。長さは３：１、色は赤といった情報）などの計器固有の形状パターン及びこれに付随する情報が記憶されている。
The
種類特定部４は、指示値を取得すべき対象計器３０の種類を特定する。対象計器３０の種類は、キーボード等により直接入力されてもよいし、後述するように計器識別情報を読み込むことによって入力されてもよい。
パターン抽出部５は、種類特定部４で特定された対象計器３０の種類に対応する形状パターンを記憶部２から抽出する。
画像取得部６は、対象計器３０の撮影画像を取得する。なお、画像取得部６が設けられた装置が撮影部を有している場合には、対象計器３０を撮影してその画像を取得する。一方、撮影部を有していない場合には、ネットワーク１５を介して、他の装置で撮影された対象計器３０の撮影画像を取得してもよい。
画像認識部７は、パターン抽出部５で抽出した形状パターンを用いて撮影画像を画像認識する。この画像認識部７では、画像認識によって撮影画像から少なくとも指示値を取得する。
画像表示部８は、画像取得部６で取得された撮影画像と、画像認識部７で画像認識された指示値とを重畳させて携帯端末１０の表示部１１等に画面表示させる。なお、画像表示部８では、ネットワーク１５を介して他の携帯端末１０や管理サーバ２０に撮影画像及び指示値を画面表示させてもよい。
指示値修正部９は、画像表示部８に表示させた画面を用いて指示値を修正する。
なお、指示値修正部９で修正された指示値は、過去のデータとして計器３０の種類と紐付けれて記憶部２に蓄積されてもよい。
The type specifying unit 4 specifies the type of the
The pattern extraction unit 5 extracts a shape pattern corresponding to the type of the
The
The image recognition unit 7 recognizes a captured image using the shape pattern extracted by the pattern extraction unit 5. The image recognition unit 7 acquires at least an instruction value from the captured image by image recognition.
The image display unit 8 superimposes the captured image acquired by the
The instruction
The instruction value corrected by the instruction
図２に示すように、一実施形態では、ネットワーク１５を介して携帯端末１０が管理サーバ２０に接続可能となっている。
管理サーバ２０は、各種データを表示する表示部２１と、各種データを入力する入力部２２と、各種演算処理を行う処理部２３と、携帯端末１０との通信を行う通信部２４と、記憶部２５とを有する。記憶部２５は、計器３０の種類と形状パターンとが紐付けられて格納されたパターン保存部２７、指示値修正部９で修正された指示値が過去のデータとして計器３０の種類と紐付けて蓄積された指示値蓄積部２８、画像取得部６で取得された撮影画像や、画像認識部７で撮影画像を画像認識した認識結果からなる画像等を蓄積した画像蓄積部２９を有していてもよい。また、記憶部２５に記憶されるデータは、携帯端末１０の記憶部２のデータと、一定時間毎に又は同期要求があった場合に、同期されてもよい。
As shown in FIG. 2, in one embodiment, the
The management server 20 includes a
携帯端末１０は、表示画面１１と、図１で説明した記憶部２及び処理部３とを有している。なお、処理部２３は、与えられたプログラムに従い各処理を行うＣＰＵを備えており、図１及び図２に示す処理部３の各機能（各部）は、与えられたプログラムに従ってＣＰＵが処理を行うことにより実現される。記憶部２は、ＲＡＭやコンピュータ読み取り可能な記録媒体等から構成されている。
The
また、携帯端末１０は、対象計器３０を撮影する撮影部（不図示）と、ＩＤ取得部１２と、対比表示部１３と、指示値選択部１４と、画像補間部１５とを選択的に有していてもよい。
対比表示部１３は、指示値修正部９で取得した指示値と、指示値蓄積部２８から抽出された過去の指示値とを対比させて画面表示させる。この対比表示部１３によって、画像認識した指示値と、正常時における過去の指示値と対比させることにより、画像認識結果の異常判定を容易に行えるようになる。
指示値選択部１４は、画像取得部６で取得された連続的な複数の撮影画像からそれぞれ画像認識された複数の指示値候補の中央値を指示値として選択する。これにより脈動の影響を考慮した正確な指示値を取得することができる。
画像補間部１５は、撮影画像の一部が欠落している場合に、画像認識部７にて対象計器３０を画像認識した画像認識結果を用いて、撮影画像の欠落部位を補間する。
In addition, the
The
The instruction
When a part of the captured image is missing, the
次に、図３を参照して、上記構成を有する検査支援システム１を用いた検査支援方法の一例について説明する。なお、図３は検査支援方法の処理を示すフローチャートである。
予め、指示値を取得すべき対象計器３０となり得る計器３０の形状パターンを複数登録しておく（Ｓ１）。
Next, an example of an examination support method using the examination support system 1 having the above configuration will be described with reference to FIG. FIG. 3 is a flowchart showing the process of the inspection support method.
A plurality of shape patterns of the
まず、対象計器３０に取り付けられたＩＣタグ３１から計器識別情報を読み込み（図２参照）、対象計器３０の種類を特定する（Ｓ２）。このとき、対象計器３０の種類（計器識別情報でもよい）に基づいて、携帯端末１０の表示画面１１に撮影ガイドを表示させてもよい（Ｓ３）。図４は撮影ガイドを説明する図である。図４（Ａ）に示すように、対象計器３０の種類に紐付けられた撮影ガイドを記憶部２５のガイド保存部２７から抽出し、表示画面１１に表示させる。例えば撮影ガイドは、計器３０の外形を示す外形ガイド４０と、目盛を示す目盛ガイド４１と、針の支点を示す支点ガイド４２とを含む。そして、図４（Ｂ）に示す対象計器３０を撮影する際に、図４（Ｃ）に示すように撮影ガイドと対象計器３０が一致するようにして該計器３０の画像を撮影する（Ｓ４）。画像の撮影は、携帯端末１０に内蔵されるカメラ（撮影部）や、外付けのカメラで行ってもよい。外付けカメラの場合は、ＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信手段を利用して携帯端末１０に撮影画像が送信される。なお、撮影が終了したら撮影ガイドは消去してもよい。このように、撮影時に対象計器３０を撮影ガイドに合わせ込むことによって、後述する画像認識における精度をより一層向上させることができる。
First, meter identification information is read from the
続いて、対象計器３０の種類に紐付けられた形状パターンを用いて、撮影画像の画像認識を行って指示値を取得する（Ｓ５）。
そして、撮影画像と画像認識結果とを表示画面１１に重畳させて表示させる（Ｓ６）。
ここで、図５及び図６を参照して、表示画面例について説明する。図５はアナログ計器の撮影画像と画像認識結果を示す表示画面で、図６はデジタル計器の撮影画像と画像認識結果を示す表示画面である。なお、これらの図において、実線は撮影画像を表わし、点線は画像認識結果の画像を表わしている。
Subsequently, using the shape pattern associated with the type of the
Then, the captured image and the image recognition result are displayed superimposed on the display screen 11 (S6).
Here, an example of the display screen will be described with reference to FIGS. 5 and 6. FIG. 5 is a display screen showing the captured image of the analog instrument and the image recognition result, and FIG. 6 is a display screen showing the captured image of the digital instrument and the image recognition result. In these drawings, a solid line represents a captured image, and a dotted line represents an image of an image recognition result.
図５に示すようにアナログ計器の場合は、計器外形、主目盛（及び補助目盛）、数値、針等を画像認識して撮影画像に重畳表示させる。このとき、指示値の読み取り結果を作業員が確認し、撮影画像から作業員が読み取った数値と異なる場合には、指示値の修正を行う（Ｓ７)。例えば画像認識結果の指示値を示す矢印を、指やタップペンやマウス等によって図中ａ方向に動かすことにより指示値が修正される。このとき、指示値を数値表示しておき、矢印の動きに従って数値が変動するようにしてもよい。このように、アナログ計器の場合、撮影画像と画像認識結果とが重畳表示された状態で画像認識結果の針（矢印）の位置を調整することによって指示値を修正する構成としたので、視覚的にも指示値の修正量が明瞭に把握でき、且つ簡単な操作で指示値の修正を行うことができる。 As shown in FIG. 5, in the case of an analog instrument, the instrument outline, main scale (and auxiliary scale), numerical values, hands, etc. are recognized and superimposed on the photographed image. At this time, the operator confirms the reading result of the instruction value, and if it is different from the numerical value read by the worker from the photographed image, the instruction value is corrected (S7). For example, the instruction value is corrected by moving an arrow indicating the instruction value of the image recognition result in the direction a in the figure with a finger, a tap pen, a mouse, or the like. At this time, the instruction value may be displayed as a numerical value, and the numerical value may be changed according to the movement of the arrow. As described above, in the case of an analog instrument, the indication value is corrected by adjusting the position of the needle (arrow) of the image recognition result in a state where the captured image and the image recognition result are superimposed and displayed. In addition, the correction amount of the instruction value can be clearly grasped, and the instruction value can be corrected by a simple operation.
図６に示すようにデジタル計器の場合は、計器外形、数値表示枠、数値等を画像認識して撮影画像に重畳表示させる。アナログ計器の場合と同様に、指示値の読み取り結果を作業員が確認し、撮影画像から作業員が読み取った数値と異なる場合には、指示値の修正を行う（Ｓ７)。例えば、画像認識結果の数値をダイアル表示し、指やタップペンやマウス等によってダイアルを動かすことにより数値が変更され、指示値が修正される。これにより、簡単な操作で指示値の修正を行うことが可能となる。
なお、上述の指示値の修正は、携帯端末１０上で行ってもよいし、ネットワーク１５を介して他の端末にデータを送信し、他の端末で指示値の修正を行ってもよい。また、修正された指示値は、記憶部２に蓄積される。
As shown in FIG. 6, in the case of a digital instrument, an instrument outline, a numerical display frame, a numerical value, and the like are image-recognized and superimposed on a captured image. As in the case of the analog instrument, the operator confirms the reading result of the instruction value. If the numerical value is different from the numerical value read by the worker from the photographed image, the instruction value is corrected (S7). For example, the numerical value of the image recognition result is displayed in a dial, and the numerical value is changed by moving the dial with a finger, a tap pen, a mouse or the like, and the indicated value is corrected. As a result, the instruction value can be corrected by a simple operation.
The above-described instruction value correction may be performed on the
本実施形態によれば、計器３０の種類に対応した形状パターンを用いて対象計器３０の撮影画像の指示値を画像認識するようにしたので、デジタル計器のみならず、アナログ計器であっても指示値を取得可能で、且つ演算負荷の軽減、処理時間の短縮化が図れる。さらに、撮影画像と指示値とを重畳表示させた状態で該指示値を修正するようにしたので、修正が容易に行えるようになり、操作性の向上が図れる。
According to the present embodiment, since the instruction value of the captured image of the
また、上述の実施形態は、以下の構成をさらに備えていてもよい。
図７は画像補間処理を説明する図である。図７（Ａ）に示すように、撮影画像の一部が欠落している場合、図７（Ｂ）に示すように、対象計器３０を画像認識した画像認識結果を用いて、撮影画像の欠落部位５０を補間する。これにより、例えば撮影時に逆光であったり、撮影環境が暗闇であったり、あるいは撮影画像に写り込みがあったりした場合であっても、画像認識結果を用いて撮影画像の欠落部位５０を補間することによって、確実に指示値を取得可能となる。
Further, the above-described embodiment may further include the following configuration.
FIG. 7 is a diagram for explaining image interpolation processing. As shown in FIG. 7A, when a part of the photographed image is missing, as shown in FIG. 7B, the photographed image is missing using the image recognition result obtained by image recognition of the
さらに、対象計器３０の過去の指示値を対象計器の種類と紐付けて蓄積しておき、指示値修正部９で取得した指示値と、過去の指示値とを対比させて画面表示させてもよい。これにより、画像認識した指示値が正常な範囲内であるか否かを簡単に把握できる。例えば、計器の故障や画像認識の誤り等によって、指示値が通常時には想定し得ない値となることがある。そこで、画像認識した指示値を正常時における過去の指示値と対比させることによって、画像認識結果の異常判定を容易に行えるようになる。画像認識した指示値が過去の指示値と大きく乖離する場合には、計器異常の可能性を示すアラームを発報してもよい。
Further, past instruction values of the
以上、本発明の実施形態について詳細に説明したが、本発明はこれに限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはいうまでもない。 As mentioned above, although embodiment of this invention was described in detail, it cannot be overemphasized that this invention is not limited to this, In the range which does not deviate from the summary of this invention, various improvement and deformation | transformation may be performed.
１ 検査支援システム
２ 記憶部
３ 処理部
４ 種類特定部
５ パターン抽出部
６ 画像取得部
７ 画像認識部
８ 画像表示部
９ 指示値修正部
１０ 携帯端末
１１ 表示画面
１２ ＩＤ取得部
１３ 対比表示部
１４ 指示値選択部
１５ 画像補間部
２０ 管理サーバ
２１ 表示部
２２ 入力部
２３ 処理部
２４ 通信部
２５ 記憶部
２６ ガイド保存部
２７ パターン保存部
２８ 指示値蓄積部
２９ 画像蓄積部
３０ 計器（対象計器）
３１ ＩＣタグ
４０ 外形ガイド
４１ 目盛ガイド
４２ 支点ガイド
DESCRIPTION OF SYMBOLS 1 Test |
31
Claims (8)
前記計器の種類と形状パターンとが紐付けられて複数記憶された記憶部と、
前記指示値を取得すべき対象計器の種類を特定する種類特定部と、
前記種類特定部で特定された前記種類に対応する前記形状パターンを前記記憶部から抽出するパターン抽出部と、
前記対象計器の撮影画像を取得する画像取得部と、
前記パターン抽出部で抽出した前記形状パターンを用いて前記撮影画像の前記指示値を画像認識する画像認識部と、
前記画像取得部で取得された前記撮影画像と、前記画像認識部で画像認識された前記指示値とを重畳させて画面表示させる画像表示部と、
前記画像表示部に表示させた画面上の前記指示値に対して作業員により入力される修正指令信号に基づき、前記指示値を修正する指示値修正部とを備えることを特徴とする検査支援システム。 An inspection support system for obtaining an indication value of a meter,
A storage unit in which a plurality of types and shape patterns of the instrument are associated and stored,
A type identifying unit that identifies the type of target instrument from which the indicated value is to be obtained;
A pattern extracting unit that extracts the shape pattern corresponding to the type specified by the type specifying unit from the storage unit;
An image acquisition unit for acquiring a captured image of the target instrument;
An image recognition unit for recognizing the instruction value of the captured image using the shape pattern extracted by the pattern extraction unit;
An image display unit that superimposes the captured image acquired by the image acquisition unit and the instruction value recognized by the image recognition unit on a screen; and
An inspection support system comprising: an instruction value correction unit that corrects the instruction value based on a correction instruction signal input by an operator with respect to the instruction value on the screen displayed on the image display unit. .
前記指示値修正部で取得した前記指示値と、前記過去の前記指示値とを対比させて画面表示させる対比表示部をさらに備えることを特徴とする請求項１又は２に記載の検査支援システム。 In the storage unit, the type of the target instrument and the past instruction value of the target instrument are linked and accumulated,
The inspection support system according to claim 1, further comprising a comparison display unit configured to display the screen by comparing the instruction value acquired by the instruction value correction unit with the past instruction value.
前記画像認識部にて前記対象計器を画像認識した画像認識結果を用いて、前記撮影画像の欠落部位を補間する画像補間部をさらに備えることを特徴とする請求項１乃至３のいずれか一項に記載の検査支援システム。 A portion of the captured image is missing,
The image interpolating unit for interpolating a missing portion of the captured image using an image recognition result obtained by recognizing the target instrument by the image recognizing unit. The inspection support system described in 1.
前記画像認識部にて前記複数の撮影画像からそれぞれ画像認識された複数の指示値候補の中央値を前記指示値として選択する指示値選択部をさらに備え、
前記画像表示部は、選択された前記指示値を前記画面に表示させるように構成されたことを特徴とする請求項１乃至４のいずれか一項に記載の検査支援システム。 The image acquisition unit acquires a plurality of continuous captured images,
An instruction value selection unit that selects, as the instruction value, a median value of a plurality of instruction value candidates that are image-recognized from the plurality of captured images by the image recognition unit ;
The examination support system according to claim 1 , wherein the image display unit is configured to display the selected instruction value on the screen .
前記画像認識部では、前記アナログ計器の撮影画像を画像認識し、
前記指示値修正部では、前記修正指令信号に基づき、前記撮影画像と画像認識結果とが重畳表示された状態で、該画像認識結果で表わされる針の位置を調整することによって前記指示値を修正することを特徴とする請求項１乃至５のいずれか一項に記載の検査支援システム。 The target instrument is an analog instrument in which the indicated value is represented by a scale and a needle,
The image recognition unit recognizes an image captured by the analog instrument,
The instruction value correction unit corrects the instruction value by adjusting the position of the needle represented by the image recognition result in a state where the captured image and the image recognition result are superimposed and displayed based on the correction command signal. The inspection support system according to any one of claims 1 to 5, wherein:
前記画像認識部では、前記デジタル計器の撮影画像を画像認識し、
前記指示値修正部では、前記修正指令信号に基づき、前記撮影画像と画像認識結果とが重畳表示された状態で、該画像認識結果で表わされる数値を変更することによって前記指示値を修正することを特徴とする請求項１乃至５のいずれか一項に記載の検査支援システム。 The target instrument is a digital instrument in which the indicated value is represented by a numerical value,
The image recognition unit recognizes a photographed image of the digital instrument,
The instruction value correction unit corrects the instruction value by changing a numerical value represented by the image recognition result in a state where the captured image and the image recognition result are superimposed and displayed based on the correction command signal. The inspection support system according to any one of claims 1 to 5.
前記計器の種類と形状パターンとを紐付けて記憶部に予め記憶しておき、
前記指示値を取得すべき対象計器の種類を特定するステップと、
前記種類特定ステップで特定された前記種類に対応する前記形状パターンを前記記憶部から抽出するステップと、
前記対象計器の撮影画像を取得するステップと、
前記パターン抽出ステップで抽出した前記形状パターンを用いて前記撮影画像の前記指示値を画像認識するステップと、
前記画像取得ステップで取得された前記撮影画像と、前記画像認識ステップで画像認識された前記指示値とを重畳させて画面表示させるステップと、
前記画像表示ステップに表示させた画面上の前記指示値を修正するステップとを備えることを特徴とする検査支援方法。
An inspection support method for obtaining an indication value of an instrument,
The type of instrument and the shape pattern are linked and stored in advance in the storage unit,
Identifying the type of target instrument from which the indicated value is to be obtained;
Extracting the shape pattern corresponding to the type specified in the type specifying step from the storage unit;
Obtaining a captured image of the target instrument;
Recognizing the instruction value of the captured image using the shape pattern extracted in the pattern extraction step;
Superimposing the captured image acquired in the image acquisition step and the instruction value recognized in the image recognition step on a screen; and
A method of correcting the indicated value on the screen displayed in the image display step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012171178A JP5701262B2 (en) | 2012-08-01 | 2012-08-01 | Inspection support system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012171178A JP5701262B2 (en) | 2012-08-01 | 2012-08-01 | Inspection support system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014032039A JP2014032039A (en) | 2014-02-20 |
| JP5701262B2 true JP5701262B2 (en) | 2015-04-15 |
Family
ID=50281985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012171178A Active JP5701262B2 (en) | 2012-08-01 | 2012-08-01 | Inspection support system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5701262B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11336866B2 (en) | 2018-10-17 | 2022-05-17 | Shimadzu Corporation | Aircraft inspection support device and aircraft inspection support method |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6634314B2 (en) * | 2016-03-01 | 2020-01-22 | 株式会社タクマ | Facility inspection system using unmanned aerial vehicles |
| KR101851265B1 (en) * | 2016-07-06 | 2018-04-24 | 에스케이텔레콤 주식회사 | Terminal apparatus for providing diagnosis and analysis service, program for providing diagnosis and analysis service and recording media for the program |
| JP6649244B2 (en) * | 2016-12-27 | 2020-02-19 | 株式会社日立製作所 | Automatic inspection system and automatic inspection method |
| JP6818002B2 (en) | 2018-12-12 | 2021-01-20 | 株式会社東芝 | Read support systems, mobiles, read support methods, programs, and storage media |
| JP2020181464A (en) * | 2019-04-26 | 2020-11-05 | Ｇｍｏクラウド株式会社 | Meter reading system, meter reading method, and program |
| JP2020181465A (en) * | 2019-04-26 | 2020-11-05 | Ｇｍｏクラウド株式会社 | Meter reading system, meter reading method, and program |
| JP2020181466A (en) * | 2019-04-26 | 2020-11-05 | Ｇｍｏクラウド株式会社 | Meter reading system, meter reading method, and program |
| JP6804624B2 (en) * | 2019-11-22 | 2020-12-23 | 株式会社ミツトヨ | Measurement data collection device and program |
| JP7206236B2 (en) * | 2020-06-26 | 2023-01-17 | 三菱重工業株式会社 | Indicated value reading system, method and program |
| JP2023010338A (en) * | 2021-07-09 | 2023-01-20 | 株式会社東芝 | Information processing apparatus and computer program |
| JP7242795B1 (en) | 2021-09-24 | 2023-03-20 | 株式会社東芝 | Information processing device, information processing method, and computer program |
| JP7223198B1 (en) | 2022-09-29 | 2023-02-15 | 東朋テクノロジー株式会社 | Meter reading device, meter reading method, and meter reading program |
| JP7402458B1 (en) | 2023-06-26 | 2023-12-21 | 株式会社ルクレ | Construction record photo management device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06223165A (en) * | 1993-01-22 | 1994-08-12 | Rohm Co Ltd | Method for reading mark on electronic component |
| JP2846217B2 (en) * | 1993-06-22 | 1999-01-13 | 三菱電機株式会社 | Meter instruction reader |
| JP3035916U (en) * | 1996-09-19 | 1997-04-08 | 原子力システム株式会社 | Plant monitoring equipment |
| JPH11175653A (en) * | 1997-12-08 | 1999-07-02 | Mitsubishi Electric Corp | Artificial retina chip-applied monitoring system |
| JP2000182021A (en) * | 1998-12-16 | 2000-06-30 | Toshiba Corp | Meter reader |
| GB0024612D0 (en) * | 2000-10-07 | 2000-11-22 | Bg Intellectual Pty Ltd | Utility meter index plate data reading |
| JP2008224376A (en) * | 2007-03-12 | 2008-09-25 | Kurita Water Ind Ltd | Data collection system and method |
-
2012
- 2012-08-01 JP JP2012171178A patent/JP5701262B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11336866B2 (en) | 2018-10-17 | 2022-05-17 | Shimadzu Corporation | Aircraft inspection support device and aircraft inspection support method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014032039A (en) | 2014-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5701262B2 (en) | Inspection support system and method | |
| WO2012117833A1 (en) | Plant construction assisting method and plant construction assisting device | |
| KR101752554B1 (en) | System and method for nuclear fuel assembly deformation measurement | |
| JP2009037392A (en) | Operation support system | |
| JP7199826B2 (en) | Reinforcement arrangement inspection method and reinforcement arrangement inspection system | |
| JP2011191171A (en) | Image processing device and image processing method | |
| JP5475373B2 (en) | Automatic meter reading system | |
| JP6672673B2 (en) | Information processing apparatus, control method, and program | |
| CN113837159A (en) | Instrument reading identification method and device based on machine vision | |
| JP2014002430A (en) | Facility inspection system and measuring instrument for the same | |
| CN112635042B (en) | Monitor calibration method, device, equipment and storage medium | |
| WO2018158815A1 (en) | Inspection assistance device, inspection assistance method, and recording medium | |
| JP6192321B2 (en) | Weld monitoring system | |
| WO2019093449A1 (en) | Measurement value reading system, measurement value reading device, and measurement value reading method | |
| JP7025962B2 (en) | Analog equipment meter reading system and method | |
| JP6875850B2 (en) | Field data collection system | |
| JP2020021403A (en) | Program for construction recording and electric wire construction recording method | |
| JP2022135715A (en) | Dimension inspection system and dimension inspection method | |
| WO2018158814A1 (en) | Inspection assistance device, inspection assistance method and recording medium | |
| CN115379197A (en) | Method and device for detecting lens surface of camera product on production line | |
| JP2023008359A (en) | Optical character recognition (ocr) method of information formed on tire sidewall part and optical character recognition device using the same | |
| JP7111694B2 (en) | Inspection support device, inspection support method and program | |
| US20220335723A1 (en) | Management apparatus, management method, management system, computer program and recording medium | |
| JP6796828B2 (en) | Construction quality inspection system and method | |
| JP6804624B2 (en) | Measurement data collection device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150217 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5701262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |