JPWO2018167971A1 - Image processing apparatus, control method and control program - Google Patents

Image processing apparatus, control method and control program Download PDF

Info

Publication number
JPWO2018167971A1
JPWO2018167971A1 JP2019505667A JP2019505667A JPWO2018167971A1 JP WO2018167971 A1 JPWO2018167971 A1 JP WO2018167971A1 JP 2019505667 A JP2019505667 A JP 2019505667A JP 2019505667 A JP2019505667 A JP 2019505667A JP WO2018167971 A1 JPWO2018167971 A1 JP WO2018167971A1
Authority
JP
Japan
Prior art keywords
processing apparatus
image processing
unit
meter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019505667A
Other languages
Japanese (ja)
Other versions
JP6821007B2 (en
Inventor
貴彦 深澤
貴彦 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Publication of JPWO2018167971A1 publication Critical patent/JPWO2018167971A1/en
Application granted granted Critical
Publication of JP6821007B2 publication Critical patent/JP6821007B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Character Input (AREA)

Abstract

メータを撮影するユーザに対して適切な指示を行うことを可能とする画像処理装置、制御方法及び制御プログラムを提供する。画像処理装置は、携帯可能な画像処理装置であって、出力部と、メータを撮影した入力画像を順次生成する撮像部と、前記入力画像からメータ部分を検出する検出部と、前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する指示部と、を有する。Provided are an image processing apparatus, a control method, and a control program capable of giving an appropriate instruction to a user who shoots a meter. The image processing apparatus is a portable image processing apparatus, and includes an output unit, an imaging unit that sequentially generates an input image obtained by capturing a meter, a detection unit that detects a meter portion from the input image, and an input image Movement of the image processing apparatus relative to the user so that the numerical value in the meter is captured at a predetermined position or a predetermined size in the input image based on the inclination or size of the meter portion detected in step An instruction unit for outputting an instruction to the output unit.

Description

本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、メータを撮影した画像からメータ部分を検出する画像処理装置、制御方法及び制御プログラムに関する。   The present disclosure relates to an image processing device, a control method, and a control program, and more particularly to an image processing device, a control method, and a control program for detecting a meter portion from an image obtained by capturing a meter.

工場、家屋等では、設備点検作業において、作業者が電力量等のメータ（装置）から電力量等を示す数値を目視により読み取り、紙の台帳である点検簿に記録している。また、近年では、設備点検作業において、カメラでメータを撮影した画像から、コンピュータにより数値を自動認識する技術も利用されている。このような設備点検作業では、数値の目視誤り又は認識誤りが発生する可能性があるため、ユーザである作業者がカメラでメータを撮影した画像を、後で確認できるように証拠画像として保存しておくことが行われている。   In a factory, a house, etc., in equipment inspection work, a worker visually reads a numerical value indicating the amount of electric power and the like from a meter (apparatus) such as the amount of electric power and records it in a check sheet which is a paper ledger. Further, in recent years, in equipment inspection work, a technique of automatically recognizing numerical values by a computer from an image obtained by photographing a meter by a camera is also used. In such equipment inspection work, visual errors or recognition errors in numerical values may occur, so an image of a user who has taken a meter with a camera is saved as an evidence image so that it can be confirmed later. It has been done.

カメラで認識対象物が撮影された画像に対して認識処理を行い、認識結果を出力する画像処理装置が開示されている（特許文献１を参照）。   An image processing apparatus is disclosed that performs recognition processing on an image obtained by capturing an object to be recognized by a camera and outputs a recognition result (see Patent Document 1).

特開２０１０−２１８０６１号公報Unexamined-Japanese-Patent No. 2010-218061

カメラでメータを撮影した画像を証拠画像として保存しておく場合、証拠画像に適した画像が保存される必要があり、ユーザがメータを良好に撮影するように、ユーザに対して適切な指示が行われることが望まれている。   When an image taken of a meter with a camera is stored as an evidence image, an image suitable for the evidence image needs to be stored, and an appropriate instruction is given to the user so that the user can successfully capture the meter. It is desirable to be done.

画像処理装置、制御方法及び制御プログラムの目的は、メータを撮影するユーザに対して適切な指示を行うことを可能とすることにある。   An object of the image processing apparatus, the control method and the control program is to make it possible to give an appropriate instruction to a user who photographs a meter.

本発明の一側面に係る画像処理装置は、携帯可能な画像処理装置であって、出力部と、メータを撮影した入力画像を順次生成する撮像部と、入力画像からメータ部分を検出する検出部と、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力する指示部と、を有する。   An image processing apparatus according to one aspect of the present invention is a portable image processing apparatus, and includes an output unit, an imaging unit that sequentially generates an input image obtained by imaging a meter, and a detection unit that detects a meter portion from the input image And the inclination or the size of the meter portion detected in the input image, the image processing device with respect to the user is such that the numerical value in the meter is imaged at a predetermined position or a predetermined size in the input image. And an instruction unit that outputs a movement instruction to the output unit.

また、本発明の一側面に係る制御方法は、出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御方法であって、入力画像からメータ部分を検出し、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力することを含む。   A control method according to one aspect of the present invention is a control method of a portable image processing apparatus including an output unit and an imaging unit that sequentially generates an input image obtained by imaging a meter, and the input image The user detects the meter portion from the image, and based on the inclination or size of the meter portion detected in the input image, the user can capture the numerical value in the meter at a predetermined position or predetermined size in the input image. Outputting the movement instruction of the image processing apparatus to the output unit.

また、本発明の一側面に係る制御プログラムは、出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御プログラムであって、入力画像からメータ部分を検出し、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力することを画像処理装置に実行させる。   A control program according to one aspect of the present invention is a control program of a portable image processing apparatus including an output unit and an imaging unit that sequentially generates an input image obtained by imaging a meter, and the input image The user detects the meter portion from the image, and based on the inclination or size of the meter portion detected in the input image, the user can capture the numerical value in the meter at a predetermined position or predetermined size in the input image. And causing the image processing apparatus to output an instruction to move the image processing apparatus to the output unit.

本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、メータを撮影するユーザに対して適切な指示を行うことが可能となる。   According to the present embodiment, the image processing apparatus, the control method, and the control program can issue an appropriate instruction to the user who takes a picture of the meter.

本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。   The objects and advantages of the invention will be realized and obtained by means of the elements and combinations particularly pointed out in the claims. Both the foregoing general description and the following detailed description are exemplary and explanatory only and are not restrictive of the invention as claimed.

実施形態に従った画像処理装置１００の概略構成の一例を示す図である。FIG. 1 is a diagram showing an example of a schematic configuration of an image processing apparatus 100 according to an embodiment. 記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。It is a figure which shows schematic structure of the memory | storage device 110 and CPU120. 座標系について説明するための図である。It is a figure for demonstrating a coordinate system. 座標系について説明するための図である。It is a figure for demonstrating a coordinate system. 座標系について説明するための図である。It is a figure for demonstrating a coordinate system. 座標系について説明するための図である。It is a figure for demonstrating a coordinate system. 座標系について説明するための図である。It is a figure for demonstrating a coordinate system. 座標系について説明するための図である。It is a figure for demonstrating a coordinate system. 全体処理の動作の例を示すフローチャートである。It is a flowchart which shows the example of operation | movement of whole processing. メータを撮影した入力画像８００の一例を示す図である。It is a figure which shows an example of the input image 800 which image | photographed the meter. 入力画像の例を示す図である。It is a figure which shows the example of an input image. 入力画像の例を示す図である。It is a figure which shows the example of an input image. 表示装置１０３に表示される警告の例を示す図である。FIG. 6 is a diagram showing an example of a warning displayed on the display device 103. 表示装置１０３に表示される警告の例を示す図である。FIG. 6 is a diagram showing an example of a warning displayed on the display device 103. 画像判定処理の動作の例を示すフローチャートである。It is a flowchart which shows the example of operation | movement of an image determination process. 入力画像の例を示す図である。It is a figure which shows the example of an input image. 表示装置１０３に表示される移動指示の例を示す図である。FIG. 6 is a diagram showing an example of a movement instruction displayed on the display device 103. 表示装置１０３に表示される移動指示の例を示す図である。FIG. 6 is a diagram showing an example of a movement instruction displayed on the display device 103. 入力画像の例を示す図である。It is a figure which shows the example of an input image. 入力画像の例を示す図である。It is a figure which shows the example of an input image. 入力画像の例を示す図である。It is a figure showing an example of an input picture. 入力画像の例を示す図である。It is a figure which shows the example of an input image. 入力画像の例を示す図である。It is a figure which shows the example of an input image. 他の処理回路２３０の概略構成を示す図である。FIG. 6 is a diagram showing a schematic configuration of another processing circuit 230.

以下、本開示の一側面に係る画像処理装置について図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。   Hereinafter, an image processing apparatus according to an aspect of the present disclosure will be described with reference to the drawings. However, it should be noted that the technical scope of the present disclosure is not limited to those embodiments, but extends to the inventions described in the claims and the equivalents thereof.

図１は、実施形態に従った画像処理装置１００の概略構成の一例を示す図である。   FIG. 1 is a diagram showing an example of a schematic configuration of an image processing apparatus 100 according to the embodiment.

画像処理装置１００は、タブレットＰＣ、多機能携帯電話（いわゆるスマートフォン）、携帯情報端末、ノートＰＣ等の携帯可能な情報処理装置であり、そのユーザである作業者により使用される。画像処理装置１００は、通信装置１０１と、入力装置１０２と、表示装置１０３と、音出力装置１０４と、振動発生装置１０５と、撮像装置１０６と、センサ１０７と、記憶装置１１０と、ＣＰＵ（Central Processing Unit）１２０と、処理回路１３０とを有する。以下、画像処理装置１００の各部について詳細に説明する。   The image processing apparatus 100 is a portable information processing apparatus such as a tablet PC, a multi-function mobile phone (so-called smart phone), a portable information terminal, a notebook PC, etc., and is used by a worker who is the user. The image processing apparatus 100 includes a communication device 101, an input device 102, a display device 103, a sound output device 104, a vibration generating device 105, an imaging device 106, a sensor 107, a storage device 110, and a CPU (Central Processing Unit) 120 and a processing circuit 130. Hereinafter, each part of the image processing apparatus 100 will be described in detail.

通信装置１０１は、主に２．４ＧＨｚ帯、５ＧＨｚ帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有する。通信装置１０１は、アクセスポイント等との間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う。そして、通信装置１０１は、アクセスポイントを介して外部のサーバ装置（不図示）とデータの送受信を行う。通信装置１０１は、アクセスポイントを介してサーバ装置から受信したデータをＣＰＵ１２０に供給し、ＣＰＵ１２０から供給されたデータをアクセスポイントを介してサーバ装置に送信する。なお、通信装置１０１は、外部の装置と通信できるものであればどのようなものであってもよい。例えば、通信装置１０１は、携帯電話通信方式に従って不図示の基地局装置を介してサーバ装置と通信するものでもよいし、有線ＬＡＮ通信方式に従ってサーバ装置と通信するものでもよい。   The communication device 101 has a communication interface circuit including an antenna mainly having a 2.4 GHz band, a 5 GHz band, and the like as a reception band. The communication apparatus 101 performs wireless communication with an access point or the like on the basis of a wireless communication scheme conforming to the IEEE (The Institute of Electrical and Electronics Engineers, Inc.) 802.11 standard. Then, the communication apparatus 101 transmits and receives data to and from an external server apparatus (not shown) via the access point. The communication apparatus 101 supplies data received from the server apparatus via the access point to the CPU 120, and transmits data supplied from the CPU 120 to the server apparatus via the access point. The communication device 101 may be anything as long as it can communicate with an external device. For example, the communication apparatus 101 may communicate with the server apparatus via a base station apparatus (not shown) in accordance with the mobile phone communication system, or may communicate with the server apparatus in accordance with the wired LAN communication system.

入力装置１０２は、入力部の一例であり、タッチパネル式の入力装置、キーボード、マウス等の入力デバイス及び入力デバイスから信号を取得するインターフェース回路を有する。入力装置１０２は、ユーザの入力を受け付け、ユーザの入力に応じた信号をＣＰＵ１２０に対して出力する。   The input device 102 is an example of an input unit, and includes an input device such as a touch panel type input device, a keyboard, a mouse, and the like, and an interface circuit that acquires a signal from the input device. The input device 102 receives a user's input and outputs a signal corresponding to the user's input to the CPU 120.

表示装置１０３は、出力部の一例であり、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインターフェース回路を有する。表示装置１０３は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された画像データをディスプレイに表示する。なお、タッチパネルディスプレイを用いて、入力装置１０２と表示装置１０３を一体に構成してもよい。   The display device 103 is an example of an output unit, and includes a display configured of liquid crystal, organic EL (Electro-Luminescence), and the like, and an interface circuit that outputs image data or various information to the display. The display device 103 is connected to the CPU 120 and displays the image data output from the CPU 120 on the display. The input device 102 and the display device 103 may be integrally configured using a touch panel display.

音出力装置１０４は、出力部の一例であり、スピーカ及びスピーカに音声データを出力するインターフェース回路を有する。音出力装置１０４は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された音声データをスピーカから出力する。   The sound output device 104 is an example of an output unit, and includes a speaker and an interface circuit that outputs audio data to the speaker. The sound output device 104 is connected to the CPU 120 and outputs audio data output from the CPU 120 from a speaker.

振動発生装置１０５は、出力部の一例であり、振動を発生させるモータ及びモータに振動を発生させるための信号を出力するインターフェース回路を有する。振動発生装置１０５は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された指示信号に応じて振動を発生させる。   The vibration generating device 105 is an example of an output unit, and includes a motor that generates vibration and an interface circuit that outputs a signal for causing the motor to generate vibration. The vibration generating device 105 is connected to the CPU 120 and generates vibration in response to an instruction signal output from the CPU 120.

撮像装置１０６は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する。撮像装置１０６は、撮像部の一例であり、ＣＰＵ１２０からの指示に従ってメータを順次撮影する（例えば３０フレーム／秒）。撮像センサは、メータを撮影したアナログの画像信号を生成してＡ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、ＣＰＵ１２０に出力する。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）を利用してもよい。以下では、撮像装置１０６によりメータが撮影されて出力されたデジタルの画像データを入力画像と称する場合がある。   The imaging device 106 includes an imaging sensor of a reduction optical system type including an imaging element formed of a CCD (Charge Coupled Device) arranged in one or two dimensions, and an A / D converter. The imaging device 106 is an example of an imaging unit, and sequentially captures an image of the meter according to an instruction from the CPU 120 (for example, 30 frames / second). The imaging sensor generates an analog image signal obtained by imaging the meter and outputs the image signal to the A / D converter. The A / D converter converts the output analog image signal from analog to digital to sequentially generate digital image data, and outputs the digital image data to the CPU 120. Note that instead of the CCD, a CIS (Contact Image Sensor) of an equal magnification optical system type provided with an imaging device made of a complementary metal oxide semiconductor (CMOS) may be used. Hereinafter, digital image data obtained by photographing and outputting a meter by the imaging device 106 may be referred to as an input image.

センサ１０７は、加速度センサであり、ＣＰＵ１２０から出力された指示信号に応じて、画像処理装置１００に加わる加速度を３軸方向毎に検出し、検出した加速度を画像処理装置１００の移動情報として出力する。センサ１０７は、例えば、ピエゾ抵抗効果を利用したピエゾ抵抗型の３軸加速度センサ、又は静電容量の変化を利用した静電容量型の３軸加速度センサとすることができる。なお、センサ１０７として、加速度センサの代わりに、画像処理装置１００の回転角速度を検出するジャイロセンサを利用し、加速度の代わりに回転角速度を画像処理装置１００の移動情報として出力してもよい。   The sensor 107 is an acceleration sensor, and detects an acceleration applied to the image processing apparatus 100 every three axial directions according to an instruction signal output from the CPU 120, and outputs the detected acceleration as movement information of the image processing apparatus 100. . The sensor 107 can be, for example, a piezoresistive three-axis acceleration sensor using a piezoresistive effect, or a capacitive three-axis acceleration sensor using a change in capacitance. Note that as the sensor 107, a gyro sensor that detects the rotational angular velocity of the image processing apparatus 100 may be used instead of the acceleration sensor, and the rotational angular velocity may be output as movement information of the image processing apparatus 100 instead of the acceleration.

記憶装置１１０は、記憶部の一例である。記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１１０には、画像処理装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等のコンピュータ読み取り可能な可搬型記録媒体からインストールされてもよい。コンピュータプログラムは、公知のセットアッププログラム等を用いて記憶装置１１０にインストールされる。   The storage device 110 is an example of a storage unit. The storage device 110 includes a memory device such as a random access memory (RAM) or a read only memory (ROM), a fixed disk device such as a hard disk, or a portable storage device such as a flexible disk or an optical disk. The storage device 110 also stores a computer program, a database, a table, and the like used for various processes of the image processing apparatus 100. The computer program may be installed from a computer readable portable recording medium such as, for example, a compact disk read only memory (CD-ROM) or a digital versatile disk read only memory (DVD-ROM). The computer program is installed on the storage device 110 using a known setup program or the like.

ＣＰＵ１２０は、予め記憶装置１１０に記憶されているプログラムに基づいて動作する。ＣＰＵ１２０は、汎用プロセッサであってもよい。なお、ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１６０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等が用いられてもよい。   The CPU 120 operates based on a program stored in advance in the storage device 110. The CPU 120 may be a general purpose processor. Note that, in place of the CPU 120, a digital signal processor (DSP), a large scale integration (LSI), or the like may be used. Also, in place of the CPU 160, an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA), or the like may be used.

ＣＰＵ１２０は、通信装置１０１、入力装置１０２、表示装置１０３、音出力装置１０４、振動発生装置１０５、撮像装置１０６、センサ１０７、記憶装置１１０及び処理回路１３０と接続され、これらの各部を制御する。ＣＰＵ１２０は、通信装置１０１を介したデータ送受信制御、入力装置１０２の入力制御、表示装置１０３、音出力装置１０４及び振動発生装置１０５の出力制御、撮像装置１０６の撮像制御、センサ１０７及び記憶装置１１０の制御等を行う。さらに、ＣＰＵ１２０は、撮像装置１０６により生成された入力画像に写っているメータ内の数値を認識するとともに、証拠画像を記憶装置１１０に記憶する。   The CPU 120 is connected to the communication device 101, the input device 102, the display device 103, the sound output device 104, the vibration generating device 105, the imaging device 106, the sensor 107, the storage device 110 and the processing circuit 130, and controls these units. The CPU 120 controls data transmission and reception via the communication device 101, controls input of the input device 102, controls output of the display device 103, the sound output device 104 and the vibration generator 105, controls imaging of the imaging device 106, the sensor 107 and the storage device 110. Control of Further, the CPU 120 recognizes the numerical value in the meter appearing in the input image generated by the imaging device 106, and stores the evidence image in the storage device 110.

処理回路１３０は、撮像装置１０６から取得した入力画像に補正処理等の所定の画像処理を施す。なお、処理回路１３０として、ＬＳＩ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等が用いられてもよい。   The processing circuit 130 performs predetermined image processing such as correction processing on the input image acquired from the imaging device 106. Note that, as the processing circuit 130, an LSI, a DSP, an ASIC, an FPGA, or the like may be used.

図２は、記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。   FIG. 2 is a diagram showing a schematic configuration of the storage device 110 and the CPU 120. As shown in FIG.

図２に示すように、記憶装置１１０には、検出プログラム１１１、移動距離検出プログラム１１２、判定プログラム１１３、指示プログラム１１４、数値認識プログラム１１５及び記憶制御プログラム１１６等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１３０は、記憶装置１１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作することにより、検出部１２１、移動距離検出部１２２、判定部１２３、指示部１２４、数値認識部１２５及び記憶制御部１２６として機能する。   As shown in FIG. 2, the storage device 110 stores programs such as a detection program 111, a movement distance detection program 112, a determination program 113, an instruction program 114, a numerical recognition program 115, and a storage control program 116. Each of these programs is a functional module implemented by software operating on the processor. The CPU 130 reads each program stored in the storage device 110 and operates in accordance with each read program, whereby the detection unit 121, the movement distance detection unit 122, the determination unit 123, the instruction unit 124, the numerical recognition unit 125, and storage control It functions as the unit 126.

図３、４Ａ、４Ｂ、５、６Ａ、６Ｂは、本実施形態において説明に用いる座標系について説明するための図である。   FIGS. 3, 4A, 4B, 5, 6A, and 6B are diagrams for explaining a coordinate system used in the description of this embodiment.

図３〜６Ｂに示す例では、撮像装置１０６による撮像位置１５０からの撮像方向、即ち撮像装置１０６の光軸方向をｚ軸とし、ｚ軸に垂直であり且つ水平面に平行な方向をｘ軸とし、ｚ軸及びｘ軸に垂直な方向をｙ軸としている。図３〜６Ｂに示すように、画像処理装置１００は、メータ３００を撮影する際に、ユーザにより、撮像装置１０６による撮像位置１５０からの撮像方向が、メータ３００が計測した電力量等の数値が示されるメータ部分３０１を向くように移動される。なお、図３〜６Ｂでは、画像処理装置１００の長手方向が水平線に平行になるように撮影される場合を例に説明している。また、以下では、画像処理装置１００において表示装置１０３のディスプレイが設けられた平面を表示面と称し、その裏側にある撮像装置１０６による撮像位置１５０が設けられた面を背面と称する場合がある。   In the example shown in FIGS. 3 to 6B, the imaging direction from the imaging position 150 by the imaging device 106, that is, the optical axis direction of the imaging device 106 is z axis, and the direction perpendicular to the z axis and parallel to the horizontal plane is x axis The direction perpendicular to the z-axis and the x-axis is taken as the y-axis. As shown in FIGS. 3 to 6B, when the image processing apparatus 100 captures an image of the meter 300, the imaging direction from the imaging position 150 by the imaging device 106 is a numerical value such as the amount of power measured by the meter 300 by the user. It is moved to face the meter portion 301 shown. It should be noted that in FIGS. 3 to 6B, the case where the image processing apparatus 100 is photographed so that the longitudinal direction is parallel to the horizontal line is described as an example. Also, in the following, the plane on which the display of the display device 103 is provided in the image processing apparatus 100 may be referred to as a display surface, and the side on which the imaging position 150 by the imaging device 106 is provided may be referred to as a back surface.

図３は、撮像装置１０６の光軸（ｚ軸）方向の画像処理装置１００の水平移動の例を示す。画像処理装置１００は、メータ部分３０１との間の距離を調整するために、矢印Ａ１の方向又はその逆方向に水平移動するようにユーザに指示する。   FIG. 3 shows an example of horizontal movement of the image processing apparatus 100 in the optical axis (z-axis) direction of the imaging device 106. The image processing apparatus 100 instructs the user to move horizontally in the direction of the arrow A1 or in the opposite direction to adjust the distance between the image processing apparatus 100 and the meter portion 301.

図４Ａは、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００のｙ軸方向の水平移動の例を示す。画像処理装置１００は、メータ部分３０１に対する撮像位置１５０の垂直位置を調整するために、矢印Ａ２の方向又はその逆方向に水平移動される。図４Ｂは、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００のｘ軸方向の水平移動の例を示す。画像処理装置１００は、メータ部分３０１に対する撮像位置１５０の水平位置を調整するために、矢印Ａ３の方向又はその逆方向に水平移動するようにユーザに指示する。これらの水平移動では、画像処理装置１００は、メータ３００に対する表示面又は背面の向きを一定に保ちながら移動される。   FIG. 4A illustrates an example of horizontal movement of the image processing apparatus 100 in the y-axis direction along a plane (xy plane) perpendicular to the optical axis (z axis) of the imaging device 106. The image processing apparatus 100 is horizontally moved in the direction of the arrow A2 or in the opposite direction to adjust the vertical position of the imaging position 150 with respect to the meter portion 301. FIG. 4B illustrates an example of horizontal movement of the image processing apparatus 100 in the x-axis direction along a plane (xy plane) perpendicular to the optical axis (z axis) of the imaging device 106. The image processing apparatus 100 instructs the user to horizontally move in the direction of arrow A3 or in the opposite direction to adjust the horizontal position of the imaging position 150 with respect to the meter portion 301. In these horizontal movements, the image processing apparatus 100 is moved while keeping the orientation of the display surface or the back with respect to the meter 300 constant.

図５は、撮像装置１０６の光軸（ｚ軸）を中心とする画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０の配置位置を中心として、光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿って回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を回転角と称する場合がある。図５では、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の長手方向が水平線に対して反時計回り方向に回転するように（−θ1）傾いている場合、画像処理装置１００は、矢印Ａ４の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の長手方向が水平線に対して時計回り方向に回転するように（θ1）傾いている場合、画像処理装置１００は、矢印Ａ４の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。FIG. 5 shows an example of rotational movement of the image processing apparatus 100 about the optical axis (z-axis) of the imaging device 106. In this rotational movement, the image processing apparatus 100 is moved so that the display surface or the back surface is rotated along a plane (xy plane) perpendicular to the optical axis (z axis), with the arrangement position of the imaging position 150 as the center. Ru. Hereinafter, the angle at which the image processing apparatus 100 rotates in this rotational movement may be referred to as a rotation angle. In FIG. 5, the clockwise direction is a positive direction, and the counterclockwise direction is a negative direction. When the longitudinal direction of the image processing apparatus 100 is inclined (-θ 1 ) so as to rotate counterclockwise with respect to the horizontal line, the image processing apparatus 100 rotationally moves in the direction of the arrow A4 (clockwise direction). Instruct the user to On the other hand, when the longitudinal direction of the image processing apparatus 100 is inclined (θ 1 ) so as to rotate clockwise with respect to the horizontal line, the image processing apparatus 100 rotates in the reverse direction (counterclockwise direction) of the arrow A4. Instruct the user to move.

図６Ａは、撮像装置１０６の光軸（ｚ軸）に対する仰俯角方向の画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０を通過するｘ軸に平行な直線を回転軸として回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を仰俯角と称する場合がある。図６Ａでは、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して反時計回り方向に回転するように（−θ2）傾いている場合、画像処理装置１００は、矢印Ａ５の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して時計回り方向に回転するように（θ2）傾いている場合、画像処理装置１００は、矢印Ａ５の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。FIG. 6A shows an example of the rotational movement of the image processing apparatus 100 in the supine-angle direction with respect to the optical axis (z-axis) of the imaging device 106. In this rotational movement, the image processing apparatus 100 is moved so that the display surface or the back surface rotates about a straight line parallel to the x-axis passing through the imaging position 150 as an axis of rotation. Hereinafter, an angle at which the image processing apparatus 100 rotates in this rotational movement may be referred to as a supine-and-spine angle. In FIG. 6A, the clockwise direction is a positive direction, and the counterclockwise direction is a negative direction. When the display surface or the back surface of the image processing apparatus 100 is inclined (−θ 2 ) so as to rotate in the counterclockwise direction with respect to the xy plane orthogonal to the optical axis (z axis), the image processing apparatus 100 The user is instructed to rotationally move in the direction of A5 (clockwise direction). On the other hand, when the display surface or the back surface of the image processing apparatus 100 is inclined (θ 2 ) so as to rotate clockwise with respect to the xy plane orthogonal to the optical axis (z axis), the image processing apparatus 100 The user is instructed to rotationally move in the reverse direction (counterclockwise direction) of A5.

図６Ｂは、撮像装置１０６の光軸（ｚ軸）に対する方位角方向の画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０を通過するｙ軸に平行な直線を回転軸として回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を方位角と称する場合がある。図６Ｂでは、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して反時計回り方向に回転するように（−θ3）傾いている場合、画像処理装置１００は、矢印Ａ６の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して時計回り方向に回転するように（θ3）傾いている場合、画像処理装置１００は、矢印Ａ６の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。FIG. 6B illustrates an example of rotational movement of the image processing apparatus 100 in the azimuthal direction with respect to the optical axis (z axis) of the imaging device 106. In this rotational movement, the image processing apparatus 100 is moved so that the display surface or the back surface rotates about a straight line parallel to the y-axis passing through the imaging position 150 as an axis of rotation. Hereinafter, an angle at which the image processing apparatus 100 rotates in this rotational movement may be referred to as an azimuth. In FIG. 6B, the clockwise direction is a positive direction, and the counterclockwise direction is a negative direction. When the display surface or the back surface of the image processing apparatus 100 is tilted (−θ 3 ) so as to rotate counterclockwise with respect to the xy plane orthogonal to the optical axis (z axis), the image processing apparatus 100 The user is instructed to rotationally move in the direction of A6 (clockwise direction). On the other hand, when the display surface or the back surface of the image processing apparatus 100 is inclined (θ 3 ) so as to rotate clockwise with respect to the xy plane orthogonal to the optical axis (z axis), the image processing apparatus 100 The user is instructed to rotationally move in the reverse direction (counterclockwise direction) of A6.

図７は、画像処理装置１００による全体処理の動作の例を示すフローチャートである。   FIG. 7 is a flowchart illustrating an example of the operation of the entire processing by the image processing apparatus 100.

以下、図７に示したフローチャートを参照しつつ、画像処理装置１００による全体処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶装置１１０に記憶されているプログラムに基づき主にＣＰＵ１２０により画像処理装置１００の各要素と協働して実行される。   Hereinafter, an example of the operation of the entire process by the image processing apparatus 100 will be described with reference to the flowchart illustrated in FIG. 7. The flow of the operation described below is mainly executed by the CPU 120 in cooperation with each element of the image processing apparatus 100 based on a program stored in advance in the storage device 110.

最初に、検出部１２１は、ユーザにより、入力装置１０２を用いてメータ部分の撮影の開始を指示する撮影開始指示が入力され、入力装置１０２から撮影開始指示信号を受信すると、撮影開始指示を受け付ける（ステップＳ１０１）。検出部１２１は、撮影開始指示を受け付けると、画像処理に用いられる各情報の初期化、及び、撮像装置１０６の撮像サイズ、フォーカス等のパラメータ設定を実行する。   First, the detection unit 121 receives an imaging start instruction when the imaging start instruction for instructing start of imaging of the meter portion is input by the user using the input device 102 and receives the imaging start instruction signal from the input device 102. (Step S101). When the detection unit 121 receives a shooting start instruction, the detection unit 121 executes initialization of each information used for image processing, and setting of parameters such as an imaging size of the imaging device 106 and focus.

次に、移動距離検出部１２２は、画像処理装置１００の現在位置を示す位置情報を初期位置として設定する（ステップＳ１０２）。   Next, the moving distance detection unit 122 sets position information indicating the current position of the image processing apparatus 100 as an initial position (step S102).

次に、検出部１２１は、撮像装置１０６にメータの撮影を開始させて入力画像を生成させる（ステップＳ１０３）。   Next, the detection unit 121 causes the imaging device 106 to start imaging of the meter and generate an input image (step S103).

次に、検出部１２１は、撮像装置１０６により生成された入力画像を取得し、記憶装置１１０に記憶する（ステップＳ１０４）。   Next, the detection unit 121 acquires the input image generated by the imaging device 106, and stores the acquired input image in the storage device 110 (step S104).

次に、移動距離検出部１２２は、センサ１０７から出力された移動情報を受信し、受信した移動情報に基づいて画像処理装置１００の移動量及び移動方向を算出して、画像処理装置１００の位置情報を更新する。移動距離検出部１２２は、更新した位置情報に基づいて、初期位置からの移動距離、即ち入力装置１０２が撮影開始指示を受け付けてからの移動距離を検出する（ステップＳ１０５）。   Next, the movement distance detection unit 122 receives the movement information output from the sensor 107, calculates the movement amount and movement direction of the image processing apparatus 100 based on the received movement information, and detects the position of the image processing apparatus 100. Update information The movement distance detection unit 122 detects the movement distance from the initial position, that is, the movement distance after the input device 102 receives the imaging start instruction, based on the updated position information (step S105).

次に、検出部１２１は、取得した入力画像からメータ部分を検出するメータ検出処理を実行する（ステップＳ１０６）。   Next, the detection unit 121 executes meter detection processing for detecting a meter portion from the acquired input image (step S106).

図８は、メータ（装置）を撮影した入力画像８００の一例を示す図である。   FIG. 8 is a view showing an example of an input image 800 obtained by photographing a meter (apparatus).

図８に示すように、一般に、メータは黒色の筐体８０１を有し、筐体８０１の内部に白色のプレート８０２を有する。プレート８０２は、ガラス（不図示）を介して目視可能になっており、プレート８０２には、メータが計測した電力量等の数値が示されるメータ部分８０３が配置される。メータ部分８０３において、数値は白色で示され、背景は黒色で示されている。   As shown in FIG. 8, in general, the meter has a black casing 801 and a white plate 802 inside the casing 801. The plate 802 is visible through glass (not shown), and the plate 802 is provided with a meter portion 803 in which numerical values such as the amount of power measured by the meter are indicated. In the meter portion 803, the numerical values are shown in white and the background is shown in black.

まず、検出部１２１は、プレート８０２を検出する。検出部１２１は、入力画像内の画素の水平及び垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値又は色値（Ｒ値、Ｂ値、Ｇ値）の差の絶対値が第１閾値を越える場合、その画素をエッジ画素として抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形をプレート８０２として検出する。略直交とは、直角に対して±４５°以内の角度（４５°以上且つ１３５°以下）で交わることを意味する。または、検出部１２１は、抽出した各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする。検出部１２１は、抽出したグループの内、最も面積が大きいグループで囲まれる領域をプレート８０２として検出してもよい。   First, the detection unit 121 detects the plate 802. The detection unit 121 detects the difference in luminance value or color value (R value, B value, G value) of a plurality of pixels separated by a predetermined distance from pixels adjacent to both horizontal and vertical pixels in the input image or in the vertical direction. If the absolute value exceeds the first threshold, the pixel is extracted as an edge pixel. The detection unit 121 extracts straight lines passing near the extracted edge pixels by using the Hough transform or the least squares method, and is configured from four straight lines in which each two of the extracted straight lines are substantially orthogonal to each other. Among the rectangles to be detected, the largest rectangle is detected as a plate 802. Substantially orthogonal means intersecting at an angle (45 ° or more and 135 ° or less) within ± 45 ° with respect to a right angle. Alternatively, the detection unit 121 determines whether or not each extracted edge pixel is connected to another edge pixel, and labels the connected edge pixels as one group. The detection unit 121 may detect, as the plate 802, an area surrounded by the group having the largest area among the extracted groups.

なお、検出部１２１は、筐体８０１の色と、プレート８０２の色の違いを利用してプレート枠を検出してもよい。検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり（黒色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値以上である（白色を示す）場合、その画素を左端エッジ画素として抽出する。第２閾値は黒色を示す値と白色を示す値の中間の値に設定される。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に左側に隣接する画素又はその画素から左側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を右端エッジ画素として抽出する。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に下側に隣接する画素又はその画素から下側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を上端エッジ画素として抽出する。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に上側に隣接する画素又はその画素から上側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を下端エッジ画素として抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれを連結した直線を抽出し、抽出した各直線から構成される矩形をプレート８０２として検出する。   The detection unit 121 may detect the plate frame using the difference between the color of the housing 801 and the color of the plate 802. The detection unit 121 is configured such that the luminance value or color value of each pixel is less than the second threshold (shows black), and the luminance value or color of a pixel adjacent to the pixel on the right side or a pixel separated by a predetermined distance on the right side from the pixel If the value is equal to or greater than the second threshold (indicating white), the pixel is extracted as the left edge pixel. The second threshold is set to an intermediate value between the value indicating black and the value indicating white. Similarly, in the detection unit 121, the luminance value or the color value of each pixel is less than the second threshold, and the luminance value or the color value of the pixel adjacent to the left side of the pixel or the pixel separated by a predetermined distance to the left side from the pixel If it is equal to or greater than the second threshold, the pixel is extracted as the right edge pixel. Similarly, in the detection unit 121, the luminance value or the color value of each pixel is less than the second threshold, and the luminance value or the color of the pixel adjacent to the lower side of that pixel or the pixel distant by a predetermined distance downward from that pixel If the value is greater than or equal to the second threshold, the pixel is extracted as the top edge pixel. Similarly, in the detection unit 121, the luminance value or the color value of each pixel is less than the second threshold, and the luminance value or the color value of the pixel adjacent to the upper side of the pixel or the pixel distant by a predetermined distance to the upper side If it is equal to or greater than the second threshold, the pixel is extracted as the lower edge pixel. The detection unit 121 extracts a straight line connecting each of the extracted left end edge pixel, right end edge pixel, upper end edge pixel, and lower end edge pixel using the Hough transform or the least squares method, and is configured from the extracted straight lines. Rectangle is detected as a plate 802.

次に、検出部１２１は、検出したプレート８０２内の領域から、メータ部分８０３を検出する。検出部１２１は、メータ部分８０３を含むプレート８０２が写っている画像が入力された場合に、メータ部分８０３の位置情報を出力するように事前学習された識別器により、メータ部分８０３を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。検出部１２１は、検出したプレート８０２を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより、メータ部分８０３を検出する。   Next, the detection unit 121 detects the meter portion 803 from the detected area in the plate 802. The detection unit 121 detects the meter portion 803 by the discriminator learned in advance so as to output the position information of the meter portion 803 when the image including the plate 802 including the meter portion 803 is input. The discriminator is pre-learned using a plurality of images obtained by photographing the meter by, for example, deep learning, and is stored in advance in the storage device 110. The detection unit 121 inputs the image including the detected plate 802 to the discriminator, and detects the meter portion 803 by acquiring the position information output from the discriminator.

なお、検出部１２１は、プレート８０２を検出する場合と同様に、入力画像内のエッジ画素に基づいて、メータ部分８０３を検出してもよい。検出部１２１は、入力画像のプレート枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形の領域を検出する。または、検出部１２１は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる矩形の領域を検出する。検出部１２１は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、検出した各領域から所定桁の数字を検出し、所定桁の数字を検出できた場合、その領域をメータ部分８０３として検出する。   The detection unit 121 may detect the meter portion 803 based on edge pixels in the input image, as in the case of detecting the plate 802. The detection unit 121 extracts edge pixels from the area including the plate frame of the input image, extracts straight lines passing near the extracted edge pixels, and four lines of which each of the extracted straight lines is substantially orthogonal The largest rectangular area among the rectangles composed of straight lines is detected. Alternatively, the detection unit 121 detects a rectangular area surrounded by the group having the largest area among the groups in which the extracted edge pixels are mutually connected. The detection unit 121 detects a digit of a predetermined digit from each of the detected areas using known optical character recognition (OCR) technology, and detects a digit of the predetermined digit as the meter portion 803 when the digit of the predetermined digit can be detected. Do.

または、検出部１２１は、プレート８０２を検出する場合と同様に、プレート８０２の色と、メータ部分８０３の色の違いを利用して矩形の領域を検出してもよい。検出部１２１は、各画素の輝度値又は色値が第２閾値以上であり（白色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値未満である（黒色を示す）場合、その画素を左端エッジ画素として抽出する。同様にして、検出部１２１は、右端エッジ画素、上端エッジ画素及び下端エッジ画素を抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれの近傍を通過する直線を抽出し、抽出した各直線から構成される矩形の領域を検出する。   Alternatively, as in the case of detecting the plate 802, the detection unit 121 may detect a rectangular area using the difference between the color of the plate 802 and the color of the meter portion 803. The detection unit 121 is configured such that the luminance value or color value of each pixel is equal to or greater than the second threshold (shows white), and the luminance value or color of a pixel adjacent to the pixel on the right or a pixel away from the pixel by a predetermined distance If the value is less than the second threshold (shows black), the pixel is extracted as the left edge pixel. Similarly, the detection unit 121 extracts the right end edge pixel, the upper end edge pixel, and the lower end edge pixel. The detecting unit 121 extracts straight lines passing through the vicinity of the extracted left end edge pixel, right end edge pixel, upper end edge pixel, and lower end edge pixel using the Hough transform or the least squares method, and the like from the extracted straight lines Detect a rectangular area to be constructed.

また、メータのプレート８０２内にメータ部分８０３が存在する位置を示す目印８０４が示されている場合、検出部１２１は、目印８０４を検出し、水平及び垂直方向において各目印８０４で挟まれた領域内でメータ部分８０３を検出してもよい。   In addition, when a mark 804 indicating the position where the meter portion 803 is present is shown in the plate 802 of the meter, the detection unit 121 detects the mark 804 and a region sandwiched by the marks 804 in the horizontal and vertical directions. The meter portion 803 may be detected within.

次に、判定部１２３は、メータ検出処理においてメータ部分が検出されたか否かにより、入力画像にメータ部分の全体が含まれるか否かを判定する（ステップＳ１０７）。   Next, the determination unit 123 determines whether or not the entire meter portion is included in the input image, based on whether or not the meter portion is detected in the meter detection process (step S107).

図９Ａ、９Ｂは、メータ部分８０３の全体が含まれない入力画像９００、９１０の例を示す図である。   9A and 9B show examples of input images 900 and 910 that do not include the entire meter portion 803. FIG.

図９Ａは、メータ部分８０３が端部付近に撮影されることにより、メータ部分８０３の全体が含まれていない入力画像９００を示す。また、図９Ｂは、メータ部分８０３の撮影サイズが大きくなりすぎることにより、メータ部分８０３の全体が含まれていない入力画像９１０を示す。入力画像９００又は入力画像９１０にはメータ部分８０３の全体が写っていないため、メータ検出処理ではメータ部分８０３内の数値が検出されず、メータ部分８０３は検出されない。   FIG. 9A shows an input image 900 that does not include the entire meter portion 803 as the meter portion 803 is photographed near the end. Also, FIG. 9B shows an input image 910 in which the entire meter portion 803 is not included because the imaging size of the meter portion 803 is too large. Since the entire meter portion 803 is not shown in the input image 900 or the input image 910, the meter detection processing does not detect the numerical value in the meter portion 803, and the meter portion 803 is not detected.

入力画像にメータ部分の全体が含まれない場合、指示部１２４は、入力画像にメータ部分の全体が含まれない旨の警告を出力して、ユーザに通知し（ステップＳ１０８）、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。指示部１２４は、入力画像にメータ部分の全体が含まれない旨の警告として、メータ部分の全体が写るように画像処理装置１００を移動させる指示を出力してもよい。指示部１２４は、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、警告を出力する。   If the input image does not include the entire meter portion, the instruction unit 124 outputs a warning that the input image does not include the entire meter portion, and notifies the user (step S108), and the process proceeds to step S104. And wait until a new input image is acquired. The instruction unit 124 may output an instruction to move the image processing apparatus 100 so that the entire meter portion is captured, as a warning that the entire meter portion is not included in the input image. The instruction unit 124 outputs a warning by outputting the sound from the sound output device 104 as sound or by causing the vibration generating device 105 to generate a predetermined vibration by displaying on the display device 103.

なお、指示部１２４は、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、警告の表示サイズを変更してもよい。ユーザが撮影開始指示を入力する場合、画像処理装置１００は、ユーザが操作し易いように、ユーザの手元にある可能性が高い。一方、メータは必ずしも撮影し易い位置に設置されておらず、ユーザは腕を伸ばしたりする等、無理な体勢でメータを撮影し、メータの撮影中において表示装置１０３を見づらい状態にある可能性がある。   The instruction unit 124 may change the display size of the warning according to the moving distance after the input device 102 receives the imaging start instruction. When the user inputs a shooting start instruction, the image processing apparatus 100 is likely to be at the user's hand so that the user can easily operate. On the other hand, the meter is not always installed at a position where it is easy to shoot, and the user may shoot the meter in an unreasonable posture, for example, by stretching the arm, and the display device 103 may be in a state of difficulty seeing is there.

指示部１２４は、ステップＳ１０５において検出した画像処理装置１００の移動距離が距離閾値未満である場合、画像処理装置１００はユーザの手元にあり、移動距離が距離閾値以上である場合、画像処理装置１００はユーザの手元から離れた位置にあるとみなす。そして、指示部１２４は、画像処理装置１００の移動距離が距離閾値以上である場合の警告の表示サイズを、画像処理装置１００の移動距離が距離閾値未満である場合の警告の表示サイズより大きくする。なお、指示部１２４は、画像処理装置１００の移動距離が大きい程、警告の表示サイズを段階的に大きくしてもよい。   When the movement distance of the image processing apparatus 100 detected in step S105 is less than the distance threshold, the instruction unit 124 is at the user's hand, and when the movement distance is equal to or more than the distance threshold, the image processing apparatus 100. Is considered to be away from the user's hand. Then, the instruction unit 124 makes the display size of the warning when the moving distance of the image processing apparatus 100 is the distance threshold or more larger than the display size of the warning when the moving distance of the image processing apparatus 100 is less than the distance threshold. . The instruction unit 124 may gradually increase the display size of the warning as the moving distance of the image processing apparatus 100 is larger.

図９Ｃ及び図９Ｄは、表示装置１０３に表示される警告の例を示す図である。   9C and 9D are diagrams showing an example of a warning displayed on the display device 103. FIG.

図９Ｃに示す画面９２０には、画像処理装置１００の移動距離が距離閾値未満である場合に表示される警告９２１が示され、図９Ｄに示す画面９３０には、画像処理装置１００の移動距離が距離閾値以上である場合に表示される警告９３１が示される。警告９３１は警告９２１より大きく表示され、ユーザは、画像処理装置１００（表示画面）が手元から離れた位置にあっても、警告９３１を容易に確認することができる。   A warning 921 displayed when the moving distance of the image processing apparatus 100 is less than the distance threshold is shown on the screen 920 shown in FIG. 9C, and the moving distance of the image processing apparatus 100 is on the screen 930 shown in FIG. A warning 931 displayed when the distance threshold is exceeded is shown. The warning 931 is displayed larger than the warning 921. The user can easily confirm the warning 931 even when the image processing apparatus 100 (display screen) is at a position away from the hand.

ステップＳ１０７において、入力画像にメータ部分の全体が含まれていた場合、判定部１２３及び指示部１２４は、画像判定処理を実行する（ステップＳ１０９）。画像判定処理において、判定部１２３は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、入力画像が証拠画像として適切であるか否かを判定する。また、指示部１２４は、入力画像が証拠画像として適切でない場合に、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置１００の移動指示を出力する。画像判定処理の詳細については後述する。   In step S107, when the entire meter part is included in the input image, the determination unit 123 and the instruction unit 124 execute an image determination process (step S109). In the image determination process, the determination unit 123 determines whether the input image is appropriate as an evidence image based on the inclination or the size of the meter portion detected in the input image. In addition, when the input image is not appropriate as a proof image, the instruction unit 124 moves the image processing apparatus 100 with respect to the user so that the numerical value in the meter is captured at a predetermined position or a predetermined size in the input image. Output the instruction. Details of the image determination process will be described later.

次に、判定部１２３は、画像判定処理において入力画像が証拠画像として適切であると判定されたか否かを判定する（ステップＳ１１０）。   Next, the determination unit 123 determines whether or not the input image is determined to be appropriate as an evidence image in the image determination process (step S110).

入力画像が証拠画像として適切でなかった場合、判定部１２３は、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。一方、入力画像が証拠画像として適切であった場合、数値認識部１２５は、数値認識処理を実行する（ステップＳ１１１）。   If the input image is not appropriate as the evidence image, the determination unit 123 returns the process to step S104, and waits until a new input image is acquired. On the other hand, when the input image is appropriate as the evidence image, the numerical value recognition unit 125 executes a numerical value recognition process (step S111).

数値認識処理において、数値認識部１２５は、数値が写っている画像が入力された場合に、その画像に写っている数値を出力するように事前学習された識別器により、メータ部分に写っている数値を特定する。この識別器は、例えばディープラーニング等により、メータ内の各数値を撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。数値認識部１２５は、メータ部分が含まれる画像を識別器に入力し、識別器から出力された数値を、メータ部分に写っている数値として特定する。なお、数値認識部１２５は、公知のＯＣＲ技術を利用して、メータ部分に写っている数値を特定してもよい。   In the numerical value recognition process, when the numerical value recognition unit 125 receives an image having a numerical value, the numerical value is reflected on the meter portion by the discriminator previously learned so as to output the numerical value shown on the image. Identify the number. The discriminator is pre-learned using a plurality of images obtained by photographing each numerical value in the meter, for example, by deep learning, and stored in advance in the storage device 110. The numerical value recognition unit 125 inputs an image including the meter portion to the discriminator, and identifies the numerical value output from the discriminator as the numerical value shown in the meter portion. The numerical value recognition unit 125 may specify a numerical value shown on the meter portion using a known OCR technique.

次に、数値認識部１２５は、数値認識処理において、メータ内の数値を認識できたか否かを判定する（ステップＳ１１２）。   Next, the numerical value recognition unit 125 determines whether or not the numerical value in the meter has been recognized in the numerical value recognition process (step S112).

メータ内の数値を認識できなかった場合、数値認識部１２５は、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。一方、メータ内の数値を認識できた場合、記憶制御部１２６は、入力画像の少なくとも一部を証拠画像として、数値認識部１２５が認識した数値を関連付けて記憶装置１１０に記憶する（ステップＳ１１３）。記憶制御部１２６は、例えば入力画像からメータ部分の領域を切出した画像を証拠画像として記憶装置１１０に記憶する。なお、記憶制御部１２６は、入力画像からプレートの領域を切出した画像、又は、入力画像自体を証拠画像として記憶装置１１０に記憶してもよい。   If the numerical value in the meter can not be recognized, the numerical value recognition unit 125 returns the process to step S104, and waits until newly acquiring an input image. On the other hand, when the numerical value in the meter can be recognized, the storage control unit 126 associates the numerical value recognized by the numerical value recognition unit 125 with the at least part of the input image as the evidence image and stores it in the storage device 110 (step S113). . The storage control unit 126 stores, for example, an image obtained by cutting out the area of the meter portion from the input image in the storage device 110 as a proof image. The storage control unit 126 may store the image obtained by cutting out the area of the plate from the input image, or the input image itself in the storage device 110 as an evidence image.

次に、記憶制御部１２６は、数値認識部１２５が認識した数値、及び／又は、記憶制御部１２６が記憶した証拠画像を表示装置１０３に表示し（ステップＳ１１４）、一連のステップを終了する。また、記憶制御部１２６は、数値認識部１２５が認識した数値、及び／又は、記憶制御部１２６が選択した証拠画像を通信装置１０１を介してサーバ装置に送信してもよい。   Next, the storage control unit 126 displays the numerical value recognized by the numerical value recognition unit 125 and / or the evidence image stored in the storage control unit 126 on the display device 103 (step S114), and ends the series of steps. In addition, the storage control unit 126 may transmit the numerical value recognized by the numerical recognition unit 125 and / or the evidence image selected by the storage control unit 126 to the server apparatus via the communication apparatus 101.

なお、ステップＳ１０９及びＳ１１０の処理は、ステップＳ１１１及びＳ１１２の処理の後に実行され、画像判定処理は、数値認識処理においてメータ内の数値を認識された画像に対してのみ実行されてもよい。   The processes of steps S109 and S110 may be performed after the processes of steps S111 and S112, and the image determination process may be performed only on the image whose numerical value in the meter is recognized in the numerical value recognition process.

また、移動距離検出部１２２は、入力装置１０２が撮影開始指示を受け付けたときの画像処理装置１００の位置ではなく、装置起動時又は全体処理を実行するためのアプリケーションプログラム起動時の画像処理装置１００の位置を初期位置として設定してもよい。   Further, the moving distance detection unit 122 is not at the position of the image processing apparatus 100 when the input device 102 receives an instruction to start photographing, but at the time of starting the apparatus or at the time of starting an application program for executing overall processing. The position of may be set as the initial position.

図１０は、画像判定処理の動作の例を示すフローチャートである。図１０に示す動作のフローは、図７に示すフローチャートのステップＳ１０９において実行される。   FIG. 10 is a flowchart showing an example of the operation of the image determination process. The flow of operation shown in FIG. 10 is executed in step S109 of the flowchart shown in FIG.

最初に、判定部１２３は、入力画像内で検出されたメータ部分の大きさが所定範囲内に含まれるか否かを判定する（ステップＳ２０１）。メータ部分の大きさは、面積（画素数）、又は、水平方向もしくは垂直方向の長さ（画素数）により規定される。例えば入力画像の水平方向の画素数が６４０画素である場合、所定範囲は、水平方向の画素数が４００画素以上であり且つ６００画素以下である範囲に設定される。なお、所定範囲の上限は設定されなくてもよい。   First, the determination unit 123 determines whether or not the size of the meter portion detected in the input image is included in a predetermined range (step S201). The size of the meter portion is defined by the area (number of pixels) or the length in the horizontal or vertical direction (number of pixels). For example, when the number of pixels in the horizontal direction of the input image is 640, the predetermined range is set to a range in which the number of pixels in the horizontal direction is 400 or more and 600 or less. The upper limit of the predetermined range may not be set.

図１１Ａは、メータ部分の大きさが所定範囲内に含まれない入力画像１１００の例を示す図である。   FIG. 11A is a diagram showing an example of the input image 1100 in which the size of the meter portion is not included in the predetermined range.

図１１Ａは、離れた位置からメータが撮影され、メータ部分８０３が小さく写っている入力画像１１００を示す。入力画像１１００では、メータ部分８０３の大きさが小さいため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。   FIG. 11A shows the input image 1100 where the meter is photographed from a distance and the meter portion 803 is small. In the input image 1100, since the size of the meter portion 803 is small, it is difficult for the user to visually check the numerical value shown in the meter portion 803.

メータ部分の大きさが所定範囲内に含まれない場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）方向の画像処理装置１００の水平移動指示を、ユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０２）。指示部１２４は、メータ部分の大きさが所定範囲内に含まれるように、水平移動指示を出力する。指示部１２４は、メータ部分の大きさが所定範囲の下限未満である場合、画像処理装置１００をメータに近づけるように、図３の矢印Ａ１の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の大きさが所定範囲の上限より大きい場合、画像処理装置１００をメータから離すように、図３の矢印Ａ１の逆方向に水平移動させる移動指示を出力する。   When the size of the meter portion is not included in the predetermined range, the instruction unit 124 instructs the user to move the image processing apparatus 100 relative to the user about the horizontal movement instruction of the image processing apparatus 100 in the optical axis (z axis) direction of the imaging device 106. Output as an instruction to notify the user (step S202). The instruction unit 124 outputs a horizontal movement instruction so that the size of the meter portion is included in a predetermined range. When the size of the meter portion is less than the lower limit of the predetermined range, the instruction unit 124 outputs a movement instruction to horizontally move the image processing apparatus 100 in the direction of the arrow A1 in FIG. 3 so as to approach the meter. On the other hand, when the size of the meter portion is larger than the upper limit of the predetermined range, the instruction unit 124 outputs a movement instruction to horizontally move the image processing apparatus 100 in the reverse direction of the arrow A1 in FIG.

画像判定処理において、指示部１２４は、警告を出力する場合と同様に、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、移動指示を出力する。また、画像判定処理において、指示部１２４は、警告を出力する場合と同様に、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、移動指示の表示サイズを変更してもよい。さらに、指示部１２４は、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、移動指示の表示態様を変更してもよい。   In the image determination process, the instruction unit 124 outputs the sound from the sound output device 104 as sound by displaying it on the display device 103 as in the case of outputting a warning, or a predetermined vibration to the vibration generating device 105. To generate a movement instruction. Further, in the image determination process, the instruction unit 124 may change the display size of the movement instruction according to the movement distance after the input device 102 receives the imaging start instruction, as in the case of outputting a warning. . Furthermore, the instruction unit 124 may change the display mode of the movement instruction according to the movement distance after the input device 102 receives the imaging start instruction.

図１１Ｂ及び図１１Ｃは、表示装置１０３に表示される移動指示の例を示す図である。   11B and 11C are diagrams showing an example of a movement instruction displayed on the display device 103.

図１１Ｂの画面１１１０には、画像処理装置１００の移動距離が距離閾値未満である場合に表示される移動指示１１１１が示され、図１１Ｃの画面１１２０には、画像処理装置１００の移動距離が距離閾値以上である場合に表示される移動指示１１２１が示される。移動指示１１２１は、移動指示１１１１より大きく表示される。また、移動指示１１２１は、移動指示１１１１より簡略化されて簡潔に表示される。また、移動指示１１１１は文字のみで表示されるが、移動指示１１２１は文字及び記憶を用いて表示される。これらにより、ユーザは、画像処理装置１００（表示画面）が手元から離れた位置にあっても、移動指示１１２１を容易に確認することができる。   A movement instruction 1111 displayed when the movement distance of the image processing apparatus 100 is less than the distance threshold is shown on the screen 1110 of FIG. 11B, and the movement distance of the image processing apparatus 100 is a distance on the screen 1120 of FIG. A movement instruction 1121 displayed when the threshold value is exceeded is shown. The movement instruction 1121 is displayed larger than the movement instruction 1111. In addition, the movement instruction 1121 is simplified and displayed briefly than the movement instruction 1111. In addition, the movement instruction 1111 is displayed using only characters, but the movement instruction 1121 is displayed using characters and storage. By these, the user can easily confirm the movement instruction 1121 even if the image processing apparatus 100 (display screen) is at a position away from the hand.

このように、指示部１２４は、入力画像内で検出されたメータ部分の大きさに基づいて、メータ内の数値が入力画像内の所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。   As described above, the instruction unit 124 causes the image processing apparatus for the user to capture the numerical value in the meter with a predetermined size in the input image based on the size of the meter portion detected in the input image. Output movement instruction of.

次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。   Next, the determination unit 123 determines that the input image is not appropriate as the evidence image (step S203), and ends the series of steps.

一方、ステップＳ２０１において、メータ部分の大きさが所定範囲内に含まれていた場合、判定部１２３は、入力画像内で検出されたメータ部分にボケが含まれるか否かを判定する（ステップＳ２０４）。ボケとは、撮像装置１０６の焦点ずれにより、画像内の各画素の輝度値の差が小さくなっている領域、又は、ユーザの手ぶれによって画像内の複数の画素に同一物が写り、画像内の各画素の輝度値の差が小さくなっている領域を意味する。   On the other hand, when the size of the meter portion is included in the predetermined range in step S201, the determination unit 123 determines whether the meter portion detected in the input image includes blur (step S204). ). Blurring refers to an area in which the difference in luminance value of each pixel in the image is reduced due to the focus shift of the imaging device 106, or the same object appears on a plurality of pixels in the image due to camera shake of the user. It means an area where the difference in luminance value of each pixel is small.

図１２Ａは、メータ部分にボケが含まれる入力画像１２００の例を示す図である。   FIG. 12A is a diagram showing an example of an input image 1200 in which blur is included in the meter portion.

図１２Ａは、撮像装置１０６の焦点ずれにより、メータ部分８０３内の数字の輝度値と背景の輝度値の差が小さくなっている入力画像１２００を示す。入力画像１２００では、メータ部分８０３の数字の輝度値と背景の輝度値の差が小さいため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。   FIG. 12A shows an input image 1200 in which the difference between the luminance value of the number in the meter portion 803 and the luminance value of the background is reduced due to the defocus of the imaging device 106. In the input image 1200, since the difference between the luminance value of the numeral of the meter portion 803 and the luminance value of the background is small, the user has difficulty in visually confirming the numerical value shown in the meter portion 803.

判定部１２３は、画像が入力された場合に、入力された画像にボケが含まれる度合いを示すボケ度を出力するように事前学習された識別器により、メータ部分にボケが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つボケが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つボケが含まれる画像をさらに用いて事前学習されていてもよい。判定部１２３は、検出したメータ部分を含む画像を識別器に入力し、識別器から出力されたボケ度が第３閾値以上であるか否かにより、メータ部分にボケが含まれるか否かを判定する。   Whether or not the meter portion includes blur by the discriminator that is pre-learned to output the degree of blur indicating the degree to which the input image includes blur when the image is input Determine This discriminator is pre-learned by using, for example, deep learning or the like, an image of the meter and an image not including blur, and is stored in advance in the storage device 110. In addition, this identifier may be pre-learned further using the image which image | photographed the meter and contains blurring. The determination unit 123 inputs an image including the detected meter portion to the discriminator, and whether or not the meter portion includes blur depending on whether the degree of blur output from the discriminator is equal to or more than the third threshold judge.

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値のエッジ強度に基づいて、メータ部分にボケが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の画素の水平もしくは垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値の差の絶対値を、その画素のエッジ強度として算出する。判定部１２３は、メータ部分の領域内の各画素について算出したエッジ強度の平均値が第４閾値以下であるか否かにより、メータ部分にボケが含まれるか否かを判定する。   Alternatively, the determination unit 123 may determine whether blur is included in the meter portion based on the edge intensity of the luminance value of each pixel included in the area of the meter portion in the input image. The determination unit 123 calculates, as the edge intensity of the pixel, the absolute value of the difference in the luminance value of the pixel in the area of the meter part on both sides in the horizontal or vertical direction of the pixel or a plurality of pixels separated by a predetermined distance from the pixel. Do. The determination unit 123 determines whether blur is included in the meter portion based on whether the average value of the edge intensities calculated for each pixel in the area of the meter portion is equal to or less than the fourth threshold.

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値の分布に基づいて、メータ部分にボケが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の各画素の輝度値のヒストグラムを生成し、数値（白色）を示す輝度値の範囲と、背景（黒色）を示す輝度値の範囲のそれぞれにおいて極大値を検出し、各極大値の半値幅の平均値を算出する。判定部１２３は、算出した各極大値の半値幅の平均値が第５閾値以上であるか否かにより、メータ部分にボケが含まれるか否かを判定する。なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。   Alternatively, the determination unit 123 may determine whether blur is included in the meter portion based on the distribution of the luminance value of each pixel included in the area of the meter portion in the input image. The determination unit 123 generates a histogram of the luminance value of each pixel in the area of the meter part, and the local maximum value in each of the range of the luminance value indicating the numerical value (white) and the range of the luminance value indicating the background (black) It detects and calculates the average value of the half value width of each local maximum. The determination unit 123 determines whether blur is included in the meter portion based on whether the average value of the calculated half value widths of the maximum values is equal to or greater than the fifth threshold. In addition, each threshold value and each range which were mentioned above are preset by prior experiment.

メータ部分にボケが含まれる場合、指示部１２４は、メータ部分にボケが含まれる旨の通知とともに、撮像装置１０６の焦点を調節する指示を出力して、ユーザに通知する（ステップＳ２０５）。指示部１２４は、警告を出力する場合と同様に、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、指示を出力する。なお、指示部１２４は、ユーザにより、入力装置１０２を用いて入力画像内の所定位置の指定が入力されると、指定された位置に撮像装置１０６の焦点を合わせるように調節してもよい。その場合、指示部１２４は、焦点を合わせる位置として、メータ部分を指定するように指示を出力してもよい。   If blur is included in the meter portion, the instruction unit 124 outputs an instruction to adjust the focus of the imaging device 106 together with notification that blur is included in the meter portion to notify the user (step S205). As in the case of outputting a warning, the instruction unit 124 causes the sound output device 104 to output sound as a sound by displaying on the display device 103 or causing the vibration generating device 105 to generate a predetermined vibration. , Output instructions. The instruction unit 124 may adjust the focus of the imaging device 106 to a designated position when the user inputs a designation of a predetermined position in the input image using the input device 102. In that case, the instruction unit 124 may output an instruction to designate the meter portion as a focus position.

次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。   Next, the determination unit 123 determines that the input image is not appropriate as the evidence image (step S203), and ends the series of steps.

一方、ステップＳ２０４において、メータ部分にボケが含まれていなかった場合、判定部１２３は、入力画像内で検出されたメータ部分にテカリが含まれるか否かを判定する（ステップＳ２０６）。テカリとは、外乱光等の影響により、画像内の所定領域の画素の輝度値が一定の値に飽和（白飛び）している領域を意味する。   On the other hand, when blur is not included in the meter portion in step S204, the determination unit 123 determines whether or not the meter portion detected in the input image includes the brightness (step S206). The lightness means an area where the luminance value of the pixel in a predetermined area in the image is saturated (overexposed) due to the influence of disturbance light or the like.

図１２Ｂは、メータ部分にテカリが含まれる入力画像１２１０の例を示す図である。   FIG. 12B is a diagram showing an example of the input image 1210 in which the meter portion includes shine.

図１２Ｂは、メータ部分８０３の前面を覆うガラス部分に照明等の環境光が写り込むことにより、メータ部分８０３の一部に外乱光１２１１が写り、その領域が白飛びしている入力画像１２１０を示す。入力画像１２１０ではメータ部分８０３の数字の一部が白飛びしているため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。   In FIG. 12B, when ambient light such as illumination is reflected on the glass portion covering the front of the meter portion 803, disturbance light 1211 is reflected on a part of the meter portion 803, and the input image 1210 whose area is overexposed Show. In the input image 1210, a part of the numbers of the meter portion 803 is white-out, so it is difficult for the user to visually check the numbers shown in the meter portion 803.

判定部１２３は、画像が入力された場合に、入力された画像にテカリが含まれる度合いを示すテカリ度を出力するように事前学習された識別器により、メータ部分にテカリが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つテカリが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つテカリが含まれる画像をさらに用いて事前学習されていてもよい。判定部１２３は、検出したメータ部分を含む画像を識別器に入力し、識別器から出力されたテカリ度が第６閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。   Whether or not the meter portion includes lightness by the discriminator previously learned so that the judgment unit 123 outputs the degree of lightness indicating the degree of lightness included in the input image when the image is inputted Determine The discriminator captures the meter by, for example, deep learning, and is pre-learned using an image that does not include light, and is stored in advance in the storage device 110. In addition, this identifier may be pre-learned by further using an image obtained by photographing the meter and including brightness. The determination unit 123 inputs an image including the detected meter portion to the discriminator, and whether the meter portion includes the glow depending on whether or not the degree of the degree of gloss output from the discriminator is equal to or higher than the sixth threshold. judge.

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値に基づいて、メータ部分にテカリが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の画素の内、輝度値が第７閾値以上（白色）である画素の数を算出し、算出した数が第８閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。   Alternatively, the determination unit 123 may determine whether or not the meter portion includes the lightness based on the luminance value of each pixel included in the area of the meter portion in the input image. The determination unit 123 calculates the number of pixels whose luminance value is equal to or more than the seventh threshold (white) among the pixels in the area of the meter portion, and the meter is determined depending on whether the calculated number is equal to or more than the eighth threshold. It is determined whether or not the part contains shine.

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値の分布に基づいて、メータ部分にテカリが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の各画素の輝度値のヒストグラムを生成し、第７閾値以上の領域に分布された画素の数が第８閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。   Alternatively, the determination unit 123 may determine whether or not the meter portion includes the lightness based on the distribution of the luminance value of each pixel included in the area of the meter portion in the input image. The determination unit 123 generates a histogram of the luminance value of each pixel in the area of the meter part, and the meter part is determined depending on whether the number of pixels distributed in the area of the seventh threshold or more is equal to or more than the eighth threshold. It is determined whether or not the brightness is included. In addition, each threshold value and each range which were mentioned above are preset by prior experiment.

メータ部分にテカリが含まれる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００の水平移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０７）。指示部１２４は、メータ部分にテカリが含まれなくなるように、水平移動指示を出力する。指示部１２４は、メータ部分の中心位置より上側にテカリが存在する場合、画像処理装置１００を図４Ａの矢印Ａ２の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の中心位置より下側にテカリが存在する場合、画像処理装置１００を図４Ａの矢印Ａ２の逆方向に水平移動させる移動指示を出力する。または、指示部１２４は、メータ部分の中心位置より左側にテカリが存在する場合、画像処理装置１００を図４Ｂの矢印Ａ３の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の中心位置より右側にテカリが存在する場合、画像処理装置１００を図４Ｂの矢印Ａ３の逆方向に水平移動させる移動指示を出力する。   When the meter portion includes the brightness, the instruction unit 124 instructs the user to move the image processing apparatus 100 horizontally along a plane (xy plane) perpendicular to the optical axis (z axis) of the imaging device 106. The movement instruction is output as the movement instruction of step S101 and notified to the user (step S207). The instruction unit 124 outputs a horizontal movement instruction so that the meter portion does not include shine. The instruction unit 124 outputs a movement instruction to horizontally move the image processing apparatus 100 in the direction of the arrow A2 in FIG. 4A when there is a glow above the center position of the meter portion. On the other hand, when there is a glow below the center position of the meter portion, the instruction unit 124 outputs a movement instruction to horizontally move the image processing apparatus 100 in the reverse direction of the arrow A2 in FIG. 4A. Alternatively, when there is shine on the left side of the center position of the meter portion, the instruction unit 124 outputs a movement instruction to horizontally move the image processing apparatus 100 in the direction of the arrow A3 in FIG. 4B. On the other hand, when there is shine on the right side of the center position of the meter portion, the instruction unit 124 outputs a movement instruction to horizontally move the image processing apparatus 100 in the reverse direction of the arrow A3 in FIG. 4B.

画像処理装置１００がタブレットＰＣ又はスマートフォン等である場合、ユーザが画像処理装置１００を持ちやすいように、一般に、撮像装置１０６による撮像位置１５０は、背面の中央位置ではなく、端部付近に配置される。一方、ユーザは、撮影時に、撮像位置１５０が画像処理装置１００の中央位置に配置されていると勘違いして、画像処理装置１００の中央位置がメータ部分に対向するように移動させる傾向にある。画像処理装置１００は、画像処理装置１００の移動指示を出力することにより、メータ部分が良好に撮影されるように、ユーザによって画像処理装置１００を適切な位置に移動させることが可能となる。   When the image processing apparatus 100 is a tablet PC or a smart phone, generally, the imaging position 150 by the imaging apparatus 106 is disposed near the end, not the central position on the back surface, so that the user can easily hold the image processing apparatus 100. Ru. On the other hand, the user misunderstands that the imaging position 150 is disposed at the central position of the image processing apparatus 100 at the time of photographing, and tends to move the central position of the image processing apparatus 100 so as to face the meter portion. By outputting a movement instruction of the image processing apparatus 100, the image processing apparatus 100 can move the image processing apparatus 100 to an appropriate position by the user so that the meter portion can be photographed well.

次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。   Next, the determination unit 123 determines that the input image is not appropriate as the evidence image (step S203), and ends the series of steps.

一方、ステップＳ２０６において、メータ部分にテカリが含まれていなかった場合、判定部１２３は、入力画像内でメータ部分が傾いているか否かを判定する（ステップＳ２０８）。   On the other hand, in step S206, when the meter portion does not include shine, the determination unit 123 determines whether the meter portion is inclined in the input image (step S208).

図１３Ａは、メータ部分が傾いている入力画像１３００の例を示す図である。   FIG. 13A is a diagram illustrating an example of an input image 1300 in which a meter portion is inclined.

図１３Ａは、図５に示すように、画像処理装置１００が回転角方向に回転するように傾いた状態、特に矢印Ａ４の逆方向に回転するように（−θ1）傾いた状態で撮影された入力画像１３００を示す。入力画像１３００では、メータ部分８０３が傾いているため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。Figure 13A, as shown in FIG. 5, is captured in a state where the image processing apparatus 100 is tilted so as to rotate angularly, in particular inclined (- [theta] 1) so as to rotate in the direction opposite to the arrow A4 The input image 1300 is shown. In the input image 1300, since the meter portion 803 is inclined, it is difficult for the user to visually check the numerical value shown in the meter portion 803.

判定部１２３は、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。判定部１２３は、検出部１２１がメータ部分８０３を検出する際に矩形を抽出している場合、検出部１２１により抽出された矩形を、メータ部分８０３に含まれる四辺形として特定する。一方、判定部１２３は、検出部１２１が矩形を抽出していない場合、検出部１２１によるメータ部分８０３の検出処理において説明した方法と同様にしてメータ部分８０３から矩形を抽出し、抽出した矩形をメータ部分８０３に含まれる四辺形として特定する。   The determination unit 123 specifies a quadrilateral included in the meter portion 803 detected in the input image by the detection unit 121. When the detection unit 121 extracts a rectangle when detecting the meter portion 803, the determination unit 123 specifies the rectangle extracted by the detection unit 121 as a quadrilateral included in the meter portion 803. On the other hand, when the detection unit 121 does not extract a rectangle, the determination unit 123 extracts the rectangle from the meter portion 803 in the same manner as the method described in the detection process of the meter portion 803 by the detection unit 121 and extracts the extracted rectangle It is specified as a quadrilateral included in the meter portion 803.

次に、判定部１２３は、特定した四辺形の四辺の内、略水平方向に延伸し且つ相互に対向する二辺１３０１、１３０２を特定する。略水平方向とは、例えば水平ラインに対して４５°以内の角度を有する方向を意味し、略水平方向に延伸する辺とは、水平ラインとなす角度が４５°以内である直線を意味する。判定部１２３は、特定した二辺１３０１、１３０２の各中点１３０３、１３０４を通過する直線１３０５と入力画像１３００の垂直ライン１３０６とがなす角度θ4を算出する。判定部１２３は、算出した角度θ4が第１角度（例えば１５°）以上である場合、メータ部分８０３が傾いていると判定し、算出した角度θ4が第１角度未満である場合、メータ部分８０３が傾いていないと判定する。Next, among the four sides of the specified quadrilateral, the determination unit 123 specifies two sides 1301 and 1302 that extend substantially horizontally and face each other. The substantially horizontal direction means, for example, a direction having an angle of 45 ° or less with respect to the horizontal line, and the side extending in the substantially horizontal direction means a straight line having an angle of 45 ° or less with the horizontal line. Determination unit 123 calculates an angle theta 4 formed by the vertical lines 1306 of the linear 1305 and the input image 1300 that passes through the midpoint 1303 and 1304 of the two sides 1301 and 1302 identified. Judging unit 123, if the calculated angle theta 4 is a first angle (e.g. 15 °) or more, determines that the meter portion 803 is inclined, when the calculated angle theta 4 is less than the first angle, meter It is determined that the portion 803 is not inclined.

なお、判定部１２３は、入力画像内で検出されたメータ部分が入力画像の水平ラインに対して第１角度以上傾いているか否かを判定してもよい。その場合、判定部１２３は、特定した四辺形の四辺の内、略垂直方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と入力画像の水平ラインとがなす角度が第１角度以上であるか否かを判定する。略垂直方向とは、例えば垂直ラインに対して４５°以内の角度を有する方向を意味し、略垂直方向に延伸する辺とは、水平ラインとなす角度が４５°以内である直線を意味する。   Note that the determination unit 123 may determine whether the meter portion detected in the input image is inclined at a first angle or more with respect to the horizontal line of the input image. In that case, the determination unit 123 determines that the angle between the horizontal line of the input image and the straight line passing through the middle points of the two sides extending in the substantially vertical direction and facing each other among the four sides of the specified quadrilateral It is determined whether it is one or more angles. The substantially vertical direction means, for example, a direction having an angle of 45 ° or less with respect to the vertical line, and the side extending in the substantially vertical direction means a straight line having an angle of 45 ° or less with the horizontal line.

メータ部分が傾いている場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）を中心とする画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０９）。指示部１２４は、メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と入力画像の垂直ラインとがなす角度が第１角度以下になるように、回転移動指示を出力する。指示部１２４は、その直線が垂直ラインに対して時計回りに回転している場合（図１３Ａに示す状態）、画像処理装置１００を図５の矢印Ａ４の方向（時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、その直線が垂直ラインに対して反時計回りに回転している場合（図１３Ａに示す状態の逆向きにメータ部分８０３が傾いている状態）、画像処理装置１００を図５の矢印Ａ４の逆方向（反時計回り）に回転移動させる移動指示を出力する。   When the meter portion is inclined, the instruction unit 124 outputs a rotational movement instruction of the image processing apparatus 100 around the optical axis (z axis) of the imaging device 106 as a movement instruction of the image processing apparatus 100 to the user, The user is notified (step S209). In the indication portion 124, the angle formed by the straight line extending in the substantially horizontal direction of the quadrilateral included in the meter portion and passing the middle points of the two opposing sides to the vertical line of the input image is equal to or less than the first angle. Output a rotational movement instruction so that When the straight line rotates clockwise with respect to the vertical line (state shown in FIG. 13A), the instructing unit 124 moves the image processing apparatus 100 to rotate in the direction of arrow A4 (clockwise) in FIG. Output the instruction. On the other hand, when the straight line rotates counterclockwise with respect to the vertical line (the meter portion 803 is inclined in the opposite direction to the state shown in FIG. 13A), the instruction unit 124 illustrates the image processing apparatus 100. A movement instruction for rotating and moving in the reverse direction (counterclockwise) of the arrow A4 of 5 is output.

このように、指示部１２４は、入力画像内で検出されたメータ部分の傾きに基づいて、メータ内の数値が入力画像内の所定の傾きで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。   As described above, the instruction unit 124 moves the image processing apparatus with respect to the user so that the numerical value in the meter is imaged at the predetermined inclination in the input image based on the inclination of the meter portion detected in the input image Output the instruction.

次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。   Next, the determination unit 123 determines that the input image is not appropriate as the evidence image (step S203), and ends the series of steps.

一方、ステップＳ２０８において、メータ部分が傾いていなかった場合、判定部１２３は、メータ部分が入力画像の垂直方向において歪んでいるか否かを判定する（ステップＳ２１０）。   On the other hand, when the meter portion is not tilted in step S208, the determination unit 123 determines whether the meter portion is distorted in the vertical direction of the input image (step S210).

図１３Ｂは、メータ部分が垂直方向において歪んでいる入力画像１３１０の例を示す図である。   FIG. 13B is a diagram showing an example of the input image 1310 in which the meter portion is distorted in the vertical direction.

図１３Ｂは、図６Ａに示すように、画像処理装置１００が仰俯角方向に回転した状態、特に矢印Ａ５の方向に回転した状態（θ2）で撮影された入力画像１３１０を示す。入力画像１３１０では、メータ部分８０３が垂直方向において歪み、メータ部分８０３に写っている数値が歪んでいるため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。FIG. 13B shows an input image 1310 captured in a state in which the image processing apparatus 100 is rotated in the supine angle direction, in particular, in a state (θ 2 ) rotated in the direction of arrow A5, as shown in FIG. 6A. In the input image 1310, the meter portion 803 is distorted in the vertical direction, and the numerical value shown in the meter portion 803 is distorted, so it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.

判定部１２３は、ステップＳ２０８の処理と同様にして、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。次に、判定部１２３は、特定した四辺形の四辺の内、略垂直方向に延伸し且つ相互に対向する二辺１３１１、１３１２を特定する。判定部１２３は、特定した二辺１３１１、１３１２がなす角度θ5を算出する。判定部１２３は、算出した角度θ5が第２角度（例えば２０°）以上である場合、メータ部分８０３が垂直方向において歪んでいると判定し、算出した角度θ5が第２角度未満である場合、メータ部分８０３が垂直方向において歪んでいないと判定する。The determination unit 123 specifies a quadrilateral included in the meter portion 803 detected in the input image by the detection unit 121 as in the process of step S208. Next, among the four sides of the specified quadrilateral, the determination unit 123 specifies two sides 1311 and 1312 which extend in a substantially vertical direction and face each other. Determination unit 123 calculates an angle theta 5 formed by the two sides 1311 and 1312 identified. Judging unit 123, if the calculated angle theta 5 is a second angle (e.g. 20 °) or more, determines that the meter portion 803 is distorted in the vertical direction, calculated angle theta 5 is smaller than the second angle In this case, it is determined that the meter portion 803 is not distorted in the vertical direction.

メータ部分が垂直方向において歪んでいる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に対する仰俯角方向の画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２１１）。指示部１２４は、メータ部分に含まれる四辺形の略垂直方向に延伸し且つ相互に対向する二辺がなす角度が第２角度以下になるように、回転移動指示を出力する。指示部１２４は、略垂直方向に延伸し且つ相互に対向する二辺がメータ部分８０３より上側で交わる場合（図１３Ｂに示す状態）、画像処理装置１００を図６Ａの矢印Ａ５の逆方向（反時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、略垂直方向に延伸し且つ相互に対向する二辺がメータ部分８０３より下側で交わる場合、画像処理装置１００を図６Ａの矢印Ａ５の方向（時計回り）に回転移動させる移動指示を出力する。   When the meter portion is distorted in the vertical direction, the instruction unit 124 instructs a rotational movement instruction of the image processing apparatus 100 in the supine angle direction with respect to the optical axis (z axis) of the imaging device 106 as a movement instruction of the image processing apparatus 100 to the user. It outputs and notifies the user (step S211). The instruction unit 124 outputs a rotational movement instruction so that an angle formed by two sides extending in a direction substantially perpendicular to the quadrilateral included in the meter portion is equal to or smaller than a second angle. In the case where the pointing unit 124 extends in the substantially vertical direction and two opposing sides intersect with each other above the meter portion 803 (the state shown in FIG. 13B), the image processing apparatus 100 is in the reverse direction of arrow A5 in FIG. Output a movement instruction to rotate and move clockwise). On the other hand, when the instructing unit 124 extends in the substantially vertical direction and the two opposing sides intersect below the meter portion 803, the image processing apparatus 100 is rotationally moved in the direction of arrow A5 (clockwise) in FIG. 6A. Output movement instruction to make it

このように、指示部１２４は、入力画像内で検出されたメータ部分の傾きに基づいて、メータ内の数値が入力画像内の所定の傾きで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。   As described above, the instruction unit 124 moves the image processing apparatus with respect to the user so that the numerical value in the meter is imaged at the predetermined inclination in the input image based on the inclination of the meter portion detected in the input image Output the instruction.

次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。   Next, the determination unit 123 determines that the input image is not appropriate as the evidence image (step S203), and ends the series of steps.

一方、ステップＳ２１０において、メータ部分が入力画像の垂直方向において歪んでいなかった場合、判定部１２３は、メータ部分が入力画像の水平方向において歪んでいるか否かを判定する（ステップＳ２１２）。   On the other hand, if the meter portion is not distorted in the vertical direction of the input image in step S210, the determination unit 123 determines whether the meter portion is distorted in the horizontal direction of the input image (step S212).

図１３Ｃは、メータ部分が水平方向において歪んでいる入力画像１３２０の例を示す図である。   FIG. 13C is a diagram showing an example of the input image 1320 in which the meter portion is distorted in the horizontal direction.

図１３Ｃは、図６Ｂに示すように、画像処理装置１００が方位角方向に回転した状態、特に矢印Ａ６の逆方向に回転した状態（−θ3）で撮影された入力画像１３２０を示す。入力画像１３２０では、メータ部分８０３が水平方向において歪み、メータ部分８０３に写っている数値が歪んでいるため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。FIG. 13C shows an input image 1320 captured in a state in which the image processing apparatus 100 is rotated in the azimuth angle direction, in particular, in a state rotated in the reverse direction of arrow A6 (−θ 3 ), as shown in FIG. 6B. In the input image 1320, the meter portion 803 is distorted in the horizontal direction, and the numerical value shown in the meter portion 803 is distorted, so it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.

判定部１２３は、ステップＳ２０８の処理と同様にして、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。次に、判定部１２３は、特定した四辺形の四辺の内、略水平方向に延伸し且つ相互に対向する二辺１３２１、１３２２を特定する。判定部１２３は、特定した二辺１３２１、１３２２がなす角度θ6を算出する。判定部１２３は、算出した角度θ6が第３角度（例えば２０°）以上である場合、メータ部分８０３が水平方向において歪んでいると判定し、算出した角度θ6が第３角度未満である場合、メータ部分８０３が水平方向において歪んでいないと判定する。The determination unit 123 specifies a quadrilateral included in the meter portion 803 detected in the input image by the detection unit 121 as in the process of step S208. Next, the determination unit 123 specifies two sides 1321 and 1322 which extend in a substantially horizontal direction and face each other among the four sides of the specified quadrilateral. Determination unit 123 calculates the angle theta 6 formed by two sides 1321 and 1322 identified. Judging unit 123, if the calculated angle theta 6 is a third angle (e.g. 20 °) or more, determines that the meter portion 803 is distorted in the horizontal direction, calculated angle theta 6 is less than the third angle In this case, it is determined that the meter portion 803 is not distorted in the horizontal direction.

メータ部分が水平方向において歪んでいる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に対する方位角方向の画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２１３）。指示部１２４は、メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺がなす角度が第３角度以下になるように、回転移動指示を出力する。指示部１２４は、略水平方向に延伸し且つ相互に対向する二辺がメータ部分８０３より左側で交わる場合（図１３Ｂに示す状態）、画像処理装置１００を図６Ｂの矢印Ａ６の方向（時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、略水平方向に延伸し且つ相互に対向する二辺がメータ部分８０３より右側で交わる場合、画像処理装置１００を図６Ｂの矢印Ａ６の逆方向（反時計回り）に回転移動させる移動指示を出力する。   When the meter portion is distorted in the horizontal direction, the instruction unit 124 uses the rotational movement instruction of the image processing apparatus 100 in the azimuthal direction with respect to the optical axis (z axis) of the imaging device 106 as the movement instruction of the image processing apparatus 100 to the user. It outputs and notifies the user (step S213). The instruction unit 124 outputs a rotational movement instruction such that an angle formed by two sides extending in a substantially horizontal direction of the quadrilateral included in the meter portion and opposed to each other is equal to or less than a third angle. When the instructing unit 124 extends in a substantially horizontal direction and two opposing sides intersect with each other on the left side of the meter portion 803 (state shown in FIG. 13B), the image processing apparatus 100 is directed in the direction of arrow A6 in FIG. The movement instruction to rotate and move is output. On the other hand, when the instruction unit 124 extends in the substantially horizontal direction and the two opposing sides intersect with each other on the right side of the meter portion 803, the image processing apparatus 100 rotates in the reverse direction (counterclockwise) of arrow A6 in FIG. Output a move instruction to move.

このように、指示部１２４は、入力画像内で検出されたメータ部分の傾きに基づいて、メータ内の数値が入力画像内の所定の傾きで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。   As described above, the instruction unit 124 moves the image processing apparatus with respect to the user so that the numerical value in the meter is imaged at the predetermined inclination in the input image based on the inclination of the meter portion detected in the input image Output the instruction.

次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。   Next, the determination unit 123 determines that the input image is not appropriate as the evidence image (step S203), and ends the series of steps.

一方、ステップＳ２１２において、メータ部分が入力画像の水平方向において歪んでいなかった場合、判定部１２３は、入力画像が証拠画像として適切であると判定し（ステップＳ２１４）、一連のステップを終了する。   On the other hand, when the meter portion is not distorted in the horizontal direction of the input image in step S212, the determination unit 123 determines that the input image is appropriate as an evidence image (step S214), and ends the series of steps. .

以上詳述したように、画像処理装置１００は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。これにより、画像処理装置１００は、メータを撮影するユーザに対して適切な指示を行うことが可能となった。また、各ユーザは、ユーザ毎の個人差に依存せずに、メータを良好に撮影することが可能となった。特に、撮影しづらい位置にメータが設置されている場合でも、ユーザは、移動指示に従ってメータを良好に撮影することが可能となった。また、各ユーザがメータの撮影に失敗していることに気付かないまま撮影を完了してしまうことが抑制され、画像処理装置１００は、適切な証拠画像をより確実に保存することが可能となった。   As described above in detail, the image processing apparatus 100 captures an image of the numerical value in the meter at a predetermined position or a predetermined size in the input image based on the inclination or the size of the meter portion detected in the input image. As described above, the movement instruction of the image processing apparatus to the user is output. As a result, the image processing apparatus 100 can issue an appropriate instruction to the user who photographs the meter. In addition, each user has been able to photograph the meter well without depending on the individual difference between the users. In particular, even when the meter is installed at a position where it is difficult to shoot, the user has been able to shoot the meter well according to the movement instruction. In addition, it is possible to suppress completion of imaging without noticing that each user has failed in imaging the meter, and the image processing apparatus 100 can store an appropriate evidence image more reliably. The

図１４は、他の実施形態に係る画像処理装置における処理回路２３０の概略構成を示すブロック図である。   FIG. 14 is a block diagram showing a schematic configuration of the processing circuit 230 in the image processing apparatus according to another embodiment.

処理回路２３０は、画像処理装置１００の処理回路１３０の代わりに用いられ、ＣＰＵ１２０の代わりに、全体処理を実行する。処理回路２３０は、検出回路２３１、移動距離検出回路２３２、判定回路２３３、指示回路２３４、数値認識回路２３５及び記憶制御回路２３６等を有する。   The processing circuit 230 is used instead of the processing circuit 130 of the image processing apparatus 100, and executes the entire processing instead of the CPU 120. The processing circuit 230 includes a detection circuit 231, a movement distance detection circuit 232, a determination circuit 233, an instruction circuit 234, a numerical value recognition circuit 235, a storage control circuit 236, and the like.

検出回路２３１は、検出部の一例であり、検出部１２１と同様の機能を有する。検出回路２３１は、撮像装置１０６からメータを撮影した入力画像を順次取得し、入力画像からメータ部分を検出し、検出結果を判定回路２３３に出力する。   The detection circuit 231 is an example of a detection unit, and has the same function as the detection unit 121. The detection circuit 231 sequentially acquires an input image obtained by capturing a meter from the imaging device 106, detects a meter portion from the input image, and outputs a detection result to the determination circuit 233.

移動距離検出回路２３２は、移動距離検出部の一例であり、移動距離検出部１２２と同様の機能を有する。移動距離検出回路２３２は、センサ１０７から出力された移動情報を受信し、受信した移動情報に基づいて画像処理装置１００の移動距離を検出し、検出結果を指示回路２３４に出力する。   The movement distance detection circuit 232 is an example of a movement distance detection unit, and has the same function as the movement distance detection unit 122. The movement distance detection circuit 232 receives the movement information output from the sensor 107, detects the movement distance of the image processing apparatus 100 based on the received movement information, and outputs the detection result to the instruction circuit 234.

判定回路２３３は、判定部の一例であり、判定部１２３と同様の機能を有する。判定回路２３３は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、入力画像が証拠画像として適切であるか否かを判定し、判定結果を指示回路２３４に出力する。   The determination circuit 233 is an example of a determination unit, and has the same function as the determination unit 123. The determination circuit 233 determines whether or not the input image is appropriate as an evidence image based on the inclination or the size of the meter portion detected in the input image, and outputs the determination result to the instruction circuit 234.

指示回路２３４は、指示部の一例であり、指示部１２４と同様の機能を有する。指示回路２３４は、判定回路２３３による判定結果及び移動距離検出回路２３２による検出結果に基づいて、ユーザに対する画像処理装置１００の移動指示を表示装置１０３、音出力装置１０４又は振動発生装置１０５に出力する。   The instruction circuit 234 is an example of an instruction unit, and has the same function as the instruction unit 124. The instruction circuit 234 outputs an instruction for moving the image processing apparatus 100 to the user to the display device 103, the sound output device 104, or the vibration generator 105 based on the determination result by the determination circuit 233 and the detection result by the movement distance detection circuit .

数値認識回路２３５は、数値認識部の一例であり、数値認識部１２５と同様の機能を有する。数値認識回路２３５は、入力画像に写っているメータ内の数値を認識し、認識結果を記憶装置１１０に記憶する。   The numerical value recognition circuit 235 is an example of a numerical value recognition unit, and has the same function as the numerical value recognition unit 125. The numerical value recognition circuit 235 recognizes the numerical value in the meter appearing in the input image, and stores the recognition result in the storage unit 110.

記憶制御回路２３６は、記憶制御部の一例であり、記憶制御部１２６と同様の機能を有する。記憶制御回路２３６は、証拠画像を数値認識回路２３５が認識した数値を関連付けて記憶装置１１０に記憶する。   The storage control circuit 236 is an example of a storage control unit, and has the same function as the storage control unit 126. The storage control circuit 236 stores the evidence image in the storage unit 110 in association with the numerical value recognized by the numerical recognition circuit 235.

以上詳述したように、画像処理装置１００は、処理回路２３０を用いる場合においても、メータを撮影するユーザに対して適切な指示を行うことが可能となった。   As described above in detail, even when the processing circuit 230 is used, the image processing apparatus 100 can issue an appropriate instruction to the user who takes a picture of the meter.

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、全体処理で使用される各識別器は、記憶装置１１０に記憶されているのではなく、サーバ装置等の外部装置に記憶されていてもよい。その場合、ＣＰＵ１２０は、通信装置１０１を介してサーバ装置に、各画像を送信し、サーバ装置から各識別器が出力する識別結果を受信して取得する。   Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments. For example, each classifier used in the entire process may not be stored in the storage device 110, but may be stored in an external device such as a server device. In that case, the CPU 120 transmits each image to the server device via the communication device 101, and receives and acquires the identification result output from each identifier from the server device.

また、画像処理装置１００は、ユーザによって携帯可能な情報処理装置に限定されず、例えば、ユーザの操作によって飛行する飛行可能な情報処理装置でもよい。   Further, the image processing apparatus 100 is not limited to the information processing apparatus portable by the user, and may be, for example, a flightable information processing apparatus flying by an operation of the user.

１００ 画像処理装置
１０２ 入力装置
１０３ 表示装置
１０４ 音出力装置
１０５ 振動発生装置
１０６ 撮像装置
１０７ センサ
１１０ 記憶装置
１２１ 検出部
１２２ 移動距離検出部
１２３ 判定部
１２４ 指示部100 image processing apparatus 102 input apparatus 103 display apparatus 104 sound output apparatus 105 vibration generator 106 imaging apparatus 107 sensor 110 storage apparatus 121 detection unit 122 movement distance detection unit 123 determination unit 124 instruction unit

Claims (10)

携帯可能な画像処理装置であって、
出力部と、
メータを撮影した入力画像を順次生成する撮像部と、
前記入力画像からメータ部分を検出する検出部と、
前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する指示部と、
を有することを特徴とする画像処理装置。A portable image processing apparatus,
An output unit,
An imaging unit that sequentially generates an input image obtained by imaging a meter;
A detection unit that detects a meter portion from the input image;
The image to the user such that the numerical value in the meter is imaged at a predetermined position or a predetermined size in the input image based on the inclination or size of the meter portion detected in the input image An instruction unit that outputs a movement instruction of the processing apparatus to the output unit;
An image processing apparatus comprising: 前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と前記入力画像の垂直ラインとがなす角度が第１角度以下になるように、前記撮像部の光軸を中心とする前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１に記載の画像処理装置。   The indication portion is a straight line extending in a substantially horizontal direction of a quadrilateral included in the meter portion detected in the input image and passing through middle points of two sides opposing each other and a vertical line of the input image The image processing apparatus according to claim 1, wherein a rotational movement instruction of the image processing apparatus centered on the optical axis of the imaging unit is output as the movement instruction such that an angle formed between the first and second angles is equal to or less than a first angle. 前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略垂直方向に延伸し且つ相互に対向する二辺がなす角度が第２角度以下になるように、前記撮像部の光軸に対する仰俯角方向の前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１または２に記載の画像処理装置。   The imaging unit extends the substantially vertical direction of the quadrilateral included in the meter portion detected in the input image, and the imaging is performed such that an angle formed by two sides facing each other is equal to or less than a second angle. The image processing apparatus according to claim 1, wherein a rotational movement instruction of the image processing apparatus in a supine-spine angle direction with respect to an optical axis of a unit is output as the movement instruction. 前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺がなす角度が第３角度以下になるように、前記撮像部の光軸に対する方位角方向の前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１〜３の何れか一項に記載の画像処理装置。   The imaging unit is configured to capture the image so that an angle formed by two sides extending substantially horizontally of a quadrilateral included in the meter portion detected in the input image is equal to or less than a third angle. The image processing apparatus according to any one of claims 1 to 3, wherein a rotational movement instruction of the image processing apparatus in an azimuth direction with respect to an optical axis of a unit is output as the movement instruction. 前記指示部は、前記入力画像内で検出された前記メータ部分の大きさが所定範囲内に含まれるように、前記撮像部の光軸方向の前記画像処理装置の水平移動指示を前記移動指示として出力する、請求項１〜４の何れか一項に記載の画像処理装置。   The instruction unit uses a horizontal movement instruction of the image processing apparatus in the optical axis direction of the imaging unit as the movement instruction such that the size of the meter portion detected in the input image is included in a predetermined range. The image processing apparatus according to any one of claims 1 to 4, which outputs. 前記指示部は、前記入力画像に前記メータ部分の全体が含まれない場合、前記入力画像に前記メータ部分の全体が含まれない旨を前記出力部に出力する、請求項１〜５の何れか一項に記載の画像処理装置。   The instruction unit according to any one of claims 1 to 5, wherein, when the input image does not include the entire meter portion, the instruction unit outputs, to the output unit, an indication that the input image does not include the entire meter portion. An image processing apparatus according to any one of the preceding claims. 前記メータ部分にテカリが含まれるか否かを判定する判定部をさらに有し、
前記指示部は、前記判定部がテカリが含まれると判定した場合、前記撮像部の光軸に垂直な平面に沿った前記画像処理装置の水平移動指示を前記移動指示として出力する、請求項１〜６の何れか一項に記載の画像処理装置。The apparatus further includes a determination unit that determines whether or not the meter portion includes shine.
The instruction unit may output, as the movement instruction, a horizontal movement instruction of the image processing apparatus along a plane perpendicular to an optical axis of the imaging unit, when the determination unit determines that the lightness is included. The image processing apparatus as described in any one of -6. 前記メータ部分の撮影開始指示が入力される入力部と、
前記画像処理装置の移動距離を検出する移動距離検出部と、をさらに有し、
前記指示部は、前記入力部が前記撮影開始指示を受け付けてからの移動距離に応じて、前記移動指示の表示サイズを変更する、請求項１〜７の何れか一項に記載の画像処理装置。An input unit to which an instruction to start imaging of the meter portion is input;
A moving distance detection unit that detects the moving distance of the image processing apparatus;
The image processing apparatus according to any one of claims 1 to 7, wherein the instruction unit changes a display size of the movement instruction according to a movement distance after the input unit receives the photographing start instruction. . 出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御方法であって、
前記入力画像からメータ部分を検出し、
前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する、
ことを含むことを特徴とする制御方法。A control method of a portable image processing apparatus, comprising: an output unit; and an imaging unit that sequentially generates an input image obtained by imaging a meter,
Detecting a meter portion from the input image;
The image to the user such that the numerical value in the meter is imaged at a predetermined position or a predetermined size in the input image based on the inclination or size of the meter portion detected in the input image Outputting a movement instruction of the processing device to the output unit;
Control method characterized in that it includes. 出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御プログラムであって、
前記入力画像からメータ部分を検出し、
前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する、
ことを前記画像処理装置に実行させることを特徴とする制御プログラム。A control program for a portable image processing apparatus, comprising: an output unit; and an imaging unit that sequentially generates an input image obtained by imaging a meter,
Detecting a meter portion from the input image;
The image to the user such that the numerical value in the meter is imaged at a predetermined position or a predetermined size in the input image based on the inclination or size of the meter portion detected in the input image Outputting a movement instruction of the processing device to the output unit;
Control program for causing the image processing apparatus to execute the program.
JP2019505667A 2017-03-17 2017-03-17 Image processing device, control method and control program Active JP6821007B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/011034 WO2018167971A1 (en) 2017-03-17 2017-03-17 Image processing device, control method, and control program

Publications (2)

Publication Number Publication Date
JPWO2018167971A1 true JPWO2018167971A1 (en) 2019-07-18
JP6821007B2 JP6821007B2 (en) 2021-01-27

Family

ID=63522828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505667A Active JP6821007B2 (en) 2017-03-17 2017-03-17 Image processing device, control method and control program

Country Status (2)

Country Link
JP (1) JP6821007B2 (en)
WO (1) WO2018167971A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7272226B2 (en) * 2019-10-07 2023-05-12 株式会社デンソー Raindrop Recognition Device, Vehicle Control Device, Learning Method and Trained Model
JP6957679B1 (en) * 2020-05-13 2021-11-02 株式会社東芝 Information processing equipment and computer programs
JP2023032857A (en) * 2021-08-27 2023-03-09 パナソニックＩｐマネジメント株式会社 Image determination method, image determination device, and character recognition method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272076A (en) * 2002-03-14 2003-09-26 Osaka Gas Co Ltd Meter inspection method
JP2011139115A (en) * 2009-12-25 2011-07-14 Saitama Univ High-speed camera equipment and image processing method for the same
JP2012073822A (en) * 2010-09-29 2012-04-12 Panasonic Corp Form reading device
JP2015114956A (en) * 2013-12-13 2015-06-22 公立大学法人大阪市立大学 System for reading gas consumption displayed on gas meter
JP2016076093A (en) * 2014-10-07 2016-05-12 富士通株式会社 Character recognition support device, character recognition support program, and character recognition support method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272076A (en) * 2002-03-14 2003-09-26 Osaka Gas Co Ltd Meter inspection method
JP2011139115A (en) * 2009-12-25 2011-07-14 Saitama Univ High-speed camera equipment and image processing method for the same
JP2012073822A (en) * 2010-09-29 2012-04-12 Panasonic Corp Form reading device
JP2015114956A (en) * 2013-12-13 2015-06-22 公立大学法人大阪市立大学 System for reading gas consumption displayed on gas meter
JP2016076093A (en) * 2014-10-07 2016-05-12 富士通株式会社 Character recognition support device, character recognition support program, and character recognition support method

Also Published As

Publication number Publication date
JP6821007B2 (en) 2021-01-27
WO2018167971A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN109684980B (en) Automatic scoring method and device
CN110189322B (en) Flatness detection method, device, equipment, storage medium and system
US9514524B2 (en) Optical distortion compensation
US10433119B2 (en) Position determination device, position determining method, and storage medium
CN110278408B (en) Image processing apparatus, image processing method, and storage medium
WO2014084249A1 (en) Facial recognition device, recognition method and program therefor, and information device
JP6821007B2 (en) Image processing device, control method and control program
JP6707178B2 (en) Image processing device, control method, and control program
JP6564136B2 (en) Image processing apparatus, image processing method, and program
JP2010217984A (en) Image detector and image detection method
CN109816628B (en) Face evaluation method and related product
WO2014208337A1 (en) Location detection device
CN109785439A (en) Human face sketch image generating method and Related product
TW201342303A (en) Three-dimensional image obtaining system and three-dimensional image obtaining method
JP6789410B2 (en) Image processing device, control method and control program
CN109804408B (en) Consistent spherical photo and video orientation correction
US10514591B2 (en) Camera apparatus, image processing device, and image processing method
JP6851337B2 (en) Imaging device, control method and control program
JP2011199503A (en) Imaging apparatus and program
JP2020071854A (en) Image processing apparatus, image processing method, and program
JP2018032991A (en) Image display unit, image display method and computer program for image display
CN111899615A (en) Scoring method, device, equipment and storage medium for experiment
JP2016139975A (en) Image acquisition device, image acquisition method and program for image acquisition
JP2013232738A (en) Image processing device, image processing method, and image processing program
JP2017022742A (en) Image processing apparatus, image processing method, imaging apparatus, and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210105

R150 Certificate of patent or registration of utility model

Ref document number: 6821007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150