JP6341550B1 - Construction site image determination device and construction site image determination program - Google Patents

Construction site image determination device and construction site image determination program Download PDF

Info

Publication number
JP6341550B1
JP6341550B1 JP2017198211A JP2017198211A JP6341550B1 JP 6341550 B1 JP6341550 B1 JP 6341550B1 JP 2017198211 A JP2017198211 A JP 2017198211A JP 2017198211 A JP2017198211 A JP 2017198211A JP 6341550 B1 JP6341550 B1 JP 6341550B1
Authority
JP
Japan
Prior art keywords
construction site
determination
site image
learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017198211A
Other languages
Japanese (ja)
Other versions
JP2019074774A (en
Inventor
宏憲 八木
宏憲 八木
恵子 斉藤
恵子 斉藤
成資 西池
成資 西池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GEAR NOUVE CO.,LTD.
Original Assignee
GEAR NOUVE CO.,LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GEAR NOUVE CO.,LTD. filed Critical GEAR NOUVE CO.,LTD.
Priority to JP2017198211A priority Critical patent/JP6341550B1/en
Priority to PCT/JP2018/002010 priority patent/WO2019073615A1/en
Application granted granted Critical
Publication of JP6341550B1 publication Critical patent/JP6341550B1/en
Publication of JP2019074774A publication Critical patent/JP2019074774A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】工事現場で工事を行う現場作業者の能力を容易に把握できるようにする。【解決手段】工事現場画像ＤＢ３４には、複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定とが関連付けられて記憶される。学習処理部４０は、複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定を含む学習データを用いて学習器３６を学習する。判定部４２は、学習済みの学習器３６に、判定対象工事現場画像を入力する。判定部４２は、学習器３６の出力データに基づいて判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力する。これにより、現場作業者毎に、複数の判定対象工事現場画像に関する良不良判定が出力される。【選択図】図２An object of the present invention is to make it easy to grasp the ability of a field worker who performs construction work on a construction site. In a construction site image DB, a plurality of learning construction site images and good / bad determinations regarding each learning construction site image are stored in association with each other. The learning processing unit 40 learns the learning device 36 by using a plurality of learning construction site images and learning data including good / bad determination regarding each learning construction site image. The determination unit 42 inputs a determination target construction site image to the learned learner 36. The determination unit 42 performs good / bad determination regarding the determination target construction site image based on the output data of the learning device 36, and is in charge of the construction corresponding to the determination target construction site image associated with the determination target construction site image. Based on the worker identification information indicating the on-site worker, the quality judgment regarding the construction site image to be judged is distinguished and output for each on-site worker. Thereby, the good / bad determination regarding several determination object construction site images is output for every field worker. [Selection] Figure 2

Description

本発明は、工事現場画像判定装置及び工事現場画像判定プログラムに関する。   The present invention relates to a construction site image determination apparatus and a construction site image determination program.

従来、工事現場において、工事の進捗状況を記録するあるいは工事の進捗状況を管理することを目的として、工事結果を示す工事現場画像が撮影されている。工事現場画像は、例えば日報に添付されるなどして、工事現場の現場監督あるいは工事発注者（以下単に「管理者」と記載する）へ提出される。管理者は、提出された工事現場画像に基づいて工事結果の良不良を判定する。   Conventionally, on a construction site, a construction site image showing a construction result has been taken for the purpose of recording the progress of the construction or managing the progress of the construction. The construction site image is submitted to a site supervision of the construction site or a construction orderer (hereinafter simply referred to as “manager”), for example, attached to a daily report. The manager determines whether the construction result is good or bad based on the submitted construction site image.

管理者の元へ提出される工事現場画像が多数となる場合があるために、工事現場画像のを管理するための技術が提案されている。例えば、特許文献１には、多数の工事現場画像を容易に管理することができる工事現場管理システムが開示されている。   Since there may be many construction site images submitted to the manager, a technique for managing the construction site images has been proposed. For example, Patent Document 1 discloses a construction site management system that can easily manage a large number of construction site images.

一方、従来から深層学習（ディープラーニング）などの機械学習手法が提案されている。例えば、特許文献２には、建築要素を撮影した学習用画像を学習データとして用いて学習器を学習させ、学習済みの学習器を用いて、新たに撮影された撮影画像に含まれる建築要素を特定する技術が開示されている。   On the other hand, machine learning techniques such as deep learning have been proposed. For example, in Patent Document 2, a learning device is learned using a learning image obtained by photographing a building element as learning data, and a building element included in a newly photographed photographed image is obtained using a learned learning device. A technique for identifying is disclosed.

特開２０１１−１７５５８４号公報Japanese Unexamined Patent Publication No. 2011-175584 特開２０１７−１０７４４３号公報JP 2017-107443 A

ところで、管理者には、工事現場で工事を行う現場作業者の能力を把握したいという要望がある。ここでいう現場作業者の能力とは、特に、工事を適切に完了できる能力を意味する。   By the way, there is a demand for managers to grasp the ability of field workers who perform construction work at construction sites. The field worker's ability here means in particular the ability to properly complete the construction.

しかしながら、管理者が現場作業者の能力を把握することが困難であるという実情がある。これには様々な理由があるが、１つの理由として、管理者は、複数の工事現場を掛け持ちして担当するのが一般的であるというのが実情であるために、管理者が各現場作業者の工事の様子を十分に確認できないということが挙げられる。   However, there is a fact that it is difficult for managers to grasp the capabilities of field workers. There are various reasons for this, but one reason is that it is common for managers to be in charge of multiple construction sites. It is mentioned that the state of construction of the worker cannot be fully confirmed.

一般的に、工事の各工程が完了する毎に、工事結果を示す工事現場画像が撮影され、当該工事現場画像が管理者に提出される。したがって、管理者が、複数の工事現場画像の良不良判定を解析することによって、現場作業者の能力を把握することが考えられる。しかしながら、多数の現場作業者の工事結果を示す膨大な数の工事現場画像が管理者に提出され、管理者がそれらの工事現場画像を１つ１つ目視確認しているのが実情である。したがって、管理者は、時間的制約などから、膨大な数の工事現場画像を個別に良不良判定するに留まり、複数の工事現場画像を解析して現場作業者の能力を把握することは事実上困難となっている。   Generally, each time a construction process is completed, a construction site image indicating a construction result is taken, and the construction site image is submitted to a manager. Therefore, it is conceivable that the manager grasps the ability of the site worker by analyzing the quality judgment of the plurality of construction site images. However, in reality, an enormous number of construction site images indicating the construction results of a large number of site workers are submitted to the manager, and the manager visually checks each of the construction site images one by one. Therefore, due to time constraints, etc., the manager can only determine the quality of each large number of construction site images individually, and it is virtually impossible to understand the capabilities of site workers by analyzing multiple construction site images. It has become difficult.

本発明の目的は、工事現場で工事を行う現場作業者の能力を容易に把握できるようにすることにある。   An object of the present invention is to make it easy to grasp the ability of a field worker who performs construction work at a construction site.

本発明は、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、を備えることを特徴とする工事現場画像判定装置である。   The present invention learns using a plurality of learning construction site images indicating construction results and learning data including good / bad judgments on the construction results indicated by the respective learning construction site images, so that A learning device capable of determining a defect, and a determination target construction site image is input to the learning device, and a good / bad determination regarding the determination target construction site image is performed based on output data of the learning device, and the determination target construction site image Based on the worker identification information indicating the site worker in charge of the work corresponding to the judgment target construction site image, the quality judgment regarding the judgment target construction site image is distinguished and output for each site worker. And a determination unit that outputs a determination result including a good / bad determination regarding a plurality of determination target construction site images for each site worker. It is.

望ましくは、前記学習器は、さらに、不良判定された学習用工事現場画像に関して特定された不良の種類を含む前記学習データを用いて学習することで、工事現場画像に関する良不良判定及び不良の種類の分類が可能であり、前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、ことを特徴とする。   Preferably, the learning device further learns using the learning data including the type of defect specified for the learning construction site image determined to be defective, so that the quality determination and the type of failure regarding the construction site image are performed. When the determination unit determines a defect for the determination target construction site image, the determination unit further determines the type of defect related to the determination target construction site image based on the output data of the learning device, It is characterized in that a determination result including a good / bad determination and a defect type regarding a plurality of determination target construction site images is output for each site worker.

望ましくは、前記学習器は、工事の複数の工程に対応して複数設けられ、各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、ことを特徴とする。   Preferably, a plurality of learning devices are provided corresponding to a plurality of construction steps, and each learning device learns using a plurality of the learning data including the learning construction site image of the step corresponding to itself. The determination unit inputs the determination target construction site image to the learning device selected based on the process identification information indicating the construction process indicated by the determination target construction site image, which is associated with the determination target construction site image. Thus, the determination result relating to the determination target construction site image is output separately for each site worker and for each process, and the determination regarding the plurality of determination target construction site images for each set of the site worker and the process. The result is output.

また、本発明は、コンピュータを、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、として機能させることを特徴とする工事現場画像判定プログラムである。   In addition, the present invention learns a computer by using a plurality of learning construction site images indicating construction results, and learning data including good / bad judgment for the construction results indicated by each learning construction site image, A learning device capable of determining good and bad regarding the construction site image, and inputting the determination target construction site image to the learning device, performing the good and defective determination regarding the determination target construction site image based on the output data of the learning device, Based on the worker identification information indicating the site worker in charge of the construction corresponding to the judgment target construction site image associated with the judgment target construction site image, the site worker performs the good / bad judgment regarding the judgment target construction site image. A distinction is output for each site, and a function is made to function as a determination unit that outputs a determination result including a good / bad determination regarding a plurality of determination target construction site images for each site worker. Is a construction site image determination program which is characterized.

本発明によれば、工事結果に関する現場作業者毎の良不良の傾向を容易に把握することができる。   According to the present invention, it is possible to easily grasp the tendency of good / bad for each field worker regarding the construction result.

本実施形態に係る工事現場画像判定システムの構成概略図である。1 is a schematic configuration diagram of a construction site image determination system according to the present embodiment. 本実施形態に係るサーバの構成概略図である。1 is a schematic configuration diagram of a server according to the present embodiment. 工事現場画像ＤＢの内容を示す概念図である。It is a conceptual diagram which shows the content of construction site image DB. ニューラルネットワークを用いた学習器の構成概略を示す図である。It is a figure which shows the structure outline of the learning device using a neural network. 学習器の判定結果が現場作業者毎に区別されて出力される様子を示す概念図である。It is a conceptual diagram which shows a mode that the determination result of a learning device is distinguished and output for every field worker. 学習器の判定結果が現場作業者毎且つ工程毎に区別されて出力される様子を示す概念図である。It is a conceptual diagram which shows a mode that the determination result of a learning device is distinguished and output for every field worker and every process.

以下、本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described.

図１は、本実施形態に係る工事現場画像判定システム１０の構成概略図である。工事現場画像判定システム１０は、デジタルカメラ１２、管理者端末１４、及び、工事現場画像判定装置としてのサーバ１６を含んで構成される。デジタルカメラ１２、管理者端末１４、及びサーバ１６は、相互に通信可能なように、ＬＡＮ（Local Area Network）あるいはインターネットなどから構成される通信回線２０を介して互いに通信可能に接続されている。なお、図１には、デジタルカメラ１２、及び管理者端末１４は、それぞれ１つずつ示されているが、これらは複数設けられてよい。   FIG. 1 is a schematic configuration diagram of a construction site image determination system 10 according to the present embodiment. The construction site image determination system 10 includes a digital camera 12, an administrator terminal 14, and a server 16 as a construction site image determination device. The digital camera 12, the administrator terminal 14, and the server 16 are communicably connected to each other via a communication line 20 constituted by a LAN (Local Area Network) or the Internet so that they can communicate with each other. In FIG. 1, one digital camera 12 and one administrator terminal 14 are shown, but a plurality of them may be provided.

デジタルカメラ１２は、文字通りのデジタルカメラであってもよいし、カメラ機能を搭載したタブレット端末（携帯端末）であってもよい。デジタルカメラ１２は、工事現場で作業を行う者によって用いられる。本実施形態における工事現場は、例えば建築現場あるいはリフォーム現場である。本実施形態では、工事現場で工事を行う現場作業者がデジタルカメラ１２を使用するものとする。デジタルカメラ１２は、工事現場における工事結果（出来栄え）を示す工事現場画像を撮影するためのものである。本実施形態では、現場作業者は、工事の１つの工程が完了する度に、当該工程の工事結果を示す工事現場画像を撮影する。   The digital camera 12 may be a literal digital camera or a tablet terminal (mobile terminal) equipped with a camera function. The digital camera 12 is used by a person who performs work on a construction site. The construction site in the present embodiment is, for example, a construction site or a renovation site. In the present embodiment, it is assumed that a site worker who performs construction on a construction site uses the digital camera 12. The digital camera 12 is for taking a construction site image showing a construction result (performance) at the construction site. In the present embodiment, every time a construction process is completed, the site worker photographs a construction site image indicating the construction result of the process.

工事現場画像には、付帯情報であるメタデータが関連付けられる。メタデータには、当該工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報が含まれる。また、メタデータには、当該工事現場画像が示す工事の工程を示す工程識別情報が含まれていてもよい。さらに、メタデータには、工事現場を識別する工事現場識別情報あるいは撮影時刻情報などが含まれていてもよい。   The construction site image is associated with metadata as supplementary information. The metadata includes worker identification information indicating a site worker who is in charge of the construction corresponding to the construction site image. Further, the metadata may include process identification information indicating a construction process indicated by the construction site image. Further, the metadata may include construction site identification information for identifying the construction site or shooting time information.

デジタルカメラ１２は通信機能を有しており、撮影された工事現場画像及びメタデータはサーバ１６へ送信される。   The digital camera 12 has a communication function, and the photographed construction site image and metadata are transmitted to the server 16.

管理者端末１４は、管理者が利用する端末である。管理者端末１４は、工事現場から遠隔の地に設置される。管理者端末１４は、一般的なコンピュータであってよく、ＣＰＵ（Central Processing Unit）などからなる制御部、ハードディスク、ＲＯＭ（Read Only Memory）あるいはＲＡＭ（Random Access Memory）などからなる記憶部、ネットワークアダプタなどからなる通信部、液晶パネルなどからなる表示部、及びキーボードあるいはマウスなどからなる入力部を含んで構成される。   The administrator terminal 14 is a terminal used by the administrator. The manager terminal 14 is installed in a place remote from the construction site. The administrator terminal 14 may be a general computer and includes a control unit including a CPU (Central Processing Unit), a storage unit including a hard disk, a ROM (Read Only Memory) or a RAM (Random Access Memory), a network adapter, and the like. And a communication unit including a display unit including a liquid crystal panel and an input unit including a keyboard or a mouse.

図２は、サーバ１６の構成概略図である。サーバ１６は、サーバとして機能し得る程度の性能を有するコンピュータにより構成される。なお、本明細書においては、サーバ１６が有する学習器３６（後述）の学習のための学習データに含まれる工事現場画像を「学習用工事現場画像」と、学習済みの学習器３６による良不良判定の対象となる工事現場画像を「判定対象工事現場画像」と区別して記載する。特に両者の区別をしない場合は、単に「工事現場画像」と記載する。   FIG. 2 is a schematic configuration diagram of the server 16. The server 16 is configured by a computer having performance that can function as a server. In the present specification, the construction site image included in the learning data for learning of the learning device 36 (described later) of the server 16 is referred to as “learning construction site image” and the quality of the learning by the learned learning device 36. The construction site image to be judged is described separately from the “construction site image to be judged”. In particular, if the two are not distinguished, they are simply described as “construction site image”.

通信部３０は、例えばネットワークアダプタなどを含んで構成される。通信部３０は、通信回線１８を介して他の装置と通信する機能を発揮する。例えば、通信部３０は、メタデータ付き工事現場画像をデジタルカメラ１２から受信する。また、通信部３０は、判定対象工事現場画像に関する良不良判定などを示す判定結果を管理者端末１４に送信する。   The communication unit 30 includes, for example, a network adapter. The communication unit 30 exhibits a function of communicating with other devices via the communication line 18. For example, the communication unit 30 receives a construction site image with metadata from the digital camera 12. In addition, the communication unit 30 transmits a determination result indicating good / bad determination regarding the determination target construction site image to the administrator terminal 14.

記憶部３２は、例えばハードディスク、ＲＯＭ、あるいはＲＡＭなどを含んで構成される。記憶部３２には、サーバ１６の各部を動作させるための工事現場画像判定プログラムが記憶される。また、記憶部３２には、工事現場画像ＤＢ３４が定義される。   The storage unit 32 includes, for example, a hard disk, ROM, or RAM. The storage unit 32 stores a construction site image determination program for operating each unit of the server 16. In addition, a construction site image DB 34 is defined in the storage unit 32.

図３に工事現場画像ＤＢ３４の内容を示す概念図が示されている。工事現場画像ＤＢ３４には、例えば、過去に各工事現場において各現場作業者によりデジタルカメラ１２で撮影された工事現場画像である、複数の学習用工事現場画像と、各学習用工事現場画像に関するメタデータとが蓄積記憶されている。図３に示すように、本実施形態においては、学習用工事現場画像と、当該学習用工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報と、当該工事現場に対応する工程を示す工程識別情報が関連付けられて複数記憶される。   FIG. 3 is a conceptual diagram showing the contents of the construction site image DB 34. In the construction site image DB 34, for example, a plurality of learning construction site images, which are construction site images photographed by each site worker in the past at each construction site, and meta data relating to each learning construction site image. Data is stored and stored. As shown in FIG. 3, in the present embodiment, the construction site image for learning, the worker identification information indicating the site worker in charge of the construction corresponding to the construction site image for learning, and the construction site are supported. A plurality of process identification information indicating processes is associated and stored.

デジタルカメラ１２により取得された学習用工事現場画像は、管理者よって良不良判定される。学習用工事現場画像は、デジタルカメラ１２で取得された後、サーバ１６を介して管理者端末１４に送信される。管理者は、管理者端末１４の表示部に表示された学習用工事現場画像を確認することで、当該学習用工事現場画像に関する良不良判定を行う。すなわち、当該学習用工事現場画像が示す工事結果が適切なものであれば良判定とし、そうでなければ不良判定とする。管理者は管理者端末１４の入力部を用いて当該学習用工事現場画像に関する良不良判定を入力し、入力された良不良判定が管理者端末１４からサーバ１６に送信される。工事現場画像ＤＢ３４には、管理者端末１４から受信した良不良判定が、当該学習用工事現場画像に関連付けられて記憶される。   The construction site image for learning acquired by the digital camera 12 is judged good or bad by the administrator. The learning construction site image is acquired by the digital camera 12 and then transmitted to the manager terminal 14 via the server 16. The administrator confirms the learning construction site image displayed on the display unit of the administrator terminal 14 to determine whether the learning construction site image is good or bad. In other words, if the construction result indicated by the learning construction site image is appropriate, the judgment is good, and if not, the judgment is bad. The administrator uses the input unit of the administrator terminal 14 to input the quality determination regarding the learning construction site image, and the input quality determination is transmitted from the administrator terminal 14 to the server 16. In the construction site image DB 34, the quality determination received from the manager terminal 14 is stored in association with the learning construction site image.

図２に戻り、記憶部３２には、学習器３６が記憶される。学習器３６の実態は、各ユニット（ニューロン）に関する重み及びバイアスなどの各パラメータ、並びに、入力データに対して処理を行うための処理実行プログラムである。したがって、記憶部３２に学習器３６が記憶されるとは、学習器３６に関する各種パラメータと処理実行プログラムが記憶部３２に記憶されることを意味する。   Returning to FIG. 2, the learning unit 36 is stored in the storage unit 32. The actual state of the learning device 36 is a processing execution program for processing each parameter (such as weight and bias) related to each unit (neuron) and input data. Therefore, storing the learning device 36 in the storage unit 32 means that various parameters related to the learning device 36 and a process execution program are stored in the storage unit 32.

本実施形態における学習器３６は、工事現場画像ＤＢ３４に記憶された複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定を含む学習データを用いて学習する。その上で、学習器３６には、例えば新たに取得された工事現場画像である判定対象工事現場画像が入力データとして入力され、学習器３６は判定対象工事現場画像に関する良不良判定を行う。すなわち、判定対象工事現場画像が示す工事結果が適切である場合は良判定とし、判定対象工事現場画像が示す工事結果が適切でない場合には不良判定とする。   The learning device 36 according to the present embodiment learns using a plurality of learning construction site images stored in the construction site image DB 34 and learning data including good / bad judgments regarding each learning construction site image. Then, for example, a determination target construction site image, which is a newly acquired construction site image, is input to the learning device 36 as input data, and the learning device 36 performs good / bad determination regarding the determination target construction site image. That is, when the construction result indicated by the judgment target construction site image is appropriate, the judgment is good, and when the construction result indicated by the judgment target construction site image is not appropriate, the judgment is bad.

学習器３６は、上述のように学習可能であり、且つ、判定対象工事現場画像に関する良不良判定が可能な限りにおいてどのような学習器であってもよい。学習器３６の構造の詳細については後述する。   The learning device 36 may be any learning device as long as the learning is possible as described above and the quality determination regarding the determination target construction site image is possible. Details of the structure of the learning device 36 will be described later.

制御部３８は、例えばＣＰＵなどを含んで構成される。制御部３８は、記憶部３２に記憶された工事現場画像判定プログラムに従って、サーバ１６の各部を制御するものである。また、制御部３８は、学習処理部４０及び判定部４２としても機能する。   The control unit 38 includes, for example, a CPU. The control unit 38 controls each unit of the server 16 according to the construction site image determination program stored in the storage unit 32. The control unit 38 also functions as a learning processing unit 40 and a determination unit 42.

学習処理部４０は、学習器３６の学習処理を実行する。具体的には、学習用工事現場画像を学習器３６に入力し、学習器３６の出力データが当該学習用工事現場画像に関する良不良判定に適合するように、学習器３６を学習する。   The learning processing unit 40 executes the learning process of the learning device 36. Specifically, the learning construction site image is input to the learning device 36, and the learning device 36 is learned so that the output data of the learning device 36 matches the good / bad determination regarding the learning construction site image.

判定部４２は、学習済みの学習器３６に判定対象工事現場画像を入力し、学習器３６の出力データに基づいて、当該判定対象工事現場画像に関する良不良判定を行う。特に、本実施形態における判定部４２は、学習器３６に入力された判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力する。判定部４２は、この処理を繰り返し、現場作業者毎に、複数の判定対象工事現場画像に関する良不良判定を含む判定結果を出力する。   The determination unit 42 inputs the determination target construction site image to the learned learner 36, and performs quality determination on the determination target construction site image based on the output data of the learning unit 36. In particular, the determination unit 42 according to the present embodiment performs good / bad determination regarding the determination target construction site image for each site worker based on the worker identification information associated with the determination target construction site image input to the learning device 36. Discriminately output. The determination unit 42 repeats this process, and outputs a determination result including good / bad determination regarding a plurality of determination target construction site images for each site worker.

判定部４２が出力した判定結果は、例えば管理者端末１４からの要求に応じて管理者端末１４に送信される。これにより、管理者に判定結果が提供される。   The determination result output by the determination unit 42 is transmitted to the administrator terminal 14 in response to a request from the administrator terminal 14, for example. Thereby, the determination result is provided to the administrator.

以下、学習器３６の詳細と共に、学習処理部４０及び判定部４２の処理の具体例について説明する。本実施形態では、学習器３６は、ニューラルネットワークを用いたものとなっている。図４は、本実施形態における学習器３６の構造を示す図である。学習器３６の入力データは、複数の入力変数ｘ１、ｘ２、ｘ３・・・を含んでいる。各入力データの入力変数は、工事現場画像の各画素の画素値である。 Hereinafter, a specific example of processing of the learning processing unit 40 and the determination unit 42 will be described together with details of the learning device 36. In this embodiment, the learning device 36 uses a neural network. FIG. 4 is a diagram showing the structure of the learning device 36 in the present embodiment. The input data of the learning device 36 includes a plurality of input variables x 1 , x 2 , x 3 . The input variable of each input data is a pixel value of each pixel of the construction site image.

学習器３６は、それぞれが複数のユニット５０を含む複数の層を含んで構成される。通常、最も入力側に位置する入力層、最も出力側に位置する出力層、及び、入力層と出力層の間に設けられる中間層（あるいは隠れ層とも呼ばれる）を含んで構成される。図４の例では、中間層は１層となっているが、中間層として複数の層を有していてもよい。   The learning device 36 includes a plurality of layers each including a plurality of units 50. Usually, it is configured to include an input layer positioned closest to the input side, an output layer positioned closest to the output side, and an intermediate layer (also referred to as a hidden layer) provided between the input layer and the output layer. In the example of FIG. 4, the intermediate layer is a single layer, but the intermediate layer may have a plurality of layers.

各入力変数は、入力層の各ユニット５０に入力される。各ユニット５０においては、各入力変数に対する重みｗ１、ｗ２、ｗ３・・・、及びバイアスｂが定義されている。各入力変数と対応する重みが掛け合わされた値の合計にバイアスを加算した値が当該ユニット５０の入力となる。つまり、入力層の１つのユニット５０に対する入力ｕは、

Figure 0006341550
で表される。ここで、Ｉは入力変数の数である。なお、ユニット５０毎に、重みｗ１、ｗ２、ｗ３・・・と、バイアスｂはそれぞれ異なるものであってよい。 Each input variable is input to each unit 50 of the input layer. In each unit 50, weights w 1 , w 2 , w 3 ... And a bias b are defined for each input variable. A value obtained by adding a bias to the sum of values obtained by multiplying the weights corresponding to the respective input variables becomes the input of the unit 50. That is, the input u for one unit 50 in the input layer is
Figure 0006341550
 It is represented by Here, I is the number of input variables. Note that the weights w 1 , w 2 , w 3 ... And the bias b may be different for each unit 50.

各ユニット５０は、入力ｕに対する、活性化関数と呼ばれる関数ｆの出力を出力する。すなわち、各ユニット５０の出力ｚは、
ｚ＝ｆ（ｕ） ・・・（式２）
で表される。なお、活性化関数としては、例えばシグモイド関数、ランプ関数、あるいはステップ関数などを利用することができる。入力層の各ユニット５０からの出力は、中間層の各ユニット５０に入力される。すなわち、入力層の各ユニット５０と中間層の各ユニット５０は全結合される。 Each unit 50 outputs an output of a function f called an activation function for the input u. That is, the output z of each unit 50 is
z = f (u) (Formula 2)
It is represented by As the activation function, for example, a sigmoid function, a ramp function, or a step function can be used. The output from each unit 50 in the input layer is input to each unit 50 in the intermediate layer. That is, each unit 50 in the input layer and each unit 50 in the intermediate layer are fully coupled.

中間層の各ユニット５０は、入力層の各ユニット５０の出力を入力として、上記と同様の処理を行う。すなわち、中間層の各ユニット５０には、入力層の各ユニット５０に対する重みとバイアスが設定されている。中間層の各ユニット５０からの出力は、出力層の各ユニット５０に入力される。すなわち、中間層の各ユニット５０と出力層の各ユニット５０も全結合される。出力層の各ユニット５０も、中間層の各ユニット５０の出力を入力として、上記と同様の処理を行う。すなわち、出力層の各ユニット５０には、中間層の各ユニット５０に対する重みとバイアスが設定されている。   Each unit 50 in the intermediate layer performs the same processing as described above using the output of each unit 50 in the input layer as an input. That is, the weight and bias for each unit 50 in the input layer are set in each unit 50 in the intermediate layer. The output from each unit 50 in the intermediate layer is input to each unit 50 in the output layer. That is, each unit 50 of the intermediate layer and each unit 50 of the output layer are also fully coupled. Each unit 50 in the output layer also performs the same processing as described above with the output of each unit 50 in the intermediate layer as an input. That is, the weight and bias for each unit 50 in the intermediate layer are set for each unit 50 in the output layer.

出力層の各ユニット５０の出力は、ソフトマックス関数に入力される。ソフトマックス関数とは、出力層の各ユニット５０の出力に基づいて、複数の出力変数を算出する関数である。当該複数の出力変数が学習器３６の出力データとなる。各出力変数は、学習器３６が分類を行う各分類ラベル（カテゴリ）に対応するものであり、後述するように、各出力変数の値は、入力データが各分類ラベルに属する確率を示すものとなる。   The output of each unit 50 in the output layer is input to a softmax function. The softmax function is a function that calculates a plurality of output variables based on the output of each unit 50 in the output layer. The plurality of output variables become the output data of the learning device 36. Each output variable corresponds to each classification label (category) on which the learning device 36 performs classification. As will be described later, the value of each output variable indicates the probability that the input data belongs to each classification label. Become.

図４に示す通り、ソフトマックス関数の出力が複数の出力変数ｙ１、ｙ２、ｙ３・・・を有しているとすると、出力変数ｙ１、ｙ２、ｙ３・・・が、入力データの各分類ラベルに属する各確率を表すものとなる。具体的には、ソフトマックス関数は、以下の式で与えられる。

Figure 0006341550
ここで、ｙｋはｋ番目の出力変数であり、Ｍは出力層のユニット数であり、ｚｊ（ｋ）はｊ（ｋ）番目の出力層のユニット５０の出力値である。式（３）が示す通り、ソフトマックス関数により、出力層のｋ番目のユニット５０の出力がｙｋに変換される。すなわち、ソフトマックス関数により、出力層の各ユニット５０の出力が各出力変数ｙに変換されている。 As shown in FIG. 4, if the output of the softmax function has a plurality of output variables y 1 , y 2 , y 3 ..., The output variables y 1 , y 2 , y 3 . It represents each probability belonging to each classification label of the input data. Specifically, the softmax function is given by the following equation.
Figure 0006341550
 Here, y k is the k-th output variable, M is the number of units in the output layer, and z j (k) is the output value of the unit 50 in the j (k) -th output layer. As shown in equation (3), the output of the kth unit 50 in the output layer is converted to y k by the softmax function. That is, the output of each unit 50 in the output layer is converted into each output variable y by the softmax function.

ソフトマックス関数の特徴としては、各出力の合計が１となることである。したがって、出力変数ｙｋが分類ラベルｋに対応するものとするならば、出力変数ｙｋの値が、当該入力データが分類ラベルｋに属する確率を表すものと解釈できる。 A feature of the softmax function is that the total of each output is 1. Therefore, if the output variable y k corresponds to the classification label k, the value of the output variable y k can be interpreted as representing the probability that the input data belongs to the classification label k.

判定対象工事現場画像に関する良不良判定を行う学習器３６において考えられる最も単純な構成では、出力変数（分類ラベル）は２つであり、１つ目の出力変数ｙ１が良判定、２つ目の出力変数ｙ２が不良判定に対応するものとなる。この場合は、学習処理部４０は、良不良判定が既知の学習用工事現場画像を学習データとして学習器３６に入力し、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像に関する良不良判定に対応する出力変数の値が大きくなり、他の出力変数の値が小さくなるように、各層の各ユニット５０の各重み及びバイアスを調整する（すなわち学習器３６を学習する）。例えば、学習用工事現場画像が良判定である場合には、学習処理部４０は、当該学習用工事現場画像に対する出力データにおいて、出力変数ｙ１の値が大きくなり、出力変数ｙ２の値が小さくなるように、各層の各ユニット５０の各重み及びバイアスを調整する。 In the simplest possible configuration of the learning device 36 that performs good / bad determination regarding the construction site image to be determined, there are two output variables (classification labels), and the first output variable y 1 is good determination, second It becomes the output variable y 2 of corresponding to the determined defective. In this case, the learning processing unit 40 inputs a learning construction site image with a known good / bad determination as learning data to the learning device 36, and the output data for the learning construction site image relates to the learning construction site image. Each weight and bias of each unit 50 in each layer is adjusted so that the value of the output variable corresponding to pass / fail judgment increases and the value of the other output variables decreases (that is, the learning device 36 is learned). For example, when the learning construction site image is a good determination, the learning processing unit 40 increases the value of the output variable y 1 and the value of the output variable y 2 in the output data for the learning construction site image. Each weight and bias of each unit 50 of each layer is adjusted so as to be smaller.

判定部４２は、十分に学習された学習器３６に対して、判定対象工事現場画像を入力データとして入力する。そして、学習器３６の出力データに含まれる各出力変数の値に基づいて、当該判定対象工事現場画像に関する良不良判定を行う。例えば、判定部４２は、良判定に対応する出力変数ｙ１が不良判定に対応する出力変数ｙ２よりも大きな値を示すならば、当該判定対象工事現場画像を良判定とする。一方、出力変数ｙ２が出力変数ｙ１よりも大きな値を示すならば、当該判定対象工事現場画像を不良判定とする。 The determination unit 42 inputs the determination target construction site image as input data to the learning device 36 that has been sufficiently learned. And based on the value of each output variable contained in the output data of the learning device 36, the quality determination regarding the said judgment object construction site image is performed. For example, if the output variable y 1 corresponding to the good determination shows a larger value than the output variable y 2 corresponding to the defective determination, the determination unit 42 sets the determination target construction site image as a good determination. On the other hand, the output variable y 2 is if a larger value than the output variables y 1, to the determination target construction site image and defective judgment.

上述のように、判定部４２は、判定対象工事現場画像に関する判定結果を現場作業者毎に区別して出力する。図５には、判定対象工事現場画像に関する判定結果が現場作業者毎に区別して出力される様子が示されている。判定部４２は、図５に示されるように、判定対象工事現場画像を学習器３６に入力し、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、学習器３６の判定結果を現場作業者毎に区別して出力する。判定部４２がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する判定結果が出力される。   As described above, the determination unit 42 distinguishes and outputs the determination result related to the determination target construction site image for each site worker. FIG. 5 shows a state in which the determination result related to the determination target construction site image is output separately for each site worker. As illustrated in FIG. 5, the determination unit 42 inputs the determination target construction site image to the learning device 36, and based on the worker identification information associated with the determination target construction site image, the determination result of the learning device 36. Are output separately for each field worker. When the determination unit 42 repeats this process, determination results regarding a plurality of determination target construction site images are output for each site worker.

判定部４２の判定結果は、管理者端末１４に送信される。管理者端末１４は、受信した判定結果に基づいて、複数の判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して表示部に表示する。複数の判定対象工事現場画像に関する良不良判定は、工事結果が適切であるか否かの統計的データであるともいえる。したがって、管理者端末１４の表示部には、工事結果が適切であるか否かの統計的データが現場作業者毎に区別されて表示されるといえる。   The determination result of the determination unit 42 is transmitted to the administrator terminal 14. Based on the received determination result, the manager terminal 14 distinguishes the quality determinations regarding the plurality of determination target construction site images for each site worker and displays them on the display unit. It can be said that the good / bad determination regarding the plurality of determination target construction site images is statistical data indicating whether or not the construction result is appropriate. Therefore, it can be said that the display unit of the manager terminal 14 displays statistical data indicating whether the construction result is appropriate or not for each site worker.

管理者は、現場作業者毎に区別された工事結果が適切であるか否かの統計的データに基づいて、各現場作業者の能力を把握することができる。例えば、現場作業者Ａに対して現場作業者Ｂの不良判定が有意に多いのであれば、現場作業者Ｂに比して現場作業者Ａの能力が高いと言える。   The manager can grasp the ability of each site worker based on statistical data indicating whether or not the construction result distinguished for each site worker is appropriate. For example, if the number of defect judgments of the field worker B is significantly greater than the field worker A, it can be said that the ability of the field worker A is higher than that of the field worker B.

また、複数の判定対象工事現場画像の撮影時刻情報に基づいて、良不良判定を判定対象工事現場画像の撮影時刻順に並べて表示するようにしてもよい。これにより、工事結果が適切であるか否かが時系列的に並んだ統計的データが管理者に提供される。このような統計的データによれば、管理者は、工事結果が適切であるか否かの時間的変化を現場作業者毎に把握することができる。例えば、現場作業者Ａは以前は不良が多かったが、最近は不良が少ないなどといった変化を容易に把握することができる。この場合、現場作業者Ａが何らかの工夫あるいは努力をしたことで、その能力が向上したと見ることもできる。   Moreover, based on the shooting time information of the plurality of determination target construction site images, the good / bad determination may be displayed side by side in the order of the shooting times of the determination target construction site images. Thereby, the administrator is provided with statistical data in which whether or not the construction result is appropriate is arranged in time series. According to such statistical data, the manager can grasp the temporal change of whether or not the construction result is appropriate for each field worker. For example, the site worker A can easily grasp a change in which there were many defects before, but there are few defects recently. In this case, it can also be seen that the ability of the field worker A has improved as a result of some device or effort.

このように、本実施形態に係る工事現場画像判定システム１０によれば、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定が出力されるから、管理者は、それに基づいて各現場作業者の能力を把握することができる。また、工事現場画像判定システム１０においては、学習器３６を用いて判定対象工事現場画像に関する良不良判定を行うから、判定対象工事現場画像の良不良判定を管理者が行う必要なく、しかも高精度な判定が実現される。これにより、管理者は、容易に、各現場作業者の能力を把握することが可能となる。   As described above, according to the construction site image determination system 10 according to the present embodiment, the quality determination regarding the plurality of determination target construction site images is output for each site worker. The ability of the operator can be grasped. Further, in the construction site image determination system 10, since the learning device 36 is used to perform the quality determination regarding the determination target construction site image, it is not necessary for the administrator to perform the quality determination of the determination target construction site image, and the accuracy is high. Judgment is realized. As a result, the manager can easily grasp the capabilities of each field worker.

図４に戻り、学習器３６は、３つ以上の出力変数（ｙ１、ｙ２、ｙ３・・・）を有する出力データを出力するようにしてもよい。この場合、１つ目の出力変数ｙ１が良判定に対応するものであり、２つ目以降の出力変数ｙ２、ｙ３・・・が不良判定に対応するものとなる。不良判定に対応する複数の出力変数ｙ２、ｙ３・・・は、それぞれ異なる不良の種類に対応するものとなる。不良の種類は、例えば、不良箇所あるいは不良態様などによって分類されるものである。このように、３つ以上の出力変数を有する出力データを出力することで、学習器３６は、判定対象工事現場画像に関して、単に良不良判定するのみならず、不良の種類を判定することが可能となる。 Returning to FIG. 4, the learning device 36 may output output data having three or more output variables (y 1 , y 2 , y 3 ...). In this case, the first output variable y 1 corresponds to the good determination, and the second and subsequent output variables y 2 , y 3 ... Correspond to the defective determination. A plurality of output variables y 2 , y 3 ... Corresponding to the defect determination correspond to different types of defects. The type of defect is classified according to, for example, a defect location or a defect mode. In this way, by outputting output data having three or more output variables, the learning device 36 can determine not only the quality of defects but also the type of failure with respect to the determination target construction site image. It becomes.

学習器３６の出力データが３以上の出力変数を有する場合は、工事現場画像ＤＢ３４において、不良判定の学習用工事現場画像に対しては、管理者により特定された不良の種類を示す情報が関連付けられる。学習処理部４０は、工事現場画像ＤＢ３４に記憶された、複数の学習用工事現場画像、各学習用工事現場画像に関する良不良判定、及び、不良判定された学習用工事現場に関して特定された不良の種類を含む学習データを用いて学習器３６を学習する。すなわち、学習処理部４０は、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像が良判定である場合は、出力変数ｙ１が最も大きな値となるように各層の各ユニット５０の各重み及びバイアスを調整し、当該学習用工事現場画像が不良判定である場合は、当該学習用工事現場画像の不良の種類に対応する出力変数の値が最も大きくなるように、各層の各ユニット５０の各重み及びバイアスを調整する。 When the output data of the learning device 36 has three or more output variables, in the construction site image DB 34, information indicating the type of failure specified by the administrator is associated with the learning site image for failure determination. It is done. The learning processing unit 40 stores the plurality of learning construction site images stored in the construction site image DB 34, the good / bad determination regarding each learning construction site image, and the defect identified for the learning construction site determined to be defective. The learning device 36 is learned using learning data including types. That is, the learning processing unit 40, the output data for the learning construction site image, if for the learned construction site image is good decision, each unit of each layer as output variables y 1 is the largest value 50 If the construction site image for learning is defective, the output variable corresponding to the type of failure of the learning construction site image is adjusted so that the value of the output variable is maximized. Each weight and bias of the unit 50 is adjusted.

このように学習された学習器３６に対して、判定部４２は、判定対象工事現場画像を入力データとして入力する。そして、判定部４２は、学習器３６の出力データに基づいて当該判定対象工事現場画像の良不良判定を行い、不良判定となった判定対象工事現場画像については、さらに不良の種類を判定する。   The determination unit 42 inputs a determination target construction site image as input data to the learning device 36 learned in this way. And the determination part 42 performs the quality determination of the said determination object construction site image based on the output data of the learning device 36, and also determines the kind of defect about the determination object construction site image used as the defect determination.

具体的には、判定部４２は、学習器３６の出力データにおいて、良判定に対応する出力変数ｙ１が最も大きな値を示すならば、当該判定対象工事現場画像を良判定とする。また、判定部４２は、不良判定であって第１の種類の不良に対応する出力変数ｙ２が最も大きな値を示すならば、当該判定対象工事現場画像は不良判定とし、その不良の種類は第１の種類であると判定する。また、判定部４２は、不良判定であって第２の種類の不良に対応する出力変数ｙ３が最も大きな値を示すならば、当該判定対象工事現場画像を不良判定とし、その不良の種類は第２の種類であると判定する。判定部４２がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定及び不良の種類を含む判定結果が出力される。 More specifically, the determination unit 42, the output data of the learning device 36, if the output variables y 1 corresponding to the good judgment indicates the largest value, and good judging the determination target worksite image. The determination unit 42, if they exhibit the greatest value output variable y 2 corresponding to the first type a defective defective judgment, the judgment target construction site image and defect determination, the kind of the defect The first type is determined. The determination unit 42, if they exhibit the greatest value output variable y 3 corresponding to the second type a defective defective judgment, the judgment object construction site image and defective judgment, the kind of the defect It is determined that it is the second type. When the determination unit 42 repeats this process, a determination result including a good / bad determination and a defect type regarding a plurality of determination target construction site images is output for each site worker.

学習器３６の判定結果がサーバ１６から管理者端末１４に送信され、管理者端末１４の表示部には、現場作業者毎に、複数の判定対象工事現場画像の良不良判定のみならず、不良画像についての不良の種類が表示される。これにより、管理者は、各現場作業者について、特定の種類の不良が多いあるいは少ないなどの不良の傾向を把握することができる。   The determination result of the learning device 36 is transmitted from the server 16 to the administrator terminal 14, and the display unit of the administrator terminal 14 not only determines whether the plurality of determination target construction site images are good or bad for each site worker, but also indicates a defect. The type of defect for the image is displayed. Thereby, the manager can grasp the tendency of defects such as a large number or a small number of specific types of defects for each field worker.

また、学習器３６は、工事の各工程に対応して複数設けられてもよい。例えば、工程１用学習器３６ａ、工程２用学習器３６ｂ、工程３用学習器３６ｃ・・・が設けられてもよい。この場合、学習処理部４０は、各学習器３６に対応する工程の学習用工事現場画像を含む学習データを用いて各学習器３６を学習する。例えば、工程１用学習器３６ａに対しては、工事現場画像ＤＢ３４に記憶された複数の学習用工事現場画像のうち、工程１に関連付けられた学習用工事現場画像を含む学習データを用いて学習を行う。   Further, a plurality of learning devices 36 may be provided corresponding to each process of construction. For example, a learning device for process 1a, a learning device for process 2b, a learning device for process 3c, and so on may be provided. In this case, the learning processing unit 40 learns each learning device 36 using learning data including a learning construction site image in a process corresponding to each learning device 36. For example, for the learning device 36a for the process 1, learning is performed using learning data including the learning construction site image associated with the process 1 among the plurality of learning construction site images stored in the construction site image DB 34. I do.

判定部４２は、判定対象工事現場画像に関連付けられた工程識別情報に基づいて、複数の学習器３６の中から、当該判定対象工事現場画像を入力する学習器３６を選択する。例えば、判定部４２は、工程１を示す工程識別情報が関連付けられた判定対象工事現場画像に対して工程１用学習器３６ａを選択する。そして、判定部４２は、選択した学習器３６に当該を判定対象工事現場画像を入力する。   Based on the process identification information associated with the determination target construction site image, the determination unit 42 selects the learning device 36 that inputs the determination target construction site image from the plurality of learning devices 36. For example, the determination unit 42 selects the process 1 learning device 36a for the determination target construction site image associated with the process identification information indicating the process 1. Then, the determination unit 42 inputs the determination target construction site image to the selected learning device 36.

上述の通り、各工程に対応する各学習器３６は、それぞれ、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定結果を現場作業者毎に区別して出力する。これにより、判定対象工事現場画像に関する判定結果が、現場作業者毎、且つ、工程毎に区別されて出力される。判定部４２がこの処理を繰り返すことによって、現場作業者と工程の組毎に、複数の判定対象工事現場画像に関する良不良判定が出力される。図６に、判定対象工事現場画像に関する判定結果が現場作業者毎、且つ、工程毎に区別して出力される様子が示されている。なお、各工程に対応した各学習器３６は、判定対象工事現場画像の良不良判定を行うのみならず、不良画像については不良の種類を判定するようにしてもよい。   As described above, each learning device 36 corresponding to each process outputs the determination result for each field worker based on the worker identification information associated with the determination target construction site image. As a result, the determination result related to the determination target construction site image is output for each site worker and for each process. By repeating this process, the determination unit 42 outputs a good / bad determination regarding a plurality of determination target construction site images for each set of site workers and processes. FIG. 6 shows a state in which the determination result related to the determination target construction site image is output separately for each site worker and for each process. In addition, each learning device 36 corresponding to each process may determine not only the quality of the determination target construction site image but also the type of failure for the defective image.

学習器３６の判定結果がサーバ１６から管理者端末１４に送信され、管理者端末１４の表示部には、現場作業者と工程との組毎に、複数の判定対象工事現場画像に関する良不良判定（及び不良の種類）が表示される。すなわち、管理者端末１４の表示部には、工事結果が適切であるか否かの統計的データが、現場作業者と工程の組毎に区別されて表示される。これにより、管理者は、各現場作業者について、特定の工程について不良が多いあるいは少ないなどの傾向を把握することができる。例えば、現場作業者Ａは工程１を得意としている一方工程２を不得意としており、現場作業者Ｂは工程２を得意としている一方工程１を不得意としているなどの能力の特徴を把握することができる。   The determination result of the learning device 36 is transmitted from the server 16 to the manager terminal 14, and the display unit of the manager terminal 14 determines whether or not the plurality of judgment target construction site images are acceptable for each set of site workers and processes. (And the type of defect) are displayed. That is, the display unit of the manager terminal 14 displays statistical data as to whether or not the construction result is appropriate while being distinguished for each group of site workers and processes. Thereby, the manager can grasp the tendency that there are many or few defects in a specific process for each field worker. For example, on-site worker A is good at process 1 while he is not good at process 2, and on-site worker B is good at process 2 while he is not good at process 1 Can do.

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態においては、現場作業者が撮影行為を行って取得された静止画としての新工事現場画像に関する良不良判定を行っているが、撮影機能（カメラ機能）を動作させた上で被写体（工事結果）にデジタルカメラ１２をかざすことで、新工事現場画像群を連続的にサーバ１６に送信して、新工事現場画像群の中から良判定されるものがあれば、当該新工事現場画像群に対応する工事結果が良判定であると判定するようにしてもよい。   As mentioned above, although embodiment which concerns on this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning of this invention. For example, in the present embodiment, the site worker performs a good / bad determination regarding the new construction site image as a still image acquired by performing the shooting action, but after operating the shooting function (camera function) By holding the digital camera 12 over the subject (construction result), the new construction site image group is continuously transmitted to the server 16, and if there is a good judgment from the new construction site image group, the new construction site You may make it determine with the construction result corresponding to a field image group being good determination.

１０ 工事現場画像判定システム、１２ デジタルカメラ、１４ 管理者端末、１６ サーバ、１８ 通信回線、３０ 通信部、３２ 記憶部、３４ 工事現場画像ＤＢ、３６ 学習器、３６ａ 工程１用学習器、３６ｂ 工程２用学習器、３６ｃ工程３用学習器、３８ 制御部、４０ 学習処理部、４２ 判定部、５０ ユニット。
10 construction site image determination system, 12 digital camera, 14 administrator terminal, 16 server, 18 communication line, 30 communication unit, 32 storage unit, 34 construction site image DB, 36 learning device, 36a learning device for step 1 and 36b step 2 learning device, 36c process 3 learning device, 38 control unit, 40 learning processing unit, 42 determination unit, 50 units.

Claims (4)

工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、
前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
を備えることを特徴とする工事現場画像判定装置。 By using learning data including multiple learning construction site images showing construction results and learning data including good / bad judgments for the construction results shown by each learning construction site image, it is possible to make good / bad judgments regarding construction site images. A simple learner,
The determination target construction site image is input to the learning device, the quality determination regarding the determination target construction site image is performed based on the output data of the learning device, and the determination target construction associated with the determination target construction site image is performed. Based on the worker identification information indicating the site worker who was in charge of the construction corresponding to the site image, the quality judgment regarding the judgment site image to be judged is output separately for each site worker. A determination unit that outputs a determination result including a good / bad determination regarding a determination target construction site image;
A construction site image determination apparatus comprising: 前記学習器は、さらに、不良判定された学習用工事現場画像に関して特定された不良の種類を含む前記学習データを用いて学習することで、工事現場画像に関する良不良判定及び不良の種類の分類が可能であり、
前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、
ことを特徴とする請求項１に記載の工事現場画像判定装置。 The learning device further learns using the learning data including the type of defect specified for the learning construction site image for which the failure is determined, so that the quality determination and the classification of the type of defect regarding the construction site image are performed. Is possible,
When the determination unit determines a defect with respect to the determination target construction site image, the determination unit further determines the type of defect related to the determination target construction site image based on the output data of the learning device, and a plurality of each site worker Outputs judgment results for the construction site image to be judged, including good / bad judgment and type of defect,
The construction site image determination apparatus according to claim 1, wherein: 前記学習器は、工事の複数の工程に対応して複数設けられ、
各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、
前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、
ことを特徴とする請求項１又は２に記載の工事現場画像判定装置。 A plurality of learning devices are provided corresponding to a plurality of construction steps,
Each learning device learns using a plurality of the learning data including the learning construction site image of the process corresponding to the self,
The determination unit inputs the determination target construction site image to a learning device selected based on process identification information associated with the determination target construction site image and indicating a construction process indicated by the determination target construction site image. Thus, the determination result relating to the determination target construction site image is output separately for each site worker and for each process, and the determination result regarding a plurality of determination target construction site images for each set of the site worker and the process. Output,
The construction site image determination apparatus according to claim 1 or 2, characterized in that コンピュータを、
工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、
前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
として機能させることを特徴とする工事現場画像判定プログラム。 Computer
By using learning data including multiple learning construction site images showing construction results and learning data including good / bad judgments for the construction results shown by each learning construction site image, it is possible to make good / bad judgments regarding construction site images. A simple learner,
The determination target construction site image is input to the learning device, the quality determination regarding the determination target construction site image is performed based on the output data of the learning device, and the determination target construction associated with the determination target construction site image is performed. Based on the worker identification information indicating the site worker who was in charge of the construction corresponding to the site image, the quality judgment regarding the judgment site image to be judged is output separately for each site worker. A determination unit that outputs a determination result including a good / bad determination regarding a determination target construction site image;
Construction site image determination program characterized by functioning as
JP2017198211A 2017-10-12 2017-10-12 Construction site image determination device and construction site image determination program Active JP6341550B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017198211A JP6341550B1 (en) 2017-10-12 2017-10-12 Construction site image determination device and construction site image determination program
PCT/JP2018/002010 WO2019073615A1 (en) 2017-10-12 2018-01-23 Worksite image assessment device and worksite image assessment program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017198211A JP6341550B1 (en) 2017-10-12 2017-10-12 Construction site image determination device and construction site image determination program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018091115A Division JP2019075078A (en) 2018-05-10 2018-05-10 Construction site image determination device and construction site image determination program

Publications (2)

Publication Number Publication Date
JP6341550B1 true JP6341550B1 (en) 2018-06-13
JP2019074774A JP2019074774A (en) 2019-05-16

Family

ID=62555232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017198211A Active JP6341550B1 (en) 2017-10-12 2017-10-12 Construction site image determination device and construction site image determination program

Country Status (2)

Country Link
JP (1) JP6341550B1 (en)
WO (1) WO2019073615A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107341A (en) * 2018-12-27 2020-07-09 株式会社クボタ Waterworks management system, notification device, waterworks management method, and program
JP7186455B2 (en) * 2020-04-27 2022-12-09 ギアヌーヴ株式会社 Construction site image acquisition system, construction site image acquisition device, and construction site image acquisition program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191112A (en) * 2002-12-10 2004-07-08 Ricoh Co Ltd Defect examining method
JP2017033047A (en) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 Safety management support device, safety management support program, and storage medium
JP2017107443A (en) * 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191112A (en) * 2002-12-10 2004-07-08 Ricoh Co Ltd Defect examining method
JP2017033047A (en) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 Safety management support device, safety management support program, and storage medium
JP2017107443A (en) * 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Also Published As

Publication number Publication date
JP2019074774A (en) 2019-05-16
WO2019073615A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
JP6931402B2 (en) Display quality detection methods, devices, electronic devices and storage media
JP6693938B2 (en) Appearance inspection device
US7107187B1 (en) Method for modeling system performance
US10901834B2 (en) Interactive troubleshooting assistant
JP5985716B2 (en) Electrical device control apparatus, electrical device control system, and program
JP2019519021A (en) Performance model bad influence correction
CN108228705A (en) Automatic object and activity tracking equipment, method and medium in live video feedback
CN108830837A (en) A kind of method and apparatus for detecting ladle corrosion defect
JP7062474B2 (en) Deterioration status identification device, deterioration status identification method and program
JP2019075078A (en) Construction site image determination device and construction site image determination program
JP6341550B1 (en) Construction site image determination device and construction site image determination program
US20230048386A1 (en) Method for detecting defect and method for training model
EP1475736A2 (en) Method and system for performance analysis for a function or service provided to or in an organisation
CN114627330A (en) Time sequence flow prediction method and device, storage medium and electronic equipment
CN109272215A (en) Project development quality control method, device, computer equipment and storage medium
CN113227922B (en) Method and system for controlling a process in a process plant
US20220148051A1 (en) Machine learning based method of recognising flooring type and providing a cost estimate for flooring replacement
US11562227B2 (en) Interactive assistant
WO2019176988A1 (en) Inspection system, identification system, and device for evaluating identification apparatus
KR20210050889A (en) Method and system for updating cctv-control system
JP2020170252A (en) Image processing device, image processing method, and program
US20080275889A1 (en) Method and system for assessing the staffing needs of an organization
CN115546218B (en) Confidence threshold determination method and device, electronic equipment and storage medium
KR102151756B1 (en) Apparatus and method of managing and arranging workers
CN111158918A (en) Supporting point parallel enumeration load balancing method, device, equipment and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180510

R150 Certificate of patent or registration of utility model

Ref document number: 6341550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250