JP7004874B1 - 点検支援装置、点検支援システム、点検支援方法および点検支援プログラム - Google Patents

Abstract

点検支援装置（４）は、発電機の内部を走行可能な点検ロボット（１）に搭載されたカメラ（１１）によって撮像された画像のデータである画像データを取得する送受信部（４１）と、画像データから異常の度合いを示すクラスを判定するための学習済モデルである分類モデルと、取得された画像データとを用いて、画像データに対応するクラスを判定するクラス分類部（４３）と、画像データから発電機における異物を識別するための学習済モデルである物体検出モデルと、取得された画像データとを用いて、画像における異物がどの物体であるかを判定する物体検出部（４４）と、クラス分類部（４３）による判定結果と、物体検出部（４４）による判定結果とを用いて、取得された画像データから、点検作業者に提示する確認対象画像データを選択する結果統合部（４５）と、確認対象画像データおよび判定結果を点検作業者に提示する結果提示部（４６）と、を備える。

Description

本開示は、発電機の点検を支援する点検支援装置、点検支援システム、点検支援方法および点検支援プログラムに関する。

発電機では、定期的に点検が行われるが、精密に点検を行うために回転子の引き抜きなどを行うと点検のために長期間発電機を停止させることになる。このため、近年、発電機の固定子と回転子の間などの隙間を走行する点検ロボットを用いた点検が行われている。特許文献１には、カメラなどのセンサを搭載して走行する発電機点検用点検ロボットが開示されている。特許文献１に記載の発電機点検用点検ロボットを用いると、発電機点検用点検ロボットにより取得されたカメラ画像、センサ値を、点検作業者が確認することで、回転子の引き抜きなどを必要とせずに発電機の点検を行うことが可能である。

特開２０１８－１１８７３３号公報

一方、発電機点検用点検ロボットを用いて点検を行う際に、点検作業者は、発電機点検用点検ロボットの移動により動画として得られる画像を目視により確認している。発電機点検用点検ロボットを用いた場合であっても発電機の点検のためには数日間に渡り点検作業者に負荷がかかる。このため、点検作業者の作業負荷の軽減が求められている。

本開示は、上記に鑑みてなされたものであって、発電機の点検における点検作業者の作業負荷を軽減することができる点検支援装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示にかかる点検支援装置は、発電機の内部を走行可能な点検ロボットに搭載されたカメラによって撮像された画像のデータである画像データを取得する取得部と、画像データから発電機の異常の度合いを示すクラスを判定するための学習済モデルである分類モデルと、取得部によって取得された画像データとを用いて、取得部によって取得された画像データに対応するクラスを判定するクラス分類部と、を備える。点検支援装置は、さらに、画像データから発電機における異物を識別するための学習済モデルである物体検出モデルと、取得部によって取得された画像データとを用いて、取得部によって取得された画像データに対応する画像における異物がどの物体であるかを判定する物体検出部と、クラス分類部による判定結果と、物体検出部による判定結果とを用いて、取得部によって取得された画像データから、点検作業者に提示する画像データである確認対象画像データを選択する結果統合部と、確認対象画像データ、クラス分類部による判定結果および物体検出部による判定結果を点検作業者に提示する結果提示部と、を備える。

本開示にかかる点検支援装置は、発電機の点検における点検作業者の作業負荷を軽減することができるという効果を奏する。

実施の形態にかかる点検支援システムの構成例を示す図 実施の形態の学習済モデルの生成処理の一例を示すフローチャート 実施の形態の表示部により表示される画像の一例を模式的に示す図 実施の形態の表示部により表示される画像の別の一例を模式的に示す図 ニューラルネットワークの一例を示す模式図 実施の形態の点検支援装置における点検支援処理の一例を示すフローチャート 実施の形態の再学習処理の一例を示すフローチャート 実施の形態の再学習が行われる例を示す図 実施の形態の点検支援装置を実現するコンピュータシステムの構成例を示す図

以下に、実施の形態にかかる点検支援装置、点検支援システム、点検支援方法および点検支援プログラムを図面に基づいて詳細に説明する。

図１は、実施の形態にかかる点検支援システムの構成例を示す図である。図１に示すように、本実施の形態の点検支援システムは、データベース装置２と、学習装置３と、点検支援装置４と、表示装置５とを備える。また、点検支援システムに、点検ロボット１を含めてもよい。

点検ロボット１は、発電機の点検に用いられる発電機の内部を走行可能な点検ロボットであり、カメラ１１および通信部１２を備える。点検ロボット１は、図示を省略するがカメラ１１以外のセンサを搭載していてもよい。点検ロボット１は、無限軌道走行装置などの走行装置を備え、走行しながらカメラ１１によって撮像することで発電機内部の映像データを取得する。通信部１２は、カメラ１１によって撮像された映像データをデータベース装置２へ送信する。なお、点検ロボット１は図示しないレコーダに有線接続され、レコーダに映像データが蓄積され、データベース装置２がレコーダから映像データを取得してもよい。映像データは、設定されたフレームレートの動画であり、時間ごとに撮影された複数の画像データである。

データベース装置２は、データ取得部２１、静止画生成部２２、データ記憶部２３、送受信部２４およびモデル記憶部２５を備える。データ取得部２１は、カメラ１１から映像データを取得し、取得した映像データを静止画生成部２２へ出力する。静止画生成部２２は、映像データを静止画に分割し静止画データである画像データをデータ記憶部２３に格納する。分割された各画像データは、カメラ１１により撮像された画像のデータである。データ記憶部２３は、静止画生成部２２から受け取った画像データを記憶するとともに、発電機の運用開始日、発電機の色および形などを示す設計情報、過去に点検が行われた日、過去の点検結果などの情報を補助情報として記憶する。補助情報は、例えば、発電機の運用開始日、発電機の設計情報および発電機の過去の点検結果のうち少なくとも１つを含む。補助情報は、送受信部２４を介して他の装置から受信してもよいし、図示しないデータベース装置２の入力手段により入力されてもよい。また、データ取得部２１は、複数の発電機の点検により得られた画像データを取得してもよい。この場合、補助情報は発電機ごとの、発電機の運用開始日、発電機の色および形などを示す設計情報、過去に点検が行われた日、過去の点検結果などの情報を含む。

送受信部２４は、学習装置３、点検支援装置４などの他の装置との間で情報の送受信を行う。送受信部２４は、学習装置３から学習済モデルを受信すると、受信した学習済モデルをモデル記憶部２５へ格納する。後述するように、本実施の形態では、発電機の異常の度合いを示すクラスを判定するための学習済モデル、すなわちクラス分類用の学習済モデルである分類モデルと、画像データから発電機における異物を識別するための学習済モデル、すなわち物体検出用の学習済モデルである物体検出モデルとの２種類の学習済モデルが学習装置３によって生成されるため、モデル記憶部２５にはこれら２種類の学習済モデルが格納される。また、送受信部２４は、モデル記憶部２５に記憶されている、分類モデルおよび物体検出モデルを、点検支援装置４へ送信する。データベース装置２からの分類モデルおよび物体検出モデルの送信はモデルの更新が行われたときに行われてもよいし、点検支援装置４から送信の指示があった場合に行われてもよい。モデル記憶部２５は、分類モデルおよび物体検出モデルを記憶する。

学習装置３は、送受信部３１、分類モデル生成部３２、物体検出モデル生成部３３、表示部３４、正解データ受付部３５および再学習判定部３６を備える。送受信部３１は、データベース装置２などの他の装置との間で情報の送受信を行う。送受信部３１は、データベース装置２から、データ記憶部２３に記憶されている画像データおよび補助情報を取得し、取得した画像データおよび補助情報を表示部３４へ出力する。また、送受信部３１は、分類モデル生成部３２から分類モデルを受け取ると分類モデルをデータベース装置２へ送信し、物体検出モデル生成部３３から物体検出モデルを受け取ると物体検出モデルをデータベース装置２へ送信する。

表示部３４は、カメラ１１によって撮像された映像データに基づく画像を表示する。詳細には、表示部３４は、送受信部３１から受け取った画像データを画像として表示するとともに当該画像データに対応する補助情報を表示する。発電機に関する知識を有する有識者は、表示部３４に表示された画像および補助情報を確認することで、画像の異常の度合いを示すクラスを判定し、画像に異物が存在する場合には異物の物体名を判定する。異物の物体としては、例えば、くぎ、プラスチック片、エポキシ片などであるが、これらに限定されず、発電機において過去に異物として検出されたもの、異物として存在する可能性があるものなどである。

正解データ受付部３５は、画像データに対応する分類モデルの生成のための正解データであるクラスの判定結果の入力を受け付け、画像データに対応する物体検出モデルの生成のための正解データである異物の物体名の入力を受け付ける。詳細には、正解データ受付部３５は、有識者から、分類モデルの生成に用いられる正解データとしてクラスの判定結果の入力を受け付け、受け付けた判定結果を分類モデル生成部３２へ出力する。また、正解データ受付部３５は、有識者から、物体検出モデルの生成に用いられる正解データとして物体名の判定結果の入力を受け付け、受け付けた判定結果を物体検出モデル生成部３３へ出力する。

分類モデル生成部３２は、画像データと正解データ受付部３５が受け付けたクラスの判定結果とを含む学習用データセットを複数用いて、分類モデルを生成する。詳細には、分類モデル生成部３２は、画像データと当該画像データに対応して正解データ受付部３５から受け取った正解データとの組を学習用データセットとし、複数の学習用データセットを用いて機械学習により学習済モデルである分類モデルを生成する。分類モデル生成部３２は、生成した分類モデルを送受信部３１へ出力する。

物体検出モデル生成部３３は、画像データと正解データ受付部３５が受け付けた物体名とを含む学習用データセットを複数用いて、物体検出モデルを生成する。詳細には、物体検出モデル生成部３３は、画像データと当該画像データに対応して正解データ受付部３５から受け取った正解データとの組を学習用データセットとし、複数の学習用データセットを用いて機械学習により学習済モデルである物体検出モデルを生成する。物体検出モデル生成部３３は、生成した物体検出モデルを送受信部３１へ出力する。

再学習判定部３６は、画像データを分類モデルに入力して得られる判定結果と、当該画像データを物体検出モデルに入力して得られる判定結果とが整合しない場合、当該画像データを再学習候補とし、表示部３４に再学習候補に基づく画像を表示させる。詳細には、再学習判定部３６は、送受信部３１を介してデータベース装置２から点検支援装置４によって判定された判定結果と対応する画像データを取得し、判定結果を用いて再学習を行うか否かを判定し、再学習を行うと判定した場合に、物体検出モデル生成部３３または分類モデル生成部３２に再学習を行わせる。

点検支援装置４は、送受信部４１、モデル記憶部４２、クラス分類部４３、物体検出部４４、結果統合部４５、結果提示部４６、テンプレート記憶部４７および画像挿入部４８を備える。送受信部４１は、データベース装置２などの他の装置との間で情報の送受信を行う。送受信部４１は、点検ロボット１に搭載されたカメラ１１によって撮像された画像のデータである画像データを取得する取得部である。データベース装置２から点検対象の画像データを受信し、クラス分類部４３および物体検出部４４へ出力する。点検対象の画像データは、点検日に点検対象の発電機が撮像された画像データである。点検対象の画像データは、例えば、データベース装置２においてデータ記憶部２３に格納されるとともに、点検支援装置４へ送信される。

また、送受信部４１は、データベース装置２から分類モデルおよび物体検出モデルを受信するとモデル記憶部４２へ記憶する。モデル記憶部４２は、分類モデルおよび物体検出モデルを記憶する。上述したように、分類モデルおよび物体検出モデルの更新は、モデルが更新されたときに行われてもよいし、点検支援装置４に図示しない入力手段を介してモデル更新の指示があった場合、または表示装置５からモデル更新の指示を受信した場合に行われてもよい。

クラス分類部４３は、分類モデルと、取得部である送受信部４１によって取得された画像データとを用いて、送受信部４１によって取得された画像データに対応するクラスを判定する。詳細には、クラス分類部４３は、モデル記憶部４２に記憶されている分類モデルに、送受信部４１を介してデータベース装置２から受信した点検対象の画像データを入力することで、当該画像データのクラス分類を行い、分類結果を、判定結果として結果統合部４５へ出力する。クラス分類は、画像データによって示される画像から、点検対象の発電機の異常の度合いを示すクラスを決定する処理である。クラスは、例えば、異常度高、異常度低、異常無の３つのクラスであってもよいし、異常、正常の２つのクラスであってもよいし、４段階のクラスであってもよい。また、異常度の高さだけでなく、例えば、キズ、変色、異物混入などの異常の種類を含んでいてもよい。また、クラスは、異常度と異常の種類との組み合わせであってもよい。例えば、クラスは、異常度、キズの有無、変色の有無、異物混入の有無の４つの項目のそれぞれの値で表されてもよい。例えば、ある画像データに対応するクラスは、異常度低、キズ有、変色無、異物混入無であり、別の画像データに対応するクラスは、異常度高、キズ有、変色有、異物混入有で表される。なお、クラスの定義はこれに限定されない。

物体検出部４４は、物体検出モデルと、送受信部４１によって取得された画像データとを用いて、送受信部４１によって取得された画像データに対応する画像における異物がどの物体であるかを判定する。物体検出部４４は、モデル記憶部４２に記憶されている物体検出モデルに、送受信部４１を介してデータベース装置２から受信した点検対象の画像データを入力することで、当該画像データが示す画像内の物体検出を行う。本実施の形態における物体検出は、異物の識別処理である。すなわち、物体検出部４４は、画像内に異物が存在するか否かを判定し、異物が存在する場合には、異物の物体名を判定結果として結果統合部４５へ出力する。異物となる物体はあらかじめ定義されており、物体検出モデルの生成時には、異物の存在する画像と当該異物に対応する物体名とが対応づけられて学習されている。物体検出部４４は、画像内に異物が存在しない場合には異物が存在しないことを示す判定結果、すなわち正常であることを示す判定結果を結果統合部４５へ出力する。

また、クラス分類部４３および物体検出部４４は、判定結果を、対応する画像データを識別する識別情報とともに、送受信部４１を介してデータベース装置２へ送信する。データベース装置２では、送受信部２４が判定結果を受信すると、判定結果をデータ記憶部２３に記憶されている画像データと対応づけてデータ記憶部２３に格納する。

結果統合部４５は、クラス分類部４３による判定結果と、物体検出部４４による判定結果とを統合する。例えば、結果統合部４５は、同一画像に対応する判定結果を１つに並べて１つの判定結果とすることで統合してもよい。また、結果統合部４５は、クラス分類部４３による判定結果と、物体検出部４４による判定結果との両方が正常を示す場合には、２つの結果を並べる代わりに、正常という１つの判定結果としてもよい。また、結果統合部４５は、同一の異常の要因により連続して複数の画像データに対応する判定結果が同じ異常を示す値となっている場合には、これらの複数の画像データを１セットとし、１セットの画像データに判定結果を対応させてもよい。

また、結果統合部４５は、クラス分類部４３による判定結果と、物体検出部４４による判定結果とを用いて、送受信部４１によって取得された画像データから、点検作業者に提示する画像データである確認対象画像データを選択する。詳細には、結果統合部４５は、クラス分類部４３による判定結果と、物体検出部４４による判定結果と、点検作業者により設定された設定情報とに基づいて、画像データごとに確認対象画像データとするか否かを判定する。確認対象画像データは、点検作業者が確認できるように点検作業者に提示する画像データの候補である。設定情報は、点検作業者により、表示装置５を介してまたは図示しない入力手段を介して点検支援装置４に入力され、テンプレート記憶部４７に記憶される。上述した、同じ要因によると推定される１セットの画像データに関しては、１セットの画像データのうちの一部の画像データを確認対象画像データとしてもよく、１セットの画像データの全てを確認対象画像データとするか一部の画像データを確認対象画像データとするかについても設定情報で指定される。

設定情報は、どのような判定結果であった場合に点検作業者が画像データを確認したいかを定めた情報である。設定情報には、クラス分類の判定結果と物体検出部４４の判定結果との値ごとに確認対象画像データとするか否かが定められた表であってもよいし、確認対象画像データとする分類結果の条件が定められたものであってもよい。例えば、設定情報により、クラス分類が異常度高または異常度低であれば、物体検出部４４の判定結果がどのような結果であっても確認対象画像データとするように定められ、物体検出部４４により指定された物体が異物として検出された場合にはクラス分類がどのような結果であっても確認対象画像データとするように定められる。設定情報は、これに限らず、点検作業者がどういったものを確認したいかにより適宜設定さればよい。また、設定情報は、正常な画像データの一部を確認対象画像データとするように設定されてもよい。この場合には、例えば、何枚の画像につき１枚の正常な画像を確認対象画像データとするかが指定されてもよいし、撮像された日時に応じて一定時間ごとに正常な画像を確認対象画像データとするように指定されてもよい。

結果統合部４５は、確認対象画像データと判定された画像データを統合された判定結果とともに結果提示部４６へ出力する。結果提示部４６は、結果統合部４５から受け取った画像データと対応する判定結果とを表示装置５へ送信することで、画像データおよび判定結果を点検作業者へ提示する。なお、判定結果については統合せずに、それぞれの判定結果が画像データとともに表示装置５へ送信されてもよい。また、結果提示部４６が表示部としての機能を有し、結果統合部４５から受け取った画像データにより示される画像と対応する判定結果とを表示することで、画像データおよび判定結果を提示してもよい。すなわち、結果提示部４６は、確認対象画像データに基づく画像を表示してもよいし、確認対象画像データを、確認対象画像データに基づく画像を表示する表示装置５へ送信してもよい。また、結果統合部４５は、統合された判定結果と画像データとをテンプレート記憶部４７へ格納する。

テンプレート記憶部４７は、点検結果報告書のテンプレートと、画像データおよび対応する判定結果と、設定情報と、点検結果報告書へ挿入する画像の条件を定めた挿入画像選択情報と、を記憶する。挿入画像選択情報は、例えば、どのような判定結果の画像を点検結果報告書に何枚挿入するか、また、正常データを点検結果報告書に何枚挿入するかなどを定めた情報である。

画像挿入部４８は、クラス分類部４３による判定結果と、物体検出部４４による判定結果とを用いて、送受信部４１によって取得された画像データから、点検結果報告書に挿入する画像データを選択し、選択した画像を点検結果報告書のテンプレートに挿入する。詳細には、画像挿入部４８は、テンプレート記憶部４７に記憶されている挿入画像選択情報を用いて、テンプレート記憶部４７に記憶されている画像データのなかから点検結果報告書へ挿入する画像データを選択する。画像挿入部４８は、点検結果報告書のテンプレートをテンプレート記憶部４７から読み出し、読み出したテンプレートに、選択した画像を挿入する。画像挿入部４８は、画像挿入後のテンプレートを結果提示部４６へ出力する。結果提示部４６は、画像挿入部４８から受け取ったテンプレートを表示装置５へ送信する。なお、機械学習による判定結果には一般的に結果の確度を示す情報が含まれている。例えば、画像挿入部４８は、この確度を用いて確度の高い画像を選択してテンプレートへ挿入する。

表示装置５は、送受信部５１および表示部５２を備える。送受信部５１は、点検支援装置４などの他の装置との間で情報の送受信を行う。送受信部５１は、点検支援装置４から画像データと対応する判定結果とを受信すると、画像データと対応する判定結果とを表示部５２へ出力する。表示部５２は、送受信部５１から受け取った画像データで示される画像を判定結果とともに表示する。点検作業者は、画像と判定結果とを確認することで、点検対象の発電機の目視点検を行う。これにより、カメラ１１で取得された映像データを常時目視する場合に比べて点検作業者の負荷を軽減することができる。また、送受信部５１は、点検支援装置４から画像が挿入された点検結果報告書のテンプレートを受信すると、当該テンプレートを表示部５２へ出力する。表示部５２は、送受信部５１から受け取ったテンプレートを表示する。点検作業者は、表示されたテンプレートに、図示しない入力手段を用いて、文章の追加を行うとともに、必要に応じて画像の配置などを修正する。これにより、点検結果報告書の作成の作業負荷を軽減することができる。また、点検作業者は、表示された画像と判定結果とを確認した結果、当該画像に対応する画像データの前後に取得された画像データなど、追加で確認したい画像データがある場合には、図示しない入力手段により、取得を要求する画像データを指定する情報を入力してもよい。表示装置５は、画像の取得の要求を受け付けると、送受信部５１により画像データの取得の要求をデータベース装置２へ送信する。送受信部５１は、データベース装置２から対応する画像データを取得すると表示部５２へ出力し、表示部５２が当該画像を表示する。

なお、図１に示した例では、データベース装置２、学習装置３および点検支援装置４を、それぞれ別の装置としているが、データベース装置２、学習装置３および点検支援装置４のうちの２つ以上が一体化されて１つの装置として構成されてもよい。また、上述したように、表示装置５と点検支援装置４とが一体化されていてもよい。

次に、本実施の形態の動作について説明する。まず、本実施の形態の学習装置３における学習済モデルの生成について説明する。本実施の形態では、上述したように分類モデルと、物体検出モデルとの２種類の学習済モデルを生成する。図２は、本実施の形態の学習済モデルの生成処理の一例を示すフローチャートである。図２を用いて、分類モデルを生成する際の処理を説明する。図２に示すように、学習装置３は、画像データを表示する（ステップＳ１）。詳細には、表示部３４が、送受信部３１を介してデータベース装置２から受信した画像データを、画像として表示する。データベース装置２から取得される学習済モデルの生成に使用される画像データは、有識者により選択されてもよいし、あらかじめ学習済モデルの生成に用いられる画像取得の期間が定められ、当該期間に対応する画像データをデータベース装置２が学習装置３へ送信するようにしてもよい。有識者により選択される場合には、例えば、送受信部３１が、データベース装置２からデータベース装置２が記憶している画像データの一覧を示す情報を取得し、当該情報を表示部３４が表示することで、有識者が選択して指定してもよい。有識者による指定された画像を示す情報は、図示しない入力手段により受け付けられ、送受信部３１によりデータベース装置２に送信される。

図３は、本実施の形態の表示部３４により表示される画像の一例を模式的に示す図である。図３に示した例では、異物の一例であるくぎ２０１が画像内に存在している。図４は、本実施の形態の表示部３４により表示される画像の別の一例を模式的に示す図である。図４に示した例では、画像内に変色領域２０２とキズ２０３とが存在している。有識者は、図３、図４に例示したような画像を視認し、画像によって示されている発電機内部の状態に対応するクラスを判定する。

また、学習装置３は、補助情報を表示する（ステップＳ２）。詳細には、表示部３４が、送受信部３１を介してデータベース装置２から受信した補助情報を表示する。補助情報は、ステップＳ１で表示された画像データに対応する補助情報であり、例えば、画像データが示す画像とともに表示される。補助情報は、有識者が画像データに対応する異常度のクラスを決定する際に参考情報として使用される情報である。補助情報は、上述したように、発電機の運用開始日、発電機の色および形などを示す設計情報、過去に点検が行われた日、過去の点検結果などの情報であり、例えば、これらのうちの少なくとも１つであるが、これら以外の情報が含まれていてもよい。

有識者は、画像に対応するクラスを判定する際に、補助情報を参考にすることで、補助情報が表示されない場合に比べてクラスの判定をより適切に行うことができる。例えば、画像からクラスを判定する有識者が発電機に関して非常に知識の豊富な有識者であれば、速やかに適切な判定を行うことができるが、有識者によっては画像だけではクラスの判定が難しい場合もある。このような場合に、有識者は、補助情報を参照することで、クラスの判定を適切に速やかに行うことができる。また、有識者は、別途発電機の設計情報、運用開始日、以前の点検結果などを探して確認する必要がなく、有識者の作業負荷を軽減することができる。

次に、学習装置３は、正解データを取得する（ステップＳ３）。詳細には、正解データ受付部３５が、有識者から入力されるクラスの判定結果を、正解データとして分類モデル生成部３２へ出力する。このクラスは、上述したように、例えば、異常の度合いにより分類されるが、異常の種類を含んでいてもよい。

次に、学習装置３は、学習用データの生成を終了するか否かを判断し（ステップＳ４）、学習用データの生成を終了しない場合（ステップＳ４ Ｎｏ）、ステップＳ１からの処理が繰り返される。ステップＳ４では、詳細には、分類モデル生成部３２が、例えば、定められた数の学習用データを取得できた場合に、学習用データの生成を終了すると判断する。

学習用データの生成を終了する場合（ステップＳ４ Ｙｅｓ）、学習装置３は、学習済モデルを生成する（ステップＳ５）。詳細には、分類モデル生成部３２が、画像データと正解データとを組とする学習用データセットを複数用いて、教師あり学習により、画像データをクラス分類するための、すなわち画像データから対応するクラスを推論するための学習済モデルを生成し、送受信部３１へ出力する。

教師あり学習のアルゴリズムとしては、どのようなものを用いてもよいが、例えば、ニューラルネットワークモデルを用いることもできる。ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、および複数のニューロンからなる出力層で構成される。中間層は、１層、又は２層以上でもよい。

図５は、ニューラルネットワークの一例を示す模式図である。例えば、図５に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１－Ｘ３）に入力されると、その値に重みＷ１（ｗ１１－ｗ１６）を掛けて中間層（Ｙ１－Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１－ｗ２６）を掛けて出力層（Ｚ１－Ｚ３）から出力される。この出力結果は、重みＷ１の値と重みＷ２の値とによって変わる。

本実施の形態においては、画像データである特徴量が入力されたときの出力層からの出力が正解データに近づくように、重みＷ１と重みＷ２とを調整することで、特徴量と正解データとの関係が学習される。なお、機械学習のアルゴリズムはニューラルネットワークに限定されない。

図２の説明に戻る。次に、学習装置３は、生成した学習済モデルを送信し（ステップＳ６）、学習済モデルの生成処理を終了する。詳細には、送受信部３１が分類モデル生成部３２から受け取った学習済モデルである分類モデルをデータベース装置２へ送信する。

物体検出モデルの生成手順も、同様に、図２に示した処理手順により行われる。物体検出モデルの生成時には、上述したステップＳ３において、正解データとして異物の物体名が入力される。例えば、図３に示した例では、正解データとして「くぎ」が入力される。また、図４に示した例では、正解データとして、異物が無いことを示す情報が入力される。また、データベース装置２には、過去に、発電機において異物として検出された物体が点検ロボット１以外の撮像装置によって撮像された示す画像も蓄積されている場合には、学習装置３がこの画像データを取得して表示し、当該画像データに対応する正解データの入力を受け付けてもよい。異物として学習される物体としては、例えば、くぎ、プラスチック片、エポキシ片などが挙げられるが、異物として学習される物体は、これらに限定されず、発電機において過去に異物として検出されたもの、または異物として存在する可能性があるものなどであればよい。

物体検出モデルの生成時には、上述したステップＳ５では、物体検出モデル生成部３３が、画像データと正解データとを組とする学習用データセットを複数用いて、教師あり学習を行うことで、画像データから物体を判定するための学習済モデルが生成される。このように、分類モデルの生成において分類モデル生成部３２が行う動作を物体検出モデル生成部３３が行うことで、分類モデルと同様に図２に示した処理により学習済モデルである物体検出モデルが生成され、データベース装置２へ送信される。

次に、本実施の形態の点検支援装置４における点検支援の処理について説明する。点検支援装置４は、上述した分類モデルと物体検出モデルを、データベース装置２を介して取得してモデル記憶部４２に記憶する。

図６は、本実施の形態の点検支援装置４における点検支援処理の一例を示すフローチャートである。図６に示すように、点検支援装置４は、クラス分類を行う（ステップＳ１１）。詳細には、送受信部４１が、データベース装置２から取得した点検対象の画像データを取得し、クラス分類部４３および物体検出部４４へ出力する。クラス分類部４３は、モデル記憶部４２から分類モデルを読み出し、読み出した分類モデルに、送受信部４１から受け取った画像データを入力して出力値を得ることで、クラス分類の結果すなわちクラスの判定結果を求める。

点検支援装置４は、物体検出を行う（ステップＳ１２）。物体検出部４４が、モデル記憶部４２から物体検出モデルを読み出し、読み出した物体検出モデルに、送受信部４１から受け取った画像データを入力して出力値を得ることで、異物の識別結果クラスすなわち物体検出の判定結果を求め、判定結果を結果統合部４５へ出力する。なお、上述したステップＳ１１とステップＳ１２とは並列に行われてもよい。

点検支援装置４は、結果を統合する（ステップＳ１３）。詳細には、結果統合部４５が、物体検出部４４から受け取った判定結果と、クラス分類部４３から受け取った判定結果とを統合する。結果の統合は、上述したとおり、同一の画像データに対応する判定結果を１つの判定結果とする処理、設定情報に基づいて確認対象画像データとするか否かの判定処理を含む。結果統合部４５は、確認対象と判定された画像データを統合された判定結果とともに結果提示部４６へ出力する。また、結果統合部４５は、判定結果と画像データをテンプレート記憶部４７へ格納する。

点検支援装置４は、結果を提示する（ステップＳ１４）。詳細には、結果提示部４６が表示装置５へ画像データと対応する判定結果とを送信する。表示装置５は、画像データと対応する判定結果とを受信すると、画像データが示す画像と判定結果とを表示する。

点検支援装置４は、報告対象期間分の処理が終了したか否かを判断する（ステップＳ１５）。詳細には、結果統合部４５が、点検結果報告書の作成対象期間分の画像データに関してステップＳ１１～Ｓ１４の処理が行われたか否かを判定する。点検結果報告書の作成対象期間は、例えば、あらかじめ日時により指定されてもよいし、表示装置５から報告対象期間分の処理の終了が通知されてもよいし、図示しない点検支援装置４の入力手段により報告対象期間分の処理の終了の指示が入力されてもよい。

報告対象期間分の処理が終了していない場合（ステップＳ１５ Ｎｏ）、点検支援装置４は、ステップＳ１１からの処理を繰り返す。報告対象期間分の処理が終了した場合（ステップＳ１５ Ｙｅｓ）、点検支援装置４は、点検結果報告書へ挿入する画像を選択し（ステップＳ１６）、点検結果報告書へ選択した画像を挿入する（ステップＳ１７）。詳細には、画像挿入部４８が、テンプレート記憶部４７に記憶されている挿入画像選択情報を用いて、テンプレート記憶部４７に記憶されている画像データのなかから点検結果報告書へ挿入する画像データを選択する。そして、画像挿入部４８が、テンプレート記憶部４７に記憶されている点検結果報告書のテンプレートに、選択した画像を挿入することで、点検結果報告書へ選択した画像を挿入し、結果提示部４６を介して表示装置５へテンプレートを送信する。

点検支援装置４が以上の処理を行うことで、点検作業者は、表示装置５に表示された画像と判定結果とを確認することで、点検対象の発電機の目視点検を行うことができる。これにより、カメラ１１で取得された映像データを常時目視する場合に比べて点検作業者の負荷を軽減することができる。また、設定情報により、２種類の判定結果のうち少なくとも一方で正常でないと判定された場合に確認対象とするように設定しておくと、どちらかの判定結果が誤っていた場合でも、点検作業者が画像データを確認することができ、点検における異常検出の精度を高めることができる。

次に、判定結果を用いた再学習について説明する。点検支援装置４は、クラス分類の判定結果と物体検出の判定結果とをデータベース装置２へ送信する。学習装置３は、データベース装置２からこれら２種類の判定結果を取得し、２種類の判定結果が整合しない場合に再学習を行うことで学習済モデルの精度を高めることができる。

一般には、物体検出モデルは異物を識別する必要があるため、分類モデルに比べて高精度な学習済モデルを構築することが難しいと考えられる。このため、例えば、クラス分類で異常度高と判定されており、かつ、物体検出で異物無しと判定された画像データを確認して、実際に異物があったことが分かった場合には、この画像データを、確認された異物の物体名と対応づけて再学習を行うことで物体検出の精度を高めていくことができる。また、逆に、異物有りと判定され、かつクラス分類で異常度無しと判定されていた場合、画像データを確認すると実際に異物が無いといったことも考えられる。このような場合も、この画像データを異物無しという正解データと対応づけて再学習を行うことで物体検出の精度を高めていくことができる。

図７は、本実施の形態の再学習処理の一例を示すフローチャートである。図７に示した処理は、例えば、一定期間ごとに行われてもよいし、有識者から指示のあった場合に行われてもよい。処理対象の画像データおよび判定結果は、例えば、図示しない入力手段を用いて有識者により指定される。図７に示すように、学習装置３は、判定結果に不整合があるか否かを判定する（ステップＳ２１）。詳細には、再学習判定部３６が、送受信部３１を介して受信した画像データおよび対応する２種類の判定結果を用いて、例えば、物体検出で異物が検出されているがクラス分類で異常無しと判定されている場合、および物体検出で異物が検出されておらずクラス分類で異常有りと判定されている場合に、判定結果に不整合があるかを判定する。

判定結果に不整合がない場合（ステップＳ２１ Ｎｏ）、学習装置３は、処理対象を次の画像データおよび判定結果に変更して、ステップＳ２１からの処理を繰り返す。判定結果に不整合がある場合（ステップＳ２１ Ｙｅｓ）、学習装置３は判定結果に対応する画像を表示する（ステップＳ２２）。詳細には、ステップＳ２２では、再学習判定部３６が、不整合と判定された判定結果に対応する画像データを再学習候補として表示部３４へ出力することで表示部３４に表示させ、表示部３４が、当該画像データが示す画像を表示する。これにより、有識者が画像を確認し、当該画像データに対応する物体検出の判定結果が誤っていたか否かを判断する。

学習装置３は、再学習が必要か否かを判断する（ステップＳ２３）。詳細には、正解データ受付部３５が、有識者から再学習が必要であるか否かの指示の入力を受け付け、受け付けた指示を再学習判定部３６に出力し、再学習判定部３６は受け取った指示に基づいて再学習が必要か否かを判断する。すなわち、正解データ受付部３５は、表示部３４に再学習候補に基づく画像が表示されると、再学習の要否を示す入力を受け付け、再学習要を示す入力を受け付ける。

再学習が必要でない場合（ステップＳ２３ Ｎｏ）、学習装置３は、処理対象を次の画像データおよび判定結果に変更して、ステップＳ２１からの処理を繰り返す。再学習が必要な場合（ステップＳ２３ Ｙｅｓ）、学習装置３は再学習を行い（ステップＳ２４）、処理対象を次の画像データおよび判定結果に変更して、ステップＳ２１からの処理を繰り返す。ステップＳ２４では、詳細には、再学習判定部３６が物体検出モデル生成部３３へ再学習を指示し、正解データ受付部３５が、有識者から正解データの入力を受け付け、受け付けた正解データを物体検出モデル生成部３３へ出力する。物体検出モデル生成部３３は、ステップＳ２２で表示された画像データと正解データとを組とする学習用データセットを用いて再学習を行うことで物体検出モデルを更新する。すなわち、物体検出モデル生成部３３は、再学習候補と正解データ受付部３５が受け付けた物体名とを学習用データセットとして再学習を行う。なお、再学習は一定数の学習用データが蓄積された後に行われてもよい。

更新された物体検出モデルは、データベース装置２に送信され、データベース装置２から点検支援装置４へ送信される。これにより、点検支援装置４が記憶する物体検出モデルが更新される。以上述べた例では、物体検出モデルを更新する例を説明したが、同様に、分類モデルが更新されてもよい。

また、上述した例では、学習装置３は、点検支援装置４によって判定された結果を用いて再学習を行うか否かを判断したが、再学習判定部３６がデータベース装置２から取得した画像データを分類モデルおよび物体検出モデルにそれぞれ入力することで２種類の判定結果を求めて、図７に示した処理を行ってもよい。

図８は、本実施の形態の再学習が行われる例を示す図である。図８に示すように、例えば、クラス分類で異常度高と判定され、物体検出において異物が検出されなかったとする。この場合、上述したステップＳ２２により画像が表示される。そして、図３に示した画像のように、画像内にくぎ２０１が存在することを有識者が確認すると、当該画像はくぎの画像として再学習される。すなわち、正解データとして物体名「くぎ」が与えられて画像データと正解データとを組とする学習用データを用いて再学習が行われることで、物体検出モデルが更新される。

以上のように、本実施の形態の点検支援システムは、２種類の学習済モデルを用いているため、２種類の学習済モデルを用いた判定結果に不整合が有る場合に、画像を確認し、再学習が必要な場合には再学習を行うことができる。これにより、異常の検出の精度を高めることができる。

また、データベース装置２に複数の発電機に関するデータが蓄積されている場合には、発電機ごとに学習済モデルが生成される。また、各発電機の補助情報に基づいて仕様などが類似する発電機が有ると有識者が判断した場合、有識者からの指示により、学習装置３は、これらの発電機のデータをあわせて学習用データとして用いて学習済モデルを生成してもよい。例えば、製造メーカが同じで固定子、回転子の塗装色が似ており、稼働期間が比較的近い発電機などを統合することができる。

また、以上述べた例では、２種類の学習済モデルを用いたが、３種類以上の学習済モデルが用いられてもよい。例えば、学習装置３が、上述した分類モデル、物体検出モデルに加え、物体の領域を抽出するための領域抽出モデルを学習済モデルとして生成し、点検支援装置４が領域抽出モデルを用いて異物の形状を抽出するようにしてもよい。

次に、本実施の形態のデータベース装置２、学習装置３および点検支援装置４のハードウェア構成について説明する。本実施の形態のデータベース装置２、学習装置３および点検支援装置４は、コンピュータシステム上で、データベース装置２、学習装置３および点検支援装置４のそれぞれにおける処理が記述されたコンピュータプログラムが実行されることにより、コンピュータシステムがそれぞれデータベース装置２、学習装置３および点検支援装置４として機能する。図９は、本実施の形態の点検支援装置４を実現するコンピュータシステムの構成例を示す図である。図９に示すように、このコンピュータシステムは、制御部１０１と入力部１０２と記憶部１０３と表示部１０４と通信部１０５と出力部１０６とを備え、これらはシステムバス１０７を介して接続されている。データベース装置２および学習装置３についても、同様に、例えば図９に例示したコンピュータシステムにより実現される。

図９において、制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサであり、本実施の形態の点検支援装置４における処理が記述された点検支援プログラムを実行する。入力部１０２は、たとえばキーボード、マウスなどで構成され、コンピュータシステムの使用者が、各種情報の入力を行うために使用する。記憶部１０３は、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの各種メモリおよびハードディスクなどのストレージデバイスを含み、上記制御部１０１が実行すべきプログラム、処理の過程で得られた必要なデータ、などを記憶する。また、記憶部１０３は、プログラムの一時的な記憶領域としても使用される。表示部１０４は、ディスプレイ、ＬＣＤ（液晶表示パネル）などで構成され、コンピュータシステムの使用者に対して各種画面を表示する。通信部１０５は、通信処理を実施する受信機および送信機である。出力部１０６は、プリンタ、スピーカなどである。なお、図９は、一例であり、コンピュータシステムの構成は図９の例に限定されない。

ここで、本実施の形態の点検支援プログラムが実行可能な状態になるまでのコンピュータシステムの動作例について説明する。上述した構成をとるコンピュータシステムには、たとえば、図示しないＣＤ（Compact Disc）－ＲＯＭドライブまたはＤＶＤ（Digital Versatile Disc）－ＲＯＭドライブにセットされたＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭから、点検支援プログラムが記憶部１０３にインストールされる。そして、点検支援プログラムの実行時に、記憶部１０３から読み出された点検支援プログラムが記憶部１０３の主記憶領域に格納される。この状態で、制御部１０１は、記憶部１０３に格納されたプログラムに従って、本実施の形態の点検支援装置４としての処理を実行する。

なお、上記の説明においては、ＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭを記録媒体として、点検支援装置４における処理を記述したプログラムを提供しているが、これに限らず、コンピュータシステムの構成、提供するプログラムの容量などに応じて、たとえば、通信部１０５を経由してインターネットなどの伝送媒体により提供されたプログラムを用いることとしてもよい。

図１に示したクラス分類部４３、物体検出部４４、結果統合部４５および画像挿入部４８は、図９に示した記憶部１０３に記憶された点検支援プログラムが図９に示した制御部１０１により実行されることにより実現される。図１に示したモデル記憶部４２およびテンプレート記憶部４７は、図９に示した記憶部１０３の一部である。図１に示した送受信部４１および結果提示部４６は、図９に示した通信部１０５により実現される。点検支援装置４は複数のコンピュータシステムにより実現されてもよい。例えば、点検支援装置４は、クラウドコンピュータシステムにより実現されてもよい。

例えば、本実施の形態の点検支援プログラムは、コンピュータシステムに、発電機の内部を走行可能な点検ロボットに搭載されたカメラによって撮像された画像のデータである画像データを取得するステップと、画像データから発電機の異常の度合いを示すクラスを判定するための学習済モデルである分類モデルと、取得された画像データとを用いて、取得された画像データに対応するクラスを判定する第１判定処理を行うステップと、を実行させる。また、点検支援プログラムは、さらに、画像データから発電機における異物を識別するための学習済モデルである物体検出モデルと、取得された画像データとを用いて、取得された画像データに対応する画像における異物がどの物体であるかを判定する第２判定処理を行うステップと、第１判定処理の判定結果と、第２判定処理の判定結果とを用いて、取得された画像データから、点検作業者に提示する画像データである確認対象画像データを選択するステップと、確認対象画像データ、第１判定処理の判定結果および第２判定処理の判定結果を点検作業者に提示するステップと、をコンピュータシステムに実行させる。

また、図１に示したデータベース装置２の静止画生成部２２は、図９に示した記憶部１０３に記憶されたプログラムが図９に示した制御部１０１により実行されることにより実現される。図１に示したデータ記憶部２３およびモデル記憶部２５は、図９に示した記憶部１０３の一部である。図１に示したデータ取得部２１および送受信部２４は、図９に示した通信部１０５により実現される。データベース装置２は複数のコンピュータシステムにより実現されてもよい。例えば、データベース装置２は、クラウドコンピュータシステムにより実現されてもよい。

また、図１に示した学習装置３の分類モデル生成部３２、物体検出モデル生成部３３および再学習判定部３６は、図９に示した記憶部１０３に記憶されたプログラムが図９に示した制御部１０１により実行されることにより実現される。図１に示した送受信部３１は、図９に示した通信部１０５により実現される。図１に示した表示部３４は図９に示した表示部１０４により実現される。図１に示した正解データ受付部３５は、図９に示した入力部１０２により実現される。データベース装置２は複数のコンピュータシステムにより実現されてもよい。例えば、データベース装置２は、クラウドコンピュータシステムにより実現されてもよい。

以上のように、本実施の形態の点検支援装置４は、２種類の学習済モデルと画像データとを用いて発電機の異常の有無を判定し、２種類の判定結果に基づいて、取得された画像データから、確認対象の画像データを選択して表示装置５へ送信するようにした。これにより、点検作業者は、表示装置５に表示された画像と判定結果とを確認することで、点検対象の発電機の目視点検を行うことができる。これにより、カメラ１１で取得された映像データを常時目視する場合に比べて点検作業者の負荷を軽減することができる。

また、本実施の形態の学習装置３は、学習済モデルの生成のために正解データの入力を受け付ける際に、画像とともに発電機に関する情報である補助情報を表示するようにした。このため、正解データを入力する有識者の負荷を軽減することができる。また、本実施の形態の学習装置３は、点検支援装置４によって得られた２種類の判定結果を用いて、２種類の判定結果が整合しない場合に、対応する画像を表示し、再学習が必要な場合に再学習を行うようにした。これにより、学習済モデルの精度を向上させることができる。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１ 点検ロボット、２ データベース装置、３ 学習装置、４ 点検支援装置、５ 表示装置、１１ カメラ、１２ 通信部、２１ データ取得部、２２ 静止画生成部、２３ データ記憶部、２４，３１，４１，５１ 送受信部、２５，４２ モデル記憶部、３２ 分類モデル生成部、３３ 物体検出モデル生成部、３４，５２ 表示部、３５ 正解データ受付部、３６ 再学習判定部、４３ クラス分類部、４４ 物体検出部、４５ 結果統合部、４６ 結果提示部、４７ テンプレート記憶部、４８ 画像挿入部。

Claims (12)

1. 発電機の内部を走行可能な点検ロボットに搭載されたカメラによって撮像された画像のデータである画像データを取得する取得部と、
   画像データから前記発電機の異常の度合いを示すクラスを判定するための学習済モデルである分類モデルと、前記取得部によって取得された前記画像データとを用いて、前記取得部によって取得された前記画像データに対応するクラスを判定するクラス分類部と、
   画像データから前記発電機における異物を識別するための学習済モデルである物体検出モデルと、前記取得部によって取得された前記画像データとを用いて、前記取得部によって取得された前記画像データに対応する画像における異物がどの物体であるかを判定する物体検出部と、
   前記クラス分類部による判定結果と、前記物体検出部による判定結果とを用いて、前記取得部によって取得された前記画像データから、点検作業者に提示する前記画像データである確認対象画像データを選択する結果統合部と、
   前記確認対象画像データ、前記クラス分類部による判定結果および前記物体検出部による判定結果を点検作業者に提示する結果提示部と、
   を備えることを特徴とする点検支援装置。
2. 前記クラス分類部による判定結果と、前記物体検出部による判定結果とを用いて、前記取得部によって取得された前記画像データから、点検結果報告書に挿入する前記画像データを選択し、選択した画像を点検結果報告書のテンプレートに挿入する画像挿入部、
   を備えることを特徴とする請求項１に記載の点検支援装置。
3. 前記結果提示部は、前記確認対象画像データに基づく画像を表示することを特徴とする請求項１または２に記載の点検支援装置。
4. 前記結果提示部は、前記確認対象画像データを、前記確認対象画像データに基づく画像を表示する表示装置へ送信することを特徴とする請求項１または２に記載の点検支援装置。
5. 画像データから発電機の異常の度合いを示すクラスを判定するための学習済モデルである分類モデルと、画像データから前記発電機における異物を識別するための学習済モデルである物体検出モデルとを生成する学習装置と、
   前記発電機の点検を支援する点検支援装置と、
   を備え、
   前記点検支援装置は、
   前記発電機の内部を走行可能な点検ロボットに搭載されたカメラによって撮像された画像のデータである画像データを取得する取得部と、
   前記分類モデルと、前記取得部によって取得された前記画像データを用いて、前記取得部によって取得された前記画像データに対応するクラスを判定するクラス分類部と、
   前記物体検出モデルと、前記取得部によって取得された前記画像データを用いて、前記取得部によって取得された前記画像データに対応する画像における異物がどの物体であるかを判定する物体検出部と、
   前記クラス分類部による判定結果と、前記物体検出部による判定結果とを用いて、前記取得部によって取得された前記画像データから、点検作業者に提示する前記画像データである確認対象画像データを選択する結果統合部と、
   前記確認対象画像データ、前記クラス分類部による判定結果および前記物体検出部による判定結果を点検作業者に提示する結果提示部と、
   を備えることを特徴とする点検支援システム。
6. 前記点検ロボットを備えることを特徴とする請求項５に記載の点検支援システム。
7. 前記確認対象画像データに基づく画像を表示する表示装置、
   を備え、
   前記結果提示部は、前記確認対象画像データを前記表示装置へ送信することを特徴とする請求項５または６に記載の点検支援システム。
8. 前記学習装置は、
   前記カメラによって撮像された前記画像データに基づく画像を表示する表示部と、
   前記画像データに対応する前記分類モデルの生成のための正解データであるクラスの判定結果の入力を受け付け、前記画像データに対応する前記物体検出モデルの生成のための正解データである異物の物体名の入力を受け付ける正解データ受付部と、
   前記画像データと前記正解データ受付部が受け付けた前記クラスの判定結果とを含む学習用データセットを複数用いて、前記分類モデルを生成する分類モデル生成部と、
   前記画像データと前記正解データ受付部が受け付けた前記物体名とを含む学習用データセットを複数用いて、前記物体検出モデルを生成する物体検出モデル生成部と、
   を備えることを特徴とする請求項５から７のいずれか１つに記載の点検支援システム。
9. 前記表示部は、発電機の運用開始日、前記発電機の設計情報および前記発電機の過去の点検結果のうち少なくとも１つを含む補助情報を、前記画像とともに表示することを特徴とする請求項８に記載の点検支援システム。
10. 前記学習装置は、
    前記画像データを前記分類モデルに入力して得られる判定結果と、当該画像データを前記物体検出モデルに入力して得られる判定結果とが整合しない場合、当該画像データを再学習候補とし、前記表示部に再学習候補に基づく画像を表示させる再学習判定部と、
    前記正解データ受付部は、前記表示部に前記再学習候補に基づく画像が表示されると、再学習の要否を示す入力を受け付け、再学習要を示す入力を受け付けると、前記物体検出モデルに対応する正解データである物体名の入力を受け付け、
    前記物体検出モデル生成部は、前記再学習候補と前記正解データ受付部が受け付けた前記物体名とを学習用データセットとして再学習を行うことで前記物体検出モデルを更新することを特徴とする請求項８または９に記載の点検支援システム。
11. 発電機の点検を支援する点検支援装置における点検支援方法であって、
    前記発電機の内部を走行可能な点検ロボットに搭載されたカメラによって撮像された画像のデータである画像データを取得するステップと、
    画像データから前記発電機の異常の度合いを示すクラスを判定するための学習済モデルである分類モデルと、前記取得された前記画像データとを用いて、前記取得された前記画像データに対応するクラスを判定する第１判定処理を行うステップと、
    画像データから前記発電機における異物を識別するための学習済モデルである物体検出モデルと、前記取得された前記画像データとを用いて、前記取得された前記画像データに対応する画像における異物がどの物体であるかを判定する第２判定処理を行うステップと、
    前記第１判定処理の判定結果と、前記第２判定処理の判定結果とを用いて、前記取得された前記画像データから、点検作業者に提示する前記画像データである確認対象画像データを選択するステップと、
    前記確認対象画像データ、前記第１判定処理の判定結果および前記第２判定処理の判定結果を点検作業者に提示するステップと、
    を含むことを特徴とする点検支援方法。
12. コンピュータシステムに、
    発電機の内部を走行可能な点検ロボットに搭載されたカメラによって撮像された画像のデータである画像データを取得するステップと、
    画像データから前記発電機の異常の度合いを示すクラスを判定するための学習済モデルである分類モデルと、前記取得された前記画像データとを用いて、前記取得された前記画像データに対応するクラスを判定する第１判定処理を行うステップと、
    画像データから前記発電機における異物を識別するための学習済モデルである物体検出モデルと、前記取得された前記画像データとを用いて、前記取得された前記画像データに対応する画像における異物がどの物体であるかを判定する第２判定処理を行うステップと、
    前記第１判定処理の判定結果と、前記第２判定処理の判定結果とを用いて、前記取得された前記画像データから、点検作業者に提示する前記画像データである確認対象画像データを選択するステップと、
    前記確認対象画像データ、前記第１判定処理の判定結果および前記第２判定処理の判定結果を点検作業者に提示するステップと、
    を実行させることを特徴とする点検支援プログラム。

Images