JP6773061B2 - 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 - Google Patents

Description

本発明は、評価システム、評価装置、評価方法、評価プログラム、及び記録媒体に関する。

機械部品等の強度を向上させるために、機械部品等の表面にショットピーニング処理が施されることがある。このようなショットピーニング処理の仕上げの程度を評価するカバレージ測定装置が知られている。例えば、特許文献１には、加工面を撮影した画像に基づいて、カバレージを算出し、カバレージを表示するカバレージ測定装置が開示されている。

特開２０１１−１５２６０３号公報

ショットピーニングには、様々な大きさの投射材が用いられ得る。このため、加工面に形成される打痕の大きさは、投射材の大きさに応じて変化する。しかしながら、異なる大きさの投射材に対して、同じ面積の表面を評価対象とすると、投射材の大きさがカバレージの評価に影響を及ぼすおそれがある。例えば、投射材の大きさに対して、評価対象の表面が十分な面積を有しない場合には、１つの打痕がカバレージに与える影響が大きくなり、対象物に対する全体的（平均的）なカバレージを評価できないおそれがある。

本技術分野では、カバレージの評価精度を向上させることが望まれている。

本発明の一側面に係る評価システムは、評価対象物の撮像画像を用いて、評価対象物のカバレージの評価を行うシステムである。この評価システムは、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいて評価を行う評価部と、評価部による評価結果を出力する出力部と、を備える。補正部は、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。打痕領域は、評価対象物に生じている打痕の画像である。

本発明の別の側面に係る評価装置は、評価対象物の撮像画像を用いて、評価対象物のカバレージの評価を行う装置である。この評価装置は、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいて評価を行う評価部と、評価部による評価結果を出力する出力部と、を備える。補正部は、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。打痕領域は、評価対象物に生じている打痕の画像である。

本発明のさらに別の側面に係る評価方法は、評価対象物の撮像画像を用いて、評価対象物のカバレージの評価を行う方法である。この評価方法は、撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて評価を行うステップと、評価を行うステップにおける評価結果を出力するステップと、を備える。評価用画像を生成するステップでは、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。打痕領域は、評価対象物に生じている打痕の画像である。

本発明のさらに別の側面に係る評価プログラムは、コンピュータに、評価対象物の撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて、評価対象物のカバレージの評価を行うステップと、評価を行うステップにおける評価結果を出力するステップと、を実行させるためのプログラムである。評価用画像を生成するステップでは、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。打痕領域は、評価対象物に生じている打痕の画像である。

本発明のさらに別の側面に係る記録媒体は、コンピュータに、評価対象物の撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて、評価対象物のカバレージの評価を行うステップと、評価を行うステップにおける評価結果を出力するステップと、を実行させるための評価プログラムを記録したコンピュータ読み取り可能な記録媒体である。評価用画像を生成するステップでは、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。打痕領域は、評価対象物に生じている打痕の画像である。

これらの評価システム、評価装置、評価方法、評価プログラム、及び記録媒体では、評価対象物の撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。そして、評価用画像に基づいてカバレージの評価が行われ、評価結果が出力される。評価領域は、評価対象物に生じている打痕の画像である打痕領域の大きさに基づいて撮像画像から抽出される。このため、例えば、打痕領域が大きい場合には、評価領域の面積が大きくなるように評価領域が抽出され得る。これにより、打痕領域の大きさに応じた範囲を対象として、カバレージの評価が行われる。その結果、カバレージの評価精度を向上させることが可能となる。

補正部は、打痕領域の大きさが大きいほど、評価領域が大きくなるように、撮像画像から評価領域を抽出してもよい。この場合、打痕の大きさによるカバレージの誤差を低減できる。その結果、カバレージの評価精度をさらに向上させることが可能となる。

補正部は、打痕領域の大きさに予め定められた定数を乗算することで、評価領域の大きさを設定し、撮像画像から評価領域を抽出してもよい。この場合、打痕領域の大きさに対して、評価対象の範囲（面積）を十分に大きくできるので、１つの打痕がカバレージに与える影響を低減することが可能となる。その結果、カバレージの評価精度をさらに向上させることが可能となる。

補正部は、打痕領域の大きさを所定の大きさに合わせるように、評価領域を拡大又は縮小してもよい。この場合、ニューラルネットワークによる評価を適切に行うことができる。

補正部は、撮像画像に含まれる参照領域の色に基づいて、評価領域の色を補正してもよい。参照領域は、特定の色が付された参照体の画像であってもよい。同じ評価対象物であっても、撮影に用いられた光源の色調によって、撮像画像の色調が変わることがある。また、同じ評価対象物であっても、光の照射量によって、撮像画像の明るさが異なることがある。上記構成では、参照領域の色が特定の色と異なっている場合、撮像画像における色が光の影響を受けていると考えられる。そこで、例えば、参照領域の色が特定の色（元の色）になるように、評価領域の色の補正を行うことで、光の影響を低減することができる。これにより、カバレージの評価精度をさらに向上させることが可能となる。

補正部は、評価領域から鏡面反射を除去してもよい。評価対象物に強い光が照射されると鏡面反射が生じることがあり、その状態で評価対象物が撮像されると撮像画像に白飛びが生じることがある。白飛びが生じている領域では、色情報が失われている。このため、鏡面反射（白飛び）を除去することで、色情報が復元され得る。これにより、カバレージの評価精度をさらに向上させることが可能となる。

評価部は、ニューラルネットワークを用いて評価を行ってもよい。この場合、ニューラルネットワークを学習させることによって、カバレージの評価精度をさらに向上させることが可能となる。

本発明の各側面及び各実施形態によれば、カバレージの評価精度を向上させることができる。

図１は、第１実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図２は、図１に示されるユーザ端末のハードウェア構成図である。 図３は、図１に示される評価装置のハードウェア構成図である。 図４は、図１に示される評価システムが行う評価方法を示すシーケンス図である。 図５は、図４に示される補正処理を詳細に示すフローチャートである。 図６の（ａ）〜（ｆ）は、マーカの例を示す図である。 図７は、歪み補正を説明するための図である。 図８の（ａ）及び（ｂ）は、評価領域の抽出を説明するための図である。 図９の（ａ）及び（ｂ）は、色補正を説明するための図である。 図１０は、ニューラルネットワークの一例を示す図である。 図１１は、評価結果の一例を示す図である。 図１２の（ａ）及び（ｂ）は、評価結果の表示例を示す図である。 図１３の（ａ）及び（ｂ）は、評価結果の修正例を示す図である。 図１４は、第２実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図１５は、図１４に示される評価システムが行う評価方法を示すシーケンス図である。 図１６は、第３実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図１７は、図１６に示される評価システムが行う評価方法を示すフローチャートである。 図１８の（ａ）〜（ｄ）は、マーカの変形例を示す図である。 図１９は、評価領域の抽出方法の変形例を説明するための図である。 図２０は、評価領域の抽出方法の変形例を説明するための図である。

以下、図面を参照しながら本発明の実施形態が詳細に説明される。なお、図面の説明において同一要素には同一符号が付され、重複する説明は省略される。

（第１実施形態）
図１は、第１実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１に示される評価システム１は、評価対象物のカバレージの評価を行うシステムである。評価対象物の例としては、アルメンストリップ、ギア、及びバネが挙げられる。カバレージは、測定の対象となる全表面積に対してショットによって打痕が発生した面積の割合である。

評価システム１は、１又は複数のユーザ端末１０と、評価装置２０と、を備えている。ユーザ端末１０と、評価装置２０とは、ネットワークＮＷによって互いに通信可能に接続されている。ネットワークＮＷは、有線及び無線のいずれで構成されてもよい。ネットワークＮＷの例としては、インターネット、移動体通信網、及びＷＡＮ（Wide Area Network）が挙げられる。

ユーザ端末１０は、ユーザにより用いられる端末装置である。ユーザ端末１０は、評価対象物を撮像することによって評価対象物の撮像画像を生成し、撮像画像を評価装置２０に送信する。ユーザ端末１０は、評価装置２０から評価結果を受信し、評価結果をユーザに出力する。ユーザ端末１０は、撮像装置を内蔵した携帯端末に適用されてもよく、撮像装置と通信可能な装置に適用されてもよい。本実施形態では、撮像装置を内蔵した携帯端末を用いて説明する。携帯端末の例としては、スマートフォン、タブレット端末、及びノートＰＣ（Personal Computer）が挙げられる。

図２は、図１に示されるユーザ端末のハードウェア構成図である。図２に示されるように、ユーザ端末１０は、物理的には、１又は複数のプロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信装置１０４、入力装置１０５、出力装置１０６、及び撮像装置１０７等のハードウェアを備えるコンピュータとして構成され得る。プロセッサ１０１としては、処理速度が速いプロセッサが用いられる。プロセッサ１０１の例としては、ＧＰＵ（Graphics Processing Unit）及びＣＰＵ（Central Processing Unit）が挙げられる。主記憶装置１０２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等で構成される。補助記憶装置１０３の例としては、半導体メモリ、及びハードディスク装置が挙げられる。

通信装置１０４は、ネットワークＮＷを介して他の装置とデータの送受信を行う装置である。通信装置１０４の例としては、ネットワークカードが挙げられる。ネットワークＮＷを介したデータの送受信には、暗号化が用いられてもよい。つまり、通信装置１０４は、データを暗号化し、暗号化されたデータを他の装置に送信してもよい。通信装置１０４は、暗号化されたデータを他の装置から受信し、暗号化されたデータを復号してもよい。暗号化には、トリプルＤＥＳ（Data Encryption Standard）及びＲｉｊｎｄａｅｌ等の共通鍵暗号方式、又はＲＳＡ及びＥｌＧａｍａｌ等の公開鍵暗号方式が用いられ得る。

入力装置１０５は、ユーザがユーザ端末１０の操作を行う際に用いられる装置である。入力装置１０５の例としては、タッチパネル、キーボード、及びマウスが挙げられる。出力装置１０６は、各種情報をユーザ端末１０のユーザに出力する装置である。出力装置１０６の例としては、ディスプレイ、スピーカ、及びバイブレータが挙げられる。

撮像装置１０７は、撮像（画像化）するための装置である。撮像装置１０７は、例えば、カメラモジュールである。具体的には、撮像装置１０７は、レンズ及び撮像素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、撮像素子によって生成された撮像画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。

ユーザ端末１０の図１に示される各機能は、主記憶装置１０２等のハードウェアに１又は複数の所定のコンピュータプログラムを読み込ませることにより、１又は複数のプロセッサ１０１の制御のもとで各ハードウェアを動作させるとともに、主記憶装置１０２及び補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。

ユーザ端末１０は、機能的には、画像取得部１１と、補正部１３と、送信部１４と、受信部１５と、出力部１６と、修正情報取得部１７と、を備えている。

画像取得部１１は、評価対象物を含む撮像画像を取得するための部分である。画像取得部１１は、例えば、撮像装置１０７によって実現される。撮像画像は、静止画像であってもよく、動画像であってもよい。撮像画像は、例えば、各画素（ピクセル）の画素値を示す画像データとして取得されるが、説明の便宜上、撮像画像として表現する。ユーザ端末１０が撮像装置１０７を有しない場合、画像取得部１１は、例えば、他の装置（例えばカメラ機能を有する端末等）によって撮像された撮像画像を当該他の装置から受け取ることにより、撮像画像を取得する。例えば、画像取得部１１が他の装置からネットワークＮＷを介して撮像画像を受信する場合、撮像画像の受信処理を行う部分（図２の通信装置１０４等）が画像取得部１１として機能する。画像取得部１１は、撮像画像を補正部１３に出力する。

補正部１３は、撮像画像を補正することで評価用画像を生成するための部分である。補正部１３は、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。評価領域は、撮像画像に含まれる打痕の画像である打痕領域の大きさに応じて定められる。補正部１３は、例えば、撮像画像に対して、サイズ補正、歪み補正、色補正、鏡面反射除去、ノイズ除去、及びブレ補正を行う。各補正処理の詳細については、後述する。補正部１３は、評価用画像を送信部１４に出力する。

送信部１４は、評価用画像を評価装置２０に送信するための部分である。送信部１４は、ネットワークＮＷを介して評価用画像を評価装置２０に送信する。送信部１４は、さらに、修正情報取得部１７によって取得される修正情報を評価装置２０に送信する。送信部１４は、例えば、通信装置１０４によって実現される。受信部１５は、評価装置２０から評価結果を受信するための部分である。受信部１５は、ネットワークＮＷを介して評価結果を評価装置２０から受信する。受信部１５は、例えば、通信装置１０４によって実現される。

出力部１６は、評価結果を出力するための部分である。出力部１６は、例えば、出力装置１０６によって実現される。他の装置が有するディスプレイ等の出力装置において評価結果を出力する場合、出力部１６は、例えば、ネットワークＮＷを介して評価結果を他の装置に送信する。この場合、評価結果の送信処理を行う部分（図２の通信装置１０４等）が出力部１６として機能する。

修正情報取得部１７は、評価結果の修正情報を取得するための部分である。例えば、ユーザは、出力部１６によって出力された評価結果を確認した後、入力装置１０５を用いて評価結果を修正する場合がある。このとき、修正情報取得部１７は、修正された評価結果を修正情報として取得する。修正情報取得部１７は、修正情報を送信部１４に出力する。

評価装置２０は、評価対象物の撮像画像（評価用画像）を用いて、評価対象物のカバレージの評価を行う装置である。評価装置２０は、例えば、コンピュータ等の情報処理装置（サーバ装置）によって構成される。

図３は、図１に示される評価装置のハードウェア構成図である。図３に示されるように、評価装置２０は、物理的には、１又は複数のプロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、及び通信装置２０４等のハードウェアを備えるコンピュータとして構成され得る。プロセッサ２０１としては、処理速度が速いプロセッサが用いられる。プロセッサ２０１の例としては、ＧＰＵ及びＣＰＵが挙げられる。主記憶装置２０２は、ＲＡＭ及びＲＯＭ等で構成される。補助記憶装置２０３の例としては、半導体メモリ、及びハードディスク装置が挙げられる。

通信装置２０４は、ネットワークＮＷを介して他の装置とデータの送受信を行う装置である。通信装置２０４の例としては、ネットワークカードが挙げられる。ネットワークＮＷを介したデータの送受信には、暗号化が用いられてもよい。つまり、通信装置２０４は、データを暗号化し、暗号化されたデータを他の装置に送信してもよい。通信装置２０４は、暗号化されたデータを他の装置から受信し、暗号化されたデータを復号してもよい。暗号化には、トリプルＤＥＳ及びＲｉｊｎｄａｅｌ等の共通鍵暗号方式、又はＲＳＡ及びＥｌＧａｍａｌ等の公開鍵暗号方式が用いられ得る。

なお、通信装置２０４は、ユーザ端末１０のユーザが正規ユーザか非正規ユーザかを判定するユーザ認証を実施してもよい。この場合、評価装置２０は、ユーザが正規ユーザである場合にカバレージの評価を行い、ユーザが非正規ユーザである場合にはカバレージの評価を行わなくてもよい。ユーザ認証には、例えば、予め登録されたユーザＩＤ（identifier）及びパスワードが用いられる。ユーザ認証には、ワンタイムパッド（ワンタイムパスワード）が用いられてもよい。

評価装置２０の図１に示される各機能は、主記憶装置２０２等のハードウェアに１又は複数の所定のコンピュータプログラムを読み込ませることにより、１又は複数のプロセッサ２０１の制御のもとで各ハードウェアを動作させるとともに、主記憶装置２０２及び補助記憶装置２０３におけるデータの読み出し及び書き込みを行うことで実現される。

評価装置２０は、機能的には、受信部２１と、評価部２２と、送信部２３と、を備えている。

受信部２１は、ユーザ端末１０から評価用画像を受信するための部分である。受信部２１は、ネットワークＮＷを介して評価用画像をユーザ端末１０から受信する。受信部２１は、さらに、ユーザ端末１０から修正情報を受信する。受信部２１は、例えば、通信装置２０４によって実現される。受信部２１は、評価用画像及び修正情報を評価部２２に出力する。

評価部２２は、評価用画像に基づいて評価対象物のカバレージの評価を行うための部分である。評価部２２は、ニューラルネットワークを用いて、評価対象物のカバレージの評価を行う。ニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）でもよく、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）でもよい。評価部２２は、評価結果を送信部２３に出力する。

送信部２３は、ユーザ端末１０に評価結果を送信するための部分である。送信部２３は、ネットワークＮＷを介して評価結果をユーザ端末１０に送信する。送信部２３は、例えば、通信装置２０４によって実現される。なお、送信部２３は、評価結果をユーザ端末１０に出力（送信）しているので、出力部とみなされ得る。

次に、図４〜図１３の（ｂ）を参照して、評価システム１が行う評価方法を説明する。図４は、図１に示される評価システムが行う評価方法を示すシーケンス図である。図５は、図４に示される補正処理を詳細に示すフローチャートである。図６の（ａ）〜（ｆ）は、マーカの例を示す図である。図７は、歪み補正を説明するための図である。図８の（ａ）及び（ｂ）は、評価領域の抽出を説明するための図である。図９の（ａ）及び（ｂ）は、色補正を説明するための図である。図１０は、ニューラルネットワークの一例を示す図である。図１１は、評価結果の一例を示す図である。図１２の（ａ）及び（ｂ）は、評価結果の表示例を示す図である。図１３の（ａ）及び（ｂ）は、評価結果の修正例を示す図である。

図４に示される評価方法の一連の処理は、例えば、ユーザ端末１０のユーザが撮像装置１０７を用いて評価対象物を撮影することを契機として開始される。まず、画像取得部１１が評価対象物の撮像画像を取得する（ステップＳ０１）。例えば、画像取得部１１は、撮像装置１０７によって生成された評価対象物の画像を撮像画像として取得する。そして、画像取得部１１は、取得した撮像画像を補正部１３に出力する。

なお、評価対象物の撮像画像を取得する前に、評価対象物にマーカＭＫが付されてもよい。マーカＭＫは、後述の画像処理において、撮像画像を補正するために用いられる。マーカＭＫは、マーカＭＫの向きを特定可能な形状を有する。マーカＭＫは、上下方向及び幅方向の少なくともいずれかにおいて非対称である。具体的には、図６の（ａ）〜（ｆ）に示されるように、マーカＭＫは、白色が付された領域Ｒｗと黒色が付された領域Ｒｂとを含む。後述の画像処理を容易化するために、マーカＭＫは、四角形の縁Ｆ１を有している。縁Ｆ１は、領域Ｒｂの縁である。図６の（ｂ）〜（ｆ）に示されるように、マーカＭＫは、枠Ｆ２によって囲まれ、枠Ｆ２と領域Ｒｂとの間には、間隙Ｒｇａｐが設けられてもよい。

マーカＭＫは、シート状部材に描かれる。例えば、ユーザ端末１０のユーザが、マーカＭＫを含むシート状部材を評価対象物に直接張り付ける。ユーザは、ＵＡＶ（Unmanned Aerial Vehicle）又は伸縮棒等を用いて、マーカＭＫを含むシート状部材を評価対象物に張り付けてもよい。

なお、マーカＭＫは、互いに異なる色が付された２以上の領域から構成されていればよい。例えば、領域Ｒｗに付される色は、白色でなくてもよく、灰色等であってもよい。領域Ｒｂに付される色は、黒色でなくてもよく、彩度を有する色でもよい。本実施形態では、図６の（ａ）に示されるマーカＭＫが用いられる。

続いて、補正部１３は、撮像画像を補正する（ステップＳ０２）。図５に示されるように、ステップＳ０２の補正処理では、まず、補正部１３は、撮像画像の歪みを補正するために歪み補正を行う（ステップＳ２１）。評価対象物を正面から撮影した画像と比較して、撮像画像が歪むことがある。例えば、撮像装置１０７がデプスカメラである場合、撮像装置１０７と評価対象物の各位置との距離が得られる。この場合、補正部１３は、撮像装置１０７と評価対象物の各位置との距離に基づいて、撮像画像を正面から撮影した画像に変換することで歪み補正を行う。補正部１３は、評価対象物がバネ等の局面を有する構造物である場合、歪み補正として局面補正をさらに行ってもよい。

補正部１３は、マーカＭＫを用いて歪み補正を行ってもよい。マーカＭＫが付された評価対象物の撮像画像は、マーカＭＫの画像（画像領域）であるマーカ領域Ｒｍを含む。この場合、まず、補正部１３は、撮像画像からマーカ領域Ｒｍを抽出する。補正部１３は、例えば、撮像画像に対して物体検出処理又はエッジ検出処理を行うことで、マーカ領域Ｒｍを抽出する。マーカＭＫが簡易な形状を有する場合には、物体検出処理よりもエッジ検出処理の方が、検出精度が高く、処理速度が速いことがあるので、エッジ検出処理が用いられてもよい。

そして、補正部１３は、抽出されたマーカ領域ＲｍがマーカＭＫの画像であるか否かを確認する。補正部１３は、例えば、マーカ領域Ｒｍに対してヒストグラムの平均化処理を行った後に、マーカ領域Ｒｍに対して二値化処理を行う。そして、補正部１３は、二値化されたマーカ領域ＲｍとマーカＭＫとを比較して、両者が一致する場合にマーカ領域ＲｍがマーカＭＫの画像であると判定する。これにより、撮像画像におけるマーカＭＫの頂点座標が取得される。補正部１３は、両者が一致しない場合にマーカ領域ＲｍがマーカＭＫの画像でないと判定し、マーカ領域Ｒｍの抽出を再度行う。

そして、補正部１３は、マーカ領域Ｒｍを用いて撮像画像におけるマーカＭＫの向きを計算する。マーカＭＫは、上下方向及び幅方向の少なくともいずれかにおいて非対称であるので、撮像画像におけるマーカＭＫの向きが計算され得る。そして、図７に示されるように、補正部１３は、撮像画像におけるマーカＭＫの頂点座標及び向きから、本来のマーカＭＫの形状が復元されるように、撮像画像を射影変換することで、撮像画像を正面から撮影した画像に変換する。具体的には、補正部１３は、頂点Ｐｍ１を原点とし、頂点Ｐｍ１から頂点Ｐｍ２に向かう方向をＸ１軸方向とし、頂点Ｐｍ１から頂点Ｐｍ４に向かう方向をＹ１軸方向とする。そして、補正部１３は、Ｘ１−Ｙ１座標系をＸ−Ｙ直交座標系に変換することで、マーカＭＫの形状を復元する。これにより、歪み補正が行われる。

続いて、補正部１３は、撮像画像から評価領域Ｒｅを抽出する（ステップＳ２２）。１回のショットピーニングは、投射材の大きさを揃えて行われるので、打痕の大きさは同程度となる。しかし、ショットピーニングに用いられる投射材の種類には、例えば、０．１ｍｍ〜１ｍｍ程度の直径（粒径）を有する投射材がある。このため、一のショットピーニングで用いられる投射材の大きさは、別のショットピーニングで用いられる投射材の大きさと異なる場合がある。これらの投射材に対して同じ面積でカバレージを評価した場合、１つの打痕がカバレージの評価に与える影響が投射材の大きさ（直径）に応じて異なる。そこで、図８の（ａ）及び（ｂ）に示されるように、補正部１３は、撮像画像Ｇに含まれる打痕領域Ｄｅの大きさに基づいて、撮像画像Ｇから評価領域Ｒｅを抽出し、評価領域Ｒｅに基づいて評価用画像を生成する。打痕領域Ｄｅは、評価対象物に生じている打痕の画像である。

打痕領域Ｄｅの大きさには、例えば、撮像画像Ｇに含まれる複数の打痕領域Ｄｅの平均サイズ（例えば、平均直径）が用いられる。補正部１３は、例えば、物体検出によって、撮像画像Ｇに含まれる複数の打痕領域Ｄｅを検出する。そして、補正部１３は、撮像画像Ｇに含まれる複数の打痕領域Ｄｅの平均サイズ（例えば、平均直径）を計算し、打痕領域Ｄｅの平均サイズが大きいほど、評価領域Ｒｅが大きくなるように、撮像画像Ｇから評価領域Ｒｅを抽出する。具体的には、補正部１３は、打痕領域Ｄｅの平均サイズ（平均直径）に予め定められた倍率（例えば、５〜１０倍）を乗算することで、評価領域Ｒｅの大きさを設定する。例えば、補正部１３は、乗算結果を一辺の長さとする正方形の領域を評価領域Ｒｅとして撮像画像から抽出する。

続いて、補正部１３は、評価領域Ｒｅのサイズを補正する（ステップＳ２３）。評価領域Ｒｅの大きさは、打痕領域Ｄｅの大きさに応じて変化し得る。このため、サイズ補正では、補正部１３は、打痕領域Ｄｅの大きさを所定の大きさ（基準粒径）に合わせるように、評価領域Ｒｅの伸縮処理を行う。これにより、評価領域Ｒｅのサイズは、所定の評価サイズに合わせられる。評価サイズは、ニューラルネットワークＮＮの学習に用いられる基準画像（教師データ）のサイズである。

伸縮処理では、まず、補正部１３は、打痕領域Ｄｅの大きさ（平均直径）と基準粒径とを比較し、拡大処理及び縮小処理のいずれを行うかを決定する。補正部１３は、打痕領域Ｄｅの平均直径が基準粒径よりも小さい場合には、拡大処理を行い、打痕領域Ｄｅの平均直径が基準粒径よりも大きい場合には、縮小処理を行う。つまり、補正部１３は、評価領域Ｒｅを拡大又は縮小することで、評価用画像のサイズを評価サイズに合わせる。拡大処理には、例えば、バイリニア補間法が用いられる。縮小処理には、例えば、平均画素法が用いられる。拡大処理及び縮小処理には、他の伸縮アルゴリズムが用いられてもよいが、伸縮処理を行っても画像の状態が保たれることが望ましい。

続いて、補正部１３は、評価領域Ｒｅの色補正を行う（ステップＳ２４）。同じ評価対象物であっても、撮影環境に応じて、画像の明暗が変化し得る。また、撮影に用いられた光源の色が異なると、画像の色も異なり得る。撮影環境の影響を低減するために、色補正が行われる。補正部１３は、撮像画像に含まれる参照領域の色に基づいて、評価領域Ｒｅの色を補正する。参照領域は、特定の色が付された参照体の画像（画像領域）である。

図９の（ａ）に示されるように、参照体としては、マーカＭＫの領域Ｒｗが用いられ得る。この場合、マーカＭＫの領域Ｒｗの色がカラーメータ等で予め測定され、測定された色を示す基準値が不図示のメモリに記憶されている。色を示す値としては、ＲＧＢ値及びＨＳＶ値等が用いられる。図９の（ｂ）に示されるように、補正部１３は、撮像画像（評価領域Ｒｅ）に含まれるマーカ領域Ｒｍにおける領域Ｒｗの色の値を取得し、取得した値と基準値とを比較して、これらの差分が小さく（例えば、ゼロに）なるように色補正を行う。色補正には、ガンマ補正等が用いられる。色補正として、各画素値に差分が加えられてもよい（オフセット処理）。

参照体としてマーカＭＫが用いられなくてもよい。この場合、予め色の測定が行われている試料（例えば、グレーボード）を参照体として、評価対象物とともに撮影することで、マーカＭＫを用いる場合と同様に評価領域Ｒｅの色補正が行われてもよい。補正部１３は、灰色仮説に基づいて色補正を行ってもよい。

続いて、補正部１３は、評価領域Ｒｅから鏡面反射を除去する（ステップＳ２５）。鏡面反射は、評価対象物が金属光沢を有する場合に引き起こされることがある。評価対象物の塗膜の状態によっても、鏡面反射が引き起こされることがある。画像では、鏡面反射を引き起こした部分は通常強い白色として現れる。つまり、鏡面反射を起こした部分は画像において白飛びを生じてしまう。色補正後には、鏡面反射を起こした部分は、白色部分として検出され得るので、補正部１３は、色補正後の画像（評価領域Ｒｅ）を用いて鏡面反射の除去を行う。

そこで、補正部１３は、評価領域Ｒｅに含まれる各画素の画素値に基づいて鏡面反射部分を特定する。例えば、補正部１３は、ＲＧＢの画素値がいずれも所定の閾値よりも大きい場合に当該画素は鏡面反射部分の一部であると判定する。補正部１３は、画素値をＨＳＶに変換し、明るさ（Ｖ）、又は明るさ（Ｖ）及び彩度（Ｓ）の両方に対して同様の閾値処理をすることで鏡面反射部分を特定してもよい。

そして、補正部１３は、鏡面反射部分から鏡面反射を除去し、元の画像情報（画素値）を復元する。補正部１３は、例えば、ナビエ・ストークスを用いた方法、及びＡｌｅｘａｎｄｒｕ Ｔｅｌｅａのファストマーチング方法等により、鏡面反射部分の近傍の画像情報で鏡面反射部分の画像情報を自動補間（復元）する。補正部１３は、機械学習により、様々なカバレージの値を有する画像を予め学習しておくことで、鏡面反射部分の画像情報を復元してもよい。機械学習には、例えば、ＧＡＮ（Generative Adversarial Network）が用いられる。なお、補正部１３は、鏡面反射部分の外縁を拡張した領域（つまり、鏡面反射部分を含み、鏡面反射部分よりも大きい領域）に対して画像情報の復元を行ってもよい。

続いて、補正部１３は、評価領域Ｒｅからノイズを除去する（ステップＳ２６）。補正部１３は、例えば、ガウシアンフィルタ、及びローパスフィルタ等のデノイズフィルタ（デノイズ関数）を用いて、評価領域Ｒｅからノイズを除去する。

続いて、補正部１３は、評価領域Ｒｅのブレ補正を行う（ステップＳ２７）。ユーザがユーザ端末１０を用いて撮影を行う際に、手振れ等のブレが生じることがある。補正部１３は、例えば、Ｗｉｅｎｅｒフィルタ、及びブラインドデコンボリューションアルゴリズムを用いて画像のブレ補正を行う。

なお、図５の補正処理は、一例であって、補正部１３が行う補正処理はこれに限られない。ステップＳ２１，Ｓ２３〜Ｓ２７の一部又は全部は省略されてもよい。ステップＳ２１〜Ｓ２７は、任意の順番で行われてもよい。上述のように、色補正の後に鏡面反射除去を行う場合、画像において鏡面反射部分は強い白色として現れるので、鏡面反射部分の特定精度が向上する。

また、図７に示されるように、補正部１３は、マス目状に並んだ複数のブロックによってマーカ領域Ｒｍが構成されているとみなし、マーカ領域Ｒｍ（マーカＭＫ）の４頂点の座標を用いて、各ブロックの頂点座標を求めてもよい。これにより、補正部１３は、マーカ領域Ｒｍを複数のブロックに分割して取り扱うことができる。例えば、補正部１３は、各ブロックを用いて、マーカ領域ＲｍがマーカＭＫの画像であるか否かを判定する。また、補正部１３は、いずれかのブロックを、色補正に用いられる参照領域としてもよい。さらに、補正部１３は、各ブロックの座標から撮像画像の歪み具合を算出し、撮像装置１０７のキャリブレーションを行ってもよい。

続いて、補正部１３は、ステップＳ０２の補正処理によって補正された撮像画像を評価用画像として送信部１４に出力し、送信部１４は、ネットワークＮＷを介して評価用画像を評価装置２０に送信する（ステップＳ０３）。このとき、送信部１４は、ユーザ端末１０を一意に識別可能な端末ＩＤとともに、評価用画像を評価装置２０に送信する。端末ＩＤとして、例えば、ＩＰ（Internet Protocol）アドレスが用いられてもよい。そして、受信部２１は、ユーザ端末１０から送信された評価用画像を受信し、評価用画像を評価部２２に出力する。なお、補正部１３は、評価用画像の鮮明さが不足する場合には、評価用画像を送信部１４に出力しなくてもよい。また、送信部１４は、上述のように、評価用画像を暗号化し、暗号化された評価用画像を評価装置２０に送信してもよい。この場合、受信部２１は、暗号化された評価用画像をユーザ端末１０から受信し、暗号化された評価用画像を復号して、評価部２２に出力する。

続いて、評価部２２は、評価用画像に基づいて、評価対象物のカバレージの評価を行う（ステップＳ０４）。この例では、評価部２２は、図１０に示されるニューラルネットワークＮＮを用いて、評価対象物のカバレージを評価する。なお、評価部２２は、評価用画像を受け取ると、評価用画像を一意に識別可能な画像ＩＤを評価用画像に付与する。

ニューラルネットワークＮＮは、評価用画像を入力し、各カテゴリの適合率を出力する。カテゴリとしては、カバレージを所定の割合単位に纏めた値が用いられ得る。例えば、カバレージがパーセントで表記される場合、０〜９８％までを１０％単位でカテゴリが設定される。なお、カバレージに関する規格としては、ＪＩＳ Ｂ２７１１、及びＳＡＥ Ｊ２２７７が挙げられる。一例として、ＳＡＥ Ｊ２２７７では、カバレージを測定することが可能な上限値を、９８％（フルカバレージ）としている。カテゴリは、１０％単位に限られず、５％単位で設定されてもよいし、１％単位で設定されてもよい。

図１１に示されるように、本実施形態では、カテゴリとして、カバレージを０〜９８％まで１０％単位で纏めた値が用いられる。この例では、説明の便宜上、カテゴリ「１００％」が用いられている。適合率は、評価対象物のカバレージがそのカテゴリに属する確率を表している。適合率が大きいほど、評価対象物のカバレージがそのカテゴリに属する可能性が高いことを意味する。

評価部２２は、評価用画像を１又は複数のチャネルに分離して、各チャネルの画像情報（画素値）をニューラルネットワークＮＮの入力としてもよい。評価部２２は、例えば、評価用画像を色空間の各成分に分離する。色空間としてＲＧＢ色空間が用いられる場合には、評価部２２は、評価用画像をＲ成分の画素値、Ｇ成分の画素値、及びＢ成分の画素値に分離する。色空間としてＨＳＶ色空間が用いられる場合には、評価部２２は、評価用画像をＨ成分の画素値、Ｓ成分の画素値、及びＶ成分の画素値に分離する。評価部２２は、評価用画像をグレースケールに変換し、変換した画像をニューラルネットワークＮＮの入力としてもよい。

図１０に示されるように、ニューラルネットワークＮＮは、入力層Ｌ１と、中間層Ｌ２と、出力層Ｌ３と、を有する。入力層Ｌ１は、ニューラルネットワークＮＮの入口に位置し、入力層Ｌ１には、Ｍ個の入力値ｘ_ｉ（ｉは１〜Ｍの整数）が入力される。入力層Ｌ１は、複数のニューロン４１を有する。ニューロン４１は、入力値ｘ_ｉに対応して設けられており、ニューロン４１の数は、入力値ｘ_ｉの総数Ｍと等しい。つまり、ニューロン４１の数は、評価用画像の各チャネルに含まれる画素数の総和と等しい。ｉ番目のニューロン４１は、入力値ｘ_ｉを、中間層Ｌ２の第１中間層Ｌ２１の各ニューロン４２１に出力する。入力層Ｌ１は、ノード４１ｂを含む。ノード４１ｂは、各ニューロン４２１にバイアス値ｂ_ｊ（ｊは１〜Ｍ１の整数）を出力する。

中間層Ｌ２は、入力層Ｌ１と出力層Ｌ３との間に位置する。中間層Ｌ２は、ニューラルネットワークＮＮの外部から隠れているので隠れ層とも呼ばれる。中間層Ｌ２は、１又は複数の層を含む。図１０に示される例では、中間層Ｌ２は、第１中間層Ｌ２１と第２中間層Ｌ２２とを含む。第１中間層Ｌ２１は、Ｍ１個のニューロン４２１を有する。このとき、ｊ番目のニューロン４２１は、式（１）に示されるように、各入力値ｘ_ｉを重み係数ｗ_ｉｊによって重み付けした値の総和に、さらにバイアス値ｂ_ｊを加算することで計算値ｚ_ｊを得る。なお、ニューラルネットワークＮＮが畳み込みニューラルネットワークである場合には、ニューロン４２１は、例えば、畳み込み、活性化関数を用いた計算、及びプーリングを順に行う。この場合、活性化関数には、例えば、ＲｅＬＵ関数が用いられる。

そして、ｊ番目のニューロン４２１は、第２中間層Ｌ２２の各ニューロン４２２に計算値ｚ_ｊを出力する。第１中間層Ｌ２１は、ノード４２１ｂを含む。ノード４２１ｂは、各ニューロン４２２にバイアス値を出力する。以下、各ニューロンは、ニューロン４２１と同様の計算を行い、後段の層の各ニューロンに計算値を出力する。中間層Ｌ２の最終段のニューロン（ここでは、ニューロン４２２）は、出力層Ｌ３の各ニューロン４３に計算値を出力する。

出力層Ｌ３は、ニューラルネットワークＮＮの出口に位置し、出力値ｙ_ｋ（ｋは１〜Ｎの整数）を出力する。出力値ｙ_ｋは、各カテゴリに割り当てられており、そのカテゴリの適合率に対応する値である。出力層Ｌ３は、複数のニューロン４３を有する。ニューロン４３は、出力値ｙ_ｋに対応して設けられており、ニューロン４３の数は、出力値ｙ_ｋの総数Ｎと等しい。つまり、ニューロン４３の数は、カバレージを示すカテゴリの数と等しい。各ニューロン４３は、ニューロン４２１と同様の計算を行い、その計算結果を引数として活性化関数を計算し、出力値ｙ_ｋを得る。活性化関数の例としては、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、双曲線関数、シグモイド関数、恒等関数、及びステップ関数が挙げられる。本実施形態では、ｓｏｆｔｍａｘ関数が用いられる。このため、各出力値ｙ_ｋは、Ｎ個の出力値ｙ_ｋの合計が１になるように正規化されている。つまり、出力値ｙ_ｋに１００を乗算することによって、適合率（％）が得られる。

続いて、評価部２２は、例えば、Ｎ個の出力値ｙ_ｋを評価用画像の画像ＩＤとともに評価用画像の評価結果として送信部２３に出力する。Ｎ個の出力値ｙ_ｋの配列は予め定められており、各出力値ｙ_ｋは、Ｎ個のカテゴリのいずれかのカテゴリに対応付けられている。なお、評価部２２は、Ｎ個の出力値ｙ_ｋのうち、最も大きい出力値をその出力値に対応するカテゴリ名又はインデックス（図１１に示される「番号」に相当）とともに評価結果としてもよい。ここでは、図１１に示される適合率に対応する出力値の配列が評価結果として送信部２３に出力される。この場合、ユーザ端末１０が、ユーザにどのように出力するかを決定することができる。

そして、送信部２３は、ネットワークＮＷを介して評価結果をユーザ端末１０に送信する（ステップＳ０５）。このとき、送信部２３は、評価用画像とともにユーザ端末１０から送信された端末ＩＤに基づいて、送信先のユーザ端末１０を識別し、当該ユーザ端末１０に評価結果を送信する。そして、受信部１５は、評価装置２０から送信された評価結果を受信し、評価結果を出力部１６に出力する。なお、送信部２３は、上述のように、評価結果を暗号化し、暗号化された評価結果をユーザ端末１０に送信してもよい。この場合、受信部１５は、暗号化された評価結果を評価装置２０から受信し、暗号化された評価結果を復号して、出力部１６に出力する。

続いて、出力部１６は、評価結果をユーザに通知するための出力情報を生成し、出力情報に基づいて評価結果をユーザに出力する（ステップＳ０６）。出力部１６は、例えば、適合率が最も高いカテゴリの名称（カバレージ 〇〇％）と、その適合率とを表示する。また、出力部１６は、例えば、各カテゴリの値と適合率とを乗算した結果を合算することでカバレージを計算し、その計算結果を評価結果として表示してもよい。図１１の例では、カバレージは４５％（＝４０％×０．５＋５０％×０．５）である。

図１２の（ａ）及び（ｂ）に示されるように、出力部１６は、矢印Ｐａを用いて、グラフ上でカバレージの評価結果を表示してもよい。出力部１６は、テキストで評価結果を表示してもよい。例えば、出力部１６は、「結果：カバレージ ４５％」等と表示する。出力部１６は、全てのカテゴリの名称とその適合率とをテキストで表示してもよい。

出力部１６は、評価結果を用いて、ショットピーニング処理が合格であるか不合格であるかをユーザに通知してもよい。出力部１６は、音声で評価結果を出力してもよく、振動で評価結果を出力してもよい。出力部１６による出力の形態は、ユーザによって設定されてもよい。

続いて、修正情報取得部１７は、ユーザによって評価結果の修正操作が行われたか否かを判定する。例えば、ユーザは、出力部１６によって出力された評価結果を確認した後、入力装置１０５を用いて評価結果を修正するための画面を表示するように操作する。

例えば、図１３の（ａ）及び（ｂ）に示されるように、ユーザは、入力装置１０５を操作し、ポインタＭＰを用いて矢印Ｐａを移動することで、グラフ上でカバレージを指定する。つまり、ユーザが評価対象物を目視で検査することによってカバレージを判定し、ユーザによって判定されたカバレージに対応する数値を示すように、ユーザは矢印Ｐａを移動する。

ユーザがカバレージを指定するために、テキストボックスが用いられてもよい。ユーザがカテゴリを選択するために、ラジオボタン、ドロップダウンリスト、又はスライダ等のオブジェクトが用いられてもよい。

修正情報取得部１７が修正操作は行われなかったと判定した場合、評価システム１による評価方法の一連の処理が終了する。一方、修正情報取得部１７は、入力装置１０５によって修正操作が行われたと判定した場合、修正後のカテゴリを示す情報を、当該修正操作が行われた評価用画像の画像ＩＤとともに修正情報として取得する（ステップＳ０７）。

そして、修正情報取得部１７は、修正情報を送信部１４に出力し、送信部１４は、ネットワークＮＷを介して修正情報を評価装置２０に送信する（ステップＳ０８）。そして、受信部２１は、ユーザ端末１０から送信された修正情報を受信し、修正情報を評価部２２に出力する。なお、送信部１４は、上述のように、修正情報を暗号化し、暗号化された修正情報を評価装置２０に送信してもよい。この場合、受信部２１は、暗号化された修正情報をユーザ端末１０から受信し、暗号化された修正情報を復号して、評価部２２に出力する。

続いて、評価部２２は、修正情報に基づいて学習を行う（ステップＳ０９）。具体的には、評価部２２は、修正後のカテゴリと評価用画像との組を教師データとする。評価部２２は、オンライン学習、ミニバッチ学習、及びバッチ学習のいずれの方法でニューラルネットワークＮＮの学習を行ってもよい。オンライン学習は、新たな教師データを取得するごとにその教師データを用いて学習を行う方法である。ミニバッチ学習は、一定量の教師データを１単位として、１単位の教師データを用いて学習を行う方法である。バッチ学習は、全ての教師データを用いて学習を行う方法である。学習には、バックプロパゲーション等のアルゴリズムが用いられる。なお、ニューラルネットワークＮＮの学習とは、ニューラルネットワークＮＮで用いられる重み係数及びバイアス値をより最適な値に更新することを意味する。

以上のようにして、評価システム１による評価方法の一連の処理が終了する。

なお、ユーザ端末１０及び評価装置２０における各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０及び評価装置２０を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上説明した評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体では、評価対象物の撮像画像から評価領域Ｒｅが抽出され、評価領域Ｒｅに基づいて評価用画像が生成される。そして、評価用画像に基づいてカバレージの評価が行われ、評価結果が出力される。評価領域Ｒｅは、評価対象物に生じている打痕の画像である打痕領域Ｄｅの大きさに基づいて撮像画像から抽出される。具体的には、打痕領域Ｄｅが大きいほど、評価領域Ｒｅ（の面積）が大きくなるように、撮像画像から評価領域Ｒｅが抽出される。これにより、打痕領域Ｄｅの大きさに応じた範囲を対象として、カバレージの評価が行われ、１つの打痕がカバレージに与える影響を低減できる。その結果、カバレージの評価精度を向上させることが可能となる。

より具体的には、打痕領域Ｄｅの大きさ（例えば、平均直径）に予め定められた定数を乗算することで、評価領域Ｒｅの大きさが設定される。このため、打痕領域Ｄｅの大きさに対して、評価領域Ｒｅの範囲（面積）を十分に大きくできるので、１つの打痕がカバレージに与える影響を低減することが可能となる。その結果、カバレージの評価精度を向上させることが可能となる。

打痕領域Ｄｅの大きさを所定の大きさ（例えば、基準粒径）に合わせるように、評価領域Ｒｅが拡大又は縮小される。このため、ニューラルネットワークＮＮによる評価を適切に行うことができる。また、互いに異なる粒径の投射材に対して共通の基準でカバレージを評価することができるので、カバレージの評価精度を向上させることが可能となる。

同じ評価対象物であっても、撮影に用いられた光源の色調によって、撮像画像の色調が変わることがある。また、同じ評価対象物であっても、光の照射量によって、撮像画像の明るさが異なることがある。このため、撮像画像に含まれる参照領域（例えば、マーカ領域Ｒｍにおける領域Ｒｗ）の色に基づいて、評価領域Ｒｅの色が補正される。マーカ領域Ｒｍにおける領域Ｒｗの色が、マーカＭＫにおける領域Ｒｗの色（白色）と異なっている場合、撮像画像における色が光の影響を受けていると考えられる。そこで、マーカ領域Ｒｍにおける領域Ｒｗの色がマーカＭＫにおける領域Ｒｗの色になるように、評価領域Ｒｅの色の補正が行われる。これにより、光の影響を低減することができる。その結果、カバレージの評価精度をさらに向上させることが可能となる。

評価対象物に強い光が照射されると鏡面反射が生じることがあり、その状態で評価対象物が撮像されると撮像画像に白飛びが生じることがある。白飛びが生じている領域では、色情報が失われている。このため、評価領域Ｒｅから鏡面反射（白飛び）を除去することで、色情報が復元され得る。これにより、カバレージの評価精度をさらに向上させることが可能となる。

ニューラルネットワークＮＮを用いてカバレージの評価が行われる。ショットピーニング処理によって評価対象物の表面に生じた模様は、不定形である。このため、一般的な物体検出では、不定形な物体の位置及び状態を特定することが困難であり、パターン認識では無数に存在する模様を認識することには向いていない。これに対し、ニューラルネットワークＮＮを学習させることによって、カバレージの評価が可能となり、カバレージの評価精度をさらに向上させることが可能となる。

（第２実施形態）
図１４は、第２実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１４に示される評価システム１Ａは、ユーザ端末１０に代えてユーザ端末１０Ａを備える点、及び評価装置２０に代えて評価装置２０Ａを備える点において、評価システム１と主に相違する。

ユーザ端末１０Ａは、補正部１３を備えない点、及び評価用画像に代えて撮像画像を評価装置２０Ａに送信する点においてユーザ端末１０と主に相違する。なお、ユーザ端末１０Ａでは、画像取得部１１は、撮像画像を送信部１４に出力する。送信部１４は、撮像画像を評価装置２０Ａに送信する。

評価装置２０Ａは、評価用画像に代えて撮像画像をユーザ端末１０Ａから受信する点、及び補正部２４をさらに備える点において評価装置２０と主に相違する。受信部２１は、撮像画像をユーザ端末１０Ａから受信し、撮像画像を補正部２４に出力する。なお、受信部２１は、撮像画像をユーザ端末１０Ａから取得しているので、画像取得部とみなされ得る。補正部２４は、補正部１３と同様の機能を有する。つまり、補正部２４は、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。そして、補正部２４は、評価用画像を評価部２２に出力する。

次に、図１５を参照して、評価システム１Ａが行う評価方法を説明する。図１５は、図１４に示される評価システムが行う評価方法を示すシーケンス図である。まず、画像取得部１１が評価対象物の撮像画像を取得する（ステップＳ３１）。例えば、画像取得部１１は、ステップＳ０１と同様に、撮像装置１０７によって生成された評価対象物の画像を撮像画像として取得する。

そして、画像取得部１１は、取得した撮像画像を送信部１４に出力し、送信部１４は、ネットワークＮＷを介して撮像画像を評価装置２０Ａに送信する（ステップＳ３２）。このとき、送信部１４は、ユーザ端末１０Ａを一意に識別可能な端末ＩＤとともに、撮像画像を評価装置２０Ａに送信する。そして、受信部２１は、ユーザ端末１０Ａから送信された撮像画像を受信し、撮像画像を補正部２４に出力する。なお、送信部１４は、上述のように、撮像画像を暗号化し、暗号化された撮像画像を評価装置２０Ａに送信してもよい。この場合、受信部２１は、暗号化された撮像画像をユーザ端末１０Ａから受信し、暗号化された撮像画像を復号して、補正部２４に出力する。

続いて、補正部２４は、撮像画像を補正する（ステップＳ３３）。ステップＳ３３の処理は、ステップＳ０２の処理と同様であるので、その詳細な説明を省略する。補正部２４は、ステップＳ３３の補正処理によって補正された撮像画像を評価用画像として、評価部２２に出力する。以降、ステップＳ３４〜ステップＳ３９の処理は、ステップＳ０４〜ステップＳ０９の処理と同様であるので、その詳細な説明を省略する。以上のようにして、評価システム１Ａによる評価方法の一連の処理が終了する。

なお、ユーザ端末１０Ａ及び評価装置２０Ａにおける各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０Ａ及び評価装置２０Ａを構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。

第２実施形態に係る評価システム１Ａ、評価装置２０Ａ、評価方法、評価プログラム、及び記録媒体においても、第１実施形態に係る評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体と同様の効果が奏される。また、第２実施形態に係る評価システム１Ａ、評価装置２０Ａ、評価方法、評価プログラム、及び記録媒体では、ユーザ端末１０Ａが補正部１３を有しないので、ユーザ端末１０Ａの処理負荷を軽減することができる。

（第３実施形態）
図１６は、第３実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１６に示される評価システム１Ｂは、ユーザ端末１０に代えてユーザ端末１０Ｂを備える点、及び評価装置２０を備えない点において、評価システム１と主に相違する。ユーザ端末１０Ｂは、評価部１８をさらに備える点、並びに、送信部１４及び受信部１５を備えない点においてユーザ端末１０と主に相違する。この場合、ユーザ端末１０Ｂは、スタンドアロン型の評価装置でもある。

なお、ユーザ端末１０Ｂでは、補正部１３は、評価用画像を評価部１８に出力する。修正情報取得部１７は、修正情報を評価部１８に出力する。評価部１８は、評価部２２と同様の機能を有する。つまり、評価部１８は、評価用画像に基づいて評価対象物のカバレージの評価を行う。そして、評価部１８は、評価結果を出力部１６に出力する。

次に、図１７を参照して、評価システム１Ｂ（ユーザ端末１０Ｂ）が行う評価方法を説明する。図１７は、図１６に示される評価システムが行う評価方法を示すフローチャートである。

まず、画像取得部１１が、ステップＳ０１と同様に評価対象物の撮像画像を取得する（ステップＳ４１）。そして、画像取得部１１は、撮像画像を補正部１３に出力する。続いて、補正部１３は、撮像画像を補正する（ステップＳ４２）。ステップＳ４２の処理は、ステップＳ０２の処理と同様であるので、その詳細な説明を省略する。そして、補正部１３は、ステップＳ４２の補正処理によって補正された撮像画像を評価用画像として、評価部１８に出力する。

続いて、評価部１８は、評価用画像に基づいて、評価対象物のカバレージの評価を行う（ステップＳ４３）。ステップＳ４３の処理は、ステップＳ０４の処理と同様であるので、その詳細な説明を省略する。そして、評価部１８は、評価結果を出力部１６に出力する。続いて、出力部１６は、評価結果をユーザに通知するための出力情報を生成し、出力情報に基づいて評価結果をユーザに出力する（ステップＳ４４）。ステップＳ４４の処理は、ステップＳ０６の処理と同様であるので、その詳細な説明を省略する。

続いて、修正情報取得部１７は、ユーザによって評価結果の修正操作が行われたか否かを判定する（ステップＳ４５）。修正情報取得部１７が、修正操作が行われなかったと判定した場合（ステップＳ４５：ＮＯ）、評価システム１Ｂによる評価方法の一連の処理は終了する。一方、修正情報取得部１７は、修正操作が行われたと判定した場合（ステップＳ４５：ＹＥＳ）、修正後のカテゴリを示す情報を、当該修正操作が行われた評価用画像の画像ＩＤとともに修正情報として取得する。そして、修正情報取得部１７は、修正情報を評価部１８に出力する。

続いて、評価部１８は、修正情報に基づいて学習を行う（ステップＳ４６）。ステップＳ４６の処理は、ステップＳ０９の処理と同様であるので、その詳細な説明を省略する。以上のようにして、評価システム１Ｂによる評価方法の一連の処理が終了する。

なお、ユーザ端末１０Ｂにおける各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０Ｂを構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。

第３実施形態に係る評価システム１Ｂ、ユーザ端末１０Ｂ、評価方法、評価プログラム、及び記録媒体においても、第１実施形態に係る評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体と同様の効果が奏される。また、第３実施形態に係る評価システム１Ｂ、ユーザ端末１０Ｂ、評価方法、評価プログラム、及び記録媒体では、ネットワークＮＷを介したデータの送受信を行う必要がないので、ネットワークＮＷを介した通信に伴うタイムラグが生じず、応答速度を向上させることが可能となる。また、ネットワークＮＷのトラフィック及び通信料を削減することが可能となる。

なお、本発明に係る評価システム、評価装置、評価方法、評価プログラム、及び記録媒体は上記実施形態に限定されない。

例えば、ユーザによる評価結果の修正を行わない場合には、ユーザ端末１０，１０Ａ，１０Ｂは、修正情報取得部１７を備えていなくてもよい。

また、ニューラルネットワークＮＮでは、バッチ正規化が行われてもよい。バッチ正規化とは、各層の出力値を分散が一定になるように変換する処理である。この場合、バイアス値を用いる必要が無いので、バイアス値を出力するノード（ノード４１ｂ、及びノード４２１ｂ等）が省略され得る。

また、評価部１８，２２は、ニューラルネットワーク以外の手法を用いて、評価用画像に基づいてカバレージの評価を行ってもよい。

また、出力部１６は、評価結果を不図示のメモリ（記憶装置）に出力し、評価結果をメモリに保存してもよい。出力部１６は、例えば、評価結果を一意に識別可能な管理番号、及び当該評価が行われた日付等と評価結果とを対応付けた管理データを作成し、管理データを保存する。

マーカＭＫの形状は、正方形に限られない。マーカＭＫの形状は、長方形であってもよい。

上記実施形態では、マーカＭＫは、マーカＭＫの向きを特定可能な形状を有しているが、マーカＭＫの形状は指向性を有する形状に限られない。マーカＭＫの形状は、無指向性の形状であってもよい。例えば、図１８の（ａ）に示されるように、領域Ｒｂの形状が正方形であり、領域Ｒｗの形状が領域Ｒｂよりも一回り小さい正方形であってもよい。領域Ｒｂの中心点と領域Ｒｗの中心点とが重なり、かつ領域Ｒｂの各辺と領域Ｒｗの各辺とが互いに平行となるように配置されていてもよい。マーカＭＫが無指向性の形状を有している場合、マーカＭＫの形状が単純であるので、マーカＭＫの作成を容易化することができる。また、マーカＭＫの向きは重要ではないので、ユーザが評価対象物の撮影を容易に行うことができる。

図１８の（ｂ）に示されるように、マーカＭＫは、開口部Ｈｍを有してもよい。開口部Ｈｍは、マーカＭＫが描かれるシート状部材を貫通する貫通孔である。開口部Ｈｍの開口面積は、抽出され得る評価領域Ｒｅの面積よりも十分に大きい。このため、補正部１３，２４は、評価領域Ｒｅの抽出の前処理として、撮像画像から開口部Ｈｍを介して露出している領域を抽出してもよい。そして、補正部１３，２４は、抽出した領域に含まれる打痕領域Ｄｅの大きさに基づいて、抽出した領域から評価領域Ｒｅを抽出してもよい。

枠Ｆ２に囲まれていないマーカＭＫを用いた場合、光の反射等に起因してマーカ領域Ｒｍと評価対象物の領域との境界が不明確となることがある。このような場合には、エッジ検出処理では、エッジを検出できない場合がある。物体検出では、判定閾値を小さくし過ぎると誤検出が多くなり、判定閾値を大きくし過ぎると検出漏れが多くなる。また、物体検出自体ではマーカ領域Ｒｍの向き（角度）を得ることができない。さらに、物体検出処理でマーカ領域Ｒｍを抽出した上で、エッジ強調処理を行い、さらにエッジ検出処理を行う場合、検出精度は向上するものの、マーカ領域Ｒｍの外縁部分の色とマーカ領域Ｒｍの周辺の色とがほとんど変わらないような場合には、検出漏れが生じ得る。

一方、図６の（ｂ）〜（ｆ）、図１８の（ｃ）及び（ｄ）に示されるマーカＭＫでは、マーカＭＫが枠Ｆ２によって囲まれており、枠Ｆ２と領域Ｒｂとの間に間隙Ｒｇａｐが設けられる。間隙Ｒｇａｐは、縁Ｆ１に沿って領域Ｒｂを囲んでいる。間隙Ｒｇａｐの色は、マーカＭＫの外縁部分（つまり、領域Ｒｂ）の色とは異なる。このため、マーカ領域Ｒｍの周辺（枠Ｆ２の外側）の色が、マーカ領域Ｒｍの外縁部分（領域Ｒｂ）の色と類似していたとしても、マーカ領域Ｒｍの外縁（縁Ｆ１）は明確であるので、マーカ領域Ｒｍの外縁を検出することができる。例えば、物体検出処理でマーカ領域Ｒｍを抽出した上で、エッジ強調処理を行い、さらにエッジ検出処理を行う場合、領域Ｒｂの頂点（頂点Ｐｍ１〜Ｐｍ４）をより確実に検出することができる。したがって、高速かつ高精度にマーカ領域Ｒｍを抽出することが可能となる。その結果、カバレージの評価精度をさらに向上させることが可能となる。なお、枠Ｆ２と領域Ｒｂとの距離（間隙Ｒｇａｐの幅）は、例えば、間隙Ｒｇａｐを確保するために、マーカＭＫの一辺の１０分の１以上であってもよい。枠Ｆ２と領域Ｒｂとの距離（間隙Ｒｇａｐの幅）は、例えば、マーカＭＫの使いやすさを考慮して、マーカＭＫの一辺の半分以下であってもよい。

また、図１８の（ｃ）及び（ｄ）に示されるように、枠Ｆ２は、マーカＭＫを完全に囲む枠でなくてもよい。つまり、枠Ｆ２には、欠落部Ｆｇａｐが設けられてもよい。例えば、枠Ｆ２は、実線に限られず、破線でもよい。この場合、枠Ｆ２は、枠Ｆ２の枠線が途中で途切れた形状を有する。枠Ｆ２に欠落部Ｆｇａｐが設けられる場合には、エッジ検出処理等によって、枠Ｆ２によって囲まれた領域がマーカ領域Ｒｍとして検出される可能性を低減することができるので、マーカ領域Ｒｍの検出精度が向上する。つまり、枠Ｆ２の頂点が検出される可能性を低減することができるので、マーカ領域Ｒｍ（領域Ｒｂ）の頂点をさらに確実に検出することが可能となる。その結果、カバレージの評価精度をさらに向上させることが可能となる。

図１９に示されるように、補正部１３，２４は、打痕領域Ｄｅに基づいて設定された大きさの評価領域Ｒｅを撮像画像Ｇから抽出する際に、撮像画像Ｇからランダムに評価領域Ｒｅを決定し、決定した評価領域Ｒｅを抽出してもよい。この場合、まず、補正部１３，２４は、評価領域Ｒｅの基準点Ｐｒが取り得る座標の最大値を求める。基準点Ｐｒとは、評価領域Ｒｅの４つの頂点のうちの１つであり、ここでは、評価領域Ｒｅの４つの頂点のうちのＸ−Ｙ座標の原点に最も近い頂点である。例えば、評価領域Ｒｅの一辺の長さが１００ピクセルである場合、基準点ＰｒのＸ座標の最大値ｘ_{ｃｒｏｐ＿ｍａｘ}とＹ座標の最大値ｙ_{ｃｒｏｐ＿ｍａｘ}とは、以下の式（２）で表される。なお、撮像画像Ｇの頂点Ｐｇ１は原点（０，０）に位置し、頂点Ｐｇ２は（Ｘ_ｇ，０）に位置し、頂点Ｐｇ３は（Ｘ_ｇ，Ｙ_ｇ）に位置し、頂点Ｐｇ４は（０，Ｙ_ｇ）に位置する。

補正部１３，２４は、式（３）を用いて、評価領域Ｒｅの基準点の座標（ｘ_ｃｒｏｐ，ｙ_ｃｒｏｐ）をランダムに決定する。なお、関数ｒａｎｄｏｍ（最小値，最大値）は、最小値から最大値までの範囲に含まれる任意の値を返す関数である。

補正部１３，２４は、決定された評価領域Ｒｅとマーカ領域Ｒｍとが重なる場合には、評価領域Ｒｅの基準点の座標を再度決定してもよい。

図２０に示されるように、補正部１３，２４は、マーカ領域Ｒｍから抽出方向を指定して、撮像画像Ｇから評価領域Ｒｅを抽出してもよい。この場合、まず、補正部１３，２４は、撮像画像Ｇの中心位置Ｃｇの座標（ｘ_ｃｇ，ｙ_ｃｇ）と、マーカ領域Ｒｍの中心位置Ｃｍの座標（ｘ_ｃｍ，ｙ_ｃｍ）と、を計算する。そして、補正部１３，２４は、式（４）に示されるように、中心位置Ｃｍから中心位置Ｃｇに向かうベクトルＶを計算する。

補正部１３，２４は、マーカ領域ＲｍからベクトルＶが示す方向において、評価領域Ｒｅの位置を決定する。補正部１３，２４は、例えば、中心位置ＣｍからベクトルＶが示す方向に評価領域Ｒｅの基準点Ｐｒが位置するように、評価領域Ｒｅの位置を決定する。ここでは、基準点Ｐｒは、評価領域Ｒｅの４つの頂点のうちのマーカ領域Ｒｍに最も近い頂点である。補正部１３，２４は、例えば、マーカ領域Ｒｍと重複しないように、評価領域Ｒｅの位置を決定する。具体的には、補正部１３，２４は、基準点Ｐｒが取り得る座標のうち、マーカ領域Ｒｍから最も離れた基準点Ｐｒ＿ｍａｘの座標（ｘ_{ｃｒｏｐ＿ｍａｘ}，ｙ_{ｃｒｏｐ＿ｍａｘ}）と、マーカ領域Ｒｍに最も近い基準点Ｐｒ＿ｍｉｎの座標（ｘ_{ｃｒｏｐ＿ｍｉｎ}，ｙ_{ｃｒｏｐ＿ｍｉｎ}）と、を計算する。そして、補正部１３，２４は、これらの２点間の線分上に基準点Ｐｒが位置するように、評価領域Ｒｅの位置を決定する。

１，１Ａ，１Ｂ…評価システム、１０，１０Ａ，１０Ｂ…ユーザ端末、１１…画像取得部、１３，２４…補正部、１６…出力部、１７…修正情報取得部、１８，２２…評価部、２０，２０Ａ…評価装置、２１…受信部（画像取得部）、２３…送信部（出力部）、Ｄｅ…打痕領域、Ｇ…撮像画像、ＮＮ…ニューラルネットワーク、Ｒｅ…評価領域。

Claims (11)

1. 評価対象物の撮像画像を用いて、前記評価対象物のカバレージの評価を行う評価システムであって、
   前記撮像画像を取得する画像取得部と、
   前記撮像画像を補正することで評価用画像を生成する補正部と、
   前記評価用画像に基づいて前記評価を行う評価部と、
   前記評価部による評価結果を出力する出力部と、
   を備え、
   前記補正部は、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域を抽出し、前記評価領域に基づいて前記評価用画像を生成し、
   前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価システム。
2. 前記補正部は、前記打痕領域の大きさが大きいほど、前記評価領域が大きくなるように、前記撮像画像から前記評価領域を抽出する、請求項１に記載の評価システム。
3. 前記補正部は、前記打痕領域の大きさに予め定められた定数を乗算することで、前記評価領域の大きさを設定し、前記撮像画像から前記評価領域を抽出する、請求項２に記載の評価システム。
4. 前記補正部は、前記打痕領域の大きさを所定の大きさに合わせるように、前記評価領域を拡大又は縮小する、請求項１〜請求項３のいずれか一項に記載の評価システム。
5. 前記補正部は、前記撮像画像に含まれる参照領域の色に基づいて、前記評価領域の色を補正し、
   前記参照領域は、特定の色が付された参照体の画像である、請求項１〜請求項４のいずれか一項に記載の評価システム。
6. 前記補正部は、前記評価領域から鏡面反射を除去する、請求項１〜請求項５のいずれか一項に記載の評価システム。
7. 前記評価部は、ニューラルネットワークを用いて前記評価を行う、請求項１〜請求項６のいずれか一項に記載の評価システム。
8. 評価対象物の撮像画像を用いて、前記評価対象物のカバレージの評価を行う評価装置であって、
   前記撮像画像を取得する画像取得部と、
   前記撮像画像を補正することで評価用画像を生成する補正部と、
   前記評価用画像に基づいて前記評価を行う評価部と、
   前記評価部による評価結果を出力する出力部と、
   を備え、
   前記補正部は、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域を抽出し、前記評価領域に基づいて前記評価用画像を生成し、
   前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価装置。
9. 評価対象物の撮像画像を用いて、前記評価対象物のカバレージの評価を行う評価方法であって、
   前記撮像画像を取得するステップと、
   前記撮像画像を補正することで評価用画像を生成するステップと、
   前記評価用画像に基づいて前記評価を行うステップと、
   前記評価を行うステップにおける評価結果を出力するステップと、
   を備え、
   前記評価用画像を生成するステップでは、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域が抽出され、前記評価領域に基づいて前記評価用画像が生成され、
   前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価方法。
10. コンピュータに、
    評価対象物の撮像画像を取得するステップと、
    前記撮像画像を補正することで評価用画像を生成するステップと、
    前記評価用画像に基づいて、前記評価対象物のカバレージの評価を行うステップと、
    前記評価を行うステップにおける評価結果を出力するステップと、
    を実行させるための評価プログラムであって、
    前記評価用画像を生成するステップでは、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域が抽出され、前記評価領域に基づいて前記評価用画像が生成され、
    前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価プログラム。
11. コンピュータに、
    評価対象物の撮像画像を取得するステップと、
    前記撮像画像を補正することで評価用画像を生成するステップと、
    前記評価用画像に基づいて、前記評価対象物のカバレージの評価を行うステップと、
    前記評価を行うステップにおける評価結果を出力するステップと、
    を実行させるための評価プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記評価用画像を生成するステップでは、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域が抽出され、前記評価領域に基づいて前記評価用画像が生成され、
    前記打痕領域は、前記評価対象物に生じている打痕の画像である、記録媒体。