JP7068746B2 - コンピュータシステム、物体検知方法及びプログラム - Google Patents

Description

本発明は、物体の重量を推測するコンピュータシステム、物体検知方法及びプログラムに関する。

近年、物体が写り込んだ画像を、画像解析することにより、この物体の重量を推測することが行われている。

このような物体の重量を推測する技術として、エレベータの扉を撮影し、エレベータ内に搬入された物体の重量を推測するものが開示されている（特許文献１参照）。この場合、物体の重量を推測する方法として、かごに搬入された物体の画像を、撮影装置等により撮影し、この画像を画像解析することにより、この物体の輪郭を推測している。また、この画像を所定のブロックに分割し、このブロック数と、ブロック位置のばらつきと、推測した物体の輪郭とに基づいて、重量が所定以上であるか否かを判断する。

特開２０１６－１６９０７２号公報

しかしながら、特許文献１の構成では、複数の画像の其々を、複数のブロックに分割するとともに、其々の画像における各ブロックにおける動きベクトルの類似度を算出し、物体の輪郭を推測している。加えて、ブロック数とブロック位置のばらつきとに基づいて、物体の重量が所定以上であるか否かを判断するものに過ぎず、物体の重量そのものを推測するものではなく、あくまでも予め設定された重量を超過しているか否かを判断するものに過ぎなかった。そのため、物体の重量を正確に推測することが困難であった。

本発明は、物体の重量を正確に推測することが容易なコンピュータシステム、物体検知方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、撮影した画像を取得する取得手段と、
前記画像から特徴量を抽出し、物体の全体を検知したか否かを判断する検知手段と、
物体の全体を検知した場合、撮影地点の位置情報に基づいて該撮影地点から検知した前記物体までの間の距離を推測し、該距離と検知した前記物体の前記画像に示すサイズとに基づいて、検知した前記物体の大きさを推測し、前記物体の大きさと検知した前記物体の重量密度とに基づいて、検知した前記物体の重量を前記物体の画像に示すサイズから推測する推測手段と、
物体の全体を検知できなかったと判断した場合に、物体データを取得する物体データ取得手段と、
取得した物体データに基づいて、検知した物体において欠けている部分を補完する物体補完手段と、
を備えることを特徴とするコンピュータシステムを提供する。

本発明によれば、コンピュータシステムは、撮影した画像を取得し、前記
画像から特徴量を抽出し、物体の全体を検知したか否かを判断し、物体の全体を検知した場合、撮影地点の位置情報に基づいて撮影地点から検知した物体までの間の距離を推測し、距離と検知した物体の画像に示すサイズとに基づいて、検知した物体の大きさを推測し、物体の大きさと検知した前記物体の重量密度とに基づいて、検知した前記物体の重量を前記物体の画像に示すサイズから推測し、物体の全体を検知できなかったと判断した場合に、物体データを取得し、取得した物体データに基づいて、検知した物体において欠けている部分を補完する。

本発明は、コンピュータシステムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

本発明によれば、物体の重量を正確に推測することが容易なコンピュータシステム、物体検知方法及びプログラムを提供することが可能となる。

図１は、物体検知システム１の概要を示す図である。 図２は、物体検知システム１の全体構成図である。 図３は、コンピュータ１０が実行する第一の物体検知処理を示すフローチャートである。 図４は、コンピュータ１０が実行する第二の物体検知処理を示すフローチャートである。 図５は、コンピュータ１０が実行する第三の物体検知処理を示すフローチャートである。 図６は、コンピュータ１０が実行する学習処理を示すフローチャートである。 図７は、物体テーブルの一例を示す図である。 図８は、画像の一例を示す図である。 図９は、画像の一例を示す図である。 図１０は、画像の一例を示す図である。 図１１は、通知画面の一例を示す図である。 図１２は、画像に所定領域を重畳させた状態の一例を示す図である。 図１３は、画像に所定領域を重畳させた状態の一例を示す図である。 図１４は、通知画面の一例を示す図である。 図１５は、画像の一例を示す図である。 図１６は、画像を補完した補完後画像の一例を示す図である。 図１７は、通知画面の一例を示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。

［物体検知システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である物体検知システム１の概要を説明するための図である。物体検知システム１は、コンピュータ１０から構成され、物体の重量を推測するコンピュータシステムである。

なお、物体検知システム１は、コンピュータ１０に加え、物体を撮影する撮影装置、推測した重量を表示する端末装置、利用者から所定の入力を受け付ける利用者端末等のその他の装置類が含まれていてもよい。

コンピュータ１０は、図示していないその他の装置類と公衆回線網等を介してデータ通信可能に接続されており、必要なデータの送受信を実行する。

コンピュータ１０は、図示していない撮影装置が物体（例えば、ショベルカー等の重機、野菜等の農作物、人）を撮影した画像を、画像データとして取得する。この画像データには、撮影地点の位置情報が含まれる。この撮影地点の位置情報は、撮影装置が、自身の現在位置を、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等から取得し、この取得した自身の現在位置を撮影地点の位置情報としたものである。

コンピュータ１０は、この画像データに含まれる画像を、画像解析し、その特徴量（例えば、画素値の平均、分散、ヒストグラム等の統計的な数値や物体の形状、輪郭）を抽出する。コンピュータ１０は、この抽出した特徴量に基づいて、この画像に写っている物体を検知する。

コンピュータ１０は、この検知した物体の重量を推測する。例えば、コンピュータ１０は、撮影地点の位置情報に基づいて、撮影地点から物体までの間の距離を推測し、この距離と、画像における物体のサイズ（面積）とに基づいて、物体の大きさ（体積）を推測する。コンピュータ１０は、この物体の大きさと、検知した物体の重量密度とに基づいて、この物体の重量を推測する。

また、コンピュータ１０は、この検知した物体の実際の重量と、取得したこの物体の画像との相関関係を学習することにより、この物体の重量を推測する。例えば、コンピュータ１０は、新たに画像データを取得した際、学習の結果を加味して、この新たに取得した画像データに写り込んでいる物体の重量を推測する。このとき、コンピュータ１０は、相関関係として学習するものとして、物体の密度、名称、大きさ又は物体までの距離の少なくとも一つを利用する。

物体検知システム１が実行する処理の概要について説明する。

はじめに、コンピュータ１０は、画像データを取得する（ステップＳ０１）。コンピュータ１０は、図示していない撮影装置が撮影した画像及びこの撮影装置の位置情報（撮影地点の位置情報）を、画像データとして取得する。撮影装置は、ＧＰＳ等から自身の位置情報を取得し、この位置情報を、撮影地点の位置情報として、コンピュータ１０が取得する。

コンピュータ１０は、この画像データに基づいて、画像解析を実行し、この画像データにおける画像の特徴量を抽出する（ステップＳ０２）。コンピュータ１０は、画像の特徴量として、画素値の平均、分散、ヒストグラム等の統計的な数値や物体の形状、輪郭等を抽出する。

コンピュータ１０は、抽出した特徴量に基づいて、この画像に写り込んでいる物体を検知する（ステップＳ０３）。コンピュータ１０は、様々な物体の識別子（名称、型番、製品番号等）と、各物体の特徴量とを対応付けた物体テーブルを参照し、今回抽出した特徴量に該当する物体の識別子を特定し、物体を検知する。

コンピュータ１０は、この検知した物体の重量を、物体の画像に示すサイズから推測する（ステップＳ０４）。コンピュータ１０は、例えば、検知した物体の画像に示すサイズ（すなわち、この物体の画像における面積）に基づいて、この物体の重量を推測する。

また、コンピュータ１０は、この画像の撮影地点から物体までの間の距離を、３点測量等の方法により推測し、この距離と、画像に示す物体のサイズとに基づいて、その重量を推測する。このとき、コンピュータ１０は、物体の識別子（名称、型番、製品番号等）と、各物体の大きさ（体積）と、各物体の重量密度とを対応付けた重量テーブルを参照し、今回検知した物体の重量を推測する。コンピュータ１０は、今回検知した物体の識別子に対応付けられた大きさ及び重量密度を、重量テーブルを参照することにより特定し、この特定した大きさ及び重量密度と、推測したサイズとに基づいて、物体の重量を推測する。

さらに、コンピュータ１０は、検知した物体の実際の重量と、今回取得した画像との相関関係（物体の密度、名称、大きさ又は物体までの距離の少なくとも一つの相関関係）を学習する。コンピュータ１０は、次回以降において、取得した画像に写り込んだ物体の重量を推測する際、この学習結果を加味して、物体の重量を推測する。

以上が、物体検知システム１の概要である。

［物体検知システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である物体検知システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である物体検知システム１のシステム構成を示す図である。図２において、物体検知システム１は、コンピュータ１０から構成され、物体の重量を推測するコンピュータシステムである。コンピュータ１０は、図示していない上述した撮影装置、端末装置、利用者端末等のその他の装置類と、公衆回線網等を介して、データ通信可能に接続されている。

コンピュータ１０は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、その他の端末や機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、コンピュータ１０は、記憶部として、ハードディスクや半導体メモリ、記憶媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部として、各種処理を実行する各種デバイス等を備える。

コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、画像データ取得モジュール２０、通知モジュール２１、物体指定データ取得モジュール２２、領域指定データ取得モジュール２３、物体データ取得モジュール２４、実重量データ取得モジュール２５を実現する。また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、記憶部と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、特徴量抽出モジュール４０、物体検知モジュール４１、距離推測モジュール４２、サイズ推測モジュール４３、大きさ推測モジュール４４、重量推測モジュール４５、物体補完モジュール４６、学習モジュール４７を実現する。

［第一の物体検知処理］
図３に基づいて、物体検知システム１が実行する第一の物体検知処理について説明する。図３は、コンピュータ１０が実行する第一の物体検知処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

画像データ取得モジュール２０は、図示していない撮影装置が撮影した画像及びこの撮影装置の位置情報を、画像データとして取得する（ステップＳ１０）。ステップＳ１０において、撮影装置は、自身が撮影した画像と、ＧＰＳ等から取得した自身の位置情報とを、画像データとしてコンピュータ１０に送信する。この撮影装置が取得する自身の位置情報が、撮影地点の位置情報となる。画像データ取得モジュール２０は、この画像データを受信することにより、撮影装置が撮影した画像及びこの画像の撮影地点の位置情報を取得する。

特徴量抽出モジュール４０は、取得した画像データに基づいて、この画像データに含まれる画像を、画像解析し、この画像の特徴量を抽出する（ステップＳ１１）。ステップＳ１１において、特徴量抽出モジュール４０は、特徴量として、画素値の平均、分散、ヒストグラム等の統計的な数値や物体の形状、輪郭等を抽出する

物体検知モジュール４１は、抽出した特徴量に基づいて、この画像に物体が写り込んでいるか否かを判断する（ステップＳ１２）。ステップＳ１２において、物体検知モジュール４１は、予め記憶モジュール３０が記憶した様々な物体の識別子（名称、型番、製品番号等）と、物体の特徴量（一又は複数）とを対応付けた物体テーブルを参照することにより、抽出した特徴量に該当する物体がこの画像に写り込んでいるか否かを判断する。例えば、記憶モジュール３０は、重機の識別子（重機名、販売メーカー別に分類された重機名、型番、製品番号等）と、この重機の特徴量とを対応付けて、物体テーブルとして記憶する。また、記憶モジュール３０は、農作物の識別子（農作物名、生産者別に分類された農作物名、個々の農作物を識別可能な識別番号等）と、この農作物の特徴量とを対応付けて、物体テーブルとして記憶する。また、記憶モジュール３０は、人の識別子（年齢、性別、人種、身長、体重等）と、この人の特徴量とを対応付けて、物体テーブルとして記憶する。

物体検知モジュール４１は、今回抽出した特徴量と、物体テーブルとを比較し、この特徴量に該当する物体が、物体テーブルとして記憶されているか否かを判断することにより、画像に物体が写り込んでいるか否かを判断する。

ステップＳ１２において、物体検知モジュール４１は、画像に物体が写り込んでいないと判断した場合（ステップＳ１２ ＮＯ）、コンピュータ１０は、本処理を終了する。

一方、ステップＳ１２において、物体検知モジュール４１は、画像に物体が写り込んでいると判断した場合（ステップＳ１２ ＹＥＳ）、物体検知モジュール４１は、この画像に写り込んでいる物体を検知する（ステップＳ１３）。ステップＳ１３において、物体検知モジュール４１は、抽出した特徴量と、物体テーブルとを比較した結果、抽出した特徴量に該当する物体の識別子をこの画像に写り込んでいる物体として検知する。

距離推測モジュール４２は、画像データに含まれる撮影地点の位置情報に基づいて、撮影装置から物体までの間の距離を推測する（ステップＳ１４）。ステップＳ１４において、距離推測モジュール４２は、例えば、三角測量により、撮影位置から物体までの距離を推測する。このとき、距離推測モジュール４２は、予めこの撮影地点を通過する基線の両端の点を把握しておくことにおり、撮影地点から物体までの間の距離を推測する。

なお、距離推測モジュール４２が撮影装置から物体までの間の距離を推測する方法は、上述した例に限らず適宜変更可能である。

サイズ推測モジュール４３は、検知した物体の画像におけるサイズ（面積）を推測する（ステップＳ１５）。ステップＳ１５において、サイズ推測モジュール４３は、例えば、検知した物体の輪郭や形状に基づいて、物体が存在する領域を、この物体のサイズとして推測する。サイズ推測モジュール４３は、例えば、この領域のピクセル数の総和をサイズとして推測する。

なお、サイズ推測モジュール４３が物体のサイズを推測する方法は、上述した例に限らず、適宜変更可能である。

大きさ推測モジュール４４は、推測した撮影地点から物体までの間の距離と、推測した物体のサイズとに基づいて、この物体の大きさ（体積）を推測する（ステップＳ１６）。ステップＳ１６において、大きさ推測モジュール４４は、画像に対する物体のサイズと、距離との比率に基づいて、この物体の大きさを推測する。

なお、大きさ推測モジュール４４が物体の大きさを推測する方法は、上述した例に限らず、適宜変更可能である。

重量推測モジュール４５は、予め記憶モジュール３０が記憶した物体の識別子（名称、型番、製品番号等）と、物体の大きさと、重量密度とを対応付けた重量テーブルを参照することにより、この物体の重量を推測する（ステップＳ１７）。ステップＳ１７において、重量推測モジュール４５は、今回検知した物体の識別子及びこの物体の大きさに基づいて、この重量テーブルを参照し、検知した物体に該当する重量密度を特定する。重量推測モジュール４５は、この特定した重量密度と、推測した物体の大きさとに基づいて、この物体の重量を推測する。

図７に基づいて、記憶モジュール３０が記憶する重量テーブルについて説明する。図７は、記憶モジュール３０が記憶する重量テーブルを模式的に示した図である。図７において、記憶モジュール３０は、物体の識別子である物体の名称と、物体の大きさ（体積）と、物体の重量密度とを対応付けて、重量テーブルに登録し、この登録した重量テーブルを、記憶する。例えば、記憶モジュール３０は、物体の名称であるショベルカー（小）と、物体の大きさであるＶ１と、物体の重量密度であるＤ１とを対応付けて重量テーブルとして登録する。また、同様に、記憶モジュール３０は、ショベルカー（大）と、Ｖ２と、Ｄ２とを対応付けて重量テーブルとして登録する。また、同様に、記憶モジュール３０は、キャベツと、Ｖ３と、Ｄ３とを対応付けて重量テーブルとして登録する。また、同様に、記憶モジュール３０は、人（男性、２０代）と、Ｖ４と、Ｄ４とを対応付けて重量テーブルとして登録する。これらのデータは、利用者端末からの入力や外部コンピュータ等を介して取得されるものであり、記憶モジュール３０は、これらのデータを重量テーブルに登録し、この重量テーブルを記憶する。

なお、重量テーブルとして登録される物体の識別子は、名称に限らずその他のものであってもよい。また、物体が人である場合、識別子として、年齢、性別、人種、身長、体重等を一又は複数組み合わせたものと、大きさと、重量密度とを対応付けてもよい。

また、重量推測モジュール４５は、物体の重量を推測する際、重量テーブルを参照する方法以外の方法で、物体の重量を推測してもよい。例えば、重量推測モジュール４５は、物体の識別子と大きさと重量密度との関数に基づいて、物体の重量を推測してもよい。

通知モジュール２１は、推測した重量を、利用者端末等に通知する（ステップＳ１８）。ステップＳ１８において、通知モジュール２１は、取得した画像に、推測した物体の識別子及び重量を重畳させた重量通知を生成し、この生成した重量通知を、利用者端末等に通知する。利用者端末等は、この通知を取得し、自身の表示部等に表示することにより、利用者に対して、この物体の重量を通知する。このようにして、コンピュータ１０は推測した物体の重量を、利用者端末等に表示させることにより、利用者にこの物体の重量を通知する。

以上が、第一の物体検知処理である。

上述したコンピュータ１０が実行する第一の物体検知処理について、重機、農作物及び人の其々の重量を推測する方法を、説明する。

図８、図９及び図１０に基づいて、コンピュータ１０が物体として、重機、農作物、人の其々の重量を推測する方法について説明する。図８、図９及び図１０は、画像データ取得モジュール２０が取得した画像データの一例を示す図である。其々の画像データには、画像に加え、其々の撮影地点の位置情報が含まれている。図８は、重機としてショベルカーの画像である。図９は、農作物としてキャベツの画像である。図１０は、人の画像である。

画像データ取得モジュール２０は、上述したステップＳ１０の処理により、図８、図９及び図１０に示す画像データを取得する。

特徴量抽出モジュール４０は、上述したステップＳ１１の処理により、其々の画像データに対して、特徴量を抽出する。

物体検知モジュール４１は、上述したステップＳ１２及びＳ１３の処理により、この画像に写り込んでいる物体を検知する。物体検知モジュール４１は、図８に示す画像から抽出した特徴量に基づいて、物体として、ショベルカー（小）１００を検知する。また、物体検知モジュール４１は、図９に示す画像から抽出した特徴量に基づいて、物体として、キャベツ１１０を検知する。物体検知モジュール４１は、図１０に示す画像から抽出した特徴量に基づいて、物体として、人（男性、２０代）１２０を検知する。

なお、人や農作物等の近距離に複数の物体が存在するものを検知した場合、各物体を個別に検知する。

距離推測モジュール４２は、上述したステップＳ１４の処理により、撮影装置から物体までの間の距離を推測する。

サイズ推測モジュール４３は、上述したステップＳ１５の処理により、物体の画像におけるサイズ（面積）を其々推測する。すなわち、サイズ推測モジュール４３は、ショベルカー（小）１００の画像におけるサイズを推測し、キャベツ１１０の画像におけるサイズを推測し、人（男性、２０代）１２０の画像におけるサイズを推測する。

大きさ推測モジュール４４は、上述したステップＳ１６の処理により、物体の大きさ（体積）を推測する。すなわち、大きさ推測モジュール４４は、ショベルカー（小）１００の大きさを推測し、キャベツ１１０の大きさを推測し、人（男性、２０代）１２０の大きさを推測する。

重量推測モジュール４５は、上述したステップＳ１７の処理により、物体の重量を推測する。重量推測モジュール４５は、物体の識別子が「ショベルカー（小）」であることから、重量テーブルを参照し、この「ショベルカー（小）」に対応付けられた重量密度Ｄ１を特定する。重量推測モジュール４５は、この特定した重量密度Ｄ１と、推測した大きさとに基づいて、このショベルカー（小）１００の重量Ｗ１を推測する。同様に、重量推測モジュール４５は、物体の識別子が「キャベツ」であることから、重量テーブルを参照し、この「キャベツ」に対応付けられた重量密度Ｄ３を特定する。重量推測モジュール４５は、この特定した重量密度Ｄ３と、推測した大きさとに基づいて、このキャベツ１１０の重量Ｗ３を推測する。同様に、重量推測モジュール４５は、物体の識別子が「人（男性、２０代）」であることから、重量テーブルを参照し、この「人（男性、２０代）」に対応付けられた重量密度Ｄ４を特定する。重量推測モジュール４５は、この特定した重量密度Ｄ４と、推測した大きさとに基づいて、この人（男性、２０代）１２０の重量Ｗ４を推測する。

通知モジュール２１は、上述したステップＳ１８の処理により、推測した重量を通知する。図１１に基づいて、通知モジュール２１が利用者端末等に通知する通知画面について説明する。図１１は、通知モジュール２１が利用者端末等に物体の重量を通知する通知画面の一例を示す図である。上述した三つの物体のうち、ショベルカー（小）を例として説明する。通知モジュール２１は、キャベツ及び人についても同様に、通知する。

通知モジュール２１は、通知画面として、取得した画像に、物体の識別子（ここでは、識別子として名称であるショベルカー（小））と、推測した重量Ｗ１とを、重畳させた画面を、通知画面として利用者端末等に表示させる。通知モジュール２１は、この通知画面として、特定した物体を囲む、強調表示、色変更等の加工を行い、どの物体を特定したかを明確にする。最終的に、通知モジュール２１は、通知画面として、ショベルカー（小）１００を囲んだ囲み線、物体の識別子及び重量を、取得した画像に重畳させたものを、通知画面として利用者端末等に表示させる。

通知モジュール２１は、他のキャベツ１１０及び人１２０についても、同様に、キャベツ１００を囲んだ囲み線、識別子及び重量を、取得した画像に重畳させたものを、通知画面として利用者端末等に表示させ、人１２０を囲んだ囲み線、識別子及び重量を、取得した画像に重畳させたものを、通知画面として利用者端末等に表示させる。

以上が、第一の物体検知処理における実際の物体を例とする説明である。

［第二の物体検知処理］
図４に基づいて、物体検知システム１が実行する第二の物体検知処理について説明する。図４は、コンピュータ１０が実行する第二の物体検知処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

なお、上述した第一の物体検知処理と同様の処理については、その詳細な説明は省略する。

はじめに、物体指定データ取得モジュール２２は、検知する物体を指定する物体指定データを取得したか否かを判断する（ステップＳ２０）。ステップＳ２０において、物体指定データ取得モジュール２２は、土や土砂（災害により発生したものや工事中の掘削物等）、水、一面の農作物等の所定の範囲に亘って存在する物体を指定するデータを、物体指定データとして取得する。このとき、利用者端末等が、検知する物体を指定する入力を受け付け、この入力を受け付けた物体を、物体指定データとしてコンピュータ１０に送信する。物体指定データ取得モジュール２２は、この利用者端末が送信した物体指定データを受信することにより、この物体指定データを取得する。

なお、物体指定データ取得モジュール２２が取得する物体指定データの送信元は、適宜変更可能である。また、本処理は、必ずしも実行される必要はない、この場合、コンピュータ１０は、後述するステップＳ２１以降の処理を実行すればよい。

ステップＳ２０において、物体指定データ取得モジュール２２は、物体指定データを取得していないと判断した場合（ステップＳ２０ ＮＯ）、本処理を終了する。なお、この場合、コンピュータ１０は、上述した第一の物体検知処理を実行すればよい。

一方、ステップＳ２０において、物体指定データ取得モジュール２２は、物体指定データを取得したと判断した場合（ステップＳ２０ ＹＥＳ）、画像データ取得モジュール２０は、画像データを取得する（ステップＳ２１）。ステップＳ２１の処理は、上述したステップＳ１０の処理と同様である。また、このとき、撮影装置は、コンピュータ１０に加え、図示していない利用者端末に画像データを送信する。利用者端末は、この画像データを受信し、後述する処理に画像データに含まれる画像を用いる。

領域指定データ取得モジュール２３は、取得した画像に対する所定領域を指定する領域指定データを取得する（ステップＳ２２）。ステップＳ２２において、端末装置が、画像データを受信することにより、この端末装置と、コンピュータ１０とが同一の画像データを受信する。利用者端末は、この画像データに基づいた画像を自身の表示部に表示し、利用者からのタップ操作等の入力を受け付け、この画像に対する利用者からの所定領域を指定する入力を受け付ける。利用者端末は、この所定領域の画像における座標を特定する。例えば、端末装置は、この領域が矩形である場合、各頂点の座標を特定し、この矩形で囲まれた領域を所定領域として特定する。また、利用者端末は、この領域が円形である場合、中心の座標を特定し、この中心から円周までの半径を特定し、この円形で囲まれた領域を所定領域として特定する。利用者端末は、この特定した所定領域を、領域指定データとして、コンピュータ１０に送信する。領域指定データ取得モジュール２３は、この領域指定データを受信することにより、画像に対する所定領域を指定する領域指定データを取得する。

特徴量抽出モジュール４０は、取得した画像データに基づいて、この画像を画像解析し、この画像の特徴量を抽出する（ステップＳ２３）。ステップＳ２３の処理は、上述したステップＳ１１の処理と同様である。

物体検知モジュール４１は、抽出した特徴量に基づいて、所定領域に写り込んでいる物体を検知する（ステップＳ２４）。ステップＳ２４において、物体検知モジュール４１は、取得した領域指定データに基づいて、この所定領域に該当する領域を特定する。例えば、物体検知モジュール４１は、所定領域が矩形である場合、この矩形の各頂点の座標を、領域指定データに基づいて特定し、各頂点を結んだ矩形の領域を、指定された所定領域であるものとして特定する。また、物体検知モジュール４１は、所定領域が円形である場合、この円形の中心座標及び半径を、領域指定データに基づいて特定し、この円に囲まれた領域を、指定された所定領域であるものとして特定する。物体検知モジュール４１は、この所定領域に囲まれた領域に写り込んでいる物体を検知する。物体検知モジュール４１が物体を検知する方法は、上述したステップＳ１２及びＳ１３の処理と同様である。

距離推測モジュール４２は、画像データに含まれる撮影地点の位置情報に基づいて、撮影装置から物体までの間の距離を推測する（ステップＳ２５）。ステップＳ２５の処理は、上述したステップＳ１４の処理と同様である。

サイズ推測モジュール４３は、検知した所定領域内に写り込んでいる物体の画像におけるサイズ（面積）を推測する（ステップＳ２６）。ステップＳ２６の処理は、上述したステップＳ１５の処理と同様である。

大きさ推測モジュール４４は、推測した距離と、推測したサイズとに基づいて、この物体の大きさ（体積）を推測する（ステップＳ２７）。ステップＳ２７の処理は、上述したステップＳ１６の処理と同様である。

重量推測モジュール４５は、予め記憶モジュール３０が記憶した物体の識別子（名称、型番、製品番号等）と、物体の大きさと、重量密度とを対応付けた重量テーブルを参照することにより、この物体の重量を推測する（ステップＳ２８）。ステップＳ２８の処理は、上述したステップＳ１７の処理と同様である。

通知モジュール２１は、推測した重量を、利用者端末に通知する（ステップＳ２９）。ステップＳ２９の処理は、上述したステップＳ１８の処理と同様である。

以上が、第二の物体検知処理である。

上述したコンピュータ１０が実行する第二の物体検知処理について、重機及び農作物の其々の重量を推測する方法を、説明する。なお、人に対しても同様の方法で重量を推測可能である。

図１２及び図１３に基づいて、コンピュータ１０が物体として、重機及び農作物の其々の重量を推測する方法について説明する。図１２及び図１３は、画像データ取得モジュール２０が取得した画像に対して、領域指定データ取得モジュール２３が取得した領域指定データに基づいて指定された所定領域を重畳させた状態の一例を示す図である。其々の画像データには、画像に加え、其々の撮影地点の位置情報が含まれている。図１２は、土砂を含んだ画像及び指定された所定領域を画像に重畳させたものである。図１３は、農作物の画像及び指定された所定領域を画像に重畳させたものである。

物体指定データ取得モジュール２２は、上述したステップＳ２０の処理により、物体指定データを取得する。ここで、物体指定データ取得モジュール２２は、図１２においては、「土砂」を物体指定データとして取得し、図１３においては、「キャベツ」を物体指定データとして取得する。

画像データ取得モジュール２０は、上述したステップＳ２１の処理により、画像データを取得する

領域指定データ取得モジュール２３は、上述したステップＳ２２の処理により、領域指定データを取得する。

特徴量抽出モジュール４０は、上述したステップＳ２３の処理により、画像の特徴量を抽出する。

物体検知モジュール４１は、上述したステップＳ２４の処理により、上述した特徴量に基づいて、指定された所定領域に写り込んでいる物体を検知する。図１２において、物体検知モジュール４１は、物体として「土砂」が指定されており、加えて、指定された所定領域２００が存在することから、この所定領域２００内に存在する土砂を検知する。また、同様に、図１３において、物体検知モジュール４１は、物体として「キャベツ」が指定されており、加えて、指定された所定領域２１０が存在することから、この所定領域２１０内に存在するキャベツを検知する。

距離推測モジュール４２は、上述したステップＳ２５の処理により、撮影装置から物体までの間の距離を推測する。

サイズ推測モジュール４３は、上述したステップＳ２６の処理により、この所定領域内に写り込んでいる物体の画像におけるサイズ（面積）を推測する。サイズ推測モジュール４３は、この所定領域２００内に存在する土砂のサイズ及びこの所定領域２１０内に存在するキャベツのサイズを推測する。

このとき、図１２に示すように、所定領域２００内に他の物体が写り込んでいる場合、この他の物体に該当する箇所を対象となる物体が存在するものとして物体の画像におけるサイズを推測する。具体的には、サイズ推測モジュール４３は、所定領域２００に存在する重機のサイズを、土砂のサイズに加算して、この所定領域２００内に存在する土砂のサイズを推測する。これは、重機等の大きな物体が対象とする物体を隠すような場合においては有効となる。

また、図１３に示すように、所定領域２１０内に他の物体が写り込んでいる場合、この他の物体に該当する箇所を対象となる物体が存在しないものとして物体の画像におけるサイズを推測する。具体的には、サイズ推測モジュール４３は、所定領域２１０に存在するキャベツのうち、一玉が完全にこの所定領域２１０内に含まれていないキャベツのサイズを除外し、一玉が完全にこの所定領域２１０内に含まれているキャベツのサイズのみに基づいて、この所定領域２１０内に存在するキャベツのサイズを推測する。これは、農作物等の物体の一部だけが所定領域内に存在するような場合において有効となる。

大きさ推測モジュール４４は、上述したステップＳ２７の処理により、この物体の大きさ（体積）を推測する。すなわち、大きさ推測モジュール４４は、所定領域２００における土砂の大きさを推測し、所定領域２１０におけるキャベツの大きさを推測する。

重量推測モジュール４５は、上述したステップＳ２８の処理により、物体の重量を推測する。重量推測モジュール４５は、物体の識別子が「土砂」であることから、重量テーブルを参照し、この「土砂」に対応付けられた重量密度Ｄ５を特定する。重量推測モジュール４５は、この特定した重量密度Ｄ５と推測した大きさとに基づいて、この所定領域２００内に存在する「土砂」の重量Ｗ５を推測する。同様に、重量推測モジュール４５は、物体の識別子が「キャベツ」であることから、重量テーブルを参照し、この「キャベツ」に対応付けられた重量密度Ｄ３を特定する。重量推測モジュール４５は、この特定した重量密度Ｄ３と推測した大きさとに基づいて、所定領域２１０内に存在する「キャベツ」の重量Ｗ６を推測する。

通知モジュール２１は、上述したステップＳ２９の処理により、推測した重量を通知する。図１４に基づいて、通知モジュール２１が利用者端末等に通知する通知画面について説明する。図１４は、通知モジュール２１が利用者端末等に所定領域内に写り込んだ物体の重量を通知する通知画面の一例を示す図である。上述した二つの物体のうち、土砂を例として説明する。通知モジュール２１は、キャベツについても同様に、通知する。

通知モジュール２１は、通知画面として、取得した画像に、物体の識別子（ここでは、識別子として土砂）と、推測した重量Ｗ５ｋｇと、所定領域２００とを重畳させた画面を通知画面として利用者端末等に表示させる。

通知モジュール２１は、キャベツについても、同様に、所定領域２００、物体の識別子及び重量を、取得した画面に重畳させたものを、通知画面として利用者端末に表示させる。

なお、説明は、省略しているが、物体が人である場合についても上述した土砂やキャベツと同様の処理を実行すればよい。通知モジュール２１は、この通知画面として、所定領域を強調表示、色変更等の加工を行い、画像におけるどの場所に写り込んだ物体を特定したかを明確にする。最終的に、通知モジュール２１は、通知画面として、所定領域、物体の識別子及び重量を、取得した画面に重畳させたものを、通知画面として利用者端末に表示させる。

以上が、第二の物体検知処理における実際の物体を例とする説明である。

［第三の物体検知処理］
図５に基づいて、物体検知システム１が実行する第三の物体検知処理について説明する。図５は、コンピュータ１０が実行する第三の物体検知処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

なお、上述した第一の物体検知処理又は第二の物体検知処理と同様の処理については、その詳細な説明は省略する。

はじめに、画像データ取得モジュール２０は、図示していない撮影装置が撮影した画像及びこの撮影装置の位置情報を、画像データとして取得する（ステップＳ３０）。ステップＳ３０の処理は、上述したステップＳ１０の処理と同様である。

特徴量抽出モジュール４０は、取得した画像データに基づいて、この画像データに含まれる画像を、画像解析し、この画像の特徴量を抽出する（ステップＳ３１）。ステップＳ３１の処理は、上述したステップＳ１１の処理と同様である。

物体検知モジュール４１は、抽出した特徴量に基づいて、この画像に物体が写り込んでいるか否かを判断する（ステップＳ３２）。ステップＳ３２の処理は、上述したステップＳ１２の処理と同様である。

ステップＳ３２において、物体検知モジュール４１は、画像に物体が写り込んでいないと判断した場合（ステップＳ３２ ＮＯ）、コンピュータ１０は、本処理を終了する。

一方、ステップＳ３２において、物体検知モジュール４１は、画像に物体が写り込んでいると判断した場合（ステップＳ３２ ＹＥＳ）、物体検知モジュール４１は、この画像に写り込んでいる物体を検知する（ステップＳ３３）。ステップＳ３３の処理は、上述したステップＳ１３の処理と同様である。

物体検知モジュール４１は、物体の全体を検知したか否かを判断する（ステップＳ３４）。ステップＳ３４において、物体検知モジュール４１は、検知した物体の一部が、画像の端（例えば、画像が矩形である場合、物体の一部が各辺に接触又は物体の一部が各辺の何れかの位置にある）にあるか否かを判断する。また、物体検知モジュール４１は、検知した物体の輪郭や形状の一部が途中で途切れているか否かを判断する。

なお、物体検知モジュール４１は、上述した方法以外の方法により、全体を検知したか否かを判断してもよい。

ステップＳ３４において、物体検知モジュール４１は、物体の全体を検知したと判断した場合（ステップＳ３４ ＹＥＳ）、コンピュータ１０は、本処理を終了する。なお、この場合、コンピュータ１０は、上述した第一の物体検知処理を実行すればよい。

一方、ステップＳ３４において、物体検知モジュール４１は、物体の全体を検知できなかったと判断した場合（ステップＳ３４ ＮＯ）、物体データ取得モジュール２４は、外部コンピュータや記憶モジュール３０が予め記憶するこの物体の識別子に該当する物体の画像やサイズや大きさ等に関するデータである物体データを取得する（ステップＳ３５）。ステップＳ３５において、物体データ取得モジュール２４は、検知した物体の識別子を、外部コンピュータや記憶モジュール３０が記憶する各種テーブル等を参照することにより、この物体の識別子に該当する物体データを取得する。

物体補完モジュール４６は、取得した物体データに基づいて、検知した物体において、欠けている部分を補完する（ステップＳ３６）。ステップＳ３６において、物体補完モジュール４６は、取得した物体データにおける画像と、今回検知した物体の画像とを比較し、その比率を推測する。物体補完モジュール４６は、推測した比率に基づいて、取得した物体データにおける画像を縮小又は拡大することにより補正する。物体補完モジュール４６は、この補正後の画像と、検知した物体とを比較する。物体補完モジュール４６は、この検知した物体に欠けている部分を、この補正後の画像において特定する。物体補完モジュール４６は、この特定した部分を、検知した物体の画像につなげることにより、物体の全体を画像として疑似的に補正し、欠けている部分を補完する。

距離推測モジュール４２は、画像データに含まれる撮影地点の位置情報に基づいて、撮影装置から物体までの間の距離を推測する（ステップＳ３７）。ステップＳ３７の処理は、上述したステップＳ１４の処理と同様である。

サイズ推測モジュール４３は、補完した物体の画像と、取得した物体データとに基づいて、この補完後の画像に写っている物体のサイズ（面積）を推測する（ステップＳ３８）。ステップＳ３８の処理は、上述したステップＳ１５の処理と同様である。

大きさ推測モジュール４４は、推測した撮影地点から物体までの間の距離と、推測した物体のサイズとに基づいて、この物体の大きさ（体積）を推測する（ステップＳ３９）。ステップＳ３９の処理は、上述したステップＳ１６の処理と同様である。

重量推測モジュール４５は、重量テーブルを参照することにより、この物体の重量を推測する（ステップＳ４０）。ステップＳ４０の処理は、上述したステップＳ１７の処理と同様である。

通知モジュール２１は、推測した重量を、利用者端末に通知する（ステップＳ４１）。ステップＳ４１の処理は、上述したステップＳ１８の処理と同様である。

以上が、第三の物体検知処理である。

上述したコンピュータ１０が実行する第三の物体検知処理について、重機の重量を推測する方法を、説明する。なお、農作物や人に対しても同様の方法で重量を推測可能である。

図１５に基づいて、コンピュータ１０が物体として重機の重量を推測する方法について説明する。図１５は、画像データ取得モジュール２０が取得した画像データの一例を示す図である。画像データには、画像に加え、撮影地点の位置情報が含まれている。図１５は、重機としてショベルカーの画像である。

画像データ取得モジュール２０は、上述したステップＳ３０の処理により、図１５に示す画像データを取得する。

特徴量抽出モジュール４０は、上述したステップＳ３１の処理により、画像データに対して、特徴量を抽出する。

物体検知モジュール４１は、上述したステップＳ３２及びＳ３３の処理により、この画像に写り込んでいる物体を検知する。物体検知モジュール４１は、図１５に示す画像から抽出した特徴量に基づいて、物体としてショベルカー（小）３００を検知する。

物体検知モジュール４１は、上述したステップＳ３４の処理により、検知した物体の一部が欠けていると判断し、物体データ取得モジュール２４は、上述したステップＳ３５の処理により、検知した物体に関する物体データを取得する。

物体補完モジュール４６は、上述したステップＳ３６の処理により、検知した物体において、欠けている部分を補完する。

図１６は、物体補完モジュール４６がショベルカー（小）３００に欠けている部分を補完したショベルカー（小）３１０を示す図である。図１６において、物体補完モジュール４６は、物体データに基づいて、補正部分３２０を補正したショベルカー（小）３１０を補完する。

距離推測モジュール４２は、上述したステップＳ３７の処理により、撮影装置から物体までの間の距離を推測する。

サイズ推測モジュール４３は、上述したステップＳ３８の処理により、補完後の物体のサイズ（面積）を推測する。すなわち、サイズ推測モジュール４３は、補完後のショベルカー（小）３１０の画像におけるサイズを推測する。

大きさ推測モジュール４４は、上述したステップＳ３９の処理により、物体の大きさ（体積）を推測する。すなわち、大きさ推測モジュール４４は、この補完後のショベルカー（小）３１０の大きさを推測する。

重量推測モジュール４５は、上述したステップＳ４０の処理により、物体の重量を推測する。重量推測モジュール４５は、物体の識別子が「ショベルカー（小）」であることから、重量テーブルを参照し、この「ショベルカー（小）」に対応付けられた重量密度Ｄ１を特定する。重量推測モジュール４５は、この特定した重量密度Ｄ１と、推測した大きさとに基づいて、このショベルカー（小）１００の重量Ｗ７を推測する。

通知モジュール２１は、上述したステップＳ４１の処理により、推測した重量を通知する。図１７に基づいて、通知モジュール２１が利用者端末等に通知する通知画面について説明する。図１７は、通知モジュール２１が利用者端末等に物体の重量を通知する通知画面の一例を示す図である。

通知モジュール２１は、通知画面として、取得した画像（補正前の画像）に、物体の識別子（ここでは、識別子として名称であるショベルカー（小））と、推測した重量とを、重畳させた画面を、通知画面として利用者端末等に表示させる。通知モジュール２１は、この通知画面として、特定した物体を囲む、強調表示、色変更等の加工を行い、どの物体を特定したかを明確にする。最終的に、通知モジュール２１は、通知画面として、ショベルカー（小）３００を囲んだ囲み線、物体の識別子及び重量を、取得した画像に重畳させたものを、通知画面として利用者端末等に表示させる。

なお、通知モジュール２１は、他の農作物や人についても、同様の通知を通知画面として利用者端末に表示させる。

以上が、第案の物体検知処理における実際の物体を例とする説明である。

［学習処理］
図６に基づいて、物体検知システム１が実行する学習処理について説明する。図６は、コンピュータ１０が実行する学習処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

はじめに、実重量データ取得モジュール２５は、上述した第一、第二及び第三の物体検知処理により重量を推測した物体の実際の重量である実重量を示す実重量データを取得する（ステップＳ５０）。ステップＳ５０において、端末装置が、実際にこの物体の重量を計測した結果を入力又はこの計測した結果を取得し、この物体の識別子、画像及び実重量に関するデータを、実重量データとしてコンピュータ１０に送信する。実重量データ取得モジュール２５は、この実重量データを受信することにより、推測した物体の実際の重量を取得する。

学習モジュール４７は、取得した物体の実際の重量（実重量）と、検知した物体の画像との相関関係を学習する（ステップＳ５１）。ステップＳ５１において、学習モジュール４７は、実重量と、画像との相関関係として、この物体の密度、名称、大きさ又は物体までの距離の少なくとも一つの相関関係を学習する。

記憶モジュール３０は、学習結果を記憶する（ステップＳ５２）。

重量推測モジュール４５は、上述したステップＳ１７、Ｓ２８、Ｓ４０の処理に際して、この学習結果を加味して、物体の重量を推測する。すなわち、重量推測モジュール４５は、物体の重量を推測する際、重量テーブルを参照するとともに、学習結果に基づいた相関関係による補正をすることにより、この物体の重量を推測する。

以上が、学習処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記憶媒体に記憶された形態で提供される。この場合、コンピュータはその記憶媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記憶媒体）に予め記憶しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 物体検知システム、１０ コンピュータ

Claims (6)

1. 撮影した画像を撮影地点の位置情報を含む画像データとして取得する取得手段と、
   前記画像から特徴量を抽出し、物体の全体を検知したか否かを判断する検知手段と、
   物体の全体を検知した場合、前記位置情報に基づいて該撮影地点から検知した前記物体までの間の距離を推測し、該距離と検知した前記物体の前記画像に示すサイズとに基づいて、検知した前記物体の大きさを推測し、前記物体の大きさと検知した前記物体の重量密度とに基づいて、検知した前記物体の重量を前記物体の画像に示すサイズから推測する推測手段と、
   物体の全体を検知できなかったと判断した場合に、物体データを取得する物体データ取得手段と、
   取得した物体データに基づいて、検知した物体において欠けている部分を補完する物体補完手段と、
   を備えることを特徴とするコンピュータシステム。
2. 前記推測手段は、前記物体の画像に示すサイズから前記物体の大きさを推測し、推測した大きさに基づいて、検知した前記物体の重量密度を参照することで、前記物体の重量を推測する、
   ことを特徴とする請求項１に記載のコンピュータシステム。
3. 前記推測手段は、推測した前記物体の実際の重量と、検知した前記物体の画像との相関関係を学習することで、前記物体の重量を推測する、
   ことを特徴とする請求項１に記載のコンピュータシステム。
4. 前記推測手段は、推測した前記物体の実際の重量と、検知した物体の密度、検知した物体の名称、検知した物体の大きさ又は検知した物体までの距離との少なくとも１つの相関関係を学習することで、前記物体の重量を推測する、
   ことを特徴とする請求項３に記載のコンピュータシステム。
5. コンピュータシステムが実行する物体検知方法であって、
   撮影した画像を撮影地点の位置情報を含む画像データとして取得するステップと、
   前記画像から特徴量を抽出し、物体の全体を検知したか否かを判断するステップと、
   物体の全体を検知した場合、前記位置情報に基づいて該撮影地点から検知した前記物体までの間の距離を推測し、該距離と検知した前記物体の前記画像に示すサイズとに基づいて、検知した前記物体の大きさを推測し、前記物体の大きさと検知した前記物体の重量密度とに基づいて、検知した前記物体の重量を前記物体の画像に示すサイズから推測するステップと、
   物体の全体を検知できなかったと判断した場合に、物体データを取得するステップと、
   取得した物体データに基づいて、検知した物体において欠けている部分を補完するステップと、
   を備えることを特徴とする物体検知方法。
6. コンピュータシステムに、
   撮影した画像を撮影地点の位置情報を含む画像データとして取得するステップ、
   前記画像から特徴量を抽出し、物体の全体を検知したか否かを判断するステップ、
   物体の全体を検知した場合、前記位置情報に基づいて該撮影地点から検知した前記物体までの間の距離を推測し、該距離と検知した前記物体の前記画像に示すサイズとに基づいて、検知した前記物体の大きさを推測し、前記物体の大きさと検知した前記物体の重量密度とに基づいて、検知した前記物体の重量を前記物体の画像に示すサイズから推測するステップ、
   物体の全体を検知できなかったと判断した場合に、物体データを取得するステップ、
   取得した物体データに基づいて、検知した物体において欠けている部分を補完するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images