JP2023526390A - ゴルフコースのディボット探知システム及びこれを用いた探知方法 - Google Patents

Abstract

本発明はマルチスペクトルイメージ及びＲＧＢイメージを判読してディボット客体を学習し、学習された結果に基づいてゴルフコースを撮影したマルチスペクトルイメージでディボット客体を探知するゴルフコースのディボット探知システムに関するものであり、マルチスペクトルカメラ及びＲＧＢカメラを搭載し、ゴルフコースを撮影する無人航空機と、前記無人航空機が撮影したマルチスペクトルイメージの１次判読結果及びＲＧＢイメージの２次判読結果を用いてディボット客体を学習するマシンラーニングモジュール、前記無人航空機が撮影したマルチスペクトルイメージを受信する通信モジュール、前記受信されたマルチスペクトルイメージでディボット客体を探知する探知モジュール、及び前記探知されたディボット客体の地図座標を表示する出力モジュールを含むコースキーパーサーバーとを含むことができる。
【選択図】 図１

Description

本発明はゴルフコースのディボット探知システム及びこれを用いた探知方法に関するものであり、より詳しくはマルチスペクトルイメージを用いてディボット客体を１次判読し、ＲＧＢイメージを用いて２次判読した結果を用いて高判読率でディボット客体を学習し、学習された結果に基づき、ゴルフコースを撮影したマルチスペクトルイメージでディボット客体を探知するゴルフコースのディボット探知システム及びこれを用いた探知方法に関するものである。

一般的に、ドローンは無線通信を介して既設定の経路に沿って飛行するかまたはヒトが直接肉眼で調整しながら飛行する飛行機やヘリコプター形状の飛行体であり、最初には空軍機、高射砲、ミサイルの演習射撃に敵機の代わりに標的物として使われたが、徐々に無線技術の発達につれて偵察機として開発され、敵の内陸に深く浸透して偵察や監視の用途にも使われた。

このようなドローンは、最近になって輸送の目的でも活用されるなど、活用範囲が段々広くなっており、活用目的によって多様なサイズ及び性能を有する製品が多様に開発されており、超小型ドローンはもちろんのこと、個人の趣味活動のためにも開発されて商品化している。

一方、ゴルフ場のティーグラウンド（ｔｅｅｉｎｇ ｇｒｏｕｎｄ）、フェアウェイ（ｆａｉｒｗａｙ）、パッティンググリーン（ｐｕｔｔｉｎｇ ｇｒｅｅｎ）では、ゴルファーがグリーン上に載せたボールを打つとき、ゴルフクラブのヘッドに打たれてグリーンや土壌がくぼんでいる痕跡またはゴルファーが打ったボールがグリーン上に落ちるときに生ずる溝をディボット（ｄｉｖｏｔ）という。

ディボット痕跡はゲーム中にゴルファーの不満足をもたらす原因になるので、できるだけ早く補修作業を完了しなければならない。実際に、ディボット痕跡が多いフェアウェイではゴルファーのドライバーショットがディボット痕跡に入ることがよく発生してゴルファーの気に触れるようにし、このような理由はゴルフ場の利用客を減少させる主要因になる。

一方、マシンラーニングまたは機械学習はコンピュータ科学のうち人工知能の一分野であり、パターン認識及びコンピュータ学習理論の研究から進化した分野である。マシンラーニングは、経験的データに基づいて学習を遂行し、予測を遂行することで、自らの性能を向上させるシステム及びこのためのアルゴリズムを研究して構築する技術であると言える。マシンラーニングのアルゴリズムは厳格に決まった静的なプログラム命令を遂行するものであるというよりは、入力データに基づいて予測や決定を導き出すために、特定のモデルを構築する方式を取る。

従来では、ゴルフ場のディボットを早く確認して補修するために、ゴルフ場をＲＧＢセンサーで撮影し、ＲＧＢイメージを用いてディボットを判断する方式を主に用いた。しかし、ＲＧＢイメージは解像度が高くて肉眼でもディボットを判別することができる利点はあるが、視覚的に区分しにくい区域ではディボットを探知することができる正確度が低くなるという問題がある。特に、実際にディボットが発生した場合にも、当該ディボットの規模が小さいかまたは陰になった場合、ヒトが肉眼でＲＧＢイメージでディボットを探知するかまたはＲＧＢイメージで客体探知アルゴリズムを用いてもディボットを探知することができない欠点がある。

したがって、本発明は上述した問題点を解決するためになされたものであり、本発明はマルチスペクトルイメージを用いてディボット客体を１次判読し、ＲＧＢイメージを用いて２次判読した結果を用いて高判読率でディボット客体を学習し、学習された結果に基づいて、ゴルフコースを撮影したマルチスペクトルイメージでディボット客体を高正確度で探知するゴルフコースのディボット探知システム及びこれを用いた探知方法を提供することにその目的がある。

本発明の他の目的は以下で敍述する実施例によってより明らかになるであろう。

本発明の一側面によるゴルフコースのディボット探知システムは、マルチスペクトルカメラ及びＲＧＢカメラを搭載し、ゴルフコースを撮影する無人航空機と、前記無人航空機が撮影したマルチスペクトルイメージの１次判読結果及びＲＧＢイメージの２次判読結果を用いてディボット客体を学習するマシンラーニングモジュール、前記無人航空機が撮影したマルチスペクトルイメージを受信する通信モジュール、前記受信されたマルチスペクトルイメージでディボット客体を探知する探知モジュール、及び前記探知されたディボット客体の地図座標を表示する出力モジュールを含むコースキーパーサーバーとを含むことができる。

前記マシンラーニングモジュールは、ゴルフコースのマルチスペクトルイメージから、予め定義された色相、サイズ及び形状のうちの少なくとも一つがマッチングする客体を分離するイメージ処理モジュールと、前記分離された客体のうち三つの基準全部を満たす客体をディボットと１次判読してマシンラーニングＤＢに保存し、前記分離された客体のうち二つ以下の基準がマッチングする客体を前記ＲＧＢイメージ上に表示し、前記通信モジュールを介して前記ＲＧＢイメージを専門家システムに伝送し、前記専門家システムでディボットまたは疑似ディボットと２次判読された（ａｎｎｏｔａｔｅｄ）客体を前記マシンラーニングＤＢに保存する判読モジュールとを含むことができる。

前記疑似ディボットは、野生動物が掘り返して土壌が露出された区域、山崩れによって遺失した区域、及び芝草が部分的に死滅した区域のうちのいずれか一つであり得る。

前記判読モジュールは、色相、サイズ及び形状のうちの二つ以下がマッチングする客体のうちディボットではないものと予め分析されたイメージとマッチングするものは前記ＲＧＢイメージ上に表示しないことができる。例えば、前記ディボットではないものと分析されたイメージは、排水口、落葉、修理地、及びバンカーのうちのいずれか一つであり得る。

本発明の他の側面によるゴルフコースのディボット探知方法は、ゴルフコース管理のためのコースキーパーサーバーのディボット探知方法であって、マシンラーニングモジュールがゴルフコースを撮影したマルチスペクトルイメージの１次判読結果及びＲＧＢイメージの２次判読結果を用いてディボット客体を学習する段階と、通信モジュールがゴルフコースを撮影したマルチスペクトルイメージを受信する段階と、探知モジュールが前記受信されたマルチスペクトルイメージでディボット客体を探知する段階と、出力モジュールが前記探知されたディボット客体の地図座標を出力する段階とを含むことができる。

前記ディボット客体学習段階は、イメージ処理モジュールがゴルフコースのマルチスペクトルイメージから、予め定義された色相、サイズ及び形状のうちの少なくとも一つがマッチングする客体を分離する段階と、判読モジュールが前記分離された客体のうち三つ全部を満たす客体をディボットと定義してマシンラーニングＤＢに保存する１次判読段階と、前記判読モジュールが前記分離された客体のうち二つ以下がマッチングする客体を前記ＲＧＢイメージ上に表示し、前記通信モジュールを介して前記ＲＧＢイメージを専門家システムに伝送する段階と、前記専門家システムでディボットまたは疑似ディボットと追加判明（ａｎｎｏｔａｔｅｄ）された客体を前記判読モジュールに通知すると、前記判読モジュールは前記追加判明された客体を前記マシンラーニングＤＢに保存する２次判読段階とを含むことができる。

前記疑似ディボットは、野生動物が掘り返して土壌が露出された区域、山崩れによって遺失した区域、及び芝草が部分的に死滅した区域のうちのいずれか一つであり得る。

前記判読モジュールは、色相、サイズ及び形状のうち二つ以下がマッチングする客体のうちディボットではないものと予め分析されたイメージとマッチングするものは前記ＲＧＢイメージ上に表示しないことができる。例えば、前記ディボットではないものと分析されたイメージは、排水口、落葉、修理地、及びバンカーのうちのいずれか一つであり得る。

本発明によるゴルフコースのディボット探知システムは次のような効果を提供する。

本発明は、マルチスペクトルイメージを用いてディボット客体を１次判読し、ＲＧＢイメージを用いて２次判読した結果を用いて高判読率でディボット客体を学習することができる効果がある。

また、本発明は、高判読率で学習された結果に基づいて、ゴルフコースを撮影したマルチスペクトルイメージでディボット客体を探知するので、ディボット客体探知の正確性を高めることができる効果がある。

本発明の効果は以上で言及したものに限定されず、言及しなかった他の効果は下記の記載から当業者に明らかに理解可能であろう。

本発明の一実施例によるゴルフコースのディボット探知システムを例示する概略図である。 図１に示す無人航空機及びコースキーパーサーバーの構成を例示するブロック図である。 図２に示すマシンラーニングモジュールの構成を例示するブロック図である。 マルチスペクトルカメラで撮影されたゴルフコースのマルチスペクトルイメージである。 ＲＧＢカメラで撮影されたゴルフコースのＲＧＢイメージである。 本発明の第２実施例によるゴルフコースのディボット探知システムを例示するフローチャートである。 ＣＮＮの動作原理を示す概念図である。 ＲＮＮの動作アルゴリズムを説明する概念図である。

本発明は多様な変換を加えることができ、さまざまな実施例を有することができるが、特定の実施例を図面に例示し、詳細な説明で詳細に説明する。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変換、均等物や代替物を含むものと理解されなければならない。

本発明の説明において、関連した公知の技術についての具体的な説明が本発明の要旨をあいまいにする可能性があると判断される場合、その詳細な説明を省略する。

本出願で使う用語は、単に特定の実施例を説明するためのもので、本発明を限定しようとする意図ではない。単数の表現は、文中に明白に他に指示しない限り、複数の表現も含む。本出願で、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、工程、動作、構成要素、部品又はこれらの組合せが存在することを指定しようとするものであり、一つ又はそれ以上の他の特徴、数字、工程、動作、構成要素、部品又はこれらの組合せの存在又は付加の可能性を予め排除するものではないと理解されなければならない。

特に定義しない限り、技術的又は科学的な用語を含めてここで使う全ての用語は、本発明が属する技術分野における通常の知識を有する者にとって一般に理解されるものと同じ意味を有する。通常使われる辞書に定義されているような用語は、関連技術の文中で有する意味と一致する意味があると解釈されなければならなく、本出願で明らかに定義しない限り、理想的に又は過度に形式的な意味として解釈されない。

本明細書に記載するモジュール（ＭＯＤＵＬＥ）という用語は、特定の機能や動作を処理する一つの単位を意味し、これは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組合せを意味し得る。

また、第１、第２などの用語を多様な構成要素を説明するのに使うことができるが、前記構成要素は前記用語によって限定されてはいけない。前記用語は一構成要素を他の構成要素と区別する目的でのみ使う。

以下、添付図面を参照して本発明の実施例を詳細に説明する。添付図面を参照して説明するにあたり、図面符号に関係なく、同一または対応の構成要素は同じ参照番号を付与し、これについての重複説明は省略する。

［第１実施例］
以下、本発明の第１実施例によるゴルフコースのディボット探知システムについて添付図面を参照して詳細に説明する。

図１は本発明の第１実施例によるゴルフコースのディボット探知システムを例示する概略図である。

図１を参照すると、本発明の一実施例によるゴルフコースのディボット探知システムは、無人航空機１００が植生区域１０を航空撮影してマルチスペクトルイメージ及びＲＧＢイメージを獲得し、マルチスペクトルイメージ及びＲＧＢイメージをコースキーパーサーバー２００に伝送する。

コースキーパーサーバー２００は、無人航空機１００から伝送されたマルチスペクトルイメージを所定の基準で１次判読し、精密判読が必要な場合、マルチスペクトルイメージに対応するＲＧＢイメージを用いて２次判読することで、ディボット客体を学習することができる。

そして、コースキーパーサーバー２００は、ディボットを探知するための植生区域１０のマルチスペクトルイメージを無人航空機１００から受ければ、既に学習されたディボット客体の学習モデリングによって、伝送されたマルチスペクトルイメージでディボット客体を探知することで、当該ディボット客体に対する地図座標を管理者に提供することができる。

本実施例において、植生区域１０は管理植物が多数分布する区域であり、ゴルフ場のゴルフコース、庭園及び公園などのような所であり得るが、以下では、説明の便宜のために植生区域１０をゴルフコースと定義して説明する。

本実施例で説明するディボット（ｄｉｖｏｔ）は、ゴルフコース内でゴルフボールを打つとき、ゴルフクラブによって剥ぎ取られた芝草部分を意味し得る。

図２は図１に示す無人航空機及びコースキーパーサーバー２００の構成を例示するブロック図である。

図２を参照すると、本発明の一実施例によるゴルフコースのディボット探知システムは、無人航空機１００と、コースキーパーサーバー２００とを含む。

無人航空機１００はゴルフコースを航空撮影するためのものであり、無人飛行体またはドローンを含むことができる。また、無人航空機１００は、名称とは違い、有人飛行体、衛星、熱器具及びＣＣＴＶのうちのいずれか一つを含むこともできる。すなわち、無人航空機１００は、ゴルフコースを一定の高さで撮影することができれば、どの装置に代替されてもかまわない。

無人航空機１００は、マルチスペクトルカメラ１１０と、ＲＧＢカメラ１２０とを含む。

マルチスペクトルカメラ１１０は、マルチスペクトル（Ｍｕｌｔｉ－ｓｐｅｃｔｒａｌ）センサーを用いてゴルフコースを撮影してマルチスペクトルイメージを獲得する。マルチスペクトルカメラ１１０で撮影されたマルチスペクトルイメージは、多様な波長内でイメージデータを抽出することで、ヒトの目で見られないものを見られるようにし、よって土壌、水分などの植生環境の現況を把握するのに主に活用することができる。

マルチスペクトルイメージは、可視領域及び中赤外線領域内で一般的に１０個以下の不連続的なバンドから得られ、データに保存された領域が分離された形態であるので、各ピクセルに対応する独立したデータを生成する。

マルチスペクトルカメラ１１０は分光帯ごとに抽出することができるイメージが異なり、例えば、青色領域（４５０～５１０ｎｍ）では大気や５０ｍの深い水を強調し、緑色領域（５３０～５９０ｎｍ）では木のような草木（ｖｅｇｅｔａｔｉｏｎ）を強調し、赤色領域（６４０～６７０）では木との境界を区分するのに使うことができる。

このような理由で、マルチスペクトルカメラ１１０によって獲得されたマルチスペクトルイメージはＲＧＢイメージで探すことができないディボット客体を容易に探すことができる。例えば、マルチスペクトルイメージは多様な波長内でイメージデータを抽出するので、色相差がＲＧＢイメージより明確であり、よってディボットのサイズが小さいかまたは影になった所を撮影したＲＧＢイメージでは探知することができないディボット客体をマルチスペクトルイメージでは探知することができる。また、マルチスペクトルイメージはディボット客体ではなくても植生指数が不良な（例えば、病んだ芝草または死んだ芝草）地点を探知することができるので、補修に容易であり得る。

本実施例で、マルチスペクトルカメラ１１０は、マルチスペクトルセンサーの代わりにハイパースペクトルセンサー（Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｓｅｎｓｏｒ）を用いてハイパースペクトルイメージを獲得することができる。ハイパースペクトル映像データは、可視領域、近赤外線、中赤外線、及び熱赤外線の領域にわたって、一般的に１００個以上の連続的なバンドからイメージを獲得し、各ピクセルから全体スペクトラムを抽出する。ハイパースペクトルセンサー（Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｓｅｎｓｏｒ）は、入射する光を分光させることで、映像の各画素に対応する地表上の物体の連続的で狭い波長域の数十個乃至数百個の分光情報を取得する。ハイパースペクトルセンサーを用いたマルチスペクトルカメラ１１０は、物質ごとに存在する固有の光学的性質及び物質の吸収及び反射特徴を撮影し、これについてのデータは土地被覆、植生、及び水質などの識別に主に用いることができる。

ＲＧＢカメラ１２０は、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）センサーを介してＲＧＢ映像データを獲得する。ＲＧＢ方式は、赤色、緑色、青色を混合して映像やイメージを表現する方式である。ＲＧＢカメラ１２０で撮影されたＲＧＢイメージは解像度が高く、肉眼で確認しやすい特徴がある。

コースキーパーサーバー２００は、無人航空機１００が撮影したマルチスペクトルイメージ及びＲＧＢイメージを判読した結果を用いてディボット客体を学習し、既に学習されたモデリングに基づき、無人航空機１００で撮影されたマルチスペクトルイメージでディボット客体を探知し、探知されたディボット客体の地図座標を管理者に表示して提供する。

コースキーパーサーバー２００は、マシンラーニングモジュール２１０、通信モジュール２２０、探知モジュール２３０、及び出力モジュール２４０を含む。

マシンラーニングモジュール２１０は、通信モジュール２２０を介して、無人航空機１００で撮影したマルチスペクトルイメージ及びＲＧＢイメージを受け、マルチスペクトルイメージを所定の基準とマッチングさせてディボット客体を１次判読し、精密判読が必要な場合、マルチスペクトルイメージに対応するＲＧＢイメージを用いて２次判読してディボット客体を学習することができる。

以下、図３に基づき、マシンラーニングモジュール２１０がディボット客体を学習する方式を説明する。

図３は図２に示すマシンラーニングモジュール２１０の構成を例示するブロック図である。

図２及び図３を参照すると、マシンラーニングモジュール２１０は、イメージ処理モジュール２１１と、判読モジュール２１２とを含む。

イメージ処理モジュール２１１は、無人航空機１００が撮影したゴルフコースのマルチスペクトルイメージから、予め定義された三つの基準、すなわち色相、サイズ、及び形状のうちの少なくとも一つがマッチングする客体をディボット疑心客体として分離する。

例えば、イメージ処理モジュール２１１は、予め定義された基準を単一値ではない範囲に設定することができる。

例えば、イメージ処理モジュール２１１は、マルチスペクトルイメージから黄土色系列５４０～５５０ｎｍの分光帯に対応する客体をディボット疑心客体として分離することができる。そして、イメージ処理モジュール２１１は、マルチスペクトルイメージから１００ｍｍ～３００ｍｍに対応する客体をディボット疑心客体として分離することができる。さらに、イメージ処理モジュール２１１は、マルチスペクトルイメージから特異客体の長径と短径の比が１：０．５～０．７に相当する客体をディボット疑心客体として分離することができる。ここで、長径の方向はコルプコースの進行方向に対応する方向であり得る。

本実施例で、イメージ処理モジュール２１１でディボット疑心客体を分離するための予め定義された基準を三つに定義して説明したが、四つ以上に定義してもかまわない。
判読モジュール２１２は、イメージ処理モジュール２１１で分離されたディボット疑心客体のうち三つの基準全部とマッチングする客体（図４参照）をディボットと１次判読してマシンラーニングＤＢに保存する。

そして、判読モジュール２１２は、イメージ処理モジュール２１１で分離されたディボット疑心客体のうち二つ以下の基準とマッチングする客体に対して精密判読が必要であると判断し、当該客体をＲＧＢイメージ上に表示し（図５参照）、そのＲＧＢイメージを通信モジュール２２０を介して専門家システムに伝送する。

専門家システムに伝送されたＲＧＢイメージで二つ以下の基準とマッチングしてディボット疑心客体として表示された客体は、別途のアルゴリズムまたは専門家によってディボットまたは疑似ディボットと注記（ａｎｎｏｔａｔｉｏｎ）する方式で２次判読することができる。ここで、疑似ディボットとは、野生動物が掘り返して土壌が露出されるか、山崩れによって遺失するか、または芝草が部分的に死滅した所などであり得る。

判読モジュール２１２は、このような方式でマルチスペクトルイメージでディボットとして１次判読したディボット客体と、ＲＧＢイメージで専門家システムによってディボットまたは疑似ディボットとして２次判読した客体とを学習モデリングとして生成してマシンラーニングＤＢに保存する。

例えば、ＲＧＢイメージで専門家システムによってディボットまたは疑似ディボットとして２次判読された客体は、判読モジュール２１２がマルチスペクトルイメージでディボットとして１次判読するとき、基礎データとして活用することで、１次判読の正確度を高めることができる。

判読モジュール２１２によってマシンラーニングＤＢに保存された学習モデリングは、追後に無人航空機１００がマルチスペクトルカメラ１１０でゴルフコースを撮影すれば、撮影されたマルチスペクトルイメージでディボット客体を探知するのに使うことができる。

一方、判読モジュール２１２は、予め定義された三つの基準（色相、サイズ、形状）のうち二つ以下がマッチングして専門家システムに伝送された後、ディボットではないものと分析された客体はその条件に対応する学習モデリングを生成してマシンラーニングＤＢに保存することができる。ここで、判読モジュール２１２によってディボットではないものと分析された客体は、排水口、落葉、修理地、及びバンカーのうちのいずれか一つであり得る。

そして、判読モジュール２１２は、イメージ処理モジュール２１１によってマルチスペクトルイメージから分離されたディボット疑心客体のうち二つ以下の基準とマッチングする客体をＲＧＢイメージ上に表示する過程で、予め定義された三つの基準（色相、サイズ、形状）のうち二つ以下がマッチングする客体をディボットではないものと予め分析されたイメージと比較し、ディボットではないものと予め分析されたイメージとマッチングする客体はＲＧＢイメージ上に表示しないことができる。

したがって、判読モジュール２１２は、ディボット客体として疑われてイメージ処理モジュール２１１から分離されたが、排水口、落葉、修理地、バンカーのような客体はディボットではないものと判断されるから、ＲＧＢイメージに表示しないことで、専門家システムで２次判読するのにかかる処理時間を減らすことができる利点がある。

また、図２を参照すると、コースキーパーサーバー２００の通信モジュール２２０は、無人航空機１００及び専門家システムと通信することができる。

例えば、通信モジュール２２０は無人航空機１００と通信することで、無人航空機１００からマルチスペクトルイメージ及びＲＧＢイメージを受けるか、またはＲＧＢイメージを専門家システムに伝送することができる。

本実施例で、通信モジュール２２０は、２Ｇ、３Ｇ、４Ｇ、５Ｇのような移動通信プロトコル、またはＷｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などの移動通信プロトコルを介して無人航空機１００及び専門家システムと通信することができるが、いずれか一つに限定されない。

探知モジュール２３０は、無人航空機１００から、ディボットを探知するためにマルチスペクトルカメラ１１０でゴルフコースを撮影したマルチスペクトルイメージを受ける。そして、探知モジュール２３０は、既に学習されたモデリングに基づいて、受信されたマルチスペクトルイメージでディボット客体を探知することができる。

探知モジュール２３０は、マルチスペクトルイメージでディボット客体を探知するとき、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）またはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のような映像分析アルゴリズムを用いることができる。

以下では、図７及び図８に基づき、探知モジュール２３０でディボットを探知するために使うＣＮＮまたはＲＮＮを説明する。

図７はＣＮＮの動作原理を示す概念図である。

図７を参照すると、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は入力された映像データから合成積演算によって特徴を抽出し、抽出された特徴によって映像データに含まれた客体を探知するネットワークであり、客体の特徴情報を抽出する特徴抽出階層（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｌａｙｅｒｓ）と、抽出された特徴情報を用いて客体を分類する完全連結階層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒｓ）とから構成される。言い換えれば、ＣＮＮは映像データに含まれた特定の客体のサイズ、位置などの幾何学的情報を導出（ｌｏｃａｌｉｚａｔｉｏｎ）し、前記特定の客体を分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）する客体探知（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）技術のうちの一つと定義することができる。

特徴抽出階層は複数のコンボリューション階層から構成され、ある一段階のコンボリューション階層は入力データ（映像データ、特徴マップ）とフィルターの役割を担当する合成カーネルとの合成積演算によって新しい特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を生成し、生成された特徴マップを次の段階のコンボリューション階層に入力する。それぞれのコンボリューション階層は学習によって値が変わるパラメーターである加重値、バイアスから構成され、色相、形態、アウトラインなどのように、客体探知に有用な情報を抽出するように学習過程で合成カーネルの値が自動で調整される。

完全連結階層は、特徴抽出階層から抽出された多次元特徴マップを１次元に変換する平坦化階層（ｆｌａｔｔｅｎ ｌａｙｅｒ）とマルチ階層パーセプトロン（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ、ＭＬＰ）とから構成される。１次元に変換された特徴マップを学習アルゴリズムであるＭＬＰに入力することで、映像データのパラメーターを調整する。

探知モジュール２３０はマルチスペクトルイメージに対してＣＮＮの特徴抽出階層を遂行し、センサー融合が適用された平坦化階層をマルチ階層パーセプトロンに入力する方式で完全連結階層を遂行することで、映像の特徴（ｆｅａｔｕｒｅ）に対する信頼性を再評価した後、信頼性の高い特徴で客体を最終に探知する。

図８はＲＮＮの動作アルゴリズムを説明する概念図である。

図８を参照すると、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は順次入力される時系列データを分析することで、客体の状況、すなわち客体の状況を判断する。

ＲＮＮは隠れ層（Ｈｉｄｄｅｎ ｌａｙｅｒ）から自分へのＷ（Ｒｅｃｕｒｒｅｎｔ ｗｅｉｇｈｔ）を有する基本構造である。そして、ＲＮＮはユニット（ｕｎｉｔ）間の連結がＤｉｒｅｃｔｅｄ Ｃｙｃｌｅを形成して自分を示すＲｅｃｕｕｒｅｎｔ Ｗｅｉｇｈｔを含む神経ネットワークアルゴリズムである。

ＲＮＮはＭＬＰと循環エッジ（Ｗ）とが結合した形態を有し、時系列データを受けるとき、循環エッジを介して過去の出力値を一緒に受ける。したがって、ｔ時点でのＲＮＮの出力値は以前のｔ－１時点の出力値に影響されるという点で過去値を記憶する［メモリ（ｍｅｍｏｒｙ）］情報を含むフィードバック構造のネットワークと定義することができる。

また、図２を参照すると、コースキーパーサーバー２００の出力モジュール２４０は探知モジュール２３０で探知されたディボット客体に対する地図座標を表示する。例えば、出力モジュール２４０は、移動端末、デスクトップ型ＰＣ、タブレット型ＰＣに地図座標を提供することができる。

また、管理者がディボット客体の発生した位置が直観的に分かるように、ＲＧＢイメージに別途のマーク及び地図座標を表示して提供することができる。

［第２実施例］
以下で、本発明の第２実施例によるゴルフコースのディボット探知方法について図面を参照して詳細に説明する。

図６は本発明の第２実施例によるゴルフコースのディボット探知システムを例示する流れ図である。

図６を参照すると、本発明の一実施例によるゴルフコースのディボット探知方法はゴルフコース管理のためのコースキーパーサーバーによって遂行されるディボット探知方法であって、ディボット客体を学習する段階（Ｓ１００）と、マルチスペクトルイメージを受信する段階（Ｓ２００）と、ディボット客体を探知する段階（Ｓ３００）と、ディボット客体の地図座標を出力する段階（Ｓ４００）とを含む。

ディボット客体を学習する段階（Ｓ１００）は、マシンラーニングモジュールがゴルフコースを撮影したマルチスペクトルイメージの１次判読結果及びＲＧＢイメージの２次判読結果を用いてディボット客体を学習する段階（Ｓ１００）である。

ディボット客体を学習する段階（Ｓ１００）で、マシンラーニングモジュールは、通信モジュールを介して、無人航空機で撮影したマルチスペクトルイメージ及びＲＧＢイメージを受け、マルチスペクトルイメージを所定の基準とマッチングさせてディボット客体を１次判読し、精密判読が必要な場合、当該マルチスペクトルイメージに対応するＲＧＢイメージを用いて２次判読することで、ディボット客体を学習することができる。

ディボット客体を学習する段階（Ｓ１００）は、客体を分離する段階（Ｓ１１０）と、マシンラーニングＤＢに保存する１次判読段階（Ｓ１２０）と、専門家システムに伝送する段階（Ｓ１３０）と、マシンラーニングＤＢに保存する２次判読段階（Ｓ１４０）とを含むことができる。

客体を分離する段階（Ｓ１１０）は、イメージ処理モジュールがゴルフコースのマルチスペクトルイメージから、予め定義された色相、サイズ及び形状のうちの少なくとも一つがマッチングする客体を分離する段階（Ｓ１１０）である。
例えば、イメージ処理モジュールは、無人航空機が撮影したゴルフコースのマルチスペクトルイメージから、予め定義された三つの基準、すなわち色相、サイズ、及び形状のうちの少なくとも一つがマッチングする客体をディボット疑心客体として分離する。ここで、イメージ処理モジュールは、予め定義された基準を単一値に設定せず、範囲に設定することができる。

例えば、イメージ処理モジュールは、マルチスペクトルイメージから黄土色系列５４０～５５０ｎｍの分光帯に対応する客体をディボット疑心客体として分離することができる。そして、イメージ処理モジュールは、マルチスペクトルイメージから１００ｍｍ～３００ｍｍに対応する客体をディボット疑心客体として分離することができる。さらに、イメージ処理モジュールは、マルチスペクトルイメージから長径と短径の比が１：０．５～０．７に相当する客体をディボット疑心客体として分離することができる。

本実施例で、イメージ処理モジュールでディボット疑心客体を分離するための、予め定義された基準は三つに定義して説明したが、四つ以上に定義してもかまわない。

マシンラーニングＤＢに保存する１次判読段階（Ｓ１２０）は、判読モジュールが分離された客体のうち三つの基準全部を満たす客体をディボットと定義してマシンラーニングＤＢに保存する。

専門家システムに伝送する段階（Ｓ１３０）は、判読モジュールがイメージ処理モジュールで分離されたディボット疑心客体のうち二つ以下の基準とマッチングする客体に対して精密判読が必要であると判断し、当該客体をＲＧＢイメージ上に表示し、そのＲＧＢイメージを通信モジュールを介して専門家システムに伝送する。

専門家システムに伝送されたＲＧＢイメージのうち二つ以下の基準とマッチングしてディボット疑心客体として表示された客体は別途のアルゴリズムまたは専門家によってディボットまたは疑似ディボットとして注記（ａｎｎｏｔａｔｉｏｎ）する方式で２次判読することができる。ここで、疑似ディボットとは、野生動物が掘り返して土壌が露出されるか、山崩れによって遺失するか、または芝草が部分的に死滅した所などであり得る。

マシンラーニングＤＢに保存する２次判読段階（Ｓ１４０）は、専門家システムでディボットまたは疑似ディボットと追加判明（ａｎｎｏｔａｔｅｄ）された客体を前記判読モジュールに通知すると、判読モジュールが追加判明された客体を学習モデリングとして生成してマシンラーニングＤＢに保存する。

例えば、ＲＧＢイメージで専門家システムによってディボットまたは疑似ディボットと２次判読された客体は、判読モジュールがマルチスペクトルイメージでディボットと１次判読するときに基礎データとして活用されることで、１次判読の正確度を高めることができる。

判読モジュールによってマシンラーニングＤＢに保存された学習モデリングは、追後に無人航空機がマルチスペクトルカメラでゴルフコースを撮影すると、撮影されたマルチスペクトルイメージでディボット客体を探知するのに使うことができる。

一方、判読モジュールは、予め定義された三つの基準（色相、サイズ、形状）のうちの二つ以下がマッチングして専門家システムに伝送された後、専門家システムによってディボットではないものと分析された客体はその条件に対応する学習モデリングを生成してマシンラーニングＤＢに保存することができる。ここで、判読モジュールによってディボットではないものと分析された客体は、排水口、落葉、修理地、バンカーのうちのいずれか一つであり得る。

そして、判読モジュールは、イメージ処理モジュールによってマルチスペクトルイメージから分離されたディボット疑心客体のうち二つ以下の基準とマッチングする客体をＲＧＢイメージ上に表示する過程で、予め定義された三つの基準（色相、サイズ、形状）のうちの二つ以下がマッチングする客体をディボットではないものと予め分析されたイメージと比較し、ディボットではないものと予め分析されたイメージとマッチングする客体はＲＧＢイメージ上に表示しないことができる。

したがって、判読モジュールは、ディボット客体と疑われてイメージ処理モジュールで分離された客体のうち、排水口、落葉、修理地、バンカーのような客体はＲＧＢイメージに表示しないことで、専門家システムで２次判読するのにかかる処理時間を減らすことができる利点がある。

マルチスペクトルイメージを受信する段階（Ｓ２００）は、探知モジュールが既に学習されたモデリングに基づいてゴルフコースを撮影したマルチスペクトルイメージでディボットを探知することができるように、無人航空機からゴルフコースを撮影したマルチスペクトルイメージを受信する段階である。

マルチスペクトルイメージを受信する段階（Ｓ２００）で無人航空機からマルチスペクトルイメージを受信すれば、ディボット客体を探知する段階（Ｓ３００）を遂行する。
ディボット客体を探知する段階（Ｓ３００）は、無人航空機から受信したマルチスペクトルイメージでディボット客体を探知する。ディボット客体を探知する段階（Ｓ３００）で、探知モジュールは、既に学習されたモデリングに基づいて、受信したマルチスペクトルイメージでディボット客体を探知することができる。

探知モジュールは、マルチスペクトルイメージでディボット客体を探知するとき、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）またはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のような映像分析アルゴリズムを用いることができる。ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）またはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）についての内容は第１実施例で説明したので、重複説明を省略する。

ディボット客体の地図座標を出力する段階（Ｓ４００）は、出力モジュールが探知モジュールで探知されたディボット客体の地図座標を表示する。例えば、出力モジュールは、移動端末、デスクトップ型ＰＣ、タブレット型ＰＣに地図座標を提供することができる。

また、管理者がディボット客体の発生した位置が直観的に分かるように、ＲＧＢイメージに別途のマーク及び地図座標を表示して提供することができる。

以上で説明した本発明の全体または一部の機能は一連のプログラム命令、データファイル、データ構造などを単独でまたは組み合せて機械語に翻訳するソフトウェアによって具現されるか、そのようなソフトウェアがコンピュータ可読の記録媒体に含まれて提供されることができるというのは当業者が容易に理解することができるであろう。前記コンピュータ可読の記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリ、ＵＳＢメモリなどのようなプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーによって作られるような機械語コードの他にも、インタプリターなどを介してコンピュータによって実行可能な高級言語コードを含む。前記ハードウェア装置は、本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることができる。

以上では、本発明のいくつかの実施例を参照して説明したが、当該技術分野で通常の知識を有する者であれば、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更することができるというのが理解可能であろう。

１０ 植生区域
１００ 無人航空機
１１０ マルチスペクトルカメラ
１２０ ＲＧＢカメラ
２００ コースキーパーサーバー
２１０ マシンラーニングモジュール
２２０ 通信モジュール
２３０ 探知モジュール
２４０ 出力モジュール

Claims (10)

1. マルチスペクトルカメラ及びＲＧＢカメラを搭載し、ゴルフコースを撮影する無人航空機と、
   前記無人航空機が撮影したマルチスペクトルイメージの１次判読結果及びＲＧＢイメージの２次判読結果を用いてディボット客体を学習するマシンラーニングモジュール、前記無人航空機が撮影したマルチスペクトルイメージを受信する通信モジュール、前記受信されたマルチスペクトルイメージでディボット客体を探知する探知モジュール、及び、前記探知されたディボット客体の地図座標を表示する出力モジュールを含むコースキーパーサーバーと、
   を含む、ゴルフコースのディボット探知システム。
2. 前記マシンラーニングモジュールは、
   ゴルフコースのマルチスペクトルイメージから、予め定義された色相、サイズ及び形状のうちの少なくとも一つがマッチングする客体を分離するイメージ処理モジュールと、
   前記分離された客体のうち三つの基準全部を満たす客体をディボットと１次判読してマシンラーニングＤＢに保存し、前記分離された客体のうち二つ以下の基準がマッチングする客体を前記ＲＧＢイメージ上に表示し、前記通信モジュールを介して前記ＲＧＢイメージを専門家システムに伝送し、前記専門家システムでディボットまたは疑似ディボットと２次判読された（ａｎｎｏｔａｔｅｄ）客体を前記マシンラーニングＤＢに保存する判読モジュールと、
   を含む、請求項１に記載のゴルフコースのディボット探知システム。
3. 前記疑似ディボットは、野生動物が掘り返して土壌が露出された区域、山崩れによって遺失した区域、及び芝草が部分的に死滅した区域のうちのいずれか一つであることを特徴とする、請求項２に記載のゴルフコースのディボット探知システム。
4. 前記判読モジュールは、色相、サイズ及び形状のうちの二つ以下がマッチングする客体のうちディボットではないものと予め分析されたイメージとマッチングするものは前記ＲＧＢイメージ上に表示しないことを特徴とする、請求項２に記載のゴルフコースのディボット探知システム。
5. 前記ディボットではないものと分析されたイメージは、排水口、落葉、修理地、及びバンカーのうちのいずれか一つであることを特徴とする、請求項４に記載のゴルフコースのディボット探知システム。
6. ゴルフコース管理のためのコースキーパーサーバーのディボット探知方法であって、
   マシンラーニングモジュールがゴルフコースを撮影したマルチスペクトルイメージの１次判読結果及びＲＧＢイメージの２次判読結果を用いてディボット客体を学習する段階と、
   通信モジュールがゴルフコースを撮影したマルチスペクトルイメージを受信する段階と、
   探知モジュールが前記受信されたマルチスペクトルイメージでディボット客体を探知する段階と、
   出力モジュールが前記探知されたディボット客体の地図座標を出力する段階と、
   を含む、ゴルフコースのディボット探知方法。
7. 前記ディボット客体学習段階は、
   イメージ処理モジュールがゴルフコースのマルチスペクトルイメージから、予め定義された色相、サイズ及び形状のうちの少なくとも一つがマッチングする客体を分離する段階と、
   判読モジュールが前記分離された客体のうち三つ全部を満たす客体をディボットと定義してマシンラーニングＤＢに保存する１次判読段階と、
   前記判読モジュールが前記分離された客体のうち二つ以下がマッチングする客体を前記ＲＧＢイメージ上に表示し、前記通信モジュールを介して前記ＲＧＢイメージを専門家システムに伝送する段階と、
   前記専門家システムでディボットまたは疑似ディボットと追加判明（ａｎｎｏｔａｔｅｄ）された客体を前記判読モジュールに通知すると、前記判読モジュールは前記追加判明された客体を前記マシンラーニングＤＢに保存する２次判読段階と、
   を含む、請求項６に記載のゴルフコースのディボット探知方法。
8. 前記疑似ディボットは、野生動物が掘り返して土壌が露出された区域、山崩れによって遺失した区域、及び芝草が部分的に死滅した区域のうちのいずれか一つであることを特徴とする、請求項７に記載のゴルフコースのディボット探知方法。
9. 前記判読モジュールは、色相、サイズ及び形状のうち二つ以下がマッチングする客体のうちディボットではないものと予め分析されたイメージとマッチングするものは前記ＲＧＢイメージ上に表示しないことを特徴とする、請求項７に記載のゴルフコースのディボット探知方法。
10. 前記ディボットではないものと分析されたイメージは、排水口、落葉、修理地、及びバンカーのうちのいずれか一つであることを特徴とする、請求項９に記載のゴルフコースのディボット探知方法。

Images