JP7347731B2 - ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 - Google Patents
ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 Download PDFInfo
- Publication number
- JP7347731B2 JP7347731B2 JP2021005415A JP2021005415A JP7347731B2 JP 7347731 B2 JP7347731 B2 JP 7347731B2 JP 2021005415 A JP2021005415 A JP 2021005415A JP 2021005415 A JP2021005415 A JP 2021005415A JP 7347731 B2 JP7347731 B2 JP 7347731B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- camera
- unit
- information
- digest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B57/00—Golfing accessories
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Accessories Of Cameras (AREA)
Description
本発明は、ゴルフラウンド中のプレーの撮影からハイライトシーンを集めたダイジェスト作成までを自動的に行うゴルフダイジェスト作成システムに関する。
従来より、ゴルフラウンド中のプレーを撮影し、プレー後に動画像をプレーヤーに提供するシステムとしては、特許文献1に記載されているようなものがあった。図28は、特許文献1に記載された従来のゴルフダイジェスト作成システムを構成する移動撮影ユニットの図である。
図28において、移動撮影ユニットは、ゴルフカート上部の360度視界が開けた位置に設置した360度カメラと、そのゴルフカートに設置した集音マイクと、360度カメラからの映像データと集音マイクからの音声データとを記憶するAV記憶部と、映像データと音声データとに両者が同期するための時刻情報を付してAV記憶部に記憶する制御部とを有していた。また、ダイジェスト作成装置は、移動撮影ユニットのAV記憶部に記憶した映像データを画像解析および/または音声データを音声解析するデータ解析部と、当該データ解析部の結果に基づいてハイライトシーンを抽出するダイジェスト作成部とを有していた。
また、プレー時の映像、音声やスコア、コース状況等をライブラリーとして簡易に蓄積できるシステムとしては、特許文献2に記載されているようなものがあった。図29と図30は、特許文献2に記載された従来のゴルフプレーライブラリーシステムでの表示画面の例である。
このゴルフプレーライブラリーシステムでは、プレーヤーがプレー中に撮像ボタンを押して撮影すると、その画像が画像・音声ファイルに格納され、プレー中のホールのたとえば、グリーンとをリンクさせるリンク情報が追加される。これにより、ラウンド終了後、図29の収録画像を表示するモードの画面でユーザがグリーンをポイント指示すると、リンクが取れている画像があれば図30のように表示される。
しかしながら、上記従来例の特許文献1に記載の移動撮影ユニットでは、ゴルフカートがゴルフプレーヤーから離れた位置で撮影せざるを得ない場合、ショット後のボールの行方やグリーン上のボールの転がりなどを明瞭に視認可能な程度に映像として記録することができないという課題があった。
また、ハイライトシーン(見どころのシーン)の映像のみでは、そのシーンの地点の詳細なアンジュレーションが分からないという課題があった。
また、特許文献2に記載のゴルフプレーライブラリーシステムでは、プレーヤーがプレー中に撮影しなければならずプレーに集中できない上に、映像からしかショットしたときのアンジュレーションが分からないという課題があった。
本発明は、上記従来の課題を解決するためになされ、その目的とするところは、プレーヤーが撮影を意識することなしに、ゴルフコース上のハイライトシーンでのゴルフボールの転がりなどの様子やショットした地点のアンジュレーションが分かるゴルフラウンドのダイジェストを自動作成するゴルフダイジェスト作成システムを提供することにある。
上記従来の課題を解決する本発明に係るゴルフダイジェスト自動作成システムは、移動撮影ユニットとダイジェスト作成装置とを備える。
その移動撮影ユニットは、ゴルフカート上部の360度視界が開けた位置に設置した360度カメラと、ゴルフカートに設置した電動雲台上に取り付けた電動式ズームレンズ付きカメラと、ゴルフカートに設置した集音マイクとGPS受信機と、電動式ズームレンズ付きカメラのレンズ方向を検出する方向検出器と、ゴルフコースの地図情報を記憶したコース情報記憶部と、前記360度カメラからの映像データと前記電動式ズームレンズ付きカメラからの映像データと集音マイクからの音声データとを記憶するAV記憶部と、GPS受信機の検出した位置情報と地図情報とから撮影対象エリアを決定し、方向検出器の検出するレンズ方向が当該撮影対象エリアになるように電動雲台を駆動して、電動式ズームレンズ付きカメラでズーム撮影した映像データと、360度カメラからの映像データと、音声データとに三者が同期するための時刻情報や撮影対象エリアを特定するエリア識別情報を付してAV記憶部に記憶する制御部とを有する。
また、ダイジェスト作成装置は、移動撮影ユニットのAV記憶部に記憶された映像データを画像解析および/または音声データを音声解析するデータ解析部と、当該データ解析部の結果に基づいてハイライトシーンを抽出するダイジェスト作成部と、映像データに付されたエリア識別情報に基づいて画像解析や前記ハイライトシーンの抽出の対象とする映像データを前記360度カメラからの映像データと電動式ズームレンズ付きカメラからの映像データとのいずれにするかを選択する制御部とを有する。
これによって、360度カメラではボールなどを視認できるほどに映像を記録できない場合にも、電動式ズームレンズ付きカメラにより明瞭に視認可能なレベルの映像を記録できるので、ゴルフカートと離れた位置でのプレーでもボールなどの動きをダイジェストで確認することが可能になる。
また、本発明に係る移動撮影ユニットの制御部は、GPS受信機の検出した位置情報が地図情報においてグリーン横である場合、当該グリーンを電動式ズームレンズ付きカメラの撮影対象エリアに決定する。
これによって、グリーン上のボールの転がりの様子をダイジェストの映像で確認することが可能になる。
また、本発明に係る移動撮影ユニットの制御部は、さらにGPS受信機の検出した位置情報が地図情報においてグリーン横でない場合、当該位置情報の示す位置からショットしたボールの次の落下エリアとして地図情報にあらかじめ定めたエリアを撮影対象エリアに決定する。
これによって、グリーン横以外でのプレーでは、ショット後のボールの落下予測エリアを電動式ズームレンズ付きカメラで撮影するので、ショット後のボールの行方をダイジェストの映像で確認することが可能になる。
また、本発明に係るダイジェスト作成装置の制御部は、映像データに付されているエリア識別情報がグリーンであることを示す場合、画像解析やハイライトシーンの抽出の対象とする映像データとして電動式ズームレンズ付きカメラからの映像データを選択する。
これによって、グリーン上のプレーは電動式ズームレンズ付きカメラで撮影した映像となるので、グリーン上のボールの転がりの様子をダイジェストの映像で確認することが可能になる。
また、本発明に係るダイジェスト作成装置の制御部はハイライトシーンの映像データに付されたエリア識別情報がグリーンでない場合、当該ハイライトシーンのショット後の映像データを、同時刻の電動式ズームレンズ付きカメラからの映像データに置換する。
これによって、ショット後の映像には次の落下予測エリアの映像が付くので、打球の方向やおよその飛距離などをダイジェストの映像で確認することが可能になる。
また、本発明に係るダイジェスト作成システムは、GPS受信機を備えて所定時間の間隔で位置情報を記録することによりプレーヤーの移動軌跡情報を作成する携帯端末をさらに有する。また、移動撮影ユニットの360度カメラは方位センサを備えて出力する映像データに方位情報を付し、制御部は映像データにゴルフカートの位置情報を付してAV記憶部に記憶するものである。そして、ダイジェスト作成装置はゴルフコースの3次元地図情報を記憶した地図情報記憶部をさらに有し、ダイジェスト作成部がハイライトシーンの発生時刻における、360度カメラからの映像データに付されている方位情報とゴルフカートの位置情報と携帯端末から取得した移動軌跡情報とからプレーヤーの位置を特定し、3次元地図情報から当該位置における地形情報を算出して当該ハイライトシーンの映像データに合成する。
これによって、ボールを打った地点のアンジュレーションをダイジェストの映像で確認することが可能になる。
また、本発明に係る移動撮影ユニットは、ゴルフカート上部の360度視界が開けた位置に設置した360度カメラと、ゴルフカートに設置した電動雲台上に取り付けた電動式ズームレンズ付きカメラと、ゴルフカートに設置した集音マイクとGPS受信機と、前記電動式ズームレンズ付きカメラのレンズ方向を検出する方向検出器と、ゴルフコースの地図情報を記憶したコース情報記憶部と、360度カメラからの映像データと電動式ズームレンズ付きカメラからの映像データと集音マイクからの音声データとを記憶するAV記憶部と、GPS受信機の検出した位置情報と地図情報とから電動式ズームレンズ付きカメラの撮影対象エリアを決定し、方向検出器の検出するレンズ方向が当該撮影対象エリアになるように電動雲台を駆動して、電動式ズームレンズ付きカメラでズーム撮影した映像データと、360度カメラからの映像データと、音声データとに三者が同期するための時刻情報や撮影対象エリアを特定するエリア識別情報を付してAV記憶部に記憶する制御部とを有する。
これによって、360度カメラではボールなどを視認できるほどに映像を記録できない場合にも、電動式ズームカメラにより明瞭に視認可能なレベルの映像を記録できると共に、ゴルフコースのどのエリアの映像であるかを知ることができる。
また、本発明に係るダイジェスト作成装置は、ゴルフカートに設置した360度カメラからの映像データと電動雲台上に取り付けた電動式ズームレンズ付きカメラからの映像データとゴルフカートに設置した集音マイクからの音声データに、三者が同期するための時刻情報や撮影対象としたエリアを識別するエリア識別情報を付したものを記憶するダイジェスト作成用AV記憶部と、そのダイジェスト作成用AV記憶部に記憶した映像データを画像解析および/または音声データを音声解析するデータ解析部と、当該データ解析部の結果に基づいてハイライトシーンを抽出するダイジェスト作成部と、映像データに付されたエリア識別情報に基づいて画像解析やハイライトシーンの抽出の対象とする映像データを360度カメラからの映像データと電動式ズームレンズ付きカメラからの映像データとのいずれにするかを選択する制御部とを有する。
これによって、ダイジェスト作成装置は、撮影対象エリアに応じて、360度カメラではボールなどを視認できるレベルで記録できていない映像を使用せず、電動式ズームカメラにより明瞭に視認可能なレベルの記録できている映像を使用してダイジェストを作成できるので、打球の行方やボールの転がりの様子をダイジェストで確認することが可能になる。
本発明により、ゴルフコース上のハイライトシーンでの打球の行方やグリーン上のボールの転がりなどの様子を明瞭に視認できると共に、ショット地点のアンジュレーションが分かるダイジェストを、プレーヤーが撮影を意識することなしに自動作成することが可能となる。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
(実施の形態1)
図1は、本発明の実施の形態1におけるゴルフダイジェスト作成システムの概要を示す図である。
ゴルフは、プレーヤーが決められた順番に18ホールのゴルフコースをすべてまわり、ティーイングエリア111からグリーン113上のカップまでのゴルフボールを打ったトータル打数を競うスポーツである。
図1において、ゴルフコース11は18ホールの一つを示しており、プレーヤー13が乗車してコース上を移動するゴルフカート12には、全方位の撮影を行える360度カメラ101と、電動雲台と、その電動雲台上に取り付けられた電動式ズームレンズ付きカメラ105と、無指向性の集音マイク102と、GPS受信機103と、無線通信機能を有する移動記録装置104とが搭載されている。特に、360度カメラ101はゴルフカート12のルーフ上方の360度視界が開けた位置に設置されている。
また、この360度カメラ101と電動式ズームレンズ付きカメラ105の解像度は、4K(3,840画素×2,160画素)または8K(7,680画素×4,320画素)である。なお、360度カメラと電動式ズームレンズ付きカメラ105からの映像データと集音マイク102からの音声データは移動記録装置104へ有線または無線で送られる。また、この360度カメラ101は複数台のカメラを用いて360度をカバーするように構成し各映像を合成するようにしたものでもよい。そして、電動式ズームレンズ付きカメラ105は光学レンズの焦点距離や画角を可変できる電動式光学ズームレンズを装着しており、電動雲台はチルトやパンやロール駆動が可能である。
これらゴルフカートに搭載されたものが移動撮影ユニットであり、この移動撮影ユニットはプレー中のゴルフカート周辺360度の映像と音声、そしてボールの次の落下地点と予測されるエリアあるいはグリーンのズームアップした映像を自動的に記録する。
プレーヤー13が腰などに付ける携帯端末106は、GPS受信機を備え、プレーヤーの移動軌跡を時刻情報とともに記録する。
クラブハウス14にはゴルフ場端末107が設置されており、画面を操作して所望のダイジェスト動画の作成を指示したり、DVDなどへダイジェスト動画の書込みなどを行う。
インターネット15上にはダイジェスト作成装置109とダイジェスト配信サーバ110が存在しており、ゴルフ場に存するゴルフ場端末107とは有線でデータ通信し、移動撮影ユニットとは無線基地局108を介してデータ通信する。このダイジェスト作成装置109はゴルフカートに搭載した移動記録装置104に記録された動画データ(以下、「映像データ」と「音声データ」との両方を指す。)を受信し、映像データと音声データを解析するなどしてプレーのハイライトシーンを集めたダイジェストを作成する。
図2は本実施の形態のゴルフダイジェスト作成システムの構成を説明する図である。
図2において、移動撮影ユニット21は携帯端末22との間で双方向の無線通信を行うが、さらにインターネット27上に存在するダイジェスト作成装置23との間で第5世代移動通信(5G)を行う。この第5世代移動通信(5G)システムは、UE(ユーザー装置)と5Gアクセス・ネットワーク(5G-AN)29と5Gコア・ネットワーク(5GCN)28とで構成される。5Gアクセス・ネットワーク(5G-AN)29は、ユーザ装置と直接電波をやり取りする第五世代の無線ネットワーク部分であって、5Gコア・ネットワーク28は、全体として接続処理やユーザ・データのルーティング処理をする第5世代の無線ネットワーク部分である。この5Gアクセス・ネットワーク(5G-AN)29と5Gコア・ネットワーク(5GCN)28については、たとえば文献「5G教科書(LTE/IoTから5Gまで)」(発行所:株式会社インプレス)の218頁から241頁に記載されている通りである。
本実施の形態における移動撮影ユニット21は、上記のUEに該当し、第5世代無線基地局との間で新無線インタフェース(以下、NRと記す。)で双方向通信が可能な5G無線送受信部を備えている。上記のNRについては、前記の文献「5G教科書(LTE/IoTから5Gまで)」の108頁から117頁に記載されている通りである。なお、このNRは下りリンク最大20Gbps、上りリンク最大10Gbpsのデータレートを実現する通信能力を有するものである。
ゴルフ場端末24はDVD書込み機能とネットワークi/fを備える一般的なパーソナルコンピュータであって、ダイジェスト作成装置23との間で有線での双方向通信を行うものである。
ダイジェスト配信サーバ26は大規模な容量の記憶装置とネットワークi/fを備えるコンピュータであって、ダイジェスト作成装置23からダイジェストデータを受信し、個別のIDあるいはURLを付与して記憶・蓄積する。また、外部からIDあるいはURLで指定されたダイジェストデータの送信要求を受付け、要求元の端末(スマートフォンやパーソナルコンピュータ)へファイルを転送したり、ストリーミング配信するものである。
図3はゴルフダイジェスト作成システムを構成する移動撮影ユニットのハードウェア構成を示す図である。
図3において、移動撮影ユニット21は、第1撮像部211と第2撮像部212と集音部213と第1AV記憶部214と第2AV記憶部215とコース情報記憶部216と5G無線送受信部217と無線送受信部218とGPS受信部219と制御部220とからなる。
第1撮像部211は360度カメラを含み、当該360度カメラからの映像データを第1AV記憶部214へ送信するが、その際に360度カメラの広角レンズによる歪みを補正して出力する。この歪み補正は公知のアルゴリズムを組み込んだASIC(Application Specific Integrated Circuit)によりリアルタイム処理を実現している。
さらに、360度カメラは方位センサを備え、撮影した映像データに方位情報を付して出力する。図7(a)はこの映像データの1フレーム画像の例を示している。図7(a)において、破線と共に付されたN、E、S、Wの文字はそれぞれ北、東、南、西の方位を示している。
第2撮像部212は、電動雲台とその上に取り付けられた電動式ズームレンズ付きカメラを含む。図6はこの電動雲台60とそれに取り付けられた電動式ズームレンズ付きカメラの電動式ズームレンズ61とを示す図である。この図において、電動式ズームレンズ61は電気信号ケーブル61bで図示されていないビデオカメラ本体とつながっており、電動雲台60は電気ケーブル60aで図示されていない移動記録装置に接続している。
図6において、電動雲台60はパン回転部601とチルト回転部602とロール回転部603とからなり、それぞれパン駆動用モータとチルト駆動用モータとロール駆動用モータを内蔵している。電動式ズームレンズ61はロール回転部603の回転シリンダ603aに固定されている。そして、パン回転部601には方位センサ62が取り付けられ、チルト回転部602には仰角を検出する傾斜センサ63が取り付けられ、ロール回転部603にはロール角度を検出する傾斜センサ64が取り付けられている。なお、ロール回転部603は傾斜センサの検出した角度を打ち消す方向に回転シリンダ603aを回転させて常にズームレンズ61の水平を保っている。
また、電動式ズームレンズ61はレンズ移動用モータを備え、ビデオカメラ本体からの電気信号によりズームレンズ61aを駆動して焦点距離や画角を変更することができる。
これらの構成により、第2撮像部212は光学ズームレンズをローリング補正して常に水平を保った状態で、方位センサと傾斜センサの検出値を基に指示された方向へレンズを向けると共に、指定された倍率でズーミングした映像データを第2AV記憶部215へ送信する。
集音部213は集音マイク102を含み、当該集音マイク102からの音声データを第1AV記憶部214および第2AV記憶部215へ送信する。
GPS受信部219はGPS受信機を含み、衛星からの信号を受信して現在の位置情報と時刻情報とを出力する。
第1AV記憶部214は第1撮像部211からの映像データと集音部213からの音声データを記憶するものである。そして第2AV記憶部215は第2撮像部212からの映像データと集音部213からの音声データを記憶するものである。これら第1AV記憶部214と第2AV記憶部215は、共にハードディスクや半導体メモリカードを記録媒体とする不揮発性記憶装置であるが、耐衝撃性に優れる半導体メモリカードが好ましい。
コース情報記憶部216も不揮発性記憶装置であり、ゴルフ場の全コースの3次元地図情報が記憶されている。図8はゴルフコースの一つのホールを示した等高線図である。図8において、等高線は一部を省略して表記しているが、本実施の形態における3次元地図情報は、1センチメートルの高度間隔で作成された等高線図を5センチメートル四方でメッシュ状に細分化した各点の緯度と経度と高度とからなるものであって、ホールごとに記憶している。また、図8で示すように、各ホールは基準打数に応じてエリアを2から4に分けている。すなわち、基準打数が3のホールではエリア1とエリア2に分け、基準打数4のホールでは、エリア1からエリア3に分け、基準打数5のホールではエリア1からエリア4に分け、ホールの外郭と各エリアの境界線上の点をエリア情報として記憶している。
5G無線送受信部217は、前述した第5世代無線基地局と高速無線通信を行うものである。
無線送受信部218は中距離の無線通信(IEEE802.11)を行うもので、数100メートル間の通信が可能である。
制御部220は、移動撮影ユニット21全体を制御するものであり、第1撮像部211からの映像データや集音部213からの音声データを第1AV記憶部214に書き込み、第2撮像部212からの映像データや集音部213からの音声データを第2AV記憶部215に書き込む。これらの映像データは、20fpsから60fpsのフレームレートで撮影され、各フレームには撮影開始からの経過時刻(タイムコード)を付して記録する。また、音声データにも上記各フレームに同期した時刻情報(タイムコード)を付して記録する。なお、制御部220は、第2撮像部212の電動雲台に対してパン方向の回転角度とチルト方向の回転角度を指示すると共に、電動式ズームレンズ付きカメラに対してズーム倍率を指示する。
さらに、制御部220はGPS受信部219から取得した位置情報と3次元地図情報とから現在ゴルフカートの停止しているホール番号を算出し、これらの映像データにゴルフカートの位置情報とホール番号と撮影対象としたエリアを識別するエリア識別情報とを記録する。
以上の移動撮影ユニット21から360度カメラ101と電動雲台60と電動式ズームレンズ付きカメラ105と集音マイク102とGPS受信機103とを除いたものが前述した移動記録装置104であり、無線通信機とコンピュータ装置により実現されている。このコンピュータ装置は、CPU、メモリ、不揮発性記憶部、入出力インターフェース、および無線通信インタフーェースを備えており、それらはバスで接続されている。特に、制御部220は、不揮発性記憶部に記憶してある制御用プログラムをメモリに展開して実行することにより機能を実現している。
なお、本発明に係る移動撮影ユニットのAV記憶部は第1AV記憶部214と第2AV記憶部215とをさし、方向検出器は方位センサ62と傾斜センサ63とをさし、地図情報は3次元地図情報をさす。
次に、携帯端末22のハードウェア構成を説明する。
次に、携帯端末22のハードウェア構成を説明する。
図4は本実施形態における携帯端末22のハードウェア構成を示す図である。
図4において、携帯端末22は、GPS受信部221と移動軌跡記録部222と無線送受信部223と制御部224とからなる。
GPS受信部221はGPS受信機を含み、衛星からの信号を受信して現在の位置情報と時刻情報とを出力する。
移動軌跡記録部222は不揮発性メモリであり、この携帯端末22を保有するプレーヤーがゴルフプレー中に移動した地点を所定時間ごとに記録した情報(以下、「移動軌跡情報」という。)を記憶している。
無線送受信部223は無線通信(IEEE802.11)を行うもので、数100メートル間の通信が可能である。
制御部224は携帯端末22全体を制御するものである。
制御部224は携帯端末22全体を制御するものである。
以上の携帯端末22は、GPS受信機と無線通信機とコンピュータ装置により実現されている。このコンピュータ装置は、CPU、メモリ、不揮発性記憶部、入出力インターフェース、および無線通信インターフェースを備えており、それらはバスで接続されている。特に、制御部224は、不揮発性記憶部に記憶してある制御用プログラムをメモリに展開して実行することにより機能を実現している。
次に、ダイジェスト作成装置23のハードウェア構成を説明する。
図5は、本実施の形態におけるダイジェスト作成装置23のハードウェア構成を示す図である。
図5において、ダイジェスト作成装置23は、AVL記憶部231と動画切出し部232と動作解析部233と音声解析部234と合成画像生成部235とダイジェスト作成部236とダイジェスト記憶部237とコース情報記憶部238とネットワークi/f部239と制御部240とからなる。
AVL記憶部231は、不揮発性記憶装置であり、移動撮影ユニット21から第5世代移動通信システムを経由して受信した、360度カメラの撮影した映像データ(以下、「360度カメラ映像データ」という。)と電動式ズームレンズ付きカメラの撮影した映像データ(以下、「光学ズームカメラ映像データ」という。)と音声データと携帯端末22が作成した移動軌跡データを記憶する記憶装置である。なお、移動軌跡データファイルにはプレーヤーあるいは携帯端末の識別情報が付されている。
動画切出し部232は、映像データから任意の領域を指定して映像を切り出すものであって、動体検出によって人物を検出し、その人物全員が含まれる周辺領域までを切り出す処理を行ったり、人物を特定して切り出す。なお、特定の人物を切り出す際には、人物追跡処理を行って、当該人物を中心にして切り出す。
さらに、動画切出し部232は、AVL記憶部231から読み出した光学ズームカメラ映像データに付されたエリア識別情報がグリーンを示すものであった場合は、人物ばかりでなく、グリーン上の旗竿とボールを検出し、それらも含めた領域を切り出す処理を行う。
図7(a)は360度カメラによる映像データのフレームの画像例を示し、本フレームはゴルフカートの周り360度の画像である。動画切り出し部232は、このフレーム中の人物がすべて含まれるように破線で囲んだ領域を切り出す。
また、図7(b)は人物を特定して切り出した画像例であって、人物が所定のサイズ以上になるように領域を切り出す。このとき、人物の特定はその人物の360度カメラから見た方角の情報、たとえば、北を0度とし時計方向をプラス、反時計方向をマイナスと規定し、マイナス170度といった方角情報と共に動画切り出し要求が出される。そして、切り出された画像にはこの方角情報が人物を特定する特定情報として付される。
また、図7(c)はグリーン上の人物を特定して切り出した画像例であって、特定された人物と旗竿とを中心にした領域を切り出す。
これら人物等の検出や人物追跡や画像切出し(トリミング)の処理は、OpenCV(Open Source Computer-Vision-Libraryとはインテル社が開発・公開したオープンソースのコンピュータビジョンライブラリーをいう。)で公開されている公知の画像処理プログラムやモーション解析プログラムや物体追跡プログラムやパターン認識プログラムなどを利用したソフトウェア処理を行うことにより行う。
動作解析部233は、映像データを画像認識してプレーヤーがスイングする動作であるか、パッティングする動作であるか、あるいは飛び跳ねたり、手を上にあげる動作であるかを解析する。この解析技術としては、例えば、立体高次局所自己相関(Cubic High order Local Auto Correlation)特徴量を用いて動作を判定する技術が知られている。そして、動作解析部233は判定された各動作種別とその判定時刻情報とからなるハイライトシーン候補リストを作成する。
なお、本実施の形態では超高解像度カメラを使用しており、4Kカメラの場合、録画した動画の画素が3,840画素×2,160画素であり、8Kカメラの場合、7,680画素×4,320画素でフレームは録画されている。このため、切り出し後であっても人物の画素数はHD画質の録画の場合の切り出し後のものに比べ4倍、あるいは8倍となるので、高い精度で動作解析することが可能である。さらに、第2撮像部からの映像データは電動式ズームレンズによりグリーンのみが拡大された動画であるため、グリーン上のボールを明瞭に認識することが可能である。
音声解析部234は、音声データの周波数分析を行いスペクトログラムを求め、予め設定してあるモデルのスペクトログラムとの類否度を求める。さらに、音量の2乗平均値の大きさも加味して、音声情報をショット音、歓声、笑い声、話し声、その他の音声とに分類する。このようにして音声解析部234は、判定した音声種別と時刻情報とからなるハイライトシーン候補リストを作成する。
合成画像生成部235は、合成する画像を生成し、その画像と映像データとを合成する。合成する画像としては、予め保有するホールごとの平面図の画像にゴルフカート位置やハイライトシーンの発生した位置を印したものや、ある地点の起伏を3次元曲面のソリッドモデルで表現した画像である。このソリッドモデルは公知のソリッドモデリングカーネルを用いて作成する。
図10(a)は、そのダイジェスト映像に合成するゴルフコースのホールの平面図の画像例であり、図10(b)はダイジェスト映像に合成するアンジュレーションを示すソリッドモデルの画像例である。
ダイジェスト作成部236は、時刻情報リストに基づいてAVL記憶部231内に記憶されている映像データおよび音声データの中からハイライトシーンを抽出し、それらを結合してダイジェストを作成する。また、動画切出し部232が切り出したフレームを公知のアップコンバート技術によりフルHD画質に補正する。
ダイジェスト記憶部237は、ダイジェスト作成部236が作成したダイジェストを記憶するものである。
コース情報記憶部238は不揮発性記憶装置であり、ゴルフ場の全コースの3次元地図情報を記憶している。この3次元地図情報は、ゴルフコースの各ホールを1センチメートルの高度間隔で作成した等高線図を、5センチメートル四方でメッシュ状に細分化した各点の緯度と経度と高度とからなるものである。
制御部240は、ダイジェスト作成装置23全体を制御するものであって、ネットワークi/f239を介して得た要求を、ダイジェスト作成装置23を構成する各処理部に指示して行うものである。
上記したダイジェスト作成装置23は大容量記憶装置を有するコンピュータ装置であって、CPU、メモリ、不揮発性記憶部、入出力インターフェース、およびネットワークインタフェースを備えており、それらはバスで接続されている。特に、動画切出し部232や動作解析部233や音声解析部234や合成画像生成部235やダイジェスト作成部236や制御部240は、不揮発性記憶部に記憶してある各種プログラムをメモリに展開して実行することにより機能を実現している。
なお、本発明に係るダイジェスト作成装置のダイジェスト作成用AV記憶部は本実施の形態のAVL記憶部231の一部をさし、地図情報記憶部は本実施の形態のコース情報記憶部238をさし、データ解析部は本実施の形態の動画切出し部232と動作解析部233と音声解析部234とをさし、ダイジェスト作成部は本実施の形態の合成画像生成部235とダイジェスト作成部236とをさす。
その他にゴルフ場端末24とダイジェスト配信サーバ26を本実施の形態のゴルフダイジェスト作成システムは有するが、ゴルフ場端末24はDVD書込み機能とネットワークi/fを備える一般的なパーソナルコンピュータであり、ダイジェスト提供サービスプログラムが内蔵記憶装置に記憶されている。このアプリケーションプログラムを内蔵記憶装置からメモリに展開してCPUが実行することによりダイジェスト提供サービスが実施される。
ダイジェスト配信サーバ26はHTTP Live Streaming(以下HLSと記載する。)で要求されたダイジェストのストリーミング配信を行う公知のストリーミングサーバやHTTPプロトコルで配信を行う公知のウェブサーバ、あるいはFTPプロトコルでファイル転送を行う公知のファイルサーバである。
以上のように構成されたゴルフダイジェスト作成システムの装置毎の動作、作用について、以下に説明する。
図11は、移動撮影ユニットの動作フロー図である。
図11は、移動撮影ユニットの動作フロー図である。
図11において、まず、移動撮影ユニット21の制御部220は、現在位置がスタートホールのティーイングエリアの横であるか否か判定し(S601)、スタートホールのティーイングエリアの横であると判定した場合、制御部220は、位置情報が変化しなくなるまで待機する。
そして、スタートホールのティーイングエリアの横で停止したことを検出すると、制御部220は、撮影を開始し動画データの録画・録音を始める(S602)。このとき、記録する動画データを識別するためのゴルフカート番号と動画の録画・録音を開始した時刻も記録する。これ以降、移動撮影ユニット21の制御部220は、録画開始からの経過時間(タイムコード)とゴルフカートの停止しているホール番号と位置情報(緯度・経度情報)とエリア識別情報とを映像データに付加して記録する。
次に、制御部220は、位置情報が変化しているか否かを判定し(S603)、変化するまで待機する。
位置情報が変化している場合は、ゴルフカートが移動中であるので動画の録画・録音を停止し、第1AV記憶部214と第2AV記憶部215に記録中の動画データファイルをクローズする。そして、5G無線送受信部217からインターネット上のダイジェスト作成装置23へ当該動画データファイルをFTPプロトコルで送信する(S604)。この動画データファイルには、ゴルフ場番号、プレー年月日、カート番号、360度カメラの撮影か電動式ズームレンズ付きカメラの撮影かを示す識別情報、そして、送信するたびにインクリメントされる連番からなる動画IDがファイル名として付けられる。
その後、位置情報が変化していないと判定した場合、制御部220は現在位置がクラブハウスであるか否かチェックする(S605)。現在位置がクラブハウスではない場合、制御部220は、第1撮像部211による撮影と録画・録音を開始する(S606)。
次に、制御部220は、現在位置がグリーンの横であるかをチェックし(S607)、グリーンの横でない場合は、第2撮像部212を制御して次のボールの落下エリアと想定したエリアを撮影し、録画・録音する(S608)。
すなわち、制御部220は、図8において、現在位置がエリア1にあるときは次のエリア2の全体が画面に収まるようにコース情報記憶部216に記憶している3次元地図情報から画角と方角を決定する。そして、第2撮像部212の電動式ズームレンズ付きカメラのズーム倍率をレンズ移動用モータを駆動して変更すると共に、電動雲台の方位センサ62と傾斜センサ63の検出値が決定された方位と仰角となるようにパン駆動用モータとチルト駆動用モータを制御する。ここで、現在位置から次のエリアの全体が収まるとは、たとえば、ゴルフカートがティーイングエリア横のポイントG1(801)にあるときに画角をエリア2の全体を撮影できる最大画角804とすることであり、現在位置がポイントG3(805)にあるときに画角をエリア3の全体が撮影できる最大画角808とすることをいう。
一方、移動撮影ユニット21の制御部220は、現在位置がグリーンの横である場合、第2撮像部212を制御して現在位置からグリーン全体を撮影し録画・録音する(S609)。
すなわち、制御部220は、図8において、現在位置がポイントG4(809)であるとき、グリーン811の全体が画面に収まるように第2撮像部212の電動式ズームレンズ付きカメラの画角を最大画角810に決定し、方角も同時に決定する。そして、第2撮像部212の電動式ズームレンズ付きカメラのズーム倍率をレンズ移動用モータを駆動して変更すると共に、電動雲台のパン駆動用モータとチルト駆動用モータを制御して撮影を開始する。
ステップS605において、現在位置がクラブハウスであると判定した場合、移動撮影ユニット21の制御部220は、すでに18ホールすべてのプレーを記録済みか否か判定し(ステップS610)、18ホールすべての記録をしていない場合は、ステップS606の処理へ移行する。
他方、18ホールすべてを記録していた場合、移動撮影ユニット21の制御部220はラウンド終了と判断し、各携帯端末22へ移動軌跡データの送信を要求する。その後、各携帯端末22から移動軌跡データファイルを無線送受信部218を介して受信すると、それらの移動軌跡データファイルを5G無線送受信部217からインターネット上のダイジェスト作成装置23へFTPプロトコルで転送する(S611)。なお、移動軌跡データファイルにはプレーヤーあるいは携帯端末の識別情報が付けられている。
さらに、移動撮影ユニット21の制御部220は、ダイジェスト作成装置23へ動画データの送信が完了していた場合は、ダイジェスト作成装置23へ最終ファイル送信完了通知を行い、完了していない場合は、未送信分の動画データを送信した後、最終ファイル送信完了通知を行う。
以上が移動撮影ユニット21の動作フローである。この様に、動画データの収録開始と終了が移動撮影ユニット21が現在位置を検出して自動で行われるので、収録忘れや漏れを防ぐことができる。
次に、携帯端末22の動作・作用を図面を用いて説明する。
図12は携帯端末22の動作フロー図である。
次に、携帯端末22の動作・作用を図面を用いて説明する。
図12は携帯端末22の動作フロー図である。
図12において、携帯端末22の制御部224はGPS受信部221から位置情報を取得し(S701)、前回の位置情報の記録から所定時間経過したか否かを判定する(S702)。なお、本実施の形態では所定時間は1秒としている。
所定時間経過していた場合は、時刻情報と共に取得した位置情報を移動軌跡記録部222へ追加書き込みを行うが(S703)、所定時間経過していない場合は位置情報の書き込みを行わない。
次に、制御部224は、移動軌跡データの送信要求を受信したか否か判定する(S704)。そして、送信要求を受信していた場合は、要求元へ移動軌跡記録部222に書き込まれている移動軌跡データにプレーヤーあるいは携帯端末の識別情報を付して無線送受信部223を介して送信した(S705)後、ステップS701へ戻る。
一方、送信要求を受信していなかった場合は、そのままステップS701へ戻る。
以上が携帯端末22の動作・作用である。
以上が携帯端末22の動作・作用である。
次に、ダイジェスト作成装置23の動作・作用を図面を用いて説明する。
図13は、ダイジェスト作成装置23の動作フロー図である。
図13において、まず、ダイジェスト作成装置23の制御部240は、移動撮影ユニット21から動画データの受信要求があるか否かを判定し(S801)、受信要求がある場合は送信を許可し、動画IDの付された映像データファイルと音声データファイルをFTPプロトコルで受信する(S802)。そして、それぞれAVL記憶部231へ書き込み、それまでに受信していた同一動画IDのそれぞれのファイルと結合する(S803)。なお、この映像データファイル等の受信とそれぞれのファイル結合は移動撮影ユニット21からの最終ファイル送信完了通知を受けるまで行う。
次に、ダイジェスト作成装置23の制御部240は、ゴルフ場端末24からダイジェスト作成指示を受信すると(S804)、ダイジェスト作成処理を行う(S805)。
図14はダイジェスト作成処理を説明する動作フローである。
図14において、ダイジェスト作成装置23の制御部240は、ダイジェスト作成の指示に際して付されていたゴルフ場番号、プレー年月日、ゴルフカート番号に基づいて、動画IDを参照して当該ゴルフカート番号の付された360度カメラ映像データファイルをAVL記憶部231から読み出す(S901)。そして、制御部240はこの映像データの内、エリア識別情報がグリーンでない映像データについて動画切り出し部232に動画切り出し処理を要求する。また、制御部240は、動画IDを参照して当該ゴルフカート番号の付された光学ズームカメラ映像データファイルを読み出し、エリア識別情報がグリーンである映像データについても、動画切り出し処理を要求する。
そして、動画切り出し部232は、これらの要求を受けて、人物検知処理を行い人物と認識した部分を含む領域を切り出したり、エリア識別情報がグリーンである映像データからは人物として認識した部分と旗竿として認識した部分を含む領域を切り出す(S902)。
次に、ダイジェスト作成装置23の制御部240は、動作解析部233に切り出された動画について動作解析処理を要求する。動作解析部233はこれを受けて動作解析処理を行い(S903)、動作種別とその発生時刻情報とのハイライトシーン候補リスト1を作成する(S904)。なお、高解像度の映像データであっても動作解析は一部を切り出した映像データを用いて行うので、解析時間を短くおさえることができる。
次に、制御部240が、音声解析部234にAVL記憶部231から読み出した音声データについて音声解析処理を要求する。音声解析処理部234は音声解析処理を行い(S905)、音声種別とその判定時刻情報とのハイライトシーン候補リスト2を作成する(S906)。
次に、ダイジェスト作成装置23の制御部240は、動作解析部233と音声解析部234が作成したリストからハイライトシーンとして抽出すべきシーンを決定する(S907)。
図15は、ハイライトシーンの決定処理を説明する動作フロー図である。
図15において、まず、ハイライトシーン候補リスト1とハイライトシーン候補リスト2とを時系列順に統合した候補リストを作成し(S1001)、各動作種別と音声種別に評価値を付与する(S1002)。
図16は動作種別と音声種別に評価値を付与する処理を説明する図である。
評価値の付与基準としては、たとえば、動作種別がスイングやパッティングである場合は評価値6、飛び跳ね動作や手をあげる動作の場合には評価値4を付与する。また、音声種別がショット音である場合には評価値6、歓声である場合には評価値4、笑い声である場合には評価値3とする。特に、音声が話し声と判定された際は、公知の音声認識処理により認識した音声が「ナイスショット」や「グッドショット」である場合は、ハイライトシーンの有力候補であるので評価値6とし、その他の音声種別の場合には評価値0とする。
制御部240は、まず、図16(a)に示すように各動作種別と音声種別にこれらの付与基準に従い評価値を付与する。
次に、ゴルフカートの位置との関係で評価値を加算する。たとえば、スイング動作とショット音がティーグラウンドにいるときのものである場合には、それぞれ評価値4を加点する。また、図16(b)に示すように、グリーン上にいる場合のパッティング動作には評価点4を加点する。これにより、ティーショットとカップインするパッティングの動作をハイライトシーンから漏れることを防止できる。
また、この評価値付与の段階で、動作種別の判定対象とされた映像中の人物を後の再動画切り出し処理において特定できるように当該人物の映像中の特定情報、本実施の形態ではゴルフカートからの方角情報を記録する。
次に、制御部240は、図16に示すように一つの動作種別や音声種別の前後の所定時間を1区間として設定し、区間毎の評価値の合計を区間評価値として求める(S1004)。たとえば、スイングやパッティングの動作種別は前後各5秒を1区間とし、歓声や飛び跳ね動作や手の上げ動作は前5秒、後1秒を1区間とする。また、区間がオーバーラップする場合は、区間を延長し、一つの区間として扱う。たとえば、図16(a)は、動作種別スイングから動作種別飛び跳ねまでを1区間とする。また、図16(b)は、動作種別パッティングの前5秒から動作種別手の上げの後1秒までを1区間とする。
これにより、1ブロック内に動作解析と音声解析の両方でイベントを検出している場合はブロック評価値が高くなり、ハイライトシーンとして抽出する確率が高くなるので、ハイライトシーン選定の妥当性が高まる。
次に、制御部240は、区間評価値が所定の点数以上のものをハイライトシーンとして選出区間を決定する(S1005)。
以上が、ハイライトシーンの決定処理(S907)である。
以上が、ハイライトシーンの決定処理(S907)である。
次に、ダイジェスト作成装置23の制御部240は、AVL記憶部231に記憶されている、動画切り出し処理をする前の動画データから、選出された区間の動画データを抽出し(S908)、動画切出し部232に再度動画切り出し処理を要求する。動画切り出し部234は、この要求を受けて、ハイライトシーンとして選出された区間の映像データから切り出しを行うが、このとき動画切出し部232は、選出された区間に特定すべき人物の特定情報、本実施の形態ではゴルフカートからの方角情報であるが、この特定情報が記録されている場合は図7(b)で示すようにこの特定した人物を中心とした切り出し処理や図7(c)で示すように特定した人物と旗竿とを中心とした切り出し処理を行う。また、選出された区間の時間内に当該人物が移動している場合は、動画切出し部232は当該人物を追尾してフレームから外れることがないように切り出し処理を行う(S909)。
次に、制御部240は、切り出した動画データ中にショット音がある場合、そのショット音の発生時刻、あるいは発生から1秒経過した後に所定時間分、光学ズームカメラ映像データから同時刻の動画データを抽出し、360度カメラ映像データと置換する。あるいは、ショット音の発生後、同一区間内に動作を検出していた場合は、その動作までの時間分の光学ズームカメラ映像データを360度カメラ映像データと置換する(S910)。
これにより、ハイライトシーンであるショット後の打球の行方をダイジェスト映像で視認することが可能になる。
次に、ダイジェスト作成装置23の制御部240は、合成画像生成部235に切り出された動画に合成する画像を生成し、それらを合成した映像データの作成を要求する(S911)。以下に合成画像生成部235の行う処理を詳細に説明する。
まず、合成画像生成部235は、ハイライトシーンの映像データに特定すべき人物の特定情報(本実施の形態では、ゴルフカートからの方角情報をさす。)が付されているか否かを判定し、特定情報が付されている場合は、ハイライトシーンの発生時の時刻情報とゴルフカートの位置情報と方角情報と移動軌跡データとから特定すべき人物の位置情報を求め、平面図画像に印しを付けて映像データと合成する。
図10(a)は、ダイジェスト映像に合成するゴルフコースのホールの平面図であり、印1001がハイライトシーンの発生した位置を示し、方位マーク1002が方位を示すものである。
ここで、図9を用いてハイライトシーンの発生時に特定すべき人物がいた位置を正確に求める方法を説明する。
図9において、A1からA4はプレーヤーAのプレーした位置を示すものであり、同様にB1からB3はプレーヤーBのプレーした位置を示し、C1からC3はプレーヤーCのプレーした位置を示し、D1からD4はプレーヤーDのプレーした位置を示している。また、G1からG4はゴルフカートの停止した位置を示している。
そして、G1-A1-G1-G2-A2-G2-G3-G4-A3-A4を繋いだ線はプレーヤーAの移動軌跡を示している。同様に、G1-B1-G1-G2-G3-B2-G3-G4-B3を繋いだ線はプレーヤーBの移動軌跡を示し、G1-C1-G1-G2-G3-C2-G3-G4-C3を繋いだ線はプレーヤーCの移動軌跡を示し、G1-D1-G1-G2-G3-D2-G3-G4-D3-D4を繋いだ線はプレーヤーDの移動軌跡を示している。
いま、プレーヤーBとプレーヤーCのそれぞれの位置B2と位置C2でのプレーがハイライトシーンであったとき、ハイライトシーン発生時のゴルフカートからのプレーヤーBの方角情報901(特定情報)とプレーヤーCの方角情報902(特定情報)が映像データに付与されているので、これらの特定情報と、移動軌跡データから求めた当該発生時刻のプレーヤーBの位置情報B2とプレーヤーCの位置情報C2とゴルフカートの位置情報G3とから算出する方角とを比較する。そして、最も特定情報に近い方角のプレーヤーの位置情報をハイライトシーンの特定する人物の位置情報であるとみなす。これにより、特定人物の位置情報を正確に決定することができる。
次に、合成画像生成部235は、特定した人物の位置情報とコース情報記憶部238に記憶してある3次元地図情報とからハイライトシーンの発生した地点を中心に半径1メートルの範囲の緯度、経度、高度のデータを抽出する。そして、これらのデータから方位情報(N、S、E、W)も付した3次元曲面のソリッドモデルの画像を作成する(S910)。
図10(b)は、ダイジェスト映像に合成するアンジュレーションを示すソリッドモデルの図であり、ハイライトシーンの発生した位置1003を中心に半径1メートルの範囲で作成している。図中のN、E、S、Wは方位を示し、数字は中心の高度とそれぞれの位置との高度差をセンチメートル単位で示している。このソリッドモデルの図形が本発明に係るダイジェスト作成装置の生成する地形情報に該当する。
そして、合成画像生成部235は、これらソリッドモデルの画像と印の入った地図画像とを映像データに合成する。
これにより、ダイジェスト映像にはハイライトシーンの発生した位置とその場所の起伏形状も表示されるので、プレー後にどのようなアンジュレーションのボールを打ったのかを知ることができる。すなわち、図10(a)においては、ショットした位置1001からグリーン方向は北西にあるので、図10(b)から対象プレーヤーは右利きの場合、左足上がりのスタンスで前下がりのボールを打ったことが分かる。
一方、ハイライトシーンの映像データに特定すべき人物の特定情報が付されていない場合は、ゴルフカートの位置情報を基に、前述したホールの平面図画像にゴルフカートの位置の印(たとえば白丸)を付ける。その後、映像データにこの平面図画像を映像データと合成する。
以上が合成画像生成部235の行う合成画像生成処理(S911)である。
次に、ダイジェスト作成装置23の制御部240は、ダイジェスト作成部236にダイジェストの作成を要求する。ダイジェスト作成部236はこれを受けて、地図画像や起伏の分かるソリッドモデルの画像が合成された動画データをアップコンバート技術によりフルHD画質に補正しながら時系列順に結合してダイジェスト記憶部237に順次書き込む。
そして、最後に、制御部240は、映像データに時刻情報とともに記録されているホール番号を参照して、ティーショットの動画の前に予め用意しているホール番号を示す画像を挿入する(S912)。
以上がダイジェスト作成装置23の行うダイジェスト作成処理(S805)であり、その後、作成されたダイジェストにダイジェストIDを付してダイジェスト配信サーバ26(ウェブサーバ)に送信する(S806)。このダイジェストIDはゴルフ場番号とプレー年月日とカート番号とからなる。
次に、ダイジェスト作成装置23の制御部240は、ダイジェスト配信サーバ26からダイジェストファイルの格納完了通知とその格納場所のURLを受信すると(S807)、当該格納場所のURLとダイジェストIDとを関連付けてゴルフ場端末24へ通知する(S808)。
その後、ダイジェスト作成装置23の制御部はステップS801の処理へ戻る。
以上が本実施の形態におけるダイジェスト作成装置23の動作フローである。
次に、ダイジェスト配信サーバ26の動作フローについて説明する。
図17は、ダイジェスト配信サーバ26の動作フロー図である。
前述の通りダイジェスト配信サーバ26はインターネット上で自己の管理するダイジェスト(動画ファイル)のファイル転送やストリーミング配信を行うウェブサーバである。
まず、ダイジェスト配信サーバ26はダイジェスト作成装置23からの格納要求を受けると(S1101)、ダイジェストIDをファイル名とするダイジェストファイルを受信し、記憶装置に格納する(S1102)。そして、ダイジェスト作成装置23にダイジェストファイルの格納場所のURLを返信する(S1103)。このときダイジェスト配信サーバ26は受信したファイルのファイル名であるダイジェストIDと格納場所のURLとを関連付けて管理する。
次に、ダイジェスト配信サーバ26はプレーヤー等の携帯端末やゴルフ場端末24からURLにより指定されたダイジェストファイルの転送要求あるいはストリーミング配信要求を受信すると(S1104)、指定されたダイジェストファイルを記憶装置から読み出し、要求元の端末にFTPプロトコルによるファイル転送あるいはHLSプロトコルによるストリーミング配信を行う(S1105)。
次に、ダイジェスト配信サーバ26は、プレーヤー等の携帯端末やゴルフ場端末24からURLにより指定されたダイジェストファイルの消去指示を受信すると(S1106)、記憶装置から指定されたダイジェストファイルを消去するとともに、送信元のプレーヤー端末やゴルフ場端末24へダイジェストファイルの消去完了を通知する(S1107)。
以上がダイジェスト配信サーバの動作フローである。
以上がダイジェスト配信サーバの動作フローである。
次に、ゴルフ場端末24の動作について説明する。
図18は、ゴルフ場端末24の動作フロー図である。
前述の通りゴルフ場端末24はインターネット接続可能な一般的なパーソナルコンピュータであるが、ダイジェスト提供サービスプログラムが実行される。すなわち、まず、ディスプレイ上にダイジェスト作成要求とDVD作成要求とダイジェスト消去要求のメニューを表示する。
図18は、ゴルフ場端末24の動作フロー図である。
前述の通りゴルフ場端末24はインターネット接続可能な一般的なパーソナルコンピュータであるが、ダイジェスト提供サービスプログラムが実行される。すなわち、まず、ディスプレイ上にダイジェスト作成要求とDVD作成要求とダイジェスト消去要求のメニューを表示する。
そして、ゴルフ場端末24はキーボードなどからゴルフカート番号が入力された後にダイジェスト作成要求を受け付けると(S1201)、ゴルフ場番号とプレーの年月日とカート番号とを付してダイジェスト作成装置23へ該当する映像データ等のファイルからダイジェストを作成するように要求する(S1202)。この要求はゴルフ場端末が備えるネットワークi/fを介してインターネット上のダイジェスト作成装置23へ送信される。
その後、ゴルフ場端末24は、ダイジェスト作成装置23からダイジェストIDとそのダイジェストの格納場所であるURLを受信したかを判定し(S1203)、受信するまでチェックを繰り返す。
その後、ダイジェスト作成装置23からのダイジェストIDとURLを受信すると、ゴルフ場端末24はこのURLとダイジェストIDとを関連付けて記憶するとともに、当該ダイジェストIDが示すカート番号でプレーしたプレーヤーへメールなどでそのURLを通知する(S1204)。
このメールを受信したプレーヤーは自己の端末から当該URLへアクセスし、ダイジェストの転送要求を行うと、ダイジェスト配信サーバ26が要求元の端末へダイジェストを転送したり、あるいはストリーミング配信をすることで、プレーヤーは当該ダイジェストを視聴することが可能になる。
また、ゴルフ場端末24がプレーヤーからDVD作成の要求を受けると(S1205)、ゴルフ場端末24はプレー年月日とゴルフ場IDと指定されたカート番号とからダイジェストIDを求め、ダイジェスト作成装置23から受信済みのURLとダイジェストIDとの関連情報からURLを抽出する。そして、該当URLへアクセスし、ダイジェスト配信サーバ26からダイジェストファイルをダウンロードし(S1206)、DVDに書き込む(S1207)。このとき、ゴルフ場端末24は当該ダイジェストのDVDをフルHD(1920画素×1080画素)画質で作成する。
次に、ゴルフ場端末24が表示メニューからカート番号とダイジェスト消去指示を受けると(S1208)、ゴルフ場端末24は同様に該当するURLを抽出し、ダイジェスト配信サーバ26へダイジェストファイルの削除要求を送信する(S1209)。
ダイジェスト配信サーバ26はこれを受けて、指定されたURLをアドレスとするダイジェストファイルを削除する。
以上のように、本実施の形態においては、ゴルフダイジェスト自動作成システムは、ゴルフカート上部の360度視界が開けた位置に設置した超高解像度の360度カメラの他に、電動式ズームレンズ付きカメラを備えているので、ゴルフカートから離れた場所でのプレーもズーム撮影することができるので、ダイジェスト映像にグリーン上のボールの転がりやショット後のボールの落下の様子を明瞭に視認可能なレベルで記録することができる。
また、本実施の形態においては、各プレーヤーが移動軌跡情報を記録する携帯端末を所持してラウンドするので、ハイライトシーンの人物の位置を正確に求めることができる。その結果、そのプレーヤーがどのようなアンジュレーションでボールを打ったのかを知ることも可能になる。
また、本実施の形態では、プレーヤーが携帯端末22や移動撮影ユニット21に対して一切の入力を行う必要がないので、プレーヤーはビデオ撮影をまったく意識することなしにゴルフを楽しむことができる。
なお、本実施の形態では、移動撮影ユニット21に第1AV記憶部214と第2AV記憶部215を設けて第1撮像部211や第2撮像部212からの動画データを書き込んだが、これに限らず、動画データを5G無線送受信部217から出力し、ダイジェスト作成装置23へリアルタイムで送信することも可能である。
この場合には、第1撮像部211や第2撮像部212からの動画データを映像圧縮方式H.265/HEVCなどで圧縮するリアルタイムエンコーダを設けて、エンコードされた動画データを送信することが好ましい。また、リアルタイム送信する場合であっても、移動通信システムでの通信トラブル等に対応するため、第1AV記憶部214と第2AV記憶部215によりある程度の動画データを記憶する構成であることが好ましい。
また、本実施の形態では、携帯端末22が移動軌跡データを移動軌跡記録部222にラウンド開始から終了まで記録し、ラウンド終了後に移動撮影ユニット21へ送信したが、これに限らず、携帯端末22が移動軌跡データを所定時間、本実施の形態では1秒ごとに移動撮影ユニット21へ送信し、移動撮影ユニット21内に移動軌跡記録部を設ける構成にしてもよい。これにより、携帯端末22は移動軌跡データを記録する必要がなくなり、GPS受信機を備えた簡易なハードウェア構成の機器にすることができる。
さらに、携帯端末106に集音マイクを備え、音声データを無線通信部224を介してリアルタイムで移動撮影ユニット21へ送信し、移動撮影ユニット21の制御部220が集音部213で集音した音声データとは別の音声データとしてイベントの検出を行うことも可能である。
また、本実施の形態では、ハイビジョンのダイジェストを作成することを前提に動画切り出しのサイズを決定したが、これに限らず、SD画質(720画素×480画素)でDVDを作成することを前提にして動画切り出しのサイズを決定してもよい。
また、本実施の形態では、ダイジェスト作成装置23とダイジェスト配信サーバ26とを別の装置としたが、これに限らず、ダイジェスト配信機能をダイジェスト作成装置に含ませてひとつの装置とすることも可能である。
なお、本実施の形態では、図16に示したように動作種別と音声種別の両方でハイライトシーン区間の判定を行ったが、これに限らず、動作種別のみ、あるいは音声種別のみを用いてハイライトシーン区間の判定を行うことも可能である。上記のように、動作種別と音声種別の両種別を用いることはハイライトシーン判定の信頼度を増すことができ好ましいが、音声種別のみ用いることは映像データを用いた動作解析処理を行わない分、ダイジェスト作成装置の負荷が軽くなりダイジェスト作成の時間を短縮することが可能になる。
また、本実施の形態では、動画のダイジェストのみを作成したが、これに限らず、さらに動画の中からプレーヤーが任意に画像を選択して静止画をDVDに記録したスナップ写真集を作成することも可能である。これは、ライブラリソフトウェアOpenCVを用いた公知の技術により実現することができる。
(実施の形態2)
(実施の形態2)
図19は、本発明の実施の形態2におけるゴルフダイジェスト自動作成システムの構成を説明する図であり、固定撮影ユニット25がある点と、この固定撮影ユニット25と移動撮影ユニット21とがゴルフ場端末24を介して動画データと移動軌跡データをダイジェスト作成装置23に転送する点と、第5世代移動通信システムを利用していない点が実施の形態1の構成と異なる。
この固定撮影ユニット25はゴルフカートが入れない区域あるいはゴルフカート上のカメラからでは撮影不可能な場所にゴルフカートを停める必要がある場合に設置されており、移動撮影ユニット21の撮影のみではプレーの様子をカバーしきれない場所に設けられるものである。
以下、実施の形態1と異なる点を詳細に説明する。
以下、実施の形態1と異なる点を詳細に説明する。
まず、移動撮影ユニット21のハードウェア構成を説明する。
図20は本実施の形態における移動撮影ユニット21の構成を示す図である。
この移動撮影ユニット21は実施の形態1のものと異なり、5G無線送受信部217を有しておらず、中距離の無線通信が可能な無線送受信部218のみで携帯端末22や固定撮影ユニット25やゴルフ場端末24と送受信する。
また、コース情報記憶部216に記憶してある3次元地図情報には、さらに固定撮影ユニット設置区域であることを示す情報とその区域での第2撮像部212の撮影可あるいは不可を示す情報が追加されている。その他は実施の形態1と同じである。
次に、固定撮影ユニット25のハードウェア構成を説明する。
図21は、本発明の実施の形態2における固定撮影ユニット25のハードウェア構成を示す図である。
図21において、本実施の形態の固定撮影ユニット25は、カメラを含む撮像部251と音声マイクを含む集音部252と動画データを記録するAV記憶部253と無線送信部254と制御部255とからなる。なお、カメラは撮影対象範囲が限定されているので、フルHD画質(1920画素×1080画素)で、30fpsレートで撮影する。また、その際にカメラの広角レンズによる歪みを補正して出力する。
この固定撮影ユニット25は、カメラと集音マイクと無線通信機とコンピュータ装置により実現されている。このコンピュータ装置は、CPU、メモリ、不揮発性記憶部、入出力インターフェース、および無線通信インターフェースを備えており、それらはバスで接続されている。特に、制御部255は、不揮発性記憶部に記憶してある制御用プログラムをメモリに展開して実行することにより機能を実現している。
次に、ゴルフ場端末24のハードウェア構成を説明する。
次に、ゴルフ場端末24のハードウェア構成を説明する。
図22は、本実施の形態におけるゴルフ場端末24のハードウェア構成を示す図である。
図22において、ゴルフ場端末24は、データ転送用記憶部246とダイジェスト記憶部245とDVD書込み部244とキー入力部242と表示部241とネットワークi/f248と無線送受信部247と制御部243とからなる。
データ転送用記憶部246は、移動撮影ユニット21から無線通信により受信した360度カメラ映像データファイルと光学ズームカメラ映像データファイルと音声データファイルと移動軌跡データファイルを一時的に記憶する記憶装置である。
ダイジェスト記憶部245はダイジェスト配信サーバ26から受信したダイジェストファイルを記憶するものである。
DVD書き込み部244は、ダイジェスト記憶部245に記憶されているダイジェストファイルを読みだしてDVDにフルHD画質で書き込むものである。
制御部243は、ゴルフ場端末24全体を制御して、ダイジェスト提供サービスを実行するものであって、表示部241にメニュー表示を行い、キー入力部242により選択された処理をゴルフ場端末24を構成する各処理部に指示して行う。
上記したゴルフ場端末24は、ディスプレイとキーボードとマウスとDVDレコーダーとネットワーク・インターフェース・カードと無線通信機とコンピュータ装置により実現されている。このコンピュータ装置は、CPU、メモリ、不揮発性記憶部、入出力インターフェース、および無線通信インターフェースを備えており、それらはバスで接続されている。特に、制御部240は、不揮発性記憶部に記憶してある各種プログラムをメモリに展開して実行することにより機能を実現している。なお、ゴルフ場端末24は実施の形態1と同じく、これらのハードウェア資源を備えるパーソナルコンピュータにより実現することが可能である。
次に、移動撮影ユニット21と固定撮影ユニット25とゴルフ場端末24とダイジェスト作成装置23の動作・作用について図面を用いて説明する。
図23は、本実施の形態2における移動撮影ユニットの動作フロー図である。以下に実施の形態1と異なる点のみを説明する。
第1の相違点は、カートが移動中に行うカート移動中処理(S1304)である。
図24は、移動撮影ユニット21の行うカート移動中処理を説明する図である。
図24において、移動撮影ユニット21の制御部220は、それまで第1撮像部と第2撮像部が行っていた撮影の停止と録画・録音を停止する(S1401)。
次に、GPS受信部219が検出する現在位置が3次元地図情報にある固定撮影ユニット25の設置区域にあるか否かをチェックし(S1402)、所定区域に入った時点で当該区域の固定撮影ユニット25へ撮影の開始要求をゴルフカート番号と共に無線送受信部218から送信する(S1404)。その後、ゴルフカートが停止するまで待機する。
一方、現在位置が固定撮影ユニット25の設置区域ではない場合、制御部220は固定撮影エリアからエリア外へ移動したかをチェックし(S1403)、移動したのであれば固定撮影ユニットへ撮影の停止要求を送信する(S1405)。
以上が移動撮影ユニット21が行うカート移動中処理である。
以上が移動撮影ユニット21が行うカート移動中処理である。
第2の相違点は、クラブハウス以外でカートが停止しているときの処理である。
すなわち、図23において、移動撮影ユニット21は、現在位置が固定撮影ユニットの設置区域内であるか否かをチェックする(ステップS1307)。そして、区域内であれば第2撮影部が撮影可能か否かを判定し(S1308)、撮影が可能であれば第2撮像部の撮影を開始する(S1309)。
以降の動作は、実施の形態1の移動撮影ユニット21の動作フロー図(図11)のステップS606からステップS609と同じである。
第3の相違点は、移動撮影ユニット21がラウンド終了後に行う処理である。
すなわち、移動撮影ユニット21はラウンド終了後、携帯端末22から移動軌跡データを受信するが、この移動軌跡データと共に、撮影した動画データをゴルフ場端末24を経由してダイジェスト作成装置23へ送信する(S1315)。
これは、本実施の形態においては、移動撮影ユニット21は第5世代移動通信を行わないためであり、ラウンド終了後にクラブハウスにゴルフカートが戻ったときに、第1AV記憶部214と第2AV記憶部215に記録しているこのランドで撮影したすべての動画データと移動軌跡データをゴルフ場端末24へ送信する。
次に、固定撮影ユニット25の動作・作用を図面を用いて説明する。
図25は、固定撮影ユニット25の動作フロー図である。
図25は、固定撮影ユニット25の動作フロー図である。
図25において、まず、固定撮影ユニット25の制御部255は、移動撮影ユニット21からの撮影開始要求を待ち(S1501)、要求があった場合、制御部255は、撮像部251と集音部252からの動画データのAV記憶部253への録画・録音を開始する(S1502)。このとき、制御部255は、記録する動画データを識別するために撮影開始指示と共に通知されたゴルフカート番号と動画の録画・録音を開始した時刻を記録する。
次に、制御部254は移動撮影ユニット21からの撮影終了要求を待ち(S1503)、要求があった場合、AV記憶部253への録画・録音を終了する(S1504)。
次に、固定撮影ユニット25の制御部255は、収録した映像データファイル、音声データファイル、およびゴルフカート番号と撮影開始時刻情報とホール番号とエリア識別情報とが記載された属性情報ファイルをダイジェスト作成装置23へ無線送信する(S1505)。
そして、固定撮影ユニット25の制御部255は、次のプレー組のためにステップS1501の処理へ戻る。
次に、ゴルフ場端末24の動作・作用を図面を用いて説明する。
図26は、ゴルフ場端末24の動作フロー図である。
図26は、ゴルフ場端末24の動作フロー図である。
図26において、ゴルフ場端末24の制御部243は、まず、移動撮影ユニット21から動画データの転送要求があるか否かをチェックし(S1701)、受信要求がある場合は送信を許可し、映像データファイルと音声データファイルと移動軌跡データファイルの受信を開始する。
そして、データ転送用記憶部246にすべてのファイルの受信が完了すると、制御部243は、ダイジェスト作成装置23へこれらファイルの受信を要求する。
ダイジェスト作成装置23が受信要求を許可した場合、ゴルフ場端末24は先に受信したすべてのファイル、すなわち、動画IDの付された映像データファイルと音声データファイルと移動軌跡データファイルをダイジェスト作成装置23へFTPプロトコルで送信する(S1702)。
次に、ゴルフ場端末24の制御部243は、表示部241のディスプレイに表示されている選択肢のチェックを行う。
これ以降のステップS1703からステップS1711までの処理は、実施の形態1のゴルフ場端末24の動作フロー図(図18)のステップS1201からステップS1209までの処理と同一である。
次に、本実施の形態におけるダイジェスト作成装置23の動作、作用を説明する。
図27はダイジェスト作成装置23の行うダイジェスト作成処理の動作フロー図である。
図27において、まず、ダイジェスト作成装置23の制御部240は、ダイジェスト作成の指示を受けると、通知されたゴルフカート番号の付与された動画ファイルをAVL記憶部231から読み出し(S1601)、移動撮影ユニット21の撮影した動画ファイルに対しては、実施の形態1と同じように、動画切出し処理(S1602)からハイライトシーンシーン候補リスト2の作成(S1606)までを行う。
次に、制御部240は、固定撮影ユニット25で撮影した動画ファイルに対しては、映像データの読出し後(S1607)、動画の切り出し処理を行うことなしに実施の形態1と同じ動作解析処理(S1608)からハイライトシーン候補リスト2の作成(S1611)までを行う。これは、固定カメラによる撮影は限られた空間のみを撮影したものだからである。
次に、制御部240は、すべてのハイライトシーン候補リストを時系列順に結合し(S1612)、実施の形態1と同様にハイライトシーンの決定処理(S1613)からダイジェスト作成(S1617)までを行う。このダイジェストは、移動撮影ユニット21で撮影した動画も固定撮影ユニット25で撮影した動画もアップコンバート技術によりすべてフルHD画質であるので、高画質なものである。
なお、携帯端末22とダイジェスト配信サーバ26の動作は、実施の形態1と同じである。
以上のように、本実施の形態においては、ゴルフカートが入れない区域に固定撮影ユニットを設置しているので、移動撮影ユニット21の撮影のみではカバーしきれない区域のハイライトシーンも逃すことなく集めたダイジェストを作成することができる。
また、本実施の形態のゴルフダイジェスト作成システムは、第5世代移動通信システムを用いずに、中距離用無線通信機によりゴルフ場端末24と通信できればよいので、山間部や海岸沿いなど第5世代無線通信システムのサービスが及ばない地域においても実施可能である。
本発明は、ゴルフプレーのダイジェストの作成に有用であり、撮影を意識することなしに明瞭に視認可能なハイライトシーンを集めたダイジェストにするのに適している。
11 ゴルフコース
12 ゴルフカート
13 プレーヤー
14 クラブハウス
15 インターネット
21 移動撮影ユニット
22 携帯端末
23 ダイジェスト作成装置
24 ゴルフ場端末
25 固定撮影ユニット
26 ダイジェスト配信サーバ
60 電動雲台
61 電動式ズームレンズ
62 方位センサ
63、64 傾斜センサ
101 360度カメラ
102 無指向性マイク
103 GPS受信機
104 移動記録装置
105 携帯端末
106 ダイジェスト作成装置
111 ティーイングエリア
112 フェアウェイ
113 グリーン
211 第1撮像部
212 第2撮像部
213、252 集音部
214 第1AV記憶部
215 第2AV記憶部
216、238 コース情報記憶部
217 5G無線送受信部
218、223、247、254 無線送受信部
219、221 GPS受信部
220、240、243 制御部
222 移動軌跡記録部
231 AVL記憶部
232 動画切出し部
233 動作解析部
234 音声解析部
235 合成画像生成部
236 ダイジェスト作成部
237、245 ダイジェスト記憶部
239、248 ネットワークi/f
241 表示部
242 キー入力部
244 DVD書込み部
246 データ転送用記憶部
12 ゴルフカート
13 プレーヤー
14 クラブハウス
15 インターネット
21 移動撮影ユニット
22 携帯端末
23 ダイジェスト作成装置
24 ゴルフ場端末
25 固定撮影ユニット
26 ダイジェスト配信サーバ
60 電動雲台
61 電動式ズームレンズ
62 方位センサ
63、64 傾斜センサ
101 360度カメラ
102 無指向性マイク
103 GPS受信機
104 移動記録装置
105 携帯端末
106 ダイジェスト作成装置
111 ティーイングエリア
112 フェアウェイ
113 グリーン
211 第1撮像部
212 第2撮像部
213、252 集音部
214 第1AV記憶部
215 第2AV記憶部
216、238 コース情報記憶部
217 5G無線送受信部
218、223、247、254 無線送受信部
219、221 GPS受信部
220、240、243 制御部
222 移動軌跡記録部
231 AVL記憶部
232 動画切出し部
233 動作解析部
234 音声解析部
235 合成画像生成部
236 ダイジェスト作成部
237、245 ダイジェスト記憶部
239、248 ネットワークi/f
241 表示部
242 キー入力部
244 DVD書込み部
246 データ転送用記憶部
Claims (8)
- ゴルフカート上部の360度視界が開けた位置に設置した360度カメラと、前記ゴルフカートに設置した電動雲台上に取り付けた電動式ズームレンズ付きカメラと、前記ゴルフカートに設置した集音マイクとGPS受信機と、前記電動式ズームレンズ付きカメラのレンズ方向を検出する方向検出器と、ゴルフコースの地図情報を記憶したコース情報記憶部と、前記360度カメラからの映像データと前記電動式ズームレンズ付きカメラからの映像データと前記集音マイクからの音声データとを記憶するAV記憶部と、前記GPS受信機の検出した位置情報と前記地図情報とから撮影対象エリアを決定し、前記方向検出器の検出する前記レンズ方向が当該撮影対象エリアになるように前記電動雲台を駆動して、前記電動式ズームレンズ付きカメラでズーム撮影した前記映像データと、360度カメラからの前記映像データと、前記音声データとに三者が同期するための時刻情報や前記撮影対象エリアを特定するエリア識別情報を付して前記AV記憶部に記憶する制御部と、を有する移動撮影ユニットと、
前記AV記憶部に記憶した前記映像データを画像解析および/または前記音声データを音声解析するデータ解析部と、当該データ解析部の結果に基づいてハイライトシーンを抽出するダイジェスト作成部と、前記映像データに付された前記エリア識別情報に基づいて前記画像解析や前記ハイライトシーンの抽出の対象とする映像データを前記360度カメラからの前記映像データと電動式ズームレンズ付きカメラからの前記映像データとのいずれにするかを選択する制御部とを有するダイジェスト作成装置と
を備えるゴルフダイジェスト作成システム。 - 前記移動撮影ユニットの前記制御部は、前記GPS受信機の検出した位置情報が前記地図情報においてグリーン横である場合、当該グリーンを前記電動式ズームレンズ付きカメラの撮影対象エリアに決定する
ことを特徴とする請求項1に記載のゴルフダイジェスト作成システム。 - 前記移動撮影ユニットの前記制御部は、さらに前記GPS受信機の検出した位置情報が前記地図情報においてグリーン横でない場合、当該位置情報の示す位置からショットしたボールの次の落下エリアとして前記地図情報にあらかじめ定めたエリアを前記撮影対象エリアに決定する
ことを特徴とする請求項2に記載のゴルフダイジェスト作成システム。 - 前記ダイジェスト作成装置の前記制御部は、前記映像データに付されている前記エリア識別情報がグリーンであることを示す場合、前記画像解析や前記ハイライトシーンの抽出の対象とする映像データとして前記電動式ズームレンズ付きカメラからの前記映像データを選択する
ことを特徴とする請求項2に記載のゴルフダイジェスト作成システム。 - 前記ダイジェスト作成装置の前記制御部は前記ハイライトシーンの映像データに付された前記エリア識別情報がグリーンでない場合、当該ハイライトシーンのショット後の前記映像データを、同時刻の前記電動式ズームレンズ付きカメラからの映像データに置換する
ことを特徴とする請求項3に記載のゴルフダイジェスト作成システム。 - GPS受信機を備えて、所定時間の間隔で位置情報を記録することによりプレーヤーの移動軌跡情報を作成する携帯端末をさらに有し、
前記移動撮影ユニットの前記360度カメラは方位センサを備え、出力する前記映像データに方位情報を付し、同じく前記移動撮影ユニットの制御部は前記映像データにゴルフカートの前記位置情報を付して前記AV記憶部に記憶するものであって、
前記ダイジェスト作成装置はゴルフコースの3次元地図情報を記憶した地図情報記憶部をさらに有し、前記ダイジェスト作成部が前記ハイライトシーンの発生時刻における、前記360度カメラからの前記映像データに付されている前記方位情報とゴルフカートの前記位置情報と前記携帯端末から取得した前記移動軌跡情報とから前記プレーヤーの位置を特定し、前記3次元地図情報から当該位置における地形情報を算出して当該ハイライトシーンの映像データに合成する
ことを特徴とする請求項1に記載のゴルフダイジェスト作成システム。 - ゴルフカート上部の360度視界が開けた位置に設置した360度カメラと、
前記ゴルフカートに設置した電動雲台上に取り付けた電動式ズームレンズ付きカメラと、
前記ゴルフカートに設置した集音マイクとGPS受信機と、
前記電動式ズームレンズ付きカメラのレンズ方向を検出する方向検出器と、
ゴルフコースの地図情報を記憶したコース情報記憶部と、
前記360度カメラからの映像データと前記電動式ズームレンズ付きカメラからの映像データと前記集音マイクからの音声データとを記憶するAV記憶部と、
前記GPS受信機の検出した位置情報と前記地図情報とから撮影対象エリアを決定し、前記方向検出器の検出する前記レンズ方向が当該撮影対象エリアになるように前記電動雲台を駆動して、前記電動式ズームレンズ付きカメラでズーム撮影した前記映像データと、360度カメラからの前記映像データと、前記音声データとに三者が同期するための時刻情報や前記撮影対象エリアを特定するエリア識別情報を付して前記AV記憶部に記憶する制御部と、
を有する移動撮影ユニット。 - ゴルフカートに設置した360度カメラからの映像データと電動雲台上に取り付けた電動式ズームレンズ付きカメラからの映像データと前記ゴルフカートに設置した集音マイクからの音声データに、三者が同期するための時刻情報や撮影対象としたエリアを識別するエリア識別情報が付されたものを記憶するダイジェスト作成用AV記憶部と、
前記ダイジェスト作成用AV記憶部に記憶した映像データを画像解析および/または音声データを音声解析するデータ解析部と、
当該データ解析部の結果に基づいてハイライトシーンを抽出するダイジェスト作成部と、
前記映像データに付された前記エリア識別情報に基づいて前記画像解析や前記ハイライトシーンの抽出の対象とする映像データを前記360度カメラからの前記映像データと電動式ズームレンズ付きカメラからの前記映像データとのいずれにするかを選択する制御部と
を有するダイジェスト作成装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021005415A JP7347731B2 (ja) | 2021-01-16 | 2021-01-16 | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 |
PCT/JP2022/000445 WO2022153955A1 (ja) | 2021-01-16 | 2022-01-10 | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 |
US17/984,079 US20230075621A1 (en) | 2021-01-16 | 2022-11-09 | Golf digest creating system, mobile imaging unit, and digest creating device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021005415A JP7347731B2 (ja) | 2021-01-16 | 2021-01-16 | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022110177A JP2022110177A (ja) | 2022-07-29 |
JP7347731B2 true JP7347731B2 (ja) | 2023-09-20 |
Family
ID=82448418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021005415A Active JP7347731B2 (ja) | 2021-01-16 | 2021-01-16 | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230075621A1 (ja) |
JP (1) | JP7347731B2 (ja) |
WO (1) | WO2022153955A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024084663A1 (ja) * | 2022-10-20 | 2024-04-25 | 株式会社 ミックウェア | 情報処理装置、および情報処理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005253858A (ja) | 2004-03-15 | 2005-09-22 | Nec Fielding Ltd | ゴルフプレー支援システム、方法、アドバイスサーバ、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005034529A (ja) * | 2003-07-18 | 2005-02-10 | Nec Corp | ゴルフプレーヤのプレー支援方法およびシステム |
JP6778864B2 (ja) * | 2018-11-16 | 2020-11-04 | 協栄精工株式会社 | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 |
-
2021
- 2021-01-16 JP JP2021005415A patent/JP7347731B2/ja active Active
-
2022
- 2022-01-10 WO PCT/JP2022/000445 patent/WO2022153955A1/ja active Application Filing
- 2022-11-09 US US17/984,079 patent/US20230075621A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005253858A (ja) | 2004-03-15 | 2005-09-22 | Nec Fielding Ltd | ゴルフプレー支援システム、方法、アドバイスサーバ、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230075621A1 (en) | 2023-03-09 |
JP2022110177A (ja) | 2022-07-29 |
WO2022153955A1 (ja) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7223978B2 (ja) | 校正装置および校正方法 | |
CN109565582B (zh) | 控制装置及其控制方法和计算机可读存储介质 | |
US9940969B2 (en) | Audio/video methods and systems | |
US20050151852A1 (en) | Wireless multi-recorder system | |
KR101530826B1 (ko) | 360도 공간영상 재생방법 및 그 시스템 | |
JP2020043584A (ja) | 複数のメディアストリームの処理 | |
JP5927856B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20160021706A (ko) | 360도 공간영상 재생방법 및 그 시스템 | |
JP7347731B2 (ja) | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 | |
JP6778864B2 (ja) | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 | |
JP5596844B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
CN107707816A (zh) | 一种拍摄方法、装置、终端及存储介质 | |
CN106231198A (zh) | 拍摄图像的方法及装置 | |
WO2021014716A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2020095647A1 (ja) | 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体 | |
JP2008152374A (ja) | 画像システム、撮影方位特定装置、撮影方位特定方法、プログラム | |
JP2020107196A (ja) | 画像処理装置または画像処理サーバー | |
JP2003283976A (ja) | メディア情報記録装置および方法 | |
JP7289630B2 (ja) | 画像処理装置 | |
KR102650406B1 (ko) | 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법 | |
JP2004241834A (ja) | 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体 | |
JP5409852B2 (ja) | 仮想風景表示装置及び仮想風景表示方法 | |
WO2021153507A1 (ja) | 撮像装置、撮像装置の制御方法、制御プログラム、情報処理装置、情報処理装置の制御方法および制御プログラム | |
JP6450879B2 (ja) | 記録装置、記録方法及び記録プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7347731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |