JP7451130B2 - 制御装置、制御システム、制御方法、及びプログラム - Google Patents
制御装置、制御システム、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7451130B2 JP7451130B2 JP2019184555A JP2019184555A JP7451130B2 JP 7451130 B2 JP7451130 B2 JP 7451130B2 JP 2019184555 A JP2019184555 A JP 2019184555A JP 2019184555 A JP2019184555 A JP 2019184555A JP 7451130 B2 JP7451130 B2 JP 7451130B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- human body
- unit
- ball
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 100
- 238000003384 imaging method Methods 0.000 claims description 154
- 238000000605 extraction Methods 0.000 claims description 34
- 230000005484 gravity Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 description 55
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 20
- 230000010365 information processing Effects 0.000 description 18
- 210000002414 leg Anatomy 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Lens Barrels (AREA)
Description
以下に、本発明の第1の実施形態に係る撮像システムについて説明する。本実施形態に係る撮像システムは、主に、スポーツシーンのように選手や競技に使われるボール等のような被写体の動きが逐次変化するような状況下においても、より好適な態様で被写体を画角内に収めることを可能とすることを目的としている。
具体的には、スポーツシーンにおけるボール等は、人がどのように動作するかに応じて次の動き方が大きく変化する。このようなシーンにおいては、サッカーにおいてシュートが行われた場合のように、急に動作が速くなるとボールが画角から外れてしまう場合がある。また、スポーツシーンにおけるボールは、ボール自身が自律的に動き回る訳ではなく、ボールに付随する人体(例えば、ボールを操る選手等)の動作に応じて動作が変化する場合がある。
本実施形態に係る撮像システムは、上記のような特性を鑑み、人体の骨格情報を利用して当該人体の動きを推定し、当該推定結果を撮像装置の画角の制御に利用することで、ボール等の注目する被写体が画角内に収められるように当該画角を制御する。
なお、以降では、本実施形態に係る撮像システムの特徴をよりわかりやすくするために、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態に係る撮像システムや、後述する第2及び第3の実施形態に係る撮像システムのうち、特に画角の制御に係る部分が「制御システム」の一例に相当する。
図1を参照して、本実施形態に係る撮像システムA1000の機能構成の一例について説明する。撮像システムA1000は、サッカーの競技場内が撮像された画像から人体とボールとを認識し、ボールが撮像装置の画角内に収まるように画角調整を行ったうえで、撮像結果に応じた画像をディスプレイ等の出力装置に出力させるシステムである。
撮像システムA1000は、撮像装置A1001と、画角制御装置A1002と、出力装置A1014とを含む。撮像装置A1001と画角制御装置A1002とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置A1001による撮像結果に応じた画像データを画角制御装置A1002に転送することが可能となる。なお、撮像装置A1001による撮像結果に応じた画像データを画角制御装置A1002に転送することが可能であれば、撮像装置A1001と画角制御装置A1002とを接続するインタフェースは特に限定されない。
例えば、画角制御装置A1002は、画像処理等のデジタル処理により画角を制御してもよい。この場合には、画角制御装置A1002は、撮像装置A1001による撮像結果に応じた画像の一部を切り出し、必要に応じてデジタルズーム処理により切り出された当該画像の一部(以下、「部分画像」とも称する)を拡大してもよい。
また、他の一例として、画角制御装置A1002は、撮像装置A1001の向きの制御(パン制御及びチルト制御)や、当該撮像装置A1001による画像の撮像に係る拡大率の制御(ズーム制御)を行うことで、光学的に画角を制御してもよい。
そして、画角制御装置A1002は、画角が制御された後の画像を出力装置A1014に表示させる。
人体抽出部A1004は、画像中からの人体の抽出結果に応じた情報(例えば、画像中において人体が撮像された領域の位置を示す座標等)を対応付け部A1006に出力する。
注目対象抽出部A1005は、画像中からのボールの抽出結果に応じた情報(例えば、画像中においてボールが撮像された領域の位置を示す座標等)を対応付け部A1006に出力する。
なお、画像中の距離から実空間における距離を算出する方法としては、既知の方法を適用することが可能である。具体的な一例として、画像中における複数の被写体それぞれの座標間の距離と、当該画像の撮像に係る拡大率と、に基づき、実空間における当該複数の被写体間の距離を算出することが可能である。また、この際に、撮像の対象となる領域と、画像を撮像する撮像装置と、の間の位置や姿勢の関係が、複数の被写体間の距離の算出に考慮されてもよい。具体的には、撮像対象となる領域の各位置と、撮像装置と、の間の距離が異なる場合がある。このような場合には、複数の被写体それぞれが当該領域中のどの位置に存在するかに応じて、各被写体と撮像装置との間の距離を推定し、当該距離の推定結果を鑑みて、当該複数の被写体間の距離を算出することも可能である。
例えば、図3に示す例の場合には、距離P103の方が、距離P104に比べて短い。すなわち、人体P101の方が、人体P102に比べてボールP100のより近くに位置する。そのため、この場合には、対応付け部A1006は、ボールP100に対して人体P101を対応付ける。
また、物体情報記録部A1007は、互いに異なる複数のフレームそれぞれについて取得された人体の座標情報を、移動方向推定部A1008に出力する。なお、本実施形態では、物体情報記録部A1007は、最新のフレーム(例えば、現在のフレーム)と、当該フレームの1つ前のフレームと、のそれぞれに対応する人体の座標情報を、移動方向推定部A1008に出力するものとする。
そして、移動方向推定部A1008は、人体の移動方向の推定結果に応じた情報を画角制御部A1012に出力する。
近年では、画像中に撮像された人体の骨格情報を推定する技術として、DeepLearningに代表される機械学習を応用した骨格推定技術が各種提案されている。このような骨格推定技術の中には、OpenPoseやDeepPose等のOSS(Open Source Software)が提供されているものもあり、骨格推定を容易に行うことが可能となってきている。なお、本実施形態では、人体の骨格情報の推定に、機械学習を応用した骨格推定技術を適用するものとする。ただし、人体の骨格情報を推定することが可能であれば、その方法は特に限定されない。
骨格情報推定部A1009は、撮像装置A1001から取得された画像データが示す画像から、人体の座標情報が示す領域の部分画像を切り出し、当該部分画像に対して骨格推定技術を適用することで人体の骨格情報を推定する。そして、骨格情報推定部A1009は、人体の骨格情報の推定結果を状況判定部A1010に出力する。
また、人体がボールを弱い力で蹴る場合と、人体がボールを強い力で蹴る場合と、を判別することで、その後のボールの移動量を推定することも可能となる。具体的には、人体がボールを強い力で蹴る場合には、ボールの移動量がより多くなり、人体がボールを弱い力で蹴る場合には、ボールの移動量がより少なくなる。このような特性を利用し、例えば、状況判定部A1010は、ボールの移動量を、「少ない」、「多い」、「かなり多い」の三段階で判定することも可能である。
そして、画角判定部A1011は、画角の制御方法や制御量の判定結果に応じた情報を画角制御部A1012に出力する。具体的な一例として、画角判定部A1011は、ボールの移動量の推定結果に基づき決定した画像の撮像に係る拡大率に関する情報を画角制御部A1012に出力する。
また、画角制御部A1012は、移動方向推定部A1008から取得した人体の移動方向の推定結果に応じた情報に基づき、パン制御やチルト制御等のような画角の向き(撮像方向)の制御を行ってもよい。なお、画角制御部A1012は、移動方向推定部A1008が人体の移動を検出していない場合には、画角の向きの制御を行わなくてもよいし、従前の検出時に移動方向推定部A1008から取得した情報に応じた画角の向きの制御を継続してもよい。また、画角制御部A1012は、移動方向推定部A1008から人体の移動方向の推定結果に応じた情報が出力されない場合には、従前に移動方向推定部A1008から取得した当該情報に応じた画角の向きの制御を継続してもよい。
まず、図8について説明する。D601は、撮像装置A1001による撮像結果に応じた画像を示している。P600及びP601は、ボール及び人体を示している。ここで、状況判定部A1010により、人体P601がボールを強い力で蹴ると判定したものとする。この場合には、画角制御部A1012は、ボールP600が画角から外れないようにズーム制御を行う。
図9に示す例では、人体がボールを強い力で蹴ると判定されたため、図8に示す画像D601に比べて、より広い領域が画角内に収まるようにズーム制御(ズームアウト制御)が行われている。
図10に示す例では、人体の移動方向の推定結果に基づきボールP800が図面の右上方向に向けて移動することが推定され、当該ボールP800の移動方向にあわせて画角の向きが図面の右上方向に向けて移動するように制御されている。これにより、ボールP800の移動に追随するように画角の向きが制御され、ボールP800を画角内に収め続けることが可能となる。
なお、画角制御部A1012は、デジタル処理により画角の制御を行う場合には、映像取得部A1003から取得した画像データが示す画像から、制御後の画角に対応する部分画像を切り出し、当該部分画像を示す画像データを出力制御部A1013に出力する。
一方で、前述したように、画角制御部A1012は、撮像装置A1001の向きの制御(パン制御及びチルト制御)や、当該撮像装置A1001による画像の撮像に係る拡大率の制御(ズーム制御)を行うことで、画角を制御してもよい。この場合には、画角制御部A1012は、画角が制御された後における撮像装置A1001による撮像結果に応じた画像を示す画像データを映像取得部A1003から取得し、当該画像データを出力制御部A1013に出力すればよい。
出力装置A1014は、出力制御部A1013からの指示に基づき上記画像データに基づく画像を画面に表示させることで、当該画像をユーザに提示する。
具体的な一例として、人体がボールを蹴ると判定された場合には、当該人体の脚が振り上げられた方向に基づき、ボールが蹴られる方向(すなわち、その後にボールが移動する方向)を推定することも可能となる。このような推定結果を利用することで、人体によりボールが蹴られることで当該ボールの動きが急激に変化するような状況下においても、当該ボールの動きにより正確に追随するように画角の向きを制御することも可能となる。
図11を参照して、情報処理装置200のハードウェア構成の一例について説明する。本実施形態では、画角制御装置A1002は、情報処理装置200と同様の情報処理装置によって実現される。情報処理装置200は、CPU211、ROM212、RAM213、補助記憶装置214、表示部215、操作部216、通信I/F217、及びバス218を有する。
通信I/F217は、情報処理装置200の外部の装置との通信に用いられる。例えば、情報処理装置200が外部の装置と有線で接続される場合には、通信用のケーブルが通信I/F217に接続される。情報処理装置200が外部の装置と無線通信する機能を有する場合には、通信I/F217はアンテナを備える。バス218は、情報処理装置200の各部をつないで情報を伝達する。
図12を参照して、撮像システムA1000の処理の一例について説明する。撮像システムA1000は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図12に示す一連の処理の実行を開始する。
S002において、人体抽出部A1004は、映像取得部A1003により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。
S003において、注目対象抽出部A1005は、映像取得部A1003により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール(注目対象として設定された被写体)を抽出する。
S004において、対応付け部A1006は、S002において画像中から抽出されたボールと、S003において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部A1006は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
画角判定部A1011は、S010においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部A1012に出力する。そして、画角判定部A1011は、処理をS011に進める。
これに対して、画角判定部A1011は、S010においてボールの移動推定量が閾値以下と判定した場合には、処理をS012に進める。この場合には、S011の処理がスキップされる。
画角制御装置A1002は、S014において一連の処理の終了が指示されていないと判定した場合には、処理をS001に進め、改めてS001から図12に示す一連を実行する。
一方で、画角制御装置A1002は、S014において一連の処理の終了が指示されたと判定した場合には、図12に示す一連の処理を終了する。
以下に、本発明の第2の実施形態に係る撮像システムについて説明する。なお、本実施形態においても、第1の実施形態と同様に、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態では、主に第1の実施形態と異なる部分に着目して説明し、第1の実施形態と実質的に同様の部分については詳細な説明は省略する。そのため、特に説明がない部分については、第1の実施形態と同様のハードウェア構成、機能構成、及び処理等を適用することが可能であるものとする。
図13を参照して、本実施形態に係る撮像システムの機能構成の一例について説明する。なお、以降では、本実施形態に係る撮像システムを、他の実施形態に係る撮像システムと区別するために、「撮像システムB1000」と称する場合がある。同様に、本実施形態に係る画角制御装置を、他の実施形態に係る画角制御装置と区別するために、「画角制御装置B1002」と称する場合がある。
撮像システムB1000は、撮像装置A1001と、画角制御装置B1002と、出力装置A1014とを含む。撮像装置A1001と画角制御装置B1002とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置A1001による撮像結果に応じた画像データを画角制御装置B1002に転送することが可能となる。なお、撮像装置A1001による撮像結果に応じた画像データを画角制御装置B1002に転送することが可能であれば、撮像装置A1001と画角制御装置B1002とを接続するインタフェースは特に限定されない。
画角の制御としては、例えば、画像が撮像される方向を左右及び上下に調整することで画角の向きを制御するパン制御及びチルト制御と、画像の撮像に係る拡大率を制御するズーム制御とが挙げられる。なお、第1の実施形態に係る画角制御装置A1002と同様に、上述した画角の制御を実現することが可能であれば、その方法は特に限定されない。
骨格情報推定部B1009は、撮像装置A1001から取得された画像データが示す画像から、人体の座標情報が示す領域の部分画像を切り出し、当該部分画像に対して骨格推定技術を適用することで人体の骨格情報を推定する。そして、骨格情報推定部B1009は、人体の骨格情報の推定結果を状況判定部A1010に出力する。この場合には、状況判定部A1010は、当該人体の骨格情報の推定結果に基づき、人体及びボールの状況を判定し、当該判定の結果に応じた情報(例えば、ボールの移動量の推定結果に応じた情報)を画角判定部A1011に出力する。また、骨格情報推定部B1009は、身体の骨格情報の推定を行った旨を画角判定部B1011に出力する。
一方で、骨格情報推定部B1009は、人体の骨格情報の推定を行わなかった場合(例えば、人体の骨格情報の推定が困難な場合)には、その旨を画角判定部B1011に出力する。
まず、図14について説明する。D901は、人体の骨格情報の推定の対象となる画像を示している。P900は、画像D901に撮像されたボールを示している。P901及びP902は、画像D901に撮像された人体を示しており、人体P901がボールP900に対応付けられている。図14に示す例では、画像D901に撮像された人体P901の大きさが小さいため、人体P901の各部位を識別することが困難であり、骨格情報を推定することが困難となっている。そのため、画角判定部B1011は、画像D901中のP903で示した領域が拡大されることで人体の骨格情報の推定が可能となるように、画像の撮像に係る拡大率を決定する。
なお、画像D1001を取得可能とするためのズームイン制御については、画角制御部A1012が、画角判定部B1011から通知された画像の撮像に係る拡大率に関する情報に基づき行う。
図16を参照して、撮像システムB1000の処理の一例について説明する。撮像システムB1000は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図16に示す一連の処理の実行を開始する。
S102において、人体抽出部A1004は、映像取得部A1003により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。
S103において、注目対象抽出部A1005は、映像取得部A1003により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール(注目対象として設定された被写体)を抽出する。
S104において、対応付け部A1006は、S102において画像中から抽出されたボールと、S103において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部A1006は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
S110において、画角判定部B1011は、人体の骨格情報の推定が可能となる程度に撮像画像中の人体の大きさが確保されるように、画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部A1012に出力する。画角制御部A1012は、画角判定部B1011から通知された画像の撮像に係る拡大率に関する情報に基づき、ズームイン制御を行う。そして、画角制御部A1012は、処理をS108に進める。この場合には、S108において、骨格情報推定部B1009は、画角制御部A1012によるズーム制御後の画像に基づき、改めて人体の骨格情報の推定を行うこととなる。
画角判定部A1011は、S112においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部A1012に出力する。具体的な一例として、画角判定部A1011は、ボールの移動推定量が閾値よりも大きい場合には、ズームアウト制御が必要と判定し、ズームアウト制御に係る拡大率を決定したうえで、当該拡大率に関する情報を画角制御部A1012に出力する。そして、画角判定部A1011は、処理をS113に進める。
これに対して、画角判定部A1011は、S112においてボールの移動推定量が閾値以下と判定した場合には、処理をS114に進める。この場合には、S113の処理がスキップされる。
画角制御装置A1002は、S116において一連の処理の終了が指示されていないと判定した場合には、処理をS001に進め、改めてS101から図16に示す一連を実行する。
一方で、画角制御装置A1002は、S116において一連の処理の終了が指示されたと判定した場合には、図16に示す一連の処理を終了する。
以下に、本発明の第3の実施形態に係る撮像システムについて説明する。なお、本実施形態においても、第1及び第2の実施形態と同様に、サッカーにおいてボールの動きに注目して撮像装置の画角を制御する場合を想定して、撮像システムの特徴について詳しく説明する。また、本実施形態では、主に第1及び第2の実施形態と異なる部分に着目して説明し、第1及び第2の実施形態と実質的に同様の部分については詳細な説明は省略する。そのため、特に説明がない部分については、第1及び第2の実施形態と同様のハードウェア構成、機能構成、及び処理等を適用することが可能であるものとする。
図17を参照して、本実施形態に係る撮像システムの機能構成の一例について説明する。なお、以降では、本実施形態に係る撮像システムを、他の実施形態に係る撮像システムと区別するために、「撮像システムC1000」と称する場合がある。同様に、本実施形態に係る画角制御装置を、他の実施形態に係る画角制御装置と区別するために、「画角制御装置C1002」と称する場合がある。
撮像システムB1000は、撮像装置A1001と、画角制御装置C1002と、出力装置A1014とを含む。撮像装置A1001と画角制御装置C1002とは、例えば、ビデオインタフェースを介して接続されている。これにより、撮像装置A1001による撮像結果に応じた画像データを画角制御装置C1002に転送することが可能となる。なお、撮像装置A1001による撮像結果に応じた画像データを画角制御装置C1002に転送することが可能であれば、撮像装置A1001と画角制御装置C1002とを接続するインタフェースは特に限定されない。
画角の制御としては、例えば、画像が撮像される方向を左右及び上下に調整することで画角の向きを制御するパン制御及びチルト制御と、画像の撮像に係る拡大率を制御するズーム制御とが挙げられる。なお、第1の実施形態に係る画角制御装置A1002と同様に、上述した画角の制御を実現することが可能であれば、その方法は特に限定されない。
人体間距離算出部C1015は、骨格情報推定部A1009が人体の骨格情報の推定を行わなかった場合に、画像中からの人体の抽出結果と、対応付け情報と、に基づき、ボールに対応付けられた人体と、当該人体以外の他の人体それぞれと、の間の距離を算出する。人体間距離算出部C1015は、ボールに対応付けられた人体との距離がより近い順に、他の人体のリスト(以下、「人体間距離リスト」とも称する)を作成し、当該人体間距離リストと、各人体の座標情報と、を拡大率制御部C1016へ出力する。
拡大率制御部C1016は、取得した人体間距離リストに基づき、ボールP1100に対応付けられた人体P1101により近い他の人体を、人体P1102~P1108の中からあらかじめ決められた人体の数から1減算した数分だけ選択する。これにより、ボールP1100に対応付けられた人体P1101と、当該人体P1101のより近くに位置する人体と、合計があらかじめ決められた数となるように人体が選択される。そして、拡大率制御部C1016は、選択した人体がすべて含まれるように画角の大きさを算出する。
例えば、図18に示す例では、あらかじめ決められた人体の数が3であるものとする。この場合には、拡大率制御部C1016は、ボールP1100に対応付けられた人体P1101により近い人体として、人体P1102及びP1103を選択することとなる。そして、拡大率制御部C1016は、人体P1101~P1103のすべてが画角内に収まるように、画角の大きさを制御する。例えば、P1109は、人体P1101~P1103のすべてが画角内に収まる領域の一例を示している。
なお、画像D1201を取得可能とするためのズームイン制御については、画角制御部A1012が、拡大率制御部C1016による画像の撮像に係る拡大率の算出結果に応じた情報に基づき行う。
拡大率制御部C1016は、画像の撮像に係る拡大率に関する情報を画角判定部A1011へ出力する。
図20を参照して、撮像システムC1000の処理の一例について説明する。撮像システムC1000は、例えば、所定の入力装置を介して受け付けたユーザからの指示に基づき、図20に示す一連の処理の実行を開始する。
S202において、人体抽出部A1004は、映像取得部A1003により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像された人体を抽出する。人体抽出部A1004は、画像中からの人体の抽出結果に応じた情報を、対応付け部A1006と人体間距離算出部C1015とに出力する。
S203において、注目対象抽出部A1005は、映像取得部A1003により取得された画像データが示す画像に対して画像処理を施すことで、当該画像中に撮像されたボール(注目対象として設定された被写体)を抽出する。
S204において、対応付け部A1006は、S202において画像中から抽出されたボールと、S203において当該画像中から抽出された人体と、の対応付けを行う。具体的な一例として、対応付け部A1006は、ボールとの距離が閾値以下の人体が抽出されている場合に、当該ボールに対して当該人体を対応付ける。
人体間距離算出部C1015は、骨格情報推定部A1009が人体の骨格情報の推定を行わなかった場合に、画像中からの人体の抽出結果と、対応付け情報と、に基づき、ボールに対応付けられた人体と、当該人体以外の他の人体それぞれと、の間の距離を算出する。人体間距離算出部C1015は、ボールに対応付けられた人体との距離がより近い順に、他の人体のリスト(人体間距離リスト)を作成し、当該人体間距離リストと、各人体の座標情報と、を拡大率制御部C1016へ出力する。
画角判定部A1011は、S214においてボールの移動推定量が閾値よりも大きいと判定した場合には、当該ボールの移動推定量に応じて画像の撮像に係る拡大率を決定し、当該拡大率に関する情報を画角制御部A1012に出力する。具体的な一例として、画角判定部A1011は、ボールの移動推定量が閾値よりも大きい場合には、ズームアウト制御が必要と判定し、ズームアウト制御に係る拡大率を決定したうえで、当該拡大率に関する情報を画角制御部A1012に出力する。そして、画角判定部A1011は、処理をS214に進める。
これに対して、画角判定部A1011は、S112においてボールの移動推定量が閾値以下と判定した場合には、処理をS216に進める。この場合には、S215の処理がスキップされる。
画角制御装置A1002は、S218において一連の処理の終了が指示されていないと判定した場合には、処理をS001に進め、改めてS201から図20に示す一連を実行する。
一方で、画角制御装置A1002は、S218において一連の処理の終了が指示されたと判定した場合には、図20に示す一連の処理を終了する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、上記は図1に示す撮像システムA1000に限らず、図13に示す撮像システムB1000や、図17に示す撮像システムC1000についても同様である。
一方で、複数の部位からなる被写体を対象として、当該複数の部位の位置関係に基づき、当該被写体の動きを推定することが可能であれば、当該推定の対象となる被写体は必ずしも人体には限定されない。具体的な一例として、所定の動物を対象として骨格情報を推定することで、当該動物の動きを推定することが可能である。また、多関節体を対象とした場合においても、当該多関節体を構成する各関節の可動範囲が既知の場合には、上記と同様の思想に基づき、当該多関節体の動きを推定することが可能である。
A1002 画角制御装置
A1008 移動方向推定部
A1009 骨格情報推定部
A1010 状況判定部
A1011 画角判定部
A1012 画角制御部
Claims (15)
- 撮像装置により撮像した画像から、注目対象として設定された第1の被写体である物体と、当該第1の被写体とは異なり、かつ複数の部位からなる第2の被写体と、を抽出する抽出手段と、
前記抽出手段により抽出された前記第1の被写体と前記第2の被写体とを対応付ける対応付け手段と、
抽出された前記第2の被写体の骨格を推定する第1の推定手段と、
前記第1の推定手段による前記第2の被写体の骨格の推定結果に基づき、当該第2の被写体の状態を推定し、前記第2の被写体の状態の推定結果に基づき、前記対応付け手段により当該第2の被写体に対応付けられた前記第1の被写体の以降の動きを推定する第2の推定手段と、
前記第2の推定手段による前記第1の被写体の以降の動きの推定結果に基づき、前記撮像装置の画角を制御する制御手段と、
を備える、制御装置。 - 前記第2の推定手段は、
前記第1の推定手段による前記第2の被写体の骨格の推定結果に基づき、当該第2の被写体の重心位置を特定し、
当該重心位置に基づき、当該第2の被写体の状態を推定する、
請求項1に記載の制御装置。 - 前記第2の推定手段は、
前記第1の推定手段による前記第2の被写体の前記骨格の推定結果に基づき、当該第2の被写体の姿勢を特定し、
当該姿勢に基づき、当該第2の被写体の状態を推定する、
請求項1または2に記載の制御装置。 - 前記対応付け手段は、前記抽出手段により複数の第2の被写体が抽出された場合に、前記第1の被写体と、前記複数の第2の被写体それぞれと、の間の距離に応じて、当該第1の被写体に対して対応付ける第2の被写体を決定する、請求項1~3のいずれか1項に記載の制御装置。
- 前記対応付け手段は、前記抽出手段により複数の第2の被写体が抽出された場合に、当該複数の第2の被写体のうち、前記第1の被写体からの距離がより短い第2の被写体を、当該第1の被写体に対応付ける、請求項4に記載の制御装置。
- 前記第1の被写体の以降の動きの推定結果は、当該第1の被写体の移動量の推定結果を含み、
前記制御手段は、前記第1の被写体の移動量の推定結果に基づき、前記撮像装置の画角
の制御に係る制御量を決定する、
請求項1~5のいずれか1項に記載の制御装置。 - 前記第2の推定手段は、
前記第2の被写体の骨格の推定結果に基づく当該第2の被写体の複数の部位の位置関係に基づき、前記第2の被写体の状態として、前記第1の被写体に対する前記第2の被写体の動作を推定し、
当該動作の推定結果に基づき、当該第1の被写体の以降の動きの前記移動量を推定する、
請求項6に記載の制御装置。 - 前記第2の推定手段は、
前記第2の被写体の所定の複数の部位がなす角度に基づき、前記第2の被写体の状態として、前記第1の被写体に対する前記第2の被写体の動作を推定し、
前記角度がより大きいほど、当該動作による前記第1の被写体の以降の動きの前記移動量がより多くなるもの推定する、
請求項7に記載の制御装置。 - 前記制御手段は、前記第1の被写体が前記画角内に収まるように、当該画角の向き及び大きさのうち少なくともいずれかを制御する、請求項1~8のいずれか1項に記載の制御装置。
- 前記制御手段は、前記第2の被写体の前記骨格が前記撮像装置の画角内に収まり、かつ当該第2の被写体が拡大して撮像されるように、当該撮像装置の拡大率を制御し、
前記抽出手段は、前記第2の被写体が拡大して撮像された前記画像から、当該第2の被写体を抽出し、
前記第1の推定手段は、前記抽出手段により前記第2の被写体が拡大して撮像された前記画像から抽出された当該第2の被写体の前記骨格を推定し、
前記第2の推定手段は、前記第1の推定手段による前記第2の被写体の骨格の推定結果に基づき、当該第2の被写体の状態を推定する、
請求項1~9のいずれか1項に記載の制御装置。 - 前記制御手段は、前記第1の被写体からの距離がより短いあらかじめ決められた数の前記第2の被写体が前記撮像装置の画角内に収まるように、当該撮像装置の拡大率を制御する、請求項10に記載の制御装置。
- 撮像装置により撮像した画像から、注目対象として設定された第1の被写体である物体と、当該第1の被写体とは異なり、かつ複数の部位からなる第2の被写体と、を抽出する抽出手段と、
前記抽出手段により抽出された前記第1の被写体と前記第2の被写体とを対応付ける対応付け手段と、
抽出された前記第2の被写体の骨格を推定する第1の推定手段と、
前記第1の推定手段による前記第2の被写体の骨格の推定結果に基づき、当該第2の被写体の状態を推定し、前記第2の被写体の状態の推定結果に基づき、前記対応付け手段により当該第2の被写体に対応付けられた前記第1の被写体の以降の動きを推定する第2の推定手段と、
前記第2の推定手段による前記第1の被写体の以降の動きの推定結果に基づき、前記撮像装置の画角を制御する制御手段と、
を備える、制御システム。 - 前記撮像装置を備える、請求項12に記載の制御システム。
- 制御装置が実行する制御方法であって、
撮像装置により撮像した画像から、注目対象として設定された第1の被写体である物体と、当該第1の被写体とは異なり、かつ複数の部位からなる第2の被写体と、を抽出する抽出ステップと、
前記抽出ステップにて抽出された前記第1の被写体と前記第2の被写体とを対応付ける対応付けステップと、
抽出された前記第2の被写体の骨格を推定する第1の推定ステップと、
前記第1の推定ステップにおける前記第2の被写体の骨格の推定結果に基づき、当該第2の被写体の状態を推定し、前記第2の被写体の状態の推定結果に基づき、前記対応付けステップにて当該第2の被写体に対応付けられた前記第1の被写体の以降の動きを推定する第2の推定ステップと、
前記第2の推定ステップにおける前記第1の被写体の以降の動きの推定結果に基づき、前記撮像装置の画角を制御する制御ステップと、
を含む、制御方法。 - コンピュータを、請求項1~11のいずれか1項に記載の制御装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019184555A JP7451130B2 (ja) | 2019-10-07 | 2019-10-07 | 制御装置、制御システム、制御方法、及びプログラム |
US17/063,406 US11557122B2 (en) | 2019-10-07 | 2020-10-05 | Control apparatus, control system, control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019184555A JP7451130B2 (ja) | 2019-10-07 | 2019-10-07 | 制御装置、制御システム、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021061529A JP2021061529A (ja) | 2021-04-15 |
JP7451130B2 true JP7451130B2 (ja) | 2024-03-18 |
Family
ID=75274493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019184555A Active JP7451130B2 (ja) | 2019-10-07 | 2019-10-07 | 制御装置、制御システム、制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11557122B2 (ja) |
JP (1) | JP7451130B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12033261B2 (en) * | 2021-07-26 | 2024-07-09 | Adobe Inc. | Contact-aware retargeting of motion |
US11386580B1 (en) * | 2021-08-13 | 2022-07-12 | Goodsize Inc. | System apparatus and method for guiding user to comply with application-specific requirements |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090324010A1 (en) | 2008-06-26 | 2009-12-31 | Billy Hou | Neural network-controlled automatic tracking and recognizing system and method |
JP2015061579A (ja) | 2013-07-01 | 2015-04-02 | 株式会社東芝 | 動作情報処理装置 |
JP2016179048A (ja) | 2015-03-24 | 2016-10-13 | 国立大学法人埼玉大学 | 関節負荷可視化システム |
JP2017086184A (ja) | 2015-11-02 | 2017-05-25 | 国立大学法人埼玉大学 | 筋活動可視化システムと筋活動可視化方法 |
JP2019154575A (ja) | 2018-03-08 | 2019-09-19 | オムロン株式会社 | 個人識別装置および特徴収集装置 |
JP2020017107A (ja) | 2018-07-26 | 2020-01-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015142019A1 (en) * | 2014-03-21 | 2015-09-24 | Samsung Electronics Co., Ltd. | Method and apparatus for preventing a collision between subjects |
JP6487192B2 (ja) | 2014-11-26 | 2019-03-20 | オリンパス株式会社 | 光学機器およびレンズ制御方法 |
JP6853528B2 (ja) * | 2016-10-25 | 2021-03-31 | 東芝デジタルソリューションズ株式会社 | 映像処理プログラム、映像処理方法、及び映像処理装置 |
-
2019
- 2019-10-07 JP JP2019184555A patent/JP7451130B2/ja active Active
-
2020
- 2020-10-05 US US17/063,406 patent/US11557122B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090324010A1 (en) | 2008-06-26 | 2009-12-31 | Billy Hou | Neural network-controlled automatic tracking and recognizing system and method |
JP2015061579A (ja) | 2013-07-01 | 2015-04-02 | 株式会社東芝 | 動作情報処理装置 |
JP2016179048A (ja) | 2015-03-24 | 2016-10-13 | 国立大学法人埼玉大学 | 関節負荷可視化システム |
JP2017086184A (ja) | 2015-11-02 | 2017-05-25 | 国立大学法人埼玉大学 | 筋活動可視化システムと筋活動可視化方法 |
JP2019154575A (ja) | 2018-03-08 | 2019-09-19 | オムロン株式会社 | 個人識別装置および特徴収集装置 |
JP2020017107A (ja) | 2018-07-26 | 2020-01-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11557122B2 (en) | 2023-01-17 |
JP2021061529A (ja) | 2021-04-15 |
US20210103736A1 (en) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8639020B1 (en) | Method and system for modeling subjects from a depth map | |
JP5242938B2 (ja) | ビデオ追跡システム及び方法 | |
JP7451130B2 (ja) | 制御装置、制御システム、制御方法、及びプログラム | |
JP6532217B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
US10812686B2 (en) | Method and system for mimicking human camera operation | |
KR20190013759A (ko) | 연산 처리 장치 및 연산 처리 방법 | |
JP6484321B2 (ja) | 高速ビデオカメラを用いた飛行物体の飛行データ測定装置及び方法、及びこれを遂行するためのプログラムを記録したコンピュータで読取可能な記録媒体 | |
CN108416285A (zh) | 枪球联动监控方法、装置及计算机可读存储介质 | |
JP2014192700A (ja) | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 | |
KR20190103146A (ko) | 사람을 추적하는 로봇 | |
JP2015219879A (ja) | 画像認識システム、画像認識方法およびプログラム | |
JP2008005208A (ja) | スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム | |
KR102186875B1 (ko) | 움직임 추적 시스템 및 방법 | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
Yang et al. | Multiple marker tracking in a single-camera system for gait analysis | |
JP7246005B2 (ja) | 移動体追跡装置及び移動体追跡方法 | |
KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
KR102386673B1 (ko) | 오브젝트 검출 방법 및 장치 | |
JP7401968B2 (ja) | 撮影制御装置、撮影システム及び撮影制御方法 | |
JP2017130889A (ja) | カメラのキャリブレーション装置、方法及びプログラム | |
KR101320922B1 (ko) | 가중 탐색 영역을 이용한 움직임 추적 및 아바타 제어 방법 | |
US20230177860A1 (en) | Main object determination apparatus, image capturing apparatus, and method for controlling main object determination apparatus | |
JP2022158513A (ja) | 撮影制御装置、撮影制御方法、及びプログラム | |
US10122921B2 (en) | Apparatus and method for automatically recognizing object by using low-speed camera in dual photographing mode | |
JP7359306B2 (ja) | 追跡装置、追跡システム、追跡方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7451130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |