JP2023161440A - 映像処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 追跡対象が他の物体との重なりなどによって隠れてしまった場合においても、高い精度で追跡対象の追跡を継続する。【解決手段】スポーツが行われるコートの全体の俯瞰映像を撮影する第１の撮像装置からの映像に基づき、視線方向が変更可能な第２の撮像装置に対する視線方向を制御する映像処理装置であって、第１の撮像装置から受信した映像内の物体を検出する検出部と、該検出部で検出した物体の中の追跡対象物体の移動ベクトルから当該追跡対象物体の移動後の位置を推定し、当該推定された位置を画角内とするよう第２の撮像装置を制御する制御部とを有する。ここで、制御部は、 第１の撮像装置から受信した映像の現フレームから検出した物体の中に追跡対象物体が含まれていないと判定した場合、追跡対象物体を遮っている物体を、前のフレームから検出した物体の位置関係に基づいて判定する判定部と、該判定部で判定した物体を、追跡対象物体に代って追跡対象に設定する設定部とを有する。【選択図】 図１

Description

本発明は、映像処理装置及びその制御方法及びプログラムに関するものである。

スポーツ映像の自動撮影は、省人化などの観点から近年注目されている。自動撮影とは、スポーツシーン全体を俯瞰するカメラとは別に、パン動作やチルト動作、ズーム動作をしてプレイの詳細を追跡するカメラを自動で制御する技術である。対象のスポーツによって画角の決め方は様々であるが、バスケットボールやサッカーといった球技の接触スポーツではボール位置をもとに画角を決めることが多い。

自動で追跡対象を追い続けるためには、俯瞰映像を入力とした認識技術が利用されることが多い。しかし、その一方で、このようなスポーツシーンでは、プレイヤーの重なりなどによって、俯瞰映像からボールが捉えられなくなることもある。カメラマンによる操作では、このようなシーンにおいてはボール位置を推測して画角を決定している。しかし、自動撮影における認識技術では、このような俯瞰映像からボールが捉えられなくなるシーンでは、ボール座標位置が「不明」となり、画角の自動決定に必要な情報が欠損することになる。

特許文献１では、認識された各対象物の領域を組み合わせ領域と、過去情報との差分領域を基にして、重なりを加味した評価を行うことで自動追跡を行っている。特許文献２では、対象物の重なりが発生した前後の特徴の変化に基づいて、不審人物候補を判定して重なりが発生した場所を出力する。

特許６７８７０７５号公報 特開２０２０－８８６８７号公報

しかしながら上述した従来技術で、スポーツ映像の自動撮影を行おうとする場合に、以下のような課題が存在する。まず、特許文献１では、認識対象のサイズに大きな差があると、大きいほうの対象物の変化が組み合わせ領域の評価値に大きく影響してしまうため、ボールのような比較的小さな物体を追跡するときは精度良く追跡することができない。また、特許文献２では、重なりが発生した前後の特徴の変化を評価するため、隠れている間は対象物の位置推定を行うことができない。よって、この技術はスポーツ映像のリアルタイム配信には適さない。

本発明はこのような問題に鑑みてなされたものであり、複数のサイズの異なる対象物の認識を行っていて、追跡対象が重なりなどによって隠れてしまった場合においても、追跡対象の位置を推定することができる。

この課題を解決するため、例えば本発明の映像処理装置は以下の構成を備える。すなわち、
スポーツが行われるコートの全体の俯瞰映像を撮影する第１の撮像装置からの映像に基づき、視線方向が変更可能な第２の撮像装置に対する視線方向を制御する映像処理装置であって、
前記第１の撮像装置から受信した映像内の物体を検出する検出手段と、
該検出手段で検出した物体の中の追跡対象物体の移動ベクトルから当該追跡対象物体の移動後の位置を推定し、当該推定された位置を画角内とするよう前記第２の撮像装置を制御する制御手段とを有し、
前記制御手段は、
前記第１の撮像装置から受信した映像の現フレームから検出した物体の中に前記追跡対象物体が含まれていないと判定した場合、前記追跡対象物体を遮っている物体を、前のフレームから検出した物体の位置関係に基づいて判定する判定手段と、
該判定手段で判定した物体を、前記追跡対象物体に代って追跡対象に設定する設定手段とを有する。

本発明によれば、追跡対象が他の物体との重なりなどによって隠れてしまった場合においても、高い精度で追跡対象の追跡を継続することができる。

第１の実施形態に係る画像処理装置の一例を示す図。 第１の実施形態に係る画像処理装置の構成を示すブロック図。 第１の実施形態における処理手順を示すフローチャート。（ａ）画像処理装置全体の処理手順（ｂ）追跡対象が検出できていない場合の処理手順 第１の実施形態に係る俯瞰映像の一例を示す図。 第１の実施形態に係る物体検出処理の結果を示す図。 第１の実施形態に係る物体検出処理の出力結果情報を示す図。 第１の実施形態に係る追跡対象が検出できていない場合の座標更新処理を説明するための図。 第２の実施形態における処理手順を示すフローチャート。（ａ）画像処理装置全体の処理手順（ｂ）追跡対象が検出できている場合の処理手順 第２の実施形態に係る追跡対象が検出できている、かつ追跡対象の所定範囲内に他のクラスが存在する場合の座標更新処理を説明するための図。 第２の実施形態に係る追跡対象が検出できている、かつ追跡対象の所定範囲内に他のクラスが存在しない場合の座標更新処理を説明するための図。 第３の実施形態に係る処理手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
第１の実施形態では、俯瞰カメラによって取得されたスポーツの俯瞰映像を入力し、設定した追跡対象を映像中から認識して、追跡対象物をパン・チルトカメラによって自動追跡するシステムを説明する。なお、本実施形態では、「クラス」とは、ボールとプレイヤーを表し、プレイヤーはプレイヤー毎にクラスを割り振ることができるとする。なお、理解を容易にするため、本実施形態ではバスケットボールを例に説明する。

図１（ａ）に示すように、第１の実施形態におけるシステムは、映像処理装置１００と、カメラ１００、２００で構成される。映像処理装置１００は、カメラ１００，２００と通信可能に接続されている。接続形態は、有線、無線を問わない。カメラ１０１は、コート全体の俯瞰映像を撮影するための視野角を有し、その視線方向は固定である。一方、カメラ１０２は、カメラ１０１と比較して視野角は狭いものの、視線方向（パン角、チルト角）を変更可能とするために雲台１０２ａを有する。カメラ１０１，１０２の設置位置に特に制限はないが、実施形態では、図示の通り、カメラ１０１はコートのセンターラインの延長線上に設置され、カメラ１０２は、コートの一方のエンドラインから予め設定された位置に設置されているものとする。なお、実施形態におけるカメラ１０１，１０２は、例えば３０フレーム／秒で動画像を撮影し、送信するものとする。

図１（ｂ）は、第１の実施形態における映像処理装置１００のブロック構成図である。映像処理装置１００は、汎用のパーソナルコンピュータ等に代表される情報処理装置と、それ上で動作するアプリケーションプログラムによって実現される。そのため、画像処理装置１００は、装置全体の制御を司るＣＰＵ１１１，ＢＩＯＳやブートプログラムを記憶しているＲＯＭ１１２、ＣＰＵ１１１が実行するＯＳ（オペレーティングシステム）や実施形態における映像処理アプリケーションプログラムを展開したり、ワークエリアとして利用するＲＡＭ１１３を有する。更に、映像処理装置１００は、ＯＳ，映像処理アプリケーションプログラム保持したり、撮影で得た映像を動画像ファイルとして記憶するための外部記憶装置としてのＨＤＤ（ハードディスクドライブ）を有する。また、映像処理装置１００は、カメラ１０１及び１０２と通信するためのインタフェース１１５，ユーザからの操作を受け付ける操作部（キーボード、マウス等を含む）１１６、及び、カメラ１０１，１０２で撮影された映像を表示するため、及び、実施形態における映像処理アプリケーションプログラムを実行中に各種設定メニュー等を表示する表示部１１７を有する。なお、説明を単純なものとするため、カメラ１０１、１０２それぞれはネットワークカメラであり、インタフェース１１５もネットワークとの通信を行うためのインタフェースであるものとする。先に説明したように、カメラ１０１、１０２、及び、映像処理装置１００は、互いに通信可能であれば良いので、インタフェースの種類は特に制限はない。

上記構成において、映像処理装置１００の電源がＯＮになると、ＣＰＵ１１１はＲＯＭ１１２のブートプログラムを実行し、ＯＳをＨＤＤ１１４からＲＡＭ１１３にロードし、制御をＯＳに移行する。映像処理装置１００とユーザとの間に、操作部１１６及び表示部１１７によるユーザインタフェースが構築されることになる。そして、ユーザが、操作部１１６を操作して映像アプリケーションの実行を入力すると、ＣＰＵ１１１はＨＤＤ１１４から映像処理アプリケーションプログラムをＲＡＭ１１３上にロードし、ＯＳの制御課でそのアプリケーションを実行する。この結果、映像処理装置１００は、図１（ａ）を参照して説明した機能を実現することになる。

図２は、ＣＰＵ１１１が、先に説明した映像アプリケーションプログラムを実行した際の映像処理装置１００の機能ブロック構成図を示している。各処理部は、ＣＰＵ１１１が実行するモジュールとして理解されたい。

入力部２０１は、カメラ１０１で撮影された俯瞰映像データを受信し、その映像データを物体検出部２０２へ出力する。物体検出部２０２は、入力部２０１から映像データを入力し、映像中の物体を検出する。そして、物体検出部２０２は、映像中のどの位置にどの物体があるかを示す情報を出力する。これは、事前に学習データから生成された物体検出モデルを利用することで行われる。本実施形態では、物体検出処理としてはニューラルネットワーク、特に畳み込みニューラルネットワークを用いるが、畳み込みニューラルネットワークに限らず他のモデルでもよく、さらに、ニューラルネットワークに限らず従来の他の機械学習技術でもよい。物体検出部２０２は、上記の検出結果（物体の位置と物体の種類を示す情報）を、追跡対象ベクトル算出部２０４、及び、追跡対象決定部２０５へ出力する。

追跡対象入力部２０３は、ユーザインタフェースで構成され、ユーザが画像処理装置１００に対して、物体検出モデルに定義されているクラスの中から、追跡対象のクラスを入力することができる。本実施形態では、追跡対象として「ボール」クラスを設定されているものとする。

追跡対象ベクトル算出部２０４は、追跡対象入力部２０３によって指定されたクラス（実施形態ではボール）に対して、物体検出部２０２から入力した検出結果から移動ベクトルを算出し、その算出結果を追跡対象決定部２０５へ出力する。

追跡対象決定部２０５は、物体検出部２０２と追跡対象ベクトル算出部２０４の結果、および追跡対象入力部２０３によって指定されたクラスに基づいて、追跡対象を決定し、決定した追跡対象の情報を追跡対象座標更新部２０６へ出力する。

追跡対象座標更新部２０６は、追跡対象決定部２０５によって決定された追跡対象の検出座標で更新し、パン・チルト駆動制御用のパラメータを生成し、そのパラメータをパンチルト駆動制御部２０７へ出力する。

パンチルト駆動制御部２０７は、追跡対象座標更新部２０６から入力したパラメータに基づいてパン角、チルト角のコマンドを生成し、生成したコマンドをカメラ１０２に送信し、追跡対象が画角内に存在する映像を撮影させる。

入力部２０８は、カメラ１０２からの動画像を映像データとして受信し、その映像データを記録部２０９に出力する。記録部２０９は、入力部２０８から入力した映像データを、記録媒体２１０（ＨＤＤ１１４）に動画像データファイルとして記録する。なお、カメラ１０２からの映像を記録するのではなく、ネットワークを介して配信するようにしても構わない。

以下、上記のように構成された本実施形態における情報処理装置１００の動作について、図３（ａ）に例示するフローチャートに沿って説明する。なお、以下では、カメラ１０２から映像の受信、記録は、この発明の主眼ではないので、以下では、カメラ１０２に対するリモート制御を中心に説明する。

Ｓ３０１にて、入力部２０１は、カメラ１０１から、俯瞰映像を取得する。図４は俯瞰映像の一例である。映像内には、プレイヤー４０１、４０２、４０３、４０４およびボール４０５が撮像されている。図示では、プレイヤー４０１がボール４０５を保持していることを示している。実施形態では、カメラ１０２がプレイヤー４０１とボール４０５に注目する画角に制御されることが求められる。なお、図示ではプレイヤーが４人としているが、これは理解を容易にするためであると理解されたい。

Ｓ３０２にて、追跡対象入力部２０３が、操作部１１６を介して追跡対象物体のクラスを取得する。

Ｓ３０３にて、物体検出部２０２は、Ｓ３０１で取得した俯瞰映像を物体検出モデルに出力することで物体検出処理を実行させる。図５は、図４の映像に対する、物体検出部２０２による物体検出処理を行った結果の一例を示している。物体検出部２０２は、プレイヤー、ボールを物体（オブジェクト）として認識し、それぞれの物体が占める領域の位置と、クラス（プレイヤーかボール）を示す情報を出力する。プレイヤー、ボールが占める領域の位置は、その領域に外接する矩形枠を特定する座標である。図５では、物体検出部２０２の検出結果を、枠５０１、５０２、５０３、５０４、及び、５０５で示している。

図６は物体検出部２０２による物体検出処理の出力結果情報の一例である。フレーム番号６０１では、物体検出処理を行ったフレーム番号を保持する。クラス６０２では、検出した物体のクラスを保持する。画像座標６０３では、検出した物体の俯瞰映像内における座標を保持する。検出枠の位置とサイズは、その枠の左上隅の座標（Ｘｌ１ａ、Ｙｌ１ａ）と、枠の右下隅の座標（Ｘｒ１ａ、Ｙｒ１ａ）で決定することができる。本実施形態における追跡対象６０４は、「Ｂａｌｌ（ボール）」クラスであり、このクラスの画像座標を常に推定できることが求められる。なお、以降の説明で、単に、ボールの座標、プレイヤーの座標という表現が使われた場合、その座標の意味は、該当する対象物の上記検出枠の中心位置の座標を指すものとする。

Ｓ３０４にて、追跡対象決定部２０５は、物体検出部２０２からの物体検出処理の結果に基づき、追跡対象６０４（ボール）が現フレームから検出できている否かを判定する。追跡対象決定部２０５は、追跡対象６０４（ボール）が現フレームから検出できていると判定した場合はＳ３０５に、検出できていないと判定した場合はＳ３０６に処理を分岐する。

Ｓ３０５にて、追跡対象決定部２０５は、座標情報を更新する対象を追跡対象６０４（ボール）の座標に決定し、決定した座標を追跡対象座標更新部２０６に通知する。追跡対象座標更新部２０６は、この通知を受け、追跡対象の座標情報を、現フレームから得た「Ｂａｌｌ」クラスの検出枠５０５の座標で更新する。

Ｓ３０６に処理が進んだ場合、追跡対象決定部２０５は、追跡対象６０４（ボール）が検出できていない場合の座標更新処理を行う。

この処理の詳細を図３（ｂ）のフローチャートを参照して説明する。

Ｓ３０７にて、追跡対象決定部２０５は、追跡対象ベクトル算出部２０４から、追跡対象６０４（ボール）の前フレームまでの座標情報と移動ベクトル情報を取得する。そして、Ｓ３０８にて、追跡対象決定部２０５は、前フレームにおいて、追跡対象６０４（ボールの座標から所定範囲内に他のクラスが存在したか否かを判定する。追跡対象決定部２０５は、他のクラスが存在すると判定した場合はＳ３０９に、存在しないと判定した場合はＳ３１０に処理を分岐する。

Ｓ３０９にて、追跡対象決定部２０５は、追跡対象６０４（ボール）の前フレームまでの座標と、他のクラスの検出結果を基に、座標情報を更新する対象物を決定する。図７を参照して、この座標情報決定方法を説明する。図示では、追跡対象６０４（ボール）が、追跡対象ではない「Ｐｌａｙｅｒ２」クラス７０１に重なり、「Ｂａｌｌ」クラスが検出できない状況を示している。前フレームまでの追跡対象６０４（ボール）の座標７０２は保持されている。そこで、追跡対象決定部２０５は、現フレームから得た追跡対象ではないクラスの位置のうち、前フレームでの追跡対象６０４（ボール）の位置から予め設定された距離範囲にあって、その中の最も近いクラスを、一時的な追跡対象として決定する。図７の場合、追跡対象決定部２０５は、追跡対象６０４（ボール）が「Ｐｌａｙｅｒ２」クラスに重なっている（遮られている）と推定し、「Ｐｌａｙｅｒ２」クラスを一時的な追跡対象として決定する。そして、追跡対象決定部２０５は、追跡対象座標更新部２０６に対し、追跡対象の座標情報として、「Ｐｌａｙｅｒ２」クラスの現フレームの検出枠７０１の座標を通知し、更新させる。

一方、Ｓ３１０に処理が進んだ場合、追跡対象決定部２０５は、追跡対象６０４（ボール）の前フレームまでの座標と、追跡対象６０４（ボール）の前フレームまでの移動ベクトル情報を基に、座標情報を更新する。追跡対象６０４（ボール）が検出できなく、前フレームまでの情報からも推定できない場合というのは、典型的には、追跡対象６０４（ボール）が認識対象域(コート)から外れてしまった場合である。よって、追跡対象決定部２０５は、前フレームまでの追跡対象の座標を起点とし、その移動ベクトルに沿った１フレーム分後（実施形態では１／３０秒後）の座標の位置に、現在の追跡対象が存在するものと推定し、その推定した座標を、追跡対象座標更新部２０６に通知し、更新させる。

Ｓ３０５，Ｓ３０６（図３（ｂ））の処理を終えた場合の更新後の座標は、現フレームに基づいて得た座標である。また、その際の追跡対象物は、通常はボールであるものの、一時的にプレーヤとなることも説明した。

実施形態の、追跡対象決定部２０５は、次フレームにおける追跡対象物の位置を推定する。そのため、Ｓ３１１にて、追跡対象決定部２０５は、追跡対象ベクトル算出部２０４に対して、追跡対象物を特定する情報を設定し、現フレームにおける追跡対象物の移動ベクトルを算出させる。

例えば、Ｓ３０５を経てＳ３１１に処理が遷移した場合、追跡対象決定部２０５は、「Ｂａｌｌ」クラスを追跡対象ベクトル算出部２０４に設定する。この設定を受け、追跡対象ベクトル算出部２０４は、現フレームと前フレームにおける「Ｂａｌｌ」クラスの座標の差分から移動ベクトルを求める。例えば、現在のフレームｔにおける「Ｂａｌｌ」クラスと検出枠の中心座標を（Ｘ_t、Ｙ_t）とし、１つ前のフレームｔ－１における「Ｂａｌｌ」クラスの検出枠の中心座標を（Ｘ_t-1、Ｙ_t-1）とすると、移動ベクトルΔＸは次式（１）で得られる。
ΔＸ＝（Ｘ_t － Ｘ_t-1、Ｙ_t － Ｙ_t-1） …（１）

また、Ｓ３０９を経てＳ３１１に処理が遷移した場合、追跡対象決定部２０５は、一時的に追跡対象となった「Ｐｌａｙｅｒ２」クラスを、追跡対象ベクトル算出部２０４に設定する。この設定を受け、追跡対象ベクトル算出部２０４は、現フレームと前フレームにおける「Ｐｌａｙｅｒ２」クラスの座標の差分から移動ベクトルを求める。クラスが異なるものの、移動ベクトルは上記（１）と同じである。

また、Ｓ３１０を経てＳ３１１に処理が遷移した場合、追跡対象決定部２０５は、追跡対象決定部２０５は、「Ｂａｌｌ」クラスを追跡対象ベクトル算出部２０４に設定する。この場合、現フレームには「Ｂａｌｌ」クラスが存在しない。そこで、追跡対象ベクトル算出部２０４は、１つ前のフレームと２つ前のフレームの「Ｂａｌｌ」クラスの座標を、式（１）を用いて算出させる。算出した移動ベクトルは、正確には、１フレーム前の「Ｂａｌｌ」クラスの移動ベクトルであるが、時間的に近接しているので、本実施形態では、これを現フレームでの「Ｂａｌｌ」クラスの移動ベクトルとして採用する。

Ｓ３１２にて、追跡対象決定部２０５は、上記のようにして追跡対象ベクトル算出部２０４によって算出された移動ベクトルΔＸをパン・チルト駆動制御部２０７に出力する。パン・チルト駆動制御部２０７は、追跡対象決定部２０５より入力した移動ベクトルΔＸを、追跡対象座標更新部２０６による更新後の座標に加算することで、次フレームにおける追跡対象の移動後の座標を推定する。そして、パン・チルト駆動制御部２０７は、この推定された移動後の座標に向けてカメラ１０２の視線方向（画角の中心となる）となるようにすべく、パン角、チルト角のコマンドを生成し、カメラ１０２に送信する。

以上により、本実施形態によれば、追跡対象物が、他の物体に遮られたとしても、追跡対象の前フレームまでの座標情報と移動ベクトルを基に、追跡対象の位置を推定することができ、追跡対象物をターゲットとする自然な動画像を撮影することができる。

［第２の実施形態］
第２の実施形態を説明する。なお、第２の実施形態では、第１の実施形態と同一構成部分についてはその説明を省略する。第１の実施形態では、追跡対象が検出できている場合は追跡対象の画像座標を画角の中心となるようにできた。しかし、スポーツシーンにおいては、追跡対象としてボールに絡むプレイヤーを常に設定した方が望ましい場合も考えられる。本実施形態では、検出された追跡対象以外の他クラスとの位置関係と、追跡対象の前フレームまでの移動ベクトル情報を基に追跡対象を決定する。こうすることで、追跡対象としてボールに絡むプレイヤーを常に設定することができる。

以下、本第２の実施形態における映像処理装置１００の動作について、図８（ａ）に例示するフローチャートに沿って説明する。

図８（ａ）におけるＳ８０１～Ｓ８０４、Ｓ８０６、Ｓ８１１、Ｓ８１２の処理は、第１実施形態の図３のＳ３０１～Ｓ３０４、Ｓ３０６、Ｓ３１１、Ｓ３１２の処理と同様であるため、その説明を省略する。

Ｓ８０５において、追跡対象決定部２０５は、追跡対象６０４（ボール）が検出できている場合の座標更新処理を行う。

このＳ８０５の処理の詳細を、図８（ｂ）を参照して説明する。

Ｓ８０７にて、追跡対象決定部２０５は、追跡対象６０４（ボール）が検出できている場合において、追跡対象６０４（ボール）から、所定範囲内に他のクラスが存在するか否かを判定する。そして、追跡対象決定部２０５は、追跡対象６０４から所定範囲内に他のクラスが存在すると判定した場合はＳ８０８に、存在しないと判定した場合はＳ８０９に処理を進める。

Ｓ８０８にて、追跡対象決定部２０５は、追跡対象６０４（ボール）の画像座標を基に、座標を更新する対象を決定する。この座標の更新対象の決定処理を、図９を参照して説明する。図９において、追跡対象６０４（ボール）の「Ｂａｌｌ」クラスの検出枠９０１と、追跡対象ではない「Ｐｌａｙｅｒ１」クラスの検出枠９０２の位置が所定範囲内にある場合は、「Ｐｌａｙｅｒ１」クラスが追跡対象６０４（ボール）を保持していると判定できる。故に、追跡対象決定部２０５は、「Ｐｌａｙｅｒ１」クラスを追跡対象に決定する。そして、追跡対象座標更新部２０６によって、追跡対象の座標情報を「Ｐｌａｙｅｒ１」クラスの検出枠９０２の画像座標で更新する。

一方、Ｓ８０９に処理が進んだ場合、追跡対象決定部２０５は、追跡対象ベクトル算出部２０４から、追跡対象６０４（ボール）の前フレームまでの移動ベクトル情報を取得する。そして、Ｓ８１０にて、追跡対象決定部２０５は、追跡対象６０４（ボール）の現在の座標と、追跡対象６０４（ボール）の前フレームまでの移動ベクトル情報を基に、座標情報を更新する対象を決定する。この処理を、図１０を参照して説明する。図１０は、追跡対象６０４（ボール）の「Ｂａｌｌ」クラスの検出枠１００１の所定範囲内に追跡対象ではない他のクラスの検出枠が存在しない例を示している。ちょうど、追跡対象６０４（ボール）がパスやシュートのような一時的な移動をしている場合である。この場合、数フレーム後にプレイヤーがボールを保持することが推定される。追跡対象決定部２０５は、追跡対象６０４（ボール）の「Ｂａｌｌ」クラスの検出枠１００１の現在の座標を起点とし、前フレームまでの移動ベクトル１００２の延長線上に最も近い位置に存在する「Ｐｌａｙｅｒ２」クラスを追跡対象に決定する。そして、追跡対象座標更新部２０６によって、追跡対象の座標情報を「Ｐｌａｙｅｒ２」クラスの検出枠１００３の画像座標で更新する。

以上により、本実施形態によれば、追跡対象としてボールに絡むプレイヤーを設定した方が望ましい場合においても、検出された追跡対象以外の他クラスとの位置関係と、追跡対象の前フレームまでの移動ベクトル情報を基に追跡対象を決定することができる。

［第３の実施形態］
次に、本発明の第３の実施形態を説明する。なお、第１、２の実施形態と同一構成部分についてはその説明を省略する。第１、２の実施形態では、物体検出処理によって追跡対象が検出できていると判定された場合に追跡対象ありの処理を行って追跡対象の座標を更新した。しかし、畳み込みニューラルネットワークに限らず物体検出処理では、誤検出が発生する可能性があり、検出モデルや撮影する環境によっては、追跡精度が低下することが考えられる。本第３の実施形態では、追跡対象の検出結果が信頼できるものかを判定し、信頼できるものと判定された場合は追跡対象が検出できている場合の座標更新処理を行う。こうすることで、物体検出処理の誤検出による追跡精度が低下を抑えることができる。

以下、本実施形態における映像処理装置１００の動作について、図１１に例示するフローチャートに沿って説明する。なお、Ｓ１１０１～Ｓ１１０６、Ｓ１１１１、Ｓ１１１２の処理は、第２実施形態の図３のＳ８０１～Ｓ８０６、Ｓ８１１、Ｓ８１２と同様であるため、その説明を省略する。

Ｓ１１１３にて、追跡対象決定部２０５は、追跡対象６０４（ボール）が検出できている場合において、追跡対象６０４（ボール）を、少なくとも２フレーム以上連続で検出できているかを判定する。追跡対象決定部２０５は、２フレーム以上連続して追跡対象を検出していると判定した場合は処理をＳ１１０５に、検出していないと判定した場合はＳ１１０６に処理を進める。つまり、現在の１フレーム前のｔ－１で「Ｂａｌｌ」クラスが検出されており、且つ、現在のフレームｔで「Ｂａｌｌ」クラスが検出されていた場合、追跡対象決定部２０５は、フレームｔ－１で追跡対象６０４（ボール）が検出できているという物体検出部２０２の結果は信頼できるものと判定する。一方で、現在のフレームｔで「Ｂａｌｌ」クラスが検出されているものの、前フレームｔ－１で追跡対象６０４（ボール）が検出できていない場合、現フレームに対する物体検出部２０２の結果は信頼度が低いと判定する。

以上により、本実施形態によれば、物体検出処理の不確定な誤検出の影響を抑えることが可能となる。なお、本第３の実施形態では、２フレーム以上連続して追跡対象が検出できているか否かを判定したが、カメラのフレームレートに依存して、連続するフレーム数を適宜変更しても良い。

以上、本発明の好適な実施形態を説明したが、本発明はこれらの実施形態に限定されず、種々の変形および変更が可能である。

例えば、第１実施形態のＳ３１０において、追跡対象６０４（ボール）ではないクラスの検出結果の中心や、重心を用いて画像座標で更新してもよい。

また、第１実施形態のＳ３１１において、２フレーム以上の前からの座標情報の変化を用いて移動ベクトルを算出してもよい。

また、第２実施形態のＳ８１０において、追跡対象６０４（ボール）の検出枠１００１の座標から、前フレームまでのベクトル１００２の延長線上に存在する複数クラスの中心や、重心の位置を追跡対象に決定してもよい。

また、第３実施形態のＳ１１１３において、物体検出処理の出力結果の信頼度スコアを用いて追跡対象の検出結果が信頼できるものかを判定してもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の物体追跡装置、方法及びプログラムを含む。
（項目１）
スポーツが行われるコートの全体の俯瞰映像を撮影する第１の撮像装置からの映像に基づき、視線方向が変更可能な第２の撮像装置に対する視線方向を制御する映像処理装置であって、
前記第１の撮像装置から受信した映像内の物体を検出する検出手段と、
該検出手段で検出した物体の中の追跡対象物体の移動ベクトルから当該追跡対象物体の移動後の位置を推定し、当該推定された位置を画角内とするよう前記第２の撮像装置を制御する制御手段とを有し、
前記制御手段は、
前記第１の撮像装置から受信した映像の現フレームから検出した物体の中に前記追跡対象物体が含まれていないと判定した場合、前記追跡対象物体を遮っている物体を、前のフレームから検出した物体の位置関係に基づいて判定する判定手段と、
該判定手段で判定した物体を、前記追跡対象物体に代って追跡対象に設定する設定手段と
を有することを特徴とする映像処理装置。
（項目２）
前記判定手段は、現フレームから検出した物体のうち、前フレームから検出した前記追跡対象物体の位置から予め設定された距離範囲内にあって最も距離が短い物体を、前記追跡対象物体を遮っている物体として判定する
ことを特徴とする項目１に記載の映像処理装置。
（項目３）
前記判定手段は、現フレームから検出した物体のうち、前フレームから検出した前記追跡対象物体の位置から予め設定された距離範囲内にある物体が存在しない場合は、前フレームにおける前記追跡対象物体の移動ベクトルから推定される現フレームの位置に前記追跡対象物体が位置しているとして判定する
ことを特徴とする項目１又は２に記載の映像処理装置。
（項目４）
前記制御手段は、前記第１の撮像装置から受信した映像の現フレームに前記追跡対象物体が存在し、且つ、前記追跡対象物体から予め設定された距離の範囲内に他の物体が存在するか否かを判定する第２の判定手段を更に有し、
前記設定手段は、該第２の判定手段の判定の結果が、前記第１の撮像装置から受信した映像の現フレームに前記追跡対象物体が存在し、且つ、前記追跡対象物体から予め設定された距離の範囲内に他の物体が存在しないことを示す場合、前記現フレームと前フレームから求めた前記追跡対象物体の移動ベクトルの延長線上に位置する他の物体を、前記追跡対象物体に代って追跡対象に設定する
ことを特徴とする項目１乃至３のいずれか１つに記載の映像処理装置。
（項目５）
前記制御手段は、前記追跡対象物体が現フレームまでの予め設定された数のフレームにて連続して検出された場合に、現フレームから前記追跡対象物体が検出されたものとして前記判定手段の判定を行う
ことを特徴とする項目１乃至４のいずれか１つに記載の映像処理装置。
（項目６）
前記検出手段は、プレイヤー、ボールを物体として検出し、前記ボールを追跡対象物体として検出することを特徴とする項目１乃至５のいずれか１つに記載の映像処理装置。
（項目７）
スポーツが行われるコートの全体の俯瞰映像を撮影する第１の撮像装置からの映像に基づき、視線方向が変更可能な第２の撮像装置に対する視線方向を制御する映像処理装置の制御方法であって、
前記第１の撮像装置から受信した映像内の物体を検出する検出工程と、
該検出工程で検出した物体の中の追跡対象物体の移動ベクトルから当該追跡対象物体の移動後の位置を推定し、当該推定された位置を画角内とするよう前記第２の撮像装置を制御する制御工程とを有し、
前記制御工程は、
前記第１の撮像装置から受信した映像の現フレームから検出した物体の中に前記追跡対象物体が含まれていないと判定した場合、前記追跡対象物体を遮っている物体を、前のフレームから検出した物体の位置関係に基づいて判定する判定工程と、
該判定工程で判定した物体を、前記追跡対象物体に代って追跡対象に設定する設定工程と
を有することを特徴とする映像処理装置の制御方法。
（項目８）
コンピュータが読み込み実行することで、前記コンピュータに、項目１乃至６のいずれか１つに記載の装置が有する各手段として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために項目を添付する。

１００…映像処理装置、１０１、１０２…カメラ、２０１、２０８…入力部、２０２…物体検出部、２０３…追跡対象入力部、２０４…追跡対象ベクトル算出部、２０５…追跡対象決定部、２０６…追跡対象座標更新部、２０７…パン・チルト駆動制御部

Claims (8)

1. スポーツが行われるコートの全体の俯瞰映像を撮影する第１の撮像装置からの映像に基づき、視線方向が変更可能な第２の撮像装置に対する視線方向を制御する映像処理装置であって、
   前記第１の撮像装置から受信した映像内の物体を検出する検出手段と、
   該検出手段で検出した物体の中の追跡対象物体の移動ベクトルから当該追跡対象物体の移動後の位置を推定し、当該推定された位置を画角内とするよう前記第２の撮像装置を制御する制御手段とを有し、
   前記制御手段は、
   前記第１の撮像装置から受信した映像の現フレームから検出した物体の中に前記追跡対象物体が含まれていないと判定した場合、前記追跡対象物体を遮っている物体を、前のフレームから検出した物体の位置関係に基づいて判定する判定手段と、
   該判定手段で判定した物体を、前記追跡対象物体に代って追跡対象に設定する設定手段と
   を有することを特徴とする映像処理装置。
2. 前記判定手段は、現フレームから検出した物体のうち、前フレームから検出した前記追跡対象物体の位置から予め設定された距離範囲内にあって最も距離が短い物体を、前記追跡対象物体を遮っている物体として判定する
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記判定手段は、現フレームから検出した物体のうち、前フレームから検出した前記追跡対象物体の位置から予め設定された距離範囲内にある物体が存在しない場合は、前フレームにおける前記追跡対象物体の移動ベクトルから推定される現フレームの位置に前記追跡対象物体が位置しているとして判定する
   ことを特徴とする請求項１に記載の映像処理装置。
4. 前記制御手段は、前記第１の撮像装置から受信した映像の現フレームに前記追跡対象物体が存在し、且つ、前記追跡対象物体から予め設定された距離の範囲内に他の物体が存在するか否かを判定する第２の判定手段を更に有し、
   前記設定手段は、該第２の判定手段の判定の結果が、前記第１の撮像装置から受信した映像の現フレームに前記追跡対象物体が存在し、且つ、前記追跡対象物体から予め設定された距離の範囲内に他の物体が存在しないことを示す場合、前記現フレームと前フレームから求めた前記追跡対象物体の移動ベクトルの延長線上に位置する他の物体を、前記追跡対象物体に代って追跡対象に設定する
   ことを特徴とする請求項１に記載の映像処理装置。
5. 前記制御手段は、前記追跡対象物体が現フレームまでの予め設定された数のフレームにて連続して検出された場合に、現フレームから前記追跡対象物体が検出されたものとして前記判定手段の判定を行う
   ことを特徴とする請求項１に記載の映像処理装置。
6. 前記検出手段は、プレイヤー、ボールを物体として検出し、前記ボールを追跡対象物体として検出することを特徴とする請求項１に記載の映像処理装置。
7. スポーツが行われるコートの全体の俯瞰映像を撮影する第１の撮像装置からの映像に基づき、視線方向が変更可能な第２の撮像装置に対する視線方向を制御する映像処理装置の制御方法であって、
   前記第１の撮像装置から受信した映像内の物体を検出する検出工程と、
   該検出工程で検出した物体の中の追跡対象物体の移動ベクトルから当該追跡対象物体の移動後の位置を推定し、当該推定された位置を画角内とするよう前記第２の撮像装置を制御する制御工程とを有し、
   前記制御工程は、
   前記第１の撮像装置から受信した映像の現フレームから検出した物体の中に前記追跡対象物体が含まれていないと判定した場合、前記追跡対象物体を遮っている物体を、前のフレームから検出した物体の位置関係に基づいて判定する判定工程と、
   該判定工程で判定した物体を、前記追跡対象物体に代って追跡対象に設定する設定工程と
   を有することを特徴とする映像処理装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の方法の各工程を実行させるためのプログラム。

Images