JP2019101892A - オブジェクト追跡装置及びそのプログラム - Google Patents
オブジェクト追跡装置及びそのプログラム Download PDFInfo
- Publication number
- JP2019101892A JP2019101892A JP2017234038A JP2017234038A JP2019101892A JP 2019101892 A JP2019101892 A JP 2019101892A JP 2017234038 A JP2017234038 A JP 2017234038A JP 2017234038 A JP2017234038 A JP 2017234038A JP 2019101892 A JP2019101892 A JP 2019101892A
- Authority
- JP
- Japan
- Prior art keywords
- position data
- image
- infrared light
- unit
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
また、オブジェクト追跡装置は、位置データ生成部によって、前記赤外光領域を検出できたときは当該赤外光領域の検出位置又は前記赤外光領域を検出できないときは前記検出位置の欠落と、当該赤外光領域の検出対象となった赤外画像の時刻情報とが含まれる位置データを生成する。
また、オブジェクト追跡装置は、オブジェクト追跡部によって、前記欠落区間の時間長が前記閾値未満の場合、前記位置データに基づいて前記オブジェクトを追跡する。
そして、オブジェクト追跡装置は、前記欠落区間特定部によって、前記位置データ補間部から入力された位置データの欠落区間を特定する。
本発明に係るオブジェクト追跡装置は、オブジェクトが存在する可能性の高い開始時刻及び終了時刻の可視画像から特徴点を検出し、その特徴点の検出位置で位置データを補間する。これにより、オブジェクト追跡装置は、検出位置が欠落した場合でも正確にオブジェクトを追跡することができる。
図1を参照し、本発明の実施形態に係るオブジェクト追跡システム1の概略について説明する。
以後の実施形態では、フェンシングにおいて、選手が持つ剣先(オブジェクト)を追跡対象として説明する。フェンシングの最中、両選手の剣先は、高速で移動することが多い。
図2に示すように、この赤外光投光器10が投光した赤外光は、両選手の剣先90に付けた反射テープ(赤外光マーカ)91で反射され、後記する可視・赤外同光軸カメラ20で撮影される。
なお、図1では、左側の選手が持つ剣先90の軌跡C1を破線で図示し、右側の選手が持つ剣先90の軌跡C2を一点鎖線で図示した。
図3を参照し、オブジェクト追跡装置30の構成について説明する。
図3に示すように、オブジェクト追跡装置30は、赤外光検出手段31と、可視画像解析手段33と、タイムコード連動型CG合成手段35と、を備える。以下、タイムコード連動型CG合成手段35をTC連動型CG合成手段35と略記する。
なお、赤外光検出部311は、静止しているノイズブロブの発生を抑えるために2値赤外差分画像Qxy tを生成したが、赤外画像Htで輝度が高い領域を候補ブロブとして抽出してもよい。
一方、赤外光領域を検出できない場合(検出ブロブが残らない場合)、赤外光検出部311は、赤外画像Htの時刻情報と共に、赤外光領域が検出できないことを位置データ生成部313に通知する(検出失敗通知)。
以下、位置データを詳細に説明する。
この位置データPtは、赤外光領域の位置情報と、赤外光領域の検出対象となった赤外画像Htの時刻情報(タイムコード)とを対応付けた情報である。
本実施形態では、赤外光領域の位置情報は、剣先90の検出位置を表す。ここで、赤外光領域の位置情報は、赤外光検出部311から赤外光領域の検出位置が入力された場合、その赤外光領域の画像座標(xt,yt)となる。一方、赤外光領域の位置情報は、赤外光検出部311から検出失敗通知が入力された場合、検出位置の欠落を示す画像座標(−1,−1)となる。
可視画像解析手段33は、位置データPに含まれる欠落区間を特定し、欠落区間両端の可視画像から特徴点を検出し、位置データPを補間するものである。この可視画像解析手段33は、欠落区間特定部331と、特徴点検出部333と、位置データ補間部335と、を備える。
時間長dが閾値m以上の場合、欠落区間特定部331は、位置データPと共に、求めた欠落区間の開始時刻TST及び終了時刻TEDを特徴点検出部333に出力する。
一方、時間長dが閾値m未満の場合、欠落区間特定部331は、位置データPを位置データ蓄積部351に書き込む。
また、特徴点検出部333は、終了直後時刻TED+1の位置データPED+1から検出位置(xED+1,yED+1)を取得し、その検出位置(xED+1,yED+1)を基準とした画像領域を可視画像IEDに設定する。
また、特徴点検出部333は、赤外光検出部311と同様、差分画像Stにオープニングモルフォロジ処理を施し、小領域のノイズブロブを除去してもよい。
さらに、特徴点検出部333は、可視画像IEDに設定した差分画像Sxy EDから特徴点を検出し、検出した特徴点の中から、終了直後時刻TED+1における赤外光領域の検出位置(xED+1,yED+1)に最も近い特徴点を、終了時刻TEDの特徴点として取得する。
その後、特徴点検出部333は、取得した開始時刻TST及び終了時刻TEDの特徴点の位置を位置データ補間部335に出力する。
このFAST特徴量は、コーナーのみを特徴点の対象とし、決定木により高速かつ効率的に特徴点を検出する。ここでは、図5(a)の可視画像IからFAST特徴量を検出することとして説明する。FAST特徴量では、図5(b)に示すように、注目画素pの周囲16箇所の画素を観測する。そして、FAST特徴量では、注目画素pの画素値と比較して、16個の観測画素のうち、連続してn個以上の画素値が閾値t以上明るくなる又は暗くなる場合、その注目画素pをコーナーとして検出する(但し、nは1以上の自然数)。
なお、図5(b)では、可視画像Iの注目画素をp、観測画素を1〜16の数値で図示した。
なお、式(3)では、Ipが注目画素pの輝度値、xが観測画素の位置、Ip→xが観測画素の輝度値、tが閾値を表す。
位置データ補間部335は、開始時刻TST及び終了時刻TEDの位置データPを、特徴点検出部333から入力された特徴点の検出位置で補間するものである。つまり、検出位置が欠落している位置データPを、特徴点検出部333が検出した特徴点の位置で更新する。
すると、欠落区間特定部331は、位置データ補間部335より入力された位置データPから欠落区間を再び特定する。その後、可視画像解析手段33は、前記した処理を繰り返す。
図4を参照し、可視画像解析手段33による位置データの補間を具体例に説明する(適宜図3参照)。
ここでは、図4(a)の位置データPが入力され、閾値mが‘3’フレームであることとする。
欠落区間特定部331は、この位置データPの各行を参照し、画像座標(−1,−1)が連続している5行目〜9行目を欠落区間として特定する。そして、欠落区間特定部331は、5行目〜9行目の欠落区間のうち、最も先の時刻「10:25:30.29」を開始時刻TSTとし、最も遅い時刻「10:25:31.03」を終了時刻TEDとして求める。
欠落区間特定部331は、この位置データPの各行を参照し、画像座標(−1,−1)が連続している6行目〜8行目を欠落区間として特定し、開始時刻TST「10:25:31.00」及び終了時刻TED「10:25:31.02」を求める。
また、位置データは、図4の例に限定されないことは言うまでもない。
TC連動型CG合成手段35は、可視・赤外同光軸カメラ20から入力された可視画像ItのタイムコードTtをトリガとして、蓄積した位置データPからオブジェクトの位置座標を取得して軌跡を描画し、描画した軌跡を可視画像Itに合成するものである。
位置データ蓄積部351は、位置データPを蓄積するHDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリ等の記憶装置である。この位置データPは、欠落区間特定部331によって書き込まれ、軌跡描画部353によって参照される。
なお、図6では矩形βは特徴点検出部333が設定した画像領域を表し、円γは赤外光検出部311が検出した剣先90を表す。
図7を参照し、オブジェクト追跡装置30の動作について説明する(適宜図3参照)。
図7に示すように、赤外光検出部311は、2値赤外差分画像を生成し、抽出した候補ブロブにモルフォロジ処理を施す(ステップS1)。
位置データ生成部313は、赤外光領域の検出位置と、赤外画像の時刻情報とを対応付けた位置データを生成する(ステップS3)。
欠落区間特定部331は、欠落区間の時間長dが閾値m以上であるか否かを判定する(ステップS5)。
特徴点検出部333は、可視画像に、開始直前時刻TST−1及び終了直後時刻TED+1の検出位置を基準とした画像領域を設定する(ステップS7)。
位置データ補間部335は、過去の検出位置に最も近い特徴点で位置データを補間し(ステップS9)、ステップS4の処理に戻る。
軌跡描画部353は、可視・赤外同光軸カメラ20から入力された可視画像の時刻情報に対応する位置データを位置データ蓄積部351から読み出す(ステップS10)。
軌跡描画部353は、読み出した位置データの検出位置に応じて、オブジェクトの軌跡を描画し、描画した軌跡を可視画像に合成する(ステップS11)。
本発明の実施形態に係るオブジェクト追跡装置30は、剣先90が存在する可能性の高い開始時刻TST及び終了時刻TEDの可視画像から特徴点を検出し、その特徴点の検出位置で位置データを補間する。これにより、オブジェクト追跡装置30は、検出位置が欠落する場合でも正確に剣先90の軌跡を描画することができる。
オブジェクト追跡装置で補間した位置データは、その利用方法が特に制限されず、軌跡の描画以外にも利用することができる。
10 赤外光投光器
20 可視・赤外同光軸カメラ
30 オブジェクト追跡装置
31 赤外光検出手段
311 赤外光検出部
313 位置データ生成部
33 可視画像解析手段
331 欠落区間特定部
333 特徴点検出部
335 位置データ補間部
35 タイムコード連動型CG合成手段(TC連動型CG合成手段)
351 位置データ蓄積部
353 軌跡描画部(オブジェクト追跡部)
90 剣先
91 反射テープ(赤外光マーカ)
Claims (4)
- 赤外光マーカを付けて移動する1以上のオブジェクトを赤外光で撮影した赤外画像と、前記オブジェクトを可視光で撮影した可視画像とを用いて、前記オブジェクトを追跡するオブジェクト追跡装置であって、
前記赤外画像から前記赤外光マーカの領域を赤外光領域として検出する赤外光検出部と、
前記赤外光領域を検出できたときは当該赤外光領域の検出位置又は前記赤外光領域を検出できないときは前記検出位置の欠落と、当該赤外光領域の検出対象となった赤外画像の時刻情報とが含まれる位置データを生成する位置データ生成部と、
前記位置データの欠落区間を特定し、特定した前記欠落区間の開始時刻から終了時刻までの時間長が予め設定した閾値以上であるか否かを判定する欠落区間特定部と、
前記欠落区間の時間長が前記閾値以上の場合、前記開始時刻直前及び前記終了時刻直後の位置データから前記検出位置を取得し、取得した前記検出位置に基づいて画像領域を前記開始時刻及び前記終了時刻の可視画像に設定し、設定した前記画像領域から特徴点を検出する特徴点検出部と、
前記開始時刻及び前記終了時刻の位置データを前記特徴点の検出位置で補間し、補間した前記位置データを前記欠落区間特定部に出力する位置データ補間部と、
前記欠落区間の時間長が前記閾値未満の場合、前記位置データに基づいて前記オブジェクトを追跡するオブジェクト追跡部と、を備え、
前記欠落区間特定部は、前記位置データ補間部から入力された位置データの欠落区間を特定することを特徴とするオブジェクト追跡装置。 - 前記位置データを蓄積する位置データ蓄積部、をさらに備え、
前記欠落区間特定部は、前記欠落区間の時間長が前記閾値未満の場合、前記位置データを前記位置データ蓄積部に書き込み、
前記オブジェクト追跡部として、前記可視画像の時刻情報に対応する位置データを前記位置データ蓄積部から取得し、取得した前記位置データの検出位置に基づいて前記オブジェクトの軌跡を描画し、描画した前記軌跡を前記可視画像に合成する軌跡描画部、を備えることを特徴とする請求項1に記載のオブジェクト追跡装置。 - 前記特徴点検出部は、前記画像領域からFAST特徴量を検出することを特徴とする請求項1又は請求項2に記載のオブジェクト追跡装置。
- コンピュータを、請求項1から請求項3の何れか一項に記載のオブジェクト追跡装置として機能させるためのオブジェクト追跡プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234038A JP6983049B2 (ja) | 2017-12-06 | 2017-12-06 | オブジェクト追跡装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234038A JP6983049B2 (ja) | 2017-12-06 | 2017-12-06 | オブジェクト追跡装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019101892A true JP2019101892A (ja) | 2019-06-24 |
JP6983049B2 JP6983049B2 (ja) | 2021-12-17 |
Family
ID=66973975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017234038A Active JP6983049B2 (ja) | 2017-12-06 | 2017-12-06 | オブジェクト追跡装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6983049B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111147778A (zh) * | 2019-12-23 | 2020-05-12 | 浙江大华技术股份有限公司 | 基于数字视频录像机的轨迹录像方法、装置及存储介质 |
CN111242978A (zh) * | 2020-01-15 | 2020-06-05 | 合肥慧图软件有限公司 | 基于红外相机技术的生物行为轨迹分析*** |
JP2021071953A (ja) * | 2019-10-31 | 2021-05-06 | 株式会社ライゾマティクス | 認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステム |
JP7073595B1 (ja) | 2022-02-21 | 2022-05-23 | 海渡 藤田 | 有効突判定装置、有効突判定方法、および有効突判定プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015132879A (ja) * | 2014-01-09 | 2015-07-23 | クラリオン株式会社 | 車両用外界認識装置 |
JP2017204757A (ja) * | 2016-05-12 | 2017-11-16 | 日本放送協会 | 被写体追跡装置及びそのプログラム |
-
2017
- 2017-12-06 JP JP2017234038A patent/JP6983049B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015132879A (ja) * | 2014-01-09 | 2015-07-23 | クラリオン株式会社 | 車両用外界認識装置 |
JP2017204757A (ja) * | 2016-05-12 | 2017-11-16 | 日本放送協会 | 被写体追跡装置及びそのプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021071953A (ja) * | 2019-10-31 | 2021-05-06 | 株式会社ライゾマティクス | 認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステム |
WO2021085453A1 (ja) * | 2019-10-31 | 2021-05-06 | 株式会社ライゾマティクス | 認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステム |
JP7281767B2 (ja) | 2019-10-31 | 2023-05-26 | 株式会社アブストラクトエンジン | 認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステム |
CN111147778A (zh) * | 2019-12-23 | 2020-05-12 | 浙江大华技术股份有限公司 | 基于数字视频录像机的轨迹录像方法、装置及存储介质 |
CN111242978A (zh) * | 2020-01-15 | 2020-06-05 | 合肥慧图软件有限公司 | 基于红外相机技术的生物行为轨迹分析*** |
JP7073595B1 (ja) | 2022-02-21 | 2022-05-23 | 海渡 藤田 | 有効突判定装置、有効突判定方法、および有効突判定プログラム |
JP2023121695A (ja) * | 2022-02-21 | 2023-08-31 | 海渡 藤田 | 有効突判定装置、有効突判定方法、および有効突判定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6983049B2 (ja) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5923365A (en) | Sports event video manipulating system for highlighting movement | |
JP5667943B2 (ja) | コンピュータ実行画像処理方法および仮想再生ユニット | |
JP6983049B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
RU2498404C2 (ru) | Способ и устройство для генерирования регистрационной записи события | |
US20190089923A1 (en) | Video processing apparatus for displaying a plurality of video images in superimposed manner and method thereof | |
US8805007B2 (en) | Integrated background and foreground tracking | |
Kohl et al. | The mta dataset for multi-target multi-camera pedestrian tracking by weighted distance aggregation | |
JP6894962B2 (ja) | 自由視点映像用画像データのキャプチャ方法及び装置、プログラム | |
US8055073B1 (en) | System and method for enabling meaningful interaction with video based characters and objects | |
JP6742221B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
WO2010127418A1 (en) | Systems and methods for the autonomous production of videos from multi-sensored data | |
JP4555690B2 (ja) | 軌跡付加映像生成装置及び軌跡付加映像生成プログラム | |
JP2005123824A (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
JP2009505553A (ja) | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 | |
JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
WO2017104372A1 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JP4886707B2 (ja) | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム | |
Pidaparthy et al. | Keep your eye on the puck: Automatic hockey videography | |
Pallavi et al. | Graph-based multiplayer detection and tracking in broadcast soccer videos | |
Conaire et al. | Tennissense: A platform for extracting semantic information from multi-camera tennis data | |
WO2021017496A1 (zh) | 导播方法、装置及计算机可读存储介质 | |
Kumar et al. | Cricket activity detection | |
JP2015177470A (ja) | 抽出プログラム、方法、及び装置 | |
JP7198661B2 (ja) | オブジェクト追跡装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6983049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |