JP7332047B2 - 追跡装置、追跡システム、追跡方法、およびプログラム - Google Patents

追跡装置、追跡システム、追跡方法、およびプログラム Download PDF

Info

Publication number
JP7332047B2
JP7332047B2 JP2022529147A JP2022529147A JP7332047B2 JP 7332047 B2 JP7332047 B2 JP 7332047B2 JP 2022529147 A JP2022529147 A JP 2022529147A JP 2022529147 A JP2022529147 A JP 2022529147A JP 7332047 B2 JP7332047 B2 JP 7332047B2
Authority
JP
Japan
Prior art keywords
threshold
tracking
image
spatial
display information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022529147A
Other languages
English (en)
Other versions
JPWO2021245747A5 (ja
JPWO2021245747A1 (ja
Inventor
登 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021245747A1 publication Critical patent/JPWO2021245747A1/ja
Publication of JPWO2021245747A5 publication Critical patent/JPWO2021245747A5/ja
Application granted granted Critical
Publication of JP7332047B2 publication Critical patent/JP7332047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Description

本発明は、追跡対象を追跡する追跡装置等に関する。
人物追跡技術は、監視カメラによって撮影された動画を構成する個々の画像フレームから人物を検出し、検出された人物を追跡する技術である。人物追跡技術では、例えば、検出された個々の人物を顔認証等で識別して識別番号を付与し、識別番号が付与された人物を連続する画像フレームにおいて追尾する。一般的な人物追跡技術では、追跡中の人物(追跡対象人物とも呼ぶ)が他の人物や遮蔽物と交差する時点の画像フレームがあると、それよりも後の時点の画像フレームで追跡対象人物が入れ替わってしまったり、追跡対象人物が新たな人物として検出されたりすることがあった。
特許文献1には、動画中の物体が所定の物体であるか判断する頻度を動的に設定する設定装置について開示されている。特許文献1の装置は、動画中の物体が所定の物体であると判断すると、判断する頻度をそれ以前よりも低く設定する。
特開2015-053032号公報
特許文献1の手法によれば、予め指定されたルールに基づいて、動画中の物体が所定の物体であるか判断する頻度を動的に変化させることによって、動画中の物体が所定の物体であるか精度よく判断できる。しかしながら、特許文献1の手法では、動画中の物体が所定の物体であるか判断する頻度が予め指定されたルールに基づいて切り替わるため、動画を通じて監視をするユーザの要求に合わない変更がなされることがあった。
本発明の目的は、ユーザの要求に合わせて追跡対象を追尾することを可能とする追跡装置等を提供することにある。
本発明の一態様の追跡装置は、複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される画像フレームを抽出する基準である時間閾値に基づいて画像フレームを抽出し、抽出された画像フレームにおいて追跡対象を検出し、追跡対象の照合範囲の基準である空間閾値に基づいて追跡対象に対して照合範囲を設定する追跡部と、画像フレームにおいて追跡対象に照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成する表示情報生成部と、表示情報を参照するユーザによって設定された時間閾値および空間閾値の値を取得し、ユーザによって設定された値で空間閾値および時間閾値を更新する閾値更新部と、を備える。
本発明の一態様の追跡方法においては、コンピュータが、複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される画像フレームを抽出する基準である時間閾値に基づいて画像フレームを抽出し、抽出された画像フレームにおいて追跡対象を検出し、追跡対象の照合範囲の基準である空間閾値に基づいて追跡対象に対して照合範囲を設定し、画像フレームにおいて追跡対象に照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成し、表示情報を参照するユーザによって設定された時間閾値および空間閾値の値を取得し、ユーザによって設定された値で空間閾値および時間閾値を更新する。
本発明の一態様のプログラムは、複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される画像フレームを抽出する基準である時間閾値に基づいて画像フレームを抽出する処理と、抽出された画像フレームにおいて追跡対象を検出する処理と、追跡対象の照合範囲の基準である空間閾値に基づいて追跡対象に対して照合範囲を設定する処理と、画像フレームにおいて追跡対象に照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成する処理と、表示情報を参照するユーザによって設定された時間閾値および空間閾値の値を取得する処理と、ユーザによって設定された値で空間閾値および時間閾値を更新する処理と、をコンピュータに実行させる。
本発明によれば、ユーザの要求に合わせて追跡対象を追尾することを可能とする追跡装置等を提供することが可能になる。
第1の実施形態に係る追跡システムの構成の一例を示すブロック図である。 第1の実施形態に係る追跡システムに含まれる端末装置の構成の一例を示すブロック図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に設定される表示領域の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第1の実施形態に係る追跡システムに含まれる追跡装置の動作の一例を示すフローチャートである。 第1の実施形態に係る追跡システムに含まれる追跡装置が閾値の変更を受け付けた際の動作の一例を示すフローチャートである。 第2の実施形態に係る追跡装置の構成の一例を示すブロック図である。 各実施形態に係る追跡装置や端末装置等のハードウェア構成の一例を示すブロック図である。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、図面中の矢印の向きは、一例を示すものであり、ブロック間の信号等の向きを限定するものではない。
(第1の実施形態)
まず、第1の実施形態に係る追跡装置について図面を参照しながら説明する。本実施形態の追跡装置は、監視カメラ等によって撮影された動画を構成する画像(画像フレームとも呼ぶ)から人物等の追跡対象を検出し、検出された追跡対象を追尾する。なお、本実施形態の追跡装置の追跡対象には特に限定を加えない。例えば、本実施形態の追跡装置は、人物のみならず、犬や猫等の動物、自動車や自転車、ロボット等の移動体、任意の物体などを追跡対象としてもよい。
(構成)
図1は、本実施形態の追跡システム1の構成の一例を示すブロック図である。追跡システム1は、追跡装置10、監視カメラ110、および端末装置120を備える。図1には、監視カメラ110や端末装置120を一つしか図示していないが、監視カメラ110や端末装置120は複数あってもよい。
監視カメラ110は、監視対象範囲を撮影可能な位置に配置される。監視カメラ110は、一般的な監視カメラの機能を有する。監視カメラ110は、可視領域に感度があるカメラであってもよいし、赤外領域に感度がある赤外線カメラであってもよい。例えば、監視カメラ110は、人の多い街頭や室内に配置される。監視カメラ110と追跡装置10の接続方式については、特に限定を加えない。例えば、監視カメラ110は、インターネットやイントラネットなどのネットワークを介して、追跡装置10に接続される。
監視カメラ110は、設定された撮影間隔で監視対象範囲を撮影し、映像データを生成する。監視カメラ110は、生成された映像データを追跡装置10に出力する。映像データは、設定された撮影間隔で撮影された複数の画像データ(画像フレームとも呼ぶ)によって構成される。監視カメラ110が追跡装置10にデータを出力するタイミングには、特に限定を加えない。例えば、監視カメラ110は、複数の画像フレームによって構成される映像データを追跡装置10に出力してもよいし、複数の画像フレームの各々を撮影された時系列順で追跡装置10に出力してもよい。
追跡装置10は、映像取得部11、映像記憶部12、追跡部13、表示情報生成部14、表示情報出力部15、および閾値更新部16を有する。例えば、追跡装置10は、サーバやクラウドに配置される。例えば、追跡装置10は、端末装置120にインストールされるアプリケーションとして提供されてもよい。
映像取得部11は、処理対象の映像データを監視カメラ110から取得する。映像取得部11は、取得した映像データを映像記憶部12に記憶させる。追跡装置10が監視カメラ110からデータを取得するタイミングには、特に限定を加えない。例えば、映像取得部11は、複数の画像フレームによって構成される映像データを監視カメラ110から取得してもよいし、複数の画像フレームの各々を撮影順で監視カメラ110から取得してもよい。なお、映像取得部11は、監視カメラ110によって生成された映像データのみならず、図示しない外部のストレージやサーバ等に保存された映像データを取得してもよい。
映像記憶部12は、監視カメラ110によって生成された映像データを記憶する。映像記憶部12に記憶された映像データを構成する画像フレームは、追跡部13によって取得され、追跡対象の追跡に用いられる。
追跡部13は、空間閾値および時間閾値を記憶する。空間閾値は、検証対象の画像フレーム(検証フレームとも呼ぶ)から検出された追跡対象に対応付けて設定される空間的な閾値である。時間閾値は、複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される画像フレームを抽出する基準である。空間閾値および時間閾値は、端末装置120を介して、ユーザによって設定される値である。空間閾値および時間閾値は、閾値更新部16によって、任意のタイミングにおいて、ユーザによって設定された空間閾値および時間閾値で更新される。例えば、空間閾値および時間閾値は、映像データを構成する全ての画像フレームに対して共通に設定されてもよいし、画像フレームごとに設定されてもよい。
空間閾値は、追跡対象の照合範囲に関する値である。例えば、照合範囲が円の場合、空間閾値は照合範囲の直径や半径に設定される。空間閾値は、検証フレームにおける追跡対象の大きさに合わせて調整される。例えば、空間閾値は、検証フレームにおける追跡対象の大きさを基準とする値に設定される。例えば、追跡対象が人物である場合、空間閾値は、人物の身長を基準とした比率に設定される。例えば、追跡対象の人物の身長に空間閾値を乗じた値の直径や半径の円が照合範囲として設定される。なお、空間閾値は、人物の身長を基準とした比率ではなく、検証フレームのピクセル数等で設定されてもよい。
時間閾値は、映像データを構成する画像フレームのうち、何フレーム前(何秒前)までの画像フレームを検証フレームと照合するのかを設定する時間的な閾値である。時間閾値は、検証フレームの時刻を基準として、追跡対象を照合する際にさかのぼる時刻の最大値に相当する。時間閾値の時刻に対応する画像フレームから、検証フレームの直前の画像フレームまでが、検証フレームの照合対象になる。例えば、時間閾値は、映像データを構成する画像フレームのうち、何フレーム前(何秒前)までの画像フレームを検証フレームと照合するのかを示すフレーム数で設定される。例えば、時間閾値が10フレームの場合、その画像フレームに対して、1、2、・・・、10フレーム前の合計10フレーム分の画像フレームが、検証フレームと照合される。なお、時間閾値は、フレーム数を時間に変換した値であってもよい。
追跡部13は、検証フレームにおいて検出された追跡対象と、検証フレームの照合対象の画像フレームにおいて検出された追跡対象とを照合することによって、追跡対象を追尾する。
追跡部13は、映像記憶部12から検証フレームを取得する。追跡部13は、取得した検証フレームから追跡対象を検出する。例えば、追跡部13は、背景差分法等の検出技術によって、検証フレームから追跡対象を検出する。例えば、追跡部13は、動きベクトル等の特徴量を用いた検出技術によって、検証フレームから追跡対象を検出してもよい。追跡部13の追跡対象は、人物や、移動する物体(移動体とも呼ぶ)である。例えば、追跡対象が人物である場合、追跡部13は、顔検出等の技術を用いて、検証フレームから追跡対象を検出する。例えば、追跡部13は、人体検出や物体検出等を用いて、検証フレームから追跡対象を検出してもよい。例えば、追跡部13は、移動体ではないものの、一定の位置において、形や模様、色等の特徴量が変化する物体を検出してもよい。例えば、追跡部13は顔認証や歩容認証等の技術を用いて、連続する検証フレームから検出される追跡対象を照合する。
追跡部13は、時間閾値に基づいて抽出される画像フレームにおいて検出された追跡対象に関して、検証フレームから検出された追跡対象と時間的および空間的に近いものを照合する。追跡部13は、それらの追跡対象の一致度が高ければ同一の追跡対象であると判定し、同一の識別番号を付与する。本実施形態において、追跡部13による追跡対象の照合方法には、特に限定を加えない。例えば、追跡部13は、追跡対象が人物である場合、顔認証や歩容認証の技術を用いて追跡対象を照合する。例えば、追跡部13は、検証フレームから検出された人物の全身、衣服の色、姿勢、および持ち物等の特徴に基づいて追跡対象を照合してもよい。例えば、追跡部13は、検証フレームにおいて検出された追跡対象に対して仮の識別番号を付与し、時間閾値に基づいて抽出された画像フレームにおいて検出された追跡対象との照合が取れた後に、検証フレームにおいて検出された追跡対象に対して正式な識別番号を付与する。追跡部13は、時間閾値に基づいて抽出された画像フレームにおいて検出されておらず、検証フレームにおいて新たに検出された追跡対象に対しては、新規の識別番号を付与する。例えば、追跡部13は、時間閾値に基づいて抽出された画像フレームにおける追跡情報に基づいて、検証フレームにおける追跡対象の位置を予測し、予測された画面上の位置の近傍に位置する追跡対象に同じ識別番号を付与する。追跡情報とは、画像フレームから検出された追跡対象に関して、追跡対象の識別番号、画像フレーム内における追跡対象の位置や大きさ、速度等が対応付けられた情報である。
追跡部13は、検証フレームから検出された追跡対象に関して、追跡対象の識別番号、画像フレーム内における追跡対象の位置や大きさ、速度等が対応付けられた追跡情報を生成する。また、追跡部13は、画像フレーム内における追跡対象の大きさに応じて、空間閾値に基づく照合範囲を追跡対象の位置に対応付けて設定する。追跡部13は、設定した照合範囲を追跡情報に追加する。追跡部13は、映像データを構成する画像フレームごとの追跡情報を表示情報生成部14に出力する。
表示情報生成部14は、映像データを構成する複数の画像フレームごとの追跡情報を追跡部13から取得する。表示情報生成部14は、取得した追跡情報を用いて、画像フレームにおいて追跡対象に照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成する。表示情報生成部14が生成する表示情報は、ユーザの参照する端末装置120に表示させるグラフィカルユーザインターフェース(GUI:Graphical User Interface)である。表示情報生成部14は、生成した表示情報を表示情報出力部15に出力する。
表示情報出力部15は、映像データを構成する画像フレームごとのGUIを表示情報生成部14から取得する。表示情報出力部15は、画像フレームごとの表示情報を端末装置120に出力する。画像フレームごとの表示情報は、ユーザが参照する画面にGUIとして表示される。
閾値更新部16は、ユーザによって設定された空間閾値および時間閾値を端末装置120から取得する。閾値更新部16は、取得した空間閾値および時間閾値で、追跡部13に記憶された空間閾値および時間閾値を更新する。例えば、閾値更新部16は映像データを構成する全ての画像フレームに対して共通に空間閾値および時間閾値を更新してもよいし、個々の画像フレームごとに空間閾値および時間閾値を更新してもよい。
図2は、端末装置120等の構成の一例を示すブロック図である。端末装置120は、表示情報取得部121、表示情報記憶部122、表示部123、および入力部124を有する。図2には、端末装置120に接続される追跡装置10、入力機器127、および表示機器130を併せて図示する。
表示情報取得部121は、映像データを構成する複数の画像フレームごとの追跡情報を追跡装置10から取得する。表示情報取得部121は、画像フレームごとの追跡情報を表示情報記憶部122に記憶させる。
表示情報記憶部122は、表示情報生成部14によって生成された表示情報を記憶する。表示情報記憶部122に記憶された表示情報は、例えばユーザの操作等に応じて、表示部123の画面にGUIとして表示される。
表示部123は、画面を有する表示機器130に接続される。表示部123は、表示情報記憶部122から表示情報を取得する。表示部123は、取得した表示情報を表示機器130の画面に表示させる。なお、端末装置120が表示機器130の機能を含んでいてもよい。
例えば、表示部123は、入力部124を介して、ユーザによる操作を受け付け、受け付けた操作内容に応じた表示情報を表示機器130の画面に表示させる。例えば、表示部123は、ユーザによって指定されたフレーム番号の画像フレームに対応する表示情報を表示機器130の画面に表示させる。例えば、表示部123は、ユーザによって指定されたフレーム番号の画像フレームを含む一連の複数の画像フレームの各々に対応する表示情報を時系列順に表示機器130の画面に表示させる。
例えば、表示部123は、予め設定された表示条件に従って、少なくとも一つの表示情報を表示機器130の画面に表示させてもよい。例えば、予め設定された表示条件とは、予め設定されたフレーム番号を含む連続した所定枚数の画像フレームに対応する複数の表示情報を時系列順に表示させるという条件である。例えば、予め設定された表示条件とは、予め設定された時刻を含む所定時間帯に生成された複数の画像フレームに対応する複数の表示情報を時系列順に表示させるという条件である。なお、表示条件は、予め設定されていれば、ここで挙げた例に限定されない。
入力部124は、ユーザによる操作を受け付ける入力機器127に接続される。例えば、入力機器127は、キーボードやタッチパネル、マウス等によって実現される。入力部124は、入力機器127を介して入力されたユーザによる操作内容を追跡装置10に出力する。また、入力部124は、映像データや画像フレーム、表示情報等の指定をユーザから受け付けた場合、指定された画像を画面に表示させる指示を表示部123に出力する。
図3は、表示機器130の画面に表示される表示情報について説明するための概念図である。表示機器130の画面には、閾値設定領域140と画像表示領域150が設定される。閾値設定領域140は、空間閾値を設定するための空間閾値設定領域141と、時間閾値を設定するための時間閾値設定領域142とを含む。閾値設定領域140には、操作画像が表示される。画像表示領域150には、画像フレームごとの追跡画像が表示される。なお、表示機器130の画面には、閾値設定領域140および画像表示領域150以外の表示領域を設定してもよい。また、閾値設定領域140および画像表示領域150の画面上における表示位置は、任意に変更できる。
図4~図6は、表示機器130の画面に設定された表示領域に表示される表示情報の一例を示す概念図である。図4~図6の各々は、フレーム番号t、t+10、およびt+20の各々に関する検証フレームが画像表示領域150に表示される例である。実際には、検証フレーム間の画像フレームに対応する表示情報が時系列で連続して表示領域に表示されるが、以下においては検証フレームに対応する画像フレームが表示領域に表示される例を挙げる。
空間閾値設定領域141には、空間閾値を設定するためのスクロールバーが表示される。空間閾値設定領域141に表示されるスクロールバーには、空間閾値の最小値(左端)と最大値(右端)が設定される。なお、空間閾値設定領域141には、横方向のスクロールバーではなく、縦方向のスクロールバーが表示されてもよい。また、空間閾値設定領域141には、スクロールバーではなく、空間閾値を設定するためのスピンボタンやコンボボックス等を表示させてもよい。また、空間閾値設定領域141には、空間閾値を設定するためのスクロールバー等の要素ではない要素が表示されてもよい。
図4~図6の例では、画像フレームにおける追跡対象Tの身長を基準(1)とし、その基準に対する割合が空間閾値として設定される。図4~図6の例では、空間閾値は、最小値が0.01であり、最大値が2である。空間閾値の最小値および最大値は、固定値であってもよいし、ユーザの入力に応じて変更されてもよい。最小値(左端)と最大値(右端)の範囲内において、ノブ161を左右に移動させると、空間閾値が変更される。図4~図6の例では、スクロールバー上のノブ161は1の位置にあり、設定中の空間閾値(1)がノブ161の下に表示される。例えば、選択された状態のノブ161が左右に動かされたり、スクロールバー上のノブ161の左右の位置が選択されたりすると、ノブ161が移動する。ユーザは、ノブ161の位置を操作することによって空間閾値を設定できる。
時間閾値設定領域142には、時間閾値を設定するためのスクロールバーが表示される。時間閾値設定領域142に表示されるスクロールバーには、時間閾値の最小値(左端)と最大値(右端)が設定される。なお、時間閾値設定領域142には、横方向のスクロールバーではなく、縦方向のスクロールバーが表示されてもよい。また、時間閾値設定領域142には、スクロールバーではなく、時間閾値を設定するためのスピンボタンやコンボボックス等を表示させてもよい。また、時間閾値設定領域142には、時間閾値を設定するためのスクロールバー等の要素ではない要素が表示されてもよい。
図4~図6の例では、時間閾値は、最小値が1であり、最大値が100である。時間閾値の最小値および最大値は、固定値であってもよいし、ユーザの入力に応じて変更されてもよい。最小値(左端)と最大値(右端)の範囲内において、ノブ162を左右に移動させると、時間閾値が変更される。図4~図6の例では、スクロールバー上のノブ162は10の位置にあり、設定中の時間閾値(10)がノブ162の下に表示される。例えば、選択された状態のノブ162が左右に動かされたり、スクロールバー上のノブ162の左右の位置が選択されたりすると、ノブ162が移動する。ユーザは、ノブ162の位置を操作することによって時間閾値を設定できる。
画像表示領域150には、監視カメラ110によって生成された映像データを構成する画像フレームに照合範囲等が重ねられた追跡画像が表示される。図4~図6は、識別番号1が付与された追跡対象Tが、矢印の向きに向けて、いくつかの柱のある空間において移動する例である。識別番号は、追跡対象の位置に対応付けて表示されてもよいし、表示されなくてもよい。破線の人型は、追跡対象Tの移動に伴う軌跡について説明するためのものであり、追跡画像においては表示されない。画像フレームにおける追跡対象Tの周囲には、追跡対象Tを中心として、空間閾値を直径とする円が照合範囲として設定される。画像表示領域150において、追跡対象Tの周囲に設定される照合範囲を示す円は、監視カメラ110の視座や画角等に応じた形状で表示される。なお、照合範囲は、円ではなく、楕円や矩形、正方形、正三角形、正五角形など、任意の形状に変形可能である。図4~図6のように、照合範囲の大きさは、画像フレームにおける追跡対象Tの大きさに合わせて変更される。
図7は、複数の追跡対象(追跡対象A、B、C、D)が検出された画像フレームの追跡画像が画像表示領域150に表示される例である。図7の例では、空間閾値が0.5に設定され、時間閾値が10に設定される。図8は、図7の例に関して、空間閾値を0.5から1に変更した例である。空間閾値を0.5から1に変更すると、追跡対象の周囲に設定される照合範囲の大きさが変更される。
図9は、図7の例に関して、追跡対象Aの位置にポインター165を重ねて追跡対象Aを選択し、追跡対象Aの空間閾値を0.5から2に変更する変形例である。図9の例の場合、追跡対象A以外の追跡対象(B、C、D)の照合範囲は変更されずに0.5のままである。なお、選択された追跡対象の空間閾値だけ不変とし、選択されていない追跡対象の空間閾値を空間閾値設定領域で設定された値に変更するようにしてもよい。
図10は、図7の例に関して、追跡対象Aの位置にポインター165を重ねて追跡対象Aを選択し、追跡対象A以外の追跡対象(B、C、D)の照合範囲を非表示とし、追跡対象Aの空間閾値を0.5から2に変更する変形例である。図10のように構成させれば、特定の追跡対象に焦点を当てて追跡できる。図9や図10のように、画像表示領域150において追跡対象を選択するように構成する場合、照合範囲等の変化は、端末装置120の側で処理するようにしてもよいし、追跡装置10の側で処理するようにしてもよい。
図11~図12は、追跡対象Eが柱の向こう側を通過して移動する例について説明するための概念図である。図11の画像表示領域150には、フレーム番号tの画像フレームの追跡画像が表示される。フレーム番号tの画像フレームの追跡画像においては、追跡対象Eに識別番号31が付与されている。図12の画像表示領域150には、フレーム番号tの画像フレームに後続するフレーム番号t+10の画像フレームの追跡画像が表示される。フレーム番号t+10の画像フレームにおいては、フレーム番号tの画像フレームとは異なる識別番号32が追跡対象Eに付与されている。このように、異なる画像フレームにおいて、同じ追跡対象であるのに異なる識別番号が付与される一因として、空間的な閾値である空間閾値が小さすぎることがあげられる。空間閾値が小さすぎると、連続する画像フレーム間において照合範囲が重ならず、同じ追跡対象に異なる識別番号が付与されやすくなる。
図13~図14は、図11~図12の例において、ユーザの設定に応じて空間閾値を調整する例について説明するための概念図である。図11~図12の例においては、空間閾値が1に設定されている。それに対し、図13~図14の例においては、空間閾値が2に設定されている。
図13の画像表示領域150には、フレーム番号tの画像フレームの追跡画像が表示される。フレーム番号tの画像フレームの追跡画像においては、追跡対象Eに識別番号31が付与されている。図14の画像表示領域150には、フレーム番号tの画像フレームに後続するフレーム番号t+10の画像フレームの追跡画像が表示される。フレーム番号t+10の画像フレームにおいては、追跡対象Eには、フレーム番号tの画像フレームと同じ識別番号31が付与されている。
このように、一連の画像フレームにおいて、同じ追跡対象であるのに異なる識別番号が付与されるような場合には、空間的な閾値である空間閾値を大きくすればよい。空間閾値を大きくすれば、連続する画像フレーム間で照合範囲が重なりやすくなり、追跡対象の動線をつなげやすくなるため、一連の画像フレームにおいて、同じ追跡対象に異なる識別番号が付与されにくくなる。空間閾値を大きくしすぎると、連続する画像フレーム間において、異なる追跡対象同士の照合範囲が重なり合い、識別番号が入れ替わりやすくなる。そのため、一連の画像フレームにおいて同じ追跡対象に異なる識別番号が付与されることを低減するためには、本実施形態のようにユーザの設定に応じて、空間閾値を最適な値に調整できることが効果的である。
図15~図16は、追跡対象Fと追跡対象Gがすれ違う例について説明するための概念図である。図15の画像表示領域150には、フレーム番号tの画像フレームの追跡画像が表示される。フレーム番号tの画像フレームの追跡画像においては、追跡対象Fに識別番号41が付与され、追跡対象Gに識別番号42が付与されている。図16の画像表示領域150には、フレーム番号t+10の画像フレームに後続するフレーム番号t+20の画像フレームの追跡画像が表示される。フレーム番号t+20の画像フレームの追跡画像においては、追跡対象Fに識別番号42が付与され、追跡対象Gに識別番号41が付与されている。図15~図16の例では、フレーム番号t+10の画像フレームとフレーム番号t+20の画像フレームの間における動線の推測において、誤りが生じたものと推定される。このように、一連の画像フレームにおいて、異なる追跡対象がすれ違った際に識別番号が入れ替わる一因として、時間的な閾値である時間閾値が小さすぎることがあげられる。時間閾値が小さすぎると、追跡対象の照合に用いられる画像フレームの数が足りずに追跡精度が落ちるため、追跡対象がすれ違った際に識別番号が入れ替わりやすくなる。
図17~図18は、図15~図16の例において、ユーザの設定に応じて時間閾値を調整する例について説明するための概念図である。図15~図16の例においては、時間閾値が10に設定されている。それに対し、図17~図18の例においては、時間閾値が20に設定されている。
図17の画像表示領域150には、フレーム番号tの画像フレームの追跡画像が表示される。フレーム番号tの画像フレームの追跡画像においては、追跡対象Fに識別番号41が付与され、追跡対象Gに識別番号42が付与されている。図18の画像表示領域150には、フレーム番号tの画像フレームに後続するフレーム番号t+20の画像フレームの追跡画像が表示される。フレーム番号t+20の画像フレームにおいての追跡画像は、追跡対象Fに識別番号41が付与され、追跡対象Gに識別番号42が付与されている。
このように、一連の画像フレームにおいて、異なる追跡対象がすれ違うことによって識別番号が入れ替わるような場合には、時間的な閾値である時間閾値を大きくすればよい。時間閾値を大きくすれば、追跡対象の追跡に用いられる画像フレームの数が増えるため、追跡対象の動線を推定しやすくなり、異なる追跡対象の間で識別番号が入れ替わりにくくなる。時間閾値を大きくしすぎると、追跡対象の照合にかかる時間が長くなる。そのため、異なる追跡対象がすれ違うことによって識別番号が入れ替わることを軽減するためには、本実施形態のようにユーザの設定に応じて、時間閾値を最適な値に調整できることが効果的である。
図19は、検証フレームに対して時間閾値分だけ過去の画像フレーム(比較対象の画像フレームとも呼ぶ)と、検証フレームとを、画像表示領域150に並べて表示する例である。図19の例では、検証フレームよりも10フレーム前の画像フレーム(フレーム番号t-10)と、検証フレーム(フレーム番号t)とを画像表示領域150に並べて表示させる。図19の例では、検証フレームと、照合対象の画像フレームとを画像表示領域150に並べて表示させるボタン145を、閾値設定領域140に表示させ、ボタン145に対するユーザの操作に応じて、画像表示領域150の表示を切り替える。なお、ボタン145は、表示機器130の画面上であれば、いずれの位置に表示されてもよい。また、画像表示領域150の表示を切り替える操作を受け付けるのは、ボタン145ではない部分であってもよく、キーボードのファンクションキーなどであってもよい。
なお、検証フレームと、比較対象の画像フレームとは、横ではなく、縦や斜めに並べて画像表示領域150に表示されてもよい。また、検証フレームと、比較対象の画像フレームとは、視覚的に差異を認識できる状態で、重ねて画像表示領域150に表示されてもよい。例えば、検証フレームに対して比較対象の画像フレームがぼやけて表示されるように、それらのフレームを重ねて画像表示領域150に表示させてもよい。また、時間閾値によって設定される時間内の複数の時刻における複数の画像フレームが、検証フレームと並べて画像表示領域150に表示されてもよい。図19の画像表示領域150のように表示すれば、画像表示領域150に並べて表示された画像をユーザが視覚的に比較できるので、ユーザによる時間閾値の設定の補助になる。
(動作)
次に、本実施形態の追跡装置10の動作について図面を参照しながら説明する。ここでは、検証フレームごとに表示情報を生成する処理(表示情報生成処理)と、ユーザの操作に応じて閾値を更新する処理(閾値更新処理)について説明する。
〔表示情報生成処理〕
図20は、追跡装置10による表示情報生成処理について説明するためのフローチャートである。図20のフローチャートに沿った処理においては、追跡装置10を動作の主体とする。
図20において、まず、追跡装置10は、検証フレームを取得する(ステップS111)。
次に、追跡装置10は、取得した検証フレームにおいて追跡対象の有無を検証する(ステップS112)。検証フレームにおいて追跡対象を検出した場合(ステップS112でYes)、追跡装置10は、検出された追跡対象を識別する(ステップS113)。一方、検証フレームにおいて追跡対象を検出しなかった場合(ステップS112でNo)、ステップS117に進む。
ステップS113の次に、追跡装置10は、識別された追跡対象の追跡情報を生成する(ステップS114)。
次に、追跡装置10は、検証フレームに対応する表示情報を生成する(ステップS115)。
次に、追跡装置10は、検証フレームに対応する表示情報を端末装置120に出力する(ステップS116)。
ここで、次の検証フレームを取得した場合(ステップS117でYes)、ステップS112に戻る。一方、次の検証フレームを取得していない場合(ステップS117でNo)、図20のフローチャートに沿った処理は終了である。図20のフローチャートに沿った処理が終了すると、追跡装置10は、次に検証フレームを取得するまで待機状態になる。
〔閾値更新処理〕
図21は、追跡装置10による閾値変更処理について説明するためのフローチャートである。図21のフローチャートに沿った処理においては、追跡装置10を動作の主体とする。以下の閾値変更処理は、映像データを構成する複数の画像フレームに関して共通に行われてもよいし、画像フレームごとに個別に行われてもよい。
図21において、まず、追跡装置10は、端末装置120を介して、ユーザによる閾値の変更を受け付ける(ステップS121)。なお、ステップS121は、ユーザによる閾値に対する操作を受け付けるステップであり、閾値が変更されない場合もありうる。
空間閾値の変更がある場合(ステップS122においてYes)、追跡装置10は、ユーザによって設定された値で空間閾値を更新する(ステップS123)。空間閾値の変更がない場合(ステップS122においてNo)、ステップS124に進む。
時間閾値の変更がある場合(ステップS124においてYes)、追跡装置10は、ユーザによって設定された値で時間閾値を更新する(ステップS125)。ステップS125において時間閾値を更新すると、図21のフローチャートに沿った処理は終了である。一方、時間閾値の変更がない場合(ステップS124においてNo)、図21のフローチャートに沿った処理は終了である。図21のフローチャートに沿った処理が終了すると、追跡装置10は、次の閾値の変更を受け付けるまで待機状態になる。
以上のように、本実施形態の追跡システムは、追跡装置、監視カメラ、および端末装置を備える。監視カメラは、監視対象範囲を撮影して映像データを生成する。端末装置は、追跡装置によって生成される表示情報を表示させる画面を有する表示機器に接続される。
追跡装置は、映像取得部、映像記憶部、追跡部、表示情報生成部、表示情報出力部、および閾値更新部を有する。映像取得部は、映像データを取得する。映像記憶部は、映像取得部によって取得された映像データを記憶する。追跡部は、複数の画像フレームによって構成される映像データから検証対象の画像フレームを抽出する基準である時間閾値に基づいて画像フレームを抽出する。追跡部は、抽出された画像フレームにおいて追跡対象を検出する。追跡部は、追跡対象の照合範囲の基準である空間閾値に基づいて追跡対象に対して照合範囲を設定する。表示情報生成部は、画像フレームにおいて追跡対象に対して照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成する。表示情報出力部は、表示情報生成部によって生成された表示情報を端末装置に出力する。閾値更新部は、表示情報を参照するユーザによって設定された時間閾値および空間閾値の値を端末装置から取得する。閾値更新部は、ユーザによって設定された値で空間閾値および時間閾値を更新する。
本実施形態の一態様において、空間閾値は、画像フレームにおける追跡対象の大きさを基準とした割合に相当する値である。本実施形態の一態様において、時間閾値は、映像データを構成する画像フレームのうち、検証フレームの何フレーム前までの画像フレームを検証フレームとの照合に用いるのかを示すフレーム数に相当する値である。
本実施形態の一態様において、端末装置は、画像表示領域と閾値設定領域とを表示機器の画面に設定する。画像表示領域には、画像フレームにおいて追跡対象に照合範囲を対応付けた追跡画像が表示される。閾値設定領域には、空間閾値を設定するための空間閾値設定領域と、時間閾値を設定するための時間閾値設定領域とを含む操作画像が表示される。
例えば、端末装置は、空間閾値を設定するための第1スクロールバーを空間閾値設定領域に表示させ、時間閾値を設定するための第2スクロールバーを時間閾値設定領域に表示させる。端末装置は、空間閾値設定領域における第1スクロールバーに対する操作と、時間閾値設定領域における第2スクロールバーに対する操作とを受け付ける。端末装置は、第1スクロールバーおよび第2スクロールバーに対する操作に応じて設定された空間閾値および時間閾値を追跡装置に出力する。例えば、端末装置は、空間閾値設定領域および時間閾値設定領域における空間閾値および時間閾値の設定に基づいて更新された表示情報を表示機器の画面に表示させる。
例えば、端末装置は、検証フレームに対して時間閾値の分だけ過去の画像フレームと、検証フレームとを、画像表示領域に並べて表示させるボタンを、表示機器の画面に表示させる。端末装置は、ボタンに対する操作に応じて、検証フレームに対して時間閾値の分だけ過去の画像フレームと、検証フレームとを、画像表示領域に並べて表示させる。
追跡対象を照合する際の適切な空間的/時間的な閾値が、カメラの画角や、フレームレート、障害物の有無、混雑度等のシーンに依存する。本実施形態では、シーンに応じて、空間的/時間的な閾値をユーザが簡易に調整できるGUIを提供する。そのため、本実施形態によれば、ユーザの設定に応じて空間的/時間的な閾値を適切な値に変更できるので、ユーザの要求に合わせて追跡対象を追尾することが可能になる。
(第2の実施形態)
次に、第2の実施形態に係る追跡装置について図面を参照しながら説明する。本実施形態の追跡装置は、第1の実施形態の追跡装置10を簡略化した構成である。
図22は、本実施形態の追跡装置20の構成の一例を示すブロック図である。追跡装置20は、追跡部23、表示情報生成部24、および閾値更新部26を有する。
追跡部23は、複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される画像フレームを抽出する基準である時間閾値に基づいて画像フレームを抽出する。追跡部23は、抽出された画像フレームにおいて追跡対象を検出する。追跡部23は、追跡対象の照合範囲の基準である空間閾値に基づいて追跡対象に対して照合範囲を設定する。
表示情報生成部24は、画像フレームにおいて追跡対象に対して照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成する。
閾値更新部26は、表示情報を参照するユーザによって設定された時間閾値および空間閾値の値を取得する。閾値更新部26は、ユーザによって設定された値で空間閾値および時間閾値を更新する。
以上のように、本実施形態の追跡装置は、追跡部、表示情報生成部、および閾値更新部を備える。追跡部は、複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される画像フレームを抽出する基準である時間閾値に基づいて画像フレームを抽出する。追跡部は、抽出された画像フレームにおいて追跡対象を検出する。追跡部は、追跡対象の照合範囲の基準である空間閾値に基づいて追跡対象に対して照合範囲を設定する。表示情報生成部は、画像フレームにおいて追跡対象に対して照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成する。閾値更新部は、表示情報を参照するユーザによって設定された時間閾値および空間閾値の値を取得する。閾値更新部は、ユーザによって設定された値で空間閾値および時間閾値を更新する。
本実施形態によれば、ユーザの設定に応じて空間閾値および時間閾値を適切な値に変更できるので、ユーザの要求に合わせて追跡対象を追尾することが可能になる。
(ハードウェア)
ここで、本発明の各実施形態の追跡装置や端末装置を実現するハードウェア構成について、図23のコンピュータ90を一例として挙げて説明する。なお、図23のコンピュータ90は、各実施形態の追跡装置や端末装置を実現するための構成例であって、本発明の範囲を限定するものではない。
図23のように、コンピュータ90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96を備える。図23においては、インターフェースをI/F(Interface)と略して表記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96は、バス98を介して互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態の追跡装置や端末装置による処理を実行する。
主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。
補助記憶装置93は、種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
入出力インターフェース95は、コンピュータ90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
コンピュータ90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
また、コンピュータ90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介してコンピュータ90に接続すればよい。
以上が、各実施形態の追跡装置や端末装置を可能とするためのハードウェア構成の一例である。なお、図23のハードウェア構成は、各実施形態の追跡装置や端末装置を実現するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態の追跡装置や端末装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録した記録媒体も本発明の範囲に含まれる。記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。また、記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体が記録媒体に相当する。
各実施形態の追跡装置や端末装置の構成要素は、任意に組み合わせることができる。また、各実施形態の追跡装置や端末装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 追跡システム
10、20 追跡装置
11 映像取得部
12 映像記憶部
13、23 追跡部
14、24 表示情報生成部
15 表示情報出力部
16、26 閾値更新部
110 監視カメラ
120 端末装置
121 表示情報取得部
122 表示情報記憶部
123 表示部
124 入力部
127 入力機器
130 表示機器

Claims (10)

  1. 複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される前記画像フレームを抽出する基準である時間閾値に基づいて前記画像フレームを抽出し、抽出された前記画像フレームにおいて追跡対象を検出し、前記追跡対象の照合範囲の基準である空間閾値に基づいて前記追跡対象に対して前記照合範囲を設定する追跡手段と、
    前記画像フレームにおいて前記追跡対象に前記照合範囲を対応付けた追跡画像と、前記時間閾値および前記空間閾値を設定するための操作画像とを含む表示情報を生成する画像生成手段と、
    前記表示情報を参照するユーザによって設定された前記時間閾値および前記空間閾値の値を取得し、前記ユーザによって設定された値で前記空間閾値および前記時間閾値を更新する閾値更新手段と、を備える追跡装置。
  2. 前記空間閾値は、
    前記画像フレームにおける前記追跡対象の大きさを基準とした割合に相当する値である請求項1に記載の追跡装置。
  3. 前記時間閾値は、
    前記映像データを構成する前記画像フレームのうち、前記検証フレームの何フレーム前までの前記画像フレームを前記検証フレームとの照合に用いるのかを示すフレーム数に相当する値である請求項1または2に記載の追跡装置。
  4. 前記映像データを取得する映像取得手段と、
    前記映像取得手段によって取得された前記映像データを記憶する映像記憶手段と、
    前記画像生成手段によって生成された前記表示情報を出力する画像出力手段と、を備える請求項1乃至3のいずれか一項に記載の追跡装置。
  5. 請求項1乃至4のいずれか一項に記載の追跡装置と、
    監視対象範囲を撮影して前記映像データを生成する監視カメラと、
    前記追跡装置によって生成される前記表示情報を表示させる画面を有する表示機器に接続される端末装置と、を備える追跡システム。
  6. 前記端末装置は、
    前記画像フレームにおいて前記追跡対象に前記照合範囲を対応付けた前記追跡画像が表示される画像表示領域と、
    前記空間閾値を設定するための空間閾値設定領域と、前記時間閾値を設定するための時間閾値設定領域とを含む前記操作画像が表示される閾値設定領域とを前記表示機器の画面に設定する請求項5に記載の追跡システム。
  7. 前記端末装置は、
    前記空間閾値を設定するための第1スクロールバーを前記空間閾値設定領域に表示させ、
    前記時間閾値を設定するための第2スクロールバーを前記時間閾値設定領域に表示させ、
    前記空間閾値設定領域における前記第1スクロールバーに対する操作と、前記時間閾値設定領域における前記第2スクロールバーに対する操作とを受け付け、
    前記第1スクロールバーおよび前記第2スクロールバーに対する操作に応じて設定された前記空間閾値および前記時間閾値を前記追跡装置に出力し、
    前記空間閾値設定領域および前記時間閾値設定領域における前記空間閾値および前記時間閾値の設定に基づいて更新された前記表示情報を前記表示機器の画面に表示させる請求項6に記載の追跡システム。
  8. コンピュータが、
    複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される前記画像フレームを抽出する基準である時間閾値に基づいて前記画像フレームを抽出し、
    抽出された前記画像フレームにおいて追跡対象を検出し、
    前記追跡対象の照合範囲の基準である空間閾値に基づいて前記追跡対象に対して前記照合範囲を設定し、
    前記画像フレームにおいて前記追跡対象に前記照合範囲を対応付けた追跡画像と、前記時間閾値および前記空間閾値を設定するための操作画像とを含む表示情報を生成し、
    前記表示情報を参照するユーザによって設定された前記時間閾値および前記空間閾値の値を取得し、
    前記ユーザによって設定された値で前記空間閾値および前記時間閾値を更新する追跡方法。
  9. 複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される前記画像フレームを抽出する基準である時間閾値に基づいて前記画像フレームを抽出する処理と、
    抽出された前記画像フレームにおいて追跡対象を検出する処理と、
    前記追跡対象の照合範囲の基準である空間閾値に基づいて前記追跡対象に対して前記照合範囲を設定する処理と、
    前記画像フレームにおいて前記追跡対象に前記照合範囲を対応付けた追跡画像と、前記時間閾値および前記空間閾値を設定するための操作画像とを含む表示情報を生成する処理と、
    前記表示情報を参照するユーザによって設定された前記時間閾値および前記空間閾値の値を取得する処理と、
    前記ユーザによって設定された値で前記空間閾値および前記時間閾値を更新する処理と、をコンピュータに実行させるプログラ
  10. 複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される前記画像フレームを抽出し、抽出された前記画像フレームにおいて追跡対象を検出し、前記追跡対象の照合範囲の基準である空間閾値に基づいて前記追跡対象に対して前記照合範囲を設定する追跡手段と、
    前記画像フレームにおいて前記追跡対象に前記照合範囲を対応付けた追跡画像と、前記空間閾値を設定するための操作画像とを含む表示情報を生成する画像生成手段と、
    前記表示情報を参照するユーザの操作により前記空間閾値を更新する閾値更新手段と、を備える追跡装置。
JP2022529147A 2020-06-01 2020-06-01 追跡装置、追跡システム、追跡方法、およびプログラム Active JP7332047B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/021602 WO2021245747A1 (ja) 2020-06-01 2020-06-01 追跡装置、追跡方法、および記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021245747A1 JPWO2021245747A1 (ja) 2021-12-09
JPWO2021245747A5 JPWO2021245747A5 (ja) 2023-02-15
JP7332047B2 true JP7332047B2 (ja) 2023-08-23

Family

ID=78830955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022529147A Active JP7332047B2 (ja) 2020-06-01 2020-06-01 追跡装置、追跡システム、追跡方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230215015A1 (ja)
JP (1) JP7332047B2 (ja)
WO (1) WO2021245747A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059038A (ja) 2004-08-18 2006-03-02 Nomura Research Institute Ltd フェイスアップ度評価システム及び評価プログラム
JP2008259161A (ja) 2007-03-13 2008-10-23 Victor Co Of Japan Ltd 目標追尾装置
JP2010257451A (ja) 2009-03-31 2010-11-11 Sogo Keibi Hosho Co Ltd 人物検索装置、人物検索方法、及び人物検索プログラム
WO2013108686A1 (ja) 2012-01-17 2013-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2015098442A1 (ja) 2013-12-26 2015-07-02 株式会社日立国際電気 映像検索システム及び映像検索方法
JP2016201758A (ja) 2015-04-14 2016-12-01 パナソニックIpマネジメント株式会社 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
JP2018517984A (ja) 2015-06-15 2018-07-05 トムソン ライセンシングThomson Licensing 画像領域を選択して追跡することによるビデオ・ズームのための装置および方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059038A (ja) 2004-08-18 2006-03-02 Nomura Research Institute Ltd フェイスアップ度評価システム及び評価プログラム
JP2008259161A (ja) 2007-03-13 2008-10-23 Victor Co Of Japan Ltd 目標追尾装置
JP2010257451A (ja) 2009-03-31 2010-11-11 Sogo Keibi Hosho Co Ltd 人物検索装置、人物検索方法、及び人物検索プログラム
WO2013108686A1 (ja) 2012-01-17 2013-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2015098442A1 (ja) 2013-12-26 2015-07-02 株式会社日立国際電気 映像検索システム及び映像検索方法
JP2016201758A (ja) 2015-04-14 2016-12-01 パナソニックIpマネジメント株式会社 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
JP2018517984A (ja) 2015-06-15 2018-07-05 トムソン ライセンシングThomson Licensing 画像領域を選択して追跡することによるビデオ・ズームのための装置および方法

Also Published As

Publication number Publication date
US20230215015A1 (en) 2023-07-06
WO2021245747A1 (ja) 2021-12-09
JPWO2021245747A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
CN112703533B (zh) 对象跟踪
JP6806188B2 (ja) 情報処理システム、情報処理方法及びプログラム
RU2670429C1 (ru) Системы и способы отслеживания движущихся объектов на видеоизображении
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US20180061065A1 (en) Information processing apparatus, method thereof, and computer-readable storage medium
JP6210234B2 (ja) 画像処理システム、画像処理方法及びプログラム
US9589192B2 (en) Information processing system, information processing method, and program
CN108198199B (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
US9761012B2 (en) Object tracking device, object tracking method, and computer-readable medium
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9934576B2 (en) Image processing system, image processing method, and recording medium
KR102410268B1 (ko) 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
US9396538B2 (en) Image processing system, image processing method, and program
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
JP2006259847A (ja) 自動追尾装置及び自動追尾方法
US11363241B2 (en) Surveillance apparatus, surveillance method, and storage medium
JP7332047B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム
RU2701092C1 (ru) Система и способ сопровождения движущихся объектов
JP6819689B2 (ja) 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体
JP2017063402A5 (ja)
JP7359306B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム
JP5416421B2 (ja) 監視映像検索装置、監視映像検索プログラム及び監視映像検索方法
US20230386218A1 (en) Information processing apparatus, control method of information processing apparatus, and program recording medium
EP3016080A1 (en) Calibration of metadata event rules
JP2023161440A (ja) 映像処理装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R151 Written notification of patent or utility model registration

Ref document number: 7332047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151