JP2024026447A - 物体追跡装置、物体追跡方法、およびプログラム - Google Patents
物体追跡装置、物体追跡方法、およびプログラム Download PDFInfo
- Publication number
- JP2024026447A JP2024026447A JP2023215530A JP2023215530A JP2024026447A JP 2024026447 A JP2024026447 A JP 2024026447A JP 2023215530 A JP2023215530 A JP 2023215530A JP 2023215530 A JP2023215530 A JP 2023215530A JP 2024026447 A JP2024026447 A JP 2024026447A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging device
- target area
- processing target
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 92
- 238000003384 imaging method Methods 0.000 claims abstract description 172
- 230000008569 process Effects 0.000 claims description 69
- 230000007246 mechanism Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Alarm Systems (AREA)
Abstract
【課題】高解像度の画像を使って物体追跡を行うときに必要なリソースを削減する。【解決手段】物体追跡装置は、表示出力手段と、取得手段と、受付手段と、制御手段とを備える。表示出力手段は、撮像装置によって生成された画像をディスプレイに表示させる。取得手段は、画像の一部の領域である処理対象領域の範囲を取得する。受付手段は、ディスプレイに表示された画像上の位置を指定する要求を受け付ける。制御手段は、画像上の位置と、処理対象領域の範囲とに基づいて、撮像装置の撮像範囲を制御する。【選択図】図2
Description
本発明は、画像を用いて特定の物体を検出および追跡する技術に関する。
画像内の特定の物体を追跡する技術の一例が、例えば、下記特許文献1乃至3に開示されている。下記特許文献1には、追尾対象の被写体を含む一部領域を切り出して切り出し動画として加工する際に、マニュアル(ユーザ操作)あるいは自動で当該被写体を追尾する技術が開示されている。また、下記特許文献2には、ショベルに取り付けられた撮像装置の画像の全領域を処理して人物がいる可能性の高い部分領域を特定し、当該部分領域を更に処理して当該領域に人物がいるか否かを判定する技術が開示されている。また、下記特許文献3には、パン動作及びチルト動作によって撮像方向を変更可能な撮像部により生成された画像から動体を検出し、画像の中央付近に動体が位置するようにパン動作及びチルト制御を行う技術が開示されている。
高性能な撮像装置は、4Kまたは8Kといった非常に高い解像度で画像を生成することができる。高解像度の画像においては、データ容量が膨大となる。そのため、高解像度の画像を処理する場合には、画像処理を行うマシンに要求されるリソースが大きくなる。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、高解像度の画像を使って物体追跡を行うときに必要なリソースを削減する技術を提供することである。
本開示におけるプログラムは、
撮像装置によって生成された画像をディスプレイに表示させる処理と、
前記画像の一部の領域である処理対象領域の範囲を取得する処理と、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付ける処理と、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する処理と、
をコンピュータに実行させる。
撮像装置によって生成された画像をディスプレイに表示させる処理と、
前記画像の一部の領域である処理対象領域の範囲を取得する処理と、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付ける処理と、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する処理と、
をコンピュータに実行させる。
本開示における物体追跡装置は、
撮像装置によって生成された画像をディスプレイに表示させる表示出力手段と、
前記画像の一部の領域である処理対象領域の範囲を取得する取得手段と、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付ける受付手段と、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する制御手段と、
を備える。
撮像装置によって生成された画像をディスプレイに表示させる表示出力手段と、
前記画像の一部の領域である処理対象領域の範囲を取得する取得手段と、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付ける受付手段と、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する制御手段と、
を備える。
本開示における物体追跡方法は、
コンピュータが、
撮像装置によって生成された画像をディスプレイに表示させ、
前記画像の一部の領域である処理対象領域の範囲を取得し、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付け、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する、
ことを含む。
コンピュータが、
撮像装置によって生成された画像をディスプレイに表示させ、
前記画像の一部の領域である処理対象領域の範囲を取得し、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付け、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する、
ことを含む。
本発明によれば、高解像度の画像を使って物体追跡を行うときに必要なリソースを削減することができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[発明の概要]
図1を用いて、本発明の概要を説明する。図1は、本発明に係る物体追跡装置10が実行する処理の概要を説明するための図である。図1の例において、物体追跡装置10は、図示しないネットワークを介して、撮像装置20およびユーザ端末30と通信可能に接続されている。撮像装置20は、例えば、街中や建物内に設置された監視カメラ等である。ユーザ端末30は、撮像装置20により生成された画像の確認業務を行う人物(以下、「ユーザ」とも表記)が利用する端末である。
図1を用いて、本発明の概要を説明する。図1は、本発明に係る物体追跡装置10が実行する処理の概要を説明するための図である。図1の例において、物体追跡装置10は、図示しないネットワークを介して、撮像装置20およびユーザ端末30と通信可能に接続されている。撮像装置20は、例えば、街中や建物内に設置された監視カメラ等である。ユーザ端末30は、撮像装置20により生成された画像の確認業務を行う人物(以下、「ユーザ」とも表記)が利用する端末である。
物体追跡装置10は、追跡対象とする物体を特定する情報(以下、「対象物特定情報」とも表記)の取得に応じて、その対象物特定情報によって特定される物体を撮像装置20から取得される画像上で追跡する画像処理を行う。物体追跡装置10は、既知の物体追跡アルゴリズムを使って、撮像装置20から取得される複数の画像(連続する2以上のフレーム画像)間で特定の物体を追跡する。
ここで、物体追跡装置10は、図1に示されるように、撮像装置20から取得される画像の全領域AEではなく、当該画像の部分領域である処理対象領域APを画像処理の対象とする。つまり、物体追跡装置10は、撮像装置20から取得した画像の一部である処理対象領域APを解析することによって、追跡対象の物体を検出して追跡する。そして、この画像処理の結果は、撮像装置20から取得した画像と共に、ユーザ端末30のディスプレイ上に出力される。
なお、追跡対象の物体が処理対象領域APの外側に移動してしまうと、物体追跡装置10は、その物体を追跡できなくなってしまう。そこで、物体追跡装置10は、対象物特定情報により特定される物体が処理対象領域APに含まれるように、追跡対象の物体の位置(画像座標系での位置)を用いて撮像装置20の撮像範囲を制御する。なお、物体追跡装置10は、撮像装置20のズーム率、撮像装置20の向き、または、撮像装置20の位置を制御する機構(図示せず)の動作を制御信号によって制御することによって、その撮像装置20の撮像範囲を変えることができる。
<作用・効果>
上述したように、本発明では、追跡対象の物体を特定する情報(対象物特定情報)が取得されると、その対象物特定情報により特定される物体を追跡する画像処理が実行される。この画像処理は、撮像装置20から取得した画像の一部である処理対象領域APに対して実行される。画像処理の対象とする領域を画像の一部の領域に制限することによって、画像処理にかかる演算コストを削減することができる。そして、演算コストが削減されることによって、画像処理用のコンピュータの性能が低い場合であっても、高解像度の画像を少ない遅延で(或いは、遅延なく)処理することができるようになる。
上述したように、本発明では、追跡対象の物体を特定する情報(対象物特定情報)が取得されると、その対象物特定情報により特定される物体を追跡する画像処理が実行される。この画像処理は、撮像装置20から取得した画像の一部である処理対象領域APに対して実行される。画像処理の対象とする領域を画像の一部の領域に制限することによって、画像処理にかかる演算コストを削減することができる。そして、演算コストが削減されることによって、画像処理用のコンピュータの性能が低い場合であっても、高解像度の画像を少ない遅延で(或いは、遅延なく)処理することができるようになる。
但し、画像処理の対象とする領域を制限した場合、画像の中での物体の追跡可能範囲が小さくなるという問題が生じる。そこで、本発明では、追跡対象の物体が処理対象領域APに含まれるように、撮像装置20のズーム率、向き、または位置などが制御される。これにより、物体の追跡可能範囲が実質的に拡張される。つまり、本発明によれば、物体の追跡可能範囲に対する影響を抑えつつ、画像処理にかかる演算コストを削減する効果が得られる。
[第1実施形態]
<機能構成例>
図2は、第1実施形態における物体追跡装置10の機能構成例を示す図である。図2に示されるように、物体追跡装置10は、対象物特定情報取得部110、画像処理部120、および制御部130を備える。
<機能構成例>
図2は、第1実施形態における物体追跡装置10の機能構成例を示す図である。図2に示されるように、物体追跡装置10は、対象物特定情報取得部110、画像処理部120、および制御部130を備える。
対象物特定情報取得部110は、対象物特定情報を取得する。「対象物特定情報」は、撮像装置20から取得した画像に含まれている追跡対象の物体を特定するための情報(画像に含まれる追跡対象の物体を一意に識別するための情報)である。対象物特定情報は、追跡対象の物体固有の特徴(例えば、その物体固有の色や形状など)を示す特徴量といった、画像から抽出可能な情報である。また、対象物特定情報は、特徴量を抽出する画像領域を示す情報(例えば、画像上の位置や領域を指定する情報)であってもよい。
画像処理部120は、処理対象領域APにおいて、対象物特定情報により特定される追跡対象の物体を検出するとともに当該検出した物体を追跡する画像処理を実行する。言い換えると、画像処理部120は、処理対象領域AP以外の領域に対しては、追跡対象の物体を検出および追跡するための画像処理を実行しない。従って、撮像装置20から取得した画像の中に何らかの物体が含まれている場合であっても、その物体が処理対象領域APの外側の領域に位置しているのであれば、その物体は画像処理部120によって検出および追跡されない。
<<処理対象領域APについて>>
ここで、処理対象領域APは、図1で例示したように、画像の部分領域である。処理対象領域APは、好ましくは、画像の中央部(画像の中心付近の領域)を含んでいる。なお、処理対象領域APの形状は特に限定されない。処理対象領域APは、本明細書の図面に例示されるような矩形に限らず、その他の多角形や円(楕円)といった形状を有していてもよい。
ここで、処理対象領域APは、図1で例示したように、画像の部分領域である。処理対象領域APは、好ましくは、画像の中央部(画像の中心付近の領域)を含んでいる。なお、処理対象領域APの形状は特に限定されない。処理対象領域APは、本明細書の図面に例示されるような矩形に限らず、その他の多角形や円(楕円)といった形状を有していてもよい。
一例として、処理対象領域APの形状は、任意に設定することができる。例えば、物体追跡装置10は、ユーザ端末30を介して、処理の対象とする領域、または、処理の対象外とする領域の指定入力を受け付け、その入力に基づいて処理対象領域APを定義してもよい。この場合、指定入力を基に算出される処理対象領域APの位置座標が、メモリなどに記憶(設定)される。
他の一例として、処理対象領域APの大きさは予め定められていてもよい。具体的には、処理対象領域APは、十分な処理速度を保証できる大きさ(例えば、VGA(Video Graphics Array)相当の大きさ(約30万画素)など)に定められていてもよい。この場合、処理対象領域APの位置座標が、メモリなどに固定値として記憶(設定)される。
本発明において、画像処理の演算コストを削減することを1つの目的として、処理対象領域APが設定されている。そのため、画像処理を行う装置に十分なリソースが残っている場合、処理対象領域APがある程度大きくなっても、ユーザが体感する処理速度に影響は少ない。そこで、処理対象領域APの大きさは、当該処理対象領域APに対する画像処理に割り当て可能なリソースの大きさに基づいて決定されてもよい。具体的には、物体追跡装置10は、まず、自身の余剰リソースの情報を取得し、その情報に基づいて、処理対象領域APに対する画像処理に割り当て可能なリソースの大きさを決定する。そして、物体追跡装置10は、当該割り当て可能なリソースの大きさに基づいて、処理対象領域APの大きさ(位置座標)を決定し、その位置座標をメモリなどに記憶(設定)する。
制御部130は、対象物特定情報により特定される追跡対象の物体が処理対象領域APに含まれるように、撮像装置20の撮像範囲を制御する。制御部130は、複数の画像を用いて追跡対象の物体の動き(検出位置の変位)を取得し、その動きに応じて撮像装置20の撮像範囲を制御する機構(図示せず)を操作することにより、追跡対象の物体が処理対象領域APに含まれるように、撮像装置20の撮像範囲を制御することができる。
<<撮像装置20の撮像範囲を制御する機構の具体例>>
「撮像装置20の撮像範囲を制御する機構」の具体例としては、撮像装置20のズームを制御する機構、撮像装置20の向きを制御する電動雲台、撮像装置20の撮影位置を制御する電動スライダーなどが挙げられる。
「撮像装置20の撮像範囲を制御する機構」の具体例としては、撮像装置20のズームを制御する機構、撮像装置20の向きを制御する電動雲台、撮像装置20の撮影位置を制御する電動スライダーなどが挙げられる。
<<制御部130による制御の具体例>>
制御部130は、上述したような撮像装置20の撮像範囲を制御する機構を操作することにより、撮像装置20の撮像範囲を制御する。一例として、制御部130は、画像上での追跡対象の物体の動きに応じて、撮像装置20のズームを制御する機構を操作して、撮像装置20の撮像範囲を変更することができる。他の一例として、撮像装置20が図示しない電動雲台(撮像装置20の向きを制御する機構)に搭載されている場合、制御部130は、画像上での追跡対象の物体の動きに応じてその電動雲台を操作して、撮像装置20の撮像範囲を変更することができる。さらに他の一例として、撮像装置20が図示しない電動スライダー(撮像装置20の位置を制御する機構)に搭載されている場合、制御部130は、画像上での追跡対象の物体の動きに応じてその電動スライダーを操作して、撮像装置20の撮像範囲を変更することができる。また、制御部130は、上記で例示した複数の機構に対する操作を組み合わせて、撮像装置20の撮像範囲を制御してもよい。
制御部130は、上述したような撮像装置20の撮像範囲を制御する機構を操作することにより、撮像装置20の撮像範囲を制御する。一例として、制御部130は、画像上での追跡対象の物体の動きに応じて、撮像装置20のズームを制御する機構を操作して、撮像装置20の撮像範囲を変更することができる。他の一例として、撮像装置20が図示しない電動雲台(撮像装置20の向きを制御する機構)に搭載されている場合、制御部130は、画像上での追跡対象の物体の動きに応じてその電動雲台を操作して、撮像装置20の撮像範囲を変更することができる。さらに他の一例として、撮像装置20が図示しない電動スライダー(撮像装置20の位置を制御する機構)に搭載されている場合、制御部130は、画像上での追跡対象の物体の動きに応じてその電動スライダーを操作して、撮像装置20の撮像範囲を変更することができる。また、制御部130は、上記で例示した複数の機構に対する操作を組み合わせて、撮像装置20の撮像範囲を制御してもよい。
また、ユーザの視認性の観点から、制御部130は、好ましくは、ユーザの見やすいポイント(例えば、画像の中央部の近辺)に追跡対象の物体が位置するように、撮像装置20の撮像範囲を制御するように構成される。一例として、制御部130は、画像の中央部(中心)を含み、かつ、処理対象領域APの一部である所定領域(例:図3)に、追跡対象の物体が含まれるように、撮像装置20の撮像範囲を制御する。図3は、処理対象領域APと所定領域との関係を例示する図である。図3の例において、所定領域aは、処理対象領域APの一部であり、かつ、画像の全領域AEの中心Oを含むように設定されている。この所定領域aの位置座標を示す情報は、処理対象領域APの設定時に、物体追跡装置10のメモリに併せて記憶される。制御部130は、この所定領域aに追跡対象の物体(本図では、車両V1)が含まれるように、撮像装置20の撮像範囲を制御する。図3の例では、制御部130は、撮像装置20の撮像範囲が右上方向に移動するように、撮像装置20のズーム率、向き、または位置などを調整する機構の動作を制御する。
〔ハードウエア構成例〕
物体追跡装置10は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、物体追跡装置10がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
物体追跡装置10は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、物体追跡装置10がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図4は、物体追跡装置10のハードウエア構成を例示するブロック図である。
物体追跡装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は物体追跡装置10の各機能(対象物特定情報取得部110、画像処理部120、制御部130など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
入出力インタフェース1050は、物体追跡装置10と周辺機器15とを接続するためのインタフェースである。周辺機器15は、例えば、キーボードやマウスなどの入力機器、ディスプレイ(タッチパネルディスプレイ)やスピーカーなどの出力機器を含む。物体追跡装置10は、これらの周辺機器15と、入出力インタフェース1050を介して接続される。
ネットワークインタフェース1060は、物体追跡装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。物体追跡装置10は、ネットワークインタフェース1060を介して、撮像装置20やユーザ端末30といった外部装置と通信可能に接続される。撮像装置20は、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを搭載するカメラである。ユーザ端末30は、撮像装置20により生成された画像の確認業務を行う人物(ユーザ)が利用する端末である。ユーザ端末30は、据え置き型のPC(Personal Computer)や携帯端末(スマートフォンやタブレット端末など)である。ユーザ端末30は、特に限定されない。
なお、図4に例示されるハードウエア構成は、あくまで一例であり、物体追跡装置10のハードウエア構成は図4の例に制限されない。例えば、物体追跡装置10の機能処理部の一部または全部が、撮像装置20(画像処理や周辺機器制御を行うためのCPUを搭載した所謂インテリジェントカメラ)或いはユーザ端末30に備えられていてもよい。また、物体追跡装置10の機能処理部の全てが撮像装置20またはユーザ端末30に備えられる場合、撮像装置20とユーザ端末30との間に、物体追跡装置10が存在していなくてもよい。
〔処理の流れ〕
以下、本実施形態の物体追跡装置10により実行される処理について、図を用いて説明する。図5乃至図7は、第1実施形態の物体追跡装置10により実行される処理の流れを例示するフローチャートである。
以下、本実施形態の物体追跡装置10により実行される処理について、図を用いて説明する。図5乃至図7は、第1実施形態の物体追跡装置10により実行される処理の流れを例示するフローチャートである。
まず、物体追跡装置10は、ネットワークインタフェース1060を介して撮像装置20と通信し、当該撮像装置20により生成された画像を取得する(S102)。
撮像装置20から画像を取得した後、画像処理部120は、撮像装置20により生成された画像の処理対象領域APに対して物体検出処理を行う(S104)。なお、「物体検出処理」とは、検出対象として予め定義された物体(例:人物、車両、自動二輪車など)を検出する画像処理のことを言う。画像処理部120は、メモリ1030やストレージデバイス1040などに記憶された物体検出器を使い、撮像装置20から取得した画像の中から所定の物体を検出することができる。物体検出器は、例えば機械学習によって、特定の物体(例:人物、車両、自動二輪車など)を検出可能に構築される。また、物体検出器は、ルールベースによって、特定の物体を検出可能に構築されていてもよい。また、物体検出器は、同種の物体の中から特定の属性を有する物体を区別して検出可能に構築されていてもよい。「属性」の具体例としては、特に限定されないが、以下のようなものが挙げられる。
・人物の属性:年齢、性別、服装の特徴、所持品の特徴など
・車両/自動二輪車の属性:車体の色、車種、車体形状やサイズ、ナンバープレートに記載されているナンバー、乗車人数など
また、物体検出器は、物体の挙動に関する属性(例えば、ふらついている、不審な行動をしている、など)を判別し、その属性を有する特定の物体を検出可能に構築されていてもよい。
・人物の属性:年齢、性別、服装の特徴、所持品の特徴など
・車両/自動二輪車の属性:車体の色、車種、車体形状やサイズ、ナンバープレートに記載されているナンバー、乗車人数など
また、物体検出器は、物体の挙動に関する属性(例えば、ふらついている、不審な行動をしている、など)を判別し、その属性を有する特定の物体を検出可能に構築されていてもよい。
物体検出処理の実行後、画像処理部120は、当該処理による物体の検出結果を、例えば図8に例示するように撮像装置20から取得した画像に重畳して、ユーザ端末30のディスプレイに出力する(S106)。図8は、物体検出処理の結果に基づく画像処理部120の出力例を示す図である。図8の例において、画像処理部120は、処理対象領域APにおいて検出された物体(車両V1およびV2)それぞれに対応する位置に、物体の検出結果(矩形の枠F1およびF2)を重畳して、ユーザ端末30のディスプレイに出力している。一方で、処理対象領域APの外側(画像処理が実行されない領域)に位置する物体(車両V3)については、画像処理部120は、当該物体を検出できない。そのため、車両V3については、車両V1およびV2に対して付加されている枠F1およびF2のような情報は付加されない。
そして、物体追跡装置10は、対象物特定情報取得部110により対象物特定情報が取得されているか否かを判定する(S108)。対象物特定情報が未だ取得されていない場合(S108:NO)、対象物特定情報取得処理が実行される。対象物特定情報取得処理の流れは、図6に例示される。一方、対象物特定情報が既に取得されている場合(S108:YES)、物体追跡処理が実行される。物体追跡処理の流れは、図7に例示される。
<<対象物特定情報取得処理>>
対象物特定情報取得部110は、追跡対象の物体の位置を指定する入力(位置指定入力)を受け付けたか否かを判定する(S110)。例えば、ユーザ端末30のディスプレイに表示された画像上でユーザが追跡対象の物体の位置を選択すると、当該選択された位置(画像座標上での位置)を示す情報が、対象物特定情報取得部110に入力される(例:図9)。図9は、画像上で位置指定入力が行われる様子を例示する図である。ユーザは、ユーザ端末30の入力装置(マウス、キーボード、タッチパネルなど)を用いて、画像上の任意の位置を指定することができる。例えば、ユーザは、マウスやタッチパネルを用いて、本図に例示されるポインタPを操作し、画像上の任意の位置を選択することができる。
対象物特定情報取得部110は、追跡対象の物体の位置を指定する入力(位置指定入力)を受け付けたか否かを判定する(S110)。例えば、ユーザ端末30のディスプレイに表示された画像上でユーザが追跡対象の物体の位置を選択すると、当該選択された位置(画像座標上での位置)を示す情報が、対象物特定情報取得部110に入力される(例:図9)。図9は、画像上で位置指定入力が行われる様子を例示する図である。ユーザは、ユーザ端末30の入力装置(マウス、キーボード、タッチパネルなど)を用いて、画像上の任意の位置を指定することができる。例えば、ユーザは、マウスやタッチパネルを用いて、本図に例示されるポインタPを操作し、画像上の任意の位置を選択することができる。
ユーザが位置指定入力を行う際、画像処理部120は、処理対象領域APを示す情報を撮像装置20から取得した画像に重畳させて、ユーザ端末30のディスプレイに表示させてもよい。例えば、画像処理部120は、図9に示されるような破線(処理対象領域APを示す情報)を、実際にユーザ端末30のディスプレイに表示させてもよい。このように、処理対象領域APを画像において可視化することにより、画像処理が実行される領域内に物体が含まれているか否かを、ユーザが容易に判別できるようになる。
ここで、処理対象領域APの外側(画像処理が実行されない領域)に位置する物体を追跡するためには、制御部130が、当該物体が処理対象領域APに含まれるように、撮像装置20の撮像範囲を制御する必要がある。そのため、対象物特定情報取得部110が位置指定入力を受け付けた場合(S110:YES)、制御部130は、その位置指定入力により指定された位置が処理対象領域APの外側か否かを更に判定する(S112)。
位置指定入力により指定された位置が処理対象領域APの外側である場合(S112:YES)、制御部130は、撮像装置20の撮像範囲を制御する機構の少なくとも1つについて、指定された位置を処理対象領域APに含めるために必要な制御量を算出する(S114)。そして、制御部130は、算出した制御量に基づく制御信号を、操作対象の機構に対して送信する(S116)。この制御信号に応じて機構が動作することにより、位置指定入力により指定された位置(その位置に存在する、追跡対象として選択された物体)が処理対象領域APに含まれることになる。そして、物体追跡装置10は、制御信号に応じて機構が動作した後に撮像装置20により生成された新たな画像(追跡対象として選択された物体が処理対象領域APに含まれている状態の画像)を取得する(S118)。そして、対象物特定情報取得部110は、位置指定入力により指定された位置の情報を用いて、追跡対象として選択された物体を特定するための対象物特定情報を取得する(S120)。対象物特定情報取得部110は、まず、S102の処理で取得された画像において指定された位置に対応する、新たな画像上での位置を特定する。例えば、対象物特定情報取得部110は、S102の処理で取得された画像上で指定された位置と、S114の制御量(撮像範囲の移動量)とに基づいて、上記指定された位置に対応する位置を新たな画像上で特定することができる。そして、対象物特定情報取得部110は、新たな画像上で特定した位置において検出された物体の特徴量を、追跡対象の物体を特定するための対象物特定情報として取得する。そして、ここで取得された対象物特定情報を用いて、図7に例示されるような、物体追跡処理が実行される。
一方、位置指定入力により指定された位置が処理対象領域APの内側である場合(S112:NO)、上述したようなS114~S118の処理は実行されない。この場合、対象物特定情報取得部110は、位置指定入力により指定された位置の情報を用いて、当該位置において検出された物体の特徴量を、追跡対象の物体を特定するための対象物特定情報を取得する(S120)。そして、ここで取得された対象物特定情報を用いて、図7に例示されるような、物体追跡処理が実行される。
S110の判定で対象物特定情報取得部110が位置指定入力を受け付けていない場合(S110:NO)、対象物特定情報取得部110は、S104の物体検出処理において所定の条件に合致する物体が検出されたか否かを更に判定する(S122)。ここで、所定の条件とは、追跡対象の物体と判断するための条件である。「所定の条件」の具体例としては、特に限定されないが、「リュックを背負った人物」、「赤いセダンタイプの車」、「二人乗りの自転車」などが挙げられる。また、「所定の条件」は、容疑者の容姿(髪型、服装、所持品など)に関する特徴を示すものであってもよい。このような所定の条件に関する情報は、メモリ1030やストレージデバイス1040に予め記憶されていてもよいし、ユーザがユーザ端末30を介して物体追跡装置10に入力してもよい。
S104の物体検出処理において所定の条件に合致する物体が検出された場合(S122:YES)、対象物特定情報取得部110は、当該検出された物体の特徴量を、対象物特定情報として取得する(S124)。そして、ここで取得された対象物特定情報を用いて、図7に例示されるような、物体追跡処理が実行される。一方、S104の物体検出処理において所定の条件に合致する物体が検出されなかった場合(S122:NO)、処理はS102に戻り、撮像装置20から新たに取得された画像について、上述の処理が繰り返される。
<<物体追跡処理>>
画像処理部120は、S104の物体検出処理で検出された物体の中から、先の処理で取得した対象物特定情報に対応する物体を追跡対象の物体として特定し、その追跡対象の物体の位置(画像座標系での位置)を取得する(S126)。そして、画像処理部120は、例えば図10に示すように、追跡対象の物体の位置を示す情報をユーザ端末30のディスプレイに出力する(S128)。図10は、物体検出処理の結果に基づく画像処理部120の出力例を示す図である。なお、図10では、対象物特定情報によって特定される物体が車両V1である場合が例示されている。この場合、画像処理部120は、車両V1(追跡対象の物体)の位置を示す情報を、撮像装置20から取得した画像に重畳表示する。例えば、画像処理部120は、図10に示されるように、車両V1に対応する領域を強調表示する情報を画像に重畳させて、車両V1を追跡中であることをユーザに知らせる。なお、図10の例に限らず、画像処理部120は、車両V1(追跡対象の物体)に対応する枠F1の表示色あるいは表示状態を、車両V2(他に検出された物体)に対応する枠F2と異ならせるようにしてもよい。また、画像処理部120は、車両V1が追跡対象であることを示すメッセージや印などを、車両V1に対応付けて表示してもよい。
画像処理部120は、S104の物体検出処理で検出された物体の中から、先の処理で取得した対象物特定情報に対応する物体を追跡対象の物体として特定し、その追跡対象の物体の位置(画像座標系での位置)を取得する(S126)。そして、画像処理部120は、例えば図10に示すように、追跡対象の物体の位置を示す情報をユーザ端末30のディスプレイに出力する(S128)。図10は、物体検出処理の結果に基づく画像処理部120の出力例を示す図である。なお、図10では、対象物特定情報によって特定される物体が車両V1である場合が例示されている。この場合、画像処理部120は、車両V1(追跡対象の物体)の位置を示す情報を、撮像装置20から取得した画像に重畳表示する。例えば、画像処理部120は、図10に示されるように、車両V1に対応する領域を強調表示する情報を画像に重畳させて、車両V1を追跡中であることをユーザに知らせる。なお、図10の例に限らず、画像処理部120は、車両V1(追跡対象の物体)に対応する枠F1の表示色あるいは表示状態を、車両V2(他に検出された物体)に対応する枠F2と異ならせるようにしてもよい。また、画像処理部120は、車両V1が追跡対象であることを示すメッセージや印などを、車両V1に対応付けて表示してもよい。
そして、制御部130は、S126の処理で取得した、追跡対象の物体の位置に基づいて、撮像装置20の撮像範囲の制御の要否を判定する(S130)。具体的には、制御部130は、追跡対象の物体の位置と、図3に例示されるような所定領域a(画像の中央部を含む領域)の位置とを比較して、撮像装置20の撮像範囲の制御の要否を判定する。
例えば追跡対象の物体の位置が所定領域aの外側である場合など、撮像装置20の撮像範囲の制御が必要と判断される場合(S130:YES)、制御部130は、撮像装置20の撮像範囲を制御する機構の少なくとも1つについて、追跡対象の物体の位置を処理対象領域APに含めるために必要な制御量を算出する(S132)。そして、制御部130は、算出した制御量に基づく制御信号を、操作対象の機構に対して送信する(S134)。この制御信号に応じて機構が動作することにより、追跡対象の物体が所定領域aに含まれることになる。一方、撮像装置20の撮像範囲の制御が不要と判断される場合(S130:NO)、制御部130は、上述の処理を実行しない。
そして、制御部130は、物体追跡処理の終了判定を行う(S136)。物体追跡処理の終了条件の具体例としては、特に限定されないが、「ユーザ端末30において処理終了指示が入力された」、「撮像装置20の撮像範囲を制御する機構の可動限界に達した」、「物体追跡処理を所定時間あるいは所定距離以上継続した」などが挙げられる。物体追跡処理の終了条件を満たしていない場合(S136:NO)、処理はS126に戻り、撮像装置20から新たに取得される画像を用いて物体追跡処理が継続される。
<<追跡対象の物体を見失った場合の処理>>
ここで、追跡対象の物体が急激に動いた場合や、追跡対象の物体と当該物体に似通った別の物体とが近接(すれ違った)場合などには、物体追跡装置10が、追跡対象の物体を見失ってしまうこともある。ここで「見失う」とは、どの物体が対象物特定情報に対応する物体であるかを、物体追跡装置10が識別できなくなることを意味する。
ここで、追跡対象の物体が急激に動いた場合や、追跡対象の物体と当該物体に似通った別の物体とが近接(すれ違った)場合などには、物体追跡装置10が、追跡対象の物体を見失ってしまうこともある。ここで「見失う」とは、どの物体が対象物特定情報に対応する物体であるかを、物体追跡装置10が識別できなくなることを意味する。
この場合に、物体追跡装置10は、図11に示すような処理を実行する。図11は、追跡対象の物体を見失った場合に物体追跡装置10が実行する処理の流れを例示するフローチャートである。
画像処理部120が処理対象領域APにおいて追跡対象の物体の検出に失敗した(追跡対象の物体を見失った)場合(S202:YES)、対象物特定情報取得部110は、撮像装置20から取得した画像における当該物体の位置を示す情報(以下、「対象物位置情報」とも表記)を取得する(S204)。対象物特定情報取得部110により対象物位置情報が取得されると、制御部130は、その対象物位置情報により示される位置が処理対象領域APの外側か否かを更に判定する(S206)。
対象物位置情報により示される位置が処理対象領域APの外側である場合(S206:YES)、制御部130は、撮像装置20の撮像範囲を制御する必要があると判定する。この場合、制御部130は、撮像装置20の撮像範囲を制御する機構の少なくとも1つについて、当該対象物位置情報が示す位置を処理対象領域APに含めるために必要な制御量を算出する(S208)。そして、制御部130は、算出した制御量に基づく制御信号を、操作対象の機構に対して送信する(S210)。この制御信号に応じて機構が動作することで、対象物位置情報により示される位置(その位置に存在する見失った物体)が処理対象領域APに含まれることになる。そして、物体追跡装置10は、制御信号に応じて機構が動作した後に撮像装置20により生成された新たな画像(見失った物体が処理対象領域APに含まれている状態の画像)を取得する(S212)。そして、対象物特定情報取得部110は、対象物位置情報が示す位置を用いて、見失った物体を再度特定するための対象物特定情報を取得する(S214)。そして、ここで取得された対象物特定情報を用いて、図7に例示されるような、物体追跡処理が再開される。
一方、対象物位置情報により示された位置が処理対象領域APの内側である場合(S206:NO)、上述したようなS206~S212の処理は実行されない。この場合、対象物特定情報取得部110は、対象物位置情報が示す位置を用いて、見失った物体を再度特定するための対象物特定情報を取得する(S214)。そして、ここで取得された対象物特定情報を用いて、図7に例示されるような、物体追跡処理が実行される。
上述した図11のS206からS214の処理の流れは、図6のS114~S120の処理の流れと同様である。
上述の処理について、図12および図13を用いて具体的に説明する。図12および図13は、追跡対象の物体を見失った場合に対象物位置情報を取得する流れを例示する図である。例えば、追跡対象の物体(車両V1)が、撮像装置20の撮像範囲を制御する機構の動作速度を超える速度で移動した場合、図12に示されるように、追跡対象の物体(車両V1)が処理対象領域APの外側に出てしまうことがある。この場合、画像処理部120は、当該追跡対象の物体を検出することができず、その物体を見失うことになる。しかし、図12に示されるように、画像の全領域AEについて見れば、処理対象領域APの外側の領域に追跡対象の物体(車両V1)が含まれている場合もある。この場合、処理対象領域APの外側の領域において、ユーザが追跡対象の物体の位置を選択することによって、物体追跡装置10に、見失った物体の現在位置を知らせることができる。対象物特定情報取得部110は、このようにユーザによって選択された位置(例えば、ポインタPが指し示す位置)の情報を、上述の対象物位置情報として取得する。
図12の例において取得される対象物位置情報は、処理対象領域APの外側の位置を示している。そのため、図13に示されるように、制御部130は、対象物特定情報取得部110が取得した対象物位置情報を基に、撮像装置20の撮像範囲を制御する機構を動作させる制御信号を生成および送信する。この制御信号によって、ユーザによって選択された位置(例えば、ポインタPが指し示す位置)が処理対象領域APに含まれるように、撮像装置20のズーム率、向き、または位置などを調整する機構が動作する。図13の例では、制御部130は、撮像装置20の撮像範囲が左下方向に移動するように、撮像装置20のズーム率、向き、または位置などを調整する機構の動作を制御する制御信号を送信する。すると、図13に示されるように、撮像装置20の撮像範囲が左下方向に移動する。画像処理部120は、制御信号によって移動された撮像範囲における処理対象領域AP'に対して画像処理を行うことにより、追跡対象の物体(車両V1)の追跡を再開することができる。
[第2実施形態]
本実施形態の物体追跡装置10は、以下で説明するような録画部を更に備える点で、上述の第1実施形態と異なる。
本実施形態の物体追跡装置10は、以下で説明するような録画部を更に備える点で、上述の第1実施形態と異なる。
<機能構成例>
図14は、第2実施形態における物体追跡装置10の機能構成例を示す図である。図14に示されるように、本実施形態の物体追跡装置10は、第1実施形態で説明した構成に加えて、録画部122を備えている。録画部122は、追跡対象の物体を検出した後、所定の終了条件を満たすまでの間、撮像装置20から取得した画像を、録画データとして所定の記憶領域(例えば、ストレージデバイス1040など)に保存する。
図14は、第2実施形態における物体追跡装置10の機能構成例を示す図である。図14に示されるように、本実施形態の物体追跡装置10は、第1実施形態で説明した構成に加えて、録画部122を備えている。録画部122は、追跡対象の物体を検出した後、所定の終了条件を満たすまでの間、撮像装置20から取得した画像を、録画データとして所定の記憶領域(例えば、ストレージデバイス1040など)に保存する。
<処理の流れ>
以下、本実施形態の物体追跡装置10により実行される処理について、図を用いて説明する。図15は、第2実施形態の物体追跡装置10により実行される録画処理の流れを例示するフローチャートである。
以下、本実施形態の物体追跡装置10により実行される処理について、図を用いて説明する。図15は、第2実施形態の物体追跡装置10により実行される録画処理の流れを例示するフローチャートである。
まず、録画部122は、物体追跡処理が開始されたか否かを判定する(S302)。具体的には、録画部122は、図6に例示したような処理において、対象物特定情報取得部110により対象物特定情報が取得されたか否かを判定する。ここで、物体追跡処理が開始されていない場合(S302:NO)、後述する処理は実行されない。
物体追跡処理が開始された場合、すなわち、対象物特定情報取得部110により対象物特定情報が取得された場合(S302:YES)、録画部122は、撮像装置20から取得された画像(映像データ)を、例えば、メモリ1030などにバッファリングする(S304)。その後、録画部122は、物体追跡処理が終了するまで、撮像装置20から取得された画像(映像データ)をバッファリングし続ける(S306:NO)。そして、物体追跡処理が終了した場合(S306:YES)、録画部122は、メモリ1030などにバッファリングした映像データを、物体追跡処理の結果を示す録画データとして、ストレージデバイス1040などに記憶する(S308)。
以上、本実施形態では、第1実施形態で説明した 物体追跡処理の開始に合わせて、撮像装置20から取得した映像データを基に、その物体追跡処理の結果を示す録画データが生成および記憶される。この過去の物体追跡処理の結果を示す録画データは、ユーザが確認業務を行う際に有用である。例えば、ユーザは、気になる追跡対象の物体についての録画データを見返すことで、追跡対象の物体の動きを念入りに確認するといったことができる。
ここで、物体追跡処理が行われていない(すなわち、対象物特定情報が取得されていない)状況では、録画部122は、例えば、撮像装置20から取得された画像(映像データ)を使って、タイムラプス動画を生成して記憶してもよい。ユーザは、タイムラプス動画を確認することによって、ある物体の追跡処理が開始される前後の状況を大まかに把握することができる。この場合、録画部122は、上述の録画データとタイムラプス動画とを別々のファイルとしてストレージデバイス1040などに記憶してもよいし、1つのファイルとしてストレージデバイス1040などに記憶してもよい。
[第3実施形態]
本実施形態の物体追跡装置10は、以下で説明するようなレポート生成部を更に備える点で、第1実施形態と異なる。
本実施形態の物体追跡装置10は、以下で説明するようなレポート生成部を更に備える点で、第1実施形態と異なる。
<機能構成例>
図16は、第3実施形態における物体追跡装置10の機能構成例を示すブロック図である。図16に示されるように、本実施形態の物体追跡装置10は、レポート生成部140を更に備える。
図16は、第3実施形態における物体追跡装置10の機能構成例を示すブロック図である。図16に示されるように、本実施形態の物体追跡装置10は、レポート生成部140を更に備える。
レポート生成部140は、物体追跡処理の結果を示すレポートファイルを生成する。レポート生成部140が生成するレポートファイルは、例えば、追跡対象の物体を示す画像、追跡処理を行った期間(日時)に関する情報、追跡処理が実行された場所に関する情報、追跡対象の物体の移動軌跡などを含む。また、物体追跡装置10が、第2実施形態で説明した録画部122を備えている場合、レポートファイルは、物体追跡処理に応じて生成された録画データへのリンクアドレスを更に含んでいてもよい。追跡対象の物体を示す画像は、例えば、撮像装置20から取得した画像の中の代表画像(例えば、上述の第2実施形態で録画データが生成されている場合、その録画データのサムネイル画像)などである。レポート生成部140は、画像のほかに、追跡対象の物体に関するテキスト情報をレポートファイルに更に含めてもよい。追跡対象の物体に関するテキスト情報は、例えば、その物体のカテゴリ(人物、車両など)や、その物体の属性(例:人物であれば「リュックを背負っている」、車両であれば「赤いセダンタイプ」)を示す情報などである。追跡処理が実行された場所に関する情報は、例えば、撮像装置20が設置された地点(住所など)を示す情報、撮像装置20毎に一意に割り振られた番号といった撮像装置20の個体を特定する情報などである。
<処理の流れ>
以下、本実施形態の物体追跡装置10により実行される処理について、図を用いて説明する。図17は、第3実施形態の物体追跡装置10により実行されるレポート生成処理の流れを例示するフローチャートである。
以下、本実施形態の物体追跡装置10により実行される処理について、図を用いて説明する。図17は、第3実施形態の物体追跡装置10により実行されるレポート生成処理の流れを例示するフローチャートである。
まず、レポート生成部140は、物体追跡処理が開始されたか否かを判定する(S402)。具体的には、レポート生成部140は、図6に例示したような処理において、対象物特定情報取得部110により対象物特定情報が取得されたか否かを判定する。ここで、物体追跡処理が開始されていない場合(S402:NO)、後述する処理は実行されない。
物体追跡処理が開始された場合、すなわち、対象物特定情報取得部110により対象物特定情報が取得された場合(S402:YES)、レポート生成部140は、物体追跡処理の開始から終了までの間、レポートファイルに含める情報を収集する(S404)。
例えば、レポート生成部140は、物体追跡処理が実行されている間に撮像装置20から取得された画像の中から、1枚の代表画像を決定する。レポート生成部140は、例えば、被写体である追跡対象の物体の向き、ブレの少なさ、明るさなどを基に、画像毎の物体の視認性を数値化し、その数値に基づく最適な画像を代表画像として、レポートファイルに含めることができる。また、レポート生成部140は、撮像装置20の画像を物体検出器に入力した結果(例えば、「車両」または「赤いセダンタイプの車両」など)を、テキスト情報としてレポートファイルに含めることができる。また、レポート生成部140は、物体追跡処理の開始時刻と終了時刻とをそれぞれ取得し、物体追跡処理が行われた期間を示す情報として、レポートファイルに含めることができる。また、レポート生成部140は、物体追跡処理に用いた画像を生成した撮像装置20の設置場所やその撮像装置20固有の番号などを取得し、物体追跡処理が実行された地点を示す情報として、レポートファイルに含めることができる。また、レポート生成部140は、各画像における追跡対象の物体の位置を地図上の位置に変換して得られる、その物体の移動軌跡を示す情報を、レポートファイルに含めることができる。この場合、レポート生成部140は、例えば、撮像装置20の姿勢(パン/チルトの角度)および撮像装置20の位置に基づいて画像の位置を地図上の位置に変換する関数を用いればよい。このような関数は、例えば、メモリ1030やストレージデバイス1040に予め記憶されている。また、物体追跡装置10が第2実施形態で説明した録画部122を更に備えている場合、レポート生成部140は、物体追跡処理の終了時に出力された録画データのリンクアドレスを示す情報を、レポートファイルに含めることができる。
そして、レポート生成部140は、S404で収集した情報を基に生成されたレポートファイルを、ストレージデバイス1040やユーザ端末30などに出力する(S406)。
以上、本実施形態では、物体追跡処理が実行された場合に、その物体追跡処理についてのレポートファイルが生成および出力される。本実施形態の構成によれば、物体追跡処理の実績を、ユーザが簡易に管理および把握することができるようになる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のシーケンス図やフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
追跡対象の物体を特定する対象物特定情報を取得する対象物特定情報取得手段と、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出し、前記検出した物体を追跡する画像処理手段と、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する制御手段と、
を備える物体追跡装置。
2.
前記対象物特定情報取得手段は、前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
1.に記載の物体追跡装置。
3.
前記対象物特定情報取得手段は、ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
2.に記載の物体追跡装置。
4.
前記対象物特定情報取得手段は、前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
1.から3.のいずれか1つに記載の物体追跡装置。
5.
前記処理対象領域は、前記画像の中央部を含む領域である、
1.から4.のいずれか1つに記載の物体追跡装置。
6.
前記制御手段は、前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
5.に記載の物体追跡装置。
7.
前記処理対象領域の大きさは予め定められている、
1.から6.のいずれか1つに記載の物体追跡装置。
8.
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
7.に記載の物体追跡装置。
9.
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する録画手段を更に備える、
1.から8.のいずれか1つに記載の物体追跡装置。
10.
前記画像処理手段は、前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
1.から9.のいずれか1つに記載の物体追跡装置。
11.
前記制御手段は、前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか1つを操作することにより、前記撮像装置の撮像範囲を制御する、
1.から10.のいずれか1つに記載の物体追跡装置。
12.
コンピュータが、
追跡対象の物体を特定する対象物特定情報を取得し、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出するとともに前記検出した物体を追跡し、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む物体追跡方法。
13.
前記コンピュータが、
前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
ことを含む12.に記載の物体追跡方法。
14.
前記コンピュータが、
ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
ことを含む13.に記載の物体追跡方法。
15.
前記コンピュータが、
前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
ことを含む12.から14.のいずれか1つに記載の物体追跡方法。
16.
前記処理対象領域は、前記画像の中央部を含む領域である、
12.から15.のいずれか1つに記載の物体追跡方法。
17.
前記コンピュータが、
前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む16.に記載の物体追跡方法。
18.
前記処理対象領域の大きさは予め定められている、
12.から17.のいずれか1つに記載の物体追跡方法。
19.
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
18.に記載の物体追跡方法。
20.
前記コンピュータが、
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する、
ことを更に含む12.から19.のいずれか1つに記載の物体追跡方法。
21.
前記コンピュータが、
前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
ことを含む12.から20.のいずれか1つに記載の物体追跡方法。
22.
前記コンピュータが、
前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか1つを操作することにより、前記撮像装置の撮像範囲を制御する、
ことを含む12.から21.のいずれか1つに記載の物体追跡方法。
23.
コンピュータに、12.から22.のいずれか1つに記載の物体追跡方法を実行させるプログラム。
1.
追跡対象の物体を特定する対象物特定情報を取得する対象物特定情報取得手段と、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出し、前記検出した物体を追跡する画像処理手段と、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する制御手段と、
を備える物体追跡装置。
2.
前記対象物特定情報取得手段は、前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
1.に記載の物体追跡装置。
3.
前記対象物特定情報取得手段は、ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
2.に記載の物体追跡装置。
4.
前記対象物特定情報取得手段は、前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
1.から3.のいずれか1つに記載の物体追跡装置。
5.
前記処理対象領域は、前記画像の中央部を含む領域である、
1.から4.のいずれか1つに記載の物体追跡装置。
6.
前記制御手段は、前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
5.に記載の物体追跡装置。
7.
前記処理対象領域の大きさは予め定められている、
1.から6.のいずれか1つに記載の物体追跡装置。
8.
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
7.に記載の物体追跡装置。
9.
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する録画手段を更に備える、
1.から8.のいずれか1つに記載の物体追跡装置。
10.
前記画像処理手段は、前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
1.から9.のいずれか1つに記載の物体追跡装置。
11.
前記制御手段は、前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか1つを操作することにより、前記撮像装置の撮像範囲を制御する、
1.から10.のいずれか1つに記載の物体追跡装置。
12.
コンピュータが、
追跡対象の物体を特定する対象物特定情報を取得し、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出するとともに前記検出した物体を追跡し、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む物体追跡方法。
13.
前記コンピュータが、
前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
ことを含む12.に記載の物体追跡方法。
14.
前記コンピュータが、
ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
ことを含む13.に記載の物体追跡方法。
15.
前記コンピュータが、
前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
ことを含む12.から14.のいずれか1つに記載の物体追跡方法。
16.
前記処理対象領域は、前記画像の中央部を含む領域である、
12.から15.のいずれか1つに記載の物体追跡方法。
17.
前記コンピュータが、
前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む16.に記載の物体追跡方法。
18.
前記処理対象領域の大きさは予め定められている、
12.から17.のいずれか1つに記載の物体追跡方法。
19.
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
18.に記載の物体追跡方法。
20.
前記コンピュータが、
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する、
ことを更に含む12.から19.のいずれか1つに記載の物体追跡方法。
21.
前記コンピュータが、
前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
ことを含む12.から20.のいずれか1つに記載の物体追跡方法。
22.
前記コンピュータが、
前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか1つを操作することにより、前記撮像装置の撮像範囲を制御する、
ことを含む12.から21.のいずれか1つに記載の物体追跡方法。
23.
コンピュータに、12.から22.のいずれか1つに記載の物体追跡方法を実行させるプログラム。
Claims (6)
- 撮像装置によって生成された画像をディスプレイに表示させる処理と、
前記画像の一部の領域である処理対象領域の範囲を取得する処理と、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付ける処理と、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する処理と、
をコンピュータに実行させるプログラム。 - 前記画像上の位置が前記処理対象領域の範囲外である場合、前記撮像装置の撮像範囲を制御する処理を前記コンピュータに行わせる、
請求項1に記載のプログラム。 - 前記画像上の位置に写る物体を、追跡対象の物体として特定する処理を前記コンピュータに更に行わせる、
請求項1または2に記載のプログラム。 - 前記追跡対象の物体の位置に基づいて、前記追跡対象の物体を前記処理対象領域内に表示させるように、前記撮像装置の撮像範囲を制御する処理を更に行わせる、
請求項3に記載のプログラム。 - 撮像装置によって生成された画像をディスプレイに表示させる表示出力手段と、
前記画像の一部の領域である処理対象領域の範囲を取得する取得手段と、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付ける受付手段と、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する制御手段と、
を備える物体追跡装置。 - コンピュータが、
撮像装置によって生成された画像をディスプレイに表示させ、
前記画像の一部の領域である処理対象領域の範囲を取得し、
前記ディスプレイに表示された画像上の位置を指定する要求を受け付け、
前記画像上の位置と、前記処理対象領域の範囲とに基づいて、前記撮像装置の撮像範囲を制御する、
ことを含む物体追跡方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023215530A JP2024026447A (ja) | 2018-10-18 | 2023-12-21 | 物体追跡装置、物体追跡方法、およびプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/038845 WO2020079807A1 (ja) | 2018-10-18 | 2018-10-18 | 物体追跡装置、物体追跡方法、およびプログラム |
JP2020551674A JP7136222B2 (ja) | 2018-10-18 | 2018-10-18 | 物体追跡装置、物体追跡方法、およびプログラム |
JP2022135632A JP2022167992A (ja) | 2018-10-18 | 2022-08-29 | 物体追跡装置、物体追跡方法、およびプログラム |
JP2023215530A JP2024026447A (ja) | 2018-10-18 | 2023-12-21 | 物体追跡装置、物体追跡方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022135632A Division JP2022167992A (ja) | 2018-10-18 | 2022-08-29 | 物体追跡装置、物体追跡方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024026447A true JP2024026447A (ja) | 2024-02-28 |
Family
ID=70284591
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020551674A Active JP7136222B2 (ja) | 2018-10-18 | 2018-10-18 | 物体追跡装置、物体追跡方法、およびプログラム |
JP2022135632A Pending JP2022167992A (ja) | 2018-10-18 | 2022-08-29 | 物体追跡装置、物体追跡方法、およびプログラム |
JP2023215530A Pending JP2024026447A (ja) | 2018-10-18 | 2023-12-21 | 物体追跡装置、物体追跡方法、およびプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020551674A Active JP7136222B2 (ja) | 2018-10-18 | 2018-10-18 | 物体追跡装置、物体追跡方法、およびプログラム |
JP2022135632A Pending JP2022167992A (ja) | 2018-10-18 | 2022-08-29 | 物体追跡装置、物体追跡方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US20210256711A1 (ja) |
JP (3) | JP7136222B2 (ja) |
WO (1) | WO2020079807A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024060543A (ja) | 2022-10-19 | 2024-05-02 | 株式会社ミツトヨ | 小型測定器およびその使用方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09186927A (ja) * | 1995-12-28 | 1997-07-15 | Sony Corp | 追尾装置および追尾方法 |
JP2000069346A (ja) * | 1998-06-12 | 2000-03-03 | Canon Inc | カメラ制御装置、方法、カメラ、追尾カメラシステム及びコンピュ―タ読み取り可能な記憶媒体 |
JP3560326B2 (ja) * | 1999-06-15 | 2004-09-02 | 株式会社日立国際電気 | 物体追跡方法及び物体追跡装置 |
JP2001086407A (ja) * | 1999-09-17 | 2001-03-30 | Matsushita Electric Ind Co Ltd | モザイク機能付きの撮像装置およびモザイク処理装置 |
JP4597543B2 (ja) * | 2004-02-18 | 2010-12-15 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
JP2006033188A (ja) * | 2004-07-13 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 監視装置および監視方法 |
JP2006229321A (ja) * | 2005-02-15 | 2006-08-31 | Matsushita Electric Ind Co Ltd | 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム |
JP4558696B2 (ja) * | 2006-09-25 | 2010-10-06 | パナソニック株式会社 | 動物体自動追尾装置 |
JP5173915B2 (ja) * | 2009-04-08 | 2013-04-03 | 三洋電機株式会社 | 画像処理装置及び撮像装置 |
JP5205337B2 (ja) * | 2009-06-18 | 2013-06-05 | 富士フイルム株式会社 | ターゲット追跡装置および画像追跡装置ならびにそれらの動作制御方法ならびにディジタル・カメラ |
JP5229593B2 (ja) * | 2010-09-30 | 2013-07-03 | 株式会社Jvcケンウッド | 目標追跡装置、目標追跡方法 |
JP2013247508A (ja) * | 2012-05-25 | 2013-12-09 | Canon Inc | 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ |
US10334150B2 (en) * | 2014-05-14 | 2019-06-25 | Hanwha Aerospace Co., Ltd. | Camera system and method of tracking object using the same |
CN107037962B (zh) * | 2015-10-23 | 2020-06-16 | 株式会社摩如富 | 图像处理装置、电子设备以及图像处理方法 |
-
2018
- 2018-10-18 US US17/284,590 patent/US20210256711A1/en not_active Abandoned
- 2018-10-18 JP JP2020551674A patent/JP7136222B2/ja active Active
- 2018-10-18 WO PCT/JP2018/038845 patent/WO2020079807A1/ja active Application Filing
-
2022
- 2022-06-15 US US17/840,772 patent/US20220309682A1/en active Pending
- 2022-08-29 JP JP2022135632A patent/JP2022167992A/ja active Pending
-
2023
- 2023-12-21 JP JP2023215530A patent/JP2024026447A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022167992A (ja) | 2022-11-04 |
WO2020079807A1 (ja) | 2020-04-23 |
US20220309682A1 (en) | 2022-09-29 |
JP7136222B2 (ja) | 2022-09-13 |
JPWO2020079807A1 (ja) | 2021-10-14 |
US20210256711A1 (en) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6184271B2 (ja) | 撮像管理装置、撮像管理システムの制御方法およびプログラム | |
CN109005334B (zh) | 一种成像方法、装置、终端和存储介质 | |
JP6347211B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US10762649B2 (en) | Methods and systems for providing selective disparity refinement | |
US11839721B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6882868B2 (ja) | 画像処理装置、画像処理方法、システム | |
JP2024026447A (ja) | 物体追跡装置、物体追跡方法、およびプログラム | |
JP2019029935A (ja) | 画像処理装置およびその制御方法 | |
JP2017211811A (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
US11195295B2 (en) | Control system, method of performing analysis and storage medium | |
WO2015072091A1 (ja) | 画像処理装置、画像処理方法及びプログラム記憶媒体 | |
JP2016195323A (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2015141185A1 (ja) | 撮像制御装置、撮像制御方法および記録媒体 | |
KR20210076615A (ko) | 영상 정보 제공 방법 및 장치 | |
KR102528983B1 (ko) | 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법 | |
KR102252662B1 (ko) | 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법 | |
WO2023105598A1 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP7130375B2 (ja) | 画像処理装置、撮影装置、画像処理方法、およびプログラム | |
JP2013182478A (ja) | 被写体追尾装置、被写体追尾方法およびカメラ | |
CN108293107A (zh) | 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质 | |
US10885348B2 (en) | Information processing device, information processing method, and storage medium | |
JP6403482B2 (ja) | 機器制御装置、機器制御方法、およびプログラム | |
CN118426584A (zh) | 手势控制方法和拍摄设备 | |
JP2023115703A (ja) | 映像監視装置、映像監視方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231221 |