JP2017163510A - Imaging control program, imaging control method and imaging control device - Google Patents
Imaging control program, imaging control method and imaging control device Download PDFInfo
- Publication number
- JP2017163510A JP2017163510A JP2016049012A JP2016049012A JP2017163510A JP 2017163510 A JP2017163510 A JP 2017163510A JP 2016049012 A JP2016049012 A JP 2016049012A JP 2016049012 A JP2016049012 A JP 2016049012A JP 2017163510 A JP2017163510 A JP 2017163510A
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- frame rate
- person area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮影制御プログラム、撮影制御方法および撮影制御装置に関する。 The present invention relates to a shooting control program, a shooting control method, and a shooting control apparatus.
近年、監視カメラは、監視目的の他に、マーケティングや交通量調査など様々な用途で利用される。例えば、監視カメラは、撮影された画像から服の色などの特徴が類似する人物を追跡することにより、人物の移動経路の把握に利用される。 In recent years, surveillance cameras are used for various purposes such as marketing and traffic volume surveys in addition to surveillance purposes. For example, a surveillance camera is used for grasping a movement path of a person by tracking a person whose features such as clothes color are similar from a photographed image.
しかしながら、従来の技術では、別の人物との誤対応が発生し、追跡精度が低下する場合がある。例えば、人物が交差する際に人物の領域に重複が発生すると、別の人物との誤対応が発生し、追跡精度が低下する場合がある。 However, in the conventional technique, an incorrect correspondence with another person occurs, and the tracking accuracy may decrease. For example, if a person region overlaps when a person intersects, an incorrect correspondence with another person may occur, resulting in a decrease in tracking accuracy.
一つの側面では、追跡精度の低下を抑制できる撮影制御プログラム、撮影制御方法および撮影制御装置を提供することを目的とする。 In one aspect, an object is to provide an imaging control program, an imaging control method, and an imaging control apparatus that can suppress a decrease in tracking accuracy.
第1の案では、撮影制御プログラムは、コンピュータに、撮影装置により撮影された画像から人物領域を特定する処理を実行させる。撮影制御プログラムは、コンピュータに、撮影された画像に複数の人物領域が特定された場合、撮影装置により撮影された複数の画像から複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出する処理を実行させる。撮影制御プログラムは、コンピュータに、特定した複数の人物領域の画像における位置関係と複数の人物領域の移動速度に基づいて、撮影装置のフレームレートを制御する処理を実行させる。 In the first plan, the shooting control program causes a computer to execute processing for specifying a person area from an image shot by a shooting device. The shooting control program is a process for calculating a positional relationship and a moving speed of each of the plurality of person areas from the plurality of images shot by the shooting device when the computer specifies a plurality of person areas in the shot image. Is executed. The imaging control program causes the computer to execute processing for controlling the frame rate of the imaging device based on the positional relationship in the images of the specified plurality of person areas and the moving speed of the plurality of person areas.
本発明の一の実施態様によれば、追跡精度の低下を抑制できるという効果を奏する。 According to one embodiment of the present invention, it is possible to suppress a decrease in tracking accuracy.
以下に、本発明にかかる撮影制御プログラム、撮影制御方法および撮影制御装置の実施例を図面に基づいて詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下に示す実施例は、矛盾を起こさない範囲で適宜組み合わせてもよい。 Hereinafter, embodiments of a shooting control program, a shooting control method, and a shooting control apparatus according to the present invention will be described in detail with reference to the drawings. The disclosed technology is not limited by the present embodiment. Moreover, you may combine suitably the Example shown below in the range which does not cause contradiction.
[システム構成]
最初に、実施例1に係るシステムの一例を説明する。図1は、システムの概略的な構成の一例を示す図である。システム10は、監視カメラにより監視を行うシステムである。監視カメラは、監視目的の他に、マーケティングや交通量調査など様々な用途で利用される。例えば、監視カメラは、撮影された画像から服の色などの特徴が類似する人物を追跡することにより、人物の移動経路の把握に利用される。
[System configuration]
First, an example of a system according to the first embodiment will be described. FIG. 1 is a diagram illustrating an example of a schematic configuration of a system. The
図1に示すように、システム10は、撮影制御装置11と、監視カメラ12とを有する。撮影制御装置11と監視カメラ12は、ネットワークNを介して通信可能に接続され、各種の情報を交換することが可能とされている。かかるネットワークNの一態様としては、有線または無線を問わず、携帯電話などの移動体通信、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。なお、図1の例では、監視カメラ12を3台設けた場合を例示したが、これに限定されず、監視カメラ12を任意の数とすることができる。
As shown in FIG. 1, the
撮影制御装置11は、監視カメラ12の撮影を制御する装置である。撮影制御装置11は、例えば、サーバコンピュータなどのコンピュータである。撮影制御装置11は、1台のコンピュータとして実装してもよく、また、複数台のコンピュータにより実装してもよい。なお、本実施例では、撮影制御装置11を1台のコンピュータとした場合を例として説明する。
The photographing
撮影制御装置11は、監視カメラ12に対して撮影のフレームレートを指示する指示情報を送信する。また、撮影制御装置11は、監視カメラ12で撮影された画像の画像データを監視カメラ12から受信する。撮影制御装置11は、受信した画像データの画像から服の色などの特徴が類似する人物を追跡し、人物の移動経路を特定する。
The
監視カメラ12は、画像の撮影が可能とされた撮影装置である。監視カメラ12は、それぞれ監視対象を監視可能な場所に、監視対象が画角に収まるように配置されている。監視カメラ12は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有する。監視カメラ12は、複数のフレームレートで選択的に画像の撮影が可能とされている。監視カメラ12は、撮影制御装置11からの指示情報を受信した場合、指示情報のフレームレートで画像の撮影を行う。監視カメラ12は、撮影した画像の画像データを撮影制御装置11へ送信する。
The
[撮影制御装置の構成]
次に、撮影制御装置11の構成について説明する。図2は、撮影制御装置の機能的な構成の一例を示す図である。図2に示すように、撮影制御装置11は、通信I/F(interface)部20と、記憶部21と、制御部22とを有する。
[Configuration of Shooting Control Device]
Next, the configuration of the
通信I/F部20は、他の装置との間で通信制御を行うインタフェースである。通信I/F部20としては、LANカードなどのネットワークインタフェースカードを採用できる。通信I/F部20は、ネットワークNを介して他の装置と各種の情報を送受信する。
The communication I /
記憶部21は、各種のデータを記憶する記憶デバイスである。例えば、記憶部21は、ハードディスク、SSD(Solid State Drive)、光ディスクなどの記憶装置である。なお、記憶部21は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。
The
記憶部21は、制御部22で実行されるOS(Operating System)や各種プログラムを記憶する。例えば、記憶部21は、各種の処理を実行するプログラムを含む各種のプログラムを記憶する。さらに、記憶部21は、制御部22で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部21は、画像データ30と、人物追跡情報31とを記憶する。
The
画像データ30は、監視カメラ12により指定されたフレームレートで撮影された画像データを記憶したデータである。画像データ30は、撮影された各画像の画像データであってもよく、撮影された各画像を所定の方式で符号化した動画像のデータであってもよい。画像データ30は、監視カメラ12ごとに格納される。画像データ30は、画像が撮影された時刻など画像が撮影されたタイミングを示す情報が含まれる。例えば、画像データ30は、画像が撮影されたタイミングとして、撮影開始からの経過時間を示す時刻が含まれる。
The
人物追跡情報31は、追跡する人物に関する情報を記憶したデータである。例えば、人物追跡情報31は、追跡する人物の識別情報と、各画像内の人物領域の位置情報が記憶される。人物追跡情報31は、監視カメラ12ごとに格納される。
The
なお、以下では、説明を簡略化するため、1台の監視カメラ12に対して格納された画像データ30および人物追跡情報31に対する処理を説明する。撮影制御装置11は、各監視カメラ12に対して格納された画像データ30および人物追跡情報31に同様の処理を実行する。
In the following, in order to simplify the description, processing for the
図3は、人物追跡情報のデータ構成の一例を示す図である。図3に示すように、人物追跡情報31は、「人物ID」、「時刻」、「人物領域」、「移動量」、「フレームレート」の各項目を有する。人物IDの項目は、画像に含まれる人物を識別する識別番号を記憶する領域である。例えば、画像に新たな人物が含まれることが検出された場合、検出された人物には、検出した順に一意の人物ID(identification)が付与される。人物IDの項目には、付与された人物IDが記憶される。時刻の項目は、人物IDの人物の人物領域が含まれる画像の識別情報として、撮影開始からの経過時間を示す時刻を記憶する領域である。なお、本実施例では、説明を簡略化するため、時刻を整数の数値で示している。人物領域の項目は、人物IDの人物の人物領域に関する情報を記憶する領域である。人物領域の項目は、x座標の項目、y座標の項目、幅の項目、高さの項目に分かれている。x座標の項目およびy座標の項目は、人物IDの人物の人物領域の位置を示す情報を記憶する領域である。例えば、画像内での位置をx座標、y座標で示す場合、x座標の項目には、人物領域の所定の基準位置のx座標が記憶される。y座標の項目には、人物領域の所定の基準位置のy座標が記憶される。基準位置は、例えば、人物領域の中心の位置であってもよく、人物領域を構成する矩形の何れかの頂点の位置であってもよく、人物の特定の部位の位置であってもよい。幅の項目および高さの項目は、人物領域のサイズを示す情報を記憶する領域である。例えば、画像内でx座標が幅方向であり、y座標が高さ方向である場合、幅の項目には、人物領域のx座標方向の画素数が記憶される。高さの項目には、人物領域のy座標方向の画素数が記憶される。移動量の項目は、人物IDの人物の人物領域の画像間での移動量を記憶する領域である。例えば、移動量の項目には、1フレーム前の画像から、人物領域の所定の基準位置の移動量が記憶される。なお、1フレーム前の画像が無い場合、移動量の項目には、1フレーム前の画像が無いことを示す「−」が格納される。移動量の項目に「−」が格納された人物領域の位置は、画像に最初に出現した位置である。フレームレートの項目は、人物領域を含んだ画像が撮影された際のフレームレートを記憶する領域である。
FIG. 3 is a diagram illustrating an example of a data configuration of person tracking information. As shown in FIG. 3, the
図3の例は、人物ID「1」の人物領域は、時刻「19」の画像に含まれており、x座標「10」画素、y座標「20」画素、幅「16」画素、高さ「60」画素、移動量の項目が「−」であることから画像に最初に出現した位置であることを示す。また、時刻「19」の画像は、フレームレートが「5」fps(frame per second)で撮影されたことを示す。また、人物ID「1」の人物領域は、時刻「20」の画像に含まれており、x座標「12」画素、y座標「27」画素、幅「17」画素、高さ「62」画素であり、時刻「19」の画像からx座標方向に+2画素、y座標方向に+7画素移動していることを示す。また、時刻「20」の画像は、フレームレートが「5」fpsで撮影されたことを示す。 In the example of FIG. 3, the person area with the person ID “1” is included in the image at time “19”, and the x coordinate “10” pixel, the y coordinate “20” pixel, the width “16” pixel, and the height. Since “60” pixels and the item of movement amount are “−”, this indicates that the position first appears in the image. Further, the image at time “19” indicates that the frame rate is “5” fps (frame per second). The person area with the person ID “1” is included in the image at time “20”, and the x coordinate is “12” pixels, the y coordinate is “27” pixels, the width is “17” pixels, and the height is “62” pixels. This indicates that the image at time “19” has moved +2 pixels in the x coordinate direction and +7 pixels in the y coordinate direction. The image at time “20” indicates that the frame rate was “5” fps.
図2に戻り、制御部22は、撮影制御装置11全体を制御するデバイスである。制御部22としては、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路を採用できる。
Returning to FIG. 2, the
制御部22は、各種の処理手順を規定したプログラムやデータを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部22は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部22は、取得部40と、算出部41と、撮影制御部42と、特定部43と、追跡部44とを有する。
The
取得部40は、各種の取得を行う。例えば、取得部40は、通信I/F部20で監視カメラ12から受信した画像データを取得することで、監視カメラ12により撮影された画像データを取得する。
The acquisition unit 40 performs various acquisitions. For example, the acquisition unit 40 acquires image data captured by the monitoring
算出部41は、各種の算出を行う。例えば、算出部41は、撮影された画像に複数の人物領域が特定された場合、複数の人物領域の移動速度をそれぞれ算出する。例えば、算出部41は、監視カメラ12により撮影された複数の画像から複数の人物領域の移動速度をそれぞれ算出する。例えば、算出部41は、人物追跡情報31を参照して、画像に人物領域が2以上含まれるかを判定する。例えば、算出部41は、人物追跡情報31の時刻が最も新しい画像に人物領域が2以上含まれるかを判定する。例えば、人物追跡情報31が図3に示す状態であり、現在が時刻tである場合、算出部41は、時刻の項目に「t−1」が登録されている人物IDが2以上あるかを判定する。
The calculation unit 41 performs various calculations. For example, when a plurality of person areas are specified in the captured image, the calculation unit 41 calculates the movement speed of each of the plurality of person areas. For example, the calculation unit 41 calculates the moving speeds of the plurality of person areas from the plurality of images captured by the monitoring
算出部41は、撮影された画像に人物領域が2以上含まれる場合、画像内の人物領域間の類似度を算出する。図4は、人物領域間の類似度の一例を示す図である。図4の例では、画像に2つの人物領域A、Bが含まれている。例えば、算出部41は、人物領域A、Bの類似度を算出する。類似度の算出方式は、何れの方式を用いてもよい。類似度の算出方式の一例としては、正規化相互相関(NCC:Normalized Cross Correlation)が挙げられる。例えば、算出部41は、人物領域A、Bの正規化相互相関の演算を行って類似度を算出する。例えば、算出部41は、2つの人物領域A、Bの一方をテンプレートTとし、他方を比較対象Iとする。テンプレートTは、例えば、人物領域の左上の座標を(0,0)として座標(x',y')を定める。テンプレートTの人物領域の高さをh画素とし、テンプレートTの人物領域の幅をw画素とする。また、2つの人物領域A、Bの位置の差を(x,y)とする。算出部41は、以下の式(1)に示す演算を行って画素ごとに類似度R(x,y)を算出し、画素ごとに類似度R(x,y)の平均を求めることにより類似度を算出する。正規化相互相関では、人物領域が似ているほど類似度が1に近く算出される。 When the captured image includes two or more person areas, the calculation unit 41 calculates the similarity between the person areas in the image. FIG. 4 is a diagram illustrating an example of similarity between person regions. In the example of FIG. 4, two person areas A and B are included in the image. For example, the calculation unit 41 calculates the similarity between the person areas A and B. Any method may be used as the similarity calculation method. An example of a similarity calculation method is normalized cross correlation (NCC). For example, the calculation unit 41 calculates the degree of similarity by calculating the normalized cross-correlation of the person areas A and B. For example, the calculation unit 41 sets one of the two person areas A and B as the template T and the other as the comparison target I. For example, the template T defines the coordinates (x ′, y ′) with the upper left coordinates of the person area as (0, 0). The height of the person area of the template T is h pixels, and the width of the person area of the template T is w pixels. The difference between the positions of the two person areas A and B is (x, y). The calculation unit 41 calculates the similarity R (x, y) for each pixel by performing the calculation shown in the following formula (1), and calculates the similarity by calculating the average of the similarity R (x, y) for each pixel. Calculate the degree. In the normalized cross-correlation, the similarity is calculated closer to 1 as the person region is more similar.
本実施例では、人物追跡情報31に、監視カメラ12により撮影された各画像に含まれる人物領域に関する情報が記憶されている。そこで、算出部41は、人物領域が2以上含まれる場合、人物追跡情報31を参照して、画像内の各人物の人物領域を求める。例えば、人物追跡情報31が図3に示す状態であり、現在が時刻tである場合、算出部41は、時刻の項目に「t−1」が登録されている各人物IDの人物の人物領域の位置、サイズの情報を読み出す。図3の例では、人物ID「1」と「N」の人物の人物領域の位置、サイズの情報を読み出す。算出部41は、記憶部21に記憶された時刻が「t−1」に撮影された画像データ30の画像の人物ID「1」と「N」の人物領域について、上述の式(1)の演算を行って類似度を算出する。算出部41は、画像に人物領域が3以上含まれる場合、2つずつの人物領域の組み合わせについてそれぞれ類似度を算出する。
In this embodiment, the
算出部41は、人物領域間の類似度から、人物領域に互いに類似する人物領域があるか判定する。例えば、算出部41は、算出された人物領域間の類似度に、所定の閾値以上のものがあるか判定する。この閾値は、人物領域が類似していると見なす値に定めている。なお、この閾値は、固定値としてもよく、撮影制御装置11を利用する者が外部から調整可能としてもよい。
The calculation unit 41 determines whether there are person areas similar to each other in the person area based on the similarity between the person areas. For example, the calculation unit 41 determines whether there is a calculated similarity between person areas that is equal to or greater than a predetermined threshold. This threshold value is set to a value that the person areas are considered to be similar to. This threshold value may be a fixed value or may be adjustable from the outside by a person using the
算出部41は、類似する人物領域が画像にある場合、当該画像に含まれる各人物領域の移動速度をそれぞれ算出する。算出部41は、記憶部21に記憶された複数の画像データ30から、人物領域の移動速度をそれぞれ算出する。例えば、算出部41は、記憶部21に記憶されている直近に撮影された2つの画像データ30の画像から、人物領域の移動速度をそれぞれ算出する。例えば、算出部41は、2つの過去の画像から、人物領域ごとに、人物領域の移動量を求める。図5は、人物領域の移動量の一例を示す図である。図5の例では、人物ID「N」の人物領域は、時刻t−2の位置が(px(t−2),py(t−2))であり、時刻t−1の位置が(px(t−1),py(t−1))であるものとする。この場合、算出部41は、人物ID「N」の人物領域の移動量(Δx,Δy)を以下の式(2)、(3)から算出する。
When there is a similar person area in the image, the calculation unit 41 calculates the moving speed of each person area included in the image. The calculation unit 41 calculates the moving speed of the person area from the plurality of
Δx=px(t−1)−px(t−2) (2)
Δy=py(t−1)−py(t−2) (3)
Δx = px (t−1) −px (t−2) (2)
Δy = py (t−1) −py (t−2) (3)
ここで、本実施例では、人物追跡情報31に、監視カメラ12によって撮影された各画像に含まれる人物領域に関する情報が記憶されている。そこで、算出部41は、人物追跡情報31を参照して人物領域ごとに、人物領域の移動量を求める。例えば、人物追跡情報31が図3に示す状態の場合、算出部41は、時刻の項目に「t−1」が登録されている人物ID「N」の移動量(1,3)を読み出す。
Here, in this embodiment, the
算出部41は、人物領域ごとに、人物領域の移動量から移動速度を求める。本実施例では、算出部41は、人物領域の移動量(Δx,Δy)に撮影された際のフレームレートfpを乗算することにより、1fpsにおける人物領域の移動量を移動速度として求める。例えば、算出部41は、人物領域の1秒当たりの移動速度(dfx,dfy)を以下の式(4)、(5)から算出する。 The calculation unit 41 obtains a movement speed from the movement amount of the person area for each person area. In this embodiment, the calculation unit 41 obtains the movement amount of the person area at 1 fps as the movement speed by multiplying the movement amount (Δx, Δy) of the person area by the frame rate fp at the time of shooting. For example, the calculation unit 41 calculates the movement speed (dfx, dfy) per second of the person area from the following equations (4) and (5).
dfx=Δx×fp (4)
dfy=Δy×fp (5)
dfx = Δx × fp (4)
dfy = Δy × fp (5)
撮影制御部42は、各種の撮影の制御を行う。撮影制御部42は、所定の複数のフレームレートから選択的に監視カメラ12のフレームレートを指定することが可能とされている。この複数のフレームレートは、それぞれ人物の追跡に用いた場合、追跡の精度が所定の基準を満たすものとする。撮影制御部42は、監視カメラ12に対して撮影のフレームレートを指示する指示情報を送信して、監視カメラ12のフレームレートを制御する。
The imaging control unit 42 controls various types of imaging. The imaging control unit 42 can selectively designate the frame rate of the
ここで、例えば、監視カメラ12は、フレームレートが高いと、人物の移動が少ない画像が得られる。このため、高精度に人物の追跡を行うには、フレームレートが高い方が好ましい。しかし、監視カメラ12は、フレームレートが高くなると、撮影周期が短くなり、多くの画像データを送信する。撮影制御装置11は、監視カメラ12のフレームレートが高くなると、受信する画像データが多くなり、処理の負荷が高くなる。特に、図1に示すように、複数の監視カメラ12から画像データを撮影制御装置11が受信する場合、各監視カメラ12のフレームレートが高くなると、撮影制御装置11は、各監視カメラ12から多く画像データを受信するため、処理の負荷が非常に高くなる。処理の負荷を抑制するには、監視カメラ12のフレームレートが低い方が好ましい。しかし、監視カメラ12は、フレームレートが低いと、撮影される画像間での人物の移動量が大きくなり、人物を追跡できない場合がある。このように、人物の追跡を行う場合、フレームレートに対して、追跡の精度と処理の負荷量は、トレードオフの関係にある。このため、撮影制御装置11は、通常時、追跡の精度が所定の基準を満たす複数のフレームレートのうち、監視カメラ12のフレームレートを最も低いフレームレートにすることで、処理の負荷を制御する。例えば、撮影制御部42は、30fps、15fps、5fpsから選択的に監視カメラ12のフレームレートを指定することが可能とされている。この場合、撮影制御装置11は、通常時、監視カメラ12のフレームレートを5fpsに制御する。
Here, for example, when the frame rate is high, the
ところで、撮影制御装置11は、監視カメラ12により撮影された画像から人物を追跡して移動経路を求める場合、画像内に複数の人物領域があると、別の人物との誤対応が発生し、追跡精度が低下する場合がある。例えば、人物が交差する際に人物の領域に重複が発生すると、別の人物との誤対応が発生し、追跡精度が低下する場合がある。画像内に含まれる複数の人物領域が互いに類似する場合、別の人物との誤対応が特に発生しやすい。
By the way, when the
そこで、撮影制御部42は、撮影された画像に複数の人物領域が特定され、かつ、当該複数の人物領域に互いに類似する人物領域がある場合、監視カメラ12のフレームレートを制御する。例えば、撮影制御部42は、撮影された画像の複数の人物領域について、選択可能な複数のフレームレートそれぞれの次の撮影タイミングでの移動位置をそれぞれ予測する。そして、撮影制御部42は、予測された移動位置の間の距離が予測誤差よりも大きいフレームレートを監視カメラ12のフレームレートと決定する。撮影制御部42は、決定したフレームレートを指示する指示情報を監視カメラ12へ送信して、監視カメラ12のフレームレートを制御する。
Therefore, the shooting control unit 42 controls the frame rate of the
一方、撮影制御部42は、撮影された画像に複数の人物領域が特定されない場合、または、複数の人物領域に互いに類似する人物領域がない場合、選択可能な複数のフレームレートのうち、最も低いフレームレートを監視カメラ12のフレームレートと決定する。撮影制御部42は、決定したフレームレートを指示する指示情報を監視カメラ12へ送信して、監視カメラ12のフレームレートを制御する。
On the other hand, when a plurality of person areas are not specified in the captured image or when there are no person areas similar to each other in the plurality of person areas, the shooting control unit 42 is the lowest of a plurality of selectable frame rates. The frame rate is determined as the frame rate of the
ここで、人物領域の移動位置の予測について説明する。例えば、時刻t−1での人物領域の位置を(x(t−1),y(t−1))とし、フレームレートをfとし、人物領域の1秒当たりの移動速度を(dfx,dfy)とする。この場合、次の撮影での移動位置(x,y)は、以下の式(6)、(7)から求まる。 Here, prediction of the movement position of the person area will be described. For example, the position of the person area at time t−1 is (x (t−1), y (t−1)), the frame rate is f, and the moving speed of the person area per second is (dfx, dfy). ). In this case, the movement position (x, y) in the next photographing can be obtained from the following equations (6) and (7).
x=dfx×(1/f)+x(t−1) (6)
y=dfy×(1/f)+y(t−1) (7)
x = dfx × (1 / f) + x (t−1) (6)
y = dfy × (1 / f) + y (t−1) (7)
図6は、人物領域の移動位置の予測の一例を示す図である。移動速度(dfx,dfy)は、時刻t−2と時刻t−1の人物領域の移動量から算出する。時刻tの移動位置(x,y)は、時刻t−1の人物領域の位置(x(t−1),y(t−1))から移動速度(dfx,dfy)で1/fの期間移動した位置となっている。移動位置(x,y)は、予測位置であるため、時刻tでの実際の人物領域の位置と異なり予測誤差εが発生する場合がある。すなわち、移動位置(x,y)には、予測誤差εが含まれる。 FIG. 6 is a diagram illustrating an example of the prediction of the movement position of the person area. The movement speed (dfx, dfy) is calculated from the movement amount of the person area at time t-2 and time t-1. The moving position (x, y) at time t is a period of 1 / f at the moving speed (dfx, dfy) from the position (x (t-1), y (t-1)) of the person area at time t-1. The position has been moved. Since the movement position (x, y) is a predicted position, a prediction error ε may occur unlike the actual position of the human region at time t. That is, the movement position (x, y) includes the prediction error ε.
予測誤差は、予測精度から算出できる。予測精度は、予測方式に応じて求めることができる。例えば、予測精度は、複数のフレームに渡って人物領域の位置を予測方式で予測し、予測した人物領域の位置と実際の人物領域の位置の差から求めることができる。図7は、予測精度を算出する一例を示す図である。例えば、時刻t−2に予測された人物領域の移動位置を(x2(t−2),y2(t−2))とし、実際の人物領域の位置を(x1(t−2),y1(t−2))とする。時刻t−1に予測された人物領域の移動位置を(x2(t−1),y2(t−1))とし、実際の人物領域の位置を(x1(t−1),y1(t−1))とする。時刻tに予測された人物領域の移動位置を(x2(t),y2(t))とし、実際の人物領域の位置を(x1(t),y1(t))とする。 The prediction error can be calculated from the prediction accuracy. The prediction accuracy can be obtained according to the prediction method. For example, the prediction accuracy can be obtained from the difference between the predicted position of the person area and the position of the actual person area by predicting the position of the person area using a prediction method over a plurality of frames. FIG. 7 is a diagram illustrating an example of calculating the prediction accuracy. For example, the movement position of the person area predicted at time t-2 is (x 2 (t-2), y 2 (t-2)), and the position of the actual person area is (x 1 (t-2)). , Y 1 (t-2)). The movement position of the person area predicted at time t−1 is (x 2 (t−1), y 2 (t−1)), and the actual position of the person area is (x 1 (t−1), y 1 (t-1)). It is assumed that the movement position of the person area predicted at time t is (x 2 (t), y 2 (t)), and the actual position of the person area is (x 1 (t), y 1 (t)).
時刻t−2での予測精度は、以下の式(8)、(9)から求まる。時刻t−1での予測精度は、以下の式(10)、(11)から求まる。時刻tでの予測精度は、以下の式(12)、(13)から求まる。 The prediction accuracy at time t-2 is obtained from the following equations (8) and (9). The prediction accuracy at time t-1 is obtained from the following equations (10) and (11). The prediction accuracy at time t is obtained from the following equations (12) and (13).
xp1=1−{|x1(t−2)−x2(t−2)|/x1(t−2)} (8)
yp1=1−{|y1(t−2)−y2(t−2)|/y1(t−2)} (9)
xp2=1−{|x1(t−1)−x2(t−1)|/x1(t−1)} (10)
yp2=1−{|y1(t−1)−y2(t−1)|/y1(t−1)} (11)
xp3=1−{|x1(t)−x2(t)|/x1(t)} (12)
yp3=1−{|y1(t)−y2(t)|/y1(t)} (13)
x p1 = 1- {| x 1 (t-2) -x 2 (t-2) | / x 1 (t-2)} (8)
y p1 = 1− {| y 1 (t−2) −y 2 (t−2) | / y 1 (t−2)} (9)
x p2 = 1- {| x 1 (t-1) -x 2 (t-1) | / x 1 (t-1)} (10)
y p2 = 1− {| y 1 (t−1) −y 2 (t−1) | / y 1 (t−1)} (11)
x p3 = 1− {| x 1 (t) −x 2 (t) | / x 1 (t)} (12)
y p3 = 1− {| y 1 (t) −y 2 (t) | / y 1 (t)} (13)
ここで、「|x1(t−2)−x2(t−2)|」は、x1(t−2)−x2(t−2)の絶対値を表す。 Here, “| x 1 (t−2) −x 2 (t−2) |” represents the absolute value of x 1 (t−2) −x 2 (t−2).
例えば、撮影されたN個のフレームの画像について人物領域の予測精度が(xp1,yp1)、(xp2,yp2)・・・(xpN,ypN)とする。この場合、N個のフレームの画像での人物領域の予測精度(px1,py1)は、以下の式(14)、(15)から求まる。 For example, it is assumed that the prediction accuracy of the human region is (x p1 , y p1 ), (x p2 , y p2 )... (X pN , y pN ) for the captured N frames of images. In this case, the prediction accuracy (p x1 , p y1 ) of the human region in N frames of images can be obtained from the following equations (14) and (15).
px1=(xp1+xp2+・・・+xpN)/N (14)
py1=(yp1+yp2+・・・+ypN)/N (15)
p x1 = (x p1 + x p2 +... + x pN ) / N (14)
p y1 = (y p1 + y p2 +... + y pN ) / N (15)
また、M個の人物領域の予測精度が(px1,py1)、(px2,py2)・・・(pxM,pyM)とする。この場合、M個の人物領域での予測精度(px,py)は、以下の式(16)、(17)から求まる。 Further, it is assumed that the prediction accuracy of the M human regions is (p x1 , p y1 ), (p x2 , p y2 )... (P xM , p yM ). In this case, the prediction accuracy (p x , p y ) in M person regions can be obtained from the following equations (16) and (17).
px=(px1+px2+・・・+pxM)/M (16)
py=(py1+py2+・・・+pyM)/M (17)
p x = (p x1 + p x2 +... + p xM ) / M (16)
p y = (p y1 + p y2 + ··· + p yM) / M (17)
本実施例に係る撮影制御装置11では、事前に、式(6)、(7)に示した予測方式で人物領域の位置を予測し、予測された人物領域の移動位置を実際の人物領域の位置と比較して、予測精度(px,py)を定めている。なお、予測精度(px,py)は、予測された人物領域の移動位置と当該人物領域の撮影された画像での実際の位置との誤差に基づいて動的に更新してもよい。
In the
予測誤差は、予測精度から算出できる。図8は、予測誤差を算出する一例を示す図である。図8には、予測された移動位置の座標が示されている。例えば、人物領域の移動位置は、上述の式(6)、(7)を用いて、(5,10)、(10,20)、(15,30)と順に予測されている。上述の式(6)、(7)から求まる移動位置は、予測位置であるため、実際の人物領域の位置と異なり、ずれ(予測誤差ε)が発生する場合がある。例えば、人物領域の位置の予測精度がx軸でpxであり、y軸でpyであり、移動位置の座標が(15,30)である場合、x軸方向およびy軸方向に、以下の式(18)、(19)に示すずれが発生する場合がある。 The prediction error can be calculated from the prediction accuracy. FIG. 8 is a diagram illustrating an example of calculating a prediction error. FIG. 8 shows the coordinates of the predicted movement position. For example, the movement position of the person area is predicted in the order of (5, 10), (10, 20), (15, 30) using the above-described equations (6) and (7). Since the movement position obtained from the above equations (6) and (7) is a predicted position, there is a case where a deviation (prediction error ε) occurs unlike the actual position of the person region. For example, a p x prediction accuracy of the position of the person area is in the x-axis, a p y in the y-axis, if the coordinates of the mobile position is (15, 30), in the x axis direction and y axis direction, the following In some cases, the deviations shown in equations (18) and (19) occur.
x軸方向のずれ=15×(1−px) (18)
y軸方向のずれ=30×(1−py) (19)
Deviation in the x-axis direction = 15 × (1−p x ) (18)
Deviation in the y-axis direction = 30 × (1- py ) (19)
この場合、予測誤差εは、例えば、以下の式(20)から算出する。 In this case, the prediction error ε is calculated from the following equation (20), for example.
撮影制御部42は、撮影された画像の複数の人物領域について、選択可能な複数のフレームレートそれぞれの次の撮影タイミングでの移動位置をそれぞれ予測する。例えば、撮影制御部42は、人物領域ごとに、上述の式(6)、(7)を用いて、複数のフレームレートそれぞれの次の撮影タイミングでの移動位置を予測する。例えば、撮影制御部42は、選択可能なフレームレートが30fps、15fps、5fpsである場合、式(6)、(7)のフレームレートfをそれぞれ「30」、「15」、「5」と変えて、それぞれのフレームレートの撮影タイミングでの移動位置を予測する。撮影制御部42は、式(18)〜(20)を用いて、予測された移動位置の予測誤差εを算出する。 The imaging control unit 42 predicts movement positions at the next imaging timing for each of a plurality of selectable frame rates for a plurality of human regions of the captured image. For example, the shooting control unit 42 predicts the moving position at the next shooting timing for each of the plurality of frame rates using the above-described equations (6) and (7) for each person region. For example, when the selectable frame rates are 30 fps, 15 fps, and 5 fps, the imaging control unit 42 changes the frame rates f in Expressions (6) and (7) to “30”, “15”, and “5”, respectively. Thus, the movement position at the shooting timing of each frame rate is predicted. The imaging control unit 42 calculates the prediction error ε of the predicted movement position using the equations (18) to (20).
撮影制御部42は、フレームレートごとに、各人物領域の予測された移動位置の間の距離を算出する。例えば、人物領域Aの予測された移動位置を(x1,y1)とし、予測誤差をε1とする。人物領域Bの予測された移動位置を(x2,y2)とし、予測誤差をε2とする。この場合、人物領域Aと人物領域Bの移動位置の間の距離dは、以下の式(21)から算出する。 The imaging control unit 42 calculates the distance between the predicted movement positions of each person area for each frame rate. For example, assume that the predicted movement position of the person area A is (x1, y1), and the prediction error is ε1. The predicted movement position of the person area B is (x2, y2), and the prediction error is ε2. In this case, the distance d between the movement positions of the person area A and the person area B is calculated from the following equation (21).
撮影制御部42は、フレームレートごとに、各人物領域の予測された移動位置の間の距離が予測誤差よりも大きいか否かを判定する。例えば、撮影制御部42は、人物領域Aと人物領域Bの移動位置の間の距離dが、以下の式(22)を満たすか判定する。 The imaging control unit 42 determines whether the distance between the predicted movement positions of each person area is larger than the prediction error for each frame rate. For example, the imaging control unit 42 determines whether the distance d between the movement positions of the person area A and the person area B satisfies the following expression (22).
d>ε1+ε2 (22) d> ε1 + ε2 (22)
撮影制御部42は、予測された移動位置の間の距離が予測誤差よりも大きいフレームレートと判定された場合、予測誤差よりも大きいと判定されたフレームレートを監視カメラ12のフレームレートと決定する。また、撮影制御部42は、予測された移動位置の間の距離が予測誤差よりも大きいフレームレートが複数ある場合、移動位置の間の距離が予測誤差よりも大きいフレームレートのうち、最も低いフレームレートを監視カメラ12のフレームレートと決定する。また、撮影制御部42は、予測された移動位置の間の距離が予測誤差よりも大きいフレームレートが無い場合、選択可能な複数のフレームレートのうち、最も高いフレームレートを監視カメラ12のフレームレートと決定する。撮影制御部42は、決定したフレームレートを指示する指示情報を監視カメラ12へ送信して、監視カメラ12のフレームレートを制御する。
When it is determined that the distance between the predicted movement positions is larger than the prediction error, the imaging control unit 42 determines the frame rate determined to be larger than the prediction error as the frame rate of the
図9は、人物領域の移動位置の間の距離の一例を示す図である。図9には、人物領域Aと人物領域Bが示されている。人物領域Aは、時刻t−1の位置が(x1(t−1),y1(t−1))とする。人物領域Bは、時刻t−1の位置が(x2(t−1),y2(t−1))とする。図9の例では、フレームレートがf1の場合に予測された移動位置の間の距離をd1とし、フレームレートがf2の場合に予測された移動位置の間の距離をd2とする。また、フレームレートは、f1>f2とする。図9の例では、距離d1>ε1+ε2であり、距離d2<ε1+ε2である。この場合、撮影制御部42は、監視カメラ12のフレームレートをf1に制御する。
FIG. 9 is a diagram illustrating an example of the distance between the movement positions of the person area. FIG. 9 shows a person area A and a person area B. In the person area A, the position at time t-1 is (x1 (t-1), y1 (t-1)). In the person area B, the position at time t−1 is (x2 (t−1), y2 (t−1)). In the example of FIG. 9, the distance between the movement positions predicted when the frame rate is f1 is d1, and the distance between the movement positions predicted when the frame rate is f2 is d2. The frame rate is assumed to be f1> f2. In the example of FIG. 9, the distance d1> ε1 + ε2 and the distance d2 <ε1 + ε2. In this case, the imaging control unit 42 controls the frame rate of the
ところで、例えば、画像の縁に近い部分は、人物が最初に出現する頻度が高い領域である。既に検出された画像内の人物領域が、画像の縁に近い部分に位置すると、画像の境界によって人物領域の一部が途切れる場合もあり、新たに出現した人物領域と誤検出されやすい。 By the way, for example, a portion close to the edge of the image is a region where the frequency of appearance of a person first is high. If the already detected human area in the image is located near the edge of the image, a part of the human area may be interrupted by the boundary of the image, and it is likely to be erroneously detected as a newly appearing human area.
そこで、撮影制御部42は、決定したフレームレートにおいて予測された移動位置が画像の縁から所定範囲の領域に位置する場合、選択可能な複数のフレームレートのうち、最も高いフレームレートを監視カメラ12のフレームレートと決定する。撮影制御部42は、決定したフレームレートを指示する指示情報を監視カメラ12へ送信して、監視カメラ12のフレームレートを制御する。
Therefore, when the movement position predicted at the determined frame rate is located in a region within a predetermined range from the edge of the image, the imaging control unit 42 selects the highest frame rate from among a plurality of selectable frame rates. Determine the frame rate. The imaging control unit 42 transmits instruction information indicating the determined frame rate to the
図10は、画像の縁から所定範囲の領域の一例を示す図である。図10には、画像の縁から所定範囲の領域Xの座標が示されている。図10の例では、領域Xは、y軸の座標がye以下、または、ys以上の領域およびx軸の座標がxs以下、または、xe以上の領域となっている。例えば、決定したフレームレートにおいて予測された移動位置の座標は、(xp,yp)とする。撮影制御部42は、xp<xsまたはxe<xpの場合、または、yp>ysまたはye>ypの場合、選択可能な複数のフレームレートのうち、最も高いフレームレートを監視カメラ12のフレームレートと決定する。例えば、撮影制御部42は、選択可能なフレームレートが30fps、15fps、5fpsであり、フレームレートが5fpsと決定されていた場合でも、5fpsにおいて予測された移動位置が領域X内となる場合、30fpsと決定する。
FIG. 10 is a diagram illustrating an example of a region within a predetermined range from the edge of the image. FIG. 10 shows the coordinates of the region X within a predetermined range from the edge of the image. In the example of FIG. 10, the region X is a region where the y-axis coordinate is less than or equal to ye, or greater than ys, and the x-axis coordinate is less than or equal to xs or greater than xe. For example, the coordinates of the movement position predicted at the determined frame rate are (xp, yp). When xp <xs or xe <xp, or when yp> ys or ye> yp, the imaging control unit 42 sets the highest frame rate among the selectable frame rates as the frame rate of the
領域Xは、固定で予め設定してもよい。また、領域Xは、撮影制御装置11を実際に運用する前に、試験を行って設定してもよい。後述の特定部43により画像下部にて新しく検出された人物の位置座標を(xu1,yu1)、(xu2,yu2)、(xu3,yu3)・・・(xuN,yuN)とする。この場合、領域Xを定める座標yeは、以下の式(23)から算出する。
The area X may be fixed and preset. Further, the region X may be set by performing a test before actually operating the
ye=(xu1+xu2+xu3+・・・+xuN)/N (23) ye = (x u1 + x u2 + x u3 +... + x uN ) / N (23)
なお、Nは、画像下部から出現した人物数とする。 Note that N is the number of persons who appear from the lower part of the image.
また、特定部43により画像上部にて新しく検出された人物の位置座標を(xup1,yup1)、(xup2,yup2)、(xup3,yup3)・・・(xupM,yupM)とする。この場合、領域Xを定める座標ysは、以下の式(24)から算出する。 Also, the position coordinates of the newly detected person in the image top by a particular unit 43 (x up1, y up1) , (x up2, y up2), (x up3, y up3) ··· (x upM, y upM ). In this case, the coordinate ys defining the region X is calculated from the following equation (24).
ys=(yup1+yup2+yup3+・・・+yupM)/M (24) ys = (y up1 + y up2 + y up3 + ··· + y upM) / M (24)
なお、Mは、画像上部から出現した人物数とする。 Note that M is the number of persons appearing from the top of the image.
また、特定部43により画像左部にて新しく検出された人物の位置座標を(xl1,yl1)、(xl2,yl2)、(xl3,yl3)・・・(xlL,ylL)とする。この場合、領域Xを定める座標xsは、以下の式(25)から算出する。
Further, the position coordinates of the person newly detected at the left part of the image by the specifying
xs=(xl1+xl2+xl3+・・・+xlL)/L (25) xs = ( xl1 + xl2 + xl3 + ... + xlL ) / L (25)
なお、Lは、画像左部から出現した人物数とする。 Note that L is the number of persons who appear from the left part of the image.
また、特定部43により画像右部にて新しく検出された人物の位置座標を(xr1,yr1)、(xr2,yr2)、(xr3,yr3)・・・(xrk,yrK)とする。この場合、領域Xを定める座標xeは、以下の式(26)から算出する。
Further, the position coordinates of the person newly detected in the right part of the image by the specifying
xe=(xr1+xr2+xr3+・・・+xrL)/K (26) xe = (x r1 + x r2 + x r3 +... + x rL ) / K (26)
なお、Kは、画像右部から出現した人物数とする。 Note that K is the number of persons who appear from the right part of the image.
図2に戻り、特定部43は、各種の特定を行う。例えば、特定部43は、取得部40により取得された画像データの画像から人物領域を特定する。取得部40により取得された画像データの画像は、監視カメラ12により撮影された最も新しい画像である。図11は、人物領域を特定する流れの一例を示す図である。特定部43は、取得部40により取得された画像と当該画像の1フレーム前の画像との差分を求める。例えば、特定部43は、取得部40により取得された時刻tの画像と、記憶部21に記憶された時刻t−1の画像との背景差分を求める。特定部43は、背景差分の画像から人物領域の候補を特定する。例えば、特定部43は、最も新しい画像内で1フレーム前の画像から一定以上変化がある領域を人物領域の候補と特定する。特定部43は、特定された人物領域の候補が人物であるか判定する。例えば、特定部43は、人物の正解データを用いて人物領域の特徴を学習した識別器を用いて、人物領域の候補が人物であるか判定する。人物領域の判別に用いる特徴量としては、例えば、HOG(Histogram of Oriented Gradients)が挙げられるが、その他の特徴量を用いてもよい。特定部43は、人物であると判別された人物領域から、画像内での人物領域のx座標、y座標、高さ、幅を特定する。
Returning to FIG. 2, the
図12は、重複率による人物領域を判定する流れの一例を示す図である。特定部43は、1フレーム前の画像で特定済みの人物領域と、人物であると判定された人物領域との重複率を算出する。例えば、特定部43は、記憶部21に記憶された時刻t−1の画像の人物領域との重複率を算出する。特定部43は、重複率が所定の閾値th以上である場合、人物であると判定された人物領域を特定済みの人物領域に関連付ける。例えば、特定部43は、特定済みの人物領域と同じ人物IDで人物領域のx座標、y座標、高さ、幅、撮影のフレームレートを人物追跡情報31に登録する。なお、閾値thは、固定値としてもよく、撮影制御装置11を利用する者が外部から調整可能としてもよい。フレームレートは、監視カメラ12から画像データと共に受信して格納してもよく、監視カメラ12に対して指示した最新のフレームレートを格納してもよい。
FIG. 12 is a diagram illustrating an example of a flow of determining a person area based on the overlapping rate. The specifying
一方、特定部43は、重複率が所定の閾値th未満の場合、人物であると判定された人物領域に新たな人物IDを付与し、付与した人物IDで人物領域のx座標、y座標、高さ、幅、撮影のフレームレートを人物追跡情報31に登録する。なお、画像から人物領域を特定する方法は、これに限定されず、何れの方式を用いてもよい。
On the other hand, when the duplication rate is less than the predetermined threshold th, the specifying
追跡部44は、各種の追跡を行う。例えば、追跡部44は、撮影された複数の画像から人物領域の移動速度を算出する。追跡部44は、人物IDごとに、記憶部21に記憶された2以上の過去の画像から、当該人物IDの人物領域の移動速度を算出する。例えば、追跡部44は、人物IDごとに、何れかの画像での人物領域の位置と人物領域の移動速度に基づいて、撮影された最新の画像での人物領域の移動位置を予測する。図13は、人物領域を追跡する流れの一例を示す図である。追跡部44は、時刻t−1の画像での人物領域の位置と人物領域の移動速度に基づいて、時刻tの画像での人物領域の移動位置を予測する。追跡部44は、予測した移動位置を基準とした所定範囲内で特徴が類似する人物領域を検索する。図13の例では、追跡部44は、予測した移動位置からx軸、y軸にそれぞれr画素のマッチング範囲を定める。追跡部44は、時刻t−1の画像での人物領域をテンプレートとして、マッチング範囲内をパターンマッチングし、特徴が類似する人物領域を求める。追跡部44は、時刻t−1の画像での人物領域と同サイズの対象領域をマッチング範囲内に定める。追跡部44は、時刻t−1の画像での人物領域をテンプレートTとし、マッチング範囲内の対象領域を比較対象Iとして、類似度を算出する。追跡部44は、マッチング範囲内で対象領域を網羅するように移動させてテンプレートTとの類似度を求めることを繰返す。追跡部44は、算出された類似度の最大値が所定の閾値以上であるか否かを判定する。追跡部44は、最大値が所定の閾値以上である場合、最大値となった類似度が算出された対象領域を、テンプレートTの人物領域に関連付ける。例えば、追跡部44は、対象領域のx座標、y座標、高さ、幅、撮影のフレームレートを求める。追跡部44は、対象領域を人物領域として、テンプレートTの人物領域と同じ人物IDで、対象領域のx座標、y座標、高さ、幅、撮影のフレームレートを人物追跡情報31に登録する。なお、人物領域の追跡方法は、これに限定されず、何れの方式を用いてもよい。例えば、追跡部44は、時刻t−1の画像での人物領域の位置を基準として、時刻tの画像で基準の位置からマッチング範囲を定め、マッチング範囲内をパターンマッチングしてもよい。例えば、追跡部44は、時刻tの画像で基準の位置から所定距離の範囲をマッチング範囲と定めてもよい。所定距離は、フレームレートやテンプレートとなる人物領域の移動速度に応じて変えてもよい。例えば、所定距離は、フレームレートが低く、テンプレートとなる人物領域の移動速度が速いほど大きくし、フレームレートが高く、テンプレートとなる人物領域の移動速度が遅いほど小さくしてもよい。
The
[処理の流れ]
実施例1に係る撮影制御装置11が監視カメラ12の撮影を制御する制御処理の流れを説明する。図14は、実施例1に係る制御処理の手順の一例を示すフローチャートである。この抽出処理は、所定のタイミング、例えば、管理者によって実行が指示されたタイミングや監視カメラ12から画像データの受信が開始されたタイミングで実行される。
[Process flow]
A flow of control processing in which the
図14に示すように、取得部40は、通信I/F部20を介して、監視カメラ12から画像データを受信したか否かを判定する(S10)。画像データを受信していない場合(S10否定)、再度S10へ移行する。
As illustrated in FIG. 14, the acquisition unit 40 determines whether image data has been received from the monitoring
一方、画像データを受信した場合(S10肯定)、算出部41は、類似度算出処理を実行する(S11)。 On the other hand, when image data is received (Yes at S10), the calculation unit 41 executes a similarity calculation process (S11).
図15は、類似度算出処理の手順の一例を示すフローチャートである。この類似度算出処理は、所定のタイミング、例えば、制御処理のS11から実行される。 FIG. 15 is a flowchart illustrating an example of a procedure of similarity calculation processing. This similarity calculation process is executed at a predetermined timing, for example, S11 of the control process.
図15に示すように、算出部41は、人物追跡情報31の時刻が最も新しい画像に人物領域が2以上含まれるか否かを判定する(S30)。画像に人物領域が2以上含まれない場合(S30否定)、類似度算出処理を終了し、図14に示した制御処理のS12へ移行する。 As illustrated in FIG. 15, the calculation unit 41 determines whether or not two or more person regions are included in an image with the latest time of the person tracking information 31 (S30). If the image does not include two or more person regions (No at S30), the similarity calculation process is terminated, and the process proceeds to S12 of the control process shown in FIG.
一方、画像に人物領域が2以上含まれる場合(S30肯定)、算出部41は、2以上の人物領域を2つずつ組み合わせる組み合わせを決定する(S31)。算出部41は、S31で決定した組み合わせのうち、未処理の組み合わせを1つ選択する(S32)。 On the other hand, when the image includes two or more person areas (Yes in S30), the calculation unit 41 determines a combination that combines two or more person areas two by two (S31). The calculation unit 41 selects one unprocessed combination from the combinations determined in S31 (S32).
算出部41は、組み合わせとされた2つずつの人物領域の類似度を算出する(S33)。算出部41は、S31で決定した全ての組み合わせの選択が完了したか否かを判定する(S34)。全ての組み合わせの選択が完了していない場合(S34否定)、上述のS32へ移行する。一方、全ての組み合わせの選択が完了した場合(S34肯定)、類似度算出処理を終了し、図14に示した制御処理のS12へ移行する。 The calculation unit 41 calculates the similarity between two person regions that are combined (S33). The calculation unit 41 determines whether selection of all combinations determined in S31 is completed (S34). If selection of all combinations has not been completed (No at S34), the process proceeds to S32 described above. On the other hand, when the selection of all combinations is completed (Yes in S34), the similarity calculation process is terminated, and the process proceeds to S12 of the control process shown in FIG.
図14に戻り、算出部41は、速度算出処理を実行する(S12)。 Returning to FIG. 14, the calculation unit 41 executes a speed calculation process (S12).
図16は、速度算出処理の手順の一例を示すフローチャートである。この速度算出処理は、所定のタイミング、例えば、制御処理のS12から実行される。 FIG. 16 is a flowchart illustrating an example of a procedure of speed calculation processing. This speed calculation process is executed at a predetermined timing, for example, S12 of the control process.
図16に示すように、算出部41は、人物追跡情報31の時刻が最も新しい画像に人物領域が2以上含まれるか否かを判定する(S50)。画像に人物領域が2以上含まれない場合(S50否定)、速度算出処理を終了して、図14に示した制御処理のS13へ移行する。 As illustrated in FIG. 16, the calculation unit 41 determines whether or not two or more person regions are included in the image with the latest time of the person tracking information 31 (S50). If the image does not include two or more person areas (No at S50), the speed calculation process is terminated, and the process proceeds to S13 of the control process shown in FIG.
一方、画像に人物領域が2以上含まれる場合(S50肯定)、算出部41は、人物領域間の類似度から、人物領域に互いに類似する人物領域があるか否かを判定する(S51)。人物領域に互いに類似する人物領域がない場合(S51否定)、速度算出処理を終了して、図14に示した制御処理のS13へ移行する。 On the other hand, when the image includes two or more person areas (Yes in S50), the calculation unit 41 determines whether there are person areas similar to each other in the person areas based on the similarity between the person areas (S51). If there is no person area similar to each other in the person area (No in S51), the speed calculation process is terminated, and the process proceeds to S13 of the control process shown in FIG.
一方、人物領域に互いに類似する人物領域がある場合(S51肯定)、算出部41は、人物追跡情報31を参照して人物領域ごとに、人物領域の移動量を特定する(S52)。算出部41は、人物領域ごとに、人物領域の移動量から移動速度を算出し(S53)、速度算出処理を終了して、図14に示した制御処理のS13へ移行する。
On the other hand, when there are person areas similar to each other in the person area (Yes in S51), the calculation unit 41 refers to the
図14に戻り、撮影制御部42は、フレームレート制御処理を実行する(S13)。 Returning to FIG. 14, the imaging control unit 42 executes a frame rate control process (S13).
図17は、フレームレート制御処理の手順の一例を示すフローチャートである。このフレームレート制御処理は、所定のタイミング、例えば、制御処理のS13から実行される。 FIG. 17 is a flowchart illustrating an example of the procedure of the frame rate control process. This frame rate control process is executed at a predetermined timing, for example, S13 of the control process.
図17に示すように、撮影制御部42は、人物追跡情報31の時刻が最も新しい画像に人物領域が2以上含まれるか否かを判定する(S70)。画像に人物領域が2以上含まれない場合(S70否定)、後述するS74へ移行する。 As illustrated in FIG. 17, the imaging control unit 42 determines whether or not two or more person regions are included in the image with the latest time of the person tracking information 31 (S70). When two or more person areas are not included in the image (No in S70), the process proceeds to S74 described later.
一方、画像に人物領域が2以上含まれる場合(S70肯定)、撮影制御部42は、人物領域間の類似度から、複数の人物領域に互いに類似する人物領域があるか否かを判定する(S71)。人物領域に互いに類似する人物領域がない場合(S71否定)、後述するS74へ移行する。 On the other hand, when the image includes two or more person areas (Yes in S70), the imaging control unit 42 determines whether there are person areas similar to each other in the plurality of person areas based on the similarity between the person areas ( S71). If there is no person area similar to each other in the person area (No in S71), the process proceeds to S74 described later.
一方、人物領域に互いに類似する人物領域がある場合(S71肯定)、撮影制御部42は、撮影された画像の複数の人物領域について、選択可能な複数のフレームレートそれぞれの次の撮影タイミングでの移動位置をそれぞれ予測する(S72)。撮影制御部42は、予測された移動位置の間の距離が予測誤差よりも大きいフレームレートを監視カメラ12のフレームレートと決定する(S73)。 On the other hand, when there are person areas similar to each other in the person area (Yes in S71), the shooting control unit 42 at the next shooting timing of each of a plurality of selectable frame rates for a plurality of person areas of the shot image. Each movement position is predicted (S72). The imaging control unit 42 determines the frame rate at which the distance between the predicted movement positions is larger than the prediction error as the frame rate of the monitoring camera 12 (S73).
一方、撮影制御部42は、選択可能な複数のフレームレートのうち、最も低いフレームレートを監視カメラ12のフレームレートと決定する(S74)。 On the other hand, the imaging control unit 42 determines the lowest frame rate among the selectable frame rates as the frame rate of the monitoring camera 12 (S74).
撮影制御部42は、決定したフレームレートを指示する指示情報を監視カメラ12へ送信し(S75)、フレームレート制御処理を終了して、図14に示した制御処理のS14へ移行する。 The imaging control unit 42 transmits instruction information indicating the determined frame rate to the monitoring camera 12 (S75), ends the frame rate control process, and proceeds to S14 of the control process illustrated in FIG.
図14に戻り、特定部43は、人物検出処理を実行する(S14)。
Returning to FIG. 14, the specifying
図18は、人物検出処理の手順の一例を示すフローチャートである。この人物検出処理は、所定のタイミング、例えば、制御処理のS14から実行される。 FIG. 18 is a flowchart illustrating an example of a procedure of person detection processing. This person detection process is executed at a predetermined timing, for example, S14 of the control process.
図18に示すように、特定部43は、取得部40により取得された時刻tの画像と、記憶部21に記憶された時刻t−1の画像との背景差分を求める(S100)。特定部43は、最も新しい画像内で1フレーム前の画像から一定以上変化がある領域を人物領域の候補と特定する(S101)。
As illustrated in FIG. 18, the specifying
特定部43は、人物の正解データを用いて人物領域の特徴を学習した識別器を用いて、人物領域の候補が人物であるか判定する(S102)。特定部43は、1フレーム前の画像で特定済みの人物領域と、人物であると判定された人物領域との重複率を算出する(S103)。特定部43は、重複率が閾値th以上であるか否かを判定する(S104)。重複率が閾値th以上である場合(S104肯定)、特定部43は、特定済みの人物領域と同じ人物IDで人物領域に関する情報を人物追跡情報31に登録し(S105)、人物検出処理を終了して、図14に示した制御処理のS15へ移行する。例えば、特定部43は、人物領域に関する情報として、人物領域のx座標、y座標、高さ、幅、撮影のフレームレートを人物追跡情報31に登録する。
The
一方、重複率が所定の閾値th未満の場合(S104否定)、特定部43は、新たな人物IDを付与する。特定部43は、付与した人物IDで人物領域の人物領域に関する情報を人物追跡情報31に登録し(S106)、人物検出処理を終了して、図14に示した制御処理のS15へ移行する。
On the other hand, when the duplication rate is less than the predetermined threshold th (No in S104), the specifying
図14に戻り、追跡部44は、人物追跡処理を実行する(S15)。
Returning to FIG. 14, the
図19は、人物追跡処理の手順の一例を示すフローチャートである。この人物追跡処理は、所定のタイミング、例えば、制御処理のS15から実行される。 FIG. 19 is a flowchart illustrating an example of the procedure of the person tracking process. This person tracking process is executed at a predetermined timing, for example, S15 of the control process.
図19に示すように、追跡部44は、人物IDごとに、何れかの画像での人物領域の位置と人物領域の移動速度に基づいて、撮影された最新の画像での人物領域の移動位置を予測する(S120)。追跡部44は、予測した移動位置からx軸、y軸にそれぞれr画素のマッチング範囲を定める(S121)。追跡部44は、時刻t−1の画像での人物領域をテンプレートとして、マッチング範囲内をパターンマッチングし、特徴が類似する人物領域を求める(S122)。例えば、追跡部44は、マッチング範囲内で対象領域を網羅するように移動させてテンプレートTとの類似度を求めることを繰返す。
As shown in FIG. 19, the
追跡部44は、算出された類似度の最大値が所定の閾値以上である場合、最大値となった類似度が算出された対象領域を、テンプレートTの人物領域に関連付ける(S123)。追跡部44は、対象領域を人物領域として、テンプレートTの人物領域と同じ人物IDで、人物領域に関する情報を人物追跡情報31に登録し(S124)、人物追跡処理を終了して、図14に示した制御処理のS16へ移行する。
When the calculated maximum value of the similarity is equal to or greater than a predetermined threshold, the
図14に戻り、取得部40は、処理を終了するか否かを判定する(S16)。例えば、処理終了の指示を受け付けた場合、取得部40は、処理終了と判定する。処理終了である場合(S16肯定)、制御処理を終了する。一方、処理終了ではない場合(S16否定)、上述のS10へ移行する。 Returning to FIG. 14, the acquisition unit 40 determines whether or not to end the process (S <b> 16). For example, when an instruction to end the process is received, the acquisition unit 40 determines that the process is to end. If the process is finished (Yes at S16), the control process is finished. On the other hand, if the process is not finished (No at S16), the process proceeds to S10 described above.
[効果]
撮影制御装置11は、監視カメラ12により撮影された画像から人物領域を特定する。撮影制御装置11は、監視カメラ12により撮影された画像に複数の人物領域が特定された場合、監視カメラ12により撮影された複数の画像から複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出する。撮影制御装置11は、特定した複数の人物領域の画像における位置関係と複数の人物領域の移動速度に基づいて、監視カメラ12のフレームレートを制御する。このように、撮影制御装置11は、複数の人物領域の位置と移動速度を用いることにより、次回の撮影時に人物領域がどこに位置するか予測できる。これにより、撮影制御装置11は、次回の撮影時の人物領域の位置が追跡精度の低下が発生しやすい状況であるかを予測できる。図20および図21は、人物領域の移動の一例を示す図である。図20は、人物領域Aと人物領域Bが近づくように移動しており、次回の撮影時に人物領域Aと人物領域Bが重なることが予測される。画像内で人物領域Aと人物領域Bが重なると、人物の追跡で誤対応が発生しやすい。よって、図20は、追跡精度の低下が発生しやすい状況である。図21は、人物領域Aと人物領域Bが平行に移動しており、次回の撮影時でも人物領域Aと人物領域Bの距離が保たれる。よって、図20は、追跡精度の低下が発生し難い状況である。図20および図21は、人物領域Aと人物領域Bの位置が同様である。しかし、撮影制御装置11は、人物領域の位置と移動速度を用いることにより、次回の撮影時が追跡精度の低下が発生しやすい状況であるかを判別できる。撮影制御装置11は、次回の撮影が追跡精度の低下が発生しやすい状況である場合、例えば、監視カメラ12のフレームレートを高く変更することにより、誤対応や誤検出の発生を抑制でき、追跡精度の低下を抑制できる。また、撮影制御装置11は、次回の撮影が誤検出の発生し難い状況である場合、例えば、監視カメラ12のフレームレートを低く抑えることで、処理の負荷を制御できる。
[effect]
The
また、撮影制御装置11は、撮影された画像に複数の人物領域が特定された場合、所定の複数のフレームレートそれぞれの次の撮影タイミングでの複数の人物領域の移動位置を予測する。撮影制御装置11は、予測された移動位置の間の距離が、複数の人物領域それぞれの位置関係および移動速度から予測された人物領域の位置と実際の人物領域の位置との差から求めた予測誤差よりも大きいフレームレートに監視カメラ12のフレームレートを制御する。人物領域の移動位置の間の距離が予測誤差以下となる状況は、誤対応や誤検出の発生しやすく、追跡精度の低下が発生しやすい状況である。そこで、撮影制御装置11は、複数のフレームレート毎に次回撮像時の各人物領域の位置を予測する。撮影制御装置11は、各人物領域の距離が予測誤差より大きいフレームレートに変更する。図22は、フレームレートを変更する一例を示す図である。図22の左側は、監視カメラ12が複数のフレームレートのうち、最も低いフレームレートで時刻tまで撮影した画像を示している。時刻t−1〜時刻tの画像には、人物領域Aと人物領域Bが含まれている。図22の左側では、次の撮影タイミングである時刻t+1で人物領域Aと人物領域Bが重なることが予測される。この場合、撮影制御装置11は、人物領域Aと人物領域Bの間の距離が予測誤差よりも大きいフレームレートに監視カメラ12のフレームレートを変更する。図22の右側は、時刻tで撮影制御装置11が監視カメラ12のフレームレートを変更し、時刻t’で撮影された画像が示されている。時刻t’の画像は、人物領域Aと人物領域Bの間の距離が予測誤差ε以上保たれる。これにより、撮影制御装置11は、誤対応や誤検出の発生を抑制できるため、追跡精度の低下を抑制できる。また、図22の右側では、時刻t’の時点において最も低いフレームレートで予測される時刻t’+1の人物領域Aと人物領域Bの間の距離が予測誤差εよりも大きい。よって、撮影制御装置11は、時刻t’の時点で監視カメラ12のフレームレートを最も低いフレームレートに変更する。これにより、撮影制御装置11は、処理の負荷を制御できる。
In addition, when a plurality of person areas are specified in the captured image, the
また、撮影制御装置11は、移動位置の間の距離が予測誤差よりも大きいフレームレートが複数ある場合、移動位置の間の距離が予測誤差よりも大きい複数のフレームレートのうち、最も低いフレームレートに監視カメラ12のフレームレートを制御する。これにより、撮影制御装置11は、追跡精度の低下を抑制しつつ、処理の負荷を制御できる。
In addition, when there are a plurality of frame rates in which the distance between the moving positions is larger than the prediction error, the
また、撮影制御装置11は、移動位置の間の距離が予測誤差よりも大きいフレームレートにおいて予測された移動位置が、画像の縁から所定範囲の領域に位置する場合、次の処理を行う。撮影制御装置11は、複数のフレームレートのうち、最も高いフレームレートに監視カメラ12のフレームレートを制御する。画像の縁に近い部分は、人物領域の一部が途切れる場合や、新たに出現した人物領域であると誤検出されやすい。一方、監視カメラ12は、フレームレートを高くすると、短い撮影周期で撮影するため、撮影された画像間の変化が小さくなる。画像間の変化が小さいと、追跡の精度は、向上する。撮影制御装置11は、人物領域の移動位置が縁に近く誤検出等が発生しやすい状況でフレームレートを高くすることにより、追跡精度の低下を抑制できる。
In addition, when the movement position predicted at the frame rate in which the distance between the movement positions is larger than the prediction error is located in a predetermined range from the edge of the image, the
また、撮影制御装置11は、撮影された画像に複数の人物領域が特定されない場合、所定の複数のフレームレートのうち、最も低いフレームレートに監視カメラ12のフレームレートを制御する。撮影された画像に複数の人物領域が含まれない状況は、誤対応や誤検出の発生し難く、追跡精度の低下が発生し難い状況である。撮影制御装置11は、追跡精度の低下が発生し難い状況である場合、最も低いフレームレートに監視カメラ12のフレームレートを制御する。これにより、撮影制御装置11は、処理の負荷を制御できる。
In addition, when a plurality of person regions are not specified in the captured image, the
また、撮影制御装置11は、撮影された画像に複数の人物領域が特定され、かつ、当該複数の人物領域に互いに類似する人物領域がある場合、監視カメラ12のフレームレートを制御する。撮影された画像に互いに類似する人物領域があると、誤対応が発生しやすい。撮影制御装置11は、次回の撮影が追跡精度の低下が発生しやすい状況である場合、監視カメラ12のフレームレートを変更することにより、追跡精度の低下が発生しやすい状況を回避でき、追跡精度の低下を抑制できる。
In addition, the
また、撮影制御装置11は、人物領域の位置と人物領域の移動速度に基づいて、撮影された画像での人物領域の移動位置を予測する。撮影制御装置11は、予測した移動位置を基準とした所定範囲内で特徴が類似する人物領域を関連付けて人物を追跡する。これにより、撮影制御装置11は、同じ人物の人物領域を精度よく関連付けることができるため、人物を追跡精度が向上する。
Further, the
また、撮影制御装置11は、撮影された画像と当該画像の1フレーム前の画像との差分から人物領域を特定する。監視カメラ12は、屋外など様々な状況に設置される。画像に写る人物は、体形、着衣の色、障害物、及び明るさ変化等や様々状況があり、人物領域の特定し難い。しかし、撮影制御装置11は、撮影された画像と当該画像の1フレーム前の画像との差分から人物領域を特定することにより、監視カメラ12の設置の状況や人物の状況によらず、人物領域を精度よく特定できる。
Further, the
また、撮影制御装置11は、差分から特定された人物領域と1フレーム前の人物領域との重複率が所定の閾値以上の場合、差分から特定された人物領域を1フレーム前の画像の人物領域と同じ人物の人物領域と特定する。撮影制御装置11は、重複率が所定の閾値未満の場合、差分から特定された人物領域を新たな人物の人物領域と特定する。これにより、撮影制御装置11は、撮影された画像から特定済みの人物の人物領域や新たな人物の人物領域を精度よく識別できる。
In addition, when the overlapping rate between the person area identified from the difference and the person area one frame before is equal to or greater than a predetermined threshold, the
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてもよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although the embodiments related to the disclosed apparatus have been described so far, the disclosed technology may be implemented in various different forms other than the above-described embodiments. Therefore, another embodiment included in the present invention will be described below.
例えば、上記実施例の各処理の順序は、一例であり、一部の処理の順序が入れ替わってもよい。例えば、制御処理は、類似度算出処理、速度算出処理、フレームレート制御処理、人物検出処理、人物追跡処理の順序が入れ替わってもよい。 For example, the order of the processes in the above embodiment is an example, and the order of some processes may be changed. For example, in the control process, the order of similarity calculation process, speed calculation process, frame rate control process, person detection process, and person tracking process may be switched.
図23は、実施例2に係る制御処理の手順の一例を示すフローチャートである。実施例2に係る制御処理は、図14に示した制御処理と一部が同一であるため、同一の部分については同一の符号を付し、主に異なる部分について説明する。実施例2に係る制御処理は、人物検出処理および人物追跡処理が、類似度算出処理、速度算出処理およびフレームレート制御処理の前に行われる。 FIG. 23 is a flowchart illustrating an example of a procedure of control processing according to the second embodiment. Since the control processing according to the second embodiment is partially the same as the control processing shown in FIG. 14, the same portions are denoted by the same reference numerals, and different portions are mainly described. In the control process according to the second embodiment, the person detection process and the person tracking process are performed before the similarity calculation process, the speed calculation process, and the frame rate control process.
図23に示すように、画像データを受信した場合(S10肯定)、撮影制御部42は、取得部40により取得された時刻tの画像に対して、人物検出処理を実行する(S11A)。次に、撮影制御部42は、人物追跡処理を実行する(S12A)。これにより、取得部40により取得された時刻tの画像から人物領域が検出されて人物追跡情報31に登録される。
As shown in FIG. 23, when image data is received (Yes at S10), the imaging control unit 42 performs a person detection process on the image at time t acquired by the acquisition unit 40 (S11A). Next, the imaging control unit 42 executes a person tracking process (S12A). As a result, a person region is detected from the image at time t acquired by the acquisition unit 40 and registered in the
算出部41は、取得部40により取得された時刻tの画像に対して、類似度算出処理を実行する(S13A)。算出部41は、時刻tの画像に対して、速度算出処理を実行する(S14A)。撮影制御部42は、時刻tの画像も含めた複数の画像を用いて、フレームレート制御処理を実行する(S15A)。図23に示すように、制御処理は、一部の処理の順序が入れ替わっても、撮影を制御できる。 The calculation unit 41 performs similarity calculation processing on the image at time t acquired by the acquisition unit 40 (S13A). The calculation unit 41 performs a speed calculation process on the image at time t (S14A). The imaging control unit 42 performs a frame rate control process using a plurality of images including the image at time t (S15A). As shown in FIG. 23, the control process can control photographing even when the order of some processes is changed.
また、上記実施例では、撮影制御部42は、撮影された画像に複数の人物領域が特定され、かつ、当該複数の人物領域に互いに類似する人物領域がある場合、監視カメラ12のフレームレートを制御する場合を例示した。しかしながら、これらに限定されるものではない。例えば、撮影制御部42は、撮影された画像に複数の人物領域が特定された場合、監視カメラ12のフレームレートを制御してもよい。すなわち、撮影制御部42は、類似する人物領域が無くても、複数の人物領域が特定されたことを条件として、監視カメラ12のフレームレートを制御してもよい。
In the above embodiment, the imaging control unit 42 determines the frame rate of the
また、撮影制御部42は、撮影された画像に複数の人物領域が特定され、かつ、当該複数の人物領域に類似する人物領域がある場合、監視カメラ12のフレームレートを高く制御してもよい。すなわち、撮影制御部42は、人物領域間の距離に関わらず、類似する人物領域があることを条件として、監視カメラ12のフレームレートを制御してもよい。例えば、撮影制御部42は、類似度が高いほど、フレームレートを高く制御してもよい。撮影制御部42は、類似度の閾値を段階的に定める。例えば、撮影制御部42は、類似度の閾値t1、t2を定める。閾値t1、t2は、t1>t2であるものとする。撮影制御部42は、類似度が閾値t1以上の場合、フレームレートを30fpsと決定し、類似度が閾値t1未満かつ閾値t2以上の場合、フレームレートを15fpsと決定し、閾値t2未満の場合、フレームレートを5fpsと決定してもよい。
Further, the shooting control unit 42 may control the frame rate of the
図24は、実施例2に係るフレームレート制御処理の手順の一例を示すフローチャートである。実施例2に係るフレームレート制御処理は、図17に示したフレームレート制御処理と一部が同一であるため、同一の部分については同一の符号を付し、主に異なる部分について説明する。 FIG. 24 is a flowchart illustrating an exemplary procedure of a frame rate control process according to the second embodiment. The frame rate control process according to the second embodiment is partially the same as the frame rate control process illustrated in FIG. 17, and thus the same parts are denoted by the same reference numerals, and different parts are mainly described.
図24に示すように、人物領域に互いに類似する人物領域がある場合(S71肯定)、撮影制御部42は、人物領域間の類似度に応じてフレームレートを決定する(S73A)。例えば、撮影制御部42は、人物領域間の類似度の最大値が閾値t1以上の場合、フレームレートを30fpsと決定する。撮影制御部42は、最大値が閾値t1未満かつ閾値t2以上の場合、フレームレートを15fpsと決定する。撮影制御部42は、閾値t2未満の場合、フレームレートを5fpsと決定する。ところで、人物領域間の類似度の最大値が閾値t1以上ではないものの、人物領域間の類似度が閾値t1未満かつ閾値t2以上のものが複数あり、全体としては追跡精度が低下しやすい場合がある。そこで、撮影制御部42は、人物領域間の類似度が高い順に上位から所定数の類似度を加算し、類似度の加算値に応じてフレームレートを決定してもよい。これにより、類似度の最大値は、多くないもものの、全体としては追跡精度が低下しやすい場合でも、追跡精度の低下を抑制できる。 As shown in FIG. 24, when there are person areas similar to each other in the person area (Yes in S71), the imaging control unit 42 determines the frame rate according to the similarity between the person areas (S73A). For example, the imaging control unit 42 determines the frame rate to be 30 fps when the maximum similarity between person areas is equal to or greater than the threshold value t1. The imaging control unit 42 determines the frame rate to be 15 fps when the maximum value is less than the threshold value t1 and greater than or equal to the threshold value t2. The imaging control unit 42 determines the frame rate to be 5 fps when it is less than the threshold value t2. By the way, although the maximum similarity between person regions is not equal to or greater than the threshold t1, there are a plurality of similarities between person regions that are less than the threshold t1 and greater than or equal to the threshold t2, and the tracking accuracy as a whole is likely to decrease. is there. Therefore, the imaging control unit 42 may add a predetermined number of similarities from the top in descending order of similarity between person regions, and determine the frame rate according to the added value of similarities. Thereby, although the maximum value of the similarity is not large, even when the tracking accuracy tends to be reduced as a whole, it is possible to suppress the deterioration of the tracking accuracy.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部40、算出部41、撮影制御部42、特定部43および追跡部44の各処理部が適宜統合されてもよい。また、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific state of distribution / integration of each device is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the acquisition unit 40, the calculation unit 41, the imaging control unit 42, the specifying
[撮影制御プログラム]
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図25は、撮影制御プログラムを実行するコンピュータを示す図である。
[Shooting control program]
The various processes described in the above embodiments can also be realized by executing a program prepared in advance on a computer system such as a personal computer or a workstation. Therefore, in the following, an example of a computer system that executes a program having the same function as in the above embodiment will be described. FIG. 25 is a diagram illustrating a computer that executes an imaging control program.
図25に示すように、コンピュータ300は、CPU(Central Processing Unit)310、HDD(Hard Disk Drive)320、RAM(Random Access Memory)340を有する。これら310〜340の各部は、バス400を介して接続される。
As shown in FIG. 25, the
HDD320には上記の取得部40、算出部41、撮影制御部42、特定部43および追跡部44の各処理部と同様の機能を発揮する撮影制御プログラム320aが予め記憶される。なお、撮影制御プログラム320aについては、適宜分離しても良い。
The HDD 320 stores in advance a
また、HDD320は、各種の情報を記憶する。例えば、HDD320は、OSや処理に用いる各種データを記憶する。 The HDD 320 stores various types of information. For example, the HDD 320 stores various data used for the OS and processing.
CPU310が、撮影制御プログラム320aをHDD320から読み出して実行することで、取得部40、算出部41、撮影制御部42、特定部43および追跡部44と同様の動作を実行する。すなわち、撮影制御プログラム320aは、取得部40、算出部41、撮影制御部42、特定部43および追跡部44と同様の動作を実行する。
The CPU 310 reads out and executes the
なお、上記した撮影制御プログラム320aについては、必ずしも最初からHDD320に記憶させることを要しない。
Note that the above-described
例えば、コンピュータ300に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ300がこれらからプログラムを読み出して実行するようにしてもよい。
For example, the program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into the
さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ300に接続される「他のコンピュータ(またはサーバ)」などにプログラムを記憶させておく。そして、コンピュータ300がこれらからプログラムを読み出して実行するようにしてもよい。
Furthermore, the program is stored in “another computer (or server)” connected to the
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following supplementary notes are further disclosed with respect to the embodiments including the above examples.
(付記1)撮影装置により撮影された画像から人物領域を特定し、
撮影された前記画像に複数の人物領域が特定された場合、前記撮影装置により撮影された複数の画像から前記複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出し、
特定した前記複数の人物領域の前記画像における位置関係と前記複数の人物領域の移動速度に基づいて、前記撮影装置のフレームレートを制御する
処理をコンピュータに実行させることを特徴とする撮影制御プログラム。
(Supplementary note 1) A person area is specified from an image taken by a photographing apparatus,
When a plurality of person areas are specified in the captured image, the positional relationship and the moving speed of each of the plurality of person areas are calculated from the plurality of images captured by the imaging device, respectively.
An imaging control program that causes a computer to execute a process for controlling a frame rate of the imaging apparatus based on a positional relationship of the plurality of identified human areas in the image and a moving speed of the multiple human areas.
(付記2)前記制御する処理は、前記撮影された画像に複数の人物領域が特定された場合、所定の複数のフレームレートそれぞれの次の撮影タイミングでの前記複数の人物領域の移動位置を予測し、予測された移動位置の間の距離が、前記複数の人物領域それぞれの位置関係および移動速度から予測された人物領域の位置と実際の人物領域の位置との差から求めた予測誤差よりも大きいフレームレートに前記撮影装置のフレームレートを制御する
ことを特徴とする付記1に記載の撮影制御プログラム。
(Supplementary Note 2) When a plurality of person areas are specified in the captured image, the control process predicts the movement positions of the plurality of person areas at the next shooting timing for each of a plurality of predetermined frame rates. The distance between the predicted movement positions is larger than the prediction error obtained from the difference between the position of the person area predicted from the positional relationship and movement speed of each of the plurality of person areas and the position of the actual person area. The imaging control program according to
(付記3)前記制御する処理は、前記移動位置の間の距離が予測誤差よりも大きいフレームレートが複数ある場合、前記移動位置の間の距離が予測誤差よりも大きい複数のフレームレートのうち、最も低いフレームレートに前記撮影装置のフレームレートを制御する
ことを特徴とする付記2に記載の撮影制御プログラム。
(Supplementary Note 3) When there are a plurality of frame rates in which the distance between the moving positions is larger than a prediction error, the processing to be controlled includes a plurality of frame rates in which the distance between the moving positions is larger than the prediction error. The shooting control program according to
(付記4)前記制御する処理は、移動位置の間の距離が予測誤差よりも大きいフレームレートにおいて予測された移動位置が、画像の縁から所定範囲の領域に位置する場合、前記複数のフレームレートのうち、最も高いフレームレートに前記撮影装置のフレームレートを制御する
ことを特徴とする付記2または3に記載の撮影制御プログラム。
(Supplementary Note 4) When the movement position predicted at a frame rate in which the distance between the movement positions is larger than the prediction error is located in a region within a predetermined range from the edge of the image, the process to be controlled is the plurality of frame rates. The shooting control program according to
(付記5)前記制御する処理は、前記撮影された画像に複数の人物領域が特定されない場合、所定の複数のフレームレートのうち、最も低いフレームレートに前記撮影装置のフレームレートを制御する
ことを特徴とする付記1〜4の何れか1つに記載の撮影制御プログラム。
(Supplementary Note 5) When the plurality of human regions are not specified in the captured image, the control process controls the frame rate of the imaging device to the lowest frame rate among a plurality of predetermined frame rates. The imaging control program according to any one of
(付記6)前記制御する処理は、前記撮影された画像に複数の人物領域が特定され、かつ、当該複数の人物領域に互いに類似する人物領域がある場合、前記撮影装置のフレームレートを制御する
ことを特徴とする付記1〜5の何れか1つに記載の撮影制御プログラム。
(Additional remark 6) The said process to control controls the frame rate of the said imaging device, when a several person area | region is specified to the image | photographed image, and there exist a person area | region similar to the said several person area | region. The imaging control program according to any one of
(付記7)前記人物領域の位置と前記人物領域の移動速度に基づいて、前記撮影された画像での人物領域の移動位置を予測し、予測した移動位置を基準とした所定範囲内で特徴が類似する人物領域を関連付けて人物を追跡する
処理をコンピュータにさらに実行させることを特徴とする付記1〜6の何れか1つに記載の撮影制御プログラム。
(Supplementary note 7) Based on the position of the person area and the movement speed of the person area, the movement position of the person area in the captured image is predicted, and the feature is within a predetermined range based on the predicted movement position. The imaging control program according to any one of
(付記8)前記特定する処理は、前記撮影された画像と当該画像の1つ前に撮影された画像との差分から人物領域を特定する
ことを特徴とする付記1〜7の何れか1つに記載の撮影制御プログラム。
(Supplementary note 8) Any one of
(付記9)前記差分から特定された人物領域と前記1つ前に撮影された画像の人物領域との重複率が所定の閾値以上の場合、前記差分から特定された人物領域を前記1つ前に撮影された画像の人物領域と同じ人物の人物領域と特定し、前記重複率が所定の閾値未満の場合、前記差分から特定された人物領域を新たな人物の人物領域と特定する
処理をさらにコンピュータに実行させることを特徴とする付記8に記載の撮影制御プログラム。
(Supplementary Note 9) When the overlapping rate between the person area specified from the difference and the person area of the image taken immediately before is equal to or greater than a predetermined threshold, the person area specified from the difference is set to the previous one A process of identifying a person area of the same person as the person area of the image taken in the image and identifying the person area identified from the difference as a person area of a new person when the overlap ratio is less than a predetermined threshold. The imaging control program according to
(付記10)撮影装置により撮影された画像から人物領域を特定し、
撮影された前記画像に複数の人物領域が特定された場合、前記撮影装置により撮影された複数の画像から前記複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出し、
特定した前記複数の人物領域の前記画像における位置関係と前記複数の人物領域の移動速度に基づいて、前記撮影装置のフレームレートを制御する
処理をコンピュータが実行することを特徴とする撮影制御方法。
(Appendix 10) A person region is identified from an image photographed by the photographing device,
When a plurality of person areas are specified in the captured image, the positional relationship and the moving speed of each of the plurality of person areas are calculated from the plurality of images captured by the imaging device, respectively.
A photographing control method, wherein the computer executes a process of controlling a frame rate of the photographing device based on a positional relationship in the image of the plurality of identified human regions and a moving speed of the plural human regions.
(付記11)撮影装置により撮影された画像から人物領域を特定する特定部と、
前記特定部により、撮影された前記画像に複数の人物領域が特定された場合、前記撮影装置により撮影された複数の画像から前記複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出する算出部と、
前記特定部により特定した前記複数の人物領域の前記画像における位置関係と前記算出部により算出した前記複数の人物領域の移動速度に基づいて、前記撮影装置のフレームレートを制御する制御部と、
を有することを特徴とする撮影制御装置。
(Additional remark 11) The specific part which specifies a person area | region from the image image | photographed with the imaging device,
When the specifying unit specifies a plurality of person regions in the captured image, the calculation calculates the positional relationship and the moving speed of each of the plurality of person regions from the plurality of images captured by the photographing device. And
A control unit for controlling a frame rate of the photographing apparatus based on a positional relationship in the image of the plurality of person regions specified by the specifying unit and a moving speed of the plurality of person regions calculated by the calculation unit;
An imaging control apparatus comprising:
(付記12)撮影装置により撮影された画像から人物領域を特定し、
前記撮影された画像に複数の人物領域が特定され、かつ、当該複数の人物領域に類似する人物領域がある場合、前記撮影装置のフレームレートを高く制御する
処理をコンピュータに実行させることを特徴とする撮影制御プログラム。
(Supplementary Note 12) A person region is specified from an image photographed by the photographing apparatus,
When a plurality of person areas are specified in the photographed image and there are person areas similar to the plurality of person areas, the computer is caused to execute a process for controlling the frame rate of the photographing apparatus to be high. Shooting control program.
10 システム
11 撮影制御装置
12 監視カメラ
21 記憶部
22 制御部
30 画像データ
31 人物追跡情報
40 取得部
41 算出部
42 撮影制御部
43 特定部
44 追跡部
10
Claims (12)
撮影された前記画像に複数の人物領域が特定された場合、前記撮影装置により撮影された複数の画像から前記複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出し、
特定した前記複数の人物領域の前記画像における位置関係と前記複数の人物領域の移動速度に基づいて、前記撮影装置のフレームレートを制御する
処理をコンピュータに実行させることを特徴とする撮影制御プログラム。 The person area is identified from the image taken by the photographing device,
When a plurality of person areas are specified in the captured image, the positional relationship and the moving speed of each of the plurality of person areas are calculated from the plurality of images captured by the imaging device, respectively.
An imaging control program that causes a computer to execute a process for controlling a frame rate of the imaging apparatus based on a positional relationship of the plurality of identified human areas in the image and a moving speed of the multiple human areas.
ことを特徴とする請求項1に記載の撮影制御プログラム。 The control process predicts a movement position of the plurality of person areas at a next shooting timing at each of a plurality of predetermined frame rates when a plurality of person areas are specified in the captured image. The distance between the moving positions is larger than the prediction error obtained from the difference between the position of the person area predicted from the positional relationship and the moving speed of each of the plurality of person areas and the position of the actual person area. The shooting control program according to claim 1, wherein a frame rate of the shooting apparatus is controlled.
ことを特徴とする請求項2に記載の撮影制御プログラム。 In the case where there are a plurality of frame rates in which the distance between the moving positions is larger than the prediction error, the processing to be controlled is the lowest frame rate among the plurality of frame rates in which the distance between the moving positions is larger than the prediction error. The imaging control program according to claim 2, further comprising: controlling a frame rate of the imaging apparatus.
ことを特徴とする請求項2または3に記載の撮影制御プログラム。 The control process is performed when the movement position predicted at a frame rate in which the distance between the movement positions is larger than the prediction error is located in a region within a predetermined range from the edge of the image. The shooting control program according to claim 2, wherein the frame rate of the shooting apparatus is controlled to a high frame rate.
ことを特徴とする請求項1〜4の何れか1つに記載の撮影制御プログラム。 The control process includes controlling the frame rate of the imaging device to a lowest frame rate among a plurality of predetermined frame rates when a plurality of person regions are not specified in the captured image. Item 5. The shooting control program according to any one of Items 1 to 4.
ことを特徴とする請求項1〜5の何れか1つに記載の撮影制御プログラム。 The control process includes controlling a frame rate of the photographing apparatus when a plurality of person areas are specified in the photographed image and the person areas are similar to each other. The photography control program according to any one of claims 1 to 5.
処理をコンピュータにさらに実行させることを特徴とする請求項1〜6の何れか1つに記載の撮影制御プログラム。 Based on the position of the person area and the movement speed of the person area, the movement position of the person area in the captured image is predicted, and the person area having similar characteristics within a predetermined range based on the predicted movement position The photographing control program according to claim 1, further causing the computer to execute processing for tracking a person in association with each other.
ことを特徴とする請求項1〜7の何れか1つに記載の撮影制御プログラム。 The said process to specify specifies a person area | region from the difference of the said image | photographed image and the image image | photographed immediately before the said image. The Claim 1 characterized by the above-mentioned. Shooting control program.
処理をさらにコンピュータに実行させることを特徴とする請求項8に記載の撮影制御プログラム。 When the overlapping ratio between the person area specified from the difference and the person area of the image taken immediately before is equal to or greater than a predetermined threshold, the person area specified from the difference was taken before the one A person area of the same person as the person area of the image is specified, and if the overlap ratio is less than a predetermined threshold, the computer further executes a process of specifying the person area specified from the difference as a person area of a new person The imaging control program according to claim 8, wherein:
撮影された前記画像に複数の人物領域が特定された場合、前記撮影装置により撮影された複数の画像から前記複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出し、
特定した前記複数の人物領域の前記画像における位置関係と前記複数の人物領域の移動速度に基づいて、前記撮影装置のフレームレートを制御する
処理をコンピュータが実行することを特徴とする撮影制御方法。 The person area is identified from the image taken by the photographing device,
When a plurality of person areas are specified in the captured image, the positional relationship and the moving speed of each of the plurality of person areas are calculated from the plurality of images captured by the imaging device, respectively.
A photographing control method, wherein the computer executes a process of controlling a frame rate of the photographing device based on a positional relationship in the image of the plurality of identified human regions and a moving speed of the plural human regions.
前記特定部により、撮影された前記画像に複数の人物領域が特定された場合、前記撮影装置により撮影された複数の画像から前記複数の人物領域それぞれの位置関係、および移動速度をそれぞれ算出する算出部と、
前記特定部により特定した前記複数の人物領域の前記画像における位置関係と前記算出部により算出した前記複数の人物領域の移動速度に基づいて、前記撮影装置のフレームレートを制御する制御部と、
を有することを特徴とする撮影制御装置。 A specifying unit for specifying a person area from an image taken by a photographing device;
When the specifying unit specifies a plurality of person regions in the captured image, the calculation calculates the positional relationship and the moving speed of each of the plurality of person regions from the plurality of images captured by the photographing device. And
A control unit for controlling a frame rate of the photographing apparatus based on a positional relationship in the image of the plurality of person regions specified by the specifying unit and a moving speed of the plurality of person regions calculated by the calculation unit;
An imaging control apparatus comprising:
前記撮影された画像に複数の人物領域が特定され、かつ、当該複数の人物領域に類似する人物領域がある場合、前記撮影装置のフレームレートを高く制御する
処理をコンピュータに実行させることを特徴とする撮影制御プログラム。 The person area is identified from the image taken by the photographing device,
When a plurality of person areas are specified in the photographed image and there are person areas similar to the plurality of person areas, the computer is caused to execute a process for controlling the frame rate of the photographing apparatus to be high. Shooting control program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016049012A JP6613976B2 (en) | 2016-03-11 | 2016-03-11 | Imaging control program, imaging control method, and imaging control apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016049012A JP6613976B2 (en) | 2016-03-11 | 2016-03-11 | Imaging control program, imaging control method, and imaging control apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017163510A true JP2017163510A (en) | 2017-09-14 |
JP6613976B2 JP6613976B2 (en) | 2019-12-04 |
Family
ID=59858182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016049012A Active JP6613976B2 (en) | 2016-03-11 | 2016-03-11 | Imaging control program, imaging control method, and imaging control apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6613976B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190098582A (en) * | 2018-02-14 | 2019-08-22 | 삼성전자주식회사 | Method and device for selectively generating video by using image data acquired at frame rate changed according to distance between subject and reference area |
JP2019160001A (en) * | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | Image processing device, image processing method, and program |
JP2021168040A (en) * | 2020-04-10 | 2021-10-21 | 株式会社エクサウィザーズ | Information processing device, information processing method, and program |
JP2022055043A (en) * | 2020-09-28 | 2022-04-07 | 富士フイルム株式会社 | Image processing device, image processing method, image processing program, and imaging apparatus |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001358984A (en) * | 2000-06-15 | 2001-12-26 | Mitsubishi Heavy Ind Ltd | Moving picture processing camera |
JP2008289104A (en) * | 2007-05-21 | 2008-11-27 | Sanyo Electric Co Ltd | Image processing device and imaging apparatus with the same mounted therein |
US20100296798A1 (en) * | 2009-05-22 | 2010-11-25 | Sanyo Electric Co., Ltd. | Image Reproducing Apparatus And Imaging Apparatus |
JP2011100175A (en) * | 2009-11-04 | 2011-05-19 | Nippon Hoso Kyokai <Nhk> | Device and program for deciding personal action |
JP2012048476A (en) * | 2010-08-26 | 2012-03-08 | Canon Inc | Image processing apparatus |
JP2013157725A (en) * | 2012-01-27 | 2013-08-15 | Olympus Imaging Corp | Tracking device and tracking method |
-
2016
- 2016-03-11 JP JP2016049012A patent/JP6613976B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001358984A (en) * | 2000-06-15 | 2001-12-26 | Mitsubishi Heavy Ind Ltd | Moving picture processing camera |
JP2008289104A (en) * | 2007-05-21 | 2008-11-27 | Sanyo Electric Co Ltd | Image processing device and imaging apparatus with the same mounted therein |
US20100296798A1 (en) * | 2009-05-22 | 2010-11-25 | Sanyo Electric Co., Ltd. | Image Reproducing Apparatus And Imaging Apparatus |
JP2011010276A (en) * | 2009-05-22 | 2011-01-13 | Sanyo Electric Co Ltd | Image reproducing apparatus and imaging apparatus |
JP2011100175A (en) * | 2009-11-04 | 2011-05-19 | Nippon Hoso Kyokai <Nhk> | Device and program for deciding personal action |
JP2012048476A (en) * | 2010-08-26 | 2012-03-08 | Canon Inc | Image processing apparatus |
JP2013157725A (en) * | 2012-01-27 | 2013-08-15 | Olympus Imaging Corp | Tracking device and tracking method |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190098582A (en) * | 2018-02-14 | 2019-08-22 | 삼성전자주식회사 | Method and device for selectively generating video by using image data acquired at frame rate changed according to distance between subject and reference area |
WO2019160288A1 (en) * | 2018-02-14 | 2019-08-22 | 삼성전자 주식회사 | Electronic device for selectively generating video by using image data acquired at frame rate changed according to distance between subject and reference region, and operation method therefor |
US11184538B2 (en) | 2018-02-14 | 2021-11-23 | Samsung Electronics Co., Ltd | Electronic device for selectively generating video by using image data acquired at frame rate changed according to distance between subject and reference region, and operation method therefor |
KR102449185B1 (en) * | 2018-02-14 | 2022-09-29 | 삼성전자주식회사 | Method and device for selectively generating video by using image data acquired at frame rate changed according to distance between subject and reference area |
JP2019160001A (en) * | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | Image processing device, image processing method, and program |
JP7098365B2 (en) | 2018-03-15 | 2022-07-11 | キヤノン株式会社 | Image processing equipment, image processing methods and programs |
JP2021168040A (en) * | 2020-04-10 | 2021-10-21 | 株式会社エクサウィザーズ | Information processing device, information processing method, and program |
JP7029486B2 (en) | 2020-04-10 | 2022-03-03 | 株式会社エクサウィザーズ | Information processing equipment, information processing methods, and programs |
JP2022055043A (en) * | 2020-09-28 | 2022-04-07 | 富士フイルム株式会社 | Image processing device, image processing method, image processing program, and imaging apparatus |
JP7357596B2 (en) | 2020-09-28 | 2023-10-06 | 富士フイルム株式会社 | Image processing device, image processing method, image processing program, and imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP6613976B2 (en) | 2019-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102213328B1 (en) | Video processing apparatus, video processing method, and program | |
US10417503B2 (en) | Image processing apparatus and image processing method | |
US10893207B2 (en) | Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program | |
US9418278B2 (en) | Image analysis method, camera apparatus, control apparatus, control method and storage medium | |
JP6613976B2 (en) | Imaging control program, imaging control method, and imaging control apparatus | |
JP6043293B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
CN104853668A (en) | Tiled image based scanning for head position for eye and gaze tracking | |
KR20160020498A (en) | Tracker assisted image capture | |
CN105144710A (en) | Technologies for increasing the accuracy of depth camera images | |
CN106663325B (en) | Image processing apparatus and image processing method thereof | |
CN110297545B (en) | Gesture control method, gesture control device and system, and storage medium | |
Kotera et al. | Intra-frame object tracking by deblatting | |
JP2017068705A (en) | Detection program, detection method and detection device | |
CN111524086B (en) | Moving object detection device, moving object detection method, and storage medium | |
EP2230837B1 (en) | Method and apparatus for motion compensation | |
US10614336B2 (en) | Method, system, and computer-readable recording medium for image-based object tracking | |
JP5968379B2 (en) | Image processing apparatus and control method thereof | |
CN107665495B (en) | Object tracking method and object tracking device | |
JP6787075B2 (en) | Image processing system, image processing device and image processing method | |
JP5470529B2 (en) | Motion detection device, motion detection method, and motion detection program | |
JP2012221002A (en) | User detection apparatus, user detection method, and user detection program | |
US20220398749A1 (en) | Method and electronic device for tracking regions of interest in image frames | |
KR102512360B1 (en) | Filter information providing method for preventing mis-detection during tracking a moving target and electronic device using the same | |
JP2023086273A (en) | Image processing device and control method for the same | |
KR20110101620A (en) | Apparatus and method for detecting subject area and movement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6613976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |