JP4607836B2 - Apparatus for automatically assigning metadata to image area, method for automatically assigning metadata, and program for automatically assigning metadata - Google Patents
Apparatus for automatically assigning metadata to image area, method for automatically assigning metadata, and program for automatically assigning metadata Download PDFInfo
- Publication number
- JP4607836B2 JP4607836B2 JP2006250327A JP2006250327A JP4607836B2 JP 4607836 B2 JP4607836 B2 JP 4607836B2 JP 2006250327 A JP2006250327 A JP 2006250327A JP 2006250327 A JP2006250327 A JP 2006250327A JP 4607836 B2 JP4607836 B2 JP 4607836B2
- Authority
- JP
- Japan
- Prior art keywords
- tag
- image area
- sub
- moving body
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は,撮影時に映像の各場面の属性を自動的に与えることで,編集作業を簡略化するための装置に関する。近年,インターネット回線などを使用することで,デジタルコンテンツの配信・放送が容易になるに従い,大量の映像素材を短時間で加工・編集する装置が求められている。例えば,スポーツ映像などでライブ中継を行うと同時に,ハイライト場面などを切り出して,リプレイ映像を生成するための装置などが該当する。 The present invention relates to an apparatus for simplifying editing work by automatically assigning attributes of each scene of a video during shooting. In recent years, as the distribution and broadcasting of digital contents becomes easier by using an Internet line or the like, a device for processing and editing a large amount of video material in a short time is required. For example, a device for generating a replay video by performing live broadcast on a sports video or the like and cutting out a highlight scene or the like at the same time is applicable.
従来から,映像編集の代表的な装置として,ノンリニア編集装置がある。本装置では,ビデオカメラで取得した映像やテープに録画されている映像を,デジタルデータへ変換し,パソコンのハードディスクなどに取り込んで加工・編集する。例えば,マラソンのフィニッシュシーンを切り出すには,ハードディスクに格納されている映像を再生し,切出しの開始位置と,終了位置を人手で設定し,該当区間を別のデータファイルとして保存したり,ビデオテープへ記録したりすることで,リプレイ映像を作成する。しかしながら,ノンリニア編集装置では,切出し区間の指定や,リプレイ映像の保存などの編集作業は,人手で行う必要があるため,多大な手間とコストを要する。 Conventionally, there is a non-linear editing device as a typical device for video editing. In this device, the video acquired by the video camera and the video recorded on the tape are converted into digital data, which is taken into the hard disk of a personal computer and processed and edited. For example, to cut a marathon finish scene, play the video stored on the hard disk, manually set the start and end positions of the cutout, save the corresponding section as a separate data file, Create replay video by recording to However, in a non-linear editing apparatus, editing operations such as specifying a cut-out section and storing a replay video must be performed manually, which requires a great deal of labor and cost.
そこで,映像内の各場面に属性を与え,属性情報を検索することで,自動的に切出し区間を特定する方法が,いくつか提案されている。 In view of this, several methods have been proposed in which an attribute is assigned to each scene in a video, and attribute information is searched to automatically specify an extraction section.
非特許文献1では,「複数センサ群による協調的なインタラクションの記録」として,撮影対象に装着した赤外線LEDが発するID信号を認識し,蓄積されるビデオデータに実時間でインデックス付けする方法が提案されている。しかしながら,LEDを信号源として用いているため,発光方向に受光器がない場合,あるいは,LEDと受光器との間に障害物があるような場合には,ID情報を受け取れないという問題がある。
Non-Patent
また,特許文献1では,カメラ画像を記録する際,同時に,被写体に装着されたRFタグなどのID情報を読み取り,画像データと共に保存することで,画像の改ざんを防止する方法が提案されている。また,この特許文献1には,指向性アンテナによってカメラが向いているタグからのみ信号を受信するとの記述がある。しかし,指向性アンテナとカメラ視野とを関連付ける方法に関する具体的な記述がない。つまり,RFタグのID情報が記録されている場合でも,該当する撮影対象が映っているかどうかが保証されないという問題がある。
特許文献2では,指向性アンテナを用いて,RFタグの方向を検出し,同方向へLEDなどのビーム光を照射することで,所望の物品を見つけやすくする方法が提案されている。この特許文献2には,指向性アンテナに関する概略が記述されているが,アンテナとカメラを関連付けたり,RFタグのID情報と移動体とを関連付けたりする手法に関する記述はない。
特許文献3では,赤外光を検知したRFタグのみが電波を発することで,画像の領域とタグ情報を結びつける方法が提案されている。しかし,これには被写体の画像領域へRFタグのID情報を関連付ける手法に関する記述はない。
特許文献4には,リーダライタが内蔵された携帯端末を持った人物の身長を画像処理で測定すると共に,床に貼り付けられたRFタグIDを読み取ることで,身長データによって人物を特定すること,また,タグIDによってその人物の位置を検出することで,該当人物の映像を撮影する方法が記載されている。しかし,画像処理は,人体の身長計測に適用されており,人体領域を画像から抽出する方法についての言及はない。
In
特許文献5には,デジタルカメラに一体化された指向性アンテナで,被写体に装着された無線タグの方向を検出し,画像情報と位置情報を対応させて記憶部に格納し,例えば被写体の無線タグに住所情報が入っていると,どこで写真を撮ったかがすぐに分かるなどの応用が可能な技術が記載されている。これには,指向性を制御してタグの方向を検知するとの記述があるが,具体的にどのように制御するかについての記載はなく,また,画像処理で検出した移動体検出結果を,各移動体のタグIDを特定するときの無線信号処理へ反映させることは考えられていない。
In
したがって,以上のような従来の方法あるいは従来方法の組み合わせでは,例えばアンテナの性能がマルチパスやフェージングなどの影響で劣化するような場合に,カメラ視野内にあるRFタグが装着された移動体を精度よく検出できないため,目的とする移動体が占める画像領域へ自動的に属性を付与することができないことがあるという問題があった。 Therefore, in the conventional method or the combination of the conventional methods as described above, for example, when the performance of the antenna deteriorates due to the influence of multipath, fading, etc., the moving object equipped with the RF tag in the camera field of view is not used. Since it cannot be detected with high accuracy, there is a problem that it may not be possible to automatically assign an attribute to an image area occupied by a target moving object.
また,非特許文献2に記載されている「局所相関演算による動きの検知と追跡」によると,局所相関法などの画像処理手法を用いると,移動体が画像内のどこの領域に存在しているかを追跡することが可能であるが,各移動体がどのような属性を持っているかを,リアルタイムで自動的に与えることはできないといった問題があった。
本発明は,アンテナの性能がマルチパスやフェージングなどの影響で劣化するような場合でも,画像処理で得た移動体の画像領域へ,RFタグから得た属性情報を含むメタデータを精度よく付与することができる手段を提供することを目的とする。 The present invention accurately assigns metadata including attribute information obtained from an RF tag to an image area of a moving object obtained by image processing even when the antenna performance deteriorates due to multipath or fading. It is an object of the present invention to provide means that can be used.
これにより,取得した映像から目的のシーンや特定の被写体が映っている画像領域を抽出する際に,自動的に付与したメタデータを利用することで,編集作業の自動化が可能となる。 This makes it possible to automate the editing work by using the automatically assigned metadata when extracting the image area in which the target scene or the specific subject is shown from the acquired video.
本発明は,ビデオカメラで撮影した移動体が占有する画像領域と,その移動体が備えているRFタグの情報とを結び付けることで,画像領域へメタデータを自動的に付与する装置において,画像処理で得た移動体の検出結果に基づいて,指向性アンテナからRFタグへの電波を輻射するときの角度を制御することをもっとも主要な特徴とする。 The present invention relates to an apparatus for automatically assigning metadata to an image area by associating an image area occupied by a moving body photographed by a video camera with information on an RF tag included in the moving body. Based on the detection result of the moving object obtained by the processing, the most important feature is to control the angle at which the radio wave is radiated from the directional antenna to the RF tag.
本発明は,RFタグが装着された移動体を撮影する撮影装置と,指向性アンテナを有するRFタグ入出力装置との入出力インタフェースを持ち,前記撮影装置で撮影した画像から移動体の画像領域を抽出して,移動体の画像領域に前記RFタグから得た固有情報または属性情報を含むメタデータを付与するメタデータ自動付与装置であって,特に,画像処理で得た移動体の方位へ指向性アンテナから電波を輻射し,RFタグで算出した最も確からしい方位とタグIDとから,RFタグから得たID等の固有情報または属性情報を含むメタデータを画像領域へ付与することを特徴とする。 The present invention has an input / output interface between an imaging device for imaging a moving body equipped with an RF tag and an RF tag input / output device having a directional antenna, and an image area of the moving body from an image captured by the imaging device. Is a metadata automatic assigning device that extracts metadata including unique information or attribute information obtained from the RF tag to an image area of a mobile object, and in particular, to the orientation of the mobile object obtained by image processing Radio waves are radiated from a directional antenna, and metadata including unique information or attribute information such as an ID obtained from an RF tag is assigned to an image area from the most probable direction calculated by the RF tag and a tag ID. And
また,上記発明において,RFタグの方位を算出する際,指向性アンテナから電波の角度データを送信し,RFタグに受信時の電波強度が最も強い電波に載せられた角度データを返信させ,その角度データからRFタグの最も確からしい方位を求めることを特徴とする。 In the above invention, when calculating the orientation of the RF tag, the angle data of the radio wave is transmitted from the directional antenna, and the angle data placed on the radio wave having the strongest radio wave intensity at the time of reception is returned to the RF tag. The most probable orientation of the RF tag is obtained from the angle data.
また,上記発明において,RFタグの方位を算出する他の方法として,RFタグから電波を輻射し,指向性アンテナは画像処理で得た移動体の方位へ指向性ビームを順次向け,各方位で受信した各RFタグからの電波強度を測定し,メタデータ自動付与装置では,全RFタグの電波強度をもとに,各RFタグが位置する最も確からしい方位を求めることを特徴とする。 In the above invention, as another method for calculating the orientation of the RF tag, radio waves are radiated from the RF tag, and the directional antenna sequentially directs the directional beam toward the orientation of the moving body obtained by image processing. The radio wave intensity from each received RF tag is measured, and the automatic metadata adding apparatus obtains the most probable azimuth in which each RF tag is located based on the radio wave intensity of all RF tags.
以上説明したように,本発明によれば,アンテナの性能がマルチパスやフェージングなどの影響で劣化する場合でも,画像処理で得た移動体の画像領域へ,RFタグから得た固有情報または属性情報を含むメタデータを自動的に付与可能であることから,撮影した映像を編集したり配信・放送するときに,効率よく加工することができる。 As described above, according to the present invention, even when the antenna performance deteriorates due to the influence of multipath or fading, the unique information or attribute obtained from the RF tag is transferred to the image area of the moving object obtained by image processing. Since metadata including information can be automatically assigned, it can be efficiently processed when the shot video is edited, distributed, and broadcast.
図1に,本発明の実施例に係わる装置のブロック図を示す。図1において,メタデータ自動付与装置10は,CPUおよびメモリと周辺デバイスとソフトウェアプログラムなどから構成される装置である。メタデータ自動付与装置10は,ビデオカメラ20およびRFタグリーダ・ライタ30との信号入出力インタフェース(I/F)11,入力画像から移動体(移動物体ともいう)を検出する移動体検出部12,検出した移動体の方向を算出する移動体方向算出部13,算出した移動体の方向によってアンテナを制御するアンテナ方向制御部14,メタデータを生成するメタデータ生成部15,移動体の画像領域にメタデータを付与するメタデータ付与部16,メタデータを付与した結果を外部に出力するための信号入出力インタフェース17を備える。メタデータを付与した結果の出力先としては,例えば表示装置40,ネットワーク42経由での表示装置41,ディスク記憶装置等の記録媒体43がある。以下,図1に示すブロック図中の各部が行う処理について詳しく説明する。
FIG. 1 shows a block diagram of an apparatus according to an embodiment of the present invention. In FIG. 1, an automatic
〔ビデオカメラ20〕
ビデオカメラ20では,CCDなどで検出した光強度から,一定のサンプリング時間間隔(例えば,33ms)で画像を形成し,さらに動画像を生成する。
[Video camera 20]
The
画像の一つの画素は,カラー画像の場合,赤成分(R),緑成分(G),青成分(B)の階調値で与えられ,白黒画像の場合,輝度の階調値で与えられる。例えば,整数x,yで示される座標(x,y)の画素の赤成分(R),緑成分(G),青成分(B),輝度(I)の階調値は,それぞれ,ディジタル値R(x,y),G(x,y),B(x,y),I(x,y)で与えられる。なお,以下の計算で使用する画素値には,輝度(白黒濃淡値)を用いる。 One pixel of an image is given by a gradation value of a red component (R), a green component (G), and a blue component (B) in the case of a color image, and given by a luminance gradation value in the case of a monochrome image. . For example, the gradation values of the red component (R), green component (G), blue component (B), and luminance (I) of the pixel at coordinates (x, y) indicated by integers x and y are digital values, respectively. R (x, y), G (x, y), B (x, y), I (x, y). Note that the luminance (monochrome gray value) is used as the pixel value used in the following calculation.
〔移動体検出部12(第1の方法)〕
移動体検出部12において移動体を検出するための第1の方法は,背景差分法と局所相関法を組み合わせる方法である。
[Moving object detection unit 12 (first method)]
A first method for detecting a moving body in the moving
背景差分法は,予め移動体を含まない画像を背景画像として用意しておき,次に,移動体が含まれる画像との差分を取り,差の大きい部分を移動体とする方法である。背景差分法は,より短い処理時間で処理可能であるが,明るさの変動などのノイズに弱い欠点がある。 The background difference method is a method in which an image that does not include a moving object is prepared in advance as a background image, and then a difference from an image that includes a moving object is obtained, and a portion having a large difference is used as a moving object. The background subtraction method can be processed in a shorter processing time, but has a drawback that it is vulnerable to noise such as brightness fluctuations.
局所相関法は,まず画像を格子状のブロック(例えば,8×8画素)に分割する。次に,あるサンプリング時刻のフレームと次のサンプリング時刻で取得したフレームとの間で,近傍にあるブロック同士の相関値を求め,その大小によって,ブロックが移動したかどうかを判定する。本処理は,計算量が多いため,画像サイズを大きくできないという欠点,相関計算を実施するブロック間の距離が制限され,動きの早い物体に追従できないなどの欠点があるが,背景差分法よりもノイズに対する耐性が大きい。そこで,第1の方法では,背景差分法で,大まかな移動体領域を求め,次に,局所相関法によって,より細かく移動体領域を決定する手順を用いる。 In the local correlation method, an image is first divided into grid-like blocks (for example, 8 × 8 pixels). Next, a correlation value between neighboring blocks is obtained between a frame at a certain sampling time and a frame acquired at the next sampling time, and it is determined whether the block has moved according to the magnitude. This processing has a large amount of calculation, so that the image size cannot be increased, and the distance between blocks that perform correlation calculation is limited, and it cannot follow a fast-moving object. High resistance to noise. Therefore, in the first method, a rough moving object region is obtained by the background subtraction method, and then a moving object region is determined more finely by the local correlation method.
図2は,追跡ブロック,サブ区画,サブ区画テンプレートの関係を示す図である。処理手順の説明の前に,サブ区画,同一物体のサブ区画の集まりであるサブ区画テンプレート,追跡ブロックについて,図2を用いて説明する。 FIG. 2 is a diagram illustrating the relationship between tracking blocks, sub-partitions, and sub-partition templates. Prior to the description of the processing procedure, a sub-partition, a sub-partition template that is a collection of sub-partitions of the same object, and a tracking block will be described with reference to FIG.
取得画像50は,ビデオカメラ20により撮影した画像である。サブ区画52は,縦n画素,横n画素の正方形からなる。図2に示す斜線部のサブ区画テンプレート53は,サブ区画52の集まりであり,移動体の領域を示す。追跡ブロック51は,サブ区画テンプレート53を取り囲むように設定し,サブ区画テンプレート53の外側に上下左右m画素の間を設けた領域であり,局所相関法による探索は追跡ブロック51で囲まれた領域の中で実行する。なお,本実施例では,移動体の画像領域をサブ区画テンプレート53で表すことにする。
The acquired
背景差分法を用い,移動体が存在する可能性がある領域を求め,次に局所相関法を用い,移動体検出のための有効サブ区画を算出する。 The background subtraction method is used to obtain a region where a moving object may exist, and then the local correlation method is used to calculate the effective sub-partition for detecting the moving object.
図3は,移動体の検出処理フローチャートである。撮影画像に移動体が含まれているかを確認し,有効サブ区画を検出する手順を示している。 FIG. 3 is a flowchart of detection processing of the moving body. A procedure for checking whether a moving object is included in a captured image and detecting an effective sub-part is shown.
[S10]:移動体検出部12は,ビデオカメラ20で得た現フレームの画像(ビットマップ)を,信号入出力インタフェース11を介して一定周期(サンプリング時間毎)で取り込む。取得した現タイミングの画像を2系列に分け,異なるカットオフ周波数を持つローパスフィルタに通す。
[S10]: The moving
[S11]:ローパスフィルタのカットオフ周波数を低く設定した動きの遅い現フレームの背景画像を得る。このカットオフ周波数は移動体の移動速度に対応して求めることが可能であり,対象とする移動体に合わせて可変に設定できるようにする。背景画像をサブ区画(n×n画素の正方形)に分割する。 [S11]: A background image of a slow-moving current frame in which the cutoff frequency of the low-pass filter is set low is obtained. This cut-off frequency can be obtained in accordance with the moving speed of the moving body, and can be set variably according to the target moving body. The background image is divided into sub-partitions (n × n pixel squares).
[S12]:ローパスフィルタのカットオフ周波数を,ステップS11で用いるローパスフィルタよりも高く設定し,動きのある物体を残したまま,蛍光灯のちらつきなどの影響を除いた画像を得る。このカットオフ周波数も,ステップS11のカットオフ周波数と同様に対象の移動体に対応して可変に設定できるようにする。この画像を現サンプリング時点での現画像とする。ステップS11と同様にサブ区画(n×n画素の正方形)に分割する。 [S12]: The cut-off frequency of the low-pass filter is set to be higher than that of the low-pass filter used in step S11, and an image from which influences such as flickering of a fluorescent lamp are removed is obtained while leaving a moving object. This cut-off frequency can also be variably set corresponding to the target moving body, similarly to the cut-off frequency in step S11. This image is the current image at the current sampling time. As in step S11, the image is divided into sub-partitions (n × n pixel squares).
[S13]:現画像(以下,現フレーム画像と記載)と背景画像において,両者の同じ位置のサブ区画(n×n画素の正方形)の一つを取り出す。 [S13]: In the current image (hereinafter referred to as current frame image) and the background image, one of the sub-sections (n × n pixel square) at the same position is extracted.
[S14]:両画像の同位置にあるサブ区画の画素間の差の総和Tを次式に従って計算する。 [S14]: The sum T of the differences between the pixels in the sub-partitions at the same position in both images is calculated according to the following equation.
ここで,IC (x,y)は現画像における画素位置(x,y)の白黒濃淡値,IB (x,y)は背景画像における画素位置(x,y)の白黒濃淡値,Rsub はサブ区画を表す。算出値Tが,ある閾値Tth以上のときには,背景画像とは異なることを示しており,動きがある移動サブ区画と判定し,ステップS15に進み,それ以外はステップS13に戻り,次のサブ区画を取り出す。 Here, I C (x, y) is the monochrome gray value of the pixel position (x, y) in the current image, I B (x, y) is the monochrome gray value of the pixel position (x, y) in the background image, R sub represents a sub-partition. When the calculated value T is equal to or greater than a certain threshold value T th , it indicates that the calculated value T is different from the background image, and it is determined as a moving sub-partition having movement, and the process proceeds to step S15. Remove the compartment.
[S15]:局所相関法を用い,ステップS14で動きがあると判定した移動サブ区画が前フレーム画像のどのサブ区画から移動してきたかを探し出す。移動サブ区画として注目している現フレーム画像のサブ区画Sp (x,y)が前フレーム画像のどのサブ区画Sq (x′,y′)から移動してきたのかを,相関演算を用いて探索する。サブ区画Sp (x,y),Sq (x′,y′)との相関値Cを次式によって算出し,予め定めた閾値から移動したか否かの判断を行う。 [S15]: A local correlation method is used to find out from which sub-section of the previous frame image the moving sub-section determined to have moved in step S14. Correlation calculation is used to determine which sub-section S q (x ′, y ′) of the previous frame image has moved from the sub-section S p (x, y) of the current frame image focused as a moving sub-section. Explore. The correlation value C with the sub-partitions S p (x, y) and S q (x ′, y ′) is calculated by the following equation, and it is determined whether or not it has moved from a predetermined threshold.
上式において,Ip (x,y),Iq (x′,y′)は,各サブ区画Sp (x,y),Sq (x′,y′)内の画素の白黒濃淡値,Rp ,Rq は,サブ区画領域内であることを示す。 In the above equation, I p (x, y) and I q (x ′, y ′) are the black and white grayscale values of the pixels in each sub-partition S p (x, y), S q (x ′, y ′). , R p , R q indicate that they are within the sub-partition region.
動きの有無を,前述した非特許文献2のゼロ比較法を用いて判定する。注目しているサブ区画と同位置にある前フレームのサブ区画との相関値C0 と,走査範囲内の全サブ区画との相関計算から求めた相関値の最小値C1 との差Qを以下の式で算出し,移動判定の閾値Qthと比較する。
The presence or absence of movement is determined using the zero comparison method of
Q=C0 −C1
Q>Qth
[S16]:Qが閾値Qthより大きい場合,注目しているサブ区画Sp (x,y)は,Sq (x′,y′)から移動したサブ区画と判定し,有効サブ区画とする。有効サブ区画の場合,次のステップS17を実行する。
Q = C 0 −C 1
Q> Q th
[S16]: If Q is larger than the threshold value Qth , the sub-part of interest S p (x, y) is determined as a sub-part moved from S q (x ′, y ′), To do. If it is an effective sub-partition, the next step S17 is executed.
[S17]:有効サブ区画の前フレーム画像からの移動の速さ,移動方向を算出する。前フレーム画像の移動元のサブ区画の左上端点を(xLeftTop1,yLeftTop1),注目している現フレーム画像のサブ区画の左上端点を(xLeftTop2,yLeftTop2),サブ区画の移動ベクトル(xLeftTop2−xLeftTop1,yLeftTop2−yLeftTop1)とすると,移動の速さ,移動の方向は次式となる。 [S17]: The speed and direction of movement from the previous frame image of the effective sub-partition are calculated. The upper left point of the sub-part of the previous frame image is (x LeftTop1 , y LeftTop1 ), the upper left point of the sub-part of the current frame image of interest is (x LeftTop2 , y LeftTop2 ), and the sub-part movement vector (x LeftTop2− x LeftTop1 , y LeftTop2− y LeftTop1 ), the speed of movement and the direction of movement are as follows.
[S18]:全てのサブ区画での確認を終えるまで,ステップS13からS17までの処理を繰り返す。一連の処理により,全ての有効サブ区画と各有効サブ区画の前フレームからの移動速さ,移動ベクトルの方向を得る。 [S18]: The processing from step S13 to S17 is repeated until the confirmation in all the sub-compartments is completed. Through a series of processing, all effective sub-parts, the moving speeds from the previous frame of each effective sub-partition, and the direction of the moving vector are obtained.
次に,上述で求めた有効サブ区画をもとに,移動体の画像領域を抽出する。図4は,移動体画像領域の候補の抽出処理フローチャートである。図3の処理で得た有効サブ区画の集合より,移動体の確認を行うための有効サブ区画テンプレートを生成し,有効サブ区画テンプレートから移動追跡ブロック候補を設定する。 Next, the image area of the moving object is extracted based on the effective sub-section obtained above. FIG. 4 is a flowchart of a candidate image region extraction process. An effective sub-partition template for confirming a moving object is generated from the set of effective sub-partitions obtained in the process of FIG. 3, and a moving tracking block candidate is set from the effective sub-partition template.
[S20]:有効サブ区画の一つを取り出し,有効サブ区画テンプレートとする。 [S20]: One of the effective sub-partitions is taken out and used as an effective sub-partition template.
[S21,S22]:有効サブ区画の次の一つを取り出し,両者の移動速さ,移動方向が一致するか比較する。一致する場合には,ステップS23に進み,一致しない場合には,ステップS24に進む。 [S21, S22]: The next one of the effective sub-sections is taken out and compared to determine whether the moving speed and moving direction of both coincide. If they match, the process proceeds to step S23, and if they do not match, the process proceeds to step S24.
[S23]:両有効サブ区画を結合し,サブ区画テンプレートを生成する。このサブ区画テンプレートを有効サブ区画テンプレートとする。 [S23]: Combine both effective sub-partitions to generate a sub-partition template. This sub-partition template is set as an effective sub-partition template.
[S24]:有効サブ区画を新規の有効サブ区画テンプレートとして設定する。 [S24]: Set the effective sub-partition as a new effective sub-partition template.
[S25]:全ての有効サブ区画との確認を終えるまで,ステップS21からS24の処理を繰り返す。 [S25]: Steps S21 to S24 are repeated until confirmation with all the valid sub-partitions is completed.
[S26]:ステップS23,S24で定義した全ての有効サブ区画テンプレートに,サブ区画テンプレートの上下左右端からm画素を加えた領域を,移動追跡ブロック候補として設定する。 [S26]: A region obtained by adding m pixels from the top, bottom, left and right edges of the sub-partition template to all the effective sub-partition templates defined in steps S23 and S24 is set as a movement tracking block candidate.
移動追跡ブロック候補の領域は,次のようにして算出する。ステップS26の有効サブ区画テンプレートの上下左右端をxsub-min ,xsub-max ,ysub-min ,ysub-max とする。この上下左右端で囲まれた領域の外側に予め決めた画素値mを与えた領域を候補とすると(ただし,画素の座標値は0以上),移動追跡ブロック候補の領域は以下となる。 The area of the movement tracking block candidate is calculated as follows. Let x sub-min , x sub-max , y sub-min , and y sub-max be the upper, lower, left and right edges of the effective sub-partition template in step S26. If a region to which a predetermined pixel value m is given outside the region surrounded by the upper, lower, left, and right ends is a candidate (however, the pixel coordinate value is 0 or more), the region of the moving tracking block candidate is as follows.
また,移動追跡ブロック候補の中心位置(xtrk-cen ,ytrk-cen )は以下となる。 The center position (x trk-cen , y trk-cen ) of the moving tracking block candidate is as follows.
図4の処理で得た移動追跡ブロック候補の領域から移動体を決定するための移動体追跡ブロックを抽出し,移動体を決定する。移動体の決定は,移動体の移動ベクトルを算出して行う。図5は,移動体の決定処理フローチャートである。 A moving body tracking block for determining the moving body is extracted from the area of the moving tracking block candidate obtained by the processing of FIG. 4, and the moving body is determined. The moving object is determined by calculating the moving vector of the moving object. FIG. 5 is a flowchart of the mobile object determination process.
[S30]:移動追跡ブロック候補に存在する移動体の前フレーム画像からの移動ベクトルを算出する。前フレーム画像の移動追跡ブロック中心位置(xtrk-cen1,ytrk-cen1),現フレーム画像の移動追跡ブロック候補の中心位置を(xtrk-cen2,ytrk-cen2)とすると,現フレーム画像の移動体の移動ベクトル(xtrk-cen2−xtrk-cen1,ytrk-cen2−ytrk-cen1)の移動の速さvtrk (k) と移動方向ベクトル(dtrk-x ,dtrk-y )(k) は,以下となる。 [S30]: The movement vector from the previous frame image of the moving body existing in the movement tracking block candidate is calculated. If the moving tracking block center position (x trk-cen1 , y trk-cen1 ) of the previous frame image and the moving tracking block candidate center position of the current frame image are (x trk-cen2 , y trk-cen2 ), the current frame image The moving speed v trk (k) of the moving vector (x trk-cen2 -x trk-cen1 , y trk-cen2 -y trk-cen1 ) and the moving direction vector (d trk-x , d trk- y ) (k) is as follows.
[S31]:現フレーム画像の移動追跡ブロック候補の一つを取り出す。 [S31]: One of movement tracking block candidates of the current frame image is extracted.
[S32]:前フレーム画像の移動追跡ブロックの一つを取り出す。 [S32]: One of the movement tracking blocks of the previous frame image is extracted.
[S33,S34]:現フレーム画像の移動ベクトルの算出を行い,前フレーム画像での移動ベクトルから追跡条件を算出する。 [S33, S34]: The movement vector of the current frame image is calculated, and the tracking condition is calculated from the movement vector of the previous frame image.
追跡条件は以下となる。 The tracking conditions are as follows.
ここでvtrk (k-1) ,(dtrk-x ,dtrk-y )(k-1) は,前フレーム画像の移動ベクトルの移動の速さと移動ベクトルの方向を示している。 Here, v trk (k-1) and (d trk-x , d trk-y ) (k-1) indicate the speed of movement of the movement vector of the previous frame image and the direction of the movement vector.
移動追跡ブロック候補と移動追跡ブロックの移動ベクトルの速さの差が一定値vth以下で,長さが一定値dth以上の場合には,両移動追跡ブロックの移動体が同一の追跡対象とみなす。長さは移動方向ベクトルの内積として求める。追跡条件を満たす場合には,次のステップS35に進み,追跡条件を満たさない場合には,ステップS39に進む。 When the difference between the speeds of the moving vector of the moving tracking block candidate and the moving tracking block is not more than a certain value v th and the length is not less than a certain value d th , the moving objects of both moving tracking blocks are the same tracking object. I reckon. The length is obtained as the inner product of the movement direction vectors. If the tracking condition is satisfied, the process proceeds to the next step S35, and if the tracking condition is not satisfied, the process proceeds to step S39.
[S35,S36]:追跡条件としてフレーム連続条件を設定した場合の連続数の設定と確認を行う。フレーム連続数をFRとし,FRに1を加える。FRが所定の閾値FRthより大きいか否かのフレーム連続条件を満たす場合には,ステップS37に進み,満たさない場合には,ステップS39に進む。 [S35, S36]: Set and confirm the number of continuations when the frame continuation condition is set as the tracking condition. Let FR be the number of consecutive frames, and add 1 to FR. If FR is the predetermined threshold value FR th greater whether frames successive condition is satisfied, the process proceeds to step S37, if not satisfied, the processing proceeds to step S39.
[S37]:移動追跡ブロック候補の領域に移動体が存在すると認識し,移動追跡ブロック候補を現フレーム画像の移動追跡ブロックに置き換え保持する。その後,ステップS39に進む。 [S37]: Recognize that a moving object exists in the area of the moving tracking block candidate, replace the moving tracking block candidate with the moving tracking block of the current frame image, and hold it. Thereafter, the process proceeds to step S39.
[S38]:追跡条件を満たさないときは,現フレーム画像で新規に現れた別の移動体とみなし,移動追跡ブロック候補を新規の移動追跡ブロックとして保持する。追跡条件FR=1を設定し,ステップS39に進む。 [S38]: When the tracking condition is not satisfied, the moving tracking block candidate is held as a new moving tracking block by regarding the moving frame as a new moving object newly appearing in the current frame image. The tracking condition FR = 1 is set, and the process proceeds to step S39.
[S39]:前フレームの全ての移動追跡ブロックの確認を終えるまで,ステップS32からS38の処理を繰り返す。この一連の処理により取得した現フレーム画像で認識した移動体が存在する全ての移動追跡ブロックを得る。各移動追跡ブロックの移動体は,それぞれ異なる移動体である。 [S39]: Steps S32 to S38 are repeated until the confirmation of all the movement tracking blocks in the previous frame is completed. All the movement tracking blocks in which the moving body recognized by the current frame image acquired by this series of processes exists are obtained. Each moving tracking block has a different moving body.
〔移動体検出部12(第2の方法)〕
図6に,第2の移動体検出方法を実行する移動体検出部12のブロック図を示す。第1の方法で述べた背景差分法と局所相関法を用いる方法では,複数の移動体が重なり,境界付近においてサブ区画が両方の物体に跨るような場合,相関値がどちらの移動体に対しても劣化するため,検出できなくなることがある。そこで,第2の移動体検出方法では,前フレーム画像と現フレーム画像が与えられたとき,前フレームで移動体と判定されたサブ区画が,現フレームのどこへ移動したかを,以下に示す指標をもとに算出された移動確率が,最大となる位置で与える。異なる指標を用いることで,境界付近の検出性能を向上させることができる。各指標は括弧内[]に示した算出部,比較部で求める。
[Moving object detection unit 12 (second method)]
FIG. 6 shows a block diagram of the moving
(指標1)前フレームのサブ区画の移動ベクトルと,現フレームのサブ区画の移動ベクトルとの類似度に基づく確率。[移動ベクトル算出部121]
(指標2)前フレームの移動元のサブ区画と現フレームの移動先のサブ区画との類似度に基づく確率。類似度が最大のとき確率も最大となる。[局所相関値算出部122]
(指標3)前フレームの移動元のサブ区画とその隣接区画との関係度と,現フレームの移動先のサブ区画とその隣接区画との関係度に基づく確率。[サブ区画特徴量算出部123,隣接サブ区画間関係度算出部124,隣接サブ区画間関係度比較部125]
以下,図6に示した第2の移動体検出方法の詳細について説明する。
(Indicator 1) Probability based on the similarity between the movement vector of the sub-partition of the previous frame and the movement vector of the sub-partition of the current frame. [Movement vector calculation unit 121]
(Indicator 2) Probability based on the similarity between the sub-part of the previous frame and the destination sub-part of the current frame. When the similarity is maximum, the probability is also maximum. [Local correlation value calculation unit 122]
(Indicator 3) Probability based on the degree of relation between the sub-part of the previous frame and its neighboring part, and the degree of relation between the sub-part of the current frame and its neighboring part. [Sub-partition feature
Details of the second moving body detection method shown in FIG. 6 will be described below.
〔移動ベクトル算出部121〕
前フレーム(時刻t−1)のサブ区画が,現フレーム(時刻t)のあるサブ区画へ移動したとき,サブ区画の左上端点を用いて,移動ベクトルを算出する。
[Movement vector calculation unit 121]
When the sub-partition of the previous frame (time t-1) moves to a sub-partition with the current frame (time t), the movement vector is calculated using the upper left end point of the sub-partition.
V=(vx ,vy )=(iLT−iLT′,jLT−jLT′)
ただし,(iLT′,jLT′)は,前フレームのサブ区画の左上端画素の座標,(iLT,jLT)は,現フレームのサブ区画の左上端画素の座標である。
V = (v x , v y ) = (i LT −i LT ′, j LT −j LT ′)
However, (i LT ′, j LT ′) is the coordinates of the upper left pixel of the sub-partition of the previous frame, and (i LT , j LT ) is the coordinates of the upper left pixel of the sub-partition of the current frame.
着目している現フレームのサブ区画(左上端画素座標(iLT,jLT))が,前々サンプリング時刻および前サンプリング時刻において下記の位置にあったとする。 Assume that the sub-section of the current frame of interest (the upper left pixel coordinates (i LT , j LT )) is at the following position at the previous sampling time and the previous sampling time.
前々サンプリング:(iLT″,jLT″)
前サンプリング:(iLT′,jLT′)
このとき,上述した移動ベクトルの算出式を用いると,前フレームの移動ベクトルV′=(vx ′,vy ′),現フレームの移動ベクトルV=(vx ,vy )は,次式となる。
Before sampling: (i LT ″, j LT ″)
Pre-sampling: (i LT ', j LT ')
In this case, the use of calculation expression of the movement vector described above, the movement vector V of the previous frame '= (v x', v y '), the movement vector of the current frame V = (v x, v y ) , the following equation It becomes.
V′=(vx ′,vy ′)=(iLT′−iLT″,jLT′−jLT″)
V=(vx ,vy )=(iLT−iLT′,jLT−jLT′)
ベクトルV′,Vの類似性を次の2つの値で評価する。
V ′ = (v x ′, v y ′) = (i LT ′ −i LT ″, j LT ′ −j LT ″)
V = (v x , v y ) = (i LT −i LT ′, j LT −j LT ′)
The similarity between the vectors V ′ and V is evaluated by the following two values.
ベクトルの大きさの差分値:A=|V|−|V′|
単位ベクトルの内積:
Difference in vector magnitude: A = | V | − | V ′ |
Inner product of unit vectors:
差分値Aが0に近いほど,また,内積Bが1に近いほど,移動ベクトルの類似性は高くなる。 The closer the difference value A is to 0 and the closer the inner product B is to 1, the higher the similarity of the movement vectors.
〔局所相関値算出部122〕
サブ区画に含まれる同じ位置の画素について,前フレーム(時刻t−1)と現フレーム(時刻t)とで輝度値の差分を取り,絶対値の総和を算出する。
[Local correlation value calculation unit 122]
For the pixels at the same position included in the sub-partition, the difference in luminance value between the previous frame (time t-1) and the current frame (time t) is taken, and the sum of absolute values is calculated.
上式において,It-1 (i′,j′)は前フレームのサブ区画に含まれる画素の輝度値,It (i,j)は現フレームのサブ区画に含まれる画素の輝度値,Rt-1 は前フレームのサブ区画領域内,Rt は現フレームのサブ区画領域内であることを表す。 Where I t-1 (i ′, j ′) is the luminance value of the pixel included in the sub-partition of the previous frame, I t (i, j) is the luminance value of the pixel included in the sub-partition of the current frame, R t-1 indicates that it is in the sub-partition area of the previous frame, and R t indicates that it is in the sub-partition area of the current frame.
総和Cが小さいほど前フレームのサブ区画と現フレームサブ区画との類似度が大きく,値が大きいほど類似度は小さい。 The smaller the sum C, the greater the similarity between the sub-section of the previous frame and the current frame sub-section, and the greater the value, the smaller the similarity.
〔サブ区画特徴量算出部123〕
着目しているサブ区画に含まれる画素の輝度値を取得し,輝度値を階級として,同じ階級に含まれる画素の出現回数を積算して得たヒストグラムHsub をサブ区画特徴として用いる。ヒストグラムHsub は次のようにして表す。
[Sub-zone feature value calculation unit 123]
The luminance value of the pixel included in the sub-part of interest is acquired, and the histogram H sub obtained by integrating the number of appearances of the pixels included in the same class is used as the sub-part feature. The histogram Hsub is expressed as follows.
Hsub [I]=NI
Iは輝度値,NI は,着目サブ区画に含まれ,輝度値Iを持つ画素の総数である。
H sub [I] = N I
I is the luminance value, N I are included in interest sub-zone, the total number of pixels having luminance values I.
〔隣接サブ区画間関係度算出部124〕
移動体領域の局所部分の輝度値分布は一般的に緩やかに変化しているため,隣接しているサブ区画同士は類似した特徴を持つ。例えば,人物の胴体部分をサブ区画に分割した場合,各サブ区画の輝度分布は,ほぼ一定となる。一方,隣接しているサブ区画の一方が移動体に含まれ,他方が背景領域に含まれるとき,両者の類似性は低くなる。こうした隣接サブ区画間の関係を,定量的に表現するために,隣接サブ区画間関係度を導入する。隣接サブ区画間関係度を,サブ区画特徴に用いるヒストグラムの重なりによって算出する。サブ区画sub1とサブ区画sub2の隣接サブ区画間関係度RELを,次式で求める。
[Adjacent sub-partition relationship calculation unit 124]
Since the luminance value distribution in the local portion of the moving object region generally changes gently, adjacent sub-partitions have similar characteristics. For example, when a human torso is divided into sub-parts, the luminance distribution in each sub-part is almost constant. On the other hand, when one of the adjacent sub-partitions is included in the moving object and the other is included in the background area, the similarity between the two is low. In order to quantitatively express the relationship between adjacent sub-partitions, the degree of relation between adjacent sub-partitions is introduced. The degree of relationship between adjacent sub-partitions is calculated by overlapping histograms used for sub-partition features. The degree of relationship REL between adjacent sub-partitions of the sub-partition sub1 and the sub-partition sub2 is obtained by the following expression.
minは,値の小さいほうを選択する関数である。 min is a function that selects the smaller value.
図7に,ヒストグラムの算出例を図で示す。前フレームの画像やヒストグラムを(a)〜(d)に,現フレームの画像やヒストグラムを(e)〜(h)に示す。画像に重ねて表示した2つの正方形は,サブ区画(4画素×4画素)を表しており,前・現フレームにおいて撮影した人物の同一部分に位置している。各サブ区画のヒストグラムを求めると,図7の(b)(c)(f)(g)のようになる。(d)(h)は,上式中のmin(Hsub1[I],Hsub2[I])を,プロットした結果である。隣接サブ区画間関係度は,(d)(h)の面積に相当する。(d)と(h)は,ほぼ同じ値となることから,物体が移動しても,物体上の同一部分に割り付けられたサブ区画同士の関係度は,維持されることが分かる。 FIG. 7 shows a histogram calculation example. Images and histograms of the previous frame are shown in (a) to (d), and images and histograms of the current frame are shown in (e) to (h). The two squares displayed superimposed on the image represent sub-sections (4 pixels × 4 pixels) and are located in the same part of the person photographed in the previous and current frames. When the histogram of each sub-section is obtained, it is as shown in (b), (c), (f), and (g) of FIG. (D) (h) is a result of plotting min (H sub1 [I], H sub2 [I]) in the above equation. The degree of relationship between adjacent sub-partitions corresponds to the areas (d) and (h). Since (d) and (h) have substantially the same value, it can be seen that the degree of relationship between the sub-partitions assigned to the same part on the object is maintained even if the object moves.
〔隣接サブ区画間関係度比較部125〕
前フレーム(時刻t−1)のサブ区画(p′,q′)が,現フレーム(時刻t)のあるサブ区画(p,q)へ移動したとき,着目サブ区画に隣接するサブ区画(p+a,q+b)(ただし,a=−1,0,1,b=−1,0,1)との関係度を次のように比較し,出力する値を算出する。なお,隣接区画を示す値a,bの組み合わせは,下記のように与えられる。
[Adjacent sub-partition relationship degree comparison unit 125]
When the sub-partition (p ′, q ′) of the previous frame (time t−1) moves to a sub-partition (p, q) having the current frame (time t), the sub-partition (p + a) adjacent to the target sub-partition , Q + b) (where a = −1, 0, 1, b = −1, 0, 1) is compared as follows, and an output value is calculated. A combination of values a and b indicating adjacent sections is given as follows.
・隣接4区画の場合:
(a,b)=(0,−1),(−1,0),(1,0),(0,1)
・隣接8区画の場合:
(a,b)=(0,−1),(−1,0),(1,0),(0,1),
(−1,−1),(−1,1),(1,−1),(1,1)
隣接4区画を使用するか隣接8区画を使用するかは,処理を実行する前に,予め決めておく。
・ In the case of four adjacent sections:
(A, b) = (0, −1), (−1, 0), (1, 0), (0, 1)
・ In the case of 8 adjacent blocks:
(A, b) = (0, −1), (−1, 0), (1, 0), (0, 1),
(-1, -1), (-1, 1), (1, -1), (1, 1)
Whether to use four adjacent sections or eight adjacent sections is determined in advance before executing the process.
以下では,着目サブ区画の上辺に接するサブ区画(a,b)=(0,−1)との関係度について説明する。他の隣接区画も同様の手順で説明できる。 Hereinafter, the degree of relationship with the sub-partition (a, b) = (0, −1) in contact with the upper side of the target sub-partition will be described. Other adjacent sections can be described in the same procedure.
まず,前フレームのサブ区画(p′,q′)と上辺で隣接するサブ区画(p′,q′−1)との隣接サブ区画間関係度REL(sub(p′,q′),sub(p′,q′−1))を算出する。次に,前フレームのサブ区画(p′,q′)と,現フレームの移動先候補であるサブ区画(p,q)に上辺で隣接する区画(p,q−1)との隣接サブ区画間関係度REL(sub(p′,q′),sub(p,q−1))を算出する。最後に,求めた2つの隣接サブ区画間関係度の差分を計算し,出力値とする。 First, the relationship REL (sub (p ', q'), sub) between adjacent sub-partitions between the sub-partition (p ', q') of the previous frame and the sub-partition (p ', q'-1) adjacent on the upper side. (P ′, q′−1)) is calculated. Next, the sub-partition (p ′, q ′) of the previous frame and the adjacent sub-partition of the sub-partition (p, q) that is the destination candidate of the current frame on the upper side The degree of interrelationship REL (sub (p ′, q ′), sub (p, q−1)) is calculated. Finally, the difference between the obtained two adjacent sub-partitions is calculated and set as an output value.
REL(sub(p′,q′), sub(p′,q′−1))
−REL(sub(p′,q′),sub(p,q−1))
なお,第1の方法で隣接サブ区画間関係度を求めた際,
REL(sub(p′,q′),sub(p′,q′−1))=0
REL(sub(p′,q′),sub(p,q−1))=0
であるときは,出力値をN(サブ区画内の画素数)とする。サブ区画(p′,q′)隣接4区画は,上下辺,左右辺方向の4区画である。そこで,隣接サブ区画間関係度に基づく指標Dを次式で表す。
REL (sub (p ', q'), sub (p ', q'-1))
-REL (sub (p ', q'), sub (p, q-1))
When the degree of relationship between adjacent sub-partitions is obtained by the first method,
REL (sub (p ', q'), sub (p ', q'-1)) = 0
REL (sub (p ', q'), sub (p, q-1)) = 0
If the output value is N, the output value is N (the number of pixels in the sub-partition). The four sections adjacent to the sub-partition (p ′, q ′) are four sections in the upper and lower sides and the left and right sides. Therefore, an index D based on the degree of relationship between adjacent sub-partitions is expressed by the following equation.
R′は前フレームのサブ区画(p′,q′)の隣接4区画の集合,Rは現フレームのサブ区画(p,q)の隣接4区画の集合を表す。指標Dがゼロに近いほど前フレームのサブ区画と現フレームサブ区画との類似性が高く,ゼロから値が離れるほど類似性は低い。 R ′ represents a set of four adjacent sections of the sub-partition (p ′, q ′) of the previous frame, and R represents a set of four adjacent sections of the sub-partition (p, q) of the current frame. The closer the index D is to zero, the higher the similarity between the subframe of the previous frame and the current frame subsection, and the lower the value is from zero, the lower the similarity.
〔移動確率算出部126〕
上述の方法で求めた3つの指標を用いて,前フレームのサブ区画(p′,q′)と現フレームのサブ区画(p,q)との類似度を求める。現フレームにおいて最も類似しているサブ区画が移動確率最大と考え,サブ区画(p′,q′)の移動先とする。サブ区画間の類似度Stotal を,指標A,B,C,Dを用いて次式で表す。
[Movement probability calculation unit 126]
Using the three indices obtained by the above-described method, the similarity between the sub-partition (p ′, q ′) of the previous frame and the sub-partition (p, q) of the current frame is obtained. The most similar sub-partition in the current frame is considered to have the maximum movement probability, and is the destination of sub-partition (p ′, q ′). The similarity S total between sub-partitions is expressed by the following formula using indices A, B, C, and D.
Stotal (p′,q′,p,q)
=−α|A|+β(B−1)―γC−δ|D|
α,β,γ,δは,予め与えられた重み係数である。
S total (p ′, q ′, p, q)
= −α | A | + β (B−1) −γC−δ | D |
α, β, γ, and δ are weight coefficients given in advance.
移動先(pdst ,qdst )は,
Stotal (p′,q′,pdst ,qdst )
=max(Stotal (p′,q′,p,q))
,0≦p<SizeX/n,0≦q<SizeY/n
を満たす。現フレームのサブ区画(p,q)を与える際,走査範囲を限定すると処理時間を短縮できる。例えば,前フレームのサブ区画を中心とした上下左右r区画の範囲で走査する場合には,サブ区画(p,q)の値を
p′−r≦p≦p′+r
q′−r≦q≦q′+r
にすると良い。
The destination (p dst , q dst ) is
S total (p ′, q ′, p dst , q dst )
= Max (S total (p ′, q ′, p, q))
, 0 ≦ p <SizeX / n, 0 ≦ q <SizeY / n
Meet. When the sub-section (p, q) of the current frame is given, the processing time can be shortened by limiting the scanning range. For example, when scanning in the range of up, down, left and right r sections centering on the sub section of the previous frame, the value of the sub section (p, q) is set to p′−r ≦ p ≦ p ′ + r.
q′−r ≦ q ≦ q ′ + r
It is better to
移動体が重なった場合には,その物体の境界付近において,前フレームの2つの異なるサブ区画(p1′,q1′),(p2′,q2′)の移動先が,現フレームの同一サブ区画(pdst ,qdst )となる場合がある。このように,移動元が複数存在する場合には,類似度Stotal が大きいほうを選択する。 When the moving objects overlap, the movement destinations of two different sub-parts (p1 ′, q1 ′), (p2 ′, q2 ′) of the previous frame are near the same sub-partition of the current frame near the boundary of the object. (P dst , q dst ). As described above, when there are a plurality of movement sources, the one having the higher similarity S total is selected.
Stotal (p1′,q1′,pdst ,qdst )
≧Stotal (p2′,q2′,pdst ,qdst )
→移動元はサブ区画(p1′,q1′),
Stotal (p1′,q1′,pdst ,qdst )
<Stotal (p2′,q2′,pdst ,qdst )
→移動元はサブ区画(p2′,q2′),
前フレームの移動元が3個以上になった場合も,上式で選択された移動元と,次の移動元とを順次比較することによって,処理可能である。
S total (p1 ', q1', pdst , qdst )
≧ S total (p2 ′, q2 ′, p dst , q dst )
→ The source is sub-partition (p1 ', q1'),
S total (p1 ', q1', pdst , qdst )
<S total (p2 ', q2', pdst , qdst )
→ The source is sub-partition (p2 ', q2'),
Even when the number of movement sources of the previous frame becomes three or more, processing can be performed by sequentially comparing the movement source selected by the above equation and the next movement source.
〔移動体追跡部127〕
移動確率算出部126において,現フレームのサブ区画(p,q)の移動元サブ区画が確定したとき,移動体IDとして移動元のID値を継承する。
[Moving object tracking unit 127]
When the movement
Attrib_SubBlock(t) [pdst ][qdst ][kID]
=Attrib_SubBlock(t-1) [p′][q′][kID]
kIDは,移動体IDの格納先の属性番号
現フレームにおける全てのサブ区画の移動元が確定し,移動体IDがサブ区画属性格納部128にセットされると,現フレームにおける各移動体の領域を決定することができる。例えば,移動体ID=Zの物体の画像領域(サブ区画テンプレート)は,Attrib_SubBlock[p][q][kID]=Zを満足するサブ区画の集まりで表される。
Attrib_SubBlock (t) [p dst ] [q dst ] [kID]
= Attrib_SubBlock (t-1) [p '] [q'] [kID]
kID is the attribute number of the mobile object ID storage destination. When the movement source of all sub-partitions in the current frame is determined and the mobile object ID is set in the sub-partition
サンプリング時刻が経過し,新しいフレーム画像を取得する毎に,上述の処理を繰り返すことによって,移動体を追跡することが可能となる。 Each time the sampling time elapses and a new frame image is acquired, the moving object can be tracked by repeating the above processing.
〔サブ区画属性格納部128〕
移動体検出の第1の方法で述べたように,本実施例では,画像を一定形状のサブ区画(例えば,8×8画素の格子状)に分割し,各サブ区画に移動体IDを1個与えることで,検出した移動体の位置を表す。例えば,横720画素×縦480画素の画像を,8×8画素のサブ区画で分割すると,横90区画×縦60区画,計5400個のサブ区画が与えられる。移動体が画像に占める領域を,同一の移動体IDを持つサブ区画の集合で表す。サブ区画は,配列表現で表現し,各種の属性値を格納する。例えば,時刻tにおけるp行q列目のサブ区画のk番目の属性値は,次式で与えられる。
[Sub partition attribute storage unit 128]
As described in the first method of detecting the moving object, in this embodiment, the image is divided into sub-parts having a fixed shape (for example, a grid of 8 × 8 pixels), and a mobile object ID is assigned to each sub-part. This gives the position of the detected moving object. For example, when an image of horizontal 720 pixels × vertical 480 pixels is divided into 8 × 8 pixel sub-partitions, a total of 5400 sub-partitions of 90 horizontal sections × 60 vertical sections are provided. The area occupied by the moving object in the image is represented by a set of sub-partitions having the same moving object ID. The sub-partition is expressed by an array representation and stores various attribute values. For example, the k-th attribute value of the sub-part of the p-th row and the q-th column at time t is given by the following equation.
Attrib_SubBlock(t) [p][q][k]
0≦p<SizeX/n,0≦q<SizeY/n,0≦k<kmax
(ただし,SizeX,SizeYはフレーム画像の横,縦のサイズ,nはサブ区画の1辺の画素数,kmax は,属性数を表す。)
サブ区画の属性の例には,図8のような種類がある。
Attrib_SubBlock (t) [p] [q] [k]
0 ≦ p <SizeX / n, 0 ≦ q <SizeY / n, 0 ≦ k <k max
(Here, SizeX and SizeY are the horizontal and vertical sizes of the frame image, n is the number of pixels on one side of the sub-partition, and k max is the number of attributes.)
Examples of sub-partition attributes include the types shown in FIG.
図9は,移動確率に基いて移動体を検出する第2の移動体検出方法を用いた場合の検出処理フローチャートである。 FIG. 9 is a flowchart of detection processing when the second moving object detection method for detecting a moving object based on the movement probability is used.
[S40]:初期設定として,各種定数(画像サイズSizeX,SizeY,サブ区画の一辺の画素数nなど)を予めセットしておく。 [S40]: As an initial setting, various constants (image size SizeX, SizeY, number of pixels n on one side of sub-partition, etc.) are set in advance.
[S41]:ビデオカメラ20によって撮影を開始する。
[S41]: Shooting is started by the
[S42]:サンプリング時刻毎に,ビデオカメラ20によって撮影した画像を取得する。
[S42]: Images taken by the
[S43]:現フレーム画像バッファに格納されているデータを前フレーム画像バッファへ移動し,ステップS42で取得した画像を現フレーム画像バッファへ格納する。 [S43]: The data stored in the current frame image buffer is moved to the previous frame image buffer, and the image acquired in step S42 is stored in the current frame image buffer.
[S44]:前フレームのサブ区画(p′,q′)を1個取り出す。 [S44]: One sub-partition (p ′, q ′) of the previous frame is extracted.
[S45]:現フレームのサブ区画(p,q)を1個取り出す。 [S45]: One sub-partition (p, q) of the current frame is extracted.
[S46]:前フレームのサブ区画(p′,q′)の左上端画素座標(iLT′,jLT′)と,現フレームのサブ区画(p,q)の左上端画素座標(iLT,jLT)から,移動ベクトルVを算出する。 [S46]: sub-zone of the previous frame (p ', q') the upper left end pixel coordinates (i LT ', j LT' ) and, the upper left end pixel coordinates (i LT of the current frame sub-zone (p, q) , J LT ), the movement vector V is calculated.
[S47]:サブ区画属性格納部128から,前フレームのサブ区画(p′,q′)の移動ベクトルV′を取り出し,ステップS46で求めた現フレームの移動ベクトルVとの,ベクトルの大きさの差分値Aと内積Bを算出する。
[S47]: The movement vector V ′ of the sub-partition (p ′, q ′) of the previous frame is extracted from the sub-partition
[S48]:サブ区画(p′,q′)に含まれる前フレーム画像バッファの画素と,サブ区画(p,q)に含まれる現フレーム画像バッファの画素から局所相関値Cを算出する。 [S48]: The local correlation value C is calculated from the pixels of the previous frame image buffer included in the sub-partition (p ′, q ′) and the pixels of the current frame image buffer included in the sub-partition (p, q).
[S49]:サブ区画属性格納部128から,前フレームのサブ区画(p′,q′)のヒストグラムHp',q' [I],および,隣接区画(p′+a,q′+b)(a,b=−1,0,1)のヒストグラムHp'+a,q'+b [I]を取り出し,両区画間の関係度REL(sub(p′,q′),sub(p′+a,q′+b))を算出する。 [S49]: The histogram H p ′, q ′ [I] of the sub-partition (p ′, q ′) of the previous frame and the adjacent part (p ′ + a, q ′ + b) (from the sub-partition attribute storage unit 128) The histogram H p ′ + a, q ′ + b [I] of a, b = −1, 0, 1) is taken out, and the degree of relationship REL (sub (p ′, q ′), sub (p ′ + A, q '+ b)) is calculated.
[S50]:現フレームのサブ区画(p,q)および隣接区画(p+a,q+b)(a,b=−1,0,1)に含まれる現フレーム画像バッファの画素からヒストグラムHp,q [I],Hp+a,q+b [I]を求め,両区画間の関係度REL(sub(p,q),sub(p+a,q+b))を算出する。 [S50]: Histogram H p, q from the pixels of the current frame image buffer included in the sub-partition (p, q) and the adjacent section (p + a, q + b) (a, b = -1, 0, 1) of the current frame I], H p + a, q + b [I] is obtained, and the degree of relationship REL (sub (p, q), sub (p + a, q + b)) between both sections is calculated.
[S51]:前フレームの関係度REL(sub(p′,q′),sub(p′+a,q′+b))と現フレームの関係度REL(sub(p,q),sub(p+a,q+b))から隣接サブ区画間関係度に基づく指標Dを算出する。 [S51]: Relationship REL (sub (p ′, q ′), sub (p ′ + a, q ′ + b)) of the previous frame and relationship REL (sub (p, q), sub (p + a, An index D based on the degree of relationship between adjacent sub-partitions is calculated from q + b)).
[S52]:全ての隣接区画に対する隣接サブ区画間関係度を算出するまで,上記ステップS49〜S51を繰り返す。 [S52]: Steps S49 to S51 are repeated until the degree of relationship between adjacent sub-partitions for all adjacent sections is calculated.
[S53]:指標A,B,C,Dを用いて,サブ区画間の類似度Stotal (p′,q′,p,q)を求める。 [S53]: Using the indices A, B, C, and D, the similarity S total (p ′, q ′, p, q) between the sub-partitions is obtained.
[S54]:走査対象である現フレームの全てのサブ区画について類似度Stotal を算出するまで,ステップS45〜S53を繰り返す。 [S54]: for all sub-compartments of the current frame is scanned until the similarity is calculated S total, repeat steps S45~S53.
[S55]:サブ区画間の類似度Stotal (p′,q′,p,q)が最大となる現フレームのサブ区画(p,q)を移動先(pdst ,qdst )とする。 [S55]: The sub-partition (p, q) of the current frame that maximizes the similarity S total (p ′, q ′, p, q) between the sub-partitions is set as the movement destination (p dst , q dst ).
[S56]:サブ区画属性格納部128から,前フレームのサブ区画(p′,q′)の移動体ID;Attrib_SubBlock(t−1)[p′][q′][kID]を取り出す。
[S56]: The mobile unit ID; Attrib_SubBlock (t−1) [p ′] [q ′] [kID] of the sub-partition (p ′, q ′) of the previous frame is extracted from the sub-partition
[S57]:サブ区画属性格納部128から,現フレームの移動先サブ区画(pdst ,qdst )の移動体ID;Attrib_SubBlock(t)[pdst ][qdst ][kID]を取り出す。
[S57]: from the sub-compartment
[S58]:現フレームの移動先サブ区画(Attrib_SubBlock(t)[pdst ][qdst ][kID])に,既に移動体IDが格納済みであれば,ステップS59へ進む。未格納であれば,ステップS61へ進む。 [S58]: the destination sub-zone of the current frame (Attrib_SubBlock (t) [p dst ] [q dst] [kID]), if already mobile ID is stored, the process proceeds to step S59. If not stored, the process proceeds to step S61.
[S59]:サブ区画属性格納部128から,現フレームの移動先サブ区画(pdst ,qdst )のサブ区画間の類似度を取り出し,Stotal-saveとする。
[S59]: The similarity between the sub-partitions of the movement destination sub-partition (p dst , q dst ) of the current frame is extracted from the sub-partition
[S60]:ステップS53で求めたサブ区画間の類似度Stotal (p′,q′,p,q)と,ステップS59で取り出した類似度Stotal-saveとを比較する。
・Stotal (p′,q′,pdst ,qdst )≧Stotal-saveであれば,ステップS61へ進む。
・Stotal (p′,q′,pdst ,qdst )<Stotal-saveであれば,ステップS62へ進む。
[S60]: The similarity S total (p ′, q ′, p, q) between the sub-partitions obtained in step S53 is compared with the similarity S total-save extracted in step S59.
If S total (p ′, q ′, p dst , q dst ) ≧ S total-save , the process proceeds to step S61.
If S total (p ′, q ′, p dst , q dst ) <S total-save , the process proceeds to step S62.
[S61]:サブ区画属性格納部128に,移動元のID値Attrib_SubBlock(t−1)[p′][q′][kID],サブ区画間類似度Stotal (p′,q′,pdst ,qdst )をセットする。
[S61]: The sub-partition
[S62]:前フレームの全てのサブ区画を走査済みであれば,ステップS42へ戻る。走査済みでなければ,ステップS44へ戻る。 [S62]: If all the sub-sections of the previous frame have been scanned, the process returns to step S42. If not scanned, the process returns to step S44.
移動体に関する情報が必要なときには,サブ区画属性格納部128からデータを読み出す。
When information on the moving object is required, data is read from the sub-partition
〔移動体方向算出部13〕
移動体の方位角を,画像処理の検出結果から算出する。角度検出方法を,図10〜図12を用いて説明する。
[Moving object direction calculation unit 13]
The azimuth angle of the moving object is calculated from the detection result of the image processing. The angle detection method will be described with reference to FIGS.
図10は,ビデオカメラ20と移動体との位置関係を模式的に示した外観図である。移動体方向算出部13では,図のように,カメラ視野の左端(画像の左端)を基準とした移動体の方位角を算出する。
FIG. 10 is an external view schematically showing the positional relationship between the
移動体検出部12で移動体の画像領域が確定したとき,その移動体の方位を次のようにして求める。図11において,ビデオカメラ20は図の右方向を向いているものとする。ビデオカメラ20の視野角は,2αである。また,画面の画素値を,左端が0,右端がxsizeとし,移動体の中心位置は,追跡ブロックの中心位置xtrk-cen とする。このとき,画面上で,図12のように検出された移動体の方位角βを次のようにして求める。
When the moving
移動体が,複数存在するときは,各移動体に対して同様の処理を繰り返すことで,全ての移動体の方位角を算出する。 When there are a plurality of moving objects, the same processing is repeated for each moving object to calculate the azimuth angles of all the moving objects.
〔アンテナ方向制御部14〕
アンテナ方向制御部14では,移動体方向算出部13で得られた移動体の方位角へアンテナの指向性を一致させることで,移動体が装着しているRFタグ33との通信を行う。そこで,指向性アンテナ31には,例えば図13に示すような指向性パターンが可変なアダプティブアレーアンテナを用いる。アダプティブアレーアンテナでは,複数のアンテナ・エレメントで受信した信号に対して重み付けをし,重みを適宜変更することで指向性パターンをコントロールする。
[Antenna direction control unit 14]
The antenna
アンテナの指向性は,送受信で可逆であるため,下記では,受信時のアダプティブアレーアンテナの重み係数の算出方法を示す。 Since the directivity of the antenna is reversible in transmission and reception, the calculation method of the weighting factor of the adaptive array antenna at the time of reception is shown below.
図13に示す指向性アンテナ31に対する,RFタグ33からの電波の到来方向をθとする。アンテナ・エレメントが直線状に等間隔Dで並んでいる場合,基準となるアンテナと比較したときの第i番目のアンテナへの伝播遅延時間τi (θ)は,
The direction of arrival of radio waves from the
で表される。cは,伝播速度である。変調信号をm(n),搬送波の角周波数をω,第i番目のアンテナ出力をxi (n),nを時間とすると, It is represented by c is the propagation speed. If the modulation signal is m (n), the angular frequency of the carrier wave is ω, the i-th antenna output is x i (n), and n is time,
となる。 It becomes.
所望の信号波形が既知で参照信号d(n)として利用できる場合,アレーの出力信号y(n)との平均2乗誤差を最小にすることで,重み係数を決定できる。u(n)を干渉,雑音などの誤差成分とする。 If the desired signal waveform is known and can be used as the reference signal d (n), the weighting factor can be determined by minimizing the mean square error with the array output signal y (n). Let u (n) be an error component such as interference or noise.
u(n)=d(n)−y(n)
各アンテナの入力信号xi (n),重み係数wi (θ)をベクトルで表現し,各エレメントの合成出力をy(n)として,上式に代入する。
u (n) = d (n) -y (n)
The input signal x i (n) and the weighting coefficient w i (θ) of each antenna are expressed as vectors, and the combined output of each element is substituted into the above equation as y (n).
X(n)T =[x1 (n) x2 (n)・・・]
W(θ)T =[w1 (θ) w2 (θ)・・・]
y(n)=W(θ)H X(n)
u(n)=d(n)−W(θ)H X(n)
なお,添え字Tは転置,Hは複素共役転置を表す。このとき誤差成分の2乗の期待値Jは次式で表される。
X (n) T = [x 1 (n) x 2 (n) ...]
W (θ) T = [w 1 (θ) w 2 (θ) ...]
y (n) = W (θ) H X (n)
u (n) = d (n) −W (θ) H X (n)
Note that the subscript T represents transposition and H represents complex conjugate transposition. At this time, the expected value J of the square of the error component is expressed by the following equation.
J=E{|d(n)−W(θ)H X(n)|2 }
各アンテナの入力信号の自己相関行列をRxx=E{x(n)x(n)H },参照信号と各アンテナの入力信号との相互相関行列をrxd=E{x(n)d* (n)}と定義すると,最適な重みは,期待値Jを重みベクトルWで偏微分することにより,
W(θ)=Rxx -1rxd
で与えられる。
J = E {| d (n) -W (θ) H X (n) | 2 }
The autocorrelation matrix of the input signal of each antenna is R xx = E {x (n) x (n) H }, and the cross-correlation matrix of the reference signal and the input signal of each antenna is r xd = E {x (n) d If defined as * (n)}, the optimum weight is obtained by partial differentiation of the expected value J with the weight vector W,
W (θ) = R xx −1 r xd
Given in.
上述のように,電波の飛来方向θと,重み係数W(θ)を対応付けることができる。そこで,RFタグ33に対してアンテナから電波を輻射する際,カメラ視野角の範囲を,θ1 〜θ2 とし,刻み幅Δθでアンテナの方向を振るとき,予め,重み係数を,
θ1 → W(θ1 )
θ1 +Δθ→W(θ1 +Δθ)
θ1 +2・Δθ→W(θ1 +2・Δθ)
:
θ1 +k・Δθ→W(θ1 +k・Δθ)
:
θ2 → W(θ2 )
のように算出しておく。移動体方向算出部13で求めた移動体の方位角がβのときの重み係数は,
β≒θ1 +n・Δθ
Wβ=W(θ1 +n・Δθ)
のようにして算出される。重み係数Wβを設定して送信することで,β方向へアンテナの指向性パターンを向けることができる。
As described above, the radio wave arrival direction θ can be associated with the weighting factor W (θ). Therefore, when radio waves are radiated from the antenna to the
θ 1 → W (θ 1 )
θ 1 + Δθ → W (θ 1 + Δθ)
θ 1 +2 ・ Δθ → W (θ 1 +2 ・ Δθ)
:
θ 1 + k · Δθ → W (θ 1 + k · Δθ)
:
θ 2 → W (θ 2 )
Calculate as follows. The weighting coefficient when the azimuth angle of the moving body obtained by the moving body
β ≒ θ 1 + n · Δθ
Wβ = W (θ 1 + n · Δθ)
It is calculated as follows. By setting the weighting coefficient Wβ and transmitting, the directivity pattern of the antenna can be directed in the β direction.
〔RFタグ33〕
RFタグ33は,ICチップ,アンテナ(コイル)からなり,無線を用いることで,非接触で,RFタグリーダ・ライタ30との通信を行うことができるデバイスである。RFタグリーダ・ライタ30から供給される電磁波から駆動用の電力を獲得するタイプのRFタグ33の場合,電池などの電源を内蔵していなくても動作可能である。なお,電池内蔵タイプのRFタグ33を利用してもよい。なお,本システムにおいて,人を移動体の対象として,人にRFタグ33を装着させる場合,動きが比較的安定している頭や胸に装着させることが望ましい。
[RF tag 33]
The
RFタグ33内のメモリには,RFタグ33が装着される撮影対象に応じて,その対象の名称,特徴(色,形状,ID番号など),仕様,あるいは,これらが記載されたネットワークアドレスなどを予め格納しておく。書き込み可能なRFタグ33を使用すると,ビデオカメラ20で撮影している最中にメモリに記憶されたデータ内容を,必要に応じて書き換えることも可能である。
In the memory in the
電池内蔵RFタグ33の中には,CPU(中央演算処理装置)を備えているものもあり,次のようにタグ側に方位を求める演算を実装することが可能である。 Some of the battery built-in RF tags 33 are provided with a CPU (Central Processing Unit), and it is possible to implement a calculation for obtaining an orientation on the tag side as follows.
図14は,2つの移動体にID1,ID2のRFタグ33が装着されているときに,それぞれの方位角を算出する方法の説明図である。まず,移動体方向算出部13で求めた方位角β1,β2を用いて,アンテナ方向制御部14から,方位角β1,β2へ電波を順に輻射する。このとき,方位角情報をRFタグ33へ送信する。RFタグ33では,方位角情報β1,β2を受信するとともに,そのときの受信信号強度を検出し,RFタグ33内のメモリへ格納する。それぞれのRFタグ33の受信信号強度は,
・アンテナの指向性ビームがβ1方向へ向いているときは,SID1 >SID2
・アンテナの指向性ビームがβ2方向へ向いているときは,SID1 <SID2
となる。
FIG. 14 is an explanatory diagram of a method for calculating the respective azimuth angles when the RF tags 33 of ID1 and ID2 are attached to two moving bodies. First, radio waves are radiated in order from the antenna
• When the antenna's directional beam is directed in the β1 direction, S ID1 > S ID2
• When the directional beam of the antenna is pointing in the β2 direction, S ID1 <S ID2
It becomes.
ID1のRFタグ33は,方位角がβ1のときの受信信号強度が強いことから,β1方向に位置しており,ID2のRFタグ33は,方位角がβ2のときの受信信号強度が強いことから,β2方向に位置しているとの結果が得られる。属性情報と共に得られたタグの方位角を,RFタグ33からRFタグリーダ・ライタ30へ送信することで,移動体とRFタグ(ID値)とを結び付けることができる。
The
〔RFタグリーダ・ライタ30〕
データ読み込み時に,RFタグリーダ・ライタ30は,指向性アンテナ31から出力された信号y(n)から,RFタグ33のデータによって変調された信号を復調し,さらに,AD変換を施すことによって,デジタルデータを得る。デジタルデータは,信号入出力インタフェース11における適当な信号線を介して,メタデータ生成部15へ出力される。また,データ書込み時には,読み込み時と逆の操作を行うことによって,デジタルデータをRFタグ33内のメモリに書き込む。
[RF tag reader / writer 30]
At the time of data reading, the RF tag reader /
〔メタデータ生成部15〕
RFタグ33から方位角と共に送信された属性情報からメタデータを生成する。送信時間を短くするため,RFタグ33から送るデータは値のみとし,予め決められた順番で送付するようにしても良い。この場合,RFタグリーダ・ライタ30から出力されたデジタルデータは,予め決められた規則を適用することで,メタデータへ変換する。メタデータへの変換例を,図14を用いて説明する。例えば,本装置を,マラソンへ適用する場合,RFタグ33(ID1,ID2)の中には,
・ランナーのゼッケン番号
・競技日
・スタート時刻
・種目
などの数値・文字列データが格納されている。これらの数値・文字列データを,メタデータ生成部15でメタデータへ変換し,メタデータ付与部16へ送る。
[Metadata generation unit 15]
Metadata is generated from the attribute information transmitted from the
-Runner number number-Competition date-Start time-Numeric value and character string data such as events are stored. The numerical value / character string data is converted into metadata by the
メタデータとして,固定値ではなく,可変値を使用することもできる。例えば,RFタグ33に温度,血圧,脈拍を検出するセンサを実装させ,RFタグリーダ・ライタ30へ送ることで,ビデオカメラ20で取得したフレーム画像へセンサデータを埋め込むことができる。また,RFタグ33から得たIDをもとに,そのIDに対応して予め登録された各種の属性情報を他の装置から取得して,メタデータとすることもできる。また,RFタグ33のIDを移動体の固有情報としてそのままメタデータとすることもできる。
As the metadata, variable values can be used instead of fixed values. For example, sensor data can be embedded in a frame image acquired by the
〔メタデータ付与部16〕
移動体方向算出部13で得られた移動体の方位角と,RFタグ33から送られてきたタグの方位角を比較し,方位角が一致する移動体とRFタグ33とを結び付ける。
[Metadata giving unit 16]
The azimuth angle of the mobile body obtained by the mobile body
図15は,本実施例における画像領域とメタデータとの関連付けを示す図である。通常,ビデオカメラ20からは,適当なサンプリング周期(例えば33ms)で,1フレーム分の画像データ(フレーム画像)が出力される。フレームの番号と,フレーム画像中に存在する全ての移動追跡のブロック番号とを対応付ける。移動追跡ブロック番号には追跡する移動体の番号と認識したRFタグ33の番号を記載する。
FIG. 15 is a diagram illustrating an association between an image area and metadata in the present embodiment. Usually, the
図15のフレーム番号1,2では移動体は何も検出できていない状況を示している。フレーム番号3に至り,移動追跡ブロック番号1,3で移動体が検出され,移動追跡ブロック番号1ではタグ1のRFタグが認識できたことを示している。移動追跡ブロック番号1では移動体方向算出部13から移動体の移動体番号1とタグ1を得る。移動追跡ブロック番号3では移動体は検出できたが,タグ番号は認識できていないことを示している。フレーム番号5で移動追跡ブロック番号2ではタグ5が認識でき,フレーム番号8で移動追跡ブロック番号3においてもタグ8が認識できている。
メタデータ付与部16において生成されたメタデータ付き映像は,例えば信号入出力インタフェース17,ネットワーク42を介して表示装置41へ送信される。なお,画像の出力先として,インターネットを利用したストリーミング中継,DVD,ビデオ,CD−ROMのような記録媒体43も考えられる。
The video with metadata generated in the
〔全体の処理フロー〕
次に,画像処理で移動体を検出してから,移動体へRFタグ33のIDを付与するまでの処理フローを図16に示す。
[Overall processing flow]
Next, FIG. 16 shows a processing flow from the detection of the moving object by image processing until the ID of the
[S70]:移動体検出部12において,画像に映っている移動体を検出する。
[S70]: The moving
[S71]:移動体方向算出部13において,移動体が占める画像領域の位置からその方位を算出する。
[S71]: The moving body
[S72]:アンテナ方向制御部14で,ステップS71で求めた角度へアンテナの方向を向ける。このとき,方位角(放射角度データ)をRFタグ33へ送信する。
[S72]: The antenna
[S73]:タグ側で,受信した方位角の値と,そのときの信号強度とを対応付けて保存する。 [S73]: The tag side stores the received azimuth value and the signal strength at that time in association with each other.
[S74]:ステップS71で求めた全ての方向へ電波を輻射するまで,ステップS72とS73を繰り返す。 [S74]: Steps S72 and S73 are repeated until radio waves are radiated in all directions obtained in step S71.
[S75]:RFタグ33では,検出した信号の中で信号強度が最も強い方位角を選択し,そのタグの属性情報と共にアンテナ側へ送信する。
[S75]: The
[S76]:アンテナ側で,RFタグ33から送信された角度データと属性情報を受信する。
[S76]: The angle data and attribute information transmitted from the
[S77]:ステップS76でRFタグ33から受信した角度データが一致する移動体,およびその画像領域に対してメタデータ生成部15で変換したメタデータのIDを付与する。
[S77]: The ID of the metadata converted by the
〔他の実施例〕
上記の例では,アンテナ側から輻射した電波をRFタグ33で受信し,信号強度を比較する方法を説明した。本実施例では,RFタグ33から輻射した電波をアンテナ側で受信し,信号強度を比較する方法について述べる。図14に示したように,2つの移動体がそれぞれRFタグ33を装着している場合を例に取る。まず,アンテナの受信方向をβ1に固定した状態で,2つのRFタグ33からID番号を順に送信する。アンテナ側では,ID番号を受信すると同時に,信号強度を検出しメモリ等へ記憶する。次に,アンテナの受信方向をβ2に固定した状態で,RFタグ33からID番号を送信し,同様に,信号強度を記憶する。全方向の走査が終了したときに,各RFタグ33から発せられた電波の受信強度を比較する。
[Other Examples]
In the above example, the method of receiving radio waves radiated from the antenna side with the
図14の例の場合,それぞれのタグの受信信号強度は,
・アンテナの指向性ビームがβ1方向へ向いているときは,SID1 >SID2
・アンテナの指向性ビームがβ2方向へ向いているときは,SID1 <SID2
となる。
In the example of FIG. 14, the received signal strength of each tag is
• When the antenna's directional beam is directed in the β1 direction, S ID1 > S ID2
• When the directional beam of the antenna is pointing in the β2 direction, S ID1 <S ID2
It becomes.
ID1のRFタグ33は,方位角がβ1のときの信号強度が強いことから,β1方向に位置しており,ID2のRFタグ33は,方位角がβ2のときの信号強度が強いことから,β2方向に位置しているとの結果が得られる。ID番号と共に属性情報を受信することで,移動体とRFタグ(ID値,属性情報)とを結び付けることができる。
The
〔他の実施例の処理フロー〕
本実施例の処理の流れを,図17に示す。
[Processing Flow of Other Examples]
The flow of processing in this embodiment is shown in FIG.
[S80]:移動体検出部12において,画像に映っている移動体を検出する。
[S80]: The moving
[S81]:移動体方向算出部13において,移動体が占める画像領域の位置からその方位を算出する。
[S81]: The moving body
[S82]:アンテナ方向制御部14で,ステップS81で求めた角度へアンテナの受信方向を向け,RFタグ33から送られてくる信号を待機する。
[S82]: The antenna
[S83]:RFタグ33から,ID番号と属性情報を送信する。
[S83]: The ID number and attribute information are transmitted from the
[S84]:RFタグ33から送られたID番号・属性情報を格納し,受信時の信号強度を記憶する。
[S84]: The ID number / attribute information sent from the
[S85]:全てのRFタグ33から電波を輻射するまで,ステップS82〜S84を繰り返す。 [S85]: Steps S82 to S84 are repeated until radio waves are radiated from all the RF tags 33.
[S86]:ステップS81で求めた全ての方向へ指向性ビームを向け,それぞれの方位で,RFタグ33からのデータを受信するまで,ステップS82〜S85を繰り返す。
[S86]: A directional beam is directed in all directions obtained in step S81, and steps S82 to S85 are repeated until data from the
[S87]:信号強度が最も強いRFタグ33のID番号を,受信した方位に一致する移動体に対応付けることで,画像領域にメタデータを付与する。
[S87]: Metadata is added to the image area by associating the ID number of the
以上説明したメタデータ自動付与装置10が行う処理は,コンピュータとソフトウェアプログラムとによって実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
The processing performed by the automatic
10 メタデータ自動付与装置
11,17 信号入出力インタフェース
12 移動体検出部
13 移動体方向算出部
14 アンテナ方向制御部
15 メタデータ生成部
16 メタデータ付与部
20 ビデオカメラ
30 RFタグリーダ・ライタ
31 指向性アンテナ
32 インタフェース
33 RFタグ
40,41 表示装置
42 ネットワーク
43 記録媒体
DESCRIPTION OF
Claims (6)
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する移動体検出手段と,
検出した移動体の画像領域から移動体の方向を算出する移動体方向算出手段と,
前記RFタグ入出力装置における指向性アンテナの指向性を,前記移動体方向算出手段によって算出した移動体の方向へ制御するアンテナ方向制御手段と,
前記RFタグ入出力装置によって,前記RFタグが発する固有情報または属性情報を読み取り,前記移動体方向算出手段により算出した移動体の方向と,前記RFタグ入出力装置による前記RFタグからの電波の受信によって得た角度情報とから,前記移動体の画像領域と前記RFタグとを対応付け,前記移動体の画像領域に前記RFタグから読み取った固有情報または属性情報を含むメタデータを付与するメタデータ付与手段とを備える
ことを特徴とする画像領域へのメタデータ自動付与装置。 It has an input / output interface between an imaging device that captures a moving body with an RF tag and an RF tag input / output device having a directional antenna, and extracts an image area of the moving body from an image captured by the imaging device. , An automatic metadata adding device for adding metadata including unique information or attribute information obtained from the RF tag to an image area of a mobile object,
A moving body detecting means for detecting an image area of the moving body by image processing from an image photographed by the photographing device;
Moving body direction calculating means for calculating the direction of the moving body from the detected image area of the moving body;
Antenna direction control means for controlling the directivity of the directional antenna in the RF tag input / output device to the direction of the moving object calculated by the moving object direction calculating means;
The RF tag input / output device reads specific information or attribute information emitted by the RF tag, and the direction of the mobile body calculated by the mobile body direction calculation means and the radio wave from the RF tag by the RF tag input / output device. Meta data that associates the image area of the moving object with the RF tag from the angle information obtained by reception, and assigns metadata including specific information or attribute information read from the RF tag to the image area of the moving object. An apparatus for automatically assigning metadata to an image area, comprising: a data attaching unit.
前記メタデータ付与手段は,前記RFタグが最も強い電波強度で受信したときの放射角度のデータを,前記RFタグが送信する電波の信号から取得し,その角度データを前記移動体の画像領域と前記RFタグとの対応付けに用いる
ことを特徴とする請求項1記載の画像領域へのメタデータ自動付与装置。 The antenna direction control means places a data signal of the radiation angle of the radio wave on the radio wave transmitted from the directional antenna of the RF tag input / output device,
The metadata assigning means obtains radiation angle data when the RF tag is received at the strongest radio wave intensity from a radio wave signal transmitted by the RF tag, and uses the angle data as an image area of the mobile object. The apparatus for automatically assigning metadata to an image area according to claim 1, wherein the apparatus is used for association with the RF tag.
前記メタデータ付与手段は,前記RFタグからの電波の受信時における最も電波強度が強い方向を,そのRFタグの方向とし,その方向の角度情報を前記移動体の画像領域と前記RFタグとの対応付けに用いる
ことを特徴とする請求項1記載の画像領域へのメタデータ自動付与装置。 The antenna direction control means receives the radio wave from the RF tag by sequentially controlling the directivity of the directional antenna of the RF tag input / output device to the direction of the moving object calculated by the moving object direction calculating means. Control
The metadata providing means sets a direction in which the radio wave intensity is strongest when radio waves are received from the RF tag as a direction of the RF tag, and angle information of the direction is obtained between the image area of the mobile object and the RF tag. The apparatus for automatically assigning metadata to an image area according to claim 1, wherein the apparatus is used for association.
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する過程と,
検出した移動体の画像領域から移動体の方向を算出する過程と,
算出した移動体の方向へ,前記RFタグ入出力装置の指向性アンテナから,その方向の角度データの信号を含む電波を輻射する制御を行う過程と,
前記RFタグ入出力装置によって,前記RFタグが発する固有情報または属性情報と前記RFタグが最も強い電波強度で受信したときの前記角度データとを読み取り,前記算出した移動体の方向と,前記RFタグ入出力装置により前記RFタグから得た角度データとをもとに,前記移動体の画像領域と前記RFタグとを対応付け,前記移動体の画像領域に前記RFタグから読み取った固有情報または属性情報を含むメタデータを付与する過程とを有する
ことを特徴とする画像領域へのメタデータ自動付与方法。 It has an input / output interface between an imaging device that captures a moving body with an RF tag and an RF tag input / output device having a directional antenna, and extracts an image area of the moving body from an image captured by the imaging device. , An automatic metadata assignment method executed by an automatic metadata assignment device for assigning metadata including unique information or attribute information obtained from the RF tag to an image area of a moving object,
A process of detecting an image area of a moving object by image processing from an image photographed by the photographing device;
Calculating the direction of the moving object from the detected image area of the moving object;
A process of radiating a radio wave including a signal of angle data in the direction from the directional antenna of the RF tag input / output device toward the calculated moving body;
The RF tag input / output device reads the unique information or attribute information emitted by the RF tag and the angle data when the RF tag is received with the strongest radio wave intensity, and calculates the direction of the calculated moving body and the RF Based on the angle data obtained from the RF tag by the tag input / output device, the image area of the moving object is associated with the RF tag, and the unique information read from the RF tag in the image area of the moving object or A method of automatically assigning metadata to an image area, comprising: a step of assigning metadata including attribute information.
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する過程と,
検出した移動体の画像領域から移動体の方向を算出する過程と,
前記RFタグ入出力装置の指向性アンテナの指向性を,順次,前記算出した移動体の方向へ制御して,前記RFタグからの電波を受信する制御を行う過程と,
前記RFタグ入出力装置によって,前記RFタグが発する固有情報または属性情報を読み取るとともに,前記RFタグからの電波の受信時における最も電波強度が強い方向をそのRFタグの方向とし,前記算出した移動体の方向と前記RFタグの方向とをもとに,前記移動体の画像領域と前記RFタグとを対応付け,前記移動体の画像領域に前記RFタグから読み取った固有情報または属性情報を含むメタデータを付与する過程とを有する
ことを特徴とする画像領域へのメタデータ自動付与方法。 It has an input / output interface between an imaging device that captures a moving body with an RF tag and an RF tag input / output device having a directional antenna, and extracts an image area of the moving body from an image captured by the imaging device. , An automatic metadata assignment method executed by an automatic metadata assignment device for assigning metadata including unique information or attribute information obtained from the RF tag to an image area of a moving object,
A process of detecting an image area of a moving object by image processing from an image photographed by the photographing device;
Calculating the direction of the moving object from the detected image area of the moving object;
A process of sequentially controlling the directivity of the directional antenna of the RF tag input / output device in the direction of the calculated moving body and receiving radio waves from the RF tag;
The RF tag input / output device reads specific information or attribute information emitted by the RF tag, and the direction of the RF tag when the radio wave intensity is received from the RF tag is defined as the direction of the RF tag. Based on the direction of the body and the direction of the RF tag, the image area of the moving body is associated with the RF tag, and the image area of the moving body includes unique information or attribute information read from the RF tag. A method for automatically assigning metadata to an image area.
前記コンピュータを,
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する移動体検出手段と,
検出した移動体の画像領域から移動体の方向を算出する移動体方向算出手段と,
前記RFタグ入出力装置における指向性アンテナの指向性を,前記移動体方向算出手段によって算出した移動体の方向へ制御するアンテナ方向制御手段と,
前記RFタグ入出力装置によって,前記RFタグが発する固有情報または属性情報を読み取り,前記移動体方向算出手段により算出した移動体の方向と,前記RFタグ入出力装置による前記RFタグからの電波の受信によって得た角度情報とから,前記移動体の画像領域と前記RFタグとを対応付け,前記移動体の画像領域に前記RFタグから読み取った固有情報または属性情報を含むメタデータを付与するメタデータ付与手段として,
機能させるための画像領域へのメタデータ自動付与プログラム。 It has an input / output interface between an imaging device that captures a moving body with an RF tag and an RF tag input / output device having a directional antenna, and extracts an image area of the moving body from an image captured by the imaging device. , An automatic metadata assignment program for causing a computer of an automatic metadata assignment device to assign metadata including unique information or attribute information obtained from the RF tag to an image area of a mobile object,
Said computer,
A moving body detecting means for detecting an image area of the moving body by image processing from an image photographed by the photographing device;
Moving body direction calculating means for calculating the direction of the moving body from the detected image area of the moving body;
Antenna direction control means for controlling the directivity of the directional antenna in the RF tag input / output device to the direction of the moving object calculated by the moving object direction calculating means;
The RF tag input / output device reads specific information or attribute information emitted by the RF tag, and the direction of the mobile body calculated by the mobile body direction calculation means and the radio wave from the RF tag by the RF tag input / output device. Meta data that associates the image area of the moving object with the RF tag from the angle information obtained by reception, and assigns metadata including specific information or attribute information read from the RF tag to the image area of the moving object. As a data giving means,
A program for automatically assigning metadata to image areas for functioning.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006250327A JP4607836B2 (en) | 2006-09-15 | 2006-09-15 | Apparatus for automatically assigning metadata to image area, method for automatically assigning metadata, and program for automatically assigning metadata |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006250327A JP4607836B2 (en) | 2006-09-15 | 2006-09-15 | Apparatus for automatically assigning metadata to image area, method for automatically assigning metadata, and program for automatically assigning metadata |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008072543A JP2008072543A (en) | 2008-03-27 |
JP4607836B2 true JP4607836B2 (en) | 2011-01-05 |
Family
ID=39293711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006250327A Expired - Fee Related JP4607836B2 (en) | 2006-09-15 | 2006-09-15 | Apparatus for automatically assigning metadata to image area, method for automatically assigning metadata, and program for automatically assigning metadata |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4607836B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5083080B2 (en) * | 2008-07-11 | 2012-11-28 | 株式会社ニコン | Image matching device and camera |
US8253564B2 (en) * | 2009-02-19 | 2012-08-28 | Panasonic Corporation | Predicting a future location of a moving object observed by a surveillance device |
JP5185875B2 (en) * | 2009-03-30 | 2013-04-17 | 株式会社日本総合研究所 | Wireless tag and imaging device |
JP2013085200A (en) * | 2011-10-12 | 2013-05-09 | Canon Inc | Image processing device, image processing method, and program |
EP3252491A1 (en) * | 2016-06-02 | 2017-12-06 | Nokia Technologies Oy | An apparatus and associated methods |
JP6699048B2 (en) * | 2016-07-19 | 2020-05-27 | 日本電信電話株式会社 | Feature selecting device, tag related area extracting device, method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002374521A (en) * | 2001-06-13 | 2002-12-26 | Mitsubishi Heavy Ind Ltd | Method and device for monitoring mobile object |
JP2004348303A (en) * | 2003-05-21 | 2004-12-09 | Fujitsu Ltd | Object detection system and program |
JP2004364044A (en) * | 2003-06-05 | 2004-12-24 | Sony Corp | Image recording apparatus |
JP2005130465A (en) * | 2003-09-29 | 2005-05-19 | Fuji Photo Film Co Ltd | Imaging device, information storage server, and article identification apparatus |
-
2006
- 2006-09-15 JP JP2006250327A patent/JP4607836B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002374521A (en) * | 2001-06-13 | 2002-12-26 | Mitsubishi Heavy Ind Ltd | Method and device for monitoring mobile object |
JP2004348303A (en) * | 2003-05-21 | 2004-12-09 | Fujitsu Ltd | Object detection system and program |
JP2004364044A (en) * | 2003-06-05 | 2004-12-24 | Sony Corp | Image recording apparatus |
JP2005130465A (en) * | 2003-09-29 | 2005-05-19 | Fuji Photo Film Co Ltd | Imaging device, information storage server, and article identification apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2008072543A (en) | 2008-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4607836B2 (en) | Apparatus for automatically assigning metadata to image area, method for automatically assigning metadata, and program for automatically assigning metadata | |
US20230077355A1 (en) | Tracker assisted image capture | |
JP4622883B2 (en) | Video attribute automatic assigning device, video attribute automatic assigning program, and video attribute automatic assigning method | |
US11602264B2 (en) | Systems and method for selecting for display images captured in vivo | |
JP4181473B2 (en) | Video object trajectory synthesis apparatus, method and program thereof | |
US20150178930A1 (en) | Systems, methods, and apparatus for generating metadata relating to spatial regions of non-uniform size | |
WO2012127815A1 (en) | Moving object detecting apparatus and moving object detecting method | |
JP2006279568A (en) | Image-pickup device | |
JPH1186004A (en) | Moving body tracking device | |
CN1647535A (en) | Object detection device, object detection server, and object detection method | |
EP2757771A2 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
US20230164442A1 (en) | Method for providing image and electronic device supporting same | |
WO2020049634A1 (en) | Teacher data generation device, teacher data generation method, and teacher data generation system | |
JP4165615B2 (en) | Image display device, image display method, program, and recording medium | |
JP7001149B2 (en) | Data provision system and data collection system | |
US11379965B2 (en) | Systems and methods for selecting images | |
EP3850542A1 (en) | Method for associating objects in a video | |
CN106922181A (en) | Directional perception is focused on automatically | |
KR20200073738A (en) | LOCATION ESTIMATION METHOD AND APPARATUS FOR IoT DEVICE BASED ON BEACON SIGNAL | |
JP2016057164A (en) | Rader system, and target classification device | |
CN115148207B (en) | Voice acquisition point determining method and device, chip and electronic equipment | |
JP2021026723A (en) | Image processing apparatus, image processing method and program | |
JP7026868B2 (en) | Target tracking device and target tracking method | |
US20240037749A1 (en) | Systems and methods for the improved detection of plants | |
KR102529593B1 (en) | Device and method acquiring 3D information about an object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101007 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |