JP2008176504A - Object detector and method therefor - Google Patents
Object detector and method therefor Download PDFInfo
- Publication number
- JP2008176504A JP2008176504A JP2007008473A JP2007008473A JP2008176504A JP 2008176504 A JP2008176504 A JP 2008176504A JP 2007008473 A JP2007008473 A JP 2007008473A JP 2007008473 A JP2007008473 A JP 2007008473A JP 2008176504 A JP2008176504 A JP 2008176504A
- Authority
- JP
- Japan
- Prior art keywords
- area
- current time
- region
- background
- object information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数のカメラを用いて、人物や車両などの移動物体を検出、追跡する物体検出装置及びその方法に関する。 The present invention relates to an object detection apparatus and method for detecting and tracking a moving object such as a person or a vehicle using a plurality of cameras.
従来、カメラを用いて観測シーン内に入ってきた物体を検出、追跡する技術が提案されている。そのうち、古典的かつ計算コストの安い方法として現在でも広く用いられているのが、２台以上のカメラで画像を撮影し、背景差分法で得られた物体のシルエットを視体積交差法などで投影空間中に投影して、シルエットの交差領域から物体の位置を求める方法である。例えば、非特許文献１では、定常的な輝度変動に対して頑健な背景差分によって得られたシルエットからImage-based Visual Hullを用いて動物体の位置推定を行っている。 Conventionally, a technique for detecting and tracking an object that has entered an observation scene using a camera has been proposed. Among them, the classic and low-cost calculation method is still widely used today by taking images with two or more cameras and projecting the silhouette of the object obtained by the background subtraction method using the visual volume intersection method. It is a method of obtaining the position of an object from the intersection area of silhouettes by projecting into space. For example, in Non-Patent Document 1, the position of a moving object is estimated using Image-based Visual Hull from a silhouette obtained by a background difference that is robust against steady luminance fluctuations.
また、シルエットの視体積から物体の検出、追跡を行う方法として特許文献１が提案されている。この方法では、シルエットの両端を結ぶ線が成す視角を求め、各物体は必ず視角の辺に接触しているものと仮定して、視角の辺に接触が可能な物体の組み合わせを仮説として、前時刻に予測された物体情報から各仮説における事後確率を求め、現時刻の物体情報を予測することにより、オクルージョンに頑健な物体追跡を実現している。 Further, Patent Document 1 has been proposed as a method of detecting and tracking an object from the visual volume of a silhouette. In this method, the viewing angle formed by the line connecting the two ends of the silhouette is obtained, and it is assumed that each object is always in contact with the side of the viewing angle. Occlusion robust object tracking is realized by obtaining posterior probabilities for each hypothesis from object information predicted at time and predicting object information at the current time.
一方、検出する物体の特徴が予め判明している場合、予め用意した物体の形状モデルやパタン学習、前時刻の物体の画像などを元にマッチングを行い、物体を検出する方法も広く用いられている。 On the other hand, when the characteristics of the object to be detected are known in advance, a method of detecting an object by performing matching based on an object shape model prepared in advance, pattern learning, an object image at the previous time, etc. is also widely used. Yes.
しかし背景差分法では背景が変化したり、太陽が陰るなど大きな照明変動が起こった場合、これらの変動を検出・追跡物体の物体として誤検出してしまう問題がある。また特許文献１のように過去の物体情報と現在の観測結果から現在の物体情報を予測する方法では、一旦予測を誤って誤差が生じると、それ以後の予測に誤差が累積して追跡精度が低下する可能性がある。 However, the background subtraction method has a problem in that when the background changes or a large illumination variation such as the sun falls, these variations are erroneously detected as detection / tracking objects. Further, in the method of predicting current object information from past object information and current observation results as in Patent Document 1, once an error occurs due to a prediction error, the error is accumulated in subsequent predictions, and tracking accuracy is improved. May be reduced.
モデルマッチングやパタンマッチングでは、画面全体でマッチングを行うと計算コストが増大するため、背景差分法で変化のあった領域のみ探索したり、段階的に解像度を低下させた階層画像で順次探索を行うなど、計算コストを低減する処理が必要となる。
上記のように、背景差分法と視体積交差法による検出は、計算コストは安いが背景の変動に脆弱であるという問題点がある。 As described above, the detection by the background subtraction method and the visual volume intersection method has a problem that the calculation cost is low, but it is vulnerable to background fluctuations.
一方、パタン学習によるマッチングは、物体の特徴を検出するため背景変動の影響を受けにくいが計算コストが高いという問題点がある。 On the other hand, matching by pattern learning has a problem in that it is difficult to be affected by background fluctuations because it detects the feature of an object, but the calculation cost is high.
そこで、本発明は、上記問題点に鑑み、比較的安いコストで安定した物体の検出、追跡を行うことができる物体検出装置及びその方法を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an object detection apparatus and method that can stably detect and track an object at a relatively low cost.
本発明は、動画像が撮影可能で、共通視野を有する複数のカメラでそれぞれ撮影した背景領域を記憶する背景記憶手段と、検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶手段と、前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出手段と、前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出手段と、前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡手段と、前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定手段と、前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶手段に記憶している現時刻の物体情報に代えて更新する物体情報更新手段と、前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶手段に記憶している背景領域に代えて更新する背景更新手段と、を有する物体検出装置である。 The present invention stores a background storage unit that stores a background area that can be captured by a plurality of cameras that can capture a moving image and has a common field of view, and object information of a previous time including the object area of a target object to be detected. Projection space for object information storage means, change area detection means for detecting a change area of the current time other than the background area, and a change area of the current time for each of the current time images taken for each camera The object information at the current time is estimated from the intersection area and the object information at the previous time, and the intersection area detection means for detecting the intersection area where the object may exist by calculating the visual volume An object tracking means for obtaining an object position candidate at the current time, and when the object position candidate at the current time has moved a predetermined distance or more from the initial position of the object, the object area at the current time is When it is determined that the object is related to the body and does not move more than the predetermined distance, an object determination unit that determines that the object area at the current time is erroneously detected as a background area; and The object information update means for updating the object information at the time instead of the object information at the current time stored in the object information storage means, and an area other than the object area at the current time as a new background area, the background An object detection apparatus having background update means for updating instead of the background area stored in the storage means.
本発明によれば、比較的安い計算コストで安定した物体の検出、追跡が行える。 According to the present invention, stable object detection and tracking can be performed at a relatively low calculation cost.
以下、本発明の一実施形態の物体検出装置１０について図１〜図１０に基づいて説明する。 Hereinafter, an object detection apparatus 10 according to an embodiment of the present invention will be described with reference to FIGS.
（１）物体検出装置１０の構成
図１は、物体検出装置１０のブロック図であり、カメラ部１２、変化領域検出部１４、候補領域検出部１６、対象追跡部１８、対象判定部２０、背景更新部２２で構成される。なお、各部１２〜２２の機能は、コンピュータに格納されたプログラムによっても実現できる。
(1) Configuration of Object Detection Device 10 FIG. 1 is a block diagram of the object detection device 10, and includes a camera unit 12, a change region detection unit 14, a candidate region detection unit 16, a target tracking unit 18, a target determination unit 20, and a background. The update unit 22 is configured. In addition, the function of each part 12-22 is realizable also with the program stored in the computer.
（１−１）カメラ部１２
カメラ部１２は、ＮＴＳＣカメラ、ＩＥＥＥ１３９４カメラ、ＵＳＢカメラなど、動画像が撮影できる複数台のカメラによって構成される。
(1-1) Camera unit 12
The camera unit 12 includes a plurality of cameras that can capture moving images, such as an NTSC camera, an IEEE 1394 camera, and a USB camera.
各カメラ間の撮影タイミングがずれていると、ずれた時間の間に物体が移動してしまい、候補領域検出部１６で求められる候補領域の位置に誤差が生じる。このため各カメラはそれぞれ互いに同期して動作させる。 If the photographing timing between the cameras is shifted, the object moves during the shifted time, and an error occurs in the position of the candidate area obtained by the candidate area detecting unit 16. For this reason, the cameras are operated in synchronization with each other.
また、カメラの台数は２台以上で共通の視野を撮影できれば良いが、カメラが２台の場合は図２のようにシーン中に２つの物体が存在したときに虚像が生じることがある。一方、カメラが３台で共通の視野を撮影できる場合も図３のように虚像が生じる場合があるが、投影空間中で２本の直線は容易に交差するのに対し、３本の直線が１点で交わる可能性は低く、虚像が生じる可能性も低い。同様にカメラ台数が増えれば虚像が発生する可能性は低下するため、カメラの台数は３台以上の、できる限り多い台数であることが望ましい。以下の説明では、３台のカメラを使用した場合について説明する。 Further, it is sufficient if the number of cameras is two or more and a common field of view can be photographed. However, when two cameras are used, a virtual image may be generated when two objects exist in the scene as shown in FIG. On the other hand, even when three cameras can capture a common field of view, a virtual image may be generated as shown in FIG. 3, but the two straight lines easily cross in the projection space, whereas the three straight lines are The possibility of crossing at one point is low, and the possibility of generating a virtual image is also low. Similarly, if the number of cameras increases, the possibility that a virtual image is generated decreases. Therefore, it is desirable that the number of cameras is three or more and as many as possible. In the following description, a case where three cameras are used will be described.
（１−２）変化領域検出部１４
変化領域検出部１４は、撮影された画像と、背景更新部２０のメモリに記憶されている背景情報との背景差分により観測範囲内に進入した物体を、カメラ毎に検出する。
(1-2) Change region detection unit 14
The change area detection unit 14 detects, for each camera, an object that has entered the observation range based on the background difference between the captured image and the background information stored in the memory of the background update unit 20.
背景差分の閾値は任意の方法で定めてよいが、観測範囲内で輝度変動が発生する場合を考えると、閾値が動的に変動する方法が望ましい。また、背景更新は対象判定部２０の出力結果を元に行う。 The threshold value of the background difference may be determined by an arbitrary method, but considering the case where the luminance fluctuation occurs within the observation range, a method in which the threshold value dynamically changes is desirable. The background update is performed based on the output result of the target determination unit 20.
（１−３）候補領域検出部１６
候補領域検出部１６は、図４に示すように、変化領域検出部１４で検出された各カメラで撮影した画像から得られたシルエットをもとに視体積交差法によってシルエットの交差領域を求め、この交差領域を物体が存在する可能性のある候補領域とする。
(1-3) Candidate area detection unit 16
As shown in FIG. 4, the candidate area detection unit 16 obtains the intersection area of the silhouette by the visual volume intersection method based on the silhouette obtained from the image captured by each camera detected by the change area detection unit 14. This intersection area is set as a candidate area where an object may exist.
（１−４）対象追跡部１８
対象追跡部１８は、候補領域検出部１６で検出された現時刻の交差領域と、前時刻に求めた物体情報から、現時刻の物体情報を求める。
(1-4) Object tracking unit 18
The target tracking unit 18 obtains object information at the current time from the intersection region at the current time detected by the candidate region detection unit 16 and the object information obtained at the previous time.
物体情報としては、下記の３種類が考えられる。 The following three types of object information can be considered.
物体情報の第１の種類としては、ある時刻における投影空間中での物体の位置と、速度と、画像上の物体領域である。 The first type of object information is the position and speed of the object in the projection space at a certain time, and the object area on the image.
物体情報の第２の種類としては、ある時刻における投影空間中での物体の位置と、速度と、仮想スクリーン上の物体領域である。 The second type of object information includes the position of the object in the projection space at a certain time, the speed, and the object area on the virtual screen.
物体情報の第３の種類としては、ある時刻における投影空間中での物体の位置と、速度と、画像上の物体領域と、仮想スクリーン上の物体領域である。 The third type of object information is the position, speed, object area on the image, and object area on the virtual screen in the projection space at a certain time.
なお、対象判定部２０によって検出、追跡物体ではないと判定された交差領域については現時刻の物体情報を求めないことで処理を軽減する。すなわち、対象判定部２０によって検出、追跡物体と判定された交差領域に関する現時刻の物体情報を対象追跡部１８内のメモリに記憶し、次時刻の物体情報とする。 Note that processing is reduced by not obtaining object information at the current time for an intersection area detected and determined not to be a tracking object by the target determination unit 20. That is, the object information at the current time regarding the intersection area detected and determined as the tracking object by the target determination unit 20 is stored in the memory in the target tracking unit 18 and is used as the object information at the next time.
（１−４−１）投影空間への投影
対象追跡部１８では、図５に示すように現時刻の交差領域を画像上に再投影する。
(1-4-1) Projection to Projection Space The target tracking unit 18 reprojects the intersection area at the current time onto the image as shown in FIG.
または、対象追跡部１８では、図６に示すように現時刻の交差領域を仮想スクリーン上に再投影する。なお、仮想スクリーンは、カメラ毎に存在し、物体の位置にあって、カメラに正対し、かつ、基準平面（例えば、床平面）に垂直な前記投影空間中の面である。 Alternatively, the target tracking unit 18 reprojects the intersection area at the current time on the virtual screen as shown in FIG. The virtual screen is a surface in the projection space that exists for each camera, is at the position of the object, faces the camera, and is perpendicular to a reference plane (for example, a floor plane).
（１−４−２）現時刻の物体領域のテンプレートマッチングによる検出
図７に示すように、前時刻の物体領域をテンプレートとして、投影した画像上もしくは仮想スクリーン上でテンプレートマッチングを行い、現時刻の物体領域を求める。
(1-4-2) Detection by Template Matching of Object Area at Current Time As shown in FIG. 7, template matching is performed on the projected image or virtual screen using the object area at the previous time as a template. Find the object area.
画像上でテンプレートマッチングを行う場合、物体が遠くにある場合と近くにある場合で画像上での物体の大きさや移動量が異なるため、物体とカメラ間の距離に応じてテンプレートのサイズを更新したり、探索範囲を動的に変更する必要がある。この探索範囲は、前時刻における物体情報に含まれる前時刻の物***置と速度に基づいて決定する。 When performing template matching on an image, the size and amount of movement of the object on the image differ depending on whether the object is far away or nearby, so the template size is updated according to the distance between the object and the camera. Or the search range must be changed dynamically. This search range is determined based on the object position and speed at the previous time included in the object information at the previous time.
また、仮想スクリーン上でテンプレートマッチングを行う場合、仮想スクリーンは物体の位置の投影空間中に仮想的に作られるため、物体とカメラ間の距離を考慮する必要が無く物体の大きさも一定であるため、テンプレートのサイズや探索範囲といったスケールを変更する必要がなく、より安定に物体を検出することができる。 In addition, when template matching is performed on a virtual screen, the virtual screen is virtually created in the projection space of the object position, so there is no need to consider the distance between the object and the camera, and the object size is also constant. It is not necessary to change the scale such as the template size or the search range, and the object can be detected more stably.
（１−４−３）現時刻の物体領域のパタン認識による検出
物体の特徴が予め得られる場合、この特徴をパタンとして学習してパタンマッチングを前記テンプレートマッチングの代わりに行って、または、両方同時に行って、現時刻の物体領域を求めてもよい。
(1-4-3) Detection by pattern recognition of object region at current time When the feature of an object is obtained in advance, this feature is learned as a pattern and pattern matching is performed instead of the template matching or both at the same time The object area at the current time may be obtained by going.
このパタンマッチングの場合も同様に仮想スクリーン上でマッチングを行えば、スケールの問題が無視できる。 Similarly, in the case of pattern matching, if matching is performed on a virtual screen, the problem of scale can be ignored.
（１−５）対象判定部２０
対象判定部２０は、対象追跡部１８で求められた物体の位置と初期検出位置を比較し、一定以上移動した物体を実際の物体として判定する。なお、対象判定部２０には、物体の初期検出位置を予め記憶させておく。
(1-5) Object determination unit 20
The target determination unit 20 compares the position of the object obtained by the target tracking unit 18 with the initial detection position, and determines an object that has moved a certain amount or more as an actual object. The target determination unit 20 stores the initial detection position of the object in advance.
（１−６）背景更新部２２
背景更新部２２は、対象判定部２０で物体であると判定された物体領域については、の背景更新は行わない。そのため、静止した物体が背景に溶け込み検出されなくなることを防ぐ。
(1-6) Background update unit 22
The background update unit 22 does not perform background update for the object region determined to be an object by the target determination unit 20. This prevents a stationary object from being melted into the background and not being detected.
また、物体ではないと判定された領域を背景領域として、メモリに記憶された背景情報と入れ替えて更新し、背景の誤検出を防ぐ。 In addition, an area determined not to be an object is used as a background area and updated by replacing the background information stored in the memory, thereby preventing erroneous background detection.
（２）物体検出装置１０の処理方法
以下、本実施形態の物体検出装置１０の処理方法として、コンビニエンスストアなどの小規模店舗において、店内の人物を検出、追跡する場合について説明する。図８は本実施形態における処理のフローチャートである。
(2) Processing Method of Object Detection Device 10 Hereinafter, as a processing method of the object detection device 10 of this embodiment, a case where a person in a store is detected and tracked in a small store such as a convenience store will be described. FIG. 8 is a flowchart of processing in the present embodiment.
図９は、店舗にカメラを設置した場合の見取り図である。本実施形態では双曲面ミラーや魚眼レンズを用いた全方位カメラと呼ばれる３６０度の視野をもつカメラを３台設置するものとする。全方位カメラは解像度が低いため、顔照合など細かい特徴量が必要な場合には不向きだが、少ない台数で広い視野を観測することができるため、本実施形態のような物体の検出、追跡用途に適している。 FIG. 9 is a sketch when a camera is installed in a store. In the present embodiment, it is assumed that three cameras having 360-degree fields of view called omnidirectional cameras using hyperboloid mirrors and fisheye lenses are installed. Since the omnidirectional camera has a low resolution, it is unsuitable when fine feature quantities such as face matching are required, but it can observe a wide field of view with a small number of units, so it can be used for object detection and tracking applications like this embodiment Is suitable.
各カメラは十分な共通視野が得られるよう設置する。また各カメラ同士を結ぶ直線上に人物が存在すると、図１０に示すように、交差領域検出部１６で視体積を求める際に交差する領域が大きくなり、人物の位置を正確に求められなくなる。また、コンビニエンスストアでは人物は通路沿いに移動するので、カメラ同士を結ぶ直線が必ず通路と交わるようにカメラを配置する。 Each camera should be installed so that a sufficient common field of view can be obtained. Further, if a person exists on a straight line connecting the cameras, as shown in FIG. 10, the intersecting area is large when the intersection area detection unit 16 obtains the visual volume, and the position of the person cannot be obtained accurately. In addition, since a person moves along a passage in a convenience store, the cameras are arranged so that a straight line connecting the cameras always intersects the passage.
ステップ１において、３台のカメラで同期を取って店内をそれぞれ撮影する。 In step 1, the inside of the store is photographed in synchronism with three cameras.
ステップ２、３において、カメラ毎に背景差分処理を行って、変化領域検出部１４で店内の人物を検出する。 In steps 2 and 3, background difference processing is performed for each camera, and the change area detection unit 14 detects a person in the store.
コンビニエンスストアは一般的に道に面した壁がガラス張りになっており外光の影響を受けやすいので、前記の通り閾値が動的に変化する背景差分法を用いる。このとき閾値の調整は、やや過検出気味になるよう調整し、人物領域の一部あるいは全部が検出されないことが、ないようにする。対象追跡部１８で大きく検出漏れを起こすと、交差領域検出部１６で視体積交差法を行う際に投影空間中で交差する領域が少ない、あるいは全く無いという状態となり、それ以降の処理がうまくいかなくなる。特にコンビニエンスストアでは商品棚などの遮蔽物によって人物の下半身が見えなくなる場合があるので、カメラに映っている上半身を確実に検出しなければならない。 Convenience stores generally use a background subtraction method in which the threshold value changes dynamically as described above because the walls facing the road are glazed and easily affected by external light. At this time, the threshold value is adjusted so as to be slightly overdetected so that a part or all of the person area is not detected. If a large detection omission occurs in the object tracking unit 18, there will be few or no crossing areas in the projection space when the crossing area detection unit 16 performs the visual volume crossing method. Disappear. Especially in convenience stores, the lower body of a person may not be visible due to a shield such as a product shelf, so the upper body reflected in the camera must be reliably detected.
一方、過検出された人物ではない領域は、視体積交差法で投影空間中の交差領域を求める際に他の画像のシルエットと対応がとれなかったり、更に後段の対象追跡部１８のマッチングでふるい落とされるため検出精度にほとんど影響を及ぼさない。ただしあまりに閾値設定を厳しくして過検出が増えすぎると、その分視体積交差法の投影やマッチングの計算コストが増大する。 On the other hand, a region that is not an over-detected person cannot be matched with a silhouette of another image when obtaining a crossing region in the projection space by the visual volume crossing method, or is screened by matching of the target tracking unit 18 in the subsequent stage. Since it is dropped, the detection accuracy is hardly affected. However, if the threshold setting is too strict and overdetection increases too much, the projection volume and the calculation cost of matching for the fractional volume intersection method increase.
ステップ４〜７において、交差領域検出部１６では、対象追跡部１８でカメラ毎に検出された人物領域のシルエットをもとに視体積交差法を行って、人物が存在する可能性のある交差領域を求める。 In steps 4 to 7, the intersection area detection unit 16 performs a view volume intersection method based on the silhouette of the person area detected for each camera by the target tracking unit 18, and an intersection area where a person may exist Ask for.
前述の通りコンビニエンスストアでは商品棚によって人物の下半身が遮蔽されている場合があるため、交差領域は必ずしも人物を内包しているとは限らない。このような場合には人物の形状モデルを仮定し、得られた交差領域に人物モデルを当てはめて新たに交差領域としてもよい。人物モデルは必ずしも人間と同じ形状をしている必要は無く、円柱形や直方体でもよい。 As described above, in the convenience store, the lower half of the person may be shielded by the product shelf, so the intersection area does not necessarily contain the person. In such a case, a human shape model may be assumed, and a human model may be applied to the obtained intersection area to form a new intersection area. The human model does not necessarily have the same shape as a human, and may be a cylinder or a rectangular parallelepiped.
このように人物モデルを当てはめて交差領域を拡張した場合、物体の人物が足まで映っているカメラでは、人物領域を欠損なく得ることができ、後段のテンプレートマッチングの精度向上が期待できる。逆に下半身が遮蔽されて映っているカメラでは、物体の人物の下半身を遮蔽する棚を人物領域としてしまうため、テンプレートマッチングを行う際に人物を検出できなくなる可能性がある。このような場合は交差領域を再投影した像と各画像のシルエットとの論理積を取って遮蔽物の領域を削り落とせばよい。仮想スクリーン上に再投影する場合はシルエットも仮想スクリーン上に投影する。 When the intersection area is expanded by applying the person model in this way, a camera in which the person of the object is reflected to the foot can obtain the person area without any loss, and an improvement in the accuracy of template matching in the subsequent stage can be expected. On the other hand, in the camera in which the lower body is shielded, the shelf that shields the lower body of the object person is used as the person area, and thus there is a possibility that the person cannot be detected when performing template matching. In such a case, the area of the shielding object may be scraped off by calculating the logical product of the image obtained by reprojecting the intersection area and the silhouette of each image. When reprojecting onto the virtual screen, the silhouette is also projected onto the virtual screen.
ステップ８〜１１において、対象追跡部１８では、交差領域検出部１６で得られた交差領域を画像もしくは仮想スクリーンに再投影し、最投影先でマッチングを取って人物領域を求める。前述のように人物モデルを導入している場合は、マッチングをとる前に対象追跡部１８で得られたシルエットと交差領域の論理積を取る。 In Steps 8 to 11, the target tracking unit 18 reprojects the intersecting region obtained by the intersecting region detecting unit 16 on an image or a virtual screen, and obtains a person region by performing matching at the most projection destination. When the person model is introduced as described above, the logical product of the silhouette obtained by the target tracking unit 18 and the intersection area is calculated before matching is performed.
このとき前述の通り人物の下半身は遮蔽されていることがある。また同様に前述の通り全方位カメラを用いると、顔などの細かい特徴量を画像から得ることができない。そこで本実施形態のような場合で対象追跡部１８でパタン学習を行って物体を検出する際には、特徴量に人物の頭部や肩の形状のいずれか一方、または両方を用いることが考えられる。特に頭部は、人物がかがんだ場合などでも一番最後までカメラに映っているので、頭部のパタンを検出することによって人物を見落とす可能性を低減できる。 At this time, as described above, the lower body of the person may be shielded. Similarly, when an omnidirectional camera is used as described above, a fine feature such as a face cannot be obtained from an image. Therefore, in the case of this embodiment, when the object tracking unit 18 performs pattern learning to detect an object, it is considered to use one or both of the shape of the person's head or shoulder as the feature amount. It is done. In particular, since the head is reflected in the camera to the end even when the person is crouching, the possibility of overlooking the person can be reduced by detecting the head pattern.
ステップ１２において、対象判定部２０では、初期検出位置から移動した領域を検出物体である人物領域として出力する。 In step 12, the target determination unit 20 outputs a region moved from the initial detection position as a human region that is a detection object.
本実施形態のようなコンビニエンスストアの場合、入り口から入店した人物は、最初しばらくは検出されず、入り口から少し移動した時点で検出される。このとき入り口付近に存在する人物が全て検出できなくなるわけではなく、一度検出された人物が入り口付近に移動しても、その人物は検出され続ける。 In the case of a convenience store as in the present embodiment, a person who enters a store from the entrance is not detected for a while at the beginning, but is detected when moving slightly from the entrance. At this time, not all persons existing near the entrance can be detected, and even if a person once detected moves near the entrance, the person continues to be detected.
対象判定部２０の出力は、背景更新部２２に入力される。例えば入店した人物が商品を持って移動した場合、それまで存在した商品が無くなって背景が変化するため、商品が移動された直後しばらくは商品棚が対象追跡部１８で検出されるようになる。しかし商品が移動されて生じるシルエットは時間がたってもその場から移動しないため人物と判定されず、後段の背景更新部２２で徐々に背景更新され、しばらくたつとそのまま背景となる。 The output of the target determination unit 20 is input to the background update unit 22. For example, when a person who enters the store moves with a product, the product that has existed until then disappears and the background changes, so the product tracking unit 18 detects the product shelf for a while immediately after the product is moved. . However, the silhouette generated when the product is moved does not move from the spot even if time passes, so it is not determined as a person. The background update unit 22 in the subsequent stage gradually updates the background, and after a while becomes the background.
一方、入店した人物が雑誌コーナーで立ち読みをする場合、その人物は長時間にわたって同じ場所に静止するが、入店から雑誌コーナーに移動するまでに対象判定部２０によって人物と判定されて検出、追跡され続けているため、背景更新されず背景に溶け込むことはない。 On the other hand, when the person who entered the store browses in the magazine corner, the person stays at the same place for a long time, but is detected by the object determination unit 20 as a person before moving from the store to the magazine corner, Since it is being tracked, the background is not updated and does not blend into the background.
ステップ１３において、背景更新部２２では、対象判定部２０の出力を元に背景更新を行う。前述の通り、商品の移動などによる背景の変動は徐々に背景に溶け込む一方、一度検出された人物が静止しても人物領域は背景更新されず、人物が背景に溶け込むことはない。 In step 13, the background update unit 22 performs background update based on the output of the object determination unit 20. As described above, the background change due to the movement of the product gradually blends into the background, while the person area is not updated even if the person once detected is stationary, and the person does not blend into the background.
以上のように、コンビニエンスストア内に入店した人物を検出、追跡することができる。 As described above, the person who entered the convenience store can be detected and tracked.
なお、本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
１０ 物体検出装置
１２ カメラ部
１４ 変化領域検出部
１６ 交差領域検出部
１８ 物体追跡部
２０ 物体判定部
２２ 背景更新部
DESCRIPTION OF SYMBOLS 10 Object detection apparatus 12 Camera part 14 Change area | region detection part 16 Crossing area | region detection part 18 Object tracking part 20 Object determination part 22 Background update part
Claims (9)
検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶手段と、
前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出手段と、
前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出手段と、
前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡手段と、
前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定手段と、
前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶手段に記憶している現時刻の物体情報に代えて更新する物体情報更新手段と、
前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶手段に記憶している背景領域に代えて更新する背景更新手段と、
を有する物体検出装置。 A background storage means for storing a background area, each of which is captured by a plurality of cameras having a common field of view, capable of capturing a moving image;
Object information storage means for storing object information of the previous time including the object area of the target object to be detected;
For each current time image captured for each camera, a change area detection means for detecting a change area of the current time other than the background area;
Intersecting area detecting means for projecting each of the change areas at the current time into a projection space to obtain a viewing volume and detecting an intersecting area where the object may exist;
Object tracking means for estimating object information at the current time from the intersection area and the object information at the previous time to obtain a position candidate of the object at the current time;
When the position candidate of the object at the current time has moved a predetermined distance or more from the initial position of the object, the object area at the current time is determined to be related to the object, and when the object position does not move more than the predetermined distance, Object determination means for determining that the object region at the current time is erroneous detection of a background region;
Object information update means for updating the object information at the current time instead of the object information at the current time stored in the object information storage means when it is determined as the target object;
A background update unit that updates a region other than the object region at the current time as a new background region instead of the background region stored in the background storage unit;
An object detection apparatus having
請求項１記載の物体検出装置。 The object information includes a position of the object in the projection space, a velocity, and an object area on the image.
The object detection apparatus according to claim 1.
請求項１記載の物体検出装置。 The object information includes an object area on the virtual screen in the projection space that is located at the position, velocity, and position of the object in the projection space, and that faces the camera and is perpendicular to a reference plane. including,
The object detection apparatus according to claim 1.
前記カメラ毎に前記交差領域を前記画像上に再投影して再投影領域を求め、前記画像上における前記前時刻の物体領域をテンプレートとして前記再投影領域の近傍で前記物体領域を前記前時刻の物体の位置と速度に基づいて探索して、前記画像上の前記現時刻の物体領域を推定する物体領域推定手段と、
前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の前記物体の位置候補とする位置候補決定手段と、
を有する請求項２記載の物体検出装置。 The object tracking means includes
For each camera, the intersection region is reprojected on the image to obtain a reprojection region, and the object region at the previous time is set near the reprojection region using the object region at the previous time on the image as a template. Searching based on the position and speed of the object and estimating the object area at the current time on the image;
Re-projecting the object region at the current time into the projection space to calculate a view volume, and position candidate determining means to be a position candidate of the object at the current time;
The object detection apparatus according to claim 2, comprising:
前記カメラ毎に前記交差領域を前記仮想スクリーン上に再投影して再投影領域を求め、前記仮想スクリーン上における前記前時刻の物体領域をテンプレートとして前記再投影領域の近傍で前記物体領域を前記前時刻の物体の位置と速度に基づいて探索して、前記仮想スクリーン上での前記現時刻の物体領域を推定する物体領域推定手段と、
前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の前記物体の位置候補とする位置候補決定手段と、
を有する請求項３記載の物体検出装置。 The object tracking means includes
For each camera, the intersection area is reprojected on the virtual screen to obtain a reprojection area, and the object area in the vicinity of the reprojection area is used as a template with the object area at the previous time on the virtual screen as a template. Searching based on the position and speed of the object at the time, and estimating the object area at the current time on the virtual screen;
Re-projecting the object region at the current time into the projection space to calculate a view volume, and position candidate determining means to be a position candidate of the object at the current time;
The object detection apparatus according to claim 3, comprising:
前記カメラ毎に前記交差領域を前記画像上に再投影して再投影領域を求め、前記再投影領域の近傍でパタン認識による物体検出を前記前時刻の物体の位置と速度に基づく探索範囲で行い、前記画像上の前記現時刻の物体領域を推定する物体領域推定手段と、
前記再投影領域中の前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の物体の位置候補とする位置候補決定手段と、
を有する請求項２記載の物体検出装置。 The object tracking means includes
Re-projecting the intersection area onto the image for each camera to obtain a re-projection area, and performing object detection by pattern recognition in the vicinity of the re-projection area within a search range based on the position and speed of the object at the previous time. Object region estimation means for estimating the object region at the current time on the image;
Position candidate determining means for re-projecting the object region at the current time in the reprojection region into the projection space to calculate a view volume, and setting the object position candidate at the current time;
The object detection apparatus according to claim 2, comprising:
前記カメラ毎に前記交差領域を前記仮想スクリーン上に再投影して再投影領域を求め、前記再投影領域の近傍でパタン認識による物体検出を前記前時刻の物体の位置と速度に基づく探索範囲で行い、前記仮想スクリーン上の前記現時刻の物体領域を推定する物体領域推定手段と、
前記再投影領域中の前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の前記物体の位置候補とする位置候補決定手段と、
を有する請求項３記載の物体検出装置。 The object tracking means includes
For each camera, the intersection area is reprojected on the virtual screen to obtain a reprojection area, and object detection by pattern recognition is performed in the search range based on the position and speed of the object at the previous time in the vicinity of the reprojection area. Performing object region estimation means for estimating the object region at the current time on the virtual screen;
Position candidate determining means for re-projecting the object area at the current time in the reprojection area into the projection space to calculate a view volume, and setting the object position candidate at the current time;
The object detection apparatus according to claim 3, comprising:
検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶ステップと、
前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出ステップと、
前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出ステップと、
前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡ステップと、
前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定ステップと、
前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶ステップで記憶している現時刻の物体情報に代えて更新する物体情報更新ステップと、
前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶ステップで記憶している背景領域に代えて更新する背景更新ステップと、
を有する物体検出方法。 A background storage step for storing a background area that can be captured by a plurality of cameras having a common field of view and capable of capturing a moving image;
An object information storage step for storing object information of the previous time including the object region of the target object to be detected;
A change area detection step for detecting a change area of the current time other than the background area for each image of the current time taken for each camera;
A crossing area detection step of projecting each of the change areas at the current time into a projection space to obtain a viewing volume, and detecting a crossing area where the object may exist;
Object tracking step for obtaining object position at the current time by estimating object information at the current time from the intersection area and the object information at the previous time;
When the position candidate of the object at the current time has moved a predetermined distance or more from the initial position of the object, the object area at the current time is determined to be related to the object, and when the object position does not move more than the predetermined distance, An object determination step for determining that the object area at the current time is erroneous detection of a background area;
An object information update step for updating the object information at the current time instead of the object information at the current time stored in the object information storage step when it is determined as the target object;
A background update step for updating a region other than the object region at the current time as a new background region instead of the background region stored in the background storage step;
An object detection method comprising:
検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶機能と、
前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出機能と、
前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出機能と、
前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡機能と、
前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定機能と、
前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶機能で記憶している現時刻の物体情報に代えて更新する物体情報更新機能と、
前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶機能で記憶している背景領域に代えて更新する背景更新機能と、
をコンピュータによって実現する物体検出プログラム。 A background storage function for storing a background area captured by a plurality of cameras having a common field of view capable of capturing moving images;
An object information storage function for storing object information of the previous time including the object area of the target object to be detected;
A change area detection function for detecting a change area of the current time other than the background area for each image of the current time taken for each camera;
A cross-region detection function for projecting each change region at the current time into a projection space to obtain a view volume, and detecting a cross-region where the object may exist;
An object tracking function that estimates object information at the current time from the intersection area and the object information at the previous time to obtain a position candidate of the object at the current time;
When the position candidate of the object at the current time has moved a predetermined distance or more from the initial position of the object, the object area at the current time is determined to be related to the object, and when the object position does not move more than the predetermined distance, An object determination function for determining that the object region at the current time is erroneous detection of a background region;
An object information update function for updating the object information at the current time instead of the object information at the current time stored in the object information storage function when it is determined as the target object;
A background update function that updates an area other than the object area at the current time as a new background area instead of the background area stored in the background storage function;
Is an object detection program that implements a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007008473A JP2008176504A (en) | 2007-01-17 | 2007-01-17 | Object detector and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007008473A JP2008176504A (en) | 2007-01-17 | 2007-01-17 | Object detector and method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008176504A true JP2008176504A (en) | 2008-07-31 |
Family
ID=39703487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007008473A Pending JP2008176504A (en) | 2007-01-17 | 2007-01-17 | Object detector and method therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008176504A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010101227A1 (en) * | 2009-03-04 | 2010-09-10 | 日本電気株式会社 | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program |
| WO2010126071A1 (en) * | 2009-04-28 | 2010-11-04 | 日本電気株式会社 | Object position inference device, object position inference method, and program |
| WO2011162309A1 (en) * | 2010-06-23 | 2011-12-29 | 日本電気株式会社 | Object region extractor device, method, and program |
| JP2012212236A (en) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | Left person detection device |
| CN103679755A (en) * | 2013-12-20 | 2014-03-26 | 河北汉光重工有限责任公司 | Single-goal long-time tracking technique |
| JP2014146247A (en) * | 2013-01-30 | 2014-08-14 | Secom Co Ltd | Object feature extraction device, object area extraction device and object tracking device |
| WO2017138245A1 (en) * | 2016-02-08 | 2017-08-17 | 株式会社リコー | Image processing device, object recognition device, device control system, and image processing method and program |
| JP2018163468A (en) * | 2017-03-24 | 2018-10-18 | Kddi株式会社 | Foreground extraction device and program |
| JP2019139541A (en) * | 2018-02-13 | 2019-08-22 | オムロン株式会社 | Object detection device, object detection method, and object detection program |
| JP2020141426A (en) * | 2020-06-15 | 2020-09-03 | 日本電気株式会社 | Tracking system, tracking method and tracking program |
| JP2021503636A (en) * | 2017-08-07 | 2021-02-12 | スタンダード コグニション コーポレーション | Forecasting inventory events using foreground / background processing |
| US11250570B2 (en) | 2017-03-31 | 2022-02-15 | Nec Corporation | Display rack image processing device, image processing method, and recording medium |
| US11430154B2 (en) | 2017-03-31 | 2022-08-30 | Nec Corporation | Classification of change related to display rack |
| US11443503B2 (en) | 2018-03-09 | 2022-09-13 | Nec Corporation | Product analysis system, product analysis method, and product analysis program |
| US11790682B2 (en) | 2017-03-10 | 2023-10-17 | Standard Cognition, Corp. | Image analysis using neural networks for pose and action identification |
| US12026665B2 (en) | 2022-03-03 | 2024-07-02 | Standard Cognition, Corp. | Identifying inventory items using multiple confidence levels |
-
2007
- 2007-01-17 JP JP2007008473A patent/JP2008176504A/en active Pending
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5263694B2 (en) * | 2009-03-04 | 2013-08-14 | 日本電気株式会社 | Object position estimation information creation apparatus, object position estimation information creation method, and program |
| EP2405393A4 (en) * | 2009-03-04 | 2016-10-26 | Nec Corp | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program |
| US8995714B2 (en) | 2009-03-04 | 2015-03-31 | Nec Corporation | Information creation device for estimating object position and information creation method and program for estimating object position |
| CN102369549A (en) * | 2009-03-04 | 2012-03-07 | 日本电气株式会社 | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program |
| CN102369549B (en) * | 2009-03-04 | 2014-09-03 | 日本电气株式会社 | Device for creating information for positional estimation of matter, and method for creating information for positional estimation of matter |
| WO2010101227A1 (en) * | 2009-03-04 | 2010-09-10 | 日本電気株式会社 | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program |
| JP5454573B2 (en) * | 2009-04-28 | 2014-03-26 | 日本電気株式会社 | Object position estimation apparatus, object position estimation method, and program |
| CN102414718A (en) * | 2009-04-28 | 2012-04-11 | 日本电气株式会社 | Object position inference device, object position inference method, and program |
| WO2010126071A1 (en) * | 2009-04-28 | 2010-11-04 | 日本電気株式会社 | Object position inference device, object position inference method, and program |
| US8885879B2 (en) | 2009-04-28 | 2014-11-11 | Nec Corporation | Object position estimation device, object position estimation method and program |
| WO2011162309A1 (en) * | 2010-06-23 | 2011-12-29 | 日本電気株式会社 | Object region extractor device, method, and program |
| US9299000B2 (en) | 2010-06-23 | 2016-03-29 | Nec Corporation | Object region extraction system, method and program |
| JP5978996B2 (en) * | 2010-06-23 | 2016-08-24 | 日本電気株式会社 | Object region extraction apparatus, method, and program |
| JPWO2011162309A1 (en) * | 2010-06-23 | 2013-08-22 | 日本電気株式会社 | Object region extraction apparatus, method, and program |
| JP2012212236A (en) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | Left person detection device |
| JP2014146247A (en) * | 2013-01-30 | 2014-08-14 | Secom Co Ltd | Object feature extraction device, object area extraction device and object tracking device |
| CN103679755A (en) * | 2013-12-20 | 2014-03-26 | 河北汉光重工有限责任公司 | Single-goal long-time tracking technique |
| US10776946B2 (en) | 2016-02-08 | 2020-09-15 | Ricoh Company, Ltd. | Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium |
| WO2017138245A1 (en) * | 2016-02-08 | 2017-08-17 | 株式会社リコー | Image processing device, object recognition device, device control system, and image processing method and program |
| JPWO2017138245A1 (en) * | 2016-02-08 | 2018-09-27 | 株式会社リコー | Image processing apparatus, object recognition apparatus, device control system, image processing method and program |
| US11790682B2 (en) | 2017-03-10 | 2023-10-17 | Standard Cognition, Corp. | Image analysis using neural networks for pose and action identification |
| JP2018163468A (en) * | 2017-03-24 | 2018-10-18 | Kddi株式会社 | Foreground extraction device and program |
| US11250570B2 (en) | 2017-03-31 | 2022-02-15 | Nec Corporation | Display rack image processing device, image processing method, and recording medium |
| US11430154B2 (en) | 2017-03-31 | 2022-08-30 | Nec Corporation | Classification of change related to display rack |
| JP2021503636A (en) * | 2017-08-07 | 2021-02-12 | スタンダード コグニション コーポレーション | Forecasting inventory events using foreground / background processing |
| JP7181922B2 (en) | 2017-08-07 | 2022-12-01 | スタンダード コグニション コーポレーション | Predicting inventory events using foreground/background processing |
| JP7091688B2 (en) | 2018-02-13 | 2022-06-28 | オムロン株式会社 | Object detector, object detection method, and object detection program |
| JP2019139541A (en) * | 2018-02-13 | 2019-08-22 | オムロン株式会社 | Object detection device, object detection method, and object detection program |
| US11443503B2 (en) | 2018-03-09 | 2022-09-13 | Nec Corporation | Product analysis system, product analysis method, and product analysis program |
| JP2020141426A (en) * | 2020-06-15 | 2020-09-03 | 日本電気株式会社 | Tracking system, tracking method and tracking program |
| JP7001125B2 (en) | 2020-06-15 | 2022-01-19 | 日本電気株式会社 | Tracking system, tracking method and tracking program |
| US12026665B2 (en) | 2022-03-03 | 2024-07-02 | Standard Cognition, Corp. | Identifying inventory items using multiple confidence levels |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008176504A (en) | Object detector and method therefor | |
| US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
| EP3420530B1 (en) | A device and method for determining a pose of a camera | |
| US8004528B2 (en) | Method, systems and computer product for deriving three-dimensional information progressively from a streaming video sequence | |
| JP7209115B2 (en) | Detection, 3D reconstruction and tracking of multiple rigid objects moving in relatively close proximity | |
| JP2007142527A (en) | Mobile body supervisory system, mobile body feature quantity calculation apparatus, and inter-camera mobile body collation tracing apparatus | |
| JP6061770B2 (en) | Camera posture estimation apparatus and program thereof | |
| JP4701848B2 (en) | Image matching apparatus, image matching method, and image matching program | |
| JP2016152027A (en) | Image processing device, image processing method and program | |
| JP6749498B2 (en) | Imaging target tracking device and imaging target tracking method | |
| JP3577875B2 (en) | Moving object extraction device | |
| JP4836065B2 (en) | Edge tracking method and computer program therefor | |
| JP2017184136A (en) | Information processing device, information processing method, information processing system, and program | |
| JP6154759B2 (en) | Camera parameter estimation apparatus, camera parameter estimation method, and camera parameter estimation program | |
| US9818040B2 (en) | Method and device for detecting an object | |
| JP3221384B2 (en) | 3D coordinate measuring device | |
| JP6625654B2 (en) | Projection device, projection method, and program | |
| JP3253328B2 (en) | Distance video input processing method | |
| JP2019027894A (en) | Positional information acquisition system, and method and program for acquiring positional information | |
| JPWO2020244717A5 (en) | ||
| JP6548683B2 (en) | Object image estimation device and object image determination device | |
| JP4449808B2 (en) | Human detection device | |
| JP2020027328A (en) | Traffic light estimation device, traffic light estimation method, and program | |
| JP6534411B2 (en) | Relative angle estimation device, relative angle estimation method, and relative angle estimation program | |
| JP3040575B2 (en) | Time series distance image input processing method |