WO2018008184A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2018008184A1
WO2018008184A1 PCT/JP2017/007312 JP2017007312W WO2018008184A1 WO 2018008184 A1 WO2018008184 A1 WO 2018008184A1 JP 2017007312 W JP2017007312 W JP 2017007312W WO 2018008184 A1 WO2018008184 A1 WO 2018008184A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
image
image processing
occlusion
template
Prior art date
Application number
PCT/JP2017/007312
Other languages
English (en)
French (fr)
Inventor
相澤　知禎
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to KR1020187005263A priority Critical patent/KR102011231B1/ko
Priority to CN201780002921.3A priority patent/CN107924568B/zh
Priority to EP17823793.9A priority patent/EP3483834B1/en
Priority to US15/756,084 priority patent/US10497133B2/en
Publication of WO2018008184A1 publication Critical patent/WO2018008184A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a technique for tracking an object included in a continuous frame.
  • Object tracking is realized by, for example, acquiring a difference between an image that does not show the object to be tracked and an image that is shown, generating a template, and searching the image frame by frame using the template. (Patent Document 1).
  • a traffic flow measurement system as a system that applies object tracking. For example, it is possible to count the number of vehicles that have passed through the target point by photographing the road using a camera installed on the roadside and tracking the passing vehicle (Patent Document 2).
  • Shielding may be a problem when trying to track a vehicle passing on the road based on an image (movie) of the road. For example, when the inter-vehicle distance between vehicles becomes short, the vehicles may overlap on the image. In addition, due to lane changes, vehicles may overlap between adjacent lanes. As described above, when a part of the tracking target vehicle is shielded by another object (vehicle or the like), there is a problem that the accuracy of template matching is significantly lowered.
  • the present invention has been made in consideration of the above-described problems, and an object of the present invention is to improve tracking accuracy when a part of a tracking target is occluded in an image processing apparatus that tracks an object.
  • an image processing apparatus for tracking a tracking object included in a plurality of images photographed in succession, an image acquisition unit for acquiring an image, and a template for acquiring a template corresponding to the tracking object included in the image
  • An acquisition means for acquiring a shielding map generating means for generating a shielding map that is a map indicating a degree of shielding of the tracking target included in the image by another object, and a tracking target included in the image using the template.
  • tracking means for acquiring a movement amount and a movement direction of the tracking object between a plurality of images based on both the template and the shielding map.
  • the image processing apparatus is an apparatus that tracks the movement of a tracking object between a plurality of frames.
  • the movement is movement on the image, and can occur due to both movement of the tracking target itself and changes in shooting conditions (camera pan, tilt, zoom, etc.).
  • the template acquisition unit is a unit that acquires a template corresponding to the tracking object.
  • the template may be a feature amount of the tracking object or an image of the tracking object itself. For example, when tracking a vehicle, feature values for each vehicle type (for example, passenger cars, freight cars, buses, motorcycles, etc.) may be used. If there is already a result of tracking, it is cut out based on the tracking result. An image may be used.
  • the occlusion map generation unit is a unit that generates a map (occlusion map) representing the degree to which the tracking target is occluded by another object.
  • the occlusion map may be, for example, a map obtained by dividing an area corresponding to the tracking target object into a plurality of blocks. Further, the degree of shielding may be expressed in any number of stages.
  • the tracking unit is a unit that tracks the tracking target included in the acquired image between a plurality of frames acquired continuously.
  • the tracking unit tracks not only the template corresponding to the tracked object but also the movement of the tracked object between frames using the occlusion map.
  • the tracking accuracy by matching decreases according to the occlusion ratio, but matching can be performed in consideration of occlusion by other objects by using an occlusion map. As a result, the tracking accuracy is improved.
  • the occlusion map is a map in which the template is divided into a plurality of blocks, and the degree of occlusion is associated with each block, and the tracking means performs matching using the template in units of blocks,
  • the movement amount and movement direction of the tracking target object may be acquired based on a result of weighting using the degree of shielding corresponding to the block.
  • the occlusion map generating means includes a single vector obtained by tracking the tracking object between images, and a plurality of vectors obtained by tracking the plurality of blocks between images, respectively.
  • the occlusion map may be generated on the basis of the result of the comparison.
  • the occlusion status of the tracking object is generated by comparing "single vector corresponding to the entire tracking object" and "multiple vectors corresponding to the blocks constituting the tracking object". Can do. When occlusion occurs in a certain block, the accuracy of tracking between frames decreases for that block (or tracking itself fails). Therefore, the degree of shielding in the block can be calculated based on the deviation between the vectors.
  • the occlusion map generating means sets the occlusion degree of the corresponding block to be larger as the difference between the results of comparing the single vector and the plurality of vectors is larger.
  • the occlusion map generation means updates the occlusion map every time the tracking means generates a tracking result, and the tracking means updates the occlusion map in the tracking target object detection process in the next frame. It may be characterized by using.
  • the tracking status of the tracked object changes from frame to frame. Therefore, the tracking state of the tracking object in the previous frame may be used for tracking in the next frame. By doing in this way, it is possible to deal with a case where the shielding situation changes every moment.
  • the degree of occlusion set in the occlusion map may be reduced as the edge perpendicular to the movement direction of the tracking target in the corresponding block becomes stronger.
  • the template acquisition unit may use an image obtained by clipping the tracking target detected by the tracking unit as a template in the next frame.
  • an image serving as a template may be acquired based on the result and used in the next frame. According to such a configuration, even if the size and direction of the tracking target gradually change with time, tracking can be performed accurately.
  • the present invention can be specified as an image processing apparatus including at least a part of the above means.
  • the present invention can also be specified as an image processing method executed by the image processing apparatus.
  • the present invention can also be specified as a program that causes a computer to execute the image processing method.
  • the present invention in an image processing apparatus that tracks an object, it is possible to improve tracking accuracy when a part of the tracking target is blocked.
  • 1 is a layout diagram of an image processing system according to a first embodiment.
  • 1 is a configuration diagram of an image processing system according to a first embodiment. It is an example of the image which the image acquisition part acquired. It is a figure explaining shielding of the preceding vehicle by a succeeding vehicle, and a shielding map.
  • It is a flowchart figure of the process which the image processing apparatus which concerns on 1st embodiment performs. It is a figure explaining the detection process of a vehicle. It is a flowchart figure of the process which the image processing apparatus which concerns on 1st embodiment performs. It is a figure explaining the tracking process of a vehicle. It is a figure explaining the strength of the edge in 2nd embodiment.
  • the image processing system is a system that continuously acquires images obtained by photographing a vehicle traveling on a road and tracks the movement of the vehicle based on the plurality of acquired images.
  • FIG. 1 is a layout diagram of an image processing system according to the present embodiment.
  • the image processing system according to the present embodiment includes an image processing apparatus 100 and a camera 200, and the image processing apparatus 100 processes a plurality of images continuously captured by the camera 200 arranged on the road. Track vehicle movement.
  • FIG. 2 is a system configuration diagram of the image processing system according to the present embodiment.
  • the image processing apparatus 100 includes an image acquisition unit 101, a vehicle detection unit 102, a vehicle tracking unit 103, a shielding state acquisition unit 104, and a storage unit 105.
  • the image acquisition unit 101 is a means for acquiring an image including a vehicle traveling on the road (hereinafter referred to as a road image) using the camera 200 mounted on the road.
  • the image acquisition unit 101 can continuously acquire road images at a predetermined frame rate.
  • the road images acquired by the image acquisition unit 101 are stored in the storage unit 105 in chronological order and are subjected to processing performed by each unit described below.
  • the term “frame” is used to mean one of road images acquired continuously, but the frame and the road image are equivalent.
  • inflow the appearance of a new vehicle (a vehicle that has not been tracked yet) from outside the shooting range
  • outflow the movement of the vehicle being tracked out of the shooting range
  • the vehicle detection unit 102 is a unit that detects that a new vehicle that is not currently being tracked flows into the imaging range of the camera 200.
  • a new vehicle can be detected using a plurality of feature amounts stored in advance in the storage unit 105.
  • the feature amount may be any as long as the vehicle can be detected. For example, different feature amounts may be used for each vehicle type and body shape (passenger car, freight car, bus, motorcycle, etc.).
  • the vehicle detection unit 102 is means for detecting the appearance of a new vehicle that has not been tracked, and the vehicle tracking unit 103 tracks the vehicle in subsequent frames.
  • the vehicle is tracked in the entire shooting range of the camera 200, but the range of tracking the vehicle may be determined separately.
  • the vehicle tracking unit 103 is means for tracking the movement of the vehicle detected by the vehicle detection unit 102 between a plurality of frames. The tracking is continued until the vehicle flows out of the shooting range. Vehicle tracking is performed using two types of data: a template image corresponding to a vehicle to be tracked (hereinafter referred to as a tracking target vehicle) and a shielding map generated by a shielding state acquisition unit 104 described later. Specific contents of the process for generating the template image and the occlusion map will be described later.
  • the shielding state acquisition unit 104 is a unit that acquires the shielding state of the tracking target vehicle and generates a shielding map.
  • FIG. 3 is an example of a road image photographed by the camera 200. Since the image processing system according to the present embodiment is a system that tracks a vehicle photographed by a camera installed on a road, there are many cases where a tracking target vehicle is hidden by preceding and following vehicles. For example, in the example of FIG. 3, the vehicles 10A and 10C are shielded by the following vehicle. In such a case, if a conventionally used technique such as template matching is applied, there is a possibility that an accurate position cannot be detected. In particular, since nearly half of the corresponding area of the vehicle 10C is hidden, there may occur a case where the score in matching is lowered and tracking is interrupted.
  • the image processing apparatus generates a shielding map that is a map representing how much the tracking target vehicle is shielded by other objects (vehicles) for each tracking target vehicle. Template matching is performed after weighting based on the occlusion map. A specific method for generating the occlusion map and a method for using the occlusion map will be described later.
  • the storage unit 105 is a means for temporarily or permanently storing data used by the apparatus.
  • the storage unit 105 is preferably a high-capacity storage medium that can read and write at high speed.
  • a flash memory can be suitably used.
  • the storage unit 105 temporarily stores a feature amount used by the vehicle detection unit 102, a plurality of images acquired by the image acquisition unit 101, a template image used by the vehicle tracking unit 103, a shielding map generated by the shielding state acquisition unit 104, and the like. Memorized manually or permanently.
  • the image acquisition unit 101, the vehicle detection unit 102, the vehicle tracking unit 103, and the shielding state acquisition unit 104 may be realized by hardware designed exclusively, or may be realized by a software module.
  • programs stored in the auxiliary storage device are loaded into the main storage device and executed by the CPU, whereby each unit functions. (The CPU, auxiliary storage device, and main storage device are not shown)
  • FIG. 4 is a diagram illustrating a shielding state of the tracking target vehicle and a corresponding shielding map.
  • the occlusion map is a map in which an area corresponding to the tracking target vehicle is divided into 16 blocks (4 ⁇ 4), and a value (the occlusion degree) indicating the degree of occlusion is assigned to each block.
  • the degree of shielding is represented by a real number where 1 is a completely shielded state and 0 is a completely unshielded state.
  • FIG. 4A is an example of a state where the tracking target vehicle is not shielded. In this case, a value of 0 is allotted to the shielding map.
  • FIG. 4B is an example of a state in which a part of the tracking target vehicle is shielded by the following vehicle. In this case, a value of 0 or more is assigned to the six blocks at the lower left.
  • the image processing apparatus generates such a shielding map for each tracking target vehicle and each frame, and performs template matching after performing weighting based on the assigned value. That is, a smaller weight is given to a block that is occluded and a larger weight is given to a block that is not occluded.
  • the shielding degree is a real number in the range of 0 to 1, but the shielding degree may be other than this. Further, the shielding degree is not necessarily in the range of 0 to 1. For example, it may be an integer ranging from 0 to 255.
  • FIG. 5 is a processing flowchart.
  • the process shown in FIG. 5 is executed each time the image acquisition unit 101 acquires a new frame. For example, when the frame rate is 10 fps, it is executed 10 times per second.
  • the image acquisition unit 101 acquires a road image via the camera 200 and temporarily stores it in the storage unit 105. The acquired road images are stored in chronological order and are deleted when the processing is completed.
  • step S12 the vehicle tracking unit 13 determines whether there is a vehicle currently being tracked, and if there is, executes processing for tracking the tracked vehicle. Whether there is a vehicle currently being tracked is determined using a counter described later. Here, description will be made assuming that there is no vehicle being tracked, and details of step S12 will be described later with reference to FIG.
  • step S13 the vehicle detection unit 102 determines whether there is a vehicle that is not currently being tracked on the image acquired in step S11. Specifically, the detection of the vehicle is attempted based on the feature amount stored in advance in the storage unit 105. For detection of the vehicle in this step, a known object detection method based on the feature amount can be used. For example, matching is attempted using a plurality of stored feature quantities, and the initial position and range are specified. If the detected vehicle is already being tracked, the vehicle is skipped. Information about the vehicle being tracked is shared between the vehicle detection unit 102 and the vehicle tracking unit 103 via the storage unit 105. Here, it is assumed that a new vehicle is detected in the image 600 shown in FIG. When a new vehicle is detected, the process proceeds to step S14. If no new vehicle is detected, the process for the frame ends.
  • the vehicle detection part 102 clips the corresponding range and makes it the template image 601 by step S14.
  • the template image generated here is used for tracking the vehicle in subsequent frames.
  • the template image 601 is associated with a vehicle identifier (numbered each time a vehicle is detected) and a range on the image where the vehicle is detected, and is stored in the storage unit 105.
  • the vehicle detection part 102 produces
  • the occlusion map generated here is a map in which a default value (occlusion degree: 0) is set for all blocks, as shown in FIG.
  • step S15 the vehicle detection unit 102 adds the number of detected vehicles to the number of vehicles currently being tracked (hereinafter, the number of vehicles being tracked).
  • the number set here is used in the vehicle tracking process executed in step S12.
  • step S12 is executed by the vehicle tracking unit 103.
  • the process of step S12 is executed when the set “number of vehicles being tracked” is one or more. That is, at the timing when step S12 is executed, two or more frames are stored in the storage unit 105 in chronological order.
  • step S21 1 is set to the counter n.
  • n is a counter for sequentially processing the tracking target vehicles included in the image.
  • step S22 a rough position in the current frame is estimated for the nth vehicle included in the image.
  • This step is a process for narrowing down the area for template matching from the entire area of the image. For example, when a change in the position of the nth vehicle is obtained in two or more past frames, the position in the current frame may be estimated based on the change in the position. For example, a change in position between the target vehicle two frames before and the target vehicle one frame before may be acquired, and the position of the target vehicle in the current frame may be estimated using the change. Further, the position of the vehicle may be estimated using a Kalman filter or the like. If there is not enough information for estimation, it may be estimated that the target vehicle is in the vicinity of the position detected in step S13 or the immediately preceding frame, or narrowing down may be omitted.
  • step S23 template matching is performed on the road image using the template image corresponding to the nth vehicle.
  • the template image is divided into 16 blocks of 4 ⁇ 4, and matching is performed for each block in the vicinity of the position estimated in step S22.
  • a motion vector v block (x, y) of 16 blocks is generated based on a change in position from the previous frame (x and y are coordinates).
  • FIG. 8A shows a frame immediately before the currently processed frame
  • FIG. 8B shows a currently processed frame
  • FIG. 8C shows a block movement vector between both frames. Note that the two blocks indicated by hatching indicate that a movement vector cannot be acquired correctly due to occlusion. In this block, the movement vector is 0.
  • the movement vector for each block between the immediately preceding frame and the current frame is obtained.
  • step S24 a single movement vector corresponding to the vehicle is acquired based on the movement vector for each block acquired in step S23 and the shielding map. Specifically, out of 16 movement vectors, outliers, that is, vectors whose values greatly deviate from other vectors are excluded. For example, a vector deviating 20% or more from the average value or the mode value is excluded.
  • the remaining movement vectors are weighted based on the occlusion map.
  • the weight is calculated using a decreasing function of the shielding degree.
  • the function (1-x) can be used. That is, a weight of 1 is calculated when the shielding degree is 0, and a weight of 0 is calculated when the shielding degree is 1, and the movement vector is multiplied.
  • the occlusion map used here is a map representing the occlusion state of the tracking target vehicle in the previous frame. In the first processing, since the occlusion map is default (that is, all occlusion degrees are 0), the movement vector does not change. Finally, an average of a plurality of movement vectors is taken as a single movement vector v corresponding to the tracked vehicle.
  • the above-described method for acquiring a single movement vector is not limited to the method exemplified above.
  • the movement vector corresponding to the block having the largest weight may be a single movement vector corresponding to the vehicle, or the average of the movement vectors for the block having the weight greater than a predetermined threshold may be obtained for the vehicle.
  • a corresponding single movement vector may be used.
  • step S25 it is determined whether or not the tracked vehicle has left the shooting range.
  • a tracking range is set on the image, an affirmative determination may be made when the tracking range flows out. Alternatively, a positive determination may be made when tracking fails or when tracking fails continuously for a predetermined number of frames. If it is determined that the tracking target vehicle has left the shooting range, the tracking end flag is set to true for the nth vehicle, and the process proceeds to step S29.
  • the area to which the vehicle has moved is clipped and set as a new template image (step S27).
  • the image corresponding to the area 801 is reset as a template image.
  • the size of the area may be the same as that of the previous frame, or may be adjusted as appropriate.
  • step S28 the shielding state acquisition unit 104 updates the shielding map. Specifically, the difference (denoted ⁇ P (x, y)) between the movement vector v corresponding to the vehicle and the 16 movement vectors v block (x, y) is obtained, and ⁇ P (x, y) is obtained. A value (k
  • a process of returning the shielding degree assigned to each block to 0 is performed. For example, when (1) the degree of shielding is equal to or greater than a predetermined value and (2)
  • step S29 the counter n is incremented, and in step S30, it is determined whether or not the counter n has exceeded the number of vehicles being tracked. As a result, if not exceeded, the process returns to step S22 to start tracking the next vehicle. If it has exceeded, the number of vehicles that have finished tracking (the number of vehicles for which the tracking end flag is true) is subtracted from the number of vehicles that are being tracked (step S31).
  • the updated occlusion map is used for weighting in processing in the next frame. Further, the occlusion map is updated as needed as the processing of the frame proceeds. Thereby, the occlusion map obtained when the i-th frame is processed can be used when the i + 1-th frame is processed. By doing in this way, the shielding state which changes every moment with progress of time can be reflected at any time. In other words, even when occlusion occurs dynamically in successive frames, the occlusion map can be updated appropriately.
  • the updated occlusion map is used for weighting in processing in the next frame, but it is not always necessary to use it in processing in the next frame. That is, the target frame may be changed as appropriate within the range where the effects of the invention can be obtained.
  • the occlusion map updated in the i-th frame may be used for the processing of the i + 2th frame.
  • the occlusion map may be updated every 10 frames, and the occlusion map updated in the i-th frame may be used for processing from the (i + 1) th to i + 10th frames.
  • the image processing apparatus generates a shielding map based on the result of comparing the movement vector acquired for each block and the movement vector corresponding to the entire vehicle, To perform weighting when matching.
  • the influence of shielding cannot be positively removed in template matching.
  • the image processing apparatus suppresses the influence of blocks having an adverse effect by performing the above-described weighting. Matching. That is, the tracking accuracy of the vehicle can be improved.
  • the second embodiment is an embodiment in which the degree of occlusion is corrected based on the strength of the edge on the image.
  • the strength of the edge existing in the direction perpendicular to the traveling direction of the vehicle is extracted, and a coefficient proportional to the strength of the edge is calculated to obtain the degree of shielding.
  • a Sobel filter that extracts edges existing in the direction perpendicular to the traveling direction of the vehicle (the horizontal axis direction in the example of FIG. 8) is applied to the acquired image, and the absolute values of all the obtained values are Get the sum.
  • required with the relational expression as shown in FIG. 9 is multiplied by the shielding degree in a shielding map.
  • a vehicle traveling in a specific direction in the image is characterized in that an edge stands in a direction orthogonal to the traveling direction when no shielding occurs. In the second embodiment, this can be used to calculate the degree of shielding more accurately.
  • the traveling direction of the vehicle may be defined in advance or may be set dynamically according to the detection result by providing a detection means. For example, learning may be performed based on past tracking results to estimate the traveling direction of the vehicle.
  • the present invention can be implemented with appropriate modifications within a range not departing from the gist thereof.
  • the tracking target vehicle is divided into 16 blocks for processing, but the dividing method may be other than this. As the number of blocks increases, the accuracy improves, but the processing time also increases. Therefore, the number of blocks and the block size may be appropriately set based on required specifications.
  • the shielding map is generated by obtaining the difference between the movement vector corresponding to the vehicle and the 16 movement vectors.
  • the method for calculating the shielding degree is as follows. The method is not limited to the exemplified method.
  • a vehicle is tracked by processing a plurality of consecutively acquired frames one by one
  • the processing does not necessarily have to be performed one frame at a time.
  • it may be configured to process by thinning out frames like skipping one sheet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物に対応するテンプレートを取得するテンプレート取得手段と、前記画像に含まれる追跡対象物の、他の物体による遮蔽度合いを示すマップである遮蔽マップを生成する遮蔽マップ生成手段と、前記テンプレートと、前記遮蔽マップの双方に基づいて、前記画像に含まれる追跡対象物を検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有することを特徴とする。

Description

画像処理装置および画像処理方法
　本発明は、連続したフレームに含まれる物体を追跡する技術に関する。
　監視システムなどにおいて、画像に含まれる物体を検知し、その動きを自動的に追跡する技術が知られている。物体の追跡は、例えば、追跡対象の物体が映っていない画像と映っている画像との差分を取得してテンプレートを生成し、当該テンプレートを用いて１フレームずつ画像内を探索することで実現することができる（特許文献１）。
　物体の追跡を応用したシステムに、交通流計測システムがある。例えば路側に設置されたカメラを用いて道路上を撮影し、通過する車両を追跡することで、対象の地点を通過した車両の台数をカウントすることができる（特許文献２）。
特開２００１－０６０２６９号公報 特開２００９－０８７３１６号公報
　道路を撮影した画像（動画）に基づいて、当該道路上を通過する車両を追跡しようとした場合、遮蔽が問題となる場合がある。例えば、車両同士の車間距離が短くなると、画像上で当該車両同士が重なりあうことがある。また、車線変更などに伴い、隣り合った車線間で車両同士が重なりあうことがある。このように、追跡対象の車両の一部が他の物体（車両等）に遮蔽されると、テンプレートマッチングの精度が著しく低下するという問題がある。
　特許文献１に記載の発明では、異なる時刻において取得した複数のテンプレートを用いてマッチングを行い、一致度が最も高いテンプレートを採用することで、追跡精度の低下を防いでいる。しかし、道路上の車両を追跡する場合、追跡対象の車両が前後の車両によって大きく遮蔽される場合があり、このような場合、当該手法では精度を確保することができない。
　また、特許文献２に記載の発明では、道路上にいる車両を個別に追跡したうえで、追跡が正しく行えている可能性を検証し、当該可能性に基づいて最終的な結果を確定させるという手法をとっている。しかし、対象の車両が大きく遮蔽された場合や、複数の車両が複雑な挙動をとった場合、同様に精度を確保することができない。
　本発明は上記の課題を考慮してなされたものであり、物体を追跡する画像処理装置において、追跡対象物の一部が遮蔽された場合における追跡精度を向上させることを目的とする。
　上記課題を解決するための、本発明に係る画像処理装置は、
　連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物に対応するテンプレートを取得するテンプレート取得手段と、前記画像に含まれる追跡対象物の、他の物体による遮蔽度合いを示すマップである遮蔽マップを生成する遮蔽マップ生成手段と、前記テンプレートを用いて前記画像に含まれる追跡対象物を検出するとともに、前記テンプレートと、前記遮蔽マップの双方に基づいて、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有することを特徴とする。
　本発明に係る画像処理装置は、複数のフレーム間における追跡対象物の移動を追跡する装置である。なお、移動とは、画像上における移動であり、追跡対象物そのものの移動と、撮影条件（カメラのパン、チルト、ズーム等）の変化の双方に起因して発生しうる。
　テンプレート取得手段は、追跡対象物に対応するテンプレートを取得する手段である。テンプレートは、追跡対象物の特徴量であってもよいし、追跡対象物の画像そのものであってもよい。例えば、車両を追跡する場合、車種（例えば、乗用車、貨物車、バス、オートバイ等）ごとの特徴量を用いてもよいし、既に追跡を行った結果がある場合、追跡結果に基づいて切り出した画像を用いてもよい。
　遮蔽マップ生成手段は、他の物体によって追跡対象物が遮蔽されている度合いを表したマップ（遮蔽マップ）を生成する手段である。遮蔽マップは、例えば、追跡対象物に対応する領域を複数のブロックに分割したマップであってもよい。また、遮蔽の度合いは何段階で表してもよい。
　また、追跡手段は、取得した画像に含まれる追跡対象物を、連続して取得した複数のフレーム間で追跡する手段である。本発明では、追跡手段は、追跡対象物に対応するテンプレートだけでなく、遮蔽マップをさらに用いてフレーム間における追跡対象物の移動を追跡する。追跡対象物の一部が遮蔽されている場合、マッチングによる追跡精度が遮蔽割合に応じて低下するが、遮蔽マップを利用することで、他の物体による遮蔽を考慮してマッチングを行うことができるようになり、追跡の精度が向上する。
　また、前記遮蔽マップは、前記テンプレートを複数のブロックに分割し、各ブロックに遮蔽度合いを関連付けたマップであり、前記追跡手段は、前記テンプレートを前記ブロック単位で用いてマッチングを行い、さらに、各ブロックに対応する遮蔽度合いを用いて重み付けを行った結果に基づいて、前記追跡対象物の移動量および移動方向を取得することを特徴としてもよい。
　ブロックごとの遮蔽度合いに基づいて、マッチング結果に対して重み付けを行うことで、遮蔽されているブロックの影響を弱めつつ、精度よく追跡対象物の移動先を取得することができる。
　また、前記遮蔽マップ生成手段は、前記追跡対象物を画像間で追跡して得られた単一のベクトルと、前記複数のブロックをそれぞれ画像間で追跡して得られた複数のベクトルのそれぞれと、を比較した結果に基づいて前記遮蔽マップを生成することを特徴としてもよい。
　追跡対象物の遮蔽状況は、「追跡対象物全体に対応する単一のベクトル」と、「追跡対象物を構成する複数のブロックにそれぞれ対応する複数のベクトル」とを比較することで生成することができる。あるブロックにおいて遮蔽が発生している場合、当該ブロックについては、フレーム間における追跡の精度が低下する（あるいは追跡自体が失敗する）。よって、双方のベクトルのずれに基づいて、当該ブロックにおける遮蔽の度合いを算出することができる。
　また、前記遮蔽マップ生成手段は、前記単一のベクトルと前記複数のベクトルのそれぞれを比較した結果の間の差が大きいほど、対応するブロックの遮蔽度合いを大きく設定し、前記追跡手段は、ブロックに対応する遮蔽度合いが大きいほど、当該ブロックの重みを小さく設定することを特徴としてもよい。
　また、前記遮蔽マップ生成手段は、前記追跡手段が追跡結果を生成するごとに前記遮蔽マップを更新し、前記追跡手段は、次フレームにおける前記追跡対象物の検出処理において、前記更新された遮蔽マップを利用することを特徴としてもよい。
　追跡対象物の遮蔽状況はフレームごとに変化する。よって、前フレームにおける追跡対象物の遮蔽状況を、次フレームにおける追跡に利用してもよい。このようにすることで、遮蔽状況が刻々と変化するようなケースにも対応することができる。
　また、前記遮蔽マップに設定される遮蔽度合いは、対応するブロック内における、前記追跡対象物の移動方向に対して垂直なエッジが強くなるほど小さくなることを特徴としてもよい。
　追跡対象物が一定の方向に移動するものであって、当該移動方向に対して垂直なエッジが強く観察される場合、当該追跡対象物が遮蔽されていないことが推定できる。よって、エッジの強さによって遮蔽マップを補正するようにしてもよい。
　また、前記テンプレート取得手段は、前記追跡手段が検出した前記追跡対象物をクリッピングして得られた画像を、次フレームにおけるテンプレートとしてもよい。
　追跡対象物を検出した結果がある場合、当該結果に基づいて、テンプレートとなる画像を取得し、次フレームにおいて利用してもよい。かかる構成によると、時間の経過とともに追跡対象物の大きさや向きが徐々に変化する場合ってあっても、正確に追跡を行うことができる。
　なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が実行する画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
　本発明によれば、物体を追跡する画像処理装置において、追跡対象物の一部が遮蔽された場合における追跡精度を向上させることができる。
第一の実施形態に係る画像処理システムの配置図である。 第一の実施形態に係る画像処理システムの構成図である。 画像取得部が取得した画像の例である。 後続車両による先行車両の遮蔽と、遮蔽マップを説明する図である。 第一の実施形態に係る画像処理装置が行う処理のフローチャート図である。 車両の検出処理を説明する図である。 第一の実施形態に係る画像処理装置が行う処理のフローチャート図である。 車両の追跡処理を説明する図である。 第二の実施形態におけるエッジの強さを説明する図である。
（第一の実施形態）
 <システム構成>
　以下、本発明の好ましい実施形態について図面を参照しながら説明する。
　本実施形態に係る画像処理システムは、道路上を走行する車両を撮影した画像を連続して取得し、取得した複数の画像に基づいて車両の動きを追跡するシステムである。
　図１は、本実施形態に係る画像処理システムの配置図である。本実施形態に係る画像処理システムは、画像処理装置１００と、カメラ２００からなり、画像処理装置１００が、道路上に配置されたカメラ２００によって連続して撮影された複数の画像を処理することで、車両の動きを追跡する。
　図２は、本実施形態に係る画像処理システムのシステム構成図である。
　画像処理装置１００は、画像取得部１０１、車両検出部１０２、車両追跡部１０３、遮蔽状態取得部１０４、記憶部１０５から構成される。
　画像取得部１０１は、道路上にマウントされたカメラ２００を用いて、道路を走行する車両が含まれた画像（以下、道路画像）を取得する手段である。画像取得部１０１は、所定のフレームレートで、連続して道路画像を取得することができる。画像取得部１０１が取得した道路画像は、時系列順に記憶部１０５に記憶され、以降で説明する各手段が行う処理に供される。
　なお、実施形態の説明では、連続して取得される道路画像のうちの一枚という意味で、フレームという語を用いるが、フレームと道路画像は等価である。また、連続したフレームにおいて、撮影範囲外から新規の車両（まだ追跡を行っていない車両）が現れることを流入、追跡中の車両が撮影範囲外に出て行くことを流出と称する。
　車両検出部１０２は、現在追跡を行っていない新しい車両がカメラ２００の撮影範囲内に流入したことを検出する手段である。新しい車両の検出は、記憶部１０５に予め記憶された複数の特徴量を用いて行うことができる。特徴量は、車両を検出することができれば、どのようなものであってもよい。例えば、車種や車体の形状（乗用車、貨物車、バス、二輪車等）ごとに異なる特徴量を用いてもよい。また、複数の特徴量を用いる場合、どのように分類されていてもよい。また、車両を異なる方向（前後左右など）から見た場合の特徴量をそれぞれ保持していてもよい。
　車両検出部１０２は、追跡を行っていない新しい車両が現れたことを検出する手段であり、それ以降のフレームにおける車両の追跡は、車両追跡部１０３が行う。
　なお、本実施形態では、カメラ２００の撮影範囲の全域において車両を追跡するものとするが、車両を追跡する範囲は別途定められていてもよい。
　車両追跡部１０３は、車両検出部１０２が検出した車両の動きを複数のフレーム間で追跡する手段である。追跡は、車両が撮影範囲外へ流出するまで続けられる。車両の追跡は、追跡対象の車両（以下、追跡対象車両）に対応するテンプレート画像と、後述する遮蔽状態取得部１０４が生成する遮蔽マップの二種類のデータを用いて行われる。テンプレート画像および遮蔽マップを生成する処理の具体的な内容については後述する。
　遮蔽状態取得部１０４は、追跡対象車両の遮蔽状態を取得し、遮蔽マップを生成する手段である。
　ここで、遮蔽状態と遮蔽マップについて説明する。図３は、カメラ２００によって撮影された道路画像の例である。本実施形態に係る画像処理システムは、道路上に設置されたカメラによって撮影された車両を追跡するシステムであるため、追跡対象の車両が前後の車両によって隠れてしまうケースが多く発生する。
　例えば、図３の例では、車両１０Ａおよび１０Ｃが、後続車両によって遮蔽されている。
このような場合、従来用いられているテンプレートマッチングなどの手法を適用すると、正確な位置が検出できなくなるおそれがある。特に、車両１０Ｃは、対応する領域のうち半分近くが隠れているため、マッチングにおけるスコアが低下し、追跡が中断されてしまうケースも発生しうる。
　そこで、本実施形態に係る画像処理装置は、遮蔽状態取得部１０４が、各追跡対象車両について、どの程度他の物体（車両）に遮蔽されているかを表すマップである遮蔽マップを生成し、当該遮蔽マップに基づいて重み付けを行ったうえでテンプレートマッチングを行う。遮蔽マップの具体的な生成方法、ならびに遮蔽マップの使用法については後述する。
　記憶部１０５は、装置が用いるデータを一時的または恒久的に記憶する手段である。記憶部１０５には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。記憶部１０５には、車両検出部１０２が利用する特徴量、画像取得部１０１が取得した複数の画像、車両追跡部１０３が利用するテンプレート画像、遮蔽状態取得部１０４が生成した遮蔽マップなどが一時的または恒久的に記憶される。
　なお、画像取得部１０１、車両検出部１０２、車両追跡部１０３、遮蔽状態取得部１０４は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。ソフトウェアとして実行される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）
 <遮蔽マップ>
　次に、遮蔽状態取得部１０４によって生成される遮蔽マップの詳細について説明する。図４は、追跡対象車両の遮蔽状態と、対応する遮蔽マップを示した図である。
　遮蔽マップとは、追跡対象車両に対応する領域を１６個のブロック（４×４）に分割し、各ブロックに対して遮蔽の程度を表す値（遮蔽度）を割り当てたマップである。なお、遮蔽度は、完全に遮蔽されている状態を１とし、全く遮蔽されていない状態を０とした実数によって表される。
　図４（Ａ）は、追跡対象車両が遮蔽されていない状態の例である。この場合、遮蔽マップには全て０という値が割り当たっている。また、図４（Ｂ）は、追跡対象車両の一部が後続車両によって遮蔽されている状態の例である。この場合、左下の６つのブロックに０以上の値が割り当たっている。
　本実施形態に係る画像処理装置は、このような遮蔽マップを、追跡対象車両およびフレームごとに生成し、割り当てられた値に基づいて重み付けを行ったうえでテンプレートマッチングを実施する。すなわち、遮蔽されているブロックに対してより小さい重みを与え、遮蔽されていないブロックに対してより大きい重みを与える。このようにすることで、遮蔽の影響を排除しつつ、追跡対象車両の位置を検出することができる。
　遮蔽マップの具体的な生成方法については後述する。なお、本例では、遮蔽度は０～１の範囲をとる実数であるが、遮蔽度はこれ以外であってもよい。また、遮蔽度は必ずしも０～１の範囲をとる必要はない。例えば、０～２５５の範囲をとる整数であってもよい。
 <処理フローチャート>
　次に、画像処理装置１００が行う画像処理の詳細について、処理フローチャートである図５を参照しながら説明する。図５に示した処理は、画像取得部１０１が新規のフレームを取得するごとに実行される。例えば、フレームレートが１０ｆｐｓである場合、秒間１０回実行される。
　まず、ステップＳ１１で、画像取得部１０１が、カメラ２００を介して道路画像を取得し、記憶部１０５に一時的に記憶させる。なお、取得された道路画像は、時系列順に記憶され、処理が完了すると削除される。
　次に、ステップＳ１２で、車両追跡部１３が、現在追跡している車両が存在するか否かを判定し、ある場合に、追跡対象車両を追跡する処理を実行する。現在追跡している車両が存在するか否かは、後述するカウンタを用いて判断する。なお、ここでは、追跡中の車両が無いものとして説明を行い、ステップＳ１２の詳細については、図７を参照しながら後ほど説明する。
　ステップＳ１３では、車両検出部１０２が、ステップＳ１１で取得した画像上に、現在追跡していない車両が存在するか否かを判定する。具体的には、記憶部１０５に予め記憶されている特徴量に基づいて、車両の検出を試みる。本ステップにおける車両の検出には、特徴量に基づく既知の物体検出手法を用いることができる。例えば、記憶された複数の特徴量を用いてマッチングを試み、初期位置と範囲を特定する。なお、検出した車両が既に追跡中の車両であった場合、当該車両はスキップする。追跡中の車両についての情報は、記憶部１０５を介して、車両検出部１０２および車両追跡部１０３の間で共有される。
　ここでは、図６（Ａ）に示した画像６００内において新しい車両を検出したものとする。
　新しい車両が検出されると、処理はステップＳ１４へ遷移する。また、新しい車両が検出されなかった場合、当該フレームに対する処理は終了する。
　車両を検出すると、ステップＳ１４で、車両検出部１０２が、対応する範囲をクリッピングし、テンプレート画像６０１とする。ここで生成したテンプレート画像が、以降のフレームにおいて車両の追跡に利用される。テンプレート画像６０１は、車両の識別子（車両を検出するごとに採番される）、および、車両を検出した画像上の範囲と関連付けられ、記憶部１０５に記憶される。また、車両検出部１０２が、追跡対象車両に対応する遮蔽マップ６０２を生成する。ここで生成される遮蔽マップは、図６（Ｂ）のように、全てのブロックにデフォルト値（遮蔽度：０）が設定されたマップである。
　次に、ステップＳ１５で、車両検出部１０２が、現在追跡中である車両の数（以下、追跡中車両数）に、検出した車両の台数を追加する。ここで設定された台数は、ステップＳ１２で実行される車両追跡処理において利用される。
　次に、ステップＳ１２で行われる処理について、図７に示したフローチャートを参照しながら説明する。なお、特に記載がない場合、各ステップは車両追跡部１０３が実行するものとする。
　ステップＳ１２の処理は、設定されている「追跡中車両数」が１台以上である場合に実行される。すなわち、ステップＳ１２が実行されるタイミングでは、時系列順に二つ以上のフレームが記憶部１０５に記憶されている。
　まず、ステップＳ２１で、カウンタｎに１を設定する。ｎは、画像に含まれる追跡対象車両に対して順次処理を行うためのカウンタである。
　次に、ステップＳ２２で、画像に含まれるｎ番目の車両について、現在のフレームにおける大まかな位置を推定する。本ステップは、画像の全領域から、テンプレートマッチングを行うための領域を絞り込むための処理である。例えば、過去の二つ以上のフレームにおいて、ｎ番目の車両の位置の変化が求まっている場合、当該位置の変化に基づいて、現在のフレームにおける位置を推定してもよい。例えば、２フレーム前における対象車両と、１フレーム前における対象車両との位置の変化を取得し、当該変化を用いて現在のフレームにおける当該対象車両の位置を推定してもよい。また、カルマンフィルタなどを用いて車両の位置を推定してもよい。
　なお、推定を行うための十分な情報が無い場合、ステップＳ１３または直前のフレームで検出した位置の近傍に当該対象車両がいるものと推定してもよいし、絞り込み自体を省略してもよい。
　次に、ステップＳ２３で、ｎ番目の車両に対応するテンプレート画像を用いて、道路画像に対するテンプレートマッチングを行う。
　なお、ここでは、テンプレート画像を４×４の１６ブロックに分割し、ステップＳ２２で推定した位置の近傍において、ブロックごとにマッチングを行う。この結果、１６個のマッチング結果が得られるため、前フレームとの位置の変化に基づいて、１６ブロックぶんの移動ベクトルｖblock(x,y)を生成する（ｘ，ｙは座標）。
　図８（Ａ）は、現在処理しているフレームの直前のフレームを表した図であり、図８（Ｂ）は、現在処理しているフレームを表した図である。また、図８（Ｃ）は、双方のフレーム間における、ブロックの移動ベクトルを表した図である。なお、ハッチングで示した二つのブロックは、遮蔽に起因して、正しく移動ベクトルが取得できていないことを表す。当該ブロックでは、移動ベクトルが０となっている。
　ステップＳ２３の処理が完了すると、直前のフレームと、現在のフレームとの間における、ブロックごとの移動ベクトルが取得された状態となる。
　ステップＳ２４では、ステップＳ２３で取得したブロックごとの移動ベクトルと、遮蔽マップに基づいて、車両に対応する単一の移動ベクトルを取得する。
　具体的には、まず、１６個の移動ベクトルのうち、外れ値、すなわち、値が他のベクトルから大きくずれているベクトルを除外する。例えば、平均値や最頻値から２０％以上外れているベクトルを除外する。
　次に、残った移動ベクトルに対して、遮蔽マップに基づく重み付けを行う。具体的には、遮蔽度の減少関数を用いて重みを算出する。例えば関数（１－ｘ）を用いることができる。すなわち、遮蔽度が０である場合に１という重みを、遮蔽度が１である場合に０という重みを算出して、移動ベクトルに対して乗算する。
　ここで利用される遮蔽マップは、前フレームにおける追跡対象車両の遮蔽状態を表すマップである。初回の処理では、遮蔽マップはデフォルト（すなわち、遮蔽度が全て０）であるため、移動ベクトルは変化しない。
　最後に、複数の移動ベクトルの平均を取り、追跡対象車両に対応する単一の移動ベクトルｖとする。
　なお、前述した単一の移動ベクトルの取得方法は、上記に例示した方法に限定されない。例えば、最も重みが大きいブロックに対応する移動ベクトルを、車両に対応する単一の移動ベクトルとしてもよいし、所定の閾値よりも重みが大きいブロックについて移動ベクトルの平均を取ったものを、車両に対応する単一の移動ベクトルとしてもよい。
　ステップＳ２５では、追跡対象車両が、撮影範囲から出たか否かを判定する。なお、画像上に追跡範囲が設定されている場合、当該範囲から流出した場合に肯定判定としてもよい。また、追跡に失敗した場合や、所定のフレーム数だけ連続して追跡に失敗した場合に肯定判定としてもよい。追跡対象車両が撮影範囲から出たと判定した場合、ｎ番目の車両について追跡終了フラグを真にし、ステップＳ２９へ遷移する。
　追跡対象車両が撮影範囲を出ていない場合、当該車両が移動した先の領域をクリッピングし、新たなテンプレート画像として設定する（ステップＳ２７）。図８の例の場合、領域８０１に対応する画像が、テンプレート画像として再設定される。クリッピングする際に領域の大きさは前フレームと同じでもよいし、適宜調整してもよい。調整する場合は所定の係数に基づいて拡大または縮小する方法や、検出されたブロック間の距離の変化に基づいて拡大または縮小する方法がある。
　次に、ステップＳ２８で、遮蔽状態取得部１０４が、遮蔽マップを更新する。
　具体的には、車両に対応する移動ベクトルｖと、１６個の移動ベクトルｖblock(x,y)との差分（ΔＰ(x,y)とおく）をそれぞれ取得し、ΔＰ(x,y)の大きさに定数ｋを乗じた値（ｋ｜ΔＰ(x,y)｜）を、遮蔽マップに設定されている現在の値にそれぞれ加算する。すなわち、遮蔽マップの各ブロックが有する遮蔽度は、初回の処理では、０＋ｋ｜ΔＰ(x,y)｜となる。
　図８の例の場合、左下の二ブロックが後続車両によって遮蔽されているため、左下の二ブロックのみが、他のブロックよりも高い遮蔽度によって更新される。
　なお、遮蔽が解消したと判断した場合、各ブロックに割り当たった遮蔽度を０に戻す処理を行う。例えば、（１）遮蔽度が所定の値以上であって、（２）｜ΔＰ(x,y)｜が所定の値以下となった場合に、遮蔽が解消したと判断してもよい。もちろん、他の手法を採用してもよい。
　以上で、ｎ番目の車両に対する追跡処理が終了する。
　ステップＳ２９では、カウンタｎをインクリメントし、ステップＳ３０で、カウンタｎが、追跡中の車両数を超えたか否かを判定する。この結果、超えていない場合、処理はステップＳ２２に戻り、次の車両に対する追跡を開始する。超えていた場合、追跡中の車両数から追跡を終了した車両の数（追跡終了フラグが真である車両の数）を減算する（ステップＳ３１）。
　なお、更新された遮蔽マップは、次のフレームにおける処理で重み付けに利用される。
　また、遮蔽マップは、フレームの処理が進むごとに随時更新される。これにより、ｉ番目のフレームを処理した際に得た遮蔽マップを、ｉ＋１番目のフレームを処理する際に使用することができる。このようにすることで、時刻の経過とともに刻々と変化する遮蔽状態を随時反映させることができる。すなわち、連続したフレームにおいて遮蔽が動的に発生した場合であっても、遮蔽マップを適切に更新することができる。
　なお、本実施形態では、更新された遮蔽マップを次のフレームにおける処理で重み付けに利用する例を挙げたが、必ずしも次のフレームにおける処理で利用する必要はない。すなわち、発明の効果が得られる範囲で、適宜対象となるフレームを変更しても構わない。
　例えば、ｉ番目のフレームで更新された遮蔽マップを、ｉ＋２番目のフレームの処理に用いてもよい。また、例えば、１０フレームごとに遮蔽マップを更新するように構成したうえで、ｉ番目のフレームで更新された遮蔽マップを、ｉ＋１番目からｉ＋１０番目のフレームの処理に用いるようにしてもよい。
　以上説明したように、本実施形態に係る画像処理装置では、ブロックごとに取得した移動ベクトルと、車両全体に対応する移動ベクトルとを比較した結果に基づいて遮蔽マップを生成し、当該遮蔽マップを用いてマッチングの際の重み付けを行う。従来の技術では、テンプレートマッチングにおいて遮蔽の影響を積極的に除去することができなかったが、本実施形態に係る画像処理装置は、前述した重み付けを行うことで、悪影響があるブロックの影響を抑えてマッチングを行うことができる。すなわち、車両の追跡精度を向上させることができる。
（第二の実施形態）
　第二の実施形態は、画像上におけるエッジの強さに基づいて遮蔽度を補正する実施形態である。
　第二の実施形態では、ステップＳ２８の処理において、車両の進行方向に対して垂直な方向に存在するエッジの強さを抽出し、当該エッジの強さに比例した係数を算出して遮蔽度に乗算する。例えば、取得した画像に、車両の進行方向に対して垂直な方向（図８の例では横軸方向）に存在するエッジを抽出するＳｏｂｅｌフィルタを適用し、得られた全ての値の絶対値の和を取得する。そして、図９に示したような関係式で求めた係数を、遮蔽マップにおける遮蔽度に乗算する。
　画像内において特定の方向に進行する車両は、遮蔽が発生していない場合、進行方向と直交する方向にエッジが立つという特徴がある。第二の実施形態では、これを利用し、より正確に遮蔽度を演算することが可能になる。
　なお、車両の進行方向は、予め定義されていてもよいし、検出手段を設け、検出結果に応じて動的に設定するようにしてもよい。例えば、過去の追跡結果に基づいて学習を行い、車両の進行方向を推定するようにしてもよい。
（変形例）
　上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
　例えば、実施形態の説明では、追跡対象車両を１６個のブロックに分割して処理を行ったが、分割方法はこれ以外であってもよい。ブロックが多いほど精度は向上するが、処理時間も長くなるため、ブロック数やブロックサイズは、要求される仕様に基づいて適宜設定すればよい。
　また、実施形態の説明では、車両に対応する移動ベクトルと、１６個の移動ベクトルの差分をそれぞれ求めることで遮蔽マップを生成したが、遮蔽の度合いを求めることができれば、遮蔽度の演算方法は例示した方法に限られない。
　また、実施形態の説明では、連続して取得した複数のフレームを１フレームずつ処理することで車両を追跡する例を挙げたが、処理は必ずしも１フレームずつ行わなくてもよい。例えば、１枚飛ばしのようにフレームを間引いて処理するように構成することも可能である。
　１００　画像処理装置
　１０１　画像取得部
　１０２　車両検出部
　１０３　車両追跡部
　１０４　遮蔽状態取得部
　１０５　記憶部
　２００　カメラ

Claims (9)

  1. 　連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、
    　画像を取得する画像取得手段と、
    　前記画像に含まれる追跡対象物に対応するテンプレートを取得するテンプレート取得手段と、
    　前記画像に含まれる追跡対象物の、他の物体による遮蔽度合いを示すマップである遮蔽マップを生成する遮蔽マップ生成手段と、
    　前記テンプレートを用いて前記画像に含まれる追跡対象物を検出するとともに、前記テンプレートと、前記遮蔽マップの双方に基づいて、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、
    　を有することを特徴とする、画像処理装置。
  2. 　前記遮蔽マップは、前記テンプレートを複数のブロックに分割し、各ブロックに遮蔽度合いを関連付けたマップであり、
    　前記追跡手段は、前記テンプレートを前記ブロック単位で用いてマッチングを行い、さらに、各ブロックに対応する遮蔽度合いを用いて重み付けを行った結果に基づいて、前記追跡対象物の移動量および移動方向を取得する
    　ことを特徴とする、請求項１に記載の画像処理装置。
  3. 　前記遮蔽マップ生成手段は、前記追跡対象物を画像間で追跡して得られた単一のベクトルと、前記複数のブロックをそれぞれ画像間で追跡して得られた複数のベクトルのそれぞれと、を比較した結果に基づいて前記遮蔽マップを生成する
    　ことを特徴とする、請求項２に記載の画像処理装置。
  4. 　前記遮蔽マップ生成手段は、前記単一のベクトルと前記複数のベクトルのそれぞれを比較した結果の間の差が大きいほど、対応するブロックの遮蔽度合いを大きく設定し、
    　前記追跡手段は、ブロックに対応する遮蔽度合いが大きいほど、当該ブロックの重みを小さく設定する
    　ことを特徴とする、請求項３に記載の画像処理装置。
  5. 　前記遮蔽マップ生成手段は、前記追跡手段が追跡結果を生成するごとに前記遮蔽マップを更新し、
    　前記追跡手段は、次フレームにおける前記追跡対象物の検出処理において、前記更新された遮蔽マップを利用する
    　ことを特徴とする、請求項１から４のいずれかに記載の画像処理装置。
  6. 　前記遮蔽マップに設定される遮蔽度合いは、対応するブロック内における、前記追跡対象物の移動方向に対して垂直なエッジが強くなるほど小さくなる
    　ことを特徴とする、請求項１から５のいずれかに記載の画像処理装置。
  7. 　前記テンプレート取得手段は、前記追跡手段が検出した前記追跡対象物をクリッピングして得られた画像を、次フレームにおけるテンプレートとする、
    　ことを特徴とする、請求項１から６のいずれかに記載の画像処理装置。
  8. 　連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置が行う画像処理方法であって、
    　画像を取得する画像取得ステップと、
    　前記画像に含まれる追跡対象物に対応するテンプレートを取得するテンプレート取得ステップと、
    　前記画像に含まれる追跡対象物の、他の物体による遮蔽度合いを示すマップである遮蔽マップを生成する遮蔽マップ生成ステップと、
    　前記テンプレートを用いて前記画像に含まれる追跡対象物を検出するとともに、前記テンプレートと、前記遮蔽マップの双方に基づいて、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡ステップと、
    　を含むことを特徴とする、画像処理方法。
  9. 　請求項８に記載の画像処理方法をコンピュータに実行させるプログラム。
     
PCT/JP2017/007312 2016-07-08 2017-02-27 画像処理装置および画像処理方法 WO2018008184A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020187005263A KR102011231B1 (ko) 2016-07-08 2017-02-27 화상 처리 장치 및 화상 처리 방법
CN201780002921.3A CN107924568B (zh) 2016-07-08 2017-02-27 图像处理装置、图像处理方法和存储介质
EP17823793.9A EP3483834B1 (en) 2016-07-08 2017-02-27 Image processing device and image processing method
US15/756,084 US10497133B2 (en) 2016-07-08 2017-02-27 Object tracking apparatus and object tracking method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016136130A JP6439757B2 (ja) 2016-07-08 2016-07-08 画像処理装置および画像処理方法
JP2016-136130 2016-07-08

Publications (1)

Publication Number Publication Date
WO2018008184A1 true WO2018008184A1 (ja) 2018-01-11

Family

ID=60912433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007312 WO2018008184A1 (ja) 2016-07-08 2017-02-27 画像処理装置および画像処理方法

Country Status (6)

Country Link
US (1) US10497133B2 (ja)
EP (1) EP3483834B1 (ja)
JP (1) JP6439757B2 (ja)
KR (1) KR102011231B1 (ja)
CN (1) CN107924568B (ja)
WO (1) WO2018008184A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107223B2 (en) * 2016-03-31 2021-08-31 Nec Corporation Image detection device, image detection method and storage medium storing program
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
JP2022067928A (ja) * 2020-10-21 2022-05-09 株式会社Subaru 対象物推定装置、その対象物推定方法、および、車両
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
WO2023089706A1 (ja) * 2021-11-17 2023-05-25 日本電信電話株式会社 画像処理装置、画像処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178669A (ja) * 2004-12-21 2006-07-06 National Univ Corp Shizuoka Univ 移動体追跡のための画像処理方法
JP2008042659A (ja) * 2006-08-08 2008-02-21 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
JP2008192060A (ja) * 2007-02-07 2008-08-21 Denso Corp 画像処理装置及び画像処理方法
JP2009199417A (ja) * 2008-02-22 2009-09-03 Denso Corp 顔追跡装置及び顔追跡方法
JP2015138554A (ja) * 2014-01-20 2015-07-30 株式会社リコー 対象追跡方法及び装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3768073B2 (ja) 1999-06-15 2006-04-19 株式会社日立国際電気 物体追跡方法及び物体追跡装置
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
JP4884331B2 (ja) * 2007-08-20 2012-02-29 セコム株式会社 移動物体追跡装置
JP5128339B2 (ja) 2007-09-11 2013-01-23 株式会社日立製作所 交通流計測システム
US9349189B2 (en) * 2013-07-01 2016-05-24 Here Global B.V. Occlusion resistant image template matching using distance transform
CN104091348B (zh) * 2014-05-19 2017-04-05 南京工程学院 融合显著特征和分块模板的多目标跟踪方法
CN105469380A (zh) * 2014-09-05 2016-04-06 株式会社理光 对于对象的遮挡进行检测的方法和装置
CN105654515A (zh) * 2016-01-11 2016-06-08 上海应用技术学院 基于分片及多特征自适应融合的目标跟踪方法
CN105678809A (zh) * 2016-01-12 2016-06-15 湖南优象科技有限公司 手持式自动跟拍装置及其目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178669A (ja) * 2004-12-21 2006-07-06 National Univ Corp Shizuoka Univ 移動体追跡のための画像処理方法
JP2008042659A (ja) * 2006-08-08 2008-02-21 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
JP2008192060A (ja) * 2007-02-07 2008-08-21 Denso Corp 画像処理装置及び画像処理方法
JP2009199417A (ja) * 2008-02-22 2009-09-03 Denso Corp 顔追跡装置及び顔追跡方法
JP2015138554A (ja) * 2014-01-20 2015-07-30 株式会社リコー 対象追跡方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3483834A4 *

Also Published As

Publication number Publication date
KR102011231B1 (ko) 2019-08-14
US20190114788A1 (en) 2019-04-18
EP3483834B1 (en) 2021-09-22
CN107924568A (zh) 2018-04-17
EP3483834A4 (en) 2020-02-26
EP3483834A1 (en) 2019-05-15
JP6439757B2 (ja) 2018-12-19
US10497133B2 (en) 2019-12-03
KR20180033552A (ko) 2018-04-03
JP2018005839A (ja) 2018-01-11
CN107924568B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2018008184A1 (ja) 画像処理装置および画像処理方法
US7262710B2 (en) Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles
JP6390671B2 (ja) 画像処理装置および画像処理方法
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US8406472B2 (en) Method and system for processing image data
US10055674B2 (en) Confidence estimation for optical flow
CN110033476A (zh) 目标速度估计方法、装置和图像处理设备
US20190370978A1 (en) Object recognition apparatus
CN111047908B (zh) 跨线车辆的检测装置、方法及视频监控设备
KR101492366B1 (ko) 차량 사고 감지 방법 및 그 장치
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP7247772B2 (ja) 情報処理装置及び運転支援システム
JP5125214B2 (ja) 障害物検出方法および障害物検出装置
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
JP4075879B2 (ja) 車両用衝突警報装置及び車両用衝突警報方法
JP4573590B2 (ja) 画像処理による移動物体計測方法及び装置
JP7435258B2 (ja) 車両速度の検出方法及び装置
JP7260499B2 (ja) 物体検出装置
CN117078607A (zh) 航向角修正方法、装置及电子设备、存储介质
CN116665160A (zh) 图像处理方法及实施图像处理方法的设备
Bogdan Algorithm for shake detection in videos for advanced driver assistance systems

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187005263

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17823793

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE