WO2020175085A1 - 画像処理装置、及び画像処理方法 - Google Patents

画像処理装置、及び画像処理方法 Download PDF

Info

Publication number
WO2020175085A1
WO2020175085A1 PCT/JP2020/004719 JP2020004719W WO2020175085A1 WO 2020175085 A1 WO2020175085 A1 WO 2020175085A1 JP 2020004719 W JP2020004719 W JP 2020004719W WO 2020175085 A1 WO2020175085 A1 WO 2020175085A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking information
image processing
moving body
image
camera
Prior art date
Application number
PCT/JP2020/004719
Other languages
English (en)
French (fr)
Inventor
俊之 村松
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2021501857A priority Critical patent/JP7375806B2/ja
Publication of WO2020175085A1 publication Critical patent/WO2020175085A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present disclosure relates to an image processing device and an image processing method.
  • an image processing device that detects the position of an object existing in an imaging region based on an image captured by a camera or the like.
  • This type of image processing device accurately grasps the position of a person or a working machine (hereinafter collectively referred to as “moving body”) in a work environment such as a construction site or a factory and analyzes the action or motion of the moving body. It is also expected to be applied to applications for predicting the behavior or motion of the moving body (hereinafter collectively referred to as “behavior analysis”).
  • FIG. 1 is a diagram showing an example of a range image generated by a laser radar.
  • a laser radar emits a laser beam and measures the time (T0F: Time of Fli ght) until the laser beam is reflected by an object and returns to the object from its own position. Find the distance to the position of the object. Then, the laser radar 1 performs the processing while scanning within a predetermined range in which the monitoring target area is reflected, thereby generating image data related to the range image. Since such a range image includes information on the three-dimensional position of each part of the moving body, it is useful for recognizing the posture and motion of the moving body.
  • Patent Document 1 the surrounding environment is measured using a laser radar, and the moving object is recognized by clustering and analyzing the range-finding points that have been made into a point cloud, thereby recognizing the position of the moving object.
  • the technique to be tried is disclosed.
  • Patent Document 1 Japanese Patent Laid-Open No. 20 1 4 _ 1 6 7 7 02
  • Patent Document 1 limits the improvement of the accuracy of the object recognition because the object recognition is performed using only the measurement result of the laser radar.
  • the range image generated by the laser radar has lower horizontal and vertical resolution than the camera image generated by a general camera, and in addition, Does not include color information. Therefore, for example, if there are multiple people with similar physical characteristics in the area to be monitored by the laser radar, the distance images generated by the laser radar should be used to correctly track the multiple people. Is difficult.
  • the present disclosure has been made in view of the above problems, and an object of the present disclosure is to provide an image processing device and an image processing method capable of improving the accuracy of moving object tracking using a laser radar. Means for solving the problem
  • a first image acquisition unit that acquires range image data from a laser radar that monitors a predetermined area
  • a second image acquisition unit that acquires image data of a camera image from a camera that monitors the predetermined area
  • a first analysis unit that generates first tracking information that tracks the position of a moving body existing in the predetermined region based on the distance images arranged in time series, ⁇ 2020/175085 3 (:171? 2020/004719
  • a second analysis unit that generates second tracking information that tracks the position of a moving object existing in the predetermined area based on the camera images arranged in time series, and the first tracking information and the second tracking information with time.
  • a data comparison processing unit that aligns and compares the axes, and determines the identification information and the position of the moving object existing in the predetermined area based on the first tracking information and the second tracking information,
  • An image processing apparatus including.
  • Image data of a range image is acquired from a laser radar that monitors a predetermined area.
  • Image data of a camera image is acquired from a camera that monitors the predetermined area, and based on the distance images arranged in time series, first tracking information that tracks the position of a moving body existing in the predetermined area is generated,
  • second tracking information is generated by tracking the position of the moving body existing in the predetermined area
  • the first tracking information and the second tracking information are compared with each other on the same time axis, and based on the first tracking information and the second tracking information, the identification information and the position of the moving object existing in the predetermined area are determined. Determine,
  • FIG. 1 A diagram showing an example of a range image generated by a laser radar.
  • FIG. 2 Diagram showing an example of the monitoring system according to the first embodiment.
  • FIG. 3 A diagram showing a hardware configuration of the image processing apparatus according to the first embodiment
  • FIG. 4 A diagram showing functional blocks of the image processing apparatus according to the first embodiment [FIG. The figure which shows an example of the tracking information generated ⁇ 2020/175085 4 ⁇ (:171? 2020 /004719
  • FIG.58 A diagram showing an example of tracking information generated by the second analysis unit.
  • FIG. 8 A flow chart showing processing executed when the image processing apparatus (data comparison processing unit) according to the first embodiment generates fixed tracking information.
  • FIG. 9 A diagram showing a configuration of an image processing apparatus according to a second embodiment.
  • FIG. 10 A diagram showing a configuration of an image processing apparatus according to a third embodiment.
  • FIG. 2 is a diagram showing an example of the monitoring system II according to the present embodiment.
  • the monitoring system according to the present embodiment is a moving object (here, a person IV! Work machine It is used for tracking applications.
  • a monitoring system II includes an image processing device 100, a laser radar 200, and a camera 300.
  • the laser radar 200 is, for example, a time until the laser light is emitted and the laser light is reflected by an object and returns. ⁇ ⁇ 4 4) is measured to obtain the distance from the position of the body to the position of the object.
  • the laser radar 200 performs such processing while scanning within a predetermined range in which the area to be monitored is imaged, thereby generating image data related to the distance image (hereinafter, abbreviated as “distance image”).
  • the laser radar 200 continuously generates distance images in frame units and outputs distance images arranged in time series (that is, moving images) to the image processing device 100. ⁇ 2020/175085 5 (:171? 2020/004719
  • the range image has a laser radar 20 for each pixel with each scanning position as a pixel.
  • the range image shows a three-dimensional (eg, horizontal, vertical, and depth) position of the object in the monitored area.
  • the position of the object is detected in a three-dimensional Cartesian coordinate system (X , ⁇ , ).
  • the camera 300 is, for example, a general visible camera, which converts an image signal generated by its own image pickup device (0 1 ⁇ /1 0 3 sensor or 0x00 sensor) into 80 , Image data (hereinafter referred to as “camera image”) is generated. Note that the camera 300 continuously generates camera images in frame units and outputs camera images arranged in time series (that is, moving images) to the image processing apparatus 100.
  • the camera image is, for example, for each pixel, Luminance value for each (for example, ⁇ It is an image in which the brightness values of 2 5 6 gradations for each of the Tami) are associated as pixel values.
  • the laser radar 200 and the camera 300 are installed at appropriate positions near the monitoring target area so that the same monitoring target area is imaged.
  • the image processing device 100 based on the image data of the range image generated by the laser radar 200 and the image data of the camera image generated by the camera 300, Existing in (in Fig. 2, Work machine Work machine It tracks the movement of the and outputs the tracking result.
  • FIG. 3 is a diagram showing a hardware configuration of the image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 has, as a main component,
  • an external storage device for example, flash memory
  • DSP Digital Signal Processor
  • FIG. 4 is a diagram showing functional blocks of the image processing apparatus 100 according to this embodiment.
  • the arrows in Fig. 4 represent the flow of data.
  • FIG. 5A is a diagram showing an example of tracking information D 1 (hereinafter, referred to as “first tracking information”) generated by the first analysis unit 30, and
  • FIG. 6 is a diagram showing an example of tracking information D 2 (hereinafter, referred to as “second tracking information”) generated by 40.
  • FIG. 6 is a diagram explaining the processing of the data comparison processing unit 50.
  • FIG. 6 shows an example of the first tracking information D 1 (left figure) generated by the first analysis section 30 and the second tracking information D 2 (right figure) generated by the second analysis section 40. There is.
  • the first tracking information D 1 (left figure) and the second tracking information D 2 (right figure) in FIG. 6 are generated in the same time zone.
  • the image processing device 100 includes a first image acquisition unit 10, a second image acquisition unit 20, a first analysis unit 30, a second analysis unit 40, a data comparison processing unit 50, and a data output unit 60. I have it.
  • the first image acquisition unit 10 acquires image data of a range image generated by the laser radar 200.
  • the first image acquisition unit 10 sequentially acquires distance images arranged in a time series from the laser radar 200.
  • the second image acquisition unit 20 is the image data of the camera image generated by the camera 300. ⁇ 2020/175085 7 ⁇ (:171? 2020/004719
  • the second image acquisition unit 20 sequentially acquires camera images arranged in time series from the camera 300.
  • the first analysis unit 30 tracks the position of the moving object existing in the monitoring target area based on the time-series distance images, and outputs the result as the first tracking information port 1.
  • the first analysis unit 30 detects a moving object appearing in each frame of the distance images arranged in time series, gives a mouth to each moving object, and exists the moving object. The position is stored in association with the mouth.
  • the first analysis unit 30 calculates, for example, the degree of association between the moving body detected in the frame of interest and the moving body detected in the previous frame, and based on the degree of association, the moving body detected in the frame of interest and the front Determine the identity with the moving object detected in the frame.
  • the first analysis unit 30 detects that the moving body detected in the target frame is If the same edge as the moving body detected in the frame is given and the moving body detected in the target frame and the moving body detected in the previous frame are not the same, the moving body detected in the target frame is Assign a new I 0. In this way, the first analysis unit 30 individually tracks the moving objects reflected in each frame.
  • the first analysis unit 30 is provided for each physical body such as a person or a working machine.
  • the method of detecting the moving body from the range image by the first analysis unit 30 may be any known method.
  • the first analysis unit 30 may detect the moving object, for example, by taking the difference between the frame of interest and the previous frame.
  • the first analysis unit 30 detects a moving object (for example, a person or a vehicle) by pattern matching based on, for example, the feature amount (for example, shape and size) of the cluster of distance measuring points in the distance image. You may.
  • the first analysis unit 30 is a method for determining the identity of each moving object between different frames. May be any known method.
  • the first analysis unit 30 may determine, for example, the distance between the moving object detected in the frame of interest and the moving object detected in the previous frame, the size similarity between the two, and the shape similarity between the two. The degree of relevance between the two is calculated based on the gender, the color similarity between the two, and the moving speed similarity between the two. Then, the first analysis unit 30 determines that the moving object detected in the frame of interest and the moving object detected in the previous frame are the same _ when the relationship is equal to or more than the predetermined value.
  • the first analysis unit 30 uses a discriminator model that has been learned by machine learning to detect a moving object in the range image, or the first analysis unit 30 is different. Determine the identity of each moving object between frames. This makes it possible to enhance the robustness of moving body detection and the robustness of moving body identity determination against changes in the appearance of moving bodies.
  • the first analysis unit 30 detects a moving body from the range image, it is preferable to use a convolutional neural network (Convolutional Neural Network: C NN).
  • CNN convolutional Neural Network
  • the first analysis unit 30 determines the identity of each moving object between different frames, it is preferable to use a hidden Markov model (Hidden Markov Mode l: HM M ), for example.
  • machine learning may be executed by reinforcement learning using a learning data set in which the input image and the correct answer value are associated with each other.
  • the first tracking information D1 is, for example, data indicating the position (here, three-dimensional coordinate position) of the moving body in each frame of the distance images arranged in time series (see Fig. 5A. See).
  • the first tracking information D 1 includes, for example, for each moving body, an ID and information regarding a temporal change in the position of the moving body. In other words, the first tracking information D 1 identifies the moving body of the same _ in each frame by giving only one _ D.
  • the first tracking information D 1 is recorded by assigning an individual ID to each of the multiple moving objects and associating the temporal change of the position of the moving object. To do.
  • the second analysis unit 40 tracks the position of the moving object existing in the monitoring target area based on the time-sequential camera images, and outputs the result as the second tracking information. ⁇ 2020/175085 9 ⁇ (:171? 2020 /004719
  • the second analysis section 40 detects a moving body from a camera image and the method of identifying each moving body among different frames is a known arbitrary method. Can be used. It is desirable that the second analysis unit 40 uses the trained discriminator model when performing these processes, similarly to the first analysis unit 30.
  • the second tracking information 02 is, for example, data indicating the position (here, two-dimensional coordinate position) of the moving object in each frame of the camera images arranged in time series (see Fig. 5). ..
  • the mouth and the temporal change of the position of the moving body are recorded in association with each other for each moving body.
  • the data comparison processing unit 50 compares the first tracking information port 1 and the second tracking information port 2 while aligning the time axes, and determines the first tracking information port 1 and the second tracking information port 0 2. Based on this, the position and I 0 of the moving object existing in the monitored area are confirmed, and the result is output as the confirmed tracking information port 3.
  • a range image has low resolution and does not include color information. Therefore, it may be difficult to identify a moving object between different frames from the range image.
  • the moving object if the moving object intersects another moving object or changes its posture, whether the moving object is the same as the one detected at the previous time point. Can't identify ⁇ 2020/175085 10 boxes (:171? 2020 /004719
  • the camera image has high resolution and includes color information, it is possible to more accurately identify a moving object between different frames.
  • the data comparison processing unit 50 uses the second tracking information 02 to determine the first
  • the data comparison processing unit 50 if the change in the index 0 of the moving object included in the first tracking information port 1 is different from the change in the I 0 of the moving object included in the second tracking information port 2, Considering that there is an error in the change of the mouth I of the moving object included in tracking information port 1, I 0 of the moving object included in first tracking information port 1 is changed to I 0 of the moving object included in second tracking information port 2. After correction, the corrected first tracking information 0 1 is output as the fixed tracking information port 3.
  • the first tracking A method of calculating the degree of proximity between the position of the moving body included in the information port 1 and the position of the moving body included in the second tracking information 02 (for example, the distance between the two or the overlapping area of the two) is used.
  • the data comparison processing unit 50 can execute the process, a data set indicating the correspondence between the coordinate position indicated by the first tracking information port 1 and the coordinate position indicated by the second tracking information port 2 is displayed. It is desirable that the image is stored in advance in the image processing device 100 such as [1/1 ⁇ /110 2].
  • the data comparison processing unit 50 refers to the visual field information of the laser radar 200 and the visual field information of the camera 300 to consider the difference between the visual fields of the two, and then performs the first tracking. It is desirable to identify the correspondence between the moving object included in information port 1 and the moving object included in the second tracking information port 2.
  • Fig. 7 is a diagram showing the field of view of the laser radar 200 and the field of view of the camera 300.
  • the field of view 1 of the laser radar 200 is generally narrower in the vertical imaging range than the field of view 2 of the camera 300. Therefore, the moving object shown in the range image is different from the moving object shown in the camera image, and the whole moving object is shown in the range image. ⁇ 2020/175085 1 1 ⁇ (:171? 2020/004719
  • a camera image may show the whole body of a person, while a range image may show only the upper half of the person. Therefore, the data comparison processing unit 50, for example, considers the difference in shape between the moving object in the range image and the moving object in the camera image, and considers the moving object included in the first tracking information port 1 and the second object. It is desirable to identify the correspondence with the moving object included in tracking information port 2.
  • Comparison unit 5 becomes large is the same _ object conditions vertically to more if the object being Mikire completely vertically angle in the laser radar 2 0 0, the laser radar 2 0 0 If an object is completely contained within the vertical angle of view of, it can be judged that an object larger than that is likely to be another object even if it is approximate in terms of distance. This can improve the accuracy of object discrimination.
  • the data comparison processing unit 50 more preferably refers to the first tracking information port 1 and refers to any one of the following first to third situations. It is desirable to judge whether or not it has occurred and refer to the second tracking information port 2 only when any of the first to third situations has occurred. In other words, the data comparison processing unit 50 determines the first tracking information port 1 as it is without referring to the second tracking information port 2 when neither of the first situation to the third situation occurs. It is desirable to output as tracking information 0 3.
  • the data comparison processing unit 50 decides whether or not to carry out the correctness determination of the first tracking information port 1 depending on the situation as described above. As a result, unnecessary data processing can be omitted and the processing load can be reduced.
  • the data output unit 60 outputs the definite tracking information 03 generated by the data comparison processing unit 50 to the outside.
  • the data output unit 60 converts, for example, the confirmed tracking information port 3 into display image format data and displays it on the display.
  • FIG. 8 is a flow chart showing processing executed when the image processing apparatus 100 (data comparison processing unit 50) according to the present embodiment generates fixed tracking information.
  • the flow chart shown in FIG. 8 is executed by the image processing apparatus 100 according to a computer program, for example.
  • Steps 31 to 35 are preprocessing steps for performing a process of comparing the first tracking information port 1 and the second tracking information port 2.
  • the image processing device 100 first analysis unit 30
  • the image processing device 100 second analysis unit 40
  • Second tracking information 0 2 is generated based on the image (step 3 2 ).
  • the image processing apparatus 100 causes the storage unit for data comparison (for example, the comparison queue) to store the first frame of one frame according to the conditions set in steps 33 to 35. Register tracking information port 1 and second tracking information 0 2 (step 36).
  • the image processing apparatus 100 determines whether or not the storage section includes two or more frames of data (first tracking information port 1 and second tracking information 0 2) (step 3 7), if data of 2 frames or more is included ⁇ 1 : ⁇ 3), proceed to the determination process of the following step 38, while
  • step 3 1 When the data of 2 frames or more is not included (37: N 0), the process proceeds to the following step 3 1 2.
  • the image processing apparatus 100 uses the first tracking information port stored in the storage unit.
  • step 38 It is determined whether 1 includes the disappearance and generation of the mouth in the same timing (step 38), and if the disappearance and generation of the mouth I is included (3 8: ⁇ 3 3), continue. Then proceed to step 39. On the other hand, if the extinction and the creation of the mouth are not included (3 8 :N 0), the process proceeds to the following step 3 1 2.
  • the image processing apparatus 100 determines whether or not the moving body of the disappearance I0 extracted in step 38 and the moving body of the newly generated entrance satisfy predetermined conditions regarding position and size. However, if the predetermined condition is satisfied (39: No. 3), the process proceeds to the following step 310, and if the predetermined condition is not satisfied (39: N 0), the next step. Proceed to 3 1 2. Specifically, the image processing apparatus 100 uses the position of the center of gravity of the moving body of the vanishing I mouth extracted in step 38 and the new position. ⁇ 2020/175085 14 ⁇ (:171? 2020 /004719
  • a threshold value for example, within 100 pixels
  • a predetermined range for example, 0.8 1.2
  • the image processing apparatus 100 uses the second tracking information port stored in the storage unit.
  • the image processing apparatus 100 determines whether or not the mouth of the moving body is switched near the position where the disappearance and generation of the I mouth of the moving body are detected in the first tracking information port 1 (step 310). Then, the image processing apparatus 100 considers that there is no error in the 0 of the 1st tracking information port 1 when the switching of the moving image's head has occurred (3 10: Togomi 3), The first tracking information port 1 stored in the storage unit is directly output as the finalized tracking information port 3 (steps 3 1 2). On the other hand, it is considered that the image processing device 100 has an error in the 0 of the 1st tracking information port 1 when the switching of the moving image's port does not occur (3 10: 1 ⁇ 100).
  • Step 3 1 1 After correcting I 0 of the moving object of the 1st tracking information port 1 stored in the storage unit to the original I 0 of the 1st tracking information port 1 (Step 3 1 1), the corrected 1st tracking information is , Definite tracking information port 3 is output (step 3 1 2).
  • the image processing apparatus 100 advances the analysis target time (Cing +) (step 3 13) in order to execute the correction process for the first tracking information port 1 at the subsequent time.
  • the image processing apparatus 100 determines whether or not there is unprocessed data at the first tracking information port 1 output by the first analysis unit 30 (step 3 14), and the unprocessed data is processed. If there is data (3 1 4 : ⁇ 3), return to step 36 and perform the same processing. On the other hand, when there is no unprocessed data (3 14: N 0), the series of flow chart processing is terminated.
  • the data comparison processing unit 50 stores the first tracking information port 1 and the second tracking information 02. ⁇ 2020/175085 15 ⁇ (:171? 2020/004719
  • the axes are aligned and compared, and the position of the moving object and the I port existing in the monitored area are determined based on the first tracking information port 1 and the second tracking information port 2, and the result is confirmed. Output as 3.
  • the image processing apparatus 100 it is possible to improve the identification performance of the moving object existing in the monitoring target area. As a result, the accuracy of moving object tracking using the laser radar 200 can be improved.
  • FIG. 9 is a diagram showing the configuration of the image processing apparatus 100 according to the second embodiment.
  • the image processing device 100 is different from that of the first embodiment in that it is built in the laser radar 200. Then, the first image acquisition unit 10 of the image processing device 100 acquires image data directly from the range image generation unit 210 (that is, the imaging unit that generates the range image) of the laser radar 200.
  • the image processing apparatus 100 it is possible to eliminate the need to prepare a separate computer other than the laser radar 200 and the camera 300.
  • FIG. 10 is a diagram showing the configuration of the image processing apparatus 100 according to the third embodiment.
  • the image processing apparatus 100 acquires a power camera image from a thermal camera 400 instead of the camera 300 (hereinafter referred to as “visible light camera”) of the above embodiment.
  • the configuration is different from that of the first embodiment.
  • the thermal camera 400 since the thermal camera 400 generates a camera image based on infrared light emitted from an object, it is possible to realize high object identification accuracy even in a situation such as at night. Therefore, the image processing device 100 (second analysis unit 40) according to the present embodiment generates the second tracking information 02 by using the camera image generated by the thermal camera 400. Then, the image processing apparatus 100 (data comparison processing unit 50) according to the present embodiment uses the second tracking information 02 to correct an error in the first tracking information window 1.
  • moving object tracking is executed with high accuracy even in a situation where the monitored area is covered with fog or at night. be able to.
  • the image processing apparatus 100 may use both the camera image generated by the visible light camera and the camera image generated by the thermal camera 400. Further, when the second tracking information 02 is generated, both the camera image generated by the visible light camera and the camera image generated by the thermal camera 400 may be used, or selectively. The camera images used may be switched.
  • a mode in which a D-type laser radar is used is shown as an example of the laser radar 200, but the configuration of the laser radar 200 is arbitrary.
  • the laser radar 200 a 1 ⁇ /1 ⁇ ⁇ / ⁇ / type laser radar or the like may be used.
  • the first image acquisition unit 100 the second image acquisition unit 20, the first analysis unit 30 and the second analysis unit are used.
  • the functions of the data processing unit 40, the data comparison processing unit 50, and the data output unit 60 are described as being realized by one computer, the image processing device 100 is realized by a plurality of computers. Of course, it is okay. Also, the computer ⁇ 2020/175085 17 ⁇ (:171? 2020/004719
  • the programs and data that are read out may also be distributed and stored in multiple computers.
  • the image processing device of the present disclosure it is possible to improve the accuracy of moving body tracking using a laser radar.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

時系列に並ぶ距離画像に基づいて、所定領域に存在する動体の位置をトラッキングした第１トラッキング情報（Ｄ１）を生成する第１解析部（３０）と、時系列に並ぶカメラ画像に基づいて、所定領域に存在する動体の位置をトラッキングした第２トラッキング情報（Ｄ２）を生成する第２解析部（４０）と、第１トラッキング情報（Ｄ１）と第２トラッキング情報（Ｄ２）とを時間軸を揃えて比較し、第１トラッキング情報（Ｄ１）と第２トラッキング情報（Ｄ２）とに基づいて所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部（５０）と、を備える画像処理装置。

Description

明 細 書
発明の名称 ： 画像処理装置、 及び画像処理方法
技術分野
[0001 ] 本開示は、 画像処理装置、 及び画像処理方法に関する。
背景技術
[0002] カメラ等で撮影された画像に基づいて、 撮像領域内に存在する物体の位置 を検出する画像処理装置が知られている。 この種の画像処理装置は、 特に、 工事現場や工場などの業務環境において、 人や作業機 （以下、 「動体」 と総 称する） の位置を正確に把握し、 当該動体の行動又は動作を解析したり、 当 該動体の行動又は動作を予測する用途 （以下、 「行動解析」 と総称する） へ の適用が期待されている。
[0003] 動体の位置を把握するための技術には様々なものがあるが、 特に工事現場 などの粉塵や電磁波の反響が激しい環境においては、 レーザーレーダー （L i g ht Detect i on And Rang i ng : L i DARとも称される） のような光の反射を用いた 位置測定が有効である。
[0004] 図 1は、 レーザーレーダーに生成された距離画像の一例を示す図である。
[0005] 一般に、 レーザーレーダーは、 レーザ光を打ち出し、 当該レーザ光が物体 に反射して戻ってくるまでの時間 （T0F : T i me of F l i ght） を測定することで 、 自身の位置から物体の位置までの距離を求める。 そして、 レーザーレーダ 一は、 かかる処理を、 監視対象領域が映り込む所定範囲内を走査しながら行 うことにより、 距離画像に係る画像データを生成する。 かかる距離画像は、 動体の各部の三次元位置の情報を含むため、 当該動体の姿勢や動作を認識す る上で有用である。
[0006] 特許文献 1 には、 レーザーレーダーを利用して周辺環境を測定し、 点群化 した測距点をクラスタリングして解析することで動体を認識し、 これにより 、 当該動体の位置を把握しようとする技術が開示されている。
先行技術文献 \¥0 2020/175085 2 卩（：17 2020 /004719 特許文献
[0007] 特許文献 1 :特開 2 0 1 4 _ 1 6 7 7 0 2号公報 発明の概要
発明が解決しようとする課題
[0008] ところで、 この種の画像処理装置において、 動体の行動を解析するために は、 時系列に並んだ複数の画像 （フレーム） 内において、 同一物体を認識し 続ける必要がある。 即ち、 この種の画像処理装置においては、 動画像内に映 る動体のトラッキングの精度を高める要請がある。
[0009] この点、 特許文献 1は、 レーザーレーダーの測定結果のみを用いて、 物体 認識を行うものであるため、 物体認識の精度の向上には限界がある。 特に、 レ—ザ—レ—ダ—により生成される距離画像は、 一般的なカメラにより生成 されるカメラ画像と比較して、 水平方向及び垂直方向の分解能が低く、 加え て撮像対象の物体の色彩の情報等を含まない。 そのため、 例えば、 レーザー レーダーで監視する監視対象領域内に、 身体的特徴が類似した人が複数存在 する場合、 レーザーレーダーにより生成される距離画像からは、 複数の人そ れそれを正しく トラッキングすることが困難である。
[0010] 本開示は、 上記問題点に鑑みてなされたもので、 レーザーレーダーを用い た動体トラッキングの精度を向上し得る画像処理装置及び画像処理方法を提 供することを目的とする。 課題を解決するための手段
[001 1 ] 前述した課題を解決する主たる本開示は、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得す る第 1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第 2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、 前記所定領域に存在する動体の位 置をトラッキングした第 1 トラッキング情報を生成する第 1解析部と、 〇 2020/175085 3 卩（：171? 2020 /004719
時系列に並ぶ前記カメラ画像に基づいて、 前記所定領域に存在する動体の 位置をトラッキングした第 2 トラッキング情報を生成する第 2解析部と、 前記第 1 トラッキング情報と前記第 2 トラッキング情報とを時間軸を揃え て比較し、 前記第 1 トラッキング情報と前記第 2 トラッキング情報とに基づ いて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較 処理部と、
を備える画像処理装置である。
［0012］ 又、 他の局面では、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得し
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、 時系列に並ぶ前記距離画像に基づいて、 前記所定領域に存在する動体の位 置をトラッキングした第 1 トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、 前記所定領域に存在する動体の 位置をトラッキングした第 2 トラッキング情報を生成し、
前記第 1 トラッキング情報と前記第 2 トラッキング情報とを時間軸を揃え て比較し、 前記第 1 トラッキング情報と前記第 2 トラッキング情報とに基づ いて前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理方法である。
発明の効果
［0013］ 本開示に係る画像処理装置によれば、 レーザーレーダーを用いた動体トラ ッキングの精度を向上させることが可能である。
図面の簡単な説明
［0014］ ［図 1］レーザーレーダーに生成された距離画像の一例を示す図
［図 2］第 1の実施形態に係る監視システムの一例を示す図
［図 3］第 1の実施形態に係る画像処理装置のハードウヱア構成を示す図 ［図 4］第 1の実施形態に係る画像処理装置の機能ブロックを示す図 ［図 5八］第 1解析部により生成されるトラッキング情報の一例を示す図 〇 2020/175085 4 卩（：171? 2020 /004719
［図 58］第 2解析部により生成されるトラッキング情報の一例を示す図
［図 6］データ比較処理部の処理を模式的に説明する図
［図 7］レーザーレーダーの視野及びカメラの視野を示す図
［図 8］第 1の実施形態に係る画像処理装置 （データ比較処理部） が確定トラッ キング情報を生成する際に実行する処理を示すフローチヤート
［図 9］第 2の実施形態に係る画像処理装置の構成を示す図
［図 10］第 3の実施形態に係る画像処理装置の構成を示す図
発明を実施するための形態
［0015］ 以下に添付図面を参照しながら、 本開示の好適な実施形態について詳細に 説明する。 尚、 本明細書及び図面において、 実質的に同一の機能を有する構 成要素については、 同一の符号を付することにより重複説明を省略する。
［0016］ （第 1の実施形態）
［監視システムの全体構成］
以下、 図 2〜図 4を参照して、 一実施形態に係る監視システムの構成、 及 び監視システムに適用した画像処理装置の構成の概要について説明する。
［0017］ 図 2は、 本実施形態に係る監視システム IIの一例を示す図である。 本実施 形態に係る監視システムリは、 工事現場内に存在する動体 （ここでは、 人 IV! 1、 作業機
Figure imgf000006_0001
作業機
Figure imgf000006_0002
をトラッキングする用途に適用されている。
［0018］ 本実施形態に係る監視システム IIは、 画像処理装置 1 0 0、 レーザーレー ダー 2 0 0、 及び、 カメラ 3 0 0を備えている。
［0019］ レーザーレーダー 2 0 0は、 例えば、 レーザ光を打ち出し、 当該レーザ光 が物体に反射して戻ってくるまでの時間
Figure imgf000006_0003
〇† 4 4 ） を測定する ことで、 自身の位置から物体の位置までの距離を求める。 レーザーレーダー 2 0 0は、 かかる処理を、 監視対象領域が映る所定範囲内を走査しながら行 うことにより、 距離画像に係る画像データ （以下、 「距離画像」 と略称する ） を生成する。 尚、 レーザーレーダー 2 0 0は、 フレーム単位の距離画像を 連続的に生成し、 時系列に並んだ距離画像 （即ち、 動画像） を画像処理装置 1 〇〇に対して出力する。 〇 2020/175085 5 卩（：171? 2020 /004719
[0020] 距離画像は、 各走査位置を画素として、 画素毎に、 レーザーレーダー 2 0
0の測定データ （例えば、 距離及び反射強度） が画素値として対応付けられ た画像である （点群データとも称される） 。 距離画像は、 監視対象領域内に おける物体の 3次元 （例えば、 水平方向、 鉛直方向、 及び奥行方向） の位置 を示すものであり、 例えば、 物体の存在位置を 3次元の直交座標系 （X、 丫 、 ） で表す。
[0021 ] カメラ 3 0 0は、 例えば、 一般的な可視カメラであり、 自身の有する撮像 素子 （〇1\/1〇3センサ又は〇〇〇センサ） が生成した画像信号を八 0変換し て、 画像データ （以下、 「カメラ画像」 と称する） を生成する。 尚、 カメラ 3 0 0は、 フレーム単位のカメラ画像を連続的に生成して、 時系列に並んだ カメラ画像 （即ち、 動画像） を画像処理装置 1 〇〇に対して出力する。
[0022] カメラ画像は、 例えば、 画素毎に、
Figure imgf000007_0001
巳それぞれについての輝度値 （例 えば、
Figure imgf000007_0002
◦巳それぞれについての 2 5 6階調の輝度値） が画素値として対応 付けられた画像である。
[0023] 尚、 レーザーレーダー 2 0 0及びカメラ 3 0 0は、 同一の監視対象領域を 撮像するように、 当該監視対象領域付近の適宜な位置に設置されている。
[0024] 画像処理装置 1 0 0は、 レーザーレーダー 2 0 0で生成された距離画像の 画像データ、 及び、 カメラ 3 0 0で生成されたカメラ画像の画像データに基 づいて、 監視対象領域内に存在する動体 （図 2では、
Figure imgf000007_0004
作業機
Figure imgf000007_0003
作業機
Figure imgf000007_0005
の動きをトラッキングし、 そのトラッキング結果を出力する。
[0025] 図 3は、 本実施形態に係る画像処理装置 1 0 0のハードウェア構成を示す 図である。
[0026] 画像処理装置 1 0 0は、 主たるコンポーネントとして、
Figure imgf000007_0006
Figure imgf000007_0007
〇1〇111八〇〇㊀ 1^111〇「 ） 1 0 3、 外部記憶装置 （例えば、 フラッシュメモリ） 1 0 4、 及び、 通信インタフェイス 1 0 5等を備えたコンピュータである。
[0027] 画像処理装置 1 0 0の後述する各機能は、 例えば、 0 9 1\ ] 0 1が 〇1\/1
1 0 2、 [¾八1\/1 1 0 3、 外部記憶装置 1 0 4等に記憶された制御プログラム （例えば、 画像処理プログラム） や各種データを参照することによって実現 される。 但し、 各機能の一部又は全部は、 C P Uによる処理に代えて、 又は 、 これと共に、 D S P （Digital Signal Processor） による処理によって実 現されてもよい。 又、 同様に、 各機能の一部又は全部は、 ソフトウェアによ る処理に代えて、 又は、 これと共に、 専用のハードウェア回路 （例えば、 A S I C又は F PGA） による処理によって実現されてもよい。
[0028] [画像処理装置の構成]
図 4は、 本実施形態に係る画像処理装置 1 00の機能ブロックを示す図で ある。 尚、 図 4中の矢印は、 データの流れを表す。
[0029] 図 5 Aは、 第 1解析部 30により生成されるトラッキング情報 D 1 （以下 、 「第 1 トラッキング情報」 と称する） の一例を示す図であり、 図 5巳は、 第 2解析部 40により生成されるトラッキング情報 D 2 （以下、 「第 2 トラ ッキング情報」 と称する） の一例を示す図である。 尚、 図 5 A、 図 5巳は、 各クレームにおける動体の位置を示しており、 丨 D （本発明の 「識別情報」 に相当する） は各動体の識別番号を表し、 t =0、 t = 1、 t =2 はフレ —ム番号を表す。
[0030] 図 6は、 データ比較処理部 50の処理を説明する図である。 図 6は、 第 1 解析部 30により生成される第 1 トラッキング情報 D 1 （左図） 、 及び、 第 2解析部 40により生成される第 2 トラッキング情報 D 2 （右図） の一例を 示している。 尚、 図 6の第 1 トラッキング情報 D 1 （左図） 及び第 2 トラッ キング情報 D 2 （右図） は、 同一の時間帯に生成されたものである。
[0031] 画像処理装置 1 00は、 第 1画像取得部 1 0、 第 2画像取得部 20、 第 1 解析部 30、 第 2解析部 40、 データ比較処理部 50、 及び、 データ出力部 60を備えている。
[0032] 第 1画像取得部 1 0は、 レーザーレーダー 200が生成した距離画像の画 像データを取得する。 尚、 第 1画像取得部 1 0は、 レーザーレーダー 200 から、 時系列に並んだ距離画像を順次取得する。
[0033] 第 2画像取得部 20は、 カメラ 300が生成したカメラ画像の画像データ 〇 2020/175085 7 卩（：171? 2020 /004719
を取得する。 尚、 第 2画像取得部 2 0は、 カメラ 3 0 0から、 時系列に並ん だカメラ画像を順次取得する。
[0034] 第 1解析部 3 0は、 時系列に並んだ距離画像に基づいて、 監視対象領域に 存在する動体の位置をトラッキングし、 その結果を第 1 トラッキング情報口 1 として出力する。
[0035] 具体的には、 第 1解析部 3 0は、 時系列に並んだ距離画像の各フレームに 映る動体を検出し、 動体毎に、 丨 口を付与すると共に、 及びその動体が存在 する位置を、 丨 口と関連付けて記憶する。 第 1解析部 3 0は、 例えば、 注目 フレームで検出された動体とその前フレームで検出された動体との関連度を 算出し、 当該関連度に基づいて、 注目フレームで検出された動体と前フレー ムで検出された動体との同一性を判定する。 そして、 この際、 第 1解析部 3 〇は、 注目フレームで検出された動体と前フレームで検出された動体とが同 —である場合には、 注目フレームで検出された動体に対して、 前フレームで 検出された動体と同一の丨 口を付与し、 注目フレームで検出された動体と前 フレームで検出された動体とが同一でない場合には、 注目フレームで検出さ れた動体に対して、 新規な I 0を付与する。 このようにして、 第 1解析部 3 0は、 各フレームに映る動体を、 各別に、 トラッキングする。
[0036] 第 1解析部 3 0は、 本実施形態では、 人や作業機等、 _体的な動体毎に、
I 口を付与すると共に、 その存在位置を特定する。 但し、 第 1解析部 3 0は 、 人の腕、 頭、 又は脚等、 一つの個体の各部位を各別の動体として認識し、 当該個体の部位毎の位置を認識するものであってもよい。
[0037] 尚、 第 1解析部 3 0が距離画像中から動体を検出する手法は、 公知の任意 の手法であってよい。 第 1解析部 3 0は、 例えば、 注目フレームと前フレー ムとの差分を取ることによって、 動体を検出してもよい。 又、 第 1解析部 3 0は、 例えば、 距離画像中の測距点のクラスタの特徴量 （例えば、 形状及び サイズ等） に基づいて、 パターンマッチングにより、 動体 （例えば、 人や車 ） を検出してもよい。
[0038] 又、 第 1解析部 3 0が異なるフレーム間で各動体の同一性を判定する手法 は、 公知の任意の手法であってよい。 尚、 第 1解析部 3 0は、 例えば、 注目 フレームで検出された動体と前フレームで検出された動体との間の距離、 両 者の間のサイズの類似性、 両者の間の形状の類似性、 両者の間の色の類似性 、 及び、 両者の間の移動速度の類似性等に基づいて、 両者の間の関連度を算 出する。 そして、 第 1解析部 3 0は、 当該関連が所定値以上の場合、 注目フ レームで検出された動体と前フレームで検出された動体とが同 _であると判 定する。
[0039] 但し、 より好適には、 第 1解析部 3 0は、 機械学習により学習済みの識別 器モデルを用いて、 距離画像中から動体を検出したり、 第 1解析部 3 0が異 なるフレーム間で各動体の同一性を判定する。 これにより、 動体の見え方の 変化に対する、 動体検出のロバスト性や動体の同一性判定のロバスト性を高 めることが可能である。 例えば、 第 1解析部 3 0が距離画像中から動体を検 出する際には、 置み込みニュートラルネッ トワーク (Convo lut i ona l Neura l Network : C N N ) を用いるのが好適である。 又、 第 1解析部 3 0が異なるフ レーム間で各動体の同一性を判定する際には、 例えば、 隠れマルコフモデル (H i dden Markov Mode l : H M M ) を用いるのが好適である。 その際、 識別器 モデルに対しては、 入力画像と正解値とが関連付けられて構成された学習デ —夕を用いた強化学習により、 機械学習を実行すればよい。
[0040] 第 1 トラッキング情報 D 1は、 例えば、 時系列に並んだ距離画像の各フレ —ムにおける動体の位置 (ここでは、 三次元の座標位置) を示すデータであ る (図 5 Aを参照) 。 第 1 トラッキング情報 D 1は、 例えば、 動体毎に、 I Dと当該動体の位置の時間的変化に係る情報を含む。 即ち、 第 1 トラッキン グ情報 D 1は、 各フレームに映る同 _の動体には、 _つの丨 Dのみを付与し て、 当該動体を識別している。 そして、 監視対象領域内に複数の動体が存在 する場合には、 第 1 トラッキング情報 D 1は、 複数の動体それぞれに個別の I Dを付与して、 当該動体の位置の時間的変化を関連付けて記録する。
[0041 ] 第 2解析部 4 0は、 時系列に並んだカメラ画像に基づいて、 監視対象領域 に存在する動体の位置をトラッキングし、 その結果を第 2 トラッキング情報 〇 2020/175085 9 卩（：171? 2020 /004719
口 2として出力する。
[0042] 第 2解析部 4 0がカメラ画像中から動体を検出する手法、 及び異なるフレ —ム間で各動体を同定する手法は、 第 1解析部 3 0と同様に、 公知の任意の 手法を用いることができる。 尚、 第 2解析部 4 0は、 これらの処理の際に、 第 1解析部 3 0と同様に、 学習済みの識別器モデルを用いるのが望ましい。
[0043] 第 2 トラッキング情報 0 2は、 例えば、 時系列に並んだカメラ画像の各フ レームにおける動体の位置 （ここでは、 二次元の座標位置） を示すデータで ある （図 5巳を参照） 。 第 2 トラッキング情報 0 2には、 第 1 トラッキング 情報口 1 と同様に、 動体毎に、 丨 口と当該動体の位置の時間的変化とが関連 付けて記録されている。
[0044] データ比較処理部 5 0は、 第 1 トラッキング情報口 1 と第 2 トラッキング 情報口 2とを時間軸を揃えて比較し、 第 1 トラッキング情報口 1 と第 2 トラ ッキング情報 0 2とに基づいて監視対象領域に存在する動体の位置及び I 0 を確定して、 その結果を確定トラッキング情報口 3として出力する。
[0045] 図 6の左図は、 第 1解析部 3 0における動体の識別処理に誤りが生じ、 同 一の動体 （ここでは、 人） に対して付与する 丨 口が、 途中で変更された態様 （ 1 0 ^ 1 1 ^ 1 0 ^ 1 2） を表している。 一方、 図 6の右図は、 第 2 解析部 4 0が同一の動体 （ここでは、 人） の I 口を正確に捉えている態様を 表している。
[0046] 一般に、 距離画像からは、 水平方向と垂直方向の座標に加えて、 奥行方向 の座標について動体の位置を特定することが可能である。 そのため、 距離画 像に基づいて動体の各部の位置を特定することは、 当該動体の姿勢や当該動 体の行動を正確に特定する上で、 有用である。
[0047] しかしながら、 距離画像は、 カメラ画像と異なり、 分解能が低く、 且つ、 色情報を含まないため、 距離画像からは、 異なるフレーム間での動体の同定 が困難な場合がある。 特に、 動体のトラッキングを行う際に、 当該動体が、 他の動体と交差したり、 姿勢を変化させたりしたときに、 当該動体が前の時 点で検出されていた動体と同一のものか否かを同定することができないおそ 〇 2020/175085 10 卩（：171? 2020 /004719
れがある。
[0048] 一方、 カメラ画像は、 分解能が高く、 且つ、 色情報を含むため、 異なるフ レーム間での動体の同定をより正確に行うことが可能である。
[0049] そこで、 データ比較処理部 5 0は、 第 2 トラッキング情報 0 2を用いて第
1 トラッキング情報口 1 に含まれる動体の I 口の正誤判定を行う。 そして、 データ比較処理部 5 0は、 第 1 トラッキング情報口 1 に含まれる動体の丨 0 の変化が、 第 2 トラッキング情報口 2に含まれる動体の I 0の変化と異なる 場合には、 第 1 トラッキング情報口 1 に含まれる動体の I 口の変化に誤りが あるとみなして、 第 1 トラッキング情報口 1 に含まれる動体の I 0を、 第 2 トラッキング情報口 2に含まれる動体の I 0に補正して、 補正後の第 1 トラ ッキング情報 0 1 を確定トラッキング情報口 3として出力する。
[0050] データ比較処理部 5 0が第 1 トラッキング情報口 1 に含まれる動体と第 2 トラッキング情報口 2に含まれる動体との対応関係を特定する手法としては 、 典型的には、 第 1 トラッキング情報口 1 に含まれる動体の位置と第 2 トラ ッキング情報 0 2に含まれる動体の位置との近接度合い （例えば、 両者の距 離又は両者の重複する領域） を算出する手法を用いる。 尚、 データ比較処理 部 5 0にて当該処理を実行し得るように、 第 1 トラッキング情報口 1が示す 座標位置と第 2 トラッキング情報口 2が示す座標位置との対応関係を示すデ —夕を、 予め画像処理装置 1 0 0の [¾〇1\/1 1 0 2等に記憶しておくのが望ま しい。
[0051 ] 但し、 データ比較処理部 5 0は、 レーザーレーダー 2 0 0の視野情報と力 メラ 3 0 0の視野情報とを参照して、 両者の視野の相違を考慮した上で、 第 1 トラッキング情報口 1 に含まれる動体と第 2 トラッキング情報口 2に含ま れる動体との対応関係を特定するのが望ましい。
[0052] 図 7は、 レーザーレーダー 2 0 0の視野及びカメラ 3 0 0の視野を示す図 である。 レーザーレーダー 2 0 0の視野 1は、 一般に、 カメラ 3 0 0の視 野 2に比べて垂直方向の撮像範囲が狭い。 そのため、 距離画像内に映る動 体は、 カメラ画像内に映る動体とは異なって、 動体の全部が距離画像内に映 〇 2020/175085 1 1 卩（：171? 2020 /004719
っていない可能性がある。 例えば、 カメラ画像内には、 人の全身が映ってい る一方、 距離画像内には、 人の上半身のみが映っている可能性がある。 従っ て、 データ比較処理部 5 0は、 例えば、 距離画像内に映る動体とカメラ画像 内に映る動体との間における形状の相違を考慮し、 第 1 トラッキング情報口 1 に含まれる動体と第 2 トラッキング情報口 2に含まれる動体との対応関係 を特定するのが望ましい。 データ比較処理部 5 0は、 例えば、 レーザーレー ダー 2 0 0において縦画角に完全に見切れている物体の場合はそれ以上に縦 に大きなものが同 _物体の条件となり、 レーザーレーダー 2 0 0の縦画角内 に物体が完全に収まっているようならそれよりも大きな物体は距離的に近似 であっても別物体の可能性が高い、 と判断できる。 これによって、 物体判別 の正確性を向上させることができる。
[0053] 他方、 データ比較処理部 5 0は、 処理負荷を軽減する観点から、 より好適 には、 第 1 トラッキング情報口 1 を参照して、 以下の第 1状況乃至第 3状況 のいずれかが発生しているか否かを判定して、 第 1状況乃至第 3状況のいず れかが発生している場合に限って、 第 2 トラッキング情報口 2を参照するの が望ましい。 換言すると、 データ比較処理部 5 0は、 第 1状況乃至第 3状況 のいずれも発生していない場合には、 第 2 トラッキング情報口 2を参照する ことなく、 第 1 トラッキング情報口 1 をそのまま確定トラッキング情報 0 3 として出力するのが望ましい。
[0054] 具体的には、 第 1状況は、 第 1 トラッキング情報口 1 において、 同ータイ ミングにおいて、 一つの丨 口が消滅すると共に新たに別個の丨 0が生成され ている状況である。 第 2状況は、 第 1 トラッキング情報口 1 において、 ある 動体が他の動体と交差している状況である。 第 3状況は、 第 1 トラッキング 情報口 1 において、 ある動体が、 一旦、 距離画像内から消えた後に、 再度、 同一の丨 口の動体として出現している状況である。
[0055] 第 1 トラッキング情報口 1 において、 第 1状況乃至第 3状況のいずれかが 発生している場合には、 第 1 トラッキング情報口 1 に含まれる動体の丨 0に 誤りが発生している可能性がある。 例えば、 第 1状況では、 同一の動体が、 〇 2020/175085 12 卩（：171? 2020 /004719
—のフレームと他のフレームとで異なる動体と誤認識されている可能性があ る。 又、 第 2状況では、 ある動体が他の動体と交差したタイミングで、 当該 ある動体が交差した他の動体と誤認識されている可能性がある。 又、 第 3状 況では、 ある動体が監視対象領域から消えた位置と近接する位置から、 当該 監視対象領域に入った他の動体が、 先に存在した動体と誤認識されている可 能性がある （または、 その反対の可能性もある） 。 一方、 第 1状況乃至第 3 状況のいずれの状況も発生していない場合には、 第 1 トラッキング情報口 1 に含まれる動体の丨 口に誤りが発生している可能性が低い。
[0056] かかる観点から、 データ比較処理部 5 0は、 上記したように、 状況に応じ て、 第 1 トラッキング情報口 1の正誤判定を実施するか否かを決定するのが 望ましい。 これによって、 不必要なデータ処理を割愛し、 処理負荷の軽減を 図ることができる。
[0057] データ出力部 6 0は、 データ比較処理部 5 0が生成した確定トラッキング 情報 0 3を、 外部に出力する。 データ出力部 6 0は、 例えば、 確定トラッキ ング情報口 3を表示画像形式のデータに変換して、 ディスプレイに表示させ る。
[0058] [画像処理装置の動作フロー]
次に、 図 8を参照して、 本実施形態に係る画像処理装置 1 0 0の動作の一 例について説明する。
[0059] 図 8は、 本実施形態に係る画像処理装置 1 0 0 （データ比較処理部 5 0） が確定トラッキング情報を生成する際に実行する処理を示すフローチヤート である。 図 8に示すフローチヤートは、 例えば、 画像処理装置 1 0 0がコン ピユータプログラムに従って、 実行するものである。
[0060] ステップ 3 1 ~ 3 5は、 第 1 トラッキング情報口 1 と第 2 トラッキング情 報口 2とを比較する処理を行うための前処理工程である。 この前処理工程で は、 まず、 画像処理装置 1 0 0 （第 1解析部 3 0） は、 時系列に並んだ距離 画像に基づいて、 第 1 トラッキング情報口 1 を生成する （ステップ 3 1） 。 次に、 画像処理装置 1 〇〇 （第 2解析部 4 0） は、 時系列に並んだカメラ画 〇 2020/175085 13 卩（：171? 2020 /004719
像に基づいて、 第 2 トラッキング情報 0 2を生成する （ステップ 3 2） 。 次 に、 画像処理装置 1 〇〇は、 第 1 トラッキング情報口 1 と第 2 トラッキング 情報口 2とを比較する解析対象時刻 （例えば、 時刻丁 = 8 : 0 0 : 0 0） を 設定する （ステップ 3 3） 。 次に、 画像処理装置 1 0 0は、 第 1 トラッキン グ情報口 1 と第 2 トラッキング情報 0 2とを比較する際の解析対象のフレー ム数 （例えば、 フレーム数 n = 5） を設定する （ステップ 3 4） 。 次に、 画 像処理装置 1 〇〇は、 解析対象の時間間隔 （例えば、 解析対象間隔 = 1秒 間隔） を設定する （ステップ 3 5） 。
[0061 ] 次に、 画像処理装置 1 0 0は、 ステップ 3 3 ~ 3 5で設定した条件に沿つ て、 データ比較用の記憶部 （例えば、 比較用キユー） に、 1 フレーム分の第 1 トラッキング情報口 1 と第 2 トラッキング情報 0 2とを登録する （ステッ プ3 6） 。 次に、 画像処理装置 1 0 0は、 記憶部に、 2フレーム分以上のデ —夕 （第 1 トラッキング情報口 1及び第 2 トラッキング情報 0 2） が含まれ るか否かを判定し （ステップ 3 7） 、 2フレーム分以上のデータが含まれる 場合 ｛ ~1 : 丫巳3） 、 続くステップ 3 8の判定処理に処理を進め、 一方、
2フレーム分以上のデータが含まれない場合 （3 7 : N 0） 、 続くステップ 3 1 2に処理を進める。
[0062] 次に、 画像処理装置 1 0 0は、 記憶部に記憶した第 1 トラッキング情報口
1 に、 同ータイミング内での丨 口の消滅と生成とが含まれる否かを判定し （ ステップ 3 8） 、 I 口の消滅と生成とが含まれる場合 （3 8 : 丫巳3） 、 続 くステップ 3 9に処理を進める。 一方、 丨 口の消滅と生成とが含まれない場 合 （3 8 : N 0） 、 続くステップ 3 1 2に処理を進める。
[0063] 次に、 画像処理装置 1 0 0は、 ステップ 3 8で抽出した消滅 I 0の動体と 、 新規生成丨 口の動体とが、 位置及びサイズに関して所定条件を充足するか 否かを判定し （ステップ 3 9） 、 当該所定条件を充足する場合 （3 9 : 丫巳 3） 、 続くステップ 3 1 0に処理を進め、 当該所定条件を充足しない場合 （ 3 9 : N 0） 、 続くステップ 3 1 2に処理を進める。 具体的には、 画像処理 装置 1 0 0は、 ステップ 3 8で抽出した消滅 I 口の動体の重心位置と、 新規 〇 2020/175085 14 卩（：171? 2020 /004719
生成丨 口の動体の重心位置との距離が、 画像内で閾値以下 （例えば、 1 0 0 ピクセル以内） であるか、 及び、 両者のサイズの比が、 所定範囲内 （例えば 、 〇. 8〜 1 . 2） であるかを判定する。
[0064] 次に、 画像処理装置 1 0 0は、 記憶部に記憶した第 2 トラッキング情報口
2に、 第 1 トラッキング情報口 1 において動体の I 口の消滅と生成が検出さ れた位置付近で、 動体の丨 口の切り替わりが生じていたか否かを判定する （ ステップ 3 1 0） 。 そして、 画像処理装置 1 0 0は、 動体の丨 口の切り替わ りが生じていた場合 （3 1 0 : 丫巳3） 、 第 1 トラッキング情報口 1の丨 0 に誤りはないとみなして、 記憶部に記憶した第 1 トラッキング情報口 1 を、 そのまま確定トラッキング情報口 3として出力する （ステップ 3 1 2） 。 一 方、 画像処理装置 1 〇〇は、 動体の丨 口の切り替わりが生じていない場合 （ 3 1 0 : 1\1〇） 、 第 1 トラッキング情報口 1の丨 0に誤りが生じているとみ なして、 記憶部に記憶した第 1 トラッキング情報口 1の動体の I 0を、 第 1 トラッキング情報口 1の元の I 0に補正した後 （ステップ 3 1 1） 、 補正後 の第 1 トラッキング情報 を、 確定トラッキング情報口 3として出力する （ステップ 3 1 2） 。
[0065] かかる処理により、 ステップ 3 4で設定したフレーム数分の第 1 トラッキ ング情報口 1の補正処理が終了する。 そして、 画像処理装置 1 0 0は、 続く 時刻の第 1 トラッキング情報口 1 についての補正処理を実行するため、 解析 対象時刻を先に進める （丁 丁 + ） （ステップ 3 1 3） 。 次に、 画像処理 装置 1 0 0は、 第 1解析部 3 0が出力した第 1 トラッキング情報口 1で、 未 処理のデータがあるか否かを判定し （ステップ 3 1 4） 、 未処理のデータが ある場合 （3 1 4 : 丫巳3） 、 ステップ 3 6に戻って、 同様の処理を実行す る。 一方、 未処理のデータがない場合 （3 1 4 : N 0） 、 一連のフローチヤ -卜の処理を終了する。
[0066] [効果]
以上のように、 本実施形態に係る画像処理装置 1 0 0は、 データ比較処理 部 5 0にて、 第 1 トラッキング情報口 1 と第 2 トラッキング情報 0 2とを時 〇 2020/175085 15 卩（：171? 2020 /004719
間軸を揃えて比較し、 第 1 トラッキング情報口 1 と第 2 トラッキング情報口 2とに基づいて監視対象領域に存在する動体の位置及び I 口を確定して、 そ の結果を確定トラッキング情報口 3として出力する。
[0067] 従って、 本実施形態に係る画像処理装置 1 0 0によれば、 監視対象領域に 存在する動体の識別性能を向上させることが可能である。 これによって、 レ —ザーレーダー 2 0 0を用いた動体トラッキングの精度を向上させることが できる。
[0068] （第 2の実施形態）
次に、 図 9を参照して、 第 2の実施形態に係る画像処理装置 1 0 0につい て説明する。 図 9は、 第 2の実施形態に係る画像処理装置 1 0 0の構成を示 す図である。
[0069] 本実施形態に係る画像処理装置 1 0 0は、 レーザーレーダー 2 0 0に内蔵 されている点で、 第 1の実施形態と相違する。 そして、 画像処理装置 1 〇〇 の第 1画像取得部 1 0は、 レーザーレーダー 2 0 0の距離画像生成部 2 1 0 （即ち、 距離画像を生成する撮像部） から直接画像データを取得する。
[0070] 本実施形態に係る画像処理装置 1 0 0によれば、 レーザーレーダー 2 0 0 及びカメラ 3 0 0以外の別体のコンピュータを用意する必要性をなくすこと が可能である。
[0071 ] （第 3の実施形態）
次に、 図 1 〇を参照して、 第 3の実施形態に係る画像処理装置 1 0 0につ いて説明する。 図 1 〇は、 第 3の実施形態に係る画像処理装置 1 0 0の構成 を示す図である。
[0072] 本実施形態に係る画像処理装置 1 0 0は、 上記実施形態のカメラ 3 0 0 （ 以下、 「可視光カメラ」 と称する） に代えて、 サーマルカメラ 4 0 0から力 メラ画像を取得する構成としている点で、 第 1の実施形態と相違する。
[0073] 可視光カメラ 3 0 0により生成されたカメラ画像は、 色情報を含むため、 高い物体識別精度を実現することができる。 一方、 監視対象領域が霧に覆わ れている状況下や、 夜間においては、 カメラ画像を用いた物体識別精度は低 〇 2020/175085 16 卩（：171? 2020 /004719
下する。
[0074] この点、 サーマルカメラ 4 0 0は、 物体から放射される赤外光に基づいて カメラ画像を生成するため、 夜間等の状況下においても、 高い物体識別精度 を実現することができる。 そこで、 本実施形態に係る画像処理装置 1 〇〇 （ 第 2解析部 4 0） は、 サーマルカメラ 4 0 0により生成されたカメラ画像を 用いて、 第 2 トラッキング情報 0 2を生成する。 そして、 本実施形態に係る 画像処理装置 1 〇〇 （データ比較処理部 5 0） は、 当該第 2 トラッキング情 報 0 2を用いて、 第 1 トラッキング情報口 1の丨 口の誤りを補正する。
[0075] 以上のように、 本実施形態に係る画像処理装置 1 0 0によれば、 監視対象 領域が霧に覆われている状況下や、 夜間においても、 高精度に動体トラッキ ングを実行することができる。
[0076] 尚、 本実施形態に係る画像処理装置 1 0 0は、 可視光カメラにより生成さ れたカメラ画像、 及びサーマルカメラ 4 0 0により生成されたカメラ画像の 両方を用いてもよい。 又、 第 2 トラッキング情報 0 2を生成する際には、 可 視光カメラにより生成されたカメラ画像、 及びサーマルカメラ 4 0 0により 生成されたカメラ画像の両方を用いてもよいし、 選択的に使用するカメラ画 像を切り替えるようにしてもよい。
[0077] （その他の実施形態）
本発明は、 上記実施形態に限らず、 種々に変形態様が考えられる。
[0078] 例えば、 上記実施形態では、 レーザーレーダー 2 0 0の一例として、 丁〇 方式のレーザーレーダーを用いる態様を示したが、 レーザーレーダー 2 0 〇の構成は、 任意である。 例えば、 レーザーレーダー 2 0 0としては、 1\/1 〇 \/\/方式のレーザーレーダー等が用いられてもよい。
[0079] 又、 上記実施形態では、 画像処理装置 1 〇〇の構成の一例として、 第 1画 像取得部 1 〇、 第 2画像取得部 2 0、 第 1解析部 3 0、 第 2解析部 4 0、 デ —夕比較処理部 5 0、 及び、 データ出力部 6 0の機能が一のコンピュータに よって実現されるものとして記載したが、 画像処理装置 1 〇〇が複数のコン ピュータによって実現されてもよいのは勿論である。 又、 当該コンビュータ 〇 2020/175085 17 卩（：171? 2020 /004719
に読み出されるプログラムやデータも、 複数のコンピュータに分散して格納 されてもよい。
[0080] 以上、 本発明の具体例を詳細に説明したが、 これらは例示にすぎず、 請求 の範囲を限定するものではない。 請求の範囲に記載の技術には、 以上に例示 した具体例を様々に変形、 変更したものが含まれる。
[0081] 201 9年 2月 26日出願の特願 201 9-03292 1の日本出願に含 まれる明細書、 図面および要約書の開示内容は、 すべて本願に援用される。 産業上の利用可能性
[0082] 本開示に係る画像処理装置によれば、 レーザーレーダーを用いた動体トラ ッキングの精度を向上させることが可能である。
符号の説明
[0083] II 監視システム
1 00 画像処理装置
1 01 〇 II
Figure imgf000019_0001
1 04 外部記憶装置
1 05 通信インタフェイス
1 0 第 1画像取得部
20 第 2画像取得部
30 第 1解析部
40 第 2解析部
50 データ比較処理部
60 データ出力部
200 レーザーレーダー
2 1 0 距離画像生成部
300 カメラ （可視光カメラ）
400 サーマルカメラ \¥0 2020/175085 18 卩（：17 2020 /004719
〇 1 第 1 トラッキング情報
0 2 第 2 トラッキング情報
0 3 確定トラッキング情報

Claims

〇 2020/175085 19 卩（：171? 2020 /004719 請求の範囲
[請求項 1 ] 所定領域を監視するレーザーレーダーから距離画像の画像データを 取得する第 1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得 する第 2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、 前記所定領域に存在する動 体の位置をトラッキングした第 1 トラッキング情報を生成する第 1解 析部と、
時系列に並ぶ前記カメラ画像に基づいて、 前記所定領域に存在する 動体の位置をトラッキングした第 2 トラッキング情報を生成する第 2 解析部と、
前記第 1 トラッキング情報と前記第 2 トラッキング情報とを時間軸 を揃えて比較し、 前記第 1 トラッキング情報と前記第 2 トラッキング 情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を 確定するデータ比較処理部と、
を備える画像処理装置。
[請求項 2] 前記データ比較処理部は、 前記第 2 トラッキング情報に基づいて、 前記第 1 トラッキング情報に含まれる動体の識別情報を補正する、 請求項 1 に記載の画像処理装置。
[請求項 3] 前記データ比較処理部は、 前記所定領域に存在する動体が所定の状 況に該当する場合、 前記第 1 トラッキング情報と前記第 2 トラッキン グ情報とに基づいて、 前記所定領域に存在する動体の識別情報及び位 置を確定し、
前記所定の状況に該当しない場合、 前記第 2 トラッキング情報を参 照することなく前記第 1 トラッキング情報に基づいて、 前記所定領域 に存在する動体の識別情報及び位置を確定する、
請求項 1又は 2に記載の画像処理装置。
[請求項 4] 前記所定の状況は、 前記第 1 トラッキング情報において、 同一の夕 〇 2020/175085 20 卩（：171? 2020 /004719
イミングで、 一つの識別情報が消滅すると共に、 新たに別個の識別情 報が生成されている状況を含む、
請求項 3に記載の画像処理装置。
[請求項 5] 前記所定の状況は、 前記第 1 トラッキング情報において、 一の動体 が他の動体と交差している状況を含む、
請求項 3又は 4に記載の画像処理装置。
[請求項 6] 前記所定の状況は、 前記第 1 トラッキング情報において、 一の動体 が、 一旦、 前記距離画像内から消えた後に、 再度、 同一の識別情報の 動体として出現している状況を含む、
請求項 3乃至 5のいずれか一項に記載の画像処理装置。
[請求項 7] 前記データ比較処理部は、 前記第 1 トラッキング情報に含まれる動 体の位置と前記第 2 トラッキング情報に含まれる動体の位置との近接 度合い又は大きさの情報に基づいて、 前記第 1 トラッキング情報に含 まれる動体と前記第 2 トラッキング情報に含まれる動体との対応関係 を特定して、 前記所定領域に存在する動体の識別情報及び位置を確定 する、
請求項 1乃至 6のいずれか一項に記載の画像処理装置。
[請求項 8] 前記データ比較処理部は、 前記レーザーレーダーの視野情報と前記 カメラの視野情報とに基づいて、 前記第 1 トラッキング情報に含まれ る動体と前記第 2 トラッキング情報に含まれる動体との対応関係を特 定する、
請求項 7に記載の画像処理装置。
[請求項 9] 前記第 1解析部及び/又は前記第 2解析部は、 機械学習により学習 済みの識別器モデルを用いて、 前記所定領域に存在する動体の位置を トラッキングする、
請求項 1乃至 8のいずれか一項に記載の画像処理装置。
[請求項 10] 前記カメラは、 可視カメラである、
請求項 1乃至 9のいずれか一項に記載の画像処理装置。 〇 2020/175085 21 卩（：171? 2020 /004719
[請求項 1 1 ] 前記カメラは、 サーマルカメラである、
請求項 1乃至 1 〇のいずれか一項に記載の画像処理装置。
[請求項 12] 前記カメラは、 可視カメラとサーマルカメラとを含む、
請求項 1乃至 1 1のいずれか一項に記載の画像処理装置。
[請求項 13] 所定領域を監視するレーザーレーダーから距離画像の画像データを 取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得 し、
時系列に並ぶ前記距離画像に基づいて、 前記所定領域に存在する動 体の位置をトラッキングした第 1 トラッキング情報を生成し、 時系列に並ぶ前記カメラ画像に基づいて、 前記所定領域に存在する 動体の位置をトラッキングした第 2 トラッキング情報を生成し、 前記第 1 トラッキング情報と前記第 2 トラッキング情報とを時間軸 を揃えて比較し、 前記第 1 トラッキング情報と前記第 2 トラッキング 情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を 確定する、
画像処理方法。
PCT/JP2020/004719 2019-02-26 2020-02-07 画像処理装置、及び画像処理方法 WO2020175085A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021501857A JP7375806B2 (ja) 2019-02-26 2020-02-07 画像処理装置、及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019032921 2019-02-26
JP2019-032921 2019-02-26

Publications (1)

Publication Number Publication Date
WO2020175085A1 true WO2020175085A1 (ja) 2020-09-03

Family

ID=72239834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004719 WO2020175085A1 (ja) 2019-02-26 2020-02-07 画像処理装置、及び画像処理方法

Country Status (2)

Country Link
JP (1) JP7375806B2 (ja)
WO (1) WO2020175085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004259A1 (ja) * 2020-07-01 2022-01-06 京セラ株式会社 画像処理装置および測距装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
JP2017146957A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
WO2019003688A1 (ja) * 2017-06-30 2019-01-03 パナソニックＩｐマネジメント株式会社 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
JP2017146957A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
WO2019003688A1 (ja) * 2017-06-30 2019-01-03 パナソニックＩｐマネジメント株式会社 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAFAEL MUNOZ-SALINAS ET AL.: "People Detection and Tracking using Stereo Vision and Color", CITESEERX.IST.PSU.EDU, April 2005 (2005-04-01), pages 1 - 29, XP055734743, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.7232&rep=repl&type=pdf> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004259A1 (ja) * 2020-07-01 2022-01-06 京セラ株式会社 画像処理装置および測距装置

Also Published As

Publication number Publication date
JPWO2020175085A1 (ja) 2021-12-23
JP7375806B2 (ja) 2023-11-08

Similar Documents

Publication Publication Date Title
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
US9898677B1 (en) Object-level grouping and identification for tracking objects in a video
US10540777B2 (en) Object recognition device and object recognition system
US20200167554A1 (en) Gesture Recognition Method, Apparatus, And Device
CN105760826B (zh) 一种人脸跟踪方法、装置和智能终端
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
JP4002919B2 (ja) 移動体高さ判別装置
EP2458528A2 (en) Image processing apparatus and method, and program
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
JP2016015045A (ja) 画像認識装置、画像認識方法及びプログラム
CN113646803B (zh) 人检测装置以及人检测方法
WO2020137193A1 (ja) 人検出装置および人検出方法
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
JP2006244272A (ja) 手位置追跡方法、装置、およびプログラム
JP2002366958A (ja) 画像認識方法および画像認識装置
CN116261742A (zh) 信息处理装置及信息处理方法
WO2020175085A1 (ja) 画像処理装置、及び画像処理方法
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
US20240249427A1 (en) Position measurement system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501857

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20763971

Country of ref document: EP

Kind code of ref document: A1