WO2020179382A1 - 監視装置、及び監視方法 - Google Patents

監視装置、及び監視方法 Download PDF

Info

Publication number
WO2020179382A1
WO2020179382A1 PCT/JP2020/005270 JP2020005270W WO2020179382A1 WO 2020179382 A1 WO2020179382 A1 WO 2020179382A1 JP 2020005270 W JP2020005270 W JP 2020005270W WO 2020179382 A1 WO2020179382 A1 WO 2020179382A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring
marker
monitoring device
reflective material
pattern
Prior art date
Application number
PCT/JP2020/005270
Other languages
English (en)
French (fr)
Inventor
俊之 村松
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2020179382A1 publication Critical patent/WO2020179382A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates

Definitions

  • the present disclosure relates to a monitoring device and a monitoring method.
  • a monitoring device that detects the position of an object existing in the imaging area based on an image taken by a camera or the like is known.
  • This type of monitoring device accurately grasps the position of a person or a working machine (hereinafter, collectively referred to as “moving body”) in a work environment such as a construction site or a factory, and monitors the action or operation of the person or the working machine. It is expected to be applied to applications such as analysis and prediction of the behavior or movement of a person or a work machine (hereinafter collectively referred to as "behavior analysis").
  • FIG. 1 is a diagram showing an example of a range image generated by a laser radar.
  • Laser radar determines the distance from its own position to the position of the object by emitting a laser beam and measuring the time (TOF: Time of Flight) until the laser beam reflects and returns to the object. Then, the laser radar generates image data related to the distance image by performing such processing while scanning within a predetermined range in which the monitored area is reflected. Since such a distance image contains information on the three-dimensional position of the moving body, it is useful for recognizing the posture and movement of the moving body.
  • TOF Time of Flight
  • this type of monitoring device in order to analyze the behavior of the moving body, it is required to grasp the position and posture of the moving body as a whole of the moving body. Therefore, in this type of monitoring device, when detecting the position or the like of the moving body from the distance image, it is required to grasp the position or the existence area of the moving body including the portion not reflected in the distance image.
  • the monitoring device when a part of the object is shielded by another object, or when the part of the object is a material that does not diffusely reflect the laser light, A part of the object may not be reflected in the distance image, and the position and orientation of the entire object may not be accurately grasped.
  • Patent Document 1 when a point cloud generated from the reflected light received by the laser radar has a defect, correction processing (estimation) is performed from the surrounding point cloud to include a portion that cannot be captured by the laser radar.
  • a technique for accurately grasping the space in which an object exists is disclosed.
  • the conventional technique according to Patent Document 1 is a method of compensating the distance measuring point at the position estimated from the close point group, the conventional technique may not be able to grasp the accurate position of the entire object. ..
  • the related art when there is a shield between the object to be recognized and the laser radar, it is not possible to estimate the area of the object hidden by the shield.
  • the present disclosure has been made in view of the above problems, and an object thereof is to provide a monitoring device and a monitoring method that can improve the accuracy of moving object monitoring using a laser radar.
  • a monitoring device for monitoring the state of a monitoring target having a reflective material An image acquisition unit that acquires image data related to a distance image generated by a laser radar that monitors a predetermined area, Detecting the pattern of the reflective material of the monitored object reflected in the distance image, based on the detected pattern of the reflective material and the reference pattern of the reflective material stored in the database in advance, in the predetermined area
  • An analysis unit that specifies the position and orientation of the monitored object, Is a monitoring device.
  • a monitoring method for monitoring the state of a monitoring target having a reflective material Obtaining image data related to a range image generated by a laser radar that monitors a predetermined area, The pattern of the reflective material of the monitoring target reflected in the distance image is detected, and the monitoring in the predetermined area is performed based on the detected pattern of the reflective material and a reference pattern of the reflective material stored in advance. Specify the position and orientation of the object, It is a monitoring method.
  • the monitoring device it is possible to improve the accuracy of moving object monitoring using a laser radar.
  • the figure which shows an example of the range image generated by the laser radar The figure which shows an example of the monitoring system which concerns on 1st Embodiment.
  • Diagram showing an example of the configuration of the marker database The figure which shows an example of the object information of the monitoring target object memorize
  • Diagram showing an example of analysis data generated by the analysis unit The flowchart which shows operation
  • FIG. 2 is a diagram showing an example of the monitoring system U according to the present embodiment.
  • the monitoring system U is applied to the purpose of monitoring the position and attitude of the monitored object MT existing in the factory.
  • a vehicle is shown as an example of the monitoring target MT in FIG. 2, the monitoring target MT may be an arbitrary moving body such as a work machine, a robot, or a person.
  • the monitoring system U includes a monitoring device 100, a laser radar 200, and a speaker 300.
  • the laser radar 200 determines the distance from its own position to the position of the object by emitting the laser light and measuring the time (TOF: Time of Flight) until the laser light is reflected and returned to the object. ..
  • the laser radar 200 performs such processing while scanning within a predetermined range in which the monitoring target area is reflected, thereby generating image data related to the distance image (hereinafter, abbreviated as “distance image”).
  • the laser radar 200 continuously generates, for example, a range image in frame units, and outputs image data arranged in time series (that is, moving image data) to the monitoring device 100.
  • a distance image is an image in which each scanning position is a pixel, and measurement data (for example, distance and reflection intensity) of the laser radar 200 is associated as a pixel value for each pixel (also referred to as point cloud data).
  • the distance image is, for example, a three-dimensional Cartesian coordinate system (X, Y, Z) and represents the existence position (that is, the position in the horizontal direction, the vertical direction, and the depth direction) of the object in the monitoring target area.
  • the laser radar 200 is installed at an appropriate position near the monitored area so as to image a predetermined monitored area.
  • the speaker 300 When there is a dangerous situation in which the monitored object MT comes into contact with another object (for example, a person), the speaker 300 notifies the people in the surroundings of the situation.
  • the speaker 300 is controlled by the monitoring device 100.
  • the monitoring device 100 monitors the position and orientation of the monitoring target MT by imaging the marker MK of the monitoring target MT with the laser radar 200. By monitoring the state of the monitoring target MT using the marker MK, the monitoring device 100, as shown in FIG. 2, even if a part of the monitoring target MT is shielded by the shield NB, It is possible to recognize the existence area of the entire monitored object MT (details will be described later).
  • the marker MK is a highly reflective material arranged on the exposed surface of the monitored object MT and generates a strong reflected light with respect to the laser light emitted from the laser radar 200.
  • the marker MK is made of, for example, a reflective tape.
  • FIG. 2 shows a mode in which the marker MK is arranged on the exposed surface side of the top plate of the front part of the monitored object MT (here, vehicle).
  • the marker MK shown in FIG. 2 is composed of three high-reflecting materials arranged apart from each other, and these three high-reflecting materials have a triangular shape in a plan view.
  • the marker MK is arranged on the exposed surface of the monitored object MT so as to have a predetermined shape when viewed from the outside, and constitutes an index indicating the position and orientation of the monitored object MT. For example, how far the position of the monitored object MT is from the laser radar 200, or the attitude of the monitored object MT is facing forward or backward when viewed from the laser radar 200, depending on how the marker MK is seen. It is possible to identify whether or not.
  • the marker MK has a different shape for each monitored object MT (for each object type or each individual), and the shape of the marker MK is such that one monitored object MT is changed to another monitored object MT.
  • the identification information for identifying with is configured.
  • the shape of the marker MK included in the monitored object MT is registered in the marker database Dm together with the object information of the monitored object MT (described later with reference to FIGS. 5 and 6).
  • FIG. 3 is a diagram showing a hardware configuration of the monitoring device 100 according to the present embodiment.
  • the monitoring device 100 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an external storage device (for example, a flash memory) 104, a communication interface 105, and the like as main components. It is a equipped computer.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a communication interface 105 a communication interface 105, and the like as main components. It is a equipped computer.
  • Each function to be described later of the monitoring device 100 is realized, for example, by the CPU 101 referring to a control program (for example, an image processing program) and various data stored in the ROM 102, the RAM 103, the external storage device 104, or the like.
  • a part or all of each function may be realized by processing by a DSP (Digital Signal Processor) instead of or together with the processing by the CPU.
  • a part or all of each function may be realized by processing by a dedicated hardware circuit (for example, ASIC or FPGA) instead of or together with the processing by software.
  • FIG. 4 is a diagram showing functional blocks of the monitoring device 100 according to this embodiment.
  • the arrows in FIG. 4 represent the flow of data. ..
  • the monitoring device 100 includes an image acquisition unit 10, a filter processing unit 20, an analysis unit 30, and a notification unit 40.
  • the image acquisition unit 10 acquires the range image generated by the laser radar 200.
  • the image acquisition unit 10 sequentially acquires distance images arranged in time series from the laser radar 200.
  • the filter processing unit 20 extracts only the pixel area in which the reflection intensity of the reflected light received by the laser radar 200 is equal to or more than a threshold value from the range image, and sends the extracted range image to the analysis unit 30. As a result, a distance image in which reflected light from an object other than the marker MK is eliminated from the distance image generated by the laser radar 200 is sent to the analysis unit 30. Note that this makes it possible to more easily perform the pattern detection process of the marker MK in the analysis unit 30.
  • the analysis unit 30 detects the pattern of the marker MK shown in the distance image, and identifies the identification information, the position, and the posture of the monitoring target MT in the monitoring target area based on the detected pattern of the marker MK.
  • the analysis unit 30 identifies the identification information, the position, and the posture of the monitored object MT by comparing the reference pattern of the marker MK stored in the marker database Dm with the pattern of the marker MK shown in the distance image. To do.
  • FIG. 5 is a diagram showing an example of the configuration of the marker database Dm.
  • FIG. 6 is a diagram showing an example of the object information of the monitored object MT stored in association with the marker MK.
  • FIG. 7 is a diagram showing an example of the analysis data DL generated by the analysis unit 30.
  • the marker database Dm stores, for example, the “reference pattern of the marker MK” and the “object information of the monitored object MT” in association with each monitored object MT.
  • the “reference pattern of the marker MK” and the “object information of the monitored object MT” may be registered for each object type (for example, truck, person, working machine, etc.) or for each individual (for example, truck). No. 1, track No. 2, or track No. 3).
  • each of a plurality of locations of one object is set as the monitoring target MT, and the monitoring target MT is registered for each part of one object (for example, the arm portion of the predetermined object or the leg portion of the predetermined object). May be.
  • the “reference pattern of the marker MK” is information related to the shape of the marker MK included in the monitored object MT.
  • the “reference pattern of the marker MK” constitutes the identification information of the monitoring target MT and also an index for specifying the position and orientation of the monitoring target MT in the monitoring target area.
  • the “reference pattern of the marker MK” also includes information on the size (for example, the length of each side) of the marker MK in order to grasp the size ratio with the marker MK shown in the distance image.
  • the "reference pattern of the marker MK” not only the appearance of the marker MK when viewed from one reference position but also the marker MK when viewed from various reference positions (for example, various directions) The appearance of may be registered.
  • the “object information of the monitoring target MT” is a size (for example, length, width, and height) of the monitoring target MT, an area where each part of the monitoring target MT extends based on the position of the marker MK, It also includes information such as the pointing direction (for example, forward) of the monitored object MT based on the pointing direction of the marker MK.
  • the monitored object MT is basically an object that does not move (for example, production equipment in a factory)
  • the information about the movable range of the monitored object MT is also registered in the “object information of the monitored object MT”. It is desirable to keep.
  • the monitoring target MT that cannot exist at the position where the marker MK is detected can be excluded from the search target. It is possible to reduce recognition errors.
  • a triangular shape composed of three high-reflecting materials has a length of each side of the triangular shape (Acm, Bcm, Bcm). It shows the mode registered with.
  • the marker database Dm is associated with the reference pattern of the marker MK, and the length extending in the front-rear direction of the monitoring target MT and the width direction of the monitoring target MT are associated with the position of the marker MK as a reference. Information on the existing length and the length extending in the height direction of the monitored object MT is registered (see FIG. 6).
  • the analysis unit 30 compares the reference pattern of the marker MK stored in the marker database Dm with the pattern of the marker MK shown in the distance image by template matching, for example. Specifically, the analysis unit 30 detects the pattern of the marker MK (for example, the shape of the marker MK and the length of each side of the shape) displayed in the distance image, and detects the pattern of the detected marker MK. A reference pattern of the marker MK stored in the marker database Dm having a similar relative positional relationship is extracted. Further, the analysis unit 30 determines that the marker MK shown in the distance image is viewed from the laser radar 200 from the difference in the directivity between the pattern of the marker MK shown in the distance image and the reference pattern of the marker MK stored in the marker database Dm.
  • template matching for example. Specifically, the analysis unit 30 detects the pattern of the marker MK (for example, the shape of the marker MK and the length of each side of the shape) displayed in the distance image, and detects the pattern of the detected marker MK. A reference pattern of the marker M
  • the analysis unit 30 identifies the marker MK from the marker MK extracted from the list of the markers MK stored in the marker database Dm as a pattern corresponding to the pattern of the markers MK shown in the distance image ( That is, the identification information of the monitoring target MT) is specified.
  • the analysis unit 30 uses the object information of the monitoring target MT associated with the marker MK stored in the marker database Dm from the identification information of the marker MK, and the identification result of the position and the posture, and uses the object information of the marker MK.
  • the identification information, the position, and the posture of the monitoring target MT on which the is arranged are specified. That is, the analysis unit 30 identifies the position and orientation of the monitoring target object MT in the monitoring target region based on the appearance of the marker MK when the image is taken by the laser radar 200. At this time, the analysis unit 30 may also specify the existing area of the monitored object MT in the monitored area based on the object information of the monitored object MT.
  • the method for the analysis unit 30 to analyze the pattern of the marker MK reflected in the distance image may be any known method.
  • the analysis unit 30 specifies the identification information, the position, and the posture of the monitored object MT for each frame of the distance images arranged in time series. Then, the analysis unit 30 outputs the analysis data DL tracking the position of the monitoring target MT.
  • the analysis data DL shown in FIG. 7 includes the position (here, the three-dimensional coordinate position indicating the position of the center of gravity of the monitoring target MT) and the posture (here, the monitoring target MT of the monitoring target MT of the monitoring target MT in each claim.
  • Vector indicating the pointing direction
  • the analysis unit 30 determines the identification information, the position, and the posture of the monitoring target MT for each of the monitoring targets MT.
  • the position of each of the plurality of monitoring targets MT is specified and tracked.
  • the analysis unit 30 may also perform tracking processing for the object to which the marker MK is not attached.
  • the notification unit 40 detects the occurrence of a state in which the monitored object MT and another object are close to each other, based on the analysis data DL generated by the analysis unit 30.
  • the notification unit 40 uses the speaker 300 to notify that effect.
  • the other object to be detected by the notification unit 40 may be another monitoring object MT or an object other than the monitoring object MT.
  • FIG. 8 is a flowchart showing the operation of the monitoring device 100 according to this embodiment.
  • the flowchart illustrated in FIG. 8 is executed by the monitoring device 100 according to a computer program, for example.
  • step S1 the monitoring device 100 acquires image data relating to a range image from the laser radar 200.
  • step S2 the monitoring device 100 extracts a pixel area in which the reflection intensity of reflected light is equal to or more than a threshold value from the distance image.
  • step S3 the monitoring device 100 compares the pattern of the extracted pixel region (that is, the pattern of the marker MK shown in the distance image) with the reference pattern of all the markers MK registered in the marker database Dm, It is determined whether or not there is a match in the reference pattern list of the marker MK registered in the database Dm.
  • S3: YES the pattern of the marker MK shown in the distance image
  • S3: NO the process proceeds to step S5.
  • step S3 when the monitoring device 100 identifies the monitoring target MT, the position of the marker MK detected in the distance image and the size and movement of the monitoring target MT previously stored in the marker database Dm. It is desirable to exclude the monitoring target MT that cannot exist at the position where the marker MK is detected from the search target based on the object information related to the area.
  • step S4 the monitoring device 100 calculates the size ratio and orientation of the pattern of the marker MK in the distance image with respect to the reference pattern of the marker MK. Then, the size ratio and orientation of the pattern of the marker MK appearing in the distance image with respect to the reference pattern of the marker MK, and the object information of the monitoring target MT associated with the marker MK registered in the marker database Dm are referred to. Then, the identification information, position, and orientation of the monitored object MT are estimated.
  • step S5 the monitoring device 100 confirms whether or not there is subsequent image data to be processed, and if other image data to be processed exists (S5: YES), the monitoring device 100 returns to S1 and performs the same processing. Is repeatedly executed. On the other hand, when there is no other image data to be processed (S5: NO), the processing of the series of flowcharts is terminated.
  • the monitoring apparatus 100 specifies the identification information, the position, and the posture of the monitored object MT in the monitored area for each of the plurality of distance images arranged in time series by the above-described processing.
  • the monitoring device 100 is arranged on the image acquisition unit 10 that acquires the image data related to the range image generated by the laser radar 200 and on the exposed surface of the monitoring target MT shown in the range image.
  • the pattern of the marker MK made of a highly reflective material provided is detected, and based on the detected pattern of the marker MK and the previously stored reference pattern of the marker MK, the identification information, the position, and the posture of the monitored object MT.
  • an analysis unit 30 that identifies
  • the monitoring device 100 it is possible to accurately identify the monitoring target MT, and in addition, the monitoring target MT is made of a material that does not diffusely reflect, or the monitoring is performed. Even when the reflected light from a part of the object MT cannot be captured, the position and orientation of the monitored object MT can be accurately estimated.
  • the monitoring device 100 since the monitoring device 100 according to the present embodiment can three-dimensionally capture the pattern of the marker MK, it is possible to highly accurately estimate the position and orientation of the monitored object MT. Accordingly, it is possible to three-dimensionally estimate the area where the monitoring target MT exists in the monitoring target area. Further, by this, behavior analysis of the movement of the monitored object MT (for example, whether the movement of the vehicle is forward or backward), prediction of the next movement (for example, prediction of the moving direction of the industrial machine, etc.) ) Is possible. In addition, this makes it possible to perform complicated behavior analysis such as extracting only the movement path of a specific part of the monitored object MT.
  • behavior analysis of the movement of the monitored object MT for example, whether the movement of the vehicle is forward or backward
  • prediction of the next movement for example, prediction of the moving direction of the industrial machine, etc.
  • FIGS. 9A, 9B, and 10 are diagrams for explaining the usefulness of the monitoring device 100 according to the present embodiment.
  • object detection using the laser radar 200 is useful only in the region where the laser light transmitted from the laser radar 200 hits. Therefore, as shown in FIG. 9A, as a result of the movement of the monitored object MT (here, the rotating arm), a part of the monitored object MT (for example, a region surrounded by a dotted line in FIG. 9A) is laser radar 200. In the case of a shadow from the above, it is difficult for the monitoring device according to the prior art to grasp the entire position and the existing area of the monitored object MT.
  • the object information of the monitoring target MT (here, the rotating arm) is associated with the reference pattern of the marker MK arranged on the monitoring target MT in advance.
  • the marker database Dm are stored in the marker database Dm, and the entire position and existing area of the monitoring target MT are specified from the pattern of the markers MK shown in the distance image. Therefore, according to the monitoring device 100 of the present embodiment, as shown in FIG. 9B, even if a part of the monitored object MT is hidden behind the laser radar 200, the entire position of the monitored object MT is detected. And it becomes possible to specify the existence area.
  • the monitoring device 100 according to the present embodiment, as shown in FIG. 10, for example, it is possible to specify the position and the existence area on the back side of the monitored object MT as viewed from the laser radar 200. Further, according to the monitoring device 100 according to the present embodiment, as shown in FIG. 10, for example, only by tracking the pattern of the marker MK arranged on the exposed surface of the monitoring target MT, the entire monitoring target MT can be tracked. It is also possible to track a predetermined portion of the monitored object MT (for example, a portion surrounded by a dotted line in FIG. 9A).
  • FIG. 11 is a diagram showing a configuration of the marker MK according to the first modification. ..
  • two markers MKa and MKb forming different identification information are arranged on the exposed surface of the monitored object MT (here, the exposed surface of the top plate of the vehicle).
  • One marker MKa is arranged in the front part of the monitored object MT, and the other marker MKb is arranged in the rear part of the monitored object MT.
  • one of the two markers MKa and MKb is shielded by the obstacle. Therefore, it is possible to estimate the position and orientation of the monitored object MT even when it cannot be visually recognized from the laser radar 200.
  • one of the markers MKa has a triangular shape with one large highly reflective material.
  • the other marker MKb is formed of two high-reflecting materials in the shape of a colon symbol.
  • the marker MKb is composed of a plurality of highly reflective materials MKb1 and MKb2 having different reflectances so as to form one pattern capable of identifying the orientation of the marker MKb.
  • the marker database Dm in addition to the shape of the marker MKb, information on the reflectance of each of the plurality of high-reflecting materials MKb1 and MKb2 of the marker MKb is also registered as information on the “reference pattern of the marker MK”. In this way, it is possible to configure more diverse identification information by making the reflectance different in addition to the shape formed by the highly reflective material.
  • 12A and 12B are diagrams showing the configuration of the marker MK according to the second modification.
  • different identification information is configured on the rear exposed surface (see FIG. 12A) and the front exposed surface (see FIG. 12B) of the monitored object MT (here, vehicle) 2
  • Two markers MK are arranged.
  • the laser radar 200 is monitored. Even when only one of the front side and the back side of the target object MT is visible, the monitoring apparatus 100 can estimate the identification information, the position, and the posture of the monitoring target object MT.
  • the shape of the marker MK can be modified in various ways other than the above.
  • the marker MK preferably has a polygonal shape in plan view, and more preferably has a non-axisymmetric polygonal shape in plan view (for example, a triangle or a pentagon). This makes it possible for the monitoring device 100 to more easily recognize the directivity direction of the marker MK displayed in the distance image.
  • the marker MK is not limited to the two-dimensional shape and may have a three-dimensional shape.
  • the marker MK is composed of a plurality of high-reflecting materials arranged apart from each other, and the plurality of high-reflecting materials are integrally formed with each other to form a predetermined shape. With this, it is possible to secure a large size of the marker MK, and it is possible to make the monitoring device 100 more easily recognize the pattern of the marker MK shown in the distance image.
  • the marker MK may be configured to be incorporated as a part of the member on the exposed surface of the monitored object MT, instead of being attached to the exposed surface of the monitored object MT.
  • FIG. 13 is a diagram showing the configuration of the monitoring device 100 according to the second embodiment.
  • the monitoring device 100 according to the present embodiment is different from the first embodiment in that it has a data registration unit 50. Note that the description of the configuration common to the first embodiment will be omitted (the same applies to other embodiments below). ..
  • the data registration unit 50 newly registers the unregistered monitoring target MT in the marker database Dm in association with the reference pattern of the marker MK of the monitoring target MT and the object information of the monitoring target MT. ..
  • the data registration unit 50 measures the overall shape (and size) of the monitoring target MT using the laser radar 200, for example, and extracts the marker MK measured together with the monitoring target MT from the measurement data. Then, the data registration unit 50 stores the shape and size of the marker MK obtained from the measurement data as a “reference pattern of the marker MK”, and the shape and size of the monitoring target MT obtained from the measurement data as a “monitoring object”. It is stored as "MT object information”, and both are associated with each other by identification information and registered in the marker database Dm.
  • the data registration unit 50 also determines the position of the marker MK in the monitoring target MT based on the positional relationship between the monitoring target MT and the marker MK shown in the distance image as “object information of the monitoring target MT. Is stored in the marker database Dm. The data registration unit 50 attaches new identification information to the newly registered monitored object MT and stores it in the marker database Dm.
  • the data registration unit 50 uses the laser radar 200 to measure the overall shape (and size) of the monitored object MT, it is typically in the upward direction (or downward direction) of the monitored object MT.
  • the laser radar 200 images the monitored object MT from each of the left direction (or right direction) and the front direction (or back direction). Then, the data registration unit 50 registers the length in the vertical direction, the length in the horizontal direction, and the length in the front-rear direction of the monitored object MT obtained by these as object information.
  • FIG. 14 is a flowchart showing a registration process by the monitoring device 100 according to this embodiment.
  • the flowchart shown in FIG. 14 is executed by the monitoring device 100 in accordance with a computer program, for example, when a new registration command is issued by the user.
  • the monitoring device 100 uses the laser radar 200 to determine the shape of the entire monitored object MT to be registered in the marker database Dm in each direction of the monitored object MT (for example, front and rear, left and right, and up and down). Measure from. At this time, the monitoring device 100 causes the laser radar 200 to measure the surface shape of the monitored object MT in each direction, and synthesizes the distance image obtained thereby to three-dimensionally monitor the monitored object MT. Shape may be recognized. At this time, the laser radar 200 may be moved with respect to the monitoring target MT, or the monitoring target MT may be moved with respect to the laser radar 200.
  • step S12 the monitoring device 100 registers the size and shape of the monitoring target MT recognized from the measurement data of step S11 in the marker database Dm as the object information of the monitoring target MT.
  • step S13 the monitoring apparatus 100 extracts a region in which the reflection intensity of reflected light is equal to or more than a threshold value (that is, a pixel region in which the reflection intensity of reflected light in the distance image is equal to or more than a threshold value) from the measurement data in step S11. , Detect the shape and size of the marker MK.
  • a threshold value that is, a pixel region in which the reflection intensity of reflected light in the distance image is equal to or more than a threshold value
  • step S14 the monitoring device 100 compares the shape of the marker MK identified in step S13 with the reference patterns of all the other markers MK registered in the marker database Dm. In step S14, the monitoring device 100 calculates this comparison result as a degree of agreement.
  • step S15 if the shape of the marker MK identified in step S13 does not match any of the reference patterns of the other markers MK registered in the marker database Dm in step S15 (S15: NO), the monitoring device 100 proceeds to step S18. Proceed with processing. On the other hand, if the shape of the marker MK specified in step S13 matches any of the reference patterns of the other markers MK registered in the marker database Dm (S15: YES), the process proceeds to step S16.
  • step S16 the monitoring device 100 notifies that the shape of the marker MK should be changed and re-registered because the marker MK of the same pattern has already been registered. Further, in this step S16, the monitoring device 100 deletes the object information of the monitoring target MT temporarily registered in step S12 from the marker database Dm, and advances the process to step S17.
  • step S17 the monitoring device 100 again waits for a re-registration command from the user (S17: NO), and when a re-registration request is issued from the user (S17: YES), the monitoring device 100 returns to step S11 and the same process is performed. Execute the process.
  • step S18 the monitoring device 100 associates the shape and size of the marker MK identified in step S13 with the object information of the monitoring target MT registered in step S12 as a reference pattern of the marker MK, and stores the shape and size in the marker database Dm. sign up.
  • the monitoring device 100 As described above, with the monitoring device 100 according to the present embodiment, it is possible to easily register a new monitoring target MK in the marker database Dm. This makes it possible to sequentially update the marker database Dm according to the user's usage.
  • FIG. 15 is a diagram showing the configuration of the monitoring device 100 according to the third embodiment.
  • the monitoring device 100 is different from the first embodiment in that it is built in the laser radar 200. Then, the image acquisition unit 10 of the monitoring device 100 acquires image data directly from the measurement unit 210 of the laser radar 200 (that is, the imaging unit that generates a distance image).
  • the monitoring device 100 is useful in that it is not necessary to prepare a computer separate from the laser radar 200.
  • the functions of the image acquisition unit 10, the filter processing unit 20, the analysis unit 30, and the notification unit 40 are described as being realized by one computer.
  • it may be realized by a plurality of computers.
  • the programs and data read by the computer may be distributed and stored in a plurality of computers.
  • the monitoring device it is possible to improve the accuracy of moving object monitoring using a laser radar.
  • U monitoring system 100 monitoring device 101 CPU 102 ROM 103 RAM 104 external storage device 105 communication interface 10 image acquisition unit 20 filter processing unit 30 analysis unit 40 notification unit 50 data registration unit 200 laser radar 210 measurement unit 300 speaker Dm marker database DL analysis data MK, MKa, MKb marker (reflecting material) MT monitoring target NB shield

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

反射材（ＭＫ）を有する監視対象物（ＭＴ）の状態を監視する監視装置（１００）であって、レーザーレーダー（２００）が生成した距離画像に係る画像データを取得する画像取得部（１０）と、距離画像内に映る監視対象物ＭＴの反射材（ＭＫ）のパターンを検出し、検出された反射材（ＭＫ）のパターンと予めデータベース（Ｄｍ）に記憶された反射材（ＭＫ）の基準パターンとに基づいて、監視対象物（ＭＴ）の位置及び姿勢を特定する解析部（３０）と、を備える。

Description

監視装置、及び監視方法
　本開示は、監視装置、及び監視方法に関する。
　カメラ等で撮影された画像に基づいて、撮像領域内に存在する物体の位置を検出する監視装置が知られている。この種の監視装置は、特に、工事現場や工場などの業務環境において、人や作業機（以下、「動体」と総称する）の位置を正確に把握し、人や作業機の行動又は動作を解析したり、人や作業機の行動又は動作を予測する用途（以下、「行動解析」と総称する）への適用が期待されている。
　動体の位置を把握するための技術には様々なものがあるが、特に工事現場などの粉塵や電磁波の反響が激しい環境においては、レーザーレーダー（Light Detection And Ranging:LiDARとも称される）のような光の反射を用いた位置測定が有効である。
　図１は、レーザーレーダーに生成された距離画像の一例を示す図である。
　レーザーレーダーは、レーザー光を打ち出し、当該レーザー光が物体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から物体の位置までの距離を求める。そして、レーザーレーダーは、かかる処理を、監視対象領域が映り込む所定範囲内を走査しながら行うことにより、距離画像に係る画像データを生成する。かかる距離画像は、動体の三次元位置の情報を含むため、動体の姿勢や動作を認識する上で有用である。
特開２０１７－１５２０４９号公報
　ところで、この種の監視装置においては、動体の行動解析を行うため、動体の位置や姿勢を、当該動体全体として把握することが求められる。そのため、この種の監視装置においては、距離画像から動体の位置等を検出する際にも、距離画像内に映らない部分も含めて、当該動体の位置や存在領域を把握することが求められる。
　この点、従来技術に係る監視装置においては、物体の一部が他の物体により遮蔽されている場合や、物体の一部がレーザー光に対して乱反射しない素材である場合には、当該物体の一部が距離画像内に映らない状態となり、当該物体全体が存在する位置や姿勢を正確に把握することができないおそれがある。
　特許文献１には、レーザーレーダーが受信した反射光から生成された点群に欠損があった場合、その周囲の点群から補正処理（推定）を行うことで、レーザーレーダーが捕捉できない箇所も含め、物体が存在する空間を正確に把握しようとする技術が開示されている。しかしながら、特許文献１に係る従来技術は、あくまで近接する点群から推定された位置に測距点を補填する方式であるため、当該従来技術では、物体全体の正確な位置を把握できない場合もある。又、当該従来技術では、認識したい物体とレーザーレーダーとの間に遮蔽物があった場合、物体のうち遮蔽物に隠れている領域を推定することはできない。
　本開示は、上記問題点に鑑みてなされたもので、レーザーレーダーを用いた動体監視の精度を向上し得る監視装置及び監視方法を提供することを目的とする。
　前述した課題を解決する主たる本開示は、
　反射材を有する監視対象物の状態を監視する監視装置であって、
　所定領域を監視するレーザーレーダーが生成した距離画像に係る画像データを取得する画像取得部と、
　前記距離画像内に映る前記監視対象物の前記反射材のパターンを検出し、検出された前記反射材のパターンと予めデータベースに記憶された前記反射材の基準パターンとに基づいて、前記所定領域における前記監視対象物の位置及び姿勢を特定する解析部と、
　を備える監視装置である。
　又、他の局面では、
　反射材を有する監視対象物の状態を監視する監視方法であって、
　所定領域を監視するレーザーレーダーが生成した距離画像に係る画像データを取得し、
　前記距離画像内に映る前記監視対象物の前記反射材のパターンを検出し、検出された前記反射材のパターンと予め記憶された前記反射材の基準パターンとに基づいて、前記所定領域における前記監視対象物の位置及び姿勢を特定する、
　監視方法である。
　本開示に係る監視装置によれば、レーザーレーダーを用いた動体監視の精度を向上することが可能である。
レーザーレーダーに生成された距離画像の一例を示す図 第１の実施形態に係る監視システムの一例を示す図 第１の実施形態に係る画像処理装置のハードウェア構成を示す図 第１の実施形態に係る画像処理装置の機能ブロックを示す図 マーカーデータベースの構成の一例を示す図 マーカーに関連付けて記憶された監視対象物の物体情報の一例を示す図 解析部が生成する解析データの一例を示す図 第１の実施形態に係る監視装置の動作を示すフローチャート 第１の実施形態に係る監視装置の有用性について、説明する図である。 第１の実施形態に係る監視装置の有用性について、説明する図である。 第１の実施形態に係る監視装置の有用性について、説明する図である。 変形例１に係るマーカーの構成を示す図 変形例２に係るマーカーの構成を示す図 変形例２に係るマーカーの構成を示す図 第２の実施形態に係る監視装置の構成を示す図 第２の実施形態に係る監視装置による登録処理を示すフローチャート 第３の実施形態に係る監視装置の構成を示す図
　以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（第１の実施形態）
［監視システムの全体構成］
　以下、図２～図４を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した監視装置の構成の概要について説明する。
　図２は、本実施形態に係る監視システムＵの一例を示す図である。
　本実施形態に係る監視システムＵは、工場内に存在する監視対象物ＭＴの位置及び姿勢を監視する用途に適用されている。尚、図２中では、監視対象物ＭＴの一例として、車両を示しているが、監視対象物ＭＴは、作業機、ロボット、又は人等、任意の動体であってよい。
　監視システムＵは、監視装置１００、レーザーレーダー２００、及び、スピーカー３００を備えている。
　レーザーレーダー２００は、レーザー光を打ち出し、当該レーザー光が物体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から物体の位置までの距離を求める。レーザーレーダー２００は、かかる処理を、監視対象領域が映る所定範囲内を走査しながら行うことにより、距離画像に係る画像データ（以下、「距離画像」と略称する）を生成する。尚、レーザーレーダー２００は、例えば、フレーム単位の距離画像を連続的に生成し、時系列に並んだ画像データ（即ち、動画像データ）を監視装置１００に対して出力する。
　距離画像は、各走査位置を画素として、画素毎に、レーザーレーダー２００の測定データ（例えば、距離及び反射強度）が画素値として対応付けられた画像である（点群データとも称される）。距離画像は、例えば、３次元の直交座標系（Ｘ、Ｙ、Ｚ）で、監視対象領域内における物体の存在位置（即ち、水平方向、鉛直方向、及び奥行方向の位置）を表す。
　尚、レーザーレーダー２００は、所定の監視対象領域を撮像するように、当該監視対象領域付近の適宜な位置に設置されている。
　スピーカー３００は、監視対象物ＭＴと他の物体（例えば、人）が接触する危険な状況が発生した場合、周囲の人に当該状況を認識させるべく、報知する。尚、スピーカー３００は、監視装置１００により、制御されている。
　監視装置１００は、監視対象物ＭＴが有するマーカーＭＫを、レーザーレーダー２００で撮像することにより、当該監視対象物ＭＴの位置及び姿勢を監視する。監視装置１００は、マーカーＭＫを用いた監視対象物ＭＴの状態監視を行うことにより、図２に示すように、監視対象物ＭＴの一部が遮蔽物ＮＢに遮蔽された状態であっても、監視対象物ＭＴ全体の存在領域等を認識することが可能となっている（詳細は後述）。
　マーカーＭＫは、監視対象物ＭＴの露出面に配設された高反射材であって、レーザーレーダー２００から照射されるレーザー光に対して強い反射光を発生する。マーカーＭＫは、例えば、反射テープによって構成されている。尚、図２では、マーカーＭＫが、監視対象物ＭＴ（ここでは、車両）の前部の天板の露出面側に配設された態様を示している。図２に示すマーカーＭＫは、互いに離間して配設された３つの高反射材によって構成され、これら３つの高反射材によって、平面視で、三角形状を呈している。
　マーカーＭＫは、外側から視認した際に所定の形状を為すように監視対象物ＭＴの露出面に配設され、監視対象物ＭＴの位置及び姿勢を示す指標を構成する。例えば、マーカーＭＫの見え方により、監視対象物ＭＴの位置が、レーザーレーダー２００からどの程度離間しているか、又は、監視対象物ＭＴの姿勢が、レーザーレーダー２００から見て前向きであるか若しくは後向きであるか、等の識別を可能とする。又、マーカーＭＫは、監視対象物ＭＴ毎（物体種別毎、又は個体毎）に、異なる形状のものが用いられ、当該マーカーＭＫの形状が、一の監視対象物ＭＴを他の監視対象物ＭＴと識別するための識別情報を構成する。
　尚、監視対象物ＭＴが有するマーカーＭＫの形状は、当該監視対象物ＭＴの物体情報と共に、マーカーデータベースＤｍに登録されている（図５、図６を参照して後述）。
　図３は、本実施形態に係る監視装置１００のハードウェア構成を示す図である。
　監視装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５等を備えたコンピュータである。
　監視装置１００の後述する各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データを参照することによって実現される。但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路（例えば、ＡＳＩＣ又はＦＰＧＡ）による処理によって実現されてもよい。
［監視装置の構成］
　次に、図４～図７を参照して、本実施形態に係る監視装置１００の構成の一例について説明する。
　図４は、本実施形態に係る監視装置１００の機能ブロックを示す図である。尚、図４中の矢印は、データの流れを表す。　
　監視装置１００は、画像取得部１０、フィルタ処理部２０、解析部３０、及び、報知部４０を備えている。
　画像取得部１０は、レーザーレーダー２００が生成した距離画像を取得する。尚、画像取得部１０は、レーザーレーダー２００から、時系列に並んだ距離画像を順次取得する。
　フィルタ処理部２０は、距離画像内から、レーザーレーダー２００が受信した反射光の反射強度が閾値以上の画素領域のみを抽出して、抽出後の距離画像を解析部３０に送出する。これにより、レーザーレーダー２００が生成した距離画像から、マーカーＭＫ以外の物体からの反射光を消失させた距離画像が、解析部３０に送出されることになる。尚、これによって、解析部３０におけるマーカーＭＫのパターン検出処理をより容易に行うことが可能となる。
　解析部３０は、距離画像に映るマーカーＭＫのパターンを検出し、検出されたマーカーＭＫのパターンに基づいて、監視対象領域における監視対象物ＭＴの識別情報、位置及び姿勢を特定する。ここで、解析部３０は、マーカーデータベースＤｍに記憶されたマーカーＭＫの基準パターンと、距離画像に映るマーカーＭＫのパターンとを比較することによって、監視対象物ＭＴの識別情報、位置及び姿勢を特定する。
　図５は、マーカーデータベースＤｍの構成の一例を示す図である。図６は、マーカーＭＫに関連付けて記憶された監視対象物ＭＴの物体情報の一例を示す図である。図７は、解析部３０が生成する解析データＤＬの一例を示す図である。
　マーカーデータベースＤｍは、例えば、監視対象物ＭＴ毎に、「マーカーＭＫの基準パターン」及び「監視対象物ＭＴの物体情報」を関連付けて記憶する。尚、「マーカーＭＫの基準パターン」及び「監視対象物ＭＴの物体情報」は、物体種別毎（例えば、トラック、人、又は作業機等）に登録されてもよいし、個体毎（例えば、トラックＮｏ．１、トラックＮｏ．２、又はトラックＮｏ．３等）に登録されてもよい。又、一つの物体の複数箇所それぞれを監視対象物ＭＴとして設定し、一つの物体の部位毎（例えば、所定物体のアーム部、又は所定物体の脚部等）に、監視対象物ＭＴが登録されてもよい。
　「マーカーＭＫの基準パターン」は、監視対象物ＭＴが有するマーカーＭＫの形状に係る情報である。「マーカーＭＫの基準パターン」は、監視対象物ＭＴの識別情報を構成すると共に、監視対象領域における監視対象物ＭＴの位置及び姿勢を特定する際の指標を構成する。「マーカーＭＫの基準パターン」としては、典型的には、平面視したマーカーＭＫの形状が登録されている。尚、「マーカーＭＫの基準パターン」は、距離画像内に映るマーカーＭＫとのサイズ比を把握するため、マーカーＭＫのサイズ（例えば、各辺の長さ）の情報も含む。
　但し、「マーカーＭＫの基準パターン」としては、一つの基準位置から視認された場合のマーカーＭＫの見え方のみならず、種々の基準位置（例えば、種々の方向）から視認された場合のマーカーＭＫの見え方が、登録されていてもよい。
　「監視対象物ＭＴの物体情報」は、監視対象物ＭＴのサイズ（例えば、長さ、幅、及び高さ）、マーカーＭＫの位置を基準とした監視対象物ＭＴの各部の延在する領域、及び、マーカーＭＫの指向方向を基準とした監視対象物ＭＴの指向方向（例えば、前方）等の情報を含む。
　尚、監視対象物ＭＴが基本的に移動しない物体（例えば、工場における生産機材）である場合、「監視対象物ＭＴの物体情報」には、監視対象物ＭＴの可動域に係る情報も登録しておくことが望ましい。これによって、距離画像に映るマーカーＭＫのパターンに対応するマーカーＭＫの基準パターンをサーチする際に、マーカーＭＫが検出された位置に存在しえない監視対象物ＭＴについては、検索対象から外すことが可能であり、これにより認識誤りを低減することができる。
　図５では、マーカーデータベースＤｍに、監視対象物ＭＴのマーカーＭＫの基準パターンとして、３つの高反射材によって構成された三角形状が、当該三角形状の各辺の長さ（Ａｃｍ、Ｂｃｍ、Ｂｃｍ）と共に登録された態様を示している。そして、マーカーデータベースＤｍには、マーカーＭＫの基準パターンと関連付けられて、当該マーカーＭＫの位置を基準として、監視対象物ＭＴの前後方向へ延在する長さ、監視対象物ＭＴの幅方向へ延在する長さ、及び監視対象物ＭＴの高さ方向へ延在する長さに関する情報が登録されている（図６を参照）。
　解析部３０は、例えば、テンプレートマッチングにより、マーカーデータベースＤｍに記憶されたマーカーＭＫの基準パターンと、距離画像に映るマーカーＭＫのパターンとを比較する。具体的には、解析部３０は、距離画像内に映るマーカーＭＫのパターン（例えば、マーカーＭＫの形状、及び、当該形状の各辺の長さ）を検出し、検出されたマーカーＭＫのパターンと類似の相対位置関係を有するマーカーデータベースＤｍに記憶されたマーカーＭＫの基準パターンを抽出する。又、解析部３０は、距離画像に映るマーカーＭＫのパターンと、マーカーデータベースＤｍに記憶されたマーカーＭＫの基準パターンとの指向方向の相違から、距離画像内に映るマーカーＭＫがレーザーレーダー２００から見てどちらの方向を向いているか（前後左右の方向、及び、水平面を基準とした傾斜角度等）を特定する。又、解析部３０は、このとき、マーカーデータベースＤｍに記憶されたマーカーＭＫのリスト中から、距離画像に映るマーカーＭＫのパターンに対応するものとして抽出されたマーカーＭＫから、マーカーＭＫの識別情報（即ち、監視対象物ＭＴの識別情報）を特定する。
　次に、解析部３０は、マーカーＭＫの識別情報、位置及び姿勢の特定結果から、マーカーデータベースＤｍに記憶された当該マーカーＭＫと関連付けられた監視対象物ＭＴの物体情報を用いて、当該マーカーＭＫが配設された監視対象物ＭＴの識別情報、位置及び姿勢を特定する。つまり、解析部３０は、レーザーレーダー２００で撮像した際のマーカーＭＫの見え方によって、監視対象領域における監視対象物ＭＴの位置及び姿勢等を特定する。尚、解析部３０は、この際、監視対象物ＭＴの物体情報に基づいて、監視対象領域における監視対象物ＭＴの存在領域についても特定してもよい。
　解析部３０が距離画像内に映るマーカーＭＫのパターンを解析するための手法は、公知の任意の手法であってよい。
　解析部３０は、このようにして、時系列に並んだ距離画像の各フレームについて、監視対象物ＭＴの識別情報、位置及び姿勢を特定する。そして、解析部３０は、監視対象物ＭＴの位置をトラッキングした解析データＤＬを出力する。尚、図７に示す解析データＤＬは、各クレームにおける監視対象物ＭＴの位置（ここでは、監視対象物ＭＴの重心位置を示す三次元の座標位置）及び姿勢（ここでは、監視対象物ＭＴの指向方向を示すベクトル）を示しており、ＩＤ（本発明の「識別情報」に相当する）は各監視対象物の識別番号を表し、ｔ＝０、ｔ＝１、ｔ＝２…はフレーム番号を表す。
　尚、解析部３０は、距離画像内に複数の監視対象物ＭＴ（即ち、マーカーＭＫ）が検出された場合、複数の監視対象物ＭＴそれぞれについて、監視対象物ＭＴの識別情報、位置及び姿勢を特定し、複数の監視対象物ＭＴそれぞれの位置をトラッキングする。この際、解析部３０は、マーカーＭＫが貼付されていない物体についても、当該物体のトラッキング処理を行ってもよい。
　報知部４０は、解析部３０が生成した解析データＤＬに基づいて、監視対象物ＭＴと他の物体とが近接した状態の発生を検出する。そして、報知部４０は、監視対象物ＭＴと他の物体とが近接した状態が発生したことを検出した場合、スピーカー３００を用いて、その旨を報知する。
　尚、報知部４０が検出対象とする他の物体は、他の監視対象物ＭＴであってもよいし、監視対象物ＭＴ以外の物体であってもよい。
［監視装置の動作フロー］
　次に、図８を参照して、本実施形態に係る監視装置１００の動作の一例について説明する。
　図８は、本実施形態に係る監視装置１００の動作を示すフローチャートである。図８に示すフローチャートは、例えば、監視装置１００がコンピュータプログラムに従って、実行するものである。
　ステップＳ１において、監視装置１００は、レーザーレーダー２００から距離画像に係る画像データを取得する。ステップＳ２において、監視装置１００は、距離画像から、反射光の反射強度が閾値以上の画素領域を抽出する。
　ステップＳ３において、監視装置１００は、抽出された画素領域のパターン（即ち、距離画像内に映るマーカーＭＫのパターン）を、マーカーデータベースＤｍに登録されたすべてのマーカーＭＫの基準パターンと比較し、マーカーデータベースＤｍに登録されたマーカーＭＫの基準パターン一覧の中に、一致するものが存在するか否かを判定する。ここで、一致するものが存在する場合（Ｓ３：ＹＥＳ）、ステップＳ４に処理を進め、一致するものが存在しない場合（Ｓ３：ＮＯ）、ステップＳ５に処理を進める。
　尚、このステップＳ３において、監視装置１００は、監視対象物ＭＴを識別する際、距離画像内に検出されたマーカーＭＫの位置と、予めマーカーデータベースＤｍに記憶された監視対象物ＭＴのサイズ及び可動域に係る物体情報と、に基づいて、マーカーＭＫが検出された位置に存在しえない監視対象物ＭＴについては、検索対象から外すのが望ましい。
　ステップＳ４において、監視装置１００は、マーカーＭＫの基準パターンに対する距離画像内に映るマーカーＭＫのパターンのサイズ比及び向き等を算出する。そして、マーカーＭＫの基準パターンに対する距離画像内に映るマーカーＭＫのパターンのサイズ比及び向きと、マーカーデータベースＤｍに登録された当該マーカーＭＫに関連付けられた監視対象物ＭＴの物体情報と、を参照して、監視対象物ＭＴの識別情報、位置及び姿勢を推定する。
　ステップＳ５において、監視装置１００は、処理対象の後続の画像データがあるか否かを確認し、その他に処理対象の画像データが存在する場合（Ｓ５：ＹＥＳ）、Ｓ１に戻って、同様の処理を繰り返し実行する。他方、その他に処理対象の画像データが存在しない場合（Ｓ５：ＮＯ）、一連のフローチャートの処理を終了する。
　監視装置１００は、以上のような処理によって、時系列に並んだ複数の距離画像それぞれについて、監視対象領域における監視対象物ＭＴの識別情報、位置及び姿勢を特定する。
［効果］
　以上のように、本実施形態に係る監視装置１００は、レーザーレーダー２００が生成した距離画像に係る画像データを取得する画像取得部１０と、距離画像内に映る監視対象物ＭＴの露出面に配設された高反射材からなるマーカーＭＫのパターンを検出し、検出されたマーカーＭＫのパターンと予め記憶された当該マーカーＭＫの基準パターンとに基づいて、監視対象物ＭＴの識別情報、位置及び姿勢を特定する解析部３０と、を有する。
　従って、本実施形態に係る監視装置１００によれば、監視対象物ＭＴを正確に識別することが可能であり、加えて、当該監視対象物ＭＴが乱反射しない素材によって構成されていたり、又は当該監視対象物ＭＴの一部の部位からの反射光を捕捉できないような場合でも、当該監視対象物ＭＴの位置及び姿勢を正確に推定することができる。
　特に、本実施形態に係る監視装置１００は、マーカーＭＫのパターンを三次元的に捉えることができるため、監視対象物ＭＴの位置及び姿勢を高精度に推定することが可能である。これによって、監視対象領域における監視対象物ＭＴの存在領域を三次元的に推定することが可能である。又、これによって、監視対象物ＭＴの動きを行動解析（例えば、車両の動きが前進なのか後進なのか）したり、次の行動を予測したり（例えば、産業用機械の移動方向の予測など）することが可能である。又、これによって、監視対象物ＭＴの特定の部位の移動経路のみを抽出する等、複雑な行動解析を行うことも可能となる。
　図９Ａ、図９Ｂ、図１０は、本実施形態に係る監視装置１００の有用性について、説明する図である。
　一般に、レーザーレーダー２００を用いた物体検出は、レーザーレーダー２００から送出するレーザー光が当たる領域でのみ有用である。そのため、図９Ａに示すように、監視対象物ＭＴ（ここでは、回転アーム）が移動した結果、監視対象物ＭＴの一部（例えば、図９Ａで、点線で囲んだ領域）が、レーザーレーダー２００から陰となっている場合、従来技術に係る監視装置においては、当該監視対象物ＭＴの全体の位置及び存在領域を把握することは困難である。
　この点、本実施形態に係る監視装置１００によれば、予め監視対象物ＭＴ（ここでは、回転アーム）の物体情報と、当該監視対象物ＭＴに配設されたマーカーＭＫの基準パターンとを関連付けてマーカーデータベースＤｍに記憶しておき、距離画像内に映るマーカーＭＫのパターンから当該監視対象物ＭＴの全体の位置及び存在領域等を特定する。従って、本実施形態に係る監視装置１００によれば、図９Ｂに示すように、監視対象物ＭＴの一部が、レーザーレーダー２００から陰となっている場合でも、監視対象物ＭＴの全体の位置及び存在領域を特定することが可能となる。
　又、本実施形態に係る監視装置１００によれば、例えば、図１０に示すように、レーザーレーダー２００から見て監視対象物ＭＴの背面側の位置及び存在領域を特定することが可能である。又、本実施形態に係る監視装置１００によれば、例えば、図１０に示すように、監視対象物ＭＴの露出面に配設されたマーカーＭＫのパターンをトラッキングするだけで、監視対象物ＭＴ全体のトラッキング、及び監視対象物ＭＴの所定部位（例えば、図９Ａで、点線で囲んだ部位）のトラッキングも可能である。
（第１の実施形態の変形例）
　本実施形態に係るマーカーＭＫの構成は、種々に変形し得る。
　図１１は、変形例１に係るマーカーＭＫの構成を示す図である。　
　本変形例１では、監視対象物ＭＴの露出面（ここでは、車両の天板の露出面）に、互いに異なる識別情報を構成する２つのマーカーＭＫａ、ＭＫｂが配設されている。一方のマーカーＭＫａは、監視対象物ＭＴの前部に配設され、他方のマーカーＭＫｂは、監視対象物ＭＴの後部に配設されている。
　本変形例１では、一つの監視対象物ＭＴに対して、２つのマーカーＭＫａ、ＭＫｂを配設することによって、２つのマーカーＭＫａ、ＭＫｂのうちのいずれか一方のマーカーＭＫが障害物に遮蔽されて、レーザーレーダー２００から視認できない状態であっても、監視対象物ＭＴの位置及び姿勢を推定することを可能とする。
　本変形例１では、一方のマーカーＭＫａは、１つの大きな高反射材にて三角形状を構成している。又、他方のマーカーＭＫｂは、２つの高反射材にて、コロン記号の形状を構成している。
　尚、マーカーＭＫｂは、互いに反射率の異なる複数の高反射材ＭＫｂ１、ＭＫｂ２にて、マーカーＭＫｂの向きを識別可能な一つのパターンを構成している。そして、マーカーデータベースＤｍには、マーカーＭＫｂの形状に加えて、マーカーＭＫｂの複数の高反射材ＭＫｂ１、ＭＫｂ２それぞれの反射率の情報も、「マーカーＭＫの基準パターン」の情報として登録されている。このように、高反射材が形成する形状に加えて、反射率も異ならせることによって、より多様な識別情報を構成することが可能である。
　図１２Ａ、図１２Ｂは、変形例２に係るマーカーＭＫの構成を示す図である。
　本変形例２では、監視対象物ＭＴ（ここでは、車両）の後部の露出面（図１２Ａを参照）及び前部の露出面（図１２Ｂを参照）それぞれに、互いに異なる識別情報を構成する２つのマーカーＭＫが配設されている。
　このように本変形例２のように、監視対象物ＭＴの互いに異なる露出面それぞれにマーカーＭＫを配設することによって、遮蔽物ＮＢの存在等に起因して、レーザーレーダー２００から見て、監視対象物ＭＴの正面側又は背面側のいずれか一方のみしか視認できない状態の場合にも、監視装置１００は、監視対象物ＭＴの識別情報、位置及び姿勢を推定することが可能となる。
　尚、マーカーＭＫの形状は、上記の他にも種々に変形可能である。
　但し、マーカーＭＫは、好適には、平面視で多角形、より好適には、平面視で非線対称の多角形（例えば、三角形、五角形）を呈する形状とする。これによって、監視装置１００に対して、距離画像内に映るマーカーＭＫの指向方向をより容易に認識させることが可能である。他方、マーカーＭＫは、二次元形状に限らず、三次元形状を呈していてもよい。
　又、マーカーＭＫは、互いに離間して配設された複数の高反射材によって構成され、当該複数の高反射材が、一体となって所定の形状を形成するのが望ましい。これによって、マーカーＭＫのサイズを大きく確保することが可能であり、監視装置１００に対して、距離画像に映るマーカーＭＫのパターンをより容易に認識させることが可能である。
　又、その他、マーカーＭＫは、監視対象物ＭＴの露出面に貼付される態様に代えて、監視対象物ＭＴの露出面に部材の一部として組み込まれる構成であってもよい。
（第２の実施形態）
　次に、図１３～図１４を参照して、第２の実施形態に係る監視装置１００の構成について説明する。図１３は、第２の実施形態に係る監視装置１００の構成を示す図である。
　本実施形態に係る監視装置１００は、データ登録部５０を有している点で、第１の実施形態と相違する。尚、第１の実施形態と共通する構成については、説明を省略する（以下、他の実施形態についても同様）。　
　データ登録部５０は、未登録の監視対象物ＭＴについて、当該監視対象物ＭＴが有するマーカーＭＫの基準パターンと、当該監視対象物ＭＴの物体情報と、を関連付けてマーカーデータベースＤｍに新規に登録する。
　データ登録部５０は、例えば、レーザーレーダー２００を用いて、監視対象物ＭＴの全体形状（及びサイズ）を測定し、その測定データから当該監視対象物ＭＴと共に測定されたマーカーＭＫを抽出する。そして、データ登録部５０は、測定データにより得たマーカーＭＫの形状及びサイズを「マーカーＭＫの基準パターン」として記憶すると共に、測定データにより得た監視対象物ＭＴの形状及びサイズを「監視対象物ＭＴの物体情報」として記憶し、両者を識別情報で関連付けてマーカーデータベースＤｍに登録する。この際、データ登録部５０は、距離画像内に映る監視対象物ＭＴとマーカーＭＫとの位置関係に基づいて、監視対象物ＭＴ内におけるマーカーＭＫの位置についても、「監視対象物ＭＴの物体情報」としてマーカーデータベースＤｍに記憶する。尚、データ登録部５０は、新規登録する監視対象物ＭＴについては、新規な識別情報を付して、マーカーデータベースＤｍに記憶する。
　尚、データ登録部５０が、レーザーレーダー２００を用いて、監視対象物ＭＴの全体形状（及びサイズ）を測定する際には、典型的には、監視対象物ＭＴの上方向（又は下方向）、左方向（又は右方向）、及び、正面方向（又は背面方向）のそれぞれから、レーザーレーダー２００にて、監視対象物ＭＴを撮像する。そして、データ登録部５０は、これらにより得られた監視対象物ＭＴの上下方向の長さ、左右方向の長さ、及び前後方向の長さを、物体情報として登録する。
　図１４は、本実施形態に係る監視装置１００による登録処理を示すフローチャートである。図１４に示すフローチャートは、例えば、ユーザから新規登録指令がなされた場合に、監視装置１００がコンピュータプログラムに従って、実行するものである。
　ステップＳ１１において、監視装置１００は、レーザーレーダー２００を用いて、マーカーデータベースＤｍに登録する対象の監視対象物ＭＴ全体の形状を、当該監視対象物ＭＴの各方向（例えば、前後、左右及び上下）から測定する。この際、監視装置１００は、例えば、レーザーレーダー２００に、監視対象物ＭＴの各方向の面形状を測定させ、これにより得られた距離画像を合成することによって、監視対象物ＭＴの三次元的な形状を認識してもよい。尚、この際、レーザーレーダー２００を、監視対象物ＭＴに対して移動させてもよいし、監視対象物ＭＴを、レーザーレーダー２００に対して移動させてもよい。
　ステップＳ１２において、監視装置１００は、ステップＳ１１の測定データから認識された監視対象物ＭＴのサイズ及び形状を、監視対象物ＭＴの物体情報として、マーカーデータベースＤｍに登録する。
　ステップＳ１３において、監視装置１００は、ステップＳ１１の測定データから反射光の反射強度が閾値以上の領域（即ち、距離画像中の反射光の反射強度が閾値以上の画素領域）を抽出し、これにより、マーカーＭＫの形状及びサイズを検出する。
　ステップＳ１４において、監視装置１００は、ステップＳ１３で特定されたマーカーＭＫの形状を、マーカーデータベースＤｍに登録済みの他のすべてのマーカーＭＫの基準パターンと比較する。尚、このステップＳ１４において、監視装置１００は、この比較結果を、一致度として算出する。
　ステップＳ１５において、監視装置１００は、ステップＳ１３で特定されたマーカーＭＫの形状が、マーカーデータベースＤｍに登録済みの他のマーカーＭＫの基準パターンのいずれとも一致しない場合（Ｓ１５：ＮＯ）、ステップＳ１８に処理を進める。一方、ステップＳ１３で特定されたマーカーＭＫの形状が、マーカーデータベースＤｍに登録済みの他のマーカーＭＫの基準パターンのいずれかと一致する場合（Ｓ１５：ＹＥＳ）、ステップＳ１６に処理を進める。
　ステップＳ１６において、監視装置１００は、同一パターンのマーカーＭＫが登録済みであるため、マーカーＭＫの形状を変更して再登録するように通知する。又、このステップＳ１６において、監視装置１００は、ステップＳ１２で仮登録した監視対象物ＭＴの物体情報をマーカーデータベースＤｍ中から削除して、ステップＳ１７に処理を進める。
　ステップＳ１７において、監視装置１００は、再度、ユーザから再登録指令があるのを待ち受け（Ｓ１７：ＮＯ）、ユーザから再登録要求があった場合（Ｓ１７：ＹＥＳ）、ステップＳ１１に戻って、同様の処理を実行する。
　ステップＳ１８において、監視装置１００は、ステップＳ１３で特定されたマーカーＭＫの形状及びサイズを、マーカーＭＫの基準パターンとして、ステップＳ１２で登録した監視対象物ＭＴの物体情報と関連付けて、マーカーデータベースＤｍに登録する。
　以上のように、本実施形態に係る監視装置１００によれば、容易に、新規な監視対象物ＭＫを、マーカーデータベースＤｍに登録することが可能である。これによって、ユーザの用途に合わせて、逐次的に、マーカーデータベースＤｍを更新していくことが可能である。
（第３の実施形態）
　次に、図１５を参照して、第３の実施形態に係る監視装置１００について説明する。図１５は、第３の実施形態に係る監視装置１００の構成を示す図である。
　本実施形態に係る監視装置１００は、レーザーレーダー２００に内蔵されている点で、第１の実施形態と相違する。そして、監視装置１００の画像取得部１０は、レーザーレーダー２００の測定部２１０（即ち、距離画像を生成する撮像部）から直接画像データを取得する。
　本実施形態に係る監視装置１００は、レーザーレーダー２００とは別体のコンピュータを用意する必要がなくなる点で有用である。
（その他の実施形態）
　本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
　例えば、上記実施形態では、画像処理装置１００の構成の一例として、画像取得部１０、フィルタ処理部２０、解析部３０、及び、報知部４０の機能が一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。
　以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
　２０１９年３月１日出願の特願２０１９－０３７５９０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本開示に係る監視装置によれば、レーザーレーダーを用いた動体監視の精度を向上することが可能である。
  Ｕ　監視システム
　１００　監視装置
　１０１　ＣＰＵ
　１０２　ＲＯＭ　
　１０３　ＲＡＭ
　１０４　外部記憶装置
　１０５　通信インターフェイス
　１０　画像取得部
　２０　フィルタ処理部
　３０　解析部
　４０　報知部
　５０　データ登録部
　２００　レーザーレーダー
　２１０　測定部
　３００　スピーカー
  Ｄｍ　マーカーデータベース
　ＤＬ　解析データ
　ＭＫ、ＭＫａ、ＭＫｂ　マーカー（反射材）
　ＭＴ　監視対象物
　ＮＢ　遮蔽物

Claims (12)

  1. 　反射材を有する監視対象物の状態を監視する監視装置であって、
    　所定領域を監視するレーザーレーダーが生成した距離画像に係る画像データを取得する画像取得部と、
    　前記距離画像内に映る前記監視対象物の前記反射材のパターンを検出し、検出された前記反射材のパターンと予めデータベースに記憶された前記反射材の基準パターンとに基づいて、前記所定領域における前記監視対象物の位置及び姿勢を特定する解析部と、
    　を備える監視装置。
  2. 　前記反射材は、マーカーである、
    　請求項１に記載の監視装置。
  3. 　前記距離画像内から、前記レーザーレーダーが受信した反射光の反射強度が閾値以上の画素領域のみを抽出し、抽出された前記距離画像を前記解析部に送出するフィルタ処理部を更に備える、
    　請求項１又は２に記載の監視装置。
  4. 　前記解析部は、検出された前記反射材のパターンと予め前記データベースに記憶された前記反射材の基準パターンとに基づいて、前記監視対象物の識別情報を特定する、
    　請求項１乃至３のいずれか一項に記載の監視装置。
  5. 　前記解析部は、前記監視対象物を識別する際、前記距離画像内に検出された前記反射材の位置と、予め前記データベースに記憶された前記監視対象物のサイズ及び可動域に係る物体情報と、に基づいて、前記データベースに記憶された複数の前記監視対象物のうちから、検索対象の前記監視対象物を絞り込む、
    　請求項４に記載の監視装置。
  6. 　前記レーザーレーダーを用いて、前記監視対象物の全体形状を測定し、その測定データと、その測定データから認識される前記監視対象物の前記反射材の形状及びサイズとを関連付けて、新たに前記データベースに登録するデータ登録部を更に備える、
    　請求項１乃至５のいずれか一項に記載の監視装置。
  7. 　前記反射材は、平面視で、多角形状を呈する、
    　請求項１乃至６のいずれか一項に記載の監視装置。
  8. 　互いに離間して配設された複数の前記反射材によって、一つのパターンが形成されている、
    　請求項１乃至７のいずれか一項に記載の監視装置。
  9. 　互いに反射率が異なる複数の前記反射材によって、一つのパターンが形成されている、　請求項１乃至８のいずれか一項に記載の監視装置。
  10. 　前記解析部は、時系列に並んだ前記距離画像に基づいて、前記監視対象物の位置をトラッキングする、
    　請求項１乃至９のいずれか一項に記載の監視装置。
  11. 　前記解析部の解析結果に基づいて、前記監視対象物に他の物体が近接した状態の発生が検出された場合、報知する報知部を更に有する、
    　請求項１乃至１０のいずれか一項に記載の監視装置。
  12. 　反射材を有する監視対象物の状態を監視する監視方法であって、
    　所定領域を監視するレーザーレーダーが生成した距離画像に係る画像データを取得し、
    　前記距離画像内に映る前記監視対象物の前記反射材のパターンを検出し、検出された前記反射材のパターンと予め記憶された前記反射材の基準パターンとに基づいて、前記所定領域における前記監視対象物の位置及び姿勢を特定する、
    　監視方法。
PCT/JP2020/005270 2019-03-01 2020-02-12 監視装置、及び監視方法 WO2020179382A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019037590 2019-03-01
JP2019-037590 2019-03-01

Publications (1)

Publication Number Publication Date
WO2020179382A1 true WO2020179382A1 (ja) 2020-09-10

Family

ID=72338288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005270 WO2020179382A1 (ja) 2019-03-01 2020-02-12 監視装置、及び監視方法

Country Status (1)

Country Link
WO (1) WO2020179382A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155245A (zh) * 2022-02-10 2022-03-08 中煤科工开采研究院有限公司 一种煤矿井下基于三维点云的围岩变形监测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233173A (ja) * 2003-01-30 2004-08-19 Ricoh Co Ltd 角度・位置検出装置及びそれを内蔵した自在継手
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
WO2018230517A1 (ja) * 2017-06-13 2018-12-20 川崎重工業株式会社 作業システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233173A (ja) * 2003-01-30 2004-08-19 Ricoh Co Ltd 角度・位置検出装置及びそれを内蔵した自在継手
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
WO2018230517A1 (ja) * 2017-06-13 2018-12-20 川崎重工業株式会社 作業システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155245A (zh) * 2022-02-10 2022-03-08 中煤科工开采研究院有限公司 一种煤矿井下基于三维点云的围岩变形监测方法及装置
CN114155245B (zh) * 2022-02-10 2022-05-03 中煤科工开采研究院有限公司 一种煤矿井下基于三维点云的围岩变形监测方法及装置

Similar Documents

Publication Publication Date Title
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
US10502557B2 (en) Method for the three dimensional measurement of a moving objects during a known movement
US9443308B2 (en) Position and orientation determination in 6-DOF
US11335182B2 (en) Methods and systems for detecting intrusions in a monitored volume
US9182763B2 (en) Apparatus and method for generating three-dimensional map using structured light
JP6080969B2 (ja) 対象物の姿勢を決定するための方法と装置
US9528828B2 (en) Method and system for determining position and orientation of a measuring instrument
RU2669200C2 (ru) Устройство обнаружения препятствий при помощи пересекающихся плоскостей и способ обнаружения с применением такого устройства
US20070242280A1 (en) Digitizer adapter
JP2003530561A (ja) 測定装置及び方法
JP7194015B2 (ja) センサシステム及び距離測定方法
KR20170027767A (ko) 수평 평면을 이용해 장애물을 검출하는 장치 및 이러한 장치 구현 검출 방법
US20160349049A1 (en) Target point detection method
US20190242692A1 (en) Augmented reality-based system with perimeter definition functionality
WO2020179382A1 (ja) 監視装置、及び監視方法
US20220414925A1 (en) Tracking with reference to a world coordinate system
JP2011212818A (ja) 環境認識ロボット
Godil et al. 3D ground-truth systems for object/human recognition and tracking
US10408604B1 (en) Remote distance estimation system and method
WO2019093372A1 (ja) 物体検出システム及び物体検出プログラム
KR102525568B1 (ko) 반사판을 이용한 원거리 라이다 위치 보정 시스템 및 방법
CN113048878B (zh) 光学定位***、方法以及多视图三维重建***、方法
JP7244801B2 (ja) 物体検出システム及び物体検出プログラム
WO2023163760A1 (en) Tracking with reference to a world coordinate system
CN117640915A (zh) 用于改进选择特征扫描的有立体摄像机视野的激光扫描仪

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20766461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20766461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP