WO2020105527A1 - 画像解析装置、画像解析システム、および制御プログラム - Google Patents

画像解析装置、画像解析システム、および制御プログラム

Info

Publication number
WO2020105527A1
WO2020105527A1 PCT/JP2019/044580 JP2019044580W WO2020105527A1 WO 2020105527 A1 WO2020105527 A1 WO 2020105527A1 JP 2019044580 W JP2019044580 W JP 2019044580W WO 2020105527 A1 WO2020105527 A1 WO 2020105527A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
image analysis
information
camera
Prior art date
Application number
PCT/JP2019/044580
Other languages
English (en)
French (fr)
Inventor
将則 吉澤
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2020105527A1 publication Critical patent/WO2020105527A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image analysis device, an image analysis system, and a control program.
  • the behavior of a person being imaged is analyzed based on an image from a surveillance camera, a person whose behavior is an abnormal behavior including fraudulent behavior, etc. is detected, and the person is notified to a security guard or the like. Is being done.
  • Patent Document 1 it is determined whether or not a person's behavior corresponds to a specific behavior pattern by performing image analysis of a plurality of time-series frame images obtained from an imaging camera, and if so, There is disclosed a monitoring device for generating an alarm.
  • the quality of the image obtained from the surveillance camera is affected by the installation environment (surveillance environment), and there is a problem that it cannot be accurately determined because the image quality is significantly deteriorated in the environment such as rainy weather or nighttime.
  • the surveillance system disclosed in Patent Document 2 aims to analyze the behavior of a person in the surveillance area without being affected by the shooting environment (surveillance environment), and the surveillance camera Instead, the behavior of the person is determined using position information of the person obtained from a laser positioning device (also called a laser radar or a laser lidar).
  • a laser positioning device also called a laser radar or a laser lidar
  • the laser radar may not be able to correctly detect the target object under any environment.
  • the laser radar detects water droplets (water droplets) in the atmosphere on the front side of the target object and cannot correctly detect the distance to the target object. There is.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image analysis device capable of highly accurately analyzing an object in a shooting region regardless of shooting conditions.
  • a data acquisition unit that acquires the image data from a camera that generates the image data, From the measurement data acquired from the rider, the position information of the object, a distance information analysis unit for detecting object information including the size, From the image data acquired from the camera, an image analysis unit that detects object information,
  • a shooting condition acquisition unit that acquires shooting conditions in the first and second shooting regions; Based on the acquired shooting conditions, an integrated process of integrating the detection result of the distance information analysis unit and the detection result of the image analysis unit in the common area where the first and second shooting areas overlap, An information integration unit that generates information, An image analysis device including.
  • the image analysis unit uses an inference processing parameter generated by learning the image data acquired from the camera under predetermined shooting conditions among a plurality of shooting conditions based on the shot image data.
  • the image analysis apparatus according to (1) above which analyzes by inference processing by the neural network used.
  • a display unit that displays a display image based on the image data obtained from the camera, The image analysis device according to any one of (1) to (6) above, wherein the object information generated by the information integration unit is displayed on the display image in a superimposed manner.
  • the information integration unit determines whether or not to adopt one or both of the detection result of the distance information analysis unit and the detection result of the image analysis unit, according to the imaging condition, and makes a determination.
  • the image analysis apparatus according to any one of (1) to (6), which performs the integration processing according to a result.
  • the information integration unit adopts either or both of the detection result of the distance information analysis unit and the detection result of the image analysis unit for each detected object according to the imaging condition.
  • a display unit that displays a display image based on the image data obtained from the camera, The object information generated by the information integration unit is superimposed and displayed on the display image, and the object information to be displayed is displayed in a different mode according to the determination result of the information integration unit, (9) Or the image analysis device according to (10) above.
  • the rider and the camera continuously measure and photograph at a predetermined frame rate,
  • the number of frames per unit time processed by the image analysis unit is less than the number of frames per unit time processed by the distance information analysis unit,
  • the image analysis apparatus according to any one of (1) to (11) above, wherein the information integration unit executes the integration process at a timing when the process of the image analysis unit is completed.
  • a warning determination unit that determines a moving direction of the object detected as a vehicle in the common area and outputs an alert signal when the moving direction is not a normal direction, further includes (1) above.
  • the distance between the object detected as a person and the object detected as a vehicle, or the distance between the object detected as a person and the object detected as a vehicle is determined, and the distance is equal to or less than a predetermined value.
  • the image analysis device according to any one of (1) to (12) above, further including a report determination unit that outputs an alert signal.
  • a rider that measures a distance value to an object to be measured in the first imaging region and generates measurement data, A camera for photographing a second photographing area including at least a part of the first photographing area and generating image data;
  • An image analysis system including.
  • a control program executed by a computer that controls the image analysis device A step (a) of obtaining measurement data from a rider that measures a distance value to an object to be measured in the first imaging region; A step (b) of capturing a second image capturing area including at least the first image capturing area and acquiring the image data from a camera that generates image data; Detecting (c) object information including the position and size of the object from the measurement data acquired in step (a); Step (d) of detecting object information from the image data acquired in step (b), A step (e) of acquiring image capturing conditions in the first and second image capturing areas, The detection result of step (c) and the detection result of step (d) in the common area where the first and second imaging areas overlap are integrated based on the imaging conditions acquired in step (e). A control program for causing the computer to perform a process including a step (f) of performing an integrated process to generate object information.
  • the image analysis device is an image for detecting object information from the distance information analysis unit that detects the object information including the position and size of the object from the measurement data acquired from the rider, and the image data acquired from the camera.
  • An information integration unit that performs integration processing that integrates the detection result of the distance information analysis unit and the detection result of the image analysis unit in the area to generate object information.
  • FIG. 1 is a block diagram showing a configuration of an image analysis system according to a first embodiment. It is a sectional view showing a schematic structure of a rider.
  • FIG. 3 is a schematic diagram showing a state in which a rider is arranged such that a road on which a vehicle runs is a shooting area. It is a schematic diagram which shows the state which scans a photography region by a rider.
  • 9 is a table showing a correspondence relationship between a detection result, a shooting condition, and a determination result. It is a block diagram which shows the structure of the image analysis system which concerns on 2nd Embodiment. It is a block diagram which shows the structure of the image analysis system which concerns on 3rd Embodiment. 9 is a table showing a correspondence relationship between a detection result, a shooting condition, and a determination result. It is a block diagram which shows the structure of the image analysis system which concerns on 4th Embodiment.
  • FIG. 1 is a block diagram showing the main configuration of the image analysis system 10 according to the first embodiment.
  • the image analysis system 10 includes a rider 100, a camera 200, an image analysis device 300, and a display unit 400.
  • the lidar 100 (LiDAR: Light Detection and Ranging) scans the imaging area 710 (see FIG. 3) by the ToF method using infrared (about 800 to 1000 nm) laser light to measure the distance to the object. Details of the rider 100 will be described later.
  • the camera 200 is a well-known image capturing device, and is provided with an image sensor having a sensitivity in a visible light region such as a CCD or a CMOS, and an optical system such as a lens. Image).
  • the rider 100 and the camera 200 have their optical axes oriented substantially in the same direction, and at least a part of the shooting area 710 measured by the rider 100 and the shooting area 720 taken by the camera 200 overlap.
  • the overlapping area is referred to as a common area.
  • the display unit 400 is, for example, a liquid crystal display, and displays various information.
  • the display unit 400 is an output destination of the image analysis device 300 and displays the generated display image using the integration result.
  • FIG. 2 is a cross-sectional view showing a schematic configuration of the rider 100.
  • FIG. 3 is a schematic diagram showing a state in which the rider 100 and the camera 200 are arranged so that the shooting areas 710 and 720 are located on the road 61 as an example.
  • the rider 110 (and the camera 200) is arranged above the pillar 62 toward the road 61.
  • the first shooting area 710 includes the second shooting area 720.
  • the common area 730 in which the first and second shooting areas 710 and 720 overlap is equivalent to the second shooting area 720.
  • objects (moving objects) 81 and 82 exist on the road 61.
  • the object 81 is a vehicle (normal passenger car) and the object 82 is a pedestrian.
  • the rider 100 has a light emitting / receiving unit 111 and a distance measuring point cloud data generation unit 112.
  • the light projecting / receiving unit 111 has a semiconductor laser 51, a collimator lens 52, a mirror unit 53, a lens 54, a photodiode 55, a motor 56, and a housing 57 that houses each of these components.
  • a distance measuring point cloud data generation unit 112 is arranged in the housing 57. Based on the received light signal, the distance measurement point cloud data generation unit 112 detects the distance measurement point cloud data (simply “measurement data”) that is composed of a plurality of pixels indicating the distribution of distance values to the object in the measurement space. (Also called).
  • This distance measuring point group data is also called a distance image or a distance map.
  • the semiconductor laser 51 emits a pulsed laser beam.
  • the collimator lens 52 converts the divergent light from the semiconductor laser 51 into parallel light.
  • the mirror unit 53 scans and projects the laser light made parallel by the collimator lens 52 toward the measurement area by the rotating mirror surface, and reflects the reflected light from the object.
  • the lens 54 collects the reflected light from the object reflected by the mirror unit 53.
  • the photodiode 55 receives the light condensed by the lens 54 and has a plurality of pixels arranged in the Y direction.
  • the motor 56 rotationally drives the mirror unit 53.
  • the distance measurement point cloud data generation unit 112 controls the operation of the light emitting / receiving unit 111 and generates continuous frames (distance measurement point cloud data) at a predetermined cycle (for example, several to 20 Hz).
  • the distance measurement point group data generation unit 112 obtains distance information (distance value) based on the time interval (time difference) between the emission timing of the semiconductor laser 51 of the lidar 100 and the light reception timing of the photodiode 55.
  • the distance measuring point cloud data generation unit 112 is composed of a CPU (Central Processing Unit) and a memory, and executes various programs by executing the programs stored in the memory to obtain the distance measuring point cloud data.
  • a dedicated hardware circuit for generating distance measuring point cloud data may be provided.
  • the distance measurement point group data generation unit 112 may be omitted and the distance information analysis unit 320, which will be described later, may perform this function. In this case, the rider 100 simply outputs the light reception signal corresponding to each pixel to the image analysis device 300.
  • the semiconductor laser 51 and the collimator lens 52 constitute the emitting section 501
  • the lens 54 and the photodiode 55 constitute the light receiving section 502.
  • the optical axes of the emitting section 501 and the light receiving section 502 are preferably orthogonal to the rotation axis 530 of the mirror unit 53.
  • the box-shaped housing 57 fixedly installed on the pillar 62 or the like which is a rigid body, includes an upper wall 57a, a lower wall 57b facing the upper wall 57a, and a side wall 57c connecting the upper wall 57a and the lower wall 57b.
  • An opening 57d is formed in a part of the side wall 57c, and a transparent plate 58 is attached to the opening 57d.
  • the mirror unit 53 has a shape in which two quadrangular pyramids are joined in the opposite direction and integrated, that is, four pairs of mirror surfaces 531a and 531b tilted in a pair to face each other (but not limited to four pairs). ) I have.
  • the mirror surfaces 531a and 531b are preferably formed by depositing a reflective film on the surface of a resin material (for example, PC (polycarbonate)) in the shape of a mirror unit.
  • the mirror unit 53 is connected to a shaft 56a of a motor 56 fixed to a housing 57 and is rotationally driven.
  • the axis line (rotation axis line) of the shaft 56a extends in the Y direction, which is the vertical direction, in the state of being installed on the column 62, and is formed by the X direction and the Z direction orthogonal to the Y direction.
  • the XZ plane is a horizontal plane, the axis of the shaft 56a may be inclined with respect to the vertical direction.
  • the divergent light emitted intermittently in a pulse form from the semiconductor laser 51 is converted into a parallel light flux by the collimator lens 52, and is incident on the first mirror surface 531a of the rotating mirror unit 53. After that, after being reflected by the first mirror surface 531a and further reflected by the second mirror surface 531b, the light is transmitted as a laser spot light having a vertically long rectangular cross section toward the external measurement space through the transparent plate 58. Be illuminated.
  • the direction in which the laser spot light is emitted and the direction in which the emitted laser spot light is reflected by the object and returns as reflected light overlap, and these two overlapping directions are called the light emitting and receiving directions (see FIG. In FIG. 2, the emitted light and the reflected light are shifted from each other for the sake of clarity).
  • Laser spot light traveling in the same light emitting / receiving direction is detected by the same pixel.
  • the four pairs have different crossing angles.
  • the laser light is sequentially reflected by the rotating first mirror surface 531a and second mirror surface 531b.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface 531b of the first pair is moved horizontally (“main scanning direction”) in the uppermost area of the measurement space according to the rotation of the mirror unit 53. (Also called) from left to right.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface 531b of the second pair horizontally moves from the left to the right in the second area from the top of the measurement space according to the rotation of the mirror unit 53. Scanned into.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface 531b of the third pair horizontally moves from the left to the right in the third area from the top of the measurement space according to the rotation of the mirror unit 53.
  • the laser light reflected by the first mirror surface 531a and the second mirror surface of the fourth pair scans the lowermost region of the measurement space in the horizontal direction from left to right according to the rotation of the mirror unit 53. To be done.
  • a part of the laser light reflected by the object in the scanning projected light beam again passes through the transparent plate 58 and enters the second mirror surface 531b of the mirror unit 53 in the housing 57,
  • the light is reflected here, is further reflected by the first mirror surface 531a, is condensed by the lens 54, and is detected for each pixel by the light receiving surface of the photodiode 55.
  • the distance measurement point cloud data generation unit 112 obtains distance information according to the time difference between the emission timing of the semiconductor laser 51 and the light reception timing of the photodiode 55.
  • the object can be detected in the entire area of the measurement space, and a frame as distance measuring point cloud data having distance information for each pixel can be obtained.
  • This frame is generated at a predetermined cycle, for example, 10 fps. Further, according to a user's instruction, the obtained distance measuring point cloud data may be stored as background image data in the memory within the distance measuring point cloud data generation unit 112 or the memory of the image analysis device 300.
  • markers objects having a characteristic shape
  • the distance measurement point cloud data and image data obtained from each are analyzed. And recognize this marker. Then, by associating the recognized coordinate positions of the common marker with each other, correction data for correcting the coordinate position of the rider 100 and the camera 200 (for associating the angle of view (direction)) is generated. This correction data is stored in the memory of the image analysis device 300.
  • the image analysis apparatus 300 is, for example, a computer, and includes a CPU, a memory (semiconductor memory, magnetic recording medium (hard disk, etc.)), an input / output unit (display, keyboard, etc.), a communication I / F (Interface), and the like.
  • the communication I / F is an interface for communicating with an external device.
  • a network interface according to a standard such as Ethernet (registered trademark), SATA, PCI Express, USB, or IEEE 1394 may be used.
  • a wireless communication interface such as Bluetooth (registered trademark), IEEE 802.11, or 4G may be used for communication.
  • the image analysis device 300 includes a data acquisition unit 310, a distance information analysis unit 320, an image analysis unit 330, a shooting condition acquisition unit 340, and an information integration unit 350.
  • the CPU of the image analysis device 300 functions as the distance information analysis unit 320, the image analysis unit 330, the shooting condition acquisition unit 340, and the information integration unit 350, and the communication I / F functions as the data acquisition unit 310 and the shooting condition. It functions as the acquisition unit 340.
  • the data acquisition unit 310 acquires the distance measurement point cloud data (also referred to as a frame) generated by the rider 100 and arranged in time series, and sends the acquired distance measurement point cloud data to the distance information analysis unit 320. Further, the data acquisition unit 310 acquires image data (also referred to as frames) arranged in time series from the camera 200, and sends the acquired image data to the image analysis unit 330.
  • the frame rate of the rider 100 and the frame rate of the camera 200 are different, and the frame rate of the camera 200 is higher.
  • the rider 100 is 10 fps and the camera 200 is 60 fps.
  • the distance information analysis unit 320 recognizes an object in the imaging region 710 using the distance measurement point cloud data acquired via the data acquisition unit 310.
  • the object information of the object obtained by the recognition is sent to the information integration unit 350 in the subsequent stage.
  • the object information includes at least the position and size of the object.
  • the position information the three-dimensional center position of the recognized object can be used.
  • the background subtraction method is adopted for object recognition. In this background subtraction method, background image data (also referred to as reference background data) generated in advance and stored in the memory is used.
  • the distance information analysis unit 320 compares the background image data held in the memory with the distance measuring point cloud data at the present time, and if there is a difference, some object such as a vehicle (foreground object) is detected in the imaging area 710. You can recognize that it appeared inside.
  • the foreground data is extracted by using the background subtraction method to compare the background image data with the current distance measuring point cloud data (distance image data).
  • the pixels (pixel group) of the extracted foreground data are divided into clusters according to the distance value of the pixels, for example.
  • the size of each cluster is calculated. For example, vertical dimension, horizontal dimension, total area, etc. are calculated.
  • the “size” here is an actual size, and unlike the apparent size (angle of view, that is, the spread of pixels), the cluster of pixel groups is determined according to the distance to the object.
  • the distance information analysis unit 320 determines whether or not the calculated size is less than or equal to a predetermined size threshold value for identifying the moving object to be analyzed which is the extraction target.
  • the size threshold can be arbitrarily set depending on the measurement location, the behavior analysis target, and the like. If the behavior of a vehicle or a person is tracked and analyzed, the minimum value of the size of each of the vehicle and the person may be used as the size threshold value for clustering. This makes it possible to exclude fallen leaves, dust such as plastic bags, or small animals from detection targets.
  • the distance information analysis unit 320 classifies (type discrimination) the recognized object into a specific target object.
  • the specific set object is a person, a vehicle, a moving machine other than the vehicle, or the like.
  • Vehicles include ordinary vehicles, large vehicles (trucks, etc.), motorcycles, and forklifts and other transportation vehicles.
  • the moving machines include heavy equipment, construction equipment, and belt conveyors.
  • the object may be appropriately selected according to the environment in which the rider 100 of the image analysis system 10 and the camera 200 are installed. For example, if it is an ordinary road or a highway, people and vehicles are targets. If it is a construction site, people, vehicles, and heavy equipment are targeted.
  • Classification into objects is performed, for example, by preliminarily storing the characteristics (size, shape) for each type of objects in the memory of the image analysis device 300, and matching with these characteristics. Further, this type determination algorithm may be machine-learned in advance by a known algorithm. This machine learning is carried out in advance on another high-performance computer using a huge amount of data, and the inference processing parameters are determined.
  • the distance information analysis unit 320 classifies the types by using the determined inference processing parameter.
  • the classification result may be included in the object information sent to the information integration unit 350, and the classification result may be displayed on the display unit 400. Further, statistical processing (integrated count, etc.) according to the classification result may be performed and output to an external terminal device or the like.
  • the image analysis unit 330 recognizes an object in the imaging region 710 using the image data acquired via the data acquisition unit 310.
  • the object information of the object obtained by the recognition is sent to the information integration unit 350 in the subsequent stage.
  • the object information includes at least the position and size of the object. As the information of this position, the center position of the recognized object at the angle of view can be used.
  • a time difference method or a background difference method can be adopted for object recognition.
  • an object can be detected by extracting a range of pixels having a relatively large difference in image data of two frames before and after in time series.
  • the background image data also referred to as reference background data
  • the object can be detected by extracting the foreground pixels.
  • the image analysis unit 330 may classify the object into a specific object based on the detected shape and size of the object.
  • the specific target portion is a person, a vehicle, a moving machine other than the vehicle, or the like.
  • the vehicles may be subclassified according to their color (black vehicle (vehicle configured with black)) and subclassified by size (large vehicle).
  • the classification result may be included in the object information sent to the information integration unit 350.
  • the imaging condition acquisition unit 340 acquires the imaging conditions (imaging conditions, measurement conditions) of the imaging regions 710 and 720 (common area 730). For example, the photographing condition acquisition unit 340 acquires temperature and humidity as the photographing condition from the temperature / humidity meter 91 provided inside or in the common area 730. In addition, the illuminance (brightness) is acquired as the shooting condition from the illuminance meter 92 provided inside or in the common area 730.
  • the shooting condition acquisition unit 340 also acquires weather information from the weather information distribution unit 93.
  • the weather information distribution unit 93 is, for example, a device managed by an external weather information sender (the Meteorological Agency, a private weather company) connected via a network.
  • the weather information includes, for example, rain, snow, and fog.
  • an API Application Programming Interface
  • weather information such as rainfall, snowfall, and fog may be estimated from an image from the camera 200 or measurement data of the rider 100, and the estimation result may be used as a shooting condition.
  • the image capturing condition acquisition unit 340 may be connected to a visibility meter or an environment sensor using a plurality of types of sensors, and acquire image capturing conditions from these measuring devices.
  • the photographing condition acquisition unit 340 may be provided with a clock function, and may judge from day and time to daytime and nighttime.
  • the information integration unit 350 uses the shooting conditions acquired from the shooting condition acquisition unit 340 to detect the detection result of the distance information analysis unit 320 (hereinafter, also referred to as “detection result 1”) and the detection result of the image analysis unit 330 (hereinafter, referred to as “detection result 1”). , "Detection result 2"). Specifically, in the common area 730, the object information (position, size) of the objects detected by the detection result 1 and the detection result 2 is compared for each object, and whether the detection result is correct or not is determined. It is determined by referring to the shooting conditions. Then, the integration process is performed according to the determination result. Specific processing will be described later.
  • Display control unit 360 The display control unit 360 generates a display image for display from the image data acquired from the camera 200, outputs it to the display unit 400, and displays it. Further, an additional image based on the integrated object information is superimposed on the display image. For example, when a vehicle is detected as an object, a rectangular frame surrounding the vehicle is created as an additional image, and this is superimposed on the display image. At this time, the display mode of the additional image may be changed according to the determination result of the information integration unit 350.
  • FIG. 4 is a flowchart showing an image analysis process executed by the image analysis device 300 of the image analysis system 10 according to the first embodiment.
  • FIG. 5 is a table showing a correspondence relationship between the detection result and the shooting condition and the determination result.
  • Step S11 The image analysis device 300 outputs a control signal to the rider 100 to start the measurement, and acquires the distance measurement point cloud data obtained from the measurement of the imaging region 710 from the rider 100 via the data acquisition unit 310.
  • the image analysis apparatus 300 outputs a control signal to the camera 200 to start shooting, and acquires image data obtained by shooting the shooting area 720 from the camera 200 via the data acquisition unit 310.
  • Step S12 The distance information analysis unit 320 analyzes the distance measurement point cloud data sent from the data acquisition unit 310, and detects object recognition and object information including the recognized position and size of the recognized object. When a plurality of objects are recognized in one frame, object information for each object is detected. The distance information analysis unit 320 sends this detection result (detection result 1) to the information integration unit 350.
  • Step S13 The image analysis unit 330 analyzes the image data sent from the data acquisition unit 310, and detects the object and the object information including the position and size of the recognized object. When a plurality of objects are recognized in one frame, object information for each object is detected. The image analysis unit 330 sends the detection result (detection result 2) to the information integration unit 350.
  • the image analysis unit 330 does not need to perform image processing on all the frames, and may process the frames by thinning them out to a fraction. For example, it is assumed that the rider 100 performs measurement at 10 fps, the processing rate of the distance information analysis unit 320 is 10 fps, and the image data captured by the camera 200 is 60 fps. In this case, the image analysis unit 330 may process 10 fps or 5 fps by processing 1/6 or 1/12 of the frames acquired at 60 fps.
  • the processing rate of the distance information analysis unit 320 is also set to 5 fps.
  • the information integration unit 350 performs both the distance information analysis unit 320 and the image analysis unit 330 with respect to the frames obtained by measurement and photographing at substantially the same timing, and The integration process is executed in accordance with the completion timing of the process, that is, the completion timing of the image analysis unit 330 having the slow process.
  • the shooting condition acquisition unit 340 acquires the shooting conditions and sends them to the information integration unit 350.
  • the shooting condition includes any one of information on temperature and humidity, illuminance, and weather.
  • Step S15 The information integration unit 350 performs integration processing of object information based on the detection results 1 and 2 and the shooting conditions obtained in steps S12 to S14. This integration processing is performed as follows using the table of FIG.
  • the detection result 1 (rider 100) is determined to be false. In this case, it is handled that there is no object determined here.
  • the rider 100 irradiates a pulsed laser of a predetermined size toward the imaging region 710, and a part of it is reflected by fog (water droplets) to be reflected light.
  • fog water droplets
  • the reflected light reflected from a plurality of water droplets in front of the object may erroneously detect that there is an object at the position of the fog.
  • the reflection from the fog is measured as the reflection from the object, and the object is erroneously recognized as if it were present.
  • the presence or absence of fog may be comprehensively determined from the temperature and humidity, weather information, and image data of the camera 200.
  • the detection result 1 (rider 100) is determined to be true.
  • the rider 100 can perform detection even if it is raining, snowing, or at night without much influence.
  • the image analysis unit 330 may again analyze the image data of the shooting area of the camera 200 corresponding to the area where the object information of the detection result 1 exists.
  • the processing parameters may be changed according to the shooting conditions.
  • the detection result 2 is determined to be true.
  • the camera 200 may obtain image data enough to recognize an object.
  • the information integration unit 350 performs integration processing for integrating the object information for each of the objects detected by the detection results 1 and 2 to generate new object information, or to generate new object information.
  • the information is adopted as it is.
  • Step S16 The display control unit 360 generates a display image from the image data acquired from the camera 200 and the object information generated in step S15. Specifically, an image for display is generated from the image data, an additional image is generated from the object information, and this is superimposed on the image for display to generate a display image.
  • the additional image is, for example, a rectangular frame surrounding the detected object. Further, this additional image may have a different display mode depending on the determination result of step S15. For example, the additional image is color-coded according to the object information adopted by the determination of the results A, B, and C, or a text data indicating the adopted object information is included.
  • the display control unit 360 sends the generated display image to the display unit 400.
  • Step S17 The display unit 400 displays the display image generated by the display control unit 360 and ends the process (END). After that, the processing from step S11 onward is repeated, and a display image is generated using the image data obtained by the camera 200 in real time and the integrated object information, and is continuously displayed on the display unit 400.
  • the image analysis system 10 and the image analysis apparatus 300 include the distance information analysis unit 320 that detects the object information including the position and size of the object from the measurement data acquired from the rider 100.
  • An image analysis unit 330 that detects object information from image data acquired from the camera 200, and a shooting condition acquisition unit 340 that acquires shooting conditions in the first and second shooting areas of the rider 100 and the camera 200, respectively.
  • an integration process is performed to integrate the detection result of the distance information analysis unit 320 and the detection result of the image analysis unit 330 in the common area where the first and second shooting areas overlap, and the object information is acquired.
  • an information integration unit 350 to generate. As a result, it is possible to analyze the object within the shooting area with high accuracy regardless of the shooting conditions.
  • FIG. 6 is a block diagram showing the configuration of the image analysis system 10 according to the second embodiment.
  • the image analysis unit 330 uses the inference processing parameters to analyze by inference processing by a neural network. It should be noted that in the same figure, the configuration other than the image analysis system 10 is omitted, but it may be connected to another device such as the temperature / humidity meter 91 as in the first embodiment. Further, the integrated object information generated by the information integration unit 350 can be output to various output destinations.
  • Yolo single shot detector
  • R-CNN Convolutional Neural Network
  • Fast R-CNN Fast R-CNN
  • the inference processing parameter 331 is stored in the memory of the image analysis system 10.
  • the inference processing parameter 331 is obtained by performing machine learning in advance by a known algorithm using a huge amount of image data acquired from the camera 200 under a plurality of types of imaging conditions that can be assumed.
  • At least one of weather, illuminance, and temperature / humidity is included as the assumed predetermined shooting condition.
  • weather conditions such as rain, snow, and fog, and shooting conditions at night (low illuminance) are included.
  • the inference processing parameter 331 obtained by learning is performed by using the image data obtained by image capturing under various assumed image capturing conditions. To use.
  • the same effect as that of the first embodiment can be obtained, and further, in the second embodiment, even if the image data obtained under the condition that the photographing condition is bad and the analysis is difficult, The object can be detected with high accuracy, and the robustness can be improved.
  • FIG. 7 is a block diagram showing the configuration of the image analysis system 10 according to the third embodiment.
  • FIG. 8 is a table showing a correspondence relationship between the detection result and the shooting condition and the determination result.
  • the shooting condition acquisition unit 340 acquires the shooting conditions from the external temperature / humidity meter 91, the illuminance meter 92, and the weather information distribution unit 93 as in the first embodiment, and the image analysis unit.
  • the analysis result of 330 is also used as the imaging condition.
  • the image analysis system 10 has an operation unit 500 that receives an instruction from a user, and the image analysis device 300 has an operation control unit 370 that controls the operation unit 500.
  • the operation control unit 370 receives the display setting by the user via the operation unit 500.
  • the display settings include (1) a display valid / invalid setting of the integration result of the information integration unit 350, (2) a display mode selection setting to be further displayed in the case of the integration result display valid setting, and (3) shooting conditions.
  • the display valid / invalid setting of is included.
  • the display setting (1) is a flag for displaying an additional image indicating whether the integrated object information has adopted both or both of the detection results 1 and 2.
  • Display setting (2) sets the display mode when display setting (1) is valid.
  • the display mode includes color coding, line thickness, text data, and the like.
  • the display mode of a frame surrounding the object as an additional image to be superimposed is a red frame when both detection results are adopted, a blue frame when only the detection result 1 (rider 100), and a detection result 2 (camera 200). Only display in green frame.
  • the display setting that the user can select may further include a display valid / invalid setting of the movement trajectory. When the movement locus is valid, the locus of the object in the past several seconds is superimposed and displayed on the display screen of the display unit 400.
  • the shooting conditions weather information, brightness, etc.
  • the shooting condition acquisition unit 340 are displayed by being superimposed on the display image of the display unit 400.
  • the table in FIG. 8 is a table corresponding to FIG. In FIG. 8, an object (black vehicle, large vehicle) is included as an imaging condition in FIG.
  • the rider 100 irradiates the object in the imaging area 710 with the laser light as described above, and measures the distance to the object at the timing of receiving the reflected light. If the surface of the object is a material that totally reflects, or if there are many absorption components due to the black surface, the laser light does not return sufficiently to the light receiving part and the distance value to the object is changed. I can't get it. Therefore, when the object is a black vehicle, the object may not be correctly recognized from the measurement data of the rider 100.
  • the traveling direction of the object and the irradiation direction of the laser light are nearly parallel, it will be difficult to capture the exact length in the depth direction. That is, in the distance measurement point cloud data obtained from the measurement data of the rider 100, the distance values are discrete between adjacent pixels. Particularly, in the case of a vehicle having a long total length, the spread of the distance value becomes large, and in such a case, there is a possibility that one object may be mistakenly recognized as a plurality of objects.
  • the image analysis unit 330 analyzes the image data from the camera 200 to determine whether the object detected in the imaging region 720 is a preset target object, that is, a black vehicle or a large vehicle, and the determination is made. The result is sent to the photographing condition acquisition unit 340.
  • the information integration unit 350 uses the preset target object sent from the shooting condition acquisition unit 340 as the shooting condition and makes a determination as shown in the table of FIG. Specifically, in the case of the result C, the information integration unit 350 determines that the detection result 2 is true when the imaging condition is a black vehicle or a large vehicle, and performs the integration process.
  • the user can easily confirm the status of the detection result by switching the display setting according to the detection result and displaying it on the display unit 400 in a mode according to the display setting.
  • the user can recognize the basis of the detection result or the effectiveness (certainty).
  • the object can be detected with higher accuracy than in the first and second embodiments, and the robustness is improved. it can.
  • FIG. 9 is a block diagram showing the configuration of the image analysis system 10 according to the fourth embodiment.
  • the image analysis device 300 has a report determination unit 380.
  • the image analysis system 10 also has an alarm device 600. It should be noted that although illustration of the configuration other than the image analysis system 10 is omitted in the figure, it may be connected to other devices as in the first and third embodiments.
  • the notification determination unit 380 sets a predetermined area of the shooting area 710 (common area 730) as a restricted area. This setting is preset according to a user's instruction. It is determined whether or not a person has entered this predetermined area. Specifically, the report determination unit 380 determines the intrusion of a person into a predetermined area by using the object information integrated by the information integration unit 350. When a person enters the predetermined area, an alert signal is sent to the alarm device 600. For example, when the image analysis system 10 is used with an entrance from a general road of a highway as a shooting area, an alert signal is output when a person invades the entrance to the highway as a predetermined area.
  • the report determination unit 380 determines the moving direction of the detection target object as a vehicle, and outputs an alert signal to the alarm device 600 when the moving direction is not a normal direction. Specifically, on the road 61 shown in FIG. 3, when the traveling direction along the lane of the road is set to the correct moving direction and the movement of the vehicle in the opposite direction (reverse running) is detected. To output an alert signal. The report determination unit 380 determines that the moving direction of the vehicle is not normal using the object information integrated by the information integration unit 350.
  • the report determination unit 380 uses the object information integrated by the information integration unit 350 to calculate the distance between a person and a vehicle, or a person and a machine (moving machine other than the vehicle) and a distance.
  • the distance measurement point cloud data obtained from the rider 100 is used to calculate the distance between the person and the vehicle, or the distance between the person and the machine.
  • an alert signal is output.
  • the image analysis system 10 is used with the construction site or the manufacturing factory as the imaging area, when it is detected that the worker and the heavy machine, or the worker and the machine of the factory approach a predetermined threshold value or more, an alert signal Is output.
  • the alarm device 600 is a digital signage including a speaker arranged inside or around the photographing area 710 (common area 730), a liquid crystal display, or the like. Depending on the alert signal, a warning sound is emitted or a warning is displayed on the digital signage. Further, the report determination unit 380 registers in advance a contact address of a specific administrator or a monitor terminal (personal computer) used by the administrator, and sends an email to the contact address according to the alert determination. May be transmitted or displayed on the terminal.
  • the fourth embodiment by using the object information integrated by the information integration unit 350, it is possible to accurately issue an alarm.
  • the main configuration has been described in describing the features of the above-described embodiment, and the present invention is not limited to the above-described configuration, and within the scope of the claims. , Can be modified. Further, the configuration included in the general image analysis device 300 or the image analysis system 10 is not excluded.
  • each processing described in the flowchart of FIG. 4 does not necessarily have to be performed as illustrated.
  • the processes of steps S11 and S12 may be performed in parallel.
  • the core assigned to each process may be processed separately.
  • the means and method for performing various processes in the image analysis system 10 can be realized by either a dedicated hardware circuit or a programmed computer.
  • the program may be provided by a computer-readable recording medium such as a USB memory or a DVD (Digital Versatile Disc) -ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred and stored in a storage unit such as a hard disk.
  • the program may be provided as independent application software, or may be incorporated into the software of the device as a function of the device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能な画像解析装置を提供する。 【解決手段】画像解析装置３００は、ライダー１００から取得した測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部３２０と、カメラ２００から取得した画像データから、物体情報を検出する画像解析部３３０と、ライダー１００、およびカメラ２００それぞれの第１、第２の撮影領域７１０、７２０における撮影条件を取得する撮影条件取得部３４０と、取得した撮影条件に基づいて、第１、第２の撮影領域７１０、７２０が重複する共通領域７３０における距離情報解析部３２０の検出結果、および画像解析部３３０の検出結果を統合する統合処理を行い、物体情報を生成する、情報統合部３５０と、を備える。

Description

画像解析装置、画像解析システム、および制御プログラム
　本発明は、画像解析装置、画像解析システム、および制御プログラムに関する。
　従来、監視カメラからの画像に基づいて、撮像されている人物の行動を解析し、その行動が不正行為等を含む異常行動であった人物を検知するとともに、その人物を警備員等に通報することが行われている。
　例えば、特許文献１には、撮像カメラから得られた時系列の複数のフレーム画像を画像解析することにより、人物の挙動が、特定の挙動パターンに該当するか否かを判定し、該当する場合にアラームを発生させる監視装置が開示されている。
　また、監視カメラから得られる画像の品質は、設置環境（監視環境）に影響され、例えば雨天や夜間といった環境下では画像品質が著しく低下するため正確に判定できないという問題がある。
　このような問題に対して、特許文献２に開示された監視システムでは、撮影環境（監視環境）の影響を受けることなく、監視領域内の人物の挙動を解析することを目的とし、監視カメラではなく、レーザー測位装置（レーザーレーダーまたはレーザーライダーともいう）から得られた人物の位置情報を用いて、人物の挙動を判別している。
特開２０１２－０２３５６６号公報 特開２０１５－２１３２５１号公報
　しかしながら、レーザーレーダーは、どのような環境下であっても、正しく対象物を検出できるとは限らない。例えば、撮影条件が霧等の場合には、レーザーレーダーは、対象物の手前側にある大気中の水滴（水粒）を検知してしまい、正しく対象物までの距離を検知することができない場合がある。
　本発明は、上記事情に鑑みてなされたものであり、撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能な画像解析装置を提供することを目的とする。
　本発明の上記目的は、下記の手段によって達成される。
　（１）第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するとともに、前記第１の撮影領域を少なくとも一部を含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するデータ取得部と、
　前記ライダーから取得した前記測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部と、
　前記カメラから取得した前記画像データから、物体情報を検出する画像解析部と、
　前記第１、第２の撮影領域における撮影条件を取得する撮影条件取得部と、
　取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記距離情報解析部の検出結果、および前記画像解析部の検出結果を統合する統合処理を行い、物体情報を生成する情報統合部と、
　を備える画像解析装置。
　（２）前記画像解析部は、前記カメラから取得した画像データを、複数の前記撮影条件のうち所定の撮影条件下において、撮影した画像データを元に学習を行って生成された推論処理パラメータを用いたニューラルネットワークによる推論処理により解析する、上記（１）に記載の画像解析装置。
　（３）前記撮影条件には、天候、照度、温湿度の少なくともいずれかを含む、上記（１）、または上記（２）に記載の画像解析装置。
　（４）前記撮影条件には、予め設定された対象物を含む、上記（１）から上記（３）のいずれかに記載の画像解析装置。
　（５）前記予め設定された対象物は、前記画像解析部が検出した物体である、上記（４）に記載の画像解析装置。
　（６）前記距離情報解析部、および前記画像解析部は、対象物として、人、車両、および前記車両以外の移動する機械を分類して検出する、上記（１）から上記（５）のいずれかに記載の画像解析装置。
　（７）前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
　前記表示画像には、前記情報統合部が生成した物体情報を、重畳して表示させる、上記（１）から上記（６）のいずれかに記載の画像解析装置。
　（８）前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
　前記表示画像には、前記撮影条件取得部が取得した前記撮影条件を表示する、上記（１）から上記（６）のいずれかに記載の画像解析装置。
　（９）前記情報統合部は、前記撮影条件に応じて、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、上記（１）から上記（６）のいずれかに記載の画像解析装置。
　（１０）前記情報統合部は、前記撮影条件に応じて、検出した物体毎に、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、上記（９）に記載の画像解析装置。
　（１１）前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
　前記表示画像には、前記情報統合部が生成した物体情報を重畳して表示させ、表示する前記物体情報は、前記情報統合部の判定結果に応じて、異なる態様で表示させる、上記（９）、または上記（１０）に記載の画像解析装置。
　（１２）前記ライダー、および前記カメラは、それぞれ所定のフレームレートで連続して測定、および撮影を行い、
　前記画像解析部が処理する単位時間あたりのフレーム数は、前記距離情報解析部が処理する単位時間あたりのフレーム数よりも少なく、
　前記情報統合部は、前記画像解析部の処理の完了タイミングに合わせて、前記統合処理を実行する、上記（１）から上記（１１）のいずれかに記載の画像解析装置。
　（１３）人として検出した対象物が前記共通領域内の所定領域内にいるか否かを判定し、所定領域内にいると判定した場合には、アラート信号を出力する発報判定部を、さらに備える、上記（１）から上記（１２）のいずれかに記載の画像解析装置。
　（１４）車両として検出した対象物の前記共通領域内における移動方向を判定し、前記移動方向が正常な方向でない場合に、アラート信号を出力する発報判定部を、さらに備える、上記（１）から上記（１２）のいずれかに記載の画像解析装置。
　（１５）人として検出した対象物と車両として検出した対象物との間の距離、または人として検出した対象物と車両として検出した対象物との間の距離を判定し、距離が所定値以下となった場合には、アラート信号を出力する発報判定部を、さらに備える、上記（１）から上記（１２）のいずれかに記載の画像解析装置。
　（１６）第１の撮影領域内の測定対象となる物体までの距離値を測定し、測定データを生成するライダーと、
　前記第１の撮影領域の少なくとも一部を含む第２の撮影領域を撮影し、画像データを生成するカメラと、
　上記（１）から上記（１５）のいずれかに記載の画像解析装置と、
　を備える画像解析システム。
　（１７）画像解析装置を制御するコンピューターで実行される制御プログラムであって、
　第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するステップ（ａ）と、
　前記第１の撮影領域を少なくとも含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するステップ（ｂ）と、
　前記ステップ（ａ）で取得した前記測定データから、物体の位置、大きさを含む物体情報を検出するステップ（ｃ）と、
　前記ステップ（ｂ）で取得した前記画像データから、物体情報を検出するステップ（ｄ）と、
　前記第１、第２の撮影領域における撮影条件を取得するステップ（ｅ）と、
　前記ステップ（ｅ）で取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記ステップ（ｃ）の検出結果、および前記ステップ（ｄ）の検出結果を統合する統合処理を行い、物体情報を生成するステップ（ｆ）と
　を含む処理を前記コンピューターに実行させるための制御プログラム。
　本発明に係る画像解析装置は、ライダーから取得した測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部と、カメラから取得した画像データから、物体情報を検出する画像解析部と、ライダー、およびカメラそれぞれの第１、第２の撮影領域における撮影条件を取得する撮影条件取得部と、取得した撮影条件に基づいて、第１、第２の撮影領域が重複する共通領域における距離情報解析部の検出結果、および画像解析部の検出結果を統合する統合処理を行い、物体情報を生成する情報統合部と、を備える。これにより、撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能な画像解析装置を提供できる。
第１の実施形態に係る画像解析システムの構成を示す－ブロック図である。 ライダーの概略構成を示す断面図である。 車両が通行する道路上が撮影領域とるようにライダーを配置した状態を示す模式図である。 ライダーによって撮影領域を走査する状態を示す模式図である。 検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。 第２の実施形態に係る画像解析システムの構成を示すブロック図である。 第３の実施形態に係る画像解析システムの構成を示すブロック図である。 検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。 第４の実施形態に係る画像解析システムの構成を示すブロック図である。
　以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　図１は、第１の実施形態に係る画像解析システム１０の主要構成を示すブロック図である。画像解析システム１０は、ライダー１００、カメラ２００、画像解析装置３００、および表示部４００を備える。ライダー１００（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）は、赤外線（８００～１０００ｎｍ程度）のレーザー光を用いて、ＴｏＦ方式により、撮影領域７１０（図３参照）を走査し、物体までの距離を測定する。このライダー１００についての詳細は、後述する。カメラ２００は、周知な撮影装置であり、ＣＣＤ、またはＣＭＯＳ等の可視光領域に感度を有する撮像素子と、レンズ等の光学系を備え、撮影領域７２０（図３参照）を撮影して画像（映像）を取得する。ライダー１００と、カメラ２００は、設置された状態で、光軸の向きを略一致させており、ライダー１００が測定する撮影領域７１０と、カメラ２００が撮影する撮影領域７２０とは少なくとも一部が重複する（以下、重複する領域を共通領域という）。表示部４００は、例えば液晶ディスプレイであり、各種情報を表示する。表示部４００は、画像解析装置３００の出力先であり、統合結果を用いた生成した表示画像を表示する。
　以下においては、最初に、ライダー１００について説明し、画像解析装置３００についての説明は後述する。
　（ライダー１００）
　以下、図２、図３を参照し、ライダー１００の構成について説明する。図２は、ライダー１００の概略構成を示す断面図である。図３は、一例として道路６１上が撮影領域７１０、７２０となるようにライダー１００、およびカメラ２００を配置した状態を示す模式図である。ライダー１１０（およびカメラ２００）は柱６２の上部に、道路６１に向けて配置されている。また図３の例では、第１の撮影領域７１０は、第２の撮影領域７２０を包含する。第１、第２の撮影領域７１０、７２０が重複する共通領域７３０は、第２の撮影領域７２０と同等である。図３に示すように、道路６１上には、物体（動体）８１、８２が存在する。同図の例では、物体８１は車両（普通乗用車）であり、物体８２は歩行者である。
　図２に示すようにライダー１００は、投受光ユニット１１１、および測距点群データ生成部１１２を有する。投受光ユニット１１１は、半導体レーザー５１、コリメートレンズ５２、ミラーユニット５３、レンズ５４、フォトダイオード５５、およびモーター５６、ならびにこれらの各構成部材を収容する筐体５７を有する。筐体５７内には、測距点群データ生成部１１２が配置されている。この測距点群データ生成部１１２は、この受光信号に基づいて、測定空間内の対象物までの距離値の分布を示す複数の画素で構成される測距点群データ（単に「測定データ」ともいう）を生成する。この測距点群データは距離画像、または距離マップとも称される。
　半導体レーザー５１は、パルス状のレーザー光束を出射する。コリメートレンズ５２は、半導体レーザー５１からの発散光を平行光に変換する。ミラーユニット５３は、コリメートレンズ５２で平行とされたレーザー光を、回転するミラー面により測定領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ５４は、ミラーユニット５３で反射された対象物からの反射光を集光する。フォトダイオード５５は、レンズ５４により集光された光を受光し、Ｙ方向に並んだ複数の画素を有する。モーター５６はミラーユニット５３を回転駆動する。
　測距点群データ生成部１１２は、投受光ユニット１１１の動作を制御し、所定周期（例えば、数～２０Ｈｚ）で連続したフレーム（測距点群データ）を生成する。測距点群データ生成部１１２は、ライダー１００の半導体レーザー５１の出射タイミングと、フォトダイオード５５の受光タイミングとの時間間隔（時間差）に基づいて距離情報（距離値）を求める。測距点群データ生成部１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とメモリで構成され、メモリに記憶しているプログラムを実行することにより各種の処理を実行することによって測距点群データを求めるが、測距点群データ生成用の専用ハードウェア回路を備えてもよい。なお、測距点群データ生成部１１２を省略し、この機能を後述する距離情報解析部３２０が担うようにしてもよい。この場合、ライダー１００は、単に各画素に対応する受光信号を、画像解析装置３００に出力する。
　本実施形態において、半導体レーザー５１とコリメートレンズ５２とで出射部５０１を構成し、レンズ５４とフォトダイオード５５とで受光部５０２を構成する。出射部５０１、受光部５０２の光軸は、ミラーユニット５３の回転軸５３０に対して直交していることが好ましい。
　剛体である柱６２等に固定して設置されたボックス状の筐体５７は、上壁５７ａと、これに対向する下壁５７ｂと、上壁５７ａと下壁５７ｂとを連結する側壁５７ｃとを有する。側壁５７ｃの一部に開口５７ｄが形成され、開口５７ｄには透明板５８が取り付けられている。
　ミラーユニット５３は、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面５３１ａ、５３１ｂを４対（但し４対に限られない）有している。ミラー面５３１ａ、５３１ｂは、ミラーユニットの形状をした樹脂素材（例えばＰＣ（ポリカーボネート））の表面に、反射膜を蒸着することにより形成されていることが好ましい。
　ミラーユニット５３は、筐体５７に固定されたモーター５６の軸５６ａに連結され、回転駆動されるようになっている。本実施形態では、例えば、柱６２に設置された状態で、軸５６ａの軸線（回転軸線）が鉛直方向であるＹ方向に延在しており、Ｙ方向に直交するＸ方向およびＺ方向によりなすＸＺ平面が水平面となっているが、軸５６ａの軸線を鉛直方向に対して傾けてもよい。
　次に、ライダー１００の対象物検出原理について説明する。図２において、半導体レーザー５１からパルス状に間欠的に出射された発散光は、コリメートレンズ５２で平行光束に変換され、回転するミラーユニット５３の第１ミラー面５３１ａに入射する。その後、第１ミラー面５３１ａで反射され、さらに第２ミラー面５３１ｂで反射した後、透明板５８を透過して外部の測定空間に向けて、例えば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する２方向を投受光方向という（なお、図２では分かり易さのため、図面では出射光と反射光をずらして示している）。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。
　ここで、ミラーユニット５３の対のミラー（例えば第１ミラー面５３１ａと第２ミラー面５３１ｂ）の組み合わせにおいて、４対はそれぞれ交差角が異なっている。レーザー光は、回転する第１ミラー面５３１ａと第２ミラー面５３１ｂにて、順次反射される。まず１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂにて反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の一番上の領域を水平方向（「主走査方向」ともいう）に左から右へと走査される。次に、２番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から２番目の領域を水平方向に左から右へと走査される。次に、３番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から３番目の領域を水平方向に左から右へと走査される。次に、４番対の第１ミラー面５３１ａと第２ミラー面で反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の最も下の領域を水平方向に左から右へと走査される。これによりライダー１００が測定可能な測定空間全体（撮影領域７１０）の１回の走査が完了する。この４つの領域の走査により得られた画像を組み合わせて、１つのフレームが得られる。そして、ミラーユニット５３が１回転した後、再び１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂに戻り、以降は測定空間の一番上の領域から最も下の領域までの走査（この上下方向を「副走査方向」ともいう）を繰り返し、次のフレームが得られる。
　図２において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板５８を透過して筐体５７内のミラーユニット５３の第２ミラー面５３１ｂに入射し、ここで反射され、さらに第１ミラー面５３１ａで反射されて、レンズ５４により集光され、それぞれフォトダイオード５５の受光面で画素毎に検知される。さらに、測距点群データ生成部１１２が、半導体レーザー５１の出射タイミングとフォトダイオード５５の受光タイミングとの時間差に応じて距離情報を求める。これにより測定空間内の全領域で対象物の検出を行って、画素毎に距離情報を持つ測距点群データとしてのフレームを得ることができる。このフレームは、所定周期、例えば１０ｆｐｓで生成される。また、ユーザーの指示により、得られた測距点群データを背景画像データとして、測距点群データ生成部１１２内のメモリ、または画像解析装置３００のメモリに記憶してもよい。
　また、キャリブレーション処理として、共通領域７３０に配置したマーカー（特徴ある形状の物体）をライダー１００で測定、およびカメラ２００で撮影し、それぞれから得られた測距点群データ、および画像データを解析し、このマーカーを認識する。そして認識した共通のマーカーの座標位置を対応付けることにより、ライダー１００、およびカメラ２００の座標位置補正用（画角（方向）の対応付け用）の補正データが生成される。この補正データは、画像解析装置３００のメモリに記憶される。
　（画像解析装置３００）
　図１を再び参照し、画像解析装置３００について説明する。画像解析装置３００は、例えば、コンピューターであり、ＣＰＵ、メモリ（半導体メモリ、磁気記録媒体（ハードディスク等））、入出力部（ディスプレイ、キーボード、等）、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）等を備える。通信Ｉ／Ｆは、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ　Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースを用いてもよい。
　画像解析装置３００は、データ取得部３１０、距離情報解析部３２０、画像解析部３３０、撮影条件取得部３４０、および情報統合部３５０を有する。主に、画像解析装置３００のＣＰＵが距離情報解析部３２０、画像解析部３３０、撮影条件取得部３４０、および情報統合部３５０として機能し、通信Ｉ／Ｆが、データ取得部３１０、および撮影条件取得部３４０として機能する。
　（データ取得部３１０）
　データ取得部３１０は、ライダー１００が生成した時系列に並んだ測距点群データ（フレームともいう）を取得し、取得した測距点群データを距離情報解析部３２０に送る。また、データ取得部３１０は、カメラ２００から時系列に並んだ画像データ（フレームともいう）を取得し、取得した画像データを画像解析部３３０に送る。ここで、ライダー１００のフレームレートと、カメラ２００のフレームレートは異なり、カメラ２００のフレームレートの方が大きい。例えば、ライダー１００は１０ｆｐｓであり、カメラ２００は６０ｆｐｓである。
　（距離情報解析部３２０）
　距離情報解析部３２０は、データ取得部３１０を経由して取得した測距点群データを用いて撮影領域７１０内の物体を認識する。認識により得られた物体の物体情報は、後段の情報統合部３５０に送られる。物体情報には、少なくとも物体の位置、大きさが含まれる。この位置の情報は、認識した物体の３次元的な中心位置を用いることができる。本実施形態では、物体の認識には、例えば背景差分法を採用する。この背景差分法では、予め生成し、メモリに保存しておいた背景画像データ（基準背景データともいう）を用いる。
　距離情報解析部３２０の物体を認識する機能について説明する。距離情報解析部３２０はメモリに保持している背景画像データと現時点での測距点群データとを比較して、差が生じた場合、車両等の何らかの物体（前景の物体）が撮影領域７１０内に現れたことを認識できる。例えば、背景差分法を用いて、背景画像データと、現時点での測距点群データ（距離画像データ）とを比較することで、前景データを抽出する。そして抽出した前景データの画素（画素群）を、例えば画素の距離値に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、距離情報解析部３２０は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。車両、人を追跡して行動を解析するのであれば、車両、または人の大きさそれぞれの最小値を、クラスタリングする場合のサイズ閾値とすればよい。これにより、落ち葉やビニール袋等のゴミ、または小動物を検知対象から除外できる。
　また、距離情報解析部３２０は、認識した物体の特定の対象物への分類（種類判別）を行う。本実施形態としては、この特定の設定された対象物としては、人、車両、車両以外の移動する機械、等である。車両には、普通車車両、大型車両（トラック等）、二輪車、およびフォークリフト等の運搬用車両がある。移動する機械には、重機、建機、ベルトコンベアーが含まれる。なお、対象物は、画像解析システム１０のライダー１００、カメラ２００が設置された環境に応じて適宜、取捨選択するようにしてもよい。例えば、一般道路、または高速道路であれば、人、および車両を対象物とする。また、工事現場であれば、人、車両、および重機を対象物とする。
　対象物への分類は、例えば対象物の種類毎の特徴（サイズ、形状）が予め画像解析装置３００のメモリに記憶されており、この特徴とマッチングすることにより行う。また、この種別判定アルゴリズは公知のアルゴリズムにより事前に機械学習するようにしてもよい。この機械学習は、膨大なデータを用いて、事前に他の高性能なコンピューターで実施し、推論処理パラメータを決定する。距離情報解析部３２０は、決定した推論処理パラメータを用いて、種別を分類する。この分類結果は、情報統合部３５０に送る物体情報に含ませてもよく、さらに、分類結果を、表示部４００に表示してもよい。また分類結果に応じた統計処理（積算カウント等）を行い、外部の端末装置等に出力するようにしてもよい。
　（画像解析部３３０）
　画像解析部３３０は、データ取得部３１０を経由して取得した画像データを用いて撮影領域７１０内の物体を認識する。認識により得られた物体の物体情報は、後段の情報統合部３５０に送られる。物体情報には、少なくとも物体の位置、大きさが含まれる。この位置の情報は、認識した物体の画角における中心位置を用いることができる。
　本実施形態では、物体の認識には、例えば時間差分法、または背景差分法を採用できる。時間差分法では、時系列に前後する２つのフレームの画像データにおいて、差分が相対的に大きい画素の範囲を抽出することにより物体を検出できる。また、背景差分法では、予め生成し、画像解析装置３００のメモリに保存しておいた背景画像データ（基準背景データともいう）を用い、前景の画素を抽出することで物体を検出できる。
　また、画像解析部３３０は、検出した物体の形状、サイズから、特定の対象物への分類を行うようにしてもよい。特定の対象部としては、人、車両、車両以外の移動する機械、等である。また、車両には、その色に応じた細分類（黒車両（黒色で構成される車両））、およびサイズによる細分類（大型車両）を行うようにしてもよい。この分類結果は、情報統合部３５０に送る物体情報に含ませてもよい。
　（撮影条件取得部３４０）
　撮影条件取得部３４０は、撮影領域７１０、７２０（共通領域７３０）の撮影条件（撮影条件、測定条件）を取得する。例えば、撮影条件取得部３４０は、共通領域７３０の内部、または周辺に設けられた温湿度計９１から撮影条件として温湿度を取得する。また、共通領域７３０内部、または周辺に設けられた照度計９２から撮影条件として照度（明るさ）を取得する。また、撮影条件取得部３４０は、天候情報配信部９３から天候情報を取得する。天候情報配信部９３は、例えばネットワークを介して接続する外部の天候情報発信者（気象庁、民間気象事業者）が管理する装置である。天候情報としては、例えば雨、雪、霧がある。この天候情報を取得する際に、天候情報配信部９３が提供するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）を利用してもよい。また、他の例として、カメラ２００からの画像、またはライダー１００の測定データから、降雨、降雪、霧等の天候情報を推定し、その推定結果を撮影条件として用いてもよい。また、撮影条件取得部３４０は、視程計や、複数種類のセンサーを用いた環境センサーと接続し、これらの測定器から撮影条件を取得してもよい。さらに撮影条件取得部３４０は、時計機能を備え、日時から昼間、夜間の判定をしてもよい。
　（情報統合部３５０）
　情報統合部３５０は、撮影条件取得部３４０から取得した撮影条件を用いて、距離情報解析部３２０の検出結果（以下、「検出結果１」ともいう）、および画像解析部３３０の検出結果（以下、「検出結果２」ともいう）の統合処理を行う。具体的には、共通領域７３０において、検出結果１、検出結果２のそれぞれで検出した物体の物体情報（位置、大きさ）を、物体毎に比較し、その検出結果が正しいか否かを、撮影条件を参照して判定する。そして判定結果に応じて、統合処理を行う。具体的な処理については後述する。
　（表示制御部３６０）
　表示制御部３６０は、カメラ２００から取得した画像データから表示用の表示画像を生成し、表示部４００に出力して、表示させる。また、表示画像には、統合された物体情報に基づく付加画像を重畳させる。例えば、物体として車両を検知した場合に車両を囲む矩形枠を付加画像として作成し、これを表示画像に重畳させる。また、このときに付加画像の表示態様を、情報統合部３５０の判定結果に応じて、変更するようにしてもよい。
　（画像解析処理）
　次に、図４、図５を参照し、第１の実施形態に係る画像解析システム１０で実行する画像解析処理について説明する。図４は、第１の実施形態に係る画像解析システム１０の画像解析装置３００が実行する画像解析処理を示すフローチャートである。図５は、検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。
　（ステップＳ１１）
　画像解析装置３００は、ライダー１００に制御信号を出力して測定を開始させ、データ取得部３１０を通じてライダー１００から撮影領域７１０の測定により得られた測距点群データを取得する。また、画像解析装置３００は、カメラ２００に制御信号を出力して撮影を開始させ、データ取得部３１０を通じてカメラ２００から撮影領域７２０の撮影により得られた画像データを取得する。
　（ステップＳ１２）
　距離情報解析部３２０は、データ取得部３１０から送られた測距点群データを解析し、物体の認識、およびこの認識した物体の位置、および大きさを含む物体情報を検出する。１つのフレームで複数の物体を認識した場合には、それぞれの物体に対する物体情報を検出する。距離情報解析部３２０は、この検出結果（検出結果１）を、情報統合部３５０に送る。
　（ステップＳ１３）
　画像解析部３３０は、データ取得部３１０から送られた画像データを解析し、物体の認識、およびこの認識した物体の位置、および大きさを含む物体情報を検出する。１つのフレームで複数の物体を認識した場合には、それぞれの物体に対する物体情報を検出する。画像解析部３３０は、検出結果（検出結果２）を、情報統合部３５０に送る。
　なお、単位時間あたりに画像解析部が処理できるフレーム数は、距離情報解析部３２０が処理できるフレーム数よりも少ない。そのため、画像解析部３３０は、全てのフレームに対して、画像処理する必要はなく、数分の１に間引いて処理してもよい。例えば、ライダー１００が１０ｆｐｓで測定を行い、距離情報解析部３２０の処理レートが同じ１０ｆｐｓで、カメラ２００の撮影による画像データが６０ｆｐｓである場合を想定する。この場合、画像解析部３３０は、６０ｆｐｓで取得したフレームのうち、１／６、または１／１２のフレームを処理することで１０ｆｐｓ、または５ｆｐｓで処理するようにしてもよい。また、後者（５ｆｐｓ）の場合、距離情報解析部３２０の処理のレートもこの５ｆｐｓに合わせて処理することが好ましい。また、このような状況の場合には、情報統合部３５０は、略同じタイミングで測定、および撮影して得られたフレームに対する距離情報解析部３２０、および画像解析部３３０の両方で行い、両方の処理の完了タイミング、すなわち処理が遅い画像解析部３３０の完了タイミングに合わせて、統合処理を実行する。
　（ステップＳ１４）
　撮影条件取得部３４０は、撮影条件を取得し、情報統合部３５０に送る。撮影条件には、上述のように、温湿度、照度、天候の情報のいずれかが含まれる。
　（ステップＳ１５）
　情報統合部３５０は、ステップＳ１２からＳ１４で得られた、検出結果１、２、および撮影条件により、物体情報の統合処理行う。この統合処理は、図５のテーブルを用いて下記のように行う。
　（１）「結果Ａ」
　検出結果１、２の両方で、対応する位置に同じ物体が検出された場合、すなわち、検出結果１、２の物体情報が対応する場合には、検出結果１、２の両方を真と判定する。通常の撮影条件においては、この結果Ａとなる。
　（２）「結果Ｂ」
　検出結果１（ライダー１００）のみで物体が検出された場合、すなわち検出結果１で物体が検出されたが、検出結果２（カメラ２００）では、その物体情報に対応する位置に、対応する大きさの物体が存在しなかった場合（未検出）には、撮影条件により真偽の判定を行う。
　撮影条件が「霧」の場合には、検出結果１（ライダー１００）を偽と判定する。この場合、ここで判定した物体はないものとして取り扱う。ライダー１００は、所定サイズのパルス状のレーザーを撮影領域７１０に向けて照射するが、その一部は、霧（水粒）で反射して、反射光となる。この霧が濃い場合には、対象物の手前にある複数の水粒から反射した反射光により、あたかも霧の位置に物体があるものと誤検知してしまう可能性がある。具体的には、霧からの反射を物体からの反射として測定し、物体があるかのように誤認識してしまう可能性がある。このような状況であることを、カメラ２００の画像から物体が検出されなかったことにより判別し、検出結果１を偽と判定する。なお、霧の発生有無は、温湿度、天候の情報およびカメラ２００の画像データから総合的に判断するようにしてもよい。
　また、結果Ｂで撮影条件が「降雨、降雪」の場合、および「夜間（低照度）」の場合には、検出結果１（ライダー１００）を真と判定する。ライダー１００は、降雨、降雪、夜間であってもそれほど影響せずに、検出を行える。また、このとき、検出結果１の物体情報が存在する領域に対応する、カメラ２００の撮影領域の画像データについて、再度、画像解析部３３０による解析を行うようにしてもよい。このとき、処理のパラメータを撮影条件に応じて、変更するようにしてもよい。
　（３）「結果Ｃ」
　検出結果２（カメラ２００）のみで物体が検出された場合、すなわち検出結果２で物体が検出されたが、検出結果１（ライダー１００）では、その物体情報に対応する位置に、対応する大きさの物体が存在しなかった場合（未検出）には、撮影条件により真偽の判定を行う。
　具体的には、撮影条件が「霧」であれば、検出結果２は真であると判定する。カメラ２００は霧の程度により、物体を認識できる程度に画像データが得られる場合がある。
　情報統合部３５０は、このような判定を行うことにより、検出結果１、２で検出した物体毎に、物体情報を統合する統合処理を行い、新たな物体情報を生成したり、いずれかの物体情報をそのまま採用したりする。
　なお、図５のテーブルにおいては、結果Ｂ、Ｃが同図に示す撮影条件以外の撮影条件下で発生した場合には、検出結果１、２の両方を偽と判定するとともに、エラーを出力するようにしてもよい。
　（ステップＳ１６）
　表示制御部３６０は、カメラ２００から取得した画像データ、およびステップＳ１５で生成した物体情報から表示画像を生成する。具体的には、画像データから表示用の画像に、物体情報から付加画像を生成し、これを表示用の画像に重畳して表示画像を生成する。付加画像としては、例えば、検出した物体の周囲を囲む矩形の枠である。また、この付加画像は、ステップＳ１５の判定結果に応じて、異なる表示態様としてもよい。例えば、結果Ａ、Ｂ、Ｃの判定により採用した物体情報に応じて付加画像を色分けしたり、採用した物体情報を示すテキストテータを含めたりする。表示制御部３６０は、生成した表示画像を表示部４００に送る。
　（ステップＳ１７）
　表示部４００は、表示制御部３６０が生成した表示画像を表示して終了する（エンド）。以降は、ステップＳ１１以下の処理を繰り返し、リアルタイムでカメラ２００の撮影により得られた画像データと、統合した物体情報を用いて、表示画像を生成し、表示部４００に表示し続ける。
　このように第１の実施形態に係る画像解析システム１０、および画像解析装置３００は、ライダー１００から取得した測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部３２０と、カメラ２００から取得した画像データから、物体情報を検出する画像解析部３３０と、ライダー１００、およびカメラ２００それぞれの第１、第２の撮影領域における撮影条件を取得する撮影条件取得部３４０と、取得した撮影条件に基づいて、第１、第２の撮影領域が重複する共通領域における距離情報解析部３２０の検出結果、および画像解析部３３０の検出結果を統合する統合処理を行い、物体情報を生成する情報統合部３５０と、を備える。これにより、撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能となる。
　（第２の実施形態）
　以下、図６を参照し、第２の実施形態に係る画像解析システム１０について説明する。図６は、第２の実施形態に係る画像解析システム１０の構成を示すブロック図である。第２の実施形態においては、画像解析部３３０は、推論処理パラメータを用いて、ニューラルネットワークによる推論処理により解析する。なお、同図においては、画像解析システム１０以外の構成については図示を省略しているが、第１の実施形態と同様に温湿度計９１等の他の装置と接続してもよい。また、情報統合部３５０が生成した統合後の物体情報は、種種の出力先に出力できる。
　ニューラルネットワークを用いた物体検出アルゴリズムとしては、Ｙｏｌｏ、もしくはＳＳＤ（ｓｉｎｇｌｅ　ｓｈｏｔ　ｄｅｔｅｃｔｏｒ）、または、Ｒ－ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、Ｆａｓｔ　Ｒ－ＣＮＮを適用できる。
　この推論処理パラメータ３３１は、画像解析システム１０のメモリに記憶される。この推論処理パラメータ３３１は、複数の想定できる種種の撮影条件下で、カメラ２００から取得した膨大な画像データを用いて公知のアルゴリズムにより事前に機械学習して得られたものである。想定される所定の撮影条件としては天候、照度、温湿度のいずれか少なくとも含まれる。特に、雨、雪、および霧の天候、ならびに夜間（低照度）の撮影条件が含まれることが好ましい。
　第２の実施形態に係る画像解析システム１０、および画像解析装置３００においては、想定される種種の撮影条件下で撮影により得られた画像データを用いて、学習して得られた推論処理パラメータ３３１を用いる。これにより、第１の実施形態と同様の効果が得られるととともに、第２の実施形態では、さらに、撮影条件が悪く、解析が困難な状況下で得られた画像データであっても、より精度よく物体を検出できるようになり、ロバストネス性を向上できる。
　（第３の実施形態）
　以下、図７、図８を参照し、第３の実施形態に係る画像解析システム１０について説明する。図７は、第３の実施形態に係る画像解析システム１０の構成を示すブロック図である。図８は、検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。
　第３の実施形態においては、撮影条件取得部３４０は、第１の実施形態と同様に外部の温湿度計９１、照度計９２、天候情報配信部９３から撮影条件を取得するとともに、画像解析部３３０の解析結果も撮影条件として用いるものである。さらに、第３の実施形態においては、画像解析システム１０は、ユーザーからの指示を受け付ける操作部５００を有し、画像解析装置３００は、操作部５００を制御する操作制御部３７０を有する。
　（表示設定）
　第３の実施形態においては、操作制御部３７０は、操作部５００を通じて、ユーザーによる表示設定を受け付ける。表示設定には、（１）情報統合部３５０の統合結果の表示有効／無効の設定、（２）統合結果の表示有効設定の場合にさらに表示する表示態様の選択設定、および（３）撮影条件の表示有効／無効の設定、が含まれる。
　表示設定（１）は、統合した物体情報は、検出結果１、２の両方、またはいずれかを採用したかを示す付加画像を表示させるフラグである。
　表示設定（２）は、表示設定（１）が有効の場合に、その表示態様を設定する。表示態様には、色分け、線の太さ、テキストデータ、等の表示がある。例えば、重畳する付加画像として物体の周囲を囲む枠の表示態様を、両方の検出結果を採用した場合には赤枠、検出結果１（ライダー１００）のみでは青枠、検出結果２（カメラ２００）のみでは緑枠で表示する。なお、ユーザーが選択できる表示設定として、さらに、移動軌跡の表示有効／無効の設定を含ませてもよい。移動軌跡が有効の場合には、過去数秒の物体の軌跡を表示部４００の表示画面に重畳させて表示する。
　表示設定（３）が有効の場合、撮影条件取得部３４０が取得した撮影条件（天候情報、明度、等）を表示部４００の表示画像に重畳させて表示する。
　（撮影条件としての対象物）
　図８のテーブルは、図５に対応するテーブルである。図８では、図５に対して、撮影条件として対象物（黒い車両、大型車両）を含めている。
　ライダー１００は、上述のようにレーザー光を撮影領域７１０の対象物に照射し、その反射光を受光するタイミングで対象物までの距離を測定する。対象物の表面が、全反射する素材である場合や、表面が黒色であることにより吸収成分が多かったりする場合は、受光部にレーザー光が十分に戻ってこず、対象物までの距離値を取得することができない。そのため、対象物が黒い車両である場合には、ライダー１００の測定データからは、物体を正しく認識できない場合がある。
　また、略直方体の外形の大型車両において、物体の進行方向と、レーザー光の照射方向が平行に近いと、奥行き方向の正確な長さを捉えにくくなる。すなわち、ライダー１００の測定データから得られる測距点群データにおいて、隣接する画素間において、距離値が離散的になる。特に、全長が長い車両の場合では、距離値の広がりが大きくなり、このような場合には、１つの物体を、複数の物体と誤って認識してしまう虞がある。
　すなわち、このような黒い車両、または大型車両の場合には、ライダー１００の測定データによる検出結果１では、物体がない（正しく検出できない）場合があり、検出結果２のみで物体が検出される場合がある。
　画像解析部３３０は、カメラ２００からの画像データを解析することで、撮影領域７２０で検出した物体が予め設定された対象物、すなわち、黒い車両、または大型車両であるかを判定し、その判定結果を撮影条件取得部３４０に送る。
　情報統合部３５０は、撮影条件取得部３４０から送られた予め設定された対象物を撮影条件として用い、図８のテーブルに示すような判定を行う。具体的には、情報統合部３５０は、結果Ｃの場合に、撮影条件が黒い車両、または大型車両の場合には、検出結果２は真であると判定し、統合処理を行う。
　このように第３の実施形態においては、検出結果に応じて表示設定を切り替え、表示部４００に表示設定に応じた態様で表示することにより、ユーザーは容易に検出結果の状況を確認できる。また、ユーザーは、検出結果の根拠、または有効性（確からしさ）を認識できる。
　また、撮影条件として、画像解析部３３０が解析した特定の対象物の情報を用いることで、第１、第２の実施形態よりもさらに、精度よく物体を検出できるようになり、ロバストネス性を向上できる。
　（第４の実施形態）
　次に、図９を参照し、第４の実施形態に係る画像解析システム１０について説明する。図９は、第４の実施形態に係る画像解析システム１０の構成を示すブロック図である。第４の実施形態においては、画像解析装置３００は発報判定部３８０を有する。また画像解析システム１０は、警報装置６００を有する。なお、同図においては、画像解析システム１０以外の構成については図示を省略しているが、第１、第３の実施形態と同様に他の装置と接続してもよい。
　発報判定部３８０は、撮影領域７１０（共通領域７３０）の所定領域を立ち入り禁止区域として設定する。この設定は、ユーザーの指示により予め設定されるものである。この所定領域内に、人が侵入したか否かを判定する。具体的には、発報判定部３８０は、情報統合部３５０が統合した物体情報を用いて、人の所定領域への侵入を判定する。そして人の所定領域への侵入がある場合には、アラート信号を警報装置６００に送る。例えば、高速道路の一般道からの入口を撮影領域として、画像解析システム１０を用いた場合に、所定領域としての高速道路入口への人の侵入を検出した場合にアラート信号を出力する。
　また、発報判定部３８０は、車両として検出対象物の移動方向を判定し、移動方向が正常な方向でない場合にアラート信号を警報装置６００に出力する。具体的には、図３に示す道路６１では、道路の車線に沿った進行方向を正しい移動方向に設定し、この移動方向とは、逆方向への車両の移動（逆走）を検出した場合には、アラート信号を出力する。発報判定部３８０は、情報統合部３５０が統合した物体情報を用いて、車両の移動方向が正常でないことを判定する。
　さらに、発報判定部３８０は、情報統合部３５０が統合した物体情報を用いて、人と車両、または人と機械（車両以外の移動する機械）と距離を算出する。具体的には、ライダー１００から得られた測距点群データを用いて、人と車両との距離を算出する、または人と機械との距離を算出する。そして、所定閾値以下に人と車両、または人と機械が近づいた場合には、アラート信号を出力する。例えば、工事現場、製造工場を撮影領域として画像解析システム１０を用いた場合に、作業者と重機、または作業者と工場の機械とが、所定閾値以上に近づいたことを検出した場合にアラート信号を出力する。
　警報装置６００は、撮影領域７１０（共通領域７３０）の内部、または周辺に配置されたスピーカー、または液晶ディスプレイ等で構成されたデジタルサイネージである。アラート信号に応じて、警告音を発したり、デジタルサイネージに警告を表示したりする。また、発報判定部３８０は、予め特定の管理者の連絡先アドレス、または管理者が使用するモニター端末（パーソナルコンピューター）を登録しておき、アラートの判定に応じて、その連絡先アドレスにメールを送信したり、端末に表示したりしてもよい。
　このように第４の実施形態においては、情報統合部３５０が統合した物体情報を用いることで、正確に警報を発することができる。
　以上に説明した画像解析装置３００、および画像解析システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種種改変することができる。また、一般的な画像解析装置３００、または画像解析システム１０が備える構成を排除するものではない。
　例えば、上述の第１～第４の実施形態の各構成は、相互に組み合わせて用いることができる。また図４のフローチャートで説明した各処理は、必ずしも図のとおり行う必要はない。例えば、ステップＳ１１、Ｓ１２の処理は、並行して行ってもよい。この場合ＣＰＵがマルチコアのハードウェアであれば、各処理に割り当てるコアを分けて処理してもよい。
　上述した実施形態に係る画像解析システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。
　本出願は、２０１８年１１月２０日に出願された日本特許出願（特願２０１８－２１７５３７号）に基づいており、その開示内容は、参照され、全体として組み入れられている。
１０　画像解析システム
１００　ライダー
　１１１　投受光ユニット
　１１２　測距点群データ生成部
２００　カメラ
３００　画像解析装置
　３１０　データ取得部
　３２０　距離情報解析部
　３３０　画像解析部
　３４０　撮影条件取得部
　３５０　情報統合部
　３６０　表示制御部
　３７０　操作制御部
　３８０　発報判定部
４００　表示部
５００　操作部
６００　警報装置

Claims (17)

  1. 　第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するとともに、前記第１の撮影領域を少なくとも一部を含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するデータ取得部と、
    　前記ライダーから取得した前記測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部と、
    　前記カメラから取得した前記画像データから、物体情報を検出する画像解析部と、
    　前記第１、第２の撮影領域における撮影条件を取得する撮影条件取得部と、
    　取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記距離情報解析部の検出結果、および前記画像解析部の検出結果を統合する統合処理を行い、物体情報を生成する情報統合部と、
    　を備える画像解析装置。
  2. 　前記画像解析部は、前記カメラから取得した画像データを、複数の前記撮影条件のうち所定の撮影条件下において、撮影した画像データを元に学習を行って生成された推論処理パラメータを用いたニューラルネットワークによる推論処理により解析する、請求項１に記載の画像解析装置。
  3. 　前記撮影条件には、天候、照度、温湿度の少なくともいずれかを含む、請求項１、または請求項２に記載の画像解析装置。
  4. 　前記撮影条件には、予め設定された対象物を含む、請求項１から請求項３のいずれかに記載の画像解析装置。
  5. 　前記予め設定された対象物は、前記画像解析部が検出した物体である、請求項４に記載の画像解析装置。
  6. 　前記距離情報解析部、および前記画像解析部は、対象物として、人、車両、および前記車両以外の移動する機械を分類して検出する、請求項１から請求項５のいずれかに記載の画像解析装置。
  7. 　前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
    　前記表示画像には、前記情報統合部が生成した物体情報を、重畳して表示させる、請求項１から請求項６のいずれかに記載の画像解析装置。
  8. 　前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
    　前記表示画像には、前記撮影条件取得部が取得した前記撮影条件を表示する、請求項１から請求項６のいずれかに記載の画像解析装置。
  9. 　前記情報統合部は、前記撮影条件に応じて、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、請求項１から請求項６のいずれかに記載の画像解析装置。
  10. 　前記情報統合部は、前記撮影条件に応じて、検出した物体毎に、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、請求項９に記載の画像解析装置。
  11. 　前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
    　前記表示画像には、前記情報統合部が生成した物体情報を重畳して表示させ、表示する前記物体情報は、前記情報統合部の判定結果に応じて、異なる態様で表示させる、請求項９、または請求項１０に記載の画像解析装置。
  12. 　前記ライダー、および前記カメラは、それぞれ所定のフレームレートで連続して測定、および撮影を行い、
    　前記画像解析部が処理する単位時間あたりのフレーム数は、前記距離情報解析部が処理する単位時間あたりのフレーム数よりも少なく、
    　前記情報統合部は、前記画像解析部の処理の完了タイミングに合わせて、前記統合処理を実行する、請求項１から請求項１１のいずれかに記載の画像解析装置。
  13. 　人として検出した対象物が前記共通領域内の所定領域内にいるか否かを判定し、所定領域内にいると判定した場合には、アラート信号を出力する発報判定部を、さらに備える、請求項１から請求項１２のいずれかに記載の画像解析装置。
  14. 　車両として検出した対象物の前記共通領域内における移動方向を判定し、前記移動方向が正常な方向でない場合に、アラート信号を出力する発報判定部を、さらに備える、請求項１から請求項１２のいずれかに記載の画像解析装置。
  15. 　人として検出した対象物と車両として検出した対象物との間の距離、または人として検出した対象物と車両として検出した対象物との間の距離を判定し、距離が所定値以下となった場合には、アラート信号を出力する発報判定部を、さらに備える、請求項１から請求項１２のいずれかに記載の画像解析装置。
  16. 　第１の撮影領域内の測定対象となる物体までの距離値を測定し、測定データを生成するライダーと、
    　前記第１の撮影領域の少なくとも一部を含む第２の撮影領域を撮影し、画像データを生成するカメラと、
    　請求項１から請求項１５のいずれかに記載の画像解析装置と、
    　を備える画像解析システム。
  17. 　第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するステップ（ａ）と、
    　前記第１の撮影領域を少なくとも一部を含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するステップ（ｂ）と、
    　前記ステップ（ａ）で取得した前記測定データから、物体の位置、大きさを含む物体情報を検出するステップ（ｃ）と、
    　前記ステップ（ｂ）で取得した前記画像データから、物体情報を検出するステップ（ｄ）と、
    　前記第１、第２の撮影領域における撮影条件を取得するステップ（ｅ）と、
    　前記ステップ（ｅ）で取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記ステップ（ｃ）の検出結果、および前記ステップ（ｄ）の検出結果を統合する統合処理を行い、物体情報を生成するステップ（ｆ）と
    　を含む画像解析処理をコンピューターに実行させるための制御プログラム。
PCT/JP2019/044580 2018-11-20 2019-11-13 画像解析装置、画像解析システム、および制御プログラム WO2020105527A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-217537 2018-11-20
JP2018217537A JP2022017619A (ja) 2018-11-20 2018-11-20 画像解析装置、画像解析システム、および制御プログラム

Publications (1)

Publication Number Publication Date
WO2020105527A1 true WO2020105527A1 (ja) 2020-05-28

Family

ID=70774519

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044580 WO2020105527A1 (ja) 2018-11-20 2019-11-13 画像解析装置、画像解析システム、および制御プログラム

Country Status (2)

Country Link
JP (1) JP2022017619A (ja)
WO (1) WO2020105527A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114873193A (zh) * 2022-06-09 2022-08-09 杭州科创标识技术有限公司 一种激光打码机漏打报警装置
CN114999217A (zh) * 2022-05-27 2022-09-02 北京筑梦园科技有限公司 一种车辆检测方法、装置及停车管理***
JP7411539B2 (ja) 2020-12-24 2024-01-11 株式会社日立エルジーデータストレージ 測距システム及びその座標キャリブレーション方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2013186872A (ja) * 2012-03-12 2013-09-19 Mitsubishi Electric Corp 運転支援装置
JP2018097792A (ja) * 2016-12-16 2018-06-21 株式会社デンソー 移動体検出装置及び移動体検出システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2013186872A (ja) * 2012-03-12 2013-09-19 Mitsubishi Electric Corp 運転支援装置
JP2018097792A (ja) * 2016-12-16 2018-06-21 株式会社デンソー 移動体検出装置及び移動体検出システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7411539B2 (ja) 2020-12-24 2024-01-11 株式会社日立エルジーデータストレージ 測距システム及びその座標キャリブレーション方法
CN114999217A (zh) * 2022-05-27 2022-09-02 北京筑梦园科技有限公司 一种车辆检测方法、装置及停车管理***
CN114873193A (zh) * 2022-06-09 2022-08-09 杭州科创标识技术有限公司 一种激光打码机漏打报警装置
CN114873193B (zh) * 2022-06-09 2023-09-05 杭州科创标识技术有限公司 一种激光打码机漏打报警装置

Also Published As

Publication number Publication date
JP2022017619A (ja) 2022-01-26

Similar Documents

Publication Publication Date Title
KR101030763B1 (ko) 이미지 획득 유닛, 방법 및 연관된 제어 유닛
CN111753609B (zh) 一种目标识别的方法、装置及摄像机
US20240046689A1 (en) Road side vehicle occupancy detection system
WO2020105527A1 (ja) 画像解析装置、画像解析システム、および制御プログラム
US8908038B2 (en) Vehicle detection device and vehicle detection method
US20110043806A1 (en) Intrusion warning system
US10183843B2 (en) Monitoring of step rollers and maintenance mechanics of passenger conveyors
CN104902246A (zh) 视频监视方法和装置
CN110431562B (zh) 图像识别装置
EP4145404A1 (en) Road side vehicle occupancy detection system
JP2014059834A (ja) レーザースキャンセンサ
JP5761942B2 (ja) 物体検出センサ
KR101868293B1 (ko) 차량용 라이다 장치
JP7428136B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP7073949B2 (ja) 避難誘導装置、避難誘導システム、および制御プログラム
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2018181114A (ja) 侵入監視方法、侵入監視プログラム、および侵入監視装置
JP7020096B2 (ja) 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム
JP6988797B2 (ja) 監視システム
KR101870151B1 (ko) 불법주정차 단속시스템
JP4567072B2 (ja) 車両周辺監視装置
WO2020008685A1 (ja) 情報報知装置、情報報知装置用プログラム、および情報報知システム
WO2024127754A1 (ja) 逆走検知システム、および逆走検知プログラム
KR101824042B1 (ko) 카메라 일체형 레이저 검지 장치 및 그의 동작 방법
WO2020105225A1 (ja) 機械学習方法、学習済みモデル、制御プログラム、および物体検知システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19887427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19887427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP