WO2019163212A1 - 監視システムおよび監視システムの制御方法 - Google Patents

監視システムおよび監視システムの制御方法 Download PDF

Info

Publication number
WO2019163212A1
WO2019163212A1 PCT/JP2018/041403 JP2018041403W WO2019163212A1 WO 2019163212 A1 WO2019163212 A1 WO 2019163212A1 JP 2018041403 W JP2018041403 W JP 2018041403W WO 2019163212 A1 WO2019163212 A1 WO 2019163212A1
Authority
WO
WIPO (PCT)
Prior art keywords
temperature
image
distance
infrared
rider
Prior art date
Application number
PCT/JP2018/041403
Other languages
English (en)
French (fr)
Inventor
哲 細木
晃志 生田目
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2020502020A priority Critical patent/JP7243707B2/ja
Publication of WO2019163212A1 publication Critical patent/WO2019163212A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring system and a monitoring system control method.
  • an object of the present invention is to provide a monitoring system in which the position of a three-dimensional object and the temperature of the object are displayed in an easily understandable manner, and a control method for the monitoring system.
  • a rider that outputs a distance image in which a distribution of distance values obtained by scanning a laser beam toward the first region is shown in a three-dimensional coordinate system;
  • An infrared camera that images a second area where at least a part of the first area overlaps and outputs an infrared image represented in a two-dimensional coordinate system;
  • the distance image is acquired from the rider, an object is detected from the acquired distance image, the infrared image is acquired from the infrared camera, and a temperature corresponding to the position of the detected object is acquired from the infrared image.
  • a control unit that outputs an image that displays the information on the position of the object in the three-dimensional coordinate system and the information on the temperature together with the object, in association with the temperature distribution obtained;
  • a display for displaying the image from the control unit; Having a surveillance system.
  • the control unit The position information is the distance from the rider to the object in the three-dimensional coordinate system, and the position and temperature information is output as the image with the color generated according to the distance and the temperature added to the object.
  • the monitoring system according to (1) above.
  • the control unit First related information indicating whether or not the object is a moving object from a plurality of the distance images acquired in time series from the rider, and indicating that the object is the moving object around the object determined to be the moving object.
  • the control unit Outputting the image with a second related information image indicating that the object is in the predetermined temperature range around the object associated with the temperature within a predetermined temperature range;
  • the monitoring system according to any one of (1) to (3).
  • the control unit It is determined whether or not the object is a moving object from the plurality of distance images acquired in time series from the rider, and the temperature information is attached only to the object determined to be the moving object.
  • the monitoring system according to any one of (4).
  • the control unit The monitoring system according to any one of (1) to (5), wherein the temperature associated with the object is a maximum temperature within a range of the object detected by the distance image.
  • the first rider and the infrared camera constitute one set of the monitoring unit
  • the monitoring unit includes a plurality of sets
  • each of the plurality of sets of the monitoring units scans the first The region and the second region captured by the infrared camera are arranged so that at least a part thereof overlaps
  • the control unit outputs the image for displaying the temperature information having the highest temperature in an area where at least a part of the infrared images acquired from the plurality of sets of the monitoring units overlaps with the object.
  • a rider that outputs a distance image in which a distribution of distance values obtained by scanning a laser beam toward the first region is shown in a three-dimensional coordinate system;
  • An infrared camera that captures a second area where at least a part of the first area overlaps and outputs an infrared image indicated by a two-dimensional coordinate system, and a control method for a monitoring system, Obtaining the distance image from the rider and obtaining the infrared image from the infrared camera; Detecting an object from the acquired distance image (b); Associating a temperature corresponding to the detected position of the object from a temperature distribution obtained from the infrared image; Displaying information on the position of the object in a three-dimensional coordinate system and information on the temperature on the display together with the object (d);
  • a control method for a monitoring system comprising:
  • the position information is a distance from the rider to the object in the three-dimensional coordinate system, and the position and temperature information is displayed with the color generated according to the distance and the temperature attached to the object.
  • step (10) including a step (e) of determining whether or not the object is a moving object from the plurality of distance images acquired in time series from the rider,
  • step (d) The monitoring system control method according to (8) or (9), wherein a first related information image indicating that the object is a moving object is displayed around the object that is determined to be the moving object.
  • step (d) In the step (d), (8) to (8) are displayed by attaching a second related information image indicating that the object is in the predetermined temperature range around the object associated with the temperature within a predetermined temperature range. 10) The monitoring system control method according to any one of 10).
  • step (d) comprising a step (f) of determining whether or not the object is a moving object from the plurality of distance images acquired in time series from the rider,
  • step (d) The monitoring system control method according to any one of (8) to (11), wherein only the object determined to be a moving object is displayed with the position and temperature information attached thereto.
  • step (c) The monitoring system control method according to any one of (8) to (12), wherein the temperature associated with the object is a maximum temperature within a range of the object detected by the distance image.
  • the rider and the infrared camera constitute one set of monitoring units, each of which includes a plurality of monitoring units, and the riders of the plurality of sets of the monitoring units scan each of the monitoring units.
  • the first area and the second area taken by the infrared camera are arranged so that at least a part thereof overlaps,
  • step (d) The temperature information having the highest temperature in the region where the at least part of the infrared images acquired from each of the plurality of sets of the monitoring units overlaps is displayed together with the object.
  • FIG. 1 is a block diagram illustrating a configuration of a monitoring system according to the first embodiment.
  • the monitoring system 100 includes a monitoring unit 110, a control unit 120, a display 130, and an alarm device 140.
  • the monitoring unit 110 is installed at a position where an object (for example, a high-temperature object or an object such as a person, a vehicle, or another object) can be captured.
  • a rider 102 LiDAR: Light Detection And Ranging
  • an infrared camera 104 are attached to and integrated with the same casing.
  • the rider 102 and the infrared camera 104 have the same optical axis (the Z direction (see FIGS. 2 and 3 described later) is the same direction).
  • the rider 102 and the infrared camera 104 are arranged adjacent to each other in the Y direction (vertical direction (see FIGS. 2 and 3 described later)), and the optical axes are aligned in the X direction (lateral direction).
  • the rider 102 scans the laser beam toward the space in the first region and measures the distance from the reflected light to an object existing in the scanned space.
  • the obtained distribution of distance values is also referred to as point cloud data, and the distance from the installation position of the rider 102 to the object, and the size and shape of the object are known.
  • an image having a distance value distribution that is a distance to an object existing in the space or an infinite distance when there is no reflected light is obtained.
  • Such an image output from the rider 102 is referred to as a distance image because it includes information on the distance to the object (sometimes referred to as a rider image).
  • the distance image is output from the rider 102 to the control unit 120 as an image of a three-dimensional coordinate system.
  • the infrared camera 104 captures an object in the space of the second region, and outputs the temperature distribution in the captured space as an infrared image in a two-dimensional coordinate system using monochrome shades.
  • the output value of a pixel that captures a portion with a high temperature is high, and the output value of a pixel that captures a portion with a low temperature is low.
  • the output gradation value increases as the pixel captures a portion with a higher temperature.
  • the first area scanned by the rider 102 and the second area photographed by the infrared camera 104 overlap at least partially.
  • This overlapping area becomes a monitoring range as the monitoring system 100.
  • the distance image of the rider 102 and the infrared image of the infrared camera 104 are used to grasp the three-dimensional spatial position and temperature information of the object existing in the overlapping region.
  • the scanning interval for one frame of the rider 102 and the imaging interval of the infrared camera 104 need not be completely synchronized.
  • the lidar 102 has a scanning interval of about 10 frames / second, whereas the infrared camera 104 can take images at intervals of about a fraction of a second to a few thousandths of a second.
  • the three-dimensional position of the object can be grasped from the distance images acquired at the same time, and the temperature information of the object can be matched.
  • the control unit 120 is a computer.
  • the control unit 120 includes a CPU (Central Processing Unit) 121, a ROM (Read Only Memory) 122, a RAM (Random Access Memory) 123, an HDD (Hard Disk Drive) 124, and the like.
  • the CPU 121 calls a program corresponding to the processing content from the HDD 124 to control the operations of the rider 102 and the infrared camera 104, and performs detection of the three-dimensional position of the object, temperature of the object, alarm operation, display of temperature information, and the like.
  • the HDD 124 becomes a storage unit together with the RAM 123, and stores programs and data necessary for each processing.
  • a nonvolatile semiconductor memory such as a flash memory may be used instead of the HDD 124.
  • the control unit 120 includes an input device 125 such as a touch panel, buttons, and a mouse, and a network interface 126 (NIF: Network Interface) for connecting an external device such as a server.
  • an input device 125 such as a touch panel, buttons, and a mouse
  • a network interface 126 (NIF: Network Interface) for connecting an external device such as a server.
  • the monitoring system 100 includes a display 130 and an alarm device 140.
  • the display 130 can be provided separately from the control unit 120 in order to install the display 130 in a factory monitoring room, for example. Of course, it may be integrated with the control unit 120. Further, the display 130 and the alarm device 140 may be integrated depending on the monitoring environment.
  • the alarm device 140 issues an alarm by a method that can be recognized by, for example, sound, light such as a flashlight or a rotating light, and others.
  • the monitoring system 100 may perform other processing instead of the alarm by the alarm device 140.
  • the other processing is processing for starting recording of images obtained from the infrared camera 104 and the rider 102, for example. By starting the recording, the movement of the object in the overlapping area and the display on the display 130 can be reliably recorded. Other processing includes, for example, stopping automatic machines such as robots, machine tools, and transport vehicles.
  • the case where the rider 102 and the infrared camera 104 are integrated is illustrated.
  • the rider 102 and the infrared camera 104 may be installed separately, and each may be connected to the control unit 120 via a dedicated line or a network.
  • the range scanned by the rider 102 and the range captured by the infrared camera 104 are overlapped.
  • the control unit 120 may use a general-purpose computer instead of a dedicated computer. Conversely, the infrared camera 104, the rider 102, and the control unit 120 may be integrated. In addition, although the control unit 120 is shown here as a form mainly composed of a CPU, a RAM, and a ROM, for example, it is configured by an integrated circuit such as an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). May be.
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the operation of the monitoring system 100 will be described.
  • the operation of the monitoring system 100 is roughly divided into an initial setting operation and a monitoring operation.
  • FIG. 2 is an explanatory diagram for explaining a distance image obtained by the rider 102 scanning the first region.
  • FIG. 3 is an explanatory diagram for explaining an infrared image obtained by photographing the second region by the infrared camera 104.
  • FIG. 4 is an explanatory diagram for explaining an example in which the distance image of FIG. 2 and the infrared image of FIG. 3 are simply superimposed. In FIG. 2 and FIG. 3, the same region (space) is captured.
  • the rider 102 does not reflect light (such as the sky) from reflected light from objects ob1 to ob4 such as objects existing in the first region and objects ob1 to ob4 and the ground (in the room, the floor; the same applies hereinafter).
  • the distance image Im1 is output in a three-dimensional coordinate system as shown in the figure.
  • This distance image Im1 is an image constituted by three-dimensional point group data, and has a three-dimensional coordinate system (X1, Y1, Z1) as shown in the figure. Therefore, the position of each point constituting the distance image Im1 is specified in a three-dimensional coordinate system including the X, Y, and Z axes.
  • the objects ob1 to ob3 are people
  • ob4 is an object that becomes a specific temperature object described later.
  • the infrared camera 104 captures infrared rays emitted from an object ob1 to ob4 such as an object or a person existing in the second region or the ground gr, and outputs an infrared image Im2 as shown in the figure.
  • the objects ob1 to ob4 are all objects having a temperature higher than the ambient temperature (here, the temperature of the ground gr, the background, etc.).
  • the position (coordinate value) of each pixel constituting the infrared image Im2 is specified in a two-dimensional coordinate system including the X axis and the Y axis.
  • the distance image Im1 has a three-dimensional coordinate system (X1, Y1, Z1)
  • the infrared image Im2 has a two-dimensional coordinate system (X2, Y2). Since both coordinate systems do not match with each other as they are, if these are simply overlapped, the objects ob1 to ob4 that are originally in the same position will be displaced as shown in FIG.
  • processing is performed to make the X axis and Y axis of the two-dimensional coordinate system (X2, Y2) correspond to the X axis and Y axis of the three-dimensional coordinate system (X1, Y1, Z1).
  • Such processing is referred to herein as coordinate conversion, and a coefficient necessary for making it correspond is referred to as a coordinate conversion coefficient.
  • the initial setting operation is an operation for calculating the coordinate conversion coefficient.
  • FIG. 5 is a flowchart showing a processing procedure for calculating the coordinate conversion coefficient.
  • 6 and 7 are explanatory diagrams for calculating the coordinate conversion coefficient.
  • This coordinate conversion coefficient calculation (initial setting operation) process is performed by the control unit 120 executing a program for calculating the coordinate conversion coefficient.
  • control unit 120 obtains a distance image Im1 output by scanning the first area including a portion where the rider 102 becomes an overlapping area (S1).
  • S1 overlapping area
  • at least two reference points are set in advance.
  • a heating element such as an incandescent bulb or a heater or an infrared radiation object such as an infrared LED is attached to the head (tip) of the rod.
  • the reference point is preferably a stationary object, but as already described, the reference point may be set on the moving object as long as the scanning time of the rider 102 and the photographing time of the infrared camera 104 are matched (synchronized).
  • FIG. 1 An example of the acquired distance image is shown in FIG. As shown in the figure, the distance image Im1 is shown as reference points P1 and P2 on the image.
  • the control unit 120 obtains an infrared image Im2 output by photographing and outputting the second region including the portion where the infrared camera 104 becomes an overlapping region (S2).
  • An example of the acquired infrared image is shown in FIG.
  • reference points PP1 and PP2 are shown. This is because the infrared radiator is attached to the tip of the bar serving as the reference point, and this portion is a portion with high luminance (gradation value) in the infrared image Im2. Note that the processing order of S1 and S2 may be reversed (may be simultaneous).
  • the control unit 120 calculates a conversion coefficient for matching the two-dimensional coordinate system of the obtained infrared image Im2 with the three-dimensional coordinate system of the distance image Im1 (S3).
  • the distance image Im1 and the infrared image Im2 are images obtained by scanning or photographing the same region (space). For this reason, the actual size and distance (distance between reference points) of the objects present in both images are the same. However, these images have different scales for each image due to different scanning and photographing equipment. For this reason, if both are simply overlapped (see FIG. 4), the position of the object is shifted or the size is different.
  • the two scale coordinate systems may be converted to have the same scale.
  • the scales of the X axis and the Y axis of the infrared image Im2 are adjusted to the X axis and the Y axis of the distance image Im1.
  • two reference points were provided.
  • the distances in the X-axis and Y-axis directions in the images of the reference points P1 and P2 shown in the distance image Im1 are obtained.
  • the distance in the X-axis direction between P1 and P2 is ⁇ (P1-P2) x.
  • the distance in the Y-axis direction between P1 and P2 is ⁇ (P1 ⁇ P2) y.
  • the distances in the X-axis and Y-axis directions in the images of the reference points PP1 and PP2 reflected in the infrared image Im2 are obtained.
  • the distance in the X-axis direction between PP1 and PP2 is ⁇ (PP1-PP2) x
  • the distance in the Y-axis direction between PP1 and PP2 is ⁇ (PP1-PP2) y.
  • the respective conversion coefficients of the X axis and the Y axis are obtained.
  • the obtained conversion coefficient is stored in the RAM 123 or HDD 124.
  • the number of reference points is not particularly limited.
  • an object existing in the space may be used as the reference point.
  • an object corner or the like is designated as a reference point so that it can be easily distinguished in an image.
  • the reference point needs to be an infrared radiation object so that the reference point is reflected in the infrared image.
  • the process of calculating the coordinate conversion coefficient ends. Thereafter, using this conversion coefficient, the coordinate value (or the entire screen) of the object in the two-dimensional coordinate system (XY) in the infrared image is the same coordinate system as the XY plane of the three-dimensional coordinate system in the distance image. Can be converted to
  • image distortion of the infrared camera 104 is also corrected.
  • the infrared camera 104 uses a lens like a normal camera. For this reason, the image is distorted due to a slight difference in refractive index between the lens end and the optical center of the lens. Due to such distortion, even if the same object is at the same distance, the size and position of the infrared image taken of it are slightly different depending on whether it appears in the periphery or in the center. It will end up.
  • the image may be corrected based on the refractive index of the entire lens obtained from the lens design data.
  • the infrared images of the two are compared. You may make it correct
  • correction may be made by using only the central part of the lens without this distortion.
  • the infrared camera 104 is adjusted so that the range reflected in the center of the lens where distortion does not occur becomes the scanning range of the rider 102 (or, as a configuration of the infrared camera itself, a large aperture lens is used,
  • the infrared image sensor (bolometer) receives light only from the center of the lens where no distortion occurs.
  • This coordinate conversion coefficient calculation is performed at a predetermined time, for example, when the monitoring system 100 is installed on the site, at regular maintenance, or at any time determined by the user (when a defect is found, etc.) ).
  • a three-dimensional coordinate system and a two-dimensional coordinate system here use an orthogonal coordinate system
  • a polar coordinate system may be used.
  • FIG. 8 is a flowchart illustrating the processing procedure of the monitoring operation by the control unit 120.
  • the current frame refers to a frame acquired at the current time point
  • the previous frame refers to a frame immediately before the current frame in time series. Since this procedure includes repetitive processing, for convenience of explanation, processing using the result of processing at a later stage may be described first.
  • the scanning interval of the rider 102 and the imaging interval of the infrared camera 104 are synchronized.
  • control unit 120 acquires a distance image for one frame at the current time point from the rider 102 and similarly acquires an infrared image for one frame at the current time point from the infrared camera 104 (S11). Note that the order of obtaining the distance image and the infrared image may be either first (or simultaneously).
  • the control unit 120 clusters the objects detected in the distance image using the background difference method (S12).
  • the background subtraction method compares an image registered in advance as a background image with the acquired frame image (here, the frame image acquired in S11), and if there is a different part from the background image, The part is detected as a newly appearing object.
  • the background image it is preferable to store a distance image obtained by scanning in a state where there is no object in a range (first area space) scanned by the rider 102.
  • the background image is stored in, for example, the HDD 124 and read out to the RAM 123 for use.
  • Clustering is for making it easier to track a detected object in subsequent processing, and a known method can be used. For example, clustering includes the number of pixels of the detected object and the size of the object obtained from the coordinate values in the three-dimensional coordinate system (length, area, volume in the X, Y, and Z directions of the object in the three-dimensional coordinate system). Etc.), each object is made into a cluster of clusters in the distance image. Each cluster stores, for example, the coordinate value of the cluster center and the coordinate value of the cluster outline in the RAM 123 as its position.
  • the control unit 120 performs moving body tracking for the clustered object (S13).
  • moving object tracking it is searched whether or not an object of the same cluster as the object clustered in the distance image of the current frame was in the previous frame. If there is an object of the same cluster in the previous frame, the position of the previous frame of the object and the position of the current frame are compared, and the moving distance, moving direction, and speed of the object (speed is the distance between frames) Obtained by dividing by. Thereby, since the moving distance, moving direction, and speed are known for each object, these are stored in the RAM 123 for each object. If there is an object that does not exist in the previous frame but is detected in the current frame, the object stores the coordinate value (position) in the RAM 123 as an object that has appeared in the current frame.
  • the control unit 120 associates a portion having a higher temperature than the periphery (ground, background, etc.) in the infrared image with an object detected in the distance image (S14).
  • Infrared images are images of infrared rays emitted from various temperature objects. For this reason, the temperature distribution of the captured region (here, the second region) can be found from the infrared image. And as already demonstrated, the object in an infrared image and the object in a distance image can be matched by coordinate transformation.
  • control unit 120 extracts the coordinate values of the two-dimensional coordinate system of the pixels that occupy a portion of the infrared image having a higher temperature than the periphery (for example, ob1 to ob4 shown in FIG. 3). For example, assuming that the coordinate value of one pixel in the two-dimensional coordinate system is (x1, y1), conversion using the already obtained conversion coefficients ⁇ x, ⁇ y results in ( ⁇ x ⁇ x1, ⁇ y ⁇ y1). The same conversion is performed for the other pixels.
  • image conversion can be performed even if only pixels that show a higher temperature in the infrared image than the surroundings, that is, pixels that have a pixel gradation value other than 0 or a predetermined threshold value or more. Alternatively, all the pixels of the infrared image may be converted.
  • control part 120 matches the object in the distance image which overlaps with the pixel of the coordinate value after conversion. At this time, if the range of the coordinate value of the point cloud data shown as the object in the distance image and the pixel of the coordinate value of the part having the higher temperature after the conversion overlap even a little, the control unit 120 may detect infrared rays. Assume that a high temperature portion in the image corresponds to an object in the distance image.
  • the floor surface and the periphery of the object become hot due to radiant heat from the object, and infrared rays may be emitted from the periphery of the object.
  • the periphery of the high-temperature object is also shown as a high-temperature part.
  • the face appears as a part having a higher temperature and the body appears as a part having a lower temperature than the face.
  • the size of the high-temperature portion in the infrared image may not match the size of the object point group (actual object size) in the distance image acquired from the rider. Therefore, in the present embodiment, if there is a part that overlaps at least part of the high-temperature part in the infrared image and the object in the distance image, they correspond to each other. There is no limitation on the overlapping ratio. For example, in the case of a person, although the temperature is high depending on the degree of skin exposure from clothes, the portion (face, etc.) where the temperature is high is about 1 to 20% of the whole person. It shall be.
  • the associated temperature is stored in the RAM 123 as the temperature of the object.
  • the highest temperature in the temperature distribution may be stored as the temperature of the entire object (this stored temperature is used for image display described later).
  • the control unit 120 causes the display 130 to display a color according to the temperature and distance on the object based on the infrared image on the display 130 (S15).
  • the display at this time is based on an infrared image (two-dimensional coordinate system), in which the position of the object in the infrared image is understood so that the position of the object obtained from the distance image (three-dimensional coordinate system) can be understood.
  • a frame is drawn on the part corresponding to the position.
  • the position of the object in the infrared image can be obtained by converting the coordinates of the XY plane of the three-dimensional coordinate system into the coordinates of the infrared image of a certain object in the distance image by the coordinate conversion already described.
  • the outline of the cluster in the XY plane of the distance image of the three-dimensional coordinate system is extracted, and the frame is displayed according to the coordinate value of the extracted outline.
  • the frame line attached to the object is the first related information image.
  • the first related information image is not limited to a frame line, and may be, for example, an arrow or a triangle indicating an object. Also, numerical values such as the distance to the object and the temperature may be displayed together with the frame line.
  • the displayed object is colored based on position information and temperature information.
  • the position information is information obtained from a distance image of a three-dimensional coordinate system obtained from the rider 102.
  • the above-mentioned frame line (first related information image) is one of them, but the color attached to the object is changed according to the distance from the installation position of the monitoring unit 110 (that is, the installation position of the rider 102). Yes.
  • the temperature information is a temperature obtained from an infrared image of a two-dimensional coordinate system, and the color applied to the object is also changed by this temperature information.
  • the object is color-coded based on position information and temperature information. Specifically, for example, colors such as blue, yellow, and red are used from the lowest temperature to the highest temperature. Further, the closer the distance from the monitoring unit 110, the higher the brightness of the color (that is, the higher the gradation value of the pixel to be displayed), and the farther the color is, the lower the brightness of the color (lower the gradation value of the pixel to be displayed). , Etc.
  • FIG. 9 is a screen example showing a display example.
  • the displayed colors are (R, G, B) gradation values, and each color is 0 to 255.
  • a high-temperature object an object to be a specific temperature object described later
  • ob4 is displayed in red (150, 0, 0) having a medium brightness because the temperature is high but the distance is long. Since the objects ob1 to ob3 other than the specific temperature object ob4 are humans and the temperature is lower than that of the specific temperature object ob4, they are displayed in a color close to yellow, and the brightness of those colors varies depending on the distance. To do.
  • the closest object ob1 is bright yellow (224, 250, 0)
  • the medium object ob2 is medium bright yellow (180, 190, 0)
  • the farthest object ob3 is dark yellow (100 , 120, 0).
  • the same color is applied to the entire object at the temperature stored as the temperature of the entire object. Apply. This makes it easier to recognize an object such as a person whose temperature is partially high by looking at the screen.
  • the objects ob1 to ob4 are displayed with the frame line fb indicating that they are objects as described above, regardless of the temperature. For this reason, it becomes easy to understand that the object is an object, and in particular, the visibility of the moving object is improved.
  • the control unit 120 determines whether or not there is a specific temperature portion in the infrared image (S16).
  • the specific temperature portion is a portion in a predetermined temperature range (including a case where the temperature is equal to or higher than a predetermined temperature). For example, when monitoring is performed so that a person does not come close to an object at a temperature that may cause harm to a person as a monitoring target, and an alarm is given when approaching, a predetermined temperature range that is a specific temperature portion is 50 ° C. or higher. (In this case, the upper limit may be a temperature at which each pixel of the infrared camera is saturated, for example).
  • the temperature range for the specific temperature part is arbitrary, and is determined by the temperature of the monitored object (for example, a hot object that is harmful to humans) or the temperature of the environment (such as indoors or outdoors). That's fine.
  • the control unit 120 returns to S11 to acquire the next frame (S16: NO).
  • S16 next frame
  • NO next frame
  • the association in S14 it is a matter of course that the association in S14 is not performed, a screen in which no object exists is displayed in S15, and then NO in S16 and NO to S11 Return and continue processing.
  • NO is determined in S16, if there is data indicating that an alarm area described later is set, the data is cleared to indicate that the alarm area is not set (this is described later in S17 described later). Is required for processing).
  • control part 120 If the control part 120 detects the specific temperature part (S16: YES), the control part 120 will judge next whether the warning area
  • the control unit 120 selects an object corresponding to the specific temperature portion detected in S16 among the objects in the distance image (three-dimensional coordinate system) as the specific temperature object. (S18).
  • the objects in the distance image are already clustered and associated with a portion having a temperature higher than the ambient temperature.
  • the moving object is tracked (S12 to S14 described above). For this reason, in this S18, the specific temperature portion may be searched from the infrared image, and the coordinate value (position) of the object corresponding to it may be specified.
  • the specific temperature portion cannot be associated with the object being tracked in S13 or the object newly appearing in the current frame.
  • it is a stationary object (an object that does not move) that is low in temperature when the background image is acquired (stored), but the temperature subsequently increases.
  • some object existing in the background image in S13 an object that cannot be detected by the background subtraction method
  • the specific temperature portion may be associated with a stationary object (hereinafter simply referred to as a stationary object) that has not been detected as an object.
  • the coordinate value of the stationary object is stored in the RAM 123 as the coordinate value of the specific temperature object.
  • the boiler when there is a boiler (a grounding type that does not move) in the first area, the boiler is naturally reflected even when the background image is acquired. For this reason, in the background subtraction method, the boiler cannot be detected as an object in S12.
  • the boiler that has been stopped at the time of acquiring the background image starts operating from a certain point during the monitoring operation and becomes hot, it is reflected in the infrared image as a specific temperature portion.
  • the specific temperature portion is associated with the point cloud data indicating the boiler that is a stationary object, the boiler that is a stationary object can be subsequently recognized as the specific temperature object.
  • the control unit 120 sets an alarm area around the specific temperature object ob4 (S19).
  • the size of the alarm area is determined by identifying the temperature of the specific temperature portion (particularly a high temperature portion when there is a temperature distribution in the specific temperature object ob4) from the infrared image in which the specific temperature portion is detected, and depending on the temperature
  • the size of the alarm area is variable.
  • FIG. 10 is an explanatory diagram for explaining the specific temperature object.
  • FIG. 10 shows the distance image of the three-dimensional coordinate system and the infrared image of the two-dimensional coordinate system after coordinate conversion superimposed.
  • the specific temperature object is represented by (xmin, ymin, zmin), (xmax, ymin, zmin), ( xmax, ymax, zmin), (xmin, ymax, zmin), (xmin, ymin, zmax), (xmax, ymin, zmax), (xmax, ymin, zmax), (xmax, ymax, zmax), (xmin, ymax, zmax).
  • the specific temperature object is a grounded object, if the origin (0) of the Y axis of the three-dimensional coordinate system is taken as the ground (floor surface), the lower end (ymin) in the Y axis direction is 0 (zero). )
  • FIG. 11 and 12 are explanatory diagrams for explaining an alarm region provided around a specific temperature object.
  • FIG. 11 shows the case of the temperature T1 of the specific temperature object
  • FIG. 12 shows the case of the temperature T2 of the specific temperature object.
  • each temperature is T1 ⁇ T2.
  • the predetermined distance for setting the alarm region is made to correspond to the temperature, and the distance D1 ⁇ D2.
  • the alarm region m1 is set around the specific temperature object ob4 so as to be within a predetermined distance D1 from the outer periphery of the specific temperature object ob4. Specifically, the alarm area m1 sets the range of the distance D1 for each of the X, Y, and Z axes from the coordinate value of the outer peripheral edge of the specific temperature object ob4.
  • the alarm area m1 is represented by coordinate values (x, y, z), (xmin ⁇ D1, ymin ⁇ D1, zmin ⁇ D1), (xmax + D1, ymin + D1, zmin + D1), (xmax + D1, ymax + D1, zmin + D1), (xmin + D1) , Ymax + D1, zmin + D1), (xmin-D1, ymin-D1, zmax + D1), (xmax + D1, ymin-D1, zmax + D1), (xmax + D1, ymin-D1, zmax + D1), (xmax + D1, ymax + D1, zmax + D1), (xmin-D1, ymax + D1, zmax + D1).
  • the alarm region m2 is set around the specific temperature object ob4 to be within a predetermined distance D2 from the outer periphery of the specific temperature object ob4.
  • the alarm area m2 is a range of distance D2 for each of the X, Y, and Z axes from the coordinate value of the outer peripheral end of the specific temperature object ob4.
  • the higher the temperature of the specific temperature object the wider the range of the alarm area is set.
  • Such a relationship between the temperature and the predetermined distance may be stored in advance in the HDD 124 as table data of the temperature versus the predetermined distance and read out to the RAM 123 for use.
  • a predetermined distance is extracted by referring to the table data from the temperature of the specific temperature portion detected from the infrared image in S19. Then, the extracted alarm region separated by a predetermined distance is set.
  • the specific temperature object is a rectangular parallelepiped in the three-dimensional coordinate system
  • the shape of the specific temperature object is not limited to a rectangular parallelepiped, and may be other shapes.
  • the warning area may be set as a range of a predetermined distance (D1, D2, etc.) from the outer periphery of the specific temperature object according to the shape of the specific temperature object.
  • the alarm region is set as a range of a predetermined distance (D1, D2, etc.) from the outer peripheral edge of the specific temperature object, but instead of this, for example, a predetermined distance (however, a predetermined distance from the center of the specific temperature object) May be longer than the distance from the center of the specific temperature object to the outer shape).
  • a predetermined distance (however, a predetermined distance from the center of the specific temperature object) May be longer than the distance from the center of the specific temperature object to the outer shape).
  • the range of the sphere from the cluster center of the clustered specific temperature object may be set as an alarm region, which facilitates calculation (speeding up the processing).
  • the range may be a predetermined distance from the position corresponding to the highest temperature portion of the specific temperature object. Therefore, even in the case where there is a temperature distribution in the specific temperature object, the alarm region can be set around the high temperature portion.
  • the alarm area can be moved in accordance with the movement (See S20 described later).
  • the alarm area is In addition to such a setting method, for example, when it is known that a specific temperature object does not move (in the case of the stationary object), or when the moving range is known, the alarm area is In addition, a fixed range of a predetermined distance around the specific temperature object may be used as an alarm area. When such a fixed alarm region is set, for example, if the specific temperature object is a moving object, the predetermined distance may be short in the non-moving direction and long in the moving direction.
  • the control unit 120 is displayed on the display 130 so that the specific temperature object ob4 and the alarm area m1 (or m2) are displayed with a frame, a line, or a mark that is color-coded or line-typed.
  • the screen is updated (S21).
  • the frame line indicating the warning area is set as the second related information image.
  • the second related information image is not limited to the illustrated frame line, and may be, for example, an arrow or a triangle indicating an object, or a light coloration of the entire alarm area (for example, a specific temperature object has its color) Dark enough to show through).
  • control unit 120 determines whether another object (such as a person or other object) that is different from the specific temperature object is within the alarm region (S22). This comparison compares the range surrounded by the coordinate value of the outer shape of the cluster and the coordinate value indicating the warning area of the object clustered in S12 (that is, the object detected by the background difference method). If the coordinate value of the outer shape of the cluster of another object is within the alarm area, it is determined that the other object is within the alarm area.
  • another object such as a person or other object
  • control unit 120 returns to S11, acquires each image of the next frame, and continues the subsequent processing.
  • the control unit 120 outputs an alarm signal to the alarm device 140 (S23). Thereby, an alarm sound is emitted from the alarm device 140 that has received the alarm signal.
  • the display 130 blinks an object (or a frame or mark surrounding the object) that is determined to be in the alarm area, changes the color of the entire screen, blinks, or displays a warning text. It is good to see that the alarm is also issued visually.
  • various alarm operations such as turning on the rotating lamp, changing the color of the color-coded layered display lamp from blue to red, and turning on and blinking other lamps, etc. You may go.
  • S20 the alarm area is already set up to the previous frame.
  • moving object tracking S13
  • S13 moving object tracking
  • the specific temperature object is a moving object, its moving distance, direction, and speed are known. Therefore, in S20, the already set coordinate value of the alarm region is moved using the moving distance and direction of the specific temperature object.
  • the alarm area has already been set up to the previous frame, even if the specific temperature object is a moving object, it is only necessary to move the alarm area in accordance with the movement. For this reason, as in S18 to S19, the calculation is simpler (the processing speed can be increased) than setting the alarm region from the coordinate value of the specific temperature object in the current frame.
  • control unit 120 proceeds to S21, updates the screen so as to display the moved alarm area and the like, and continues the subsequent processing.
  • the monitoring operation is executed as a repeated process.
  • a predetermined distance range around the specific temperature object is set as the alarm area.
  • the length of the predetermined distance for setting the alarm region may be changed according to the relative distance and relative speed between the specific temperature object and another object.
  • the moving direction and speed of the object are obtained in the step S13 as already described.
  • the specific temperature object is also known as the moving object tracking value in S13. Even when the specific temperature object is a stationary object, the position is known (when the stationary object is identified as the specific temperature object in S18).
  • the specific temperature object and the other object are moving in a direction in which they are relatively approaching from these moving directions and speeds, and if the relative speed (approaching speed) is high, it is already set. Widen the alarm area. As a result, when at least one of the specific temperature object and the other object is a moving object, an alarm signal can be quickly issued in consideration of not only the temperature of the specific temperature object but also the moving speed thereof. .
  • the object is detected from the distance image from the rider, and the temperature distribution of the infrared image from the infrared camera is associated with the detected object, and the position information and temperature information in the three-dimensional coordinate system are associated with each other. It was decided to display on the display together with the object. This makes it easy to visually understand the temperature of the object as well as the position of the object.
  • the position and temperature of the object can be visually recognized. For example, even in a site where a high-temperature object is handled, an alarm is not generated at a simple dangerous temperature, but a high-temperature It is possible to determine the degree of risk including the positional relationship between an object (for example, a specific temperature object) and another object.
  • the coordinate system of the infrared image of the two-dimensional coordinate system that can detect the temperature of the object and the distance image of the rider 102 that captures the three-dimensional position in the space as the three-dimensional coordinate system is coordinate-transformed. Since the temperature from the infrared image and the position of the object from the distance image (the distance from the rider installation position) are associated with each other, the position and temperature in the displayed image and the apparent position There is almost no difference.
  • the object position and temperature information are displayed in different colors according to the distance from the rider 102 to the object and the temperature, the object is visually and intuitively displayed from the image displayed on the display 130.
  • the position and temperature of the object can be understood. This is because, for example, when the coordinate value and temperature of the object are displayed as numerical values separately from the object displayed on the screen, it is not necessary for the user looking at the screen to contrast the numerical value with the object. .
  • the moving object since the moving object is displayed with the first related information image attached, the moving object can be easily understood visually.
  • the temperature range determined in advance for example, a high-temperature object is visually easy to understand. Become.
  • the temperature in the predetermined temperature range is set as the specific temperature portion
  • the object associated therewith is set as the specific temperature object
  • an alarm area is provided around the object, and an alarm is issued when an object enters the area.
  • the specific temperature portion is set to a high temperature portion which is dangerous to humans, for example, so that when the other objects are humans, for example, the high temperature object and the person are prevented from approaching. Can be alarmed.
  • the object and temperature are associated in S14, and the object is color-coded in S15. For this reason, an object that is temporarily detected by the background subtraction method but disappears at the moving object tracking stage is not displayed in different colors. For this reason, since only moving objects are displayed in different colors, it becomes easy to distinguish moving objects.
  • the maximum temperature is associated. As a result, for example, in the case of a high-temperature object, the most dangerous temperature can be visually recognized.
  • FIG. 13 is a block diagram illustrating a configuration of the monitoring system according to the second embodiment.
  • FIG. 14 is a bird's eye view showing the arrangement of the monitoring units.
  • the monitoring system 200 includes two monitoring units.
  • the two monitoring units are a first monitoring unit 211 and a second monitoring unit 212.
  • the first monitoring unit 211 and the second monitoring unit 212 are arranged to monitor the same monitoring target space from different directions.
  • the internal configurations of the first monitoring unit 211 and the second monitoring unit 212 are the same as those in the first embodiment, and each includes the infrared camera 104 and the rider 102.
  • the control unit 220 has the same configuration as that of the first embodiment except that the first monitoring unit 211 and the second monitoring unit 212 are controlled at a time. For this reason, the first monitoring unit 211 and the second monitoring unit 212 are connected to the control unit 220. Since other configurations are the same as those of the first embodiment, description thereof is omitted.
  • the coordinate conversion operation and the monitoring operation by the control unit 220 are performed for each of the first monitoring unit 211 and the second monitoring unit 212, but the processing procedure is the same as that of the first embodiment, and thus the description thereof is omitted.
  • the processes of S15 and S21 are included in the display processing stage. Different from the first embodiment.
  • the first monitoring unit 211 and the second monitoring unit 212 monitor the same area (space) from different directions.
  • the first region scanned by the riders 102 of the first monitoring unit 211 and the second monitoring unit 212 and the second region captured by the infrared camera 104 are arranged so as to at least partially overlap each other.
  • the 1st monitoring part 211 and the 2nd monitoring part 212 have caught the area
  • the visible part (surface) differs.
  • the temperature detected by the infrared camera 104 may vary depending on the surface of the object. In other words, even if one object has a high temperature on one surface and a low temperature on another surface, etc. (a surface with a low temperature is a surface on which an object is covered with an infrared shielding object) Also included).
  • the object ob5 shown in FIG. 14 has a temperature of one side ho higher than that of the other side co.
  • the infrared camera 104 of the first monitoring unit 211 captures the high-temperature surface ho
  • the infrared camera 104 of the second monitoring unit 212 captures the low-temperature surface co.
  • each rider 102 scans the same object ob5 from each position and outputs a distance image.
  • an image of the monitoring unit (the first monitoring unit 211 in FIG. 14) capturing the surface ho having the higher temperature is displayed on the display 130 at the stage of the display process.
  • FIG. 15 is a subroutine flowchart showing the procedure of the display processing stage (S15 and S21 (S23) in FIG. 8) in the second embodiment.
  • control unit 220 uses the distance image and the infrared image acquired from the first monitoring unit 211 and the distance image and the infrared image acquired from the second monitoring unit 212 in FIG.
  • the processes from S11 shown are executed in parallel.
  • control unit 220 extracts the maximum temperature in the infrared image captured by the infrared camera 104 of the second monitoring unit 212 and sets this as the second screen temperature St2 (S32). Note that the order of the processing of S31 and S32 may be reversed (or may be simultaneous).
  • control unit 220 displays the screen with the highest maximum temperature. In this process, it is determined whether or not St1 ⁇ St2 (S33).
  • the control unit 220 causes the display 130 to display an image on the first monitoring unit 211 side.
  • the displayed image uses the distance image acquired from the first monitoring unit 211 and the infrared image to display the object with a color or a frame as described in the first embodiment.
  • the control unit 220 causes the display 130 to display an image on the second monitoring unit 212 side.
  • the displayed image uses the distance image acquired from the second monitoring unit 212 and the infrared image to display the object with a color or a frame as described in the first embodiment.
  • the subroutine in the second embodiment is completed, and the process returns to the main routine (the flowcharts shown in FIGS. 8 and 9).
  • the detection of the specific temperature object, the setting of the alarm area, the detection of the presence or absence of other objects in the alarm area, and the alarm stages (S18 to 23) are also the distance image and infrared image acquired from the first monitoring unit 211. , And each of the distance image and the infrared image acquired from the second monitoring unit 212. At this time, even if only one of the first monitoring unit 211 and the second monitoring unit 212 sets the alarm area, the monitoring operation for the alarm area is executed to perform an alarm or the like. That's fine.
  • the image of the monitoring unit that captures the higher temperature portion of the infrared image acquired from each To be displayed use the image of the monitoring unit that captures the higher temperature portion of the infrared image acquired from each To be displayed.
  • the temperature information having the highest temperature can be displayed together with the object.
  • two monitoring units are used. However, more monitoring units may be provided.
  • the two monitoring units are controlled by one control unit 220.
  • the control unit 220 is provided for each of the two monitoring units, and the screen display is switched. It is also possible to further provide a control unit (computer) dedicated to screen switching that performs only the above.
  • each stage of detection of a specific temperature object, setting of an alarm area, detection of the presence or absence of other objects in the alarm area, and alarm (S18 to S23) 2 From each infrared image of the monitoring unit 212, it is determined whether or not there is a specific temperature part first, and thereafter, the process is executed using the distance image and the infrared image of the specific temperature part detected. Good.
  • an image displayed by color coding based on distance and temperature may be simply provided as an image showing a high temperature surface.
  • detection of the specific temperature object, setting of the alarm area, detection of the presence / absence of another object in the alarm area, and the alarm steps (S18 to S23) may not be performed.
  • the coordinate conversion coefficient for converting the two-dimensional coordinate system of the infrared image into the three-dimensional coordinate system of the distance image is obtained as an initial setting.
  • the angle of view of the camera may be the same as the angle of view of the distance image obtained by the rider's scanning.
  • the angle of view of the infrared camera is adjusted to the angle of view of the distance image by changing the focal length (or magnification) of the lens of the infrared camera. Even in this way, the two-dimensional coordinate system of the infrared image and the coordinate system of the XY plane in the three-dimensional image of the distance image can be made the same.
  • the alarm region is set around the specific temperature object, but after detecting the specific temperature object, the distance between the specific temperature object and another object is calculated one by one.
  • An alarm signal may be output by determining whether the distance is equal to or less than a predetermined distance.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radiation Pyrometers (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)

Abstract

３次元的な物体の位置と、その物体の温度が視覚的にわかりやすく表示されるための監視システムであって、監視システムは、第１領域を走査して３次元座標系の距離画像を出力するライダー１０２と、第１領域と重複する第２領域を撮影して２次元座標系の赤外線画像を出力する赤外線カメラ１０４と、距離画像および赤外線画像を取得して、距離画像から物体を検出して、検出した物体の位置に対応する温度を赤外線画像から得られる温度分布から対応付けして、物体の３次元座標系内の位置の情報および温度の情報を物体と共に表示させる画像をディスプレイ１３０に表示させる制御部１２０と、を有する。

Description

監視システムおよび監視システムの制御方法
　本発明は、監視システムおよび監視システムの制御方法に関する。
　従来、所定領域内の安全を確保する技術としては、ライダー（レーザーレーダーともいわれている）から取得したレーダー画像と、監視カメラから取得したカメラ画像とを用いるものがある。この技術では、レーダー画像の座標系とカメラ画像の座標系とを重ね合わせ、移動物体を特定する補助情報をカメラ画像上に重ねて表示させる。この表示によって、監視用域内の状況を容易に把握できるようにしている（特開２００４－２１２１２９号公報）。
　また、空間における熱物体の移動状況や位置などを検知する技術として、複数の赤外線検出エレメントから構成される赤外線センサーを用いるものがある。この技術によれば、温度の高い物体の移動状況や位置などを容易に把握できるようになる（特開平９－２９７０５７号公報）。
　特開２００４－２１２１２９号公報に記載された技術では、監視対象の領域内に存在する移動体の状況を把握することができる。しかし、この従来の技術は、監視対象の領域内に存在する多くの物体のなかから温度の高い物体を認識して、その移動状況を把握したり、温度の高い物体と他の物体との距離を把握したりできない。
　また、特開平９－２９７０５７号公報に記載された技術では、温度の高い物体の移動状況や位置などを２次元方向に把握することはできる。しかし、この従来の技術では、３次元方向に移動する温度の高い物体の移動状況や位置は把握することができない。
　そこで、本発明の目的は、３次元的な物体の位置と、その物体の温度が視覚的にわかりやすく表示される監視システム、および監視システムの制御方法を提供することである。
　上記の目的は、以下の手段により達成される。
　（１）第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
　前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、
　前記ライダーから前記距離画像を取得し、取得した前記距離画像から物体を検出すると共に、前記赤外線カメラから前記赤外線画像を取得して、検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けして、前記物体の３次元座標系内の位置の情報および前記温度の情報を前記物体と共に表示させる画像を出力する制御部と、
　前記制御部からの前記画像を表示するディスプレイと、
　を有する監視システム。
　（２）前記制御部は、
　前記位置の情報を、前記３次元座標系における前記ライダーから前記物体までの距離とし、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けた前記画像を出力する、上記（１）に記載の監視システム。
　（３）前記制御部は、
　前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けた前記画像を出力する、上記（１）または（２）に記載の監視システム。
　（４）前記制御部は、
　所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けた前記画像を出力する、上記（１）～（３）のいずれか１つに記載の監視システム。
　（５）前記制御部は、
　前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体にのみ、前記温度の情報を付ける、上記（１）～（４）のいずれか１つに記載の監視システム。
　（６）前記制御部は、
　前記物体に対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、上記（１）～（５）のいずれか１つに記載の監視システム。
　（７）前記ライダーと前記赤外線カメラとが１台ずつで１セットの前記監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
　前記制御部は、前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる前記画像を出力する、上記（１）～（６）のいずれか１つに記載の監視システム。
　（８）第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
　前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、を有する監視システムの制御方法であって、
　前記ライダーから前記距離画像を取得し、前記赤外線カメラから前記赤外線画像を取得する段階（ａ）と、
　取得した前記距離画像から物体を検出する段階（ｂ）と、
　検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けする段階（ｃ）と、
　前記物体の３次元座標系内の位置の情報および前記温度の情報を前記物体と共にディスプレイに表示させる段階（ｄ）と、
　を有する監視システムの制御方法。
　（９）前記段階（ｄ）においては、
　前記位置の情報は、前記３次元座標系における前記ライダーから前記物体までの距離であり、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けて表示する、上記（８）に記載の監視システムの制御方法。
　（１０）前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｅ）を有し、
　前記段階（ｄ）においては、
　前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けて表示する、上記（８）または（９）に記載の監視システムの制御方法。
　（１１）前記段階（ｄ）においては、
　所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けて表示する、上記（８）～（１０）のいずれか１つに記載の監視システムの制御方法。
　（１２）前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｆ）を有し、
　前記段階（ｄ）においては、
　前記動体であると判断された前記物体にのみ、前記位置および温度の情報を付けて表示する、上記（８）～（１１）のいずれか１つに記載の監視システムの制御方法。
　（１３）前記段階（ｃ）においては、
　前記物体対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、上記（８）～（１２）のいずれか１つに記載の監視システムの制御方法。
　（１４）前記監視システムは、前記ライダーと前記赤外線カメラとが１台ずつで１セットの監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
　前記段階（ｄ）においては、
　前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる、上記（８）～（１３）のいずれか１つに記載の監視システムの制御方法。
実施形態１の監視システムの構成を示すブロック図である。 ライダーが第１領域を走査することによって得られた距離画像を説明するための説明図である。 赤外線カメラが第２領域を撮影して得られた赤外線画像を説明するための説明図である。 距離画像および赤外線画像を単純に重ね合わせた例を説明するための説明図である。 座標変換係数算出の処理手順を示すフローチャートである。 座標変換係数算出の説明図である。 座標変換係数算出の説明図である。 制御部による監視動作の処理手順を示すフローチャートである。 表示例を示す画面例図である。 特定温度物体を説明するための説明図である。 特定温度物体の周囲に設ける警報領域を説明するための説明図である。 特定温度物体の周囲に設ける警報領域を説明するための説明図である。 実施形態２の監視システムの構成を示すブロック図である。 監視部の配置を示す鳥瞰図である。 実施形態２における表示処理段階の手順を示すサブルーチンフローチャートである。
　以下、添付した図面を参照しながら、本発明の実施形態を説明する。本発明は以下の実施形態には限定されない。なお、図面の説明において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面は、本発明の理解を容易にすることを目的として作成しているため、誇張して記載されており、図面の寸法比率などは実際の寸法比率とは異なる場合がある。
　（実施形態１）
　（監視システムの構成）
　図１は、実施形態１の監視システムの構成を示すブロック図である。
　監視システム１００は、監視部１１０、制御部１２０、ディスプレイ１３０、および警報器１４０を有する。監視部１１０は、物体（たとえば、高温の物体や、人、車両、その他の物などの物体）をとらえることができる位置に設置される。
　監視部１１０は、ライダー１０２（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）と赤外線カメラ１０４とが同一の筐体に取り付けられて一体化されている。このようにすることで、たとえば、ライダー１０２と赤外線カメラ１０４は光軸の向きを一致させている（Ｚ方向（後述の図２、３参照）が同一方向）。また、ライダー１０２と赤外線カメラ１０４はＹ方向（縦方向（後述の図２、３参照））に隣接して配置され、Ｘ方向（横方向）において光軸を一致させている。
　ライダー１０２は、第１領域の空間に向けてレーザー光を走査してその反射光から走査する空間内に存在する物体までの距離を計測する。得られた距離値の分布を点群データとも称しており、ライダー１０２の設置位置から物体までの距離、および物体の大きさや形がわかる。ライダー１０２がレーザー光を１フレーム分走査することによって、その空間に存在する物体までの距離、または反射光がない部分では無限遠の距離となる距離値の分布からなる画像が得られる。このようなライダー１０２から出力される画像は、物体までの距離の情報も含まれているため距離画像と称される（ライダー画像と称されることもある）。ライダー１０２からは、この距離画像が３次元座標系の画像として制御部１２０へ出力される。
　赤外線カメラ１０４は、第２領域の空間の物体を撮影して、撮影した空間内の温度分布をモノクロ濃淡による２次元座標系の赤外線画像として出力する。赤外線カメラ１０４は、温度の高い部分をとらえた画素の出力値は高く、温度の低い部分をとらえた画素の出力値は低い。デジタルデータとしての出力の場合、温度が高い部分をとらえた画素ほど出力階調値が高くなる。
　ライダー１０２が走査する第１領域と赤外線カメラ１０４が撮影する第２領域は、少なくとも一部で重複している。この重複領域は、監視システム１００としての監視範囲となる。この重複領域は、できるだけ無駄をなくすために、第１領域と第２領域をできるだけ多く重複させることが好ましい。
　ライダー１０２の距離画像と赤外線カメラ１０４の赤外線画像とは、重複領域内に存在する物体の３次元空間位置と温度情報とを把握するために用いられる。ライダー１０２の１フレーム分の走査間隔と赤外線カメラ１０４の撮像間隔は、完全に同期させる必要はない。たとえば、ライダー１０２は、１０フレーム／秒程度の走査間隔であるのに対し、赤外線カメラ１０４は、数分の１秒～数千分の１秒程度の間隔で撮影が可能である。しかし、好ましくはこれらを同期させることで、同一時刻に取得された距離画像から物体の３次元位置を把握して、その物体の温度情報を一致させることができる。
　ライダー１０２から出力される距離画像を時系列に複数並べることで動画となる。赤外線カメラ１０４の赤外線画像も同様に、時系列に複数並べることで動画となる。動画内の１枚の画像をフレームという。
　制御部１２０はコンピューターである。制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２３、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１２４などを有する。ＣＰＵ１２１は、ＨＤＤ１２４から処理内容に応じたプログラムを呼び出して、ライダー１０２および赤外線カメラ１０４の動作を制御すると共に、物体の３次元位置の検知、物体の温度、警報動作、温度情報の表示などを行う。ＨＤＤ１２４はＲＡＭ１２３と共に記憶部となり、各処理に必要なプログラムやデータなどを記憶している。なお、図１ではＨＤＤ１２４を用いているが、ＨＤＤ１２４に代えて、たとえばフラッシュメモリーなどの不揮発性の半導体メモリーを使用しても良い。
　制御部１２０は、タッチパネル、ボタン、マウスなどの入力装置１２５、およびたとえばサーバー等の外部機器を接続するためのネットワークインターフェース１２６（ＮＩＦ：Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ）を有する。
　監視システム１００は、ディスプレイ１３０、および警報器１４０を備える。本実施形態ではディスプレイ１３０をたとえば工場の監視ルームに設置するために制御部１２０とは分離させて設けることができる。もちろん制御部１２０と一体化させても良い。また、ディスプレイ１３０と警報器１４０も、監視する環境によっては一体化させても良い。警報器１４０は、たとえば、音、フラッシュライトや回転灯などの光、そのほか人が認知できるような方法で警報を発する。なお、監視システム１００は、警報器１４０による警報に代えて、他の処理を行わせるようにしてもよい。他の処理とは、たとえば赤外線カメラ１０４とライダー１０２から得られた画像の録画を開始する処理である。録画が開始されることで、重複領域内の物体の動きやディスプレイ１３０の表示を確実に記録しておくことができる。また、他の処理としては、たとえば、ロボット、工作機械、搬送車などの自動機械の停止などがある。
　本実施形態では、ライダー１０２および赤外線カメラ１０４が一体化された場合を例示した。しかし、ライダー１０２および赤外線カメラ１０４が分離して設置され、それぞれが制御部１２０に専用線またはネットワークを介して接続するようにしても良い。ただし、ライダー１０２および赤外線カメラ１０４が分離している場合は、ライダー１０２が走査する範囲と赤外線カメラ１０４が撮影する範囲を重複させる。
　また、制御部１２０は、専用のコンピューターではなく汎用のコンピューターを用いても良い。また、逆に、赤外線カメラ１０４、ライダー１０２、および制御部１２０が一体化されていてもよい。また、制御部１２０は、ここではＣＰＵやＲＡＭ、ＲＯＭを主体とした形態として示したが、たとえば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの集積回路によって構成されていてもよい。
　監視システム１００の動作を説明する。監視システム１００の動作は、大別して、初期設定動作と監視動作である。
　（初期設定動作）
　初期設定動作について説明する。図２は、ライダー１０２が第１領域を走査することによって得られた距離画像を説明するための説明図である。図３は、赤外線カメラ１０４が第２領域を撮影して得られた赤外線画像を説明するための説明図である。図４は、図２の距離画像および図３の赤外線画像を単純に重ね合わせた例を説明するための説明図である。なお、図２と図３では、同一の領域（空間）をとらえている。
　ライダー１０２は、図２に示すように、第１領域に存在する物や人などの物体ｏｂ１～ｏｂ４や地面（室内においては床。以下同様）ｇｒなどからの反射光から（空などの反射しない部分では無限遠となる。以下同様）、図に示すような３次元座標系による距離画像Ｉｍ１を出力する。この距離画像Ｉｍ１は３次元の点群データによって構成された画像であり、図のような３次元座標系（Ｘ１、Ｙ１、Ｚ１）を有している。したがって、距離画像Ｉｍ１を構成する各点は、Ｘ、Ｙ、およびＺ軸からなる３次元座標系において位置が特定される。なお、ここで、物体ｏｂ１～ｏｂ３は人であり、ｏｂ４は後述する特定温度物体となる物体である。
　赤外線カメラ１０４は、図３に示すように、第２領域に存在する物や人などの物体ｏｂ１～ｏｂ４や地面ｇｒなどから放射されている赤外線をとらえ、図に示すような赤外線画像Ｉｍ２を出力する。この赤外線画像Ｉｍ２において物体ｏｂ１～ｏｂ４はいずれも周辺温度（ここでは地面ｇｒや背景などの温度）より温度の高い物体である。赤外線画像Ｉｍ２を構成する各画素は、Ｘ軸およびＹ軸からなる２次元座標系において位置（座標値）が特定される。
　このように距離画像Ｉｍ１は３次元座標系（Ｘ１、Ｙ１、Ｚ１）を有し、赤外線画像Ｉｍ２は２次元座標系（Ｘ２、Ｙ２）を有している。このままでは両者の座標系が合っていないため、これらを単純に重ね合わせると、図４に示すように、本来、同じ位置にある物体ｏｂ１～ｏｂ４がずれてしまう。
　そこで、２次元座標系（Ｘ２、Ｙ２）のＸ軸とＹ軸を３次元座標系（Ｘ１、Ｙ１、Ｚ１）のＸ軸とＹ軸に対応させるための処理を行う。このような処理をここでは座標変換といい、対応させるために必要となる係数を座標変換係数という。初期設定動作は、この座標変換係数を算出するための動作である。
　座標変換係数の算出は、次のようにして行う。図５は、座標変換係数算出のための処理手順を示すフローチャートである。図６および７は座標変換係数算出の説明図である。この座標変換係数算出（初期設定動作）の処理は制御部１２０が座標変換係数算出のためのプログラムを実行することで行われる。
　まず、制御部１２０は、ライダー１０２が重複領域となる部分を含む第１領域を走査して出力した距離画像Ｉｍ１を取得する（Ｓ１）。ライダー１０２が走査する第１領域には、あらかじめ少なくとも２点の基準点となる物体を設置しておく。
　ここでは、基準点として棒の頭（先端）に、たとえば白熱電球やヒーターなどの発熱体や、赤外線ＬＥＤなど赤外線放射物体を取り付けている。
　基準点は静止物であることが好ましいが、既に説明したように、ライダー１０２の走査時刻と赤外線カメラ１０４の撮影時刻を一致（同期）させていれば動体に基準点を設定してもよい。
　取得した距離画像例を図６に示した。図示するようにこの距離画像Ｉｍ１においては、画像上での基準点Ｐ１およびＰ２として写っている。
　続いて、制御部１２０は、赤外線カメラ１０４が重複領域となる部分を含む第２領域を撮影して出力した赤外線画像Ｉｍ２を取得する（Ｓ２）。取得した赤外線画像例を図７に示した。図示するようにこの赤外線画像Ｉｍ２においては、基準点ＰＰ１およびＰＰ２が写っている。これは、設置した基準点となる棒の先端に赤外線放射体が取り付けられているので、この部分が赤外線画像Ｉｍ２では輝度（階調値）の高い部分となる。なお、Ｓ１とＳ２の処理順番は逆でもよい（同時でもよい）。
　続いて、制御部１２０は、得られた赤外線画像Ｉｍ２の２次元座標系を距離画像Ｉｍ１の３次元座標系へ合わせるための変換係数を算出する（Ｓ３）。距離画像Ｉｍ１と赤外線画像Ｉｍ２とは同じ領域（空間）を走査また撮影して得られた画像である。このため両者の画像に存在する物体の実物の大きさや距離（基準点間の距離）は同じである。しかし、それらの画像では、走査や撮影する機材が異なるために画像ごとに縮尺が異なる。このため両者を単純に重ね合わせると（図４参照）、物体の位置がずれたり、大きさが違ったりしてしまうのである。
　赤外線画像Ｉｍ２の２次元座標系を距離画像Ｉｍ１の３次元座標系へ合わせるためには、両者の座標系の縮尺が同じになるように変換すればよい。ここでは、赤外線画像Ｉｍ２のＸ軸およびＹ軸の縮尺を距離画像Ｉｍ１のＸ軸およびＹ軸に合わせることにした。このために基準点を２つ設けた。
　具体的には、まず、距離画像Ｉｍ１に写っている基準点Ｐ１およびＰ２の画像内におけるＸ軸およびＹ軸方向の距離を求める。Ｐ１とＰ２のＸ軸方向の距離をΔ（Ｐ１－Ｐ２）ｘとする。同様に、Ｐ１とＰ２のＹ軸方向の距離をΔ（Ｐ１－Ｐ２）ｙとする。
　同様にして、赤外線画像Ｉｍ２に写っている基準点ＰＰ１およびＰＰ２の画像内におけるＸ軸およびＹ軸方向の距離を求める。たとえば、ＰＰ１とＰＰ２のＸ軸方向の距離をΔ（ＰＰ１－ＰＰ２）ｘ、ＰＰ１とＰＰ２のＹ軸方向の距離をΔ（ＰＰ１－ＰＰ２）ｙとする。
　そして、Ｘ軸、Ｙ軸の変換係数を求める。Ｘ軸の変換係数をαｘとすると、αｘ＝Δ（Ｐ１－Ｐ２）ｘ／Δ（ＰＰ１－ＰＰ２）ｘとなる。Ｙ軸の変換係数をαｙとすると、αｙ＝Δ（Ｐ１－Ｐ２）ｙ／Δ（ＰＰ１－ＰＰ２）ｙとなる。
　このように、本実施形態では、赤外線画像Ｉｍ２の２次元座標系を距離画像Ｉｍ１の３次元座標系へ変化するために、Ｘ軸およびＹ軸のそれぞれの変換係数を求めている。得られた変換係数は、ＲＡＭ１２３またはＨＤＤ１２４に記憶しておく。
　なお、基準点の数は、特に限定されない。また、座標変換のために基準点を重複領域となる空間に設置するのではなく、空間に存在している物体を基準点としてもよい。たとえば、画像内で見分けやすいように物体の角などを基準点として指定する。ただし、基準点とする物体は、赤外線画像内に基準点を写り込ませるために、基準点は赤外線放射物体である必要がある。
　変換係数を求めた後、座標変換係数算出（初期設定動作）の処理は終了する。以降は、この変換係数を用いて、赤外線画像における２次元座標系（Ｘ－Ｙ）にある物体の座標値（または画面全体）を距離画像における３次元座標系のＸ－Ｙ平面と同じ座標系に変換することができる。
　また、この初期設定動作においては、赤外線カメラ１０４の画像の歪みの補正も行っている。赤外線カメラ１０４は、通常のカメラ同様にレンズを使用している。このため、どうしてもレンズの端とレンズの光学的な中心との屈折率のわずかな違いから、画像に歪みが出てしまう。このような歪みによって、仮に、同じ物体が同じ距離にあったとしても、それを撮影した赤外線画像では、周辺部に写った場合と中央部に写った場合とで、大きさや位置が微妙に違ってしまうことになる。
　そこで、このようなレンズ起因の赤外線画像における歪みも初期設定動作において補正する。補正動作自体は、レンズの設計データから得られるレンズ全体の屈折率などから画像を補正してもよい。また、上述した座標変換に用いた基準点が赤外線画像の中央部に来るように撮影した赤外線画像と、周辺部に来るように撮影した赤外線画像とを用いて、両者の赤外線画像を比較して基準点の位置や基準点間距離の違いから補正するようにしてもよい。
　もちろん、この歪みのないレンズ中央部のみ使用するようにして補正は行わないようにしてもよい。この場合、たとえば、赤外線カメラ１０４において、歪みが発生しないレンズ中央部に写る範囲がライダー１０２の走査範囲となるように調整する（または、赤外線カメラ自体の構成として、大口径のレンズを使用し、歪みが発生しないレンズ中央部だけからの光を赤外線撮像素子（ボロメーター）で受けるようにする）。
　この座標変換係数算出（初期設定動作）の処理は、所定の時期、たとえば、監視システム１００を現場に設置する時、定期的なメンテナンス時、またはユーザーが決めた任意な時期（不具合の発見時など）に行う。
　なお、ここでは、３次元座標系も２次元座標系も、直交座標系を用いたが、極座標系を用いてもよい。
　（監視動作）
　監視動作について説明する。図８は、制御部１２０による監視動作の処理手順を示すフローチャートである。以下の説明において現在フレームとは現在時点で取得したフレームをいい、前フレームとは、時系列的に現在フレームに対して１つ前のフレームをいう。なお、この手順は、繰り返し処理を含むため、説明の都合上、後から行われる段階の処理の結果を使用した処理を先に説明することがある。
　ここでは、ライダー１０２の走査間隔と赤外線カメラ１０４の撮影間隔は同期させている。
　まず、制御部１２０は、ライダー１０２から現在時点の１フレーム分の距離画像を取得し、赤外線カメラ１０４から同じく現在時点の１フレーム分の赤外線画像を取得する（Ｓ１１）。なお、距離画像と赤外線画像を取得する順番はどちらが先でもよい（同時でもよい）。
　続いて、制御部１２０は、背景差分法を用いて、距離画像内で検出される物体をクラスタリングする（Ｓ１２）。背景差分法は周知のように、あらかじめ背景画像として登録してある画像と、取得したフレームの画像（ここではＳ１１で取得したフレームの画像）を比較して、背景画像と異なる部分があれば、その部分を新たに出現した物体として検出する。背景画像は、ライダー１０２によって走査する範囲（第１領域の空間）に、物体がない状態で走査して取得した距離画像を記憶しておくとよい。背景画像は、たとえばＨＤＤ１２４に記憶して、ＲＡＭ１２３に読み出して使用する。
　クラスタリングは、検出した物体をその後の処理において追跡しやすいようにするためであり、周知の方法を用いることができる。たとえば、クラスタリングは、検出した物体の画素数や３次元座標系における座標値から得られる物体の大きさなど（物体の３次元座標系内におけるＸ，Ｙ，Ｚ各方向の長さや、面積、体積など）によって、距離画像内で、各物体を一塊のクラスターにする。各クラスターは、その位置として、たとえば、クラスター中心の座標値やクラスター外形線の座標値などをＲＡＭ１２３に記憶する。
　続いて、制御部１２０は、クラスタリングされた物体について動体追跡を行う（Ｓ１３）。動体追跡は、現在フレームの距離画像でクラスタリングした物体と同じクラスターの物体が前フレームにあったか否かを検索する。そして、前フレームに同じクラスターの物体があれば、その物体の前フレームの位置と現在フレームの位置を比較して、その物体の移動距離、移動方向、および速度（速度は距離をフレーム間の時間で除することで得られる）を求める。これにより、物体ごとに移動距離、移動方向、および速度がわかるので、これらを物体ごとにＲＡＭ１２３に記憶する。また、前フレームには存在しないが現在フレームで検出された物体があれば、その物体は現在フレームにおいて出現した物体として、ＲＡＭ１２３に座標値（位置）を記憶する。
　なお、物体の移動距離、移動方向、および速度を使った処理については後述するが、これらを使用しなければ、Ｓ１３の処理は行わなくてもよく、クラスタリングと共に現在フレームにおける物体の３次元座標系の座標値（位置）求めるだけでもよい。
　続いて、制御部１２０は、赤外線画像内で周辺（地面や背景など）より温度の高い部分と距離画像内で検出された物体とを対応付ける（Ｓ１４）。赤外線画像は、様々な温度物体から放射されている赤外線を撮影したものである。このため、赤外線画像から、撮影した領域（ここでは第２領域）の温度分布がわかる。そして、既に説明したように、赤外線画像内の物体と距離画像内の物体とは座標変換によって対応させることができる。
　具体的には、制御部１２０は、赤外線画像において周辺より温度の高い部分（たとえば図３に示したｏｂ１～ｏｂ４）を占める画素の２次元座標系の座標値を抽出する。たとえば、２次元座標系における１つの画素の座標値を（ｘ１，ｙ１）とすると、既に求めている変換係数αｘ，αｙを用いて変換すると、（αｘ×ｘ１，αｙ×ｙ１）となる。他の各画素についても同じ変換をする。
　なお、このような画像変換は、赤外線画像において周辺より温度の高い部分を示している画素だけ、すなわち、画素の階調値が０以外、またはあらかじめ決められた閾値以上の画素を変換してもよいし、赤外線画像のすべての画素を変換してもよい。
　そして、制御部１２０は、変換後の座標値の画素と重なる距離画像内の物体とを対応付けする。このとき、制御部１２０は、距離画像内の物体として示されている点群データの座標値の範囲と、変換後の温度の高い部分の座標値の画素とが少しでも重なっていれば、赤外線画像内の温度の高い部分と距離画像内の物体とが対応しているものとする。
　これは、高温物体の場合、物体からの輻射熱によって床面やその物体の周辺も熱くなり物体の周辺からも赤外線が放射されていることがある。このような場合、赤外線カメラで撮影した赤外線画像には、高温物体と共にその周辺も温度が高い部分として写る。また逆に、人のような物体を赤外線カメラで撮影した赤外線画像には、顔は温度の高い部分として写り、身体は顔よりも低温の部分として写る。これらの場合、赤外線画像内での温度の高い部分の大きさと、ライダーから取得した距離画像内の物体の点群（実際の物体の大きさ）の大きさとは一致しないことがある。そこで、本実施形態では、赤外線画像中における温度の高い部分と距離画像内の物体とで一部でも重なる部分があれば、それらは対応するものとしたのである。なお、重なりの割合に限定はない。たとえば、人の場合、衣服から肌の露出の程度によって異なるものの、温度が高く写る部分（顔など）は人全体に対して１～２０％程度であるので、１％以上重なりがあれば、対応するものとする。
　対応付けした各物体には、その対応付けした温度をその物体の温度としてＲＡＭ１２３に記憶しておく。なお、一つの物体の範囲内で温度分布があるような場合、たとえば、人の顔部分は身体より高い温度となり、人全体として温度分布がある。このような場合には、その温度分布のなかの最高温度をその物体全体の温度として記憶するとよい（この記憶した温度は後述する画像表示の際に使用する）。
　続いて、制御部１２０は、ディスプレイ１３０に赤外線画像を元にして、物体に温度と距離に応じた色を付けてディスプレイ１３０に表示させる（Ｓ１５）。このときの表示は、赤外線画像（２次元座標系）を基にしており、そのなかに、距離画像（３次元座標系）から得られた物体の位置がわかるように、赤外線画像内の物体の位置に相当する部分に枠線を描いて表示させる。赤外線画像における物体の位置は、すでに説明した座標変換によって、距離画像内のある物体について、その３次元座標系のＸ－Ｙ平面の座標を赤外線画像の座標に変換することで得られる。枠線は、クラスターとなっている物体では、３次元座標系の距離画像のＸ－Ｙ平面におけるクラスターの外形を抽出して、抽出した外形の座標値に合わせて、枠線を表示させる。
　物体に付ける枠線は第１の関連情報像であり、このような枠線を付けることで、視覚的に物体の存在がわかりやすくなる。特に動体については、物体が動いているため画面から視線を離したあとに見失うこともあるが、このように枠線を付けておくことで、わかりやすくなる。なお、第１の関連情報像としては、枠線に限らず、たとえば、物体を指し示す矢印や三角印などでもよい。また、枠線などと共に、物体までの距離や温度などの数値を表示させてもよい。
　さらに、この表示の際には、表示される物体に、位置の情報および温度の情報を基に色付けする。位置の情報は、ライダー１０２から得られる３次元座標系の距離画像から得られる情報である。ここでは上述の枠線（第１の関連情報像）もその一つであるが、さらに監視部１１０の設置位置（すなわちライダー１０２の設置位置）からの距離に応じて物体に付ける色を変えている。
　一方、温度の情報は、２次元座標系の赤外線画像から得られる温度であり、この温度の情報によっても物体に付ける色を変えている。
　これらにより、物体には、位置の情報と温度の情報に基づいて色分け表示がなされる。具体的にはたとえば、温度が低い方から高い方へ青、黄、赤などの色とする。さらに、監視部１１０からの距離が近いほど色の明度を高くし（すなわち表示する画素の階調値を高くし）、遠いほど色が明度を低く（表示する画素の階調値を低く）する、などである。
　図９は、表示例を示す画面例図である。表示される色を（Ｒ，Ｇ，Ｂ）の階調値として、各色０～２５５とする。図において、高温の物体（後述の特定温度物体となる物体）ｏｂ４は、温度が高いが距離が遠いので中程度の明度の赤（１５０，０，０）で表示する。特定温度物体ｏｂ４以外の物体ｏｂ１～ｏｂ３は人であり、特定温度物体ｏｂ４に比べて温度が低いので、黄色に近い色で、さらにそれぞれの距離に応じてそれらの色の明度が異なるように表示する。たとえば、最も近い物体ｏｂ１は明るい黄色（２２４，２５０，０）、中くらいの距離にある物体ｏｂ２は中くらいの明るさの黄色（１８０，１９０，０）、最も遠い物体ｏｂ３は暗い黄色（１００，１２０，０）で表示される。このとき物体の範囲内、すなわち、１の物体にクラスタリングされた位置（画素）に対応する赤外線画像に温度分布がある場合は、前述の物体全体の温度として記憶した温度で、物体全体に同じ色を施す。これにより、人など部分的に温度が高いような物体でも、画面を見て認識しやすくなる。また、物体ｏｂ１～ｏｂ４には、その温度にかかわらず、上述のとおり、物体であることを示す枠線ｆｂが付けられて表示される。このため、物体であることがわかりやすくなり、特に動体の視認性が向上する。
　続いて、制御部１２０は、赤外線画像のなかに特定温度部分があるか否かを判断する（Ｓ１６）。特定温度部分とは、所定の温度範囲（所定の温度以上とする場合を含む）となっている部分である。たとえば、監視対象として人に危害が及ぶような温度の物体に人が近付かないように監視し、近付いた場合に警報するような場合は、特定温度部分となる所定の温度範囲としては５０℃以上を設定する（この場合、上限はたとえば赤外線カメラの各画素が飽和する温度でよい）。もちろん、特定温度部分とする温度範囲を何度にするかは任意であり、監視対象の物体（たとえば人に危害を及ぼす高温物体）の温度や環境（室内か室外かなど）の温度などにより決めればよい。
　ここで、特定温度部分がなければ、制御部１２０は、次のフレームを取得するためにＳ１１へ戻る（Ｓ１６：ＮＯ）。なお、詳細は図示省略したが、Ｓ１２において物体が検出されない場合、当然のことながらＳ１４での対応付けは行われず、Ｓ１５では物体が存在しない画面が表示され、その後Ｓ１６でＮＯとなってＳ１１へ戻り、処理を継続することになる。また、Ｓ１６でＮＯと判断された場合は、後述する警報領域を設定したことを示すデータがあれば、クリアして警報領域が設定されてないことを示すようにしておく（これは後述するＳ１７の処理で必要となる）。
　制御部１２０は、特定温度部分を検出したなら（Ｓ１６：ＹＥＳ）、続いて、制御部１２０は警報領域が既に存在しているか否かを判断する（Ｓ１７）。ここで警報領域の有無は、後述するＳ１９において警報領域を設定した際に記憶させる、警報領域が設定された旨のデータを確認することで判断する。ここで既に警報領域が設定されている場合はＳ２０へ進むことになる。Ｓ２０の処理は後述する。
　Ｓ１７において、警報領域が存在しなければ（Ｓ１７：ＮＯ）、制御部１２０は、距離画像（３次元座標系）内の物体のうち、Ｓ１６で検出した特定温度部分に対応した物体を特定温度物体として特定する（Ｓ１８）。この段階では、既に、距離画像内の物体はクラスタリングされ、かつ、周辺温度よりも温度の高い部分と対応付けされている。そして動体の場合は動体追跡されている（上述のＳ１２～Ｓ１４）。このため、このＳ１８では、赤外線画像のなかから特定温度部分を検索して、それに対応している物体の座標値（位置）を特定すればよい。
　しかし、このとき、特定温度部分にＳ１３で動体追跡されている物体または現在フレームで新たに出現した物体と対応付けできない場合がある。たとえば、背景画像を取得（記憶）した時点では、低温であったが、その後温度が高くなったような静止物（移動しない物体）である。このような場合は、Ｓ１３に背景画像のなかに存在している何らかの物体（背景差分法では検出できない物体）が発熱したものとして、Ｓ１１で取得した３次元座標系の距離画像のなかから、Ｓ１２で物体として検出されていない静止物（以下単に静止物という）と特定温度部分を対応付ければよい。このとき、その静止物の座標値を特定温度物体の座標値としてＲＡＭ１２３に記憶する。
　このような事例は、たとえば、第１領域内にボイラー（移動しない接地型のもの）があった場合、背景画像取得時にも当然にボイラーは写っている。このため背景差分法では、ボイラーをＳ１２において物体とは検出できない。一方、背景画像取得時に停止していたボイラー、監視動作中のある時点から稼働し始めて熱くなると、特定温度部分として赤外線画像に写ることになる。このような事例では、上記のとおり、静止物であるボイラーを示している点群データに特定温度部分を対応付けすれば、以後、静止物であるボイラーも特定温度物体として認識できる。
　続いて、制御部１２０は、特定温度物体ｏｂ４の周囲に警報領域を設定する（Ｓ１９）。この警報領域の大きさは、特定温度部分を検出した赤外線画像から特定温度部分の温度（特定温度物体ｏｂ４内で温度分布がある場合は特に高い温度の部分）を特定し、その温度に応じて警報領域の大きさを可変とする。
　図１０は特定温度物体を説明するための説明図である。図１０は、３次元座標系の距離画像と座標変換後の２次元座標系の赤外線画像とを重ね合わせて示している。図１０に示すように、特定温度物体は、たとえば、その形状の端部の座標値（ｘ、ｙ、ｚ）で示すと、（ｘｍｉｎ，ｙｍｉｎ，ｚｍｉｎ），（ｘｍａｘ，ｙｍｉｎ，ｚｍｉｎ），（ｘｍａｘ，ｙｍａｘ，ｚｍｉｎ），（ｘｍｉｎ，ｙｍａｘ，ｚｍｉｎ），（ｘｍｉｎ，ｙｍｉｎ，ｚｍａｘ），（ｘｍａｘ，ｙｍｉｎ，ｚｍａｘ），（ｘｍａｘ，ｙｍａｘ，ｚｍａｘ），（ｘｍｉｎ，ｙｍａｘ，ｚｍａｘ）となる。ここでは、特定温度物体は接地している物体であるので、３次元座標系のＹ軸の原点（０）を地面（床面）に取れば、Ｙ軸方向の下端（ｙｍｉｎ）は０（ゼロ）となる。
　図１１および１２は、特定温度物体の周囲に設ける警報領域を説明するための説明図である。ここでは、３次元座標系における特定温度物体の周囲のみ示した。図１１は特定温度物体の温度Ｔ１の場合であり、図１２は特定温度物体の温度Ｔ２の場合である。ここではそれぞれの温度はＴ１＜Ｔ２である。そして警報領域を設定するための所定距離を温度に対応させて距離Ｄ１＜Ｄ２としている。
　特定温度物体の温度がＴ１の場合は、図１１に示すように、警報領域ｍ１は、特定温度物体ｏｂ４の周囲に特定温度物体ｏｂ４の外周から所定距離Ｄ１の範囲となるように設定する。具体的には、警報領域ｍ１は、特定温度物体ｏｂ４の外周端の座標値からＸ，Ｙ，Ｚ各軸について、いずれも距離Ｄ１の範囲を設定する。したがって、警報領域ｍ１を座標値（ｘ、ｙ、ｚ）で示すと（ｘｍｉｎ－Ｄ１，ｙｍｉｎ－Ｄ１，ｚｍｉｎ－Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍｉｎ＋Ｄ１，ｚｍｉｎ＋Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍｉｎ＋Ｄ１），（ｘｍｉｎ＋Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍｉｎ＋Ｄ１），（ｘｍｉｎ－Ｄ１，ｙｍｉｎ－Ｄ１，ｚｍａｘ＋Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍｉｎ－Ｄ１，ｚｍａｘ＋Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍａｘ＋Ｄ１），（ｘｍｉｎ－Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍａｘ＋Ｄ１）の範囲となる。ただし、ここでは前記のとおり特定温度物体は接地している物体であるので、Ｙ軸を原点（０）とすれば、Ｙ軸のマイナス方向に警報領域を設定する必要はない。このため、各座標値のなかのｙｍｉｎ－Ｄ１＝０となる。
　また、特定温度物体ｏｂ４の温度がＴ２の場合は、図１２に示すように、警報領域ｍ２は特定温度物体ｏｂ４の周囲に特定温度物体ｏｂ４の外周から所定距離Ｄ２の範囲となるように設定する。具体的には、警報領域ｍ２は、特定温度物体ｏｂ４の外周端の座標値からＸ，Ｙ，Ｚ各軸について、いずれも距離Ｄ２の範囲である。したがって、警報領域ｍ２を座標値（ｘ、ｙ、ｚ）で示すと（ｘｍｉｎ－Ｄ２，ｙｍｉｎ－Ｄ２，ｚｍｉｎ－Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍｉｎ＋Ｄ２，ｚｍｉｎ＋Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍｉｎ＋Ｄ２），（ｘｍｉｎ＋Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍｉｎ＋Ｄ２），（ｘｍｉｎ－Ｄ２，ｙｍｉｎ－Ｄ２，ｚｍａｘ＋Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍｉｎ－Ｄ２，ｚｍａｘ＋Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍａｘ＋Ｄ２），（ｘｍｉｎ－Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍａｘ＋Ｄ２）の範囲となる。ただし、ここでは前記のとおり、特定温度物体は接地している物体であるので、Ｙ軸を原点（０）とすれば、Ｙ軸のマイナス方向に警報領域を設定する必要はない。このため、各座標値のなかのｙｍｉｎ－Ｄ２＝０となる。
　このように本実施形態では、特定温度物体の温度が高い方が警報領域の範囲が広くなるように設定している。このような温度と所定距離との関係は、たとえば、あらかじめＨＤＤ１２４に温度対所定距離のテーブルデータなどとして記憶しておいて、ＲＡＭ１２３に読み出して使用するとよい。そして処理の際に、Ｓ１９において赤外線画像から検出された特定温度部分の温度からテーブルデータを参照して所定距離を抽出する。そして抽出した所定距離分離した警報領域を設定する。
　Ｓ１９においては、警報領域を設定後、警報領域を設定したことを示すデータをＲＡＭ１２３に記憶しておく。
　なお、上記説明では、特定温度物体が接地している（地面（床面を含む）に着いている）場合を例に説明したが、たとえば、特定温度物体が空中にある場合（たとえば、特定温度物体が吊り下げ搬送などされているような場合）、特定温度物体の下面（Ｙ軸のマイナス方向）にも広がるように警報領域を設定する。ただし、この場合も、Ｙ軸の原点を地面とすれば、ｙｍｉｎ－Ｄ２が０より小さくなる場合は０にしてよい。
　また、ここでは、特定温度物体が３次元座標系で直方体となっている場合を例に説明したが、特定温度物体の形状は直方体に限らず、その他の形状であってもよい。その場合、警報領域は、特定温度物体の形状に合わせて、特定温度物体の外周から所定距離（Ｄ１、Ｄ２など）の範囲として設定すればよい。
　また、ここでは、警報領域は、特定温度物体の外周端から所定距離（Ｄ１、Ｄ２など）の範囲として設定したが、これに代えて、たとえば、特定温度物体の中心から所定距離（ただし所定距離は特定温度物体の中心から外形までの距離より長い）の範囲としてもよい。これにより球体やそれに近い形状の場合に、クラスタリングした特定温度物体のクラスター中心から球体の範囲を警報領域として設定すればよいので、計算が容易になる（処理の高速化を図れる）。
　また、たとえば、特定温度部分として温度分布があるような場合に、特定温度物体のなかで最も温度の高い部分に対応する位置から所定距離の範囲としてもよい。これにより、特定温度物体のなかで、温度分布があるような場合でも、高温部分を中心にして警報領域を設定することができる。
　このように警報領域を特定温度物体から一定の距離または温度に応じた距離離すように設定することで、特定温度物体が動体の場合に、その移動に合わせて警報領域も移動させることができる（後述Ｓ２０参照）。
　なお、警報領域はこのような設定方法以外にも、たとえば、特定温度物体が移動しないことがわかっている場合（上記静止物の場合）や、移動する範囲がわかっている場合には、それらに合わせて、特定温度物体の周囲に、固定された所定距離の範囲を警報領域としてもよい。このような固定された警報領域を設定する場合、たとえば、特定温度物体が動体であれば、所定距離は、移動しない方向は短く、移動する方向は長くしてもよい。
　フローチャートに戻り説明を続ける。警報領域の設定後、制御部１２０は、特定温度物体ｏｂ４および警報領域ｍ１（またはｍ２）を色分けまたは線種分けした枠や線、または印を付けて表示させるように、ディスプレイ１３０に表示される画面を更新する（Ｓ２１）。このとき警報領域を示す枠線を第２の関連情報像とする。これにより、所定の温度範囲となっている物体（特定温度物体）が視覚的にわかりやすくなる。このため、特定温度物体に近付くような他の物体（人や物）がある場合にも、画面上で特定温度物体と他の物体との距離が把握しやすくなる。なお、第２の関連情報像としては、図示した枠線に限らず、たとえば、物体を指し示す矢印や三角印、さらに警報領域全体を薄く色付けするようなことでもよい（たとえば特定温度物体がその色から透けて見える程度の濃さ）。
　続いて、制御部１２０は、特定温度物体と異なる、他の物体（人やそのほかの物など）が警報領域内にあるか否かを判断する（Ｓ２２）。この比較は、Ｓ１２でクラスタリングした物体（すなわち背景差分法で検出された物体）の、クラスターの外形の座標値と警報領域を示している座標値で囲まれた範囲を比較する。そして、他の物体のクラスターの外形の座標値が警報領域内に入っていれば、他の物体が警報領域内にあると判断する。
　ここで、他の物体が警報領域内にあると判断されなければ（Ｓ２２：ＮＯ）、制御部１２０は、Ｓ１１へ戻り、次のフレームの各画像を取得し、その後の処理を継続する。
　一方、他の物体が警報領域内にあると判断されたなら（Ｓ２２：ＹＥＳ）、制御部１２０は、警報器１４０に対して警報信号を出力する（Ｓ２３）。これにより、警報信号を受信した警報器１４０から警報音が鳴る。また、ディスプレイ１３０に、警報領域内に入ったと判断された物体（または物体を囲む枠や印など）を点滅させたり、画面全体の色を変えたり、点滅させたり、さらには、警告文を表示させたりして、視覚的にも警報が発せられていることがわかるようにするとよい。また、警報器１４０と合わせて、回転灯を点灯させたり、色分けされた積層表示灯の色を青から赤に変化させたり、その他のランプを点灯や点滅させたりするなど、様々な警報動作を行ってもよい。
　その後、Ｓ１２へ戻り、処理を継続することになる。Ｓ２３からＳ１２へ戻って以降、特定温度部分が消失した場合（Ｓ１６：ＮＯとなった場合）、または、他の物体が警報領域から抜けた場合（Ｓ２２：ＮＯとなった場合）は、警報信号を止めるようにしてもよい。また、警報信号の出力後は、たとえば手動によって警報を切らない限り鳴り続けるようにしてもよい。
　Ｓ２０の処理を説明する。Ｓ２０では、前フレームまでで既に警報領域が設定されている状態である。しかも、その時点で取得されている現在フレームにおいて動体追跡（Ｓ１３）も行われている。このため、特定温度物体が動体であれば、その移動距離、方向、および速度がわかっている。そこで、Ｓ２０においては、既に設定されている警報領域の座標値を、特定温度物体の移動距離および方向を用いて移動させる。これにより、前フレームまでで既に警報領域が設定されていたなら、特定温度物体が動体であっても、その移動に合わせて警報領域を移動させるだけでよい。このためＳ１８～Ｓ１９のように、現在フレーム内の特定温度物体の座標値から警報領域を設定するよりは、計算が簡単になる（処理の高速化を図れる）。
　Ｓ２０の後は、制御部１２０は、Ｓ２１へ進み、移動させた警報領域などを表示させるように画面を更新し、以降の処理を継続する。
　このようにして監視動作は、繰り返し処理として実行される。
　上記説明では、特定温度物体の周囲にあらかじめ決められた所定距離の範囲を警報領域として設定することとした。これに代えて、特定温度物体と他の物体との相対距離および相対速度に応じて警報領域を設定するための所定距離の長さを変更するようにしてもよい。
　物体の移動方向、および速度は、既に説明したように、Ｓ１３の段階で得られる。特定温度物体についても、Ｓ１３での動体追跡の値として判明している。また特定温度物体が静止物の場合でもその位置は判明している（Ｓ１８で特定温度物体として静止物を特定した場合）。
　そこで、これらの移動方向および速度から、特定温度物体と他の物体とが相対的に接近する方向に移動している場合で、かつ相対速度（接近速度）が速い場合には、既に設定されている警報領域を広げる。これにより、特定温度物体と他の物体のうち、少なくともいずれか一方が動体の場合に、特定温度物体の温度だけではなく、それらの移動速度なども考慮していち速く警報信号を出すことができる。
　以上説明した実施形態１によれば、以下のような効果を奏する。
　本実施形態１では、ライダーからの距離画像から物体を検出し、赤外線カメラからの赤外線画像の温度分布を検出した物体に対応付けして、３次元座標系内の位置の情報および温度の情報を物体と共にディスプレイに表示させることとした。これにより、物体の位置と共にその物体の温度も視覚的にわかりやすくなる。
　このように、本実施形態１では、視覚的に物体の位置と温度がわかることで、たとえば、高温の物体を扱うような現場においても、単純な危険温度での警報発報ではなく、高温の物体（たとえば特定温度物体）と他の物体との位置関係を含めた危険度の判断が実現できる。
　しかも、本実施形態１では、物体の温度を検出できる２次元座標系の赤外線画像と、空間内の３次元的な位置を３次元座標系としてとらえるライダー１０２の距離画像との座標系を座標変換により合わせたうえで、赤外線画像からの温度と距離画像からの物体の位置（ライダー設置位置からの距離）を対応付けることとしたので、表示される画像内での位置と温度と、見た目の位置の違いもほとんどない。
　また、物体の位置および温度の情報は、ライダー１０２から物体までの距離と温度に応じて、物体を色分けして表示させることとしたので、ディスプレイ１３０に映し出された画像から、視覚的、かつ直観的に物体の位置および温度がわかるようになる。これは、たとえば、物体の座標値および温度が数値として、画面に映っている物体とは別に表示されている場合のように、画面を見ているユーザーが一々物体と数値を対照する必要がなくなる。
　また、動体に対しては、第１の関連情報像を付けて表示させることとしたので、移動している物体が視覚的にわかりやすくなる。
　また、所定の温度範囲の温度と対応付けされた物体には第２の関連情報像を付けて表示させることとしたので、あらかじめ決められた温度範囲、たとえば、高温の物体が視覚的にわかりやすくなる。
　また、この所定の温度範囲の温度を特定温度部分とし、それに対応付けされた物体を特定温度物体として、その周囲に警報領域を設けて、そのなかに物体が入った時には、警報させることとした。これにより温度の高い特定温度物体と他の物体との接近を確実にとらえて、安全を確保するための警報を出すことができる。
　特に、特定温度部分は、たとえば人に危険があるような高い温度の部分とすることで、他の物体は、たとえば人である場合に、温度の高い物体と人との接近を未然に防ぐために警報することができる。
　また、本実施形態では、Ｓ１３の動体追跡の後に、Ｓ１４において物体と温度との対応付けを行って、Ｓ１５で物体の色分け表示を行っている。このため背景差分法で一時的に検出されたが、その後動体追跡の段階では消えているような物体は、色分け表示させないようになっている。このため、動体のみ色分け表示されるので、動体の判別もし易くなる。
　また、物体に温度を対応付ける際には、その物体の範囲内で温度分布がある場合、最高温度を対応付けることとした。これにより、たとえば高温物体の場合に最も危険な温度が視覚的にわかるようになる。
　（実施形態２）
　（監視システムの構成）
　図１３は、実施形態２の監視システムの構成を示すブロック図である。図１４は、監視部の配置を示す鳥瞰図である。
　実施形態２の監視システム２００は２台の監視部を備える。２台の監視部は、第１監視部２１１と第２監視部２１２である。第１監視部２１１と第２監視部２１２は同じ監視対象となる空間を別な方向から監視するように配置されている。第１監視部２１１と第２監視部２１２の内部構成は共に実施形態１同様であり、それぞれに赤外線カメラ１０４とライダー１０２を有する。
　制御部２２０は、第１監視部２１１と第２監視部２１２を一度に制御すること以外、その構成は実施形態１と同じである。このため制御部２２０には、第１監視部２１１と第２監視部２１２が接続されている。その他の構成は、実施形態１を同じであるので、説明は省略する。
　制御部２２０による座標変換動作および監視動作は、第１監視部２１１と第２監視部２１２ごとにそれぞれ行われるが、その処理手順は実施形態１と同じであるので、説明は省略する。
　本実施形態２においては、表示処理の段階、すなわち、実施形態１で説明した監視動作の処理手順のうち、Ｓ１５およびＳ２１（Ｓ２３でディスプレイに警報を表示させる場合も含む、以下同様）の処理が実施形態１と異なる。
　本実施形態２では、図１４に示したように、第１監視部２１１と第２監視部２１２が同じ領域（空間）をそれぞれ異なる方向から監視している。つまり、第１監視部２１１と第２監視部２１２のそれぞれのライダー１０２が走査する第１領域および赤外線カメラ１０４が撮影する第２領域は、それぞれ少なくとも一部が重複するように配置されている。そして、第１監視部２１１と第２監視部２１２は、異なる方向から重複する領域をとらえている。このため同じ物体であっても、見えている部分（面）が異なる。特に赤外線カメラ１０４によって検知される温度は、物体の面によって異なる場合がある。つまり、１つの物体であっても、ある面は温度が高く、他の面は温度が低い場合などである（温度が低い面とは、物体のある面が赤外線遮蔽物に覆われている場合も含む）。
　たとえば図１４に示した物体ｏｂ５は一面ｈｏの温度が他の面ｃｏより高い。この場合、第１監視部２１１の赤外線カメラ１０４は温度の高い面ｈｏを撮影し、第２監視部２１２の赤外線カメラ１０４では温度の低い面ｃｏを撮影することになる。一方、それぞれのライダー１０２は同じ物体ｏｂ５をそれぞれの位置から走査して距離画像を出力している。
　このような場合、同じ物体に対して、温度の低い物体として表示させるよりも、温度の高い物体として表示させた方が、その物体が持つ固有の温度が画面内でわかりやすい。そこで、本実施形態２では、表示処理の段階で、温度が高い面ｈｏをとらえている方の監視部（図１４においては第１監視部２１１）の画像をディスプレイ１３０に表示させるようにした。
　このために、本実施形態２では、制御部２２０が表示処理段階であるＳ１５およびＳ２１（Ｓ２３）において、実施形態１とは異なる処理を行う。図１５は、実施形態２における表示処理段階（図８中のＳ１５およびＳ２１（Ｓ２３））の手順を示すサブルーチンフローチャートである。
　まず、制御部２２０は、実施形態１同様に、第１監視部２１１から取得した距離画像と赤外線画像、および第２監視部２１２から取得した距離画像と赤外線画像のそれぞれを用いて、図８に示したＳ１１からの処理を同時並行的に実施する。
　そして、Ｓ１５またはＳ２１（またはＳ２３）に処理が進むと、図１５に示したサブルーチンに移り、制御部２２０は、第１監視部２１１の赤外線カメラ１０４が撮影した赤外線画像内の最高温度を抽出し、これを第１画面温度Ｓｔ１とする（Ｓ３１）。
　続いて、制御部２２０は、第２監視部２１２の赤外線カメラ１０４が撮影した赤外線画像内の最高温度を抽出し、これを第２画面温度Ｓｔ２とする（Ｓ３２）。なお、Ｓ３１とＳ３２の処理の順番は逆でもよい（同時でもよい）。
　続いて、制御部２２０は、最高温度の高い方の画面を表示させる。ここでの処理は、Ｓｔ１≧Ｓｔ２か否かを判断する（Ｓ３３）。
　ここで、Ｓｔ１≧Ｓｔ２であれば（Ｓ３３：ＹＥＳ）、制御部２２０は、第１監視部２１１側の画像をディスプレイ１３０に表示させる。表示される画像は、第１監視部２１１から取得した距離画像と赤外線画像を用いて、実施形態１で説明したとおり、物体に色や枠を付けて表示させる。
　一方、Ｓｔ１≧Ｓｔ２でなければ（Ｓ３３：ＮＯ）、制御部２２０は、第２監視部２１２側の画像をディスプレイ１３０に表示させる。表示される画像は、第２監視部２１２から取得した距離画像と赤外線画像を用いて、実施形態１で説明したとおり、物体に色や枠を付けて表示させる。以上により本実施形態２におけるサブルーチンは終了するので、メインルーチン（図８および９に示したフローチャート）に戻ることになる。
　なお、特定温度物体の検出、警報領域の設定、および警報領域内の他の物体の有無の検出、警報の各段階（Ｓ１８～２３）も、第１監視部２１１から取得した距離画像と赤外線画像、および第２監視部２１２から取得した距離画像と赤外線画像のそれぞれを用いて行われる。このとき、仮に、第１監視部２１１と第２監視部２１２のいずれか一方でしか警報領域の設定が行われない場合も、その警報領域に対する監視動作を実行して警報などを行うようにすればよい。
　本実施形態２によれば、実施形態１の効果に加えて、以下の効果を奏する。
　複数のセットの監視部（実施形態２では２台）を用いて監視動作を行う場合に、それぞれから取得した赤外線画像の内、より温度の高い部分をとらえている方の監視部の画像を使用して表示させることとした。これにより最高温度を有する温度の情報を物体と共に表示させることができる。たとえば人の場合、顔が向いた方をとらえた画像（通常、顔は後ろ姿の頭よりが温度が高い）をディスプレイ１３０に表示させることができる。
　なお、本実施形態２では、２台の監視部としたが、さらに多くの監視部を設けてもよい。また、本実施形態２では２台の監視部に対して１つの制御部２２０でこれらを制御することとしたが、２台の監視部に対してそれぞれに制御部２２０を設け、画面表示の切り換えだけを行う画面切り替え専用の制御部（コンピューター）をさらに設けるようにしてもよい。
　また、実施形態２においては、特定温度物体の検出、警報領域の設定、および警報領域内の他の物体の有無の検出、警報の各段階（Ｓ１８～２３）は、第１監視部２１１と第２監視部２１２のそれぞれ赤外線画像から、先に特定温度部分があるか否か判定して、以後、処理を特定温度部分を検出した方の距離画像と赤外線画像を用いて実行するようにしてもよい。
　また、実施形態２においては、単に、距離と温度に基づいて色分け表示させた画像を、温度の高い面がわかるような画像として提供するだけとしてもよい。この場合、特定温度物体の検出、警報領域の設定、および警報領域内の他の物体の有無の検出、警報の各段階（Ｓ１８～２３）は行わなくてもよい。
　以上本発明を適用した実施形態を説明したが、本発明は、これら実施形態に限定されるものではない。
　たとえば、上述した実施形態では、特定温度部分を１つ検出した場合を例に説明したが、特定温度部分を複数検出した場合、それらに対応させて、複数の特定温度物体に対して、それぞれ第２の関連情報像を表示させるとよい。
　また、たとえば、上述した実施形態では、赤外線画像の２次元座標系を距離画像の３次元座標系に変換する座標変換係数を初期設定として求めることとしたが、このような座標変換に代えて赤外線カメラの画角と、ライダーの走査によって得られる距離画像の画角が同じになるようにしてもよい。たとえば、赤外線カメラのレンズの焦点距離（または倍率）を変えるなどすることで赤外線カメラの画角を距離画像の画角に合わせる。このようにしても、赤外線画像の２次元座標系と距離画像の３次元画像内のＸ－Ｙ平面の座標系を同じにすることができる。
　また、たとえば、上述した実施形態では、特定温度物体の周囲に警報領域を設定することとしたが、特定温度物体の検出後に、特定温度物体と他の物体との距離を逐一算出して、その距離が所定距離以下か否かを判断することで、警報信号を出力するようにしてもよい。
　そのほか、本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。
　本出願は、２０１８年２月２２日に出願された日本国特許出願番号２０１８－０２９９２８号に基づいており、その開示内容は、参照により全体として組み入れられている。
　１００、２００　監視システム、
　１０２　ライダー、
　１０４　赤外線カメラ、
　１１０、２１１、２１２　監視部、
　１２０、２２０　制御部、
　１３０　ディスプレイ、
　１４０　警報器、
　２１１　第１監視部、
　２１２　第２監視部。

Claims (14)

  1. 　第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
    　前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、
    　前記ライダーから前記距離画像を取得し、取得した前記距離画像から物体を検出すると共に、前記赤外線カメラから前記赤外線画像を取得して、検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けして、前記物体の３次元座標系内の位置の情報および前記温度の情報を前記物体と共に表示させる画像を出力する制御部と、
    　前記制御部からの前記画像を表示するディスプレイと、
    　を有する監視システム。
  2. 　前記制御部は、
    　前記位置の情報を、前記３次元座標系における前記ライダーから前記物体までの距離とし、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けた前記画像を出力する、請求項１に記載の監視システム。
  3. 　前記制御部は、
    　前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けた前記画像を出力する、請求項１または２に記載の監視システム。
  4. 　前記制御部は、
    　所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けた前記画像を出力する、請求項１～３のいずれか１つに記載の監視システム。
  5. 　前記制御部は、
    　前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体にのみ、前記温度の情報を付ける、請求項１～４のいずれか１つに記載の監視システム。
  6. 　前記制御部は、
    　前記物体に対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、請求項１～５のいずれか１つに記載の監視システム。
  7. 　前記ライダーと前記赤外線カメラとが１台ずつで１セットの監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
    　前記制御部は、前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる前記画像を出力する、請求項１～６のいずれか１つに記載の監視システム。
  8. 　第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
    　前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、を有する監視システムの制御方法であって、
    　前記ライダーから前記距離画像を取得し、前記赤外線カメラから前記赤外線画像を取得する段階（ａ）と、
    　取得した前記距離画像から物体を検出する段階（ｂ）と、
    　検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けする段階（ｃ）と、
    　前記物体の３次元座標系内の位置の情報および前記温度の情報を前記物体と共にディスプレイに表示させる段階（ｄ）と、
    　を有する監視システムの制御方法。
  9. 　前記段階（ｄ）においては、
    　前記位置の情報は、前記３次元座標系における前記ライダーから前記物体までの距離であり、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けて表示する、請求項８に記載の監視システムの制御方法。
  10. 　前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｅ）を有し、
    　前記段階（ｄ）においては、
    　前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けて表示する、請求項８または９に記載の監視システムの制御方法。
  11. 　前記段階（ｄ）においては、
    　所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けて表示する、請求項８～１０のいずれか１つに記載の監視システムの制御方法。
  12. 　前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｆ）を有し、
    　前記段階（ｄ）においては、
    　前記動体であると判断された前記物体にのみ、前記位置および温度の情報を付けて表示する、請求項８～１１のいずれか１つに記載の監視システムの制御方法。
  13. 　前記段階（ｃ）においては、
    　前記物体に対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、請求項８～１２のいずれか１つに記載の監視システムの制御方法。
  14. 　前記監視システムは、前記ライダーと前記赤外線カメラとが１台ずつで１セットの監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
    　前記段階（ｄ）においては、
    　前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる、請求項８～１３のいずれか１つに記載の監視システムの制御方法。
PCT/JP2018/041403 2018-02-22 2018-11-07 監視システムおよび監視システムの制御方法 WO2019163212A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020502020A JP7243707B2 (ja) 2018-02-22 2018-11-07 監視システムおよび監視システムの制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018029928 2018-02-22
JP2018-029928 2018-02-22

Publications (1)

Publication Number Publication Date
WO2019163212A1 true WO2019163212A1 (ja) 2019-08-29

Family

ID=67687428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041403 WO2019163212A1 (ja) 2018-02-22 2018-11-07 監視システムおよび監視システムの制御方法

Country Status (2)

Country Link
JP (1) JP7243707B2 (ja)
WO (1) WO2019163212A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039080A (ja) * 2019-09-05 2021-03-11 パナソニックＩｐマネジメント株式会社 物体情報生成装置、処理装置およびデータ処理システム
WO2021065176A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
US11258987B2 (en) 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
CN115802004A (zh) * 2022-10-25 2023-03-14 广东真知实验室科技有限公司 一种实验室施工建设监控方法及***
CN116721134A (zh) * 2023-08-10 2023-09-08 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪***及其方法
US11815598B2 (en) 2019-06-10 2023-11-14 Microsoft Technology Licensing, Llc Anti-collision and motion monitoring, control, and alerting systems and methods

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03185310A (ja) * 1989-12-14 1991-08-13 Opt:Kk 路面測定装置
JP2000350188A (ja) * 1999-06-08 2000-12-15 Sony Corp 背景画像更新装置及び方法
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2002366953A (ja) * 2001-06-11 2002-12-20 Central Res Inst Of Electric Power Ind 画像抽出方法および装置ならびに画像抽出プログラム、画像抽出方法を利用した配電柱の柱上機材の異常検出方法および装置ならびに異常検出プログラム
JP2006023150A (ja) * 2004-07-07 2006-01-26 Nissan Motor Co Ltd 赤外線投光器、赤外線撮像装置、並びに車両
JP2008046761A (ja) * 2006-08-11 2008-02-28 Sumitomo Electric Ind Ltd 移動体画像処理システム、装置及び方法
JP2013056011A (ja) * 2011-09-08 2013-03-28 Sony Corp 測定装置、測定方法、及びプログラム
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
JP2015055547A (ja) * 2013-09-12 2015-03-23 株式会社日立製作所 多波長放射温度計および多波長放射温度計測方法
JP2015127160A (ja) * 2013-12-27 2015-07-09 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
JP2016162075A (ja) * 2015-02-27 2016-09-05 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03185310A (ja) * 1989-12-14 1991-08-13 Opt:Kk 路面測定装置
JP2000350188A (ja) * 1999-06-08 2000-12-15 Sony Corp 背景画像更新装置及び方法
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2002366953A (ja) * 2001-06-11 2002-12-20 Central Res Inst Of Electric Power Ind 画像抽出方法および装置ならびに画像抽出プログラム、画像抽出方法を利用した配電柱の柱上機材の異常検出方法および装置ならびに異常検出プログラム
JP2006023150A (ja) * 2004-07-07 2006-01-26 Nissan Motor Co Ltd 赤外線投光器、赤外線撮像装置、並びに車両
JP2008046761A (ja) * 2006-08-11 2008-02-28 Sumitomo Electric Ind Ltd 移動体画像処理システム、装置及び方法
JP2013056011A (ja) * 2011-09-08 2013-03-28 Sony Corp 測定装置、測定方法、及びプログラム
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
JP2015055547A (ja) * 2013-09-12 2015-03-23 株式会社日立製作所 多波長放射温度計および多波長放射温度計測方法
JP2015127160A (ja) * 2013-12-27 2015-07-09 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
JP2016162075A (ja) * 2015-02-27 2016-09-05 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11258987B2 (en) 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
US11815598B2 (en) 2019-06-10 2023-11-14 Microsoft Technology Licensing, Llc Anti-collision and motion monitoring, control, and alerting systems and methods
JP2021039080A (ja) * 2019-09-05 2021-03-11 パナソニックＩｐマネジメント株式会社 物体情報生成装置、処理装置およびデータ処理システム
WO2021065176A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
JPWO2021065176A1 (ja) * 2019-09-30 2021-04-08
JP7311617B2 (ja) 2019-09-30 2023-07-19 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
US11979666B2 (en) 2019-09-30 2024-05-07 Fujifilm Corporation Processing apparatus, electronic apparatus, processing method, and program
CN115802004A (zh) * 2022-10-25 2023-03-14 广东真知实验室科技有限公司 一种实验室施工建设监控方法及***
CN115802004B (zh) * 2022-10-25 2023-09-01 广东真知实验室科技有限公司 一种实验室施工建设监控方法及***
CN116721134A (zh) * 2023-08-10 2023-09-08 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪***及其方法
CN116721134B (zh) * 2023-08-10 2023-10-10 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪***及其方法

Also Published As

Publication number Publication date
JPWO2019163212A1 (ja) 2021-03-18
JP7243707B2 (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
WO2019163212A1 (ja) 監視システムおよび監視システムの制御方法
WO2019163211A1 (ja) 監視システムおよび監視システムの制御方法
JP4985651B2 (ja) 光源制御装置、光源制御方法および光源制御プログラム
US20140307100A1 (en) Orthographic image capture system
WO2014155979A1 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
US20110311130A1 (en) Image processing apparatus, method, program, and recording medium
US20210160440A1 (en) Parallax correction using cameras of different modalities
JP2008527806A (ja) 夜間監視のシステムおよび方法
US20120288146A1 (en) Environment recognition device and environment recognition method
US11403742B2 (en) Image processing device, image processing method, and recording medium for generating bird's eye synthetic image
JP6240016B2 (ja) 追跡装置および追尾システム
CN114137511B (zh) 一种基于多源异构传感器的机场跑道异物融合探测方法
JP2018169831A (ja) 画像比較装置
CN106709894A (zh) 一种图像实时拼接方法及***
JP5955292B2 (ja) フィルタリング装置
CN102609152A (zh) 大视场角图像检测电子白板图像采集方法及装置
KR102097908B1 (ko) 대상체 촬영시스템
JP6544501B1 (ja) 監視システムおよび監視システムの制御方法
KR100269116B1 (ko) 움직이는대상물의3차원위치측정장치및방법
EP3660452B1 (en) Positioning system and positioning method
JP2000050145A (ja) 自動追尾装置
EP4071578A1 (en) Light source control method for vision machine, and vision machine
JP2007281989A (ja) ステレオ式監視装置
JP3253328B2 (ja) 距離動画像入力処理方法
JPH08329222A (ja) ３次元位置認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907141

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502020

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907141

Country of ref document: EP

Kind code of ref document: A1