WO2023149603A1 - 다수의 카메라를 이용한 열화상 감시 시스템 - Google Patents

다수의 카메라를 이용한 열화상 감시 시스템 Download PDF

Info

Publication number
WO2023149603A1
WO2023149603A1 PCT/KR2022/009021 KR2022009021W WO2023149603A1 WO 2023149603 A1 WO2023149603 A1 WO 2023149603A1 KR 2022009021 W KR2022009021 W KR 2022009021W WO 2023149603 A1 WO2023149603 A1 WO 2023149603A1
Authority
WO
WIPO (PCT)
Prior art keywords
image information
moving object
camera
information
speed dome
Prior art date
Application number
PCT/KR2022/009021
Other languages
English (en)
French (fr)
Inventor
조성현
Original Assignee
주식회사 월드씨엔에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 월드씨엔에스 filed Critical 주식회사 월드씨엔에스
Priority to EP22925070.9A priority Critical patent/EP4354853A1/en
Publication of WO2023149603A1 publication Critical patent/WO2023149603A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/07—Arrangements for adjusting the solid angle of collected radiation, e.g. adjusting or orienting field of view, tracking position or encoding angular position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Definitions

  • the present invention relates to a thermal imaging monitoring system using a plurality of cameras, and more particularly, to a monitoring system for determining a tracking target and tracking and monitoring using an optical camera, a spad dome camera, and a thermal imaging camera.
  • CCTVs closed-circuit televisions
  • the main purpose is to monitor a specific area or a specific target. Recently, when considering the environment according to an infectious disease, it is widely used to determine the target with an infectious disease and to track the movement route of the target. .
  • An object of the present invention to solve the above problems is to provide a thermal image monitoring system using a plurality of cameras.
  • Another object of the present invention to solve the above problems is to provide a method of operating a thermal image monitoring system using a plurality of cameras.
  • Another object of the present invention to solve the above problems is to provide a thermal image monitoring device using a plurality of cameras.
  • a method for monitoring a thermal image of a moving object performed by an electronic device equipped with at least one optical camera, a speed dome camera, and a thermal image camera provides a method for monitoring a thermal image of a moving object from the at least one optical camera.
  • Controlling the movement of the speed dome camera so that the camera faces the moving object obtaining second image information about the moving object from the speed dome camera, and the thermal imaging camera mounted on one side of the speed dome camera.
  • the method may include obtaining a temperature of the moving object and determining whether or not the speed dome camera tracks the moving object based on the temperature of the moving object.
  • the obtaining of improved thermal image information based on the thermal image information and the second image information includes generating contour image information of the moving object from the second image information through edge detection and
  • the method may include acquiring improved thermal image information based on image image information and the contour image information.
  • the step of determining whether or not to track the moving object by the speed dome camera based on the temperature of the moving object is to use a pre-learned environment-based critical temperature determination model and environmental information about an area corresponding to the first image information. Determining a critical temperature based on the threshold temperature and determining whether or not the speed dome camera tracks the moving object based on the critical temperature and the temperature of the moving object.
  • the first image information represents image information in which a preset distance area is photographed
  • the second image information represents image information in which a part of the preset distance region is photographed
  • the second image information represents the image information in which a part of the preset distance region is photographed.
  • Image information with a higher magnification than 1 image information can be displayed.
  • the electronic device may include a first electronic device in which the at least one optical camera is mounted and a second electronic device in which the speed dome camera and the thermal image camera are mounted, and the first electronic device is fixed. and the movement of the second electronic device can be controlled based on the location information of the moving object.
  • An electronic device including a memory, wherein the at least one command is executed to obtain first image information from the at least one optical camera, to derive a moving object in the first image information, and to obtain information about the moving object.
  • the speed dome camera is executed to control the movement of the speed dome camera so that the speed dome camera faces the moving object based on the location information of the moving object, and from the speed dome camera to the moving object.
  • Acquiring second image information about the speed dome camera acquiring thermal image information about the moving object from the thermal imaging camera mounted on one side of the speed dome camera, and obtaining the thermal image information and the second image information about the moving object.
  • Acquire improved thermal image image information based on image information acquire a temperature of the moving object based on the improved thermal image image information, and perform the speed relative to the moving object based on the temperature of the moving object. It can be executed to determine whether or not to take a follow-up shot of the dome camera.
  • the at least one command is executed to generate contour image information of the moving object from the second image information through edge detection, and to generate improved thermal image image information based on the thermal image information and the contour image information. can be executed to obtain
  • the at least one command is executed to determine a threshold temperature based on a pre-learned environment-based threshold temperature determination model and environmental information on a region corresponding to the first image information, and the threshold temperature and the temperature of the moving body. Based on, it may be executed to determine whether the speed dome camera tracks the moving object or not.
  • the first image information represents image information in which a preset distance area is photographed
  • the second image information represents image information in which a part of the preset distance region is photographed
  • the second image information represents the image information in which a part of the preset distance region is photographed.
  • Image information with a higher magnification than 1 image information can be displayed.
  • the electronic device may include a first electronic device in which the at least one optical camera is mounted and a second electronic device in which the speed dome camera and the thermal image camera are mounted, and the first electronic device is fixed. and the movement of the second electronic device can be controlled based on the location information of the moving object.
  • a plurality of optical cameras are arranged radially, and the shooting area of the central optical camera or the fisheye camera overlaps the capturing area of the remaining optical cameras, thereby providing a monitoring system in which blind spots are minimized.
  • the present invention it is determined whether or not to track the target in the monitoring area through the thermal imaging camera, and according to the result, only the specific target is tracked and photographed through the speed dome camera, and surveillance is performed on the unnecessary target with a relatively low-magnification image through the optical camera. is performed, and monitoring is performed with a relatively high-magnification image through a speed dome camera for only some objects, thereby providing an efficient monitoring system that performs differential monitoring for each individual.
  • FIG. 1 is a block diagram of a thermal image monitoring apparatus using a plurality of cameras according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a state of a thermal image monitoring device using a plurality of cameras according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a control module of a thermal image monitoring apparatus using a plurality of cameras according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a state in which a thermal imaging monitoring system using a plurality of cameras according to an embodiment of the present invention is applied to a crossroad.
  • FIG. 5 is a diagram illustrating an operating method of a thermal image monitoring system using a plurality of cameras according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a method of deriving an improved thermal image based on a visible light image and a thermal image according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
  • the term “and/or” includes any combination of a plurality of related listed items or any of a plurality of related listed items.
  • FIG. 1 is a block diagram of a thermal image monitoring device using a plurality of cameras according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing a thermal image monitoring device using a plurality of cameras according to an embodiment of the present invention. it is a drawing
  • a thermal image monitoring apparatus 100 using a plurality of cameras may include a first electronic device 110 and a second electronic device 120 .
  • the first electronic device 110 is fixed and can continuously photograph the same area
  • the second electronic device 120 can move the area to be photographed through rotation and/or angle adjustment.
  • the target can be tracked.
  • the thermal image monitoring device 100 according to an embodiment may be installed on the ground and fixedly installed at an end of a pole extending into the air in a monitoring area.
  • the first electronic device 110 may include at least one optical camera 111 .
  • the at least one optical camera 111 may include five optical cameras, but the number of optical cameras used may be changed according to the viewing angle of the optical lens.
  • the at least one optical camera 111 may include one fisheye camera (a camera using a fisheye lens) and four optical cameras, but the number of optical cameras used may change depending on the angle of view of the fisheye lens or the optical lens. It may be possible, but it is not limited thereto. However, when one fisheye camera is included, the fisheye camera may be used as a central camera that illuminates the central area, and the remaining optical cameras may be used as peripheral cameras that illuminate the outer area (eg, the area corresponding to each direction). may be
  • the plurality of optical cameras may be positioned adjacent to the periphery of the fisheye camera, and each optical camera may have a lens-oriented radially outward with the fisheye camera as the center. That is, each optical camera may obtain an optical image of a corresponding direction by targeting the outside of the fisheye camera in the entire area of the monitoring area. Since these optical cameras are disposed in a plurality of radial directions around the fisheye camera, optical images of a plurality of orientations of the monitoring area may be acquired. For example, in one embodiment, four optical cameras may be radially arranged at 90-degree intervals around a fisheye camera, and lenses of each optical camera may be oriented the same as a central axis of the camera. That is, each optical camera may be oriented so as to look in a direction in which the appearance of the moving object is expected, toward the outside from the center of the image obtained from the fisheye camera.
  • the second electronic device 120 may include a speed dome camera 121 and a thermal image camera 122 .
  • the speed dome camera 121 is a type of PTZ camera, and can take pictures while continuously following the moving object entering the monitoring area.
  • the speed dome camera can check the movement of the moving object in each fixed image, and the moving path of the moving object can also be checked through the moving image in which the speed dome camera tracks the positional movement of the moving object by panning or tilting.
  • the thermal imaging camera 122 may be mounted on the speed dome camera 121 and may be panned or tilted together to obtain a thermal image movement image tracking the positional movement of the moving object. Since the second electronic device 120 in which the speed dome camera 121 and the thermal imaging camera 122 of FIG. 2 are combined is an example, it can be combined in other shapes/forms, so that the appearance of FIG. 2 shows the present invention. The scope is not limited.
  • FIG. 3 is a block diagram of a control module of a thermal image monitoring apparatus using a plurality of cameras according to an embodiment of the present invention.
  • a control module 300 of a thermal image monitoring device may include at least one processor 310 and a memory 320, and may include a transceiver 330, an input At least one of the interface device 340 , the output interface device 350 , and the storage device 360 may be further included.
  • each component included in the control module 300 of the thermal image monitoring device may be connected by a bus 370 to communicate with each other.
  • the control module 300 of the thermal image monitoring device may be referred to as a control device, and some of the above-described components may be excluded and other components may be added.
  • the at least one processor 310 may be a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.
  • Each of the memory 320 and the storage device 360 may include at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory 320 may be one of a read only memory (ROM) and a random access memory (RAM), and the storage device 360 may be a flash-memory. , a hard disk drive (HDD), a solid state drive (SSD), or various memory cards (eg, a micro SD card).
  • the memory 320 or the storage device 360 may store at least one instruction that can be executed by at least one processor 310 .
  • the at least one command may include a command to acquire first image information from the at least one optical camera, a command to derive a moving object in the first image information, and location information of the moving object based on the information about the moving object.
  • the command for acquiring improved thermal image information based on the thermal image information and the second image information may include a command for generating contour image information of the moving object through edge detection from the second image information; and A command for acquiring improved thermal image information based on the thermal image information and the contour image information may be included.
  • the command for determining whether or not the speed dome camera tracks the moving object based on the temperature of the moving object is a pre-learned environment-based threshold temperature determination model and the environment for the region corresponding to the first image information. It may include a command for determining a critical temperature based on information and a command for determining whether or not the speed dome camera tracks the moving object based on the critical temperature and the temperature of the moving object.
  • the first image information represents image information in which a preset distance area is photographed
  • the second image information represents image information in which a part of the preset distance region is photographed
  • the second image information Image information having a higher magnification than the first image information may be indicated.
  • the first electronic device 110 in which the at least one optical camera is mounted may be fixed, and the second electronic device 120 in which the speed dome camera and the thermal imaging camera are mounted may be of the moving object. Movement may be controlled based on location information.
  • the control module 300 of the thermal image monitoring device may be included in the thermal image monitoring device 100 and may be connected to the first electronic device 110 and the second electronic device 120 .
  • the control module 300 of the thermal image monitoring device may be included in the first electronic device 110 and connected to the second electronic device 120, and included in the second electronic device 120 to be included in the first electronic device ( 110) may be connected.
  • it may be located outside the thermal image monitoring device 100 and connected to the thermal image monitoring device 100 through wired or wireless communication.
  • FIG. 4 is a diagram illustrating a state in which a thermal imaging monitoring system using a plurality of cameras according to an embodiment of the present invention is applied to a crossroad.
  • the thermal image monitoring system may obtain first image information 410 through at least one wide-angle camera included in the first electronic device 110, and
  • the first image information 410 includes image information 411 for an area corresponding to the first orientation, image information 412 for an area corresponding to the second orientation, and image information for an area corresponding to the third orientation. 413, image information 414 for an area corresponding to the fourth orientation, and image information 415 for a central area.
  • the image information 415 of the central region may be fisheye image information according to a fisheye lens.
  • the thermal image monitoring system may obtain image information 420 for a part of an area included in the first image information 410 through the second electronic device 120 .
  • the first image information 410 is obtained by the fixed first electronic device 110, and may be an image that continuously captures the same area, and the image information 420 for a portion is obtained by the second electronic device.
  • it may be a moving image captured while moving according to a moving object within an area included in the first image information 410.
  • the image information 420 for a part may be image information including a part of the area included in the first image information 410 and a part of the area not included.
  • the image information 420 for a portion obtained through the second electronic device 120 may be second image information obtained through the speed dome camera 121 or obtained through the thermal imaging camera 122.
  • the thermal image image information may be an image of a relatively wide area including the area according to the second image information, or may be an image of a relatively narrow area included in the area according to the second image information.
  • the thermal image monitoring device 100 may be installed on the ground and fixedly installed at an end of a pole extending into the air in a monitoring area.
  • the range is assumed for convenience of description, but the range is not limited thereto, and the number of wide-angle cameras may or may not change according to the number of branching distances.
  • FIG. 5 is a diagram illustrating an operating method of a thermal image monitoring system using a plurality of cameras according to an embodiment of the present invention.
  • an embodiment may obtain first image information from at least one optical camera, and in step S520, a moving object in the first image information may be derived.
  • at least one of the at least one optical camera may be replaced with a fisheye camera, a camera photographing a central region may be replaced with a fisheye camera, and a camera photographing another region may be replaced with a fisheye camera. there is.
  • the first image information may represent image information in which a preset distance area is photographed, and may be a preset range area as shown in FIG. , may represent image information continuously photographed for a fixed area. Accordingly, the first electronic device equipped with at least one optical camera acquiring the first image information may be fixed.
  • an embodiment may generate location information of the moving object based on information about the moving object.
  • an embodiment may detect whether or not a moving object exists in an image according to the first image information, and may assign an identification code to each of the different moving objects detected in the image.
  • one embodiment may use a Gaussian Mixture Model (GMM) technique to identify a moving object in an image.
  • GMM is a method of modeling the distribution of data with a plurality of Gaussian probability density functions. Each pixel in the image is modeled with a Gaussian probability density function, and the average, variance, and weight are applied according to the change of the pixel to be newly input for each frame.
  • a learned background is formed by adapting a value to be used, and a moving object can be separated and detected through learning of the background.
  • an embodiment may extract the coordinates of the detected moving object, and when the moving object moves within the image, position coordinates may be continuously extracted along the movement trajectory.
  • the location coordinates may be calculated for each identification code and for each time.
  • an embodiment calculates the coordinates of a moving object in the form of 2D polar coordinates in a fisheye image included in the first image information according to a known method. can do.
  • the polar coordinates of the moving object may be represented by a distance from the image center point of the moving object and an azimuth from a preset reference line.
  • the coordinates of the moving object in the image information for photographing the center area may be derived as polar coordinates.
  • the polar coordinates may be converted into the same coordinates as the x-y plane coordinates in another image (eg, optical image) included in the first image information, and the plane coordinates of the moving object may be calculated from the optical image.
  • a random sample consensus (RANSAC) algorithm is used for image matching between images, and homography calculation of the optical image may be performed using several matched feature point pairs.
  • the coordinates of the moving object may be calculated from the optical image based on the coordinate transformation parameter.
  • the movement of the speed dome camera may be controlled based on location information including coordinate information of the moving object.
  • the determination of whether they are the same can be determined by comparing the location coordinates of the moving object derived from each image and information on changes in location coordinates over time (eg, movement direction).
  • a plurality of images included in the first image information may be merged to generate and provide one merged image.
  • the image information of each direction may be merged by considering the viewing angle. Accordingly, even if the area where the moving object is sensed is changed from one image to another image, a visual effect such as a moving object moving naturally may be provided.
  • a 2D map corresponding to the first image information may be generated, and a moving object may be displayed to generate and provide an image in which the moving object moves within the 2D map according to time.
  • an embodiment may control the movement of the speed dome camera so that the speed dome camera faces the moving object based on the location information of the moving object, and in step S550, the speed dome camera moves to the moving object.
  • Second image information for the moving object may be obtained, and in step S560, thermal image information for the moving object may be obtained from the thermal imaging camera mounted on one side of the speed dome camera.
  • the second image information may indicate image information in which a part of the preset distance area is captured, and the thermal image information may be image information in which the same area as the second image information is captured.
  • the image image information may be image information in which a relatively wide area including the area of the second image information is captured
  • the second image information may be image information in which a relatively wide area including the area of the thermal image information is captured.
  • the second image information is image information for a specific object, it may be image information with a higher magnification than the first image information for the purpose of monitoring a wide range.
  • the speed dome camera and the thermal imaging camera may be mounted together in one electronic device (eg, a second electronic device) and move together according to a control command. That is, the movement of the thermal imaging camera can be controlled together with the movement control command of the speed dome camera.
  • the motion control command of the speed dome camera may be indicated as a control command of the second electronic device or a motion control command of the thermal imaging camera when the speed dome camera and the thermal imaging camera move together.
  • the embodiment may acquire improved thermal image information based on the thermal image information and the second image information, and in step S580, based on the improved thermal image image information, the temperature of the moving object may be obtained.
  • the improved thermal image information may be obtained based on contour image information of a moving object generated through edge detection from the second image information and thermal image information obtained through a thermal image camera. A description will be given later along with FIG. 6 .
  • an embodiment may determine whether or not the speed dome camera tracks the moving object based on the temperature of the moving object. For example, according to an embodiment, it is possible to determine whether or not to take a tracking shot based on the obtained temperature of the moving object and a threshold temperature determined according to a pre-learned environment-based threshold temperature determination model.
  • an embodiment may learn an environment-based critical temperature determination model through machine learning based on learning data based on environment information.
  • the learning data may include at least one of learning time zone information, learning shade information, learning wind information, learning temperature information, learning humidity information, and learning thermal reflection information by another heat source and learning threshold temperature information
  • the temperature may indicate a temperature determined to be infected with an infectious disease.
  • various neural networks or algorithms such as convolutional neural networks (CNN), artificial neural networks (ANN), and recurrent neural networks (RNN) may be used for machine learning, but are not limited thereto.
  • CNN convolutional neural networks
  • ANN artificial neural networks
  • RNN recurrent neural networks
  • a conventional learning neural network or algorithm may be variously used.
  • the critical temperature may be obtained by inputting environmental information on the region corresponding to the first image information to the learned environment-based critical temperature determination model, and environmental information on the region corresponding to the first image information. may be obtained from an external server or another sensor located in the corresponding area.
  • a method for obtaining environmental information is not limited to the bar described above because it is various.
  • the temperature of the moving object is equal to or higher than the critical temperature, it may be determined as a tracking photographing target, and the moving body may be continuously tracked and photographed until it leaves the area corresponding to the first image information through the speed dome camera.
  • the temperature of the moving object is lower than the critical temperature, it may be determined that the moving object is not a target for tracking, and the movement of the speed dome camera may be controlled so that the speed dome camera faces another moving object.
  • the temperature of the movable body may be set based on the temperature of the central portion of the heating region of the movable body, and a method of determining various centers within a figure of several figures may be used as the central part, but is not limited thereto.
  • the heating area of the moving body may include only the area within the contour obtained through the improved thermal image information to be described later, and the area having heat or the area outside the contour will not be included in the heating area of the moving body.
  • FIG. 6 is a diagram for explaining a method of deriving an improved thermal image based on a visible light image and a thermal image according to an embodiment of the present invention.
  • an embodiment provides an improved thermal image based on second image information (visible light image) of a moving object obtained through a speed dome camera and thermal image information of a moving object obtained through a thermal imaging camera. information can be obtained.
  • contour image information for a moving object may be generated from the second image information through edge detection.
  • edge detection is to derive a point where the brightness of an image rapidly changes in a digital image, and the detected edge may indicate a contour line.
  • the edge detection method may use a 3x3 Laplacian operator that serves as a secondary differential operation or a prewitt operator that serves as a primary differential operation, but various other edge detection methods may also be used. , but is not limited thereto.
  • improved thermal image information may be obtained by differentiating the contour image information and the thermal image information.
  • the improved thermal image information may represent the differential image information of contour image information in the thermal image information, and may further represent image information obtained by clamping the differential image information. That is, the improved thermal image information may represent thermal image information in which an outline of an object is displayed.
  • the thickness of the outline of the moving object may be adjusted by determining an edge detection method according to another moving object or another moving object within a certain distance from the moving object. That is, when the thickness of the outline of the moving object should be relatively thick based on the surrounding information of the moving object, a prewit operator, which is a first derivative that takes absolute values and adds them to result values in the x and y directions, can be used. Conversely, when the thickness of the outline must be relatively thin, the Laplacian operator, which is a second order derivative that does not take an absolute value, can be used.
  • Operations according to the embodiments of the present specification can be implemented as computer-readable programs or codes on a computer-readable recording medium.
  • a computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored.
  • computer-readable recording media may be distributed to computer systems connected through a network to store and execute computer-readable programs or codes in a distributed manner.
  • the above-described technique may be implemented as a module (process, function, etc.) that performs the above-described functions.
  • a module can be stored in memory and executed by a processor.
  • the memory may be internal or external to the processor, and may be coupled with the processor in a variety of well-known means.
  • the computer-readable recording medium may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, and flash memory.
  • the program command may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine code generated by a compiler.
  • a block or apparatus corresponds to a method step or feature of a method step.
  • aspects described in the context of a method may also be represented by a corresponding block or item or a corresponding feature of a device.
  • Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, programmable computer, or electronic circuitry. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.
  • a programmable logic device eg, a field programmable gate array
  • a field programmable gate array may operate in conjunction with a microprocessor to perform one of the methods described herein.
  • methods are preferably performed by some hardware device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예는 이동체의 열화상 감시 방법에 관한 것으로, 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 단계, 제1 영상 정보 내의 이동체를 도출하는 단계, 이동체에 관한 정보를 기반으로 이동체의 위치 정보를 생성하는 단계, 이동체의 위치 정보를 기반으로 스피드 돔 카메라가 이동체를 향하도록 스피드 돔 카메라의 움직임을 제어하는 단계, 스피드 돔 카메라로부터 이동체에 대한 제2 영상 정보를 획득하는 단계, 스피드 돔 카메라의 일 측에 탑재된 열화상 카메라로부터 이동체에 대한 열화상 영상 정보를 획득하는 단계, 열화상 영상 정보 및 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계, 개선된 열화상 영상 정보를 기반으로 이동체의 온도를 획득하는 단계 및 이동체의 온도를 기반으로 이동체에 대한 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

다수의 카메라를 이용한 열화상 감시 시스템
본 발명은 다수의 카메라를 이용한 열화상 감시 시스템에 관한 것으로, 더욱 상세하게는 광학 카메라, 스파드 돔 카메라 및 열화상 카메라를 이용하여 추적 대상 판단 및 추적 감시를 수행하는 감시 시스템에 관한 것이다.
최근 다양한 목적에 의해 CCTV(closed-circuit television)의 설치가 늘어나고 있으며, 단순히 CCTV의 수가 늘어나는 것뿐만 아니라 여러 목적에 따라 다양한 기능이 탑재된 CCTV도 개발되고 있는 실정이다.
이러한 CCTV의 여러 목적 중 가장 주된 목적은 특정 지역 또는 특정 대상을 감시하기 위한 것으로, 최근에는 감염병에 따른 환경을 고려할 때 감염병에 걸린 대상을 판단하고, 대상의 이동 경로를 추적하기 위해 많이 이용되고 있다.
다만, 현재 CCTV 또는 감시 시스템은 일반적으로 고정된 영역을 촬영하여 사거리 등과 같은 환경에서 이동체의 이동 방향을 정확히 알기 어려운 문제점이 있으며, 대상을 추적하는 CCTV 또는 감시 시스템의 경우 이동체가 감염병에 감염되었는지 확인이 어려워 모든 이동체에 대하여 추적 촬영하게 됨으로써 자원 낭비가 발생되는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 다수의 카메라를 이용한 열화상 감시 시스템을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 다수의 카메라를 이용한 열화상 감시 시스템의 동작 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 다수의 카메라를 이용한 열화상 감시 장치를 제공하는데 있다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적어도 하나의 광학 카메라, 스피드 돔 카메라 및 열화상 카메라를 탑재한 전자 장치에 의해 수행되는 이동체의 열화상 감시 방법은 상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 단계, 상기 제1 영상 정보 내의 이동체를 도출하는 단계, 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하는 단계, 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하는 단계, 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하는 단계, 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하는 단계, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계, 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하는 단계 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함할 수 있다.
여기서, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계는 상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하는 단계 및 상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계를 포함할 수 있다.
여기서, 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계는 미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하는 단계 및 상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함할 수 있다.
여기서, 상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타낼 수 있다.
여기서, 상기 전자 장치는 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치 및 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치를 포함할 수 있고, 상기 제1 전자 장치는 고정될 수 있고, 상기 제2 전자 장치는 상기 이동체의 위치 정보를 기반으로 움직임이 제어될 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적어도 하나의 광학 카메라, 스피드 돔 카메라, 열화상 카메라, 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하는 전자 장치로서, 상기 적어도 하나의 명령은 상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하도록 실행되고, 상기 제1 영상 정보 내의 이동체를 도출하도록 실행되고, 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하도록 실행되고, 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하도록 실행되고, 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하도록 실행되고, 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하도록 실행되고, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하도록 실행되고, 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하도록 실행되고, 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하도록 실행되고, 상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은 미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하도록 실행되고, 상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하도록 실행될 수 있다.
여기서, 상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타낼 수 있다.
여기서, 상기 전자 장치는 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치 및 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치를 포함할 수 있고, 상기 제1 전자 장치는 고정될 수 있고, 상기 제2 전자 장치는 상기 이동체의 위치 정보를 기반으로 움직임이 제어될 수 있다.
과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따르면, 복수의 광학 카메라를 방사상으로 배치하고, 중심의 광학 카메라 또는 어안 카메라의 촬영 영역과 나머지 광학 카메라의 촬영 영역이 오버랩되도록 배치하여 사각지대가 최소화된 감시 시스템을 제공할 수 있다.
본 발명에 따르면, 열화상 카메라를 통해 감시 영역 내의 대상에 대하여 추적 촬영 여부를 결정하고, 결과에 따라 특정 대상만을 스피드 돔 카메라를 통해 추적 촬영함으로써 불필요한 대상에 대해서는 광학 카메라를 통한 상대적 저배율 영상으로 감시가 수행되고, 일부 대상에 대해서만 스피드 돔 카메라를 통한 상대적 고배율 영상으로 감시가 수행되어 개체별 차등적인 감시를 수행하는 효율적인 감시 시스템을 제공할 수 있다.
다양한 실시예들에 따르면, 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 모습을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 제어 모듈의 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템이 사거리에 적용된 모습을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템의 동작 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 가시광 영상 및 열화상 영상을 기반으로 개선된 열화상 영상을 도출하는 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 블록 구성도이며, 도 2는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 모습을 나타낸 도면이다.
도 1 및 도 2를 참조하면, 다수의 카메라를 이용한 열화상 감시 장치(100)는 제1 전자 장치(110) 및 제2 전자 장치(120)를 포함할 수 있다. 여기서, 제1 전자 장치(110)는 고정되어 동일한 영역을 연속적으로 촬영할 수 있고, 제2 전자 장치(120)는 회전 및/또는 각도 조절 등을 통해 촬영하는 영역을 이동시킬 수 있으며, 이를 통해 특정 대상을 트래킹할 수 있다. 일 실시예에 따른 열화상 감시 장치(100)는 지면에 설치되어 감시 구역의 공중으로 연장된 폴대의 단부에 고정 설치될 수 있다.
예를 들어, 제1 전자 장치(110)는 적어도 하나의 광학 카메라(111)를 포함할 수 있다. 여기서, 적어도 하나의 광학 카메라(111)는 5개의 광학 카메라가 포함될 수 있으나, 광학 렌즈의 시야각에 따라 사용되는 광학 카메라의 개수가 변경될 수도 있다. 또한, 적어도 하나의 광학 카메라(111)는 1개의 어안 카메라(어안 렌즈를 이용한 카메라) 및 4개의 광학 카메라가 포함될 수도 있으나, 어안 렌즈 또는 광학 렌즈의 시야각에 따라 사용되는 광학 카메라의 개수가 변경될 수도 있는 바, 이에 한정되는 것은 아니다. 다만, 1개의 어안 카메라가 포함될 경우, 어안 카메라는 중심 영역을 비추는 중앙 카메라로서 이용될 수 있고, 나머지 광학 카메라가 외곽 영역(예를 들어, 각 방위에 대응되는 영역)을 비추는 외곽 카메라로서 이용될 수도 있다.
예를 들어, 복수의 광학 카메라는 어안 카메라의 주변에 인접하게 위치하되, 각각의 광학 카메라는 어안 카메라를 중심으로 반경 방향 외측으로 렌즈 배향될 수 있다. 즉, 각 광학 카메라는 감시 구역의 전 영역 중, 어안 카메라 외측을 타겟팅하여 해당 방위의 광학 영상을 획득할 수 있다. 이러한 광학 카메라는 어안 카메라를 중심으로 복수의 방사상으로 배치되는 바, 감시 구역의 복수의 방위에 대한 광학 영상을 획득할 수 있다. 예를 들어, 일 실시예는 어안 카메라를 중심으로 4개의 광학 카메라가 90도 간격으로 방사상으로 배치되고, 각 광학 카메라의 렌즈가 카메라의 중심축과 동일하게 배향되어 있을 수 있다. 즉, 어안 카메라로부터 획득되는 영상의 중심에서 바깥쪽을 향하여 이동체의 출현이 예상되는 방향을 바라보도록 각 광학 카메라가 배향될 수 있다.
제2 전자 장치(120)는 스피드 돔 카메라(121) 및 열화상 카메라(122)를 포함할 수 있다. 여기서, 스피드 돔 카메라(121)는 PTZ 카메라의 일종으로서, 감시 구역에 들어온 이동체를 지속적으로 따라가면서 촬영할 수 있다. 스피드 돔 카메라를 통해 각 고정 영상 내에서 이동체의 위치 이동을 확인할 수 있고, 스피드 돔 카메라가 패닝 또는 틸팅 구동에 의해 이동체의 위치 이동을 추적한 이동 영상을 통해서도 이동체의 이동 경로를 확인할 수도 있다.
열화상 카메라(122)는 스피드 돔 카메라(121)에 탑재되어 함께 패닝 또는 틸팅 구동이 수행되어 이동체의 위치 이동을 추적한 열화상 이동 영상을 획득할 수 있다. 도 2의 스피드 돔 카메라(121) 및 열화상 카메라(122)가 결합된 제2 전자 장치(120)는 일 예이므로, 다른 모습/형태로 결합될 수 있는 바, 도 2의 모습에 본 발명의 범위가 한정되는 것은 아니다.
도 3은 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 장치의 제어 모듈의 블록 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 열화상 감시 장치의 제어 모듈(300)은 적어도 하나의 프로세서(310) 및 메모리(320)를 포함할 수 있고, 송수신 장치(330), 입력 인터페이스 장치(340), 출력 인터페이스 장치(350) 및 저장 장치(360) 중 적어도 하나를 더 포함할 수 있다. 또한, 열화상 감시 장치의 제어 모듈(300)에 포함된 각각의 구성 요소들은 버스(bus)(370)에 의해 연결되어 서로 통신을 수행할 수 있다. 예를 들어, 열화상 감시 장치의 제어 모듈(300)은 제어 장치라 나타낼 수 있으며, 상술한 구성 요소들 중 일부가 제외될 수 있으며, 다른 구성 요소가 추가될 수도 있다.
예를 들어, 적어도 하나의 프로세서(310)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(320) 및 저장 장치(360) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(320)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(360)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
예를 들어, 메모리(320) 또는 저장 장치(360)는 적어도 하나의 프로세서(310)에 의해 실행될 수 있는 적어도 하나의 명령을 저장하고 있을 수 있다. 예를 들어, 적어도 하나의 명령은 상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 명령, 상기 제1 영상 정보 내의 이동체를 도출하는 명령, 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하는 명령, 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하는 명령, 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하는 명령, 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하는 명령, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 명령, 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하는 명령 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 명령을 포함할 수 있다.
예를 들어, 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 명령은 상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하는 명령 및 상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 명령을 포함할 수 있다.
예를 들어, 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 명령은 미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하는 명령 및 상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 명령을 포함할 수 있다.
예를 들어, 상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고, 상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타낼 수 있다.
예를 들어, 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치(110)는 고정되어 있을 수 있고, 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치(120)는 상기 이동체의 위치 정보를 기반으로 움직임이 제어될 수 있다.
일 실시예에 따른 열화상 감시 장치의 제어 모듈(300)은 열화상 감시 장치(100) 내에 포함될 수 있으며, 제1 전자 장치(110) 및 제2 전자 장치(120)와 연결될 수 있다. 또는, 열화상 감시 장치의 제어 모듈(300)은 제1 전자 장치(110) 내에 포함되어 제2 전자 장치(120)와 연결될 수 있으며, 제2 전자 장치(120) 내에 포함되어 제1 전자 장치(110)와 연결될 수도 있다. 또는, 열화상 감시 장치(100)의 외부에 위치하고, 열화상 감시 장치(100)와 유무선 통신을 통해 연결될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템이 사거리에 적용된 모습을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 열화상 감시 시스템은 제1 전자 장치(110)에 포함된 적어도 하나의 광각 카메라를 통해 제1 영상 정보(410)를 획득할 수 있으며, 사거리에서 제1 영상 정보(410)는 제1 방위에 대응되는 영역에 대한 영상 정보(411), 제2 방위에 대응되는 영역에 대한 영상 정보(412), 제3 방위에 대응되는 영역에 대한 영상 정보(413), 제4 방위에 대응되는 영역에 대한 영상 정보(414) 및 중심 영역에 대한 영상 정보(415)를 포함할 수 있다. 예를 들어, 적어도 하나의 광각 카메라 중 하나가 어안 카메라로 대체되는 경우, 중심 영역에 대한 영상 정보(415)는 어안 렌즈에 따른 어안 영상 정보일 수 있다.
또한, 일 실시예에 따른 열화상 감시 시스템은 제2 전자 장치(120)를 통해 제1 영상 정보(410)에 포함되는 영역 중 일부에 대한 영상 정보(420)를 획득할 수 있다. 여기서, 제1 영상 정보(410)는 고정된 제1 전자 장치(110)에 의해 획득되는 바, 동일한 영역을 지속적으로 촬영하는 영상일 수 있고, 일부에 대한 영상 정보(420)는 제2 전자 장치(120)에 의해 획득되는 바, 제1 영상 정보(410)에 포함된 영역 내의 이동체에 따라 이동하며 촬영되는 이동 영상일 수 있다. 또한, 일부에 대한 영상 정보(420)는 제1 영상 정보(410)에 포함된 영역 중 일부 영역 및 포함되지 않은 일부 영역을 포함하는 영상 정보일 수도 있다.
여기서, 제2 전자 장치(120)를 통해 획득되는 일부에 대한 영상 정보(420)는 스피드 돔 카메라(121)를 통해 획득되는 제2 영상 정보일 수 있고, 열화상 카메라(122)를 통해 획득되는 열화상 영상 정보는 제2 영상 정보에 따른 영역을 포함하는 상대적으로 넓은 영역의 영상일 수 있으나, 제2 영상 정보에 따른 영역 내에 포함되는 상대적으로 좁은 영역의 영상일 수도 있다.
일 실시예에 따른 열화상 감시 장치(100)는 지면에 설치되어 감시 구역의 공중으로 연장된 폴대의 단부에 고정 설치될 수 있다.
이상에서는 설명의 편의를 위해 사거리를 가정하여 설명하였으나, 사거리에 한정되는 것은 아니며, 분기되는 거리의 수에 따라 광각 카메라의 수가 변경될 수도 있고, 변경되지 않을 수도 있다.
도 5는 본 발명의 일 실시예에 따른 다수의 카메라를 이용한 열화상 감시 시스템의 동작 방법을 나타낸 도면이다.
도 5를 참조하면, S510 단계에서 일 실시예는 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득할 수 있고, S520 단계에서 상기 제1 영상 정보 내의 이동체를 도출할 수 있다. 예를 들어, 상기 적어도 하나의 광학 카메라 중 적어도 하나는 어안 카메라로 대체될 수 있으며, 중심 영역을 촬영하는 카메라가 어안 카메라로 대체될 수도 있고, 다른 영역을 촬영하는 카메라가 어안 카메라로 대체될 수도 있다.
상기 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타낼 수 있으며, 도 4와 같이 미리 설정된 사거리 영역일 수 있으나, 삼거리 또는 오거리 등의 다른 영역이 포함될 수도 있는 바, 이에 한정되는 것은 아니며, 고정된 영역에 대한 연속적으로 촬영된 영상 정보를 나타내는 것일 수 있다. 따라서, 제1 영상 정보를 획득하는 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치는 고정되어 있을 수 있다.
또한, S530 단계에서 일 실시예는 상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성할 수 있다. 여기서, 일 실시예는 제1 영상 정보에 따른 영상 내에 이동체가 존재하는지 여부를 감지할 수 있고, 영상 내에 감지되는 서로 다른 이동체에 대하여 각각 식별 코드를 부여할 수 있다.
예를 들어, 일 실시예는 영상 내의 이동체를 식별하기 위하여 GMM(Gaussian Mixture Model) 기법을 이용할 수 있다. GMM은 복수의 가우시안 확률 밀도 함수로 데이터의 분포를 모델링하는 방법으로, 영상 내의 각 화소에 대하여 가우시안 확률 밀도 함수로 모델링하고, 화소의 변화에 따라 평균과 분산, 가중치를 적용하여 매 프레임마다 새로 입력되는 값을 적응시켜 학습된 배경을 형성하며, 배경의 학습을 통해 이동체를 분리하고 검출할 수 있다.
또한, 일 실시예는 감지된 이동체에 대한 좌표를 추출할 수 있으며, 이동체가 영상 내에서 이동하는 경우, 이동 궤적을 따라 지속적으로 위치 좌표를 추출할 수 있다. 여기서, 위치 좌표는 각 식별 코드 별로 및 시간 별로 산출될 수 있다.
예를 들어, 하나의 어안 카메라가 중심 영역을 촬영하는 광학 카메라를 대체하는 경우, 일 실시예는 공지의 방식에 따라 제1 영상 정보에 포함되는 어안 영상에서 이동체의 좌표를 2차원 극좌표 형태로 산출할 수 있다. 여기서, 이동체의 극좌표는 이동체의 영상 중심점으로부터의 거리 및 미리 설정된 기준선으로부터의 방위각으로 나타낼 수 있다. 다만, 어안 카메라로 대체되지 않는 경우에도 중심 영역을 촬영하는 영상 정보에서의 이동체의 좌표는 극좌표로 도출될 수 있다. 이후, 극좌표는 제1 영상 정보에 포함되는 다른 영상(예를 들어, 광학 영상)에서의 x-y 평면 좌표와 동일한 좌표로 변환될 수 있으며, 광학 영상으로부터 이동체의 평면 좌표가 산출될 수 있다. 이때, 영상 간의 이미지 정합을 위하여 RANSAC(random sample consensus) 알고리즘을 사용하며, 정합된 몇 개의 특징점 쌍을 가지고 광학 영상의 호모그래피 계산을 수행할 수 있다. 또한, 좌표 변환 파라미터에 기초하여 광학 영상으로부터 이동체의 좌표를 산출할 수 있다. 이후, 일 실시예는 이동체의 좌표 정보를 포함하는 위치 정보를 기반으로 스피드 돔 카메라의 움직임을 제어할 수 있다.
예를 들어, 하나의 이동체가 제1 영상 정보에 포함되는 복수의 영상의 오버랩 영역에 출현하는 경우, 복수의 영상에서 이동체가 감지되는 바, 각 영상에서의 이동체 간의 동일 여부를 판단할 수 있다. 이 경우, 동일 여부 판단은 각 영상으로부터 도출되는 이동체의 위치 좌표 및 시간에 따른 위치 좌표의 변화 정보(예를 들어, 이동 방향)를 서로 비교하여 판단될 수 있다.
또는 예를 들어, 일 실시예는 제1 영상 정보에 포함된 복수의 영상을 병합하여 하나의 병합 영상을 생성하여 제공할 수도 있다. 이 경우, 중심 영역을 촬영하는 영상 정보를 기준으로 각 방위의 영상 정보의 시야각을 고려하여 병합될 수 있다. 이에 따라, 이동체가 감지되는 구역이 일 영상에서 타 영상으로 변경되어도 자연스럽게 이동체가 이동하는 것과 같은 시각적인 효과를 제공할 수도 있다. 또한, 일 실시예는 제1 영상 정보에 대응되는 2차원 지도를 생성할 수 있고, 이동체를 표시하여 시간에 따라 2차원 지도 내에서 이동체가 움직이는 영상을 생성하고 제공할 수도 있다.
이후, S540 단계에서 일 실시예는 상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어할 수 있고, S550 단계에서 상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득할 수 있으며, S560 단계에서 상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득할 수 있다. 예를 들어, 상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타낼 수 있고, 열화상 영상 정보는 제2 영상 정보와 동일한 영역이 촬영된 영상 정보일 수 있으나, 열화상 영상 정보가 제2 영상 정보의 영역을 포함하는 상대적으로 넓은 영역이 촬영된 영상 정보일 수 있고, 제2 영상 정보가 열화상 영상 정보의 영역을 포함하는 상대적으로 넓은 영역이 촬영된 영상 정보일 수도 있다. 이는 제2 영상 정보를 획득하는 스피드 둠 카메라의 성능과 열화상 영상 정보를 획득하는 열화상 카메라의 성능을 기반으로 구현 상 변경될 수 있는 부분인 바, 이에 본 발명의 범위가 한정되는 것은 아니다.
다만, 상기 제2 영상 정보는 특정 대상에 대한 영상 정보인 바, 넓은 범위에 대한 감시가 목적인 상기 제1 영상 정보보다 고배율의 영상 정보일 수 있다.
또한, 상기 스피드 돔 카메라 및 상기 열화상 카메라는 하나의 전자 장치(예를 들어, 제2 전자 장치)에 함께 탑재되어 제어 명령에 의해 함께 움직일 수 있다. 즉, 스피드 돔 카메라의 움직임 제어 명령에 의해 열화상 카메라가 함께 움직임이 제어될 수 있다. 여기서, 스피드 돔 카메라의 움직임 제어 명령은 스피드 돔 카메라와 열화상 카메라가 함께 움직이게 되는 경우, 제2 전자 장치의 제어 명령 또는 열화상 카메라의 움직임 제어 명령이라 나타낼 수도 있다.
S570 단계에서 일 실시예는 상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득할 수 있으며, S580 단계에서 상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득할 수 있다. 예를 들어, 개선된 열화상 영상 정보는 제2 영상 정보로부터 에지 검출을 통해 생성되는 이동체의 윤곽선 영상 정보 및 열화상 카메라를 통해 획득되는 열화상 영상 정보를 기반으로 획득될 수 있으며, 이에 대한 상세한 설명은 도 6과 함께 후술하겠다.
S590 단계에서 일 실시예는 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정할 수 있다. 예를 들어, 일 실시예는 획득되는 이동체의 온도와 미리 학습된 환경 기반 임계 온도 결정 모델에 따라 결정되는 임계 온도를 기반으로 추적 촬영 여부를 결정할 수 있다.
구체적으로, 일 실시예는 환경 정보에 기반한 학습 데이터를 기반으로 머신 러닝을 통해 환경 기반 임계 온도 결정 모델을 학습할 수 있다. 여기서, 학습 데이터는 학습용 시간대 정보, 학습용 그늘 여부 정보, 학습용 바람 유무 정보, 학습용 온도 정보, 학습용 습도 정보 및 학습용 다른 열원에 의한 열적 반사 정보 중 적어도 하나와 학습용 임계 온도 정보를 포함할 수 있으며, 임계 온도는 감염병에 감염된 것으로 판단할 온도를 나타낼 수 있다. 이때 머신 러닝에는 합성곱 신경망(convolutional neural networks, CNN), 심층 신경망(artificial neural network, ANN), 순환신경망(recurrent neural networks, RNN) 등 다양한 신경망 또는 알고리즘이 이용될 수 있으나, 이에 한정되는 것은 아니며, 통상의 학습 신경망 또는 알고리즘이 다양하게 이용될 수 있다.
이후, 일 실시예는 학습된 환경 기반 임계 온도 결정 모델에 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 입력하여 임계 온도를 획득할 수 있으며, 제1 영상 정보에 대응되는 영역에 대한 환경 정보는 외부 서버 또는 해당 영역에 위치한 다른 센서로부터 획득될 수도 있다. 다만, 환경 정보를 획득하는 방안은 다양한 바, 상술한 바에 한정되지 않는다.
이후, 일 실시예는 이동체의 온도가 임계 온도보다 같거나 높은 경우, 추적 촬영 대상으로 판단할 수 있고, 스피드 돔 카메라를 통해 제1 영상 정보에 대응되는 영역을 벗어날 때까지 이동체를 지속적으로 추적 촬영할 수 있다. 또는 일 실시예는 이동체의 온도가 임계 온도보다 낮은 경우, 추적 촬영 대상이 아닌 것으로 판단할 수 있고, 스피드 돔 카메라가 다른 이동체를 향하도록 스피드 돔 카메라의 움직임을 제어할 수 있다. 예를 들어, 이동체의 온도는 이동체의 발열 영역의 중심부의 온도를 기반으로 설정될 수 있으며, 중심부는 여러 도형의 도형 내의 다양한 중심을 결정하는 방법이 이용될 수 있으나, 이에 한정되는 것은 아니다. 또한, 이동체의 발열 영역은 후술하는 개선된 열화상 영상 정보를 통해 획득되는 윤곽선 내의 영역만이 포함될 수 있으며, 열을 가지는 영역이나 윤곽선의 밖에 위치하는 영역의 경우, 이동체의 발열 영역에 포함시키지 않을 수 있다.
도 6은 본 발명의 일 실시예에 따른 가시광 영상 및 열화상 영상을 기반으로 개선된 열화상 영상을 도출하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예는 스피드 돔 카메라를 통해 획득되는 이동체에 대한 제2 영상 정보(가시광 영상) 및 열화상 카메라를 통해 획득되는 이동체에 대한 열화상 영상 정보를 기반으로 개선된 열화상 정보를 획득할 수 있다.
구체적으로, 일 실시예는 제2 영상 정보로부터 에지 검출을 통해 이동체에 대한 윤곽선 영상 정보를 생성할 수 있다. 여기서, 에지 검출은 디지털 영상에서 영상의 밝기가 급격히 변하는 지점을 도출하는 것으로, 검출된 에지는 윤곽선을 나타낼 수 있다. 예를 들어, 에지 검출 방법은 2차 미분 연산 역할을 수행하는 3x3 라플라시안 연산자 또는 1차 미분 연산 역할을 수행하는 프리윗(prewitt) 연산자가 이용될 수 있으나, 다른 다양한 에지 검출 방법이 이용될 수도 있으므로, 이에 한정되는 것은 아니다.
이후, 일 실시예는 윤곽선 영상 정보 및 열화상 영상 정보를 차분하여 개선된 열화상 영상 정보를 획득할 수 있다. 다시 말해, 개선된 열화상 영상 정보는 열화상 영상 정보에 윤곽선 영상 정보를 차분한 영상 정보를 나타낼 수 있고, 나아가 차분한 영상 정보에 클램핑 처리한 영상 정보를 나타낼 수도 있다. 즉, 개선된 열화상 영상 정보는 개체의 윤곽선이 표시된 열화상 영상 정보를 나타낼 수 있다.
또는 예를 들어, 이동체로부터 일정 거리 내에 다른 이동체 또는 다른 사물 주위에 다른 이동체 등에 따라 에지 검출 방법을 결정하여 이동체의 윤곽선의 두께를 조절할 수도 있다. 즉, 이동체의 주변 정보를 기반으로 이동체의 윤곽선의 두께가 상대적으로 두꺼워야 하는 경우, x 방향 및 y 방향의 결과값에 절대값을 취하여 더하는 1차 미분인 프리윗 연산자가 이용될 수 있고, 그 반대로 윤곽선의 두께가 상대적으로 얇아야 하는 경우, 절대값을 취하지 않는 2차 미분인 라플라시안 연산자가 이용될 수 있다.
본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 적어도 하나의 광학 카메라, 스피드 돔 카메라 및 열화상 카메라를 탑재한 전자 장치에 의해 수행되는 이동체의 열화상 감시 방법으로서,
    상기 적어도 하나의 광학 카메라로부터 제1 영상 정보를 획득하는 단계;
    상기 제1 영상 정보 내의 이동체를 도출하는 단계;
    상기 이동체에 관한 정보를 기반으로 상기 이동체의 위치 정보를 생성하는 단계;
    상기 이동체의 위치 정보를 기반으로 상기 스피드 돔 카메라가 상기 이동체를 향하도록 상기 스피드 돔 카메라의 움직임을 제어하는 단계;
    상기 스피드 돔 카메라로부터 상기 이동체에 대한 제2 영상 정보를 획득하는 단계;
    상기 스피드 돔 카메라의 일 측에 탑재된 상기 열화상 카메라로부터 상기 이동체에 대한 열화상 영상 정보를 획득하는 단계;
    상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계;
    상기 개선된 열화상 영상 정보를 기반으로 상기 이동체의 온도를 획득하는 단계; 및
    상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함하는, 이동체의 열화상 감시 방법.
  2. 청구항 1에 있어서,
    상기 열화상 영상 정보 및 상기 제2 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계는,
    상기 제2 영상 정보로부터 에지 검출을 통해 상기 이동체의 윤곽선 영상 정보를 생성하는 단계; 및
    상기 열화상 영상 정보 및 상기 윤곽선 영상 정보를 기반으로 개선된 열화상 영상 정보를 획득하는 단계를 포함하는, 이동체의 열화상 감시 방법.
  3. 청구항 1에 있어서,
    상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계는,
    미리 학습된 환경 기반 임계 온도 결정 모델 및 상기 제1 영상 정보에 대응되는 영역에 대한 환경 정보를 기반으로 임계 온도를 결정하는 단계; 및
    상기 임계 온도 및 상기 이동체의 온도를 기반으로 상기 이동체에 대한 상기 스피드 돔 카메라의 추적 촬영 여부를 결정하는 단계를 포함하는, 이동체의 열화상 감시 방법.
  4. 청구항 1에 있어서,
    상게 제1 영상 정보는 미리 설정된 거리 영역이 촬영된 영상 정보를 나타내고,
    상기 제2 영상 정보는 상기 미리 설정된 거리 영역 중 일부 영역이 촬영된 영상 정보를 나타내고,
    상기 제2 영상 정보는 상기 제1 영상 정보보다 고배율의 영상 정보를 나타내는, 이동체의 열화상 감시 방법.
  5. 청구항 1에 있어서,
    상기 전자 장치는 상기 적어도 하나의 광학 카메라가 탑재된 제1 전자 장치 및 상기 스피드 돔 카메라와 상기 열화상 카메라가 탑재된 제2 전자 장치를 포함하고,
    상기 제1 전자 장치는 고정되고,
    상기 제2 전자 장치는 상기 이동체의 위치 정보를 기반으로 움직임이 제어되는, 이동체의 열화상 감시 방법.
PCT/KR2022/009021 2022-02-04 2022-06-24 다수의 카메라를 이용한 열화상 감시 시스템 WO2023149603A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22925070.9A EP4354853A1 (en) 2022-02-04 2022-06-24 Thermal-image-monitoring system using plurality of cameras

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0014637 2022-02-04
KR1020220014637A KR102411612B1 (ko) 2022-02-04 2022-02-04 다수의 카메라를 이용한 열화상 감시 시스템

Publications (1)

Publication Number Publication Date
WO2023149603A1 true WO2023149603A1 (ko) 2023-08-10

Family

ID=82216643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009021 WO2023149603A1 (ko) 2022-02-04 2022-06-24 다수의 카메라를 이용한 열화상 감시 시스템

Country Status (3)

Country Link
EP (1) EP4354853A1 (ko)
KR (1) KR102411612B1 (ko)
WO (1) WO2023149603A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411612B1 (ko) * 2022-02-04 2022-06-22 주식회사 월드씨엔에스 다수의 카메라를 이용한 열화상 감시 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002066B1 (ko) * 2010-02-01 2010-12-21 주식회사 영국전자 추적감시용 카메라 장치 및 이를 채용하는 원격 감시 시스템
KR20100138202A (ko) * 2009-06-24 2010-12-31 전자부품연구원 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR101821159B1 (ko) * 2017-07-10 2018-03-09 주식회사 영국전자 다수의 카메라를 이용한 이동체의 이동 경로 추적 시스템
KR102129734B1 (ko) * 2019-02-11 2020-07-03 (주)지니가치 인공지능 기반의 영상 감시 시스템
KR102212773B1 (ko) * 2020-04-29 2021-02-05 (주)진명아이앤씨 체온측정을 겸비한 영상감시장치 및 그 방법
KR102411612B1 (ko) * 2022-02-04 2022-06-22 주식회사 월드씨엔에스 다수의 카메라를 이용한 열화상 감시 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138202A (ko) * 2009-06-24 2010-12-31 전자부품연구원 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR101002066B1 (ko) * 2010-02-01 2010-12-21 주식회사 영국전자 추적감시용 카메라 장치 및 이를 채용하는 원격 감시 시스템
KR101821159B1 (ko) * 2017-07-10 2018-03-09 주식회사 영국전자 다수의 카메라를 이용한 이동체의 이동 경로 추적 시스템
KR102129734B1 (ko) * 2019-02-11 2020-07-03 (주)지니가치 인공지능 기반의 영상 감시 시스템
KR102212773B1 (ko) * 2020-04-29 2021-02-05 (주)진명아이앤씨 체온측정을 겸비한 영상감시장치 및 그 방법
KR102411612B1 (ko) * 2022-02-04 2022-06-22 주식회사 월드씨엔에스 다수의 카메라를 이용한 열화상 감시 시스템

Also Published As

Publication number Publication date
EP4354853A1 (en) 2024-04-17
KR102411612B1 (ko) 2022-06-22

Similar Documents

Publication Publication Date Title
JP4568009B2 (ja) カメラ連携による監視装置
WO2017030259A1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
WO2016002986A1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2016095192A1 (en) Optical-flow imaging system and method using ultrasonic depth sensing
JP2004227160A (ja) 侵入物体検出装置
JP2011039604A (ja) 画像追尾装置、画像追尾方法、及びコンピュータプログラム
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2020138736A1 (ko) 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
JP2007025767A (ja) 画像認識システムと画像認識方法、および画像認識プログラム
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2021177544A1 (ko) 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
CN111034189B (zh) 拍摄对象追踪装置以及拍摄对象追踪方法
WO2022124518A1 (ko) 홍채인식범위 확장을 위한 홍채 영상 획득시스템
WO2023158205A1 (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
Demirkus et al. People detection in fish-eye top-views
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
JP2004228770A (ja) 画像処理システム
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925070

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022925070

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022925070

Country of ref document: EP

Effective date: 20240108