WO2018159121A1 - 動体監視装置、サーバ装置、および動体監視システム - Google Patents
動体監視装置、サーバ装置、および動体監視システム Download PDFInfo
- Publication number
- WO2018159121A1 WO2018159121A1 PCT/JP2018/001107 JP2018001107W WO2018159121A1 WO 2018159121 A1 WO2018159121 A1 WO 2018159121A1 JP 2018001107 W JP2018001107 W JP 2018001107W WO 2018159121 A1 WO2018159121 A1 WO 2018159121A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- color
- image
- monochrome
- unit
- camera
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims description 76
- 238000012806 monitoring device Methods 0.000 title claims description 24
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000006243 chemical reaction Methods 0.000 claims abstract description 93
- 238000003860 storage Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 239000000203 mixture Substances 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 20
- 239000003086 colorant Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 238000012937 correction Methods 0.000 description 43
- 230000009467 reduction Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 33
- 230000009466 transformation Effects 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 21
- 238000012935 Averaging Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 201000005569 Gout Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/465—Conversion of monochrome to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Definitions
- a moving object monitoring apparatus that outputs an image of a monitoring area where a moving object to be monitored appears, and a color image and a monochrome image obtained by capturing the monitoring area in the moving object monitoring apparatus are received from the moving object monitoring apparatus via a network.
- the present invention relates to a server device that performs monitoring, and a moving body monitoring system that transmits an image of a monitoring area taken from the moving body monitoring device to the server device via a network.
- Surveillance systems that monitor the status of moving objects such as persons to be monitored by installing a camera that captures the surveillance area are widely used.
- a camera that irradiates the subject with infrared light and photographs the subject may be used so that the monitoring can be continued even at night.
- the present disclosure provides a moving object monitoring apparatus that can output a color image with excellent visibility of a moving object by faithfully reproducing the color of the moving object even when shooting in a state where there is not enough ambient light such as at night. It is a main object to provide a server device and a moving object monitoring system.
- the moving object monitoring apparatus is a moving object monitoring apparatus that combines a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears and outputs a composite image, and captures the monitoring area with ambient light.
- a color camera a monochrome camera that captures a monitoring area with infrared light, a color image signal output from the color camera, a signal processing unit that processes a monochrome image signal output from the monochrome camera, and ambient light
- a storage unit that stores registration information generated based on a color image and a monochrome image captured in a sufficiently existing state, and a subject that appears in each of the color image and the monochrome image captured in a state where there is not enough ambient light
- An alignment unit for aligning the image positions based on the alignment information and an aligned It acquires color information from over image and an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
- the server device of the present disclosure is a server device that receives a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears in the moving object monitoring device via the network.
- the monitoring device there is sufficient ambient light and a communication unit that receives a color image captured by a color camera that captures a monitoring area with ambient light and a monochrome image captured by a monochrome camera that captures a monitoring area with infrared light.
- a storage unit for storing registration information generated based on a color image and a monochrome image captured in a state where the image is captured, and an image of a subject captured in each of the color image and the monochrome image captured in a state where there is not enough ambient light
- An alignment unit that performs alignment based on the alignment information; Acquires color information from the location registration already color image, an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
- the moving body monitoring system transmits a color image and a monochrome image obtained by capturing a monitoring area where a moving body to be monitored appears in the moving body monitoring device to the server device via the network.
- the moving body monitoring device is a color camera that captures a monitoring area with ambient light, a monochrome camera that captures a monitoring area with infrared light, a color image signal output from the color camera, and an output from the monochrome camera.
- a signal processing unit for processing a monochrome image signal a storage unit for storing registration information generated based on a color image and a monochrome image captured in a sufficiently ambient light environment, and sufficient ambient light The position of the subject image in the color image and monochrome image taken without An alignment unit that performs alignment based on the alignment information, an image synthesis unit that obtains color information from the aligned color image, and performs color conversion that colors the monochrome image using the color information; And a communication unit that transmits the combined image acquired by the image combining unit to the server device.
- the image is captured without sufficient ambient light such as at night. Since the color image and the monochrome image thus aligned are aligned, the alignment can be performed with high accuracy. Color information is obtained from a color image that has been accurately aligned, and the color information is used to color a monochrome image, so that the color of the moving object is faithfully reproduced and the color of the moving object is excellent in visibility. Can be output.
- FIG. 1 is an overall configuration diagram of a moving object monitoring system according to the present embodiment.
- FIG. 2 is an explanatory diagram showing a shooting situation by the camera device 1.
- FIG. 3 is a block diagram illustrating a schematic configuration of the camera device 1.
- FIG. 4 is a functional block diagram illustrating a schematic configuration of the signal processing unit 21.
- FIG. 5 is an explanatory diagram showing a procedure for resolution conversion performed by the resolution converter 54.
- FIG. 6A is an explanatory diagram showing a histogram before resolution conversion.
- FIG. 6B is an explanatory diagram showing a histogram after resolution conversion.
- FIG. 7 is an explanatory diagram showing processing modes set by the signal processing control unit 53.
- FIG. 8 is a flowchart showing a procedure of processing performed by the signal processing control unit 53.
- FIG. 8 is a flowchart showing a procedure of processing performed by the signal processing control unit 53.
- FIG. 10A is an explanatory diagram illustrating an original image to be subjected to gradation correction performed by the gradation color tone correction unit 55.
- FIG. 10B is an explanatory diagram showing a case where a large gain is uniformly given by the gradation color tone correction unit 55.
- FIG. 10C is an explanatory diagram illustrating a case where a small gain is uniformly given by the gradation color tone correction unit 55.
- FIG. 10D is an explanatory diagram illustrating a case where the gradation correction of the present embodiment performed by the gradation color correction unit 55 is performed.
- FIG. 10A is an explanatory diagram illustrating an original image to be subjected to gradation correction performed by the gradation color tone correction unit 55.
- FIG. 10B is an explanatory diagram showing a case where a large gain is uniformly given by the gradation color tone correction unit 55.
- FIG. 10C is an explanatory diagram illustrating a case where a small gain is uniformly given by the
- FIG. 11 is a block diagram of a main part relating to processing performed by the alignment information generation unit 23, the alignment unit 24, and the image composition unit 25.
- FIG. 12 is an explanatory diagram showing an overview of processing performed by the alignment information generation unit 23, the alignment unit 24, and the image synthesis unit 25.
- FIG. 13 is a flowchart showing a calibration processing procedure.
- FIG. 14 is an explanatory diagram showing a situation of image matching.
- FIG. 15 is a flowchart showing a processing procedure during operation.
- FIG. 16A is an explanatory diagram illustrating a shooting situation of moving objects having different shapes.
- FIG. 16B is an explanatory diagram illustrating a shooting situation of moving objects having different shapes.
- FIG. 17 is a flowchart showing a processing procedure during operation in the second embodiment.
- FIG. 18 is an explanatory diagram showing a schematic configuration of the camera device 1 and the server device 2 according to the third embodiment.
- FIG. 19 is an explanatory diagram showing a schematic configuration of the camera device 1
- a first invention made to solve the above-described problem is a moving object monitoring apparatus that outputs a composite image by combining a color image and a monochrome image obtained by photographing a monitoring area where a moving object to be monitored appears.
- Color camera that captures a surveillance area with light
- monochrome camera that captures a surveillance area with infrared light
- a color image signal output from a color camera and a signal that processes a monochrome image signal output from a monochrome camera
- a processing unit a storage unit for storing alignment information generated based on a color image and a monochrome image captured in a state where there is sufficient ambient light, a color image captured in a state where there is not sufficient ambient light
- An alignment unit that performs alignment to match the positions of the subject images in the monochrome images based on the alignment information Acquires color information from the alignment already color image, an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
- the image was captured without sufficient ambient light as at night. Since color images and monochrome images are aligned, alignment can be performed with high accuracy. Color information is obtained from a color image that has been accurately aligned, and the color information is used to color a monochrome image, so that the color of the moving object is faithfully reproduced and the color of the moving object is excellent in visibility. Can be output.
- the storage unit stores a plurality of pieces of alignment information for each type of moving object having a different shape
- the alignment unit detects the moving object from the monochrome image and determines the type of the moving object. The alignment is performed based on the alignment information corresponding to the type of the moving object.
- the color image and the monochrome image can be accurately aligned according to the shape of the moving object.
- the third invention further includes an alignment information generation unit that generates alignment information, and the storage unit displays the alignment information generated by the alignment information generation unit together with information on processing conditions of the signal processing unit. It is configured to store as calibration information.
- the color image and the monochrome image can be properly aligned by performing the process of generating the alignment information as calibration at an appropriate timing during the installation of the apparatus or during operation.
- the signal processing unit adds a signal value for each of a plurality of adjacent pixels in the color image to reduce the number of pixels of the color image, and the imaging environment of the monitoring area.
- a signal processing control unit for controlling the operation of the resolution conversion unit.
- the actual color information of the subject is included in the signal value of each pixel. Therefore, the actual color of the subject can be clearly obtained by adding the signal values of a plurality of pixels.
- the appearing color image can be output.
- the operation of the resolution conversion unit is controlled based on the shooting environment in the monitoring area, an appropriate color image can be output regardless of the shooting environment. Further, the color conversion in which the actual color of the subject appears clearly is obtained by the resolution conversion, and the color information of the moving object that appeared at night can be obtained from the color image with high accuracy.
- a server device for receiving a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears in the moving object monitoring device from the moving object monitoring device via a network.
- a communication unit that receives a color image captured by a color camera that captures a monitoring area with ambient light, and a monochrome image captured by a monochrome camera that captures a monitoring area with infrared light, and sufficient ambient light
- a storage unit that stores registration information generated based on a color image and a monochrome image captured in a certain state, and a subject image that is captured in each of the color image and the monochrome image captured in a state where there is not enough ambient light
- Alignment unit that performs alignment based on alignment information and alignment already from the color image to obtain the color information
- an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
- the color of the moving object is faithfully reproduced and a color image with excellent visibility of the moving object is output. be able to.
- the sixth invention is a moving object monitoring system that transmits a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears in the moving object monitoring device to the server device via the network.
- the moving object monitoring apparatus outputs a color camera that captures a monitoring area with ambient light, a monochrome camera that captures a monitoring area with infrared light, a color image signal output from the color camera, and a monochrome camera.
- a signal processing unit that processes a signal of a monochrome image, a storage unit that stores registration information generated based on a color image and a monochrome image that are captured in a state where there is sufficient ambient light, and there is not enough ambient light To match the position of the subject image in the color and monochrome images
- An alignment unit that performs color conversion based on the alignment information, color information from the color image that has been aligned, and color conversion of the monochrome image using the color information, and the image
- a communication unit that transmits the combined image acquired by the combining unit to the server device.
- the color of the moving object is faithfully reproduced and a color image with excellent visibility of the moving object is output. be able to.
- the server device includes an alignment information generation unit that generates alignment information, and a communication unit that transmits the alignment information to the moving object monitoring device.
- the storage unit is updated according to the received alignment information.
- the user can remotely update the alignment information used in the moving object monitoring apparatus.
- FIG. 1 is an overall configuration diagram of the moving object monitoring system according to the first embodiment.
- the moving object monitoring system includes a camera device 1 (moving object monitoring device), a server device 2 (image storage device), and a browsing device 3.
- the camera device 1, the server device 2, and the browsing device 3 are connected via a network.
- the camera device 1 captures a monitoring area set in a facility, a road, or the like, and outputs a captured image that shows a moving object such as a person existing in the monitoring area.
- the server device 2 stores the captured images acquired from the camera device 1.
- the browsing device 3 is a PC, a tablet terminal, a smartphone, or the like, and by accessing the server device 2, the user can browse the captured images stored in the server device 2.
- FIG. 2 is an explanatory diagram showing a shooting situation by the camera device 1.
- the camera device 1 includes a color camera 11 and a monochrome camera 12.
- the color camera 11 and the monochrome camera 12 photograph a subject existing in the monitoring area, that is, a moving object such as a person, a building, a site of a facility, a road, and the like.
- the color camera 11 includes an infrared light cut filter, captures a subject in color with visible light, and outputs a color image.
- the monochrome camera 12 includes a visible light cut filter, captures a subject in monochrome with infrared light, and outputs a monochrome image. Note that when photographing with the monochrome camera 12, the infrared light projector 13 (see FIG. 3) irradiates the subject with near infrared light.
- the actual color of the subject can be clearly seen even when the image is captured in a state where there is not enough ambient light. A high-quality color image that appears can be generated.
- image composition is performed to synthesize a color image and a monochrome image that are taken in a state where there is not enough ambient light.
- color information is acquired from a color image, and a process for coloring a monochrome image using the color information is performed.
- a high-definition monochrome image is obtained by photographing with near-infrared light. By coloring the monochrome image using color information acquired from the color image, the color of the moving object is high-definition and faithful. It is possible to generate a color image that is reproduced at night.
- the color camera 11 and the monochrome camera 12 have parallax, and due to the influence of this parallax, the position of the subject appearing in the color image and the monochrome image is shifted. Therefore, when the color image and the monochrome image are synthesized as they are, the background color is changed. Problems such as appearing in the moving object region or the moving object color appearing in the background region occur.
- alignment processing for matching the position of the subject between the color image and the monochrome image is performed.
- FIG. 2 shows an example in which the monitoring area is outdoors, the monitoring area may be indoors. In this case, the brightness of the ambient light in the monitoring area is changed by turning on / off the lighting fixtures in addition to the sunshine.
- FIG. 3 is a block diagram illustrating a schematic configuration of the camera device 1.
- the camera device 1 includes an infrared light projector 13, a communication unit 14, a control unit 15, and a storage unit 16 in addition to the color camera 11 and the monochrome camera 12.
- the infrared light projector 13 projects near-infrared light onto the subject when the monochrome camera 12 captures the subject.
- the communication unit 14 communicates with the server device 2 via a network.
- the composite image generated by the control unit 15 is transmitted to the server device 2.
- the processed color image and monochrome image generated by the control unit 15 may be transmitted to the server device 2.
- shooting information relating to the installation location, camera attributes, shooting time, shooting conditions, etc. is added to the image as attribute information and transmitted.
- the camera attributes relate to color and monochrome, identification information (MAC address, etc.) of the camera device 1 and the like.
- the shooting conditions relate to exposure time, gain, and the like.
- character recognition processing may be performed on a monochrome image to acquire character information in the monochrome image, and the character information may be added to the image and transmitted.
- the storage unit 16 stores a color image, a monochrome image, a composite image, and the like generated by the control unit 15.
- the storage unit 16 stores a program executed by the control unit 15. Further, the storage unit 16 functions as a calibration memory, and performs calibration related to imaging conditions of the color camera 11 and the monochrome camera 12 and signal processing conditions for color image and monochrome image signals performed by the control unit 15. Information (setting values of various parameters, etc.) is stored.
- the control unit 15 includes a signal processing unit 21, an LED control unit 22, a registration information generation unit 23, a registration unit 24, and an image composition unit 25.
- the control unit 15 includes a processor, and each unit of the control unit 15 is realized by executing a program stored in the storage unit 16.
- the signal processing unit 21 processes image signals output from the color camera 11 and the monochrome camera 12, respectively.
- the LED control unit 22 controls the LED that is the light source of the infrared light projector 13.
- FIG. 4 is a functional block diagram illustrating a schematic configuration of the signal processing unit 21.
- the signal processing unit 21 includes a synchronization signal generation unit 31, a monochrome signal processing unit 32, and a color signal processing unit 33.
- the synchronization signal generation unit 31 generates a synchronization signal for synchronizing the color camera 11 and the monochrome camera 12. With this synchronization signal, the color camera 11 and the monochrome camera 12 can photograph the subject at the same timing.
- the monochrome signal processing unit 32 includes a camera interface 41, a gradation correction unit 42, and a gamma correction 43.
- an image signal of a monochrome image output from the monochrome camera 12 is input.
- the gradation correction unit 42 performs gradation correction on the image signal of the monochrome image input to the camera interface 41.
- the gamma correction unit 56 performs gamma correction on the image signal output from the gradation correction unit 42 to correct the gradation of the image to the optimum characteristic according to the characteristics of the display device.
- the color signal processing unit 33 includes a camera interface 51, a signal level detection unit 52, a signal processing control unit 53, a resolution conversion unit 54, a tone tone correction unit 55, a gamma correction unit 56, and a Y component generation.
- an image signal of a color image output from the color camera 11 is input.
- the signal level detection unit 52 detects the signal level based on the image signal of the color image input to the camera interface 51. This signal level represents the brightness of the entire image that is the imaging environment of the monitoring area, that is, the brightness of the ambient light in the monitoring area, and is detected based on the maximum value of luminance and the distribution status (histogram). .
- the signal processing control unit 53 refers to the signal level acquired by the signal level detection unit 52 and sets the degree of resolution conversion (reduction rate) performed by the resolution conversion unit 54. Further, the signal processing control unit 53 sets the degree of reduction (reduction ratio) performed by the averaging reduction part 59 according to the degree of resolution conversion. Note that the degree of resolution conversion includes the case where the resolution conversion unit 54 is stopped and resolution conversion is not performed, and the degree of averaging reduction is the case where the operation of the averaging reduction unit 59 is paused. The case where averaging reduction is not performed is also included.
- the degree of resolution conversion (reduction ratio) performed by the resolution converter 54 is set based on the signal level acquired by the signal level detector 52 as the imaging environment of the monitoring area.
- the unit 52 may be omitted, and a control table for setting the degree of resolution conversion for each night time zone (1 or more) may be held according to daytime and nighttime settings determined for each day. . Further, instead of the signal level detection unit 52, an illuminance sensor or the like may be provided, and the shooting environment may be determined based on the sensor output.
- the resolution conversion unit 54 performs resolution conversion to reduce the number of pixels by integrating signal values of a plurality of adjacent pixels with respect to a color image image signal input to the camera interface 51.
- the gradation color tone correction unit 55 performs gradation correction and color tone correction on the image signal of the color image output from the resolution conversion unit 54.
- gradation correction for example, gain adjustment for brightening the image is performed.
- color tone correction for example, white balance correction that suppresses the influence of the hue of the ambient light is performed.
- the gamma correction unit 56 performs gamma correction on the image signal output from the tone color tone correction unit 55 to correct the tone of the image to an optimum characteristic according to the characteristics of the display device.
- the Y component generation unit 57 generates a Y component image signal (luminance signal) from the image signal output from the gamma correction unit 56.
- the UV component generation unit 58 generates U component and V component image signals (color difference signals) from the image signal output from the gamma correction unit 56.
- the averaging reduction unit 59 averages the signal values of a predetermined number of pixels with respect to the image signals output from the Y component generation unit 57 and the UV component generation unit 58, respectively, thereby making the color image a predetermined size. Process to reduce.
- FIG. 5 is an explanatory diagram showing a procedure for resolution conversion.
- 6A and 6B are explanatory diagrams showing histograms before and after resolution conversion.
- pixels of each color of R, B, and G are arranged in a Bayer pattern.
- the resolution conversion unit 54 adds the signal values of a predetermined number of adjacent pixels for pixels of the same color, and the total value is 1 as shown in FIG. The signal value of one pixel.
- FIG. 5 shows R, the same applies to B and G.
- the signal value is biased to a dark range before the resolution conversion as shown in FIG. 6A, whereas the signal value after the resolution conversion is shown in FIG. 6B. Will be spread over a wide area.
- resolution conversion is performed to reduce the number of pixels of a color image by adding signal values of a plurality of pixels.
- the actual color information of the subject is included in the signal value of each pixel. It is possible to output a color image in which the actual color of the image clearly appears.
- the moving object can be easily identified. For example, in the case of a person, the color of clothes clearly appears, and in the case of a vehicle, the color of the vehicle body appears clearly, thereby avoiding misidentification of the moving object.
- the color image generated by the camera device 1 is transmitted to the server device 2 via the network, it is desired to reduce the data amount of the color image for the purpose of reducing the communication load.
- the present embodiment by performing resolution conversion, the number of pixels in the color image is reduced, so that the data amount of the color image can be reduced. Further, compression processing may be performed on a color image that has undergone resolution conversion, and in this case, compression noise is greatly reduced compared to when compression processing is performed without performing resolution conversion. be able to.
- FIG. 7 is an explanatory diagram showing processing modes set by the signal processing control unit 53.
- FIG. 8 is a flowchart showing a procedure of processing performed by the signal processing control unit 53.
- the signal level acquired by the signal level detection unit 52 is compared with a plurality of threshold values, and the degree of resolution conversion performed by the resolution conversion unit 54 is stepwise based on the comparison result. change.
- three levels are set as the degree of resolution conversion according to signal processing based on the signal level. Thereby, appropriate resolution conversion can be performed so that the signal value of each pixel is not saturated.
- the first processing mode is performed when the day is bright.
- the level of resolution conversion is minimized, and the reduction rate of resolution conversion is 1, that is, resolution conversion is not performed.
- the second processing mode is performed when the sky is dim at sunset or sunrise.
- the resolution conversion level is intermediate and the resolution conversion reduction rate is 1/4. That is, the resolution conversion is performed to make the resolution 1/4 by adding the signal values of a total of 4 pixels of 2 ⁇ 2.
- the third processing mode is performed when the night is dark.
- the resolution conversion level is maximized and the resolution conversion reduction ratio is 1/16. That is, resolution conversion is performed so that the resolution is 1/16 by adding the signal values of a total of 16 pixels of 4 ⁇ 4.
- the signal processing control unit 53 averages and reduces the unit 59 according to the degree of resolution conversion so that a color image of the same size is finally obtained regardless of the degree of resolution conversion performed by the resolution conversion unit 54. Sets the degree of averaging reduction performed in.
- the reduction rate of resolution conversion is 1 in the first processing mode
- the level of averaging reduction is maximized, and the reduction rate of averaging reduction is 1/16.
- the resolution conversion reduction rate is 1/4 in the second processing mode
- the level of average reduction is intermediate, and the reduction rate of average reduction is 1/4.
- the reduction rate of resolution conversion is 1/16 in the third processing mode
- the level of average reduction is minimum, and the reduction rate of average reduction is 1. That is, averaging reduction is not performed. Thereby, a color image reduced to 1/16 in the same manner in all processing modes is obtained.
- the signal level L acquired by the signal level detection unit 52 is compared with two threshold values a and b (a ⁇ b), and the signal level L is set to the threshold value a. It is determined whether or not the signal level L is less than the threshold value b (ST102). As a result, the level of resolution conversion and averaging reduction is determined for each of the three processing modes.
- the first processing mode is set, and the resolution conversion level is set to the minimum (ST103).
- the level of averaging reduction is set to the maximum (ST104).
- the second processing mode is set.
- the resolution conversion level is set to the middle (ST105), and the averaging reduction level is set to the middle (ST106).
- the third processing mode is set, and the resolution conversion level is set to the maximum (ST107). ), The level of averaging reduction is set to the minimum (ST108).
- the case is divided into three cases (first to third processing modes) according to the signal level, but the case is divided into two cases or four or more cases. It may be.
- the resolution conversion reduction ratios are set to 1, 1/4 and 1/16, the resolution conversion is performed so that the resolution is 1/16 by adding the signal values of a total of 64 pixels of 8 ⁇ 8.
- resolution conversion with various reduction ratios is possible.
- FIG. 9 is a flowchart showing a procedure of white balance correction.
- the tone color tone correction unit 55 performs white balance correction on the image signal of the color image output from the resolution conversion unit 54.
- the color tone is corrected by regarding the brightest (high luminance) area as white. For this reason, in an image in which a light such as a streetlight or a vehicle headlight is captured at night, the light area is the brightest, and thus the color tone is corrected by regarding this area as white. At this time, if the light of the light is not white, a color cast that causes the overall color of the image to shift occurs.
- white balance correction is performed by excluding the light area.
- a predetermined threshold value (ST201). This threshold value distinguishes between nighttime and daytime.
- the signal level is lower than the threshold value (Yes in ST201), that is, at night, the light area in the color image is detected, and the pixels included in the light area are totaled. Exclude from the target (ST202).
- the signal values of each pixel to be aggregated are summed for each RGB color, and the total value (RSUM, GSUM, BSUM) of each color is calculated (ST203).
- the output value (Rout, Gout, Bout) of each color is calculated by multiplying the input value (Rin, Gin, Bin) of each color by the gain of each color based on the total value of each color (ST204). At this time, correction based on G is performed.
- the signal level is equal to or higher than the threshold value (No in ST201), that is, in the daytime, the total value of each color is calculated for all the pixels in the color image (ST203). The output value of each color is calculated (ST204).
- 10A, 10B, 10C, and 10D are explanatory diagrams illustrating the state of gradation correction performed by the gradation color tone correction unit 55.
- FIG. 10A, 10B, 10C, and 10D are explanatory diagrams illustrating the state of gradation correction performed by the gradation color tone correction unit 55.
- the tone color tone correction unit 55 performs tone correction (gain adjustment) that adds a gain to the image signal of the color image output from the resolution conversion unit 54 to brighten the color image.
- FIGS. 10A to 10D are night color images in which streetlights are reflected. As shown in FIG. 10A, the original image is entirely dark and the subject is difficult to see.
- gradation correction optimized for each region is performed. That is, a large gain is given to a dark area far from the light, and a small gain is given to a bright area near the light.
- the subject can be easily seen in the region away from the light, and the halation is reduced, so that the subject can be easily seen in the region near the light. In this way, by giving different gains depending on the region, it is possible to obtain an optimal image that is not affected by halation.
- FIG. 11 is a block diagram of a main part relating to processing performed by the alignment information generation unit 23, the alignment unit 24, and the image composition unit 25.
- FIG. 12 is an explanatory diagram showing an overview of processing performed by the alignment information generation unit 23, the alignment unit 24, and the image synthesis unit 25.
- the registration information generation unit 23 performs the registration in the registration unit 24 based on the monochrome image output from the monochrome signal processing unit 32 and the color image output from the color signal processing unit 33.
- a transformation matrix (positioning information) used for geometric transformation (positioning) is generated (see FIG. 12).
- image matching is performed between a monochrome image and a color image, a plurality of feature points corresponding to the monochrome image and the color image are acquired, and a transformation matrix is estimated using the feature points.
- the processing of the alignment information generation unit 23 is performed as a calibration before operation, and a color image and a monochrome image captured simultaneously by the color camera 11 and the monochrome camera 12 in a state where there is sufficient ambient light as in the daytime. It is done using.
- the relative positional relationship between the color camera 11 and the monochrome camera 12 changes according to the installation conditions. Even if the color camera 11 and the monochrome camera 12 are accommodated in the same housing so that the positional relationship between the color camera 11 and the monochrome camera 12 does not change, the shooting conditions, For example, the shooting distance from the color camera 11 and the monochrome camera 12 to the position where the moving object appears differs. Therefore, a conversion matrix (positioning information) is acquired for each camera device 1 as calibration before operation.
- a color image taken in a state where there is not enough ambient light such as at night is dark, unclear and noisy.
- image matching with a monochrome image is appropriately performed. I can't. For this reason, a transformation matrix is acquired using a color image and a monochrome image captured in a state where there is sufficient ambient light as in the daytime.
- a color image captured with visible light and a monochrome image captured with near-infrared light may have different luminance gradients, so use a technique that is robust against luminance gradients such as the phase correlation method. Perform image matching.
- the conversion matrix generated by the alignment information generation unit 23 is stored in the storage unit 16 as calibration data.
- the alignment unit 24 uses a conversion matrix (alignment information) acquired by the alignment information generation unit 23 during operation to perform geometric conversion, for example, projection, on the color image output from the color signal processing unit 33. Conversion is performed (see FIG. 12). Thereby, the position of the image of the subject appearing in the color image can be matched with the monochrome image.
- conversion matrix alignment information
- the image composition unit 25 synthesizes the aligned color image output from the alignment unit 24 and the monochrome image output from the monochrome signal processing unit 32 to generate a composite image (see FIG. 12).
- color conversion is performed in which color information is acquired from a color image that has been aligned and a monochrome image is colored using the color information.
- a known image composition technique may be used for this image composition.
- FIG. 13 is a flowchart showing a calibration processing procedure.
- FIG. 14 is an explanatory diagram showing a situation of image matching.
- this calibration is performed as an initial setting when the camera apparatus 1 is installed. Further, since the relative positional relationship between the color camera 11 and the monochrome camera 12 changes due to the influence of vibration, strong wind, etc., it may be performed periodically during operation.
- the alignment information generation unit 23 first acquires a color image and a monochrome image photographed in the daytime (ST301).
- image matching is performed between the color image and the monochrome image (ST302).
- image matching a plurality of feature points corresponding to monochrome images and color images are acquired (see FIG. 14).
- a transformation matrix used in geometric transformation is estimated using the acquired feature points (ST303). Specifically, a transformation matrix H as shown in the following equation is obtained.
- projective transformation is performed as geometric transformation.
- the color image subjected to the geometric transformation and the monochrome image are compared, and it is determined whether or not the position of the subject matches (ST305).
- the acquired conversion matrix is stored in the storage unit 16.
- the positions of the subjects do not match (No in ST305)
- another color image and a monochrome image are acquired, and the above process is repeated.
- geometric transformation parameters may be finely adjusted by a user operation input according to the determination result of the position of the subject.
- FIG. 15 is a flowchart showing a processing procedure during operation.
- the alignment unit 24 acquires a color image and a monochrome image taken at night (ST401).
- geometric transformation is performed on the color image using the transformation matrix obtained by calibration (ST402).
- the image composition unit 25 synthesizes the color image and the monochrome image that have undergone the geometric transformation (ST403).
- FIG. 16A and FIG. 16B are explanatory diagrams showing the shooting situation of moving objects having different shapes.
- the distance from the color camera 11 and the monochrome camera to the surface of the moving object changes.
- the moving body is a passenger car with a bonnet and when the moving body is a one-box car without a bonnet as shown in FIG. 16B, the moving body is in the same position.
- the distance L from the color camera 11 and the monochrome camera 12 to the surface of the moving object is different.
- a plurality of transformation matrices are created for each type of moving object having a different shape, and the type of moving object is determined during operation to correspond to the type of moving object.
- a geometric transformation is performed using a transformation matrix.
- the type of moving object may be determined using a high-definition monochrome image.
- the moving object in order to obtain a conversion matrix for each type of moving object, the moving object is actually arranged in a monitoring area or an appropriate place under the same shooting conditions as the monitoring area, and the moving object is placed in the color camera 11 and the monochrome camera.
- the conversion matrix may be acquired based on the obtained color image and monochrome image.
- FIG. 17 is a flowchart showing a processing procedure during operation.
- the alignment unit 24 acquires a color image and a monochrome image taken at night (ST501). Then, a moving object is detected from the monochrome image (ST502).
- the type of the detected moving object is discriminated and a conversion matrix corresponding to the type of moving object is selected.
- a conversion matrix corresponding to the type of moving object is selected.
- ST503 to ST508 it is sequentially determined whether or not it corresponds to the moving object types A to F (ST503 to ST508), and a conversion matrix corresponding to the moving object types A to F is selected (ST509 to ST514). If none of these apply, a general-purpose transformation matrix is selected (ST515).
- the image synthesizing unit 25 synthesizes the color image and the monochrome image that have been subjected to the geometric transformation (ST517).
- FIG. 18 is an explanatory diagram showing a schematic configuration of the camera device 1 and the server device 2 according to the third embodiment.
- the server apparatus 2 performs the processing for generating the alignment information.
- the server device 2 includes a communication unit 61, a control unit 62, and a storage unit 63.
- the communication unit 61 communicates with the camera device 1 via a network.
- an image transmission request relating to a color image and a monochrome image used for generating alignment information is transmitted to the camera device 1, and the color transmitted from the camera device 1 in response to the image transmission request.
- the alignment information generated by the control unit 62 is transmitted to the camera device 1.
- a composite image periodically transmitted from the camera device 1 is received during operation.
- the storage unit 63 stores the color image and monochrome image received by the communication unit 61, the alignment information generated by the control unit 62, and the like.
- the storage unit 63 stores a program executed by the control unit 62.
- the control unit 62 includes an image transmission request unit 71 and an alignment information generation unit 72.
- the control unit 62 includes a processor, and each unit of the control unit 62 is realized by executing a program stored in the storage unit 63.
- the image transmission request unit 71 instructs the camera device 1 to simultaneously take a color image and a monochrome image in a state where there is sufficient ambient light as in the daytime, and to transmit the color image and the monochrome image.
- An image transmission request is transmitted from the communication unit 61.
- the alignment information generation unit 72 When the communication unit 61 receives the color image and the monochrome image transmitted from the camera device 1 in response to the image transmission request, the alignment information generation unit 72 performs alignment of the camera device 1 based on the color image and the monochrome image. Alignment information (transformation matrix) used for alignment (geometric transformation) performed by the unit 24 is generated. The alignment information generated by the alignment information generation unit 72 is transmitted from the communication unit 61 to the camera device 1.
- the camera device 1 When the camera device 1 receives the image transmission request transmitted from the server device 2, the camera device 1 captures a color image and a monochrome image and transmits them to the server device 2. In addition, when the camera apparatus 1 receives the alignment information transmitted from the server apparatus 2, the camera apparatus 1 performs an update process of the storage unit 16 according to the received alignment information.
- the initial setting and updating of the alignment information used in the camera device 1 can be performed by the user by remote operation.
- the registration information is generated by the server device 2 that stores the image transmitted from the camera device 1, but the device that stores the image and the device that generates the alignment information are: It may be provided separately.
- FIG. 19 is an explanatory diagram showing a schematic configuration of the camera device 1 and the server device 2 according to the fourth embodiment.
- the alignment between the color image and the monochrome image and the image synthesis of the color image and the monochrome image are performed by the camera device 1.
- the alignment and the image are performed.
- the composition may be performed by the server device 2.
- the control unit 62 of the server device 2 includes an alignment unit 73 and an image composition unit 74.
- the alignment unit 73 performs geometric conversion on the color image transmitted from the camera device 1 using the conversion matrix (alignment information) acquired by the alignment information generation unit 72.
- the image composition unit 74 combines the aligned color image output from the alignment unit 73 and the monochrome image transmitted from the camera device 1 to generate a composite image.
- the processing performed by the alignment unit 73 and the image composition unit 74 is the same as that of the alignment unit 24 and the image composition unit 25 of the camera device 1 in the above embodiment.
- the embodiment has been described as an example of the technique disclosed in the present application.
- the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like have been performed.
- the moving object to be monitored is mainly a person
- the moving object to be monitored is not limited to a person, and may be an animal or a vehicle.
- the control is performed based on the signal level representing the brightness of the ambient light.
- the brightness of the ambient light changes regularly due to the change in the daylight hours according to the season and time. Therefore, it is possible to control based on time information.
- the control based on the signal level can be performed with higher accuracy.
- various image processing such as resolution conversion is performed by the camera device.
- all or part of the image processing may be performed by the server device.
- the resolution conversion and the averaging reduction processing reduce the communication load by reducing the amount of image data, it is desirable to perform the processing by the camera device.
- the moving object monitoring device, the server device, and the moving object monitoring system according to the present disclosure are excellent in visibility of moving objects by faithfully reproducing the color of moving objects even when shooting in a state where there is not enough ambient light such as at night.
- a moving object monitoring device that has an effect of outputting a color image and outputs an image obtained by photographing a monitoring area where a moving object to be monitored appears, a color image and a monochrome image obtained by photographing the monitoring area in the moving object monitoring device,
- the present invention is useful as a server device that receives a moving object monitoring device via a network, and a moving object monitoring system that transmits an image of a monitoring area from the moving object monitoring device to the server device via the network.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力できるようにする。環境光で撮影するカラーカメラ(11)と、赤外光で撮影するモノクロカメラ(12)と、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部(21)と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像から生成された位置合わせ情報を記憶する記憶部(16)と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像に写る被写体の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部(24)と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部(25)と、を備えたものとする。
Description
本開示は、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムに関するものである。
監視エリアを撮影するカメラを設置して、監視対象となる人物などの動体の状況を監視する監視システムが広く普及している。このような監視システムでは、夜間でも監視を継続できるように、被写体に赤外光を照射して被写体を撮影するカメラを用いる場合がある。
このような赤外光による撮影では、鮮明な画像を得ることができる反面、モノクロ画像となるため、被写体を識別しにくいといった問題がある。このため、夜間に撮影された画像でも、被写体の識別性を向上させることができる技術が望まれる。
このような要望に対して、従来、可視光により被写体をカラーで撮影するとともに、赤外光により被写体をモノクロで撮影して、可視光による撮影画像を背景画像として、この背景画像上に、赤外光による撮影画像から切り出された人物の画像を重ね合わせる技術が知られている(特許文献1参照)。
しかしながら、この従来技術では、夜間に撮影された画像の視認性を全体的に向上させることはできるが、肝心な動体の色再現は考慮されていない。すなわち、動体の画像が赤外光による撮影画像から切り出されたものであるため、動体の色を判別できない。特に、赤外光による撮影画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写ることから、監視対象となる動体の誤認が発生する。このため、動体の監視の用途では全く使用に耐えないものであった。
そこで、本開示は、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる動体監視装置、サーバ装置、および動体監視システムを提供することを主な目的とする。
本開示の動体監視装置は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
また、本開示のサーバ装置は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置であって、動体監視装置において、環境光により監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
また、本開示の動体監視システムは、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、動体監視装置は、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像をサーバ装置に送信する通信部と、を備えた構成とする。
本開示によれば、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
前記課題を解決するためになされた第1の発明は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
これによると、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第2の発明は、記憶部は、形状が異なる動体の種類別に複数の位置合わせ情報を記憶し、位置合わせ部は、モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた位置合わせ情報に基づいて、位置合わせを行う構成とする。
これによると、動体の形状に応じて、カラー画像とモノクロ画像との位置合わせを精度よく行うことができる。
また、第3の発明は、さらに、位置合わせ情報を生成する位置合わせ情報生成部を備え、記憶部は、位置合わせ情報生成部で生成した位置合わせ情報を、信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶する構成とする。
これによると、装置設置時や運用途中の適宜なタイミングで、位置合わせ情報を生成する処理をキャリブレーションとして実施することで、カラー画像およびモノクロ画像の位置合わせを適切に行うことができる。
また、第4の発明は、信号処理部は、カラー画像において近接する複数の画素ごとの信号値を加算して、カラー画像の画素数を削減する解像度変換部と、監視エリアの撮影環境に基づいて、解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
これによると、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。また、監視エリアの撮影環境に基づいて解像度変換部の動作を制御するため、撮影環境に関係なく、適切なカラー画像を出力することができる。また、解像度変換により、被写体の実際の色が明瞭に現れたカラー画像が得られ、このカラー画像から、夜間に出現した動体の色情報を精度よく取得することができる。
また、第5の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置であって、動体監視装置において、環境光により監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
これによると、第1の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第6の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、動体監視装置は、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像をサーバ装置に送信する通信部と、を備えた構成とする。
これによると、第1の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第7の発明は、サーバ装置は、位置合わせ情報を生成する位置合わせ情報生成部と、位置合わせ情報を動体監視装置に送信する通信部と、を備え、動体監視装置は、サーバ装置から受信した位置合わせ情報にしたがって記憶部の更新処理を行う構成とする。
これによると、動体監視装置で用いられる位置合わせ情報の更新を、ユーザが遠隔操作で行うことができる。
以下、実施の形態を、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る動体監視システムの全体構成図である。
図1は、第1実施形態に係る動体監視システムの全体構成図である。
動体監視システムは、カメラ装置1(動体監視装置)と、サーバ装置2(画像蓄積装置)と、閲覧装置3と、を備えている。カメラ装置1とサーバ装置2と閲覧装置3とはネットワークを介して接続されている。
カメラ装置1は、施設や道路などに設定された監視エリアを撮影し、監視エリアに存在する人物などの動体が写る撮影画像を出力する。サーバ装置2は、カメラ装置1から取得した撮影画像を蓄積する。閲覧装置3は、PCやタブレット端末やスマートフォンなどであり、サーバ装置2にアクセスすることで、サーバ装置2に蓄積された撮影画像をユーザが閲覧することができる。
次に、カメラ装置1について説明する。図2は、カメラ装置1による撮影状況を示す説明図である。
カメラ装置1は、カラーカメラ11と、モノクロカメラ12と、を備えている。このカラーカメラ11およびモノクロカメラ12により、監視エリアに存在する被写体、すなわち、人物などの動体、建物、施設の敷地、道路などが撮影される。
カラーカメラ11は、赤外光カットフィルタを備え、可視光により被写体をカラーで撮影して、カラー画像を出力する。モノクロカメラ12は、可視光カットフィルタを備え、赤外光により被写体をモノクロで撮影して、モノクロ画像を出力する。なお、モノクロカメラ12で撮影する際には、赤外光投光器13(図3参照)により被写体に近赤外光が照射される。
ここで、夜間や、日の入りまたは日の出の時間帯で、環境光が十分にない状態において、カラーカメラ11による撮影を行うと、撮影されたカラー画像では、被写体となる動体や背景が暗く写り、特に動体の色、例えば人物の服の色や車体の色を判別しにくいという問題がある。また、モノクロカメラ12により近赤外光により撮影したモノクロ画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写るというという問題がある。このため、動体の誤認が発生する。
そこで、本実施形態では、カラーカメラ11から出力されるカラー画像の信号に対して信号処理を行うことで、環境光が十分にない状態で撮影された場合でも、被写体の実際の色が明瞭に現れた高画質なカラー画像を生成することができるようにしている。
さらに、本実施形態では、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像を合成する画像合成を行うようにしている。この画像合成では、カラー画像から色情報を取得し、その色情報を用いてモノクロ画像に色付けする処理が行われる。本実施形態では、近赤外光による撮影により、高精細なモノクロ画像が得られ、このモノクロ画像に、カラー画像から取得した色情報を用いて色付けすることにより、高精細で動体の色を忠実に再現した夜間のカラー画像を生成することができる。
このとき、カラーカメラ11およびモノクロカメラ12には視差があり、この視差の影響で、カラー画像およびモノクロ画像に写る被写体の位置がずれるため、カラー画像およびモノクロ画像をそのまま合成すると、背景の色が動体の領域に現れたり、動体の色が背景の領域に現れたりする不具合が発生する。
そこで、本実施形態では、カラー画像とモノクロ画像との間で被写体の位置を一致させる位置合わせの処理を行うようにしている。
なお、図2では、屋外を監視エリアとした例を示しているが、屋内を監視エリアとしてもよい。この場合、日照の他に照明器具の点灯・消灯により監視エリアの環境光の明るさが変化する。
次に、カメラ装置1の概略構成について説明する。図3は、カメラ装置1の概略構成を示すブロック図である。
カメラ装置1は、カラーカメラ11およびモノクロカメラ12の他に、赤外光投光器13と、通信部14と、制御部15と、記憶部16と、を備えている。
赤外光投光器13は、モノクロカメラ12で被写体を撮影する際に、被写体に近赤外光を投光する。
通信部14は、ネットワークを介してサーバ装置2との間で通信を行う。本実施形態では、制御部15で生成した合成画像をサーバ装置2に送信する。なお、制御部15で生成した処理済みのカラー画像およびモノクロ画像をサーバ装置2に送信するようにしてもよい。
このとき、設置場所、カメラ属性、撮影時刻、撮影条件などに関する撮影情報を、属性情報として画像に付加して送信する。なお、カメラ属性は、カラーおよびモノクロの別や、カメラ装置1の識別情報(MACアドレスなど)などに関するものである。また、撮影条件は、露光時間やゲインなどに関するものである。
なお、モノクロ画像に対して文字認識処理を行って、モノクロ画像内の文字情報を取得して、その文字情報を画像に付加して送信するようにしてもよい。
記憶部16は、制御部15で生成したカラー画像、モノクロ画像、および合成画像などを記憶する。また、記憶部16は、制御部15で実行されるプログラムを記憶する。また、記憶部16は、キャリブレーションメモリとして機能し、カラーカメラ11およびモノクロカメラ12の撮像条件や、制御部15で行われるカラー画像およびモノクロ画像の画信号に対する信号処理の処理条件などに関するキャリブレーション情報(各種パラメータの設定値など)を記憶する。
制御部15は、信号処理部21と、LED制御部22と、位置合わせ情報生成部23と、位置合わせ部24と、画像合成部25と、を備えている。この制御部15は、プロセッサで構成され、制御部15の各部は、記憶部16に記憶されたプログラムを実行することで実現される。
信号処理部21は、カラーカメラ11およびモノクロカメラ12からそれぞれ出力される画信号を処理する。
LED制御部22は、赤外光投光器13の光源となるLEDを制御する。
次に、信号処理部21について説明する。図4は、信号処理部21の概略構成を示す機能ブロック図である。
信号処理部21は、同期信号生成部31と、モノクロ信号処理部32と、カラー信号処理部33と、を備えている。
同期信号生成部31は、カラーカメラ11およびモノクロカメラ12を同期させる同期信号を生成する。この同期信号により、カラーカメラ11およびモノクロカメラ12は同一のタイミングで被写体を撮影することができる。
モノクロ信号処理部32は、カメラインタフェイス41と、階調補正部42と、ガンマ補正43と、を備えている。
カメラインタフェイス41では、モノクロカメラ12から出力されるモノクロ画像の画信号が入力される。
階調補正部42は、カメラインタフェイス41に入力されたモノクロ画像の画信号に対して階調補正を行う。
ガンマ補正部56は、階調補正部42から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
カラー信号処理部33は、カメラインタフェイス51と、信号レベル検出部52と、信号処理制御部53と、解像度変換部54と、階調色調補正部55と、ガンマ補正部56と、Y成分生成部57と、UV成分生成部58と、平均化縮小部59と、を備えている。
カメラインタフェイス51では、カラーカメラ11から出力されるカラー画像の画信号が入力される。
信号レベル検出部52は、カメラインタフェイス51に入力されたカラー画像の画信号に基づいて、信号レベルを検出する。この信号レベルは、監視エリアの撮影環境である画像全体の明るさ、すなわち、監視エリアの環境光の明るさを表すものであり、輝度の最大値や分布状況(ヒストグラム)に基づいて検出される。
信号処理制御部53は、信号レベル検出部52で取得した信号レベルを参照して、解像度変換部54で行われる解像度変換の度合(縮小率)を設定する。また、信号処理制御部53は、解像度変換の度合に応じて、平均化縮小部59で行われる平均化縮小の度合(縮小率)を設定する。なお、解像度変換の度合には、解像度変換部54の動作を休止して解像度変換を行わない場合も含まれ、また、平均化縮小の度合には、平均化縮小部59の動作を休止して平均化縮小を行わない場合も含まれる。ここでは、監視エリアの撮影環境として、信号レベル検出部52で取得した信号レベルに基づいて、解像度変換部54で行われる解像度変換の度合(縮小率)を設定するようにしたが、信号レベル検出部52を省略し、日ごとに定められた昼時間、夜時間の設定にしたがい、夜時間の時間帯(1以上)ごとに解像度変換の度合を設定する制御テーブルを保持するようにしてもよい。また、信号レベル検出部52に代えて、照度センサ等を設け、そのセンサ出力に基づいて、撮影環境を判別するようにしてもよい。
解像度変換部54は、カメラインタフェイス51に入力されたカラー画像の画信号に対して、近接する複数の画素の信号値を統合して画素数を削減する解像度変換を行う。
階調色調補正部55は、解像度変換部54から出力されるカラー画像の画信号に対して階調補正および色調補正を行う。階調補正としては、例えば、画像を明るくするゲイン調整が行われる。色調補正としては、例えば、環境光の色合いの影響を抑えるホワイトバランス補正が行われる。
ガンマ補正部56は、階調色調補正部55から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
Y成分生成部57は、ガンマ補正部56から出力される画信号から、Y成分の画信号(輝度信号)を生成する。UV成分生成部58は、ガンマ補正部56から出力される画信号から、U成分およびV成分の画信号(色差信号)を生成する。
平均化縮小部59は、Y成分生成部57およびUV成分生成部58からそれぞれ出力される画信号に対して、所定数の画素の信号値を平均化することにより、カラー画像を所定のサイズに縮小する処理を行う。
次に、解像度変換部54で行われる解像度変換について説明する。図5は、解像度変換の要領を示す説明図である。図6A、図6Bは、解像度変換前後のヒストグラムを示す説明図である。
カラーカメラ11の撮影素子では、図5に示すように、R,B,Gの各色の画素がベイヤーパターンで配列されている。
解像度変換部54では、図5に示すように、同一の色の画素を対象にして、近接する所定数の画素の信号値を加算して、その合計値を、図5に示すように、1つの画素の信号値とする。
図5に示す例では、4×4の合計16個の画素の信号値を加算している。これにより、撮影感度が16倍になる。また、解像度が1/16に低下して、データ量が1/16に削減される。
なお、図5では、Rについて示すが、B,Gについても同様である。
このような解像度変換を行うことにより、図6Aに示すように、解像度変換前では、信号値が暗い範囲に偏っているのに対して、図6Bに示すように、解像度変換後では、信号値が広い範囲に広がった状態になる。
このように本実施形態では、複数の画素の信号値を加算することでカラー画像の画素数を削減する解像度変換が行われる。これにより、街灯や建物の照明などにより、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。特に動体の判別が容易になり、例えば人物の場合には服の色が明瞭に現れ、車両の場合には車体の色を明瞭に現れ、動体の誤認を避けることができる。
ところで、カメラ装置1で生成したカラー画像を、ネットワークを介してサーバ装置2に送信するため、通信負荷を軽減する目的でカラー画像のデータ量を削減することが望まれる。
ここで、JPEGなどの圧縮処理を行うことが考えられるが、夜間のように環境光が十分にない状態で撮影されたカラー画像に対して圧縮処理を行うと、昼間のように環境光が十分にある状態で撮影されたカラー画像で生じなかった圧縮ノイズが顕著に表れ、画質が大幅に低下する。
一方、本実施形態では、解像度変換を行うことで、カラー画像の画素数が減少するため、カラー画像のデータ量を削減することができる。また、解像度変換を行ったカラー画像に対してさらに圧縮処理を行うようにしてもよく、この場合、解像度変換を行わないまま圧縮処理を行った場合に比較して、圧縮ノイズを大幅に低減することができる。
次に、信号処理制御部53で行われる処理について説明する。図7は、信号処理制御部53で設定される処理モードを示す説明図である。図8は、信号処理制御部53で行われる処理の手順を示すフロー図である。
信号処理制御部53では、信号レベル検出部52で取得した信号レベルを複数のしきい値と比較して、その比較結果に基づいて、解像度変換部54で行われる解像度変換の度合を段階的に変更する。
図7に示す例では、信号レベルに基づいて、3つの処理モードに場合分けして、解像度変換の度合として、3つのレベル(最小、中間、最大)が設定される。これにより、各画素の信号値が飽和しないように、適切な解像度変換を行うことができる。
第1の処理モードは、昼間の明るい状態である場合に実施されるものである。この第1の処理モードでは、解像度変換のレベルは最小となり、解像度変換の縮小率を1、すなわち、解像度変換を行わない。
第2の処理モードは、日の入りまたは日の出の時間帯で薄暗い状態である場合に実施されるものである。この第2の処理モードでは、解像度変換のレベルは中間となり、解像度変換の縮小率を1/4とする。すなわち、2×2の合計4個の画素の信号値を加算することで、解像度を1/4とする解像度変換を行う。
第3の処理モードは、夜間の暗い状態である場合に実施されるものである。この第3の処理モードでは、解像度変換のレベルは最大となり、解像度変換の縮小率を1/16とする。すなわち、4×4の合計16個の画素の信号値を加算することで、解像度を1/16とする解像度変換を行う。
また、信号処理制御部53では、解像度変換部54で行われる解像度変換の度合に関係なく最終的に同一サイズのカラー画像が得られるように、解像度変換の度合に応じて、平均化縮小部59で行われる平均化縮小の度合を設定する。
すなわち、第1の処理モードで解像度変換の縮小率が1の場合には、平均化縮小のレベルは最大となり、平均化縮小の縮小率を1/16とする。また、第2の処理モードで解像度変換の縮小率が1/4の場合には、平均化縮小のレベルは中間となり、平均化縮小の縮小率を1/4とする。また、第3の処理モードで解像度変換の縮小率が1/16の場合には、平均化縮小のレベルは最小となり、平均化縮小の縮小率を1とする。すなわち、平均化縮小を行わない。これにより、全ての処理モードで同様に1/16に縮小されたカラー画像が得られる。
具体的には、図8に示すように、信号レベル検出部52で取得した信号レベルLを2つのしきい値a,b(a<b)と比較して、信号レベルLがしきい値a未満であるか否かの判定(ST101)と、信号レベルLがしきい値b未満であるか否かの判定(ST102)と、を行う。これにより、3つの処理モードに場合分けして、解像度変換および平均化縮小のレベルが決定される。
すなわち、信号レベルLがしきい値b以上である場合(ST102でNo)、すなわち、昼間の明るい状態である場合には、第1の処理モードとなり、解像度変換のレベルを最小に設定し(ST103)、平均化縮小のレベルを最大に設定する(ST104)。
また、信号レベルLがしきい値a以上で且つしきい値b未満である場合(ST102でYes)、すなわち、日の入りまたは日の出の時間帯で薄暗い状態である場合には、第2の処理モードとなり、解像度変換のレベルを中間に設定し(ST105)、平均化縮小のレベルを中間に設定する(ST106)。
また、信号レベルLがしきい値a未満である場合(ST101でYes)、すなわち、夜間の暗い状態である場合には、第3の処理モードとなり、解像度変換のレベルを最大に設定し(ST107)、平均化縮小のレベルを最小に設定する(ST108)。
なお、図7および図8に示す例では、信号レベルに応じて3通り(第1~第3の処理モード)に場合分けするようにしたが、2通り、または4通り以上に場合分けするようにしてもよい。また、解像度変換の縮小率を1,1/4、1/16としたが、8×8の合計64個の画素の信号値を加算することで、解像度を1/16とする解像度変換を行うなど、種々の縮小率の解像度変換が可能である。
次に、階調色調補正部55で行われるホワイトバランス補正について説明する。図9は、ホワイトバランス補正の手順を示すフロー図である。
階調色調補正部55では、解像度変換部54から出力されるカラー画像の画信号に対してホワイトバランス補正が行われる。ホワイトバランス補正では、最も明るい(輝度が高い)領域を白色とみなして、色調を補正する。このため、夜間でライト、例えば街灯や車両のヘッドライトが写る画像では、ライトの領域が最も明るくなるため、この領域を白色とみなして色調を補正する。このとき、ライトの光が白色でない場合、画像の色が全体的にずれる色かぶりが発生する。
そこで、本実施形態では、ライトの領域を除外してホワイトバランス補正を行う。
具体的には、まず、信号レベル検出部52で取得した信号レベルが所定のしきい値未満であるか否かを判定する(ST201)。このしきい値は、夜間と昼間とを識別するものとなる。
ここで、信号レベルがしきい値未満である場合(ST201でYes)、すなわち、夜間である場合には、カラー画像内のライトの領域を検出して、そのライトの領域に含まれる画素を集計対象から除外する(ST202)。
次に、集計対象となる各画素の信号値をRGBの色ごとに合計して、各色の合計値(RSUM、GSUM、BSUM)を算出する(ST203)。そして、各色の合計値に基づく各色のゲインを、各色の入力値(Rin、Gin、Bin)に乗算して、各色の出力値(Rout、Gout、Bout)を算出する(ST204)。このとき、Gを基準にした補正が行われる。
一方、信号レベルがしきい値以上である場合(ST201でNo)、すなわち、昼間である場合には、カラー画像内の全ての画素を集計対象として、各色の合計値を算出し(ST203)、各色の出力値を算出する(ST204)。
次に、階調色調補正部55で行われる階調補正について説明する。図10A、図10B、図10C、図10Dは、階調色調補正部55で行われる階調補正の状況を示す説明図である。
階調色調補正部55では、解像度変換部54から出力されるカラー画像の画信号に対してゲインを付加して、カラー画像を明るくする階調補正(ゲイン調整)が行われる。
図10A~図10Dに示す例は、街灯のライトが写る夜間のカラー画像であり、図10Aに示すように、元画像は全体的に暗く被写体が見えにくい。
ここで、元画像の画信号に対して均一に大きなゲインを与えると、図10Bに示すように、画像全体が明るくなり、ライトから離れた領域では被写体が見えやすくなるが、ハレーションが顕著になるため、ライトの近くの領域では被写体が逆に見えにくくなる。
一方、元画像の画信号に対して均一に小さなゲインを与えると、図10Cに示すように、ハレーションは低減するが、画像全体がわずかに明るくなるだけで、被写体が見えにくい状態はあまり改善されない。
そこで、本実施形態では、領域に応じて最適化された階調補正を行う。すなわち、ライトから離れた暗い領域には大きなゲインを与え、ライトの近くの明るい領域では小さいゲインを与える。
これにより、図10Dに示すように、ライトから離れた領域では被写体が見えやすくなり、また、ハレーションが低減するため、ライトの近くの領域でも被写体が見えやすくなる。このように、領域に応じて異なるゲインを与えることで、ハレーションの影響を受けない最適な画像を取得することができる。
次に、位置合わせ情報生成部23、位置合わせ部24および画像合成部25で行われる処理について説明する。図11は、位置合わせ情報生成部23、位置合わせ部24および画像合成部25で行われる処理に係る要部のブロック図である。図12は、位置合わせ情報生成部23、位置合わせ部24および画像合成部25で行われる処理の概要を示す説明図である。
図11に示すように、位置合わせ情報生成部23は、モノクロ信号処理部32から出力されるモノクロ画像と、カラー信号処理部33から出力されるカラー画像とに基づいて、位置合わせ部24で行われる幾何学的変換(位置合わせ)に用いられる変換行列(位置合わせ情報)を生成する(図12参照)。本実施形態では、モノクロ画像とカラー画像との間で画像マッチングを行って、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得し、この特徴点を用いて変換行列を推定する。
この位置合わせ情報生成部23の処理は、運用前のキャリブレーションとして実施され、昼間のように環境光が十分にある状態で、カラーカメラ11およびモノクロカメラ12により同時に撮影されたカラー画像およびモノクロ画像を用いて行われる。
ここで、カラーカメラ11およびモノクロカメラ12を別体の単眼カメラとすると、設置条件に応じて、カラーカメラ11とモノクロカメラ12との相対的な位置関係が変化する。また、カラーカメラ11およびモノクロカメラ12を同一の筐体に収容するなどして、カラーカメラ11およびモノクロカメラ12の位置関係が変化しないように構成しても、設置される場所ごとに撮影条件、例えば、カラーカメラ11およびモノクロカメラ12から動体が出現する位置までの撮影距離などが異なる。このため、運用前のキャリブレーションとして、カメラ装置1ごとに変換行列(位置合わせ情報)を取得する。
また、夜間のように環境光が十分にない状態で撮影されたカラー画像は、暗くて不鮮明で且つノイズが多く、このようなカラー画像では、モノクロ画像との間での画像マッチングを適切に行うことができない。このため、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像を用いて、変換行列を取得する。
なお、可視光で撮影されたカラー画像と、近赤外光で撮影されたモノクロ画像とでは、輝度勾配が異なる場合があるため、位相相関法などの輝度勾配に対してロバストな手法を用いて画像マッチングを行う。
この位置合わせ情報生成部23で生成した変換行列は、キャリブレーションデータとして記憶部16に記憶される。
位置合わせ部24は、運用時に、位置合わせ情報生成部23で取得した変換行列(位置合わせ情報)を用いて、カラー信号処理部33から出力されるカラー画像に対して幾何学的変換、例えば射影変換を実施する(図12参照)。これにより、カラー画像に現れる被写体の像の位置を、モノクロ画像と一致させることができる。
画像合成部25は、位置合わせ部24から出力される位置合わせ済みのカラー画像と、モノクロ信号処理部32から出力されるモノクロ画像を合成して合成画像を生成する(図12参照)。この画像合成では、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けを行う色変換が行われる。なお、この画像合成には、公知の画像合成技術を用いればよい。
次に、キャリブレーションについて説明する。図13は、キャリブレーションの処理手順を示すフロー図である。図14は、画像マッチングの状況を示す説明図である。
なお、このキャリブレーションは、カメラ装置1の設置時に初期設定として行われる。また、振動や強風などの影響で、カラーカメラ11とモノクロカメラ12との相対的な位置関係が変化するため、運用中に定期的に行うようにしてもよい。
図13に示すように、キャリブレーションでは、位置合わせ情報生成部23において、まず、昼間に撮影されたカラー画像およびモノクロ画像を取得する(ST301)。
次に、カラー画像とモノクロ画像との間で画像マッチングを行う(ST302)。この画像マッチングでは、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得する(図14参照)。
次に、取得した特徴点を用いて、幾何学的変換で用いられる変換行列を推定する(ST303)。具体的には、次式のような変換行列Hを求める。なお、ここでは、幾何学的変換として射影変換を行うようにしている。
S:スケール(拡大、縮小)、θ:回転、Tx,Ty:平行移動量
次に、取得した変換行列を用いて、カラー画像に対して幾何学的変換を行う(ST304)。このとき、次式のように、カラー画像の座標(x,y)が座標(x’,y’)に変換される。
次に、取得した変換行列を用いて、カラー画像に対して幾何学的変換を行う(ST304)。このとき、次式のように、カラー画像の座標(x,y)が座標(x’,y’)に変換される。
なお、この式は、運用時の幾何学的変換でも同様に用いられる。
次に、幾何学的変換が行われたカラー画像とモノクロ画像とを比較して、被写体の位置が一致しているか否かを判定する(ST305)。ここで、被写体の位置が一致している場合には(ST305でYes)、取得した変換行列を記憶部16に記憶する。一方、被写体の位置が一致していない場合には(ST305でNo)、別のカラー画像およびモノクロ画像を取得して、前記の処理を繰り返す。
なお、被写体の位置の判定結果に応じて、ユーザの操作入力により、幾何学的変換のパラメータを微調整することができるようにしてもよい。
次に、運用時の処理について説明する。図15は、運用時の処理手順を示すフロー図である。
運用時には、まず、位置合わせ部24において、夜間に撮影されたカラー画像およびモノクロ画像を取得する(ST401)。次に、キャリブレーションで取得した変換行列を用いて、カラー画像に対して幾何学的変換を実施する(ST402)。次に、画像合成部25において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する(ST403)。
(第2実施形態)
次に、第2実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図16A、図16Bは、形状が異なる動体の撮影状況を示す説明図である。
次に、第2実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図16A、図16Bは、形状が異なる動体の撮影状況を示す説明図である。
動体の形状が異なると、カラーカメラ11およびモノクロカメラから動体の面までの距離が変化する。例えば、図16Aに示すように、動体がボンネットのある乗用車である場合と、図16Bに示すように、動体がボンネットのないワンボックスカーである場合とでは、動体が同一の位置にある状態でも、カラーカメラ11およびモノクロカメラ12から動体の面までの距離Lが異なる。
このように動体の形状に応じて、カラーカメラ11およびモノクロカメラから動体の面までの距離Lが変化すると、カラーカメラ11およびモノクロカメラ12間の視差の影響による動体の像のずれ方が変化する。
そこで、本実施形態では、キャリブレーションにおいて、形状が異なる動体の種類ごとに複数の変換行列(位置合わせ情報)を作成しておき、運用時に、動体の種類を判別して、動体の種類に対応する変換行列を用いて、幾何学的変換を実施する。ここで、動体の種類の判別は、高精細なモノクロ画像を用いて行うとよい。
また、動体の種類ごとの変換行列を取得するには、監視エリア、または監視エリアと同一の撮影条件となる適宜な場所に、実際に動体を配置して、その動体をカラーカメラ11およびモノクロカメラで撮影し、得られたカラー画像およびモノクロ画像に基づいて、変換行列を取得すればよい。また、動体の代わりにマーカーを配置するようにしてもよい。
次に、第2実施形態における運用時の処理手順について説明する。図17は、運用時の処理手順を示すフロー図である。
運用時には、まず、位置合わせ部24において、夜間に撮影されたカラー画像およびモノクロ画像を取得する(ST501)。そして、モノクロ画像から動体を検出する(ST502)。
次に、検出された動体の種類を判別して、動体の種類に応じた変換行列を選択する。図17に示す例では、動体の種類A~Fに該当するか否かの判定を順次行い(ST503~ST508)、動体の種類A~Fに応じた変換行列を選択する(ST509~ST514)。いずれにも該当しない場合には、汎用の変換行列を選択する(ST515)。
次に、選択された変換行列を用いて、カラー画像に対して幾何学的変換を実施する(ST516)。次に、画像合成部25において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する(ST517)。
(第3実施形態)
次に、第3実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図18は、第3実施形態に係るカメラ装置1およびサーバ装置2の概略構成を示す説明図である。
次に、第3実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図18は、第3実施形態に係るカメラ装置1およびサーバ装置2の概略構成を示す説明図である。
前記の実施形態では、キャリブレーションにおいて、カラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせ(幾何学的変換)に用いられる位置合わせ情報(変換行列)を生成する処理を、カメラ装置1で行うようにしたが、本実施形態では、位置合わせ情報を生成する処理をサーバ装置2で行うようにしている。
サーバ装置2は、通信部61と、制御部62と、記憶部63と、を備えている。
通信部61は、ネットワークを介してカメラ装置1との間で通信を行う。本実施形態では、キャリブレーションの際に、位置合わせ情報の生成に用いられるカラー画像およびモノクロ画像に関する画像送信要求をカメラ装置1に送信し、画像送信要求に応じてカメラ装置1から送信されるカラー画像およびモノクロ画像を受信する。また、制御部62で生成した位置合わせ情報をカメラ装置1に送信する。また、運用時に、カメラ装置1から定期的に送信される合成画像を受信する。
記憶部63は、通信部61で受信したカラー画像およびモノクロ画像や、制御部62で生成した位置合わせ情報などを記憶する。また、記憶部63は、制御部62で実行されるプログラムを記憶する。
制御部62は、画像送信要求部71と、位置合わせ情報生成部72と、を備えている。この制御部62は、プロセッサで構成され、制御部62の各部は、記憶部63に記憶されたプログラムを実行することで実現される。
画像送信要求部71は、カメラ装置1に対して、昼間のように環境光が十分にある状態でカラー画像およびモノクロ画像を同時に撮影して、そのカラー画像およびモノクロ画像を送信するように指示する画像送信要求を通信部61から送信させる。
位置合わせ情報生成部72は、画像送信要求に応じてカメラ装置1から送信されるカラー画像およびモノクロ画像を通信部61で受信すると、そのカラー画像およびモノクロ画像に基づいて、カメラ装置1の位置合わせ部24で行われる位置合わせ(幾何学的変換)に用いられる位置合わせ情報(変換行列)を生成する。この位置合わせ情報生成部72で生成した位置合わせ情報は通信部61からカメラ装置1に送信される。
カメラ装置1は、サーバ装置2から送信される画像送信要求を受信すると、カラー画像およびモノクロ画像を撮影してサーバ装置2に送信する。また、カメラ装置1は、サーバ装置2から送信される位置合わせ情報を受信すると、受信した位置合わせ情報にしたがって記憶部16の更新処理を行う。
これにより、カメラ装置1で用いられる位置合わせ情報の初期設定および更新を、ユーザが遠隔操作で行うことができる。
なお、本実施形態では、カメラ装置1から送信される画像を蓄積するサーバ装置2で位置合わせ情報を生成するようにしたが、画像を蓄積する装置と、位置合わせ情報を生成する装置と、を別に設けるようにしてもよい。
(第4実施形態)
次に、第4実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図19は、第4実施形態に係るカメラ装置1およびサーバ装置2の概略構成を示す説明図である。
次に、第4実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図19は、第4実施形態に係るカメラ装置1およびサーバ装置2の概略構成を示す説明図である。
前記の実施形態では、カラー画像とモノクロ画像との間での位置合わせや、カラー画像とモノクロ画像との画像合成を、カメラ装置1で行うようにしたが、本実施形態では、位置合わせや画像合成をサーバ装置2で行うようにしてもよい。
すなわち、サーバ装置2の制御部62は、位置合わせ部73と、画像合成部74と、を備えている。位置合わせ部73は、位置合わせ情報生成部72で取得した変換行列(位置合わせ情報)を用いて、カメラ装置1から送信されるカラー画像に対して幾何学的変換を実施する。画像合成部74は、位置合わせ部73から出力される位置合わせ済みのカラー画像と、カメラ装置1から送信されるモノクロ画像を合成して合成画像を生成する。この位置合わせ部73および画像合成部74で行われる処理は、前記の実施形態におけるカメラ装置1の位置合わせ部24および画像合成部25と同様である。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、監視対象となる動体を主に人物とした例について説明したが、監視対象となる動体は人物に限定されるものではなく、動物や車両などでもよい。
また、前記の実施形態では、環境光の明るさを表す信号レベルに基づいて制御を行うようにしたが、季節や時刻に応じた日照時間の変化により、環境光の明るさが規則的に変化するため、時間情報に基づいて制御することも可能である。ただし、環境光の明るさは天気に応じて変化するため、信号レベルに基づいた制御の方が、精度の高い制御を行うことができる。
また、前記の実施形態では、解像度変換などの種々の画像処理(信号処理)をカメラ装置で行うようにしたが、これらの画像処理の全部あるいは一部をサーバ装置で行うようにしてもよい。もっとも、解像度変換や平均化縮小の処理は、画像のデータ量を削減して通信負荷を軽減するものであるため、カメラ装置で行うことが望ましい。
本開示に係る動体監視装置、サーバ装置、および動体監視システムは、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる効果を有し、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムなどとして有用である。
1 カメラ装置(動体監視装置)
2 サーバ装置(画像蓄積装置)
11 カラーカメラ
12 モノクロカメラ
14 通信部
15 制御部
16 記憶部
21 信号処理部
23 位置合わせ情報生成部
24 位置合わせ部
25 画像合成部
53 信号処理制御部
54 解像度変換部
61 通信部
63 記憶部
72 位置合わせ情報生成部
73 位置合わせ部
74 画像合成部
2 サーバ装置(画像蓄積装置)
11 カラーカメラ
12 モノクロカメラ
14 通信部
15 制御部
16 記憶部
21 信号処理部
23 位置合わせ情報生成部
24 位置合わせ部
25 画像合成部
53 信号処理制御部
54 解像度変換部
61 通信部
63 記憶部
72 位置合わせ情報生成部
73 位置合わせ部
74 画像合成部
Claims (7)
- 監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えたことを特徴とする動体監視装置。 - 前記記憶部は、形状が異なる動体の種類別に複数の前記位置合わせ情報を記憶し、
前記位置合わせ部は、前記モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた前記位置合わせ情報に基づいて、位置合わせを行うことを特徴とする請求項1に記載の動体監視装置。 - さらに、前記位置合わせ情報を生成する位置合わせ情報生成部を備え、
前記記憶部は、前記位置合わせ情報生成部で生成した前記位置合わせ情報を、前記信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶することを特徴とする請求項1または請求項2のいずれかに記載の動体監視装置。 - 前記信号処理部は、
前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有することを特徴とする請求項1から請求項3のいずれかに記載の動体監視装置。 - 動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、
前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、
環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えたことを特徴とするサーバ装置。 - 動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、
前記動体監視装置は、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、を備えたことを特徴とする動体監視システム。 - 前記サーバ装置は、
前記位置合わせ情報を生成する位置合わせ情報生成部と、
前記位置合わせ情報を前記動体監視装置に送信する通信部と、を備え、
前記動体監視装置は、前記サーバ装置から受信した前記位置合わせ情報にしたがって前記記憶部の更新処理を行うことを特徴とする請求項6に記載の動体監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/486,353 US10825158B2 (en) | 2017-02-28 | 2018-01-17 | Moving object monitoring device, server device, and moving object monitoring system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-036882 | 2017-02-28 | ||
JP2017036882A JP6341396B1 (ja) | 2017-02-28 | 2017-02-28 | 動体監視装置、サーバ装置、および動体監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018159121A1 true WO2018159121A1 (ja) | 2018-09-07 |
Family
ID=62555853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/001107 WO2018159121A1 (ja) | 2017-02-28 | 2018-01-17 | 動体監視装置、サーバ装置、および動体監視システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10825158B2 (ja) |
JP (1) | JP6341396B1 (ja) |
WO (1) | WO2018159121A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3785226A1 (en) * | 2018-04-26 | 2021-03-03 | Telefonaktiebolaget LM Ericsson (publ) | Object tracking and detection in augmented reality applications |
WO2019225681A1 (ja) * | 2018-05-23 | 2019-11-28 | パナソニックIpマネジメント株式会社 | 校正装置および校正方法 |
US10816979B2 (en) * | 2018-08-24 | 2020-10-27 | Baidu Usa Llc | Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras |
JP7412920B2 (ja) * | 2019-08-08 | 2024-01-15 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US11508077B2 (en) * | 2020-05-18 | 2022-11-22 | Samsung Electronics Co., Ltd. | Method and apparatus with moving object detection |
US11620759B2 (en) * | 2020-07-24 | 2023-04-04 | Apple Inc. | Systems and methods for machine learning enhanced image registration |
CN114257707A (zh) * | 2020-09-21 | 2022-03-29 | 安霸国际有限合伙企业 | 具有彩色夜间模式的智能ip摄像头 |
US11436708B1 (en) * | 2021-08-19 | 2022-09-06 | Unity Technologies Sf | Removing moving objects from a video scene captured by a moving camera |
JP2023106862A (ja) | 2022-01-21 | 2023-08-02 | 株式会社リコー | 撮像装置、撮像方法、プログラム、および撮像システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286577A (ja) * | 2004-03-29 | 2005-10-13 | Fuji Photo Film Co Ltd | 撮像装置、表示方法、および車両 |
JP2008233398A (ja) * | 2007-03-19 | 2008-10-02 | Honda Motor Co Ltd | 表示装置 |
JP2013247492A (ja) * | 2012-05-25 | 2013-12-09 | Konica Minolta Inc | 物体検出装置 |
JP2015103906A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像処理装置、撮像システム、画像処理方法およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7834905B2 (en) * | 2002-06-18 | 2010-11-16 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image |
JP2005167497A (ja) | 2003-12-01 | 2005-06-23 | Canon Inc | 撮像装置、良質画像獲得方法、及びプログラム |
JP4872829B2 (ja) | 2007-06-28 | 2012-02-08 | ソニー株式会社 | 撮像装置 |
JP2012008924A (ja) | 2010-06-28 | 2012-01-12 | Mitsubishi Electric Corp | ナンバー読取装置 |
US20140071245A1 (en) * | 2012-09-10 | 2014-03-13 | Nvidia Corporation | System and method for enhanced stereo imaging |
JP6015946B2 (ja) | 2013-03-29 | 2016-10-26 | マツダ株式会社 | 車両用撮像装置 |
US9443335B2 (en) * | 2013-09-18 | 2016-09-13 | Blackberry Limited | Using narrow field of view monochrome camera for producing a zoomed image |
US9245196B2 (en) * | 2014-05-09 | 2016-01-26 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor |
-
2017
- 2017-02-28 JP JP2017036882A patent/JP6341396B1/ja active Active
-
2018
- 2018-01-17 WO PCT/JP2018/001107 patent/WO2018159121A1/ja active Application Filing
- 2018-01-17 US US16/486,353 patent/US10825158B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286577A (ja) * | 2004-03-29 | 2005-10-13 | Fuji Photo Film Co Ltd | 撮像装置、表示方法、および車両 |
JP2008233398A (ja) * | 2007-03-19 | 2008-10-02 | Honda Motor Co Ltd | 表示装置 |
JP2013247492A (ja) * | 2012-05-25 | 2013-12-09 | Konica Minolta Inc | 物体検出装置 |
JP2015103906A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像処理装置、撮像システム、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190385291A1 (en) | 2019-12-19 |
JP6341396B1 (ja) | 2018-06-13 |
JP2018142895A (ja) | 2018-09-13 |
US10825158B2 (en) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6341396B1 (ja) | 動体監視装置、サーバ装置、および動体監視システム | |
CN108419023B (zh) | 一种生成高动态范围图像的方法以及相关设备 | |
US8994845B2 (en) | System and method of adjusting a camera based on image data | |
US10325354B2 (en) | Depth assisted auto white balance | |
JP4543514B2 (ja) | 電子カメラ | |
JP5253000B2 (ja) | 撮像装置 | |
US7394488B2 (en) | System and method for dual white balance compensation of images | |
CN105208281A (zh) | 一种夜景拍摄方法及装置 | |
JP2016019080A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US10469723B2 (en) | Photography lighting control | |
JP5804857B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6381404B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2012235377A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20190116307A1 (en) | Photography Environment Control | |
CN103369252A (zh) | 图像处理装置、图像处理装置的控制方法及图像拍摄装置 | |
JP6583839B2 (ja) | 動体監視装置、サーバ装置、および動体監視システム | |
WO2018146945A1 (ja) | 動体監視装置および動体監視システム | |
JP2020102666A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2003333616A (ja) | ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体 | |
EP2658245B1 (en) | System and method of adjusting camera image data | |
JP5854716B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2018105097A1 (ja) | 画像合成装置、画像合成方法、及び画像合成プログラム | |
JP2018157444A (ja) | 画像表示装置、画像表示装置の画像調整方法、及び画像調整プログラム | |
JP2010250140A (ja) | 映像信号処理装置及び映像信号処理プログラム | |
WO2022032666A1 (zh) | 处理图像的方法和相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18761743 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18761743 Country of ref document: EP Kind code of ref document: A1 |