WO2022270874A1 - 다중 광도 및 다중 대역 영상 획득 장치 및 방법 - Google Patents

다중 광도 및 다중 대역 영상 획득 장치 및 방법 Download PDF

Info

Publication number
WO2022270874A1
WO2022270874A1 PCT/KR2022/008801 KR2022008801W WO2022270874A1 WO 2022270874 A1 WO2022270874 A1 WO 2022270874A1 KR 2022008801 W KR2022008801 W KR 2022008801W WO 2022270874 A1 WO2022270874 A1 WO 2022270874A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
infrared
visible light
unit
mirror filter
Prior art date
Application number
PCT/KR2022/008801
Other languages
English (en)
French (fr)
Inventor
이성학
전선곤
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2022270874A1 publication Critical patent/WO2022270874A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present invention relates to a multi-intensity and multi-band image acquisition apparatus, and more particularly, to a multi-intensity and multi-band image acquisition apparatus and method capable of simultaneously capturing and synthesizing multi-intensity and multi-band images using a plurality of wideband cameras It is about.
  • the shooting conditions of video cameras for object identification used in vehicles, robots, drones, etc. as well as surveillance cameras are daylight conditions from bright daytime to dark night, dark indoors, tunnels, underground, night lights, vehicle headlights, light Various and unpredictable, such as an indoor environment without this at all.
  • the dynamic range of a luminance input of a commonly used camera sensor is about 60 dB, and the dynamic range of human vision reaches 140 dB. Accordingly, shutter speed, aperture value, ISO sensitivity, etc. are adjusted in order to bring an object to be identified within the processing range within the limited dynamic range of the camera sensor.
  • the image sensor internally adjusts AE (auto exposure) to find an optimal exposure value for only an average luminance situation.
  • a general camera blocks an infrared signal by using a hot mirror filter to capture a visible light image.
  • Incoming infrared light distorts color information, and in particular, since the amount of light is strong during the daytime, the infrared light can easily saturate an image.
  • an infrared image includes detailed information that is not expressed in a visible light image, the visibility of the image can be improved by an information fusion method.
  • a clear result can be obtained from an infrared image because infrared rays have a stronger permeability to particles than visible rays. Therefore, in a daytime wide bandwidth environment, it is necessary to acquire a wide band image through multi-band imaging and synthesis of visible light and infrared light.
  • IR LED lights that do not have a visual effect for security or crime prevention.
  • the infrared emission amount of the lamp is fixed, in the case of photographing a nearby subject, an infrared image becomes too bright and object recognition is almost impossible.
  • the LED output is increased to lengthen the light reach for shooting a distant subject, the IR light saturation of a nearby subject becomes relatively high.
  • the camera sensor is exposed to too much light, and the image temporarily turns white, so that information (vehicle number) on the subject is not identified. There are always problems with image quality due to low illumination environment, excessive or insufficient amount of IR light at night, and improper exposure time.
  • infrared ray multi-image capture and synthesis are required to capture a subject in a wide spatial range, but also multi-band image capture and synthesis of visible light and infrared light are required to identify the color of the subject.
  • multi-luminance and multi-band images can be simultaneously taken so that clear images can be taken in an environment of wide light intensity and wide band range during the daytime and image capture with subject identification and color identification in a wide spatial range at night time can be performed.
  • a multi-luminance and multi-band image acquisition device capable of performing and synthesizing.
  • Patent Document 1 Republic of Korea Patent Registration No. 10-0983346 (2010.09.20)
  • a technical problem to be achieved by an embodiment of the present invention is to perform multiplexing to perform clear image capture in a wide light intensity and wide band range environment during the daytime and image capture capable of subject identification and color discrimination in a wide spatial range at night time. It is intended to provide a multi-luminance and multi-band image acquisition apparatus and method capable of simultaneously capturing and synthesizing luminance and multi-band images.
  • the present invention can acquire high-exposure and low-exposure visible light images and infrared images from three broadband cameras without a time difference between shooting frames and a viewing angle difference between multiple images, and in a night shooting mode, three An apparatus and method for acquiring multi-luminance and multi-band images capable of acquiring high-exposure and low-exposure infrared images and visible light images from a broadband camera without a time difference between shooting frames and a viewing angle difference between multiple images are provided.
  • a multi-luminance and multi-band image acquisition apparatus includes a mirror filter for separating visible light or infrared light from incident light, and the visible light or infrared light separated from the mirror filter.
  • An optical filter unit including a beam splitter that splits the amount of light at a predetermined ratio, a first camera unit that obtains a broadband image from the light reflected by the mirror filter, and a first camera unit that obtains the broadband image from the light transmitted by the beam splitter.
  • a camera unit for obtaining the broadband image from the light reflected by the beam splitter, a lighting unit for emitting infrared rays, and determining a light level based on the visible light and infrared illuminance of a photographing environment to determine the determined light level It may include an operation mode setting unit for controlling the lighting unit to emit infrared rays corresponding to .
  • the reflection surface of the mirror filter and the reflection surface of the beam splitter are 45 degrees with respect to the optical path of the incident light, and the reflection surface of the mirror filter is half of the mirror filter.
  • the mirror filter and the beam splitter may be arranged such that an angle between the inclined surface and the reflective surface of the beam splitter is 90 degrees.
  • the beam splitter of the optical filter unit sets the reflected and transmitted light amounts of the visible light separated from the mirror filter to 1:n or n:1 (n ⁇ 1). It can be separated by a ratio or the amount of reflected and transmitted infrared rays can be separated by a ratio of 1:n or n:1 (n ⁇ 1).
  • the optical filter unit includes a hot mirror filter that transmits visible light from the incident light and reflects infrared light, and the visible light transmitted from the hot mirror filter. It may include a beam splitter (beamsplitter) that separates the amount of light at a predetermined ratio.
  • a beam splitter beamsplitter
  • the hot mirror filter reflects the infrared rays from the incident light to enter the first camera unit
  • the beam splitter reflects the infrared rays transmitted from the hot mirror filter.
  • a first amount of light among the total amount of visible light may be transmitted and incident to the second camera unit, and a second amount of light smaller than the first amount of light among the total amount of visible light may be reflected and incident to the third camera unit.
  • the optical filter unit includes a cold mirror filter that transmits infrared rays from the incident light and reflects visible light, and the infrared rays transmitted from the cold mirror filter. It may include a beam splitter (beamsplitter) that separates the amount of light at a predetermined ratio.
  • a beam splitter beamsplitter
  • the cold mirror filter reflects the visible light from the incident light to enter the first camera unit
  • the beam splitter includes the reflected light transmitted from the cold mirror filter.
  • a first amount of light among the total amount of infrared rays may be transmitted and incident to the second camera unit, and a second amount of light smaller than the first amount of light among the total amount of infrared rays may be reflected and incident to the third camera unit.
  • the optical filter unit includes a hot mirror filter that transmits visible light from the incident light and reflects infrared light, a cold mirror filter that transmits infrared light from the incident light and reflects visible light, A beam splitter may be included to separate the amount of visible light transmitted from the hot mirror filter at a predetermined ratio or to separate the amount of infrared light transmitted from the cold mirror filter at a predetermined ratio.
  • the optical filter unit is disposed so that the hot mirror filter and the cold mirror filter are adjacently connected to upper and lower portions, and the hot mirror filter is disposed by a control signal of the operation mode setting unit.
  • the mirror filter or the cold mirror filter may be linearly moved up and down to be positioned on an optical path of the incident light.
  • the hot mirror filter reflects the infrared light from the incident light to enter the first camera unit, and the cold mirror filter reflects the visible light from the incident light.
  • the beam splitter transmits a first amount of light among the total amount of light of the visible light to be incident to the second camera unit, and transmits the first amount of light among the total amount of light of the visible light.
  • a second amount of light less than one light amount is reflected and incident to the third camera unit, and when infrared rays are transmitted through the cold mirror filter, a first amount of light among the total amount of infrared rays is transmitted and incident to the second camera unit, and the infrared rays Of the total amount of light, a second amount of light smaller than the first amount of light may be reflected and incident to the third camera unit.
  • a visible light illuminance meter for sensing visible light intensity of the photographing environment and an infrared illuminance meter for sensing infrared light intensity of the photographing environment may be further included.
  • the operation mode setting unit determines the light level based on the visible light illuminance sensed from the visible light illuminance meter and the infrared illuminance sensed from the infrared illuminance meter, and the determined light level.
  • the lighting unit may be controlled so that infrared rays corresponding to radiate.
  • the operation mode setting unit determines the light level based on the visible light and infrared illuminance of the photographing environment and adjusts the light level of the lighting unit; and A movement control unit controlling movement of the optical filter unit in a day operation mode or a night operation mode based on the visible light intensity of the photographing environment may be included.
  • an image storage unit for storing the multi-intensity and multi-band images acquired from the first, second, and third camera units, and the obtained multi-intensity and multi-band images It may further include a high dynamic range (HDR) image generation unit that synthesizes band images.
  • HDR high dynamic range
  • the multi-luminance and multi-band image acquisition method includes an optical filter unit including a hot mirror filter or a cold mirror filter, an illuminance meter, an operation mode setting unit, a lighting unit, a camera unit, and HDR image generation.
  • a multi-luminance and multi-band image acquisition method of a multi-luminance and multi-band image acquisition device comprising a unit, wherein the illuminometer acquires visible light and infrared illuminance of a photographing environment
  • the operation mode setting unit comprises: Determining a light level based on the illuminance of visible light and infrared light, emitting, by the lighting unit, infrared light based on the determined light level, separating the visible light or infrared light from the incident light by the optical filter unit, and separating the visible light or infrared light from the incident light.
  • the HDR image generator may generate an HDR image by synthesizing the obtained visible light multiple exposure images and an infrared image or by synthesizing the infrared multiple exposure images and a visible light image.
  • a multi-luminance and multi-band image acquisition method includes an optical filter unit including both a hot mirror filter and a cold mirror filter, an illuminance meter, an operation mode setting unit, a lighting unit, a camera unit, and an HDR image.
  • a multi-luminance and multi-band image acquisition method of a multi-luminance and multi-band image acquisition device including a generation unit, wherein the illuminance meter acquires visible light and infrared luminance of a photographing environment
  • the operation mode setting unit comprises: the obtained photographing environment determining light levels based on visible and infrared illuminances and controlling an operation mode of the optical filter unit, moving the hot mirror filter to be positioned on an optical path of incident light when the optical filter unit is in a daytime operation mode; In the night operation mode, moving the cold mirror filter to be located on an optical path of the incident light, emitting infrared rays based on the determined light level by the lighting unit, and emitting visible light or infrared rays from the incident light by the optical filter unit.
  • the camera unit Separating the separated visible light or infrared light quantity at a predetermined ratio, wherein the camera unit acquires visible light multiple exposure images and infrared images from the light separated from the optical filter unit, or obtains infrared multiple exposure images and infrared light multiple exposure images.
  • Acquiring a visible light image and generating, by the HDR image generator, an HDR image by synthesizing the obtained visible light multiple exposure images and an infrared image or synthesizing the infrared multiple exposure images and a visible light image.
  • the present invention simultaneously captures multi-luminance and multi-band images so that clear images can be captured in a daytime environment with a wide luminous intensity and a wide band range, and images capable of subject identification and color identification in a wide spatial range at night. and can be synthesized.
  • the present invention can acquire high-exposure and low-exposure visible light images and infrared images from three broadband cameras without a time difference between shooting frames and a viewing angle difference between multiple images, and in a night shooting mode, three It is possible to acquire high- and low-exposure infrared images and visible light images from a broadband camera without a time difference between shooting frames and a viewing angle difference between multiple images.
  • FIG. 1 is a diagram for explaining a multi-luminance and multi-band image acquisition apparatus according to the present invention.
  • FIG. 2 is a diagram for explaining an optical filter unit according to a first embodiment of the present invention.
  • FIG. 3 is a diagram for explaining an optical filter unit according to a second embodiment of the present invention.
  • FIG. 4 is a diagram for explaining an optical filter unit according to a third embodiment of the present invention.
  • FIG. 5 is a diagram for explaining the hot mirror filter of the optical filter unit.
  • FIG. 6 is a diagram for explaining the cold mirror filter of the optical filter unit.
  • FIG. 7 is a diagram for explaining a beam splitter of an optical filter unit.
  • FIG. 1 is a diagram for explaining a multi-luminance and multi-band image acquisition apparatus according to the present invention.
  • the multi-luminance and multi-band image acquisition apparatus of the present invention includes mirror filters 310 and 320 separating visible light or infrared light from incident light, and visible light or visible light separated from the mirror filters 310 and 320.
  • An optical filter unit 300 including a beam splitter 330 that separates the amount of infrared light at a predetermined ratio, a first camera unit 110 that obtains a broadband image from the light reflected by the mirror filters 310 and 320, and a beam
  • the second camera unit 120 acquires a broadband image from the light transmitted by the splitter 330, the third camera unit 130 obtains a broadband image from the light reflected by the beam splitter 330, and a lighting unit emits infrared rays. 200, and an operation mode setting unit 400 that controls the lighting unit 200 to emit infrared rays corresponding to the determined light level by determining a light level based on the visible and infrared illuminance of the photographing environment.
  • the present invention may further include a visible light illuminance meter 510 that senses the visible light illuminance of the photographing environment and an infrared illuminance meter 520 that senses the infrared illuminance of the photographing environment.
  • the present invention provides an image storage unit 600 for storing multi-intensity and multi-band images obtained from the first, second, and third camera units 110, 120, and 130, and the obtained multi-intensity and multi-band images.
  • a High Dynamic Range (HDR) image generating unit 700 that synthesizes images may be further included.
  • the optical filter unit 300 of the present invention includes the mirror filters 310 and 320 and the beam so that the reflective surfaces of the mirror filters 310 and 320 and the reflective surfaces of the beam splitter 330 are at an angle of about 45 degrees to the optical path of the incident light.
  • a splitter 330 may be disposed.
  • the optical filter unit 300 includes the mirror filters 310 and 320 and the beam splitter 330 so that the angle between the reflective surface of the mirror filters 310 and 320 and the reflective surface of the beam splitter 330 is about 90 degrees. can be placed.
  • the beam splitter 330 of the optical filter unit 300 may include at least one of a plate type and a cube type, but is not limited thereto.
  • the beam splitter 330 of the optical filter unit 300 separates the reflected and transmitted light amounts of visible light separated from the mirror filters 310 and 320 at a ratio of 1:n or n:1 (n ⁇ 1), or Alternatively, the amount of reflected and transmitted infrared rays may be separated at a ratio of 1:n or n:1 (n ⁇ 1).
  • the beam splitter 330 of the optical filter unit 300 separates the amount of reflected and transmitted light of visible light separated from the mirror filters 310 and 320 at a ratio of 2:8 or 8:2 or reflects infrared light. and the amount of transmitted light may be separated at a ratio of 2:8 or 8:2.
  • the optical filter unit 300 includes a hot mirror filter 310 that transmits visible light from incident light and reflects infrared light, and the amount of visible light transmitted from the hot mirror filter 310. It may include a beam splitter (beamsplitter) 330 for splitting at a predetermined ratio.
  • a beam splitter beamsplitter
  • the hot mirror filter 310 reflects infrared light from the incident light and makes it incident to the first camera unit 110
  • the beam splitter 330 reflects the first amount of visible light transmitted from the hot mirror filter 310.
  • the amount of light may be transmitted and incident to the second camera unit 120 , and a second amount of light smaller than the first amount of visible light may be reflected and incident to the third camera unit 130 .
  • the beam splitter 330 transmits 80% of the total amount of visible light transmitted from the hot mirror filter 310 to enter the second camera unit 120, and transmits 20% of the total amount of visible light. It can be reflected and made incident to the third camera unit 130 .
  • the optical filter unit 300 includes a cold mirror filter 320 that transmits infrared rays from incident light and reflects visible light, and transmits infrared rays transmitted from the cold mirror filter 320. It may include a beam splitter (beamsplitter) 330 that separates the amount of light at a predetermined ratio.
  • a beam splitter beamsplitter
  • the cold mirror filter 320 reflects visible light from incident light and makes it incident to the first camera unit 110
  • the beam splitter 330 reflects the first amount of infrared light transmitted from the cold mirror filter 320.
  • the amount of light may be transmitted and incident to the second camera unit 120, and a second amount of light smaller than the first amount of infrared light may be reflected and incident to the third camera unit 130.
  • the beam splitter 330 transmits 80% of the total amount of infrared light transmitted from the cold mirror filter 320 to enter the second camera unit 120, and transmits 20% of the total amount of infrared light. It can be reflected and made incident to the third camera unit 130 .
  • the optical filter unit 300 includes a hot mirror filter 310 that transmits visible light from incident light and reflects infrared light, a cold mirror filter 320 that transmits infrared light from incident light and reflects visible light,
  • a beam splitter 330 may be included to separate the amount of visible light transmitted from the hot mirror filter 310 at a predetermined ratio or to separate the amount of infrared light transmitted from the cold mirror filter 320 at a predetermined ratio.
  • the optical filter unit 300 is arranged such that the hot mirror filter 310 and the cold mirror filter 320 are adjacently connected to the upper and lower portions, and the hot mirror filter 310 is controlled by a control signal from the operation mode setting unit 400. ) or the cold mirror filter 320 may be linearly moved up and down to be located on the optical path of the incident light.
  • the optical filter unit 300 is disposed so that the hot mirror filter 310 and the cold mirror filter 320 are adjacently connected to left and right sides, and the hot mirror filter is controlled by a control signal from the operation mode setting unit 400. 310 or the cold mirror filter 320 may be linearly moved left and right to be located on the optical path of the incident light.
  • the hot mirror filter 310 reflects infrared light from the incident light and makes it incident to the first camera unit 110
  • the cold mirror filter 320 reflects the visible light from the incident light and makes it incident to the first camera unit 110.
  • the beam splitter 330 transmits a first amount of light out of the total amount of visible light and enters the second camera unit 120, and transmits the first amount of light out of the total amount of visible light.
  • a smaller amount of second light is reflected and incident to the third camera unit 130, and when infrared rays are transmitted from the cold mirror filter 320, the first amount of light out of the total amount of infrared rays is transmitted to the second camera unit 120.
  • a second amount of light smaller than the first amount of light among the total amount of infrared light may be reflected and incident to the third camera unit 130 .
  • the beam splitter 330 transmits 80% of the total amount of visible light to the second camera unit 120, and transmits 20% of the total amount of visible light to the second camera unit 120.
  • the amount of light is reflected and incident to the third camera unit 130, and when infrared rays are transmitted from the cold mirror filter 320, 80% of the total amount of infrared rays is transmitted and incident to the second camera unit 120, and the infrared rays 20% of the total amount of light may be reflected and incident to the third camera unit 130 .
  • the operation mode setting unit 400 determines a light level based on the visible light illuminance sensed from the visible light illuminance meter 510 and the infrared illuminance sensed from the infrared illuminance meter 520 so that infrared rays corresponding to the determined light level are emitted.
  • the lighting unit 200 may be controlled.
  • the operation mode setting unit 400 controls the lighting unit 200 to emit infrared light having a lower light level than the reference light level or to be turned off during the day when both the visible light intensity and the infrared light intensity are strong, and , In the case of night or indoor conditions with only visible light components, the lighting unit 200 may be controlled to emit infrared rays having a higher light level than the reference light level.
  • the operation mode setting unit 400 may determine a day operation mode or a night operation mode based on the visible light intensity sensed by the visible light illuminance meter 510 and control the optical filter unit 300 in the determined operation mode.
  • the operation mode setting unit 400 includes a light level adjusting unit 420 that adjusts the light level of the lighting unit 200 by determining the light level based on the visible and infrared illuminance of the photographing environment, and the visible light illuminance of the photographing environment. Based on this, a movement control unit 410 controlling movement of the optical filter unit 300 in a daytime operation mode or a nighttime operation mode may be included.
  • the optical filter unit 300 if a hot mirror filter 310 that transmits visible light and reflects infrared light from incident light and a cold mirror filter 320 that transmits infrared light and reflects visible light from incident light are adjacently connected,
  • the movement control unit 410 moves the optical filter unit 300 to position the hot mirror filter 310 on the optical path of incident light in the day operation mode based on the visible light intensity of the photographing environment, and adjusts the visible light intensity of the photographing environment. Based on this, in the night operation mode, the optical filter unit 300 may be moved so that the cold mirror filter 320 is located on the optical path of incident light.
  • the movement control unit 410 controls the movement of the optical filter unit 300 according to a mode change switch that switches to a day operation mode or a night operation mode based on the visible light intensity of a photographing environment and a switching signal of the mode change switch. It may include a motor that does.
  • the image storage unit 600 stores the visible light multiple exposure images and infrared images captured in the daytime operation mode as a first group, and stores the infrared multiple exposure images and visible light images captured in the nighttime operation mode as a second group. can be saved as
  • the HDR image generation unit 700 generates an HDR image by synthesizing the visible light multiple exposure images captured in the day operation mode and the infrared image, and synthesizes the infrared multiple exposure images captured in the night operation mode and the visible light image. Thus, HDR images can be generated.
  • the present invention is a multi-luminance and multi-band image to perform clear image capture in a wide luminous intensity and wide band range environment during the daytime and image capture capable of subject identification and color discrimination in a wide spatial range at night time. can be simultaneously filmed and composited.
  • the present invention can acquire high-exposure and low-exposure visible light images and infrared images from three broadband cameras without a time difference between shooting frames and a viewing angle difference between multiple images, and in a night shooting mode, three It is possible to acquire high- and low-exposure infrared images and visible light images from a broadband camera without a time difference between shooting frames and a viewing angle difference between multiple images.
  • the present invention may suggest a composite HDR image capture and synthesis technique for simultaneously capturing multi-intensity and multi-band images using three wideband cameras.
  • the present invention is a method for taking a composite multiplexed image without frame rate reduction and parallax using three broadband cameras capable of covering visible to near-infrared bands and a cross-type beam splitting filter can present
  • FIG. 2 is a diagram for explaining an optical filter unit according to a first embodiment of the present invention.
  • the optical filter unit of the first embodiment of the present invention includes a hot mirror filter 310 that transmits visible light from incident light and reflects infrared light, and the transmitted light from the hot mirror filter 310.
  • a beam splitter 330 may be included to separate the amount of visible light at a predetermined ratio.
  • the hot mirror filter 310 reflects infrared light from the incident light and makes it incident to the first camera unit 110
  • the beam splitter 330 reflects the first amount of visible light transmitted from the hot mirror filter 310.
  • the amount of light may be transmitted and incident to the second camera unit 120 , and a second amount of light smaller than the first amount of visible light may be reflected and incident to the third camera unit 130 .
  • the beam splitter 330 transmits 80% of the total amount of visible light transmitted from the hot mirror filter 310 to enter the second camera unit 120, and transmits 20% of the total amount of visible light. It can be reflected and made incident to the third camera unit 130 .
  • the optical filter unit may be arranged such that the reflective surface of the hot mirror filter 310 and the reflective surface of the beam splitter 330 are at an angle of about 45 degrees to the optical path of the incident light, and the reflective surface of the hot mirror filter 310 and The angle between the reflective surfaces of the beam splitter 330 may be about 90 degrees.
  • the beam splitter 330 may include at least one of a plate type and a cube type, but is not limited thereto.
  • the beam splitter 330 separates the reflected and transmitted light amounts of visible light separated from the hot mirror filter 310 at a ratio of 1:n or n:1 (n ⁇ 1), or separates the reflected and transmitted light amounts of infrared rays. It can be separated at a ratio of 1:n or n:1 (n ⁇ 1).
  • the beam splitter 330 separates the reflected and transmitted light amounts of visible light separated from the hot mirror filter 310 at a ratio of 2:8 or 8:2, or the reflected and transmitted light amounts of infrared rays at a ratio of 2:8 or It can be separated in a ratio of 8:2.
  • a hot mirror filter having a reflection function for near-infrared light (approximately 800 nm to 1500 nm band) and a beam splitter used to separate visible light into two beams according to a specified ratio are 90 It may also have a structure connected at an angle.
  • the reflection / transmission (R / T) ratio for visible light may have 1: n or n: 1 (n ⁇ 1), and the two filters operate for different broadbands, respectively, Optical interference can be minimized.
  • the beam splitter filter maintains an angle of 45 degrees with respect to the direction of the incident light so that the reflected light is bent in the direction of 90 degrees with respect to the optical path.
  • three broadband cameras (approximately 380 nm to 1500 nm band) are located on three sides in the direction of the incident optical path and the left and right 90 degree directions. It is reflected and transmitted at a ratio of 2:8 by the splitter, and the rear and right side cameras can be exposed to 80% and 20% of incident visible light, respectively.
  • the camera's exposure meter (aperture, shutter time, ISO, etc.) may be additionally manipulated to increase the exposure difference.
  • Infrared components are reflected by the hot mirror filter and 100% exposed to the left side camera, and high-exposure and low-exposure visible light images and infrared images can be acquired from the three broadband cameras without time differences between shooting frames and viewing angle differences between multiple images. there is.
  • FIG. 3 is a diagram for explaining an optical filter unit according to a second embodiment of the present invention.
  • the optical filter unit of the second embodiment of the present invention includes a cold mirror filter 320 that transmits infrared rays from incident light and reflects visible light, and the transmitted light from the cold mirror filter 320. It may include a beam splitter (beamsplitter) 330 for splitting the amount of infrared light at a predetermined ratio.
  • a beam splitter beamsplitter
  • the cold mirror filter 320 reflects visible light from incident light and makes it incident to the first camera unit 110
  • the beam splitter 330 reflects the first amount of infrared light transmitted from the cold mirror filter 320.
  • the amount of light may be transmitted and incident to the second camera unit 120, and a second amount of light smaller than the first amount of infrared light may be reflected and incident to the third camera unit 130.
  • the beam splitter 330 transmits 80% of the total amount of infrared light transmitted from the cold mirror filter 320 to enter the second camera unit 120, and transmits 20% of the total amount of infrared light. It can be reflected and made incident to the third camera unit 130 .
  • the optical filter unit may be arranged so that the reflective surface of the cold mirror filter 320 and the reflective surface of the beam splitter 330 are at an angle of about 45 degrees to the optical path of the incident light, and the reflective surface of the cold mirror filter 320 and The angle between the reflective surfaces of the beam splitter 330 may be about 90 degrees.
  • the beam splitter 330 may include at least one of a plate type and a cube type, but is not limited thereto.
  • the beam splitter 330 separates the amount of reflected and transmitted light of visible light separated from the cold mirror filter 320 at a ratio of 1:n or n:1 (n ⁇ 1), or the amount of reflected and transmitted infrared light It can be separated at a ratio of 1:n or n:1 (n ⁇ 1).
  • the beam splitter 330 separates the amount of reflected and transmitted light of visible light separated from the cold mirror filter 320 at a ratio of 2:8 or 8:2, or the amount of reflected and transmitted infrared light at a ratio of 2:8 or It can be separated in a ratio of 8:2.
  • a cold mirror filter having a reflection function for visible light approximately 400 nm to 800 nm band
  • a beam splitter used to split the near-infrared light into two beams according to a specified ratio are 90 It may also have a structure connected at an angle.
  • the reflection / transmission (R / T) ratio for near-infrared light may have 1: n or n: 1 (n ⁇ 1), and the two filters, respectively, for different broadbands operation and light interference can be minimized.
  • the beam splitter filter maintains an angle of 45 degrees to the direction of the incident light, so that the reflected light is bent in the direction of 90 degrees with respect to the optical path, and the three broadband cameras (approximately 380 nm to 1500 nm) can be placed on the surface.
  • the near-infrared ray component is reflected and transmitted at a ratio of 2:8 by the near-infrared light R/T beam splitter, and the rear and right side cameras are 80% and 20% of the incident visible light, respectively. % may be exposed.
  • the camera's exposure meter (aperture, shutter time, ISO, etc.) may be additionally manipulated to increase the exposure difference.
  • the visible light component is reflected by the cold mirror filter and 100% exposed to the left side camera.
  • High and low exposure infrared images and visible light images can be acquired from the three broadband cameras without time differences between shooting frames and viewing angle differences between multiple images. there is.
  • FIG. 4 is a diagram for explaining an optical filter unit according to a third embodiment of the present invention.
  • the optical filter unit 300 includes a hot mirror filter 310 that transmits visible light from incident light and reflects infrared light, and a cold mirror filter that transmits infrared light from incident light and reflects visible light.
  • a mirror filter 320 and a beam splitter 330 that separates the amount of visible light transmitted from the hot mirror filter 310 at a predetermined ratio or the amount of infrared light transmitted from the cold mirror filter 320 at a predetermined ratio can include
  • the optical filter unit 300 is arranged such that the hot mirror filter 310 and the cold mirror filter 320 are adjacently connected to the upper and lower parts, and the hot mirror filter 310 or the cold mirror filter 310 is operated by a control signal of the operation mode setting unit.
  • the filter 320 may be linearly moved up and down to be located on the optical path of the incident light.
  • the hot mirror filter 310 reflects infrared light from incident light to enter the first camera unit
  • the cold mirror filter 320 reflects visible light from incident light to enter the first camera unit.
  • the beam splitter 330 When the visible light is transmitted from the hot mirror filter 310, the first light amount of the total amount of visible light is transmitted to the second camera unit, and the second amount of light smaller than the first light amount is reflected to the third camera unit.
  • infrared rays are transmitted from the cold mirror filter 320, the first amount of infrared rays is transmitted and incident to the second camera unit, and the second amount of light smaller than the first amount of infrared rays is reflected. It can be incident to the third camera unit.
  • the beam splitter 330 transmits 80% of the total amount of visible light to the second camera unit, and reflects 20% of the total amount of visible light.
  • the third camera unit when infrared rays are transmitted from the cold mirror filter 320, 80% of the total amount of infrared light is transmitted and incident to the second camera unit, and 20% of the total amount of infrared light is reflected to the third camera unit. can be recruited into the department.
  • the optical filter unit 300 includes the mirror filters 310 and 320 and the beam splitter so that the reflection surfaces of the mirror filters 310 and 320 and the reflection surface of the beam splitter 330 are at an angle of about 45 degrees to the optical path of the incident light. 330 may be placed.
  • the optical filter unit 300 includes the mirror filters 310 and 320 and the beam splitter 330 so that the angle between the reflective surface of the mirror filters 310 and 320 and the reflective surface of the beam splitter 330 is about 90 degrees. can be placed.
  • the beam splitter 330 of the optical filter unit 300 may include at least one of a plate type and a cube type, but is not limited thereto.
  • the beam splitter 330 of the optical filter unit 300 separates the reflected and transmitted light amounts of visible light separated from the mirror filters 310 and 320 at a ratio of 1:n or n:1 (n ⁇ 1), or Alternatively, the amount of reflected and transmitted infrared rays may be separated at a ratio of 1:n or n:1 (n ⁇ 1).
  • the beam splitter 330 of the optical filter unit 300 separates the amount of reflected and transmitted light of visible light separated from the mirror filters 310 and 320 at a ratio of 2:8 or 8:2 or reflects infrared light. and the amount of transmitted light may be separated at a ratio of 2:8 or 8:2.
  • the present invention may propose an optical filter as shown in FIG. 4 for selective use of a hot mirror filter and a cold mirror filter.
  • day and night mode selection (however, it is not limited to day and night conditions and is operated independently of the lamp in consideration of visible light and external light conditions according to the IR illuminance meter).
  • Two cross filters are installed vertically. can be connected
  • the upper filter may be selected mechanically by using an electromagnetic motor for capturing visible light multi-image and infrared image
  • the lower filter may be selected mechanically for infrared multiple image and visible light image capturing (vertical switching type filter).
  • the present invention may be operated according to the visible light intensity measured from the visible light illuminance sensor using a vertical switching type filter including a hot mirror filter and a cold mirror filter.
  • the hot mirror filter mode is switched.
  • the intensity of visible light is high, multiple shooting of visible light is required, so the hot mirror filter mode is switched.
  • the intensity of visible light is low, the visible light image is converted into a single image and the infrared image is multi-shot, and the cold mirror filter mode is switched. there is.
  • the infrared (IR) auxiliary lamp of the present invention can adjust the light level in inverse proportion to the amount of light measured from the visible light and IR illuminance sensor.
  • the IR lamp when the visible light is weak, the IR lamp must be brighter because a more distant subject must be detected through infrared multi-photographing.
  • FIG. 5 is a diagram for explaining the hot mirror filter of the optical filter unit
  • FIG. 6 is a diagram for explaining the cold mirror filter of the optical filter unit
  • FIG. 7 is a diagram for explaining the beam splitter of the optical filter unit.
  • the hot mirror filter is arranged so that the mirror surface is at about 45 degrees with respect to the optical path of the incident light, so that visible light can be transmitted from the incident light and infrared rays can be reflected.
  • the cold mirror filter is arranged so that the mirror surface is about 45 degrees with respect to the light path of the incident light, and can transmit infrared rays from the incident light and reflect visible light.
  • the beam splitter may separate the amount of visible light transmitted from the hot mirror filter at a predetermined ratio or the amount of infrared light transmitted from the cold mirror filter at a predetermined ratio.
  • the hot mirror filter reflects infrared light from incident light and enters it into the first camera unit
  • the cold mirror filter reflects visible light from the incident light and makes it incident to the first camera unit
  • the beam splitter reflects infrared light from the incident light to enter the first camera unit.
  • a first amount of light out of the total amount of visible light is transmitted and incident to the second camera unit
  • a second amount of light smaller than the first amount of light out of the total amount of visible light is reflected and entered into the third camera unit, and infrared rays are transmitted through the cold mirror filter.
  • a first amount of light among the total amount of infrared rays may be transmitted and incident to the second camera unit, and a second amount of light smaller than the first amount of light among the total amount of infrared rays may be reflected and incident to the third camera unit.
  • the beam splitter may include at least one of a plate type and a cube type, but is not limited thereto.
  • the beam splitter separates the amount of reflected and transmitted light of visible light separated from the mirror filter at a ratio of 1:n or n:1 (n ⁇ 1), or the amount of reflected and transmitted infrared light at a ratio of 1:n or n:1 It can be separated at a ratio of (n ⁇ 1).
  • a multi-luminance and multi-band image acquisition method is as follows.
  • the illuminometer may acquire visible light and infrared illuminance of a photographing environment.
  • the operation mode setting unit may determine the light level based on the obtained visible light and infrared light intensity of the photographing environment.
  • the lighting unit may emit infrared rays based on the determined light level.
  • the optical filter unit may separate visible light or infrared light from incident light, and separate visible light or infrared light quantity at a predetermined ratio.
  • the camera unit may acquire visible light multiple exposure images and an infrared image or obtain infrared multiple exposure images and a visible light image from the light separated from the optical filter unit.
  • the HDR image generation unit may generate an HDR image by synthesizing the acquired visible light multiple exposure images and an infrared image or synthesizing the infrared multiple exposure images and a visible light image.
  • a multi-luminance and multi-band image acquisition method is as follows.
  • the illuminometer may acquire visible light and infrared illuminance of a photographing environment.
  • the operation mode setting unit may determine a light level based on the obtained visible light and infrared light intensity of the photographing environment and control the operation mode of the optical filter unit.
  • the optical filter unit may move the hot mirror filter to be positioned on the optical path of incident light in the daytime operation mode, and may move the cold mirror filter to be positioned on the optical path of incident light in the nighttime operation mode.
  • the lighting unit may emit infrared rays based on the determined light level.
  • the optical filter unit may separate visible light or infrared light from the incident light, and may separate the amount of separated visible light or infrared light at a predetermined ratio.
  • the camera unit may obtain visible light multiple exposure images and an infrared image or obtain infrared multiple exposure images and a visible light image from the light separated from the optical filter unit.
  • the HDR image generation unit may generate an HDR image by synthesizing the acquired visible light multiple exposure images and an infrared image or synthesizing the infrared multiple exposure images and a visible light image.
  • the present invention is a multi-luminance and multi-band image to perform clear image capture in a wide luminous intensity and wide band range environment during the daytime and image capture capable of subject identification and color discrimination in a wide spatial range at night time. can be simultaneously filmed and composited.
  • the present invention can acquire high-exposure and low-exposure visible light images and infrared images from three broadband cameras without a time difference between shooting frames and a viewing angle difference between multiple images, and in a night shooting mode, three It is possible to acquire high- and low-exposure infrared images and visible light images from a broadband camera without a time difference between shooting frames and a viewing angle difference between multiple images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

다수의 광대역 카메라들을 사용하여 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법에 관한 것으로, 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 광학 필터부, 상기 미러 필터에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부, 상기 빔스플리터에서 투과된 광으로부터 상기 광대역 영상을 획득하는 제2 카메라부, 상기 빔스플리터에서 반사된 광으로부터 상기 광대역 영상을 획득하는 제3 카메라부, 상기 적외선을 출사하는 조명부, 그리고 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 동작 모드 설정부를 포함할 수 있다.

Description

다중 광도 및 다중 대역 영상 획득 장치 및 방법
본 발명은 다중 광도 및 다중 대역 영상 획득 장치에 관한 것으로, 보다 상세하게는 다수의 광대역 카메라들을 사용하여 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법에 관한 것이다.
일반적으로, 감시 카메라를 비롯해서 차량, 로봇, 드론 등에 활용되는 사물 식별을 위한 동영상 카메라의 촬영 조건은, 밝은 낮시간부터 어두운 밤까지 일광 조건, 어두운 실내, 터널, 지하, 야간 조명, 차량 전조등, 빛이 전혀 없는 실내 환경 등 다양하고 예측하기 어렵다. 일반적으로 사용되는 카메라 센서의 휘도 입력에 대한 동적 범위는, 약 60dB 정도이고 인간 시각의 동적 범위는 140dB에 이른다. 따라서, 카메라 센서의 제한된 동적 범위 내에서 식별 대상을 처리 범위 영역 안에 들어오도록 하기 위해 셔터 속도와 조리개 값, ISO 감도 등을 조절하게 된다. 이미지 센서는, 내부적으로 AE(auto exposure) 조정을 통해 단지 평균적인 휘도 상황에 대해 최적 노출 값을 찾는다. 그러나, 허용 대역 밖의 매우 밝거나 어두운 영역에 대해서는 포화된 출력이나 낮은 SNR(signal noise ratio) 출력을 보낸다. 일단 기준 노출에서 벗어난 고 노출(overexposed) 혹은 저 노출(underexposed) 영역의 데이터는, 원 밝기 정보를 가지고 있지 않기 때문에 센서의 해상도를 높이거나 화질을 보정하는 방법으로는 복원되지 않는다. 따라서, 낮시간의 넓은 광도(wide light intensity) 범위의 환경에서는 고 노출 및 저 노출의 다중 광도 영상 촬영 및 합성을 통해 넓은 광도의 가시광 영상 취득이 필요하다.
또한, 일반적인 카메라는, 가시광 영상 촬영을 위해 적외선 차단 필터(hot mirror filter)를 사용하여 적외선 신호를 차단한다. 적외선 광 유입은, 색 정보를 왜곡시키고, 특히, 낮 시간대의 광량은 강하기 때문에 적외선 광은 영상을 쉽게 포화시킬 수 있다. 그러나, 적외선 영상은, 가시광 영상으로 표현되지 않는 세부 정보를 포함하고 있으므로 정보 융합 방법으로 영상의 가시성을 향상시킬 수 있다. 특히, 안개, 연무 등이 낀 경우, 적외선은, 가시광선보다 입자에 대한 침투성이 강하기 때문에 적외선 영상으로부터 선명한 결과를 얻을 수 있다. 따라서, 낮 시간의 넓은 대역(wide bandwidth) 범위의 환경에서는 가시광 및 적외선의 다중 대역 영상 촬영 및 합성을 통해 넓은 대역의 영상 취득이 필요하다.
또한, 야간에 사용하는 카메라는, 보안이나 방범을 위해 시각적 영향을 주지 않는 IR LED 조명을 많이 사용하고 있다. 일반적인 경우, 램프의 적외선 방출량이 고정되어 있어서 가까운 피사체 촬영의 경우, 적외선 영상이 너무 밝아져 사물인식이 거의 불가능하다. 먼 거리 피사체 촬영을 위해 LED 출력을 높여 광 도달거리를 길게 할수록 가까운 피사체의 IR 광 포화도는, 상대적으로 높아지게 된다. 또 갑작스런 차량 전조등의 영향을 받는 경우, 카메라 센서가 빛에 너무 많이 노출되어 영상이 일시적으로 하얗게 변하여 피사체에 대한 정보(차량 번호)가 식별되지 않게 된다. 저 조도환경, 야간에 IR 광량의 과도 혹은 부족, 부적절한 노출 시간 등으로 인한 화질 문제가 늘 존재한다. 따라서, 야간의 경우, 넓은 공간 범위의 피사체를 촬영하기 위해서는 적외선 광도 다중 영상 촬영 및 합성이 필요할 뿐만 아니라, 피사체의 컬러 식별을 위해 가시광 및 적외선의 다중 대역 영상 촬영 및 합성도 필요하다.
따라서, 향후, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치의 개발이 요구되고 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 등록특허공보 제10-0983346호 (2010.09.20)
본 발명의 일실시예가 이루고자 하는 기술적 과제는, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법을 제공하고자 한다.
또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법을 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일실시예에 의한 다중 광도 및 다중 대역 영상 획득 장치는, 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 광학 필터부, 상기 미러 필터에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부, 상기 빔스플리터에서 투과된 광으로부터 상기 광대역 영상을 획득하는 제2 카메라부, 상기 빔스플리터에서 반사된 광으로부터 상기 광대역 영상을 획득하는 제3 카메라부, 상기 적외선을 출사하는 조명부, 그리고 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 동작 모드 설정부를 포함할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면이 상기 입사광의 광경로에 대해 45도가 되고, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면 사이의 각도가 90도가 되도록 상기 미러 필터와 상기 빔스플리터를 배치할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부의 빔스플리터는, 상기 미러 필터로부터 분리된 상기 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 상기 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter), 그리고 상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 핫 미러 필터는, 상기 입사광으로부터 상기 적외선을 반사시켜 상기 제1 카메라부로 입사시키고, 상기 빔스플리터는, 상기 핫 미러 필터로부터 투과된 상기 가시광의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시킬 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter), 그리고 상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 콜드 미러 필터는, 상기 입사광으로부터 상기 가시광을 반사시켜 상기 제1 카메라부로 입사시키고, 상기 빔스플리터는, 상기 콜드 미러 필터로부터 투과된 상기 적외선의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시킬 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터, 상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터, 그리고 상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하거나 또는 상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 핫 미러 필터와 상기 콜드 미러 필터가 상하부에 인접하여 연결되도록 배치하고, 상기 동작 모드 설정부의 제어 신호에 의해 상기 핫 미러 필터 또는 상기 콜드 미러 필터를 상기 입사광의 광경로상에 위치하도록 상하 직선 이동시킬 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 핫 미러 필터는, 상기 입사광으로부터 상기 적외선을 반사시켜 상기 제1 카메라부로 입사시키고, 상기 콜드 미러 필터는, 상기 입사광으로부터 상기 가시광을 반사시켜 상기 제1 카메라부로 입사시키며, 상기 빔스플리터는, 상기 핫 미러 필터로부터 가시광이 투과되면 상기 가시광의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시키며, 상기 콜드 미러 필터로부터 적외선이 투과되면 상기 적외선의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시킬 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 촬영 환경의 가시광 조도를 센싱하는 가시광 조도계, 그리고 상기 촬영 환경의 적외선 조도를 센싱하는 적외선 조도계를 더 포함할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 동작 모드 설정부는, 상기 가시광 조도계로부터 센싱한 가시광 조도와 상기 적외선 조도계로부터 센싱한 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 동작 모드 설정부는, 적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 상기 조명부의 적외선 광 레벨을 결정할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 동작 모드 설정부는, 상기 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 조명부의 광레벨을 조정하는 광레벨 조정부, 그리고 상기 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 상기 광학 필터부의 이동을 제어하는 이동 제어부를 포함할 수 있다.
다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 제1, 제2, 제3 카메라부로부터 획득한 다중 광도 및 다중 대역 영상들을 저장하는 영상 저장부, 그리고 상기 획득한 다중 광도 및 다중 대역 영상들을 합성하는 HDR(High Dynamic Range) 영상 생성부를 더 포함할 수 있다.
한편, 본 발명의 일실시예에 의한 다중 광도 및 다중 대역 영상 획득 방법은, 핫 미러 필터 또는 콜드 미러 필터를 포함하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법으로서, 상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계, 상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하는 단계, 상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계, 상기 광학 필터부가, 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계, 상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계, 그리고 상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 의한 다중 광도 및 다중 대역 영상 획득 방법은, 핫 미러 필터와 콜드 미러 필터를 모두 포함하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법으로서, 상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계, 상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하고, 상기 광학 필터부의 동작 모드를 제어하는 단계, 상기 광학 필터부가, 주간 동작 모드이면 상기 핫 미러 필터를 입사광의 광경로상에 위치하도록 이동하고, 야간 동작 모드이면 상기 콜드 미러 필터를 입사광의 광경로상에 위치하도록 이동하는 단계, 상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계, 상기 광학 필터부가, 상기 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계, 상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계, 그리고 상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함할 수 있다.
본 발명에 따른 다중 광도 및 다중 대역 영상 획득 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명은, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있다.
또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은, 본 발명에 따른 다중 광도 및 다중 대역 영상 획득 장치를 설명하기 위한 도면이다.
도 2는, 본 발명 제1 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 3은, 본 발명 제2 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 4는, 본 발명 제3 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 5는, 광학 필터부의 핫 미러 필터를 설명하기 위한 도면이다.
도 6은, 광학 필터부의 콜드 미러 필터를 설명하기 위한 도면이다.
도 7은, 광학 필터부의 빔스플리터를 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은, 본 발명에 따른 다중 광도 및 다중 대역 영상 획득 장치를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 다중 광도 및 다중 대역 영상 획득 장치는, 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터(310, 320)와, 미러 필터(310, 320)로부터 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터(330)를 포함하는 광학 필터부(300), 미러 필터(310, 320)에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부(110), 빔스플리터(330)에서 투과된 광으로부터 광대역 영상을 획득하는 제2 카메라부(120), 빔스플리터(330)에서 반사된 광으로부터 광대역 영상을 획득하는 제3 카메라부(130), 적외선을 출사하는 조명부(200), 그리고 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 결정된 광 레벨에 상응하는 적외선이 출사되도록 조명부(200)를 제어하는 동작 모드 설정부(400)를 포함할 수 있다.
또한, 본 발명은, 촬영 환경의 가시광 조도를 센싱하는 가시광 조도계(510)와, 촬영 환경의 적외선 조도를 센싱하는 적외선 조도계(520)를 더 포함할 수 있다.
또한, 본 발명은, 제1, 제2, 제3 카메라부(110, 120, 130)로부터 획득한 다중 광도 및 다중 대역 영상들을 저장하는 영상 저장부(600)와, 획득한 다중 광도 및 다중 대역 영상들을 합성하는 HDR(High Dynamic Range) 영상 생성부(700)를 더 포함할 수 있다.
본 발명의 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.
또한, 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.
여기서, 광학 필터부(300)의 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.
일 예로, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.
제1 실시예로, 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter)(310), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.
여기서, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
또한, 제2 실시예로, 광학 필터부(300)는, 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter)(320), 그리고 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.
여기서, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
일 예로, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
또한, 제3 실시예로서, 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(310), 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(320), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하거나 또는 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(330)를 포함할 수 있다.
여기서, 광학 필터부(300)는, 핫 미러 필터(310)와 콜드 미러 필터(320)가 상하부에 인접하여 연결되도록 배치하고, 동작 모드 설정부(400)의 제어 신호에 의해 핫 미러 필터(310) 또는 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 상하 직선 이동시킬 수 있다.
경우에 따라, 광학 필터부(300)는, 핫 미러 필터(310)와 콜드 미러 필터(320)가 좌우측에 인접하여 연결되도록 배치하고, 동작 모드 설정부(400)의 제어 신호에 의해 핫 미러 필터(310) 또는 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 좌우 직선 이동시킬 수도 있다.
그리고, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부(110)로 입사시키고, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부(110)로 입사시키며, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
다음, 동작 모드 설정부(400)는, 가시광 조도계(510)로부터 센싱한 가시광 조도와 적외선 조도계(520)로부터 센싱한 적외선 조도를 기초로 광 레벨을 결정하여 결정된 광 레벨에 상응하는 적외선이 출사되도록 조명부(200)를 제어할 수 있다.
여기서, 동작 모드 설정부(400)는, 가시광 조도와 적외선 조도가 모두 강한 주간의 경우, 기준 광 레벨보다 더 낮은 광 레벨의 적외선을 출사시키거나 또는 오프(off)되도록 조명부(200)를 제어하고, 가시광 조명 성분만 있는 야간 또는 실내의 경우, 기준 광 레벨보다 더 높은 광 레벨의 적외선을 출사시키도록 조명부(200)를 제어할 수 있다.
그리고, 동작 모드 설정부(400)는, 적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 조명부(200)의 적외선 광 레벨을 결정할 수 있다.
또한, 동작 모드 설정부(400)는, 가시광 조도계(510)로부터 센싱한 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드를 결정하여 결정된 동작 모드로 광학 필터부(300)를 제어할 수 있다.
또한, 동작 모드 설정부(400)는, 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 조명부(200)의 광레벨을 조정하는 광레벨 조정부(420)와, 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 광학 필터부(300)의 이동을 제어하는 이동 제어부(410)를 포함할 수 있다.
일 예로, 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(310)와 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(320)가 인접하여 연결된다면, 이동 제어부(410)는, 촬영 환경의 가시광 조도를 기초로 주간 동작 모드이면 핫 미러 필터(310)를 입사광의 광경로상에 위치하도록 광학 필터부(300)를 이동시키고, 촬영 환경의 가시광 조도를 기초로 야간 동작 모드이면 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 광학 필터부(300)를 이동시킬 수 있다.
여기서, 이동 제어부(410)는, 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 스위칭되는 모드 변경 스위치와, 모드 변경 스위치의 스위칭 신호에 따라 광학 필터부(300)의 이동을 제어하는 모터를 포함할 수 있다.
다음, 영상 저장부(600)는, 주간 동작 모드에서 촬영한 가시광 다중 노출 영상들과 적외선 영상을 제1 그룹으로 저장하고, 야간 동작 모드에서 촬영한 적외선 다중 노출 영상들과 가시광 영상을 제2 그룹으로 저장할 수 있다.
그리고, HDR 영상 생성부(700)는, 주간 동작 모드에서 촬영한 가시광 다중 노출 영상들과 적외선 영상을 합성하여 HDR 영상을 생성하고, 야간 동작 모드에서 촬영한 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성할 수 있다.
이와 같이, 본 발명은, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있다.
또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있다.
이처럼, 본 발명은, 3개 광대역 카메라를 사용하여 다중 강도 및 다중 대역 영상을 동시에 촬영하는 복합 HDR 영상 촬영과 합성 기법을 제시할 수 있다.
즉, 본 발명은, 가시광에서 근적외선 대역까지 커버할 수 있는 3개의 광대역 카메라와, 크로스(cross)형 빔스플리팅(beam splitting) 필터를 이용하여 복합 다중화 영상을 프레임 레이트 감소 및 시차 없이 촬영하는 방법을 제시할 수 있다.
도 2는, 본 발명 제1 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 본 발명 제1 실시예의 광학 필터부는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter)(310), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.
여기서, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
즉, 광학 필터부는, 핫 미러 필터(310)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 배치될 수 있고, 핫 미러 필터(310)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 배치될 수 있다.
여기서, 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 빔스플리터(330)는, 핫 미러 필터(310)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.
일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.
즉, 도 2의 광학 필터부는, 근적외선광(약 800nm ~ 1500nm 대역)에 대해 차단(reflection) 기능이 있는 핫 미러 필터와 가시광에 대해 지정된 비율에 따라 두 개의 빔으로 분리하는데 사용되는 빔스플리터가 90도 각도로 연결된 구조를 가질 수 있다.
이때, 가시광(약 400nm ~ 800nm 대역)에 대한 반사/투과(R/T) 비율은 1:n 또는 n:1 (n≤1)을 가질 수 있으며, 두 필터는, 각각 다른 광대역에 대해 동작하며 광간섭이 최소화될 수 있다.
입사광 방향에 대해 빔스플리터 필터는, 45도 각도를 유지하여 반사광이 광로에 대해 90도 방향으로 꺾이게 된다.
그리고, 3개의 광대역 카메라(약 380nm ~ 1500nm 대역)는, 입사 광로 방향 및 좌우의 90도 방향 3면에 위치되는데, 입사광(light input, 가시광+적외선)에 대해 가시광 성분은, 가시광 R/T 빔스플리터에 의해 2:8의 비율로 반사 및 투과되며 후면과 오른쪽 측면의 카메라는, 입사 가시광에 대해 각각 80%, 20% 노출될 수 있다.
이때, 노출 차이를 높이기 위해 카메라의 노출계(aperture, shutter time, ISO 등)를 추가로 조작할 수 있다.
적외선 성분은, 핫 미러 필터에 의해 반사되며 왼쪽 측면 카메라에 100% 노출되고, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각 차이 없이 취득할 수 있다.
도 3은, 본 발명 제2 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 본 발명 제2 실시예의 광학 필터부는, 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter)(320), 그리고 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.
여기서, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
일 예로, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.
즉, 광학 필터부는, 콜드 미러 필터(320)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 배치될 수 있고, 콜드 미러 필터(320)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 배치될 수 있다.
여기서, 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.
일 예로, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.
즉, 도 3의 광학 필터부는, 가시광(약 400nm ~ 800nm 대역)에 대해 차단(reflection) 기능이 있는 콜드 미러 필터와 근적외선광에 대해 지정된 비율에 따라 두 개의 빔으로 분리하는데 사용되는 빔스플리터가 90도 각도로 연결된 구조를 가질 수 있다.
이때, 근적외선광(약 800nm ~ 1500nm 대역)에 대한 반사/투과(R/T) 비율은, 1:n 또는 n:1 (n≤1)을 가질 수 있는데, 두 필터는, 각각 다른 광대역에 대해 동작하며 광간섭이 최소화될 수 있다.
입사광 방향에 대해 빔스플리터 필터는, 45도 각도를 유지하여 반사광은 광로에 대해 90도 방향으로 꺾이게 되고, 3개의 광대역 카메라(약 380nm ~ 1500nm 대역)는, 입사 광로 방향 및 좌우의 90도 방향 3면에 위치될 수 있다.
입사광(light input, 가시광+적외선)에 대해 근적외선 성분은, 근적외선광 R/T 빔스플리터에 의해 2:8의 비율로 반사 및 투과되며 후면과 오른쪽 측면의 카메라는 입사 가시광에 대해 각각 80%, 20% 노출될 수 있다.
이때, 노출 차이를 높이기 위해 카메라의 노출계(aperture, shutter time, ISO 등)를 추가로 조작할 수 있다.
가시광 성분은, 콜드 미러 필터에 의해 반사되며 왼쪽 측면 카메라에 100% 노출되는데, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각 차이 없이 취득할 수 있다.
도 4는, 본 발명 제3 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 본 발명 제3 실시예의 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(310), 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(320), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하거나 또는 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(330)를 포함할 수 있다.
여기서, 광학 필터부(300)는, 핫 미러 필터(310)와 콜드 미러 필터(320)가 상하부에 인접하여 연결되도록 배치하고, 동작 모드 설정부의 제어 신호에 의해 핫 미러 필터(310) 또는 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 상하 직선 이동시킬 수 있다.
그리고, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부로 입사시키고, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부로 입사시키며, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시킬 수 있다.
일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부로 입사시킬 수 있다.
즉, 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.
또한, 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.
여기서, 광학 필터부(300)의 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.
일 예로, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.
즉, 낮 시간의 넓은 광도 및 대역(wide light intensity and wide bandwidth)의 환경에서는, 고 노출 및 저 노출의 다중 광도 영상 촬영 및 합성을 통해 넓은 광도의 가시광 영상 취득이 필요하고, 더불어 가시광 및 적외선의 다중 대역 영상 합성을 통해 넓은 대역의 영상 취득이 동시에 필요하다.
반면, 야간의 경우, 약한 조명 조건에서 넓은 공간의 피사체를 촬영하기 위해서는, 적외선 보조광을 이용한 적외선 광도 다중 영상 촬영 및 합성이 필요하고, 더불어 피사체의 컬러 식별을 위해 가시광 및 적외선의 다중 대역 영상 합성이 동시에 필요하다.
따라서, 본 발명은, 핫 미러 필터와 콜드 미러 필터의 선택적 사용을 위해서 도 4와 같은 광학 필터를 제안할 수 있다.
본 발명은, 주간 및 야간 모드 선택을 위해(단, 주야간 조건에 제한되지 않고 가시광 및 IR 조도계에 따른 외광 조건을 고려하여 램프와 독립적으로 운영된다.) 두 개 크로스 필터(cross filter)가 수직으로 연결될 수 있다.
여기서, 상부 필터는, 가시광 다중영상 및 적외선 영상 촬영을 위해, 하부 필터는, 적외선 다중 영상 및 가시광 영상 촬영을 위해 전자기 모터를 이용해 기계적으로 선택될 수 있다(수직 전환형 필터).
또한, 본 발명은, 핫 미러 필터와 콜드 미러 필터를 포함하는 수직 전환형 필터를 이용하여 가시광 조도 센서로부터 측정되는 가시광 강도에 따라 운영될 수 있다.
가시광 강도가 강한 경우, 가시광 다중 촬영이 필요하므로, 핫 미러 필터 모드로 전환되며, 가시광 강도가 약한 경우, 가시광 영상은, 단일 영상으로, 적외선 영상은, 다중 촬영되는 콜드 미러 필터 모드로 전환될 수 있다.
그리고, 본 발명의 적외선(IR) 보조 램프는, 가시광 및 IR 조도 센서로부터 측정되는 광량에 반비례하여 광레벨을 조절할 수 있다.
가시광 및 IR 광 모두 강한 주간의 경우에는, 적외선 영상 다중화보다 가시광 영상 다중화가 우선하므로, IR 램프 레벨이 낮아지며(혹은 off), 가시광 조명 성분만 있는 야간 혹은 실내의 경우에는, 적외선 영상 다중화를 위해 IR 램프 레벨을 높일 수 있다.
특히, 가시광 조명이 약해지면 적외선 다중 촬영을 통해 좀 더 먼거리의 피사체를 감지해야 함으로 IR 램프를 더 밝게 해야 한다.
즉, 적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 적외선 광 레벨을 결정할 수 있다.
도 5는, 광학 필터부의 핫 미러 필터를 설명하기 위한 도면이고, 도 6은, 광학 필터부의 콜드 미러 필터를 설명하기 위한 도면이며, 도 7은, 광학 필터부의 빔스플리터를 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 핫 미러 필터는, 미러면이 입사광의 광경로에 대해 약 45도가 되도록 배치되어, 입사광으로부터 가시광을 투과시키고 적외선을 반사시킬 수 있다.
그리고, 도 6에 도시된 바와 같이, 콜드 미러 필터는, 미러면이 입사광의 광경로에 대해 약 45도가 되도록 배치되어, 입사광으로부터 적외선을 투과시키고 가시광을 반사시킬 수 있다.
이어, 도 7에 도시된 바와 같이, 빔스플리터는, 핫 미러 필터로부터 투과된 가시광의 광량을 소정 비율로 분리하거나 또는 콜드 미러 필터로부터 투과된 적외선의 광량을 소정 비율로 분리할 수 있다.
즉, 핫 미러 필터는, 입사광으로부터 적외선을 반사시켜 제1 카메라부로 입사시키고, 콜드 미러 필터는, 입사광으로부터 가시광을 반사시켜 제1 카메라부로 입사시키며, 빔스플리터는, 핫 미러 필터로부터 가시광이 투과되면 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시키며, 콜드 미러 필터로부터 적외선이 투과되면 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시킬 수 있다.
여기서, 빔스플리터는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 빔스플리터는, 미러 필터로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.
한편, 본 발명의 일 실시예에 따른 다중 광도 및 다중 대역 영상 획득 방법은, 다음과 같다.
먼저, 조도계는, 촬영 환경의 가시광 및 적외선 조도를 획득할 수 있다.
다음, 동작 모드 설정부는, 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정할 수 있다.
이어, 조명부는, 결정된 광 레벨을 기초로 적외선을 출사할 수 있다.
그리고, 광학 필터부는, 입사광으로부터 가시광 또는 적외선을 분리하고, 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리할 수 있다.
다음, 카메라부는, 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득할 수 있다.
이어, HDR 영상 생성부는, 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성할 수 있다.
한편, 본 발명의 다른 실시예에 따른 다중 광도 및 다중 대역 영상 획득 방법은, 다음과 같다.
먼저, 조도계는, 촬영 환경의 가시광 및 적외선 조도를 획득할 수 있다.
다음, 동작 모드 설정부는, 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하고, 광학 필터부의 동작 모드를 제어할 수 있다.
이어, 광학 필터부는, 주간 동작 모드이면 핫 미러 필터를 입사광의 광경로상에 위치하도록 이동하고, 야간 동작 모드이면 콜드 미러 필터를 입사광의 광경로상에 위치하도록 이동할 수 있다.
그리고, 조명부는, 결정된 광 레벨을 기초로 적외선을 출사할 수 있다.
다음, 광학 필터부는, 입사광으로부터 가시광 또는 적외선을 분리하고, 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리할 수 있다.
이어, 카메라부는, 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득할 수 있다.
그리고, HDR 영상 생성부는, 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성할 수 있다.
이와 같이, 본 발명은, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있다.
또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있다.
이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
110: 제1 카메라부
120: 제2 카메라부
130: 제3 카메라부
200: 조명부
300: 광학 필터부
310: 핫 미러 필터
320: 콜드 미러 필터
330: 빔스플리터
400: 동작 모드 설정부
510: 가시광 조도계
520: 적외선 조도계
600: 영상 저장부
700: HDR 영상 생성부

Claims (15)

  1. 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 광학 필터부;
    상기 미러 필터에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부;
    상기 빔스플리터에서 투과된 광으로부터 상기 광대역 영상을 획득하는 제2 카메라부;
    상기 빔스플리터에서 반사된 광으로부터 상기 광대역 영상을 획득하는 제3 카메라부;
    상기 적외선을 출사하는 조명부; 그리고,
    촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 동작 모드 설정부를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  2. 제1 항에 있어서,
    상기 광학 필터부는,
    상기 미러 필터의 반사면과 상기 빔스플리터의 반사면이 상기 입사광의 광경로에 대해 45도가 되고, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면 사이의 각도가 90도가 되도록 상기 미러 필터와 상기 빔스플리터를 배치하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  3. 제1 항에 있어서,
    상기 광학 필터부의 빔스플리터는,
    상기 미러 필터로부터 분리된 상기 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 상기 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  4. 제1 항에 있어서,
    상기 광학 필터부는,
    상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter); 그리고,
    상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  5. 제1 항에 있어서,
    상기 광학 필터부는,
    상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter); 그리고,
    상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  6. 제1 항에 있어서,
    상기 광학 필터부는,
    상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터;
    상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터; 그리고,
    상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하거나 또는 상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  7. 제6 항에 있어서,
    상기 광학 필터부는,
    상기 핫 미러 필터와 상기 콜드 미러 필터가 상하부에 인접하여 연결되도록 배치하고,
    상기 동작 모드 설정부의 제어 신호에 의해 상기 핫 미러 필터 또는 상기 콜드 미러 필터를 상기 입사광의 광경로상에 위치하도록 상하 직선 이동시키는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  8. 제1 항에 있어서,
    상기 촬영 환경의 가시광 조도를 센싱하는 가시광 조도계; 그리고,
    상기 촬영 환경의 적외선 조도를 센싱하는 적외선 조도계를 더 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  9. 제8 항에 있어서,
    상기 동작 모드 설정부는,
    상기 가시광 조도계로부터 센싱한 가시광 조도와 상기 적외선 조도계로부터 센싱한 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  10. 제9 항에 있어서,
    상기 동작 모드 설정부는,
    적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 상기 조명부의 적외선 광 레벨을 결정하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  11. 제1 항에 있어서,
    상기 동작 모드 설정부는,
    상기 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 조명부의 광레벨을 조정하는 광레벨 조정부; 그리고,
    상기 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 상기 광학 필터부의 이동을 제어하는 이동 제어부를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  12. 제11 항에 있어서,
    상기 광학 필터부는,
    상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터와 상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터가 인접하여 연결되고,
    상기 이동 제어부는,
    상기 촬영 환경의 가시광 조도를 기초로 주간 동작 모드이면 상기 핫 미러 필터를 상기 입사광의 광경로상에 위치하도록 상기 광학 필터부를 이동시키고,
    상기 촬영 환경의 가시광 조도를 기초로 야간 동작 모드이면 상기 콜드 미러 필터를 상기 입사광의 광경로상에 위치하도록 상기 광학 필터부를 이동시키는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  13. 제1 항에 있어서,
    상기 제1, 제2, 제3 카메라부로부터 획득한 다중 광도 및 다중 대역 영상들을 저장하는 영상 저장부; 그리고,
    상기 획득한 다중 광도 및 다중 대역 영상들을 합성하는 HDR(High Dynamic Range) 영상 생성부를 더 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
  14. 핫 미러 필터 또는 콜드 미러 필터를 포함하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법에 있어서,
    상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계;
    상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하는 단계;
    상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계;
    상기 광학 필터부가, 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계;
    상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계; 그리고,
    상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 방법.
  15. 핫 미러 필터 또는 콜드 미러 필터를 포함하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법에 있어서,
    상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계;
    상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하는 단계;
    상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계;
    상기 광학 필터부가, 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계;
    상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계; 그리고,
    상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 방법.
PCT/KR2022/008801 2021-06-23 2022-06-21 다중 광도 및 다중 대역 영상 획득 장치 및 방법 WO2022270874A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0081668 2021-06-23
KR1020210081668A KR102497020B1 (ko) 2021-06-23 2021-06-23 다중 광도 및 다중 대역 영상 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022270874A1 true WO2022270874A1 (ko) 2022-12-29

Family

ID=84538710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008801 WO2022270874A1 (ko) 2021-06-23 2022-06-21 다중 광도 및 다중 대역 영상 획득 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102497020B1 (ko)
WO (1) WO2022270874A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090130696A (ko) * 2008-06-16 2009-12-24 연세대학교 산학협력단 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
JP2019012897A (ja) * 2017-06-29 2019-01-24 セコム株式会社 監視カメラ装置
KR20190018867A (ko) * 2017-08-16 2019-02-26 자화전자(주) 차량의 사이드 영상 제공용 카메라 모듈
KR102200540B1 (ko) * 2019-08-16 2021-01-08 경북대학교 산학협력단 다중 광도 영상 획득 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100983346B1 (ko) 2009-08-11 2010-09-20 (주) 픽셀플러스 Ｉｒ조명을 이용한 얼굴인식 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090130696A (ko) * 2008-06-16 2009-12-24 연세대학교 산학협력단 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
JP2019012897A (ja) * 2017-06-29 2019-01-24 セコム株式会社 監視カメラ装置
KR20190018867A (ko) * 2017-08-16 2019-02-26 자화전자(주) 차량의 사이드 영상 제공용 카메라 모듈
KR102200540B1 (ko) * 2019-08-16 2021-01-08 경북대학교 산학협력단 다중 광도 영상 획득 장치 및 방법

Also Published As

Publication number Publication date
KR20220170614A (ko) 2022-12-30
KR102497020B1 (ko) 2023-02-07

Similar Documents

Publication Publication Date Title
US5808681A (en) Electronic still camera
WO2011074810A2 (ko) 핸디 스캐너 장치 및 그 제어방법
US7948551B2 (en) Field sequential color camera system
WO2016137238A1 (en) Processing multi-aperture image data
US5099313A (en) White balance controlling device having a device for determining whether fluorescent light is being illuminated on a scene
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
KR100367594B1 (ko) 씨씨디 카메라의 제어 방법
JP5397714B1 (ja) 監視用カメラ装置
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2021034002A1 (ko) 다중 광도 영상 획득 장치 및 방법
WO2022270874A1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법
WO2021034003A1 (ko) 다중 광도 영상 획득 장치 및 방법
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ
WO2019083154A1 (ko) 개별 제어되는 마이크로 led 픽셀들을 갖는 플래쉬 유닛을 포함하는 촬상 장치 및 피부 진단용 촬상 장치
WO2019117549A1 (en) Imaging apparatus, imaging method, and computer program product
WO2023085475A1 (ko) 다중 대역 영상 촬영 장치 및 방법
WO2019031802A1 (ko) 밝기 구간별 화질 보상 시스템 및 방법
JPH047991A (ja) 暗視カラー撮像装置
WO2023058889A1 (ko) 광 캡쳐 장치 및 이를 구비하는 광 캡쳐 시스템
JP2006165826A (ja) ハイダイナミックレンジカメラシステム
KR100554501B1 (ko) 감시카메라의 역광차단장치
WO2022039324A1 (ko) 사용자의 카메라 조명이 외부에 노출되지 않는 조명 비노출형 카메라 및 이를 이용한 카메라 조명 비노출 제어방법
KR20140123864A (ko) 적외선 led 카메라 시스템
WO2013005921A1 (ko) 입사광량 조절 장치 및 그 제어 방법
WO2019083180A1 (ko) 적외선 다중 대역을 감지하는 이미지 센서 및 이를 이용한 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828721

Country of ref document: EP

Kind code of ref document: A1