WO2021140721A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021140721A1
WO2021140721A1 PCT/JP2020/039486 JP2020039486W WO2021140721A1 WO 2021140721 A1 WO2021140721 A1 WO 2021140721A1 JP 2020039486 W JP2020039486 W JP 2020039486W WO 2021140721 A1 WO2021140721 A1 WO 2021140721A1
Authority
WO
WIPO (PCT)
Prior art keywords
saturation region
range
dynamic range
image processing
temperature range
Prior art date
Application number
PCT/JP2020/039486
Other languages
English (en)
French (fr)
Inventor
啓太 林
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN202080079707.XA priority Critical patent/CN114746727A/zh
Publication of WO2021140721A1 publication Critical patent/WO2021140721A1/ja
Priority to US17/833,332 priority patent/US11936997B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • the present invention relates to an image processing apparatus, an image processing method and a program.
  • the far-infrared image pickup apparatus described in Patent Document 1 determines whether or not the amount of far-infrared rays detected by the far-infrared ray detection pixels is equal to or greater than the first amount, and determines whether or not the amount of far-infrared rays detected is equal to or greater than the first amount.
  • the shutter is closed.
  • it is determined for each far-infrared detection pixel whether or not the amount of far-infrared rays detected is less than the second amount, which is equal to or less than the first amount, and all far-infrared rays are detected.
  • the shutter is released.
  • the microbolometer of the infrared imaging device is used with a narrow dynamic range in order to improve the resolution of object detection.
  • the detection signal is saturated even in the temperature range in which the microbolometer does not cause an abnormality. Therefore, the infrared imaging device may excessively close the shutter in order to protect the microbolometer.
  • the object detection function cannot be used while the shutter is closed, a technique for appropriately closing the shutter when necessary is expected.
  • the present embodiment has been made to solve such a problem, and an object thereof is to provide an image processing device or the like that protects an infrared sensor from sunlight after appropriately detecting sunlight. To do.
  • the image processing apparatus has a saturation region detection unit, a dynamic range control unit, and a shutter control unit.
  • the saturation region detection unit acquires imaging data from an infrared imaging device that captures a thermal image of the periphery of a moving body, and detects that saturated pixels are present in the imaging data.
  • the dynamic range control unit sets the dynamic range of the infrared imaging element to the first temperature range or the second temperature range in which the temperature at least on the upper limit side is higher than the first temperature range according to the detection result of the saturation region.
  • the shutter control unit controls the opening and closing of the shutter for protecting the infrared imaging element based on the detection result of the saturation region and the setting of the dynamic range.
  • the image processing method includes a saturation region detection step, a dynamic range control step, and a shutter control step.
  • the saturation region detection step imaging data is acquired from an infrared imaging device that captures a thermal image of the periphery of a moving body, and saturation region detection is performed to detect the presence of saturated pixels in the imaging data.
  • the dynamic range control step sets the dynamic range of the infrared imaging element to the first temperature range or the second temperature range in which the temperature at least on the upper limit side is higher than the first temperature range according to the detection result of the saturation region.
  • the shutter control step controls the opening and closing of the shutter for protecting the infrared imaging element based on the detection result of the saturation region and the setting of the dynamic range.
  • the program according to this embodiment causes a computer to execute the following image processing method.
  • the image processing method includes a saturation region detection step, a dynamic range control step, and a shutter control step.
  • the saturation region detection step imaging data is acquired from an infrared imaging device that captures a thermal image of the periphery of a moving body, and saturation region detection is performed to detect the presence of saturated pixels in the imaging data.
  • the dynamic range control step sets the dynamic range of the infrared imaging element to the first temperature range or the second temperature range in which the temperature at least on the upper limit side is higher than the first temperature range according to the detection result of the saturation region.
  • the shutter control step controls the opening and closing of the shutter for protecting the infrared imaging element based on the detection result of the saturation region and the setting of the dynamic range.
  • FIG. It is a block diagram of the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart of the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the 1st example of the image generated by the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the 2nd example of the image generated by the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the 3rd example of the image generated by the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the 4th example of the image generated by the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram of the image processing apparatus which concerns on Embodiment 2.
  • FIG. It is a flowchart of the image processing apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows the example of the image generated by the image processing apparatus which concerns on Embodiment 2.
  • FIG. 1 is a block diagram of the image processing apparatus according to the first embodiment.
  • the image processing device 100 shown in FIG. 1 is a component of the thermal image display system 10 that captures a thermal image of the surroundings of an automobile and displays it on a monitor.
  • the thermal image display system 10 mainly includes an image processing device 100, a microbolometer 900, a shutter 901, and a monitor 902.
  • the image processing device 100 will be described below.
  • the image processing device 100 has, for example, an arithmetic unit such as a CPU (Central Processing Unit) or an MCU (Micro Controller Unit). Further, the image processing device 100 has at least a control board composed of a flash memory or a non-volatile or volatile memory such as a DRAM (Dynamic Random Access Memory), and other electric circuits in addition to the above arithmetic unit. ing.
  • the image processing device 100 has a program incorporated in these arithmetic units and the like, and realizes the functions shown below by combining software or hardware.
  • the image processing device 100 acquires the imaging data of the thermal image captured by the microbolometer 900, and performs preset processing on the acquired imaging data.
  • the image processing device 100 outputs the imaging data to which the preset processing has been performed to the monitor 902.
  • the image processing device 100 may include a recognition processing unit that recognizes a person or the like based on a thermal image captured by the microbolometer 900.
  • the defective pixel correction unit 110 receives the imaging data from the microbolometer 900 and corrects the data due to the defective pixels included in the imaging data. For example, the defect pixel correction unit 110 detects the coordinates of the defective pixel with the shutter closed, and stores the coordinates of the detected defective pixel. Further, the defect pixel correction unit 110 corrects the stored defect pixel data by generating interpolation data from the data of adjacent pixels. The defect pixel correction unit 110 supplies the corrected imaging data to the pixel non-uniformity correction unit 120 and the saturation region detection unit 140, respectively.
  • the pixel non-uniformity correction unit 120 corrects the non-uniformity state that occurs for each pixel of the imaging data received from the defective pixel correction unit 110.
  • the non-uniform state for each pixel occurs due to variations in characteristics for each pixel and the like.
  • the pixel non-uniformity correction unit 120 corrects the imaging data by adjusting the gain and offset for each pixel by using, for example, a method called NUC (Non-Uniformity Correction).
  • NUC Non-Uniformity Correction
  • the AGC processing unit 130 receives the imaging data from the pixel non-uniformity correction unit 120 and adjusts the contrast of the imaging data.
  • the AGC processing unit 130 adjusts the contrast of the captured data to generate an image that is easy for the user to see when displaying the thermal image on the monitor 902. Further, the AGC processing unit 130 can output a thermal image suitable for the recognition process when performing the object recognition process on the thermal image by adjusting the contrast of the captured data.
  • the AGC processing unit 130 uses, for example, a histogram equalization method such as contrast limitation adaptive histogram equalization for the imaged data.
  • the saturation region detection unit 140 receives imaging data from the defective pixel correction unit 110, and detects the saturation region from the received imaging data.
  • the saturated region is a region in which saturated pixels or pixels that are substantially saturated exist.
  • Saturated pixels are pixels in which the pixel data has reached the upper limit. For example, when the brightness level of each pixel of the imaging data is represented by 8 bits from zero to 255, the pixel having the coordinate with the brightness level having a value of 255 is called a saturated pixel.
  • the saturation region detection unit 140 determines that a saturation region exists, for example, when it detects that four or more adjacent pixels are saturated pixels. Alternatively, the saturation region detection unit 140 determines that a saturation region exists, for example, when nine or more adjacent pixels are 98% or more of the upper limit of the luminance value. When the saturation region detection unit 140 detects that the saturated region exists in the received imaging data, the saturation region detection unit 140 supplies a signal indicating the detection result of the saturation region to the dynamic range control unit 150.
  • the saturation region detection unit 140 acquires information regarding the dynamic range setting from the dynamic range control unit 150.
  • the information regarding the setting of the dynamic range includes information indicating whether the setting of the dynamic range set in the microbolometer 900 is the first temperature range or the second temperature range.
  • the first temperature range is, for example, a range set so that the temperature range detected by a microbolometer is 10 to 50 degrees.
  • the second temperature range is a range in which the upper limit value is set higher than the first temperature range, and is, for example, a range in which the temperature range detected by the microbolometer is set to be 10 to 200 degrees.
  • the dynamic range control unit 150 cooperates with the saturation region detection unit 140 to set the dynamic range of the microbolometer according to the detection result of the saturation region to the first temperature range or the second temperature at least on the upper limit side of the first temperature range. Set to temperature range.
  • the dynamic range control unit 150 connects to the saturation region detection unit 140 and receives a signal indicating that the saturation region has been detected. Further, the dynamic range control unit 150 is connected to the microbolometer 900 and supplies a signal instructing the setting of the dynamic range.
  • the dynamic range in this embodiment may be rephrased as "scene dynamic range".
  • the dynamic range control unit 150 sets the dynamic range when the saturation region detection unit 140 detects the saturation region, for example, when the dynamic range setting is in the first temperature range. Change from the 1st temperature range to the 2nd temperature range. Further, the dynamic range control unit 150 sets the dynamic range from the second temperature range to the second temperature range when the saturation region detection unit 140 does not detect the saturation region, for example, when the dynamic range is set to the second temperature range. Change to 1 temperature range.
  • the dynamic range control unit 150 When the dynamic range control unit 150 performs a process of setting the dynamic range to the first temperature range and the second temperature range, the dynamic range control unit 150 changes, for example, the setting of the integration time of the microbolometer 900. By changing the integration time setting, the microbolometer 900 changes the exposure time. When the integration time becomes relatively short, the dynamic range of the signal output by the microbolometer 900 becomes relatively wide. That is, when the dynamic range is changed from the first temperature range to the second temperature range, the dynamic range control unit 150 sends an instruction to the microbolometer 900 to shorten the integration time.
  • the dynamic range instruction may be a gain setting instead of the integration time.
  • gain setting when the dynamic range is changed from the first temperature range to the second temperature range, the dynamic range control unit 150 sends an instruction to lower the gain to the microbolometer 900.
  • the pixel repair determination unit 160 receives information on the brightness value of the imaging data from the pixel non-uniformity correction unit 120, and detects the presence or absence of an abnormal region from the received information.
  • the abnormal region is an region including pixel data in an abnormal state.
  • the pixel data is compared with the frame average value, and a value different from the frame average value by a predetermined value or more. Pixels are detected as abnormal pixels.
  • the area where a plurality of abnormal pixels exist is defined as an abnormal area.
  • the microbolometer 900 When the microbolometer 900 images the sun, the brightness value of the pixels in the region where the sun is imaged reaches the upper limit and becomes saturated.
  • the microbolometer 900 is designed with an upper limit of dynamic range of, for example, 200 degrees. In this case, even if the dynamic range is set to the upper limit of 200 degrees, the pixels that image the sun are saturated. At this time, the image sensor that images the sun is in an abnormal state in which the signal cannot be output correctly. Further, it is known that it takes time for the image sensor in an abnormal state to return to the normal state even after being protected from sunlight by closing the shutter.
  • the pixel restoration determination unit 160 detects the presence or absence of an abnormal region in the imaging data in the state where the shutter is closed.
  • the pixel restoration determination unit 160 supplies information regarding the presence / absence of an abnormal region to the shutter control unit 170.
  • the shutter control unit 170 controls the opening and closing of the shutter for protecting the infrared imaging element based on the detection result of the saturation region and the setting of the dynamic range. For example, the shutter control unit 170 closes the shutter when the dynamic range is set to the second temperature range and the saturation region detection unit detects the saturation region. More specifically, the shutter control unit 170 is connected to the saturation region detection unit 140, and receives an instruction from the saturation region detection unit 140 to close the shutter 901. When the shutter control unit 170 receives an instruction to close the shutter 901 from the saturation region detection unit 140, the shutter control unit 170 closes the shutter 901 in response to this instruction.
  • the shutter control unit 170 is connected to the pixel repair determination unit 160 and receives information regarding the presence or absence of an abnormal region in the imaging data in the state where the shutter 901 is closed.
  • the shutter control unit 170 receives information indicating that an abnormal region exists in the imaging data in the state where the shutter 901 is closed, the shutter control unit 170 maintains the shutter 901 in the closed state.
  • the shutter control unit 170 receives information that the abnormal region does not exist in the imaging data in the state where the shutter 901 is closed, the shutter control unit 170 performs a process of opening the shutter 901 from the closed state.
  • the shutter control unit 170 also controls to periodically close the shutter 901 in order to periodically correct the temperature of the microbolometer 900.
  • the image processing device 100 has been described above. Next, an outline of each configuration connected to the image processing device 100 will be described.
  • the microbolometer 900 is an embodiment of an infrared imaging element.
  • the microbolometer 900 is composed of infrared detection elements arranged in a matrix, and the infrared detection element detects far infrared rays. Further, the microbolometer 900 performs photoelectric conversion of the detected far infrared rays to generate imaging data, and supplies the generated imaging data to the defect pixel correction unit 110 of the image processing apparatus 100.
  • the microbolometer 900 is installed on the moving body so as to capture a thermal image around the moving body.
  • the moving body is a car
  • it is installed facing the front of the car in order to be able to photograph the traveling direction of the car, but it may be installed so as to face another direction.
  • the shutter 901 allows or suppresses external light from entering the microbolometer 900.
  • the operation of the shutter 901 is controlled by the shutter control unit 170.
  • the shutter 901 passes external light and causes the microbolometer 900 to receive light.
  • the shutter 901 blocks outside light to protect the microbolometer 900 from outside light. Further, the shutter 901 has a function of correcting the temperature of the microbolometer 900.
  • the monitor 902 is a display device installed so that information can be presented to the user, and includes, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the monitor 902 is connected to the AGC processing unit 130 of the image processing device 100, receives the image pickup data from the AGC processing unit 130, and displays the received image pickup data.
  • the monitor 902 may display an image showing a recognized person in addition to the captured data.
  • FIG. 2 is a flowchart of the image processing apparatus according to the first embodiment.
  • the flowchart shown in FIG. 2 is started when the image processing device 100 receives the imaging data from the microbolometer 900.
  • the dynamic range of the microbolometer 900 is set to the first temperature range (for example, 10 to 50 degrees).
  • the flowchart shown in FIG. 2 mainly describes the processing of the saturation region detection unit 140, the dynamic range control unit 150, the pixel restoration determination unit 160, and the shutter control unit 170, and the processing of other configurations is omitted as appropriate. Has been done. However, the processing of each configuration and the signal flow are as described with reference to FIG.
  • the saturation region detection unit 140 starts detecting the saturation region (step S10).
  • the image processing device 100 determines whether or not a saturated region has been detected in the captured data (step S11).
  • step S11 If it is not determined that the saturated region has been detected in the imaged data (step S11: No), the image processing apparatus 100 repeats step S11. That is, the image processing device 100 sequentially detects the saturated region with respect to the acquired image data.
  • the image processing apparatus 100 changes the dynamic range from the first temperature range to the second temperature range (for example, 10 degrees to 200 degrees) (step). S12).
  • the image processing device 100 determines whether or not the saturation region has been detected with respect to the imaging data generated after changing the dynamic range (step S13).
  • the reason for performing such processing is that even when the saturated region is detected in the first temperature range, the detected saturated region may not be due to sunlight. That is, by detecting the saturation region for the imaging data in which the dynamic range is expanded from the first temperature range to the second temperature range, the image processing apparatus 100 can detect the saturation region in the first temperature range due to sunlight. Judge whether or not.
  • step S13 When it is not determined that the saturation region has been detected in the imaging data generated after changing the dynamic range to the second temperature range (step S13: No), the saturation region detected in the first temperature range is due to sunlight. It's not a thing. Therefore, the image processing apparatus 100 returns the dynamic range setting from the second temperature range to the first temperature range (step S18), and returns to step S11 again.
  • step S13 when it is determined that a saturated region has been detected in the imaging data generated after changing the dynamic range to the second temperature range (step S13: Yes), the saturated region is due to sunlight. Therefore, the image processing device 100 closes the shutter 901 (step S14).
  • the image processing device 100 returns the dynamic range from the second temperature range to the first temperature range again (step S15). Further, the image processing apparatus 100 determines whether or not an abnormal region is detected in the image pickup data generated with the shutter 901 closed (step S16).
  • step S16 When it is determined that an abnormal region is detected in the imaging data generated with the shutter 901 closed (step S16: Yes), the image processing apparatus 100 repeats step S16. That is, the image processing device 100 sequentially acquires the imaging data in the state where the shutter 901 is closed, and determines whether or not an abnormal region is detected in the acquired imaging data.
  • step S16 when it is not determined that an abnormal region is detected in the imaging data generated with the shutter 901 closed (step S16: No), the image processing device 100 opens the shutter 901 (step S17).
  • the image processing device 100 opens the shutter 901 because the abnormal state of the image sensor, which has been in an abnormal state due to sunlight, has been resolved.
  • the image processing apparatus 100 repeats the process from step S11 again. The order of step S15 and step S16 may be reversed.
  • FIG. 3 is a diagram showing a first example of an image generated by the image processing apparatus according to the first embodiment.
  • FIG. 3 is a thermal image A11 generated by the image processing apparatus 100.
  • the thermal image A11 shown in FIG. 3 is an example in which the dynamic range of the microbolometer 900 is set to the first temperature range and the image is taken.
  • the thermal image A11 is an image of the traveling direction of the vehicle equipped with the thermal image display system 10.
  • the thermal image A11 includes another vehicle D11. Further, the other vehicle D11 includes a muffler D12.
  • the thermal image A11 detects the electromagnetic waves radiated by the object, the high heat part is displayed brightly. Therefore, in the thermal image A11, the other vehicle D11 is displayed relatively brightly.
  • the muffler D12 which has a particularly high temperature among the other vehicles D11, is displayed in white. The brightness of the muffler D12 displayed in white in the thermal image A11 is saturated.
  • FIG. 4 is a diagram showing a second example of an image generated by the image processing apparatus according to the first embodiment.
  • the thermal image A12 shown in FIG. 4 is an example in which the dynamic range of the microbolometer 900 is set to a second temperature range wider than the first temperature range and the image is taken.
  • the thermal image A12 Compared with the thermal image A11, the thermal image A12 has a reduced bright range as a whole. The tone of the other vehicle D11 is also displayed dark, and the muffler D12 is no longer saturated.
  • the image processing apparatus 100 can return the dynamic range to the first temperature range again and continue imaging without closing the shutter 901.
  • FIG. 5 is a diagram showing a third example of an image generated by the image processing apparatus according to the first embodiment.
  • the thermal image A13 shown in FIG. 5 is an example in which the dynamic range of the microbolometer 900 is set to the first temperature range and the image is taken.
  • the sun D13 is included in the upper left of the screen in addition to the other vehicle D11.
  • the sun D13 is displayed in white because of its high temperature. That is, the brightness of the portion displaying the sun D13 is saturated.
  • FIG. 6 is a diagram showing a fourth example of an image generated by the image processing apparatus according to the first embodiment.
  • the thermal image A14 shown in FIG. 6 is an example in which the dynamic range of the microbolometer 900 is set to the second temperature range and the image is taken.
  • the thermal image A13 has a reduced bright range as a whole.
  • the tone of the other vehicle D11 is also displayed dark, and the muffler D12 is no longer saturated.
  • the sun D13 although the saturated region is slightly reduced, the central portion is saturated.
  • the image processing device 100 appropriately grasps the presence of sunlight and closes the shutter in order to protect the image sensor.
  • the image processing device 100 is not limited to the above.
  • the image processing apparatus 100 may include at least one of a microbolometer 900, a shutter 901, and a monitor 902 in addition to the above-described configuration.
  • each configuration described in FIG. 1 may be provided separately, or a plurality of configurations may be integrally configured.
  • a part of the configuration described with reference to FIG. 1 may be provided in a remote location, and the above-described configuration may be realized by wireless communication.
  • the image processing apparatus 100 when the image processing apparatus 100 according to the first embodiment detects a pixel saturation state in a state where the dynamic range is in the first temperature range, the dynamic range is set to a second temperature range wider than the first temperature range.
  • the temperature By changing the temperature, sunlight can be suitably detected. Therefore, according to the first embodiment, it is possible to provide an image processing device or the like that appropriately detects sunlight and protects the infrared sensor from sunlight.
  • FIG. 7 is a block diagram of the image processing apparatus according to the second embodiment.
  • FIG. 7 shows the thermal image display system 10 according to the second embodiment.
  • the thermal image display system 10 has an image processing device 200 instead of the image processing device 100.
  • the image processing device 200 is different from the image processing device 100 in that it has a detection range setting unit 210.
  • the defective pixel correction unit 110 receives the imaging data from the microbolometer 900 and supplies the corrected imaging data to the pixel non-uniformity correction unit 120 and the detection range setting unit 210, respectively.
  • the detection range setting unit 210 sets a range (detection range) in which the saturation region detection unit 140 detects the saturation region. Specifically, for example, the detection range setting unit 210 receives the image pickup data from the defect pixel correction unit 110, and cuts out the detection range which is a set part of the received image pickup data.
  • the detection range may be one predetermined range or may vary depending on predetermined conditions.
  • the detection range setting unit 210 may set the detection range with at least one of the time, the weather, the posture of the vehicle, and the traveling direction of the vehicle as parameters.
  • the detection range setting unit 210 supplies the cut out imaging data to the saturation region detection unit 140. Therefore, the saturation region detection unit 140 detects the saturation region from the received imaging data in the same manner as in the first embodiment.
  • FIG. 8 is a flowchart of the image processing apparatus according to the second embodiment.
  • the image processing device 200 sets the detection range (step S20). After setting the detection range, the image processing apparatus 200 then starts detecting the saturated region with respect to the detection range (step S10).
  • the image processing device 200 determines whether or not a saturated region has been detected within the detection range of the imaging data (step S21). If it is not determined that the saturated region has been detected within the detection range (step S21: No), the image processing apparatus 200 repeats step S21. That is, the image processing apparatus 100 sequentially detects the saturated region within the detection range with respect to the acquired imaging data. When it is determined that the saturated region is detected within the detection range (step S21: Yes), the image processing apparatus 100 changes the dynamic range from the first temperature range to the second temperature range (for example, 10 degrees to 200 degrees) (for example, 10 degrees to 200 degrees). Step S12).
  • the image processing device 100 determines whether or not a saturated region has been detected with respect to the detection range of the imaging data generated after changing the dynamic range (step S23).
  • step S23 determines whether or not a saturated region has been detected with respect to the detection range of the imaging data generated after changing the dynamic range to the second temperature range (step S23: No).
  • the saturation region detected in the first temperature range is Not due to sunlight. Therefore, the image processing apparatus 200 returns the setting of the dynamic range from the second temperature range to the first temperature range (step S18), and returns to step S21 again.
  • step S23 when it is determined that a saturated region has been detected in the imaging data generated after changing the dynamic range to the second temperature range (step S23: Yes), the saturated region is due to sunlight. Therefore, the image processing device 100 closes the shutter 901 (step S14).
  • the processes from step S14 to step S17 are the same as the processes described in the first embodiment. Therefore, the description thereof is omitted here.
  • the image processing apparatus 200 detects the saturated region with respect to the set detection range. Therefore, the image processing device 200 can execute the processing at high speed.
  • the process of step S20 may be performed before the image processing device 200 acquires the imaging data from the microbolometer 900.
  • FIG. 9 is a diagram showing an example of an image detected by the image processing apparatus according to the second embodiment.
  • FIG. 9 is a thermal image A21 generated by the image processing apparatus 200.
  • the thermal image A21 shown in FIG. 9 is an example in which the dynamic range of the microbolometer 900 is set to the first temperature range and the image is taken.
  • the thermal image A21 includes another vehicle D11, a muffler D12, and the sun D13. As shown in FIG. 9, the muffler D12 and the sun D13 are displayed in white because the temperature is relatively high. That is, the brightness of the portion displaying the muffler D12 and the sun D13 is saturated.
  • FIG. 9 shows the detection range R21.
  • the rectangle shown by the alternate long and short dash line in FIG. 9 indicates a boundary line defining the detection range R21. That is, the detection range R21 is the range inside the rectangle indicated by the alternate long and short dash line.
  • the detection range R21 shown in FIG. 9 is a range of about 40% above the thermal image A21 in the vertical direction. That is, the image processing device 200 detects the saturated region of the detection range R21 cut out from the image pickup data. Therefore, the image processing apparatus 200 does not detect the muffler D12 as the saturation region, but performs the above-mentioned processing on the region where the sun D13 is imaged.
  • the detection range setting unit 210 can set a state in which there is no detection range (that is, a state in which the detection range is not cut out). Further, in the above-mentioned setting of the detection range, the detection range setting unit 210 may set the detection range with at least one of the time, the weather, the posture of the vehicle and the traveling direction of the vehicle as parameters.
  • the detection range setting unit 210 may set a state in which there is no detection range at a time when the sun does not appear. Further, the detection range setting unit 210 may acquire weather information and set a state in which there is no detection range in the case of rain. Further, the detection range setting unit 210 extends the detection range to the lower side of the thermal image A21 in the morning and evening when the position of the sun is relatively low, and extends the detection range to the upper side of the thermal image A21 in the daytime when the position of the sun is relatively high. It may be narrowed down to. Further, the detection range setting unit 210 may detect the posture of the vehicle, widen the detection range when going up a hill, and narrow the detection range when going down a hill. Further, the detection range setting unit 210 detects the time information and the traveling direction of the vehicle, sets a wide detection range when traveling eastward in the morning, and heads westward in the morning, for example. When traveling, a state where there is no detection range may be set.
  • the image processing apparatus 200 when the image processing apparatus 200 according to the second embodiment detects the saturation state of the pixels in the state where the dynamic range is in the first temperature range, the dynamic range is set to the second temperature range wider than the first temperature range. By changing the temperature, sunlight can be suitably detected. Further, the image processing device 200 can efficiently detect sunlight by setting the detection range. Therefore, according to the second embodiment, it is possible to provide an image processing device or the like that appropriately detects sunlight and protects the infrared sensor from sunlight.
  • Non-transient computer-readable media include various types of tangible recording media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory) CD-Rs, CDs. -R / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the image processing device can be applied not only to automobiles but also to moving objects such as motorcycles, ships, airplanes, mobile robots, and drones.
  • the present disclosure is applicable to, for example, an image processing device mounted on a moving body such as an automobile, a motorcycle, a ship, an airplane, a mobile robot, and a drone.
  • Thermal image display system 100 200 Image processing device 110 Defective pixel correction unit 120 Pixel non-uniformity correction unit 130 AGC processing unit 140 Saturation area detection unit 150 Dynamic range control unit 160 Pixel repair judgment unit 170 Shutter control unit 210 Detection range setting unit 900 Microborometer 901 Shutter 902 Monitor A11, A12, A13, A14, A21 Thermal image D11 Other vehicle D12 Muffler D13 Sun R21 Detection range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Radiation Pyrometers (AREA)

Abstract

画像処理装置（１００）は、飽和領域検出部（１４０）、ダイナミックレンジ制御部（１５０）、およびシャッタ制御部（１７０）を有している。飽和領域検出部（１４０）は、移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、撮像データに飽和画素が存在することを検出する。ダイナミックレンジ制御部（１５０）は、飽和領域の検出結果に応じて赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。シャッタ制御部（１７０）は、飽和領域の検出結果およびダイナミックレンジの設定に基づいて赤外線撮像素子を保護するためのシャッタの開閉を制御する。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は画像処理装置、画像処理方法およびプログラムに関する。
　物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。またこのような物体検出システムを用いて、例えば自動車の安全性を向上させることが期待されている。一方、赤外線カメラは、物体の熱を検出するという特性上、太陽光を撮像すると撮像素子として用いられているマイクロボロメータが異常を起こす可能性がある。そのため、太陽光の影響を抑制するための技術が必要とされている。
　例えば、特許文献１に記載の遠赤外線撮像装置は、遠赤外線検知画素により検知されている遠赤外線の量が、第１の量以上であるか否かを判定し、検知されている遠赤外線の量が第１の量以上である遠赤外線検知画素がある場合には、シャッタを閉鎖する。一方、シャッタを閉鎖した後、検知されている遠赤外線の量が、第１の量以下である第２の量未満であるか否かを遠赤外線検知画素ごとに判定し、全ての遠赤外線検知画素について検知されている遠赤外線の量が第２の量未満である場合には、シャッタを開放する。
特開２００９－００５１２０号公報
　赤外線撮像装置が有するマイクロボロメータは、物体検出の解像度を向上させるために、ダイナミックレンジを狭めて使用される。このような場合には、マイクロボロメータが異常を起こさない温度範囲であっても、検出信号が飽和する。そのため、赤外線撮像装置は、マイクロボロメータを保護するために過度にシャッタを閉じてしまう虞がある。しかしながら、シャッタが閉じられている期間は物体検出の機能が使用できないため、必要な場合にシャッタを適切に閉じる技術が期待されている。
　本実施形態は、このような課題を解決するためになされたものであって、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供することを目的とする。
　本実施形態にかかる画像処理装置は、飽和領域検出部、ダイナミックレンジ制御部、およびシャッタ制御部を有している。飽和領域検出部は、移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和画素が存在することを検出する。ダイナミックレンジ制御部は、前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。シャッタ制御部は、前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御する。
　本実施形態にかかる画像処理方法は、飽和領域検出ステップ、ダイナミックレンジ制御ステップ、およびシャッタ制御ステップを有している。飽和領域検出ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和画素が存在することを検出する飽和領域検出を行う。ダイナミックレンジ制御ステップは、前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。シャッタ制御ステップは、前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御する。
　本実施形態にかかるプログラムは、コンピュータに以下の画像処理方法を実行させる。上記画像処理方法は、飽和領域検出ステップ、ダイナミックレンジ制御ステップ、およびシャッタ制御ステップを有している。飽和領域検出ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和画素が存在することを検出する飽和領域検出を行う。ダイナミックレンジ制御ステップは、前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。シャッタ制御ステップは、前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御する。
　本実施形態によれば、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供することができる。
実施の形態１にかかる画像処理装置のブロック図である。 実施の形態１にかかる画像処理装置のフローチャートである。 実施の形態１にかかる画像処理装置が生成する画像の第１例を示す図である。 実施の形態１にかかる画像処理装置が生成する画像の第２例を示す図である。 実施の形態１にかかる画像処理装置が生成する画像の第３例を示す図である。 実施の形態１にかかる画像処理装置が生成する画像の第４例を示す図である。 実施の形態２にかかる画像処理装置のブロック図である。 実施の形態２にかかる画像処理装置のフローチャートである。 実施の形態２にかかる画像処理装置が生成する画像の例を示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　＜実施の形態１＞
　以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる画像処理装置のブロック図である。図１に示す画像処理装置１００は、自動車の周辺の熱画像を撮像してモニタに表示する熱画像表示システム１０の構成要素である。熱画像表示システム１０は主な構成として、画像処理装置１００、マイクロボロメータ９００、シャッタ９０１およびモニタ９０２を有している。
　以下に、画像処理装置１００について説明する。画像処理装置１００は、例えばＣＰＵ（Central Processing Unit）やＭＣＵ（Micro Controller Unit）などの演算装置を有している。また画像処理装置１００は、上記演算装置に加えて、フラッシュメモリもしくはＤＲＡＭ（Dynamic Random Access Memory）のような不揮発性もしくは揮発性のメモリ、およびその他の電気回路により構成された制御基板を少なくとも有している。画像処理装置１００は、これらの演算装置などにプログラムが組み込まれており、ソフトウェアまたはハードウェアの組み合わせにより以下に示す機能を実現する。
　画像処理装置１００は、マイクロボロメータ９００が撮像した熱画像の撮像データを取得して、取得した撮像データに予め設定された処理を施す。画像処理装置１００は予め設定された処理を施した撮像データをモニタ９０２に出力する。画像処理装置１００は主な構成として、欠陥画素補正部１１０、画素不均一補正部１２０、ＡＧＣ処理部１３０（AGC=Auto-Gain-Control）、飽和領域検出部１４０、ダイナミックレンジ制御部１５０、画素修復判断部１６０およびシャッタ制御部１７０を有している。画像処理装置１００は、マイクロボロメータ９００が撮像した熱画像に基づき人物などを認識する認識処理部を備えていてもよい。
　欠陥画素補正部１１０は、マイクロボロメータ９００から撮像データを受け取り、撮像データに含まれる欠陥画素によるデータを補正する。欠陥画素補正部１１０は例えば、シャッタを閉じた状態で欠陥画素の座標を検出し、検出した欠陥画素の座標を記憶しておく。さらに欠陥画素補正部１１０は、記憶した欠陥画素のデータを、隣接する画素のデータから補間データを生成することにより補正する。欠陥画素補正部１１０は、補正した撮像データを、画素不均一補正部１２０および飽和領域検出部１４０のそれぞれに供給する。
　画素不均一補正部１２０は、欠陥画素補正部１１０から受け取った撮像データの画素ごとに生じている不均一状態を補正する。画素ごとの不均一な状態は、画素ごとの特性のばらつき等により発生する。画素不均一補正部１２０は例えばＮＵＣ（Non-Uniformity Correction）と呼ばれる手法を用いて画素ごとのゲインやオフセットを調整することにより撮像データを補正する。画素不均一補正部１２０は、補正した撮像データをＡＧＣ処理部１３０および画素修復判断部１６０のそれぞれに供給する。
　ＡＧＣ処理部１３０は、画素不均一補正部１２０から撮像データを受け取り、撮像データのコントラストを調整する。ＡＧＣ処理部１３０は、撮像データのコントラストを調整することにより、モニタ９０２に熱画像を表示する際に、ユーザにとって見やすい画像を生成する。また、ＡＧＣ処理部１３０は、撮像データのコントラストを調整することにより、熱画像に対して物体認識処理を行う際に、認識処理に適切な熱画像を出力することができる。ＡＧＣ処理部１３０は、撮像データに対して、例えば、コントラスト制限適応ヒストグラム均等化などのヒストグラム均等化手法などを用いる。
　飽和領域検出部１４０は、欠陥画素補正部１１０から撮像データを受け取り、受け取った撮像データから飽和領域検出を行う。飽和領域は、飽和画素ないし実質的に飽和している画素が存在する領域である。飽和画素とは、画素データが上限値となった状態の画素をいう。例えば、撮像データの各画素の輝度レベルがゼロから２５５までの８ビットで表現されている場合に、輝度レベルが２５５の値を有する座標の画素を飽和画素という。
　飽和領域検出部１４０は、例えば隣接する４個以上の画素が飽和画素であることを検出した場合に、飽和領域が存在すると判断する。あるいは飽和領域検出部１４０は、例えば近接する９個以上の画素が輝度値の上限の９８パーセント以上である場合に、飽和領域が存在すると判断する。飽和領域検出部１４０は、受け取った撮像データに飽和領域が存在すると検出した場合、飽和領域の検出結果を示す信号を、ダイナミックレンジ制御部１５０に供給する。
　また飽和領域検出部１４０は、ダイナミックレンジ制御部１５０からダイナミックレンジの設定に関する情報を取得する。ダイナミックレンジの設定に関する情報には、マイクロボロメータ９００に設定されているダイナミックレンジの設定が第１温度範囲か第２温度範囲かを示す情報が含まれる。第１温度範囲は、例えばマイクロボロメータにより検出する温度の範囲が１０度から５０度となるように設定された範囲である。第２温度範囲は、第１温度範囲よりも上限値が高く設定された範囲であって、例えばマイクロボロメータにより検出する温度の範囲が１０度から２００度となるように設定された範囲である。飽和領域検出部１４０は、ダイナミックレンジの設定が第２温度範囲の場合において、取得した撮像データに上述の飽和領域を検出した場合には、シャッタ制御部１７０にシャッタを閉じることを指示する信号を供給する。
　ダイナミックレンジ制御部１５０は、飽和領域検出部１４０と連携し、飽和領域の検出結果に応じてマイクロボロメータのダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。ダイナミックレンジ制御部１５０は、飽和領域検出部１４０に接続し、飽和領域を検出したことを示す信号を受け取る。またダイナミックレンジ制御部１５０は、マイクロボロメータ９００に接続し、ダイナミックレンジの設定を指示する信号を供給する。なお、本実施の形態におけるダイナミックレンジは、「シーンダイナミックレンジ」と言い換えてもよい。
　より具体的には、ダイナミックレンジ制御部１５０は、例えばダイナミックレンジの設定が第１温度範囲となっている場合において、飽和領域検出部１４０が飽和領域を検出した場合に、ダイナミックレンジの設定を第１温度範囲から第２温度範囲に変更する。またダイナミックレンジ制御部１５０は、例えばダイナミックレンジの設定が第２温度範囲となっている場合において、飽和領域検出部１４０が飽和領域を検出しない場合に、ダイナミックレンジの設定を第２温度範囲から第１温度範囲に変更する。
　なお、ダイナミックレンジ制御部１５０がダイナミックレンジを第１温度範囲および第２温度範囲に設定する処理を行う場合、ダイナミックレンジ制御部１５０は、例えば、マイクロボロメータ９００のインテグレーションタイムの設定を変更する。インテグレーションタイムの設定を変更することにより、マイクロボロメータ９００は露光時間を変更する。インテグレーションタイムが相対的に短くなると、マイクロボロメータ９００が出力する信号のダイナミックレンジが相対的に広くなる。すなわち、ダイナミックレンジを第１温度範囲から第２温度範囲に変更する場合、ダイナミックレンジ制御部１５０は、マイクロボロメータ９００に対してインテグレーションタイムを短くする指示を送る。
　なお、ダイナミックレンジの指示はインテグレーションタイムに代えて、ゲインの設定であってもよい。ゲインの設定の場合において、ダイナミックレンジを第１温度範囲から第２温度範囲に変更する場合、ダイナミックレンジ制御部１５０は、マイクロボロメータ９００に対してゲインを下げる指示を送る。
　画素修復判断部１６０は、画素不均一補正部１２０から撮像データの輝度値に関する情報を受け取り、受け取った情報から異常領域の有無を検出する。異常領域とは、異常状態の画素データを含む領域である。
　異常領域の有無の検出は、例えば、シャッタを閉じた状態、つまり熱的に均一な面を撮像している状態において、画素データをフレーム平均値と比較し、フレーム平均値から所定値以上異なる値の画素を異常画素として検出する。異常画素が複数存在する領域を異常領域とする。
　ここで、画素データが異常状態になる場合について説明する。マイクロボロメータ９００が太陽を撮像した場合には、太陽を撮像した領域の画素の輝度値は上限に達して飽和した状態となる。一般に、マイクロボロメータ９００はダイナミックレンジの上限が、例えば２００度で設計されている。この場合、ダイナミックレンジの設定を上限である２００度に設定しても、太陽を撮像した画素は飽和する。このとき、太陽を撮像した撮像素子は、正しく信号を出力できない異常状態となる。また異常状態となった撮像素子は、シャッタを閉じることにより太陽光から保護された後も、正常状態に復帰するのに時間を要することが知られている。
　そこで、画素修復判断部１６０は、シャッタが閉じられた状態の撮像データに対して異常領域の有無を検出する。画素修復判断部１６０は、異常領域の有無に関する情報を、シャッタ制御部１７０に供給する。
　シャッタ制御部１７０は、飽和領域の検出結果およびダイナミックレンジの設定に基づいて赤外線撮像素子を保護するためのシャッタの開閉を制御する。例えば、シャッタ制御部１７０は、ダイナミックレンジが第２温度範囲に設定された状態、かつ、飽和領域検出部が飽和領域を検出した場合に、シャッタを閉じる。より具体的には、シャッタ制御部１７０は、飽和領域検出部１４０に接続し、飽和領域検出部１４０からシャッタ９０１を閉じる指示を受ける。シャッタ制御部１７０は、飽和領域検出部１４０からシャッタ９０１を閉じる指示を受けると、この指示に応じてシャッタ９０１を閉じる。
　またシャッタ制御部１７０は、画素修復判断部１６０に接続し、シャッタ９０１を閉じた状態の撮像データにおける異常領域の有無に関する情報を受け取る。シャッタ制御部１７０は、シャッタ９０１を閉じた状態の撮像データに異常領域が存在する旨の情報を受け取った場合、シャッタ９０１の閉じた状態を維持する。一方、シャッタ制御部１７０は、シャッタ９０１を閉じた状態の撮像データに異常領域が存在しない旨の情報を受け取った場合、シャッタ９０１を閉じた状態から開く処理を行う。シャッタ制御部１７０は、マイクロボロメータ９００の温度補正を定期的に行うために、シャッタ９０１を定期的に閉じる制御も行う。
　以上、画像処理装置１００について説明した。次に、画像処理装置１００に接続している各構成について概要を説明する。
　マイクロボロメータ９００は、赤外線撮像素子の一実施態様である。マイクロボロメータ９００は、マトリクス状に配置された赤外線検出素子で構成されており、赤外線検出素子が遠赤外線を検出する。また、マイクロボロメータ９００は、検出した遠赤外線を光電変換して撮像データを生成し、生成した撮像データを、画像処理装置１００の欠陥画素補正部１１０に供給する。
　マイクロボロメータ９００は、移動体の周辺の熱画像を撮像するように、移動体に設置されている。移動体が自動車である場合は、自動車の進行方向を撮影可能するために、自動車の前方を向いて設置されているが、他の方向を向くように設置されていてもよい。
　シャッタ９０１は、マイクロボロメータ９００に外光が入射するのを許容したり抑制したりする。シャッタ９０１はシャッタ制御部１７０によりその動作が制御されている。シャッタ９０１が開いている場合、シャッタ９０１は外光を通過させてマイクロボロメータ９００に受光させる。シャッタ９０１が閉じている場合、シャッタ９０１は外光を遮断してマイクロボロメータ９００を外光から保護する。また、シャッタ９０１は、マイクロボロメータ９００の温度補正を行う機能を備えている。
　モニタ９０２は、ユーザに情報を提示できるように設置された表示装置であって、例えば液晶パネルまたは有機ＥＬ（Electro Luminescence）パネル等を含む。モニタ９０２は、画像処理装置１００のＡＧＣ処理部１３０に接続し、ＡＧＣ処理部１３０から撮像データを受け取り、受け取った撮像データを表示する。モニタ９０２には、撮像データに加えて認識した人物を示す画像を含めて表示してもよい。
　次に、実施の形態１にかかる画像処理装置１００が行う処理について説明する。図２は、実施の形態１にかかる画像処理装置のフローチャートである。図２に示すフローチャートは、画像処理装置１００がマイクロボロメータ９００から撮像データを受け取ると開始される。なお、図２に示す処理を開始するにあたり、マイクロボロメータ９００のダイナミックレンジは第１温度範囲（例えば１０度から５０度）に設定されている。なお、図２に示すフローチャートは、飽和領域検出部１４０、ダイナミックレンジ制御部１５０、画素修復判断部１６０およびシャッタ制御部１７０の処理を中心に説明しており、その他の構成の処理については適宜省略されている。ただし、各構成の処理や信号の流れについては、図１を参照して説明したとおりである。
　まず、画像処理装置１００は、マイクロボロメータ９００から撮像データを受け取ると、飽和領域検出部１４０が飽和領域の検出を開始する（ステップＳ１０）。次に、画像処理装置１００は、撮像データに飽和領域を検出したか否かを判断する（ステップＳ１１）。
　撮像データに飽和領域を検出したと判断しない場合（ステップＳ１１：Ｎｏ）、画像処理装置１００は、ステップＳ１１を繰り返す。すなわち、画像処理装置１００は、取得する撮像データに対して順次、飽和領域の検出を行う。
　撮像データに飽和領域を検出したと判断した場合（ステップＳ１１：Ｙｅｓ）、画像処理装置１００は、ダイナミックレンジを第１温度範囲から第２温度範囲（例えば１０度から２００度）に変更する（ステップＳ１２）。
　次に、画像処理装置１００は、ダイナミックレンジを変更した後に生成された撮像データに対して、飽和領域を検出したか否かを判断する（ステップＳ１３）。このような処理を行う理由は、第１温度範囲で飽和領域を検出した場合であっても、検出した飽和領域が太陽光によるものでない可能性があるからである。すなわち、ダイナミックレンジを第１温度範囲から第２温度範囲に広げた撮像データに対して飽和領域を検出することにより、画像処理装置１００は、第１温度範囲で検出した飽和領域が太陽光によるものか否かを判断する。
　ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データに対して、飽和領域を検出したと判断しない場合（ステップＳ１３：Ｎｏ）、第１温度範囲で検出した飽和領域は、太陽光によるものではない。そこで、画像処理装置１００は、ダイナミックレンジの設定を第２温度範囲から第１温度範囲に戻し（ステップＳ１８）、再びステップＳ１１に戻る。
　一方、ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データに対して、飽和領域を検出したと判断する場合（ステップＳ１３：Ｙｅｓ）、その飽和領域は太陽光によるものである。そこで、画像処理装置１００は、シャッタ９０１を閉じる（ステップＳ１４）。
　次に、画像処理装置１００は、ダイナミックレンジを、第２温度範囲から再び第１温度範囲に戻す（ステップＳ１５）。さらに、画像処理装置１００は、シャッタ９０１を閉じた状態で生成された撮像データに対して、異常領域が検出されるか否かを判断する（ステップＳ１６）。
　シャッタ９０１を閉じた状態で生成された撮像データに異常領域が検出されると判断する場合（ステップＳ１６：Ｙｅｓ）、画像処理装置１００は、ステップＳ１６を繰り返す。すなわち、画像処理装置１００は、シャッタ９０１を閉じた状態の撮像データを順次取得し、取得した撮像データに対して異常領域が検出されるか否かを判断する。
　一方、シャッタ９０１を閉じた状態で生成された撮像データに異常領域が検出されると判断しない場合（ステップＳ１６：Ｎｏ）、画像処理装置１００は、シャッタ９０１を開く（ステップＳ１７）。ここで画像処理装置１００がシャッタ９０１を開くのは、太陽光により異常状態となっていた撮像素子の異常状態が解消されたからである。画像処理装置１００はシャッタ９０１を開いた後に、再びステップＳ１１から処理を繰り返す。なお、ステップＳ１５とステップＳ１６は順序が逆でもよい。
　次に、熱画像の例を参照して、ダイナミックレンジの設定の違いについて説明する。図３は、実施の形態１にかかる画像処理装置が生成する画像の第１例を示す図である。図３には、画像処理装置１００が生成する熱画像Ａ１１である。図３に示す熱画像Ａ１１は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲に設定されて撮像された例である。熱画像Ａ１１は、熱画像表示システム１０を搭載した車両の進行方向を撮像したものである。熱画像Ａ１１は、他車両Ｄ１１が含まれる。また他車両Ｄ１１にはマフラーＤ１２が含まれる。
　熱画像Ａ１１は、物体が放射する電磁波を検出するため、熱の高い部分は明るく表示される。そのため、熱画像Ａ１１では、他車両Ｄ１１が相対的に明るく表示されている。また他車両Ｄ１１の中でも特に温度の高いマフラーＤ１２は白く表示されている。熱画像Ａ１１で白く表示されているマフラーＤ１２の輝度は飽和状態となっている。
　次に図４を参照して、ダイナミックレンジが第２温度範囲の場合の画像について説明する。図４は、実施の形態１にかかる画像処理装置が生成する画像の第２例を示す図である。図４に示す熱画像Ａ１２は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲より広い第２温度範囲に設定されて撮像された例である。
　熱画像Ａ１２は、熱画像Ａ１１と比較すると、全体として明るい範囲が減少している。他車両Ｄ１１もトーンが暗く表示され、マフラーＤ１２は飽和状態ではなくなっている。
　このように、ダイナミックレンジを第１温度範囲で撮像した場合に飽和状態となっていた領域は、ダイナミックレンジを第２温度範囲に変更することにより、飽和状態ではなくなっている。そのため、画像処理装置１００は、シャッタ９０１を閉じることなく、再びダイナミックレンジを第１温度範囲に戻して撮像を継続できる。
　次に、図５について説明する。図５は、実施の形態１にかかる画像処理装置が生成する画像の第３例を示す図である。図５に示す熱画像Ａ１３は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲に設定されて撮像された例である。熱画像Ａ１３は、他車両Ｄ１１に加えて、画面の左上に太陽Ｄ１３が含まれる。図５に示すように、太陽Ｄ１３は、温度が高いため、白く表示されている。すなわち、太陽Ｄ１３を表示する部分の輝度は飽和状態である。
　次に、図６について説明する。図６は、実施の形態１にかかる画像処理装置が生成する画像の第４例を示す図である。図６示す熱画像Ａ１４は、マイクロボロメータ９００のダイナミックレンジが第２温度範囲に設定されて撮像された例である。
　熱画像Ａ１３は、熱画像Ａ１４と比較すると、全体として明るい範囲が減少している。他車両Ｄ１１もトーンが暗く表示され、マフラーＤ１２は飽和状態ではなくなっている。一方、太陽Ｄ１３は、飽和領域は少し減少しているものの、中心部分は飽和状態となっている。
　このように、ダイナミックレンジを第１温度範囲で撮像した場合に、輝度が飽和状態となっていた領域のうち、太陽光については、ダイナミックレンジを第２温度範囲に変更しても飽和状態となっている。そのため、画像処理装置１００は、太陽光の存在を適切に把握し、撮像素子を保護するためにシャッタを閉じる。
　以上、実施の形態１について説明した。画像処理装置１００は、上述のものに限られない。例えば、画像処理装置１００は、上述の構成に加えて、マイクロボロメータ９００、シャッタ９０１およびモニタ９０２のうち少なくともいずれか１つを含んでいても良い。画像処理装置１００は、図１において説明した各構成が別個に設けられていてもよいし、複数の構成が一体となって構成されていてもよい。図１で説明した構成は、その一部が遠隔の地に設けられており、無線通信により上述の構成を実現するものであってもよい。
　上述のように、実施の形態１にかかる画像処理装置１００は、ダイナミックレンジが第１温度範囲の状態において画素の飽和状態を検出した場合、ダイナミックレンジを第１温度範囲より広い第２温度範囲に変更することにより、太陽光を好適に検出できる。そのため、実施の形態１によれば、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供できる。
　＜実施の形態２＞
　次に、実施の形態２について説明する。図７は、実施の形態２にかかる画像処理装置のブロック図である。図７には、実施の形態２にかかる熱画像表示システム１０が示されている。熱画像表示システム１０は、画像処理装置１００に代えて、画像処理装置２００を有している。画像処理装置２００は、検出範囲設定部２１０を有する点が、画像処理装置１００と異なる。
　欠陥画素補正部１１０は、マイクロボロメータ９００から撮像データを受け取り、補正した撮像データを、画素不均一補正部１２０および検出範囲設定部２１０のそれぞれに供給する。
　検出範囲設定部２１０は、飽和領域検出部１４０が飽和領域検出を行う範囲（検出範囲）を設定する。具体的には例えば、検出範囲設定部２１０は、欠陥画素補正部１１０から撮像データを受け取り、受け取った撮像データのうち、設定された一部分である検出範囲を切り出す。検出範囲は、予め定められた１つのものであってもよいし、所定の条件に応じて変動するものであってもよい。例えば、検出範囲設定部２１０は、時刻、天候、車両の姿勢および車両の進行方向のうち少なくとも１つをパラメータとして検出範囲を設定してもよい。検出範囲設定部２１０は、検出範囲を切り出すと、切り出した撮像データを飽和領域検出部１４０に供給する。よって、飽和領域検出部１４０は、受け取った撮像データの中から実施の形態１と同様に飽和領域を検出する。
　次に、実施の形態２にかかる画像処理装置２００の処理について説明する。図８は、実施の形態２にかかる画像処理装置のフローチャートである。
　まず、画像処理装置２００は、検出範囲を設定する（ステップＳ２０）。画像処理装置２００は、検出範囲を設定すると、次に、検出範囲に対して飽和領域の検出を開始する（ステップＳ１０）。
　次に、画像処理装置２００は、撮像データの検出範囲内に飽和領域を検出したか否かを判断する（ステップＳ２１）。検出範囲内に飽和領域を検出したと判断しない場合（ステップＳ２１：Ｎｏ）、画像処理装置２００は、ステップＳ２１を繰り返す。すなわち、画像処理装置１００は、取得する撮像データに対して順次、検出範囲内に対して飽和領域の検出を行う。検出範囲内に飽和領域を検出したと判断した場合（ステップＳ２１：Ｙｅｓ）、画像処理装置１００は、ダイナミックレンジを第１温度範囲から第２温度範囲（例えば１０度から２００度）に変更する（ステップＳ１２）。
　次に、画像処理装置１００は、ダイナミックレンジを変更した後に生成された撮像データの検出範囲に対して、飽和領域を検出したか否かを判断する（ステップＳ２３）。ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データの検出範囲に対して、飽和領域を検出したと判断しない場合（ステップＳ２３：Ｎｏ）、第１温度範囲で検出した飽和領域は、太陽光によるものではない。そこで、画像処理装置２００は、ダイナミックレンジの設定を第２温度範囲から第１温度範囲に戻し（ステップＳ１８）、再びステップＳ２１に戻る。
　一方、ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データに対して、飽和領域を検出したと判断する場合（ステップＳ２３：Ｙｅｓ）、その飽和領域は太陽光によるものである。そこで、画像処理装置１００は、シャッタ９０１を閉じる（ステップＳ１４）。ステップＳ１４からステップＳ１７までの処理は、実施の形態１で説明した処理と同様である。そのため、ここでは説明を省略する。
　以上に説明した処理により、実施の形態２にかかる画像処理装置２００は、設定された検出範囲に対して飽和領域の検出を行う。よって、画像処理装置２００は、高速に処理を実行できる。なお、ステップＳ２０の処理は、画像処理装置２００がマイクロボロメータ９００から撮像データを取得する前に行われてもよい。
　次に、熱画像の例を参照して、検出範囲の設定についてさらに説明する。図９は、実施の形態２にかかる画像処理装置が検出する画像の例を示す図である。図９は、画像処理装置２００が生成する熱画像Ａ２１である。図９に示す熱画像Ａ２１は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲に設定されて撮像された例である。熱画像Ａ２１には、他車両Ｄ１１、マフラーＤ１２および、太陽Ｄ１３が含まれる。図９に示すように、マフラーＤ１２および太陽Ｄ１３は、比較的に温度が高いため、白く表示されている。すなわち、マフラーＤ１２および太陽Ｄ１３を表示する部分の輝度は飽和状態である。
　図９には、検出範囲Ｒ２１が示されている。図９において一点鎖線により示された矩形は、検出範囲Ｒ２１を画定する境界線を示している。すなわち、検出範囲Ｒ２１は、一点鎖線により示された矩形の内側の範囲である。図９に示された検出範囲Ｒ２１は、熱画像Ａ２１の鉛直方向上側４０パーセント程の範囲である。すなわち、画像処理装置２００は、撮像データから切り出された検出範囲Ｒ２１について、飽和領域の検出を行う。そのため、画像処理装置２００は、マフラーＤ１２を飽和領域として検出することなく、太陽Ｄ１３が撮像された領域について、上述の処理を行う。
　なお、上述の検出範囲の設定において、検出範囲設定部２１０は、検出範囲がない状態（つまり、検出範囲を切り出さない状態）を設定できる。また、上述の検出範囲の設定において、検出範囲設定部２１０は、時刻、天候、車両の姿勢および車両の進行方向のうち少なくとも１つをパラメータとして検出範囲を設定してもよい。
　例えば検出範囲設定部２１０は、太陽が出現しない時刻では、検出範囲がない状態を設定してもよい。また検出範囲設定部２１０は、天候情報を取得し、雨天の場合には検出範囲がない状態を設定してもよい。また検出範囲設定部２１０は、太陽の位置が比較的に低い朝や夕方は検出範囲を熱画像Ａ２１の下側に広げ、太陽の位置が比較的に高い昼間は検出範囲を熱画像Ａ２１の上側に狭めてもよい。また、検出範囲設定部２１０は、車両の姿勢を検出し、坂を上っている場合には検出範囲を広げ、坂を下っている場合には検出範囲を狭くしてもよい。また、検出範囲設定部２１０は、時刻情報と車両の進行方向とを検出し、例えば午前中に東に向かって走行している場合には検出範囲を広く設定し、午前中に西に向かって走行している場合には検出範囲がない状態を設定してもよい。
　上述のように、実施の形態２にかかる画像処理装置２００は、ダイナミックレンジが第１温度範囲の状態において画素の飽和状態を検出した場合、ダイナミックレンジを第１温度範囲より広い第２温度範囲に変更することにより、太陽光を好適に検出できる。また画像処理装置２００は、検出範囲を設定することにより、効率よく太陽光を検出できる。そのため、実施の形態２によれば、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供できる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、画像処理装置は、自動車に限らず、バイク、船、飛行機、移動ロボット、ドローンなどの移動体に適用可能である。
　この出願は、２０２０年１月６日に出願された日本出願特願２０２０－０００４１０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本開示は、例えば、自動車、バイク、船、飛行機、移動ロボット、ドローンなどの移動体に搭載される画像処理装置に適用可能である。
１０　熱画像表示システム
１００、２００　画像処理装置
１１０　欠陥画素補正部
１２０　画素不均一補正部
１３０　ＡＧＣ処理部
１４０　飽和領域検出部
１５０　ダイナミックレンジ制御部
１６０　画素修復判断部
１７０　シャッタ制御部
２１０　検出範囲設定部
９００　マイクロボロメータ
９０１　シャッタ
９０２　モニタ
Ａ１１、Ａ１２、Ａ１３、Ａ１４、Ａ２１　熱画像
Ｄ１１　他車両
Ｄ１２　マフラー
Ｄ１３　太陽
Ｒ２１　検出範囲

Claims (7)

  1. 　移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和領域が存在することを検出する飽和領域検出部と、
    　前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定するダイナミックレンジ制御部と、
    　前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御するシャッタ制御部と、を備える
    画像処理装置。
  2. 　前記ダイナミックレンジ制御部は、前記ダイナミックレンジの設定が前記第１温度範囲のときに前記飽和領域検出部が前記飽和領域を検出した場合に、前記ダイナミックレンジの設定を前記第１温度範囲から前記第２温度範囲に変更する
    請求項１に記載の画像処理装置。
  3. 　前記シャッタ制御部は、前記ダイナミックレンジが前記第２温度範囲に設定された状態、かつ、前記飽和領域検出部が前記飽和領域を検出した場合に、シャッタを閉じる
    請求項１または２に記載の画像処理装置。
  4. 　前記飽和領域検出部は、前記撮像データの一部分であって、前記熱画像における鉛直方向上側の範囲について前記飽和領域の検出を行う
    請求項１～３のいずれか一項に記載の画像処理装置。
  5. 　前記撮像データにおける前記飽和領域の検出を行う検出範囲を設定する検出範囲設定部をさらに備え、
    　前記検出範囲設定部は、時刻、天候、前記移動体の姿勢および前記移動体の進行方向のうち少なくとも１つをパラメータとして前記検出範囲を設定する
    請求項１～４のいずれか一項に記載の画像処理装置。
  6. 　移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得する撮像データ取得ステップと、
    　前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
    　前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定するダイナミックレンジ制御ステップと、
    　前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御するシャッタ制御ステップと、を備える
    画像処理方法。
  7. 　移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得する撮像データ取得ステップと、
    　前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
    　前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定するダイナミックレンジ制御ステップと、
    　前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御するシャッタ制御ステップと、を備える
    画像処理方法を、コンピュータに実行させる
    プログラム。
PCT/JP2020/039486 2020-01-06 2020-10-21 画像処理装置、画像処理方法およびプログラム WO2021140721A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080079707.XA CN114746727A (zh) 2020-01-06 2020-10-21 图像处理装置、图像处理方法以及程序
US17/833,332 US11936997B2 (en) 2020-01-06 2022-06-06 Image processing apparatus, image processing method, and non-transitory computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020000410A JP7375552B2 (ja) 2020-01-06 2020-01-06 画像処理装置、画像処理方法およびプログラム
JP2020-000410 2020-01-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/833,332 Continuation US11936997B2 (en) 2020-01-06 2022-06-06 Image processing apparatus, image processing method, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2021140721A1 true WO2021140721A1 (ja) 2021-07-15

Family

ID=76788659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039486 WO2021140721A1 (ja) 2020-01-06 2020-10-21 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11936997B2 (ja)
JP (1) JP7375552B2 (ja)
CN (1) CN114746727A (ja)
WO (1) WO2021140721A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023130734A (ja) * 2022-03-08 2023-09-21 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2001356047A (ja) * 2000-06-14 2001-12-26 Hochiki Corp 炎検出装置およびその検知感度設定方法
JP2009005120A (ja) * 2007-06-22 2009-01-08 Sony Corp 遠赤外線撮像装置および遠赤外線撮像方法
JP2010226652A (ja) * 2009-03-25 2010-10-07 Zenrin Co Ltd 画像処理装置、画像処理方法、および、コンピュータプログラム
CN102889932A (zh) * 2012-09-25 2013-01-23 山东神戎电子股份有限公司 一种抗强光损伤热像仪及其方法
US8957373B1 (en) * 2013-01-28 2015-02-17 Carlo L. Tiana Artifact prevention system, device, and method for an electromagnetic imaging system
US9102776B1 (en) * 2012-03-05 2015-08-11 Flir Systems, Inc. Detection and mitigation of burn-in for thermal imaging systems
JP2018056786A (ja) * 2016-09-28 2018-04-05 京セラ株式会社 画像処理装置、撮像装置、移動体、及び画像処理方法
US20190364218A1 (en) * 2017-01-17 2019-11-28 Hangzhou Hikvision Digital Technology Co., Ltd. Method and Apparatus for Protecting Device Under Strong Light

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6521892B2 (en) * 1998-10-09 2003-02-18 Thomson-Csf Optronics Canada Inc. Uncooled driver viewer enhancement system
US7772557B2 (en) * 2007-03-29 2010-08-10 Fluke Corporation Offset compensation scheduling algorithm for infrared imagers
US11012594B2 (en) * 2017-06-05 2021-05-18 Adasky, Ltd. Techniques for correcting oversaturated pixels in shutterless FIR cameras

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2001356047A (ja) * 2000-06-14 2001-12-26 Hochiki Corp 炎検出装置およびその検知感度設定方法
JP2009005120A (ja) * 2007-06-22 2009-01-08 Sony Corp 遠赤外線撮像装置および遠赤外線撮像方法
JP2010226652A (ja) * 2009-03-25 2010-10-07 Zenrin Co Ltd 画像処理装置、画像処理方法、および、コンピュータプログラム
US9102776B1 (en) * 2012-03-05 2015-08-11 Flir Systems, Inc. Detection and mitigation of burn-in for thermal imaging systems
CN102889932A (zh) * 2012-09-25 2013-01-23 山东神戎电子股份有限公司 一种抗强光损伤热像仪及其方法
US8957373B1 (en) * 2013-01-28 2015-02-17 Carlo L. Tiana Artifact prevention system, device, and method for an electromagnetic imaging system
JP2018056786A (ja) * 2016-09-28 2018-04-05 京セラ株式会社 画像処理装置、撮像装置、移動体、及び画像処理方法
US20190364218A1 (en) * 2017-01-17 2019-11-28 Hangzhou Hikvision Digital Technology Co., Ltd. Method and Apparatus for Protecting Device Under Strong Light

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116091959B (zh) * 2022-11-21 2024-03-22 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置

Also Published As

Publication number Publication date
JP2021110552A (ja) 2021-08-02
JP7375552B2 (ja) 2023-11-08
US11936997B2 (en) 2024-03-19
US20220377263A1 (en) 2022-11-24
CN114746727A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
JP2020522937A (ja) 自動車の安全及び運転システムのためのシャッタレス遠赤外線（ｆｉｒ：ｆａｒ ｉｎｆｒａｒｅｄ）カメラ
US11936997B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
US20090009604A1 (en) Image processing system and method
JP4611899B2 (ja) カメラのレンズ汚れ検出装置及び画像表示システム
JP2020522937A5 (ja)
US7817190B2 (en) Method and apparatus for processing an image exposed to backlight
JP7056458B2 (ja) 認識処理装置、認識処理方法及び認識処理プログラム
US20180131877A1 (en) Image display device for vehicle and image display program for vehicle
US20210243338A1 (en) Techniques for correcting oversaturated pixels in shutterless fir cameras
WO2022018900A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP6168024B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP2009071400A (ja) モニタリングシステム
WO2023171030A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP3882640B2 (ja) 赤外線カメラ
KR20110067700A (ko) 이미지 획득 방법 및 디지털 카메라 시스템
JP6327388B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
KR101729473B1 (ko) 카메라 공차 보정 장치 및 방법
JP6314667B2 (ja) 撮像装置、画像補正プログラムおよび画像処理装置
JP7213732B2 (ja) 画像表示装置
WO2023089915A1 (ja) 制御システムおよび制御方法
JP2018074440A (ja) 車両後方画像表示装置
JP2022187078A (ja) 制御システム、制御方法およびプログラム
JP6311826B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP2009218660A (ja) 映像ディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911317

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911317

Country of ref document: EP

Kind code of ref document: A1