WO2019147028A1 - 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 - Google Patents

영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
WO2019147028A1
WO2019147028A1 PCT/KR2019/000995 KR2019000995W WO2019147028A1 WO 2019147028 A1 WO2019147028 A1 WO 2019147028A1 KR 2019000995 W KR2019000995 W KR 2019000995W WO 2019147028 A1 WO2019147028 A1 WO 2019147028A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
image
pixel
ldr
parameter
Prior art date
Application number
PCT/KR2019/000995
Other languages
English (en)
French (fr)
Inventor
천민수
박용섭
김창한
박재연
안일준
오희석
이태미
조기흠
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201980006513.4A priority Critical patent/CN111492400A/zh
Priority to US16/962,270 priority patent/US11315223B2/en
Priority to EP19744540.6A priority patent/EP3686836A4/en
Publication of WO2019147028A1 publication Critical patent/WO2019147028A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a computer readable recording medium, and more particularly, to an image processing apparatus, an image processing method, and a computer readable recording medium for generating a high-quality HDR image.
  • HDR High Dynamic Range
  • an inverse tone mapping operation (ITMO) technique for generating an HDR image using an existing LDR or SDR image is being studied.
  • the brightness of the entire image is expanded to the target brightness value, and a blending operation is performed to remove the contour artifact generated in the process.
  • some areas of the HDR image appear blurred.
  • an excessive amount of calculation is required due to post-processing for continuity of the image.
  • an image processing apparatus including: a memory for storing an LDR (Low Dynamic Range) image; a controller for adjusting the brightness of the LDR image using a brightness ratio for each pixel identified using the first parameter, And a processor for obtaining an HDR (High Dynamic Range) image by adding or subtracting the per-pixel correction value identified using the second parameter to the pixel value of the brightness-adjusted LDR image.
  • LDR Low Dynamic Range
  • HDR High Dynamic Range
  • the original HDR image and the learning LDR image corresponding to the original HDR image are stored in the memory, and the first parameter is a difference between the brightness of the HDR image generated using the learning LDR image and the brightness of the original HDR image It may be learned that the difference in brightness is minimized.
  • the second parameter may be learned so that the difference between the pixel value of the HDR image generated using the learning LDR image and the pixel value of the original HDR image is minimized.
  • the processor may learn the first parameter in consideration of the normalization of the range of the brightness value of the learning LDR image and the brightness value of the original HDR image.
  • the processor can learn the first parameter based on the identified brightness ratio for each pixel using at least one multiplication operation.
  • the processor may identify a pixel-by-pixel correction value such that a brightness difference between pixels within an area having brightness less than a predetermined value of the brightness-adjusted LDR image is large.
  • the processor may identify a pixel-by-pixel correction value such that a brightness difference between pixels within a region having a brightness equal to or greater than a preset value of the brightness-adjusted LDR image is small.
  • the processor may perform a pixel-by-pixel brightness ratio identification operation using the first parameter and a pixel-by-pixel correction value identification operation using the second parameter in parallel.
  • the processor can identify the brightness ratio of each pixel by considering the brightness of adjacent pixels for each pixel of the LDR image.
  • an image processing method includes adjusting brightness of an LDR (Low Dynamic Range) image using a brightness ratio per pixel identified using a first parameter, and adjusting the brightness of the LDR And acquiring an HDR (High Dynamic Range) image by adding or subtracting the identified pixel-specific correction value to the pixel value of the image using the second parameter.
  • LDR Low Dynamic Range
  • HDR High Dynamic Range
  • the first parameter may be learned so that the difference between the brightness of the HDR image generated using the learning LDR image corresponding to the original HDR image and the brightness of the original HDR image is minimized.
  • the second parameter may be learned so that the difference between the pixel value of the HDR image generated using the learning LDR image and the pixel value of the original HDR image is minimized.
  • the first parameter may be learned in consideration of the normalization of the range of the brightness value of the learning LDR image and the brightness value of the original HDR image.
  • the first parameter may be learned based on the brightness ratio per pixel identified using at least one multiplication operation when a control command for changing the network structure is input.
  • the pixel-by-pixel correction value can be identified such that the brightness difference between pixels within the region having brightness less than a predetermined value of the brightness-adjusted LDR image is large.
  • the pixel-by-pixel correction value can be discriminated such that the brightness difference between the pixels having the brightness of the brightness adjusted LDR image equal to or greater than a predetermined value is small.
  • the brightness ratio identification operation for each pixel using the first parameter and the correction value identification operation for each pixel using the second parameter may be performed in parallel.
  • the per-pixel brightness ratio can be identified by considering the brightness of adjacent pixels per pixel of the LDR image.
  • the image processing method is characterized by using the ratio of brightness per pixel identified using the first parameter Adjusting a brightness of an LDR (Low Dynamic Range) image, and adding or subtracting a correction value per pixel identified using the second parameter to the pixel value of the brightness-adjusted LDR image to obtain an HDR (High Dynamic Range) image .
  • LDR Low Dynamic Range
  • FIG. 1 is a diagram for explaining an image processing system according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram for explaining a simplified configuration of an image processing apparatus according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram for explaining a specific configuration of an image processing apparatus according to an embodiment of the present disclosure
  • FIGS. 4 to 9 are diagrams for explaining a learning process for generating an HDR image according to various embodiments of the present disclosure.
  • FIG. 10 is a flowchart illustrating an image processing method according to an embodiment of the present disclosure.
  • 'module' or 'subtype' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'parts' may be integrated into at least one module except for 'module' or 'module' which needs to be implemented by specific hardware, and may be implemented by at least one processor.
  • FIG. 1 is a view for explaining an image processing system according to an embodiment of the present disclosure.
  • an image processing system 1000 includes a first image processing apparatus 100-1 and a second image processing apparatus 100-2.
  • the first image processing apparatus 100-1 and the second image processing apparatus 100-2 may have different dynamic ranges.
  • the operation range may mean the contrast ratio between the brightest portion and the darkest portion of the digital image.
  • LDR Low Dynamic Range
  • SDR Standard Dynamic Range
  • HDR High Dynamic Range
  • each image processing apparatus may be a camera, a display apparatus, or a server capable of image processing.
  • the image processing apparatus may include all devices capable of image processing such as a PC, a mobile device such as a smart phone, and a set-top box.
  • An HDR image for displaying an SDR (Standard Dynamic Range) image in the second image processing apparatus 100-2 having a wide operation range can be generated.
  • an image having a narrow operation range will be collectively referred to as an LDR image.
  • the operation range of the first image processing apparatus 100-2 is wider than that of the second image processing apparatus 100-2, the detailed image of the image generated by the first image processing apparatus 100-1 An HDR image can be generated so that it can be displayed on the second image processing apparatus 100-2 having a narrow range.
  • the HDR image is generated by the first image processing apparatus 100-1 and transmitted to the second image processing apparatus 100-2, or transmitted from the second image processing apparatus 100-2 to the first image processing apparatus 100-2 -1) to generate an HDR image.
  • a server which is a separate external device, generates an HDR image using the image received from the first image processing apparatus 100-1, and transmits the generated HDR image to the second image processing apparatus 100- 2).
  • FIG. 2 is a block diagram for explaining a simplified configuration of an image processing apparatus according to an embodiment of the present disclosure.
  • an image processing apparatus 100 includes a memory 110 and a processor 120.
  • the memory 110 may store various programs and data necessary for the operation of the image processing apparatus 100.
  • the memory 110 may store an LDR image.
  • the memory 110 may store information on the dynamic range of the LDR image.
  • information on the operation range of the HDR image to be generated can be stored.
  • the operation range for the HDR image may be an operation range that can be displayed in the image processing apparatus 100.
  • the memory 110 may store a plurality of parameters used for generating the HDR image.
  • the memory 110 may store parameters for identifying brightness ratios that control the brightness of the LDR image.
  • adjusting the brightness may mean mapping the operation range of the LDR image and the operation range of the HDR image.
  • idendify may include meaning such as determine, calculate, extract, generate, and so on.
  • the brightness ratio for adjusting the brightness may be identified per pixel.
  • the memory 110 may store a parameter for identifying a correction value for performing correction on the brightness-adjusted image using the identified brightness ratio.
  • the correction value may also be identified per pixel.
  • the stored parameter may be learned in advance.
  • the memory 110 may store the original HDR image for use in learning of the stored parameters and the LDR image corresponding to the original HDR image.
  • the LDR image corresponding to the original HDR image is used for parameter learning and can be referred to as a learning LDR image.
  • the memory 110 may store the network structure for obtaining the brightness ratio or the pixel-by-pixel correction value using the stored parameters.
  • the network structure may include a deep learning structure.
  • the network structure may be generated by the user's design.
  • a stored network structure may be used in a training set for learning parameters.
  • the processor 120 may generate an HDR image using a plurality of preset parameters and an LDR image.
  • the plurality of parameters may include a first parameter for identifying a ratio for brightness adjustment of the LDR image, and a second parameter for identifying a correction value for correcting the pixel value of the brightness-adjusted LDR image.
  • the first parameter and the second parameter may be learned in advance.
  • a training set for learning a parameter will be described below.
  • the process of acquiring the result data for the data input to the learned scaling network using the parameters learned through the training set can be referred to as a test.
  • the processor 120 can generate an HDR image using a scaling network to which the learned parameter is applied.
  • the processor 120 may determine the performance of the scaling network by identifying the accuracy of the pixel values of the generated HDR image.
  • the processor 120 may use the first parameter to identify the per-pixel brightness ratio.
  • the processor 120 may generate the HDR image by multiplying the LDR image by the brightness ratio per pixel identified to adjust the brightness of the LDR image.
  • the first parameter refers to a plurality of parameters used to identify the brightness ratio per pixel
  • the second parameter refers to the number of pixels Quot; means a plurality of parameters used for identifying a star correction value.
  • the processor 120 may further consider the brightness of adjacent pixels of each pixel of the LDR image to identify the brightness ratio per pixel. That is, the first parameter may further include a parameter for considering the brightness of the adjacent pixel. Specifically, even if the brightness of the pixels is the same, if the brightness of the adjacent pixels is dark, the brightness ratio can be identified so that the brightness of the adjacent pixels is darker than that of the brightness of the adjacent pixels. This makes it possible to generate an HDR image considering the local characteristics of the image, as compared with the existing technology that has expanded the operation range based only on the brightness of the pixel.
  • the processor 120 may adjust the brightness of the LDR image by using the brightness ratio of each pixel, and may determine whether the brightness of the LDR image is less than the brightness of the LDR image,
  • the HDR image can be generated by adding or subtracting the correction value.
  • the pixel-by-pixel correction value may be identified using the second parameter.
  • the processor 120 may adjust the brightness using the per-pixel brightness ratio identified in the LDR image, and may generate the HDR image by adding or subtracting the per-pixel correction value identified in the brightness-adjusted image.
  • the processor 120 may determine an area having brightness less than a preset value in the brightness-adjusted image.
  • the processor 120 may identify the pixel-by-pixel correction value so that the difference in brightness between pixels in the determined area is large. This is because if there is an edge in the dark region but the difference in brightness between the pixels is so fine that it is difficult for the user to confirm the existence of the edge, the difference in brightness between the pixels is corrected to be large to reveal the existence of the edge in the dark region .
  • the processor 120 may determine an area having a brightness greater than a preset value in the brightness-adjusted image.
  • the predetermined value may be a value different from the predetermined value for determining the dark region described above.
  • the processor 120 may identify the pixel-by-pixel correction value so that the difference in brightness between the pixels in the determined area is small. This is to remove an edge that is not actually present in an image, such as the sun, a light source, or the like, that appears in an image in a region that is too bright.
  • the value of the brightness decreases continuously as the distance from the center increases to the point where the brightness is maximum, and the correction is performed for the case where the brightness appears to decrease gradually in the image.
  • the processor 120 can identify the brightness ratio and the pixel-by-pixel correction value in parallel.
  • the word " parallel " may mean that a plurality of learning networks are used independently of each other.
  • the processor 120 may learn parameters in advance, and a training set for learning parameters will be described below.
  • the processor 120 can learn parameters using the original HDR image stored in the memory 110 and the learning LDR image corresponding to the original HDR image.
  • the processor 120 may adjust the brightness by applying a brightness ratio per pixel identified using the first parameter to the learning LDR image.
  • the processor 120 may generate an HDR image by adding or subtracting the identified pixel-specific correction value using the second parameter to the learning LDR image whose brightness is adjusted.
  • the processor 120 can learn the first parameter and the second parameter by comparing the generated HDR image with the original HDR image.
  • the processor 120 may learn the first parameter so that the difference in brightness between the generated HDR image and the original HDR image stored in the memory 110 is minimized.
  • the processor 120 may learn the second parameter so that the difference between the pixel value of the HDR image generated by adding and subtracting the correction value and the pixel value of the original HDR image stored in the memory 110 is minimized.
  • the processor 120 may learn the first parameter so that the difference between the brightness of the HDR image and the brightness of the original HDR image generated by adding or subtracting the correction value is minimized.
  • the first parameter can be learned in consideration of the normalization of the range of the brightness value and the range of the brightness value of the original HDR image. In order to generate HDR images with LDR images, it is necessary to normalize the operation range. However, according to the present disclosure, since the processor 120 identifies the brightness ratio of each pixel using the first parameter considering normalization, a separate normalization operation is unnecessary, thereby reducing the amount of computation and improving the computation speed.
  • the processor 120 can learn and identify the first parameter and the second parameter in parallel.
  • the word " parallel " may mean that a plurality of learning networks are used independently of each other.
  • the driving operation of the processor 120 described above may be based on the network structure shown in Fig.
  • a network structure may be changed by a user's design, and various embodiments of the network structure will be described in detail with reference to FIGS. 5 to 9 below.
  • the processor 120 identifies the brightness ratio and the pixel-by-pixel correction value for each pixel in parallel and uses one multiplication operation and addition operation Thereby generating an HDR image.
  • the processor 120 may generate an HDR image using at least one multiplication operation and at least one addition operation. Specifically, the processor 120 learns parameters based on the changed network structure, and generates HDR images using the learned parameters.
  • FIG. 3 is a block diagram illustrating a specific configuration of an image processing apparatus according to an embodiment of the present disclosure.
  • the image processing apparatus 100 includes a memory 110, a processor 120, a communication unit 130, a display 140, a button 150, a video processor 160, and an image pickup unit 170 .
  • the memory 110 and the processor 120 are the same as those shown in FIG. 2, and redundant descriptions will be omitted.
  • the processor 120 may include a RAM 121, a ROM 122, a CPU 123, a GPU (Graphic Processing Unit) 124, and a bus 125.
  • the RAM 121, the ROM 122, the CPU 123, the GPU (Graphic Processing Unit) 124, and the like may be connected to each other via the bus 125.
  • the CPU 123 accesses the memory 110 and performs booting using the O / S stored in the memory 110). And performs various operations using various programs, contents, and data stored in the memory 110.
  • the ROM 122 stores a command set for booting the system and the like.
  • the CPU 123 copies the O / S stored in the memory 110 to the RAM 121 according to the instruction stored in the ROM 122, executes O / S Boot the system.
  • the CPU 123 copies various programs stored in the memory 110 to the RAM 121, executes the program copied to the RAM 121, and performs various operations.
  • the GPU 124 displays the UI on the display 140 when the booting of the image processing apparatus 100 is completed.
  • the GPU 124 can generate a screen including various objects such as an icon, an image, and text using an operation unit (not shown) and a rendering unit (not shown).
  • the operation unit calculates an attribute value such as a coordinate value, a shape, a size, and a color to be displayed by each object according to the layout of the screen.
  • the rendering unit generates screens of various layouts including the objects based on the attribute values calculated by the operation unit.
  • the screen (or user interface window) generated by the rendering unit is provided to the display 140, and is displayed in the main display area and the sub display area, respectively.
  • the communication unit 130 is configured to perform communication with various types of external devices according to various types of communication methods. Specifically, the communication unit 130 can receive an LDR image or an SDR image from an external device. At this time, the processor 120 may generate the HDR image using the received LDR image and the operation range of the image processing apparatus 100 stored in the memory 110.
  • the communication unit 130 may receive the operation range of the external display device from the external display device. At this time, the processor 120 may generate the HDR image using the LDR image and the operation range of the received external display device. The communication unit 130 can transmit the generated HDR image to an external device such as a display device.
  • the communication unit 130 may receive an image from an external device through a wired manner such as an antenna, a cable, or a port, or may receive an image through a wireless method such as Wi-Fi and Bluetooth.
  • the image processing apparatus 100 may receive a user-selected image from a plurality of images stored in the memory 110 provided in the image processing apparatus 100 and process the image.
  • the communication unit 130 may include a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, and an NFC chip. Specifically, the Wi-Fi chip and the Bluetooth chip communicate with each other using the WiFi method and the Bluetooth method, respectively.
  • a Wi-Fi chip or a Bluetooth chip is used, various connection information such as an SSID and a session key may be transmitted and received first, and communication information may be used to transmit and receive various information.
  • the wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3rd Generation Partnership Project (3GPP), LTE (Long Term Evolution)
  • the NFC chip refers to a chip operating in an NFC (Near Field Communication) system using 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz, and 2.45 GHz.
  • the display 140 may display the generated HDR image by the processor 120.
  • the display 140 may be implemented as various types of displays such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, and a plasma display panel (PDP).
  • the display 140 may include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an OTFT (organic TFT) Display 140 may also be implemented as a flexible display.
  • the display 140 may not be provided in the image processing apparatus 100.
  • the buttons 150 may be various types of buttons such as a mechanical button, a touch pad, a wheel, and the like formed in an arbitrary area such as a front surface portion, a side surface portion, and a back surface portion of the main body of the image processing apparatus 100.
  • the video processor 160 is a component for processing the contents received through the communication unit 130 or the video data included in the contents stored in the memory 110. [ The video processor 160 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, etc. on the video data.
  • the image pickup section 170 is a configuration for capturing a still image or a moving image under the control of the user. Specifically, the imaging unit 170 can capture one or more images for generating an HDR image.
  • the image sensing unit 170 may include a lens, an image sensor, or the like.
  • the image pickup unit 170 may be implemented as a plurality of cameras such as a front camera and a rear camera. According to various embodiments, the image processing unit 100 may not include the image sensing unit 170.
  • the image processing apparatus 100 may include a USB port to which a USB connector can be connected, various external inputs for connecting to various external terminals such as a headset, a mouse, and a LAN Port, a DMB chip for receiving and processing a DMB (Digital Multimedia Broadcasting) signal, an audio processor, a microphone, an audio output unit, various sensors, and the like.
  • a USB port to which a USB connector can be connected
  • various external inputs for connecting to various external terminals
  • various external terminals such as a headset, a mouse, and a LAN Port
  • DMB chip Digital Multimedia Broadcasting
  • FIGS. 4 to 9 are views for explaining a HDR image generation process using a network according to various embodiments of the present disclosure.
  • Fig. 4 shows an embodiment in which the scaling network is designed with a linear function such as Equation (1).
  • the scaling network may be designed according to user input.
  • A denotes a brightness ratio
  • B denotes a correction value
  • the image processing apparatus includes an LDR image processor 410 for extracting a feature map by passing an input LDR image 410 through a convolution layer, and generating an HDR image by passing the extracted feature map through a plurality of layers Value can be identified.
  • the image processing apparatus can identify the brightness ratio through the first network 411 that identifies the brightness ratio using the first parameter for identifying the brightness ratio. Then, the correction value can be identified through the second network 412 that identifies the correction value using the second parameter for identifying the correction value. At this time, the image processing apparatus can drive the first network 411 and the second network 412 in parallel.
  • the image processing apparatus can apply the brightness ratio identified using the first network 411 to the input LDR image 410 through multiplication. Specifically, the brightness ratio is discriminated according to the value of each pixel of the LDR image 410, and the image processing apparatus multiplies each pixel of the LDR image 410 by the brightness ratio corresponding to each pixel to obtain the LDR image 410 ) Can be adjusted.
  • the image processing apparatus can generate the HDR image 420 by adding or subtracting the identified correction value using the second network 412 to the brightness-adjusted LDR image.
  • the correction value when the correction value is a positive number, it is referred to as a correction value, and when the correction value is positive, it can be referred to as a correction value.
  • the image processing apparatus compares the HDR image generated using the learning LDR image corresponding to the stored original HDR image with the original HDR image, and learns the first parameter of the first network 411 so as to minimize the difference in brightness value can do.
  • the image processing apparatus compares the stored original HDR image with the generated HDR image, and learns the second parameter of the second network 412 so that the difference between the pixel values is minimized.
  • the normalization process is unnecessary, and the amount of computation is reduced.
  • the learning can be performed quickly and the correction is performed on a pixel by pixel basis. Generation.
  • the scaling network is designed to be a linear function.
  • the scaling network may be designed with various functions according to a user's control command input to change the network structure.
  • the plurality of networks constituting the scaling network are set differently according to the purpose.
  • the purpose of the network is not limited, but will be referred to as a first network and a second network.
  • FIG. 5 is a diagram for explaining an embodiment in which the scaling network is designed as a multi-dimensional function such as Equation (2).
  • HDR A * LDR 3 + B * LDR 2 + C * LDR + D (2)
  • the image processing apparatus may generate the HDR image 520 using the input LDR image 510 and the scaling network.
  • the image processing apparatus extracts a feature map by passing the input LDR image 510 through a convolution layer, and passes the extracted feature map through a plurality of layers to generate an HDR image Can be identified.
  • the image processing apparatus can identify the first value through the first network 511 using the first parameter for identifying the brightness ratio. And may identify the second value via the second network 512 using the second parameter. At this time, the image processing apparatus can drive the first network 511 and the second network 512 in parallel.
  • multiplication or addition operations may be performed in the first network 511 and the second network 512, unlike FIG. Accordingly, even when the scaling network is a multidimensional function, the image processing apparatus can learn a parameter capable of identifying the most suitable value for generating the HDR image 520 in the input LDR image 510.
  • a plurality of networks constituting the scaling network may be driven in series as shown in FIGS. 6 and 7.
  • the image processing apparatus extracts a feature map by passing an input LDR image 610 through a convolution layer, passes the extracted feature map through a network composed of a plurality of layers A value for generating an HDR image can be identified.
  • the image processing apparatus can identify the first value through the first network 611 using the first parameter.
  • the image processing apparatus can apply the first value identified in the input LDR image 610 by using a multiplication operation.
  • the image processing apparatus can identify the second value through the second network 612 using the second value of the feature map of the LDR image to which the first value is applied.
  • the image processing apparatus can generate the HDR image 620 by applying the second value identified in the brightness-adjusted LDR image as an addition operation.
  • the image processing apparatus extracts a feature map by passing an input LDR image 710 through a convolution layer, passes the extracted feature map through a network composed of a plurality of layers, A value for generating an image can be identified.
  • the image processing apparatus can identify the first value through the first network 711 using the first parameter. Then, the image processing apparatus can apply the first value identified in the input LDR image 710 by using an addition operation.
  • the image processing apparatus can identify the second value through the second network 712 using the second value of the feature map of the LDR image to which the first value is applied.
  • the image processing apparatus can generate the HDR image 720 by applying the second value identified in the brightness-adjusted LDR image as an addition operation.
  • the correction value corresponding to the second value is identified using the feature map of the input LDR image
  • the second value is identified using the feature map of the LDR image to which the first value is applied There is a difference.
  • the scaling network may include a layer corresponding to a logarithmic function or an exponential function rather than a polynomial function.
  • Equation 8 is a diagram for explaining an embodiment in which the scaling network is designed with a logarithmic function such as Equation (3).
  • A may be a first value identified using a first network comprising at least one multiplication operation.
  • the image processing apparatus applies a second value identified by using the second network to an inverse number of the input value 810 using an addition operation, passes through a layer taking a log function ln
  • the output value 820 can be identified by performing a multiplicative operation with the first value.
  • the second value in FIG. 8 may be -1.
  • Equation 9 is a diagram for explaining an embodiment in which the scaling network is designed with an exponential function such as Equation (4).
  • A may be a first value identified using a first network comprising at least one multiplication operation.
  • the image processing apparatus may pass a layer that transforms the first value identified in the input value 910 to an exponential function whose base is e, by applying a multiplication operation. Then, the image processing apparatus can identify the value converted to the exponential function and the second value using the second network. The image processing apparatus can apply the identified second value to the value converted to the exponential function by using the addition operation. Then, the image processing apparatus can identify the output value 920 by taking the reciprocal of the value to which the second value is applied. According to equation (4), the second value in FIG. 9 may be one.
  • FIG. 10 is a flowchart illustrating an image processing method according to an embodiment of the present disclosure.
  • the image processing apparatus can adjust the brightness of the LDR image using the identified brightness per pixel using the first parameter (S1010). Specifically, the image processing apparatus can identify the brightness ratio for generating the HDR image for each pixel of the stored LDR image or the received LDR image using the previously stored first parameter. At this time, the first parameter may be learned in advance. Specifically, the first parameter may be learned in advance using a network having the same structure as the network included in the test set. The image processing apparatus can further identify the brightness ratio of each pixel by considering the brightness of the adjacent pixels of each pixel of the LDR image.
  • the image processing apparatus may acquire the HDR image by adding or subtracting the correction value for each pixel identified using the second parameter to the pixel value of the brightness-adjusted LDR image (S1020). Specifically, the image processing apparatus can identify the pixel-by-pixel correction value so that the brightness difference between the pixels within the region having brightness less than a predetermined value among the brightness-adjusted LDR images is large. On the other hand, the image processing apparatus can identify the pixel-by-pixel correction value so that the brightness difference between the pixels within the region having brightness higher than a predetermined value among the brightness-adjusted LDR images is small.
  • the second parameter may be learned in advance. Specifically, the second parameter may be learned in advance using a network having the same structure as the network included in the test set. The image processing apparatus can identify the brightness ratio and the correction value in parallel according to the structure of the network.
  • a multiplication operation is performed using the identified brightness ratio using the learned parameters, and a local correction is performed using the identified correction value using the learned parameter
  • a clear HDR image can be generated while minimizing the amount of computation.
  • by identifying the parameters through learning it is possible to express the motion range of the HDR photographed image with a wide range by using only a single LDR image already captured.
  • the various embodiments described above can be implemented in a recording medium that can be read by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described in this disclosure may be implemented as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays ), A processor, microcontrollers, microprocessors, and an electrical unit for carrying out other functions.
  • the embodiments described herein may be implemented by the processor itself.
  • embodiments such as the procedures and functions described herein may be implemented with separate software modules. Each of the software modules may perform one or more of the functions and operations described herein.
  • the image processing method according to various embodiments of the present disclosure described above may be stored in a non-transitory readable medium.
  • Such non-transiently readable media can be used in various devices.
  • a non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus.
  • the programs for carrying out the various methods described above may be stored in non-volatile readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM and the like.
  • a method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM).
  • an application store eg PlayStore TM
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

영상 처리 장치가 개시된다. 본 영상 처리 장치는, LDR(Low Dynamic Range) 영상을 저장하는 메모리, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR 영상의 밝기를 조절하고, 밝기가 조절된 LDR 영상을 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 프로세서를 포함한다.

Description

영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
본 개시는 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체에 대한 것으로, 보다 상세하게는, 고품질의 HDR 영상을 생성하는 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체에 관한 것이다.
영상 기술이 발전함에 따라 디지털 카메라가 표현할 수 있는 대비의 한계를 넘어 더 넓은 대비를 갖는 이미지인 HDR(High Dynamic Range) 이미지를 얻는 기술이 개발되었다.
구체적으로, HDR 영상의 표시가 가능한 디스플레이가 등장하여 확산되고 있는 추세에 따라, 기존 LDR 또는 SDR 영상을 이용하여 HDR 영상을 생성하는 Inverse Tone Mapping Operation(ITMO) 기술이 연구되고 있다.
기존 ITMO 기술에서는 영상 전체의 밝기를 목표한 밝기 값으로 확장하고, 이 과정에서 생성된 컨투어 아티팩트(contour artifact)를 제거하기 위해 블렌딩 동작을 수행하였다. 이로 인해, HDR 영상의 일부 영역이 흐릿해 보이는 문제가 발생하였다. 또한, 영상의 연속성을 위한 후처리로 인해 과도한 연산량이 필요하다는 문제가 있었다.
이에 따라, 연산량을 줄이면서도 선명한 HDR 영상을 합성하기 위한 기술의 필요성이 대두되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 연산량을 감소시키면서 선명한 HDR 영상을 생성하기 위한 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체를 제공함에 있다.
본 개시의 일 실시 예에 따른 영상 처리 장치는, LDR(Low Dynamic Range) 영상을 저장하는 메모리, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 상기 LDR 영상의 밝기를 조절하고, 상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 프로세서를 포함한다.
이 경우, 상기 메모리에는, 원본 HDR 영상 및 상기 원본 HDR 영상에 대응되는 학습용 LDR 영상이 저장되고, 상기 제1 파라미터는, 상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것일 수 있다.
이 경우, 상기 제2 파라미터는, 상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 픽셀 값과 상기 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 학습된 것일 수 있다.
한편, 상기 프로세서는, 상기 학습용 LDR 영상의 밝기 값의 범위 및 상기 원본 HDR 영상의 밝기 값의 범위의 정규화를 고려하여 상기 제1 파라미터를 학습할 수 있다.
한편, 상기 프로세서는, 네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 적어도 하나의 곱셈 연산을 이용하여 식별된 픽셀별 밝기 비율에 기초하여 상기 제1 파라미터를 학습할 수 있다.
한편, 상기 프로세서는, 상기 밝기가 조절된 LDR 영상의 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 픽셀 별 보정 값을 식별할 수 있다.
한편, 상기 프로세서는, 상기 밝기가 조절된 LDR 영상의 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 픽셀별 보정 값을 식별할 수 있다.
한편, 상기 프로세서는, 상기 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작과 상기 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작을 병렬적으로 수행할 수 있다.
한편, 상기 프로세서는, 상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 상기 픽셀 별 밝기 비율을 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따른 영상 처리 방법은, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR(Low Dynamic Range) 영상의 밝기를 조절하는 단계 및 상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 단계를 포함한다.
이 경우, 상기 제1 파라미터는, 원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것일 수 있다.
한편, 상기 제2 파라미터는, 상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 픽셀 값과 상기 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 학습된 것일 수 있다.
한편, 상기 제1 파라미터는, 상기 학습용 LDR 영상의 밝기 값의 범위 및 상기 원본 HDR 영상의 밝기 값의 범위의 정규화를 고려하여 학습된 것일 수 있다.
한편, 상기 제1 파라미터는, 네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 적어도 하나의 곱셈 연산을 이용하여 식별된 픽셀별 밝기 비율에 기초하여 학습된 것일 수 있다.
한편, 상기 픽셀 별 보정 값은, 상기 밝기가 조절된 LDR 영상의 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 식별될 수 있다.
한편, 상기 픽셀 별 보정 값은, 상기 밝기가 조절된 LDR 영상의 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 식별될 수 있다.
한편, 상기 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작 및 상기 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작은 병렬적으로 수행될 수 있다.
한편, 상기 픽셀 별 밝기 비율은, 상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 식별될 수 있다.
한편, 본 개시의 일 실시 예에 따른 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서, 상기 영상 처리 방법은, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR(Low Dynamic Range) 영상의 밝기를 조절하는 단계 및 상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 단계를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 시스템을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치의 간략한 구성을 설명하기 위한 블럭도,
도 3은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구체적인 구성을 설명하기 위한 블럭도,
도 4 내지 도 9는 본 개시의 다양한 실시 예에 따른 HDR 영상 생성을 위한 학습 과정을 설명하기 위한 도면, 그리고,
도 10은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 개시의 일 실시 예에 다른 영상 처리 시스템(1000)은 제1 영상 처리 장치(100-1) 및 제2 영상 처리 장치(100-2)를 포함한다.
구체적으로, 제1 영상 처리 장치(100-1) 및 제2 영상 처리 장치(100-2)는 동작 범위(dynamic range)가 상이한 것일 수 있다. 여기서, 동작 범위란 디지털 영상에서 가장 밝은 부분과 가장 어두운 부분의 명암 비율을 의미할 수 있으며, 명암 비율 수준에 따라 LDR(Low Dynamic Range), 또는 SDR(Standard Dynamic Range), HDR(High Dynamic Range) 등으로 구분될 수 있다.
도 1에서는 카메라인 제1 영상 처리 장치(100-1)에서 생성된 영상을 디스플레이 장치인 제2 영상 처리 장치(100-2)에서 표시하는 경우를 예시로 도시하였다. 그러나, 이에 한정되지 않고, 각 영상 처리 장치가 모두 카메라이거나, 디스플레이 장치일 수 있으며, 영상 처리가 가능한 서버를 포함할 수도 있다. 또는, 영상 처리 장치는 PC, 스마트폰과 같은 모바일 장치, 셋탑박스 등 영상 처리가 가능한 모든 장치를 포함할 수 있다.
제1 영상 처리 장치(100-1)의 동작 범위가 제2 영상 처리 장치(100-2)보다 더 좁은 경우, 제1 영상 처리 장치(100-1)에서 생성된 LDR(Low Dynamic Range) 영상 또는 SDR(Standard Dynamic Range) 영상을 동작 범위가 넓은 제2 영상 처리 장치(100-2)에서 표시하기 위한 HDR 영상이 생성될 수 있다. 한편, 이하에서는 설명의 편의를 위하여 동작 범위가 좁은 영상은 LDR 영상이라고 통칭하여 기재하기로 한다.
한편, 제1 영상 처리 장치(100-2)의 동작 범위가 제2 영상 처리 장치(100-2)보다 더 넓은 경우, 제1 영상 처리 장치(100-1)에서 생성된 영상의 세밀한 명암을 동작 범위가 좁은 제2 영상 처리 장치(100-2)에서 표시할 수 있도록 HDR 영상이 생성될 수 있다.
이때, 제1 영상 처리 장치(100-1)에서 HDR 영상을 생성하여 제2 영상 처리 장치(100-2)에 전송하거나, 제2 영상 처리 장치(100-2)에서 제1 영상 처리 장치(100-1)로부터 영상을 수신하여 HDR 영상을 생성할 수도 있다. 또는, 도시되지는 않았지만, 별도의 외부 장치인 서버 등에서 제1 영상 처리 장치(100-1)로부터 수신된 영상을 이용하여 HDR 영상을 생성하고, 생성된 HDR 영상을 제2 영상 처리 장치(100-2)로 전송할 수도 있다.
도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치의 간략한 구성을 설명하기 위한 블럭도이다.
도 2를 참조하면, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
메모리(110)는 영상 처리 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다.
구체적으로, 메모리(110)는 LDR 영상을 저장할 수 있다. 이때, 메모리(110)는 LDR 영상의 동작 범위(Dynamic Range)에 대한 정보를 저장할 수 있다. 또한, 생성하고자 하는 HDR 영상의 동작 범위에 대한 정보를 저장할 수 있다. 이때, HDR 영상에 대한 동작 범위는 영상 처리 장치(100)에서 표시할 수 있는 동작 범위일 수 있다.
그리고, 메모리(110)는 HDR 영상 생성에 이용되는 복수의 파라미터를 저장할 수 있다. 예를 들어, 메모리(110)는 LDR 영상의 밝기를 조절하는 밝기 비율을 식별 하기 위한 파라미터를 저장할 수 있다. 여기서, 밝기를 조절한다는 것은 LDR 영상의 동작 범위와 HDR 영상의 동작 범위를 매핑하는 것을 의미할 수 있다. 그리고, 식별(idendify)한다는 것은 판단(determine), 산출(calculate), 추출(extract), 생성(generate) 등의 의미를 포함할 수 있다.
이때, 밝기를 조절하기 위한 밝기 비율은 픽셀별로 식별된 것일 수 있다. 그리고, 메모리(110)는 식별된 밝기 비율을 이용하여 밝기가 조절된 영상에 보정을 수행하기 위한 보정 값을 식별하기 위한 파라미터를 저장할 수 있다. 이때, 보정 값 또한 픽셀별로 식별된 것일 수 있다. 이때, 저장된 파라미터는 미리 학습된 것일 수 있다.
그리고, 메모리(110)에는 저장된 파라미터의 학습에 사용하기 위한 원본 HDR 영상 및 원본 HDR 영상에 대응되는 LDR 영상이 저장될 수 있다. 이때, 원본 HDR 영상에 대응되는 LDR 영상은 파라미터 학습에 사용되는 것으로 학습용 LDR 영상이라고 지칭할 수 있다.
그리고, 메모리(110)는 저장된 파라미터를 이용하여 픽셀 별 밝기 비율 또는 픽셀 별 보정 값을 획득하기 위한 네트워크 구조를 저장할 수 있다. 이때, 네트워크 구조는 딥 러닝(deep learning) 구조를 포함할 수 있다. 그리고, 네트워크 구조는 사용자의 설계에 의해 생성된 것일 수 있다. 그리고, 파라미터를 학습하기 위한 트레이닝 셋(training set)에서도 저장된 네트워크 구조가 사용될 수 있다.
프로세서(120)는 복수의 기설정된 파라미터 및 LDR 영상을 이용하여 HDR 영상을 생성할 수 있다. 구체적으로, 복수의 파라미터는 LDR 영상의 밝기 조절을 위한 비율을 식별하기 위한 제1 파라미터 및 밝기 조절된 LDR 영상의 픽셀 값을 보정하는 보정 값을 식별하기 위한 제2 파라미터를 포함할 수 있다. 이때, 제1 파라미터 및 제2 파라미터는 미리 학습된 것일 수 있다. 파라미터를 학습하기 위한 트레이닝 셋(training set)에 대해서는 이하 설명하기로 한다.
한편, 트레이닝 셋을 통해 학습된 파라미터를 이용하여, 학습된 스케일링 네트워크에 입력된 데이터에 대한 결과 데이터를 획득하는 과정을 테스트라고 지칭할 수 있다. 구체적으로, 테스트 셋(test set)의 LDR 영상이 입력되면, 프로세서(120)는 학습된 파라미터가 적용된 스케일링 네트워크를 이용하여 HDR 영상을 생성할 수 있다. 다시 말해, 실제 구현시에는 영상 처리 장치(100)에 미리 학습된 파라미터로 동작하는 테스트 셋만이 탑재될 수 있다. 그리고, 프로세서(120)는 생성된 HDR 영상의 픽셀 값의 정확도를 식별하여 스케일링 네트워크의 성능을 판단할 수 있다.
구체적으로, 프로세서(120)는 제1 파라미터를 이용하여 픽셀별 밝기 비율을 식별할 수 있다. 그리고, 프로세서(120)는 LDR 영상에 식별된 픽셀별 밝기 비율을 곱셈 연산하여 LDR 영상의 밝기를 조절하여 HDR 영상을 생성할 수 있다. 설명의 편의를 위해 제1 파라미터 및 제2 파라미터와 같이 하나의 파라미터인 것으로 기재하였으나, 실제로는 제1 파라미터는 픽셀별 밝기 비율을 식별하는데 이용되는 복수의 파라미터를 의미하는 것이고, 제2 파라미터는 픽셀별 보정 값을 식별하는데 이용되는 복수의 파라미터를 의미하는 것이다.
한편, 프로세서(120)는 LDR 영상의 각 픽셀의 인접한 픽셀의 밝기를 더 고려하여 픽셀별 밝기 비율을 식별할 수 있다. 즉, 제1 파라미터는 인접한 픽셀의 밝기를 고려하기 위한 파라미터를 더 포함할 수 있다. 구체적으로, 픽셀의 밝기가 동일하더라도, 인접한 픽셀들의 밝기가 어두우면, 인접한 픽셀들의 밝기가 밝은 경우보다 밝기가 어둡도록 밝기 비율을 식별할 수 있다. 이로 인해, 픽셀의 밝기에만 기초하여 동작 범위를 확장했던 기존 기술에 비해, 영상의 로컬 특징을 고려한 HDR 영상을 생성할 수 있게 된다. 그리고, LDR 영상의 밝기 및 HDR 영상의 밝기의 대응관계는 선형이 아닌 비선형적 특징을 가질 수 있다.그리고, 프로세서(120)는 픽셀별 밝기 비율을 이용하여 LDR 영상의 밝기를 조절하고, 픽셀별 보정 값을 가감하여 HDR 영상을 생성할 수도 있다. 여기서, 픽셀별 보정 값은 제2 파라미터를 이용하여 식별된 것일 수 있다. 구체적으로, 프로세서(120)는 LDR 영상에 식별된 픽셀별 밝기 비율을 이용하여 밝기를 조절하고, 밝기가 조절된 영상에 식별된 픽셀별 보정 값을 가감하여 HDR 영상을 생성할 수 있다.
이때, 프로세서(120)는 밝기가 조절된 영상 내 기설정된 값 미만의 밝기를 갖는 영역을 판단할 수 있다. 그리고, 프로세서(120)는 판단된 영역 내 픽셀 간 밝기의 차이가 크도록 픽셀별 보정 값을 식별할 수 있다. 이는, 어두운 영역 내 엣지(edge)가 존재하지만, 픽셀 간 밝기의 차이가 미세하여 사용자가 엣지의 존재를 확인하기 어려운 경우, 픽셀 간 밝기의 차이가 크도록 보정하여 어두운 영역 내 엣지의 존재를 드러내기 위한 것이다.
한편, 프로세서(120)는 밝기가 조절된 영상 내 기설정된 값 이상의 밝기를 갖는 영역을 판단할 수 있다. 여기서 기설정된 값은 상술한 어두운 영역을 판단하기 위한 기설정된 값과는 다른 값일 수 있다. 그리고, 프로세서(120)는 판단된 영역 내 픽셀 간 밝기의 차이가 작도록 픽셀별 보정 값을 식별할 수 있다. 이는, 태양, 광원 등과 같이 너무 밝은 영역에서는, 실제로는 존재하지 않는 엣지가 영상 상에서 나타나는 경우 이를 제거하기 위한 것이다. 구체적으로, 밝기가 최대인 지점을 중심으로부터 거리가 멀어질수록 밝기의 값이 연속적으로 감소하는데, 영상 상에서는 밝기가 단계적으로 감소하는 것처럼 보이는 경우의 보정을 위한 것이다.
이때, 프로세서(120)는 픽셀별 밝기 비율 및 픽셀별 보정 값을 병렬적으로 식별할 수 있다. 여기서, 병렬적이라는 것은 복수의 학습 네트워크가 서로 독립적으로 이용되는 것을 의미할 수 있다.
한편, 프로세서(120)는 파라미터를 미리 학습할 수 있으며, 이하에서는 파라미터를 학습하기 위한 트레이닝 셋(training set)에 대해 설명한다.
우선, 프로세서(120)는 메모리(110)에 저장된 원본 HDR 영상 및 원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 파라미터를 학습할 수 있다.
구체적으로, 프로세서(120)는 학습용 LDR 영상에 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 적용하여 밝기를 조절할 수 있다. 그리고, 프로세서(120)는 밝기가 조절된 학습용 LDR 영상에 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR 영상을 생성할 수 있다.
그리고, 프로세서(120)는 생성된 HDR 영상과 원본 HDR 영상을 비교하여 제1 파라미터 및 제2 파라미터를 학습할 수 있다.
구체적으로, 프로세서(120)는 생성된 HDR 영상 및 메모리(110)에 저장된 원본 HDR 영상의 밝기의 차이가 최소가 되도록 제1 파라미터를 학습할 수 있다.
그리고, 프로세서(120)는 보정 값을 가감하여 생성된 HDR 영상의 픽셀 값 및 메모리(110)에 저장된 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 제2 파라미터를 학습할 수 있다. 이때, 프로세서(120)는 보정 값을 가감하여 생성된 HDR 영상의 밝기 및 원본 HDR 영상의 밝기의 차이가 최소가 되도록 제1 파라미터를 학습할 수도 있다.이때, 프로세서(120)는 학습용 LDR 영상의 밝기 값의 범위 및 원본 HDR 영상의 밝기 값의 범위의 정규화(normalization)를 고려하여 제1 파라미터를 학습할 수 있다. 기존에는 LDR 영상으로 HDR 영상을 생성하기 위해 동작 범위를 일치시키는 정규화 작업이 필수적이었다. 그러나, 본 개시에 따르면, 프로세서(120)가 정규화를 고려한 제1 파라미터를 이용하여 픽셀 별 밝기 비율을 식별하기 때문에 별도의 정규화 동작이 필요 없어 연산량을 감소시키고 연산 속도를 향상시킬 수 있다.
이때, 프로세서(120)는 제1 파라미터 및 제2 파라미터를 병렬적으로 학습하여 식별할 수 있다. 여기서, 병렬적이라는 것은 복수의 학습 네트워크가 서로 독립적으로 이용되는 것을 의미할 수 있다.
한편, 이상에 기재된 프로세서(120)의 구동 동작은 도 4에 도시된 네트워크 구조에 기초한 것일 수 있다. 이러한 네트워크 구조는 사용자의 설계에 의해 변경될 수 있으며, 네트워크 구조의 다양한 실시 예는 이하 도 5 내지 도 9를 참조하여 자세히 설명하기로 한다.
즉, 영상 처리 장치(100)의 네트워크 구조가 도 4에 도시된 것과 같다면, 프로세서(120)는 픽셀별 밝기 비율 및 픽셀별 보정 값을 병렬적으로 식별하여 한 번의 곱셈 연산 및 덧셈 연산을 이용하여 HDR 영상을 생성할 수 있다.
다만, 사용자의 설계에 따라, 네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 프로세서(120)는 적어도 하나의 곱셈 연산 및 적어도 하나의 덧셈 연산을 이용하여 HDR 영상을 생성할 수도 있게 된다. 구체적으로, 프로세서(120)는 변경된 네트워크 구조에 기초하여 파라미터를 학습하고, 학습된 파라미터를 이용하여 HDR 영상을 생성할 수 있다.
상술한 바와 같이, 학습된 밝기 비율을 이용하여 곱셈 연산을 수행하고, 학습된 보정 값을 이용하여, 국부적인 보정을 수행함으로써, 연산량을 최소화하면서 선명한 HDR 영상을 생성할 수 있다. 한편, 학습을 통해 파라미터를 식별함으로써, 이미 촬영된 단일 LDR 영상만으로도 HDR 촬영 영상 수준의 풍부한 동작 범위로 표현할 수 있게 된다.
도 3은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구체적인 구성을 설명하기 위한 블럭도이다.
도 3을 참조하면, 영상 처리 장치(100)는 메모리(110), 프로세서(120), 통신부(130), 디스플레이(140), 버튼(150), 비디오 프로세서(160) 및 촬상부(170)를 포함할 수 있다. 여기서, 메모리(110) 및 프로세서(120)는 도 2에 도시된 구성과 동일한 바, 중복된 기재는 생략한다.
우선, 프로세서(120)는 RAM(121), ROM(122), CPU(123), GPU(Graphic Processing Unit)(124), 버스(125)를 포함할 수 있다. RAM(121), ROM(122), CPU(123), GPU(Graphic Processing Unit)(124) 등은 버스(125)를 통해 서로 연결될 수 있다.
CPU(123)는 메모리(110)에 액세스하여, 메모리(110))에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴-온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(122)에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 메모리(110)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(124)는 영상 처리 장치(100)의 부팅이 완료되면, 디스플레이(140)에 UI를 디스플레이한다. 구체적으로는, GPU(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면(또는 사용자 인터페이스 창)은 디스플레이(140)로 제공되어, 메인 표시 영역 및 서브 표시 영역에 각각 표시된다.
통신부(130)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 구체적으로, 통신부(130)는 외부 장치로부터 LDR 영상 또는 SDR 영상을 수신할 수 있다. 이때, 프로세서(120)는 수신된 LDR 영상 및 메모리(110)에 저장된 영상 처리 장치(100)의 동작 범위를 이용하여 HDR 영상을 생성할 수 있다.
또는, 통신부(130)는 외부 디스플레이 장치로부터 외부 디스플레이 장치의 동작 범위를 수신할 수도 있다. 이때, 프로세서(120)는 LDR영상 및 수신된 외부 디스플레이 장치의 동작 범위를 이용하여 HDR 영상을 생성할 수 있다. 그리고, 통신부(130)는 생성된 HDR 영상을 디스플레이 장치와 같은 외부 장치로 전송할 수 있다.
구체적으로, 통신부(130)는 외부 장치로부터 안테나, 케이블 또는 포트와 같은 유선 방식을 통하여 영상을 입력받거나, 와이파이(Wi-Fi), 블루투스와 같은 무선 방식을 통하여 영상을 입력받을 수 있다. 한편, 실제 구현시에는, 영상 처리 장치(100)는 영상 처리 장치(100)에 구비된 메모리(110)에 저장된 복수의 영상 중 사용자가 선택한 영상을 입력받아 영상 처리할 수도 있다.
영상 처리 장치(100)가 무선 통신이 가능한 경우, 통신부(130)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩을 포함할 수 있다. 구체적으로, 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
디스플레이(140)는 프로세서(120)에 의해 생성 HDR 영상을 표시할 수 있다. 디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 또한, 디스플레이(140)은 플렉서블 디스플레이로 구현될 수도 있다.
한편, 다양한 실시 형태에 따라, 영상 처리 장치(100)에 디스플레이(140)는 구비되지 않을 수도 있다.
버튼(150)은 영상 처리 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
비디오 프로세서(160)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(110)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(160)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
촬상부(170)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 구체적으로, 촬상부(170)는 HDR 영상을 생성하기 위한 하나 이상의 영상을 촬상할 수 있다.
한편, 촬상부(170)는 렌즈, 이미지 센서 등을 포함할 수 있다. 그리고, 촬상부(170)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다. 그리고, 다양한 실시 형태에 따라, 영상 처리 장치(100)에 촬상부(170)는 구비되지 않을 수도 있다.
그 밖에, 도 3에 도시하지는 않았으나, 실시 예에 따라서는, 영상 처리 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 오디오 프로세서, 마이크, 오디오 출력부, 다양한 센서 등을 더 포함할 수 있음은 물론이다.
도 4 내지 도 9는 본 개시의 다양한 실시 예에 따른 네트워크를 이용한 HDR 영상 생성 과정을 설명하기 위한 도면이다.
도 4는 스케일링 네트워크가 식(1)과 같은 일차 함수로 설계된 실시 예를 나타낸 것이다. 이때, 스케일링 네트워크는 사용자 입력에 따라 설계된 것일 수 있다.
HDR = A * LDR + B (1)
여기서, A는 밝기 비율을 의미하고, B는 보정 값을 의미할 수 있다.
도 4를 참조하면, 영상 처리 장치는 입력된 LDR 영상(410)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.
구체적으로, 영상 처리 장치는 밝기 비율을 식별하기 위한 제1 파라미터를 이용하여 밝기 비율을 식별하는 제1 네트워크(411)를 통해 밝기 비율을 식별할 수 있다. 그리고, 보정 값을 식별하기 위한 제2 파라미터를 이용하여 보정 값을 식별하는 제2 네트워크(412)를 통해 보정 값을 식별할 수 있다. 이때, 영상 처리 장치는 제1 네트워크(411) 및 제2 네트워크 (412)를 병렬적으로 구동할 수 있다.
그리고, 영상 처리 장치는 입력된 LDR 영상(410)에 제1 네트워크(411)를 이용하여 식별된 밝기 비율을 곱셈 연산을 통해 적용할 수 있다. 구체적으로, 밝기 비율은 LDR 영상(410)의 각 픽셀의 값에 따라 다른 값이 식별되며, 영상 처리 장치는 LDR 영상(410)의 각 픽셀에, 픽셀 별로 대응되는 밝기 비율을 곱하여 LDR 영상(410)의 밝기를 조절할 수 있다.
그 다음, 영상 처리 장치는 밝기가 조절된 LDR 영상에 제2 네트워크(412)를 이용하여 식별된 보정 값을 가감하여 HDR 영상(420)을 생성할 수 있다. 이때, 보정 값이 양수인 경우 보정 값을 가한다고 지칭하며, 보정 값이 양수인 경우 보정 값을 감한다고 지칭할 수 있다.
그리고, 영상 처리 장치는 저장된 원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 생성된 HDR 영상과 원본 HDR 영상을 비교하여 밝기 값의 차이가 최소가 되도록 제1 네트워크(411)의 제1 파라미터를 학습할 수 있다. 그리고, 영상 처리 장치는 저장된 원본 HDR 영상과 생성된 HDR 영상을 비교하여 픽셀 값의 차이가 최소가 되도록 제2 네트워크(412)의 제2 파라미터를 학습할 수 있다.
상술한 바와 같이, 본 개시에 따르면 곱셈 연산을 이용하기 때문에 정규화 과정이 필요 없어 연산량이 감소하며, 빠르게 학습이 가능하고, 픽셀 별로 보정을 수행함으로써, 영상의 국부적인 특징을 반영하여 보다 선명한 HDR 영상 생성이 가능하게 된다.
한편, 도 4에서는 스케일링 네트워크가 일차 함수로 설계된 것으로 한정하여 설명하였으나, 네트워크 구조를 변경하기 위한 사용자의 제어 명령 입력에 따라 다양한 함수로 설계될 수 있다. 이때, 스케일링 네트워크를 구성하는 복수의 네트워크는 목적에 따라 파라미터가 다르게 설정되는 바, 이하에서는 네트워크의 용도를 한정하지 않고, 제1 네트워크 및 제2 네트워크로 지칭하기로 한다.
구체적으로, 도 5는 스케일링 네트워크가 식(2)와 같은 다차 함수로 설계된 실시 예를 설명하기 위한 도면이다.
HDR = A * LDR3 + B * LDR2 + C * LDR + D (2)
도 5를 참조하면, 영상 처리 장치는 입력된 LDR 영상(510) 및 스케일링 네트워크를 이용하여 HDR 영상(520)을 생성할 수 있다.
이때, 영상 처리 장치는 도 4와 같이, 입력된 LDR 영상(510)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.
구체적으로, 영상 처리 장치는 밝기 비율을 식별하기 위한 제1 파라미터를 이용하는 제1 네트워크(511)를 통해 제1 값을 식별할 수 있다. 그리고, 제2 파라미터를 이용하는 제2 네트워크(512)를 통해 제2 값을 식별할 수 있다. 이때, 영상 처리 장치는 제1 네트워크(511) 및 제2 네트워크 (512)를 병렬적으로 구동할 수 있다.
한편, 도 5에서는 도 4와 다르게 제1 네트워크(511) 및 제2 네트워크(512) 내에도 곱셈 또는 덧셈 연산이 수행될 수 있다. 이에 따라, 영상 처리 장치는 스케일링 네트워크가 다차 함수인 경우에도 입력된 LDR 영상(510)에서 HDR 영상(520)을 생성하기 위한 가장 적합한 값을 식별할 수 있는 파라미터를 학습할 수 있다.
한편, 스케일링 네트워크는 스케일링 네트워크를 구성하는 복수의 네트워크는 도 6 및 도 7과 같이 직렬적으로 구동될 수도 있다.
구체적으로, 도 6을 참조하면, 영상 처리 장치는 입력된 LDR 영상(610)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어로 구성된 네트워크를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.
구체적으로, 영상 처리 장치는 제1 파라미터를 이용하는 제1 네트워크(611)를 통해 제1 값을 식별할 수 있다. 그리고, 영상 처리 장치는 입력된 LDR 영상(610)에 식별된 제1 값을 곱셈 연산을 이용하여 적용할 수 있다.
그리고, 영상 처리 장치는 제1 값이 적용된 LDR 영상의 특징 맵을 제 2 값을 이용하는 제2 네트워크(612)를 통해 제2 값을 식별할 수 있다. 그리고, 영상 처리 장치는 밝기가 조절된 LDR 영상에 식별된 제2 값을 덧셈 연산으로 적용하여 HDR 영상(620)을 생성할 수 있다.
한편, 도 7을 참조하면, 영상 처리 장치는 입력된 LDR 영상(710)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어로 구성된 네트워크를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.
구체적으로, 영상 처리 장치는 제1 파라미터를 이용하는 제1 네트워크(711)를 통해 제1 값을 식별할 수 있다. 그리고, 영상 처리 장치는 입력된 LDR 영상(710)에 식별된 제1 값을 덧셈 연산을 이용하여 적용할 수 있다.
그리고, 영상 처리 장치는 제1 값이 적용된 LDR 영상의 특징 맵을 제 2 값을 이용하는 제2 네트워크(712)를 통해 제2 값을 식별할 수 있다. 그리고, 영상 처리 장치는 밝기가 조절된 LDR 영상에 식별된 제2 값을 덧셈 연산으로 적용하여 HDR 영상(720)을 생성할 수 있다. 도 4에서는 입력된 LDR 영상의 특징 맵을 이용하여 제2 값에 대응되는 보정 값을 식별한 반면, 도 6 및 도 7에서는 제1 값이 적용된 LDR 영상의 특징 맵을 이용하여 제2 값을 식별하는 차이가 있다.
한편, 도 8 및 도 9와 같이, 스케일링 네트워크는 다항 함수가 아닌 로그 함수 또는 지수 함수에 대응되는 레이어를 포함할 수 있다.
도 8은 스케일링 네트워크가 식(3)과 같은 로그 함수로 설계된 실시 예를 설명하기 위한 도면이다.
Figure PCTKR2019000995-appb-I000001
(3)
여기서 A는 적어도 하나의 곱셈 연산을 포함하는 제1 네트워크를 이용하여 식별된 제1 값일 수 있다.
그리고, 도 8을 참조하면, 영상 처리 장치는 입력 값(810)의 역수에 제2 네트워크를 이용하여 식별된 제2 값을 덧셈 연산을 이용하여 적용한 후 로그 함수인 ln을 취하는 레이어를 통과시킨 후 제1 값과 곱센 연산하여 출력 값(820)을 식별할 수 있다. 식(3)에 따르면, 도 8에서 제 2값은 -1일 수 있다.
도 9는 스케일링 네트워크가 식(4)와 같은 지수 함수로 설계된 실시 예를 설명하기 위한 도면이다.
Figure PCTKR2019000995-appb-I000002
(4)
여기서 A는 적어도 하나의 곱셈 연산을 포함하는 제1 네트워크를 이용하여 식별된 제1 값일 수 있다.
그리고, 도 9를 참조하면, 영상 처리 장치는 입력 값(910)에 식별된 제 1값을 곱셈 연산으로 적용한 후 밑이 e인 지수 함수로 변환하는 레이어를 통과시킬 수 있다. 그리고, 영상 처리 장치는 지수 함수로 변환된 값 및 제2 네트워크를 이용하여 제2 값을 식별할 수 있다. 그리고, 영상 처리 장치는 지수 함수로 변환된 값에 식별된 제2 값을 덧셈 연산을 이용하여 적용할 수 있다. 그리고, 영상 처리 장치는 제2 값이 적용된 값의 역수를 취하여 출력 값(920)을 식별할 수 있다. 식(4)에 따르면, 도 9에서 제2 값은 1일 수 있다.
상술한 바와 같이, 본 개시에 따르면, 입력되는 데이터 간의 관계를 알고 있을 때, 최적화된 값을 학습할 수 있게 된다.
도 10은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 영상 처리 장치는 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR 영상의 밝기를 조절할 수 있다(S1010). 구체적으로, 영상 처리 장치는 기저장된 제1 파라미터를 이용하여 저장된 LDR 영상 또는 수신된 LDR 영상의 픽셀 별로 HDR 영상을 생성하기 위한 밝기 비율을 식별할 수 있다. 이때, 제1 파라미터는 미리 학습된 것일 수 있다. 구체적으로, 제1 파라미터는 테스트 셋에 포함된 네트워크와 동일한 구조의 네트워크를 이용하여 미리 학습된 것일 수 있다. 그리고, 영상 처리 장치는 LDR 영상의 각 픽셀의 인접한 픽셀의 밝기를 더 고려하여 픽셀별 밝기 비율을 식별할 수 있다.
그리고, 영상 처리 장치는 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR 영상을 획득할 수 있다(S1020). 구체적으로, 영상 처리 장치는 밝기가 조절된 LDR 영상 중 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 픽셀 별 보정 값을 식별할 수 있다. 한편, 영상 처리 장치는 밝기가 조절된 LDR 영상 중 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 픽셀 별 보정 값을 식별할 수 있다. 이때, 제2 파라미터는 미리 학습된 것일 수 있다. 구체적으로, 제2 파라미터는 테스트 셋에 포함된 네트워크와 동일한 구조의 네트워크를 이용하여 미리 학습된 것일 수 있다. 그리고, 영상 처리 장치는 네트워크의 구조에 따라 밝기 비율과 보정 값을 병렬적으로 식별할 수 있다.
이상에 기재한 본 개시의 다양한 실시 예에 따르면, 학습된 파라미터를 이용하여 식별된 밝기 비율을 이용하여 곱셈 연산을 수행하고, 학습된 파라미터를 이용하여 식별된 보정 값을 이용하여, 국부적인 보정을 수행함으로써, 연산량을 최소화하면서 선명한 HDR 영상을 생성할 수 있다. 한편, 학습을 통해 파라미터를 식별함으로써, 이미 촬영된 단일 LDR 영상만으로도 HDR 촬영 영상 수준의 풍부한 동작 범위로 표현할 수 있게 된다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 영상 처리 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 영상 처리 장치에 있어서,
    LDR(Low Dynamic Range) 영상을 저장하는 메모리;
    제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 상기 LDR 영상의 밝기를 조절하고, 상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 프로세서;를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 메모리에는,
    원본 HDR 영상 및 상기 원본 HDR 영상에 대응되는 학습용 LDR 영상이 저장되고,
    상기 제1 파라미터는,
    상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것인, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 제2 파라미터는,
    상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 픽셀 값과 상기 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 학습된 것인, 영상 처리 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 학습용 LDR 영상의 밝기 값의 범위 및 상기 원본 HDR 영상의 밝기 값의 범위의 정규화를 고려하여 상기 제1 파라미터를 학습하는 영상 처리 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 적어도 하나의 곱셈 연산을 이용하여 식별된 픽셀별 밝기 비율에 기초하여 상기 제1 파라미터를 학습하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 밝기가 조절된 LDR 영상의 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 픽셀 별 보정 값을 식별하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 밝기가 조절된 LDR 영상의 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 픽셀별 보정 값을 식별하는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작과 상기 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작을 병렬적으로 수행하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 상기 픽셀 별 밝기 비율을 식별하는 영상 처리 장치.
  10. 영상 처리 방법에 있어서,
    제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR(Low Dynamic Range) 영상의 밝기를 조절하는 단계; 및
    상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 단계;를 포함하는 영상 처리 방법.
  11. 제10항에 있어서,
    상기 제1 파라미터는,
    원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것인, 영상 처리 방법.
  12. 제10항에 있어서,
    상기 픽셀 별 보정 값은,
    상기 밝기가 조절된 LDR 영상의 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 식별되는, 영상 처리 방법.
  13. 제10항에 있어서,
    상기 픽셀 별 보정 값은,
    상기 밝기가 조절된 LDR 영상의 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 식별되는 영상 처리 방법.
  14. 제10항에 있어서,
    상기 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작 및 상기 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작은 병렬적으로 수행되는 영상 처리 방법.
  15. 제10항에 있어서,
    상기 픽셀 별 밝기 비율은,
    상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 식별되는, 영상 처리 방법.
PCT/KR2019/000995 2018-01-24 2019-01-24 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 WO2019147028A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980006513.4A CN111492400A (zh) 2018-01-24 2019-01-24 图像处理设备、图像处理方法和计算机可读记录介质
US16/962,270 US11315223B2 (en) 2018-01-24 2019-01-24 Image processing apparatus, image processing method, and computer-readable recording medium
EP19744540.6A EP3686836A4 (en) 2018-01-24 2019-01-24 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180008923A KR102460390B1 (ko) 2018-01-24 2018-01-24 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR10-2018-0008923 2018-01-24

Publications (1)

Publication Number Publication Date
WO2019147028A1 true WO2019147028A1 (ko) 2019-08-01

Family

ID=67394771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000995 WO2019147028A1 (ko) 2018-01-24 2019-01-24 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체

Country Status (5)

Country Link
US (1) US11315223B2 (ko)
EP (1) EP3686836A4 (ko)
KR (1) KR102460390B1 (ko)
CN (1) CN111492400A (ko)
WO (1) WO2019147028A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180332210A1 (en) * 2016-01-05 2018-11-15 Sony Corporation Video system, video processing method, program, camera system, and video converter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246940A1 (en) * 2009-03-25 2010-09-30 Micro-Star Internationa'l Co., Ltd. Method of generating hdr image and electronic device using the same
KR20130040321A (ko) * 2011-10-14 2013-04-24 중앙대학교 산학협력단 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법
WO2017036908A1 (en) * 2015-08-31 2017-03-09 Thomson Licensing Method and apparatus for inverse tone mapping
US20170337670A1 (en) * 2016-05-23 2017-11-23 Thomson Licensing Inverse tone mapping method and corresponding device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2570090C (en) 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
CN102422322B (zh) * 2009-05-11 2015-01-21 杜比实验室特许公司 用于在目标环境下在装置处再现来自源环境的图像的色貌的方法和设备
WO2011042229A1 (en) * 2009-10-08 2011-04-14 International Business Machines Corporation Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image
WO2012004709A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
KR101926490B1 (ko) 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
US8957984B2 (en) 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
US9607366B1 (en) 2014-12-19 2017-03-28 Amazon Technologies, Inc. Contextual HDR determination
EP3131284A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and aparatus for hdr to hdr inverse tone mapping
US10129477B2 (en) 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
US10366478B2 (en) * 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
CN106846282B (zh) 2017-03-28 2019-06-04 华侨大学 一种采用自适应校正的低照度图像增强方法
WO2019112085A1 (en) * 2017-12-06 2019-06-13 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246940A1 (en) * 2009-03-25 2010-09-30 Micro-Star Internationa'l Co., Ltd. Method of generating hdr image and electronic device using the same
KR20130040321A (ko) * 2011-10-14 2013-04-24 중앙대학교 산학협력단 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법
WO2017036908A1 (en) * 2015-08-31 2017-03-09 Thomson Licensing Method and apparatus for inverse tone mapping
US20170337670A1 (en) * 2016-05-23 2017-11-23 Thomson Licensing Inverse tone mapping method and corresponding device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ENDO, YUKI ET AL.: "Deep Reverse Tone Mapping", ACM TRANSACTIONS ON GRAPHICS (TOG, vol. 36, no. 6, November 2017 (2017-11-01), XP055569666, doi:10.1145/3130800.3130834 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180332210A1 (en) * 2016-01-05 2018-11-15 Sony Corporation Video system, video processing method, program, camera system, and video converter
US10855930B2 (en) * 2016-01-05 2020-12-01 Sony Corporation Video system, video processing method, program, camera system, and video converter

Also Published As

Publication number Publication date
US11315223B2 (en) 2022-04-26
US20210065339A1 (en) 2021-03-04
EP3686836A1 (en) 2020-07-29
KR102460390B1 (ko) 2022-10-28
KR20190090262A (ko) 2019-08-01
EP3686836A4 (en) 2020-12-02
CN111492400A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
WO2020251285A1 (en) Apparatus and method for high dynamic range (hdr) image creation of dynamic scenes using graph cut-based labeling
WO2020231065A1 (en) Method and apparatus for combining image frames captured using different exposure settings into blended images
WO2022019437A1 (en) Guided multi-exposure image fusion
WO2019045499A1 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM
WO2019088476A1 (en) Image processing apparatus, method for processing image and computer-readable recording medium
WO2020204277A1 (en) Image processing apparatus and image processing method thereof
WO2019066273A1 (ko) 전자칠판 및 그 제어방법
CN111080595A (zh) 图像处理方法、装置、电子设备及计算机可读介质
WO2018164527A1 (en) Display apparatus and control method thereof
WO2015102248A1 (en) Display apparatus and channel map managing method thereof
WO2019147028A1 (ko) 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2022014791A1 (en) Multi-frame depth-based multi-camera relighting of images
WO2018080204A1 (ko) 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
WO2020050550A1 (en) Methods and systems for performing editing operations on media
WO2020138630A1 (en) Display apparatus and image processing method thereof
EP4272458A1 (en) Method and electronic device for capturing media using under display camera
WO2020111387A1 (ko) 영상 처리 장치 및 그 영상 처리 방법
WO2024053849A1 (ko) 전자 장치 및 그 영상 처리 방법
WO2020075925A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
WO2021125490A1 (ko) Hdr 영상을 생성하는 전자 장치 및 그 동작 방법
WO2024147417A1 (en) Method, electronic device and machine-readable medium for scene-adaptive denoise scheduling and efficient deghosting
WO2021025445A1 (en) Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
WO2023048465A1 (en) Skin tone protection using a dual-core geometric skin tone model built in device-independent space
WO2024111931A1 (en) Airy-disk correction for deblurring image
WO2023068484A1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19744540

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019744540

Country of ref document: EP

Effective date: 20200421

NENP Non-entry into the national phase

Ref country code: DE