WO2017034323A1 - 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치 - Google Patents

적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치 Download PDF

Info

Publication number
WO2017034323A1
WO2017034323A1 PCT/KR2016/009394 KR2016009394W WO2017034323A1 WO 2017034323 A1 WO2017034323 A1 WO 2017034323A1 KR 2016009394 W KR2016009394 W KR 2016009394W WO 2017034323 A1 WO2017034323 A1 WO 2017034323A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel value
image
pixel
target
input image
Prior art date
Application number
PCT/KR2016/009394
Other languages
English (en)
French (fr)
Inventor
정순기
구재호
쟈베드샤지드
오선호
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2017034323A1 publication Critical patent/WO2017034323A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering

Definitions

  • the present invention relates to an image processing apparatus and method, and an object detecting apparatus using the same.
  • a method of confirming an event from a video taken by a camera is used.
  • grasping an event from a video may directly determine whether a specific event has occurred while a user checks the video
  • a computer has developed a method of automatically determining whether an event has occurred by detecting an object from the video through image processing. .
  • a human visually checks an image or a computer detects an object through image processing, in order to determine whether an event is generated from the image, the image needs to have a certain level of illumination. In the case of detecting an object by processing a low light image, the detection result is inaccurate and there is a limit in reliability. Even when a human visually checks the image, it is difficult to identify the object from the image captured in a dark environment.
  • An embodiment of the present invention is to provide an image processing apparatus and method and an object detection apparatus for improving the accuracy and reliability of the image processing results by improving the low light image.
  • An embodiment of the present invention is to provide an image processing apparatus and method, and an object detection apparatus that can solve the problem that the object identification is impossible because the pixel value is partially saturated in the resultant image after the image processing to improve the illuminance do.
  • An embodiment of the present invention is to provide an image processing apparatus and method, and an object detecting apparatus that can mitigate the color distortion of the resultant image after image processing.
  • An embodiment of the present invention is to provide an image processing apparatus and method for enabling real-time processing by reducing the amount of computation required for image processing, and an object detection apparatus.
  • An image processing apparatus may include: a pixel for generating pixel value coordinates including a pixel value of a target pixel in a target image obtained from an input image and a pixel value of a reference pixel corresponding to the target pixel in a reference image A value coordinate generator; A reference pixel value determiner which determines a reference pixel value corresponding to the pixel value of the target image based on the pixel value coordinates; And a pixel value changer configured to change the pixel value of each pixel in the input image to the reference pixel value corresponding to the pixel value.
  • the pixel value coordinate generator may generate two-dimensional pixel value coordinates including a pixel value of the target pixel and a pixel value of the reference pixel.
  • the target image may be a background image obtained by separating the foreground from the input image.
  • the target image may be a background image frame obtained by separating the foreground from an image frame obtained at predetermined time intervals among consecutive input images.
  • the reference image may be a background image obtained by separating the foreground from an image of a scene identical to the input image in an environment brighter than the input image.
  • the reference pixel value determiner may include: calculating a equation of a figure in which a sum of distances spaced from each pixel value coordinate point corresponding to each pixel value coordinate in a coordinate system representing the pixel value coordinates is a minimum and then applies the pixel value of the target image to the pixel value of the target image;
  • the relational expression of the reference pixel values may be obtained.
  • the reference pixel value determiner may classify the pixel value coordinates into a plurality of groups and calculate an equation of the figure for each group.
  • the reference pixel value determiner may classify the pixel value coordinates based on a boundary obtained by parallelly moving the figure in the coordinate system.
  • the reference pixel value determiner may adjust the equation of the figure for the group by moving the figure for at least one of the other groups toward the figure for one group in the coordinate system.
  • the pixel value changing unit may change the pixel value of the input image into a reference pixel value obtained by substituting a variable corresponding to the pixel value of the target image in the relational expression.
  • the image processing apparatus converts a first color space model used in the input image, the target image, and the reference image into a second color space model including luminance and chromaticity, and uses the input image in which the pixel value is changed.
  • the apparatus may further include a color space model converter configured to convert the second color space model into the first color space model.
  • the pixel value coordinate generator may generate the pixel value coordinates by using the luminance pixel value corresponding to the luminance of the target pixel and the luminance pixel value corresponding to the luminance of the reference pixel.
  • the image processing apparatus may perform a chromaticity corresponding to the chromaticity of each pixel in the input image based on a chromaticity pixel value corresponding to the chromaticity of the target pixels in the target image and a chromaticity pixel value corresponding to the chromaticity of the reference pixels in the reference image.
  • the apparatus may further include a chromaticity pixel value changing unit for changing the pixel value.
  • the chroma pixel value changing unit obtains an average of chroma pixel values of the target pixels and chroma pixel values of the reference pixels, and calculates an average of chroma pixel values of the target pixels from chroma pixel values of each pixel in the input image. After subtracting, the average of the chromaticity pixel values of the reference pixels may be added.
  • An image processing method is a method of processing an image using an image processing apparatus, wherein the pixel value of a target pixel in a target image obtained from an input image and a reference pixel corresponding to the target pixel in a reference image are obtained.
  • An image processing method may be implemented as a computer executable program and recorded on a computer readable recording medium.
  • An image processing method may be implemented as a computer program stored in a medium for execution in combination with a computer.
  • the pre-processing unit for pre-processing the input image;
  • a background separator for separating a background from the preprocessed input image to obtain a foreground image;
  • an object detector configured to detect an object by using the foreground image
  • the preprocessor includes: a pixel value of a target pixel in a target image obtained from the input image and a pixel value of a reference pixel corresponding to the target pixel in a reference image
  • a pixel value coordinate generator for generating pixel value coordinates including a;
  • a reference pixel value determiner which determines a reference pixel value corresponding to the pixel value of the target image based on the pixel value coordinates;
  • a pixel value changer configured to change the pixel value of each pixel in the input image to the reference pixel value corresponding to the pixel value.
  • the object detecting apparatus analyzes the brightness of the input image and transmits the input image to the preprocessor if the brightness is smaller than a preset threshold, and if the brightness is greater than or equal to the threshold, the background of the input image. It may further include a brightness analyzer for transmitting to the separator.
  • the target image may be a background image obtained by separating the foreground from the input image.
  • the target image may be a background image frame obtained by separating the foreground from an image frame obtained at predetermined time intervals among consecutive input images.
  • the reference image may be a background image obtained by separating the foreground from an image of a scene identical to the input image in an environment brighter than the input image.
  • the accuracy and reliability of the image processing result may be improved by improving the low light image.
  • real-time processing may be achieved by reducing the amount of computation required for image processing to improve processing speed.
  • FIG. 1 is an exemplary block diagram of an object detecting apparatus according to an embodiment of the present invention.
  • FIG. 2 is a view schematically showing the configuration of a preprocessor according to an embodiment of the present invention.
  • 3 is an example of an input image that is image processed according to an embodiment of the present invention.
  • FIG. 4 is an example of a reference image used to process the input image of FIG. 3.
  • FIG. 5 is a graph illustrating pixel value coordinates generated from a target image obtained from the input image of FIG. 3 and a reference image of FIG. 4, according to an exemplary embodiment.
  • FIG. 6 is a graph illustrating a straight line calculated from the pixel value coordinate points of FIG. 5 according to an exemplary embodiment of the present invention.
  • FIG. 7 is a graph illustrating a state in which pixel value coordinates are classified into a plurality of groups according to another exemplary embodiment of the present invention.
  • FIG. 8 is a graph illustrating a straight line calculated for each group of pixel value coordinates according to another exemplary embodiment of the present invention.
  • FIG. 9 is a result image obtained by processing the input image of FIG. 3 based on the straight lines shown in FIG. 8 according to another embodiment of the present invention.
  • FIG. 11 is a resultant image obtained by processing the input image of FIG. 3 based on straight lines after adjustment illustrated in FIG. 10, according to another exemplary embodiment.
  • FIG. 12 is an exemplary flowchart of an object detection method according to an embodiment of the present invention.
  • FIG. 13 is an exemplary flowchart of a preprocessing process according to an embodiment of the present invention.
  • FIG. 14 is an exemplary flowchart of a process of changing a chromaticity pixel value of each pixel in an input image according to an embodiment of the present invention.
  • the terms ' ⁇ ', ' ⁇ ', ' ⁇ block', ' ⁇ module', etc. used throughout the present specification may mean a unit for processing at least one function or operation.
  • it can mean a hardware component such as software, FPGA, or ASIC.
  • ' ⁇ ', ' ⁇ ', ' ⁇ block', ' ⁇ module', etc. are not limited to software or hardware.
  • ' ⁇ ', ' ⁇ ', ' ⁇ ', ' ⁇ ' May be configured to reside in an addressable storage medium or may be configured to play one or more processors.
  • ' ⁇ ', ' ⁇ ', ' ⁇ block', ' ⁇ module' are components such as software components, object-oriented software components, class components, and task components. And processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and Contains variables
  • the components and the functions provided within ' ⁇ ', ' ⁇ ', ' ⁇ ', ' ⁇ ', ',' ⁇ Module 'or may be further separated into additional components and' ⁇ part ',' ⁇ group ',' ⁇ block ',' ⁇ module '.
  • FIG. 1 is an exemplary block diagram of an object detecting apparatus 10 according to an embodiment of the present invention.
  • the object detecting apparatus 10 may include a preprocessor 110, a background separator 120, and an object detector 130.
  • the preprocessor 110 preprocesses the input image.
  • the background separator 120 separates a background from the preprocessed input image to obtain a foreground image.
  • the object detector 130 detects an object by using the foreground image.
  • the object detecting apparatus 10 and the components included therein according to an embodiment of the present invention are processors that can process image data according to a predetermined algorithm, and may include, for example, a CPU, a GPU, and the like. Do not.
  • the processor may process image data by calling and executing a program stored in a storage device such as an HDD or an SSD.
  • the processed image may be provided to a display device such as a display, displayed on a screen, transmitted to another device using the processed image, or stored in the storage device.
  • the image processed according to an embodiment of the present invention may be an image captured by the same posture of the one space region in the same position, for example, but may be a surveillance image captured by CCTV, but is not limited thereto. According to an embodiment, the image processing according to the embodiment of the present invention may be applied to an image captured while the camera is dynamically moved.
  • the object detecting apparatus 10 may determine whether a specific event occurs by processing an input image and detecting an object therefrom. For example, the object detecting apparatus 10 detects and tracks a moving object moving in an image, discovers an object displayed on an image from a certain point in the monitoring target space, or disappears at a certain point in the monitoring target space. You can see the missing objects in the image.
  • the preprocessor 110 preprocesses the input image to improve the accuracy of the detection result before detecting the object from the image.
  • the preprocessing unit 110 may improve the accuracy and reliability of various image processing results including object detection by improving an input image having low illumination taken at night time or in an environment in which lighting is insufficient.
  • FIG. 2 is a view schematically showing the configuration of the pre-processing unit 110 according to an embodiment of the present invention.
  • the preprocessor 110 may include a pixel value coordinate generator 112, a reference pixel value determiner 113, and a pixel value changer 114.
  • the pixel value coordinate generator 112 includes pixel values of the target pixel in the target image obtained from the input image and pixel values of the reference pixel corresponding to the target pixel in the reference image. Can be generated.
  • the reference pixel value determiner 113 may determine a reference pixel value corresponding to the pixel value of the target image based on the pixel value coordinates.
  • the pixel value changing unit 114 may change the pixel value of each pixel in the input image into the reference pixel value corresponding to the pixel value.
  • the preprocessing unit 110 may improve an image by changing a pixel value of an input image (eg, a low light image) by using a target image and a reference image.
  • an input image eg, a low light image
  • the target image may be obtained from an input image.
  • the target image may be a background image obtained by separating the foreground from the input image.
  • the preprocessing unit 110 uses the input image as the target image, the target image may be the same as the input image.
  • the reference image is an image captured by the same scene as the input image, and is an image captured in a brighter environment than the input image. Furthermore, according to an embodiment, the reference image may be a background image obtained by separating the foreground from an image of a scene identical to the input image in a brighter environment than the input image.
  • the preprocessing unit 110 when the preprocessing unit 110 receives a surveillance image that always photographs an outdoor space as an input image, the reference image has a brightest brightness and has a low light intensity area such as a shade in the image (eg, daytime). Time frame).
  • a shade in the image eg, daytime. Time frame
  • the pixel value coordinate generator 112 may generate pixel value coordinates including a pixel value of a target pixel and a pixel value of a reference pixel in a reference image for each target pixel in the target image.
  • the pixel value coordinate generator 112 may generate two-dimensional pixel value coordinates P T and P R including a pixel value of a target pixel and a pixel value of a reference pixel.
  • P T and P R including a pixel value of a target pixel and a pixel value of a reference pixel.
  • FIG. 3 is an example of an input image processed by an image according to an embodiment of the present invention
  • FIG. 4 is an example of a reference image used to process the input image of FIG. 3.
  • FIG. 5 is a graph illustrating pixel value coordinates generated from a target image obtained from the input image of FIG. 3 and a reference image of FIG. 4, according to an exemplary embodiment.
  • the preprocessor 110 may improve the illumination of the image by preprocessing the input image using the reference image as shown in FIG. 4.
  • the reference image of FIG. 4 is an image of the same outdoor space as the input image of FIG. 3 in the same posture at the same position, except that the photographing time is in daytime instead of night.
  • the pixel value coordinate generator 112 generates two-dimensional pixel value coordinates P T and P R composed of pixel values of the target pixel in the target image and pixel values of the reference pixel in the reference image. If the pixel value coordinate points corresponding to the pixel value coordinates P T and P R are represented on a two-dimensional coordinate plane, the graph of FIG. 5 may be obtained.
  • the horizontal axis is a coordinate axis corresponding to the pixel value of the target image
  • the vertical axis is a coordinate axis corresponding to the pixel value of the reference image.
  • the target image is a background image obtained by separating the foreground from the input image
  • the reference image is also a background image obtained by separating the foreground from an image of the same scene as the input image in a brighter environment (that is, a day time zone) than the input image. This was used.
  • each pixel value coordinate (P T , P R ) has the pixel value P T of each target pixel in the target image as one coordinate value, and the pixel value P R of the reference pixel in the reference image is the other coordinate value.
  • the target pixel and the corresponding reference pixel are pixels having the same position of the pixel in the image.
  • the imaging time is different, so that the pixel value P T of the target pixel and the pixel value P R of the reference pixel do not coincide with each other and the pixel value coordinate points are coordinated It can be seen that it is scattered in the plane.
  • the reference pixel value determiner 113 may determine the target image based on the pixel value coordinates P T and P R. A reference pixel value corresponding to the pixel value may be determined.
  • the reference pixel value determiner 113 is a distance spaced from each pixel value coordinate point corresponding to each pixel value coordinate in a coordinate system representing the pixel value coordinates P T and P R.
  • a relation of reference pixel values with respect to pixel values of a target image may be obtained by calculating an equation of a figure in which the sum is the minimum.
  • the decision unit 113 calculates an equation of a straight line represented by a linear function.
  • the reference pixel value determiner 113 may calculate equations of various shapes, such as curves expressed by higher order functions, based on two-dimensional pixel value coordinates P T and P R.
  • the dimension of the pixel value coordinate is three or more dimensions, an equation of a spatial figure such as a plane or a curved surface may be calculated.
  • FIG. 6 is a graph illustrating a straight line calculated from the pixel value coordinate points of FIG. 5 according to an exemplary embodiment of the present invention.
  • the reference pixel value determiner 113 has a minimum sum of distances spaced from each pixel value coordinate point corresponding to each pixel value coordinate in a coordinate system representing the pixel value coordinates P T and P R.
  • the equation of the straight line l m can be calculated.
  • the reference pixel value determiner 113 has a minimum sum of distances spaced apart from each pixel value coordinate point in a direction parallel to the coordinate axis (ie, the vertical axis in FIG. 6) corresponding to the pixel value P R of the reference pixel.
  • the equation of the straight line l m can be calculated.
  • the reference pixel value determiner 113 is a figure in which the sum of distances from each pixel value coordinate point is minimized based on pixel value coordinates P T and P R obtained from a target image and a reference image (eg, The equation of a straight line, a curve, a broken line, a plane, a curved surface, etc.) may be calculated to obtain a relation of the reference pixel value P R with respect to the pixel value P T of the target image.
  • a reference image eg, The equation of a straight line, a curve, a broken line, a plane, a curved surface, etc.
  • the pixel value changing unit 114 may change the pixel value of each pixel in the input image into a reference pixel value corresponding to the pixel value.
  • the pixel value changing unit 114 uses the pixel value of the target image in a relational expression (ie, an equation of a figure) obtained by the reference pixel value determination unit 113 to obtain a pixel value of an input image.
  • the reference pixel value P R may be obtained by substituting into the variable P T corresponding to, and the corresponding pixel value of the input image may be changed to the reference pixel value P R.
  • the preprocessor 110 may adjust the pixel value of the input image to match the pixel value of the reference image by processing the input image based on the reference image. If the input image is a low light image taken in a dark environment, and the reference image is a high light image taken in a brighter environment with the same scene as the input image, the image processing according to the embodiment of the present invention described above is The input image may have a higher level of illuminance corresponding to the reference image.
  • the preprocessor 110 may further increase the illuminance of the image by changing the pixel value of the input image according to a plurality of different relational expressions.
  • the reference pixel value determiner 113 classifies the pixel value coordinates P T , P R into a plurality of groups and calculates an equation of a figure (eg, a straight line) for each group. Can be.
  • FIG. 7 is a graph illustrating a state in which pixel value coordinates are classified into a plurality of groups G h , G m , and G l according to another embodiment of the present invention.
  • the reference pixel value determiner 113 uses a plurality of groups G h , G m , and G to obtain pixel value coordinates obtained from a target image and a reference image. l )
  • the pixel value coordinates are classified into three groups consisting of an upper group G h , an intermediate group G m, and a lower group G l , but the number of groups may vary according to an embodiment.
  • the reference pixel value determiner 113 may classify the pixel value coordinates based on the pixel value P R of the reference pixel. For example, referring to FIG. 7, coordinates having a large pixel value P R of a reference pixel among the pixel value coordinates constitute an upper group G h , and coordinates having a small pixel value P R of a reference pixel are lower group G l. The coordinates in which the pixel value P R of the reference pixel is at an intermediate level may constitute the intermediate group G m .
  • the reference pixel value determiner 113 may classify the pixel value coordinates based on a boundary obtained by parallelly moving the figure (that is, the straight line l m in FIG. 7) in the coordinate system representing the pixel value coordinates.
  • the reference pixel value determiner 113 moves the upper group G based on the upper boundary b h obtained by parallelly moving a straight line l m in a direction in which the pixel value P R of the reference pixel increases. Identify the pixel value coordinates corresponding to h and distinguish the pixel value coordinates corresponding to the lower group G l based on the lower boundary b l obtained by moving the straight line l m in the direction of decreasing pixel value P R of the reference pixel. Can be.
  • boundary or criterion for dividing the pixel value coordinates is not limited thereto, and the pixel value coordinates may be distinguished in various embodiments.
  • the reference pixel value determiner 113 may calculate an equation of a figure in which a sum of distances spaced from pixel value coordinate points belonging to the group is minimum for each group of pixel value coordinates.
  • FIG. 8 is a graph illustrating straight lines l h , l m , l l calculated for each group G h , G m , G l of pixel value coordinates according to another embodiment of the present invention.
  • the reference pixel value determiner 113 is a figure in which a sum of distances spaced from pixel value coordinate points corresponding to pixel value coordinates belonging to each group is small for a group classified through the above-described process (a straight line in FIG. 8). ) Can be calculated.
  • the reference pixel value determiner 113 may obtain equations of straight lines l h , l m , l l as many as the number of groups, and the equations of each straight line are pixels belonging to each group.
  • the value coordinates P T and P R are used as a relational expression of the reference pixel value P R with respect to the pixel value P T of the target image.
  • each pixel in the input image belongs to a group to which corresponding pixel value coordinates belong. Accordingly, the pixel value may be adaptively changed by any one of a plurality of relational expressions.
  • the pixel values of the input image are not adjusted uniformly by one relation but are adaptively adjusted according to any one of a plurality of relations so that different levels of image enhancement may be achieved for each region of the input image. Can be.
  • FIG. 9 is a result image obtained by processing the input image of FIG. 3 based on the straight lines l h , l m , l l shown in FIG. 8 according to another embodiment of the present invention.
  • the illumination of the image is significantly improved compared to the input image of FIG. 3, thereby making it easier to detect an object over the entire area of the image, and it can be seen that the white region generated by saturation of pixel values does not appear in the image. .
  • the reference pixel value determiner 113 may obtain a more natural result image from the input image by adjusting a plurality of relational expressions obtained through the above process.
  • the reference pixel value determiner 113 is directed to at least one of the remaining groups toward a figure (eg, a straight line) for one group in a coordinate system representing the pixel value coordinates P T and P R. You can adjust the equation of the figure for the group by moving the figure.
  • a figure eg, a straight line
  • 10 is a graph showing straight lines l h , l m ', l l ' in which an equation is adjusted according to another embodiment of the present invention.
  • the reference pixel value determiner 113 includes a straight line l h and a bottom line with respect to the upper group G h among the straight lines l h , l m , l l calculated in the embodiment of FIG. 8.
  • the straight lines l h 'and l l ' can be obtained by adjusting the equations of the lines l h and l l such that the straight line l l for the group G l moves in parallel towards the straight line l m for the intermediate group G m .
  • the target image pixel value P T pixel values of the reference image at the time is 0, the P R (i.e., the intercept P R axis) the largest relation (FIG. 10, the linear equation for l h) to and translated in the direction of decreasing pixel values P R of the reference image, , the smallest relation P R-axis intercept of the (in Fig. 10, a straight line l equation l) by a parallel movement in the direction of increasing pixel values P R of the reference image, the pixel value of the station of the relationship reference image P R upper limit or The lower limit value can be avoided.
  • FIG. 11 is a result image obtained by processing the input image of FIG. 3 based on the straight lines l h , l m ', l l ' after adjustment shown in FIG. 10 according to another embodiment of the present invention.
  • the resultant image of FIG. 11 does not show a particular region in the image. It can be seen that more natural results can be obtained than the result images.
  • the computer not only detects the object through image processing from the result image obtained by the preprocessing unit 110, but also detects the object by visually identifying the object. Providing the image allows the viewer to more easily and accurately identify the object from the image.
  • the preprocessor 110 may further include a color space model converter 111.
  • the color space model converter 111 converts a color space model used in an image. According to an exemplary embodiment of the present invention, a luminance and chromaticity of a first color space model used in an input image, a target image, and a reference image may be calculated. The second color space model may be converted into an included second color space model. The color space model converting unit 111 converts the second color space model used in the input image (that is, the resultant image) whose pixel value is changed by the pixel value changing unit 114 into a first color space model. can do.
  • the first color space model may be an RGB color space model
  • the second color space model may be an L * a * b * color space model, but the type of the color space model is limited thereto. It doesn't work.
  • the color space model converter 111 may convert the RGB color space model into another color space model including luminance and chromaticity, for example, a YCbCr color space model.
  • the input image, the target image, and the reference image converted by the color space model converter 111 into the second color space model including luminance and chromaticity are image processed as described with reference to FIGS. 3 to 11.
  • the resulting image may be converted back to the first color space model.
  • the image processing of FIGS. 3 to 11 may be performed on luminance pixel values corresponding to luminance among pixel values.
  • the pixel value coordinate generator 112 may generate pixel value coordinates P T and P R using luminance pixel values corresponding to the luminance of the target pixel and luminance pixel values corresponding to the luminance of the reference pixel. Can be.
  • the reference pixel value determiner 113 determines a reference luminance pixel value corresponding to the luminance pixel value of the target image based on the pixel value coordinates P T and P R for the luminance and changes the pixel value.
  • the unit 114 may change the luminance pixel value corresponding to the luminance of each pixel in the input image into a reference luminance pixel value corresponding to the luminance pixel value.
  • the preprocessing unit 110 may further include a chroma pixel value changing unit 115.
  • the chroma pixel value changing unit 115 changes the chroma pixel value corresponding to the chroma of the input image.
  • the chroma pixel value changing unit 115 inputs the chroma pixel value corresponding to the chromaticity of the target pixels in the target image and the chromaticity pixel value corresponding to the chromaticity of the reference pixels in the reference image.
  • the chromaticity pixel value corresponding to the chromaticity of each pixel in the image may be changed.
  • the chroma pixel value changing unit 115 obtains an average ⁇ T of the chroma pixel values of the target pixels and an average ⁇ R of the chroma pixel values of the reference pixels, and extracts the target pixels from the chroma pixel values of the respective pixels in the input image. After subtracting the average ⁇ T of the chroma pixel values, the average ⁇ R of the chroma pixel values of the reference pixels can be added.
  • the chroma pixel value changing unit 115 changes the chroma pixel value of each pixel in the input image as follows.
  • P i is the chroma pixel value of the input image
  • P result is the chroma pixel value of the resultant image
  • the preprocessor 110 may mitigate the distortion of the color of the resultant image obtained by the preprocess.
  • the pixel values of the a channel and the b channel pixels corresponding to the chroma pixel values of the resultant image are generally By having a value corresponding to a positive number, the red and yellow colors stand out in the image to alleviate color distortion in which the overall color of the image is orange.
  • the preprocessing unit 110 may improve the accuracy and reliability in subsequent image processing such as subsequent object detection by preprocessing the input image based on the reference image.
  • the background separator 120 may obtain a foreground image by separating a background from an input image preprocessed by the preprocessor 110. Then, the object detector 130 may detect the object by using the foreground image.
  • the background separation unit 120 is pre-processed using at least one of Principal Component Analysis (PCA), Robust PCA (RPCA) and Online Robust PCA (ORPCA)
  • PCA Principal Component Analysis
  • RPCA Robust PCA
  • ORPCA Online Robust PCA
  • the background image and the foreground image can be obtained from the input image.
  • the background image can be obtained through a low-rank matrix
  • the foreground image can be obtained through a sparse matrix.
  • the foreground image obtained through the sparse matrix may be transmitted to the object detector 130 to detect various kinds of objects (eg, moving objects, etc.) using the foreground image, and obtained through the low-rank matrix.
  • the background image may be used as the target image and the reference image by the preprocessor 110.
  • the target image may be a background image frame obtained by separating the foreground from an image frame obtained at predetermined time intervals among consecutive input images.
  • the computation amount may increase, and thus the processing speed may be slowed.
  • the exemplary embodiment of the present invention obtains a target frame at each predetermined time interval by acquiring an image frame at a predetermined time interval (for example, one hour, etc.) from a continuous input image and separating the foreground from the input image. Can be updated and used.
  • a predetermined time interval for example, one hour, etc.
  • the embodiment of the present invention enables real-time processing by achieving a fast processing speed with a small amount of calculation even when preprocessing input images continuously input by using the target image and the reference image.
  • the object detecting apparatus 10 may further include a brightness analyzer 100.
  • the brightness analyzer 100 analyzes the brightness of the input image, and transmits the input image to the preprocessor 110 when the brightness is smaller than a preset threshold, and when the brightness is greater than or equal to the threshold.
  • the input image may be transmitted to the background separator 120.
  • the object detecting apparatus 10 may selectively perform preprocessing according to the illuminance of the input image by analyzing the brightness of the input image through the brightness analyzer 100.
  • the embodiment of the present invention does not need to perform preprocessing on all input images continuously inputted, but preprocesses only on low-light input images (e.g., images taken at night time) having illuminance lower than a threshold value. You can lower the amount of computation by
  • FIG. 12 is an exemplary flowchart of an object detection method 20 according to an embodiment of the present invention.
  • the object detecting method 20 may be performed by the object detecting apparatus 10 according to the above-described embodiment of the present invention.
  • the object detecting apparatus 10 may detect an object from an input image by calling and executing an object detecting program stored in a storage device.
  • the object detecting method 20 may include preprocessing an input image (S220), obtaining a foreground image by separating a background from the input image (S230), and using the foreground image to detect an object. It may include the step (S240).
  • the object detecting method 20 further includes analyzing the brightness of the input image (S200) before preprocessing the input image (S220), and when the brightness is lower than a preset threshold (Yes in S210). ) If the input image is preprocessed and the brightness is greater than or equal to the threshold (NO in S210), the preprocessing may be skipped, and the foreground image may be obtained by separating the background from the input image.
  • FIG. 13 is an exemplary flowchart of a pre-processing process S220 according to an embodiment of the present invention.
  • the pretreatment process S220 may be performed by the preprocessor 110 according to the above-described embodiment of the present invention.
  • the preprocessor 110 uses a target image and a reference image for preprocessing the input image
  • the target image is a background image obtained by separating the foreground from the input image by the background separator 120.
  • the reference image may be a background image obtained by separating the foreground from an image of a scene identical to the input image in a brighter environment than the input image.
  • the target image may be a background image frame obtained by separating the foreground from an image frame obtained at predetermined time intervals among consecutive input images.
  • the preprocessing step S220 may include pixel value coordinates P T and P including pixel values of a target pixel in a target image and pixel values of a reference pixel corresponding to the target pixel in a reference image.
  • the method may include changing the pixel value of each pixel within the reference pixel value P R corresponding to the pixel value (S224).
  • the determining of the reference pixel value may include: from each pixel value coordinate point corresponding to each pixel value coordinate in a coordinate system representing the pixel value coordinates P T and P R. Calculating a equation of a figure (eg, a straight line l m in a two-dimensional coordinate system) in which the sum of the spaced distances is the minimum, and obtaining a relation of the reference pixel value P R with respect to the pixel value P T of the target image. have.
  • the determining of the reference pixel value may classify the pixel value coordinates P T , P R into a plurality of groups G h , G m , and G l . And calculating the equations of the figures l h , l m and l l for each group.
  • the step of classifying the pixel value coordinates P T , P R into a plurality of groups G h , G m , and G l may include: a boundary b h obtained by parallelly moving the figure l m in the coordinate system; , b l ) may include classifying the pixel value coordinates P T and P R.
  • the determining of the reference pixel value (S223) may include at least one of the remaining groups G h toward the figure l m for one group G m in the coordinate system. , moving a shape (l h, l l) to G l) to the group (G h, G l) to adjust the shape (l h ', l l' further comprise the step of obtaining the equation) for Can be.
  • the pixel value of each pixel in the input image is changed to a reference pixel value corresponding to the pixel value.
  • the pixel value of the input image is substituted into a variable P T corresponding to the pixel value of the target image in the relation. It may include the step of changing to the reference pixel value P R obtained by.
  • the pre-processing step S220 may include a second color space model (eg, an RGB color space model) used for the input image, the target image, and the reference image, including luminance and chromaticity.
  • the method may further include a step S211 of converting to a color space model (eg, L * a * b * color space model).
  • the pre-processing step (S220) may further include converting the second color space model used in the input image (that is, the resultant image) whose pixel value is changed into the first color space model (S226). It may include.
  • the generating of the pixel value coordinates P T and P R may include generating a luminance pixel value corresponding to the luminance of the target pixel and a luminance pixel value corresponding to the luminance of the reference pixel. And generating pixel value coordinates P T , P R using the same.
  • the preprocessing step S220 may be performed based on a chromaticity pixel value corresponding to chromaticity of target pixels in a target image and a chromaticity pixel value corresponding to chromaticity of reference pixels in a reference image.
  • the method may further include changing a chromaticity pixel value corresponding to the chromaticity of each pixel in the image (S225).
  • FIG. 14 is an exemplary flowchart of a process S225 of changing a chromaticity pixel value of each pixel in an input image according to an embodiment of the present invention.
  • the chroma pixel value of each pixel in the input image may be calculated by obtaining an average ⁇ T of chroma pixel values of target pixels and an average ⁇ R of chroma pixel values of reference pixels ( S2251), subtracting the average ⁇ T of the chroma pixel values of the target pixels from the chroma pixel value P i of each pixel in the input image (S2252), and subtracting the average pixel of the chroma pixel values of the reference pixels from the chroma pixel value obtained by subtraction.
  • Computing R may be included (S2253).
  • At least one of the object detecting method and the image processing method related to the preprocessing may be manufactured as a program for execution in a computer and stored in a computer-readable recording medium.
  • the computer readable recording medium includes all kinds of storage devices for storing data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • the method may be implemented as a computer program stored in a medium for execution in combination with a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치에 관한 것이다. 본 발명의 일 실시예에 따른 영상 처리 장치는, 입력 영상으로부터 얻은 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성하는 픽셀값 좌표 생성부; 상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정하는 참조 픽셀값 결정부; 및 상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경하는 픽셀값 변경부;를 포함할 수 있다.

Description

적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치
본 발명은 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치에 관한 것이다.
보안이나 감시에 있어서 카메라로 촬영한 영상으로부터 이벤트를 확인하는 방법이 사용되고 있다. 영상으로부터 이벤트를 파악하는 것은 사람이 영상을 확인하면서 특정 이벤트의 발생 여부를 직접 판단할 수도 있지만, 컴퓨터가 영상 처리를 통해 영상으로부터 객체를 검출함으로써 이벤트 발생 여부를 자동으로 판단하는 방식으로 발전하고 있다.
사람이 육안으로 영상을 확인하든 컴퓨터가 영상 처리를 통해 객체를 검출하든 영상으로부터 이벤트 발생 여부를 파악하기 위해서는 영상이 일정 수준 이상의 조도를 갖는 것이 요구된다. 저조도의 영상을 처리하여 객체를 검출하는 경우 검출 결과가 부정확하여 신뢰성에 한계가 있으며, 사람이 육안으로 영상을 확인하는 경우에도 어두운 환경에서 촬영된 영상으로부터 물체를 식별하는 것은 어려운 일이다.
본 발명의 실시예는 저조도 영상을 개선함으로써 영상 처리 결과의 정확도 및 신뢰성을 향상시키는 영상 처리 장치 및 방법, 그리고 객체 검출 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예는 조도 개선을 위한 영상 처리 후 결과 영상에서 부분적으로 픽셀값이 포화되어 물체 식별이 불가능하게 되는 문제점을 해결할 수 있는 영상 처리 장치 및 방법, 그리고 객체 검출 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예는 영상 처리 후 결과 영상의 색상이 왜곡되는 것을 완화시킬 수 있는 영상 처리 장치 및 방법, 그리고 객체 검출 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예는 영상 처리에 드는 연산량을 줄여 처리 속도를 향상시킴으로써 실시간 처리를 가능하게 하는 영상 처리 장치 및 방법, 그리고 객체 검출 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 영상 처리 장치는, 입력 영상으로부터 얻은 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성하는 픽셀값 좌표 생성부; 상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정하는 참조 픽셀값 결정부; 및 상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경하는 픽셀값 변경부;를 포함할 수 있다.
상기 픽셀값 좌표 생성부는: 상기 타겟 픽셀의 픽셀값과 상기 참조 픽셀의 픽셀값으로 구성된 2차원 픽셀값 좌표를 생성할 수 있다.
상기 타겟 영상은 상기 입력 영상으로부터 전경을 분리한 배경 영상일 수 있다.
상기 타겟 영상은 연속적으로 입력되는 입력 영상 중 기 설정된 시간 간격마다 획득된 영상 프레임으로부터 전경을 분리한 배경 영상 프레임일 수 있다.
상기 참조 영상은 상기 입력 영상과 동일한 신(scene)을 상기 입력 영상보다 밝은 환경에서 촬영한 영상으로부터 전경을 분리한 배경 영상일 수 있다.
상기 참조 픽셀값 결정부는: 상기 픽셀값 좌표를 나타내는 좌표계에서 각 픽셀값 좌표에 대응하는 각 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 도형의 방정식을 산출하여 상기 타겟 영상의 픽셀값에 대한 상기 참조 픽셀값의 관계식을 획득할 수 있다.
상기 참조 픽셀값 결정부는: 상기 픽셀값 좌표를 다수의 그룹들로 분류하고, 각 그룹마다 상기 도형의 방정식을 산출할 수 있다.
상기 참조 픽셀값 결정부는: 상기 좌표계에서 상기 도형을 평행 이동시켜 얻은 경계를 기준으로 상기 픽셀값 좌표를 분류할 수 있다.
상기 참조 픽셀값 결정부는: 상기 좌표계에서 어느 한 그룹에 대한 도형을 향해 나머지 그룹 중 적어도 하나에 대한 도형을 이동시켜 해당 그룹에 대한 도형의 방정식을 조정할 수 있다.
상기 픽셀값 변경부는: 상기 입력 영상의 픽셀값을 상기 관계식에서 상기 타겟 영상의 픽셀값에 대응하는 변수에 대입하여 얻은 참조 픽셀값으로 변경할 수 있다.
상기 영상 처리 장치는 상기 입력 영상, 상기 타겟 영상 및 상기 참조 영상에 사용된 제 1 색 공간 모델을 휘도 및 색도를 포함하는 제 2 색 공간 모델로 변환하고, 상기 픽셀값이 변경된 입력 영상에 사용된 상기 제 2 색 공간 모델을 상기 제 1 색 공간 모델로 변환하는 색 공간 모델 변환부를 더 포함할 수 있다.
상기 픽셀값 좌표 생성부는: 상기 타겟 픽셀의 휘도에 해당하는 휘도 픽셀값과 상기 참조 픽셀의 휘도에 해당하는 휘도 픽셀값을 이용하여 상기 픽셀값 좌표를 생성할 수 있다.
상기 영상 처리 장치는 상기 타겟 영상 내 타겟 픽셀들의 색도에 해당하는 색도 픽셀값과 상기 참조 영상 내 참조 픽셀들의 색도에 해당하는 색도 픽셀값을 기반으로, 상기 입력 영상 내 각 픽셀의 색도에 해당하는 색도 픽셀값을 변경하는 색도 픽셀값 변경부를 더 포함할 수 있다.
상기 색도 픽셀값 변경부는: 상기 타겟 픽셀들의 색도 픽셀값의 평균과 상기 참조 픽셀들의 색도 픽셀값의 평균을 구하고, 상기 입력 영상 내 각 픽셀의 색도 픽셀값으로부터 상기 타겟 픽셀들의 색도 픽셀값의 평균을 감산한 뒤, 상기 참조 픽셀들의 색도 픽셀값의 평균을 가산할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은 영상 처리 장치를 이용하여 영상을 처리하는 방법으로서, 입력 영상으로부터 얻은 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성하는 단계; 상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정하는 단계; 및 상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 영상 처리 방법은 컴퓨터로 실행될 수 있는 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
본 발명의 실시예에 따른 영상 처리 방법은 컴퓨터와 결합되어 실행하기 위하여 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명의 일 실시예에 따른 객체 검출 장치는, 입력 영상을 전 처리하는 전 처리부; 상기 전 처리된 입력 영상으로부터 배경을 분리하여 전경 영상을 획득하는 배경 분리부; 및 상기 전경 영상을 이용하여 객체를 검출하는 객체 검출부를 포함하며, 상기 전 처리부는: 상기 입력 영상으로부터 얻은 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성하는 픽셀값 좌표 생성부; 상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정하는 참조 픽셀값 결정부; 및 상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경하는 픽셀값 변경부;를 포함할 수 있다.
상기 객체 검출 장치는 상기 입력 영상의 밝기를 분석하여, 상기 밝기가 기 설정된 임계치보다 작은 경우 해당 입력 영상을 상기 전 처리부로 전달하고, 상기 밝기가 상기 임계치보다 크거나 같은 경우 해당 입력 영상을 상기 배경 분리부로 전달하는 밝기 분석부를 더 포함할 수 있다.
상기 타겟 영상은 상기 입력 영상으로부터 전경을 분리한 배경 영상일 수 있다.
상기 타겟 영상은 연속적으로 입력되는 입력 영상 중 기 설정된 시간 간격마다 획득된 영상 프레임으로부터 전경을 분리한 배경 영상 프레임일 수 있다.
상기 참조 영상은 상기 입력 영상과 동일한 신을 상기 입력 영상보다 밝은 환경에서 촬영한 영상으로부터 전경을 분리한 배경 영상일 수 있다.
본 발명의 실시예에 따르면, 저조도 영상을 개선함으로써 영상 처리 결과의 정확도 및 신뢰성을 향상시킬 수 있다.
본 발명의 실시예에 따르면, 조도 개선을 위한 영상 처리로 얻은 결과 영상에서 부분적으로 픽셀값이 포화되어 물체 식별이 불가능하게 되는 현상을 방지할 수 있다.
본 발명의 실시예에 따르면, 영상 처리로 얻은 결과 영상의 색상이 왜곡되는 것을 완화시킬 수 있다.
본 발명의 실시예에 따르면, 영상 처리에 소요되는 연산량을 줄여 처리 속도를 향상시킴으로써 실시간 처리를 달성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 장치의 예시적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 전 처리부의 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 영상 처리되는 입력 영상의 일 예이다.
도 4는 도 3의 입력 영상을 처리하기 위해 사용되는 참조 영상의 일 예이다.
도 5는 본 발명의 일 실시예에 따라 도 3의 입력 영상으로부터 얻은 타겟 영상과 도 4의 참조 영상으로부터 생성된 픽셀값 좌표를 나타내는 그래프이다.
도 6은 본 발명의 일 실시예에 따라 도 5의 픽셀값 좌표점으로부터 산출된 직선을 나타내는 그래프이다.
도 7은 본 발명의 다른 실시예에 따라 픽셀값 좌표들을 다수의 그룹들로 분류한 모습을 나타내는 그래프이다.
도 8은 본 발명의 다른 실시예에 따라 픽셀값 좌표의 각 그룹마다 산출된 직선을 나타내는 그래프이다.
도 9는 본 발명의 다른 실시예에 따라 도 8에 도시된 직선들을 기반으로 도 3의 입력 영상을 처리하여 얻은 결과 영상이다.
도 10은 본 발명의 또 다른 실시예에 따라 방정식이 조정된 직선들을 나타내는 그래프이다.
도 11은 본 발명의 또 다른 실시예에 따라 도 10에 도시된 조정 후 직선들을 기반으로 도 3의 입력 영상을 처리하여 얻은 결과 영상이다.
도 12는 본 발명의 일 실시예에 따른 객체 검출 방법의 예시적인 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 전 처리 과정의 예시적인 흐름도이다.
도 14는 본 발명의 일 실시예에 따라 입력 영상 내 각 픽셀의 색도 픽셀값을 변경하는 과정의 예시적인 흐름도이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는'이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
이하, 본 명세서에 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 장치(10)의 예시적인 블록도이다.
도 1에 도시된 바와 같이, 상기 객체 검출 장치(10)는 전 처리부(110), 배경 분리부(120) 및 객체 검출부(130)를 포함할 수 있다.
상기 전 처리부(110)는 입력 영상을 전 처리한다. 상기 배경 분리부(120)는 상기 전 처리된 입력 영상으로부터 배경을 분리하여 전경 영상을 획득한다. 상기 객체 검출부(130)는 상기 전경 영상을 이용하여 객체를 검출한다.
본 발명의 실시예에 따른 객체 검출 장치(10) 및 그에 포함된 구성요소들은 소정의 알고리즘에 따라 영상 데이터를 처리할 수 있는 프로세서로서, 일 예로 CPU, GPU 등을 포함할 수 있으나 이에 제한되지는 않는다. 상기 프로세서는 HDD, SSD 등과 같은 저장 장치에 저장된 프로그램을 불러와 실행함으로써 영상 데이터를 처리할 수 있다. 이와 같이 처리된 영상은 디스플레이와 같은 표시 장치로 제공되어 화면에 표시되거나, 상기 처리된 영상을 이용하는 다른 장치로 전송되거나, 상기 저장 장치에 저장될 수 있다.
본 발명의 실시예에 따라 처리되는 영상은 일 공간 영역을 동일한 위치에서 동일한 자세로 촬영한 영상으로서, 예컨대 CCTV 등을 통해 촬영한 감시 영상일 수 있으나 이에 제한되지는 않는다. 실시예에 따라, 본 발명의 실시예에 따른 영상 처리는 카메라가 동적으로 이동하면서 촬영한 영상에 적용될 수도 있다.
상기 객체 검출 장치(10)는 입력 영상을 처리하여 그로부터 객체를 검출함으로써 특정 이벤트의 발생 여부를 파악할 수 있다. 예를 들어, 상기 객체 검출 장치(10)는 영상 내에서 움직이는 이동 객체를 검출하여 추적하거나, 감시 대상 공간에 어느 시점부터 존재하여 영상에 나타난 객체를 발견하거나, 반대로 감시 대상 공간에서 어느 시점부터 없어져 영상에서 사라진 객체를 파악할 수 있다.
상기 전 처리부(110)는 영상으로부터 객체를 검출하기 전에 검출 결과의 정확도를 향상시키기 위해 입력 영상을 전 처리한다. 특히, 본 발명의 실시예에 따르면 상기 전 처리부(110)는 밤 시간이나 조명이 부족한 환경에서 촬영한 저조도의 입력 영상을 개선하여 객체 검출을 비롯한 각종 영상 처리 결과의 정확도 및 신뢰성을 높일 수 있다.
도 2는 본 발명의 일 실시예에 따른 전 처리부(110)의 구성을 개략적으로 나타내는 도면이다.
도 2를 참조하면, 상기 전 처리부(110)는 픽셀값 좌표 생성부(112), 참조 픽셀값 결정부(113) 및 픽셀값 변경부(114)를 포함할 수 있다.
상기 픽셀값 좌표 생성부(112)는 입력 영상으로부터 얻은 타겟 영상 내 각 타겟 픽셀에 대하여, 상기 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성할 수 있다. 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정할 수 있다. 상기 픽셀값 변경부(114)는 상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경할 수 있다.
상기 전 처리부(110)는 타겟 영상과 참조 영상을 이용하여 입력 영상(예컨대, 저조도의 영상)의 픽셀값을 변경함으로써 영상을 개선시킬 수 있다.
상기 타겟 영상은 입력 영상으로부터 얻을 수 있다. 일 실시예에 따르면, 상기 타겟 영상은 입력 영상으로부터 전경을 분리한 배경 영상일 수 있다. 그러나, 실시예에 따라 상기 전 처리부(110)가 타겟 영상으로 입력 영상을 그대로 사용하는 경우 상기 타겟 영상은 입력 영상과 동일할 수도 있다.
상기 참조 영상은 입력 영상과 동일한 신(scene)을 촬영한 영상으로서, 상기 입력 영상보다 밝은 환경에서 촬영한 영상이다. 나아가, 일 실시예에 따르면, 상기 참조 영상은 입력 영상과 동일한 신을 상기 입력 영상보다 밝은 환경에서 촬영한 영상으로부터 전경을 분리한 배경 영상일 수 있다.
예를 들어, 상기 전 처리부(110)가 실외 공간을 항시 촬영한 감시 영상을 입력 영상으로 입력받는 경우, 상기 참조 영상은 밝기가 밝고 영상 내 그늘과 같은 저조도 영역이 가장 적은 시간 대(예컨대, 낮 시간대)의 영상 프레임으로 선택될 수 있다.
상기 픽셀값 좌표 생성부(112)는 상기 타겟 영상 내 각 타겟 픽셀에 대하여 타겟 픽셀의 픽셀값과 참조 영상 내 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성할 수 있다.
예를 들어, 상기 픽셀값 좌표 생성부(112)는 타겟 픽셀의 픽셀값과 참조 픽셀의 픽셀값으로 구성된 2차원 픽셀값 좌표 (PT, PR)를 생성할 수 있다. 이하에서는 설명의 편의를 위해 상기 픽셀값 좌표를 2차원의 직교 좌표평면 상에서 좌표점으로 나타내어 본 발명의 실시예에 따른 영상 처리 과정을 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따라 영상 처리되는 입력 영상의 일 예이고, 도 4는 도 3의 입력 영상을 처리하기 위해 사용되는 참조 영상의 일 예이다. 그리고, 도 5는 본 발명의 일 실시예에 따라 도 3의 입력 영상으로부터 얻은 타겟 영상과 도 4의 참조 영상으로부터 생성된 픽셀값 좌표를 나타내는 그래프이다.
도 3과 같이 밤 시간대에 실외 공간을 촬영한 입력 영상으로부터 객체를 검출하는 등 각종 영상 처리를 실시하는 경우, 입력 영상의 조도가 낮아 객체를 검출해 내지 못하거나 검출 결과가 부정확할 수 있다. 이와 같이 저조도의 입력 영상에 대한 영상 처리 결과의 정확도를 개선하기 위해 상기 전 처리부(110)는 도 4와 같은 참조 영상을 이용하여 입력 영상을 전 처리함으로써 영상의 조도를 개선시킬 수 있다.
도 4의 참조 영상은 도 3의 입력 영상과 동일한 실외 공간을 동일한 위치에서 동일한 자세로 촬영한 것이며, 다만 촬영 시각이 밤이 아닌 낮 시간대인 점이 다르다.
전술한 바와 같이, 상기 픽셀값 좌표 생성부(112)는 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 참조 픽셀의 픽셀값으로 구성된 2차원의 픽셀값 좌표 (PT, PR)를 생성할 수 있으며, 상기 픽셀값 좌표 (PT, PR)에 대응하는 픽셀값 좌표점을 2차원 좌표평면 상에 나타내면 도 5의 그래프를 얻을 수 있다.
도 5의 그래프에서 가로축은 타겟 영상의 픽셀값에 대응하는 좌표축이고, 세로축은 참조 영상의 픽셀값에 대응하는 좌표축이다. 여기서, 상기 타겟 영상은 입력 영상으로부터 전경을 분리한 배경 영상이 사용되었으며, 상기 참조 영상 역시 입력 영상과 동일한 신을 입력 영상보다 밝은 환경(즉, 낮 시간대)에서 촬영한 영상으로부터 전경을 분리한 배경 영상이 사용되었다.
또한, 각 픽셀값 좌표 (PT, PR)는 타겟 영상 내 각 타겟 픽셀의 픽셀값 PT을 어느 하나의 좌표값으로 갖고, 참조 영상 내 참조 픽셀의 픽셀값 PR을 다른 하나의 좌표값으로 갖는다. 여기서, 타겟 픽셀과 그에 대응하는 참조 픽셀은 영상 내 픽셀의 위치가 동일한 픽셀들이다.
도 5를 참조하면, 타겟 영상과 참조 영상은 동일한 신을 촬영한 영상이지만, 촬영 시간이 상이하여 타겟 픽셀의 픽셀값 PT과 참조 픽셀의 픽셀값 PR이 대부분 일치하지 않고 픽셀값 좌표점들이 좌표평면 내에서 산재해 있음을 알 수 있다.
이와 같이 타겟 영상과 참조 영상으로부터 픽셀값 좌표 (PT, PR)를 획득한 뒤, 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표 (PT, PR)를 기반으로 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표 (PT, PR)를 나타내는 좌표계에서 각 픽셀값 좌표에 대응하는 각 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 도형의 방정식을 산출하여 타겟 영상의 픽셀값에 대한 참조 픽셀값의 관계식을 획득할 수 있다.
만약 도 5와 같이 상기 픽셀값 좌표 (PT, PR)가 2차원의 좌표인 경우, 각 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 도형은 선일 것이며, 이하에서는 상기 참조 픽셀값 결정부(113)가 일차함수로 표현되는 직선의 방정식을 산출하는 것으로 가정한다.
그러나, 상기 참조 픽셀값 결정부(113)는 2차원의 픽셀값 좌표 (PT, PR)를 기반으로 고차함수로 표현되는 곡선 등 다양한 형태의 도형의 방정식을 산출할 수도 있으며, 그뿐만 아니라 상기 픽셀값 좌표의 차원이 3차원 이상인 경우에는 평면이나 곡면 등 공간도형의 방정식을 산출할 수도 있을 것이다.
도 6은 본 발명의 일 실시예에 따라 도 5의 픽셀값 좌표점으로부터 산출된 직선을 나타내는 그래프이다.
전술한 바와 같이, 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표 (PT, PR)를 나타내는 좌표계에서 각 픽셀값 좌표에 대응하는 각 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 직선 lm의 방정식을 산출할 수 있다.
나아가, 상기 참조 픽셀값 결정부(113)는 각 픽셀값 좌표점으로부터 참조 픽셀의 픽셀값 PR에 해당하는 좌표축(즉, 도 6에서 세로축)에 평행한 방향으로 이격된 거리의 합이 최소가 되는 직선 lm의 방정식을 산출할 수 있다.
이와 같이 상기 참조 픽셀값 결정부(113)는 타겟 영상과 참조 영상으로부터 얻은 픽셀값 좌표 (PT, PR)를 기반으로 각 픽셀값 좌표점으로부터의 거리의 합이 최소가 되는 도형(예컨대, 직선, 곡선, 꺾은선, 평면, 곡면 등)의 방정식을 산출하여, 상기 타겟 영상의 픽셀값 PT에 대한 참조 픽셀값 PR의 관계식을 획득할 수 있다.
그 뒤, 상기 픽셀값 변경부(114)는 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 참조 픽셀값으로 변경할 수 있다.
본 발명의 실시예에 따르면, 상기 픽셀값 변경부(114)는 입력 영상의 픽셀값을 상기 참조 픽셀값 결정부(113)가 획득한 관계식(즉, 도형의 방정식)에서 상기 타겟 영상의 픽셀값에 대응하는 변수 PT에 대입하여 참조 픽셀값 PR을 얻고, 입력 영상의 해당 픽셀값을 상기 참조 픽셀값 PR으로 변경할 수 있다.
전술한 과정을 통해 상기 전 처리부(110)는 참조 영상을 기반으로 입력 영상을 처리함으로써 입력 영상의 픽셀값을 참조 영상의 픽셀값에 부합하도록 조정할 수 있다. 만약, 입력 영상이 어두운 환경에서 촬영한 저조도의 영상이고, 참조 영상이 입력 영상과 동일한 신을 보다 밝은 환경에서 촬영한 높은 조도의 영상인 경우, 전술한 본 발명의 실시예에 따른 영상 처리는 저조도의 입력 영상이 참조 영상에 대응하는 보다 높은 수준의 조도를 갖도록 할 수 있다.
나아가, 본 발명의 다른 실시예에 따르면, 상기 전 처리부(110)는 입력 영상의 픽셀값을 다수의 서로 다른 관계식들에 따라 변경하여 영상의 조도 개선 정도를 한층 더 끌어올릴 수 있다.
이 실시예에 따르면, 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표 (PT, PR)를 다수의 그룹들로 분류하고, 각 그룹마다 도형(예컨대, 직선)의 방정식을 산출할 수 있다.
도 7은 본 발명의 다른 실시예에 따라 픽셀값 좌표들을 다수의 그룹들(Gh, Gm, Gl)로 분류한 모습을 나타내는 그래프이다.
도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따르면, 상기 참조 픽셀값 결정부(113)는 타겟 영상 및 참조 영상으로부터 얻은 픽셀값 좌표들을 다수의 그룹들(Gh, Gm, Gl)로 분류할 수 있다. 도 7에서 상기 픽셀값 좌표들은 상부 그룹 Gh, 중간 그룹 Gm 및 하부 그룹 Gl으로 구성된 3개의 그룹들로 분류되었으나, 실시예에 따라 그룹의 개수는 변경될 수 있다.
이 실시예에 따르면, 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표들을 참조 픽셀의 픽셀값 PR을 기준으로 분류할 수 있다. 예를 들어, 도 7을 참조하면, 상기 픽셀값 좌표들 중에서 참조 픽셀의 픽셀값 PR이 큰 좌표들은 상부 그룹 Gh을 구성하고, 참조 픽셀의 픽셀값 PR이 작은 좌표들은 하부 그룹 Gl을 구성하고, 참조 픽셀의 픽셀값 PR이 중간 수준인 좌표들은 중간 그룹 Gm을 구성할 수 있다.
여기서, 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표를 나타낸 좌표계에서 상기 도형(즉, 도 7에서는 직선 lm)을 평행 이동시켜 얻은 경계를 기준으로 픽셀값 좌표들을 분류할 수 있다.
예를 들어, 도 7을 참조하면, 상기 참조 픽셀값 결정부(113)는 직선 lm을 참조 픽셀의 픽셀값 PR이 증가하는 방향으로 평행 이동시켜 얻은 상측 경계 bh를 기준으로 상부 그룹 Gh에 해당하는 픽셀값 좌표들을 구분하고, 직선 lm을 참조 픽셀의 픽셀값 PR이 감소하는 방향으로 평행 이동시켜 얻은 하측 경계 bl를 기준으로 하부 그룹 Gl에 해당하는 픽셀값 좌표들을 구분할 수 있다.
그러나, 픽셀값 좌표들을 구분하는 경계나 기준은 이에 제한되지 않으며, 실시예에 따라 다양하게 픽셀값 좌표들이 구분될 수 있다.
그러고 나서, 상기 참조 픽셀값 결정부(113)는 픽셀값 좌표의 각 그룹마다 해당 그룹에 속하는 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 도형의 방정식을 산출할 수 있다.
도 8은 본 발명의 다른 실시예에 따라 픽셀값 좌표의 각 그룹(Gh, Gm, Gl)마다 산출된 직선(lh, lm, ll)을 나타내는 그래프이다.
상기 참조 픽셀값 결정부(113)는 전술한 과정을 통해 분류된 그룹에 대하여 각 그룹에 속하는 픽셀값 좌표에 대응하는 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 도형(도 8에서는 직선)의 방정식을 산출할 수 있다.
그 결과, 도 8과 같이, 상기 참조 픽셀값 결정부(113)는 그룹의 수만큼 직선(lh, lm, ll)의 방정식을 얻을 수 있으며, 각 직선의 방정식은 각 그룹에 속하는 픽셀값 좌표 (PT, PR)에 있어서 타겟 영상의 픽셀값 PT에 대한 참조 픽셀값 PR의 관계식으로 사용된다.
즉, 입력 영상 내 모든 픽셀들의 픽셀값이 하나의 관계식에 따라 변경되는 도 6의 실시예와 달리, 본 발명의 다른 실시예에 따르면 입력 영상 내 각 픽셀이 그에 대응하는 픽셀값 좌표가 속하는 그룹에 따라 다수의 관계식들 중 어느 하나에 의해 적응적으로 픽셀값이 변경될 수 있다.
이 실시예에 따르면, 입력 영상의 픽셀값이 하나의 관계식에 의해 획일적으로 조정되지 않고 다수의 관계식들 중 적합한 어느 하나에 따라 적응적으로 조정됨으로써 입력 영상의 영역별로 각기 다른 수준의 영상 개선이 이루어질 수 있다.
그로 인해, 입력 영상의 처리로 얻은 결과 영상에서 부분적으로 픽셀값이 포화되어 물체 식별이 불가능하게 되는 현상을 방지할 수 있으며, 이러한 점은 결과 영상을 이용한 객체 검출 등 후속 영상 처리에 있어서 그 정확도 및 신뢰성을 향상시킬 수 있다.
도 9는 본 발명의 다른 실시예에 따라 도 8에 도시된 직선들(lh, lm, ll)을 기반으로 도 3의 입력 영상을 처리하여 얻은 결과 영상이다.
도 9의 결과 영상은 도 3의 입력 영상에 비해 조도가 크게 개선되어 영상의 전 영역에 걸쳐 객체 검출이 용이하게 되었으며, 영상 내에서 픽셀값이 포화되어 발생하는 백색 영역이 나타나지 않음을 확인할 수 있다.
더 나아가, 본 발명의 또 다른 실시예에 따르면, 상기 참조 픽셀값 결정부(113)는 위 과정을 통해 얻은 다수의 관계식들을 조정하여 입력 영상으로부터 보다 자연스러운 결과 영상을 얻을 수 있다.
이 실시예에 따르면, 상기 참조 픽셀값 결정부(113)는 상기 픽셀값 좌표 (PT, PR)를 나타내는 좌표계에서 어느 한 그룹에 대한 도형(예컨대, 직선)을 향해 나머지 그룹 중 적어도 하나에 대한 도형을 이동시켜 해당 그룹에 대한 도형의 방정식을 조정할 수 있다.
도 10은 본 발명의 또 다른 실시예에 따라 방정식이 조정된 직선들(lh, lm', ll')을 나타내는 그래프이다.
도 10에 도시된 바와 같이, 상기 참조 픽셀값 결정부(113)는 도 8의 실시예에서 산출된 직선들(lh, lm, ll) 중 상부 그룹 Gh에 대한 직선 lh과 하부 그룹 Gl에 대한 직선 ll이 중간 그룹 Gm에 대한 직선 lm을 향해 평행 이동하도록 직선 lh 및 ll의 방정식을 조정하여 직선 lh' 및 ll'을 얻을 수 있다.
다시 말해, 이 실시예에서 상기 참조 픽셀값 결정부(113)는 타겟 영상의 픽셀값 PT과 참조 영상의 픽셀값 PR 간의 관계를 정의하는 다수의 관계식들 중에서, 타겟 영상의 픽셀값 PT이 0일 때의 참조 영상의 픽셀값 PR(즉, PR축의 절편)이 가장 큰 관계식(도 10에서는 직선 lh의 방정식)을 참조 영상의 픽셀값 PR이 감소하는 방향으로 평행 이동시키고, PR축 절편이 가장 작은 관계식(도 10에서는 직선 ll의 방정식)을 참조 영상의 픽셀값 PR이 증가하는 방향으로 평행 이동시킴으로써, 관계식들의 치역이 참조 영상의 픽셀값 PR의 상한값이나 하한값에 치우치지 않도록 할 수 있다.
도 11은 본 발명의 또 다른 실시예에 따라 도 10에 도시된 조정 후 직선들(lh, lm', ll')을 기반으로 도 3의 입력 영상을 처리하여 얻은 결과 영상이다.
도 8의 조정 전 직선들(lh, lm, ll)을 사용하여 얻은 도 9의 결과 영상과 비교해 보면, 도 11의 결과 영상은 영상 내 특정 영역이 두드러져 보이는 현상이 나타나지 않아 도 9의 결과 영상에 비해 보다 자연스러운 결과를 얻을 수 있음을 확인할 수 있다.
그 결과, 상기 전 처리부(110)가 전 처리하여 얻은 결과 영상으로부터 컴퓨터가 영상 처리를 통해 객체를 검출하는 것뿐만 아니라, 사람이 육안으로 결과 영상을 확인하여 물체를 식별하는 경우에도 관찰자에게 보다 자연스러운 영상을 제공함으로써 관찰자가 보다 용이하고 정확하게 영상으로부터 물체를 식별하도록 할 수 있다.
다시 도 2를 참조하면, 상기 전 처리부(110)는 색 공간 모델 변환부(111)를 더 포함할 수 있다.
상기 색 공간 모델 변환부(111)는 영상에 사용된 색 공간 모델을 변환하는 것으로, 본 발명의 실시예에 따르면 입력 영상, 타겟 영상 및 참조 영상에 사용된 제 1 색 공간 모델을 휘도 및 색도를 포함하는 제 2 색 공간 모델로 변환할 수 있다. 그리고, 상기 색 공간 모델 변환부(111)는 상기 픽셀값 변경부(114)에 의해 픽셀값이 변경된 입력 영상(즉, 결과 영상)에 사용된 제 2 색 공간 모델을 제 1 색 공간 모델로 변환할 수 있다.
일 실시예에 따르면, 상기 제 1 색 공간 모델은 RGB 색 공간 모델일 수 있으며, 상기 제 2 색 공간 모델은 L*a*b* 색 공간 모델일 수 있으나, 상기 색 공간 모델의 타입은 이에 제한되지 않는다. 예를 들어, 상기 색 공간 모델 변환부(111)는 RGB 색 공간 모델을 휘도 및 색도를 포함하는 또 다른 색 공간 모델, 예컨대 YCbCr 색 공간 모델로 변환할 수도 있다.
상기 색 공간 모델 변환부(111)에 의해 휘도 및 색도를 포함하는 제 2 색 공간 모델로 변환된 입력 영상, 타겟 영상 및 참조 영상은 도 3 내지 도 11을 참조하여 설명한 바와 같이 영상 처리되고, 그 결과 영상은 다시 제 1 색 공간 모델로 변환될 수 있다.
이 과정에서 도 3 내지 도 11의 영상 처리는 픽셀값들 중 휘도에 해당하는 휘도 픽셀값에 대해 수행될 수 있다. 이 경우, 상기 픽셀값 좌표 생성부(112)는 타겟 픽셀의 휘도에 해당하는 휘도 픽셀값과 참조 픽셀의 휘도에 해당하는 휘도 픽셀값을 이용하여 픽셀값 좌표 (PT, PR)를 생성할 수 있다. 그리고, 상기 참조 픽셀값 결정부(113)는 상기 휘도에 대한 픽셀값 좌표 (PT, PR)를 기반으로 타겟 영상의 휘도 픽셀값에 부합하는 참조 휘도 픽셀값을 결정하고, 상기 픽셀값 변경부(114)는 입력 영상 내 각 픽셀의 휘도에 해당하는 휘도 픽셀값을 그 휘도 픽셀값에 부합하는 참조 휘도 픽셀값으로 변경할 수 있다.
그리고, 다시 도 2를 참조하면, 상기 전 처리부(110)는 색도 픽셀값 변경부(115)를 더 포함할 수 있다. 상기 색도 픽셀값 변경부(115)는 입력 영상의 색도에 해당하는 색도 픽셀값을 변경한다.
본 발명의 실시예에 따르면, 상기 색도 픽셀값 변경부(115)는 타겟 영상 내 타겟 픽셀들의 색도에 해당하는 색도 픽셀값과 참조 영상 내 참조 픽셀들의 색도에 해당하는 색도 픽셀값을 기반으로, 입력 영상 내 각 픽셀의 색도에 해당하는 색도 픽셀값을 변경할 수 있다.
구체적으로, 상기 색도 픽셀값 변경부(115)는 타겟 픽셀들의 색도 픽셀값의 평균 μT과 참조 픽셀들의 색도 픽셀값의 평균 μR을 구하고, 입력 영상 내 각 픽셀의 색도 픽셀값으로부터 타겟 픽셀들의 색도 픽셀값의 평균 μT을 감산한 뒤, 참조 픽셀들의 색도 픽셀값의 평균 μR을 가산할 수 있다. 상기 색도 픽셀값 변경부(115)가 입력 영상 내 각 픽셀의 색도 픽셀값을 변경하는 과정은 아래의 식과 같다.
Presult = (Pi-μT)+μR
여기서, Pi는 입력 영상의 색도 픽셀값이고, Presult는 결과 영상의 색도 픽셀값이다.
상기 색도 픽셀값 변경부(115)의 색도 픽셀값 조정에 의해 상기 전 처리부(110)는 전 처리로 얻은 결과 영상의 색상이 왜곡되는 것을 완화시킬 수 있다. 특히, 입력 영상, 타겟 영상 및 참조 영상을 L*a*b* 색 공간 모델로 변환하여 전 처리하는 경우, 결과 영상에서 색도 픽셀값에 해당하는 a 채널의 픽셀값과 b 채널의 픽셀값이 전체적으로 양수에 해당하는 값을 갖게 됨으로써 영상에서 붉은색과 노란색이 두드러져 영상의 전체적인 색감이 주황색을 띄는 색상 왜곡 현상을 완화시킬 수 있다.
전술한 과정을 통해, 상기 전 처리부(110)는 참조 영상을 기반으로 입력 영상을 전 처리함으로써 이어지는 객체 검출 등 후속 영상 처리에 있어서 그 정확도 및 신뢰성을 향상시킬 수 있다.
다시 도 1을 참조하면, 상기 배경 분리부(120)는 상기 전 처리부(110)에 의해 전 처리된 입력 영상으로부터 배경을 분리하여 전경 영상을 획득할 수 있다. 그러고 나서, 상기 객체 검출부(130)는 상기 전경 영상을 이용하여 객체를 검출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 배경 분리부(120)는 주 성분 분석(Principal Component Analysis, PCA), RPCA(Robust PCA) 및 ORPCA(Online Robust PCA) 중 적어도 하나를 이용하여 상기 전 처리된 입력 영상에서 배경 영상과 전경 영상을 얻을 수 있다. 위 알고리즘에서 배경 영상은 로우-랭크(Low-Rank) 행렬을 통해 얻을 수 있으며, 전경 영상은 스파스(sparse) 행렬을 통해 얻을 수 있다.
상기 스파스 행렬을 통해 얻은 전경 영상은 상기 객체 검출부(130)로 전달되어 상기 전경 영상을 이용하여 다양한 종류의 객체(예컨대, 이동 객체 등)가 검출될 수 있으며, 상기 로우-랭크 행렬을 통해 얻은 배경 영상은 앞서 설명한 바와 같이 상기 전 처리부(110)에서 타겟 영상 및 참조 영상으로 활용될 수 있다.
나아가, 본 발명의 실시예에 따르면, 상기 타겟 영상은 연속적으로 입력되는 입력 영상 중에서 기 설정된 시간 간격마다 획득된 영상 프레임으로부터 전경을 분리한 배경 영상 프레임일 수 있다.
만약 실시간으로 입력되는 입력 영상의 매 프레임에 대해 전경을 분리하여 타겟 영상을 획득하고 그 타겟 영상의 색도 픽셀값의 평균 μT을 구하는 경우 연산량이 증가하여 처리 속도가 느려질 수 있다.
따라서, 본 발명의 실시예는 연속적으로 입력되는 입력 영상 중에서 기 설정된 시간 간격(예컨대, 1시간 등)마다 영상 프레임을 획득하고 그로부터 전경을 분리하여 배경 영상 프레임을 획득함으로써 타겟 영상을 상기 시간 간격마다 갱신하여 사용할 수 있다.
그 결과, 본 발명의 실시예는 타겟 영상과 참조 영상을 활용하여 연속적으로 입력되는 입력 영상을 전 처리하는 경우에도 적은 연산량으로 빠른 처리 속도를 달성함으로써 실시간 처리를 가능하게 한다.
다시 도 1을 참조하면, 상기 객체 검출 장치(10)는 밝기 분석부(100)를 더 포함할 수 있다. 상기 밝기 분석부(100)는 입력 영상의 밝기를 분석하여, 상기 밝기가 기 설정된 임계치보다 작은 경우 해당 입력 영상을 상기 전 처리부(110)로 전달하고, 상기 밝기가 상기 임계치보다 크거나 같은 경우 해당 입력 영상을 상기 배경 분리부(120)로 전달할 수 있다.
즉, 이 실시예에 따르면 상기 객체 검출 장치(10)는 상기 밝기 분석부(100)를 통해 입력 영상의 밝기를 분석함으로써 입력 영상의 조도에 따라 선택적으로 전 처리를 실시할 수 있다.
그 결과, 본 발명의 실시예는 연속적으로 입력되는 모든 입력 영상에 대해 전 처리를 실시할 필요없이, 임계치보다 낮은 조도를 갖는 저조도의 입력 영상(예컨대, 밤 시간대에 촬영한 영상)에 대해서만 전 처리를 수행하여 연산량을 더 낮출 수 있다.
도 12는 본 발명의 일 실시예에 따른 객체 검출 방법(20)의 예시적인 흐름도이다.
상기 객체 검출 방법(20)은 전술한 본 발명의 실시예에 따른 객체 검출 장치(10)에 의해 수행될 수 있다. 상기 객체 검출 장치(10)는 저장 장치에 저장된 객체 검출용 프로그램을 불러와 실행함으로써 입력 영상으로부터 객체를 검출할 수 있다.
도 12를 참조하면, 상기 객체 검출 방법(20)은 입력 영상을 전 처리하는 단계(S220), 입력 영상으로부터 배경을 분리하여 전경 영상을 획득하는 단계(S230), 및 전경 영상을 이용하여 객체를 검출하는 단계(S240)를 포함할 수 있다.
나아가, 상기 객체 검출 방법(20)은 입력 영상을 전 처리하는 단계(S220) 전에 입력 영상의 밝기를 분석하는 단계(S200)를 더 포함하여, 상기 밝기가 기 설정된 임계치보다 낮은 경우(S210에서 예) 해당 입력 영상을 전 처리하고, 상기 밝기가 상기 임계치보다 크거나 같은 경우(S210에서 아니오) 전 처리하는 단계를 스킵하고 해당 입력 영상으로부터 배경을 분리하여 전경 영상을 획득할 수 있다.
도 13은 본 발명의 일 실시예에 따른 전 처리 과정(S220)의 예시적인 흐름도이다.
상기 전 처리 과정(S220)은 전술한 본 발명의 실시예에 따른 전 처리부(110)에 의해 수행될 수 있다.
앞서 설명한 바와 같이, 상기 전 처리부(110)는 입력 영상의 전 처리에 타겟 영상 및 참조 영상을 활용하며, 상기 타겟 영상은 상기 배경 분리부(120)에 의해 입력 영상으로부터 전경을 분리한 배경 영상일 수 있고, 상기 참조 영상은 입력 영상과 동일한 신을 입력 영상보다 밝은 환경에서 촬영한 영상으로부터 전경을 분리한 배경 영상일 수 있다. 나아가, 실시예에 따라 상기 타겟 영상은 연속적으로 입력되는 입력 영상 중 기 설정된 시간 간격마다 획득된 영상 프레임으로부터 전경을 분리한 배경 영상 프레임일 수 있다.
도 13을 참조하면, 상기 전 처리하는 단계(S220)는, 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표 (PT, PR)를 생성하는 단계(S222), 상기 픽셀값 좌표 (PT, PR)를 기반으로 타겟 영상의 픽셀값 PT에 부합하는 참조 픽셀값 PR을 결정하는 단계(S223), 및 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 참조 픽셀값 PR으로 변경하는 단계(S224)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 참조 픽셀값을 결정하는 단계(S223)는, 상기 픽셀값 좌표 (PT, PR)를 나타내는 좌표계에서 각 픽셀값 좌표에 대응하는 각 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 도형(예컨대, 2차원 좌표계에서는 직선 lm)의 방정식을 산출하여 타겟 영상의 픽셀값 PT에 대한 참조 픽셀값 PR의 관계식을 획득하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 참조 픽셀값을 결정하는 단계(S223)는, 상기 픽셀값 좌표 (PT, PR)를 다수의 그룹들(Gh, Gm, Gl)로 분류하는 단계, 및 각 그룹마다 상기 도형(lh, lm, ll)의 방정식을 산출하는 단계를 더 포함할 수 있다.
상기 픽셀값 좌표 (PT, PR)를 다수의 그룹들(Gh, Gm, Gl)로 분류하는 단계는, 상기 좌표계에서 상기 도형(lm)을 평행 이동시켜 얻은 경계(bh, bl)를 기준으로 상기 픽셀값 좌표 (PT, PR)를 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 참조 픽셀값을 결정하는 단계(S223)는, 상기 좌표계에서 어느 한 그룹(Gm)에 대한 도형(lm)을 향해 나머지 그룹 중 적어도 하나(Gh, Gl)에 대한 도형(lh, ll)을 이동시켜 해당 그룹(Gh, Gl)에 대한 조정된 도형(lh', ll')의 방정식을 획득하는 단계를 더 포함할 수 있다.
상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 참조 픽셀값으로 변경하는 단계(S224)는, 입력 영상의 픽셀값을 상기 관계식에서 타겟 영상의 픽셀값에 대응하는 변수 PT에 대입하여 얻은 참조 픽셀값 PR으로 변경하는 단계를 포함할 수 있다.
다시 도 13을 참조하면, 상기 전 처리하는 단계(S220)는, 입력 영상, 타겟 영상 및 참조 영상에 사용된 제 1 색 공간 모델(예컨대, RGB 색 공간 모델)을 휘도 및 색도를 포함하는 제 2 색 공간 모델(예컨대, L*a*b* 색 공간 모델)로 변환하는 단계(S211)를 더 포함할 수 있다.
또한, 상기 전 처리하는 단계(S220)는, 상기 픽셀값이 변경된 입력 영상(즉, 결과 영상)에 사용된 상기 제 2 색 공간 모델을 상기 제 1 색 공간 모델로 변환하는 단계(S226)를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 픽셀값 좌표 (PT, PR)를 생성하는 단계(S222)는, 타겟 픽셀의 휘도에 해당하는 휘도 픽셀값과 참조 픽셀의 휘도에 해당하는 휘도 픽셀값을 이용하여 픽셀값 좌표 (PT, PR)를 생성하는 단계를 포함할 수 있다.
이 경우, 도 13과 같이, 상기 전 처리하는 단계(S220)는, 타겟 영상 내 타겟 픽셀들의 색도에 해당하는 색도 픽셀값과 참조 영상 내 참조 픽셀들의 색도에 해당하는 색도 픽셀값을 기반으로, 입력 영상 내 각 픽셀의 색도에 해당하는 색도 픽셀값을 변경하는 단계(S225)를 더 포함할 수 있다.
도 14는 본 발명의 일 실시예에 따라 입력 영상 내 각 픽셀의 색도 픽셀값을 변경하는 과정(S225)의 예시적인 흐름도이다.
도 14를 참조하면, 상기 입력 영상 내 각 픽셀의 색도 픽셀값을 변경하는 단계(S225)는, 타겟 픽셀들의 색도 픽셀값의 평균 μT과 참조 픽셀들의 색도 픽셀값의 평균 μR을 구하는 단계(S2251), 입력 영상 내 각 픽셀의 색도 픽셀값 Pi으로부터 타겟 픽셀들의 색도 픽셀값의 평균 μT을 감산하는 단계(S2252), 및 감산하여 얻은 색도 픽셀값에 참조 픽셀들의 색도 픽셀값의 평균 μR을 계산하는 단계(S2253)를 포함할 수 있다.
상기 객체 검출 방법 및 상기 전 처리에 관한 영상 처리 방법 중 적어도 하나는 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 상기 방법은 컴퓨터와 결합되어 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
이상에서 실시예를 통해 본 발명을 설명하였으나, 위 실시예는 단지 본 발명의 사상을 설명하기 위한 것으로 이에 한정되지 않는다. 통상의 기술자는 전술한 실시예에 다양한 변형이 가해질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 특허청구범위의 해석을 통해서만 정해진다.

Claims (22)

  1. 입력 영상으로부터 얻은 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성하는 픽셀값 좌표 생성부;
    상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정하는 참조 픽셀값 결정부; 및
    상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경하는 픽셀값 변경부를 포함하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 픽셀값 좌표 생성부는:
    상기 타겟 픽셀의 픽셀값과 상기 참조 픽셀의 픽셀값으로 구성된 2차원 픽셀값 좌표를 생성하는 영상 처리 장치.
  3. 제 1 항에 있어서,
    상기 타겟 영상은 상기 입력 영상으로부터 전경을 분리한 배경 영상인 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 타겟 영상은 연속적으로 입력되는 입력 영상 중 기 설정된 시간 간격마다 획득된 영상 프레임으로부터 전경을 분리한 배경 영상 프레임인 객체 검출 장치.
  5. 제 1 항에 있어서,
    상기 참조 영상은 상기 입력 영상과 동일한 신(scene)을 상기 입력 영상보다 밝은 환경에서 촬영한 영상으로부터 전경을 분리한 배경 영상인 영상 처리 장치.
  6. 제 1 항에 있어서,
    상기 참조 픽셀값 결정부는:
    상기 픽셀값 좌표를 나타내는 좌표계에서 각 픽셀값 좌표에 대응하는 각 픽셀값 좌표점으로부터 이격된 거리의 합이 최소가 되는 도형의 방정식을 산출하여 상기 타겟 영상의 픽셀값에 대한 상기 참조 픽셀값의 관계식을 획득하는 영상 처리 장치.
  7. 제 6 항에 있어서,
    상기 참조 픽셀값 결정부는:
    상기 픽셀값 좌표를 다수의 그룹들로 분류하고, 각 그룹마다 상기 도형의 방정식을 산출하는 영상 처리 장치.
  8. 제 7 항에 있어서,
    상기 참조 픽셀값 결정부는:
    상기 좌표계에서 상기 도형을 평행 이동시켜 얻은 경계를 기준으로 상기 픽셀값 좌표를 분류하는 영상 처리 장치.
  9. 제 7 항에 있어서,
    상기 참조 픽셀값 결정부는:
    상기 좌표계에서 어느 한 그룹에 대한 도형을 향해 나머지 그룹 중 적어도 하나에 대한 도형을 이동시켜 해당 그룹에 대한 도형의 방정식을 조정하는 영상 처리 장치.
  10. 제 6 항에 있어서,
    상기 픽셀값 변경부는:
    상기 입력 영상의 픽셀값을 상기 관계식에서 상기 타겟 영상의 픽셀값에 대응하는 변수에 대입하여 얻은 참조 픽셀값으로 변경하는 영상 처리 장치.
  11. 제 1 항에 있어서,
    상기 입력 영상, 상기 타겟 영상 및 상기 참조 영상에 사용된 제 1 색 공간 모델을 휘도 및 색도를 포함하는 제 2 색 공간 모델로 변환하고, 상기 픽셀값이 변경된 입력 영상에 사용된 상기 제 2 색 공간 모델을 상기 제 1 색 공간 모델로 변환하는 색 공간 모델 변환부를 더 포함하는 영상 처리 장치.
  12. 제 11 항에 있어서,
    상기 픽셀값 좌표 생성부는:
    상기 타겟 픽셀의 휘도에 해당하는 휘도 픽셀값과 상기 참조 픽셀의 휘도에 해당하는 휘도 픽셀값을 이용하여 상기 픽셀값 좌표를 생성하는 영상 처리 장치.
  13. 제 12 항에 있어서,
    상기 타겟 영상 내 타겟 픽셀들의 색도에 해당하는 색도 픽셀값과 상기 참조 영상 내 참조 픽셀들의 색도에 해당하는 색도 픽셀값을 기반으로, 상기 입력 영상 내 각 픽셀의 색도에 해당하는 색도 픽셀값을 변경하는 색도 픽셀값 변경부를 더 포함하는 영상 처리 장치.
  14. 제 13 항에 있어서,
    상기 색도 픽셀값 변경부는:
    상기 타겟 픽셀들의 색도 픽셀값의 평균과 상기 참조 픽셀들의 색도 픽셀값의 평균을 구하고,
    상기 입력 영상 내 각 픽셀의 색도 픽셀값으로부터 상기 타겟 픽셀들의 색도 픽셀값의 평균을 감산한 뒤, 상기 참조 픽셀들의 색도 픽셀값의 평균을 가산하는 영상 처리 장치.
  15. 영상 처리 장치를 이용하여 영상을 처리하는 방법에 있어서,
    입력 영상으로부터 얻은 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성하는 단계;
    상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정하는 단계; 및
    상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경하는 단계;
    를 포함하는 영상 처리 방법.
  16. 제 15 항에 따른 영상 처리 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  17. 컴퓨터와 결합되어 제 15 항에 따른 영상 처리 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  18. 입력 영상을 전 처리하는 전 처리부;
    상기 전 처리된 입력 영상으로부터 배경을 분리하여 전경 영상을 획득하는 배경 분리부; 및
    상기 전경 영상을 이용하여 객체를 검출하는 객체 검출부를 포함하며,
    상기 전 처리부는:
    상기 입력 영상으로부터 얻은 타겟 영상 내 타겟 픽셀의 픽셀값과 참조 영상 내 상기 타겟 픽셀에 대응하는 참조 픽셀의 픽셀값을 포함하는 픽셀값 좌표를 생성하는 픽셀값 좌표 생성부;
    상기 픽셀값 좌표를 기반으로 상기 타겟 영상의 픽셀값에 부합하는 참조 픽셀값을 결정하는 참조 픽셀값 결정부; 및
    상기 입력 영상 내 각 픽셀의 픽셀값을 해당 픽셀값에 부합하는 상기 참조 픽셀값으로 변경하는 픽셀값 변경부를 포함하는 객체 검출 장치.
  19. 제 18 항에 있어서,
    상기 입력 영상의 밝기를 분석하여, 상기 밝기가 기 설정된 임계치보다 작은 경우 해당 입력 영상을 상기 전 처리부로 전달하고, 상기 밝기가 상기 임계치보다 크거나 같은 경우 해당 입력 영상을 상기 배경 분리부로 전달하는 밝기 분석부를 더 포함하는 객체 검출 장치.
  20. 제 18 항에 있어서,
    상기 타겟 영상은 상기 입력 영상으로부터 전경을 분리한 배경 영상인 객체 검출 장치.
  21. 제 20 항에 있어서,
    상기 타겟 영상은 연속적으로 입력되는 입력 영상 중 기 설정된 시간 간격마다 획득된 영상 프레임으로부터 전경을 분리한 배경 영상 프레임인 객체 검출 장치.
  22. 제 18 항에 있어서,
    상기 참조 영상은 상기 입력 영상과 동일한 신을 상기 입력 영상보다 밝은 환경에서 촬영한 영상으로부터 전경을 분리한 배경 영상인 객체 검출 장치.
PCT/KR2016/009394 2015-08-25 2016-08-24 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치 WO2017034323A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150119344A KR101715247B1 (ko) 2015-08-25 2015-08-25 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치
KR10-2015-0119344 2015-08-25

Publications (1)

Publication Number Publication Date
WO2017034323A1 true WO2017034323A1 (ko) 2017-03-02

Family

ID=58100632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009394 WO2017034323A1 (ko) 2015-08-25 2016-08-24 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치

Country Status (2)

Country Link
KR (1) KR101715247B1 (ko)
WO (1) WO2017034323A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12026862B2 (en) 2020-10-08 2024-07-02 3M Innovative Properties Company Apparatus and methods for preprocessing images having elements of interest

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102422128B1 (ko) * 2017-08-31 2022-07-20 한화테크윈 주식회사 영상 처리 시스템 및 그에 의한 영상 처리 방법
KR20240059426A (ko) 2022-10-27 2024-05-07 한전케이디엔주식회사 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090024898A (ko) * 2007-09-05 2009-03-10 한국전자통신연구원 영상 객체 추출 장치 및 그 방법
KR20090048191A (ko) * 2007-11-09 2009-05-13 주식회사 쎄이미지 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법
KR100927554B1 (ko) * 2009-03-13 2009-11-20 주식회사 일리시스 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법
KR20100056143A (ko) * 2008-11-19 2010-05-27 (주)투미르 영역별 처리기법을 이용한 동작객체 검출방법
KR20110114096A (ko) * 2010-04-12 2011-10-19 주식회사 영국전자 열상 카메라를 채용하는 감시 시스템 및 이를 이용한 야간 감시 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090024898A (ko) * 2007-09-05 2009-03-10 한국전자통신연구원 영상 객체 추출 장치 및 그 방법
KR20090048191A (ko) * 2007-11-09 2009-05-13 주식회사 쎄이미지 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법
KR20100056143A (ko) * 2008-11-19 2010-05-27 (주)투미르 영역별 처리기법을 이용한 동작객체 검출방법
KR100927554B1 (ko) * 2009-03-13 2009-11-20 주식회사 일리시스 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법
KR20110114096A (ko) * 2010-04-12 2011-10-19 주식회사 영국전자 열상 카메라를 채용하는 감시 시스템 및 이를 이용한 야간 감시 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12026862B2 (en) 2020-10-08 2024-07-02 3M Innovative Properties Company Apparatus and methods for preprocessing images having elements of interest

Also Published As

Publication number Publication date
KR101715247B1 (ko) 2017-03-10
KR20170024287A (ko) 2017-03-07

Similar Documents

Publication Publication Date Title
WO2014148829A1 (en) Method and apparatus for processing an image based on detected information
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2017039259A1 (ko) 열화상 카메라를 이용한 전력설비 진단 장치 및 방법
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2021091021A1 (ko) 화재 검출 시스템
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2016076497A1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
WO2015002423A1 (en) Image processing method and apparatus for curved display device
WO2022019675A1 (ko) 시설 평면도에 포함된 기호 분석 장치 및 방법
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2014035103A1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
WO2023120831A1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2017034323A1 (ko) 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2017111257A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2022092743A1 (ko) 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치
WO2022050668A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
KR101044903B1 (ko) 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법
WO2016086380A1 (zh) 一种物体检测方法、装置及遥控移动设备、飞行器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16839612

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16839612

Country of ref document: EP

Kind code of ref document: A1