WO2020179103A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020179103A1
WO2020179103A1 PCT/JP2019/032537 JP2019032537W WO2020179103A1 WO 2020179103 A1 WO2020179103 A1 WO 2020179103A1 JP 2019032537 W JP2019032537 W JP 2019032537W WO 2020179103 A1 WO2020179103 A1 WO 2020179103A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
saturation
detection target
value
extraction
Prior art date
Application number
PCT/JP2019/032537
Other languages
English (en)
French (fr)
Inventor
智史 鈴木
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US17/434,738 priority Critical patent/US11989857B2/en
Priority to EP19918425.0A priority patent/EP3933770A4/en
Priority to CN201980092420.8A priority patent/CN113498518A/zh
Publication of WO2020179103A1 publication Critical patent/WO2020179103A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present disclosure relates to an image processing device that processes a color image.
  • image processing devices are known that detect a white line or other detection target by analyzing a color image acquired by a camera as a luminance image.
  • the detection target is other than white
  • the image processing apparatus may not be able to properly detect the detection target even if it is analyzed as a luminance image. Therefore, it is considered that the image processing apparatus can detect even a detection target other than white (see, for example, Patent Document 1).
  • This image processing device individually obtains the intensity of each RGB color signal in a color image, and changes the combination of each color signal according to the color of the detection target to obtain the combination that maximizes the contrast of the detection target. It is possible to detect the detection target by combining the respective color signals according to the color of the detection target.
  • this image processing apparatus needs to change the combination of each color signal according to the color of the detection target in the color image, it is necessary to obtain the combination according to the color of the detection target to be analyzed, or to analyze each color image to be analyzed. Then, the combination that maximizes the contrast of the detection target is obtained. Therefore, in this image processing apparatus, the calculation load for detecting the detection target increases.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to provide an image processing apparatus capable of creating an image that facilitates detection of a predetermined target object while suppressing an increase in calculation load.
  • the image processing apparatus of the present disclosure includes a brightness image creating unit that creates a brightness image showing the brightness distribution in the color image acquired by the camera, and a saturation showing the saturation distribution in the color image. It is characterized by including a saturation image creation unit for creating an image and an analysis image creation unit for creating an analysis image for detecting a predetermined object by synthesizing the brightness image and the saturation image. To do.
  • the image processing device of the present disclosure configured as described above can create an image that facilitates detection of a predetermined target object while suppressing an increase in calculation load.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment as an example of an image processing apparatus according to the present disclosure. It is explanatory drawing which shows the color image as an example which the camera acquired. It is explanatory drawing which shows the brightness
  • FIG. 6 is an explanatory diagram showing a saturation image used for explaining an extraction process as an example by an extracted image creating unit.
  • FIG. 16 is an explanatory diagram showing a processed image created by subtracting the processed image of FIG. 15 from the saturation image of FIG. 6. It is explanatory drawing which shows the saturation extraction image created by subtracting the processed image of FIG. 16 from the saturation extraction image of FIG.
  • the image processing device 10 of the first embodiment as an example of the image processing device according to the present disclosure will be described below with reference to the drawings.
  • the image processing apparatus 10 performs image processing for creating an image that facilitates detection of a predetermined object in the color image acquired by the camera 15, and in the first embodiment, the vehicle 1 (see FIG. 2) is used. It is said that it is mounted on a vehicle.
  • the image processing apparatus 10 is not limited to the vehicle-mounted image processing apparatus, and may be, for example, a smartphone, a tablet terminal, a PDA (Personal Data Assistance), or the like. In this case, the image processing is provided by the application program installed in these devices.
  • the image processing device 10 has, for example, a parking support function for assisting a parking operation in a parking lot, a lane keeping function for maintaining a traveling lane, a map and accompanying information display, and a departure place (or current location). ) To a destination, a navigation function such as a search for a recommended route, route guidance, and display of road traffic information may be additionally provided.
  • the image processing device 10 includes a control unit 11 and a storage unit 12, and a display unit 13, an operation unit 14, and a camera 15 are mounted on a vehicle such as CAN (Controller Area Network) as a communication protocol. It is configured to be connected to the control unit 11 via a network.
  • vehicle such as CAN (Controller Area Network) as a communication protocol. It is configured to be connected to the control unit 11 via a network.
  • CAN Controller Area Network
  • the storage unit 12 stores in advance a program for executing image processing, a program for executing other functions, and information required by those programs that is used without being rewritten. doing. Information stored in the storage unit 12 can be appropriately read by the control unit 11.
  • the display unit 13 displays an analysis image 55 (see FIG. 13), which will be described later, created by image processing, and is composed of, for example, a liquid crystal display or an organic EL display.
  • the display unit 13 appropriately displays a support image for the parking support function, a display image for the lane keeping function, a route image for the navigation function, and the like.
  • the operation unit 14 receives an instruction input from the user, and can specify whether or not to execute image processing.
  • the operation unit 14 can specify whether or not to execute the parking support function or the lane keep function, and input a destination for the navigation function.
  • the operation unit 14 is configured by the display unit 13 that is equipped with the function of the touch panel and the switches provided around the display unit 13.
  • the camera 15 acquires a color image of a predetermined range around the vehicle 1 for use in image processing, and in the first embodiment, the camera 15 acquires a color image of the entire circumference of the vehicle 1 and obtains a color bird's-eye view image 51 ( (See FIG. 2 ), they are provided at four positions on the front, rear, left and right of the vehicle 1.
  • the camera 15 may be provided at the front of the vehicle 1 and may be provided with a single wide-angle fisheye lens that acquires a color image of the front (front side in the traveling direction), and is provided for a drive recorder or a collision prevention mechanism. It may be the one given.
  • the camera 15 outputs image data indicating the acquired color image to the control unit 11.
  • the control unit 11 has a bird's-eye view image creation unit 21, a luminance image creation unit 22, a saturation image creation unit 23, an extraction image creation unit 24, an analysis image creation unit 25, a target detection unit 26, and a memory unit 27.
  • Each unit of the control unit 11 except the memory unit 27 is configured by a program. It should be noted that each of these parts may be exclusively configured by an electronic circuit, and is not limited to the configuration of the first embodiment. Numerical data required in the arithmetic processing process in each unit of the control unit 11, variables of a program for a processing result during the arithmetic processing, and the like are appropriately written in the memory unit 27, and these are appropriately read by each unit of the control unit 11.
  • the memory unit 27 may store a program for each process performed by the control unit 11.
  • the bird's-eye view image creating unit 21 converts the viewpoint of the color image to generate a bird's-eye view image 51 (see FIG. 2 and the like) in a color that looks down on the ground from above. Create (overhead image formation process). From the storage unit 12, the bird's-eye view image creation unit 21 displays the design values (external parameters) of the camera 15 installation position and angle (pitch angle, yaw angle, roll angle, camera height), the focal length of the camera 15, and the pixel size. , Camera parameters such as optical axis center and distortion function (internal parameters) are acquired.
  • the bird's-eye view image creation unit 21 performs distortion correction processing for correcting the distortion of the image by the lens by using the acquired distortion function.
  • the bird's-eye view image creation unit 21 uses a well-known camera geometric conversion formula to correct the distortion of the output values (the signal values including the brightness values of the respective colors) of the pixels at all coordinate positions in the bird's-eye view image 51 shown in world coordinates. It is created based on the output value (signal value) of the corresponding pixel of the image.
  • the bird's-eye image creating unit 21 identifies the pixel based on each output value of the peripheral pixels by a known brightness interpolation process. Find the output value of a pixel. Further, the bird's-eye view image creating unit 21 converts the adjacent captured images of the cameras 15, that is, the front, rear, left, and right four cameras into one image while eliminating the discomfort at the joint by linearly interpolating the brightness of the corresponding coordinate values. By connecting them together, the bird's-eye view image 51 surrounding the vehicle 1 is created.
  • the bird's-eye view image 51 of the first embodiment shows a state in which the vehicle 1 is in the parking lot, and the shadow 2 of the vehicle 1 is projected on the upper side of the vehicle 1 when viewed from the front. Furthermore, a plurality of lines 3 drawn on the ground such as asphalt showing a parking space are shown above. It should be noted that the bird's-eye view image creation unit 21 may perform each of these processes at the same time as long as it creates the bird's-eye view image 51 (image data thereof), or may perform other processes, and is not limited to the first embodiment. ..
  • the luminance image creating unit 22 and the saturation image creating unit 23 create a luminance image 52 (see FIG. 3) and a saturation image 53 (see FIG. 4), which will be described later, based on the bird's-eye view image 51 of this color. Therefore, the bird's-eye view image 51 functions as a color image acquired by the camera.
  • the brightness image creation unit 22 and the saturation image creation unit 23, together with the extraction image creation unit 24 and the analysis image creation unit 25, are each image of the same size (number of pixels) (brightness image 52, saturation image 53, which will be described later). Saturation extraction image 54 and analysis image 55) are created. If each creating unit (22, 23, 24, 25) creates each image with the same size as each other, a part of the area (FIG. 2) in the bird's-eye view image 51 shown in FIG. 2 as shown below. , Each process may be performed on the entire bird's-eye view image 51).
  • the luminance image creating unit 22 obtains a luminance value (luminance distribution) in each pixel based on the luminance data in the bird's-eye view image 51 (color image), and determines the luminance value for each pixel (value from 0 to 255). Luminance image creation processing is performed to create the brightness image 52 (see FIG. 3) that is the monochrome image shown.
  • the brightness image creating unit 22 uses the Y value of each pixel, and when the overhead image 51 is RGB data, the brightness value of each color (RGB) in each pixel. The sum of is used.
  • the luminance image 52 shows the luminance distribution in the bird's-eye view image 51 (color image) by the luminance value for each pixel.
  • the luminance image 52 shown in FIG. 3 corresponds to the region surrounded by the alternate long and short dash line in the bird's-eye view image 51 shown in FIG.
  • the luminance image 52 when each line 3 in the bird's-eye view image 51 is white, the luminance value of each line 3 becomes sufficiently large and the image is clearly captured.
  • the brightness image 52 shown in FIG. 3 is thin because each line 3 in the bird's-eye view image 51 is yellow and the brightness value of each line 3 is not so large (the line drawn in FIG. 3 is thin to indicate thinness). ing).
  • the saturation image creation unit 23 obtains the saturation value (saturation distribution) in each pixel based on the saturation data in the bird's-eye view image 51 (color image). Then, the saturation image creation unit 23 replaces the magnitude of the saturation value for each pixel with the magnitude of the luminance value, and the saturation image 53 is a monochrome image indicated by the magnitude of the luminance value for each replaced pixel. Perform the saturation image creation process to create (see FIG. 4).
  • the saturation image 53 shown in FIG. 4 shows the region surrounded by the alternate long and short dash line in the bird's-eye view image 51 shown in FIG.
  • the saturation image creation unit 23 of the first embodiment creates the saturation image 53 as follows.
  • the saturation image creation unit 23 performs a conversion process for converting each pixel into RGB data using, for example, the following equation (1).
  • the saturation image creation unit 23 does not perform the conversion process when the bird's-eye view image 51 is RGB data.
  • R value Y value+1.402 ⁇ V value
  • G value Y value ⁇ 0.344 ⁇ U value ⁇ 0.714 ⁇ V value (1)
  • B value Y value+1.772 ⁇ U value
  • the saturation image creation unit 23 determines the magnitude of the saturation value for each pixel by multiplying the normalized S value by the coefficient A in each pixel as shown in the following equation (3).
  • a replacement process is performed to obtain the Sb value replaced with the magnitude of the brightness value.
  • This coefficient A is the magnitude of the luminance value using the normalized S value, and in Example 1, it is set to 255 according to the scale of the luminance image 52 which is a monochrome image.
  • Sb value S value ⁇ A (3)
  • the saturation image creation unit 23 creates a saturation image 53 (see FIG. 4), which is a monochrome image indicated by the magnitude of the brightness value for each pixel, using the obtained Sb value for each pixel.
  • the saturation image 53 shows the saturation distribution in the bird's-eye view image 51 (color image) by the converted luminance value of each pixel.
  • the saturation image 53 shown in FIG. 4 shows the area surrounded by the alternate long and short dash line in the bird's-eye view image 51 shown in FIG. 2, like the luminance image 52 shown in FIG.
  • the saturation image 53 even if each line 3 in the bird's-eye view image 51 is yellow, the saturation value of each line 3 is sufficiently large and is clearly captured.
  • the saturation image creation unit 23 is a saturation image which is a monochrome image in which the magnitude of the saturation value for each pixel is replaced with the magnitude of the luminance value based on the saturation data in the bird's-eye view image 51 (color image). As long as 53 is created, it is not limited to the configuration of the first embodiment.
  • the extraction image creation unit 24 creates a saturation extraction image 54 (see FIG. 5) by performing an extraction process for extracting a pattern corresponding to a detection target in the saturation image 53 created by the saturation image creation unit 23. .. It should be noted that this pattern is reflected in the saturation image 53, and includes lines and signs drawn on the ground, shadows formed on the ground, and the like.
  • the saturation extraction image 54 shown in FIG. 5 is a case where each line 3 is a detection target in the saturation image 53 (see FIG. 4), and the shadow 2 different from the detection target is removed by extracting each line 3. Has been done.
  • the extracted image creation unit 24 of the first embodiment performs a contraction process and an expansion process on the saturation image 53 to remove a symbol larger than the detection target and create a saturation extract image 54.
  • the contraction process and the expansion process will be described with reference to FIGS. 6 to 12.
  • FIG. 6 shows a saturation image 53 as an example for facilitating the understanding of the contraction process and the expansion process.
  • a symbol D1 larger than the detection target is shown on the left side, and a symbol D2 as the detection target is shown in the middle.
  • the symbol D3 smaller than the detection target is shown on the right side.
  • the respective symbols (D1, D2, D3) have the same vertical dimension (10 pixels) for comparison, and the width dimensions are different from each other.
  • the design D1 has a linear shape having a width of 8 pixels in the saturation image 53, and one pixel on the outer circumference has a saturation value (luminance value) lower than that of the center.
  • the symbol D2 (detection target) has a linear shape having a width of 4 pixels in the saturation image 53, and one pixel on the outer circumference has a saturation value (luminance value) lower than that of the center.
  • the symbol D3 has a linear shape having a width of two pixels in the saturation image 53, and has a saturation value (luminance value) equal to the center of the symbol D1 and the symbol D2.
  • the extracted image creation unit 24 performs shrinkage processing and expansion processing using the filter F.
  • FIG. 7 shows an enlarged view of the vicinity of the lower end of the symbol D1 of the saturation image 53, in which the filter F is arranged in three patterns (hereinafter referred to as F1, F2, and F3) to perform shrinkage processing and expansion processing. It is for explaining the case where it was done.
  • the extraction image creation unit 24 uses a filter F having a size of 9 pixels, which is a 3 ⁇ 3 frame, and the pixels located in the center frame are reduced to eight peripheral pixels in the case of shrinkage processing. It is converted into the lowest saturation value (luminance value) of the pixels of the frame, and in the case of the expansion processing, converted into the highest saturation value (luminance value) of the pixels of the eight surrounding frames.
  • the filter F1 of the first pattern is arranged so that the center frame is aligned with the pixel G1 having the low saturation value at the lower left end of the symbol D1 to convert the pixel G1.
  • the filter F1 sets the pixel G1 to a saturation value of 0 (zero) outside the design D1 in the case of contraction processing, and sets the pixel G1 to a high saturation value in the center of the design D1 in the case of expansion processing.
  • the filter F2 of the second pattern is arranged so that the middle frame is aligned with the pixel G2 so that all the frames fit within the high saturation value in the middle of the design D1, and the pixel G2 is converted.
  • the filter F2 sets the pixel G2 to a high saturation value regardless of whether the shrinkage treatment or the expansion treatment is performed.
  • the filter F3 of the third pattern is arranged such that the center frame is aligned with the pixel G3 having a saturation value of 0 (zero) on the outer left side of the pattern D1, and the pixel G3 is converted.
  • the filter F3 sets the pixel G3 as a saturation value of 0 (zero) around the symbol D1, and in the case of the expansion process, sets the pixel G3 as a low saturation value on the outer circumference of the symbol D1.
  • the extraction image creation unit 24 performs the shrinkage processing using the filter F on all the pixels of the original saturation image 53 to reduce the design of the saturation image 53 by one pixel. To do. Further, as described above, the extraction image creation unit 24 performs the expansion process using the filter F on all the pixels of the original saturation image 53, so that the design of the saturation image 53 is for one pixel. Just make it bigger. Note that, as described above, the extracted image creation unit 24 sets the saturation value of 0 (zero) in all the frames of the filter F, whether in the contraction process or the expansion process. The saturation value is 0 (zero).
  • the extraction image creation unit 24 can remove the detection target by performing the contraction processing the number of times of the smaller size of the vertical size and the width size of the detection target. Using this, the extracted image creating unit 24 creates the processed image 56 by performing the contraction process the number of times that the detection target can be removed and then performing the expansion process the same number of times.
  • the extraction image creation unit 24 performs one shrinkage process on the saturation image 53 shown in FIG. 6, and as shown in FIG. 8, makes the symbol D1 one size smaller and the symbol D2 one size smaller.
  • a saturation image 53 is obtained by setting a low saturation value and removing the symbol D3 as a saturation value of 0 (zero).
  • the extracted image creating unit 24 performs the contraction process once on the saturation image 53 shown in FIG. 8, reduces the design D1 by one size, and sets the design D2 to 0 (zero) as shown in FIG. ) As the saturation value, and the saturation image 53 remains with the pattern D3 removed.
  • the extracted image creating unit 24 performs one expansion process on the saturation image 53 shown in FIG. 9, enlarges the symbol D1 by one size, and removes the removed symbol D2 and as shown in FIG. Since the saturation value of 0 (zero) is set for the symbol D3, the saturation image 53 as it is removed is used.
  • the extracted image creation unit 24 performs the expansion process once on the saturation image 53 shown in FIG. 10, enlarges the design D1 by one size, and removes the design D2 as shown in FIG.
  • the saturation image 53 is not changed for the design D3.
  • the extracted image creation unit 24 creates the processed image 56 as the saturation image 53 in which only the symbol larger than the symbol D2 as the detection target (design D1 in this example) is left from the saturation image 53.
  • the extracted image creating unit 24 subtracts the processed image 56 (saturation value (luminance value) of each pixel thereof) illustrated in FIG. 11 from the original saturation image 53 illustrated in FIG.
  • the saturation extraction image 54 shown is created.
  • the saturation extracted image 54 is obtained by removing a symbol (design D1) larger than the symbol D2 as a detection target from the saturation image 53. In this way, the extracted image creating unit 24 creates the saturation extracted image 54 in which the design larger than the detection target is removed by performing the contraction processing and the expansion processing on the saturation image 53.
  • the analysis image creation unit 25 basically includes a luminance image 52 (see FIG. 3) created by the luminance image creation unit 22 and a saturation image 53 (see FIG. 4) created by the saturation image creation unit 23. By synthesizing, an analysis image 55 (see FIG. 13) for detecting a predetermined target object (detection target) is created. In the luminance image 52 and the saturation image 53, which have the same size (number of pixels), the analysis image creation unit 25 determines, for each pixel, the luminance value in the luminance image 52 and the brightness value (the saturation value in the saturation image 53). By adding (replaced) and, an analysis image 55, which is a monochrome image indicated by the magnitude of the brightness value for each pixel, is created.
  • the analysis image creating unit 25 of the first embodiment replaces the saturation image 53 created by the saturation image creating unit 23 with the saturation extraction image 54 (see FIG. 5) and the brightness image 52 created by the extraction image creating unit 24. And are combined to create the analysis image 55 shown in FIG.
  • the analysis image creation unit 25 synthesizes the luminance image 52 and the saturation extraction image 54, as in the case of the saturation image 53.
  • the brightness image creation unit 22, the saturation image creation unit 23, the extraction image creation unit 24, and the analysis image creation unit 25 are analyzed images 55 based on the color image (overhead image 51) acquired by the camera 15. It functions as an image processing apparatus that realizes an image processing function for creating a.
  • the target detection unit 26 analyzes the analysis image 55 created by the analysis image creation unit 25 and detects a symbol corresponding to the detection target in the analysis image 55.
  • the target detection unit 26 performs edge extraction processing on the analysis image 55, and extracts a theoretical comparison region indicating the size and shape of the detection target in the image obtained by the edge extraction processing to obtain a detection target (design). Extract.
  • the target detection unit 26 may be extracted by another method as long as it extracts a symbol corresponding to the detection target, and is not limited to the configuration of the first embodiment. In the first embodiment, since each line 3 is the detection target, the target detection unit 26 detects each line 3 in the analysis image 55.
  • FIG. 14 is a flowchart showing the image processing executed by the control unit 11 in the first embodiment. This image processing is executed by the control unit 11 based on the program stored in the storage unit 12.
  • each step (each process) of the flowchart of FIG. 14 will be described.
  • the flowchart of FIG. 14 is started when the power of the image processing device 10 is turned on and the color image (data thereof) acquired by the camera 15 is output to the control unit 11.
  • step S1 the bird's-eye view image 51 is created, and the process proceeds to step S2.
  • step S1 the bird's-eye view image creating unit 21 creates a color bird's-eye view image 51 (see FIG. 2) based on the color image (image data) input from the camera 15.
  • step S2 the brightness image 52 is created, and the process proceeds to step S3.
  • the brightness image creation unit 22 creates a brightness image 52 (see FIG. 3), which is a monochrome image indicated by the size of the brightness value of each pixel, based on the bird's-eye view image 51.
  • step S3 the saturation image 53 is created, and the process proceeds to step S4.
  • the saturation image creation unit 23 is a monochrome image 53 (see FIG. 4), which is a monochrome image indicated by the magnitude of the luminance value in which the magnitude of the saturation value for each pixel is replaced based on the bird's-eye view image 51. ) Is created.
  • the order of step S2 and step S3 may be reversed or may be performed at the same time, and the configuration is not limited to that of the first embodiment.
  • step S4 the saturation extraction image 54 is created, and the process proceeds to step S5.
  • step S4 the extracted image creating unit 24 creates a saturation extracted image 54 (see FIG. 5) by removing a pattern larger than the detection target based on the saturation image 53.
  • step S5 the analysis image 55 is created, and the process proceeds to step S6.
  • step S5 the analysis image creation unit 25 combines the luminance image 52 created in step S2 and the saturation extraction image 54 created in step S4 to create an analysis image 55 (see FIG. 13).
  • Steps S2 to S5 are steps of creating the analysis image 55 based on the color image (overhead image 51) acquired by the camera 15.
  • step S6 the detection target in the analysis image 55 is detected, and this image processing ends.
  • the target detection unit 26 analyzes the analysis image 55 created in step S5 to detect the detection target (each line 3 in the illustrated example) in the analysis image 55.
  • the control unit 11 uses this detection result for various functions.
  • the control unit 11 can realize, for example, a parking support function or a lane keeping function based on the position of each line 3 as a detection target.
  • control unit 11 creates the analysis image 55 by synthesizing the luminance image 52 created from the bird's-eye view image 51 based on the color image acquired by the camera 15 and the saturation extraction image 54 (saturation image 53). This facilitates detection of a predetermined target object by analysis in the target detection unit 26.
  • the control unit 11 appropriately displays the analysis image 55 created by the image processing or the detection result of the detection target on the display unit 13.
  • the detection target is, for example, a figure drawn on the ground as shown in each line 3 of the first embodiment. Since the figure is often drawn in white on the ground and has a high luminance value, it can be appropriately detected by analyzing the color image acquired by the camera 15 as a luminance image. However, the figure (detection target) is often drawn in yellow, red, green, etc. in addition to white. Then, the detection target other than white often has a low luminance value, and even if it can be clearly recognized by human eyes, it is often not properly detected even when analyzed as a luminance image.
  • the conventional image processing apparatus makes it possible to detect the detection target by combining each color signal according to the color of the detection target.
  • the conventional image processing apparatus performs such a calculation process, the calculation load for detecting the detection target becomes large.
  • the image processing apparatus 10 creates the saturation image 53 in addition to the luminance image 52 based on the color image (the bird's-eye view image 51) acquired by the camera 15 regardless of the color to be detected. Then, they are combined to create an analysis image 55.
  • the detection target other than white is clearly recognizable by human eyes, it is considered that the saturation value is high even if the luminance value is low.
  • the image processing device 10 can create an analysis image 55 in which both the portion having a high luminance value and the portion having a high saturation value are emphasized by synthesizing the luminance image 52 and the saturation image 53.
  • the image processing apparatus 10 detects both the high-luminance portion and the high-saturation portion, that is, both the white detection target and the non-white detection target, simply by analyzing the analysis image 55. Therefore, it is possible to appropriately detect the detection target regardless of the color of the detection target.
  • the image processing device 10 replaces the saturation image 53 with the magnitude of the saturation value (saturation distribution) for each pixel of the bird's-eye view image 51 (color image) with the magnitude of the luminance value, and the replaced pixels. It is a monochrome image indicated by the magnitude of each brightness value. Therefore, the image processing device 10 can obtain a monochrome image in which both the luminance image 52 and the saturation image 53 are indicated by the magnitude of the luminance value, and the analysis image 55 obtained by synthesizing them also has the magnitude of the luminance value. It can be a monochrome image as shown. As a result, the image processing device 10 can analyze the analysis image 55 and detect the detection target in exactly the same way as the conventional luminance image 52 is analyzed to detect the detection target. Therefore, the image processing device 10 can appropriately detect the detection target regardless of the color of the detection target by a simple process of analyzing the analysis image 55 as in the conventional case.
  • the image processing device 10 creates the analysis image 55 by synthesizing the saturation extraction image 54 and the brightness image 52 instead of the saturation image 53.
  • the saturation image 53 is illuminated with colored light such as, for example, the ground is illuminated by the setting sun or a light in the original bird's-eye view image 51 (color image). Then, the saturation of the area different from the detection target (shadow 2 in the example of FIG. 4) is increased, or the overall saturation is increased.
  • the luminance value of the region that is not the detection target in the analysis image 55 also increases, and it is difficult to appropriately detect the detection target.
  • the image processing device 10 removes a symbol larger than the detection target in the saturation image 53 to create a saturation extraction image 54, and combines the saturation extraction image 54 and the brightness image 52.
  • the analysis image 55 is created. Therefore, in the image processing device 10, even if the saturation image 53 is exposed to colored light, a pattern larger than the detection target is removed in the saturation extraction image 54, so that the brightness in the analysis image 55 is high. It is possible to eliminate a region larger than the detection target having a high value, and it is possible to appropriately detect the detection target.
  • the image processing device 10 of the embodiment of the image processing device according to the present disclosure can obtain the following effects.
  • the image processing device 10 includes a brightness image creating unit 22 that creates a brightness image 52 that shows the brightness distribution in the color image (overhead image 51 in the first embodiment) acquired by the camera 15, and a saturation that shows the saturation distribution in the color image. It includes a saturation image creation unit 23 for creating an image 53, and an analysis image creation unit 25 for creating an analysis image 55 for detecting a predetermined object by synthesizing a brightness image 52 and a saturation image 53. .. Therefore, the image processing device 10 can create an analysis image 55 that emphasizes both a portion having a high luminance value and a portion having a high saturation value. Therefore, the analysis image 55 can be analyzed regardless of the color to be detected. It is possible to enable appropriate detection of the detection target.
  • the image processing apparatus 10 only needs to analyze the analysis image 55 created from the luminance image 52 and the saturation image 53 regardless of the color to be detected, so that the calculation load is higher than that of the conventional image processing apparatus. It is possible to appropriately detect the detection target while preventing the increase in the value.
  • the image processing device 10 obtains a normalized S value (saturation value) for each pixel based on a color image (overhead image 51), and multiplies the S value by a coefficient A to obtain a luminance image 52.
  • the Sb value which is the brightness value according to the scale is obtained.
  • the image processing apparatus 10 creates the saturation image 53 using the Sb value of each pixel. For this reason, the image processing apparatus 10 converts the same saturation distribution as that obtained in a bright environment for each converted pixel even if the color image (the bird's-eye view image 51) is obtained in a dark environment.
  • the saturation image 53 represented by the brightness value of can be created.
  • the image processing device 10 can appropriately detect the detection target regardless of the brightness when the color image (overhead image 51) is acquired.
  • the image processing device 10 includes an extraction image creation unit 24 that creates a saturation extraction image 54 that extracts a pattern corresponding to a detection target in the saturation image 53, and the analysis image creation unit 25 includes a saturation image 53.
  • the saturation extraction image 54 is combined with the luminance image 52 to create an analysis image 55. Therefore, in the image processing device 10, even if the saturation image 53 is exposed to colored light, the pattern corresponding to the detection target is extracted in the saturation extraction image 54, so that the brightness in the analysis image 55 is high. It is possible to eliminate a region different from the detection target having a high value, and it is possible to appropriately detect the detection target.
  • the extraction image creation unit 24 creates a saturation extraction image 54 by removing a pattern larger than the detection target by performing contraction processing and expansion processing on the saturation image 53. To do. Therefore, the image processing apparatus 10 can create the saturation extraction image 54 in which a pattern larger than the detection target is removed by a simple process, and eliminates a region in the analysis image 55 larger than the detection target having a high luminance value. Therefore, it is possible to appropriately detect the detection target.
  • the image processing device 10 is a bird's-eye view image 51 that views a color image in a plan view (overhead view) from above. For this reason, the image processing apparatus 10 can enable the vehicle 1 to appropriately detect the detection target in the bird's-eye view image 51 for supporting driving, and thus can support more appropriate driving. ..
  • the image processing apparatus 10 according to the first embodiment as the image processing apparatus according to the present disclosure can create an image that facilitates detection of a predetermined target object while suppressing an increase in calculation load.
  • the image processing apparatus of the present disclosure has been described based on the first embodiment, the specific configuration is not limited to the first embodiment and does not deviate from the gist of the invention according to each claim. As long as the design changes and additions are allowed.
  • the extracted image creation unit 24 creates the saturation extraction image 54 by removing the pattern larger than the detection target by performing the contraction process and the expansion process on the saturation image 53. (See FIGS. 12 and 13).
  • the saturation extracted image 54 that is, the detection target, in which the extraction image creation unit 24 performs the contraction processing and the expansion processing on the saturation image 53 to remove the symbols smaller than the detection target together.
  • the saturation extraction image 54 may be created by removing the pattern of the size, and is not limited to the configuration of the first embodiment. An example of this will be described with reference to FIGS. 15 to 17 in addition to FIGS. 6 and 12.
  • the extraction image creation unit 24 performs the contraction processing the largest number of times without removing the detection target, and then performs the expansion processing to create the processed image 561 (see FIG. 15) as the saturation image 53.
  • the saturation image 53 shown in FIG. 6 since the pattern D2 as the detection target has a linear shape with a width of 4 pixels, one expansion process is performed after one contraction process is performed. .. Then, as shown in FIG. 15, the extracted image creating unit 24 determines that the design D1 is the same as the original saturation image 53 of FIG. 6, and the design D2 is the central brightness from the original saturation image 53 of FIG. It is assumed that the value is lowered, and the processed image 561 in which the design D3 is removed is created.
  • the extracted image creating unit 24 subtracts the processed image 561 (saturation value (luminance value) of each pixel thereof) illustrated in FIG. 15 from the original saturation image 53 illustrated in FIG.
  • the processed image 562 (saturation image 53) shown is created.
  • the extracted image creating unit 24 subtracts the processed image 563 (saturation value (luminance value) of each pixel thereof) illustrated in FIG. 16 from the saturation extraction image 54 illustrated in FIG.
  • a saturation extraction image 54 is created.
  • the saturation extraction image 54 of FIG. 17 is obtained by removing the designs (D1, D3) of a different size from the design D2 as the detection target from the saturation image 53.
  • the image processing apparatus 10 can enable more appropriate detection of the detection target by combining the saturation extraction image 54 created in this way with the luminance image 52 to create the analysis image 55.
  • the extraction image creation unit 24 creates the saturation extraction image 54 by performing the contraction processing and the expansion processing on the saturation image 53. That is, in the first embodiment, the extracted image creation unit 24 removes a symbol larger than the detection target (including the case where a small symbol is also removed as described above), and as a result, the color that extracts the detection target.
  • the degree extraction image 54 is created.
  • the extraction image creation unit 24 is not limited to the configuration of the first embodiment as long as it creates the saturation extraction image 54 by extracting the pattern corresponding to the detection target in the saturation image 53. As an example of this, the extraction image creation unit 24 can create a saturation extraction image 54 by extracting a pattern having a size corresponding to a detection target by performing image analysis on the saturation image 53.
  • the extraction image creation unit 24 performs edge extraction processing on the saturation image 53, and extracts a theoretical comparison region indicating the size and shape of the detection target in the image obtained by the edge extraction processing for detection.
  • the target (design) is extracted.
  • the extraction image creation unit 24 may be extracted by another method as long as it can extract the symbol corresponding to the detection target, and is not limited to this configuration.
  • the image processing device 10 can create a saturation extraction image 54 in which a pattern corresponding to the detection target is extracted in a simple process, and the detection target having a high brightness value in the analysis image 55 is It is possible to eliminate different areas, and it is possible to appropriately detect the detection target.
  • the extracted image creating unit 24 performs the shrinkage processing and the expansion processing using the filter F having a size of 9 pixels and which is a 3 ⁇ 3 frame.
  • the filter F performs shrinkage processing and expansion processing by adopting saturation values (luminance values) located in a plurality of peripheral frames as saturation values (luminance values) of pixels located in the central frame. If it is to be performed, the number of frames (number of pixels) may be appropriately set, and is not limited to the configuration of the first embodiment.
  • the extraction image creation unit 24 sets the coefficient A to be 255 for multiplying the S value (saturation value) when obtaining the Sb value.
  • the coefficient A may be appropriately set in consideration of the balance between the luminance value (luminance image 52) and the saturation value (saturation image 53), and is not limited to the configuration of the first embodiment.
  • the extraction image creation unit 24 creates the saturation extraction image 54 by performing the extraction process on the saturation image 53 created by the saturation image creation unit 23.
  • the extraction image creation unit 24 creates the saturation extraction image 54 based on the saturation image 53
  • the extraction processing is performed after smoothing the saturation image 53 to create the saturation extraction image 54.
  • it is not limited to the configuration of the first embodiment. With such a configuration, even when the saturation image 53 created by the saturation image creating unit 23 contains a lot of noise, the saturation extraction is performed by more appropriately extracting the symbol corresponding to the detection target.
  • the image 54 can be created.
  • the extraction image creation unit 24 creates the saturation extraction image 54 by performing the contraction processing and the expansion processing on the saturation image 53 created by the saturation image creation unit 23.
  • the extraction image creating unit 24 binarizes (binarizes) the saturation image 53 and then performs contraction processing and expansion processing. May be performed to create the saturation extraction image 54, and the present invention is not limited to the configuration of the first embodiment. With such a configuration, it is possible to simplify the contraction process and the expansion process, and to easily remove the pattern of a size different from the detection target.
  • the bird's-eye view image 51 is used as the original color image of the luminance image 52 and the saturation image 53.
  • the color image is the source for the brightness image creation unit 22 to create the brightness image 52 and the saturation image creation unit 23 for creating the saturation image 53, the color image is around the vehicle 1. It may be acquired by a camera that acquires a part of the image, or may be acquired by a camera provided at a location different from that of the vehicle 1, and is not limited to the configuration of the first embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる画像処理装置を提供する。 カメラ（１５）が取得したカラー画像（５１）における輝度分布を示す輝度画像（５２）を作成する輝度画像作成部（２２）と、カラー画像（５１）における彩度分布を示す彩度画像（５３）を作成する彩度画像作成部（２３）と、輝度画像（５２）と彩度画像（５３）とを合成して所定の対象物を検出するための解析画像（５５）を作成する解析画像作成部（２５）と、を備える。

Description

画像処理装置
　本開示は、カラー画像を処理する画像処理装置に関する。
　一般に、カメラで取得したカラー画像を輝度画像としてから解析することで、白線等の検出対象を検出する画像処理装置が知られている。しかしながら、画像処理装置は、検出対象が白色以外であると、輝度画像としてから解析しても検出対象を適切に検出できない場合がある。そこで、画像処理装置は、白色以外の検出対象でも検出できるものが考えられている（例えば、特許文献１参照）。
　この画像処理装置は、カラー画像におけるＲＧＢの各色信号の強度を個別に求めて、検出対象の色に応じて各色信号の組み合わせを変化させることで、検出対象のコントラストが最大となる組み合わせを求め、検出対象の色に応じて各色信号を組み合わせることで、検出対象の検出を可能としている。
特開２００３－３２６６９号公報
　しかしながら、この画像処理装置は、カラー画像における検出対象の色に応じて各色信号の組み合わせを変化させる必要があるので、解析する検出対象の色に応じて組み合わせを求めることや、解析するカラー画像毎に検出対象のコントラストが最大となる組み合わせを求めることとなる。このため、この画像処理装置は、検出対象を検出するための計算負荷が大きくなってしまう。
　本開示は、上記の事情に鑑みて為されたもので、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる画像処理装置を提供することを目的とする。
　上記した目的を達成するために、本開示の画像処理装置は、カメラが取得したカラー画像における輝度分布を示す輝度画像を作成する輝度画像作成部と、前記カラー画像における彩度分布を示す彩度画像を作成する彩度画像作成部と、前記輝度画像と前記彩度画像とを合成して所定の対象物を検出するための解析画像を作成する解析画像作成部と、を備えることを特徴とする。
　このように構成された本開示の画像処理装置は、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成できる。
本開示に係る画像処理装置の一例としての実施例１の画像処理装置の構成を示すブロック図である。 カメラが取得した一例としてのカラー画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の輝度画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の彩度画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の彩度抽出画像を示す説明図である。 抽出画像作成部による一例としての抽出処理の説明に用いる彩度画像を示す説明図である。 抽出処理の一例としてのフィルタを用いた収縮処理および膨張処理を説明するための説明図である。 図６の彩度画像に対して一度収縮処理を行った様子を示す説明図である。 図６の彩度画像に対して二度収縮処理を行った様子を示す説明図である。 図６の彩度画像に対して二度の収縮処理の後に一度膨張処理を行った様子を示す説明図である。 図６の彩度画像に対して二度の収縮処理の後に二度膨張処理を行って作成した処理画像を示す説明図である。 図６の彩度画像から図１１の処理画像を減算して作成した彩度抽出画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の解析画像を示す説明図である。 制御部が実行する画像処理の一例を示すフローチャートである。 図６の彩度画像に対して一度の収縮処理の後に一度膨張処理を行って作成した処理画像を示す説明図である。 図６の彩度画像から図１５の処理画像を減算して作成した処理画像を示す説明図である。 図１２の彩度抽出画像から図１６の処理画像を減算して作成した彩度抽出画像を示す説明図である。
　以下に、本開示に係る画像処理装置の一例としての実施例１の画像処理装置１０について図面を参照しつつ説明する。
　本開示の実施例１の画像処理装置１０について、図１から図１７を用いて説明する。画像処理装置１０は、カメラ１５で取得したカラー画像における所定の対象物の検出が容易となる画像を作成するための画像処理を行うものであり、実施例１では車両１（図２参照）に搭載された車載用とされている。なお、画像処理装置１０は、車載用の画像処理装置に限定されるものではなく、例えばスマートフォン、タブレット端末およびＰＤＡ（Personal　Data　Assistance）等であってもよい。この場合、画像処理は、これらの装置にインストールされたアプリケーションプログラムによって提供される。この画像処理装置１０は、例えば、駐車場での駐車の操作を支援する駐車支援機能や、走行している車線を維持させるレーンキープ機能や、地図や付随する情報の表示、出発地（または現在地）から目的地までの推奨経路の探索、経路誘導および道路交通情報などの表示等のナビゲーション機能等を、併せて備えていてもよい。
　画像処理装置１０は、図１に示すように、制御部１１と記憶部１２とを備え、表示部１３と操作部１４とカメラ１５とが、通信プロトコルとしてのＣＡＮ（Controller　Area　Network）等の車載ネットワークを介して制御部１１と接続されて構成されている。
　記憶部１２は、画像処理を実行するためのプログラムや、その他の機能を実行するためのプログラムや、それらのプログラムで必要となる情報のうちで書き換えをせずに利用される情報を事前に格納している。記憶部１２は、格納する情報が制御部１１により適宜読み出すことが可能とされている。
　表示部１３は、画像処理により作成した後述する解析画像５５（図１３参照）を表示するもので、例えば、液晶ディスプレイや有機ＥＬディスプレイなどで構成される。また、表示部１３は、上記した各機能を有する場合、駐車支援機能のための支援画像や、レーンキープ機能のための表示画像や、ナビゲーション機能のための経路画像等も適宜表示する。
　操作部１４は、使用者からの指示入力を受け付けるもので、画像処理の実行の有無を指定することができる。また、操作部１４は、上記した各機能を有する場合、駐車支援機能やレーンキープ機能の実行の有無を指定や、ナビゲーション機能のための目的地の入力を可能とする。操作部１４は、実施例１では、タッチパネルの機能を搭載するものとされた表示部１３や、その周囲に設けられた各スイッチで構成される。
　カメラ１５は、画像処理に用いるために車両１の周辺の所定の範囲のカラー画像を取得するもので、実施例１では、車両１の全周囲のカラー画像を取得してカラーの俯瞰画像５１（図２参照）を形成するために車両１の前後左右の４箇所に設けられている。なお、カメラ１５は、車両１の前部に設けられて前方（進行方向前側）のカラー画像を取得する単一の広角な魚眼レンズを備えたものでもよく、ドライブレコーダや衝突防止機構のために設けられたものでもよい。カメラ１５は、取得したカラー画像を示す画像データを制御部１１に出力する。
　制御部１１は、俯瞰画像作成部２１と輝度画像作成部２２と彩度画像作成部２３と抽出画像作成部２４と解析画像作成部２５と対象検出部２６とメモリ部２７とを有する。このメモリ部２７を除く制御部１１の各部は、プログラムにより構成されている。なお、これらの各部は、電子回路により専用に構成されていてもよく、実施例１の構成に限定されない。メモリ部２７は、制御部１１の各部における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が適宜書き込まれ、それらが制御部１１の各部により適宜読み取られる。メモリ部２７は、制御部１１が行う各処理のためのプログラムを記憶していてもよい。
　俯瞰画像作成部２１は、カメラ１５からカラー画像（画像データ）が入力されると、そのカラー画像を視点変換し、上方から地面を見下ろしたようなカラーの俯瞰画像５１（図２等参照）を作成する（俯瞰画像形成処理）。俯瞰画像作成部２１は、記憶部１２から、カメラ１５の設置位置や角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）や、カメラ１５の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のカメラパラメータを取得する。俯瞰画像作成部２１は、取得した歪み関数を用いてレンズによる画像の歪みを補正する歪み補正処理を行う。俯瞰画像作成部２１は、周知のカメラの幾何変換式を使い、世界座標で示される俯瞰画像５１におけるすべての座標位置の画素の出力値（各色の輝度値を含む信号値）を、歪み補正した画像の対応する画素の出力値（信号値）に基づいて作成する。このとき、俯瞰画像作成部２１は、俯瞰画像５１の特定の画素に対応する歪み補正した画像の画素が無い場合には、周知の輝度の補間処理により周辺画素の各出力値に基づいて特定の画素の出力値を求める。さらに、俯瞰画像作成部２１は、カメラ１５すなわち前後左右の４つのカメラの隣り合う撮影画像を、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ１枚の画像として繋ぎ合わせることで、車両１の取り囲む俯瞰画像５１を作成する。
　実施例１の俯瞰画像５１は、図２に示すように、車両１が駐車場にいる状態を示しており、正面視して車両１の上側に車両１の影２を写しているとともに、そのさらに上方に駐車スペースを示すアスファルト等の地面に描かれた複数の線３を写している。なお、俯瞰画像作成部２１は、俯瞰画像５１（その画像データ）を作成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例１に限定されない。
　輝度画像作成部２２と彩度画像作成部２３とは、このカラーの俯瞰画像５１に基づいて、後述する輝度画像５２（図３参照）や彩度画像５３（図４参照）を作成する。このため、俯瞰画像５１は、カメラで取得されたカラー画像として機能する。輝度画像作成部２２と彩度画像作成部２３とは、抽出画像作成部２４や解析画像作成部２５とともに、互いに等しいサイズ（画素数）の各画像（後述する輝度画像５２、彩度画像５３、彩度抽出画像５４、解析画像５５）を作成する。なお、各作成部（２２、２３、２４、２５）は、互いに等しいサイズで各画像を作成するものであれば、下記に示すように図２に示す俯瞰画像５１における一部の領域（図２、図３頭参照）に対して各処理を行うものでもよく、俯瞰画像５１全体に対して行うものでもよい。
　輝度画像作成部２２は、俯瞰画像５１（カラー画像）における輝度データに基づいて、各画素における輝度値（輝度分布）を求めて、画素毎の輝度値の大きさ（０から２５５の値）で示すモノクロ画像である輝度画像５２（図３参照）を作成する輝度画像作成処理を行う。輝度画像作成部２２は、俯瞰画像５１がＹＵＶデータである場合には、各画素におけるそのＹ値を用い、俯瞰画像５１がＲＧＢデータである場合には、各画素において各色（ＲＧＢ）の輝度値を合算したものを用いる。この輝度画像５２は、俯瞰画像５１（カラー画像）における輝度分布を、画素毎の輝度値で示したものとなる。図３に示す輝度画像５２は、図２に示す俯瞰画像５１における一点鎖線で囲んだ領域に対応させている。ここで、輝度画像５２は、俯瞰画像５１における各線３が白色である場合、各線３の輝度値が十分に大きくなり、はっきりと写ることとなる。図３に示す輝度画像５２は、俯瞰画像５１における各線３が黄色であって各線３の輝度値があまり大きくないので、薄く写っている（図３では薄いことを示すために描く線を細くしている）。
　彩度画像作成部２３は、俯瞰画像５１（カラー画像）における彩度データに基づいて、各画素における彩度値（彩度分布）を求める。そして、彩度画像作成部２３は、画素毎の彩度値の大きさを輝度値の大きさに置き換えて、その置き換えた画素毎の輝度値の大きさで示すモノクロ画像である彩度画像５３（図４参照）を作成する彩度画像作成処理を行う。図４に示す彩度画像５３は、図２に示す俯瞰画像５１における一点鎖線で囲んだ領域を示している。実施例１の彩度画像作成部２３は、次のように彩度画像５３を作成する。
　先ず、彩度画像作成部２３は、俯瞰画像５１がＹＵＶデータである場合には、画素毎に例えば下記の式（１）を用いてＲＧＢデータに変換する変換処理を行う。なお、彩度画像作成部２３は、俯瞰画像５１がＲＧＢデータである場合には変換処理は行わない。
　　　　　　Ｒ値＝Ｙ値＋１．４０２×Ｖ値
　　　　　　Ｇ値＝Ｙ値－０．３４４×Ｕ値－０．７１４×Ｖ値　　　　　　・・・・（１）
　　　　　　Ｂ値＝Ｙ値＋１．７７２×Ｕ値
　次に、彩度画像作成部２３は、各画素において、Ｒ値、Ｇ値、Ｂ値のうち、最も大きな値となるものを最大値Ｖ１とし、最も小さな値となるものを最小値Ｖ２とする。そして、彩度画像作成部２３は、円柱モデルのＨＳＶに基づいて画素毎の彩度値（Ｓ値）を下記の式（２）を用いて求める彩度算出処理を行う。
　　　　　　Ｓ値＝（Ｖ１－Ｖ２）／Ｖ１　　　　　　　　　　　　　　　　・・・・（２）
　　これにより、彩度画像作成部２３は、画素毎に正規化したＳ値を取得できる。
　次に、彩度画像作成部２３は、各画素において、下記の式（３）に示すように、正規化したＳ値に係数Ａを乗算することで、画素毎の彩度値の大きさを輝度値の大きさに置き換えたＳｂ値を求める置換処理を行う。この係数Ａは、正規化したＳ値を用いて輝度値の大きさとするもので、実施例１ではモノクロ画像である輝度画像５２のスケールに合わせて２５５とする。
　　　　　　Ｓｂ値＝Ｓ値×Ａ　　　　　　　　　　　　　　　　　　　　　・・・・（３）
　そして、彩度画像作成部２３は、求めた画素毎のＳｂ値を用いて、画素毎の輝度値の大きさで示すモノクロ画像である彩度画像５３（図４参照）を作成する。この彩度画像５３は、俯瞰画像５１（カラー画像）における彩度分布を、変換した画素毎の輝度値で示したものとなる。図４に示す彩度画像５３は、図３に示す輝度画像５２と同様に、図２に示す俯瞰画像５１における一点鎖線で囲んだ領域を示している。ここで、彩度画像５３は、俯瞰画像５１における各線３が黄色であっても各線３の彩度値が十分に大きく、はっきりと写っている。なお、彩度画像作成部２３は、俯瞰画像５１（カラー画像）における彩度データに基づいて、画素毎の彩度値の大きさを輝度値の大きさに置き換えたモノクロ画像である彩度画像５３を作成するものであればよく、実施例１の構成に限定されない。
　抽出画像作成部２４は、彩度画像作成部２３が作成した彩度画像５３において、検出対象に相当する図柄を抽出する抽出処理を行って、彩度抽出画像５４（図５参照）を作成する。なお、この図柄は、彩度画像５３に写っているものであって、地面に描かれた線および標識や地面に形成された影等を含むものである。図５に示す彩度抽出画像５４は、彩度画像５３（図４参照）において、各線３を検出対象とした場合であって、各線３を抽出することで検出対象とは異なる影２が除去されている。
　実施例１の抽出画像作成部２４は、彩度画像５３に対して、収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成する。この収縮処理と膨張処理とについて、図６から図１２を用いて説明する。図６は、収縮処理と膨張処理との理解を容易とするための一例としての彩度画像５３を示すもので、左側に検出対象よりも大きな図柄Ｄ１を示し、真ん中に検出対象としての図柄Ｄ２を示し、右側に検出対象よりも小さな図柄Ｄ３を示す。各図柄（Ｄ１、Ｄ２、Ｄ３）は、彩度画像５３において、比較のために等しい縦寸法（１０画素）とされており、互いに幅寸法が異なるものとされている。図柄Ｄ１は、彩度画像５３において８画素の幅とされた線状とされており、外周の１画素分が真ん中よりも低い彩度値（輝度値）とされている。図柄Ｄ２（検出対象）は、彩度画像５３において４画素の幅とされた線状とされており、外周の１画素分が真ん中よりも低い彩度値（輝度値）とされている。図柄Ｄ３は、彩度画像５３において２画素の幅とされた線状とされており、図柄Ｄ１や図柄Ｄ２の真ん中と等しい彩度値（輝度値）とされている。
　抽出画像作成部２４は、図７に示すように、フィルタＦを用いて収縮処理および膨張処理を行う。図７は、彩度画像５３の図柄Ｄ１の下端近傍を拡大して示したものに、フィルタＦを３つのパターン（以下ではＦ１、Ｆ２、Ｆ３とする）で配置して収縮処理および膨張処理を行った場合を説明するためのものである。抽出画像作成部２４は、この例では、３×３の枠とされた９画素のサイズのフィルタＦを用いており、中心の枠に位置する画素を、収縮処理の場合には周辺の８つの枠の画素のうちの最も低い彩度値（輝度値）に変換し、膨張処理の場合には周辺の８つの枠の画素のうちの最も高い彩度値（輝度値）に変換する。
　１つ目のパターンのフィルタＦ１は、図柄Ｄ１の左下端の低い彩度値とされた画素Ｇ１に真ん中の枠が合わせて配置されて、画素Ｇ１を変換させる。フィルタＦ１は、収縮処理の場合には画素Ｇ１を図柄Ｄ１の外方の０（零）の彩度値とし、膨張処理の場合には画素Ｇ１を図柄Ｄ１の中央の高い彩度値とする。
　２つ目のパターンのフィルタＦ２は、図柄Ｄ１の真ん中の高い彩度値とされた中に全ての枠が収まるように真ん中の枠が画素Ｇ２に合わせて配置されて、画素Ｇ２を変換させる。フィルタＦ２は、収縮処理の場合であっても膨張処理の場合であっても、画素Ｇ２を高い彩度値とする。
　３つ目のパターンのフィルタＦ３は、図柄Ｄ１の左外側の０（零）の彩度値とされた画素Ｇ３に真ん中の枠が合わせて配置されて、画素Ｇ３を変換させる。フィルタＦ３は、収縮処理の場合には画素Ｇ３を図柄Ｄ１の周辺の０（零）の彩度値とし、膨張処理の場合には画素Ｇ３を図柄Ｄ１における外周の低い彩度値とする。
　抽出画像作成部２４は、上記したように、フィルタＦを用いた収縮処理を、元となる彩度画像５３の全画素に対して行うことで、彩度画像５３の図柄を１画素分だけ小さくする。また、抽出画像作成部２４は、上記したように、フィルタＦを用いた膨張処理を、元となる彩度画像５３の全画素に対して行うことで、彩度画像５３の図柄を１画素分だけ大きくする。なお、抽出画像作成部２４は、上記したように、フィルタＦの全ての枠内が０（零）の彩度値であると、収縮処理の場合であっても膨張処理の場合であっても０（零）の彩度値とする。ここで、収縮処理および膨張処理は、彩度画像５３における対象とした領域の全ての画素に対して行うので、図柄の全ての方向から１画素分だけ小さくしたり大きくしたりする。このため、抽出画像作成部２４は、検出対象における縦寸法および幅寸法のうちの小さな寸法の半分の回数だけ収縮処理を行うことで、検出対象を除去できることとなる。抽出画像作成部２４は、このことを用いて、検出対象を除去できる回数の収縮処理を行い、その後に同じ回数で膨張処理を行うことで、処理画像５６を作成する。
　先ず、抽出画像作成部２４は、図６に示す彩度画像５３に対して１回の収縮処理を行い、図８に示すように、図柄Ｄ１を一回り小さくし、図柄Ｄ２を一回り小さくするとともに低い彩度値とし、図柄Ｄ３を０（零）の彩度値として除去した彩度画像５３とする。次に、抽出画像作成部２４は、図８に示す彩度画像５３に対して１回の収縮処理を行い、図９に示すように、図柄Ｄ１を一回り小さくし、図柄Ｄ２を０（零）の彩度値として除去し、図柄Ｄ３を除去したままの彩度画像５３とする。
　次に、抽出画像作成部２４は、図９に示す彩度画像５３に対して１回の膨張処理を行い、図１０に示すように、図柄Ｄ１を一回り大きくし、除去された図柄Ｄ２および図柄Ｄ３に対しては０（零）の彩度値とされているので除去したままの彩度画像５３とする。次に、抽出画像作成部２４は、図１０に示す彩度画像５３に対して１回の膨張処理を行い、図１１に示すように、図柄Ｄ１を一回り大きくし、除去された図柄Ｄ２および図柄Ｄ３に対しては引き続き何らの変化はさせない彩度画像５３とする。これにより、抽出画像作成部２４は、彩度画像５３から検出対象としての図柄Ｄ２よりも大きい図柄（この例では図柄Ｄ１）のみを残した彩度画像５３としての処理画像５６を作成する。
　そして、抽出画像作成部２４は、図６に示す元の彩度画像５３から図１１に示す処理画像５６（それらの各画素の彩度値（輝度値））を減算することで、図１２に示す彩度抽出画像５４を作成する。この彩度抽出画像５４は、彩度画像５３から検出対象としての図柄Ｄ２よりも大きな図柄（図柄Ｄ１）を除去したものとなる。このように、抽出画像作成部２４は、彩度画像５３に対して、収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去した彩度抽出画像５４を作成する。
　解析画像作成部２５は、基本的に、輝度画像作成部２２が作成した輝度画像５２（図３参照）と、彩度画像作成部２３が作成した彩度画像５３（図４参照）と、を合成して、所定の対象物（検出対象）を検出するための解析画像５５（図１３参照）を作成する。解析画像作成部２５は、互いに等しいサイズ（画素数）である輝度画像５２および彩度画像５３において、画素毎に、輝度画像５２における輝度値と、彩度画像５３における輝度値（彩度値を置き換えたもの）と、を加算することで、画素毎の輝度値の大きさで示すモノクロ画像である解析画像５５を作成する。
　実施例１の解析画像作成部２５は、彩度画像作成部２３が作成した彩度画像５３に代えて、抽出画像作成部２４が作成した彩度抽出画像５４（図５参照）と輝度画像５２とを合成して、図１３に示す解析画像５５を作成する。解析画像作成部２５は、彩度画像５３の場合と同様に、輝度画像５２と彩度抽出画像５４とを合成する。これらのことから、輝度画像作成部２２と彩度画像作成部２３と抽出画像作成部２４と解析画像作成部２５とは、カメラ１５が取得したカラー画像（俯瞰画像５１）に基づいて解析画像５５を作成する画像処理機能を実現する画像処理装置として機能する。
　対象検出部２６は、解析画像作成部２５が作成した解析画像５５を解析して、解析画像５５における検出対象に相当する図柄を検出する。対象検出部２６は、解析画像５５に対してエッジ抽出処理を施し、エッジ抽出処理で得られた画像において検出対象の大きさや形状を示す理論比較領域を抽出することで、検出対象（図柄）を抽出する。なお、対象検出部２６は、検出対象に相当する図柄を抽出するものであれば、他の方法で抽出してもよく、実施例１の構成に限定されない。実施例１では、各線３を検出対象としているので、対象検出部２６は、解析画像５５における各線３を検出する。
　次に、画像処理装置１０において、制御部１１の制御下で、カメラ１５が取得したカラー画像における検出対象を検出する画像処理の一例について、図１４を用いて説明する。図１４は、実施例１における制御部１１で実行される画像処理を示すフローチャートである。この画像処理は、記憶部１２に記憶されたプログラムに基づいて制御部１１が実行する。以下では、図１４のフローチャートの各ステップ（各工程）について説明する。図１４のフローチャートは、画像処理装置１０の電源が投入されてカメラ１５が取得したカラー画像（そのデータ）が制御部１１に出力されることにより開始される。
　ステップＳ１は、俯瞰画像５１を作成し、ステップＳ２へ進む。ステップＳ１は、俯瞰画像作成部２１が、カメラ１５から入力されたカラー画像（画像データ）に基づいて、カラーの俯瞰画像５１（図２参照）を作成する。
　ステップＳ２は、輝度画像５２を作成し、ステップＳ３へ進む。ステップＳ２は、輝度画像作成部２２が、俯瞰画像５１に基づいて、画素毎の輝度値の大きさで示すモノクロ画像である輝度画像５２（図３参照）を作成する。
　ステップＳ３は、彩度画像５３を作成し、ステップＳ４へ進む。ステップＳ３は、彩度画像作成部２３が、俯瞰画像５１に基づいて、画素毎の彩度値の大きさを置き換えた輝度値の大きさで示すモノクロ画像である彩度画像５３（図４参照）を作成する。なお、ステップＳ２とステップＳ３とは、順番を逆にしてもよく、同時に行ってもよく、実施例１の構成に限定されない。
　ステップＳ４は、彩度抽出画像５４を作成し、ステップＳ５へ進む。ステップＳ４は、抽出画像作成部２４が、彩度画像５３に基づいて、検出対象よりも大きな図柄を除去して彩度抽出画像５４（図５参照）を作成する。
　ステップＳ５は、解析画像５５を作成し、ステップＳ６へ進む。ステップＳ５は、解析画像作成部２５が、ステップＳ２で作成した輝度画像５２と、ステップＳ４で作成した彩度抽出画像５４とを合成して解析画像５５（図１３参照）を作成する。このステップＳ２からステップＳ５は、カメラ１５が取得したカラー画像（俯瞰画像５１）に基づいて解析画像５５を作成する工程となる。
　ステップＳ６は、解析画像５５における検出対象を検出して、この画像処理を終了する。ステップＳ６は、対象検出部２６が、ステップＳ５で作成した解析画像５５を解析して、解析画像５５における検出対象（図示の例では各線３）を検出する。制御部１１は、この検出結果を様々な機能に用いる。制御部１１は、例えば、検出対象としての各線３の位置に基づいて駐車支援機能を実現したり、レーンキープ機能を実現したりすることができる。
　このように、制御部１１は、カメラ１５が取得したカラー画像に基づく俯瞰画像５１から作成した輝度画像５２と彩度抽出画像５４（彩度画像５３）を合成して、解析画像５５を作成することで、対象検出部２６での解析による所定の対象物の検出を容易とする。制御部１１は、画像処理により作成した解析画像５５または検出対象の検出結果を適宜表示部１３に表示させる。
　ここで、検出対象は、例えば、実施例１の各線３のように地面に描かれた図形とされる。その図形は、白色で地面に描かれることが多く輝度値が高いので、カメラ１５が取得したカラー画像を輝度画像としてから解析することで、適切に検出することができる。ところが、その図形（検出対象）は、白色の他にも黄色や赤色や緑色等で描かれることも少なくない。すると、白色以外の検出対象は、輝度値が低い場合が多く、人間の目視でははっきりと認識できる場合であっても、輝度画像としてから解析しても適切に検出できないことが少なくない。また、カメラ１５からのカラー画像は、暗い環境下で取得された場合、全体的な輝度値が低下することで輝度画像とした際に十分なコントラストが得られず、人間の目視では認識できる場合であっても、輝度画像を解析しても検出対象を適切に検出できないこともある。
　そこで、従来の画像処理装置は、カラー画像におけるＲＧＢの各色信号の強度を個別に求めて、検出対象の色に応じて各色信号の組み合わせを変化させることで、検出対象のコントラストが最大となる組み合わせを求める。そして、従来の画像処理装置は、検出対象の色に応じて各色信号を組み合わせることで、検出対象の検出を可能としている。しかしながら、従来の画像処理装置は、このような算出処理を行うので、検出対象を検出するための計算負荷が大きくなってしまう。
　これに対して、本開示の画像処理装置１０は、検出対象の色に拘わらず、カメラ１５が取得したカラー画像（俯瞰画像５１）に基づいて、輝度画像５２に加えて彩度画像５３を作成し、それらを合成して解析画像５５を作成する。ここで、白色以外の検出対象は、人間の目視でははっきりと認識できる場合、輝度値が低くても彩度値が高いことが考えられる。そして、画像処理装置１０は、輝度画像５２と彩度画像５３とを合成することで、輝度値が高い箇所と、彩度値が高い箇所と、の双方を強調した解析画像５５を作成できる。これにより、画像処理装置１０は、解析画像５５を解析するだけで、輝度が高い箇所と彩度が高い箇所との双方、すなわち白色の検出対象と白色以外の検出対象との双方を検出することができ、検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。
　また、画像処理装置１０は、彩度画像５３を、俯瞰画像５１（カラー画像）の画素毎の彩度値の大きさ（彩度分布）を輝度値の大きさに置き換えて、その置き換えた画素毎の輝度値の大きさで示すモノクロ画像としている。このため、画像処理装置１０は、輝度画像５２と彩度画像５３との双方とも輝度値の大きさで示すモノクロ画像とすることができ、それらを合成した解析画像５５も輝度値の大きさで示すモノクロ画像とすることができる。これにより、画像処理装置１０は、従来の輝度画像５２を解析して検出対象を検出するものと全く同じ方法で、解析画像５５を解析して検出対象を検出できる。よって、画像処理装置１０は、従来と同様に解析画像５５を解析するだけの簡易な工程で、検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。
　さらに、画像処理装置１０は、彩度画像５３に代えて、彩度抽出画像５４と輝度画像５２とを合成して、解析画像５５を作成している。ここで、彩度画像５３は、元となる俯瞰画像５１（カラー画像）において、例えば、地面が夕日で照らされていたりライトで照明されていたりする等のように有色の光が当てられていると、検出対象とは異なる領域（図４の例では影２）の彩度が高められたり、全体の彩度が高められたりする。そして、このような彩度画像５３を輝度画像５２に合成して解析画像５５を作成すると、その解析画像５５において検出対象ではない領域の輝度値も高くなって、検出対象の適切な検出が困難となる場合がある。これに対して、画像処理装置１０は、彩度画像５３における検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成し、その彩度抽出画像５４と輝度画像５２とを合成して解析画像５５を作成している。このため、画像処理装置１０は、有色の光が当てられている彩度画像５３であっても、彩度抽出画像５４において検出対象よりも大きな図柄が除去されているので、解析画像５５において輝度値の高い検出対象よりも大きな領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
　本開示に係る画像処理装置の一実施例の画像処理装置１０は、以下の各作用効果を得ることができる。
　画像処理装置１０は、カメラ１５が取得したカラー画像（実施例１では俯瞰画像５１）における輝度分布を示す輝度画像５２を作成する輝度画像作成部２２と、カラー画像における彩度分布を示す彩度画像５３を作成する彩度画像作成部２３と、輝度画像５２と彩度画像５３とを合成して所定の対象物を検出するための解析画像５５を作成する解析画像作成部２５と、を備える。このため、画像処理装置１０は、輝度値が高い箇所と彩度値が高い箇所との双方を強調した解析画像５５を作成できるので、その解析画像５５を解析するだけで検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。これにより、画像処理装置１０は、検出対象の色に拘わらず輝度画像５２と彩度画像５３とから作成した解析画像５５を解析するだけでよいので、従来の画像処理装置と比較して計算負荷が高くなることを防止しつつ、検出対象の適切な検出を可能とすることができる。
　特に、画像処理装置１０は、カラー画像（俯瞰画像５１）に基づいて、画素毎に、正規化したＳ値（彩度値）を求め、そのＳ値に係数Ａを乗算して輝度画像５２のスケールに合わせた輝度値であるＳｂ値を求めている。そして、画像処理装置１０は、各画素のＳｂ値を用いて彩度画像５３を作成している。このため、画像処理装置１０は、カラー画像（俯瞰画像５１）が暗い環境下で取得されたものであっても、明るい環境下で取得された場合と同様の彩度分布を、変換した画素毎の輝度値で示した彩度画像５３を作成できる。これにより、画像処理装置１０は、カラー画像（俯瞰画像５１）を取得した際の明るさに拘わらず、検出対象の適切な検出を可能とすることができる。
　また、画像処理装置１０は、彩度画像５３において、検出対象に相当する図柄を抽出した彩度抽出画像５４を作成する抽出画像作成部２４を備え、解析画像作成部２５は、彩度画像５３に代えて彩度抽出画像５４を輝度画像５２と合成して解析画像５５を作成する。このため、画像処理装置１０は、有色の光が当てられている彩度画像５３であっても、彩度抽出画像５４において検出対象に相当する図柄が抽出されているので、解析画像５５において輝度値の高い検出対象とは異なる領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
　さらに、画像処理装置１０は、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成する。このため、画像処理装置１０は、簡単な工程で検出対象よりも大きな図柄を除去した彩度抽出画像５４を作成することができ、解析画像５５において輝度値の高い検出対象よりも大きな領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
　画像処理装置１０は、カラー画像を、上方から平面視（俯瞰）する俯瞰画像５１としている。このため、画像処理装置１０は、車両１において、運転を支援するための俯瞰画像５１における検出対象の適切な検出を可能とすることができ、より適切な運転の支援を可能とすることができる。
　したがって、本開示に係る画像処理装置としての実施例１の画像処理装置１０は、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる。
　以上、本開示の画像処理装置を実施例１に基づき説明してきたが、具体的な構成については実施例１に限られるものではなく、請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
　例えば、実施例１では、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成するものとしている（図１２、図１３参照）。しかしながら、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで、検出対象よりも小さな図柄も併せて除去した彩度抽出画像５４、すなわち検出対象とは異なる大きさの図柄を除去した彩度抽出画像５４を作成するものとしてもよく、実施例１の構成に限定されない。この一例を、図６、図１２に加えて、図１５から図１７を用いて説明する。
　抽出画像作成部２４は、検出対象を除去することのない最も大きな回数だけ収縮処理を行った後に、膨張処理を行って彩度画像５３としての処理画像５６１（図１５参照）を作成する。図６に示す彩度画像５３の例では、検出対象としての図柄Ｄ２が４画素の幅とされた線状とされているので、１回の収縮処理を行った後に１回の膨張処理を行う。すると、抽出画像作成部２４は、図１５に示すように、図柄Ｄ１が元の図６の彩度画像５３と同じものとされ、図柄Ｄ２が元の図６の彩度画像５３から中央の輝度値が低下されたものとされ、図柄Ｄ３が除去された処理画像５６１を作成する。その後、抽出画像作成部２４は、図６に示す元の彩度画像５３から図１５に示す処理画像５６１（それらの各画素の彩度値（輝度値））を減算することで、図１６に示す処理画像５６２（彩度画像５３）を作成する。そして、抽出画像作成部２４は、図１２に示す彩度抽出画像５４から図１６に示す処理画像５６３（それらの各画素の彩度値（輝度値））を減算することで、図１７に示す彩度抽出画像５４を作成する。この図１７の彩度抽出画像５４は、彩度画像５３から検出対象としての図柄Ｄ２とは異なる大きさの図柄（Ｄ１、Ｄ３）を除去したものとなる。画像処理装置１０は、このように作成した彩度抽出画像５４を輝度画像５２に合成して解析画像５５を作成することで、検出対象のより適切な検出を可能とすることができる。
　また、実施例１では、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで彩度抽出画像５４を作成している。すなわち、実施例１では、抽出画像作成部２４が、検出対象よりも大きな図柄を除去（上記したように併せて小さな図柄を除去する場合も含む）することで、結果として検出対象を抽出した彩度抽出画像５４を作成するものとしている。しかしながら、抽出画像作成部２４は、彩度画像５３において検出対象に相当する図柄を抽出した彩度抽出画像５４を作成するものであればよく、実施例１の構成に限定されない。この一例として、抽出画像作成部２４は、彩度画像５３を画像解析することで検出対象に相当する大きさの図柄を抽出することで、彩度抽出画像５４を作成するものにできる。この場合、抽出画像作成部２４は、彩度画像５３に対してエッジ抽出処理を施し、エッジ抽出処理で得られた画像において検出対象の大きさや形状を示す理論比較領域を抽出することで、検出対象（図柄）を抽出する。なお、抽出画像作成部２４は、検出対象に相当する図柄を抽出するものであれば、他の方法で抽出してもよく、この構成に限定されない。このような構成とすると、画像処理装置１０は、簡単な工程で検出対象に相当する図柄を抽出した彩度抽出画像５４を作成することができ、解析画像５５において輝度値の高い検出対象とは異なる領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
　さらに、実施例１では、抽出画像作成部２４が、３×３の枠とされた９画素のサイズのフィルタＦを用いて収縮処理および膨張処理を行っている。しかしながら、フィルタＦは、中心の枠に位置する画素の彩度値（輝度値）に、周辺の複数の枠に位置する彩度値（輝度値）を採用することで、収縮処理および膨張処理を行うものであれば、枠の数（画素数）は適宜設定すればよく、実施例１の構成に限定されない。
　実施例１では、抽出画像作成部２４が、Ｓｂ値を求める際にＳ値（彩度値）に乗算する係数Ａを２５５としている。しかしながら、係数Ａは、輝度値（輝度画像５２）と彩度値（彩度画像５３）とのバランスを考慮して適宜設定すればよく、実施例１の構成に限定されない。
　実施例１では、抽出画像作成部２４が、彩度画像作成部２３が作成した彩度画像５３に対して抽出処理を行うことで、彩度抽出画像５４を作成している。しかしながら、抽出画像作成部２４は、彩度画像５３に基づいて彩度抽出画像５４を作成するものであれば、彩度画像５３を平滑化した後に抽出処理を行って彩度抽出画像５４を作成してもよく、実施例１の構成に限定されない。このような構成とすると、彩度画像作成部２３が作成した彩度画像５３に多くのノイズが含まれている場合であっても、検出対象に相当する図柄をより適切に抽出した彩度抽出画像５４を作成することができる。
　実施例１では、抽出画像作成部２４が、彩度画像作成部２３が作成した彩度画像５３に対して収縮処理および膨張処理を行うことで、彩度抽出画像５４を作成している。しかしながら、抽出画像作成部２４は、彩度画像５３に基づいて彩度抽出画像５４を作成するものであれば、彩度画像５３を２値化（２値化処理）した後に収縮処理および膨張処理を行って彩度抽出画像５４を作成してもよく、実施例１の構成に限定されない。このような構成とすると、収縮処理および膨張処理を簡易なものとしつつ、検出対象とは異なる大きさの図柄の除去を容易なものにできる。
　実施例１では、輝度画像５２と彩度画像５３との元となるカラー画像として、俯瞰画像５１を用いている。しかしながら、カラー画像は、輝度画像作成部２２が輝度画像５２を作成する元となるとともに、彩度画像作成部２３が彩度画像５３を作成する元となるものであれば、車両１の周囲の一部の画像を取得するカメラが取得したものでもよく、車両１とは異なる箇所に設けられたカメラが取得したものでもよく、実施例１の構成に限定されない。
関連出願への相互参照
　本出願は、２０１９年３月１日に日本国特許庁に出願された特願２０１９－０３７６４７に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。
 

Claims (6)

  1. 　カメラが取得したカラー画像における輝度分布を示す輝度画像を作成する輝度画像作成部と、
    　前記カラー画像における彩度分布を示す彩度画像を作成する彩度画像作成部と、
    　前記輝度画像と前記彩度画像とを合成して所定の対象物を検出するための解析画像を作成する解析画像作成部と、を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　さらに、前記彩度画像において、検出対象に相当する図柄を抽出した彩度抽出画像を作成する抽出画像作成部を備え、
    　前記解析画像作成部は、前記彩度画像に代えて前記彩度抽出画像を前記輝度画像と合成して前記解析画像を作成することを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　さらに、前記彩度画像に対して収縮処理と膨張処理とを行うことで、前記彩度画像から検出対象よりも大きな図柄を除去した彩度抽出画像を作成する抽出画像作成部を備え、
    　前記解析画像作成部は、前記彩度画像に代えて前記彩度抽出画像を前記輝度画像と合成して前記解析画像を作成することを特徴とする画像処理装置。
  4. 　前記抽出画像作成部は、前記彩度画像に対して前記収縮処理と前記膨張処理とを行うことで、前記検出対象とは異なる大きさの図柄を除去して前記彩度抽出画像を作成することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記抽出画像作成部は、前記彩度画像を画像解析することで前記検出対象に相当する大きさの図柄を抽出して前記彩度抽出画像を作成することを特徴とする請求項２に記載の画像処理装置。
  6. 　前記カラー画像は、上方から平面視する俯瞰画像であることを特徴とする請求項１から請求項５までのいずれか１項に記載の画像処理装置。
     
PCT/JP2019/032537 2019-03-01 2019-08-21 画像処理装置 WO2020179103A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/434,738 US11989857B2 (en) 2019-03-01 2019-08-21 Image processing device
EP19918425.0A EP3933770A4 (en) 2019-03-01 2019-08-21 IMAGE PROCESSING DEVICE
CN201980092420.8A CN113498518A (zh) 2019-03-01 2019-08-21 图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019037647A JP7244301B2 (ja) 2019-03-01 2019-03-01 画像処理装置
JP2019-037647 2019-03-01

Publications (1)

Publication Number Publication Date
WO2020179103A1 true WO2020179103A1 (ja) 2020-09-10

Family

ID=72265005

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032537 WO2020179103A1 (ja) 2019-03-01 2019-08-21 画像処理装置

Country Status (5)

Country Link
US (1) US11989857B2 (ja)
EP (1) EP3933770A4 (ja)
JP (1) JP7244301B2 (ja)
CN (1) CN113498518A (ja)
WO (1) WO2020179103A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220143323A (ko) * 2021-04-16 2022-10-25 주식회사 에이치엘클레무브 차선 분류 딥러닝 모델의 학습데이터 생성 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032669A (ja) 2001-07-11 2003-01-31 Hitachi Ltd 車載用画像処理カメラ装置
JP2008107941A (ja) * 2006-10-24 2008-05-08 Mitsubishi Electric Corp 監視装置
JP2015064753A (ja) * 2013-09-25 2015-04-09 三菱電機株式会社 画像処理装置
JP2019037647A (ja) 2017-08-28 2019-03-14 広美 市島 取付具

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4215038B2 (ja) * 2005-09-16 2009-01-28 セイコーエプソン株式会社 画像処理装置、画像処理方法、およびプログラム
KR100860965B1 (ko) * 2006-12-11 2008-09-30 삼성전자주식회사 노이즈 저감기능을 갖는 적응적 채도 향상 장치 및 방법
KR101594294B1 (ko) * 2009-04-14 2016-02-26 삼성전자주식회사 화이트 장면 인식을 위한 디지털 영상 신호 처리 방법, 상기 방법을 실행하는 디지털 영상 신호 처리 장치 및 상기 방법을 기록한 기록 매체
CN101964873B (zh) * 2009-07-21 2014-08-20 株式会社尼康 图像处理装置、图像处理程序及摄像装置
EP2557540B1 (en) * 2010-07-29 2014-11-12 Honda Motor Co., Ltd. Vehicle periphery monitoring device
KR101295092B1 (ko) * 2011-12-28 2013-08-09 현대자동차주식회사 차량용 색상검출기
CN105205804B (zh) * 2015-08-18 2018-10-30 爱威科技股份有限公司 血细胞图像中白细胞的核浆分离方法、分类方法及装置
DE102017215718B4 (de) * 2017-09-07 2019-06-13 Audi Ag Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032669A (ja) 2001-07-11 2003-01-31 Hitachi Ltd 車載用画像処理カメラ装置
JP2008107941A (ja) * 2006-10-24 2008-05-08 Mitsubishi Electric Corp 監視装置
JP2015064753A (ja) * 2013-09-25 2015-04-09 三菱電機株式会社 画像処理装置
JP2019037647A (ja) 2017-08-28 2019-03-14 広美 市島 取付具

Also Published As

Publication number Publication date
JP7244301B2 (ja) 2023-03-22
EP3933770A4 (en) 2022-12-21
US11989857B2 (en) 2024-05-21
CN113498518A (zh) 2021-10-12
JP2020140633A (ja) 2020-09-03
EP3933770A1 (en) 2022-01-05
US20220172332A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
EP1887521B1 (en) Vehicle and road sign recognition device
US10007853B2 (en) Image generation device for monitoring surroundings of vehicle
JP4258539B2 (ja) 複数画角カメラ
US20150254825A1 (en) Method, apparatus and system for processing a display from a surround view camera solution
JP5115792B2 (ja) 画像処理装置および方法、並びに、プログラム
US20150062341A1 (en) Image processing apparatus, imaging apparatus, vehicle drive assisting apparatus, and image processing method
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
EP2793469B1 (en) Image processing device
JP2007129535A (ja) 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
WO2017169024A1 (ja) 車載用表示装置
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
US8929605B2 (en) Image processing method and image processing apparatus for generating vehicular image
WO2020179103A1 (ja) 画像処理装置
CN113989112A (zh) 一种环视图像融合拼接方法、装置、电子设备及存储介质
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
US20140212032A1 (en) Image processing apparatus, method and imaging apparatus
WO2015141860A1 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP5883715B2 (ja) 画像処理ｌｓｉ、画像処理システムおよび画像処理方法
WO2017033691A1 (ja) 画像生成装置、画像生成方法、及びプログラム
JP2011065280A (ja) 画像処理装置、周辺監視システム、及び操作支援システム
JP2016197388A (ja) 認識装置、認識方法及びプログラム
JP2008146436A (ja) 車両周辺画像表示装置およびその表示方法
JP2007249392A (ja) 車両周辺視認装置
JPH06348991A (ja) 移動車の走行環境認識装置
JP2008286943A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918425

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019918425

Country of ref document: EP