WO2020179103A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2020179103A1 WO2020179103A1 PCT/JP2019/032537 JP2019032537W WO2020179103A1 WO 2020179103 A1 WO2020179103 A1 WO 2020179103A1 JP 2019032537 W JP2019032537 W JP 2019032537W WO 2020179103 A1 WO2020179103 A1 WO 2020179103A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- saturation
- detection target
- value
- extraction
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 127
- 238000004458 analytical method Methods 0.000 claims abstract description 60
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 114
- 238000000605 extraction Methods 0.000 claims description 80
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 46
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 46
- 230000008602 contraction Effects 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 57
- 238000013461 design Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Definitions
- the present disclosure relates to an image processing device that processes a color image.
- image processing devices are known that detect a white line or other detection target by analyzing a color image acquired by a camera as a luminance image.
- the detection target is other than white
- the image processing apparatus may not be able to properly detect the detection target even if it is analyzed as a luminance image. Therefore, it is considered that the image processing apparatus can detect even a detection target other than white (see, for example, Patent Document 1).
- This image processing device individually obtains the intensity of each RGB color signal in a color image, and changes the combination of each color signal according to the color of the detection target to obtain the combination that maximizes the contrast of the detection target. It is possible to detect the detection target by combining the respective color signals according to the color of the detection target.
- this image processing apparatus needs to change the combination of each color signal according to the color of the detection target in the color image, it is necessary to obtain the combination according to the color of the detection target to be analyzed, or to analyze each color image to be analyzed. Then, the combination that maximizes the contrast of the detection target is obtained. Therefore, in this image processing apparatus, the calculation load for detecting the detection target increases.
- the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to provide an image processing apparatus capable of creating an image that facilitates detection of a predetermined target object while suppressing an increase in calculation load.
- the image processing apparatus of the present disclosure includes a brightness image creating unit that creates a brightness image showing the brightness distribution in the color image acquired by the camera, and a saturation showing the saturation distribution in the color image. It is characterized by including a saturation image creation unit for creating an image and an analysis image creation unit for creating an analysis image for detecting a predetermined object by synthesizing the brightness image and the saturation image. To do.
- the image processing device of the present disclosure configured as described above can create an image that facilitates detection of a predetermined target object while suppressing an increase in calculation load.
- FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment as an example of an image processing apparatus according to the present disclosure. It is explanatory drawing which shows the color image as an example which the camera acquired. It is explanatory drawing which shows the brightness
- FIG. 6 is an explanatory diagram showing a saturation image used for explaining an extraction process as an example by an extracted image creating unit.
- FIG. 16 is an explanatory diagram showing a processed image created by subtracting the processed image of FIG. 15 from the saturation image of FIG. 6. It is explanatory drawing which shows the saturation extraction image created by subtracting the processed image of FIG. 16 from the saturation extraction image of FIG.
- the image processing device 10 of the first embodiment as an example of the image processing device according to the present disclosure will be described below with reference to the drawings.
- the image processing apparatus 10 performs image processing for creating an image that facilitates detection of a predetermined object in the color image acquired by the camera 15, and in the first embodiment, the vehicle 1 (see FIG. 2) is used. It is said that it is mounted on a vehicle.
- the image processing apparatus 10 is not limited to the vehicle-mounted image processing apparatus, and may be, for example, a smartphone, a tablet terminal, a PDA (Personal Data Assistance), or the like. In this case, the image processing is provided by the application program installed in these devices.
- the image processing device 10 has, for example, a parking support function for assisting a parking operation in a parking lot, a lane keeping function for maintaining a traveling lane, a map and accompanying information display, and a departure place (or current location). ) To a destination, a navigation function such as a search for a recommended route, route guidance, and display of road traffic information may be additionally provided.
- the image processing device 10 includes a control unit 11 and a storage unit 12, and a display unit 13, an operation unit 14, and a camera 15 are mounted on a vehicle such as CAN (Controller Area Network) as a communication protocol. It is configured to be connected to the control unit 11 via a network.
- vehicle such as CAN (Controller Area Network) as a communication protocol. It is configured to be connected to the control unit 11 via a network.
- CAN Controller Area Network
- the storage unit 12 stores in advance a program for executing image processing, a program for executing other functions, and information required by those programs that is used without being rewritten. doing. Information stored in the storage unit 12 can be appropriately read by the control unit 11.
- the display unit 13 displays an analysis image 55 (see FIG. 13), which will be described later, created by image processing, and is composed of, for example, a liquid crystal display or an organic EL display.
- the display unit 13 appropriately displays a support image for the parking support function, a display image for the lane keeping function, a route image for the navigation function, and the like.
- the operation unit 14 receives an instruction input from the user, and can specify whether or not to execute image processing.
- the operation unit 14 can specify whether or not to execute the parking support function or the lane keep function, and input a destination for the navigation function.
- the operation unit 14 is configured by the display unit 13 that is equipped with the function of the touch panel and the switches provided around the display unit 13.
- the camera 15 acquires a color image of a predetermined range around the vehicle 1 for use in image processing, and in the first embodiment, the camera 15 acquires a color image of the entire circumference of the vehicle 1 and obtains a color bird's-eye view image 51 ( (See FIG. 2 ), they are provided at four positions on the front, rear, left and right of the vehicle 1.
- the camera 15 may be provided at the front of the vehicle 1 and may be provided with a single wide-angle fisheye lens that acquires a color image of the front (front side in the traveling direction), and is provided for a drive recorder or a collision prevention mechanism. It may be the one given.
- the camera 15 outputs image data indicating the acquired color image to the control unit 11.
- the control unit 11 has a bird's-eye view image creation unit 21, a luminance image creation unit 22, a saturation image creation unit 23, an extraction image creation unit 24, an analysis image creation unit 25, a target detection unit 26, and a memory unit 27.
- Each unit of the control unit 11 except the memory unit 27 is configured by a program. It should be noted that each of these parts may be exclusively configured by an electronic circuit, and is not limited to the configuration of the first embodiment. Numerical data required in the arithmetic processing process in each unit of the control unit 11, variables of a program for a processing result during the arithmetic processing, and the like are appropriately written in the memory unit 27, and these are appropriately read by each unit of the control unit 11.
- the memory unit 27 may store a program for each process performed by the control unit 11.
- the bird's-eye view image creating unit 21 converts the viewpoint of the color image to generate a bird's-eye view image 51 (see FIG. 2 and the like) in a color that looks down on the ground from above. Create (overhead image formation process). From the storage unit 12, the bird's-eye view image creation unit 21 displays the design values (external parameters) of the camera 15 installation position and angle (pitch angle, yaw angle, roll angle, camera height), the focal length of the camera 15, and the pixel size. , Camera parameters such as optical axis center and distortion function (internal parameters) are acquired.
- the bird's-eye view image creation unit 21 performs distortion correction processing for correcting the distortion of the image by the lens by using the acquired distortion function.
- the bird's-eye view image creation unit 21 uses a well-known camera geometric conversion formula to correct the distortion of the output values (the signal values including the brightness values of the respective colors) of the pixels at all coordinate positions in the bird's-eye view image 51 shown in world coordinates. It is created based on the output value (signal value) of the corresponding pixel of the image.
- the bird's-eye image creating unit 21 identifies the pixel based on each output value of the peripheral pixels by a known brightness interpolation process. Find the output value of a pixel. Further, the bird's-eye view image creating unit 21 converts the adjacent captured images of the cameras 15, that is, the front, rear, left, and right four cameras into one image while eliminating the discomfort at the joint by linearly interpolating the brightness of the corresponding coordinate values. By connecting them together, the bird's-eye view image 51 surrounding the vehicle 1 is created.
- the bird's-eye view image 51 of the first embodiment shows a state in which the vehicle 1 is in the parking lot, and the shadow 2 of the vehicle 1 is projected on the upper side of the vehicle 1 when viewed from the front. Furthermore, a plurality of lines 3 drawn on the ground such as asphalt showing a parking space are shown above. It should be noted that the bird's-eye view image creation unit 21 may perform each of these processes at the same time as long as it creates the bird's-eye view image 51 (image data thereof), or may perform other processes, and is not limited to the first embodiment. ..
- the luminance image creating unit 22 and the saturation image creating unit 23 create a luminance image 52 (see FIG. 3) and a saturation image 53 (see FIG. 4), which will be described later, based on the bird's-eye view image 51 of this color. Therefore, the bird's-eye view image 51 functions as a color image acquired by the camera.
- the brightness image creation unit 22 and the saturation image creation unit 23, together with the extraction image creation unit 24 and the analysis image creation unit 25, are each image of the same size (number of pixels) (brightness image 52, saturation image 53, which will be described later). Saturation extraction image 54 and analysis image 55) are created. If each creating unit (22, 23, 24, 25) creates each image with the same size as each other, a part of the area (FIG. 2) in the bird's-eye view image 51 shown in FIG. 2 as shown below. , Each process may be performed on the entire bird's-eye view image 51).
- the luminance image creating unit 22 obtains a luminance value (luminance distribution) in each pixel based on the luminance data in the bird's-eye view image 51 (color image), and determines the luminance value for each pixel (value from 0 to 255). Luminance image creation processing is performed to create the brightness image 52 (see FIG. 3) that is the monochrome image shown.
- the brightness image creating unit 22 uses the Y value of each pixel, and when the overhead image 51 is RGB data, the brightness value of each color (RGB) in each pixel. The sum of is used.
- the luminance image 52 shows the luminance distribution in the bird's-eye view image 51 (color image) by the luminance value for each pixel.
- the luminance image 52 shown in FIG. 3 corresponds to the region surrounded by the alternate long and short dash line in the bird's-eye view image 51 shown in FIG.
- the luminance image 52 when each line 3 in the bird's-eye view image 51 is white, the luminance value of each line 3 becomes sufficiently large and the image is clearly captured.
- the brightness image 52 shown in FIG. 3 is thin because each line 3 in the bird's-eye view image 51 is yellow and the brightness value of each line 3 is not so large (the line drawn in FIG. 3 is thin to indicate thinness). ing).
- the saturation image creation unit 23 obtains the saturation value (saturation distribution) in each pixel based on the saturation data in the bird's-eye view image 51 (color image). Then, the saturation image creation unit 23 replaces the magnitude of the saturation value for each pixel with the magnitude of the luminance value, and the saturation image 53 is a monochrome image indicated by the magnitude of the luminance value for each replaced pixel. Perform the saturation image creation process to create (see FIG. 4).
- the saturation image 53 shown in FIG. 4 shows the region surrounded by the alternate long and short dash line in the bird's-eye view image 51 shown in FIG.
- the saturation image creation unit 23 of the first embodiment creates the saturation image 53 as follows.
- the saturation image creation unit 23 performs a conversion process for converting each pixel into RGB data using, for example, the following equation (1).
- the saturation image creation unit 23 does not perform the conversion process when the bird's-eye view image 51 is RGB data.
- R value Y value+1.402 ⁇ V value
- G value Y value ⁇ 0.344 ⁇ U value ⁇ 0.714 ⁇ V value (1)
- B value Y value+1.772 ⁇ U value
- the saturation image creation unit 23 determines the magnitude of the saturation value for each pixel by multiplying the normalized S value by the coefficient A in each pixel as shown in the following equation (3).
- a replacement process is performed to obtain the Sb value replaced with the magnitude of the brightness value.
- This coefficient A is the magnitude of the luminance value using the normalized S value, and in Example 1, it is set to 255 according to the scale of the luminance image 52 which is a monochrome image.
- Sb value S value ⁇ A (3)
- the saturation image creation unit 23 creates a saturation image 53 (see FIG. 4), which is a monochrome image indicated by the magnitude of the brightness value for each pixel, using the obtained Sb value for each pixel.
- the saturation image 53 shows the saturation distribution in the bird's-eye view image 51 (color image) by the converted luminance value of each pixel.
- the saturation image 53 shown in FIG. 4 shows the area surrounded by the alternate long and short dash line in the bird's-eye view image 51 shown in FIG. 2, like the luminance image 52 shown in FIG.
- the saturation image 53 even if each line 3 in the bird's-eye view image 51 is yellow, the saturation value of each line 3 is sufficiently large and is clearly captured.
- the saturation image creation unit 23 is a saturation image which is a monochrome image in which the magnitude of the saturation value for each pixel is replaced with the magnitude of the luminance value based on the saturation data in the bird's-eye view image 51 (color image). As long as 53 is created, it is not limited to the configuration of the first embodiment.
- the extraction image creation unit 24 creates a saturation extraction image 54 (see FIG. 5) by performing an extraction process for extracting a pattern corresponding to a detection target in the saturation image 53 created by the saturation image creation unit 23. .. It should be noted that this pattern is reflected in the saturation image 53, and includes lines and signs drawn on the ground, shadows formed on the ground, and the like.
- the saturation extraction image 54 shown in FIG. 5 is a case where each line 3 is a detection target in the saturation image 53 (see FIG. 4), and the shadow 2 different from the detection target is removed by extracting each line 3. Has been done.
- the extracted image creation unit 24 of the first embodiment performs a contraction process and an expansion process on the saturation image 53 to remove a symbol larger than the detection target and create a saturation extract image 54.
- the contraction process and the expansion process will be described with reference to FIGS. 6 to 12.
- FIG. 6 shows a saturation image 53 as an example for facilitating the understanding of the contraction process and the expansion process.
- a symbol D1 larger than the detection target is shown on the left side, and a symbol D2 as the detection target is shown in the middle.
- the symbol D3 smaller than the detection target is shown on the right side.
- the respective symbols (D1, D2, D3) have the same vertical dimension (10 pixels) for comparison, and the width dimensions are different from each other.
- the design D1 has a linear shape having a width of 8 pixels in the saturation image 53, and one pixel on the outer circumference has a saturation value (luminance value) lower than that of the center.
- the symbol D2 (detection target) has a linear shape having a width of 4 pixels in the saturation image 53, and one pixel on the outer circumference has a saturation value (luminance value) lower than that of the center.
- the symbol D3 has a linear shape having a width of two pixels in the saturation image 53, and has a saturation value (luminance value) equal to the center of the symbol D1 and the symbol D2.
- the extracted image creation unit 24 performs shrinkage processing and expansion processing using the filter F.
- FIG. 7 shows an enlarged view of the vicinity of the lower end of the symbol D1 of the saturation image 53, in which the filter F is arranged in three patterns (hereinafter referred to as F1, F2, and F3) to perform shrinkage processing and expansion processing. It is for explaining the case where it was done.
- the extraction image creation unit 24 uses a filter F having a size of 9 pixels, which is a 3 ⁇ 3 frame, and the pixels located in the center frame are reduced to eight peripheral pixels in the case of shrinkage processing. It is converted into the lowest saturation value (luminance value) of the pixels of the frame, and in the case of the expansion processing, converted into the highest saturation value (luminance value) of the pixels of the eight surrounding frames.
- the filter F1 of the first pattern is arranged so that the center frame is aligned with the pixel G1 having the low saturation value at the lower left end of the symbol D1 to convert the pixel G1.
- the filter F1 sets the pixel G1 to a saturation value of 0 (zero) outside the design D1 in the case of contraction processing, and sets the pixel G1 to a high saturation value in the center of the design D1 in the case of expansion processing.
- the filter F2 of the second pattern is arranged so that the middle frame is aligned with the pixel G2 so that all the frames fit within the high saturation value in the middle of the design D1, and the pixel G2 is converted.
- the filter F2 sets the pixel G2 to a high saturation value regardless of whether the shrinkage treatment or the expansion treatment is performed.
- the filter F3 of the third pattern is arranged such that the center frame is aligned with the pixel G3 having a saturation value of 0 (zero) on the outer left side of the pattern D1, and the pixel G3 is converted.
- the filter F3 sets the pixel G3 as a saturation value of 0 (zero) around the symbol D1, and in the case of the expansion process, sets the pixel G3 as a low saturation value on the outer circumference of the symbol D1.
- the extraction image creation unit 24 performs the shrinkage processing using the filter F on all the pixels of the original saturation image 53 to reduce the design of the saturation image 53 by one pixel. To do. Further, as described above, the extraction image creation unit 24 performs the expansion process using the filter F on all the pixels of the original saturation image 53, so that the design of the saturation image 53 is for one pixel. Just make it bigger. Note that, as described above, the extracted image creation unit 24 sets the saturation value of 0 (zero) in all the frames of the filter F, whether in the contraction process or the expansion process. The saturation value is 0 (zero).
- the extraction image creation unit 24 can remove the detection target by performing the contraction processing the number of times of the smaller size of the vertical size and the width size of the detection target. Using this, the extracted image creating unit 24 creates the processed image 56 by performing the contraction process the number of times that the detection target can be removed and then performing the expansion process the same number of times.
- the extraction image creation unit 24 performs one shrinkage process on the saturation image 53 shown in FIG. 6, and as shown in FIG. 8, makes the symbol D1 one size smaller and the symbol D2 one size smaller.
- a saturation image 53 is obtained by setting a low saturation value and removing the symbol D3 as a saturation value of 0 (zero).
- the extracted image creating unit 24 performs the contraction process once on the saturation image 53 shown in FIG. 8, reduces the design D1 by one size, and sets the design D2 to 0 (zero) as shown in FIG. ) As the saturation value, and the saturation image 53 remains with the pattern D3 removed.
- the extracted image creating unit 24 performs one expansion process on the saturation image 53 shown in FIG. 9, enlarges the symbol D1 by one size, and removes the removed symbol D2 and as shown in FIG. Since the saturation value of 0 (zero) is set for the symbol D3, the saturation image 53 as it is removed is used.
- the extracted image creation unit 24 performs the expansion process once on the saturation image 53 shown in FIG. 10, enlarges the design D1 by one size, and removes the design D2 as shown in FIG.
- the saturation image 53 is not changed for the design D3.
- the extracted image creation unit 24 creates the processed image 56 as the saturation image 53 in which only the symbol larger than the symbol D2 as the detection target (design D1 in this example) is left from the saturation image 53.
- the extracted image creating unit 24 subtracts the processed image 56 (saturation value (luminance value) of each pixel thereof) illustrated in FIG. 11 from the original saturation image 53 illustrated in FIG.
- the saturation extraction image 54 shown is created.
- the saturation extracted image 54 is obtained by removing a symbol (design D1) larger than the symbol D2 as a detection target from the saturation image 53. In this way, the extracted image creating unit 24 creates the saturation extracted image 54 in which the design larger than the detection target is removed by performing the contraction processing and the expansion processing on the saturation image 53.
- the analysis image creation unit 25 basically includes a luminance image 52 (see FIG. 3) created by the luminance image creation unit 22 and a saturation image 53 (see FIG. 4) created by the saturation image creation unit 23. By synthesizing, an analysis image 55 (see FIG. 13) for detecting a predetermined target object (detection target) is created. In the luminance image 52 and the saturation image 53, which have the same size (number of pixels), the analysis image creation unit 25 determines, for each pixel, the luminance value in the luminance image 52 and the brightness value (the saturation value in the saturation image 53). By adding (replaced) and, an analysis image 55, which is a monochrome image indicated by the magnitude of the brightness value for each pixel, is created.
- the analysis image creating unit 25 of the first embodiment replaces the saturation image 53 created by the saturation image creating unit 23 with the saturation extraction image 54 (see FIG. 5) and the brightness image 52 created by the extraction image creating unit 24. And are combined to create the analysis image 55 shown in FIG.
- the analysis image creation unit 25 synthesizes the luminance image 52 and the saturation extraction image 54, as in the case of the saturation image 53.
- the brightness image creation unit 22, the saturation image creation unit 23, the extraction image creation unit 24, and the analysis image creation unit 25 are analyzed images 55 based on the color image (overhead image 51) acquired by the camera 15. It functions as an image processing apparatus that realizes an image processing function for creating a.
- the target detection unit 26 analyzes the analysis image 55 created by the analysis image creation unit 25 and detects a symbol corresponding to the detection target in the analysis image 55.
- the target detection unit 26 performs edge extraction processing on the analysis image 55, and extracts a theoretical comparison region indicating the size and shape of the detection target in the image obtained by the edge extraction processing to obtain a detection target (design). Extract.
- the target detection unit 26 may be extracted by another method as long as it extracts a symbol corresponding to the detection target, and is not limited to the configuration of the first embodiment. In the first embodiment, since each line 3 is the detection target, the target detection unit 26 detects each line 3 in the analysis image 55.
- FIG. 14 is a flowchart showing the image processing executed by the control unit 11 in the first embodiment. This image processing is executed by the control unit 11 based on the program stored in the storage unit 12.
- each step (each process) of the flowchart of FIG. 14 will be described.
- the flowchart of FIG. 14 is started when the power of the image processing device 10 is turned on and the color image (data thereof) acquired by the camera 15 is output to the control unit 11.
- step S1 the bird's-eye view image 51 is created, and the process proceeds to step S2.
- step S1 the bird's-eye view image creating unit 21 creates a color bird's-eye view image 51 (see FIG. 2) based on the color image (image data) input from the camera 15.
- step S2 the brightness image 52 is created, and the process proceeds to step S3.
- the brightness image creation unit 22 creates a brightness image 52 (see FIG. 3), which is a monochrome image indicated by the size of the brightness value of each pixel, based on the bird's-eye view image 51.
- step S3 the saturation image 53 is created, and the process proceeds to step S4.
- the saturation image creation unit 23 is a monochrome image 53 (see FIG. 4), which is a monochrome image indicated by the magnitude of the luminance value in which the magnitude of the saturation value for each pixel is replaced based on the bird's-eye view image 51. ) Is created.
- the order of step S2 and step S3 may be reversed or may be performed at the same time, and the configuration is not limited to that of the first embodiment.
- step S4 the saturation extraction image 54 is created, and the process proceeds to step S5.
- step S4 the extracted image creating unit 24 creates a saturation extracted image 54 (see FIG. 5) by removing a pattern larger than the detection target based on the saturation image 53.
- step S5 the analysis image 55 is created, and the process proceeds to step S6.
- step S5 the analysis image creation unit 25 combines the luminance image 52 created in step S2 and the saturation extraction image 54 created in step S4 to create an analysis image 55 (see FIG. 13).
- Steps S2 to S5 are steps of creating the analysis image 55 based on the color image (overhead image 51) acquired by the camera 15.
- step S6 the detection target in the analysis image 55 is detected, and this image processing ends.
- the target detection unit 26 analyzes the analysis image 55 created in step S5 to detect the detection target (each line 3 in the illustrated example) in the analysis image 55.
- the control unit 11 uses this detection result for various functions.
- the control unit 11 can realize, for example, a parking support function or a lane keeping function based on the position of each line 3 as a detection target.
- control unit 11 creates the analysis image 55 by synthesizing the luminance image 52 created from the bird's-eye view image 51 based on the color image acquired by the camera 15 and the saturation extraction image 54 (saturation image 53). This facilitates detection of a predetermined target object by analysis in the target detection unit 26.
- the control unit 11 appropriately displays the analysis image 55 created by the image processing or the detection result of the detection target on the display unit 13.
- the detection target is, for example, a figure drawn on the ground as shown in each line 3 of the first embodiment. Since the figure is often drawn in white on the ground and has a high luminance value, it can be appropriately detected by analyzing the color image acquired by the camera 15 as a luminance image. However, the figure (detection target) is often drawn in yellow, red, green, etc. in addition to white. Then, the detection target other than white often has a low luminance value, and even if it can be clearly recognized by human eyes, it is often not properly detected even when analyzed as a luminance image.
- the conventional image processing apparatus makes it possible to detect the detection target by combining each color signal according to the color of the detection target.
- the conventional image processing apparatus performs such a calculation process, the calculation load for detecting the detection target becomes large.
- the image processing apparatus 10 creates the saturation image 53 in addition to the luminance image 52 based on the color image (the bird's-eye view image 51) acquired by the camera 15 regardless of the color to be detected. Then, they are combined to create an analysis image 55.
- the detection target other than white is clearly recognizable by human eyes, it is considered that the saturation value is high even if the luminance value is low.
- the image processing device 10 can create an analysis image 55 in which both the portion having a high luminance value and the portion having a high saturation value are emphasized by synthesizing the luminance image 52 and the saturation image 53.
- the image processing apparatus 10 detects both the high-luminance portion and the high-saturation portion, that is, both the white detection target and the non-white detection target, simply by analyzing the analysis image 55. Therefore, it is possible to appropriately detect the detection target regardless of the color of the detection target.
- the image processing device 10 replaces the saturation image 53 with the magnitude of the saturation value (saturation distribution) for each pixel of the bird's-eye view image 51 (color image) with the magnitude of the luminance value, and the replaced pixels. It is a monochrome image indicated by the magnitude of each brightness value. Therefore, the image processing device 10 can obtain a monochrome image in which both the luminance image 52 and the saturation image 53 are indicated by the magnitude of the luminance value, and the analysis image 55 obtained by synthesizing them also has the magnitude of the luminance value. It can be a monochrome image as shown. As a result, the image processing device 10 can analyze the analysis image 55 and detect the detection target in exactly the same way as the conventional luminance image 52 is analyzed to detect the detection target. Therefore, the image processing device 10 can appropriately detect the detection target regardless of the color of the detection target by a simple process of analyzing the analysis image 55 as in the conventional case.
- the image processing device 10 creates the analysis image 55 by synthesizing the saturation extraction image 54 and the brightness image 52 instead of the saturation image 53.
- the saturation image 53 is illuminated with colored light such as, for example, the ground is illuminated by the setting sun or a light in the original bird's-eye view image 51 (color image). Then, the saturation of the area different from the detection target (shadow 2 in the example of FIG. 4) is increased, or the overall saturation is increased.
- the luminance value of the region that is not the detection target in the analysis image 55 also increases, and it is difficult to appropriately detect the detection target.
- the image processing device 10 removes a symbol larger than the detection target in the saturation image 53 to create a saturation extraction image 54, and combines the saturation extraction image 54 and the brightness image 52.
- the analysis image 55 is created. Therefore, in the image processing device 10, even if the saturation image 53 is exposed to colored light, a pattern larger than the detection target is removed in the saturation extraction image 54, so that the brightness in the analysis image 55 is high. It is possible to eliminate a region larger than the detection target having a high value, and it is possible to appropriately detect the detection target.
- the image processing device 10 of the embodiment of the image processing device according to the present disclosure can obtain the following effects.
- the image processing device 10 includes a brightness image creating unit 22 that creates a brightness image 52 that shows the brightness distribution in the color image (overhead image 51 in the first embodiment) acquired by the camera 15, and a saturation that shows the saturation distribution in the color image. It includes a saturation image creation unit 23 for creating an image 53, and an analysis image creation unit 25 for creating an analysis image 55 for detecting a predetermined object by synthesizing a brightness image 52 and a saturation image 53. .. Therefore, the image processing device 10 can create an analysis image 55 that emphasizes both a portion having a high luminance value and a portion having a high saturation value. Therefore, the analysis image 55 can be analyzed regardless of the color to be detected. It is possible to enable appropriate detection of the detection target.
- the image processing apparatus 10 only needs to analyze the analysis image 55 created from the luminance image 52 and the saturation image 53 regardless of the color to be detected, so that the calculation load is higher than that of the conventional image processing apparatus. It is possible to appropriately detect the detection target while preventing the increase in the value.
- the image processing device 10 obtains a normalized S value (saturation value) for each pixel based on a color image (overhead image 51), and multiplies the S value by a coefficient A to obtain a luminance image 52.
- the Sb value which is the brightness value according to the scale is obtained.
- the image processing apparatus 10 creates the saturation image 53 using the Sb value of each pixel. For this reason, the image processing apparatus 10 converts the same saturation distribution as that obtained in a bright environment for each converted pixel even if the color image (the bird's-eye view image 51) is obtained in a dark environment.
- the saturation image 53 represented by the brightness value of can be created.
- the image processing device 10 can appropriately detect the detection target regardless of the brightness when the color image (overhead image 51) is acquired.
- the image processing device 10 includes an extraction image creation unit 24 that creates a saturation extraction image 54 that extracts a pattern corresponding to a detection target in the saturation image 53, and the analysis image creation unit 25 includes a saturation image 53.
- the saturation extraction image 54 is combined with the luminance image 52 to create an analysis image 55. Therefore, in the image processing device 10, even if the saturation image 53 is exposed to colored light, the pattern corresponding to the detection target is extracted in the saturation extraction image 54, so that the brightness in the analysis image 55 is high. It is possible to eliminate a region different from the detection target having a high value, and it is possible to appropriately detect the detection target.
- the extraction image creation unit 24 creates a saturation extraction image 54 by removing a pattern larger than the detection target by performing contraction processing and expansion processing on the saturation image 53. To do. Therefore, the image processing apparatus 10 can create the saturation extraction image 54 in which a pattern larger than the detection target is removed by a simple process, and eliminates a region in the analysis image 55 larger than the detection target having a high luminance value. Therefore, it is possible to appropriately detect the detection target.
- the image processing device 10 is a bird's-eye view image 51 that views a color image in a plan view (overhead view) from above. For this reason, the image processing apparatus 10 can enable the vehicle 1 to appropriately detect the detection target in the bird's-eye view image 51 for supporting driving, and thus can support more appropriate driving. ..
- the image processing apparatus 10 according to the first embodiment as the image processing apparatus according to the present disclosure can create an image that facilitates detection of a predetermined target object while suppressing an increase in calculation load.
- the image processing apparatus of the present disclosure has been described based on the first embodiment, the specific configuration is not limited to the first embodiment and does not deviate from the gist of the invention according to each claim. As long as the design changes and additions are allowed.
- the extracted image creation unit 24 creates the saturation extraction image 54 by removing the pattern larger than the detection target by performing the contraction process and the expansion process on the saturation image 53. (See FIGS. 12 and 13).
- the saturation extracted image 54 that is, the detection target, in which the extraction image creation unit 24 performs the contraction processing and the expansion processing on the saturation image 53 to remove the symbols smaller than the detection target together.
- the saturation extraction image 54 may be created by removing the pattern of the size, and is not limited to the configuration of the first embodiment. An example of this will be described with reference to FIGS. 15 to 17 in addition to FIGS. 6 and 12.
- the extraction image creation unit 24 performs the contraction processing the largest number of times without removing the detection target, and then performs the expansion processing to create the processed image 561 (see FIG. 15) as the saturation image 53.
- the saturation image 53 shown in FIG. 6 since the pattern D2 as the detection target has a linear shape with a width of 4 pixels, one expansion process is performed after one contraction process is performed. .. Then, as shown in FIG. 15, the extracted image creating unit 24 determines that the design D1 is the same as the original saturation image 53 of FIG. 6, and the design D2 is the central brightness from the original saturation image 53 of FIG. It is assumed that the value is lowered, and the processed image 561 in which the design D3 is removed is created.
- the extracted image creating unit 24 subtracts the processed image 561 (saturation value (luminance value) of each pixel thereof) illustrated in FIG. 15 from the original saturation image 53 illustrated in FIG.
- the processed image 562 (saturation image 53) shown is created.
- the extracted image creating unit 24 subtracts the processed image 563 (saturation value (luminance value) of each pixel thereof) illustrated in FIG. 16 from the saturation extraction image 54 illustrated in FIG.
- a saturation extraction image 54 is created.
- the saturation extraction image 54 of FIG. 17 is obtained by removing the designs (D1, D3) of a different size from the design D2 as the detection target from the saturation image 53.
- the image processing apparatus 10 can enable more appropriate detection of the detection target by combining the saturation extraction image 54 created in this way with the luminance image 52 to create the analysis image 55.
- the extraction image creation unit 24 creates the saturation extraction image 54 by performing the contraction processing and the expansion processing on the saturation image 53. That is, in the first embodiment, the extracted image creation unit 24 removes a symbol larger than the detection target (including the case where a small symbol is also removed as described above), and as a result, the color that extracts the detection target.
- the degree extraction image 54 is created.
- the extraction image creation unit 24 is not limited to the configuration of the first embodiment as long as it creates the saturation extraction image 54 by extracting the pattern corresponding to the detection target in the saturation image 53. As an example of this, the extraction image creation unit 24 can create a saturation extraction image 54 by extracting a pattern having a size corresponding to a detection target by performing image analysis on the saturation image 53.
- the extraction image creation unit 24 performs edge extraction processing on the saturation image 53, and extracts a theoretical comparison region indicating the size and shape of the detection target in the image obtained by the edge extraction processing for detection.
- the target (design) is extracted.
- the extraction image creation unit 24 may be extracted by another method as long as it can extract the symbol corresponding to the detection target, and is not limited to this configuration.
- the image processing device 10 can create a saturation extraction image 54 in which a pattern corresponding to the detection target is extracted in a simple process, and the detection target having a high brightness value in the analysis image 55 is It is possible to eliminate different areas, and it is possible to appropriately detect the detection target.
- the extracted image creating unit 24 performs the shrinkage processing and the expansion processing using the filter F having a size of 9 pixels and which is a 3 ⁇ 3 frame.
- the filter F performs shrinkage processing and expansion processing by adopting saturation values (luminance values) located in a plurality of peripheral frames as saturation values (luminance values) of pixels located in the central frame. If it is to be performed, the number of frames (number of pixels) may be appropriately set, and is not limited to the configuration of the first embodiment.
- the extraction image creation unit 24 sets the coefficient A to be 255 for multiplying the S value (saturation value) when obtaining the Sb value.
- the coefficient A may be appropriately set in consideration of the balance between the luminance value (luminance image 52) and the saturation value (saturation image 53), and is not limited to the configuration of the first embodiment.
- the extraction image creation unit 24 creates the saturation extraction image 54 by performing the extraction process on the saturation image 53 created by the saturation image creation unit 23.
- the extraction image creation unit 24 creates the saturation extraction image 54 based on the saturation image 53
- the extraction processing is performed after smoothing the saturation image 53 to create the saturation extraction image 54.
- it is not limited to the configuration of the first embodiment. With such a configuration, even when the saturation image 53 created by the saturation image creating unit 23 contains a lot of noise, the saturation extraction is performed by more appropriately extracting the symbol corresponding to the detection target.
- the image 54 can be created.
- the extraction image creation unit 24 creates the saturation extraction image 54 by performing the contraction processing and the expansion processing on the saturation image 53 created by the saturation image creation unit 23.
- the extraction image creating unit 24 binarizes (binarizes) the saturation image 53 and then performs contraction processing and expansion processing. May be performed to create the saturation extraction image 54, and the present invention is not limited to the configuration of the first embodiment. With such a configuration, it is possible to simplify the contraction process and the expansion process, and to easily remove the pattern of a size different from the detection target.
- the bird's-eye view image 51 is used as the original color image of the luminance image 52 and the saturation image 53.
- the color image is the source for the brightness image creation unit 22 to create the brightness image 52 and the saturation image creation unit 23 for creating the saturation image 53, the color image is around the vehicle 1. It may be acquired by a camera that acquires a part of the image, or may be acquired by a camera provided at a location different from that of the vehicle 1, and is not limited to the configuration of the first embodiment.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Abstract
計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる画像処理装置を提供する。 カメラ(15)が取得したカラー画像(51)における輝度分布を示す輝度画像(52)を作成する輝度画像作成部(22)と、カラー画像(51)における彩度分布を示す彩度画像(53)を作成する彩度画像作成部(23)と、輝度画像(52)と彩度画像(53)とを合成して所定の対象物を検出するための解析画像(55)を作成する解析画像作成部(25)と、を備える。
Description
本開示は、カラー画像を処理する画像処理装置に関する。
一般に、カメラで取得したカラー画像を輝度画像としてから解析することで、白線等の検出対象を検出する画像処理装置が知られている。しかしながら、画像処理装置は、検出対象が白色以外であると、輝度画像としてから解析しても検出対象を適切に検出できない場合がある。そこで、画像処理装置は、白色以外の検出対象でも検出できるものが考えられている(例えば、特許文献1参照)。
この画像処理装置は、カラー画像におけるRGBの各色信号の強度を個別に求めて、検出対象の色に応じて各色信号の組み合わせを変化させることで、検出対象のコントラストが最大となる組み合わせを求め、検出対象の色に応じて各色信号を組み合わせることで、検出対象の検出を可能としている。
しかしながら、この画像処理装置は、カラー画像における検出対象の色に応じて各色信号の組み合わせを変化させる必要があるので、解析する検出対象の色に応じて組み合わせを求めることや、解析するカラー画像毎に検出対象のコントラストが最大となる組み合わせを求めることとなる。このため、この画像処理装置は、検出対象を検出するための計算負荷が大きくなってしまう。
本開示は、上記の事情に鑑みて為されたもので、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる画像処理装置を提供することを目的とする。
上記した目的を達成するために、本開示の画像処理装置は、カメラが取得したカラー画像における輝度分布を示す輝度画像を作成する輝度画像作成部と、前記カラー画像における彩度分布を示す彩度画像を作成する彩度画像作成部と、前記輝度画像と前記彩度画像とを合成して所定の対象物を検出するための解析画像を作成する解析画像作成部と、を備えることを特徴とする。
このように構成された本開示の画像処理装置は、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成できる。
以下に、本開示に係る画像処理装置の一例としての実施例1の画像処理装置10について図面を参照しつつ説明する。
本開示の実施例1の画像処理装置10について、図1から図17を用いて説明する。画像処理装置10は、カメラ15で取得したカラー画像における所定の対象物の検出が容易となる画像を作成するための画像処理を行うものであり、実施例1では車両1(図2参照)に搭載された車載用とされている。なお、画像処理装置10は、車載用の画像処理装置に限定されるものではなく、例えばスマートフォン、タブレット端末およびPDA(Personal Data Assistance)等であってもよい。この場合、画像処理は、これらの装置にインストールされたアプリケーションプログラムによって提供される。この画像処理装置10は、例えば、駐車場での駐車の操作を支援する駐車支援機能や、走行している車線を維持させるレーンキープ機能や、地図や付随する情報の表示、出発地(または現在地)から目的地までの推奨経路の探索、経路誘導および道路交通情報などの表示等のナビゲーション機能等を、併せて備えていてもよい。
画像処理装置10は、図1に示すように、制御部11と記憶部12とを備え、表示部13と操作部14とカメラ15とが、通信プロトコルとしてのCAN(Controller Area Network)等の車載ネットワークを介して制御部11と接続されて構成されている。
記憶部12は、画像処理を実行するためのプログラムや、その他の機能を実行するためのプログラムや、それらのプログラムで必要となる情報のうちで書き換えをせずに利用される情報を事前に格納している。記憶部12は、格納する情報が制御部11により適宜読み出すことが可能とされている。
表示部13は、画像処理により作成した後述する解析画像55(図13参照)を表示するもので、例えば、液晶ディスプレイや有機ELディスプレイなどで構成される。また、表示部13は、上記した各機能を有する場合、駐車支援機能のための支援画像や、レーンキープ機能のための表示画像や、ナビゲーション機能のための経路画像等も適宜表示する。
操作部14は、使用者からの指示入力を受け付けるもので、画像処理の実行の有無を指定することができる。また、操作部14は、上記した各機能を有する場合、駐車支援機能やレーンキープ機能の実行の有無を指定や、ナビゲーション機能のための目的地の入力を可能とする。操作部14は、実施例1では、タッチパネルの機能を搭載するものとされた表示部13や、その周囲に設けられた各スイッチで構成される。
カメラ15は、画像処理に用いるために車両1の周辺の所定の範囲のカラー画像を取得するもので、実施例1では、車両1の全周囲のカラー画像を取得してカラーの俯瞰画像51(図2参照)を形成するために車両1の前後左右の4箇所に設けられている。なお、カメラ15は、車両1の前部に設けられて前方(進行方向前側)のカラー画像を取得する単一の広角な魚眼レンズを備えたものでもよく、ドライブレコーダや衝突防止機構のために設けられたものでもよい。カメラ15は、取得したカラー画像を示す画像データを制御部11に出力する。
制御部11は、俯瞰画像作成部21と輝度画像作成部22と彩度画像作成部23と抽出画像作成部24と解析画像作成部25と対象検出部26とメモリ部27とを有する。このメモリ部27を除く制御部11の各部は、プログラムにより構成されている。なお、これらの各部は、電子回路により専用に構成されていてもよく、実施例1の構成に限定されない。メモリ部27は、制御部11の各部における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が適宜書き込まれ、それらが制御部11の各部により適宜読み取られる。メモリ部27は、制御部11が行う各処理のためのプログラムを記憶していてもよい。
俯瞰画像作成部21は、カメラ15からカラー画像(画像データ)が入力されると、そのカラー画像を視点変換し、上方から地面を見下ろしたようなカラーの俯瞰画像51(図2等参照)を作成する(俯瞰画像形成処理)。俯瞰画像作成部21は、記憶部12から、カメラ15の設置位置や角度(ピッチ角、ヨー角、ロール角、カメラ高さ)の設計値(外部パラメータ)や、カメラ15の焦点距離、画素サイズ、光軸中心、歪み関数等(内部パラメータ)のカメラパラメータを取得する。俯瞰画像作成部21は、取得した歪み関数を用いてレンズによる画像の歪みを補正する歪み補正処理を行う。俯瞰画像作成部21は、周知のカメラの幾何変換式を使い、世界座標で示される俯瞰画像51におけるすべての座標位置の画素の出力値(各色の輝度値を含む信号値)を、歪み補正した画像の対応する画素の出力値(信号値)に基づいて作成する。このとき、俯瞰画像作成部21は、俯瞰画像51の特定の画素に対応する歪み補正した画像の画素が無い場合には、周知の輝度の補間処理により周辺画素の各出力値に基づいて特定の画素の出力値を求める。さらに、俯瞰画像作成部21は、カメラ15すなわち前後左右の4つのカメラの隣り合う撮影画像を、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ1枚の画像として繋ぎ合わせることで、車両1の取り囲む俯瞰画像51を作成する。
実施例1の俯瞰画像51は、図2に示すように、車両1が駐車場にいる状態を示しており、正面視して車両1の上側に車両1の影2を写しているとともに、そのさらに上方に駐車スペースを示すアスファルト等の地面に描かれた複数の線3を写している。なお、俯瞰画像作成部21は、俯瞰画像51(その画像データ)を作成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例1に限定されない。
輝度画像作成部22と彩度画像作成部23とは、このカラーの俯瞰画像51に基づいて、後述する輝度画像52(図3参照)や彩度画像53(図4参照)を作成する。このため、俯瞰画像51は、カメラで取得されたカラー画像として機能する。輝度画像作成部22と彩度画像作成部23とは、抽出画像作成部24や解析画像作成部25とともに、互いに等しいサイズ(画素数)の各画像(後述する輝度画像52、彩度画像53、彩度抽出画像54、解析画像55)を作成する。なお、各作成部(22、23、24、25)は、互いに等しいサイズで各画像を作成するものであれば、下記に示すように図2に示す俯瞰画像51における一部の領域(図2、図3頭参照)に対して各処理を行うものでもよく、俯瞰画像51全体に対して行うものでもよい。
輝度画像作成部22は、俯瞰画像51(カラー画像)における輝度データに基づいて、各画素における輝度値(輝度分布)を求めて、画素毎の輝度値の大きさ(0から255の値)で示すモノクロ画像である輝度画像52(図3参照)を作成する輝度画像作成処理を行う。輝度画像作成部22は、俯瞰画像51がYUVデータである場合には、各画素におけるそのY値を用い、俯瞰画像51がRGBデータである場合には、各画素において各色(RGB)の輝度値を合算したものを用いる。この輝度画像52は、俯瞰画像51(カラー画像)における輝度分布を、画素毎の輝度値で示したものとなる。図3に示す輝度画像52は、図2に示す俯瞰画像51における一点鎖線で囲んだ領域に対応させている。ここで、輝度画像52は、俯瞰画像51における各線3が白色である場合、各線3の輝度値が十分に大きくなり、はっきりと写ることとなる。図3に示す輝度画像52は、俯瞰画像51における各線3が黄色であって各線3の輝度値があまり大きくないので、薄く写っている(図3では薄いことを示すために描く線を細くしている)。
彩度画像作成部23は、俯瞰画像51(カラー画像)における彩度データに基づいて、各画素における彩度値(彩度分布)を求める。そして、彩度画像作成部23は、画素毎の彩度値の大きさを輝度値の大きさに置き換えて、その置き換えた画素毎の輝度値の大きさで示すモノクロ画像である彩度画像53(図4参照)を作成する彩度画像作成処理を行う。図4に示す彩度画像53は、図2に示す俯瞰画像51における一点鎖線で囲んだ領域を示している。実施例1の彩度画像作成部23は、次のように彩度画像53を作成する。
先ず、彩度画像作成部23は、俯瞰画像51がYUVデータである場合には、画素毎に例えば下記の式(1)を用いてRGBデータに変換する変換処理を行う。なお、彩度画像作成部23は、俯瞰画像51がRGBデータである場合には変換処理は行わない。
R値=Y値+1.402×V値
G値=Y値-0.344×U値-0.714×V値 ・・・・(1)
B値=Y値+1.772×U値
R値=Y値+1.402×V値
G値=Y値-0.344×U値-0.714×V値 ・・・・(1)
B値=Y値+1.772×U値
次に、彩度画像作成部23は、各画素において、R値、G値、B値のうち、最も大きな値となるものを最大値V1とし、最も小さな値となるものを最小値V2とする。そして、彩度画像作成部23は、円柱モデルのHSVに基づいて画素毎の彩度値(S値)を下記の式(2)を用いて求める彩度算出処理を行う。
S値=(V1-V2)/V1 ・・・・(2)
これにより、彩度画像作成部23は、画素毎に正規化したS値を取得できる。
S値=(V1-V2)/V1 ・・・・(2)
これにより、彩度画像作成部23は、画素毎に正規化したS値を取得できる。
次に、彩度画像作成部23は、各画素において、下記の式(3)に示すように、正規化したS値に係数Aを乗算することで、画素毎の彩度値の大きさを輝度値の大きさに置き換えたSb値を求める置換処理を行う。この係数Aは、正規化したS値を用いて輝度値の大きさとするもので、実施例1ではモノクロ画像である輝度画像52のスケールに合わせて255とする。
Sb値=S値×A ・・・・(3)
Sb値=S値×A ・・・・(3)
そして、彩度画像作成部23は、求めた画素毎のSb値を用いて、画素毎の輝度値の大きさで示すモノクロ画像である彩度画像53(図4参照)を作成する。この彩度画像53は、俯瞰画像51(カラー画像)における彩度分布を、変換した画素毎の輝度値で示したものとなる。図4に示す彩度画像53は、図3に示す輝度画像52と同様に、図2に示す俯瞰画像51における一点鎖線で囲んだ領域を示している。ここで、彩度画像53は、俯瞰画像51における各線3が黄色であっても各線3の彩度値が十分に大きく、はっきりと写っている。なお、彩度画像作成部23は、俯瞰画像51(カラー画像)における彩度データに基づいて、画素毎の彩度値の大きさを輝度値の大きさに置き換えたモノクロ画像である彩度画像53を作成するものであればよく、実施例1の構成に限定されない。
抽出画像作成部24は、彩度画像作成部23が作成した彩度画像53において、検出対象に相当する図柄を抽出する抽出処理を行って、彩度抽出画像54(図5参照)を作成する。なお、この図柄は、彩度画像53に写っているものであって、地面に描かれた線および標識や地面に形成された影等を含むものである。図5に示す彩度抽出画像54は、彩度画像53(図4参照)において、各線3を検出対象とした場合であって、各線3を抽出することで検出対象とは異なる影2が除去されている。
実施例1の抽出画像作成部24は、彩度画像53に対して、収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像54を作成する。この収縮処理と膨張処理とについて、図6から図12を用いて説明する。図6は、収縮処理と膨張処理との理解を容易とするための一例としての彩度画像53を示すもので、左側に検出対象よりも大きな図柄D1を示し、真ん中に検出対象としての図柄D2を示し、右側に検出対象よりも小さな図柄D3を示す。各図柄(D1、D2、D3)は、彩度画像53において、比較のために等しい縦寸法(10画素)とされており、互いに幅寸法が異なるものとされている。図柄D1は、彩度画像53において8画素の幅とされた線状とされており、外周の1画素分が真ん中よりも低い彩度値(輝度値)とされている。図柄D2(検出対象)は、彩度画像53において4画素の幅とされた線状とされており、外周の1画素分が真ん中よりも低い彩度値(輝度値)とされている。図柄D3は、彩度画像53において2画素の幅とされた線状とされており、図柄D1や図柄D2の真ん中と等しい彩度値(輝度値)とされている。
抽出画像作成部24は、図7に示すように、フィルタFを用いて収縮処理および膨張処理を行う。図7は、彩度画像53の図柄D1の下端近傍を拡大して示したものに、フィルタFを3つのパターン(以下ではF1、F2、F3とする)で配置して収縮処理および膨張処理を行った場合を説明するためのものである。抽出画像作成部24は、この例では、3×3の枠とされた9画素のサイズのフィルタFを用いており、中心の枠に位置する画素を、収縮処理の場合には周辺の8つの枠の画素のうちの最も低い彩度値(輝度値)に変換し、膨張処理の場合には周辺の8つの枠の画素のうちの最も高い彩度値(輝度値)に変換する。
1つ目のパターンのフィルタF1は、図柄D1の左下端の低い彩度値とされた画素G1に真ん中の枠が合わせて配置されて、画素G1を変換させる。フィルタF1は、収縮処理の場合には画素G1を図柄D1の外方の0(零)の彩度値とし、膨張処理の場合には画素G1を図柄D1の中央の高い彩度値とする。
2つ目のパターンのフィルタF2は、図柄D1の真ん中の高い彩度値とされた中に全ての枠が収まるように真ん中の枠が画素G2に合わせて配置されて、画素G2を変換させる。フィルタF2は、収縮処理の場合であっても膨張処理の場合であっても、画素G2を高い彩度値とする。
3つ目のパターンのフィルタF3は、図柄D1の左外側の0(零)の彩度値とされた画素G3に真ん中の枠が合わせて配置されて、画素G3を変換させる。フィルタF3は、収縮処理の場合には画素G3を図柄D1の周辺の0(零)の彩度値とし、膨張処理の場合には画素G3を図柄D1における外周の低い彩度値とする。
抽出画像作成部24は、上記したように、フィルタFを用いた収縮処理を、元となる彩度画像53の全画素に対して行うことで、彩度画像53の図柄を1画素分だけ小さくする。また、抽出画像作成部24は、上記したように、フィルタFを用いた膨張処理を、元となる彩度画像53の全画素に対して行うことで、彩度画像53の図柄を1画素分だけ大きくする。なお、抽出画像作成部24は、上記したように、フィルタFの全ての枠内が0(零)の彩度値であると、収縮処理の場合であっても膨張処理の場合であっても0(零)の彩度値とする。ここで、収縮処理および膨張処理は、彩度画像53における対象とした領域の全ての画素に対して行うので、図柄の全ての方向から1画素分だけ小さくしたり大きくしたりする。このため、抽出画像作成部24は、検出対象における縦寸法および幅寸法のうちの小さな寸法の半分の回数だけ収縮処理を行うことで、検出対象を除去できることとなる。抽出画像作成部24は、このことを用いて、検出対象を除去できる回数の収縮処理を行い、その後に同じ回数で膨張処理を行うことで、処理画像56を作成する。
先ず、抽出画像作成部24は、図6に示す彩度画像53に対して1回の収縮処理を行い、図8に示すように、図柄D1を一回り小さくし、図柄D2を一回り小さくするとともに低い彩度値とし、図柄D3を0(零)の彩度値として除去した彩度画像53とする。次に、抽出画像作成部24は、図8に示す彩度画像53に対して1回の収縮処理を行い、図9に示すように、図柄D1を一回り小さくし、図柄D2を0(零)の彩度値として除去し、図柄D3を除去したままの彩度画像53とする。
次に、抽出画像作成部24は、図9に示す彩度画像53に対して1回の膨張処理を行い、図10に示すように、図柄D1を一回り大きくし、除去された図柄D2および図柄D3に対しては0(零)の彩度値とされているので除去したままの彩度画像53とする。次に、抽出画像作成部24は、図10に示す彩度画像53に対して1回の膨張処理を行い、図11に示すように、図柄D1を一回り大きくし、除去された図柄D2および図柄D3に対しては引き続き何らの変化はさせない彩度画像53とする。これにより、抽出画像作成部24は、彩度画像53から検出対象としての図柄D2よりも大きい図柄(この例では図柄D1)のみを残した彩度画像53としての処理画像56を作成する。
そして、抽出画像作成部24は、図6に示す元の彩度画像53から図11に示す処理画像56(それらの各画素の彩度値(輝度値))を減算することで、図12に示す彩度抽出画像54を作成する。この彩度抽出画像54は、彩度画像53から検出対象としての図柄D2よりも大きな図柄(図柄D1)を除去したものとなる。このように、抽出画像作成部24は、彩度画像53に対して、収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去した彩度抽出画像54を作成する。
解析画像作成部25は、基本的に、輝度画像作成部22が作成した輝度画像52(図3参照)と、彩度画像作成部23が作成した彩度画像53(図4参照)と、を合成して、所定の対象物(検出対象)を検出するための解析画像55(図13参照)を作成する。解析画像作成部25は、互いに等しいサイズ(画素数)である輝度画像52および彩度画像53において、画素毎に、輝度画像52における輝度値と、彩度画像53における輝度値(彩度値を置き換えたもの)と、を加算することで、画素毎の輝度値の大きさで示すモノクロ画像である解析画像55を作成する。
実施例1の解析画像作成部25は、彩度画像作成部23が作成した彩度画像53に代えて、抽出画像作成部24が作成した彩度抽出画像54(図5参照)と輝度画像52とを合成して、図13に示す解析画像55を作成する。解析画像作成部25は、彩度画像53の場合と同様に、輝度画像52と彩度抽出画像54とを合成する。これらのことから、輝度画像作成部22と彩度画像作成部23と抽出画像作成部24と解析画像作成部25とは、カメラ15が取得したカラー画像(俯瞰画像51)に基づいて解析画像55を作成する画像処理機能を実現する画像処理装置として機能する。
対象検出部26は、解析画像作成部25が作成した解析画像55を解析して、解析画像55における検出対象に相当する図柄を検出する。対象検出部26は、解析画像55に対してエッジ抽出処理を施し、エッジ抽出処理で得られた画像において検出対象の大きさや形状を示す理論比較領域を抽出することで、検出対象(図柄)を抽出する。なお、対象検出部26は、検出対象に相当する図柄を抽出するものであれば、他の方法で抽出してもよく、実施例1の構成に限定されない。実施例1では、各線3を検出対象としているので、対象検出部26は、解析画像55における各線3を検出する。
次に、画像処理装置10において、制御部11の制御下で、カメラ15が取得したカラー画像における検出対象を検出する画像処理の一例について、図14を用いて説明する。図14は、実施例1における制御部11で実行される画像処理を示すフローチャートである。この画像処理は、記憶部12に記憶されたプログラムに基づいて制御部11が実行する。以下では、図14のフローチャートの各ステップ(各工程)について説明する。図14のフローチャートは、画像処理装置10の電源が投入されてカメラ15が取得したカラー画像(そのデータ)が制御部11に出力されることにより開始される。
ステップS1は、俯瞰画像51を作成し、ステップS2へ進む。ステップS1は、俯瞰画像作成部21が、カメラ15から入力されたカラー画像(画像データ)に基づいて、カラーの俯瞰画像51(図2参照)を作成する。
ステップS2は、輝度画像52を作成し、ステップS3へ進む。ステップS2は、輝度画像作成部22が、俯瞰画像51に基づいて、画素毎の輝度値の大きさで示すモノクロ画像である輝度画像52(図3参照)を作成する。
ステップS3は、彩度画像53を作成し、ステップS4へ進む。ステップS3は、彩度画像作成部23が、俯瞰画像51に基づいて、画素毎の彩度値の大きさを置き換えた輝度値の大きさで示すモノクロ画像である彩度画像53(図4参照)を作成する。なお、ステップS2とステップS3とは、順番を逆にしてもよく、同時に行ってもよく、実施例1の構成に限定されない。
ステップS4は、彩度抽出画像54を作成し、ステップS5へ進む。ステップS4は、抽出画像作成部24が、彩度画像53に基づいて、検出対象よりも大きな図柄を除去して彩度抽出画像54(図5参照)を作成する。
ステップS5は、解析画像55を作成し、ステップS6へ進む。ステップS5は、解析画像作成部25が、ステップS2で作成した輝度画像52と、ステップS4で作成した彩度抽出画像54とを合成して解析画像55(図13参照)を作成する。このステップS2からステップS5は、カメラ15が取得したカラー画像(俯瞰画像51)に基づいて解析画像55を作成する工程となる。
ステップS6は、解析画像55における検出対象を検出して、この画像処理を終了する。ステップS6は、対象検出部26が、ステップS5で作成した解析画像55を解析して、解析画像55における検出対象(図示の例では各線3)を検出する。制御部11は、この検出結果を様々な機能に用いる。制御部11は、例えば、検出対象としての各線3の位置に基づいて駐車支援機能を実現したり、レーンキープ機能を実現したりすることができる。
このように、制御部11は、カメラ15が取得したカラー画像に基づく俯瞰画像51から作成した輝度画像52と彩度抽出画像54(彩度画像53)を合成して、解析画像55を作成することで、対象検出部26での解析による所定の対象物の検出を容易とする。制御部11は、画像処理により作成した解析画像55または検出対象の検出結果を適宜表示部13に表示させる。
ここで、検出対象は、例えば、実施例1の各線3のように地面に描かれた図形とされる。その図形は、白色で地面に描かれることが多く輝度値が高いので、カメラ15が取得したカラー画像を輝度画像としてから解析することで、適切に検出することができる。ところが、その図形(検出対象)は、白色の他にも黄色や赤色や緑色等で描かれることも少なくない。すると、白色以外の検出対象は、輝度値が低い場合が多く、人間の目視でははっきりと認識できる場合であっても、輝度画像としてから解析しても適切に検出できないことが少なくない。また、カメラ15からのカラー画像は、暗い環境下で取得された場合、全体的な輝度値が低下することで輝度画像とした際に十分なコントラストが得られず、人間の目視では認識できる場合であっても、輝度画像を解析しても検出対象を適切に検出できないこともある。
そこで、従来の画像処理装置は、カラー画像におけるRGBの各色信号の強度を個別に求めて、検出対象の色に応じて各色信号の組み合わせを変化させることで、検出対象のコントラストが最大となる組み合わせを求める。そして、従来の画像処理装置は、検出対象の色に応じて各色信号を組み合わせることで、検出対象の検出を可能としている。しかしながら、従来の画像処理装置は、このような算出処理を行うので、検出対象を検出するための計算負荷が大きくなってしまう。
これに対して、本開示の画像処理装置10は、検出対象の色に拘わらず、カメラ15が取得したカラー画像(俯瞰画像51)に基づいて、輝度画像52に加えて彩度画像53を作成し、それらを合成して解析画像55を作成する。ここで、白色以外の検出対象は、人間の目視でははっきりと認識できる場合、輝度値が低くても彩度値が高いことが考えられる。そして、画像処理装置10は、輝度画像52と彩度画像53とを合成することで、輝度値が高い箇所と、彩度値が高い箇所と、の双方を強調した解析画像55を作成できる。これにより、画像処理装置10は、解析画像55を解析するだけで、輝度が高い箇所と彩度が高い箇所との双方、すなわち白色の検出対象と白色以外の検出対象との双方を検出することができ、検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。
また、画像処理装置10は、彩度画像53を、俯瞰画像51(カラー画像)の画素毎の彩度値の大きさ(彩度分布)を輝度値の大きさに置き換えて、その置き換えた画素毎の輝度値の大きさで示すモノクロ画像としている。このため、画像処理装置10は、輝度画像52と彩度画像53との双方とも輝度値の大きさで示すモノクロ画像とすることができ、それらを合成した解析画像55も輝度値の大きさで示すモノクロ画像とすることができる。これにより、画像処理装置10は、従来の輝度画像52を解析して検出対象を検出するものと全く同じ方法で、解析画像55を解析して検出対象を検出できる。よって、画像処理装置10は、従来と同様に解析画像55を解析するだけの簡易な工程で、検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。
さらに、画像処理装置10は、彩度画像53に代えて、彩度抽出画像54と輝度画像52とを合成して、解析画像55を作成している。ここで、彩度画像53は、元となる俯瞰画像51(カラー画像)において、例えば、地面が夕日で照らされていたりライトで照明されていたりする等のように有色の光が当てられていると、検出対象とは異なる領域(図4の例では影2)の彩度が高められたり、全体の彩度が高められたりする。そして、このような彩度画像53を輝度画像52に合成して解析画像55を作成すると、その解析画像55において検出対象ではない領域の輝度値も高くなって、検出対象の適切な検出が困難となる場合がある。これに対して、画像処理装置10は、彩度画像53における検出対象よりも大きな図柄を除去して彩度抽出画像54を作成し、その彩度抽出画像54と輝度画像52とを合成して解析画像55を作成している。このため、画像処理装置10は、有色の光が当てられている彩度画像53であっても、彩度抽出画像54において検出対象よりも大きな図柄が除去されているので、解析画像55において輝度値の高い検出対象よりも大きな領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
本開示に係る画像処理装置の一実施例の画像処理装置10は、以下の各作用効果を得ることができる。
画像処理装置10は、カメラ15が取得したカラー画像(実施例1では俯瞰画像51)における輝度分布を示す輝度画像52を作成する輝度画像作成部22と、カラー画像における彩度分布を示す彩度画像53を作成する彩度画像作成部23と、輝度画像52と彩度画像53とを合成して所定の対象物を検出するための解析画像55を作成する解析画像作成部25と、を備える。このため、画像処理装置10は、輝度値が高い箇所と彩度値が高い箇所との双方を強調した解析画像55を作成できるので、その解析画像55を解析するだけで検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。これにより、画像処理装置10は、検出対象の色に拘わらず輝度画像52と彩度画像53とから作成した解析画像55を解析するだけでよいので、従来の画像処理装置と比較して計算負荷が高くなることを防止しつつ、検出対象の適切な検出を可能とすることができる。
特に、画像処理装置10は、カラー画像(俯瞰画像51)に基づいて、画素毎に、正規化したS値(彩度値)を求め、そのS値に係数Aを乗算して輝度画像52のスケールに合わせた輝度値であるSb値を求めている。そして、画像処理装置10は、各画素のSb値を用いて彩度画像53を作成している。このため、画像処理装置10は、カラー画像(俯瞰画像51)が暗い環境下で取得されたものであっても、明るい環境下で取得された場合と同様の彩度分布を、変換した画素毎の輝度値で示した彩度画像53を作成できる。これにより、画像処理装置10は、カラー画像(俯瞰画像51)を取得した際の明るさに拘わらず、検出対象の適切な検出を可能とすることができる。
また、画像処理装置10は、彩度画像53において、検出対象に相当する図柄を抽出した彩度抽出画像54を作成する抽出画像作成部24を備え、解析画像作成部25は、彩度画像53に代えて彩度抽出画像54を輝度画像52と合成して解析画像55を作成する。このため、画像処理装置10は、有色の光が当てられている彩度画像53であっても、彩度抽出画像54において検出対象に相当する図柄が抽出されているので、解析画像55において輝度値の高い検出対象とは異なる領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
さらに、画像処理装置10は、抽出画像作成部24が、彩度画像53に対して収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像54を作成する。このため、画像処理装置10は、簡単な工程で検出対象よりも大きな図柄を除去した彩度抽出画像54を作成することができ、解析画像55において輝度値の高い検出対象よりも大きな領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
画像処理装置10は、カラー画像を、上方から平面視(俯瞰)する俯瞰画像51としている。このため、画像処理装置10は、車両1において、運転を支援するための俯瞰画像51における検出対象の適切な検出を可能とすることができ、より適切な運転の支援を可能とすることができる。
したがって、本開示に係る画像処理装置としての実施例1の画像処理装置10は、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる。
以上、本開示の画像処理装置を実施例1に基づき説明してきたが、具体的な構成については実施例1に限られるものではなく、請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
例えば、実施例1では、抽出画像作成部24が、彩度画像53に対して収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像54を作成するものとしている(図12、図13参照)。しかしながら、抽出画像作成部24が、彩度画像53に対して収縮処理と膨張処理とを行うことで、検出対象よりも小さな図柄も併せて除去した彩度抽出画像54、すなわち検出対象とは異なる大きさの図柄を除去した彩度抽出画像54を作成するものとしてもよく、実施例1の構成に限定されない。この一例を、図6、図12に加えて、図15から図17を用いて説明する。
抽出画像作成部24は、検出対象を除去することのない最も大きな回数だけ収縮処理を行った後に、膨張処理を行って彩度画像53としての処理画像561(図15参照)を作成する。図6に示す彩度画像53の例では、検出対象としての図柄D2が4画素の幅とされた線状とされているので、1回の収縮処理を行った後に1回の膨張処理を行う。すると、抽出画像作成部24は、図15に示すように、図柄D1が元の図6の彩度画像53と同じものとされ、図柄D2が元の図6の彩度画像53から中央の輝度値が低下されたものとされ、図柄D3が除去された処理画像561を作成する。その後、抽出画像作成部24は、図6に示す元の彩度画像53から図15に示す処理画像561(それらの各画素の彩度値(輝度値))を減算することで、図16に示す処理画像562(彩度画像53)を作成する。そして、抽出画像作成部24は、図12に示す彩度抽出画像54から図16に示す処理画像563(それらの各画素の彩度値(輝度値))を減算することで、図17に示す彩度抽出画像54を作成する。この図17の彩度抽出画像54は、彩度画像53から検出対象としての図柄D2とは異なる大きさの図柄(D1、D3)を除去したものとなる。画像処理装置10は、このように作成した彩度抽出画像54を輝度画像52に合成して解析画像55を作成することで、検出対象のより適切な検出を可能とすることができる。
また、実施例1では、抽出画像作成部24が、彩度画像53に対して収縮処理と膨張処理とを行うことで彩度抽出画像54を作成している。すなわち、実施例1では、抽出画像作成部24が、検出対象よりも大きな図柄を除去(上記したように併せて小さな図柄を除去する場合も含む)することで、結果として検出対象を抽出した彩度抽出画像54を作成するものとしている。しかしながら、抽出画像作成部24は、彩度画像53において検出対象に相当する図柄を抽出した彩度抽出画像54を作成するものであればよく、実施例1の構成に限定されない。この一例として、抽出画像作成部24は、彩度画像53を画像解析することで検出対象に相当する大きさの図柄を抽出することで、彩度抽出画像54を作成するものにできる。この場合、抽出画像作成部24は、彩度画像53に対してエッジ抽出処理を施し、エッジ抽出処理で得られた画像において検出対象の大きさや形状を示す理論比較領域を抽出することで、検出対象(図柄)を抽出する。なお、抽出画像作成部24は、検出対象に相当する図柄を抽出するものであれば、他の方法で抽出してもよく、この構成に限定されない。このような構成とすると、画像処理装置10は、簡単な工程で検出対象に相当する図柄を抽出した彩度抽出画像54を作成することができ、解析画像55において輝度値の高い検出対象とは異なる領域をなくすことができ、検出対象の適切な検出を可能とすることができる。
さらに、実施例1では、抽出画像作成部24が、3×3の枠とされた9画素のサイズのフィルタFを用いて収縮処理および膨張処理を行っている。しかしながら、フィルタFは、中心の枠に位置する画素の彩度値(輝度値)に、周辺の複数の枠に位置する彩度値(輝度値)を採用することで、収縮処理および膨張処理を行うものであれば、枠の数(画素数)は適宜設定すればよく、実施例1の構成に限定されない。
実施例1では、抽出画像作成部24が、Sb値を求める際にS値(彩度値)に乗算する係数Aを255としている。しかしながら、係数Aは、輝度値(輝度画像52)と彩度値(彩度画像53)とのバランスを考慮して適宜設定すればよく、実施例1の構成に限定されない。
実施例1では、抽出画像作成部24が、彩度画像作成部23が作成した彩度画像53に対して抽出処理を行うことで、彩度抽出画像54を作成している。しかしながら、抽出画像作成部24は、彩度画像53に基づいて彩度抽出画像54を作成するものであれば、彩度画像53を平滑化した後に抽出処理を行って彩度抽出画像54を作成してもよく、実施例1の構成に限定されない。このような構成とすると、彩度画像作成部23が作成した彩度画像53に多くのノイズが含まれている場合であっても、検出対象に相当する図柄をより適切に抽出した彩度抽出画像54を作成することができる。
実施例1では、抽出画像作成部24が、彩度画像作成部23が作成した彩度画像53に対して収縮処理および膨張処理を行うことで、彩度抽出画像54を作成している。しかしながら、抽出画像作成部24は、彩度画像53に基づいて彩度抽出画像54を作成するものであれば、彩度画像53を2値化(2値化処理)した後に収縮処理および膨張処理を行って彩度抽出画像54を作成してもよく、実施例1の構成に限定されない。このような構成とすると、収縮処理および膨張処理を簡易なものとしつつ、検出対象とは異なる大きさの図柄の除去を容易なものにできる。
実施例1では、輝度画像52と彩度画像53との元となるカラー画像として、俯瞰画像51を用いている。しかしながら、カラー画像は、輝度画像作成部22が輝度画像52を作成する元となるとともに、彩度画像作成部23が彩度画像53を作成する元となるものであれば、車両1の周囲の一部の画像を取得するカメラが取得したものでもよく、車両1とは異なる箇所に設けられたカメラが取得したものでもよく、実施例1の構成に限定されない。
本出願は、2019年3月1日に日本国特許庁に出願された特願2019-037647に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。
Claims (6)
- カメラが取得したカラー画像における輝度分布を示す輝度画像を作成する輝度画像作成部と、
前記カラー画像における彩度分布を示す彩度画像を作成する彩度画像作成部と、
前記輝度画像と前記彩度画像とを合成して所定の対象物を検出するための解析画像を作成する解析画像作成部と、を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
さらに、前記彩度画像において、検出対象に相当する図柄を抽出した彩度抽出画像を作成する抽出画像作成部を備え、
前記解析画像作成部は、前記彩度画像に代えて前記彩度抽出画像を前記輝度画像と合成して前記解析画像を作成することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
さらに、前記彩度画像に対して収縮処理と膨張処理とを行うことで、前記彩度画像から検出対象よりも大きな図柄を除去した彩度抽出画像を作成する抽出画像作成部を備え、
前記解析画像作成部は、前記彩度画像に代えて前記彩度抽出画像を前記輝度画像と合成して前記解析画像を作成することを特徴とする画像処理装置。 - 前記抽出画像作成部は、前記彩度画像に対して前記収縮処理と前記膨張処理とを行うことで、前記検出対象とは異なる大きさの図柄を除去して前記彩度抽出画像を作成することを特徴とする請求項3に記載の画像処理装置。
- 前記抽出画像作成部は、前記彩度画像を画像解析することで前記検出対象に相当する大きさの図柄を抽出して前記彩度抽出画像を作成することを特徴とする請求項2に記載の画像処理装置。
- 前記カラー画像は、上方から平面視する俯瞰画像であることを特徴とする請求項1から請求項5までのいずれか1項に記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/434,738 US11989857B2 (en) | 2019-03-01 | 2019-08-21 | Image processing device |
EP19918425.0A EP3933770A4 (en) | 2019-03-01 | 2019-08-21 | IMAGE PROCESSING DEVICE |
CN201980092420.8A CN113498518A (zh) | 2019-03-01 | 2019-08-21 | 图像处理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019037647A JP7244301B2 (ja) | 2019-03-01 | 2019-03-01 | 画像処理装置 |
JP2019-037647 | 2019-03-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020179103A1 true WO2020179103A1 (ja) | 2020-09-10 |
Family
ID=72265005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/032537 WO2020179103A1 (ja) | 2019-03-01 | 2019-08-21 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11989857B2 (ja) |
EP (1) | EP3933770A4 (ja) |
JP (1) | JP7244301B2 (ja) |
CN (1) | CN113498518A (ja) |
WO (1) | WO2020179103A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220143323A (ko) * | 2021-04-16 | 2022-10-25 | 주식회사 에이치엘클레무브 | 차선 분류 딥러닝 모델의 학습데이터 생성 방법 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003032669A (ja) | 2001-07-11 | 2003-01-31 | Hitachi Ltd | 車載用画像処理カメラ装置 |
JP2008107941A (ja) * | 2006-10-24 | 2008-05-08 | Mitsubishi Electric Corp | 監視装置 |
JP2015064753A (ja) * | 2013-09-25 | 2015-04-09 | 三菱電機株式会社 | 画像処理装置 |
JP2019037647A (ja) | 2017-08-28 | 2019-03-14 | 広美 市島 | 取付具 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4215038B2 (ja) * | 2005-09-16 | 2009-01-28 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
KR100860965B1 (ko) * | 2006-12-11 | 2008-09-30 | 삼성전자주식회사 | 노이즈 저감기능을 갖는 적응적 채도 향상 장치 및 방법 |
KR101594294B1 (ko) * | 2009-04-14 | 2016-02-26 | 삼성전자주식회사 | 화이트 장면 인식을 위한 디지털 영상 신호 처리 방법, 상기 방법을 실행하는 디지털 영상 신호 처리 장치 및 상기 방법을 기록한 기록 매체 |
CN101964873B (zh) * | 2009-07-21 | 2014-08-20 | 株式会社尼康 | 图像处理装置、图像处理程序及摄像装置 |
EP2557540B1 (en) * | 2010-07-29 | 2014-11-12 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
KR101295092B1 (ko) * | 2011-12-28 | 2013-08-09 | 현대자동차주식회사 | 차량용 색상검출기 |
CN105205804B (zh) * | 2015-08-18 | 2018-10-30 | 爱威科技股份有限公司 | 血细胞图像中白细胞的核浆分离方法、分类方法及装置 |
DE102017215718B4 (de) * | 2017-09-07 | 2019-06-13 | Audi Ag | Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug |
-
2019
- 2019-03-01 JP JP2019037647A patent/JP7244301B2/ja active Active
- 2019-08-21 US US17/434,738 patent/US11989857B2/en active Active
- 2019-08-21 WO PCT/JP2019/032537 patent/WO2020179103A1/ja active Application Filing
- 2019-08-21 EP EP19918425.0A patent/EP3933770A4/en active Pending
- 2019-08-21 CN CN201980092420.8A patent/CN113498518A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003032669A (ja) | 2001-07-11 | 2003-01-31 | Hitachi Ltd | 車載用画像処理カメラ装置 |
JP2008107941A (ja) * | 2006-10-24 | 2008-05-08 | Mitsubishi Electric Corp | 監視装置 |
JP2015064753A (ja) * | 2013-09-25 | 2015-04-09 | 三菱電機株式会社 | 画像処理装置 |
JP2019037647A (ja) | 2017-08-28 | 2019-03-14 | 広美 市島 | 取付具 |
Also Published As
Publication number | Publication date |
---|---|
JP7244301B2 (ja) | 2023-03-22 |
EP3933770A4 (en) | 2022-12-21 |
US11989857B2 (en) | 2024-05-21 |
CN113498518A (zh) | 2021-10-12 |
JP2020140633A (ja) | 2020-09-03 |
EP3933770A1 (en) | 2022-01-05 |
US20220172332A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1887521B1 (en) | Vehicle and road sign recognition device | |
US10007853B2 (en) | Image generation device for monitoring surroundings of vehicle | |
JP4258539B2 (ja) | 複数画角カメラ | |
US20150254825A1 (en) | Method, apparatus and system for processing a display from a surround view camera solution | |
JP5115792B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
US20150062341A1 (en) | Image processing apparatus, imaging apparatus, vehicle drive assisting apparatus, and image processing method | |
JP4416039B2 (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
EP2793469B1 (en) | Image processing device | |
JP2007129535A (ja) | 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
WO2017169024A1 (ja) | 車載用表示装置 | |
JP2012027773A (ja) | 擬似濃淡画像生成装置及びプログラム | |
US8929605B2 (en) | Image processing method and image processing apparatus for generating vehicular image | |
WO2020179103A1 (ja) | 画像処理装置 | |
CN113989112A (zh) | 一种环视图像融合拼接方法、装置、电子设备及存储介质 | |
JP6315239B2 (ja) | 撮像装置、撮像方法、画像処理装置、撮像プログラム | |
US20140212032A1 (en) | Image processing apparatus, method and imaging apparatus | |
WO2015141860A1 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
JP5883715B2 (ja) | 画像処理lsi、画像処理システムおよび画像処理方法 | |
WO2017033691A1 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP2011065280A (ja) | 画像処理装置、周辺監視システム、及び操作支援システム | |
JP2016197388A (ja) | 認識装置、認識方法及びプログラム | |
JP2008146436A (ja) | 車両周辺画像表示装置およびその表示方法 | |
JP2007249392A (ja) | 車両周辺視認装置 | |
JPH06348991A (ja) | 移動車の走行環境認識装置 | |
JP2008286943A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19918425 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2019918425 Country of ref document: EP |