WO2019082628A1 - 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法 - Google Patents

画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法

Info

Publication number
WO2019082628A1
WO2019082628A1 PCT/JP2018/037467 JP2018037467W WO2019082628A1 WO 2019082628 A1 WO2019082628 A1 WO 2019082628A1 JP 2018037467 W JP2018037467 W JP 2018037467W WO 2019082628 A1 WO2019082628 A1 WO 2019082628A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
controller
correction
image processing
Prior art date
Application number
PCT/JP2018/037467
Other languages
English (en)
French (fr)
Inventor
貴志 前川
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to CN201880069701.7A priority Critical patent/CN111345036A/zh
Priority to JP2019550942A priority patent/JP7004736B2/ja
Priority to US16/758,970 priority patent/US11377027B2/en
Priority to EP18870811.9A priority patent/EP3703359A4/en
Publication of WO2019082628A1 publication Critical patent/WO2019082628A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present disclosure relates to an image processing device, an imaging device, a driving support device, a moving object, and an image processing method.
  • a pedestrian detection display that detects an image of a pedestrian based on an image obtained by capturing the traveling direction of a vehicle, attaches a rectangular frame to the position of the pedestrian image, and outputs the image to a display device.
  • An apparatus is disclosed.
  • An image processing apparatus of the present disclosure includes an input unit and first to fourth controllers.
  • the input unit acquires an image.
  • the first controller performs image processing of the acquired image.
  • the second controller corrects optical distortion of an image caused by an optical system that has captured the image.
  • the third controller performs recognition processing on the image processing and the image whose optical distortion has been corrected.
  • the fourth controller superimposes the result of the recognition processing on the image subjected to the image processing and the correction processing, and outputs the result.
  • the first controller can perform at least two types of image processing of first image processing and second image processing.
  • the second controller can perform at least two types of correction processing, a first correction processing and a second correction processing.
  • the third controller receives the image subjected to the first image processing and the first correction processing, and outputs information indicating the position of a subject recognized on the image.
  • the fourth controller receives the image subjected to the second image processing and the second correction processing and information indicating the position of the recognized object, and the position of the recognized object corresponds to that on the image.
  • An imaging device of the present disclosure includes an imaging optical system, an imaging element, and first to fourth controllers.
  • the image pickup element photoelectrically converts an object image through the image pickup optical system and outputs an image signal.
  • the first controller performs image processing of the image signal.
  • the second controller corrects the optical distortion of the image caused by the imaging optical system.
  • the third controller performs recognition processing on the image processing and the image whose optical distortion has been corrected.
  • the fourth controller superimposes the result of the recognition processing on the image on which the distortion image processing and the correction processing have been performed, and outputs the result.
  • the first controller can perform at least two types of image processing of first image processing and second image processing.
  • the second controller can perform at least two types of correction processing, a first correction processing and a second correction processing.
  • the third controller receives the image subjected to the first image processing and the first correction processing, and outputs information indicating the position of a subject recognized on the image.
  • the fourth controller receives the image subjected to the second image processing and the second correction processing and information indicating the position of the recognized object, and the position of the recognized object corresponds to that on the image.
  • the driving assistance device of the present disclosure includes an imaging optical system, an imaging element, first to fourth controllers, and a display.
  • the image pickup element photoelectrically converts an object image through the image pickup optical system and outputs an image signal.
  • the first controller performs image processing of the image signal.
  • the second controller corrects the optical distortion of the image caused by the imaging optical system.
  • the third controller performs recognition processing on the image processing and the image whose optical distortion has been corrected.
  • the fourth controller superimposes the result of the recognition processing on the image on which the distortion image processing and the correction processing have been performed, and outputs the result.
  • the display displays an image output from the fourth controller.
  • the first controller can perform at least two types of image processing of first image processing and second image processing.
  • the second controller can perform at least two types of correction processing, a first correction processing and a second correction processing.
  • the third controller receives the image subjected to the first image processing and the first correction processing, and outputs information indicating the position of the recognized subject on the image.
  • the fourth controller receives the image subjected to the second image processing and the second correction processing and information indicating the position of the recognized object, and the position of the recognized object corresponds to that on the image. It superimposes on the position to be output.
  • the display receives and displays an output of the fourth controller.
  • the mobile unit of the present disclosure mounts the driving support device.
  • the image processing method of the present disclosure includes the step of acquiring an image.
  • the image processing method includes the step of performing at least two types of image processing of first and second image processing on the acquired image.
  • the image processing method includes the step of performing at least two types of correction processing of first and second correction processing of optical distortion of an image caused by an optical system that has captured the image.
  • the image processing method includes a step of performing recognition processing on an image subjected to the first image processing and the first correction processing.
  • the image processing method includes the step of superimposing the position of the recognized subject on a corresponding position on the image subjected to the second image processing and the second correction processing.
  • FIG. 1 is a block diagram showing a schematic configuration of a travel support device.
  • FIG. 2 is a diagram showing a schematic configuration of a travel support device mounted on a moving body.
  • FIG. 3 is a diagram for explaining the timing of each process.
  • FIG. 4 is a flowchart showing an example of parallel processing flow.
  • FIG. 5 is a flowchart showing an example of the sequential processing flow.
  • the detection rate of an obstacle or the like may not necessarily be high.
  • a wide-angle lens such as a fisheye camera
  • distortion aberration is large, and the detection rate of the image recognition process may be reduced.
  • an image for visual recognition including a wide-angle range is displayed on the display, it is difficult to correct distortion in the secured visual field.
  • excessive image correction for image recognition may lower the detection rate.
  • the driving assistance device 1 includes an imaging device 100 and a display 80.
  • the imaging device 100 and the display 80 are mounted on a mobile unit 300 as shown in FIG.
  • the imaging device 100 and the display 80 may be mutually connected by a communication cable and a network 90 of a mobile 300 such as a CAN (Control Area Network).
  • a communication cable and a network 90 of a mobile 300 such as a CAN (Control Area Network).
  • the "mobile” in the present disclosure includes vehicles, ships and aircraft.
  • Vehicles in the present disclosure include, but are not limited to, automobiles and industrial vehicles, and may include rail vehicles and living vehicles, and fixed wing aircraft traveling on a runway.
  • Automobiles include, but are not limited to, passenger cars, trucks, buses, motorcycles, trolley buses, etc., and may include other vehicles traveling on the road.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include, but are not limited to, forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, cranes, dumpers and road rollers.
  • Vehicles include those that travel by human power.
  • the classification of vehicles is not limited to the above.
  • a car may include an industrial vehicle capable of traveling on a road, and a plurality of classifications may include the same vehicle.
  • the vessels in the present disclosure include marine jets, boats, and tankers.
  • An aircraft in the present disclosure includes a fixed wing aircraft and a rotary wing aircraft.
  • the imaging device 100 is installed, for example, to image a traveling path in front of the moving body 300.
  • the imaging device 100 is disposed in the room of the mobile unit 300, and can image the outside of the mobile unit 300 via the windshield of the mobile unit 300.
  • the imaging device 100 may be fixed to any of the front bumper, the fender grille, the side fender, the light module, and the bonnet of the moving body 300.
  • the imaging device 100 may be installed on a garnish or a side mirror so as to image the rear or side of the moving body 300.
  • the imaging device 100 includes an optical system 10 (imaging optical system), an imaging element 20, and an image processing device 200.
  • the image processing apparatus 200 further includes a first controller 30, a second controller 40, a third controller 50, a fourth controller 60, a memory 70, and the like.
  • the optical system 10 is a lens that condenses light incident on the optical system 10 so as to form an image on the imaging device 20.
  • the optical system 10 may be configured of, for example, a fisheye lens or an ultra-wide-angle lens.
  • the optical system 10 may be configured by a single lens or may be configured by a plurality of lenses.
  • the imaging device 20 is an imaging device that captures an image formed by the optical system 10.
  • the imaging device 20 includes a charge-coupled device (CCD) image sensor and a complementary metal oxide semiconductor (CMOS) image sensor.
  • CMOS complementary metal oxide semiconductor
  • the imaging device 20 can output an electrical signal obtained by photoelectrically converting an image formed by the optical system 10.
  • the first controller 30 has an input unit that acquires the electrical signal output by the imaging device 20.
  • the first controller 30 is one or more processors that process electrical signals.
  • the first controller 30 is, for example, a dedicated microprocessor configured to perform a specific function, or a processor that performs a specific function by reading a specific program.
  • the first controller 30 may be a signal processing circuit such as one or more gate arrays that processes electrical signals output by the imaging device 20.
  • the first controller 30 may be, for example, a signal processing circuit configured to perform specific functions equivalent to the processor described above.
  • the first controller 30 generates an image signal representing an image from the electrical signal output by the imaging device 20.
  • the first controller 30 may perform arbitrary processing such as contrast adjustment, edge enhancement, lightness adjustment, and gamma correction on an image.
  • the first controller 30 may have a plurality of processing units such as the first processing unit 31 and the second processing unit 32 to execute different image processing in parallel.
  • the first controller 30 may have a single processing unit to perform different image processing sequentially.
  • the second controller 40 performs, for example, image distortion correction processing on the image processed by the first controller 30.
  • the second controller 40 is one or more processors.
  • the second controller 40 is, for example, a dedicated microprocessor configured to perform a specific function, or a processor that performs a specific function by reading a specific program.
  • the second controller 40 performs, for example, image distortion correction processing on the image processed by the first controller 30.
  • the second controller 40 may be a signal processing circuit such as one or more gate arrays.
  • the second controller 40 may be, for example, a signal processing circuit configured to perform certain functions equivalent to the processor described above.
  • the second controller 40 may perform arbitrary correction processing such as correction processing of distortion caused by characteristics of the optical system 10 that has captured an image, such as distortion, for example.
  • the optical system 10 is an ultra-wide-angle optical system such as a fisheye lens
  • the image located around the image around the optical axis tends to be largely distorted and the shape of the subject deformed.
  • the second controller 40 may perform correction to completely correct or reduce distortion of an image captured using such an optical system.
  • the second controller 40 may have a plurality of processing units such as the first correction unit 41 and the second correction unit 42, and may execute different correction processes in parallel.
  • the second controller 40 may have a single processing unit to sequentially execute different correction processes.
  • the third controller 50 recognizes a subject such as a pedestrian, a moving body, a sign, a signal, a road surface indication, an obstacle, or the like on the image processed by the second controller 40.
  • the third controller 50 is a processor.
  • the third controller 50 is, for example, a dedicated microprocessor configured to perform a specific function, or a processor that performs a specific function by reading a specific program.
  • the third controller 50 recognizes a subject such as a pedestrian, a moving body, a sign, a signal, a road surface indication, an obstacle, or the like on the image processed by the second controller 40.
  • the third controller 50 may be a signal processing circuit such as a gate array.
  • the third controller 50 may be, for example, a signal processing circuit configured to perform specific functions equivalent to the processor described above.
  • the third controller 50 may output, as a recognition result, information indicating the position of the recognized subject on the image.
  • the third controller 50 may output information indicating the type of the recognized subject as a recognition result.
  • the fourth controller 60 superimposes a drawing indicating the position of the subject recognized by the third controller 50 on the image processed by the second controller 40.
  • the fourth controller 60 is a processor.
  • the fourth controller 60 is, for example, a dedicated microprocessor configured to execute a specific function, or a processor that performs a specific function by reading a specific program.
  • the fourth controller 60 superimposes a drawing indicating the position of the subject recognized by the third controller 50 on the image processed by the second controller 40. It may be a signal processing circuit such as the fourth controller 60 gate array.
  • the fourth controller 60 may be, for example, a signal processing circuit configured to perform a specific function equivalent to the processor described above.
  • the memory 70 is a storage device for temporarily storing the image data processed by the second controller 40.
  • the memory 70 may be, for example, a high-speed volatile memory such as a dynamic random access memory (DRAM) or a synchronous dynamic random access memory (SDRAM).
  • DRAM dynamic random access memory
  • SDRAM synchronous dynamic random access memory
  • the memory 70 may store images while the third controller 50 performs recognition processing, and different processing may be performed when the first controller 30 and the second controller 40 sequentially execute different processing. Images may be stored until finished.
  • the display 80 displays an image superimposed on a drawing output from the fourth controller 60 and indicating the position of the subject recognized by the third controller 50.
  • the display 80 may employ, for example, a liquid crystal display (LCD), an organic electro-luminescence (EL) display, an inorganic EL display, or a plasma display panel (PDP).
  • the display 80 may employ various flat panel displays such as, for example, a field emission display (FED), an electrophoretic display, and a twist ball display.
  • the display 80 may be disposed on a dashboard, an instrument panel or the like of the mobile unit 300.
  • the display 80 may employ a HUD (Head Up Display). If the display 80 adopts a HUD, the image may be projected on a front windshield or a combiner located in front of the driver's seat.
  • the display 80 may be shared with a display of another system, such as a navigation system.
  • the network 90 connects the fourth controller 60 and the display 80 so that an electrical signal such as an image signal output from the fourth controller 60 can be transmitted to the display 80.
  • the network 90 may connect the fourth controller 60 and the display 80 by wire communication such as a communication cable.
  • the network 90 may connect the fourth controller 60 and the display 80 by radio conforming to the standards including Bluetooth (registered trademark) and IEEE 802.11, for example.
  • the driving support device 1 starts operation at the time of activation of the moving body 300 or in response to the operation of the driver of the moving body 300.
  • the imaging element 20 starts imaging of an object around the moving body 300 which forms an image through the optical system 10.
  • An electrical signal obtained by photoelectrically converting an object image by the imaging device 20 is output to the first controller 30.
  • the first controller 30 performs image quality adjustment suitable for recognition processing by the third controller 50 as first image processing on the image signal output by the imaging device 20.
  • the first controller 30 may perform nearly linear contrast adjustment in order to prevent loss of data during recognition processing as much as possible.
  • the first controller 30 separately performs image quality adjustment suitable for visual recognition by the display 80 as second image processing different from the first image processing on the image signal output by the imaging device 20.
  • the first controller 30 may adjust the image to be sharp and easy to view by raising the contrast or performing edge enhancement.
  • the first controller 30 may perform parallel processing in parallel by the first processing unit 31 and the second processing unit 32 performing the first image processing and the second image processing, respectively. By performing parallel processing, the processing time is shortened, and a system with excellent real-time performance can be obtained.
  • the first controller 30 may sequentially process the first image processing and the second image processing in a single processing unit. By performing the process sequentially, the number of processing units can be suppressed, and the system is excellent in cost.
  • the second controller 40 performs, as a first correction process, an image correction process suitable for the recognition process by the third controller 50 on the image subjected to the process by the first controller 30.
  • the second controller 40 may correct the distortion of the image by dividing the image into a plurality of regions and performing distortion correction suitable for each region of the plurality of divided images. By correcting the distortion of the image, the shape of the subject can be accurately captured, so that the accuracy of recognition can be enhanced.
  • the second controller 40 separately performs an image correction process suitable for visual recognition by the display 80 as a second correction process different from the first correction process on the image subjected to the process by the first controller 30. Do. For example, when the display 80 performs display according to an ultra-wide-angle field of view of about 180 °, the second controller 40 leaves the distortion in the lateral direction and corrects the distortion in the height direction to obtain a vertical three-dimensional object. A correction may be made so that the user can visually recognize that the camera is standing.
  • the second controller 40 may perform parallel processing in parallel by the first correction unit 41 and the second correction unit 42 performing the first correction process and the second correction process, respectively. By performing parallel processing, processing time can be shortened and real-time performance can be improved.
  • the second controller 40 may have a single processing unit, and the single processing unit may sequentially and sequentially perform the first correction processing and the second correction processing. By performing processing sequentially, the number of processing units can be reduced, and cost efficiency can be improved.
  • Both the first and second image processing by the first controller 30 and the first and second correction processing by the second controller 40 may be sequentially performed.
  • the second controller 40 performs the first correction process following the first image processing by the first controller 30, and then the second image process following the first controller 30.
  • the controller 40 may perform the second correction process.
  • the second controller 40 performs the second correction processing following the second image processing by the first controller 30, and then the second controller follows the first image processing by the first controller 30. 40 may perform the first correction process.
  • the image may be buffered in the memory 70 between the processing by the first controller 30 and the processing by the second controller 40.
  • the first controller 30 sequentially processes the first and second image processes, and buffers the images on which the first and second image processes have been performed in the memory 70. Thereafter, the second controller 40 may sequentially process the first and second correction processes.
  • Either the first and second image processing by the first controller 30 or the first and second correction processing by the second controller 40 may be sequentially processed.
  • the image is buffered in the memory between the processing by the first controller 30 and the processing by the second controller 40, and the timing at which the image data is transferred from the first controller 30 to the second controller 40 is controlled. You may do it.
  • the third controller 50 performs, for example, image recognition processing such as machine learning on an image subjected to the first image processing by the first controller 30 and the first correction processing by the second controller 40.
  • Subject recognition may be performed.
  • the contents of the first image processing and the first correction processing may differ depending on the method of recognition processing. For example, in the case of image recognition by machine learning, the first image processing of near linear contrast and the first correction processing of perfect distortion correction are suitable. However, with different image recognition methods, these processes may not always be appropriate. Therefore, the first controller 30 and the second controller 40 may perform the first image processing and the first correction processing according to the respective image recognition methods.
  • the third controller 50 outputs information indicating the position on the image of the subject to be detected from the result of the image recognition.
  • the subject to be detected may be, for example, a pedestrian, a moving object, a sign, a signal, a road surface indication, an object such as an obstacle existing on the traveling path of the moving object 300 and the vicinity thereof.
  • the information indicating the position of the subject may be coordinates of any one point such as the position of the foot or the center of gravity of the image, or the vertex of the rectangle surrounding the pedestrian image Coordinates may be used.
  • the fourth controller 60 is subjected to the second image processing by the first controller 30, and is detected by the third controller 50 with respect to the image subjected to the second correction processing by the second controller 40.
  • the drawing showing the position of the subject is superimposed. While the second correction processing is applied to the image used for display, the first correction processing is applied to the image used for the recognition processing by the third controller 50. Therefore, the same subject may have different coordinate positions between the two images.
  • the fourth controller 60 outputs, from the first controller 30, the information indicating the position of the subject, which is output from the third controller 50, in consideration of the difference between the first correction processing and the second correction processing.
  • the image is converted to the corresponding position on the image subjected to the second image processing. Then, the fourth controller 60 superimposes a drawing indicating the position of the converted subject.
  • FIG. 3 shows the case where processing for recognition and processing for display are performed in parallel in image processing and correction processing, respectively.
  • the first controller 30 executes in parallel the first image processing suitable for recognition processing and the second image processing suitable for visual recognition. Subsequently, the second controller 40 takes over the first correction process and the second correction process, respectively, and the processes are similarly executed in parallel.
  • the image for which the first correction process is completed is output to the third controller 50, and the image for which the second correction process is completed is output to the fourth controller 60.
  • the superposition process may be performed in the fourth controller 60.
  • the memory 70 may be used to synchronize processing timing. Specifically, the image in which the second correction process is completed is buffered in the memory 70 and read out at the timing when the recognition process in the third controller 50 is completed, whereby the timing of the process in the fourth controller 60 is performed. Can be aligned. Following the treatment for flame 1, the treatment for flame 2 may likewise be performed synchronously and continuously.
  • the first controller 30 and the second controller 40 first perform the first image processing and the first correction processing for recognition.
  • the image obtained in step (c) is output to the third controller 50.
  • the second image processing for visual recognition and the second correction processing may be performed to synchronize processing timing.
  • Processing timing may be synchronized by performing parallel processing by only one of the first controller 30 and the second controller 40. In any configuration, when the processing timing can not be synchronized, the synchronization can be achieved by buffering the image in the memory 70.
  • FIG. 4 shows an example in which processing for recognition and processing for display are respectively performed in parallel in image processing and correction processing.
  • the imaging device 100 starts operation, the imaging device 20 starts imaging, and the first controller 30 acquires a captured image (step S110).
  • the first image processing (step S121) suitable for recognition processing and the second image processing (step S131) suitable for visual recognition are performed. Run in parallel.
  • the third controller 50 inputs an image subjected to the first image processing and the first correction processing to execute recognition processing (step S140). At the same time, the image subjected to the second image processing and the second correction processing is buffered by being input to and stored in the memory 70 (step S150).
  • the fourth controller 60 performs the third image after the second image processing buffered in the memory 70 and the second correction processing are performed. Information indicating the position of the recognized subject output from the controller 50 is acquired. The fourth controller 60 superimposes a drawing indicating the position of the recognized subject on the corresponding position on the image (step S160).
  • the image subjected to the superimposition processing by the fourth controller 60 is output (step S170) and displayed on the display 80.
  • the imaging device 20 starts imaging, and the first controller 30 acquires a captured image (step S210).
  • the acquired image is subjected to first image processing (step S221) suitable for recognition processing, and subsequently, the image subjected to the first image processing is input to the second controller 40 and recognized A first correction process suitable for the process is applied to the image (step S222).
  • the image subjected to the first correction processing by the second controller 40 is input to the third controller 50, and the recognition processing is started (step S230).
  • the first controller 30 performs the second image processing (step S241) suitable for visual recognition, and the second controller performs the second image processing Enter 40 Subsequently, the second controller 40 performs a second correction process suitable for visual recognition on the image subjected to the second image process (step S242).
  • the image subjected to the second image processing and the second correction processing is buffered by being input to and stored in the memory 70 (step S250).
  • the memory 70 waits in a state where the image is stored until the recognition processing in the third controller 50 is completed (step S260: no).
  • the fourth controller 60 stores the image for viewing that has been buffered in the memory 70 and on which the second image processing and the second correction process have been performed, and the third And information indicating the position of the recognized subject output from the controller 50 of The fourth controller 60 superimposes a drawing indicating the position of the recognized subject on the corresponding position on the image (step S270).
  • the image subjected to the superimposition processing by the fourth controller 60 is output (step S 280) and displayed on the display 80.
  • the driving support device 1 may be configured to read and execute the program shown in FIGS. 4 and 5 on a non-transitory computer readable medium.
  • Non-transitory computer readable media include, but are not limited to, magnetic storage media, optical storage media, magneto-optical storage media, and semiconductor storage media.
  • Magnetic storage media include magnetic disks, hard disks and magnetic tapes.
  • Optical storage media include optical disks such as CD, DVD and BD.
  • the semiconductor storage medium includes a ROM (Read Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), and a flash memory.
  • the image processing apparatus 200 can combine the high detection rate in image recognition with the display having excellent visibility. Specifically, the image processing apparatus 200 separately performs image processing and correction processing respectively suitable for the image for image recognition processing and the image for visual recognition, and visually recognizes the information indicating the position of the subject of the recognition result. By converting to a corresponding position on the image for superimposition and superimposing the drawing, it is possible to combine the high detection rate in image recognition and the generation of an image having excellent visibility. Further, the imaging apparatus 100 using the image processing apparatus 200 according to the present embodiment can output an image having a high detection rate and excellent visibility in image recognition, even using an ultra-wide-angle optical system such as a fisheye lens. . Furthermore, when the driving assistance apparatus 1 using the imaging device 100 according to the present embodiment is mounted on a vehicle, an image with good visibility to the driver and highly accurate detection of a pedestrian, a moving object, an obstacle, etc. It is possible to provide the result.
  • the driving assistance device 1 includes the image processing device 200 in the imaging device 100, but the image processing device 200 may not necessarily be included in the imaging device 100.
  • the image processing apparatus 200 obtains an image output from the imaging device 20 outside the imaging apparatus 100, performs each process, and outputs an image on which a drawing indicating the position of the subject is superimposed to the display 80. It is also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)

Abstract

入力部と、第１～第４のコントローラと、を備える。入力部は、画像を取得する。第１のコントローラは、取得した画像の画像処理を行う。第２のコントローラは、画像を撮像した光学系に起因する画像の光学歪みの補正処理を行う。第３のコントローラは、画像処理および光学歪みを補正した画像上において認識処理を行う。第４のコントローラは、画像処理および補正処理を行った画像に認識処理の結果を重畳して出力する。第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力し、前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を画像上で相当する位置に重畳する。これにより、画像認識における高い検出率と優れた視認性を有する表示とを兼ね備えた画像処理装置、撮像装置、運転支援装置、移動体を提供することができる。

Description

画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法 関連出願の相互参照
　本出願は、２０１７年１０月２６日に出願された日本国特許出願２０１７－２０７１７７号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法に関する。
　従来、移動体の周辺の撮像画像から障害物を検出して表示させる装置が知られている。
　例えば、特許文献１の記載には、車両の進行方向を撮像した画像に基づいて歩行者の像を検出し、歩行者像の位置に矩形枠を付して表示装置に出力する歩行者検出表示装置が開示されている。
特開２０１０－１３６２０７号公報
　本開示の画像処理装置は、入力部と、第１～第４のコントローラと、を備える。前記入力部は、画像を取得する。前記第１のコントローラは、前記取得した画像の画像処理を行う。前記第２のコントローラは、前記画像を撮像した光学系に起因する画像の光学歪みの補正処理を行う。前記第３のコントローラは、前記画像処理および前記光学歪みを補正した画像上において認識処理を行う。前記第４のコントローラは、前記画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する。前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力する。前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報とが入力され、前記認識した被写体の位置を前記画像上で相当する位置に重畳する。
　本開示の撮像装置は、撮像光学系と、撮像素子と、第１～第４のコントローラと、を備える。前記撮像素子は、前記撮像光学系を介した被写体像を光電変換して画像信号を出力する。前記第１のコントローラは、前記画像信号の画像処理を行う。前記第２のコントローラは、前記撮像光学系に起因する画像の光学歪みの補正処理を行う。前記第３のコントローラは、前記画像処理および前記光学歪みを補正した画像上において認識処理を行う。前記第４のコントローラは、歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する。前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力する。前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報とが入力され、前記認識した被写体の位置を前記画像上で相当する位置に重畳する。
　本開示の運転支援装置は、撮像光学系と、撮像素子と、第１～第４のコントローラと、ディスプレイと、を備える。前記撮像素子は、前記撮像光学系を介した被写体像を光電変換して画像信号を出力する。前記第１のコントローラは、前記画像信号の画像処理を行う。前記第２のコントローラは、前記撮像光学系に起因する画像の光学歪みの補正処理を行う。前記第３のコントローラは、前記画像処理および前記光学歪みを補正した画像上において認識処理を行う。前記第４のコントローラは、歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する。前記ディスプレイは、前記第４のコントローラから出力された画像を表示する。前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能である。前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能である。前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、画像上の認識した被写体の位置を示す情報を出力する。前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報とが入力され、前記認識した被写体の位置を前記画像上で相当する位置に重畳して出力する。前記ディスプレイは前記第４のコントローラの出力を受けて表示する。
　本開示の移動体は前記運転支援装置を搭載する。
　本開示の画像処理方法は、画像を取得するステップを含む。前記画像処理方法は、前記取得した画像に第１および第２の画像処理の少なくとも２通りの画像処理を行うステップを備える。前記画像処理方法は、前記画像を撮像した光学系に起因する画像の光学歪みの第１および第２の補正処理の少なくとも２通りの補正処理を行うステップを備える。前記画像処理方法は、前記第１の画像処理と前記第１の補正処理を行った画像において認識処理を行うステップを備える。前記画像処理方法は、前記認識した被写体の位置を、前記第２の画像処理と前記第２の補正処理を行った画像上の相当する位置に重畳するステップを備える。
図１は、走行支援装置の概略構成を示すブロック図である。 図２は、移動体に搭載された走行支援装置の概略構成を示す図である。 図３は、各処理のタイミングを説明する図である。 図４は、パラレルの処理フローの一例を示すフローチャートである。 図５は、シーケンシャルの処理フローの一例を示すフローチャートである。
　運転支援装置における表示用の画像では、必ずしも障害物などの検出率が高くならない場合がある。例えば、魚眼カメラのような広角レンズを使う場合は歪曲収差が大きく、画像認識処理の検出率が低下してしまうおそれがある。また、広角の範囲を含む視認用の画像をディスプレイに表示する場合には、確保した視野において、歪みを補正することは困難である。さらに、表示用としてはコントラストの高いメリハリの利いた画像の方が視認性は高まるが、画像認識用としては過度な映像補正はかえって検出率を下げてしまう場合がある。
　以下では、画像認識における高い検出率と優れた視認性を有する表示とを兼ね備えた画像処理装置等を開示する。
　以下、本開示の実施の形態について、図面を参照して説明する。
　図１に示すように、複数の実施形態の１つに係る運転支援装置１は、撮像装置１００と、ディスプレイ８０とを含む。
　撮像装置１００およびディスプレイ８０は、図２に示すように移動体３００に搭載される。撮像装置１００およびディスプレイ８０は、通信ケーブルおよびＣＡＮ（Control Area Network）等の移動体３００のネットワーク９０により相互に接続されてよい。
　本開示における「移動体」は、車両、船舶および航空機を含む。本開示における車両は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、ならびに滑走路を走行する固定翼機を含んでよい。自動車は、乗用車、トラック、バス、二輪車およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバインおよび芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカーおよびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両を含んでよい。本開示における船舶は、マリンジェット、ボート、およびタンカーを含む。本開示における航空機は、固定翼機および回転翼機を含む。
　撮像装置１００は、例えば、移動体３００の前方の走行路を撮像するように設置される。複数の実施形態の１つにおいて、撮像装置１００は、移動体３００の室内に配置され、移動体３００のウィンドシールドを介して移動体３００の外部を撮像できる。他の実施形態において、撮像装置１００は、移動体３００のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、およびボンネットのいずれかに固定されていてよい。撮像装置１００は、移動体３００の後方または側方を撮像するように、ガーニッシュやサイドミラーに設置されてもよい。
　図１に示すように、撮像装置１００は、光学系１０（撮像光学系）、撮像素子２０および画像処理装置２００を備える。また、画像処理装置２００は、第１のコントローラ３０、第２のコントローラ４０、第３のコントローラ５０、第４のコントローラ６０およびメモリ７０等を備える。
　光学系１０は、光学系１０に入射した光が撮像素子２０で結像するように集光するレンズである。光学系１０は、例えば、魚眼レンズ、又は超広角レンズで構成されてよい。光学系１０は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。
　撮像素子２０は、光学系１０によって結像された画像を撮像する撮像素子である。撮像素子２０は、ＣＣＤ（Charge-Coupled Device）イメージセンサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。撮像素子２０は、光学系１０により結像された画像を光電変換した電気信号を出力することができる。
　第１のコントローラ３０は、撮像素子２０により出力した電気信号を取得する入力部を有する。第１のコントローラ３０は、電気信号を処理する１つ又は複数のプロセッサである。第１のコントローラ３０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。
　第１のコントローラ３０は、撮像素子２０により出力した、電気信号を処理する１つ又は複数のゲートアレイ等の信号処理回路であってもよい。第１のコントローラ３０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。
　第１のコントローラ３０は、撮像素子２０により出力した電気信号から画像を表す画像信号を生成する。また、第１のコントローラ３０は、画像について、コントラスト調整、エッジ強調、明度調整、ガンマ補正等の任意の処理を行ってもよい。
　第１のコントローラ３０は、第１処理部３１および第２処理部３２のような複数の処理部を有して、異なる画像処理をパラレルに実行してよい。第１のコントローラ３０は、単一の処理部を有して、異なる画像処理をシーケンシャルに実行してもよい。
　第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対して、例えば画像の歪の補正処理を行う。第２のコントローラ４０は、１つ又は複数のプロセッサである。第２のコントローラ４０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。
　第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対して、例えば画像の歪の補正処理を行う。第２のコントローラ４０は、１つ又は複数のゲートアレイ等の信号処理回路であってもよい。第２のコントローラ４０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。
　第２のコントローラ４０は、例えば画像を撮像した光学系１０の歪曲収差等の特性に起因する歪の補正処理を行う等の任意の補正処理を行ってもよい。特に光学系１０が魚眼レンズ等の超広角の光学系である場合、光軸を中心にして画像の周辺に位置する像ほど大きく歪んで被写体の形状が変形する傾向がある。第２のコントローラ４０は、このような光学系を使用して撮像された画像の歪みを完全に補正、もしくは緩和する補正を行ってもよい。
　第２のコントローラ４０は、第１補正部４１および第２補正部４２のような複数の処理部を有して、異なる補正処理をパラレルに実行してよい。第２のコントローラ４０は、単一の処理部を有して、異なる補正処理をシーケンシャルに実行してもよい。
　第３のコントローラ５０は、第２のコントローラ４０により処理が施された画像に対して、例えば歩行者、移動体、標識、信号、路面表示、障害物といった被写体の認識を行う。第３のコントローラ５０は、プロセッサである。第３のコントローラ５０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。
　第３のコントローラ５０は、第２のコントローラ４０により処理が施された画像に対して、例えば歩行者、移動体、標識、信号、路面表示、障害物といった被写体の認識を行う。第３のコントローラ５０は、ゲートアレイ等の信号処理回路であってもよい。第３のコントローラ５０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。
　第３のコントローラ５０は、認識した被写体の画像上の位置を示す情報を認識結果として出力してもよい。第３のコントローラ５０は、認識した被写体の種類を示す情報を認識結果として出力してもよい。
　第４のコントローラ６０は、第２のコントローラ４０により処理が施された画像に対して、第３のコントローラ５０が認識した被写体の位置を示す描画を重畳する。第４のコントローラ６０は、プロセッサである。第４のコントローラ６０は、例えば特定の機能を実行するように形成した専用のマイクロプロセッサ、又は特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。
　第４のコントローラ６０は、第２のコントローラ４０により処理が施された画像に対して、第３のコントローラ５０が認識した被写体の位置を示す描画を重畳する。第４のコントローラ６０ゲートアレイ等の信号処理回路であってもよい。第４のコントローラ６０は、例えば上述のプロセッサと同等の特定の機能を実行するように構成された信号処理回路であってよい。
　メモリ７０は、第２のコントローラ４０により処理が施された画像データを一時的に記憶する記憶装置である。メモリ７０は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の高速の揮発性メモリを用いることができる。メモリ７０は、第３のコントローラ５０が認識処理を実行する間、画像を蓄積してよいし、第１のコントローラ３０および第２のコントローラ４０が異なる処理をシーケンシャルに実行する場合に、異なる処理が終了するまで、画像を蓄積してもよい。
　ディスプレイ８０は、第４のコントローラ６０から出力された、第３のコントローラ５０が認識した被写体の位置を示す描画を重畳した画像を表示する。ディスプレイ８０は、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）を採用しうる。ディスプレイ８０は、例えば、電界放出ディスプレイ（ＦＥＤ：Field Emission Display）、電気泳動ディスプレイ、ツイストボールディスプレイ等の種々のフラットパネルディスプレイを採用しうる。ディスプレイ８０は、移動体３００のダッシュボード、インストルメントパネル等に配置されうる。また、ディスプレイ８０は、ＨＵＤ（Head Up Display）を採用しうる。ディスプレイ８０がＨＵＤを採用した場合、画像は、フロントウィンドシールド又は運転席前に配置したコンバイナに投影されうる。ディスプレイ８０は、ナビゲーションシステムなどの他のシステムの表示装置と共用されてよい。
　ネットワーク９０は、第４のコントローラ６０から出力された画像信号等の電気信号をディスプレイ８０に伝送可能に、第４のコントローラ６０とディスプレイ８０とを接続する。ネットワーク９０は、通信ケーブルのような有線により第４のコントローラ６０とディスプレイ８０とを接続してもよい。ネットワーク９０は、例えばBluetooth（登録商標）、およびIEEE802.11を含む各規格に準拠する無線により第４のコントローラ６０とディスプレイ８０とを接続してもよい。
　次に、運転支援装置１の具体的な動作例について説明する。
　運転支援装置１は移動体３００の起動時または移動体３００のドライバーの操作に応答して、動作を開始する。運転支援装置１が動作を開始すると、まず撮像素子２０は、光学系１０を介して結像する移動体３００の周辺の被写体の撮像を開始する。撮像素子２０により被写体像を光電変換した電気信号は、第１のコントローラ３０に対して出力される。
　第１のコントローラ３０は、撮像素子２０により出力された画像信号に対し、第１の画像処理として、第３のコントローラ５０での認識処理に適した画質調整を行う。例えば、第１のコントローラ３０は、認識処理時におけるデータの欠損を極力防ぐために、リニアに近いコントラスト調整を行ってもよい。
　第１のコントローラ３０は、撮像素子２０により出力された画像信号に対し、第１の画像処理とは異なる第２の画像処理として、別途、ディスプレイ８０による視認に適した画質調整を行う。例えば、第１のコントローラ３０は、コントラストを高くしたりエッジ強調を行ったりすることで、メリハリがあって視認し易い画像に調整してもよい。
　第１のコントローラ３０は、第１処理部３１および第２処理部３２がそれぞれ第１の画像処理および第２の画像処理を行うことによる、並行してのパラレル処理を行ってよい。パラレル処理を行うことで、処理時間は短縮され、リアルタイム性に優れたシステムとなる。また、第１のコントローラ３０は、単一の処理部で、第１の画像処理、第２の画像処理を、順次、シーケンシャルに処理を行ってもよい。シーケンシャルに処理を行うことで、処理部の数は抑えることができ、コスト的に優れたシステムとなる。
　第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対し、第１の補正処理として、第３のコントローラ５０での認識処理に適した画像補正処理を行う。例えば、第２のコントローラ４０は、画像を複数領域に分割して、分割した複数の画像それぞれの領域に適した歪み補正を実施することで像の歪みを補正してもよい。像の歪みを補正することで、被写体の形状が正確に捉えられうるため、認識の精度が高められうる。
　第２のコントローラ４０は、第１のコントローラ３０により処理が施された画像に対し、第１の補正処理とは異なる第２の補正処理として、別途、ディスプレイ８０による視認に適した画像補正処理を行う。例えば、ディスプレイ８０が１８０°程度の超広角な視野に応じた表示を行う場合、第２のコントローラ４０は、横方向の歪みは残し、高さ方向の歪みを補正することで、垂直な立体物が立っているように視認できるような補正を行ってもよい。
　第２のコントローラ４０は、第１補正部４１および第２補正部４２がそれぞれ第１の補正処理および第２の補正処理を行うことによる、並行したパラレル処理を行ってよい。パラレル処理を行うことで、処理時間は短縮され、リアルタイム性が改良されうる。また、第２のコントローラ４０は、単一の処理部を有し、該単一の処理部が、第１の補正処理、第２の補正処理を、順次、シーケンシャルに行ってもよい。シーケンシャルに処理を行うことで、処理部の数は抑えられ、コスト効率が改良されうる。
　第１のコントローラ３０による第１と第２の画像処理および第２のコントローラ４０による第１と第２の補正処理が双方ともシーケンシャルに行われてもよい。この場合、第１のコントローラ３０による第１の画像処理に続いて第２のコントローラ４０が第１の補正処理を行い、その後、第１のコントローラ３０による第２の画像処理に続いて第２のコントローラ４０が第２の補正処理を行ってもよい。あるいは、第１のコントローラ３０による第２の画像処理に続いて第２のコントローラ４０が第２の補正処理を行い、その後、第１のコントローラ３０による第１の画像処理に続いて第２のコントローラ４０が第１の補正処理を行ってもよい。また、第１のコントローラ３０による処理と第２のコントローラ４０よる処理との間に画像をメモリ７０にバッファしてもよい。具体的には、第１のコントローラ３０が第１と第２の画像処理をシーケンシャルに処理して、第１と第２の画像処理が行われた画像をメモリ７０にバッファする。その後、第２のコントローラ４０が第１と第２の補正処理をシーケンシャルに処理してもよい。
　第１のコントローラ３０による第１と第２の画像処理または第２のコントローラ４０による第１と第２の補正処理の何れかをシーケンシャルに処理してもよい。この場合、第１のコントローラ３０による処理と第２のコントローラ４０による処理との間にメモリに画像をバッファして、第１のコントローラ３０から第２のコントローラ４０へ画像データを受け渡すタイミングを制御するようにしてもよい。
　第３のコントローラ５０は、第１のコントローラ３０により第１の画像処理が、第２のコントローラ４０により第１の補正処理が施された画像に対して、例えば、機械学習などの画像認識処理による被写体認識を行ってよい。第１の画像処理および第１の補正処理の内容は認識処理の手法に応じて異なってよい。例えば、機械学習による画像認識の場合は、リニアに近いコントラストの第１の画像処理と完全な歪み補正の第１の補正処理が適している。しかし、異なる画像認識の手法では、必ずしもこれらの処理が適切とはならない場合もある。そのため、第１のコントローラ３０および第２のコントローラ４０は、それぞれの画像認識の手法に応じた第１の画像処理および第１の補正処理を行なってよい。
　第３のコントローラ５０は、画像認識の結果から検出対象となる被写体の画像上の位置を示す情報を出力する。検出対象となる被写体は、例えば歩行者、移動体、標識、信号、路面表示、障害物といった移動体３００の走行路上およびその近傍に存在する被写体であってよい。被写体の画像上の位置を示す情報は、例えば、検出対象が歩行者の場合、足元の位置や像の重心等、任意の一点の座標でもよいし、歩行者の像を囲んだ矩形の頂点の座標でもよい。
　第４のコントローラ６０は、第１のコントローラ３０により第２の画像処理が施され、第２のコントローラ４０により第２の補正処理が施された画像に対して、第３のコントローラ５０によって検出された被写体の位置を示す描画を重畳する。表示に用いる画像に第２の補正処理が施されているのに対して、第３のコントローラ５０で認識処理に用いた画像に第１の補正処理が施されている。そのため、双方の画像間では同じ被写体が異なる座標位置となるおそれがある。第４のコントローラ６０は第１の補正処理と第２の補正処理の相違を考慮して、第３のコントローラ５０から出力された、被写体の位置を示す情報を、第１のコントローラ３０から出力された第２の画像処理が施された画像上の相当する位置に変換する。そして、第４のコントローラ６０は、変換された被写体の位置を示す描画を重畳する。
　ここで、処理のタイミングについて図３を用いて説明する。図３において横軸は時間の経過を示し、縦軸は各機能・処理を列記している。図３に示す例では、画像処理および補正処理においてそれぞれ認識用の処理と表示用の処理をパラレルに行なう場合を示している。
　撮像素子２０が撮像した画像（flame1）を出力すると、第１のコントローラ３０において、認識処理に適した第１の画像処理と視認に適した第２の画像処理とがパラレルで実行される。続けて第２のコントローラ４０において、それぞれ第１の補正処理および第２の補正処理に引き継がれ、同様にパラレルで処理が実行される。第１の補正処理が完了した画像は第３のコントローラ５０へ、第２の補正処理が完了した画像は第４のコントローラ６０へ出力される。
　第３のコントローラ５０における認識処理が非常に高速で短時間に完了すれば、第４のコントローラ６０にて重畳処理が実行されてよい。しかしながら、認識処理に時間を要する場合は、メモリ７０を用いて処理タイミングの同期が図られてもよい。具体的には、第２の補正処理が完了した画像はメモリ７０にバッファされ、第３のコントローラ５０における認識処理が完了したタイミングで読みだされることで、第４のコントローラ６０おける処理のタイミングが揃えられうる。flame1に対する処理に続けて、flame2に対する処理も同様に同期をとって連続して行われうる。
　画像処理および補正処理それぞれにおいて認識用の処理と表示用の処理をシーケンシャルに行なう場合、先に認識用の第１の画像処理および第１の補正処理を第１のコントローラ３０および第２のコントローラ４０にて行った画像は第３のコントローラ５０に出力される。そして、第３のコントローラ５０において認識処理が実行されている間に、視認用の第２の画像処理および第２の補正処理が実行されて処理タイミングの同期が図られてもよい。第１のコントローラ３０または第２のコントローラ４０の何れか片方のみがパラレル処理を行うことによって、処理タイミングの同期が図られてもよい。何れの構成でも処理タイミングの同期が図られない場合は、メモリ７０に画像をバッファすることで、同期がとられうる。
　次に、一実施の形態に係る運転支援装置１の撮像装置１００および画像処理装置２００の行う処理の一例について、図４および図５のフローチャートを参照して説明する。
　図４は、画像処理および補正処理においてそれぞれ認識用の処理と表示用の処理をパラレルに行なう場合の一例を示す。
　撮像装置１００は動作を開始すると、撮像素子２０が撮像を開始し、第１のコントローラ３０は撮像画像を取得する（ステップＳ１１０）。
　取得された画像には、第１処理部３１および第２処理部３２において、それぞれ認識処理に適した第１の画像処理（ステップＳ１２１）および視認に適した第２の画像処理（ステップＳ１３１）がパラレルで実行される。
　第１のコントローラ３０で画像処理が施された画像には、第２のコントローラ４０の第１補正部４１および第２補正部４２において、それぞれ認識処理に適した第１の補正処理（ステップＳ１２２）および視認に適した第２の補正処理（ステップＳ１３２）がパラレルで実行される。
　第１の画像処理および第１の補正処理が施された画像には、第３のコントローラ５０に入力されて認識処理が実行される（ステップＳ１４０）。同時に、第２の画像処理および第２の補正処理が施された画像は、メモリ７０に入力および蓄積されることによって、バッファされる（ステップＳ１５０）。
　第３のコントローラ５０における認識処理が終了したら、第４のコントローラ６０は、メモリ７０にバッファされていた第２の画像処理および第２の補正処理が施された視認用の画像と、第３のコントローラ５０から出力された認識した被写体の位置を示す情報とを取得する。第４のコントローラ６０は、認識した被写体の位置を示す描画を画像上で相当する位置に重畳する（ステップＳ１６０）。
　第４のコントローラ６０による重畳処理が施された画像は出力され（ステップＳ１７０）、ディスプレイ８０にて表示される。
　次に、図５で、画像処理および補正処理においてそれぞれ認識用の処理と表示用の処理をシーケンシャルに行なう場合の一例を説明する。
　撮像装置１００は動作を開始すると、撮像素子２０が撮像を開始し、第１のコントローラ３０は撮像画像を取得する（ステップＳ２１０）。
　取得された画像には、認識処理に適した第１の画像処理（ステップＳ２２１）が施され、続けて、第１の画像処理が施された画像は、第２のコントローラ４０に入力され、認識処理に適した第１の補正処理が当該画像に施される（ステップＳ２２２）。
　第２のコントローラ４０で第１の補正処理が施された画像は、第３のコントローラ５０に入力され、認識処理が開始される（ステップＳ２３０）。
　第３のコントローラ５０で認識処理を開始したところで、第１のコントローラ３０は視認に適した第２の画像処理（ステップＳ２４１）を行い、第２の画像処理が施された画像を第２のコントローラ４０に入力する。続けて、第２のコントローラ４０は、第２の画像処理が施された画像に、視認に適した第２の補正処理を行う（ステップＳ２４２）。第２の画像処理および第２の補正処理が施された画像は、メモリ７０に入力および蓄積されることによって、バッファされる（ステップＳ２５０）。
　第３のコントローラ５０における認識処理が終了するまで、メモリ７０は画像を蓄積した状態で待機する（ステップＳ２６０：ｎｏ）。認識処理が終了したら（ステップＳ２６０：ｙｅｓ）、第４のコントローラ６０は、メモリ７０にバッファされていた、第２の画像処理および第２の補正処理が施された視認用の画像と、第３のコントローラ５０から出力された認識した被写体の位置を示す情報とを取得する。第４のコントローラ６０は、認識した被写体の位置を示す描画を画像上で相当する位置に重畳する（ステップＳ２７０）。
　第４のコントローラ６０による重畳処理が施された画像は出力され（ステップＳ２８０）、ディスプレイ８０にて表示される。
　運転支援装置１は、図４および図５に示した処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実行するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体および半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスクおよび磁気テープを含む。光学記憶媒体は、ＣＤ、ＤＶＤおよびＢＤ等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）およびフラッシュメモリ等を含む。
　本開示の一実施形態によれば、画像処理装置２００は、画像認識における高い検出率と優れた視認性を有する表示とを兼ね備えることができる。具体的には、画像処理装置２００は、画像認識処理用の画像と視認用の画像とで別途に、それぞれに適した画像処理および補正処理を施し、認識結果の被写体の位置を示す情報を視認用の画像上の相当する位置に変換して描画を重畳することで、画像認識における高い検出率と優れた視認性を有する画像の生成とを兼ね備えることが可能となる。また、本実施形態による画像処理装置２００を用いる撮像装置１００は、魚眼レンズのような超広角の光学系を用いても、画像認識における高い検出率と優れた視認性をする画像を出力可能である。更に、本実施形態による撮像装置１００を用いる運転支援装置１は、車両に搭載されると、ドライバーに対して視認性の良好な画像と、歩行者、移動体、障害物等の高精度な検出結果を提供可能となる。
　上述の実施形態は代表的な例として説明した。本開示の趣旨および範囲内で、多くの変更および置換ができることは、当業者に明らかである。したがって、本開示は、上述の実施形態および実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形、変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　例えば、上記実施形態において、運転支援装置１は、画像処理装置２００を撮像装置１００に含むが、画像処理装置２００は必ずしも撮像装置１００に含まれなくてもよい。画像処理装置２００は、撮像装置１００の外にあって撮像素子２０からの出力される画像を取得して、各処理を施して被写体の位置を示す描画を重畳した画像をディスプレイ８０に出力してもよい。
　１　　　運転支援装置
　１０　　光学系
　２０　　撮像素子
　３０　　第１のコントローラ
　３１　　第１処理部
　３２　　第２処理部
　４０　　第２のコントローラ
　４１　　第１補正部
　４２　　第２補正部
　５０　　第３のコントローラ
　６０　　第４のコントローラ
　７０　　メモリ
　８０　　ディスプレイ
　９０　　ネットワーク
　１００　ネットワーク
　２００　画像処理装置
　３００　移動体

Claims (8)

  1. 　画像を取得する入力部と、
    　前記取得した画像の画像処理を行う第１のコントローラと、
    　前記画像を撮像した光学系に起因する画像の光学歪みの補正処理を行う第２のコントローラと、
    　前記画像処理および前記光学歪みを補正した画像上において認識処理を行う第３のコントローラと、
    　前記画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する第４のコントローラと、を備え、
    　前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能であり、
    　前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能であり、
    　前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力し、
    　前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を示す描画を前記画像上で相当する位置に重畳する画像処理装置。
  2. 　前記第１の画像処理と前記第２の画像処理および前記第１の補正処理と前記第２の補正処理の少なくともいずれか一組はパラレルに処理される請求項１に記載の画像処理装置。
  3. 　前記第１の画像処理と前記第２の画像処理および前記第１の補正処理と前記第２の補正処理の少なくともいずれか一組はシーケンシャルに処理される請求項１に記載の画像処理装置。
  4. 　連続して取得する前記画像に前記画像処理および前記補正処理を行った画像を記憶するメモリを更に備え、
    　当該メモリは、前記第３のコントローラの認識処理が終了するまで前記画像を記憶する請求項１乃至３に記載の画像処理装置。
  5. 　撮像光学系と、
    　前記撮像光学系を介した被写体像を光電変換して画像信号を出力する撮像素子と、
    　前記画像信号の画像処理を行う第１のコントローラと、
    　前記撮像光学系に起因する画像の光学歪みの補正処理を行う第２のコントローラと、
    　前記画像処理および前記光学歪みを補正した画像上において認識処理を行う第３のコントローラと、
    　歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する第４のコントローラと、を備え、
    　前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能であり、
    　前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能であり、
    　前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像を入力され、当該画像上で認識された被写体の位置を示す情報を出力し、
    　前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を示す描画を前記画像上で相当する位置に重畳する撮像装置。
  6. 　撮像光学系と、
    　前記撮像光学系を介した被写体像を光電変換して画像信号を出力する撮像素子と、
    　前記画像信号の画像処理を行う第１のコントローラと、
    　前記撮像光学系に起因する画像の光学歪みの補正処理を行う第２のコントローラと、
    　前記画像処理および前記光学歪みを補正した画像上において認識処理を行う第３のコントローラと、
    　歪曲画像処理および前記補正処理を行った画像に前記認識処理の結果を重畳して出力する第４のコントローラと、
    　前記第４のコントローラから出力された画像を表示するディスプレイと、を備え、
    　前記第１のコントローラは第１の画像処理と第２の画像処理の少なくとも２通りの画像処理を行うことが可能であり、
    　前記第２のコントローラは第１の補正処理と第２の補正処理の少なくとも２通りの補正処理を行うことが可能であり、
    　前記第３のコントローラは前記第１の画像処理と前記第１の補正処理を行った画像が入力され、当該画像上で認識された被写体の位置を示す情報を出力し、
    　前記第４のコントローラは前記第２の画像処理と前記第２の補正処理を行った画像と前記認識した被写体の位置を示す情報が入力され、前記認識した被写体の位置を示す描画を前記画像上で相当する位置に重畳して出力し、
    　前記ディスプレイは前記第４のコントローラの出力を受けて表示する運転支援装置。
  7. 　請求項６に記載の運転支援装置を搭載する移動体。
  8. 　画像を取得するステップと、
    　前記取得した画像に第１および第２の画像処理の少なくとも２通りの画像処理を行うステップと、
    　前記画像を撮像した光学系に起因する画像の光学歪みの第１および第２の補正処理の少なくとも２通りの補正処理を行うステップと、
    　前記第１の画像処理と前記第１の補正処理を行った画像において認識処理を行うステップと、
    　前記認識した被写体の位置を示す描画を、前記第２の画像処理と前記第２の補正処理を行った画像上の相当する位置に重畳するステップと、
    を備える画像処理方法。
PCT/JP2018/037467 2017-10-26 2018-10-05 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法 WO2019082628A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880069701.7A CN111345036A (zh) 2017-10-26 2018-10-05 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
JP2019550942A JP7004736B2 (ja) 2017-10-26 2018-10-05 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法
US16/758,970 US11377027B2 (en) 2017-10-26 2018-10-05 Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
EP18870811.9A EP3703359A4 (en) 2017-10-26 2018-10-05 IMAGE PROCESSING DEVICE, IMAGE CAPTURING DEVICE, TRAINING MEDIA DEVICE, MOBILE BODY AND IMAGE PROCESSING PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-207177 2017-10-26
JP2017207177 2017-10-26

Publications (1)

Publication Number Publication Date
WO2019082628A1 true WO2019082628A1 (ja) 2019-05-02

Family

ID=66247379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037467 WO2019082628A1 (ja) 2017-10-26 2018-10-05 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法

Country Status (5)

Country Link
US (1) US11377027B2 (ja)
EP (1) EP3703359A4 (ja)
JP (1) JP7004736B2 (ja)
CN (1) CN111345036A (ja)
WO (1) WO2019082628A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199557A1 (ja) * 2020-03-31 2021-10-07 パイオニア株式会社 標識評価装置、学習装置、標識評価方法、学習方法、及びプログラム
US11381714B2 (en) 2020-09-18 2022-07-05 Kabushiki Kaisha Toshiba Image processing device and image processing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11763417B2 (en) * 2021-11-19 2023-09-19 Renesas Electronics Corporation Semiconductor device and image processing system for processing regions of interest images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028956A (ja) * 2006-07-25 2008-02-07 Fujifilm Corp 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP2008108024A (ja) * 2006-10-25 2008-05-08 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
JP2008158682A (ja) * 2006-12-21 2008-07-10 Mitsubishi Electric Corp 画像処理装置
JP2010136207A (ja) 2008-12-05 2010-06-17 Clarion Co Ltd 歩行者検出表示システム
JP2010171503A (ja) * 2009-01-20 2010-08-05 Clarion Co Ltd 障害物検出表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588482A (zh) * 2009-06-02 2009-11-25 石黎 一种车载虚拟全景电子***
KR101207127B1 (ko) * 2010-03-19 2012-11-30 전남대학교산학협력단 문자 인식 전처리 방법 및 장치
JP5914813B2 (ja) * 2011-01-06 2016-05-11 パナソニックＩｐマネジメント株式会社 カメラ、歪み補正装置、及び歪み補正方法
US20130021512A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Framing of Images in an Image Capture Device
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导***
JP6032219B2 (ja) * 2014-01-24 2016-11-24 トヨタ自動車株式会社 運転支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028956A (ja) * 2006-07-25 2008-02-07 Fujifilm Corp 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP2008108024A (ja) * 2006-10-25 2008-05-08 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
JP2008158682A (ja) * 2006-12-21 2008-07-10 Mitsubishi Electric Corp 画像処理装置
JP2010136207A (ja) 2008-12-05 2010-06-17 Clarion Co Ltd 歩行者検出表示システム
JP2010171503A (ja) * 2009-01-20 2010-08-05 Clarion Co Ltd 障害物検出表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3703359A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199557A1 (ja) * 2020-03-31 2021-10-07 パイオニア株式会社 標識評価装置、学習装置、標識評価方法、学習方法、及びプログラム
US11381714B2 (en) 2020-09-18 2022-07-05 Kabushiki Kaisha Toshiba Image processing device and image processing system

Also Published As

Publication number Publication date
EP3703359A4 (en) 2021-04-28
CN111345036A (zh) 2020-06-26
JPWO2019082628A1 (ja) 2020-11-26
EP3703359A1 (en) 2020-09-02
JP7004736B2 (ja) 2022-01-21
US20210046870A1 (en) 2021-02-18
US11377027B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
JP4695167B2 (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
RU2702992C1 (ru) Система замещения зеркал и система помощи водителю
JP5172314B2 (ja) ステレオカメラ装置
US11703326B2 (en) Stereo camera apparatus, vehicle, and parallax calculation method
US20170132476A1 (en) Vehicle Imaging System
US20170140542A1 (en) Vehicular image processing apparatus and vehicular image processing system
CN202035096U (zh) 移动机械的移动操作监控***
JP5966513B2 (ja) 車両の後側方撮影装置
CN103140377A (zh) 用于在显示装置上显示图像的方法和驾驶员辅助***
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
JP7004736B2 (ja) 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法
JP2013533168A (ja) 自動車の駐車操作を支援する方法、運転者支援システム、および自動車
US11017245B2 (en) Parking assist apparatus
EP3002727A1 (en) Periphery monitoring apparatus and periphery monitoring system
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
US20190100141A1 (en) Ascertainment of Vehicle Environment Data
JP5951785B2 (ja) 画像処理装置及び車両前方監視装置
CN113508574A (zh) 成像***和方法
JP5195776B2 (ja) 車両周辺監視装置
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
US10821900B2 (en) Image processing device
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
JP5831331B2 (ja) 車両の後側方撮影装置
JP6586972B2 (ja) 車両用画像表示装置及び画像処理方法
WO2018155280A1 (ja) 周辺監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18870811

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019550942

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018870811

Country of ref document: EP

Effective date: 20200526