WO2020017230A1 - 電子制御装置及び電子制御方法 - Google Patents

電子制御装置及び電子制御方法 Download PDF

Info

Publication number
WO2020017230A1
WO2020017230A1 PCT/JP2019/024497 JP2019024497W WO2020017230A1 WO 2020017230 A1 WO2020017230 A1 WO 2020017230A1 JP 2019024497 W JP2019024497 W JP 2019024497W WO 2020017230 A1 WO2020017230 A1 WO 2020017230A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification target
display
image
unit
captured image
Prior art date
Application number
PCT/JP2019/024497
Other languages
English (en)
French (fr)
Inventor
鈴木　健介
健志 仲村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2020017230A1 publication Critical patent/WO2020017230A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the disclosure in this specification relates to an electronic control device and an electronic control method.
  • Patent Document 1 discloses an object detection device in which a camera provided in a vehicle captures an image of a rear area of the vehicle, and a captured image captured by the camera is displayed on a display provided in a room of the vehicle.
  • an object present in a rear area of the vehicle is detected using a plurality of captured images, and a moving object and a vehicle to be notified to an occupant of the vehicle are detected from the detected objects.
  • a stationary object that is likely to move is selected.
  • the captured image and a frame for emphasizing the notification target in the captured image are superimposed and displayed on the display.
  • the photographed image is to be displayed on the display in the vehicle cabin
  • the smaller the display area of the display the smaller the notification target existing in the photographed image is displayed on the display.
  • an object to be disclosed is to provide an electronic control device and an electronic control method that can easily recognize a notification target.
  • An electronic control device is a notification target that detects a notification target to be notified to an occupant of a moving body, which is present in the captured image, based on a shot image captured by a shooting unit provided on the moving body.
  • a detection unit a display unit that displays a captured image provided in the room of the moving object, a size calculation unit that calculates a size at which the notification target detected by the notification target detection unit is displayed, and a size calculation unit.
  • a display control unit that, when the calculated size is equal to or smaller than the predetermined threshold, causes the display unit to display an enlarged image obtained by enlarging the specific notification target that is the notification target whose size is equal to or smaller than the predetermined threshold.
  • an electronic control method detects a notification target to be notified to an occupant of a moving body, which is present in the captured image, based on a shot image taken by a shooting unit provided on the moving body. And calculating a size on which a notification target detected by the detection is displayed on a display unit that displays a captured image provided in the room of the moving object, and a size calculated by the calculation. Is smaller than or equal to a predetermined threshold, and an enlarged image obtained by enlarging the specific notification target whose size is equal to or smaller than the predetermined threshold is displayed on the display unit.
  • the size of the notification target existing in the captured image and to be notified to the occupant is calculated on the display unit.
  • the display unit displays an enlarged image obtained by enlarging the specific notification target that is the notification target whose size is equal to or smaller than the predetermined threshold.
  • FIG. 1 is a schematic configuration diagram of an electronic control system according to a first embodiment
  • FIG. 2 is a block diagram illustrating a configuration of the electronic control device according to the first embodiment.
  • FIG. 3 is an example when a captured image, a support image, and a normal emphasized image are displayed
  • FIG. 4 is an example when a captured image, a support image, and a captured enhancement image are displayed
  • FIG. 5 is an example when an enlarged image is displayed
  • FIG. 6 is an example when an enlarged and emphasized image is displayed
  • FIG. 7 is a flowchart showing a display control process according to the first embodiment
  • FIG. 3 is an example when a captured image, a support image, and a normal emphasized image are displayed
  • FIG. 4 is an example when a captured image, a support image, and a captured enhancement image are displayed
  • FIG. 5 is an example when an enlarged image is displayed
  • FIG. 6 is an example when an enlarged and emphasized image is displayed
  • FIG. 7 is a flowchar
  • FIG. 8 is a block diagram illustrating a configuration of an electronic control device according to the second embodiment.
  • FIG. 9 is an example of displaying a captured image, a support image, an enlarged image, and an enlarged emphasized image according to the second embodiment
  • FIG. 10 is a flowchart showing a display control process according to the second embodiment
  • FIG. 11 is a flowchart showing a display control process according to the second embodiment
  • FIG. 12 is an example when the captured image, the support image, the enlarged image, and the enlarged emphasized image according to the first modification are displayed.
  • FIG. 13 is a block diagram illustrating a configuration of an electronic control device according to the third modification.
  • the moving body is the vehicle 100, but the moving body may be a train, a ship, an airplane, or the like.
  • FIG. 1 is a schematic configuration diagram of an electronic control system 1 according to the first embodiment.
  • the electronic control system 1 includes an electronic control device 2, an external camera 3 that captures an image around the vehicle 100, and a display 4.
  • the vehicle 100 is equipped with the electronic control unit 2, the camera 3 outside the vehicle, and the display 4.
  • the outside camera 3 is attached to the front and rear of the vehicle 100 in order to photograph the periphery of the vehicle 100, and photographs the front area and the rear area of the vehicle 100.
  • a captured image 40 captured by the camera 3 outside the vehicle is input to the electronic control device 2.
  • This photographed image 40 is composed of a set of a plurality of pixels.
  • the installation position of the camera 3 outside the vehicle may be either one of the front and rear of the vehicle 100, and the photographing area may be one of the front area and the rear area.
  • the camera 3 outside the vehicle corresponds to a photographing unit.
  • the electronic control device 2 outputs the captured image 40 in which the front area is captured to the display 4, and the vehicle 100 moves backward.
  • the captured image 40 obtained by capturing the rear area is output to the display 4. That is, the captured image 40 is displayed on the display 4.
  • FIG. 2 is a block diagram illustrating a configuration of the electronic control device 2 according to the first embodiment.
  • FIG. 2 shows only components necessary for explaining the features of the first embodiment, and omits general components.
  • the electronic control unit 2 is connected to the camera 3 outside the vehicle, the display 4, the indoor input unit 7, and the steering angle sensor 8.
  • the display 4 is a display that can be input by a touch operation, and has a touch panel 70.
  • the touch panel 70 is provided on a display surface of the display 4 that displays an image.
  • the display 4 corresponds to a display unit.
  • the input may be performed by providing a button (not shown) on the display 4.
  • the indoor input unit 7 is a haptic device, lever, or button that is provided inside the vehicle 100 and that can be operated by an occupant of the vehicle 100.
  • selection of content such as audio and navigation displayed on the display 4 and selection of a specific notification target 23 described later can be performed.
  • the steering angle sensor 8 is attached to a steering shaft (not shown) of the vehicle 100, and measures a rotation angle of a steering wheel.
  • the electronic control unit 2 includes a control unit 5 and a storage unit 6.
  • the storage unit 6 is, for example, a semiconductor memory device such as a RAM (Random Access Memory), a flash memory, or a storage device such as a hard disk or an optical disk, and stores the captured image 40. Further, the storage unit 6 stores in advance the resolution of the captured image 40 captured by the external camera 3, the resolution of the display 4, the resolution ratio between the captured image 40 and the display 4 described later, and the pixel pitch of the display 4. .
  • a semiconductor memory device such as a RAM (Random Access Memory), a flash memory, or a storage device such as a hard disk or an optical disk
  • the pixel pitch is a distance between a pixel and an adjacent pixel on the display 4 and indicates a size per pixel.
  • the storage unit 6 stores the pixel pitch in the width direction of the display 4 and the pixel pitch in the height direction of the display.
  • the control unit 5 is, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), and controls the entire electronic control device 2.
  • the control unit 5 includes an input detection unit 51, an image acquisition unit 54, a course estimation unit 55, an object detection unit 56, a notification target detection unit 57, a size calculation unit 58, and a display control unit 59. ing.
  • the input detection unit 51 detects an input to the indoor input unit 7 and the touch panel 70.
  • the input detection unit 51 detects, for example, coordinates on the touch panel 70 touched by an occupant as inputs to the touch panel 70. Then, the input detection unit 51 outputs information regarding the detected input to the selection determination unit 60 included in the display control unit 59 described below as input information.
  • the image acquisition unit 54 is, for example, an input port, and acquires the captured image 40 captured by the camera 3 outside the vehicle. Note that the external camera 3 outputs the captured image 40 to the image acquisition unit 54 according to the set frame rate. Then, the image acquisition unit 54 outputs the acquired captured image 40 to the display control unit 59 and the storage unit 6.
  • the course estimation unit 55 acquires the steering angle of the steering wheel detected by the steering angle sensor 8.
  • the course estimating unit 55 estimates the course of the vehicle 100, that is, the predicted trajectory, based on the steering angle of the steering wheel. Then, the course estimation unit 55 outputs predicted trajectory information including the estimated predicted trajectory to the notification target detection unit 57.
  • the object detection unit 56 detects an object such as a stationary object and a moving object based on the captured image 40 stored in the storage unit 6. Specifically, the object detection unit 56 extracts an optical flow, which is a movement vector connecting the same feature points, from the captured images 40 of a plurality of frames arranged in a time series acquired from the storage unit 6, and extracts the extracted optical flow. The object is detected based on.
  • an optical flow which is a movement vector connecting the same feature points
  • the object detection unit 56 detects a stationary object and a moving object as objects.
  • the object detection unit 56 detects the upper, lower, left, and right ends of the detected object as information necessary for the size calculator 58 to calculate later. Then, the object detection unit 56 forms a rectangle including the detected upper, lower, left, and right ends, and detects the number of pixels in the width direction and the height direction of the formed rectangle.
  • the object detection unit 56 may detect the contour of the detected object and detect the number of pixels in a region surrounded by the contour as information necessary for the size calculation unit 58 described later to calculate. .
  • the object detection unit 56 associates the information indicating whether the detected object is a stationary object or a moving object with the information indicating the number of pixels in the width direction and the height direction of the formed rectangle, and obtains the object information. , To the notification target detection unit 57.
  • the notification target detection unit 57 notifies the occupant from the objects detected by the object detection unit 56 based on the predicted trajectory information output from the route estimation unit 55 and the object information output from the object detection unit 56.
  • the notification target to be notified is detected.
  • the notification target is different between the first embodiment and a second embodiment to be described later.
  • the notification target in the first embodiment is one of a moving object and a stationary object that may come into contact with the vehicle 100, This is the closest object.
  • Notification targets in a second embodiment described later are all moving objects and stationary objects that may come into contact with the vehicle.
  • an object closest to the vehicle 100 may be set as the notification target, or an object closest to the vehicle 100 among the stationary objects that may contact the vehicle 100 may be set as the notification target. It may be.
  • the notification target detection unit 57 detects, among the stationary objects detected by the object detection unit 56, a stationary object existing in the predicted trajectory as a stationary object that may come into contact with the vehicle 100. Then, the notification target detection unit 57 determines, from among the stationary objects that may contact the detected vehicle 100 and the moving objects detected by the object detection unit 56, the object that is closest to the vehicle 100. Detected as
  • the method of measuring the distance between the object and the vehicle 100 includes a first method of measuring the distance to the object from the parallax between the left and right cameras using a stereo camera, and a photographed image 40 based on the angle and the installation position of the camera 3 outside the vehicle. There is a second method in which a distance to the vehicle 100 is set for each coordinate.
  • the outside camera 3 is a stereo camera
  • the notification target detection unit 57 captures images of the detected moving object and the stationary object that may come into contact with the vehicle 100 by the left and right cameras, respectively.
  • the distance to the vehicle 100 is measured from the parallax of the captured image 40.
  • the outside camera 3 is a stereo camera
  • two cameras photograph the front and rear of the vehicle 100. In the above-described extraction of the optical flow, the photograph was taken by one of the left and right cameras.
  • a plurality of captured images 40 may be used.
  • the storage unit 6 stores distance information in which the distance to the vehicle 100 is set in advance for each coordinate of the captured image 40.
  • the notification target detection unit 57 measures the distance to the vehicle 100 by comparing the distance information stored in the storage unit 6 with the coordinates of the moving object and the static object in the captured image 40.
  • the notification target detection unit 57 may perform the first contact with the vehicle 100 among the moving object and the stationary object that may contact the vehicle. Objects with a high level are detected. Thus, the driver can instantaneously determine a dangerous object.
  • the electronic control system 1 using the first method will be described.
  • the notification target detection unit 57 outputs the notification target information having the object information on the detected notification target and the predicted trajectory information received from the route estimation unit 55 to the size calculation unit 58.
  • the notification target information includes position information including a distance between the notification target and the vehicle 100, information indicating whether the notification target is a stationary object or a moving object, and upper, lower, left, and right ends of the notification target. This is information relating a rectangle to information indicating the number of pixels in the width direction and the height direction.
  • the size calculation unit 58 calculates the size of the notification target detected by the notification target detection unit 57 displayed on the display 4.
  • the size is the length in the width direction and the height direction of a rectangle including the upper, lower, left, and right ends of the notification target displayed on the display 4.
  • the size of the notification target displayed on the display 4 may be a rectangular area including the upper, lower, left, and right ends of the notification target displayed on the display 4.
  • the size calculation unit 58 calculates the resolution of the captured image 40 captured by the external camera 3 stored in the storage unit 6, the resolution of the display 4, and the resolution ratio between the captured image 40 and the display 4 described later. , And the pixel pitch of the display 4.
  • the size calculation unit 58 calculates the number of pixels in the width direction and height direction of the rectangle including the upper, lower, left, and right ends of the notification target acquired from the notification target detection unit 57, and the captured image 40 acquired from the storage unit 6.
  • the size at which the notification target is displayed on the display 4 is calculated from the resolution ratio of the display 4 and the pixel pitch of the display 4.
  • the resolution ratio here is the ratio of the number of pixels between the long side of the display 4 and the long side of the captured image 40, or the ratio of the number of pixels between the short side of the display 4 and the short side of the captured image 40.
  • the reason for using the resolution ratio is to display the captured image 40 on the display 4 as much as possible.
  • the resolution of the captured image 40 is 1280 ⁇ 1024 and the resolution of the display 4 is 800 ⁇ 480, the resolution of the captured image 40 and the display 4 are different. Is displayed on the display 4 in a state in which both the width direction and the height direction of the captured image 40 are partially cut off.
  • the notification target in the photographed image 40 may be cut off.
  • the captured image 40 is reduced in accordance with the ratio of the number of pixels between the long side of the captured image 40 and the long side of the display 4, a part of the captured image 40 in the height direction can be cut off.
  • the captured image 40 is displayed on the display 4 without being cut off in the direction.
  • the resolution ratio shown in Expressions 1 and 2 is the ratio of the number of pixels between the long side of the captured image 40 and the long side of the display 4 (1.6).
  • the width direction of the captured image 40 is reduced by the ratio of the number of pixels on the long side of the display 4 to the captured image. Then, the height direction of the captured image 40 may be reduced according to the ratio of the number of pixels of the captured image 40 and the short side of the display 4.
  • the resolution ratio shown in Expression 1 is the ratio of the number of pixels between the long side of the captured image 40 and the long side of the display 4 (1.6)
  • the resolution ratio shown in Expression 2 is the short side of the captured image 40
  • the size calculation unit 58 outputs to the display control unit 59 the size information, which is the information on the calculated size of the notification target, and the notification target information and the predicted trajectory information received from the notification target detection unit 57.
  • the operation of the display control unit 59 will be described. Since the notification target detected by the notification target detection unit 57 is different between the first embodiment and the second embodiment, the operation of the display control unit 59 is also the first embodiment. The embodiment differs from the second embodiment.
  • the display control unit 59 has two functions.
  • the first function is a function of determining whether a specific notification target 23 described later and a normal notification target 22 described later exist.
  • the second function is to display an image on the display 4.
  • the display control unit 59 controls the notification target calculated by the size calculation unit 58 based on the notification target information that is the detection result of the notification target detection unit 57 and the size information that is the calculation result of the size calculation unit 58. It is determined whether there is a specific notification target 23 that is a notification target whose size is equal to or smaller than a predetermined threshold.
  • the display control unit 59 determines that the normal notification target 22 whose notification target size is larger than the predetermined threshold is present.
  • the predetermined threshold value is a total value of the size in the width direction and the size in the height direction, for example, 60 mm, and the width direction and the height of the notification target in the captured image 40 displayed on the display 4. If the size in the vertical direction is 30 mm or less, it is determined to be a specific notification target.
  • the predetermined threshold is not limited to the above description.
  • the predetermined threshold value that is determined to be the normal notification target 22 is a size that allows the occupant of the vehicle 100 to easily recognize the notification target in the captured image 40 in a situation where the captured image 40 is displayed on the display 4. Any value as long as it is indicated.
  • the predetermined threshold value determined to be the specific notification target may be a value indicating a size in which the notification target cannot be recognized unless the display 4 is watched in the situation where the captured image 40 is displayed on the display 4.
  • the predetermined threshold value is the size in the width direction, It is a value obtained by multiplying the size in the height direction.
  • the display control unit 59 acquires the captured image 40 captured by the camera 3 outside the vehicle via the image acquisition unit 54.
  • the display control unit 59 converts the captured image 40, a later-described support image, a later-described normal enhanced image 41, a later-described captured enhanced image 42, a later-described enlarged image 43, and a later-described enlarged emphasized image 44, respectively. Display on the display 4 under different conditions.
  • the display pattern of the display control unit 59 will be described below with reference to FIGS. FIGS. 3 to 6 show images displayed on the display 4 when the vehicle 100 is moving backward.
  • FIG. 3 is an example when the captured image 40, the support image, and the normal emphasized image 41 are displayed on the display 4.
  • the support image is an image that is displayed on the display 4 and assists the occupant in operating the vehicle 100, and is, for example, an image including the prediction line 20 and the vehicle width line 21.
  • the normal emphasis image 41 is an image that emphasizes the normal notification target 22 in the captured image 40.
  • the display control unit 59 generates the prediction line 20 as the support image based on the predicted trajectory included in the predicted trajectory information, and uses the vehicle width line 21 as the support image based on the width of the vehicle 100 stored in the storage unit 6 in advance.
  • the prediction line 20 is a boundary line of a prediction trajectory of the vehicle 100 in a belt shape, and is, for example, a pair of lines.
  • the vehicle width line 21 is a line indicating the vehicle width when the vehicle 100 is moving forward or backward straight when the steering wheel of the vehicle 100 is at a fixed position. Note that the width of the pair of prediction lines 20 corresponds to the width of the vehicle 100, but can be adjusted to be wider than the width of the vehicle 100.
  • the display control unit 59 generates the normal emphasized image 41 that emphasizes the normal notification target 22 in the captured image 40 based on the notification target information.
  • the normal emphasized image 41 is a rectangular frame including the upper, lower, left, and right ends of the notification target. Note that the normal emphasized image 41 may be a line surrounding the outline of the notification target. Also, the line surrounding the rectangular frame or the outline of the notification target may be a broken line.
  • the display control unit 59 determines that the normal notification target 22 exists as the first function, the display control unit 59 superimposes the captured image 40, the support image, and the normal emphasized image 41 on the display 4.
  • the normal emphasized image 41 may not be displayed.
  • the reason is that the normal notification target 22 is displayed larger than a predetermined threshold value on the display 4, and therefore, it is highly likely that the occupant can easily recognize the normal notification target 22 without emphasizing it.
  • FIG. 4 is an example when the captured image 40, the support image, and the captured enhanced image 42 are displayed on the display 4.
  • the display control unit 59 generates the photographing emphasized image 42 that emphasizes the specific notification target 23 in the photographed image 40 differently from the normal emphasized image 41 based on the notification target information.
  • the photographed emphasized image 42 is a rectangular frame including the upper, lower, left, and right ends of the notification target.
  • a color different from that of the normal emphasized image 41 a solid line or a broken line is used.
  • the photographing emphasized image 42 may be a line surrounding the outline of the notification target.
  • the display control unit 59 determines that the specific notification target 23 exists as the first function, the display control unit 59 superimposes and displays the captured image 40, the support image, and the captured enhancement image 42 on the display 4.
  • FIG. 5 is an example when the captured image 40, the support image, the captured enhanced image 42, and the enlarged image 43 are displayed on the display 4.
  • the display control unit 59 includes a selection determination unit 60 that determines whether or not the occupant has selected the specific notification target 23 displayed on the display 4 based on the input information detected by the input detection unit 51. I have.
  • the selection determination unit 60 is displayed on the display 4. It is determined that the specific notification target 23 has been selected.
  • the display control unit 59 determines whether the occupant is displayed on the display 4 by the selection determining unit 60 in a state where the captured image 40 is displayed on the display 4 by the pattern 1 or the pattern 2.
  • an enlarged image 43 obtained by enlarging a predetermined area 45 including the selected specific notification target 23 is displayed on the screen of the display 4 together with the captured image 40.
  • the display control section 59 superimposes and displays the enlarged image 43 on the captured image 40 displayed on the display 4 as shown in FIG. At this time, when superimposing the display, the display control unit 59 displays the enlarged image 43 on the display 4 so as not to cover the specific notification target 23 present in the captured image 40 displayed on the screen of the display 4. Is preferred.
  • the enlarged image 43 and the captured image 40 may be displayed on the display 4 without overlapping, or the enlarged image 43 may be displayed on the entire surface of the display 4.
  • the display control unit 59 changes the display position of the enlarged image 43 based on the predicted trajectory information estimated by the course estimation unit 55. Specifically, when the enlarged image 43 is superimposed on the captured image 40, the display controller 59 enlarges the enlarged image 43 in the left-right direction opposite to the direction of the prediction line 20 estimated by the path estimation unit 55. 43 is displayed. This is to reduce the overlap between the predicted trajectory determined by the pair of prediction lines 20 and the enlarged image 43.
  • the display control unit 59 converts the enlarged image 43 into the left and right ends of the captured image 40. One of them is displayed.
  • the display controller 59 may cause the display 4 to display the enlarged image 43 when the size calculated by the size calculator 58 is equal to or smaller than a predetermined threshold value, regardless of whether or not the occupant is selected.
  • the ⁇ predetermined area 45 is an area that is extended up, down, left, and right by a predetermined number of pixels with respect to a rectangle including the upper, lower, left, and right ends of the specific notification target 23 selected by the passenger. It is preferable that the predetermined area 45 is an area that is wider in the left-right direction than in the vertical direction. For example, with respect to a rectangle including the upper, lower, left, and right ends of the notification target, the pixel is expanded by 10 pixels in the vertical direction and 30 pixels in the horizontal direction.
  • the predetermined area 45 may be an area surrounding the outline of the specific notification target 23.
  • magnification for enlarging the predetermined area 45 may be appropriately set.
  • the predetermined area 45 is enlarged so as to be 1 / of the total area of the display 4.
  • a fourth pattern in which the display control unit 59 causes the display 4 to superimpose the enlarged image 43 and the enlarged emphasized image 44 on the display 4 will be described with reference to FIG.
  • the magnified and emphasized image 44 is an image that emphasizes the specific notification target 23 in the magnified image 43.
  • the enlarged and emphasized image 44 is an image obtained by enlarging the photographed and emphasized image 42 at the same ratio as the enlargement ratio at which the predetermined area 45 including the specific notification target 23 is enlarged. Therefore, the enlarged emphasized image 44 is a rectangular frame including the upper, lower, left, and right ends of the specific notification target 23 in the enlarged image 43.
  • the enlarged emphasized image 44 may be a line surrounding the outline of the specific notification target 23 in the enlarged image 43. Further, the line surrounding the outline of the specific notification target 23 in the rectangular frame or the enlarged image 43 may be a broken line.
  • FIG. 7 is a flowchart illustrating a procedure of a display control process performed by the control unit 5 of the first embodiment. Note that “S” in the flow of the display control processing means each step.
  • This display control process is started when the shift lever is put into reverse or when the shift lever is put into drive.
  • the process may be started when the vehicle 100 is moving forward, when the vehicle 100 is moving backward, or when the ignition of the vehicle 100 is turned on.
  • step S1 the image acquisition unit 54 acquires the captured image 40 captured by the camera 3 outside the vehicle, and proceeds to step S2. At this time, the image acquisition unit 54 outputs the acquired captured image 40 to the display control unit 59 and the storage unit 6.
  • the object detection unit 56 detects an object such as a stationary object and a moving object based on the captured image 40 stored in the storage unit 6. Then, if no object is detected, the object detection unit 56 ends the processing. On the other hand, when detecting the object, the object detection unit 56 outputs the object information to the notification target detection unit 57, and proceeds to S3.
  • the course estimation unit 55 calculates a predicted trajectory based on the steering angle of the steering wheel, and shifts to S4.
  • the notification target detection unit 57 selects one of the objects detected by the object detection unit 56. A notification target to be notified to the occupant is detected. Then, when the notification target detection unit 57 does not detect the notification target, the processing ends. On the other hand, when detecting the notification target, the notification target detection unit 57 outputs the notification target information and the predicted trajectory information to the size calculation unit 58, and shifts to S5.
  • the size calculator 58 calculates the size of the notification target displayed on the display 4, and proceeds to S6. At this time, the size calculation unit 58 outputs to the display control unit 59 the size information that is the information on the calculated size of the notification target, the notification target information, and the predicted trajectory information.
  • the display control unit 59 determines whether or not the specific notification target 23 exists based on the size information output from the size calculation unit 58 and the notification target information. When the specific notification target 23 does not exist, the display control unit 59 determines that the normal notification target 22 exists, and shifts to S7. On the other hand, when the display control unit 59 determines that the specific notification target 23 exists, the process proceeds to S8.
  • the display control unit 59 superimposes the captured image 40, the normal emphasized image 41, and the support image on the display 4, and ends the process.
  • the display control unit 59 superimposes the captured image 40, the captured enhanced image 42, and the support image on the display 4, and proceeds to S9.
  • the selection determination unit 60 determines whether or not the occupant has selected the specific notification target 23 displayed on the display 4 based on the input information detected by the input detection unit 51. When determining that the occupant has selected the specific notification target 23, the selection determination unit 60 proceeds to S10. When the selection determination unit 60 determines that the specific notification target 23 has not been selected, the process ends.
  • the display control unit 59 causes the display 4 to display an enlarged image 43 in which a predetermined area including the selected specific notification target 23 is enlarged, and proceeds to S11.
  • the display control unit 59 causes the display 4 to superimpose and display the enlarged image 43 and the enlarged emphasized image 44.
  • the display control section 59 determines whether or not the shift lever is reverse. If the shift lever is reverse, the display control process is continued, and if the shift lever is no longer reverse, the process ends. Note that the timings of the processes of S10 and S11 may be aligned. Further, the processing in S11 may be omitted.
  • the display control unit 59 causes the display 4 to display the enlarged image 43 and the enlarged emphasized image 44 for a certain period of time.
  • the certain time here may be a time during which the occupant can recognize the specific notification target 23 in the enlarged image 43, and is, for example, 5 seconds.
  • the size of the notification target present in the captured image 40 displayed on the display 4 is calculated.
  • the display 4 displays an enlarged image 43 obtained by enlarging the specific notification target 23 whose size is equal to or smaller than the predetermined threshold.
  • the specific notification target 23 displayed on the display 4 with a size equal to or smaller than the predetermined threshold is displayed on the display 4 in an enlarged state, so that the occupant can easily recognize the notification target.
  • the enlarged image 43 is an image obtained by enlarging a predetermined area 45 including the specific notification target 23. Thereby, the situation around the specific notification target 23 can be easily recognized.
  • the display control unit 59 sets the specific notification target 23 in the captured image 40 determined to be selected by the selection determination unit 60 as the enlarged image 43 together with the captured image 40 on the screen of the display 4. Display.
  • the specific notification target 23 selected by the occupant on the display 4 as the enlarged image 43, it is possible to prevent the enlarged image 43 from being displayed on the display 4 unnecessarily.
  • the enlarged image 43 and the captured image 40 are displayed together on the screen of the display 4, it is easy to recognize which area of the captured image 40 is enlarged.
  • the display control unit 59 causes the display 4 to display the enlarged image 43 so as not to cover the specific notification target 23 existing in the captured image 40 displayed on the screen of the display 4. Accordingly, the specific notification target 23 existing in the captured image 40 displayed on the screen of the display 4 and the specific notification target 23 in the enlarged image 43 are both displayed on the display 4. The occupant can easily grasp the positional relationship between the specific notification target 23 existing in the captured image 40 displayed on the screen 4 and the specific notification target 23 in the enlarged image 43.
  • the display control unit 59 determines that the specific notification target 23 exists from the detection result of the notification target detection unit 57 and the calculation result of the size calculation unit 58, the display control unit 59 displays the display on the display 4.
  • the display-enhanced image 42 that emphasizes the specific notification target 23 in the captured image 40 to be displayed is displayed on the display 4.
  • the display control unit 59 determines that the normal notification target 22 exists from the detection result of the notification target detection unit 57 and the calculation result of the size calculation unit 58, the display control unit 59 displays the display on the display 4.
  • the display 4 displays a normal emphasized image 41 that emphasizes the normal notification target 22 in the photographed image 40 different from the photographed emphasized image 42.
  • the specific notification target 23 displayed on the display 4 and the normal notification target 22 can be easily distinguished.
  • the display control unit 59 changes the display position of the enlarged image 43 based on the estimation result of the route estimation unit 55. This can prevent the occupant from recognizing the route of the vehicle 100.
  • the display control unit 59 causes the display 4 to display an enlarged and emphasized image 44 that emphasizes the specific notification target 23 in the enlarged image 43. This makes it easier to recognize the specific notification target 23 present in the enlarged image 43.
  • the notification target is the object closest to the vehicle 100 among the moving objects and the stationary objects that may come into contact with the vehicle 100. Accordingly, the notification target displayed on the display 4 is limited, and it is possible to prevent the occupant from being hindered by providing more information than necessary to the occupant.
  • FIG. 8 is a block diagram illustrating a configuration of an electronic control device 92 according to the second embodiment.
  • a notification target detection unit 957, a size calculation unit 958, and a display control unit 959 included in the control unit 95 are different from those of the first embodiment.
  • the notification target detection unit 957, the size calculation unit 958, and the display control unit 959 will be described below.
  • the notification target detection unit 957 notifies the occupant from the objects detected by the object detection unit 56 based on the predicted trajectory information output from the course estimation unit 55 and the object information output from the object detection unit 56.
  • the notification target to be notified is detected.
  • the notification targets detected by the notification target detection unit 957 are all moving objects and all stationary objects that may come into contact with the vehicle.
  • the notification target detection unit 957 outputs the notification target information including the object information regarding the detected notification target and the predicted trajectory information received from the route estimation unit 55 to the size calculation unit 958.
  • the notification target information includes position information including the distance between the notification target and the vehicle 100, information indicating whether the notification target is a stationary object or a moving object, and the upper, lower, left, and right ends of the notification target. This is information relating the number of detected notification targets in addition to information indicating the number of pixels in the width direction and the height direction for a rectangle including a portion.
  • the size calculation unit 958 calculates the size of the notification target detected by the notification target detection unit 957 displayed on the display 4. At this time, when a plurality of notification targets are detected, the size calculation unit 958 calculates the size of each notification target. Then, the size calculation unit 958 outputs to the display control unit 959 the size information that is the information on the calculated size of the notification target, the notification target information received from the notification target detection unit 957, and the predicted trajectory information. .
  • the display control unit 959 determines whether there is a plurality of notification targets detected by the notification target detection unit 957 based on the notification target information as a third function in addition to the first function and the second function. Is determined. Further, the display control unit 959 performs different operations depending on whether there are a plurality of notification targets or only one notification target.
  • the display control unit 959 determines that there is only one notification target, the display control unit 959 performs the same operation as the display control unit 59 in the first embodiment. That is, when determining that there is only one notification target, the display control unit 959 determines whether or not the specific notification target 23 exists based on the size information.
  • the display control unit 959 determines whether the specific notification target 23 and the normal notification target 22 exist in the captured image 40 based on the size information. That is, when the display control unit 959 determines that there are a plurality of notification targets, the display control unit 959 determines whether the specific notification target 23 exists, and further determines whether the normal notification target 22 exists.
  • the display control unit 959 performs the first to fourth patterns when there is only one notification target. However, for the third pattern, an operation of displaying the captured image 40 darker than the enlarged image 43 is added to the operation of the display control unit 59 of the first embodiment.
  • the display control unit 959 determines that one notification target detected by the notification target detection unit 957 and that the notification target is the specific notification target, Also makes the captured image 40 dark.
  • the specific notification target 23 emphasized by the photographing emphasized image 42 shown in FIG. 9 is also displayed dark because it is a part of the photographed image 40.
  • the display control unit 959 does not darken the captured image 40 when displaying only the enlarged image 43 on the display 4 as in the first embodiment.
  • the display control unit 959 highlights the specific notification target 23 or the normal notification target 22 existing in the captured image 40, or the specific notification target 23 and the normal notification target 22.
  • the display control unit 959 when only a plurality of normal notification targets 22 exist, the display control unit 959 superimposes and displays the normal emphasis image 41 for each of the normal notification targets 22 and the captured image 40. In addition, when only a plurality of specific notification targets 23 exist, the display control unit 959 superimposes the captured image 40 and the captured image 40 for each specific notification target 23. When both the normal notification target 22 and the specific notification target 23 exist, the display control unit 959 superimposes and displays the normal emphasized image 41, the photographed emphasized image 42, and the photographed image 40.
  • FIGS. 10 and 11 are flowcharts showing the procedure of the display control process executed by the control unit 95 of the second embodiment. Note that “S” in the flow of the display control processing means each step.
  • the course estimation unit 55 calculates a predicted trajectory based on the steering angle of the steering wheel, and proceeds to S19.
  • the notification target detection unit 957 detects all moving objects and stationary objects that may come into contact with the vehicle as notification targets based on the predicted trajectory information and the object information.
  • the notification target detection unit 957 When the notification target detection unit 957 does not detect the notification target, the process ends. On the other hand, when detecting the notification target, the notification target detection unit 957 outputs the notification target information and the predicted trajectory information to the size calculation unit 958, and proceeds to S20.
  • the size calculation unit 958 calculates the size of the notification target detected by the notification target detection unit 957 to be displayed on the display 4, and proceeds to S21.
  • the display control unit 959 determines whether there are a plurality of notification targets detected by the notification target detection unit 957. When the display control unit 959 determines that there are a plurality of notification targets, the process proceeds to S23. On the other hand, when the target determining unit 961 determines that there is not a plurality of notification targets, the process proceeds to S6.
  • step S22 the display control unit 959 causes the display 4 to display an enlarged image 43 obtained by enlarging a predetermined area including the selected specific notification target 23, and proceeds to step S11. At this time, when the enlarged image 43 and the captured image 40 are displayed in a superimposed manner, the display control unit 959 displays the captured image 40 darker than the enlarged image 43.
  • the display control unit 959 determines whether or not the specific notification target 23 exists. When the display control unit 959 determines that the specific notification target 23 does not exist, the process proceeds to S24, and when the display control unit 959 determines that the specific notification target 23 exists, the process proceeds to S25.
  • the display control unit 959 superimposes and displays the normal emphasized image 41 for each normal notification target 22 and the captured image 40. Then, the display control section 59 determines whether or not the shift lever is reverse. If the shift lever is reverse, the display control process is continued. If the shift lever is no longer reverse, the process ends.
  • the display control unit 959 determines whether or not the normal notification target 22 exists. When the display control unit 959 determines that the normal notification target 22 does not exist, the process proceeds to S26, and when the display control unit 959 determines that the normal notification target 22 exists, the process proceeds to S27.
  • the display control unit 959 superimposes and displays the photographed image 40 and the photographed image 40 for each specific notification target 23, and proceeds to S28.
  • the display control unit 959 displays the normal emphasized image 41, the photographed emphasized image 42, and the photographed image 40 in a superimposed manner because the normal notice target 22 and the specific notice target 23 are both present in the photographed image 40. .
  • the selection determination unit 60 determines whether the occupant has selected the specific notification target 23 displayed on the display 4 based on the input information detected by the input detection unit 51, as in S9. When determining that the occupant has selected the specific notification target 23, the selection determination unit 60 proceeds to S29. On the other hand, when the selection determining unit 60 determines that the occupant has not selected the specific notification target 23, the process ends.
  • the display control unit 59 causes the display 4 to display an enlarged image 43 obtained by enlarging a predetermined area including the selected specific notification target 23, and shifts to S30.
  • the display control unit 59 causes the display 4 to superimpose and display the enlarged image 43 and the enlarged emphasized image 44. Then, the display control section 59 determines whether or not the shift lever is reverse. If the shift lever is reverse, the display control process is continued. If the shift lever is no longer reverse, the process ends. Note that the timings of the processes of S29 and S30 may be aligned. Further, the processing of S30 may be omitted.
  • the display control unit 959 determines that both the normal notification target 22 and the specific notification target 23 exist in the captured image 40, the display control unit 959 sets the captured image 40 and the normal enhanced image 41 and the photographing emphasized image 42 are superimposed and displayed. Thereby, the specific notification target 23 in the captured image 40 and the normal notification target 22 can be easily distinguished.
  • the display control unit 959 determines that one notification target detected by the notification target detection unit 957 and that the notification target is the specific notification target,
  • the captured image 40 is displayed dark. This makes it easier to recognize the specific notification target 23 in the enlarged image 43.
  • the display control unit 59 may superimpose and display the enlarged image 43 and the specific notification target 23 in the captured image 40 as shown in FIG.
  • overlap refers to a case where the enlarged image 43 covers the specific notification target 23 in the captured image 40 and a case where the enlarged image 43 overlaps a part of the specific notification target 23 in the captured image 40.
  • the occupant since the specific notification target 23 in the captured image 40 is not emphasized by eliminating the processes in S8 and S9, the occupant may not be able to recognize the specific notification target 23 existing in the captured image 40. Therefore, the position of the specific notification target 23 in the captured image 40 is easily recognized by displaying the enlarged image 43 at the position where the specific notification target 23 is displayed in the captured image 40.
  • the enlarged image 43 is displayed after the photographed emphasized image 42 and the photographed image 40 or the photographed emphasized image 42, the normal emphasized image 41, and the photographed image 40 are superimposed on the display 4 in S26, S27, and S28.
  • This is a process of determining whether or not to make the setting.
  • the processes of S26, S27, and S28 may be omitted, and the display control unit 959 may display the enlarged image 43 on the display 4 when determining that the specific notification target 23 exists. This eliminates the need for the occupant to perform an operation of selecting the specific notification target 23, thereby improving convenience.
  • each specific notification target 23 may be displayed as an enlarged image 43 in a predetermined order.
  • the predetermined order is, for example, an order in which the distance to the vehicle 100 is short among the specific notification targets 23.
  • only the specific notification target 23 that is closest to the vehicle 100 may be displayed.
  • a plurality of enlarged images 43 may be displayed simultaneously.
  • a predetermined number of enlarged images 43 is displayed. This is to limit information to be reported at one time, thereby preventing the driver's judgment from being hindered by unnecessary report information.
  • the selection determination unit 60 determines whether or not the occupant has selected the specific notification target 23 based on an input to the indoor input unit 7 or the touch panel 70.
  • FIG. 13 is a block diagram showing an internal configuration of an electronic control unit 82 according to the third modification.
  • the electronic control unit 82 includes a control unit 85 and the storage unit 6.
  • a vehicle speed sensor 9 and an in-vehicle camera 10 are connected to the electronic control unit 82.
  • the in-vehicle camera 10 is provided in the room of the vehicle 100 and captures an occupant's face.
  • control unit 85 newly includes the stop determination unit 52 and the line-of-sight detection unit 53.
  • the stop determination unit 52 determines from the vehicle speed sensor 9 whether or not the vehicle 100 is stopped, and outputs information regarding the determination result to the gaze determination unit 80 newly provided in the display control unit 859 as stop information. Note that the stop determination unit 52 may determine whether the vehicle 100 is stopped from an acceleration sensor (not shown).
  • the line-of-sight detection unit 53 detects the direction of the line of sight of the occupant from the occupant's face image captured by the in-vehicle camera 10.
  • the line-of-sight detection unit 53 outputs information on the detected line-of-sight direction of the occupant to the gaze determination unit 80 as line-of-sight information.
  • the gaze determination unit 80 determines whether or not the occupant is gazing at the specific notification target 23 based on the stop information and the gaze information. Specifically, the gaze determination unit 80 gazes at the specific notification target 23 displayed on the display 4 when the vehicle 100 is stopped and the direction of the line of sight of the occupant is the direction of looking at the display 4. Is determined.
  • a flowchart or a process of the flowchart described in the present disclosure is composed of a plurality of units (or steps), and each unit is expressed as, for example, S1. Further, each part can be divided into a plurality of sub-parts, while a plurality of parts can be combined into one part. Furthermore, each part configured in this way can be referred to as a circuit, a device, a module, and a means.
  • Each or a combination of the above-mentioned plurality of units includes not only (i) a software unit combined with a hardware unit (eg, a computer), but also (ii) hardware (eg, an integrated circuit, As a part of the wiring logic circuit), it can be realized with or without including the function of the related device. Further, the hardware part may be configured inside the microcomputer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

電子制御装置は、移動体（１００）に設けられる撮影部（３）により撮影された撮影画像（４０）に基づいて、撮影画像内に存在する、移動体の乗員に報知すべき報知対象を検出する報知対象検出部（５７、９５７）と、移動体の室内に設けられる撮影画像を表示する表示部（４）に、報知対象検出部により検出された報知対象が表示される大きさを算出する大きさ算出部（５８、９５８）と、大きさ算出部により算出された大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象（２３）を拡大させた拡大画像（４３）を、表示部に表示させる表示制御部（５９、８５９、９５９）と、を備える。

Description

電子制御装置及び電子制御方法 関連出願の相互参照
　本出願は、２０１８年７月１９日に出願された日本特許出願番号２０１８－１３６０１７号に基づくもので、ここにその記載内容を援用する。
　この明細書における開示は、電子制御装置及び電子制御方法に関する。
　特許文献１には、車両に設けられたカメラによって車両の後方領域が撮影され、カメラによって撮影された撮影画像を車両の室内に設けられたディスプレイに表示させる物体検知装置が開示されている。
　この物体検知装置では、複数の撮影画像を用いて、車両の後方領域に存在する物体が検出され、検出された物体の中から車両の乗員に報知すべき報知対象である移動物体及び車両と接触する可能性のある静止物体が選択される。そして物体検知装置では、撮影画像と、撮影画像内の報知対象を強調させる枠とを重畳させた上でディスプレイに表示させる。
　従来技術として列挙された先行技術文献の記載内容は、この明細書における技術的要素の説明として、参照により援用される。
特開２０１７－４１８１号公報
　しかしながら、特許文献１のように、報知対象を強調させた上でディスプレイに表示させたとしても、報知対象が何であるのか乗員が認識できない場合がある。
　近年、車両に設けられるカメラの画素数が多くなり、高解像度の画像を撮影することが可能となってきている。これにより、車両から遠くに存在する物体や大きさの小さい物体を報知対象として検出できるようになってきている。
　一方で、撮影した画像を車室内のディスプレイに表示させようとした場合、ディスプレイの表示面積が小さいほど、撮影した画像内に存在する報知対象が、ディスプレイに小さく表示されることになる。
　このように、たとえ、車両から遠くに存在する物体や小さい物体を報知対象として検出し、検出した報知対象を強調させてディスプレイに表示させたとしても、ディスプレイの表示面積が小さいことで、強調された報知対象が何であるのか乗員が認識できないおそれがあった。
　このようなことから電子制御装置及び電子制御方法には、上述の観点又は上述されていない他の観点において、さらなる改良が求められている。したがって、開示される１つの目的は、報知対象を認識しやすい電子制御装置及び電子制御方法を、提供することにある。
　本開示の一態様による電子制御装置は、移動体に設けられる撮影部により撮影された撮影画像に基づいて、撮影画像内に存在する、移動体の乗員に報知すべき報知対象を検出する報知対象検出部と、移動体の室内に設けられる撮影画像を表示する表示部に、報知対象検出部により検出された報知対象が表示される大きさを算出する大きさ算出部と、大きさ算出部により算出された大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象を拡大させた拡大画像を、表示部に表示させる表示制御部と、を備える。
　また、本開示の他の態様による電子制御方法は、移動体に設けられる撮影部により撮影された撮影画像に基づいて、撮影画像内に存在する、移動体の乗員に報知すべき報知対象を検出することと、移動体の室内に設けられる撮影画像を表示する表示部に、検出することにより検出された報知対象が表示される大きさを算出することと、算出することにより算出された大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象を拡大させた拡大画像を、表示部に表示させることと、を備える。
　これら開示された電子制御装置及び電子制御方法によると、撮影画像内に存在する、乗員に報知すべき報知対象が、表示部に表示される大きさを算出する。そして、表示部に表示される大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象を拡大させた拡大画像を、表示部に表示させる。
　これにより、表示部に所定の閾値以下の大きさで表示される特定報知対象が、拡大された状態で表示部に表示されるため、乗員が報知対象を認識しやすくなる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態による電子制御システムの概略構成図であり、 図２は、第１実施形態による電子制御装置の構成を示すブロック図であり、 図３は、撮影画像と支援画像と通常強調画像とを表示させた際の一例であり、 図４は、撮影画像と支援画像と撮影強調画像とを表示させた際の一例であり、 図５は、拡大画像を表示させた際の一例であり、 図６は、拡大強調画像を表示させた際の一例であり、 図７は、第１実施形態による表示制御処理を示すフローチャートであり、 図８は、第２実施形態による電子制御装置の構成を示すブロック図であり、 図９は、第２実施形態による撮影画像と支援画像と拡大画像と拡大強調画像とを表示させた際の一例であり、 図１０は、第２実施形態による表示制御処理を示すフローチャートであり、 図１１は、第２実施形態による表示制御処理を示すフローチャートであり、 図１２は、変形例１による撮影画像と支援画像と拡大画像と拡大強調画像とを表示させた際の一例であり、 図１３は、変形例３による電子制御装置の構成を示すブロック図である。
　以下に、本開示に係る電子制御システム１、電子制御装置２及び電子制御方法の実施形態を図面に基づいて詳細に説明する。また、以下の実施形態では、移動体が車両１００である場合について説明するが、移動体は、電車、船舶、飛行機といったものであってもよい。
　（第１実施形態）
　以下、第１実施形態について、図１を参照しつつ説明する。図１は、第１実施形態による電子制御システム１の概略構成図である。図１に示すように、電子制御システム１は、電子制御装置２と、車両１００の周囲を撮影する車外カメラ３と、ディスプレイ４とから構成されている。そして、車両１００には、電子制御装置２と、車外カメラ３と、ディスプレイ４とが搭載されている。
　車外カメラ３は、車両１００の周囲を撮影するために、車両１００の前方及び後方に取り付けられ、車両１００の前方領域及び後方領域を撮影する。車外カメラ３により撮影された撮影画像４０は、電子制御装置２に入力される。この撮影画像４０は、複数のピクセルの集合で構成されている。
　尚、車外カメラ３の設置位置は、車両１００前方又は後方の何れか一方でもよく、撮影領域も前方領域及び後方領域の何れか一方でもよい。この車外カメラ３は、撮影部に相当する。
　そして、電子制御装置２は、車両１００が前進している場合、又はシフトレバーがドライブとなっている場合に、前方領域が撮影された撮影画像４０をディスプレイ４に出力し、車両１００が後進している場合、又はシフトレバーがリバースとなっている場合に、後方領域が撮影された撮影画像４０をディスプレイ４に出力する。つまり、ディスプレイ４には、撮影画像４０が表示される。
　次に、電子制御装置２の構成について図２を用いて説明する。図２は、第１実施形態に係る電子制御装置２の構成を示すブロック図である。なお、図２では、第１実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。
　図２に示すように、電子制御装置２には、車外カメラ３と、ディスプレイ４と、室内入力部７と、操舵角センサ８とが接続されている。
　ディスプレイ４は、タッチ操作による入力が可能なディスプレイであり、タッチパネル７０を有している。タッチパネル７０は、画像を表示するディスプレイ４の表示面に設けられている。このディスプレイ４は、表示部に相当する。尚、ディスプレイ４に図示しないボタンを設けることで入力できるようにしてもよい。
　室内入力部７は、車両１００の室内に設けられ、車両１００の乗員が操作可能なハプティックデバイス、レバー、又はボタンである。室内入力部７を乗員が操作することにより、ディスプレイ４に表示されるオーディオやナビ等のコンテンツの選択、及び後述する特定報知対象２３の選択が可能となる。
　操舵角センサ８は、車両１００の図示しないステアリングシャフトに取り付けられ、ステアリングホイールの回転角度を測定する。
　次に、電子制御装置２の内部構成について説明する。電子制御装置２は、制御部５と、記憶部６とを備えている。
　記憶部６は、たとえばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、又はハードディスク、光ディスク等の記憶装置であり、撮影画像４０を記憶する。さらに、記憶部６は、車外カメラ３で撮影される撮影画像４０の解像度、ディスプレイ４の解像度、後述する撮影画像４０とディスプレイ４との解像度比、及びディスプレイ４の画素ピッチが予め記憶されている。
　画素ピッチとは、ディスプレイ４においてピクセルと隣り合うピクセルとの距離であり、１ピクセルあたりの大きさを示すものである。記憶部６には、ディスプレイ４の幅方向の画素ピッチと、ディスプレイの高さ方向の画素ピッチとが記憶される。
　制御部５は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、電子制御装置２の全体制御を行う。制御部５は、入力検出部５１と、画像取得部５４と、進路推定部５５と、物体検出部５６と、報知対象検出部５７と、大きさ算出部５８と、表示制御部５９とを備えている。
　入力検出部５１は、室内入力部７及びタッチパネル７０への入力を検出する。入力検出部５１は、例えば、タッチパネル７０への入力として、乗員によりタッチ操作されたタッチパネル７０上の座標を検出する。そして、入力検出部５１は、検出した入力に関する情報を入力情報として後述する表示制御部５９が有する選択判定部６０に出力する。
　画像取得部５４は、たとえば入力ポートであり、車外カメラ３によって撮影された撮影画像４０を取得する。尚、車外カメラ３は、設定されたフレームレートに応じて撮影画像４０を画像取得部５４へと出力する。そして、画像取得部５４は、取得した撮影画像４０を表示制御部５９、及び記憶部６に出力する。
　進路推定部５５は、操舵角センサ８で検出されたステアリングホイールの操舵角を取得する。進路推定部５５は、ステアリングホイールの操舵角に基づいて、車両１００の進路、すなわち、予測軌跡を推定する。そして、進路推定部５５は、推定した予測軌跡を含んだ予測軌跡情報を、報知対象検出部５７に出力する。
　物体検出部５６は、記憶部６に記憶された撮影画像４０に基づいて、静止物体及び移動物体といった物体を検出する。具体的には、物体検出部５６は、記憶部６から取得した時系列に並んだ複数フレームの撮影画像４０から、同一特徴点を結んだ移動ベクトルであるオプティカルフローを抽出し、抽出したオプティカルフローに基づいて物体を検出する。
　例えば、時系列に並んだオプティカルフロー同士を比較した際、オプティカルフローの長さや向きが異なるものであれば移動物体と判定され、オプティカルフローの長さや向きが同じであれば静止物体と判定される。このように、物体検出部５６は、静止物体と移動物体とを物体として検出する。
　さらに、物体検出部５６は、後述する大きさ算出部５８が算出するのに必要な情報として、検出した物体の上下左右それぞれの端部を検出する。そして、物体検出部５６は、検出した上下左右それぞれの端部を含む矩形を形成し、形成した矩形の幅方向及び高さ方向のピクセル数を検出する。
　尚、物体検出部５６は、後述する大きさ算出部５８が算出するのに必要な情報として、検出した物体の輪郭を検出し、輪郭で囲まれた領域内のピクセル数を検出してもよい。
　そして、物体検出部５６は、検出した物体が静止物体及び移動物体の何れであるのかを示す情報と、形成した矩形の幅方向及び高さ方向のピクセル数を示す情報とを関連付けた物体情報を、報知対象検出部５７に出力する。
　報知対象検出部５７は、進路推定部５５から出力された予測軌跡情報と、物体検出部５６から出力された物体情報とに基づいて、物体検出部５６で検出された物体の中から乗員に報知すべき報知対象を検出する。
　報知対象は、第１実施形態と後述する第２実施形態とで異なり、第１実施形態における報知対象とは、移動物体及び車両１００に接触する可能性のある静止物体のうち、車両１００との距離が最も近い物体である。後述する第２実施形態における報知対象とは、移動物体及び車両に接触する可能性のある静止物体のすべてである。
　尚、移動物体のうち、車両１００との距離が最も近い物体を報知対象としてもよいし、車両１００に接触する可能性のある静止物体のうち、車両１００との距離が最も近い物体を報知対象としてもよい。
　報知対象検出部５７は、具体的には、物体検出部５６で検出された静止物体の中で、予測軌跡内に存在する静止物体を車両１００に接触する可能性のある静止物体として検出する。そして、報知対象検出部５７は、検出した車両１００に接触する可能性のある静止物体と、物体検出部５６で検出された移動物体とのうち、車両１００との距離が最も近い物体を報知対象として検出する。
　ここで、物体と車両１００との距離の測定方法について説明する。物体と車両１００との距離の測定方法には、ステレオカメラを用いて左右のカメラによる視差から物体までの距離を測定する第１の方法と、車外カメラ３の角度と設置位置とから撮影画像４０の座標ごとに、車両１００までの距離を設定しておく第２の方法とがある。
　第１の方法を用いる場合、車外カメラ３をステレオカメラとし、報知対象検出部５７は、検出した移動物体、及び車両１００に接触する可能性のある静止物体について、左右のカメラにてそれぞれ撮影された撮影画像４０の視差から、車両１００までの距離を測定する。尚、車外カメラ３をステレオカメラとした場合、２つのカメラで車両１００の前方及び後方を撮影することになるが、上述したオプティカルフローの抽出には、左右のカメラの何れか一方で撮影された複数の撮影画像４０を用いればよい。
　第２の方法を用いる場合、記憶部６は、撮影画像４０の座標ごとに車両１００までの距離が予め設定された距離情報を記憶している。報知対象検出部５７は、記憶部６に記憶された距離情報と、撮影画像４０内の移動物体及び静的物体が存在する座標とを比較することで、車両１００までの距離を測定する。
　この第１の方法又は第２の方法を用いることで、報知対象検出部５７は、移動物体と、車両に接触する可能性のある静止物体との中で、車両１００と最初に接触する可能性の高い物体を検出する。これにより、運転者が、危険な物体を瞬時に判断することができる。尚、以降では、第１の方法を用いた電子制御システム１について記載する。
　報知対象検出部５７は、検出した報知対象に関する物体情報を有している報知対象情報と、進路推定部５５から受け取った予測軌跡情報とを大きさ算出部５８に出力する。
　報知対象情報とは、報知対象と車両１００との距離を含む位置情報と、報知対象が静止物体と移動物体との何れであるのかを示す情報と、報知対象の上下左右それぞれの端部を含む矩形について、幅方向及び高さ方向のピクセル数を示す情報とを関連付けた情報である。
　大きさ算出部５８は、報知対象検出部５７で検出された報知対象がディスプレイ４に表示される大きさを算出する。この大きさとは、ディスプレイ４に表示される報知対象の上下左右それぞれの端部を含む矩形の幅方向及び高さ方向の長さである。尚、報知対象がディスプレイ４に表示される大きさを、ディスプレイ４に表示される報知対象の上下左右それぞれの端部を含む矩形の面積としてもよい。
　大きさの算出にあたり、大きさ算出部５８は、記憶部６に記憶された車外カメラ３で撮影される撮影画像４０の解像度、ディスプレイ４の解像度、後述する撮影画像４０とディスプレイ４との解像度比、及びディスプレイ４の画素ピッチを取得する。
　そして、大きさ算出部５８は、報知対象検出部５７から取得した報知対象の上下左右それぞれの端部を含む矩形の幅方向及び高さ方向のピクセル数と、記憶部６から取得した撮影画像４０とディスプレイ４との解像度比と、ディスプレイ４の画素ピッチとから、報知対象がディスプレイ４に表示される大きさを算出する。
　ここでの解像度比とは、ディスプレイ４の長辺と撮影画像４０の長辺とのピクセル数の比率、又は、ディスプレイ４の短辺と撮影画像４０の短辺とのピクセル数の比率である。
　報知対象がディスプレイ４に表示される大きさの算出式を以下に説明する。
（数１）
　幅方向の大きさ［ｍｍ］＝（矩形の幅方向のピクセル数［ｐｘ］／解像度比）×ディスプレイ４の幅方向の画素ピッチ［ｍｍ／ｐｘ］
（数２）
　高さ方向の大きさ［ｍｍ］＝（矩形の高さ方向のピクセル数［ｐｘ］／解像度比）×ディスプレイ４の高さ方向の画素ピッチ［ｍｍ／ｐｘ］
　数１及び数２の算出式により求められる幅方向の大きさ及び高さ方向の大きさは、それぞれディスプレイ４に表示される報知対象の幅方向と高さ方向の長さを示す値となる。
　解像度比を用いる理由は、撮影画像４０を可能な限りディスプレイ４に表示させるためである。
　例えば、撮影画像４０の解像度が１２８０×１０２４であり、ディスプレイ４の解像度が８００×４８０であった場合、撮影画像４０とディスプレイ４との解像度が異なるため、撮影画像４０を縮小させることなくディスプレイ４に表示させた場合、撮影画像４０の幅方向も高さ方向も一部が見切れた状態で、ディスプレイ４に表示される。
　しかし、撮影画像４０の幅方向も高さ方向も一部が見切れた状態では、撮影画像４０内の報知対象も見切れてしまう可能性がある。
　そこで、撮影画像４０の長辺とディスプレイ４の長辺とのピクセル数の比率に合わせて撮影画像４０を縮小させることで、撮影画像４０の高さ方向の一部が見切れることになるが、幅方向に見切れることなく撮影画像４０をディスプレイ４に表示させる。
　こうした場合、数１及び数２に示す解像度比は、撮影画像４０の長辺とディスプレイ４の長辺とのピクセル数の比率（１．６）となる。
　尚、撮影画像４０が高さ方向にも幅方向にも見切れることなくディスプレイ４に表示させるために、撮影画像４０とディスプレイ４の長辺のピクセル数の比率で、撮影画像４０の幅方向を縮小させ、撮影画像４０とディスプレイ４の短辺のピクセル数の比率で、撮影画像４０の高さ方向を縮小させても良い。
　この場合、数１に示す解像度比は、撮影画像４０の長辺とディスプレイ４の長辺とのピクセル数の比率（１．６）となり、数２に示す解像度比は、撮影画像４０の短辺とディスプレイ４の短辺とのピクセル数の比率（２．１３）となる。
　そして、大きさ算出部５８は、算出した報知対象の大きさに関する情報である大きさ情報と、報知対象検出部５７から受け取った報知対象情報及び予測軌跡情報とを表示制御部５９に出力する。
　次に、表示制御部５９の動作について説明するが、第１実施形態と第２実施形態とでは報知対象検出部５７で検出される報知対象が異なるため、表示制御部５９の動作も第１実施形態と第２実施形態とで異なったものとなる。
　第１実施形態では、報知対象が１つである場合の表示制御部５９の動作について説明する。
　表示制御部５９には２つの機能があり、１つ目の機能は、後述する特定報知対象２３及び後述する通常報知対象２２が存在するか否かを判定する機能である。２つ目の機能は、画像をディスプレイ４に表示させる機能である。
　まず、１つ目の機能について以下に説明する。
　表示制御部５９は、報知対象検出部５７の検出結果である報知対象情報と、大きさ算出部５８の算出結果である大きさ情報とに基づいて、大きさ算出部５８により算出された報知対象の大きさが、所定の閾値以下となる報知対象である特定報知対象２３が存在するか否かを判定する。
　そして、表示制御部５９は、特定報知対象２３が存在しない場合、報知対象の大きさが所定の閾値より大きい報知対象である通常報知対象２２が存在すると判定する。
　ここでの所定の閾値とは、幅方向の大きさと、高さ方向の大きさとの合計値であり、例えば６０ｍｍであり、ディスプレイ４に表示された撮影画像４０内の報知対象の幅方向及び高さ方向の大きさがそれぞれ３０ｍｍ以下である場合には、特定報知対象と判定される。
　尚、所定の閾値は、上記記載に限らない。例えば、通常報知対象２２と判定される所定の閾値とは、ディスプレイ４に撮影画像４０が表示された状況において、撮影画像４０内の報知対象を、車両１００の乗員が容易に認識できる大きさを示す値であればよい。
　一方、特定報知対象と判定される所定の閾値とは、ディスプレイ４に撮影画像４０が表示された状況において、ディスプレイ４を注視しなければ報知対象を認識できない大きさを示す値であればよい。
　尚、報知対象がディスプレイ４に表示される大きさを、ディスプレイ４に表示される報知対象の上下左右それぞれの端部を含む矩形の面積とした場合、所定の閾値は、幅方向の大きさと、高さ方向の大きさとを乗算した値となる。
　次に、２つ目の機能について以下に説明する。
　表示制御部５９は、画像取得部５４を介して車外カメラ３で撮影された撮影画像４０を取得する。
　表示制御部５９は、撮影画像４０と、後述する支援画像と、後述する通常強調画像４１と、後述する撮影強調画像４２と、後述する拡大画像４３と、後述する拡大強調画像４４とを、それぞれ異なる条件下でディスプレイ４に表示させる。表示制御部５９の表示のパターンを図３から図６を用いて以下に説明する。尚、図３から図６は、車両１００が後進している場合に、ディスプレイ４に表示される画像を示している。
　第１のパターンとして、表示制御部５９が、撮影画像４０と、支援画像と、通常強調画像４１とをディスプレイ４に表示させるパターンについて、図３を用いて説明する。図３は、撮影画像４０と、支援画像と、通常強調画像４１とをディスプレイ４に表示させた際の一例である。
　まず、支援画像とは、ディスプレイ４に表示され、乗員の車両１００の操作を支援する画像であり、例えば予測線２０及び車幅線２１を含む画像である。
　通常強調画像４１とは、撮影画像４０内の通常報知対象２２を強調する画像である。
　表示制御部５９は、予想軌跡情報に含まれる予想軌跡に基づいて予測線２０を支援画像として生成し、記憶部６に予め記憶された車両１００の幅に基づいて車幅線２１を支援画像として生成する。予測線２０とは、帯状となる車両１００の予測軌跡の境界線であり、例えば、一対の線である。車幅線２１とは、車両１００のハンドルが定位置となっており、車両１００が真っ直ぐ前進又は後進する際の車幅を示す線である。尚、一対の予測線２０の幅は、車両１００の幅に対応するが、車両１００の幅よりも広くするなど、調整が可能である。
　表示制御部５９は、報知対象情報に基づいて、撮影画像４０内の通常報知対象２２を強調する通常強調画像４１を生成する。通常強調画像４１は、報知対象の上下左右それぞれの端部を含む矩形でできた枠である。尚、通常強調画像４１は、報知対象の輪郭を囲む線であってもよい。また、矩形でできた枠や報知対象の輪郭を囲む線は、破線でもよい。
　そして、表示制御部５９は、１つ目の機能として通常報知対象２２が存在すると判定した場合、撮影画像４０と、支援画像と、通常強調画像４１とをディスプレイ４に重畳表示させる。
　尚、通常強調画像４１を表示させないようにしてもよい。その理由は、通常報知対象２２は、ディスプレイ４に所定の閾値より大きく表示されるため、強調させなくても乗員が容易に通常報知対象２２を認識できる可能性が高いためである。
　第２のパターンとして、表示制御部５９が、撮影画像４０と、支援画像と、撮影強調画像４２とをディスプレイ４に表示させるパターンについて、図４を用いて説明する。図４は、撮影画像４０と、支援画像と、撮影強調画像４２とをディスプレイ４に表示させた際の一例である。
　表示制御部５９は、報知対象情報に基づいて、撮影画像４０内の特定報知対象２３を、通常強調画像４１とは異なるように強調する撮影強調画像４２を生成する。
　撮影強調画像４２は、通常強調画像４１と同様に、報知対象の上下左右それぞれの端部を含む矩形でできた枠である。撮影強調画像４２は、通常強調画像４１とは異なる色、実線又は破線が用いられる。尚、撮影強調画像４２は、報知対象の輪郭を囲む線であってもよい。
　そして、表示制御部５９は、１つ目の機能として特定報知対象２３が存在すると判定した場合、撮影画像４０と、支援画像と、撮影強調画像４２とをディスプレイ４に重畳表示させる。
　第３のパターンとして、表示制御部５９が、拡大画像４３をディスプレイ４に表示させるパターンについて、図５を用いて説明する。詳しくは、拡大画像４３を表示させるタイミングと、拡大画像４３をディスプレイ４に表示させる際の表示位置と、拡大画像４３の生成方法とについて説明する。図５は、撮影画像４０と、支援画像と、撮影強調画像４２と、拡大画像４３とをディスプレイ４に表示させた際の一例である。
　まず、拡大画像４３を表示させるタイミング、及び拡大画像４３をディスプレイ４に表示させる際の表示位置について説明する。
　拡大画像４３を表示させるタイミングについて説明するにあたり、特定報知対象２３を乗員が選択したか否かを判定する構成について図２に戻り説明しておく。表示制御部５９は、入力検出部５１により検出された入力情報に基づいて、ディスプレイ４に表示された特定報知対象２３を、乗員が選択したか否かを判定する選択判定部６０を有している。
　例えば、選択判定部６０は、入力検出部５１により検出された、乗員によりタッチ操作されたタッチパネル７０上の座標が、特定報知対象２３が表示される領域内を示す場合、ディスプレイ４に表示された特定報知対象２３を選択したと判定する。
　再度図５に戻り、表示制御部５９は、上記パターン１、又は上記パターン２により、ディスプレイ４に撮影画像４０が表示されている状態において、選択判定部６０により乗員がディスプレイ４に表示された特定報知対象２３を選択したと判定された場合、選択された特定報知対象２３を含む所定の領域４５を拡大させた拡大画像４３を、ディスプレイ４の画面上に撮影画像４０と共に表示させる。
　具体的には、表示制御部５９は、図５に示すように、拡大画像４３を、ディスプレイ４に表示された撮影画像４０の上に重畳表示させる。このとき、表示制御部５９は、重畳表示させる場合、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３を覆わないように、拡大画像４３をディスプレイ４に表示させるのが好ましい。
　その他にも、拡大画像４３と、撮影画像４０とを重ねることなくディスプレイ４に表示させてもよいし、ディスプレイ４の全面に拡大画像４３を表示させてもよい。
　また、表示制御部５９は、進路推定部５５により推定された予測軌跡情報に基づいて、拡大画像４３の表示位置を変化させる。具体的には、表示制御部５９は、撮影画像４０上に拡大画像４３を重畳表示させる場合、進路推定部５５により推定された予測線２０の向かう方向とは画像左右方向において反対方向に拡大画像４３を表示させる。一対の予測線２０により定まる予測軌跡と拡大画像４３との重なりが少なくなるようにするためである。
　そして、表示制御部５９は、車両１００の予測軌跡が車両１００の車幅線２１と同じく、撮影画像４０の左右方向の中央において上下方向に延びる場合、拡大画像４３を撮影画像４０の左右両端の何れかに表示させる。
　尚、乗員の選択の有無に関係なく、表示制御部５９は、大きさ算出部５８により算出された大きさが所定の閾値以下の場合、拡大画像４３をディスプレイ４に表示させてもよい。
　次に、拡大画像４３の生成方法について説明する。
　所定の領域４５とは、乗員により選択された特定報知対象２３の上下左右それぞれの端部を含む矩形に対して、上下左右に所定のピクセル数だけ広げた領域である。そして、所定の領域４５は、上下方向よりも左右方向に広げた領域とするのが好ましい。例えば、報知対象の上下左右それぞれの端部を含む矩形に対して、上下方向に１０ピクセルずつ、左右方向に３０ピクセルずつ広げる。尚、所定の領域４５は、特定報知対象２３の輪郭を囲む領域としてもよい。
　また、所定の領域４５を拡大させる際の倍率については、適宜設定すればよい。例えば、ディスプレイ４の総面積の１／４となるように所定の領域４５を拡大させる。
　第４のパターンとして、表示制御部５９が、拡大画像４３と、拡大強調画像４４とをディスプレイ４に重畳表示させるパターンについて、図６を用いて説明する。
　拡大強調画像４４は、拡大画像４３内の特定報知対象２３を強調させる画像である。この拡大強調画像４４は、特定報知対象２３を含む所定の領域４５を拡大させた拡大率と同じ比率で撮影強調画像４２を拡大させた画像である。そのため、拡大強調画像４４は、拡大画像４３内の特定報知対象２３の上下左右それぞれの端部を含む矩形でできた枠である。尚、拡大強調画像４４は、拡大画像４３内の特定報知対象２３の輪郭を囲む線であってもよい。また、矩形でできた枠や拡大画像４３内の特定報知対象２３の輪郭を囲む線は、破線でもよい。
　（表示制御処理）
　次に、制御部５によって実行される表示制御処理について図７を用いて説明する。
　図７は、第１実施形態の制御部５が実行する表示制御処理の手順を示すフローチャートである。尚、表示制御処理のフロー中の「Ｓ」とは、各ステップを意味する。
　この表示制御処理は、シフトレバーをリバースに入れた場合、又はシフトレバーをドライブに入れた場合に開始される。その他にも、車両１００が前進している場合、又は車両１００が後進している場合、車両１００のイグニッションがオンとなった場合に開始されてもよい。
　ここでは、シフトレバーをリバースに入れた場合の表示制御処理について説明する。
　Ｓ１において画像取得部５４は、車外カメラ３によって撮影された撮影画像４０を取得し、Ｓ２へと移行する。このとき画像取得部５４は、取得した撮影画像４０を表示制御部５９と、記憶部６とに出力する。
　Ｓ２において、物体検出部５６は、記憶部６に記憶された撮影画像４０に基づいて、静止物体及び移動物体といった物体を検出する。そして物体検出部５６は、物体を検出しなかった場合、処理を終了する。一方、物体検出部５６は、物体を検出した場合、物体情報を報知対象検出部５７に出力し、Ｓ３へと移行する。
　Ｓ３において、進路推定部５５は、ステアリングホイールの操舵角に基づいて予測軌跡を算出し、Ｓ４へと移行する。
　Ｓ４において、報知対象検出部５７は、進路推定部５５から出力された予測軌跡情報と、物体検出部５６から出力された物体情報とに基づいて、物体検出部５６で検出された物体の中から乗員に報知すべき報知対象を検出する。そして報知対象検出部５７は、報知対象を検出しなかった場合、処理を終了する。一方、報知対象検出部５７は、報知対象を検出した場合、報知対象情報と、予測軌跡情報とを大きさ算出部５８に出力し、Ｓ５へと移行する。
　Ｓ５において、大きさ算出部５８は、報知対象がディスプレイ４に表示される大きさを算出し、Ｓ６へと移行する。このとき、大きさ算出部５８は、算出した報知対象の大きさに関する情報である大きさ情報と、報知対象情報と、予測軌跡情報とを表示制御部５９に出力する。
　Ｓ６において、表示制御部５９は、大きさ算出部５８から出力された大きさ情報と、報知対象情報とに基づいて、特定報知対象２３が存在するか否かを判定する。表示制御部５９は、特定報知対象２３が存在しない場合、通常報知対象２２が存在すると判定し、Ｓ７へと移行する。一方、表示制御部５９は、特定報知対象２３が存在すると判定した場合、Ｓ８へと移行する。
　Ｓ７において、表示制御部５９は、撮影画像４０と、通常強調画像４１と、支援画像とをディスプレイ４に重畳表示させ、処理を終了する。
　Ｓ８において、表示制御部５９は、撮影画像４０と、撮影強調画像４２と、支援画像とをディスプレイ４に重畳表示させ、Ｓ９へと移行する。
　Ｓ９において、選択判定部６０は、入力検出部５１により検出された入力情報に基づいて、乗員がディスプレイ４に表示された特定報知対象２３を選択したか否かを判定する。選択判定部６０は、乗員が特定報知対象２３を選択したと判定した場合、Ｓ１０へと移行する。選択判定部６０は、特定報知対象２３を選択していないと判定した場合、処理を終了する。
　Ｓ１０において、表示制御部５９は、選択された特定報知対象２３を含む所定の領域を拡大させた拡大画像４３をディスプレイ４に表示させ、Ｓ１１へと移行する。
　Ｓ１１において、表示制御部５９は、拡大画像４３と、拡大強調画像４４とをディスプレイ４に重畳表示させる。
　そして、表示制御部５９は、シフトレバーがリバースか否かを判定し、リバースであれば、表示制御処理を継続し、シフトレバーがリバースでなくなった場合、処理を終了する。尚、Ｓ１０及びＳ１１の処理のタイミングを揃えてもよい。また、Ｓ１１の処理をなくしてもよい。
　尚、表示制御部５９は、拡大画像４３と拡大強調画像４４とを一定の時間、ディスプレイ４に表示させる。ここでの一定の時間は、乗員が拡大画像４３内の特定報知対象２３を認識できる時間であればよく、例えば５秒である。
　（作用効果）
　以上説明した第１実施形態の作用効果を、以下に説明する。
　第１実施形態に係る電子制御装置２によると、撮影画像４０内に存在する報知対象が、ディスプレイ４に表示される大きさを算出する。そして、ディスプレイ４に表示される大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象２３を拡大させた拡大画像４３を、ディスプレイ４に表示させる。これにより、ディスプレイ４に所定の閾値以下の大きさで表示される特定報知対象２３が、拡大された状態でディスプレイ４に表示されるため、乗員が報知対象を認識しやすくなる。
　また、報知対象を認識しやすくすることで、強調された報知対象を認識できないことにより、システムが誤作動していると乗員が誤解してしまうことを低減できる。
　さらに第１実施形態によると、拡大画像４３は、特定報知対象２３を含む所定の領域４５を拡大させた画像である。これにより、特定報知対象２３の周囲の状況も認識しやすくなる。
　さらに第１実施形態によると、表示制御部５９は、選択判定部６０により選択されたと判定された撮影画像４０内の特定報知対象２３を拡大画像４３として、ディスプレイ４の画面上に撮影画像４０と共に表示させる。これにより、乗員が選択した特定報知対象２３を拡大画像４３としてディスプレイ４に表示させることで、不要に拡大画像４３がディスプレイ４に表示されることを防ぐことができる。また、拡大画像４３と撮影画像４０とがディスプレイ４の画面上に共に表示されることで、拡大画像４３が撮影画像４０のどの領域を拡大させたものであるのかを認識しやすくなる。
　さらに第１実施形態によると、表示制御部５９は、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３を覆わないように拡大画像４３をディスプレイ４に表示させる。これにより、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３と、拡大画像４３内の特定報知対象２３とが共にディスプレイ４に表示されることとなるため、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３と、拡大画像４３内の特定報知対象２３との位置関係を乗員が把握しやすくなる。
　さらに第１実施形態によると、表示制御部５９は、報知対象検出部５７の検出結果、及び大きさ算出部５８の算出結果から、特定報知対象２３が存在すると判定した場合、ディスプレイ４に表示される撮影画像４０内の特定報知対象２３を強調させる撮影強調画像４２を、ディスプレイ４に表示させる。これにより、撮影強調画像４２をディスプレイ４に表示させることで、ディスプレイ４に表示される撮影画像４０内に存在する特定報知対象２３の位置を容易に把握することができる。
　さらに第１実施形態によると、表示制御部５９は、報知対象検出部５７の検出結果、及び大きさ算出部５８の算出結果から、通常報知対象２２が存在すると判定した場合、ディスプレイ４に表示される撮影画像４０内の通常報知対象２２を、撮影強調画像４２とは異なるように強調させる通常強調画像４１を、ディスプレイ４に表示させる。これにより、ディスプレイ４に表示される特定報知対象２３と、通常報知対象２２とを容易に区別できる。
　さらに第１実施形態によると、表示制御部５９は、進路推定部５５の推定結果に基づいて、拡大画像４３の表示位置を変化させる。これにより、車両１００の進路を乗員が認識できなくなることを防ぐことができる。
　さらに第１実施形態によると、表示制御部５９は、拡大画像４３内の特定報知対象２３を強調させる拡大強調画像４４をディスプレイ４に表示させる。これにより、拡大画像４３内に存在する特定報知対象２３をより認識しやすくなる。
　さらに第１実施形態によると、報知対象は、移動物体及び車両１００に接触する可能性のある静止物体のうち、車両１００との距離が最も近い物体であるとした。これにより、ディスプレイ４に表示される報知対象が制限されることとなり、必要以上の情報が乗員に提供されることで、乗員の判断が妨げられることを防ぐことができる。
　（第２実施形態）
　第２実施形態は、先行する第１実施形態を基礎的形態とする変形例である。図８は、第２実施形態における電子制御装置９２の構成を示すブロック図である。制御部９５が備える報知対象検出部９５７と、大きさ算出部９５８と、表示制御部９５９とが第１実施形態と異なっている。この報知対象検出部９５７と、大きさ算出部９５８と、表示制御部９５９とについて以下に説明する。
　報知対象検出部９５７は、進路推定部５５から出力された予測軌跡情報と、物体検出部５６から出力された物体情報とに基づいて、物体検出部５６で検出された物体の中から乗員に報知すべき報知対象を検出する。この報知対象検出部９５７が検出する報知対象とは、移動物体、及び車両に接触する可能性のある静止物体のすべてである。
　そして、報知対象検出部９５７は、検出した報知対象に関する物体情報を有している報知対象情報と、進路推定部５５から受け取った予測軌跡情報とを大きさ算出部９５８に出力する。
　ここでの報知対象情報とは、報知対象と車両１００との距離を含む位置情報と、報知対象が静止物体と移動物体との何れであるのかを示す情報と、報知対象の上下左右それぞれの端部を含む矩形について、幅方向及び高さ方向のピクセル数を示す情報とに加えて、検出した報知対象の数を関連付けた情報である。
　大きさ算出部９５８は、報知対象検出部９５７で検出された報知対象がディスプレイ４に表示される大きさを算出する。このとき、大きさ算出部９５８は、検出された報知対象が複数である場合、各報知対象について大きさを算出する。そして、大きさ算出部９５８は、算出した報知対象の大きさに関する情報である大きさ情報と、報知対象検出部９５７から受け取った報知対象情報と、予測軌跡情報とを表示制御部９５９に出力する。
　表示制御部９５９は、上記第１の機能及び第２の機能に加えて、第３の機能として報知対象情報に基づいて、報知対象検出部９５７により検出された報知対象が複数であるか否かを判定する。さらに、表示制御部９５９は、報知対象が複数である場合と１つのみである場合とで異なる動作を行う。
　表示制御部９５９は、報知対象が１つのみであると判定した場合、第１実施形態における表示制御部５９と同様の動作を行う。つまりは、表示制御部９５９は、報知対象が１つのみであると判定した場合、大きさ情報に基づいて特定報知対象２３が存在するか否かを判定する。
　一方、表示制御部９５９は、報知対象が複数であると判定した場合、大きさ情報に基づいて、撮影画像４０内に特定報知対象２３と、通常報知対象２２とがそれぞれ存在するのかを判定する。つまりは、表示制御部９５９は、報知対象が複数であると判定した場合、特定報知対象２３が存在するか否かを判定し、さらに通常報知対象２２が存在するか否かを判定する。
　表示制御部９５９は、報知対象が１つのみである場合、上記第１～４のパターンを行う。しかし第３のパターンについて、第１実施形態の表示制御部５９の動作に加え、拡大画像４３よりも撮影画像４０を暗く表示させる動作が追加される。
　つまり、図９に示すように、表示制御部９５９は、報知対象検出部９５７により検出された報知対象が１つ、かつ、その報知対象が特定報知対象であると判定した場合、拡大画像４３よりも撮影画像４０を暗く表示させる。図９に示される、撮影強調画像４２により強調された特定報知対象２３も、撮影画像４０の一部であるため、暗く表示される。
　これにより、拡大画像４３内の特定報知対象２３をより認識しやすくなる。このようにする理由は、報知対象が１つしか存在しないため、撮影画像４０を拡大画像４３よりも暗く表示させても、他の報知対象を認識しにくくなるといったことがないためである。
　尚、表示制御部９５９は、第１実施形態のように、拡大画像４３のみをディスプレイ４に表示させる場合、撮影画像４０を暗くさせることはない。
　一方、表示制御部９５９は、報知対象が複数である場合、撮影画像４０内に存在する特定報知対象２３又は通常報知対象２２、若しくは、特定報知対象２３及び通常報知対象２２を強調させる。
　つまり、表示制御部９５９は、通常報知対象２２のみが複数存在する場合、各通常報知対象２２に対する通常強調画像４１と、撮影画像４０とを重畳表示させる。また、表示制御部９５９は、特定報知対象２３のみが複数存在する場合、各特定報知対象２３に対する撮影強調画像４２と、撮影画像４０とを重畳表示させる。また、表示制御部９５９は、通常報知対象２２と特定報知対象２３とが共に存在する場合、通常強調画像４１と、撮影強調画像４２と、撮影画像４０とを重畳表示させる。
　（表示制御処理）
　次に、制御部９５によって実行される表示制御処理について図１０及び図１１を用いて説明する。
　図１０及び図１１は、第２実施形態の制御部９５が実行する表示制御処理の手順を示すフローチャートである。尚、表示制御処理のフロー中の「Ｓ」とは、各ステップを意味する。
　尚、第１実施形態の制御部５と異なる処理を実行するところについて説明する。
　Ｓ３において、進路推定部５５は、ステアリングホイールの操舵角に基づいて予測軌跡を算出し、Ｓ１９へと移行する。
　Ｓ１９において、報知対象検出部９５７は、予測軌跡情報と、物体情報とに基づいて、移動物体及び車両に接触する可能性のある静止物体のすべてを報知対象として検出する。
　そして報知対象検出部９５７は、報知対象を検出しなかった場合、処理を終了する。一方、報知対象検出部９５７は、報知対象を検出した場合、報知対象情報と、予測軌跡情報とを大きさ算出部９５８に出力し、Ｓ２０へと移行する。
　Ｓ２０において、大きさ算出部９５８は、報知対象検出部９５７により検出された報知対象がディスプレイ４に表示される大きさを算出し、Ｓ２１へと移行する。
　Ｓ２１において、表示制御部９５９は、報知対象検出部９５７により検出された報知対象が複数であるか否かを判定する。表示制御部９５９は、報知対象が複数であると判定した場合、Ｓ２３へと移行する。一方、対象判定部９６１は、報知対象が複数でないと判定した場合、Ｓ６へと移行する。
　Ｓ９において、選択判定部６０は、乗員が特定報知対象２３を選択したと判定した場合、Ｓ２２へと移行する。
　Ｓ２２において、表示制御部９５９は、選択された特定報知対象２３を含む所定の領域を拡大させた拡大画像４３をディスプレイ４に表示させ、Ｓ１１へと移行する。このとき表示制御部９５９は、拡大画像４３と撮影画像４０とを重畳表示させる場合、拡大画像４３よりも撮影画像４０を暗く表示させる。
　Ｓ２３において、表示制御部９５９は、特定報知対象２３が存在するか否かを判定する。表示制御部９５９は、特定報知対象２３が存在しないと判定した場合、Ｓ２４へと移行し、特定報知対象２３が存在すると判定した場合、Ｓ２５へと移行する。
　Ｓ２４において、表示制御部９５９は、各通常報知対象２２に対する通常強調画像４１と、撮影画像４０とを重畳表示させる。そして、表示制御部５９は、シフトレバーがリバースか否かを判定し、リバースであれば、表示制御処理を継続し、シフトレバーがリバースでなくなった場合、処理を終了する。
　Ｓ２５において、表示制御部９５９は、通常報知対象２２が存在するか否かを判定する。表示制御部９５９は、通常報知対象２２が存在しないと判定した場合、Ｓ２６へと移行し、通常報知対象２２が存在すると判定した場合、Ｓ２７へと移行する。
　Ｓ２６において、表示制御部９５９は、各特定報知対象２３に対する撮影強調画像４２と、撮影画像４０とを重畳表示させ、Ｓ２８へと移行する。
　Ｓ２７において、表示制御部９５９は、撮影画像４０内に通常報知対象２２と特定報知対象２３とが共に存在するため、通常強調画像４１と、撮影強調画像４２と、撮影画像４０とを重畳表示させる。
　Ｓ２８において、選択判定部６０は、Ｓ９と同様に、入力検出部５１により検出された入力情報に基づいて、乗員がディスプレイ４に表示された特定報知対象２３を選択したか否かを判定する。選択判定部６０は、乗員が特定報知対象２３を選択したと判定した場合、Ｓ２９へと移行する。一方、選択判定部６０は、乗員が特定報知対象２３を選択しなかったと判定した場合、処理を終了する。
　Ｓ２９において、表示制御部５９は、選択された特定報知対象２３を含む所定の領域を拡大させた拡大画像４３をディスプレイ４に表示させ、Ｓ３０へと移行する。
　Ｓ３０において、表示制御部５９は、拡大画像４３と、拡大強調画像４４とをディスプレイ４に重畳表示させる。そして、表示制御部５９は、シフトレバーがリバースか否かを判定し、リバースであれば、表示制御処理を継続し、シフトレバーがリバースでなくなった場合、処理を終了する。尚、Ｓ２９及びＳ３０の処理のタイミングを揃えてもよい。また、Ｓ３０の処理をなくしてもよい。
　（作用効果）
　以上説明した第２実施形態の作用効果を、以下に説明する。
　第２実施形態に係る電子制御装置９２によると、表示制御部９５９は、撮影画像４０内に通常報知対象２２と特定報知対象２３とが共に存在すると判定した場合、撮影画像４０と、通常強調画像４１と、撮影強調画像４２とを重畳表示させる。これにより、撮影画像４０内の特定報知対象２３と、通常報知対象２２とを容易に区別することができる。
　さらに第２実施形態によると、表示制御部９５９は、報知対象検出部９５７により検出された報知対象が１つ、かつ、その報知対象が特定報知対象であると判定した場合、拡大画像４３よりも撮影画像４０を暗く表示させる。これにより、拡大画像４３内の特定報知対象２３をより認識しやすくなる。
　（他の実施形態）
　以上、本開示の複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
　（変形例１）
　上記実施形態では、Ｓ８及びＳ９により、撮影強調画像４２と、撮影画像４０とをディスプレイ４に重畳表示させたあと、拡大画像４３を表示させるか否かを判断した。これに代えて、Ｓ８及びＳ９の処理をなくし、表示制御部５９は、特定報知対象２３が存在すると判定した場合、拡大画像４３をディスプレイ４に表示させるようにしてもよい。これにより、乗員が特定報知対象２３を選択する操作を行う必要がなくなり、利便性が向上する。
　さらに、この変形例１において、表示制御部５９は、図１２のように、拡大画像４３と、撮影画像４０内の特定報知対象２３とが重なるように重畳表示させるようにしてもよい。尚、ここでの重なるとは、拡大画像４３が、撮影画像４０内の特定報知対象２３を覆う場合と、拡大画像４３が、撮影画像４０内の特定報知対象２３の一部と重なる場合とを含んでいる。
　変形例１では、Ｓ８及びＳ９の処理をなくすことにより撮影画像４０内の特定報知対象２３を強調させないため、乗員が撮影画像４０内に存在する特定報知対象２３を認識できていないおそれがある。そのため、拡大画像４３を撮影画像４０内の特定報知対象２３が表示されている位置に表示させることで、撮影画像４０内の特定報知対象２３の位置を認識しやすくする。
　（変形例２）
　上記実施形態では、Ｓ２６、Ｓ２７及びＳ２８により、撮影強調画像４２及び撮影画像４０、若しくは撮影強調画像４２、通常強調画像４１及び撮影画像４０をディスプレイ４に重畳表示させたあと、拡大画像４３を表示させるか否かを判断する処理とした。これに代えて、Ｓ２６、Ｓ２７及びＳ２８の処理をなくし、表示制御部９５９は、特定報知対象２３が存在すると判定した場合、拡大画像４３をディスプレイ４に表示させるようにしてもよい。これにより、乗員は特定報知対象２３を選択する操作を行う必要がなくなり、利便性が向上する。
　変形例２において、特定報知対象２３が複数存在した場合、各特定報知対象２３を拡大画像４３としてあらかじめ定められた順番に表示させてもよい。このあらかじめ定められた順番とは、例えば各特定報知対象２３のうち、車両１００との距離が近い順番である。また、特定報知対象２３が複数存在した場合、車両１００との距離が最も近い特定報知対象２３のみを表示させてもよい。
　また、複数の拡大画像４３を同時に表示させてもよい。複数の拡大画像４３を同時に表示させる場合には、あらかじめ定められた拡大画像４３の数を表示させる。これは、一度に報知する情報を制限することで、必要以上の報知情報で運転者の判断が妨げられることを防ぐためである。
　（変形例３）
　上記実施形態では、選択判定部６０は、室内入力部７又はタッチパネル７０への入力に基づいて、乗員が特定報知対象２３を選択したか否かを判定する。
　これに加えて、図１３に示すような構成としてもよい。図１３は、変形例３による電子制御装置８２の内部構成について示すブロック図である。
　図１３に示すように、電子制御装置８２は、制御部８５と、記憶部６とを備えている。また、電子制御装置８２には、車外カメラ３と、ディスプレイ４と、室内入力部７とに加えて、車速センサ９と、車内カメラ１０とが接続されている。車内カメラ１０は、車両１００の室内に設けられ、乗員の顔を撮影する。
　そして、制御部８５は、新たに停止判定部５２と、視線検出部５３とを備える。
　停止判定部５２は、車速センサ９から車両１００が停止しているか否かを判定し、判定結果に関する情報を停止情報として、表示制御部８５９が新たに有する注視判定部８０に出力する。尚、停止判定部５２は、図示しない加速度センサから車両１００が停止しているか否かを判定してもよい。
　視線検出部５３は、車内カメラ１０により撮影された乗員の顔画像から乗員の視線の向きを検出する。視線検出部５３は、検出した乗員の視線の向きに関する情報を視線情報として注視判定部８０に出力する。
　この注視判定部８０は、停止情報と、視線情報とに基づいて、乗員が特定報知対象２３を注視しているか否かを判定する。具体的には、注視判定部８０は、車両１００が停止しており、かつ、乗員の視線の向きがディスプレイ４を見る向きであった場合、ディスプレイ４に表示された特定報知対象２３を注視したと判定する。
　そして選択判定部８１は、注視判定部８０により、乗員が特定報知対象２３を注視したと判定された場合、乗員がディスプレイ４に表示させる特定報知対象２３を選択したと判定する。
　これにより、乗員が室内入力部７又はタッチパネル７０へ入力することなく、特定報知対象２３を選択することができるため、利便性が向上する。
　本開示に記載されるフローチャート、あるいは、フローチャートの処理は、複数の部（あるいはステップと言及される）から構成され、各部は、たとえば、Ｓ１と表現される。さらに、各部は、複数のサブ部に分割されることができる、一方、複数の部が合わさって一つの部にすることも可能である。さらに、このように構成される各部は、サーキット、デバイス、モジュール、ミーンズとして言及されることができる。
　また、上記の複数の部の各々あるいは組合わさったものは、（ｉ）　ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアの部のみならず、（ｉｉ）　ハードウエア（例えば、集積回路、配線論理回路）の部として、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアの部は、マイクロコンピュータの内部に構成されることもできる。

 

Claims (10)

  1. 　移動体（１００）に設けられる撮影部（３）により撮影された撮影画像（４０）に基づいて、前記撮影画像内に存在する、前記移動体の乗員に報知すべき報知対象を検出する報知対象検出部（５７、９５７）と、
    　前記移動体の室内に設けられる前記撮影画像を表示する表示部（４）に、前記報知対象検出部により検出された前記報知対象が表示される大きさを算出する大きさ算出部（５８、９５８）と、
    　前記大きさ算出部により算出された前記大きさが所定の閾値以下の場合、前記大きさが前記所定の閾値以下の前記報知対象である特定報知対象（２３）を拡大させた拡大画像（４３）を、前記表示部に表示させる表示制御部（５９、８５９、９５９）と、を備える電子制御装置。
  2. 　前記拡大画像は、前記特定報知対象を含む所定の領域（４５）を拡大させた画像である、請求項１に記載の電子制御装置。
  3. 　前記表示制御部は、
    　前記表示部に表示された前記撮影画像内の前記特定報知対象を前記乗員が選択したか否かを判定する選択判定部（６０、８１）を有し、
    　前記選択判定部により選択したと判定された前記撮影画像内の前記特定報知対象を前記拡大画像として、前記表示部の画面上に前記撮影画像と共に表示させる、請求項１又は２に記載の電子制御装置。
  4. 　前記表示制御部は、前記表示部の前記画面上に表示される前記撮影画像の中に存在する前記特定報知対象を覆わないように前記拡大画像を表示させる、請求項３に記載の電子制御装置。
  5. 　前記表示制御部は、前記報知対象検出部の検出結果、及び前記大きさ算出部の算出結果から、前記特定報知対象が存在すると判定した場合、前記表示部に表示される前記撮影画像内の前記特定報知対象を強調させる撮影強調画像（４２）を、前記表示部に表示させる、請求項１乃至４の何れか一項に記載の電子制御装置。
  6. 　前記表示制御部は、前記報知対象検出部の検出結果、及び前記大きさ算出部の算出結果から、前記大きさが前記所定の閾値より大きい前記報知対象である通常報知対象（２２）が存在すると判定した場合、前記表示部に表示される前記撮影画像内の前記通常報知対象を、前記撮影強調画像とは異なるように強調させる通常強調画像（４１）を、前記表示部に表示させる、請求項５に記載の電子制御装置。
  7. 　前記表示制御部は、前記報知対象検出部により検出された前記報知対象が１つ、かつ、前記特定報知対象である場合、前記拡大画像よりも前記撮影画像を暗く表示させる、請求項１乃至６の何れか一項に記載の電子制御装置。
  8. 　前記移動体の進路を推定する進路推定部（５５）をさらに備え、
    　前記表示制御部は、前記進路推定部の推定結果に基づいて、前記拡大画像の表示位置を変化させる、請求項１乃至７の何れか一項に記載の電子制御装置。
  9. 　前記表示制御部は、前記拡大画像内の前記特定報知対象を強調させる拡大強調画像（４４）を前記表示部に表示させる、請求項１乃至８の何れか一項に記載の電子制御装置。
  10. 　移動体（１００）に設けられる撮影部（３）により撮影された撮影画像（４０）に基づいて、前記撮影画像内に存在する、前記移動体の乗員に報知すべき報知対象を検出すること（Ｓ４、Ｓ１９）と、
    　前記移動体の室内に設けられる前記撮影画像を表示する表示部（４）に、前記検出することにより検出された前記報知対象が表示される大きさを算出すること（Ｓ５、Ｓ２０）と、
    　前記算出することにより算出された前記大きさが所定の閾値以下の場合、前記大きさが前記所定の閾値以下の前記報知対象である特定報知対象（２３）を拡大させた拡大画像（４３）を、前記表示部に表示させること（Ｓ１０、Ｓ２２、Ｓ２９）と、を備える電子制御方法。
PCT/JP2019/024497 2018-07-19 2019-06-20 電子制御装置及び電子制御方法 WO2020017230A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136017A JP6927167B2 (ja) 2018-07-19 2018-07-19 電子制御装置及び電子制御方法
JP2018-136017 2018-07-19

Publications (1)

Publication Number Publication Date
WO2020017230A1 true WO2020017230A1 (ja) 2020-01-23

Family

ID=69163497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024497 WO2020017230A1 (ja) 2018-07-19 2019-06-20 電子制御装置及び電子制御方法

Country Status (2)

Country Link
JP (1) JP6927167B2 (ja)
WO (1) WO2020017230A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280203A (ja) * 2006-04-10 2007-10-25 Nissan Motor Co Ltd 情報提示装置、自動車、及び情報提示方法
JP2009264835A (ja) * 2008-04-23 2009-11-12 Panasonic Corp ナビゲーション装置、方法及びプログラム
JP2010258705A (ja) * 2009-04-23 2010-11-11 Honda Motor Co Ltd 車両周辺監視装置
JP2012222776A (ja) * 2011-04-14 2012-11-12 Isuzu Motors Ltd 画像処理装置、画像処理方法、及び運転支援システム
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280203A (ja) * 2006-04-10 2007-10-25 Nissan Motor Co Ltd 情報提示装置、自動車、及び情報提示方法
JP2009264835A (ja) * 2008-04-23 2009-11-12 Panasonic Corp ナビゲーション装置、方法及びプログラム
JP2010258705A (ja) * 2009-04-23 2010-11-11 Honda Motor Co Ltd 車両周辺監視装置
JP2012222776A (ja) * 2011-04-14 2012-11-12 Isuzu Motors Ltd 画像処理装置、画像処理方法、及び運転支援システム
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法

Also Published As

Publication number Publication date
JP6927167B2 (ja) 2021-08-25
JP2020013393A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
EP3351417B1 (en) Display apparatus for vehicle and display method for vehicle
JP5099451B2 (ja) 車両周辺確認装置
US8854466B2 (en) Rearward view assistance apparatus displaying cropped vehicle rearward image
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
JP7077616B2 (ja) 表示制御装置および表示制御方法
CN108886602B (zh) 信息处理装置
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2014034065A1 (ja) 移動体警告装置、および移動体警告方法
JP2009183473A (ja) 視線方向検出装置及び視線方向検出方法
US11394926B2 (en) Periphery monitoring apparatus
JP2018142885A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
WO2018061413A1 (ja) ジェスチャ検出装置
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP2006238131A (ja) 車両周辺監視装置
US20200267353A1 (en) Display processing device
JP2018074411A (ja) 物体検出装置及び物体検出方法
JP2007290570A (ja) 車両用表示装置
WO2017208688A1 (ja) 表示制御装置および表示制御方法
WO2020017230A1 (ja) 電子制御装置及び電子制御方法
JP4715604B2 (ja) 周辺画像表示装置
WO2016185677A1 (ja) 車両周辺表示装置及び車両周辺表示方法
CN108431866B (zh) 显示控制装置以及显示控制方法
US10926700B2 (en) Image processing device
JP2021033872A (ja) 車両用表示制御装置、車両用表示制御方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19838665

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19838665

Country of ref document: EP

Kind code of ref document: A1