WO2013108371A1 - 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体 - Google Patents

画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2013108371A1
WO2013108371A1 PCT/JP2012/050873 JP2012050873W WO2013108371A1 WO 2013108371 A1 WO2013108371 A1 WO 2013108371A1 JP 2012050873 W JP2012050873 W JP 2012050873W WO 2013108371 A1 WO2013108371 A1 WO 2013108371A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
image processing
attention
reference point
Prior art date
Application number
PCT/JP2012/050873
Other languages
English (en)
French (fr)
Inventor
伸一 杉江
禎司 鈴木
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2013554141A priority Critical patent/JP5893054B2/ja
Priority to CN201280067356.6A priority patent/CN104081763B/zh
Priority to PCT/JP2012/050873 priority patent/WO2013108371A1/ja
Publication of WO2013108371A1 publication Critical patent/WO2013108371A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Definitions

  • the present invention relates to an image processing apparatus, an image processing server, an image processing method, an image processing program, and a recording medium that superimpose an image indicating a position on a predetermined display object in a front image of a moving object.
  • the problems to be solved by the present invention include the above-mentioned problems as an example.
  • the invention according to claim 1 is an image processing apparatus, wherein a vanishing point of a forward image taken from a moving moving body or a point near the vanishing point is used as a reference point, and the reference Generating means for generating a display object indicating a relative positional relationship between a point and a predetermined feature in the front image; and output means for outputting a front image including the display object generated by the generating means; Is provided.
  • an invention according to claim 10 is an image processing apparatus, mounted on a traveling moving body, for obtaining a front image of the moving body, and disappearance in the front image.
  • Generating means for generating a display object indicating a relative positional relationship between the reference point and a predetermined feature using a point or a point in the vicinity of the vanishing point as a reference point; and the display object generated by the generating means Output means, and a head-up display that displays the display object output by the output means in a field of view when the driver is driving.
  • an invention according to claim 12 is an image processing server, wherein a reception unit that receives a front image captured from a moving moving body from an external image processing device, A generating unit that generates a display object indicating a relative positional relationship between the reference point and a predetermined feature using a vanishing point or a point in the vicinity of the vanishing point as a reference point, and the display generated by the generating unit Transmitting means for transmitting the object to the external image processing apparatus.
  • an invention according to a thirteenth aspect is an image processing apparatus, wherein the imaging means is mounted on a traveling moving body and picks up a front image, and the image processing server according to the twelfth aspect.
  • an invention according to claim 14 is an image processing method executed by an image processing device, wherein a vanishing point of a forward image taken from a moving moving object or a point in the vicinity of the vanishing point is obtained.
  • the invention described in claim 15 is an image processing program, and the image processing method described in claim 14 is executed by an image processing apparatus.
  • the invention according to claim 16 is a recording medium, and the image processing program according to claim 15 is stored so as to be readable by the image processing apparatus.
  • FIG. 4 illustrates a display example when a front image captured by the front camera 1 in the posture state illustrated in FIG. It is a figure showing the example of a display at the time of displaying a front picture which imprinted a lane outline, a lane vanishing point, and an average vanishing point on a display. It is a flowchart showing the control content which CPU of an imaging unit performs. It is a figure showing the example of a display at the time of producing
  • FIG. 1 It is an example of the perspective view which shows the structural example of the vehicle carrying a server type driving assistance device, and a network. It is an example of the perspective view which shows the structural example of the vehicle carrying the image processing apparatus of the form using an electronic portable terminal.
  • FIG. 1 It is a block diagram which shows an example of the system configuration
  • FIG. 1 is a perspective view showing a configuration example of a vehicle equipped with a driving support device including an embodiment of an image processing device of the present invention.
  • the driving support device S is provided with a single front camera 1 at a front side position of a room mirror 101 installed on the ceiling of a vehicle V that is a moving body.
  • the imaging direction Dc of the front camera 1 is attached in a posture capable of imaging the front in the traveling direction of the vehicle V.
  • the front camera 1 is attached to the vehicle V by an attachment device via a universal joint, for example, and the imaging direction Dc is a predetermined range in each of the yaw direction (horizontal direction) and the pitch direction (vertical direction). It is movable manually.
  • the front camera 1 does not deviate from the imaging range the direction Dv of the vehicle axis passing through the center front-rear direction of the vehicle V within the movable range of the posture.
  • FIG. 2 is a block diagram illustrating a hardware configuration example of the driving support apparatus S.
  • the driving support device S includes a front camera 1, an imaging unit 2, a display 3, a GPS 13, and a vehicle speed sensor 14.
  • the front camera 1 corresponds to an image pickup unit, and uses, for example, a CCD image pickup device or the like to pick up a front image in the traveling direction of the vehicle and outputs a corresponding signal to a CPU (described later) of the imaging unit 2.
  • the front camera 1 continuously captures a plurality of image frames in a time series with a sufficiently short time period, thereby capturing a front image in the form of a moving image.
  • the display 3 corresponds to a display means, and is composed of, for example, an LCD panel, and a caution described later on a front image captured by the front camera 1 based on an image signal input from a graphic controller (described later) of the imaging unit 2. It has a function of displaying a composite image in which a support image is superimposed.
  • the GPS 13 has a function of measuring the current location of the vehicle V to acquire current position information and detecting the position of a predetermined attention object (described in detail later) based on map information stored in advance.
  • the vehicle speed sensor 14 has a function of detecting the traveling speed of the vehicle V.
  • a later-described CPU provided in the imaging unit 2 can identify whether the vehicle V is in a stopped state or at what traveling speed based on the detection signal of the vehicle speed sensor 14.
  • the imaging unit 2 corresponds to an image processing apparatus, and includes a CPU 11, a storage device 12, and a graphic controller 15.
  • the CPU 11 has a function of controlling the entire driving support apparatus S by performing various calculations according to the operation of a predetermined program, and exchanging information with other units and outputting various control instructions.
  • the storage device 12 includes a ROM 12a, a RAM 12b, and a storage medium 12c.
  • the ROM 12a is an information storage medium in which various processing programs and other necessary information are written in advance.
  • the RAM 12b is an information storage medium on which information necessary for executing the various programs is written and read.
  • the storage medium 12c is a non-volatile information storage medium such as a flash memory or a hard disk.
  • the graphic controller 15 has a function of acquiring image data from a video RAM (not shown) and the GPS 13 under the control of the CPU 11 and displaying an image signal based on the image data on the display 3. Note that, as described above, the graphic controller 15 in the example of the present embodiment displays on the display 3 an image signal based on composite image data obtained by superimposing a later-described attention support image on the front image captured by the front camera 1. Output. In the example of the present embodiment, the graphic controller 15 causes the display 3 to display an image signal at an arbitrary timing regardless of the time period when the front camera 1 captures a front image in the moving image format.
  • FIG. 3 is a diagram showing an example of a vehicle window scenery viewed from the cab and a display on the display 3 corresponding thereto.
  • the vehicle V travels in a substantially straight traveling lane, and shows a state in which the vehicle V follows a front vehicle Vf that is in front of the traveling direction.
  • the front camera 1 provided on the back side (traveling direction side) of the room mirror 101 captures a forward image including the straight traveling lane and the forward vehicle Vf.
  • the imaging range of the front camera 1 includes the vehicle axis direction Dv of the vehicle V without removing it.
  • the display 3 displays a front image captured by the front camera 1.
  • the imaging direction Dc may not be in a posture relationship parallel to the vehicle axial direction Dv as in the illustrated example. Such a shift can also occur when the user attaches the front camera 1 at an arbitrary position or when it is attached manually. Accordingly, in the present embodiment, recognition of a predetermined attention object that is moved and displayed in a moving image front image is taken into consideration while taking into account such a deviation between the imaging direction Dc of the front camera 1 and the vehicle axis direction Dv. Generate and display attention support images that can be supported appropriately. Hereinafter, a method and a display example of such an attention support image will be sequentially described.
  • FIG. 4 shows a display example when a front image captured by the front camera 1 in the posture state shown in FIG. 3 is displayed on the display 3.
  • the front image is displayed with the entire display coordinates XY set in the display area of the display 3, that is, the display coordinates XY coincide with the image coordinates of the front image.
  • the post box 51, the two road signs 52 and 53, the two traffic lights 54 and 55, the sign 56, and the pedestrian 57 are displayed as display objects in the front image. ing.
  • Point P2 exists.
  • This movement display reference point P2 is the infinitely distant movement position of the vehicle V in the current traveling direction in the forward image (the vehicle V is displayed in the display coordinates XY in the forward image displayed at that time. This is a point corresponding to a planned position that is reached when the vehicle moves in the traveling direction as it is. This point is always an approximate horizon (substantially horizontal line: not particularly shown in FIG. 4) at that time and an abbreviation of the vehicle axial direction Dv. It is located on the intersection with the extension line, and this is called the vanishing point.
  • the movement display reference point P2 corresponds to a reference point described in each claim.
  • the attention object F is a display object that should alert the user who is a driver or a passenger of the vehicle V so as not to particularly overlook the many display objects displayed in the front image. is there.
  • the post box 51 is the attention object F, but the present invention is not limited to this.
  • the vehicle may move at a sufficiently low speed compared with the speed of a vehicle such as a road sign, a traffic light, a signboard, or a vehicle such as a pedestrian.
  • the attention object F corresponds to a predetermined feature described in each claim.
  • the feature object includes a feature portion that can be detected by image recognition.
  • the imaging unit 2 recognizes this characteristic part and detects the attention object F from the front image.
  • a predetermined type of characteristic object such as a post box or a road sign may be set in advance, or it will be passed based on the map information stored in the GPS 13 in the future.
  • a feature set near the road may be designated and set in advance, or the user directly touches on a touch panel (not shown in particular) provided with the feature in the front image on the display 3
  • a feature object of the same type as the specified feature object may be set as the attention object F by directly designating with an index such as a cursor.
  • a frame-shaped marker 61 as shown in FIG. 5 is generated as the attention support image in order to call attention in the front image, and the post box 51 It is conceivable to superimpose and display 51 display areas.
  • the CPU 11 of the imaging unit 2 detects the display area of the postbox 51 and its position by image recognition at the display coordinates XY of the front image, and has a frame shape according to the size of the display area. Processing to calculate and draw the size of the marker 61 must be performed. All of these processes are computationally intensive, and in particular, image recognition takes a long processing time. For this reason, when the front image is displayed in a moving image format, the corresponding postbox 51 is far from the frame shape even if the frame-shaped marker 61 is superimposed and displayed as shown in FIG. The attention from the user becomes difficult.
  • the attention support image is generated and displayed so as to geometrically indicate the relative positional relationship between the movement display reference point P2 and the presence position of the attention object F.
  • the center position P3 of the display area of the postbox 51 detected by image recognition in the front image is set as an existing position, and the moving display reference point P2 and the center are displayed.
  • An attention support image is generated and displayed by a line segment G1 connecting the position P3.
  • the line segment G1 of the attention support image generated and displayed in this way is formed as a substantially radial figure centered on the moving display reference point P2.
  • This attention support image corresponds to the display object described in each claim.
  • any display object displayed in the front image in the moving image format is moved and displayed radially with the movement display reference point P2 as the center as the vehicle V moves. That is, the line segment image G1 generated and displayed as the above-described attention support image indicates a movement locus in the front image of the post box 51 that is the attention object F.
  • the post box 51 is positioned on the extension of the line segment G1 of the attention support image. Therefore, it is easy to visually interpolate the deviation, and the user can recognize the post box 51 naturally and intuitively. The same effect can be obtained even when a pedestrian or the like sufficiently slow compared with the moving speed of the vehicle V is used as the attention object F.
  • the position of the moving display reference point P2 in the display coordinates XY of the front image often deviates from the center position of the display coordinates XY, and in which direction the imaging direction Dc of the front camera 1 at that time is. It depends on what you are looking for.
  • the position of the moving display reference point P2 in the display coordinates XY is obtained by calculating the average vanishing point described below.
  • FIG. 7 shows a display example when a front image captured by the front camera 1 in the posture state shown in FIG. 3 is displayed on the display 3.
  • the forward vehicle Vf is displayed as a display object.
  • the center position of the display coordinates XY of the display 3 that is, the vertical direction in the figure.
  • the intersection positions of the center lines Lv and Ll in the lateral direction are separated from the vehicle axial direction Dv. In this case, the front image loses left-right symmetry with respect to the center line Ll.
  • the left and right sides of the traveling lane are sandwiched.
  • the display objects displayed on the screen are asymmetric with respect to the travel lane in the direction and speed of movement in the front image.
  • the lane vanishing point P1 corresponding to the infinitely far point of the traveling lane is always an abbreviation of the time. It is located on the intersection of the horizon (substantially horizontal line) and the substantially extended line in the vehicle axial direction Dv. That is, the position of the lane vanishing point P1 when traveling in the straight traveling lane in this way matches the position of the movement display reference point P2.
  • a white line applied to both sides of an actual traveling lane, a boundary line between a road surface and a curb, or an edge part of an asphalt road is displayed as a front image. And is recognized as two lane contour lines Lr forming the contour of the travel lane. Then, the intersection of the two lane outlines Lr on the extension line in the vehicle traveling direction is detected as the lane vanishing point P1 on the front image.
  • the two lane contour lines Lr are also recognized in accordance with the direction and curvature of the curve on the front image.
  • the two lane contours Lr are recognized with priority given to the curvature on the near side of the vehicle V.
  • an extension line of the curve is calculated with an approximate expression based on the curvature on the near side, and the position of the intersection is detected as the lane vanishing point P1.
  • the average vanishing point P2 located at the average position of the lane vanishing points P1 is statistically Close to the vehicle axis direction Dv and on the horizon. That is, the position of the average vanishing point P2 on the display coordinates XY can be regarded as the fixed position of the moving display reference point P2 corresponding to the imaging direction Dc of the front camera 1 at that time.
  • the vehicle V travels in various lanes, detects a sufficiently large number of lane vanishing points P1, and based on them.
  • a reliable average vanishing point P2 is calculated.
  • the calculated average vanishing point P2 is acquired as the moving display reference point P2 on the display coordinates XY corresponding to the imaging direction Dc of the front camera 1 at that time.
  • FIG. 9 is a flowchart showing the control contents executed by the CPU 11 of the imaging unit 2 in order to realize the operation mode described above. This flow is called and executed at an appropriate time interval, for example, while the front camera 1 captures a front image in the form of a moving image.
  • step S5 it is determined based on the detection signal of the vehicle speed sensor 14 whether or not the vehicle V is traveling at a predetermined speed or higher. If the vehicle V is traveling at a predetermined speed or higher, the determination is satisfied, and the routine goes to Step S10.
  • step S10 a front image (still image frame) captured by the front camera 1 at that time is acquired.
  • step S15 it is determined whether or not the average vanishing point P2 on the display coordinates XY corresponding to the imaging direction Dc of the front camera 1 has been acquired since the previous setting. If the average vanishing point P2 corresponding to the imaging direction Dc at that time has not yet been acquired, the determination is not satisfied, and the routine goes to Step S20.
  • step S20 it is determined whether or not a predetermined time has elapsed since the previous detection of the lane vanishing point P1. If the predetermined time has not elapsed, the determination is not satisfied, and the process returns to step S5 and the same procedure is repeated.
  • Step S25 if the predetermined time has elapsed, the determination is satisfied, and the routine goes to Step S25.
  • step S25 the two lane outlines Lr in the current travel lane are recognized in the front image captured in step S10.
  • step S30 the lane vanishing point P1 in the current traveling lane is detected based on the two lane outlines Lr recognized in step S25.
  • step S35 the lane vanishing point P1 detected in step S30 is additionally recorded so as to be stored in the storage medium 12c.
  • step S40 it is determined whether or not the lane vanishing point P1 is detected and stored with a sufficient number that can detect the average vanishing point P2 that is already highly reliable at that time. If the number of detections is not yet sufficient at that time, the determination is not satisfied and the routine returns to step S5 and the same procedure is repeated.
  • Step S45 if the lane vanishing point P1 is detected and stored with a sufficient number that can detect the average vanishing point P2 that is already highly reliable at that time, the determination is satisfied, and the routine goes to Step S45.
  • step S45 all lane vanishing points P1 recorded in the storage medium 12c are read out.
  • step S50 the average vanishing point P2 located at the average position of all the lane vanishing points P1 read out in step S45 is calculated. And it returns to step S5 and repeats the same procedure.
  • step S15 if the average vanishing point P2 corresponding to the imaging direction Dc at that time has already been acquired in the determination in step S15, the determination is satisfied, and the process proceeds to step S55.
  • step S55 it is determined whether or not the attention object F is set.
  • the attention object F may be set in advance or set by the user.
  • step S60 the attention object F is recognized by image recognition in the front image acquired in step S10, and the center position P3 of the display area is detected as the presence position of the attention object F.
  • the procedure of this step S60 corresponds to the generating means and the generating step described in each claim.
  • step S65 an image of a line segment G1 connecting the average vanishing point P2 to the center position P3 of the attention object F on the display coordinates XY is generated as an attention support image.
  • the procedure of this step S65 also corresponds to the generation means and generation process described in each claim.
  • step S70 The process proceeds to step S70, and the line segment G1 of the attention support image generated in step S65 is output to the display 3 so as to be superimposed on the front image. And it returns to step S5 and repeats the same procedure.
  • the procedure of step S70 corresponds to the output means and the output process described in each claim.
  • the moving display located at or near the average vanishing point P2 (corresponding to the vanishing point) of the forward image taken from the traveling vehicle V (corresponding to the moving object).
  • an attention support image (corresponding to a display object) indicating a relative positional relationship between the reference point P2 (corresponding to a reference point) and a predetermined attention object F (corresponding to a predetermined feature) in the front image.
  • the average vanishing point P2 (corresponding to the vanishing point) of the forward image taken from the traveling vehicle V (corresponding to the moving body) is located in the vicinity thereof.
  • Attention support image (corresponding to a display object) showing a relative positional relationship between the moving display reference point P2 (corresponding to a reference point) and a predetermined attention object F (corresponding to a predetermined feature) in the front image.
  • the attention support image G1 showing the relative positional relationship between the movement display reference point P2 and the center position P3 of the attention object F is an image schematically showing the movement direction of the attention object F in the front image. Become. For this reason, even when the center position P3 of the attention object F detected by the image recognition that takes a relatively long processing time is slightly deviated from the center position of the same attention object F in the latest image frame, the user can support the attention.
  • the position of the attention object F in the front image can be intuitively grasped.
  • the attention support image G1 may be generated with a substantially radial figure centered on the moving display reference point P2 in the front image.
  • the attention support image G1 generated with the substantially radial figure almost overlaps with the movement trajectory in the front image of the attention object F. Therefore, even when the center position P3 of the attention object F detected by the image recognition is slightly deviated from the center position of the same attention object F in the latest image frame of the front image, the attention object F is displayed in the attention support image G1. Therefore, the user can visually grasp the target object F naturally and intuitively.
  • step S25 in the front image, two lane contour lines Lr that form the contours of the travel lane that are located on both the left and right sides of the travel lane on which the vehicle V travels are recognized.
  • the procedure, the procedure of step S30 for detecting the intersection of the two lane outlines Lr on the extension line in the traveling direction as a lane vanishing point P1, and the plurality of lanes detected in the past by the procedure of step S30 An average vanishing point P2 located at each average position of the vanishing point P1 is calculated, and the procedure of step S50 is executed as the moving display reference point P2 used in the procedure of step S65.
  • the vanishing point can be accurately identified and set as the moving display reference point P2 even when the imaging direction Dc of the front camera 1 is in an arbitrary direction. .
  • the direction of the line segment G1 connecting the center position P3 of the display area of the post box 51 and the movement display reference point P2 remains unchanged, and the post box 51 is an extension of the line segment G1 of the attention support image. Since it is accurately positioned above, the user can obtain the maximum effect of being able to recognize the post box 51 naturally and intuitively.
  • the average vanishing point P2 obtained from the front image is the moving display reference point P2, but the moving display reference point P2 may be set by another method.
  • the vanishing point may be calculated by another method, and when the imaging direction Dc of the front camera 1 is installed almost accurately, the center point of the front image may be used as the movement display reference point P2.
  • the direction of the line segment G1 connecting the center position P3 of the display area of the postbox 51 and the moving display reference point P2 becomes almost unchanged. Since the post box 51 is positioned on an extension of the line segment G1 of the attention support image, the user can recognize the post box 51 naturally and intuitively.
  • the predetermined attention object F in the front image is a feature or a pedestrian.
  • the feature is stationary with respect to the ground, and the pedestrian moves at a sufficiently low speed as compared with the speed of the vehicle V, so that the relative speed between them and the vehicle V is almost the same. It can be regarded as equivalent to the vehicle speed of the vehicle V.
  • the center position of the same attention object F in the latest image frame does not greatly deviate from the moving direction in the front image of the attention object F indicated by the attention support image G1.
  • the reliability of the attention support image G1 for intuitively grasping the position of the attention object F in the front image can be ensured.
  • step S65 generates the attention support image so as to include a line segment that is located on a half line that passes through the center position P3 of the attention object F starting from the average vanishing point P2. May be.
  • the line segment image G1 generated as the attention support image substantially coincides with the past movement locus or the future movement locus in the forward image of the attention object F. Therefore, even when the center position P3 of the attention object F detected by the image recognition is slightly shifted from the center position of the same attention object F in the latest image frame of the front image, the line segment image G1 of the attention support image is There is a high possibility of overlapping with the attention object F in the latest image frame. Further, even when there is no overlap, the attention object F is located on the extension of the line segment image, so that the deviation can be easily visually interpolated, and the user can grasp the attention object F naturally and intuitively. . Further, since attention is supported by the line segment image G1, it is possible to clearly specify and indicate the direction or area to be noted in a relatively narrow range.
  • the frame shape marker 61 shown in FIG. 5 as the attention support image of the comparative conventional example As the image frame of the front image is switched and the attention object F moves and displays on the display coordinates XY, it follows it. Therefore, it is necessary to redraw the entire frame shape marker 61 by changing the position.
  • the attention support image is generated and displayed by the line segment image G1 connecting the moving display reference point P2 and the center position P3 of the attention object F as shown in FIG. Even if F moves on the display coordinates XY, it may be additionally drawn so as to extend the distal end portion in the radial direction of the line segment image G1.
  • the front camera 1 (corresponding to the imaging unit) that supplies the front image mounted on the vehicle V and captured in the steps S60 and S65, and the step S70.
  • a display 3 (corresponding to display means) for displaying the front image including the attention support image G1 output in step S1.
  • the driving support device S can integrally and independently perform imaging of the front image and display of the front image on which the attention support image G1 is superimposed.
  • the steps S60 and S65 may be set as the attention object F that is arbitrarily designated by the user among the display objects present in the front image.
  • the display object directly designated on the front image by the user can be set as the attention object by the direct contact on the touch panel (not shown) provided on the display 3 or the index such as the cursor, the attention object It is possible to set the object F in real time, and convenience is improved.
  • the attention support image is generated and displayed with the line segment image G1 connecting the moving display reference point P2 to the center position P3 of the display area of the attention object F as shown in FIG.
  • the attention support image is represented by a half-line image G2 that passes through the center position P3 of the display area of the attention object F (the mail post 51 in the illustrated example) starting from the moving display reference point P2. It may be generated and displayed.
  • the half-line image G2 of the attention support image results in a substantially radial figure centered on the movement display reference point P2, and the whole half-line image G2 is the past and future movement of the attention object F.
  • the entire locus is shown and always overlaps the display area of the attention object F. For this reason, it is possible to prompt the user to pay attention to the attention object F more reliably than the line segment image G1 in the above embodiment.
  • the half-line image G2 is generated and displayed so that the display mode is different between the section from the moving display reference point P2 to the center position P3 of the attention object F and the section on the outer peripheral side from the center position P3. Also good.
  • a solid line is displayed in the section from the movement display reference point P2 to the center position P3 of the attention object F, and a broken line is displayed in the section on the outer peripheral side from the center position P3.
  • the entire attention support image G2A can indicate the entire past and future movement trajectories of the attention object F, and the approximate position of the attention object F in the entire movement trajectory is at that time. You can show if there is. For this reason, it is possible to prompt the user to pay attention to the attention object F more clearly than the simple half-line image G2.
  • the attention support image is generated as a line segment image, for example, as shown in FIG. 12, a line segment image G3 having a length slightly longer than the size of the display area of the attention object F is used. You may produce
  • the attention support image is generated and displayed so as to include a line segment located on the half line passing through the center position P3 of the display area of the attention object F starting from the moving display reference point P2.
  • the attention support image may be generated and displayed as an image including two line segments G4 that envelop the display area of the attention object F, each starting from the moving display reference point P2.
  • the two line segment images G4 result in a substantially radial figure centered on the moving display reference point P2, and the entire area between the two line segment images G4 is the object of attention.
  • the entire display range reflecting the scale of the display area of F in the past and the future perspective is shown and always overlaps the display area of the attention object F. For this reason, it is possible for the user to grasp the existence range of the attention object F more reliably than the line segment image G1 in the above embodiment.
  • the display mode is different between the section from the moving display reference point P2 to the center position P3 of the attention object F and the section on the outer peripheral side from the center position P3 in the two line segment images G4 and the area between them. May be generated and displayed.
  • G4A in FIG. 14, in the region between the two line segment images G4, a section from the moving display reference point P2 to the center position P3 of the attention object F, and the outer peripheral side from the center position P3.
  • the color (or density) may be changed for each section and displayed by semi-transparent paint processing.
  • the entire attention support image G4A can indicate the entire passing range reflecting the scale of the display area of the attention object F in the past and the future, and the attention object within the entire passing range. It can indicate where F is approximately at that time. For this reason, it is possible to prompt the user to pay attention to the attention object F more clearly than the above-described two simple line segment images G4.
  • the attention support image fixedly arranged at a radial position around the moving display reference point P2 is generated and displayed.
  • the present invention is not limited to this.
  • a moving object G5 that moves in a radial direction from the moving display reference point P2 on a half line passing through the center position P3 of the display area of the attention object F starting from the moving display reference point P2.
  • An attention support image may be generated and displayed with an image including.
  • the center position P3 of the attention object F from the movement display reference point P2 on the line segment connecting the movement display reference point P2 and the center position P3 of the attention object F see the dotted line in the figure).
  • a caution support image is generated and displayed by a moving object G5 in the form of a meteor that dynamically moves in the direction toward.
  • the meteor moving object G5 shown in this example expresses the moving direction with the tip and tail fins, and moves and displays the meteor at a speed faster than the movement of the attention object F in the front image.
  • the movement trajectory and movement direction of the attention object F can be expressed by dynamic animation. Note that a line segment (see the dotted line in the figure) connecting the movement display reference point P2 and the center position P3 of the attention object F may be displayed or may be omitted. Further, the meteor moving object G5 may be stopped at the center position P3 of the attention object F, or may be moved to the outer peripheral side of the forward image by overtaking the attention object F as it is.
  • the center of the display area of the attention object F starts from the moving display reference point P2.
  • the attention support image G6 may be generated and displayed by being flattened along a half line (see the broken line in the drawing) passing through the position P3.
  • the elliptical attention support image G6 results in a substantially radial figure centered on the constantly moving reference point P2, and the entire elliptical image G6 is the entire past and future movement locus of the attention object F. Is always shown in the display area of the attention object F. For this reason, it is possible for the user to grasp the existence range of the attention object F more reliably than the line segment image G1 in the above embodiment.
  • the present invention is not limited to this.
  • An attention support image may be generated and displayed so as to include a connecting line segment.
  • a line segment image G7 as shown in FIG. 17 becomes the attention support image, and this line segment image G7 is also a substantially radial figure centered on the movement display reference point P2 as a result.
  • FIG. 17 shows geometrically the relative positional relationship between the point P2 (not shown in FIG. 17) and the center position P3 of the attention object F (the center position P4 in the figure indicates a past image frame). Center position detected in step 1). For this reason, this line segment image G7 can also be made to pay particular attention to the center position P3 while simply indicating the moving direction of the attention object F. In addition, since the line display image G7 is not required to set the movement display reference point P2, it is useful as a caution support image to be displayed when a sufficient lane vanishing point P1 is not yet obtained.
  • the attention support image (line segment image G1 in the illustrated example) of the substantially radial figure centering on the moving display reference point P2 as described above, and the attention support image of the conventional comparative example
  • the frame shape marker 61 shown in FIG. 5 may be combined and displayed.
  • any attention support image G1, 61 is generated and displayed with an accurate arrangement.
  • the front image on which the attention support images G1 to G7 are superimposed may be directly recorded on the storage medium 12c and applied to a drive recorder that is played back later.
  • the front image is recorded in the storage medium 12c, and the attention support images G1 to G7 are generated and superimposed for the first time at the time of later reproduction or editing, and the superimposed image is further recorded. Also good.
  • the driving support device S uses the front image captured by itself and generates and displays the image recognition process and the attention support image. Or a so-called stand-alone type in which the front image is recorded on the storage medium 12c provided therein, but the present invention is not limited to this.
  • the driving support device S2 includes a wireless communication device 21 (corresponding to communication means) and an antenna 22, and communicates via wireless communication with a relay station 23 (corresponding to receiving means and transmitting means).
  • a forward image is transmitted to a database server 25 (corresponding to an image processing server) provided in an external data center 24 on the network, and image recognition of the forward image, generation of an attention support image, and recording thereof are performed on the database server 25.
  • a database server 25 corresponding to an image processing server
  • the front image on which the attention support image is superimposed may be returned from the database server 25 to the driving support device S2 and displayed on the display 3.
  • the attention support image may be returned from the database server 25 to the driving support device S2, and the driving support device S2 may superimpose the attention support image on the front image and display it on the display 3.
  • the forward image and the attention support image recorded in the database server 25 of the data center 24 are used as backups. it can.
  • the device configuration mounted on the vehicle V is only the driving support devices S and S2.
  • the present invention is not limited to this.
  • an electronic portable terminal 31 such as a commercially available smartphone or an electronic book terminal is equipped with a camera, a display, or a GPS, which is detachably attached to, for example, a cradle 32 connected to the vehicle speed sensor 14. It may be mounted on the vehicle V (see FIG. 20). Then, the electronic portable terminal 31 is caused to capture a front image, and a CPU included in the same electronic portable terminal 31 is caused to function as an image processing device by causing the CPU to perform predetermined image recognition processing and attention support image generation. Also in the image processing apparatus having such a configuration, the attention support image exemplified in the above embodiment can be generated and displayed.
  • the electronic portable terminal 31 corresponds to the image processing device described in each claim
  • the camera equipped in the electronic portable terminal 31 corresponds to the imaging means
  • among the control procedures processed by the CPU of the electronic portable terminal 31 The procedure for generating the attention support image corresponds to the generation means, the procedure for outputting the front image including the attention support image corresponds to the output means, and the display equipped in the electronic portable terminal 31 corresponds to the display means.
  • the configuration using the electronic portable terminal 31 can be the server type described above.
  • the electronic portable terminal 31 includes a communication unit, and the database server 25 of the data center 24 corresponds to an image processing server that recognizes a front image, generates a attention support image, and records them.
  • first modified example, and second modified example all have the same basic hardware components and software processing contents, and their sharing among the constituent devices is different. Only. Major examples of these assignments are shown in FIGS.
  • FIG. 24 shows an example of a combination of sharing of hardware components among the components.
  • 24 corresponds to the storage medium 12c or the database server 25 that records the front image on which the attention support image is superimposed
  • the communication unit corresponds to the wireless communication device 21.
  • In-vehicle devices (driving support devices, cradle) in the component equipment may be equipped with a vehicle speed sensor, and the data center may be equipped with a storage unit.
  • GPS may be installed in either an in-vehicle device or a portable terminal, but cannot be installed in a data center.
  • the server type it is essential to equip either the mobile terminal or the in-vehicle device and a communication unit in the data center.
  • the camera and the display may be equipped with either the portable terminal or the in-vehicle device, and the storage unit may be equipped with any of the portable terminal, the in-vehicle device, or the data center.
  • Each hardware component only needs to be provided in any one of the components that can be equipped, but for example, a configuration may be adopted in which both the mobile terminal and the in-vehicle device are provided with a display.
  • a portable terminal usage form when a vehicle-mounted apparatus is provided with any of a camera, a display, GPS, a memory
  • the camera the display, and the communication unit (in the case of the server type) must be installed in any of the corresponding components, but other GPS, storage units, and vehicle speed sensors
  • the equipment is optional.
  • FIG. 25 shows an example of a combination of sharing of software processing contents among the constituent devices.
  • the software processing contents shown in FIG. 25 include a calculation process for calculating the average vanishing point P2 (moving display reference point P2), a detection process for detecting the center position P3 of the attention object F in the front image, and an attention support image.
  • the detection process and the generation process must be performed by any of the constituent devices, but the other calculation processes and storage processes are optional.
  • any processing content is basically shared by any component device. You can do it.
  • the sharing example shown in the figure is a main example to the last, and various other combinations are possible.
  • the composite image obtained by superimposing the attention support image on the front image captured by the front camera 1 is displayed on a single display.
  • the display coordinates XY may be arranged so as to coincide with the driver's field of view through the window glass of the vehicle V, and a head-up display that displays an attention support image on the window glass or in front of the window glass may be provided. .
  • FIG. 21 is a block diagram showing a hardware configuration example of the driving support device S4 of the present modification corresponding to FIG. 2 of the above embodiment.
  • the driving support device S4 of the present modification has a head-up display projector 4 and a combiner 5 instead of the display 3, and the other hardware configuration is the same as that of the above embodiment.
  • the graphic controller 15 outputs an image signal including only the image data of the attention support image without including the front image.
  • FIG. 22 corresponding to FIG. 3 of the above embodiment is a diagram showing an example of a vehicle window scenery viewed from the inside of the vehicle V and a display of a head-up display corresponding thereto.
  • the head-up display projector 4 is fixed to the ceiling roof above the driver's seat located on the right side in the figure.
  • a combiner 5 is provided so as to cover the projection range of the head-up display projector 4 on the front side of the windshield 104.
  • the head-up display projector 4 and the combiner 5 correspond to a head-up display.
  • an attention support image (illustrated) is displayed on the front surface of the combiner 5 having a function as a half mirror as appropriate.
  • the image of the line segment image G1) is projected and displayed.
  • FIG. 23 is a schematic view of the aspect of projection display on the front side of the windshield 104 by the head-up display as seen from the side.
  • the head-up display projector 4 sets display coordinates XY on a combiner 5 having a function as a half mirror, and projects and displays the images of the attention support images G1 to G7.
  • the display coordinates XY are set so as to coincide with the driver's field of view through the windshield 104 of the vehicle V, so that the driver can
  • the attention support images G1 to G7 that geometrically indicate the relative positional relationship between the movement display reference point P2 and the position where the attention object F exists can be visually recognized.
  • the height of the driver's seat (height position of the eyeball) It is necessary to appropriately adjust the arrangement of the display coordinates XY of the head-up display projector 4 according to the deviation of the imaging direction Dc of the front camera 1.
  • the front camera 1 that is mounted on the traveling vehicle V and obtains the front image of the vehicle V, and the average vanishing point P2 in the front image.
  • it is generated by the steps S60 and S65 for generating the attention support image indicating the relative positional relationship between the moving display reference point P2 located in the vicinity thereof and the predetermined attention object F, and the steps S60 and S65.
  • the video of the attention support images G1 to G7 whose position is aligned with the front view itself that the driver visually recognizes through the windshield 104 can be projected and displayed, the driver can support the attention without moving the line of sight greatly.
  • the images G1 to G7 can be visually recognized and can be concentrated on driving.
  • the head-up display is configured by projecting and displaying the images of the attention support images G1 to G7 from the head-up display projector 4 on the combiner 5 provided on the front side of the windshield 104.
  • the present invention is not limited to this.
  • a transmissive liquid crystal panel or the like may be provided on the windshield itself, and the attention support image may be displayed by the self-light emission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】車両から撮像した画像中の所定の注意対象物に対する注意を適切に支援できる注意支援画像の重畳表示技術を提供する。 【解決手段】前方画像中において画像認識により検出した注意対象物Ｆの表示領域の中心位置Ｐ３と移動表示基準点Ｐ２とを結ぶ線分で注意支援画像を生成し、表示する。この線分画像は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形で形成される。前方画像中に表示されるどの表示物も、車両Ｖの移動に伴い移動表示基準点Ｐ２を中心として放射状に移動表示するため、線分画像は注意対象物Ｆの移動軌跡を示す。これにより、画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、前方画像の最新画像フレームにおいて多少ずれた場合でも、注意対象物Ｆは注意支援画像の線分の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に注意対象物Ｆを把握できる。

Description

画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
　本発明は、移動体の前方画像中の所定表示物に対し、その位置を指し示す画像を重畳する画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体に関する。
　近年では、移動体に搭載されたカメラで周囲の画像を撮像し、その画像中に表示される多くの表示物のうちで特にユーザに注意を促すべき対象物を指し示す図形等を当該画像に重畳表示させ、その注意の支援を行う技術が提案されている。
　例えば特許文献１に記載の技術では、画像データ中に所定の特徴部位を画像認識等により検出した際、その特徴部位を囲む枠形状のマーカを画像に重畳表示していた。
特開２００４－３２０２８６号公報
　しかしながら、走行中の移動体に搭載したカメラで周囲の画像を動画形式で撮像した場合には、当該移動体の移動により画像中の表示物が流れるように移動する。このような動画形式の画像に対して上記従来技術により画像中の特徴部位である表示物に枠状マーカを重畳表示した場合には、その表示物を画像認識する処理及び重畳表示すべき枠マーカの位置や大きさの算出及び描画の処理に時間がかかることから、枠マーカが対象の表示物からずれて重畳表示されてしまい、ユーザは画像中における注意対象物の認識が困難となってしまう。そのため、移動体から撮像した画像中の所定の注意対象物に対するユーザの認識を適切に支援できる支援画像の重畳表示技術が要望されていた。
　本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
　上記課題を解決するために、請求項１記載の発明は、画像処理装置であって、走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力手段と、を備える。
　上記課題を解決するために、請求項１０記載の発明は、画像処理装置であって、走行する移動体に搭載され、前記移動体の前方画像を取得する撮像手段と、前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを出力する出力手段と、運転者の運転時における視界内に前記出力手段が出力した前記表示オブジェクトを映し出すヘッドアップディスプレイと、を有する。
　上記課題を解決するために、請求項１２記載の発明は、画像処理サーバであって、走行する移動体から撮像した前方画像を外部の画像処理装置から受信する受信手段と、前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、前記生成手段により生成された前記表示オブジェクトを前記外部の画像処理装置に送信する送信手段と、を有する。
　上記課題を解決するために、請求項１３記載の発明は、画像処理装置であって、走行する移動体に搭載されて前方画像を撮像する撮像手段と、請求項１２に記載の画像処理サーバに対して前記前方画像を送受する通信手段と、前記通信手段が前記画像処理サーバから受信した前記表示オブジェクトを含む前方画像を表示する表示手段と、を有する。
　上記課題を解決するために、請求項１４記載の発明は、画像処理装置が実行する画像処理方法であって、走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成工程と、前記生成手段により生成されたオブジェクトを含む前方画像を出力する出力工程と、を実行する。
　上記課題を解決するために、請求項１５記載の発明は、画像処理プログラムであって、請求項１４に記載の画像処理方法を、画像処理装置により実行させる。
　上記課題を解決するために、請求項１６記載の発明は、記録媒体であって、請求項１５に記載の画像処理プログラムが、前記画像処理装置により読み取り可能に記憶されている。
本発明の画像処理装置の実施形態を含む運転支援装置を搭載した車両の構成例を示す斜視図である。 運転支援装置のハードウェア構成例を示すブロック図である。 運転室から見た車窓風景及びこれに対応するディスプレイの表示の一例を示す図である。 図３に示した姿勢状態のフロントカメラが撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。 比較従来例の注意支援画像としての枠形状マーカを生成、表示した場合の表示例を表した図である。 実施形態による注意支援画像を生成、表示した場合の表示例を表した図である。 図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。 車線輪郭線、車線消失点、及び平均消失点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。 イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートである。 注意支援画像を半直線画像で生成、表示した場合の表示例を表した図である。 半直線画像の注意支援画像のうち中心位置の前後で表示態様を異ならせた場合の表示例を表した図である。 注意対象物の表示領域よりも少し長い線分画像で重複するように注意支援画像を生成、表示した場合の表示例を表した図である。 注意対象物の表示領域を包絡する２本の線分画像で注意支援画像を生成、表示した場合の表示例を表した図である。 注意支援画像である２本の線分画像の間の領域を中心位置の前後で表示態様を異ならせた場合の表示例を表した図である。 移動表示基準点から注意対象物まで放射方向で移動する移動オブジェクトで注意支援画像を生成、表示した場合の表示例を表した図である。 枠形状マーカを放射状に扁平させた楕円形で注意支援画像を生成、表示した場合の表示例を表した図である。 過去と最新の画像フレームでそれぞれ検出した２つの中心位置を結ぶ線分画像で注意支援画像を生成、表示した場合の表示例を表した図である。 略放射状の図形と枠形状マーカを組み合わせて注意支援画像を生成、表示した場合の表示例を表した図である。 サーバ型の運転支援装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。 電子携帯端末を利用した形態の画像処理装置を搭載した車両の構成例を示す斜視図の一例である。 ヘッドアップディスプレイプロジェクターとコンバイナを備えた場合の運転支援装置のシステム構成の一例を示すブロック図である。 車両の車内から見た車窓風景及びこれに対応するヘッドアップディスプレイの表示の一例を示す図である。 ヘッドアップディスプレイによるコンバイナへの投影表示の態様を側方から見た模式図である。 各形態での各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示した図である。 各形態での各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示した図である。
　以下、本発明の実施形態のうちの一つを図面を参照しつつ説明する。
　図１は、本発明の画像処理装置の実施形態を含む運転支援装置を搭載した車両の構成例を示す斜視図である。この図１において、運転支援装置Ｓは、移動体である車両Ｖの車内天井に設置されているルームミラー１０１の前方側位置に単独のフロントカメラ１を設けている。フロントカメラ１の撮像方向Ｄｃは、当該車両Ｖの進行方向の前方を撮像可能な姿勢で取り付けられている。なおこの例では、フロントカメラ１は、例えばユニバーサルジョイントを介した取付装置によって車両Ｖに取り付けられており、その撮像方向Ｄｃはヨー方向（水平方向）とピッチ方向（垂直方向）のそれぞれの所定範囲で手動により可動となっている。このフロントカメラ１は、その姿勢の可動範囲内では、当該車両Ｖの中央前後方向を貫く車両軸の方向Ｄｖを撮像範囲から外さない。
　図２は、運転支援装置Ｓのハードウェア構成例を示すブロック図である。この図２において、運転支援装置Ｓは、フロントカメラ１、イメージングユニット２、ディスプレイ３、ＧＰＳ１３、車速センサ１４を有している。
　フロントカメラ１は撮像手段に相当し、例えばＣＣＤ撮像素子などを利用して、上述した当該車両の進行方向の前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ１が十分に短い時間周期で時系列的に複数の画像フレームを撮像し続けることで、前方画像を動画の形式で撮像する。
　ディスプレイ３は表示手段に相当し、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づき、上記フロントカメラ１で撮像された前方画像に後述の注意支援画像を重畳させた合成画像を表示する機能を有する。
　ＧＰＳ１３は、車両Ｖの現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の注意対象物（後に詳述する）の位置検出を行う機能を有する。
　車速センサ１４は、当該車両Ｖの走行速度を検出する機能を有する。イメージングユニット２が備える後述のＣＰＵは、この車速センサ１４の検出信号に基づき、当該車両Ｖが停止中の状態であるか、もしくはどのくらいの走行速度で走行しているか、を識別することができる。
　イメージングユニット２は画像処理装置に相当し、ＣＰＵ１１、記憶装置１２、グラフィックコントローラ１５を有している。
　ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、運転支援装置Ｓ全体を制御する機能を有する。
　記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
　グラフィックコントローラ１５は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ＧＰＳ１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。なお、上述したように、本実施形態の例におけるこのグラフィックコントローラ１５は、上記フロントカメラ１で撮像された前方画像に後述の注意支援画像を重畳させた合成画像データに基づく画像信号をディスプレイ３に出力する。また、本実施形態の例では、このグラフィックコントローラ１５は、上記フロントカメラ１が動画形式で前方画像を撮像する際の時間周期とは無関係に、任意のタイミングで画像信号をディスプレイ３に表示させる。
　図３は、運転室から見た車窓風景及びこれに対応するディスプレイ３の表示の一例を示す図である。図示する例では、当該車両Ｖはほぼ直線の走行車線を走行しており、その走行方向前方にいる前方車両Ｖｆに追従している状態を示している。ルームミラー１０１の裏側（進行方向側）に備えられているフロントカメラ１は、上記直線の走行車線と前方車両Ｖｆを含んだ前方画像を撮像している。このとき、上述したように、フロントカメラ１の撮像範囲は当該車両Ｖの車両軸方向Ｄｖを外さずに含んでいる。そして、ディスプレイ３は、フロントカメラ１が撮像した前方画像を表示している。
　ここで、上述したようにフロントカメラ１はその取り付け姿勢が可動であるため、図示する例のように、その撮像方向Ｄｃが車両軸方向Ｄｖと平行な姿勢関係にない場合がある。このようなズレは、ユーザがフロントカメラ１を任意の位置に取り付けた場合や、手作業で取り付けた場合などにも生じうる。そこで本実施形態では、このようなフロントカメラ１の撮像方向Ｄｃと車両軸方向Ｄｖとの間のズレを考慮しつつ、動画形式の前方画像中で移動表示される所定の注意対象物の認識を適切に支援可能な注意支援画像の生成と表示を行う。以下、そのような注意支援画像の生成手法及び表示例を順次説明する。
　まず図４は、上記図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。なお、図示する例では、ディスプレイ３の表示領域に設定した表示座標Ｘ－Ｙの全体で前方画像を表示しており、すなわち表示座標Ｘ－Ｙが前方画像の画像座標と一致する。この図４において、前方画像中には上記前方車両Ｖｆ以外にも、郵便ポスト５１、２つの道路標識５２，５３、２つの信号機５４，５５、看板５６、及び歩行者５７が表示物として表示されている。
　また、上述したようにフロントカメラ１は、その姿勢の可動範囲内では当該車両Ｖの車両軸方向Ｄｖを撮像範囲から外さないことから、前方画像の表示座標Ｘ－Ｙ中には必ず移動表示基準点Ｐ２が存在する。この移動表示基準点Ｐ２とは、前方画像中において当該車両Ｖのその時点の進行方向の無限遠方移動位置（その時点に表示されている前方画像での表示座標Ｘ－Ｙ中において当該車両Ｖがそのままの進行方向で移動した場合に到達する予定位置）に相当する点であり、この点は常にその時点の略地平線（略水平線：図４中では特に図示せず）と車両軸方向Ｄｖの略延長線との交点上に位置するもので、これを消失点という。なお、この移動表示基準点Ｐ２が各請求項記載の基準点に相当する。
　そして当該車両Ｖが車両軸方向Ｄｖへ向かって移動するに伴い、上述した前方画像中の全ての表示物は上記移動表示基準点Ｐ２を中心とした放射状に移動する。つまり、前方画像中の全ての表示物は、当該車両Ｖから遠方に離間している際にはいずれも移動表示基準点Ｐ２の近傍に位置している。そして、当該車両Ｖが移動表示基準点Ｐ２へ向かって移動するに従い、動画形式の前方画像中において各表示物は移動表示基準点Ｐ２を中心とした略放射状に配置される半直線上（図中の破線矢印参照）に沿って移動するよう表示される。
　以下においては、上記の郵便ポスト５１を注意対象物Ｆに設定した場合を考える。注意対象物Ｆとは、当該車両Ｖの運転者や同乗者であるユーザに対して、前方画像中に表示される多くの表示物の中から特に見落とすことのないよう注意を促すべき表示物である。ここでは、一例として郵便ポスト５１を注意対象物Ｆとしているが、これに限るものではない。他の例では道路標識、信号機、看板などの地物や、歩行者などの車両の速度と比較して十分に低速で移動するものであってもよい。なお注意対象物Ｆは各請求項に記載の所定の特徴物に相当する。特徴物は画像認識により検出可能な特徴部位を備えるものである。イメージングユニット２は、この特徴部位を画像認識して前方画像中から注意対象物Ｆを検出する。この注意対象物Ｆの設定方法としては、郵便ポストや道路標識などの所定の種類の特徴物をあらかじめ設定しておいてもよいし、ＧＰＳ１３が記憶している地図情報に基づいてこれから通過する予定の道路近傍に設置されている特徴物をあらかじめ指定して設定してもよいし、または、ユーザが前方画像中の特徴物をディスプレイ３に設けたタッチパネル（特に図示せず）上での直接接触やカーソルなどの指標により直接指定することで、指定された特徴物と同種の特徴物が注意対象物Ｆに設定してもよい。
　このようにして注意対象物Ｆとして設定された郵便ポスト５１に対し、前方画像中におけるその注意を促すために図５に示すような枠形状のマーカ６１を注意支援画像として生成し、当該郵便ポスト５１の表示領域を囲むように重畳表させることが考えられる。しかしこの場合には、イメージングユニット２のＣＰＵ１１が前方画像の表示座標Ｘ－Ｙにおいて画像認識により郵便ポスト５１の表示領域とその存在位置を検出するとともに、当該表示領域の大きさに合わせて枠形状マーカ６１の大きさを算出し描画する処理を行わなければならない。これらの処理はいずれも計算量が多く、特に画像認識には処理時間が長くかかる。そのため、前方画像を動画形式で表示する場合にはそのフレームサイクルに間に合わず、図５に示すように枠形状のマーカ６１を重畳表示しても対応する郵便ポスト５１が枠形状から大きく外れてしまい、ユーザからの注意が困難となる。
　そこで本実施形態では、注意支援画像を、上記移動表示基準点Ｐ２と注意対象物Ｆの存在位置との相対的な位置関係を幾何的に示すよう生成、表示する。具体的に本実施形態の例では、図６に示すように、前方画像中において画像認識により検出した郵便ポスト５１の表示領域の中心位置Ｐ３を存在位置とし、上記移動表示基準点Ｐ２とこの中心位置Ｐ３とを結ぶ線分Ｇ１で注意支援画像を生成し、表示する。そしてこのように生成、表示した注意支援画像の線分Ｇ１は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形で形成される。なお、この注意支援画像は各請求項に記載の表示オブジェクトに相当する。
　上述したように、動画形式の前方画像中に表示されるいずれの表示物も、当該車両Ｖの移動に伴い移動表示基準点Ｐ２を中心として放射状に移動表示する。つまり上記の注意支援画像として生成、表示される線分画像Ｇ１は、注意対象物Ｆである郵便ポスト５１の前方画像中における移動軌跡を示す。このため、画像認識により検出した郵便ポスト５１の中心位置Ｐ３が、前方画像の最新画像フレームにおける中心位置と多少ずれた場合でも、郵便ポスト５１は注意支援画像の線分Ｇ１の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に郵便ポスト５１を認識できる。これは、車両Ｖの移動速度と比較して十分に遅い歩行者などを注意対象物Ｆとしても、同じ効果が得られる。
　ここで、前方画像の表示座標Ｘ－Ｙにおける上記移動表示基準点Ｐ２の位置は、多くの場合表示座標Ｘ－Ｙの中央位置から外れて、その時点のフロントカメラ１の撮像方向Ｄｃがどの方向に向いているかによって異なってくる。本実施形態では、表示座標Ｘ－Ｙ中における移動表示基準点Ｐ２の位置を、以下に説明する平均消失点の算出により取得する。
　まず図７は、上記図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。なお、図示の煩雑をさけるために、前方車両Ｖｆだけを表示物として表示している。この図７において、上述したようなフロントカメラ１の撮像方向Ｄｃと車両軸方向Ｄｖとの間のズレがある場合には、ディスプレイ３の表示座標Ｘ－Ｙの中央位置、つまり図中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置が、車両軸方向Ｄｖから離れている。この場合には、前方画像は中心線Ｌｌに対する左右方向の対称性を損なっており、例えば実際に車両Ｖが直線状の走行車線を走行している場合でも、その走行車線を挟んで左側と右側にそれぞれ表示される表示物どうしは、その前方画像中における移動の方向と速度が走行車線に関して非対称となっている。
　これに対し、図示する例のように直線状の走行車線を走行している際に撮像した前方画像中においては、走行車線の無限遠方点に相当する車線消失点Ｐ１が、常にその時点の略地平線（略水平線）と車両軸方向Ｄｖの略延長線との交点上に位置する。つまり、このように直線状の走行車線を走行している際の車線消失点Ｐ１の位置は、上記移動表示基準点Ｐ２の位置と一致する。
　上記車線消失点Ｐ１を検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線や、路面と縁石との境界線や、又はアスファルト道路の縁部などを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における上記車線消失点Ｐ１として検出される。
　ここで例えば図８に示すように、走行車線がカーブ状である場合には、上記２本の車線輪郭線Ｌｒも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。なお、特に図示しないが、このカーブの曲率が途中で変化する場合には、当該車両Ｖの手前側の曲率を優先して２本の車線輪郭線Ｌｒが認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点Ｐ１として検出される。
　当該車両Ｖが多様な形状の走行車線を長く走行し、上記車線消失点Ｐ１を多数検出して記録した場合には、それら車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２は統計的に車両軸方向Ｄｖの延長上と地平線上に近接する。つまり、表示座標Ｘ－Ｙ上における平均消失点Ｐ２の位置は、その時点のフロントカメラ１の撮像方向Ｄｃに対応する上記移動表示基準点Ｐ２の固定位置と見なせる。このように本実施形態では、適切な注意支援画像を生成する前の準備作業として、車両Ｖが多様な形状の走行車線を走行して十分多くの車線消失点Ｐ１を検出し、それらに基づいて信頼性のある平均消失点Ｐ２を算出する。そしてこの算出された平均消失点Ｐ２が、その時点のフロントカメラ１の撮像方向Ｄｃに対応する表示座標Ｘ－Ｙ上の移動表示基準点Ｐ２として取得する。
　図９は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートである。なお、このフローは、フロントカメラ１が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。
　図９において、まずステップＳ５において、車速センサ１４の検出信号に基づき当該車両Ｖが所定速度以上で走行しているか否かを判定する。当該車両Ｖが所定速度以上で走行している場合には、判定が満たされ、ステップＳ１０へ移る。
　ステップＳ１０では、その時点でフロントカメラ１が撮像した前方画像（静止画像フレーム）を取得する。
　ステップＳ１５へ移り、前回フロントカメラ１の撮像方向Ｄｃを設定してからそれに対応する表示座標Ｘ－Ｙ上の平均消失点Ｐ２をすでに取得済みであるか否かを判定する。その時点の撮像方向Ｄｃに対応する平均消失点Ｐ２をまだ取得できていない場合、判定は満たされず、ステップＳ２０へ移る。
　ステップＳ２０では、前回の車線消失点Ｐ１の検出から所定時間が経過したか否かを判定する。所定時間が経過していない場合には、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。このように車線消失点Ｐ１を検出する時間間隔を空けることで、検出する車線消失点Ｐ１の多様性を確保し、検出する平均消失点Ｐ２の信頼性を向上できる。
　一方、所定時間を経過した場合には、判定が満たされ、ステップＳ２５へ移る。
　ステップＳ２５では、上記ステップＳ１０で撮像した前方画像中において、現在の走行車線における２本の車線輪郭線Ｌｒを認識する。
　ステップＳ３０へ移り、上記ステップＳ２５で認識した２本の車線輪郭線Ｌｒに基づいて、現在の走行車線における車線消失点Ｐ１を検知する。
　ステップＳ３５へ移り、上記ステップＳ３０で検出した車線消失点Ｐ１を記憶媒体１２ｃに蓄積するよう追加記録する。
　ステップＳ４０へ移り、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶しているか否かを判定する。その時点でまだ検出数が十分でない場合、判定は満たされず、ステップＳ５へ戻り、同様の手順を繰り返す。
　一方、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶している場合、判定が満たされ、ステップＳ４５へ移る。
　ステップＳ４５では、記憶媒体１２ｃに記録されている全ての車線消失点Ｐ１を読み出す。
　ステップＳ５０へ移り、上記ステップＳ４５で読み出した全ての車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２を算出する。そして、ステップＳ５に戻り、同様の手順を繰り返す。
　一方、上記ステップＳ１５の判定において、その時点の撮像方向Ｄｃに対応する平均消失点Ｐ２をすでに取得していた場合、判定が満たされ、ステップＳ５５へ移る。
　ステップＳ５５では、注意対象物Ｆが設定されているか否かを判定する。なお注意対象物Ｆはあらかじめ設定されていたり、又はユーザが設定可能であってもよい。また、地図情報に基づいた注意対象物Ｆの設定がある場合は、それが前方画像に表示されるほど近い位置に接近しているか否かも併せて判定してもよい。注意対象物Ｆが何ら設定されていない場合、もしくは地図情報に基づいて設定されていても前方画像に表示される程度にまだ接近していない場合には、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。
　一方、注意対象物Ｆが設定済みであり、前方画像上に注意支援画像を表示させる必要がある場合には、判定が満たされ、ステップＳ６０へ移る。
　ステップＳ６０では、上記ステップＳ１０で取得した前方画像において、注意対象物Ｆを画像認識により認識し、その表示領域の中心位置Ｐ３を当該注意対象物Ｆの存在位置として検出する。なお、このステップＳ６０の手順が、各請求項記載の生成手段及び生成工程に相当する。
　ステップＳ６５へ移り、表示座標Ｘ－Ｙ上において平均消失点Ｐ２から注意対象物Ｆの中心位置Ｐ３までを結ぶ線分Ｇ１の画像を注意支援画像として生成する。なお、このステップＳ６５の手順も、各請求項記載の生成手段及び生成工程に相当する。
　ステップＳ７０へ移り、上記ステップＳ６５で生成した注意支援画像の線分Ｇ１を前方画像に重畳表示させるようディスプレイ３に出力する。そして、ステップＳ５に戻り、同様の手順を繰り返す。なお、このステップＳ７０の手順が、各請求項記載の出力手段及び出力工程に相当する。
　以上説明したように、上記実施形態のイメージングユニット２においては、走行する車両Ｖ（移動体に相当）から撮影した前方画像の平均消失点Ｐ２（消失点に相当）又はその近傍に位置する移動表示基準点Ｐ２（基準点に相当）と、前記前方画像中の所定の注意対象物Ｆ（所定の特徴物に相当）との相対的な位置関係を示す注意支援画像（表示オブジェクトに相当）としての線分画像Ｇ１を生成するステップＳ６０、Ｓ６５の手順（生成手段に相当）と、前記ステップＳ６０、Ｓ６５の手順により生成された前記注意支援画像を含む前方画像を出力するステップＳ７０の手順（出力手段に相当）と、を備える。
　また、上記実施形態のイメージングユニット２が実行する画像処理方法においては、走行する車両Ｖ（移動体に相当）から撮影した前方画像の平均消失点Ｐ２（消失点に相当）又はその近傍に位置する移動表示基準点Ｐ２（基準点に相当）と、前記前方画像中の所定の注意対象物Ｆ（所定の特徴物に相当）との相対的な位置関係を示す注意支援画像（表示オブジェクトに相当）としての線分画像Ｇ１を生成するステップＳ６０、Ｓ６５の手順（生成工程に相当）と、前記ステップＳ６０、Ｓ６５の手順により生成された前記注意支援画像を含む前方画像を出力する出力工程と、を実行する。
　このようにすると、車両Ｖのその時点の進行方向への移動に伴って、前方画像中の全ての表示物は、移動表示基準点Ｐ２又はその近傍から当該前方画像の外周側へ移動表示される。そして、移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３との相対的な位置関係を示す注意支援画像Ｇ１は、当該注意対象物Ｆの前方画像中における移動方向を概略的に示す画像となる。このため、処理時間が比較的長くかかる画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、最新の画像フレームにおける同一の注意対象物Ｆの中心位置から多少ずれた場合でも、ユーザは注意支援画像Ｇ１を参照することにより前方画像中における注意対象物Ｆの位置を直感的に把握できる。この結果、車両Ｖから撮像した画像中の所定の注意対象物Ｆに対する注意を適切に支援できる注意支援画像の重畳表示が可能となる。
　上述した構成に加えてさらに、ステップＳ６５の手順では、前記前方画像において前記移動表示基準点Ｐ２を中心とした略放射状の図形で前記注意支援画像Ｇ１を生成してもよい。
　このようにすると、略放射状の図形で生成された注意支援画像Ｇ１は、注意対象物Ｆの前方画像中における移動軌跡とほぼ重複する。このため、画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、前方画像の最新画像フレームにおける同一の注意対象物Ｆの中心位置と多少ずれた場合でも、注意対象物Ｆは注意支援画像Ｇ１の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に注意対象物Ｆを把握できる。
　上述した構成に加えてさらに、前記前方画像中において、前記車両Ｖが走行する走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識するステップＳ２５の手順と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検知するステップＳ３０の手順と、前記ステップＳ３０の手順で過去に検知した複数の前記車線消失点Ｐ１のそれぞれの平均位置に位置する平均消失点Ｐ２を算出してこれを前記ステップＳ６５の手順で用いる前記移動表示基準点Ｐ２とするステップＳ５０の手順と、を実行する。
　以上のような方法で平均消失点Ｐ２を算出すれば、フロントカメラ１の撮像方向Ｄｃが任意の方向に向いている状態でも、精度よく消失点を特定し移動表示基準点Ｐ２とすることができる。このため、図６に示すように郵便ポスト５１の表示領域の中心位置Ｐ３と移動表示基準点Ｐ２とを結ぶ線分Ｇ１の向きは不変となり、郵便ポスト５１は注意支援画像の線分Ｇ１の延長上に正確に位置するため、ユーザは自然かつ直感的に郵便ポスト５１を認識できるという効果を最大に得ることができる。
上述した構成では、前記前方画像から得られる平均消失点Ｐ２を前記移動表示基準点Ｐ２としたが、他の方法で移動表示基準点Ｐ２を設定してもよい。例えば、他の方法で消失点を算出してもよいし、フロントカメラ１の撮像方向Ｄｃがほぼ正確に設置されている場合は、前方画像の中心点を移動表示基準点Ｐ２としてもよい。どのような方法でも、正確な消失点の近傍を移動表示基準点Ｐ２に設定できれば、郵便ポスト５１の表示領域の中心位置Ｐ３と移動表示基準点Ｐ２とを結ぶ線分Ｇ１の向きはほぼ不変となり、郵便ポスト５１は注意支援画像の線分Ｇ１の延長上に位置するため、ユーザは自然かつ直感的に郵便ポスト５１を認識できるという効果を得られる。
　上述した構成に加えてさらに、前記前方画像中の前記所定の注意対象物Ｆは、地物又は歩行者である。
　このようにすると、地物は地面に対して静止し、また歩行者は当該車両Ｖの速度と比較して十分に低速で移動するため、それらと当該車両Ｖとの間の相対速度はほぼ当該車両Ｖの車両速度と同等とみなすことができる。これにより、最新の画像フレームにおける同一の注意対象物Ｆの中心位置は、注意支援画像Ｇ１が示すそれら注意対象物Ｆの前方画像中における移動方向から大きく外れることがない。この結果、前方画像中における注意対象物Ｆの位置を直感的に把握するための注意支援画像Ｇ１の信頼性を確保できる。
　上述した構成に加えてさらに、ステップＳ６５の手順は、前記平均消失点Ｐ２を始点として注意対象物Ｆの中心位置Ｐ３を通過する半直線上に位置する線分を含むよう前記注意支援画像を生成してもよい。
　このようにすると、注意支援画像として生成された線分画像Ｇ１は、注意対象物Ｆの前方画像中における過去の移動軌跡上もしくは将来の移動軌跡上にほぼ重畳一致する。このため、画像認識により検出した注意対象物Ｆの中心位置Ｐ３が、前方画像の最新画像フレームにおける同一の注意対象物Ｆの中心位置と多少ずれた場合でも、注意支援画像の線分画像Ｇ１が最新画像フレームにおける注意対象物Ｆと重複している可能性が高い。また、重複していない場合でも注意対象物Ｆは線分画像の延長上に位置するため、視覚的にそのズレの補間が容易であり、ユーザは自然かつ直感的に注意対象物Ｆを把握できる。また、線分画像Ｇ１で注意を支援するため、注意させる方向や領域を比較的狭い範囲で明確に特定して示すことができる。
　また、比較従来例の注意支援画像として上記図５に示した枠形状マーカ６１では、前方画像の画像フレームが切り替わって注意対象物Ｆが表示座標Ｘ－Ｙ上を移動表示するに伴い、それに追従するように位置を変えて当該枠形状マーカ６１の全体を再描画する必要があった。しかし、上記実施形態で図６に示したように移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３とを結ぶ線分画像Ｇ１で注意支援画像を生成、表示する場合には、注意対象物Ｆが表示座標Ｘ－Ｙ上を移動してもそれに合わせて線分画像Ｇ１の放射方向の先端部分を延長するよう追加的に描画するだけでもよい。この場合には、線分画像Ｇ１の全体を再描画する必要がないため描画処理の負担が軽減されるだけでなく、適切な長さで先端部分を延長できれば画像認識による注意対象物Ｆの中心位置Ｐ３の検出を繰り返す必要がないため、注意支援画像Ｇ１の生成処理の負担も大きく軽減でき、全体の処理の高速化が可能となる。
　上述した構成に加えてさらに、前記車両Ｖに搭載されて撮像した前記前方画像を前記ステップＳ６０、Ｓ６５の手順で利用可能に供給するフロントカメラ１（撮像手段に相当）と、前記ステップＳ７０の手順で出力した前記注意支援画像Ｇ１を含む前記前方画像を表示するディスプレイ３（表示手段に相当）と、を有してもよい。
　このようにすると、前方画像の撮像と、注意支援画像Ｇ１を重畳させた前方画像の表示までを、運転支援装置Ｓが一体的に単独で行うことができる。
　上述した構成に加えてさらに、前記ステップＳ６０、Ｓ６５の手順は、前記前方画像中に存在する表示物のうちユーザが任意に指定したものを前記注意対象物Ｆとして設定可能であってもよい。
　このようにすると、ディスプレイ３に設けたタッチパネル（特に図示せず）上での直接接触やカーソルなどの指標によりユーザが前方画像上で直接指定した表示物を注意対象物として設定できるため、注意対象物Ｆのリアルタイムでの設定が可能となり利便性が向上する。
　なお、上記実施形態では、上記図６に示したように移動表示基準点Ｐ２から注意対象物Ｆの表示領域の中心位置Ｐ３までを結ぶ線分画像Ｇ１で注意支援画像を生成、表示したが、本発明はこれに限られない。例えば、図１０に示すように、移動表示基準点Ｐ２を始点として注意対象物Ｆ（図示する例の郵便ポスト５１）の表示領域の中心位置Ｐ３を通過する半直線の画像Ｇ２で注意支援画像を生成、表示してもよい。この場合でも注意支援画像の半直線画像Ｇ２は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形となり、さらにこの半直線画像Ｇ２の全体は注意対象物Ｆの過去及び将来の移動軌跡全体を示して必ず注意対象物Ｆの表示領域に重複する。このため、ユーザに対して、上記実施形態での線分画像Ｇ１よりも確実に注意対象物Ｆに対する注意を促すことができる。
　また、上記半直線画像Ｇ２のうち移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間と、当該中心位置Ｐ３から外周側の区間とで表示態様を異ならせるよう生成、表示してもよい。例えば、図１１中の半直線画像Ｇ２Ａに示すように、移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間で実線の態様で表示し、中心位置Ｐ３から外周側の区間で破線の態様で表示してもよい。このようにすると、注意支援画像Ｇ２Ａの全体で注意対象物Ｆの過去及び将来の移動軌跡全体を示すことができるとともに、その移動軌跡全体のうちで注意対象物Ｆがその時点でおおよそどの位置にあるかを示すことができる。このため、ユーザに対して、上記の単純な半直線画像Ｇ２よりも明確に注意対象物Ｆに対する注意を促すことができる。
　また、注意支援画像を線分画像で生成する場合でも、例えば図１２に示すように、注意対象物Ｆの表示領域の大きさよりも少し長い程度の長さの線分画像Ｇ３で、注意対象物Ｆの中心位置Ｐ３に重複するように生成、表示してもよい。この場合には、線分画像Ｇ３が注意対象物Ｆの移動方向を簡略的に示しながら、その中心位置Ｐ３を特に注意させることができる。また、この線分画像Ｇ３の外周側に矢印の矢先を追加することで、線分画像Ｇ３全体が注意対象物Ｆの移動ベクトルのように見せることができ、前方画像における注意対象物Ｆの移動に対応した表現が可能となる。
　また以上においては、移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域の中心位置Ｐ３を通過する半直線上に位置する線分を含むよう注意支援画像を生成、表示したが、本発明はこれに限られない。例えば、図１３に示すように、それぞれ移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域を包絡する２本の線分Ｇ４を含む画像で注意支援画像を生成、表示してもよい。この場合でも２本の線分画像Ｇ４は、結果的に移動表示基準点Ｐ２を中心とした略放射状の図形となり、さらにこれら２本の線分画像Ｇ４の間の領域の全体は、注意対象物Ｆの表示領域の過去及び将来の遠近による縮尺も反映した通過範囲全体を示して必ず注意対象物Ｆの表示領域に重複する。このため、ユーザに対して、上記実施形態での線分画像Ｇ１よりも確実に注意対象物Ｆの存在範囲を把握させることができる。
　また、上記２本の線分画像Ｇ４とその間の領域のうち移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間と、当該中心位置Ｐ３から外周側の区間とで表示態様を異ならせるよう生成、表示してもよい。例えば、図１４中のＧ４Ａに示すように、２本の線分画像Ｇ４の間の領域において、移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３までの区間と、中心位置Ｐ３から外周側の区間とで色（もしくは濃度）を変えて半透過色のペイント処理で表示してもよい。このようにすると、注意支援画像Ｇ４Ａの全体で注意対象物Ｆの表示領域の過去及び将来の遠近による縮尺も反映した通過範囲全体を示すことができるとともに、その通過範囲全体のうちで注意対象物Ｆがその時点でおおよそどの位置にあるかを示すことができる。このため、ユーザに対して、上記の単純な２本の線分画像Ｇ４よりも明確に注意対象物Ｆに対する注意を促すことができる。
　また以上においては、移動表示基準点Ｐ２を中心として放射状となる位置に固定的に配置した注意支援画像を生成、表示したが、本発明はこれに限られない。例えば、図１５に示すように、移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域の中心位置Ｐ３を通過する半直線上において、移動表示基準点Ｐ２から放射方向で移動する移動オブジェクトＧ５を含む画像で注意支援画像を生成、表示してもよい。図１５に示す例では、移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３とを結ぶ線分（図中の点線参照）上で、移動表示基準点Ｐ２から注意対象物Ｆの中心位置Ｐ３へ向かう方向に動的に移動する流星の形態の移動オブジェクトＧ５で注意支援画像を生成、表示している。この例に示す流星の移動オブジェクトＧ５は、先端と尾ビレで移動方向を表現し、前方画像中における注意対象物Ｆの移動よりも早い速度で流星を移動表示する。この場合には、注意対象物Ｆの移動軌跡と移動方向を動的なアニメーションで表現できる。なお、移動表示基準点Ｐ２と注意対象物Ｆの中心位置Ｐ３とを結ぶ線分（図中の点線参照）は表示してもよいし、表示を省略してもよい。また、流星の移動オブジェクトＧ５は、注意対象物Ｆの中心位置Ｐ３で止めてもよいし、そのまま注意対象物Ｆを追い越して前方画像の外周側まで移動させてもよい。
　また、従来比較例の注意支援画像として上記図５に示した円形の枠形状マーカ６１に対しても、図１６に示すように移動表示基準点Ｐ２を始点として注意対象物Ｆの表示領域の中心位置Ｐ３を通過する半直線（図中の破線参照）に沿って扁平させて注意支援画像Ｇ６を生成、表示してもよい。この場合でも楕円形の注意支援画像Ｇ６は、結果的に移動常時基準点Ｐ２を中心とした略放射状の図形となり、この楕円形画像Ｇ６の全体は注意対象物Ｆの過去及び将来の移動軌跡全体を概略的に示して必ず注意対象物Ｆの表示領域に重複する。このため、ユーザに対して、上記実施形態での線分画像Ｇ１よりも確実に注意対象物Ｆの存在範囲を把握させることができる。
　また以上においては、１つの静止画像の画像フレームにおいて検出される注意対象物Ｆの中心位置Ｐ３と、表示座標Ｘ－Ｙ上で固定的に取得された移動表示基準点Ｐ２との間の相対的な位置関係を幾何的に示す図形で注意支援画像を生成、表示していたが、本発明はこれに限られない。例えば、動画形式の前方画像で時系列的に撮像された複数の画像フレームのうち、同一の注意対象物Ｆに対して過去の画像フレームと最新の画像フレームでそれぞれ検出した２つの中心位置Ｐ３を結ぶ線分を含むよう注意支援画像を生成、表示してもよい。この場合、例えば図１７に示すような線分画像Ｇ７が注意支援画像となり、この線分画像Ｇ７もまた結果的に移動表示基準点Ｐ２を中心とした略放射状の図形であって、移動表示基準点Ｐ２（図１７中では図示省略）と注意対象物Ｆの中心位置Ｐ３との間の相対的な位置関係を幾何的に示している（なお、図中の中心位置Ｐ４は、過去の画像フレームで検出した中心位置）。このため、この線分画像Ｇ７によっても注意対象物Ｆの移動方向を簡略的に示しながら、その中心位置Ｐ３を特に注意させることができる。また、この線分画像Ｇ７を生成するにあたっては移動表示基準点Ｐ２の設定を必要としないため、まだ十分な車線消失点Ｐ１が得られてない際に表示する注意支援画像として有用である。
　また、例えば図１８に示すように、上述したような移動表示基準点Ｐ２を中心とした略放射状の図形の注意支援画像（図示する例では線分画像Ｇ１）と、従来比較例の注意支援画像として上記図５に示した枠形状マーカ６１とを組み合わせて表示させてもよい。前方画像の画像フレームの撮像周期が十分長かったり、イメージングユニット２のＣＰＵ１１の処理速度が十分速い場合には、図示するようにいずれの注意支援画像Ｇ１，６１も正確な配置で生成、表示することができ、これらの組み合わせによってユーザに対する注意対象物Ｆの注意を最も明確に促すことができる。
　また、本実施形態の運転支援装置Ｓでは、注意支援画像Ｇ１～Ｇ７を重畳させた前方画像をそのまま記憶媒体１２ｃなどに記録しておき、後で再生させるドライブレコーダに適用してもよい。もしくは、記憶媒体１２ｃには前方画像だけを記録しておいて、後の再生時や編集時などに初めて注意支援画像Ｇ１～Ｇ７を生成、重畳させて表示したりさらにその重畳画像を記録してもよい。
　なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
　（１）第１変形例：前方画像を外部のデータベースに記憶させる場合
　上記実施形態では、運転支援装置Ｓが自ら撮像した前方画像を利用して、自ら画像認識処理や注意支援画像の生成、表示を行ったりその前方画像を内部に備えた記憶媒体１２ｃに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図１９に示すように、運転支援装置Ｓ２が無線通信装置２１（通信手段に相当）とアンテナ２２を備え、中継局２３（受信手段、送信手段に相当）との無線通信を介した通信ネットワークで外部のデータセンター２４に備えたデータベースサーバ２５（画像処理サーバに相当）に前方画像を送信し、そのデータベースサーバ２５に前方画像の画像認識や注意支援画像の生成、さらにそれらの記録を行わせるいわゆるサーバ型としてもよい。そして、注意支援画像を重畳した前方画像をデータベースサーバ２５から運転支援装置Ｓ２に返信して、そのディスプレイ３に表示させてもよい。または、注意支援画像のみをデータベースサーバ２５から運転支援装置Ｓ２に返信して、運転支援装置Ｓ２が注意支援画像を前方画像に重畳して、そのディスプレイ３に表示させてもよい。
　これにより、運転支援装置Ｓ２の記憶媒体１２ｃの方で過去の前方画像を誤って消去してしまった場合でも、データセンター２４のデータベースサーバ２５に記録させた前方画像と注意支援画像をバックアップとして利用できる。
　（２）第２変形例：電子携帯端末を利用して構成する場合
　上記実施形態及び上記第１変形例は、いずれも車両Ｖに搭載する機器構成が運転支援装置Ｓ、Ｓ２だけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末３１にカメラ、ディスプレイ、又はＧＰＳを装備しているモデルが多く、これを例えば上記車速センサ１４に接続されたクレードル３２に着脱可能に取り付けて車両Ｖに搭載する場合がある（図２０参照）。そして、この電子携帯端末３１に前方画像を撮像させ、同じ電子携帯端末３１が備えるＣＰＵに所定の画像認識処理や注意支援画像の生成を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した注意支援画像の生成、表示を行える。
　この場合には、電子携帯端末３１が各請求項記載の画像処理装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末３１のＣＰＵが処理する制御手順のうち注意支援画像を生成する手順が生成手段に相当し、注意支援画像を含む前方画像を出力する手順が出力手段に相当し、電子携帯端末３１に装備されているディスプレイが表示手段に相当する。
　また、特に図示しないが、電子携帯端末３１を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末３１に通信手段が備えられ、データセンター２４のデータベースサーバ２５が前方画像の認識や注意支援画像の生成、及びそれらを記録する画像処理サーバに相当する。
　なお、以上説明した実施形態、第１変形例、及び第２変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図２４と図２５に示す。
　まず図２４は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図２４のハードウェア構成要素における記憶部とは注意支援画像を重畳した前方画像を記録する記憶媒体１２ｃやデータベースサーバ２５に相当するものであり、通信部とは上記無線通信装置２１に相当するものである。また構成機器における車載装置（運転支援装置、クレードル）には車速センサの装備があってもよく、データセンターには記憶部の装備があってもよい。また、ＧＰＳは車載装置か携帯端末のいずれに装備させてもよいが、データセンターには装備できない。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。
　図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に１つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、ＧＰＳ、記憶部、及び通信部のいずれかを備え、それを利用する場合には、携帯端末と車載装置とがコネクタや、近距離無線通信などを介して情報信号を送受可能に装着できる必要がある。また、ハードウェア構成要素のうちカメラ、ディスプレイ、及び通信部（サーバ型の場合）はそれぞれ構成機器のいずれか対応するものに必ず装備させる必要があるが、その他のＧＰＳ、記憶部、及び車速センサの装備については任意となる。
　次に図２５は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図２５に示すソフトウェア処理内容としては、平均消失点Ｐ２（移動表示基準点Ｐ２）を算出する算出処理、前方画像中の注意対象物Ｆの中心位置Ｐ３を検出する検出処理、注意支援画像を生成する生成処理、及び注意支援画像を重畳した前方画像を記録する記録処理の４つである。これらソフトウェア処理内容のうち検出処理及び生成処理はそれぞれ構成機器のいずれかで必ず処理させる必要があるが、その他の算出処理及び記憶処理の処理については任意となる。このソフトウェア処理内容の分担については、十分な処理能力を有するＣＰＵが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれかの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。
　（３）第３変形例：注意支援画像をヘッドアップディスプレイで表示させる場合
　上記実施形態では、フロントカメラ１で撮像した前方画像に対して注意支援画像を重畳表示させた合成画像を単独のディスプレイに表示させていたが、本発明はこれに限られない。例えば、車両Ｖのウィンドウガラスを介した運転者の視界と一致させるよう表示座標Ｘ－Ｙを配置し、当該ウィンドウガラス上又はその手前位置に注意支援画像を表示するヘッドアップディスプレイを備えてもよい。
　図２１は、上記実施形態の図２に対応して本変形例の運転支援装置Ｓ４のハードウェア構成例を示すブロック図である。この図２１において、本変形例の運転支援装置Ｓ４はディスプレイ３の代わりにヘッドアップディスプレイプロジェクター４およびコンバイナ５を有しており、それ以外のハードウェア構成は上記実施形態と同等である。ただし、グラフィックコントローラ１５からは、前方画像を含まずに注意支援画像の画像データのみによる画像信号が出力される。
　上記実施形態の図３に対応する図２２は、車両Ｖの車内から見た車窓風景及びこれに対応するヘッドアップディスプレイの表示の一例を示す図である。この図２２に示す例において、図中の右側に位置する運転席の上方でヘッドアップディスプレイプロジェクター４が天井ルーフに固定されている。また、フロントガラス１０４の前面側でヘッドアップディスプレイプロジェクター４の投影範囲を覆うようにコンバイナ５が設けられている。このヘッドアップディスプレイプロジェクター４とコンバイナ５がヘッドアップディスプレイに相当し、上記グラフィックコントローラ１５から出力された画像信号に基づいて、適宜にハーフミラーとしての機能を有するコンバイナ５の前面に注意支援画像（図示する例では線分画像Ｇ１）の映像を投影表示する。
　図２３は、上記ヘッドアップディスプレイによるフロントガラス１０４の前面側へ投影表示する態様を側方から見た模式図である。ヘッドアップディスプレイプロジェクター４は、ハーフミラーとしての機能を有するコンバイナ５上に表示座標Ｘ－Ｙを設定してその注意支援画像Ｇ１～Ｇ７の映像を投影表示する。ここで、上記表示座標Ｘ－Ｙを、車両Ｖのフロントガラス１０４を介した運転者の視界と一致させる配置に設定していることで、運転者はフロントガラス１０４を介した前方視界中において、移動表示基準点Ｐ２と注意対象物Ｆの存在位置との相対的な位置関係を幾何的に示す注意支援画像Ｇ１～Ｇ７を視認できる。
　この場合、表示座標Ｘ－Ｙ上における注意支援画像Ｇ１～Ｇ７の配置と、運転者の前方視界における配置との整合を図るために、運転者の座高の高さ（眼球の高さ位置）とフロントカメラ１の撮像方向Ｄｃの偏差に応じて、ヘッドアップディスプレイプロジェクター４の表示座標Ｘ－Ｙの配置を適宜調整する必要がある。
　以上説明したように、上記第３変形例の運転支援装置Ｓ４においては、走行する車両Ｖに搭載され、前記車両Ｖの前方画像を取得するフロントカメラ１と、前記前方画像中の平均消失点Ｐ２又はその近傍に位置する移動表示基準点Ｐ２と所定の注意対象物Ｆとの相対的な位置関係を示す注意支援画像を生成するステップＳ６０、Ｓ６５の手順と、前記ステップＳ６０、Ｓ６５の手順により生成された前記注意支援画像を出力するステップＳ７０の手順と、運転者の運転時における視界内に前記ステップＳ７０の手順で出力した前記注意支援画像を映し出すヘッドアップディスプレイプロジェクター４およびコンバイナ５（ヘッドアップディスプレイに相当）と、を有する。
　このようにすると、運転者がフロントガラス１０４を介して視認する前方視界そのものに位置が整合した注意支援画像Ｇ１～Ｇ７の映像を投影表示できるため、運転者は視線を大きく移動させることなく注意支援画像Ｇ１～Ｇ７を視認でき、運転に集中することができる。
　なお、上記第３変形例では、フロントガラス１０４の前面側に設けたコンバイナ５に対してヘッドアップディスプレイプロジェクター４から注意支援画像Ｇ１～Ｇ７の映像を投影表示することでヘッドアップディスプレイを構成していたが、本発明はこれに限られない。他にも、フロントガラス自体に例えば透過型の液晶パネル等を設け、その自発光により注意支援画像を表示するなどの構成としてもよい。
　また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
　１　　　　　　　フロントカメラ（撮像手段に相当）
　２　　　　　　　イメージングユニット（画像処理装置に相当）
　３　　　　　　　ディスプレイ（表示装置に相当）
　１１　　　　　　ＣＰＵ
　１２　　　　　　記憶部
　１３　　　　　　ＧＰＳ
　１４　　　　　　車速センサ
　１５　　　　　　グラフィックコントローラ
　２１　　　　　　無線通信装置（通信手段に相当）
　２２　　　　　　中継局（受信手段、送信手段に相当）
　２４　　　　　　データセンター
　２５　　　　　　データベースサーバ（画像処理サーバに相当）
　３１　　　　　　電子携帯端末（携帯端末装置に相当）
　３２　　　　　　クレードル
　５１　　　　　　郵便ポスト
　６１　　　　　　枠形状マーカ
　Ｄｃ　　　　　　撮像方向
　Ｄｖ　　　　　　車両軸方向
　Ｆ　　　　　　　注意対象物（所定の特徴物に相当）
　Ｇ１～Ｇ７　　　注意支援画像（表示オブジェクトに相当）
　Ｌｒ　　　　　　車線輪郭線
　Ｐ１　　　　　　車線消失点
　Ｐ２　　　　　　平均消失点、移動表示基準点（基準点に相当）
　Ｐ３　　　　　　注意対象物の表示領域の中心位置
　Ｓ，Ｓ２，Ｓ３　運転支援装置
，Ｓ４
　Ｖ　　　　　　　車両
 

Claims (16)

  1. 　走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、
    前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力手段と、
    を備える画像処理装置。
  2. 　前記生成手段は、前記前方画像において前記基準点を中心とした略放射状の図形で前記表示オブジェクトを生成することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記前方画像中の前記所定の特徴物は、地物又は歩行者であることを特徴とする、請求項１又は２に記載の画像処理装置。
  4. 　前記生成手段は、前記基準点を始点として前記所定の特徴物を通過する半直線上に位置する線分を含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  5. 　前記生成手段は、それぞれ前記基準点を始点として前記所定の特徴物の表示領域を包絡する２本の線分を含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  6. 　前記生成手段は、前記基準点を始点として前記所定の特徴物を通過する半直線上において、前記基準点から放射方向で移動する移動オブジェクトを含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記生成手段は、前記基準点から前記所定の特徴物までの区間と、当該所定の特徴物から外周側の区間とで前記表示オブジェクトの表示態様を異ならせるよう生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記前方画像は、動画形式として時系列的に撮像された複数の画像フレームであり、
    　前記生成手段は、前記検出手段が同一の前記所定の特徴物に対して過去の画像フレームと最新の画像フレームでそれぞれ検出した２つの前記所定の特徴物の位置を結ぶ線分を含むよう前記表示オブジェクトを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
  9. 　さらに、
    　前記移動体に搭載されて撮像した前記前方画像を前記生成手段に供給する撮像手段と、
    前記出力手段が出力した前記表示オブジェクトを含む前方画像を表示する表示手段と、
    を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
  10. 　走行する移動体に搭載され、前記移動体の前方画像を取得する撮像手段と、
    　前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、
    前記生成手段により生成された前記表示オブジェクトを出力する出力手段と、
    運転者の運転時における視界内に前記出力手段が出力した前記表示オブジェクトを映し出すヘッドアップディスプレイと、
    を有する画像処理装置。
  11. 　前記生成手段は、前記前方画像中に存在する特徴物のうちユーザが任意に指定したものを前記所定の特徴物として設定可能であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
  12. 　走行する移動体から撮像した前方画像を外部の画像処理装置から受信する受信手段と、
    　前記前方画像中の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成手段と、
    　前記生成手段により生成された前記表示オブジェクトを前記外部の画像処理装置に送信する送信手段と、
    を有することを特徴とする画像処理サーバ。
  13. 　走行する移動体に搭載されて前方画像を撮像する撮像手段と、
    　請求項１２に記載の画像処理サーバに対して前記前方画像を送受する通信手段と、
    　前記通信手段が前記画像処理サーバから受信した前記表示オブジェクトを含む前方画像を表示する表示手段と、を有する
    ことを特徴とする画像処理装置。
  14. 　画像処理装置が実行する画像処理方法であって、
    走行する移動体から撮影した前方画像の消失点又は当該消失点の近傍の点を基準点とし、前記基準点と前記前方画像中の所定の特徴物との相対的な位置関係を示す表示オブジェクトを生成する生成工程と、
    前記生成手段により生成された前記表示オブジェクトを含む前方画像を出力する出力工程と、
    を実行することを特徴とする画像処理方法。
  15. 　請求項１４に記載の画像処理方法を、画像処理装置により実行させることを特徴とする画像処理プログラム。
  16. 　請求項１５に記載の画像処理プログラムが、前記画像処理装置により読み取り可能に記憶されていることを特徴とする記録媒体。
     
PCT/JP2012/050873 2012-01-17 2012-01-17 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体 WO2013108371A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013554141A JP5893054B2 (ja) 2012-01-17 2012-01-17 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
CN201280067356.6A CN104081763B (zh) 2012-01-17 2012-01-17 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
PCT/JP2012/050873 WO2013108371A1 (ja) 2012-01-17 2012-01-17 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/050873 WO2013108371A1 (ja) 2012-01-17 2012-01-17 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2013108371A1 true WO2013108371A1 (ja) 2013-07-25

Family

ID=48798821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050873 WO2013108371A1 (ja) 2012-01-17 2012-01-17 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体

Country Status (3)

Country Link
JP (1) JP5893054B2 (ja)
CN (1) CN104081763B (ja)
WO (1) WO2013108371A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
JP2017021148A (ja) * 2015-07-09 2017-01-26 ホシデン株式会社 投射型表示装置及び該投射型表示装置を用いた車載用ヘッドアップディスプレイ
JP2017054424A (ja) * 2015-09-11 2017-03-16 矢崎エナジーシステム株式会社 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
JP2017111762A (ja) * 2015-12-18 2017-06-22 株式会社リコー 情報処理装置、情報処理システム、および情報処理プログラム
JP2017135444A (ja) * 2016-01-25 2017-08-03 パイオニア株式会社 映像制御装置
JP2017154613A (ja) * 2016-03-02 2017-09-07 トヨタ自動車株式会社 車両用表示装置
WO2017169706A1 (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
JP2018006865A (ja) * 2016-06-28 2018-01-11 アイシン精機株式会社 表示制御装置
JP2018169244A (ja) * 2017-03-29 2018-11-01 株式会社ゼンリンデータコム 移動体情報提供サービスシステム、移動体情報提供サービスサーバー装置、移動体窓用装置及び移動体情報提供サービス方法
JP2018169667A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 運転情報記録システム、運転情報記録方法、及びプログラム
CN109074646A (zh) * 2016-03-30 2018-12-21 株式会社爱考斯研究 图像识别装置以及图像识别程序
KR20190029192A (ko) * 2017-09-12 2019-03-20 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP2022034439A (ja) * 2020-08-18 2022-03-03 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法
JP2022063276A (ja) * 2017-06-30 2022-04-21 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US10473480B2 (en) * 2015-08-20 2019-11-12 Mitsubishi Electric Corporation Display control device, and display device having a virtual image displayed on a windshield, and display control method thereof
JP2017074871A (ja) * 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
JP6726052B2 (ja) * 2015-11-20 2020-07-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理方法およびプログラム
CN108885845B (zh) * 2016-03-24 2021-02-26 三菱电机株式会社 辅助图像显示装置、辅助图像显示方法和计算机可读的记录介质
CN112119282A (zh) * 2018-03-23 2020-12-22 索尼公司 信息处理装置、移动装置、方法和程序
JP2020106946A (ja) * 2018-12-26 2020-07-09 マクセル株式会社 車両運行記録システム、車載運転情報記録処理システム、および、ヘッドアップディスプレイ装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置
JP2009237773A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 画像処理装置および画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4862774B2 (ja) * 2006-12-20 2012-01-25 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4784572B2 (ja) * 2007-02-23 2011-10-05 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP5208147B2 (ja) * 2010-03-09 2013-06-12 三菱電機株式会社 車載カメラのカメラキャリブレーション装置
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置
JP2009237773A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 画像処理装置および画像処理プログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10279741B2 (en) 2013-10-10 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, method, recording medium, and vehicle
JP2016006684A (ja) * 2013-10-10 2016-01-14 パナソニックＩｐマネジメント株式会社 表示制御装置、投影装置、および表示制御プログラム
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
JP2017021148A (ja) * 2015-07-09 2017-01-26 ホシデン株式会社 投射型表示装置及び該投射型表示装置を用いた車載用ヘッドアップディスプレイ
JP2017054424A (ja) * 2015-09-11 2017-03-16 矢崎エナジーシステム株式会社 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
JP2017111762A (ja) * 2015-12-18 2017-06-22 株式会社リコー 情報処理装置、情報処理システム、および情報処理プログラム
JP2017135444A (ja) * 2016-01-25 2017-08-03 パイオニア株式会社 映像制御装置
JP2017154613A (ja) * 2016-03-02 2017-09-07 トヨタ自動車株式会社 車両用表示装置
US10596969B2 (en) 2016-03-30 2020-03-24 Mazda Motor Corporation Electronic mirror control device
CN109074646A (zh) * 2016-03-30 2018-12-21 株式会社爱考斯研究 图像识别装置以及图像识别程序
JP2017183974A (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
WO2017169706A1 (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
JP2018006865A (ja) * 2016-06-28 2018-01-11 アイシン精機株式会社 表示制御装置
JP2018169244A (ja) * 2017-03-29 2018-11-01 株式会社ゼンリンデータコム 移動体情報提供サービスシステム、移動体情報提供サービスサーバー装置、移動体窓用装置及び移動体情報提供サービス方法
JP2018169667A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 運転情報記録システム、運転情報記録方法、及びプログラム
JP2022063276A (ja) * 2017-06-30 2022-04-21 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法
JP7266257B2 (ja) 2017-06-30 2023-04-28 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法
KR20190029192A (ko) * 2017-09-12 2019-03-20 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
KR102300836B1 (ko) * 2017-09-12 2021-09-13 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP2022034439A (ja) * 2020-08-18 2022-03-03 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法
JP7276280B2 (ja) 2020-08-18 2023-05-18 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法

Also Published As

Publication number Publication date
JPWO2013108371A1 (ja) 2015-05-11
CN104081763B (zh) 2018-09-14
CN104081763A (zh) 2014-10-01
JP5893054B2 (ja) 2016-03-23

Similar Documents

Publication Publication Date Title
JP5893054B2 (ja) 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
US20200117927A1 (en) Display control device, display control system, display control method, and display control program
JP5143235B2 (ja) 制御装置および車両周囲監視装置
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
JP2013107580A (ja) 車両用周辺監視装置
WO2017056210A1 (ja) 車両用表示装置
JP2007198962A (ja) 車両用案内表示装置
US10922976B2 (en) Display control device configured to control projection device, display control method for controlling projection device, and vehicle
JP2008151507A (ja) 合流案内装置および合流案内方法
JP2017157093A (ja) 車両用表示装置
WO2011013813A1 (ja) 車載装置および画像処理プログラム
WO2015012010A1 (ja) 運転支援システム、方法およびプログラム
JP2012153256A (ja) 画像処理装置
JP6300949B2 (ja) 表示制御装置
JP2010183234A (ja) 描画装置
JP2014234139A (ja) 車載表示装置およびプログラム
JP4857159B2 (ja) 車両運転支援装置
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
JP6401925B2 (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2007292545A (ja) 経路案内装置及び経路案内方法
JP2014037172A (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
JP2009075842A (ja) 車載表示装置
JP5074171B2 (ja) 車載システム
JP4696825B2 (ja) 車両用死角映像表示装置
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866239

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013554141

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866239

Country of ref document: EP

Kind code of ref document: A1