WO2023189568A1 - 画像生成装置、方法及びプログラム - Google Patents

画像生成装置、方法及びプログラム Download PDF

Info

Publication number
WO2023189568A1
WO2023189568A1 PCT/JP2023/009961 JP2023009961W WO2023189568A1 WO 2023189568 A1 WO2023189568 A1 WO 2023189568A1 JP 2023009961 W JP2023009961 W JP 2023009961W WO 2023189568 A1 WO2023189568 A1 WO 2023189568A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
viewpoint
image
blind spot
viewpoint position
Prior art date
Application number
PCT/JP2023/009961
Other languages
English (en)
French (fr)
Inventor
正樹 後藤
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2023189568A1 publication Critical patent/WO2023189568A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image generation device, method, and program.
  • Patent Document 1 discloses a technology that allows a passenger of a moving body, such as a driver, to quickly recognize objects in a blind spot area.
  • the technique disclosed in Patent Document 1 acquires information on an object existing in a blind spot of a moving object from an external device of the moving object, and generates a superimposed image showing the object in the external field of view of the moving object.
  • Patent Document 2 discloses a technology related to an information notification device that reports object information regarding an object existing outside a moving body.
  • the information notification device according to Patent Document 2 acquires detection result information of objects existing around the reverse direction moving body from a reverse direction moving body, and transmits target object information corresponding to the detection result information to the board of the moving body. inform the person.
  • an object of the present disclosure is to provide an image generation device, method, and program for making it easier to recognize the situation in a blind spot area from a specific viewpoint position.
  • An image generation device includes: an acquisition unit that acquires a viewpoint position outside the vehicle; a identification unit that identifies a blind spot area that may be a blind spot from the viewpoint position based on the viewpoint position and the position of the vehicle; A generation unit that generates a composite image at the viewpoint of the viewpoint position based on the blind spot area using a plurality of images outside the vehicle in which surroundings are photographed.
  • a computer acquires a viewpoint position outside the vehicle, identifies a blind spot area that may be a blind spot from the viewpoint position based on the viewpoint position and the position of the vehicle, and the surroundings of the vehicle are photographed.
  • a composite image at the viewpoint of the viewpoint position is generated based on the blind spot area using the plurality of images outside the vehicle.
  • the image generation program includes an acquisition process for acquiring a viewpoint position outside the vehicle, a specifying process for identifying a blind spot area that may be a blind spot from the viewpoint position based on the viewpoint position and the position of the vehicle, and a A computer is caused to perform a generation process of generating a composite image at the viewpoint of the viewpoint position based on the blind spot area using a plurality of images outside the vehicle in which surroundings are photographed.
  • FIG. 1 is a schematic diagram showing the overall configuration of a blind spot video providing system according to the first embodiment
  • FIG. 3 is a diagram illustrating an example of a field of view when viewing a roadway from a viewpoint position of a moving object on a sidewalk according to the first embodiment.
  • FIG. 3 is a top view of a blind spot area D caused by a vehicle V1 when viewing a roadway from a viewpoint position M of a moving object on a sidewalk according to the first embodiment.
  • 3 is a diagram showing an example of a camera mounted to photograph the surroundings of a vehicle and a photographing range according to the first embodiment;
  • FIG. 3 is a diagram illustrating an example of a viewpoint area for each viewpoint position M around the vehicle V1 according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a blind spot area D by a vehicle V1 for each viewpoint position according to the first embodiment.
  • FIG. FIG. 3 is a diagram for explaining the concept of a composite image for each viewpoint position according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of a vehicle V1 equipped with an image generation device according to the first embodiment.
  • 3 is a flowchart showing the flow of image generation processing according to the first embodiment.
  • 3 is a diagram for explaining the concept of determining the width of a composite image according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of the positional relationship among a viewpoint position M, a vehicle V1, a blind spot area D, and another vehicle V2 at the time of generating a composite image according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a composite image according to the first embodiment.
  • 7 is a diagram illustrating another example of the positional relationship among the viewpoint position M, the vehicle V1, the blind spot area D, and another vehicle V2 at the time of generating a composite image according to the first embodiment.
  • FIG. 7 is a diagram showing another example of a composite image according to the first embodiment.
  • FIG. FIG. 7 is a diagram showing an example of a case where a display terminal is installed on a sidewalk according to the second embodiment.
  • FIG. 1 is a schematic diagram showing the overall configuration of a blind spot video providing system 1000 according to the first embodiment.
  • a display terminal M1 owned by a pedestrian U and an in-vehicle terminal mounted on a vehicle V1 are communicably connected via a communication network N.
  • the communication network N includes a wireless communication network, a mobile phone network, etc., and may include the Internet.
  • the vehicle V1 refers to a moving body equipped with an in-vehicle terminal including the image generation device according to the first embodiment, and is a vehicle that may cause a blind spot from the viewpoint of the pedestrian U or the display terminal M1. Assume that there is.
  • the display terminal M1 is an example of a mobile object, and is an information processing device that has a wireless communication function and includes at least a display screen.
  • the display terminal M1 transmits a composite image request including current position information to the vehicle V1 within a certain range via the communication network N in response to an operation by the pedestrian U or periodically.
  • the display terminal M1 may transmit the composite image request to the vehicle V1 or the like within a predetermined range by short-range wireless communication or the like.
  • the display terminal M1 periodically acquires current position information using a GPS (Global Positioning System) function or the like.
  • the position information of the display terminal M1 corresponds to a viewpoint position M, which will be described later.
  • the viewpoint position M may be three-dimensional coordinate information including position information at the eye level of the pedestrian U.
  • the display terminal M1 receives a composite image including an object present in the blind spot area of the vehicle V1 from an in-vehicle terminal mounted on the vehicle V1 via the communication network N, and displays the composite image on the display screen.
  • the display terminal M1 is a mobile communication device such as a smartphone, a mobile phone terminal, a tablet terminal, or the like.
  • the target object is an object that matches a shape set in advance using image recognition technology or the like.
  • the object can also be said to be a candidate for which the pedestrian U needs to be alerted.
  • the target object is a moving object such as a car or a motorcycle, but is not limited thereto.
  • FIG. 2 is a diagram illustrating an example of the field of view when looking at the roadway from the viewpoint of the moving object on the sidewalk according to the first embodiment. It is assumed that a pedestrian U is on a sidewalk R2 carrying a display terminal M1 and is before crossing a crosswalk R3 without a traffic light. It is assumed that the vehicle V1 and the other vehicle V3 are traveling or parked on the roadway R5. Therefore, it is difficult for the pedestrian U to recognize the moving object on the roadway R4 on the far side.
  • FIG. 3 is a top view of the blind spot area D of the vehicle V1 when looking at the roadway from the viewpoint position M of the moving object on the sidewalk according to the first embodiment.
  • FIG. 3 is an aerial view of FIG. 2 described above.
  • the viewpoint position M indicates the position of the pedestrian U and the display terminal M1. It is assumed that the other vehicle V2 is traveling or parked on the roadway R4.
  • the other vehicle V2 exists in the blind spot area D of the vehicle V1 when viewed from the viewpoint position M. Therefore, when the pedestrian U looks in the direction of the vehicle V1 at the viewpoint position M, this indicates that the pedestrian U cannot see the other vehicle V2. Therefore, although the pedestrian U is about to cross the crosswalk R3, the other vehicle V2 in the blind spot area D cannot be recognized, indicating that the situation is dangerous.
  • FIG. 4 is a diagram showing an example of cameras C1 to C4 mounted to photograph the surroundings of vehicle V1 and photographing ranges A1 to A4 according to the first embodiment.
  • the camera C1 photographs the photographing range A1, the camera C2 photographs the photographing range A2, the camera C3 photographs the photographing range A3, and the camera C4 photographs the photographing range A4.
  • the photographing ranges A1 to A4 may partially overlap.
  • the number of cameras mounted on the vehicle V1 is not limited to four, but may be any number that can photograph the surroundings of the vehicle V1.
  • the installation positions of the cameras C1 to C4 are not limited to those shown in FIG. 4.
  • FIG. 5 is a diagram showing an example of a viewpoint area for each viewpoint position around the vehicle V1 according to the first embodiment.
  • a "viewpoint area” is a set of viewpoint positions M, that is, an area where pedestrians U and display terminals M1 are present.
  • Viewpoint area A11 is the left front area of vehicle V1
  • Viewpoint area A12 is the front area of vehicle V1
  • Viewpoint area A13 is the right front area of vehicle V1
  • Viewpoint area A14 is the right side area of vehicle V1
  • Viewpoint area A15 is the right front area of vehicle V1.
  • the right rear region and viewpoint region A16 indicate the rear region of the vehicle V1
  • the viewpoint region A17 indicates the left rear region of the vehicle V1
  • the viewpoint region A18 indicates the left region of the vehicle V1.
  • FIG. 6 is a diagram showing an example of the blind spot area D by the vehicle V1 for each viewpoint position according to the first embodiment.
  • the blind spot area D caused by the vehicle V1 is included in the photographing ranges A2 and A4.
  • the blind spot area D caused by the vehicle V1 is included in the photographing ranges A3, A2, and A4.
  • the viewpoint position M exists in the viewpoint area A13 the blind spot area D caused by the vehicle V1 is included in the photographing ranges A2 and A3.
  • the viewpoint position M exists in the viewpoint area A14, the blind spot area D caused by the vehicle V1 is included in the photographing ranges A1, A3, and A2.
  • the blind spot area D caused by the vehicle V1 is included in the photographing ranges A1 and A3.
  • the blind spot area D caused by the vehicle V1 is included in the photographing ranges A1, A3, and A4.
  • the viewpoint position M exists in the viewpoint area A17 the blind spot area D caused by the vehicle V1 is included in the photographing ranges A1 and A4.
  • the viewpoint position M exists in the viewpoint area A18 the blind spot area D caused by the vehicle V1 is included in the photographing ranges A1, A2, and A3.
  • FIG. 7 is a diagram for explaining the concept of a composite image for each viewpoint position according to the first embodiment.
  • the viewpoint-converted image I1 is an image obtained by converting the viewpoint of an image photographed by the camera C1.
  • the viewpoint-converted image I2 is an image obtained by converting the viewpoint of an image photographed by the camera C2.
  • the viewpoint-converted image I3 is an image obtained by converting the viewpoint of an image photographed by the camera C3.
  • the viewpoint-converted image I4 is an image obtained by converting the viewpoint of an image photographed by the camera C4.
  • the composite image CIMG1 is an image in which the viewpoint conversion image I4 is combined on the left and the viewpoint conversion image I2 is on the right.
  • the composite image CIMG2 is an image in which the viewpoint conversion image I4 is combined on the left, the viewpoint conversion image I2 is in the center, and the viewpoint conversion image I3 is on the right.
  • the composite image CIMG3 is an image in which the viewpoint-converted image I2 on the left and the viewpoint-converted image I3 on the right are combined.
  • the composite image CIMG4 is an image in which the viewpoint conversion image I2 is combined on the left, the viewpoint conversion image I3 is in the center, and the viewpoint conversion image I1 is on the right.
  • the composite image CIMG5 is an image in which the viewpoint converted image I3 is combined on the left and the viewpoint converted image I1 is combined on the right.
  • the composite image CIMG6 is an image in which the viewpoint conversion image I3 is combined on the left, the viewpoint conversion image I1 is in the center, and the viewpoint conversion image I4 is on the right.
  • the composite image CIMG7 is an image in which the viewpoint conversion image I1 is combined on the left and the viewpoint conversion image I4 is on the right.
  • the composite image CIMG8 is an image in which the viewpoint conversion image I1 is combined on the left, the viewpoint conversion image I4 is in the center, and the viewpoint conversion image I2 is on the right.
  • FIG. 8 is a block diagram showing the configuration of a vehicle V1 equipped with the image generation device 1 according to the first embodiment.
  • the vehicle V1 is a vehicle equipped with an image generation device 1, which is at least a part of an on-vehicle terminal, and cameras C1 to C4.
  • the camera C1 includes a photographing section C11 and a distance measuring section C12.
  • the photographing unit C11 periodically photographs a photographing range A1 outside the vehicle V1, and outputs the photographed images to the image generation device 1.
  • the imaging unit C11 is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) sensor, or the like.
  • the distance measuring section C12 measures the distance between the camera C1 and an object extracted by image analysis from the image taken by the photographing section C11. Note that the image analysis process may be performed by the image generation device 1.
  • the distance measuring unit C12 outputs the measured distance information to the image generation device 1.
  • the distance measuring unit C12 is, for example, a sensor that measures the distance between the camera C1 and a target object as depth. Therefore, the camera C1 may be a TOF (Time Of Flight) camera that includes a photographing section C11 and a distance measuring section C12.
  • Cameras C2, C3, and C4 have the same configuration as camera C1.
  • the camera C2 includes a photographing section C21 and a distance measuring section C22, and photographs a photographing range A2.
  • the camera C3 includes a photographing section C31 and a distance measuring section C32, and photographs a photographing range A3.
  • the camera C4 includes a photographing section C41 and a distance measuring section C42, and photographs a photographing range A4. Note that the images taken by each of the photographing units C11, C21, C31, and C41 are outside-vehicle images in which the outside of the vehicle, which is the surroundings of the vehicle V1, is photographed.
  • the image generation device 1 generates a composite image including a blind area D when viewed from the viewpoint position M of the display terminal M1 from each external vehicle image taken by a plurality of cameras at the same time, and displays the composite image on the display terminal M1.
  • This is an information processing device that sends information to.
  • the image generation device 1 is, for example, a microcomputer, an ECU (Electronic Control Unit), or the like.
  • the image generation device 1 includes an acquisition section 11, a control section 12, a reception section 13, and a transmission section 14.
  • the acquisition unit 11, the control unit 12, the reception unit 13, and the transmission unit 14 are, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a quantum processor (quantum computer controlled chip), RAM (Random Access Memory), ROM (Read-Only Memory), memory, or a combination thereof.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • quantum processor quantum computer controlled chip
  • RAM Random Access Memory
  • ROM Read-Only Memory
  • the acquisition unit 11 acquires the position information and traveling direction of the vehicle V1.
  • the acquisition unit 11 may have a GPS function and acquire current position information.
  • the acquisition unit 11 may include a gyro or the like and acquire the traveling direction of the vehicle V1.
  • the acquisition unit 11 may acquire the position information of the display terminal M1 received by the reception unit 13, that is, the viewpoint position M outside the vehicle.
  • the acquisition unit 11 acquires images outside the vehicle from the cameras C1 to C4.
  • the acquisition unit 11 may acquire an image outside the vehicle taken by a camera identified by the identification unit 121, which will be described later.
  • the acquisition unit 11 acquires distance information of objects included in each of the images outside the vehicle from the cameras C1 to C4.
  • the acquisition unit 11 may acquire distance information of an object included in an image outside the vehicle taken by a camera identified by the identification unit 121, which will be described later.
  • the acquisition unit 11 may store the acquired position information and traveling direction of the vehicle V1, viewpoint position M, image outside the vehicle, and distance information in a memory or the like.
  • the receiving unit 13 receives a composite image request including position information of the display terminal M1 from the display terminal M1 via the communication network N.
  • the receiving unit 13 may receive the composite image request from the display terminal M1 using a direct communication method such as short-range wireless communication.
  • the transmitter 14 transmits the composite image synthesized by the controller 12 to the display terminal M1 at the viewpoint position M via the communication network N.
  • the transmitter 14 may transmit the composite image to the display terminal M1 by short-range wireless communication or the like.
  • the transmitter 14 may send a response indicating that there is no object to the display terminal M1 that is the source of the composite image request. .
  • the transmitter 14 may transmit the composite image to the display terminal M1.
  • the control unit 12 includes a specifying unit 121 and a generating unit 122.
  • the identifying unit 121 identifies a blind spot area D that may be a blind spot for the vehicle V1 from the viewpoint position M, based on the viewpoint position M and the position and traveling direction of the vehicle V1. Further, the specifying unit 121 specifies a camera whose photographing range includes the blind spot area D. Further, it is preferable that the identifying unit 121 identifies the object included in the blind spot area D based on the distance information. Furthermore, if the distance between the object included in the blind spot area D and the vehicle V1 is within a threshold value, the identification unit 121 may identify the object as the object.
  • the identification unit 121 includes a relative position calculation unit 1211, a blind spot area calculation unit 1212, and a target object determination unit 1213.
  • the relative position calculation unit 1211 calculates the relative position between the viewpoint position M and the vehicle V1.
  • the blind spot area calculation unit 1212 calculates a blind spot area D due to the vehicle V1 when viewed from the viewpoint position M.
  • the object determination unit 1213 determines whether there is an object within the threshold distance within the blind spot area D based on the distance information.
  • the generation unit 122 generates a composite image at the viewpoint of the viewpoint position M based on the blind spot area D using a plurality of outside-vehicle images taken of the surroundings of the vehicle V1. Furthermore, the generation unit 122 may generate a composite image by adjusting the size of each external image so that the distance between the specified object and the vehicle V1 matches among the plurality of external images. For example, it is preferable that the generation unit 122 adjusts the size of each of the plurality of images outside the vehicle according to the distance of the object, and generates a composite image by aligning the boundary surfaces when combining the adjusted images. . Moreover, when the target object is shown in each of the plurality of vehicle exterior images, the generation unit 122 preferably adjusts the images so that the sizes of the target objects are the same.
  • the generation unit 122 includes a viewpoint conversion unit 1221 and an image synthesis unit 1222.
  • the viewpoint conversion unit 1221 performs viewpoint conversion of the image outside the vehicle including the blind spot area D.
  • the viewpoint conversion unit 1221 converts the two-dimensional coordinates of each point in the outside-vehicle image from the photographing viewpoint from the camera used for photographing so that the outside-vehicle image including the blind spot area D becomes an image viewed from the viewpoint position M. It is preferable to perform coordinate transformation from the coordinate system seen from the position to the coordinate system seen from the viewpoint position M. Note that any known technique can be used for the viewpoint conversion process.
  • the image synthesis unit 1222 synthesizes the viewpoint-converted images outside the vehicle to generate a composite image. Further, the image composition unit 1222 may add the area image of the vehicle V1 to the generated composite image in order to indicate that the composite image is an image of the blind spot area D of the vehicle V1.
  • the specifying unit 121 and the generating unit 122, or the relative position calculating unit 1211, the blind spot area calculating unit 1212, the object determining unit 1213, the viewpoint converting unit 1221, and the image synthesizing unit 1222 include a CPU, a GPU, an FPGA, a quantum processor, It consists of RAM, ROM, memory, or a combination thereof.
  • the image generation device 1 includes a storage device that stores an image generation program as a configuration not shown.
  • the storage device is a nonvolatile storage device such as a hard disk or flash memory.
  • the image generation program is a computer program in which image generation processing according to this embodiment is implemented.
  • the CPU and the like of the image generation device 1 read the image generation program from the storage device into the memory and execute it. Thereby, the CPU and the like function as the above-mentioned acquisition section 11, control section 12, reception section 13, and transmission section 14, as well as the identification section 121 and generation section 122. Further, the CPU and the like function as the above-mentioned relative position calculation section 1211, blind spot area calculation section 1212, object determination section 1213, viewpoint conversion section 1221, and image composition section 1222.
  • FIG. 9 is a flowchart showing the flow of image generation processing according to the first embodiment.
  • the control unit 12 determines whether a composite image request from the display terminal M1 has been received from the receiving unit 13 (S1). If the composite image request has not been received from the receiving unit 13, the control unit 12 waits for a predetermined time and performs step S1 again.
  • the control unit 12 acquires the position information and traveling direction of the vehicle V1 from the acquisition unit 11 (S2).
  • the acquisition unit 11 acquires the position information of the display terminal M1 from the control unit 12 (S3). Specifically, the acquisition unit 11 acquires the viewpoint position M of the display terminal M1 included in the composite image request received by the reception unit 13 from the control unit 12.
  • the relative position calculation unit 1211 calculates the relative position between the viewpoint position M and the vehicle V1 (S4).
  • the relative position calculation unit 1211 may calculate the coordinates of the viewpoint position M and the vehicle V1 in a predetermined coordinate system from the viewpoint position M and the position information of the vehicle V1.
  • the blind spot area calculation unit 1212 acquires the size from end to end of the area of the vehicle V1, that is, the length (S5).
  • the blind spot area calculation unit 1212 calculates the blind spot area D caused by the vehicle V1 when viewed from the viewpoint position M (S6).
  • the blind spot area calculation unit 1212 may specify the blind spot area D by extending a line segment from the viewpoint position M to both ends of the area of the vehicle V1.
  • the specifying unit 121 specifies a camera whose photographing range includes the blind spot area D (S7).
  • the specifying unit 121 specifies a camera corresponding to a shooting range included in the blind spot area D among the shooting ranges around the vehicle V1.
  • the specifying unit 121 specifies two or three of the cameras C1 to C4. This narrows down the images outside the vehicle to be combined, so the processing load in steps S8 and S9 can be reduced.
  • the acquisition unit 11 acquires a plurality of images outside the vehicle taken by the plurality of cameras identified in step S7, and distance information of the object in each image outside the vehicle (S8).
  • the object determination unit 1213 determines whether there is an object within the threshold distance within the blind spot area D based on the distance information (S9). Specifically, the target object determining unit 1213 determines whether there is a target object whose distance information acquired in step S8 is within the threshold distance. The reason for this is that even if an object is included in the blind spot area D, if it is far away, the danger to the pedestrian U at the viewpoint position M is low, and there is little need for the pedestrian U to recognize the object.
  • the distance from the vehicle V1 on the roadway R5 is relatively short, and when the pedestrian U on the sidewalk R2 side crosses the crosswalk R3, , it is important to be aware of this.
  • fixed objects such as objects and buildings on the sidewalk R1 in the blind spot area D are relatively far from the vehicle V1 on the roadway R5, and there is little need for the pedestrian U on the sidewalk R2 side to recognize them.
  • the viewpoint conversion unit 1221 performs viewpoint conversion of the outside-vehicle image including the blind spot area D (S10). Specifically, first, the viewpoint conversion unit 1221 determines the width of the composite image from the relative positional relationship between the viewpoint position M, the vehicle V1, and the blind spot area D.
  • FIG. 10 is a diagram for explaining the concept of determining the width of a composite image according to the first embodiment.
  • the viewpoint conversion unit 1221 reads the distance from the viewpoint position M from the storage unit, and converts the distance from the viewpoint position M to the above read “viewpoint position M
  • P3 be the point at which the distance from The viewpoint conversion unit 1221 sets P3 as the center of the drawing width of the virtual projection surface S.
  • the viewpoint conversion unit 1221 sets the virtual projection plane S to be perpendicular to the line segment from the viewpoint position M to the center P3 of the drawing width. Then, the viewpoint converting unit 1221 sets a line segment of the blind spot area D that overlaps with the virtual projection plane S as a blind spot area width W2, and sets a non-blind spot area width W31 and a non-blind spot area width W31 of equal width on both sides of the blind spot area width W2 from the center P3 of the drawing width. Set W32. Note that the non-blind area widths W31 and W32 do not need to be equal widths.
  • the viewpoint conversion unit 1221 determines the total value of the non-blind area widths W31 and W32 and the blind area width W2 on the virtual projection plane S as the width of the composite image, that is, the total drawing width W1.
  • the non-blind spot area widths W31 and W32 are margin widths that allow the area around the vehicle V1 to be sufficiently reflected when viewed from the viewpoint position M in the direction of the vehicle V1.
  • the viewpoint conversion unit 1221 sets the intersection of the virtual projection plane S and the extension of the line segment between the viewpoint position M and the corner P2 of the vehicle V1 as an image synthesis boundary point P4.
  • the image synthesis boundary point P4 is a boundary point between overlapping portions of adjacent images outside the vehicle. The method for determining the image synthesis boundary point P4 is not limited to this, and other methods may be used.
  • FIG. 11 is a diagram illustrating an example of the positional relationship among the viewpoint position M, vehicle V1, blind spot area D, and other vehicle V2 when generating a composite image according to the first embodiment.
  • an example of the above-mentioned viewpoint area A17 is shown.
  • the photographing ranges A1 and A4 include a blind spot area D, and that the photographing range A4 includes another vehicle V2 as an object. That is, it is assumed that the other vehicle V2 is reflected in the image outside the vehicle taken by the camera C4. Further, it is assumed that the distance from the vehicle V1 to the other vehicle V2 is within a threshold distance.
  • the viewpoint conversion unit 1221 determines the plane where the distance P3 on the extension line of the line segment between the viewpoint position M and the center P1 of the vehicle V1 is the closest as the virtual projection plane S, and The viewpoint of the image outside the vehicle is converted toward the virtual projection surface S. Specifically, the viewpoint conversion unit 1221 divides each of the outside-vehicle images in the photographing ranges A1 and A4 by an extension line of the line segment between the viewpoint position M and the image synthesis boundary point P4. That is, the viewpoint conversion unit 1221 leaves the divided left side of the image outside the vehicle in the photographing range A1, and leaves the divided right side of the image outside the vehicle in the photographing range A4.
  • the viewpoint conversion unit 1221 performs viewpoint conversion by performing coordinate conversion or the like toward the virtual projection plane S on the remaining sides of the outside-vehicle images in the photographing ranges A1 and A4.
  • the viewpoint conversion unit 1221 preferably performs viewpoint conversion by setting the viewpoint position M as the position of the virtual camera and the height as the height of the pedestrian U's line of sight.
  • the image synthesis unit 1222 synthesizes the viewpoint-converted images outside the vehicle to generate a composite image (S11). Specifically, the image composition unit 1222 composes the images after viewpoint conversion of the outside-vehicle images in the photographing ranges A1 and A4, using the extension line of the line segment between the viewpoint position M and the image composition boundary point P4 as the boundary. Furthermore, the image composition unit 1222 adds the region image of the vehicle V1 to the generated composite image (S12). Specifically, the image composition unit 1222 superimposes the region image of the vehicle V1 on the composite image generated in step S11.
  • the area image of the vehicle V1 is preferably a CG (Computer Graphics) image or a polygon image of the vehicle V1.
  • the transmitter 14 transmits the composite image obtained in steps S11 and S12 to the display terminal M1 at the viewpoint position M via the communication network N (S13). Thereby, the display terminal M1 displays the composite image received from the image generation device 1 on the screen.
  • the transmitter 14 transmits a response indicating that there is no target to the display terminal M1 (S14). Thereby, the display terminal M1 displays the response received from the image generation device 1 on the screen.
  • FIG. 12 is a diagram showing an example of the composite image CIMG7 according to the first embodiment.
  • the composite image CIMG7 is an image obtained by combining the viewpoint-converted image I1 and the viewpoint-converted image I4.
  • the viewpoint conversion image I4 includes an image in which the viewpoint of the other vehicle V2 is converted to the virtual projection plane S. Then, a region image of the vehicle V1 is additionally synthesized across the viewpoint-converted image I1 and the viewpoint-converted image I4.
  • the composite image in step S11 is an image outside the vehicle taken by a camera mounted on the vehicle V1, and therefore does not include the vehicle V1. On the other hand, from the viewpoint position M, the vehicle V1 is actually visible.
  • the viewpoint from the viewpoint position M can be brought closer.
  • the pedestrian U can recognize the presence of the other vehicle V2 at a position as if passing through the vehicle V1 via the screen of the display terminal M1.
  • the pedestrian U can see the other vehicle V2, which would otherwise be invisible due to the blind spot D caused by the vehicle V1, through the composite image CIMG7 displayed on the display terminal M1.
  • FIG. 13 is a diagram showing another example of the positional relationship among the viewpoint position M, the vehicle V1, the blind spot area D, and the other vehicle V2 at the time of generating the composite image according to the first embodiment.
  • another vehicle V2 is included across the photographing ranges A1 and A4.
  • the other vehicle V2 is shown in both the outside image taken by the camera C4 and the outside image taken by the camera C1.
  • the projection plane S is determined so that the other vehicle V2 overlaps at the image synthesis boundary point P4.
  • FIG. 14 is a diagram showing another example of the composite image CIMG7a according to the first embodiment.
  • the composite image CIMG7a is a composite image in which the viewpoint of the other vehicle V2 is transformed to the virtual projection plane S, spanning the viewpoint-converted image I1 and the viewpoint-converted image I4. Further, similarly to FIG. 12, a region image of the vehicle V1 is additionally synthesized across the viewpoint-converted image I1 and the viewpoint-converted image I4.
  • FIG. 15 is a diagram showing an example of a case where the display terminal M2 is installed on a sidewalk according to the second embodiment.
  • the display terminal M2 is an information processing device that is installed on the sidewalk R2, has a wireless communication function, and includes at least a display screen. Similar to the display terminal M1 described above, the display terminal M2 responds to the operation of the pedestrian U or periodically displays the vehicle V1 within a certain range via the communication network N or by short-range wireless communication. A composite image request including location information is sent to.
  • the position information of the display terminal M2 is a fixed position on the sidewalk R2, and may be a value preset in a storage device within the display terminal M2.
  • the display terminal M2 receives the composite image including the object present in the blind spot area D of the vehicle V1 from the in-vehicle terminal mounted on the vehicle V1 via the communication network N, and displays the composite image on the display screen.
  • the display terminal M2 is a digital signage device equipped with a liquid crystal display or the like.
  • the above-mentioned viewpoint position M is the installation position of the display terminal M2.
  • the viewpoint position M does not need to be a moving object, and may be a fixed position on the sidewalk R2. In this way, in the second embodiment as well, as in the first embodiment described above, it is possible to easily recognize the situation in the blind spot area due to the presence of a moving object from a specific viewpoint position.
  • the present invention is not limited to this.
  • the present disclosure can also realize arbitrary processing by causing the CPU to execute a computer program.
  • the program includes instructions (or software code) that, when loaded into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored on a non-transitory computer readable medium or a tangible storage medium.
  • computer readable or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD - Including ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or a communication medium.
  • transitory computer-readable or communication media includes electrical, optical, acoustic, or other forms of propagating signals.
  • the present disclosure is applicable to in-vehicle terminals and has industrial applicability.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

特定の視点位置から移動体の存在による死角領域の状況を認識し易くすること。画像生成装置（１）は、車外の視点位置（Ｍ）を取得する取得部（１１）と、視点位置（Ｍ）と車両（Ｖ１）の位置及び進行方向から、視点位置（Ｍ）から車両（Ｖ１）により死角となり得る死角領域（Ｄ）を特定する特定部（１２１）と、車両（Ｖ１）の周囲が撮影された複数の車外画像を用いて、死角領域（Ｄ）に基づき視点位置（Ｍ）の視点での合成画像を生成する生成部（１２２）と、視点位置（Ｍ）の表示端末（Ｍ１）へ合成画像を送信する送信部（１４）と、を備える。

Description

画像生成装置、方法及びプログラム
　本開示は、画像生成装置、方法及びプログラムに関する。
　特許文献１には、運転者等の移動体の搭乗者に対し、死角領域の対象物を迅速に認識させる技術が開示されている。特許文献１に係る技術は、移動体の外部機器から、移動体の死角領域に存在する対象物情報を取得し、移動体の外部の視界に対象物を示す重畳画像を生成するものである。
　特許文献２には、移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置に関する技術が開示されている。特許文献２にかかる情報報知装置は、逆方向移動体から、該逆方向移動体の周囲に存在する対象物の検出結果情報を取得し、検出結果情報に対応する対象物情報を移動体の搭乗者へ報知する。
特開２０１８－１４７０３５号公報 特開２０１８－１４７０５５号公報
　しかしながら、第１の移動体の死角領域の対象物の存在は、第１の移動体の搭乗者だけでなく、第１の移動体の周辺にいる第２の移動体も認識する必要がある。尚、上述した特許文献１及び２にかかる技術は、第２の移動体に対して報知するものではない。
　本開示の目的は、上述した課題を鑑み、特定の視点位置から死角領域の状況を認識し易くするための画像生成装置、方法及びプログラムを提供することにある。
　本開示にかかる画像生成装置は、車外の視点位置を取得する取得部と、前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定部と、前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成部と、を備える。
　本開示にかかる画像生成方法は、コンピュータが、車外の視点位置を取得し、前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定し、前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する。
　本開示にかかる画像生成プログラムは、車外の視点位置を取得する取得処理と、前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定処理と、前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成処理と、をコンピュータに実行させる。
　本開示により、特定の視点位置から死角領域の状況を認識し易くするための画像生成装置、方法及びプログラムを提供することができる。
本実施形態１にかかる死角映像提供システムの全体構成を示す概要図である。 本実施形態１にかかる歩道上の移動体の視点位置から車道を見た場合の視界の例を示す図である。 本実施形態１にかかる歩道上の移動体の視点位置Ｍから車道を見た場合の車両Ｖ１による死角領域Ｄの上面図である。 本実施形態１にかかる車両の周囲を撮影するために搭載されたカメラと撮影範囲の例を示す図である。 本実施形態１にかかる車両Ｖ１の周囲における視点位置Ｍごとの視点領域の例を示す図である。 本実施形態１にかかる視点位置ごとの車両Ｖ１による死角領域Ｄの例を示す図である。 本実施形態１にかかる視点位置ごとの合成画像の概念を説明するための図である。 本実施形態１にかかる画像生成装置を搭載した車両Ｖ１の構成を示すブロック図である。 本実施形態１にかかる画像生成処理の流れを示すフローチャートである。 本実施形態１にかかる合成画像の幅の決定の概念を説明するための図である。 本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の例を示す図である。 本実施形態１にかかる合成画像の例を示す図である。 本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の他の例を示す図である。 本実施形態１にかかる合成画像の他の例を示す図である。 本実施形態２にかかる歩道上に表示端末を設置した場合の例を示す図である。
　以下では、本開示の具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
＜実施形態１＞
　図１は、本実施形態１にかかる死角映像提供システム１０００の全体構成を示す概要図である。死角映像提供システム１０００は、歩行者Ｕが所持する表示端末Ｍ１と車両Ｖ１に搭載された車載端末とが通信網Ｎを介して通信可能に接続されている。通信網Ｎは、無線通信回線網又は携帯電話回線網等を含み、インターネットを含んでも良い。尚、車両Ｖ１とは、本実施形態１にかかる画像生成装置を含む車載端末を搭載した移動体を指すものであり、歩行者Ｕ又は表示端末Ｍ１の視点位置からの死角領域を生じ得る車両であるものとする。
　表示端末Ｍ１は、移動体の一例であり、無線通信機能を有し、表示画面を少なくとも備える情報処理装置である。表示端末Ｍ１は、歩行者Ｕの操作に応じて、又は、定期的に、通信網Ｎを介して、一定範囲内の車両Ｖ１に対して現在の位置情報を含む合成画像要求を送信する。尚、表示端末Ｍ１は、近距離無線通信等により合成画像要求を所定範囲内の車両Ｖ１等へ送信してもよい。ここで、表示端末Ｍ１は、定期的にＧＰＳ（Global Positioning System）機能等により現在の位置情報を取得するものとする。表示端末Ｍ１の位置情報は、後述する視点位置Ｍに相当する。尚、視点位置Ｍは、歩行者Ｕの目の高さの位置情報を含んだ３次元座標情報であってもよい。そして、表示端末Ｍ１は、車両Ｖ１に搭載された車載端末から通信網Ｎを介して、車両Ｖ１の死角領域に存在する対象物を含む合成画像を受信し、表示画面に合成画像を表示する。例えば、表示端末Ｍ１は、スマートフォン、携帯電話端末、タブレット端末等の移動通信装置である。また、対象物とは、画像認識技術等により予め設定した形状にマッチングする物である。また、対象物は、歩行者Ｕへの注意喚起が必要な候補ともいえる。例えば、対象物は、車やバイク等の移動体であるが、これらに限定されない。
　図２は、本実施形態１にかかる歩道上の移動体の視点位置から車道を見た場合の視界の例を示す図である。歩行者Ｕは、表示端末Ｍ１を携帯して歩道Ｒ２におり、信号機のない横断歩道Ｒ３を渡る前とする。車両Ｖ１と他車両Ｖ３は、車道Ｒ５上で走行又は駐停車しているものとする。そのため、歩行者Ｕの視界では、奥側の車道Ｒ４上の移動体が認識し難いことを示す。
　図３は、本実施形態１にかかる歩道上の移動体の視点位置Ｍから車道を見た場合の車両Ｖ１による死角領域Ｄの上面図である。図３は、上述した図２を上空から示した図である。視点位置Ｍは、歩行者Ｕ及び表示端末Ｍ１の位置を示す。他車両Ｖ２は、車道Ｒ４上で走行又は駐停車しているものとする。そして、他車両Ｖ２は、視点位置Ｍから見た場合の車両Ｖ１の死角領域Ｄに存在する。そのため、視点位置Ｍにおいて歩行者Ｕが車両Ｖ１方向を見た場合には、歩行者Ｕには他車両Ｖ２が見えないことを示す。よって、歩行者Ｕは横断歩道Ｒ３を渡ろうとしているが、死角領域Ｄにいる他車両Ｖ２が認識できないため、危険な状況であることを示す。
　図４は、本実施形態１にかかる車両Ｖ１の周囲を撮影するために搭載されたカメラＣ１からＣ４と撮影範囲Ａ１からＡ４の例を示す図である。カメラＣ１は撮影範囲Ａ１を撮影し、カメラＣ２は撮影範囲Ａ２を撮影し、カメラＣ３は撮影範囲Ａ３を撮影し、カメラＣ４は撮影範囲Ａ４を撮影する。尚、撮影範囲Ａ１からＡ４は、一部が重なっても良い。尚、車両Ｖ１に搭載されるカメラの台数は４台に限定されず、車両Ｖ１の周囲を撮影することができる台数であればよい。また、カメラＣ１からＣ４の設置位置も図４に限定されない。
　図５は、本実施形態１にかかる車両Ｖ１の周囲における視点位置ごとの視点領域の例を示す図である。「視点領域」とは、視点位置Ｍの集合、つまり歩行者Ｕや表示端末Ｍ１が存在する領域である。視点領域Ａ１１は車両Ｖ１の左前方領域、視点領域Ａ１２は車両Ｖ１の前方領域、視点領域Ａ１３は車両Ｖ１の右前方領域、視点領域Ａ１４は車両Ｖ１の右方領域、視点領域Ａ１５は車両Ｖ１の右後方領域、視点領域Ａ１６は車両Ｖ１の後方領域、視点領域Ａ１７は車両Ｖ１の左後方領域、視点領域Ａ１８は車両Ｖ１の左方領域を示す。
　図６は、本実施形態１にかかる視点位置ごとの車両Ｖ１による死角領域Ｄの例を示す図である。視点領域Ａ１１に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ２及びＡ４に含まれる。視点領域Ａ１２に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ３、Ａ２及びＡ４に含まれる。視点領域Ａ１３に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ２及びＡ３に含まれる。視点領域Ａ１４に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１、Ａ３及びＡ２に含まれる。視点領域Ａ１５に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１及びＡ３に含まれる。視点領域Ａ１６に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１、Ａ３及びＡ４に含まれる。視点領域Ａ１７に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１及びＡ４に含まれる。視点領域Ａ１８に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１、Ａ２及びＡ３に含まれる。
　図７は、本実施形態１にかかる視点位置ごとの合成画像の概念を説明するための図である。まず、視点変換画像Ｉ１は、カメラＣ１で撮影した画像を視点変換した画像である。視点変換画像Ｉ２は、カメラＣ２で撮影した画像を視点変換した画像である。視点変換画像Ｉ３は、カメラＣ３で撮影した画像を視点変換した画像である。視点変換画像Ｉ４は、カメラＣ４で撮影した画像を視点変換した画像である。そして、視点領域Ａ１１に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ１は、左に視点変換画像Ｉ４、右に視点変換画像Ｉ２が合成された画像となる。視点領域Ａ１２に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ２は、左に視点変換画像Ｉ４、中央に視点変換画像Ｉ２、右に視点変換画像Ｉ３が合成された画像となる。視点領域Ａ１３に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ３は、左に視点変換画像Ｉ２、右に視点変換画像Ｉ３が合成された画像となる。視点領域Ａ１４に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ４は、左に視点変換画像Ｉ２、中央に視点変換画像Ｉ３、右に視点変換画像Ｉ１が合成された画像となる。視点領域Ａ１５に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ５は、左に視点変換画像Ｉ３、右に視点変換画像Ｉ１が合成された画像となる。視点領域Ａ１６に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ６は、左に視点変換画像Ｉ３、中央に視点変換画像Ｉ１、右に視点変換画像Ｉ４が合成された画像となる。視点領域Ａ１７に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ７は、左に視点変換画像Ｉ１、右に視点変換画像Ｉ４が合成された画像となる。視点領域Ａ１８に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ８は、左に視点変換画像Ｉ１、中央に視点変換画像Ｉ４、右に視点変換画像Ｉ２が合成された画像となる。
　図８は、本実施形態１にかかる画像生成装置１を搭載した車両Ｖ１の構成を示すブロック図である。車両Ｖ１は、車載端末の少なくとも一部である画像生成装置１と、カメラＣ１からＣ４を搭載した車両である。カメラＣ１は、撮影部Ｃ１１及び測距部Ｃ１２を備える。撮影部Ｃ１１は、車両Ｖ１の車外である撮影範囲Ａ１を定期的に撮影し、撮影した画像を画像生成装置１へ出力する。撮影部Ｃ１１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等である。測距部Ｃ１２は、撮影部Ｃ１１による撮影画像から画像解析により抽出された対象物とカメラＣ１との距離を測定する。尚、画像解析処理は、画像生成装置１により行われても良い。測距部Ｃ１２は、測定した距離情報を画像生成装置１へ出力する。測距部Ｃ１２は、例えば、カメラＣ１と対象物との距離を深度として測定するセンサである。そのため、カメラＣ１は、撮影部Ｃ１１と測距部Ｃ１２を併せたＴＯＦ（Time Of Flight）カメラを用いてもよい。カメラＣ２、Ｃ３及びＣ４は、カメラＣ１と同等の構成を有する。例えば、カメラＣ２は撮影部Ｃ２１及び測距部Ｃ２２を備え、撮影範囲Ａ２を撮影する。カメラＣ３は撮影部Ｃ３１及び測距部Ｃ３２を備え、撮影範囲Ａ３を撮影する。カメラＣ４は撮影部Ｃ４１及び測距部Ｃ４２を備え、撮影範囲Ａ４を撮影する。尚、撮影部Ｃ１１、Ｃ２１、Ｃ３１及びＣ４１のそれぞれにより撮影された画像は、車両Ｖ１の周囲である車外が撮影された車外画像である。
　画像生成装置１は、同じ時点において複数のカメラにより撮影された各車外画像から、表示端末Ｍ１の視点位置Ｍから見た場合の死角領域Ｄを含む合成画像を生成し、合成画像を表示端末Ｍ１へ送信する情報処理装置である。画像生成装置１は、例えば、マイクロコンピュータやＥＣＵ（Electronic Control Unit）等である。画像生成装置１は、取得部１１、制御部１２、受信部１３及び送信部１４を備える。尚、取得部１１、制御部１２、受信部１３及び送信部１４は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、量子プロセッサ（量子コンピュータ制御チップ）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、メモリ又はこれらの組み合わせからなる。
　取得部１１は、車両Ｖ１の位置情報及び進行方向を取得する。例えば、取得部１１は、ＧＰＳ機能を有し、現在の位置情報を取得してもよい。また、取得部１１は、ジャイロ等を含み、車両Ｖ１の進行方向を取得してもよい。また、取得部１１は、受信部１３により受信された表示端末Ｍ１の位置情報、つまり、車外の視点位置Ｍを取得してもよい。また、取得部１１は、カメラＣ１～Ｃ４から車外画像を取得する。または、取得部１１は、後述する特定部１２１により特定されたカメラが撮影した車外画像を取得してもよい。また、取得部１１は、カメラＣ１～Ｃ４から車外画像のそれぞれの中に含まれる対象物の距離情報を取得する。または、取得部１１は、後述する特定部１２１により特定されたカメラが撮影した車外画像の中に含まれる対象物の距離情報を取得してもよい。取得部１１は、取得した車両Ｖ１の位置情報及び進行方向、視点位置Ｍ、車外画像及び距離情報を、メモリ等に保存してもよい。
　受信部１３は、表示端末Ｍ１から通信網Ｎを介して、表示端末Ｍ１の位置情報を含む合成画像要求を受信する。尚、受信部１３は、表示端末Ｍ１から近距離無線通信等の直接的な通信方式により合成画像要求を受信してもよい。送信部１４は、制御部１２により合成された合成画像を、通信網Ｎを介して視点位置Ｍの表示端末Ｍ１へ送信する。尚、送信部１４は、合成画像を、近距離無線通信等により表示端末Ｍ１へ送信してもよい。尚、送信部１４は、死角領域Ｄ内に閾値距離以内の対象物がないと判定された場合、対象物無しの応答を、合成画像要求の要求元である表示端末Ｍ１へ送信してもよい。言い換えると、送信部１４は、死角領域Ｄ内に閾値距離以内の対象物があると判定された場合、合成画像を表示端末Ｍ１へ送信してもよい。
　制御部１２は、特定部１２１及び生成部１２２を備える。特定部１２１は、視点位置Ｍと車両Ｖ１の位置及び進行方向から、視点位置Ｍから車両Ｖ１により死角となり得る死角領域Ｄを特定する。また、特定部１２１は、死角領域Ｄを撮影範囲に含むカメラを特定する。さらに、特定部１２１は、距離情報に基づいて、死角領域Ｄに含まれる対象物を特定することが望ましい。さらに、特定部１２１は、死角領域Ｄに含まれる対象物と車両Ｖ１との距離が閾値以内の場合、対象物として特定するとよい。
　特定部１２１は、相対位置算出部１２１１、死角領域算出部１２１２及び対象物判定部１２１３を備える。相対位置算出部１２１１は、視点位置Ｍと車両Ｖ１の相対位置を算出する。死角領域算出部１２１２は、視点位置Ｍから見た場合の車両Ｖ１による死角領域Ｄを算出する。対象物判定部１２１３は、距離情報に基づいて、死角領域Ｄ内に閾値距離以内の対象物があるか否かを判定する。
　生成部１２２は、車両Ｖ１の周囲が撮影された複数の車外画像を用いて、死角領域Ｄに基づき視点位置Ｍの視点での合成画像を生成する。さらに、生成部１２２は、特定された対象物と車両Ｖ１との距離を、複数の車外画像の間で一致させるように各車外画像の大きさを調整して、合成画像を生成するとよい。例えば、生成部１２２は、対象物の距離に合わせて複数の車外画像のそれぞれの大きさを調整し、調整後の各画像を合成する際に境界面を合わせるようにして合成画像を生成するとよい。また、生成部１２２は、対象物が複数の車外画像のそれぞれに映っている場合は、対象物の大きさが同じ大きさとなるように画像の調整をするとよい。
　生成部１２２は、視点変換部１２２１及び画像合成部１２２２を備える。視点変換部１２２１は、死角領域Ｄを含む車外画像の視点変換を行う。例えば、視点変換部１２２１は、死角領域Ｄを含む車外画像を、視点位置Ｍから見た画像となるように、車外画像内の各点の二次元座標を、撮影に用いたカメラからの撮影視点位置から見た座標系から視点位置Ｍから見た座標系へ座標変換するとよい。尚、視点変換処理は、任意の公知技術を用いることができる。画像合成部１２２２は、視点変換した各車外画像を合成して合成画像を生成する。また、画像合成部１２２２は、合成画像が車両Ｖ１の死角領域Ｄの画像であることを示すために、生成した合成画像に、車両Ｖ１の領域画像を追加するとよい。
　尚、特定部１２１及び生成部１２２、又は、相対位置算出部１２１１、死角領域算出部１２１２、対象物判定部１２１３、視点変換部１２２１及び画像合成部１２２２は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、量子プロセッサ、ＲＡＭ、ＲＯＭ、メモリ又はこれらの組み合わせからなる。
　尚、画像生成装置１は、図示しない構成として、画像生成プログラムを記憶する記憶装置を備える。記憶装置は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。画像生成プログラムは、本実施形態にかかる画像生成処理が実装されたコンピュータプログラムである。画像生成装置１のＣＰＵ等は、記憶装置からメモリへ画像生成プログラムを読み込ませて実行する。これにより、ＣＰＵ等は、上述した取得部１１、制御部１２、受信部１３及び送信部１４、並びに、特定部１２１及び生成部１２２として機能する。また、ＣＰＵ等は、上述した相対位置算出部１２１１、死角領域算出部１２１２、対象物判定部１２１３、視点変換部１２２１及び画像合成部１２２２として機能する。
　図９は、本実施形態１にかかる画像生成処理の流れを示すフローチャートである。まず、制御部１２は、受信部１３から表示端末Ｍ１からの合成画像要求を受信しているか否かを判定する（Ｓ１）。受信部１３から合成画像要求を受信していない場合、制御部１２は、所定時間待機し、再度、ステップＳ１を行う。受信部１３から合成画像要求を受信した場合、制御部１２は、取得部１１から車両Ｖ１の位置情報及び進行方向を取得する（Ｓ２）。そして、取得部１１は、制御部１２から表示端末Ｍ１の位置情報を取得する（Ｓ３）。具体的には、取得部１１は、制御部１２から受信部１３により受信された合成画像要求に含まれる表示端末Ｍ１の視点位置Ｍを取得する。
　続いて、相対位置算出部１２１１は、視点位置Ｍと車両Ｖ１の相対位置を算出する（Ｓ４）。例えば、相対位置算出部１２１１は、視点位置Ｍと車両Ｖ１の位置情報とから所定の座標系における視点位置Ｍと車両Ｖ１との座標を算出してもよい。死角領域算出部１２１２は、車両Ｖ１の領域の端から端までの大きさ、つまり長さを取得する（Ｓ５）。死角領域算出部１２１２は、視点位置Ｍから見た場合の車両Ｖ１による死角領域Ｄを算出する（Ｓ６）。例えば、死角領域算出部１２１２は、視点位置Ｍから車両Ｖ１の領域の両端までの線分を延長して死角領域Ｄを特定してもよい。
　そして、特定部１２１は、死角領域Ｄを撮影範囲に含むカメラを特定する（Ｓ７）。例えば、特定部１２１は、車両Ｖ１の周囲の撮影範囲のうち死角領域Ｄに含まれる撮影範囲に対応するカメラを特定する。この例では、特定部１２１は、カメラＣ１からＣ４のうち２，３台を特定する。これにより、合成対象の車外画像が絞り込まれるため、ステップＳ８及びＳ９の処理負荷を軽減できる。そして、取得部１１は、ステップＳ７により特定された複数のカメラが撮影した複数の車外画像と、各車外画像内の対象物の距離情報とを取得する（Ｓ８）。
　そして、対象物判定部１２１３は、距離情報に基づいて、死角領域Ｄ内に閾値距離以内の対象物があるか否かを判定する（Ｓ９）。具体的には、対象物判定部１２１３は、ステップＳ８で取得した距離情報が閾値距離以内である対象物があるか否かを判定する。その理由は、死角領域Ｄ内に対象物が含まれていたとしても、遠方であれば視点位置Ｍの歩行者Ｕには危険性が低く、認識させる必要性が低いといえるためである。例えば、死角領域Ｄのうち車道Ｒ４上の移動体である他車両Ｖ２については、車道Ｒ５上の車両Ｖ１との距離が比較的近く、歩道Ｒ２側の歩行者Ｕが横断歩道Ｒ３を渡る際に、認識しておく必要が高い。一方、死角領域Ｄのうち歩道Ｒ１上の物体や建物等の固定物については、車道Ｒ５上の車両Ｖ１との距離が比較的遠く、歩道Ｒ２側の歩行者Ｕが認識する必要性が低い。
　ステップＳ９で死角領域Ｄ内に閾値距離以内の対象物がある場合、視点変換部１２２１は、死角領域Ｄを含む車外画像の視点変換を行う（Ｓ１０）。具体的には、まず、視点変換部１２２１は、視点位置Ｍ、車両Ｖ１及び死角領域Ｄの相対的な位置関係から、合成画像の幅を決定する。
　図１０は、本実施形態１にかかる合成画像の幅の決定の概念を説明するための図である。まず、視点位置Ｍから車両Ｖ１方向を見た場合の合成画像の仮想投影面Ｓの位置を定めるための「視点位置Ｍからの距離」が、予めＲＯＭ等の記憶部に設定されているものとする。この場合、視点変換部１２２１は、視点位置Ｍからの距離を記憶部から読み出し、視点位置Ｍと車両Ｖ１の中心Ｐ１との線分の延長線上で、視点位置Ｍから上記読み出した「視点位置Ｍからの距離」となる点をＰ３とする。視点変換部１２２１は、Ｐ３を仮想投影面Ｓの描画幅の中心とする。そして、視点変換部１２２１は、視点位置Ｍから描画幅の中心Ｐ３への線分と直角となるように仮想投影面Ｓを設定する。そして、視点変換部１２２１は、死角領域Ｄのうち仮想投影面Ｓと重なる線分を死角領域幅Ｗ２とし、描画幅の中心Ｐ３から死角領域幅Ｗ２の両側に等幅で非死角領域幅Ｗ３１及びＷ３２を設定する。尚、非死角領域幅Ｗ３１及びＷ３２は、等幅である必要はない。そして、視点変換部１２２１は、仮想投影面Ｓにおける非死角領域幅Ｗ３１及びＷ３２、並びに、死角領域幅Ｗ２の合計値を合成画像の幅、つまり全描画幅Ｗ１として決定する。ここで、非死角領域幅Ｗ３１及びＷ３２は、視点位置Ｍから車両Ｖ１の方向を見た場合に、車両Ｖ１の周囲が十分に映る範囲とするための余裕の幅である。全描画幅Ｗ１に非死角領域幅Ｗ３１及びＷ３２をより長く設定することで、合成画像の撮影範囲をより広角に取ることができる。また、視点変換部１２２１は、視点位置Ｍと車両Ｖ１の角Ｐ２との線分の延長線と仮想投影面Ｓとの交点を、画像合成境界点Ｐ４とする。画像合成境界点Ｐ４は、隣接する車外画像の重複する部分の境界点である。画像合成境界点Ｐ４の決定方法はこれに限らず、他の方法でもよい。
　図１１は、本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の例を示す図である。ここでは、上述した視点領域Ａ１７の例を示す。また、撮影範囲Ａ１とＡ４が死角領域Ｄを含み、撮影範囲Ａ４に対象物として他車両Ｖ２が含まれているものとする。つまり、カメラＣ４により撮影された車外画像には、他車両Ｖ２が映っているものとする。そして、車両Ｖ１から他車両Ｖ２の距離は、閾値距離以内であるものとする。このとき、視点変換部１２２１は、視点位置Ｍと車両Ｖ１の中心Ｐ１との線分の延長線上のＰ３の距離が最も近い距離となる面を仮想投影面Ｓと決定し、撮影範囲Ａ１及びＡ４の車外画像を仮想投影面Ｓに向けて視点変換する。具体的には、視点変換部１２２１は、撮影範囲Ａ１及びＡ４の車外画像のそれぞれを、視点位置Ｍと画像合成境界点Ｐ４の線分の延長線で分割する。つまり、視点変換部１２２１は、撮影範囲Ａ１の車外画像について分割された左側を残し、撮影範囲Ａ４の車外画像について分割された右側を残す。そして、視点変換部１２２１は、撮影範囲Ａ１及びＡ４の車外画像の残された側について、仮想投影面Ｓに向けて座標変換等を行うことにより視点変換する。尚、視点変換部１２２１は、視点位置Ｍを仮想カメラの位置、高さを歩行者Ｕの目線の高さとして、視点変換するとよい。
　その後、画像合成部１２２２は、視点変換した各車外画像を合成して合成画像を生成する（Ｓ１１）。具体的には、画像合成部１２２２は、視点位置Ｍと画像合成境界点Ｐ４の線分の延長線を境界として、撮影範囲Ａ１及びＡ４の車外画像の視点変換後の画像同士を合成する。さらに、画像合成部１２２２は、生成した合成画像に、車両Ｖ１の領域画像を追加する（Ｓ１２）。具体的には、画像合成部１２２２は、ステップＳ１１で生成した合成画像に、車両Ｖ１の領域画像を重畳する。ここで、車両Ｖ１の領域画像は、車両Ｖ１のＣＧ（Computer Graphics）の画像やポリゴン画像であるとよい。また、領域画像は、破線や透過率の高い画像であるものとする。そして、送信部１４は、ステップＳ１１及びＳ１２による合成画像を、通信網Ｎを介して視点位置Ｍの表示端末Ｍ１へ送信する（Ｓ１３）。これにより、表示端末Ｍ１は、画像生成装置１から受信した合成画像を画面に表示する。
　一方、ステップＳ９で死角領域Ｄ内に閾値距離以内の対象物がない場合、送信部１４は、対象物無しの応答を、表示端末Ｍ１へ送信する（Ｓ１４）。これにより、表示端末Ｍ１は、画像生成装置１から受信した応答を画面に表示する。
　図１２は、本実施形態１にかかる合成画像ＣＩＭＧ７の例を示す図である。合成画像ＣＩＭＧ７は、上述したとおり、視点変換画像Ｉ１と視点変換画像Ｉ４が合成された画像である。視点変換画像Ｉ４には、他車両Ｖ２が仮想投影面Ｓに視点変換された画像が含まれる。そして、視点変換画像Ｉ１と視点変換画像Ｉ４に跨って、車両Ｖ１の領域画像が追加で合成されている。ステップＳ１１の合成画像は、車両Ｖ１に搭載されたカメラにより撮影された車外画像であるため、車両Ｖ１が映っていない。一方、視点位置Ｍからは、実際には、車両Ｖ１が見える。そのため、ステップＳ１２により車両Ｖ１の領域画像を追加することで、視点位置Ｍからの視点に近付けることができる。これにより、歩行者Ｕは、表示端末Ｍ１の画面を介して、車両Ｖ１を透過したかのような位置に他車両Ｖ２の存在を認識することができる。つまり、歩行者Ｕは、本来であれば車両Ｖ１による死角領域Ｄのため見えない他車両Ｖ２を、表示端末Ｍ１に表示された合成画像ＣＩＭＧ７により見ることができる。
　図１３は、本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の他の例を示す図である。この例では、上述した図１１と比べて他車両Ｖ２が撮影範囲Ａ１とＡ４に跨って含まれているものとする。つまり、カメラＣ４により撮影された車外画像とカメラＣ１により撮影された車外画像との両方に、他車両Ｖ２が映っているものとする。このとき、他車両Ｖ２が画像合成境界点Ｐ４で重なるように投影面Ｓを決定する。
　図１４は、本実施形態１にかかる合成画像ＣＩＭＧ７ａの他の例を示す図である。合成画像ＣＩＭＧ７ａは、視点変換画像Ｉ１と視点変換画像Ｉ４に跨って、他車両Ｖ２が仮想投影面Ｓに視点変換された画像が合成されている。また、図１２と同様に、視点変換画像Ｉ１と視点変換画像Ｉ４に跨って、車両Ｖ１の領域画像が追加で合成されている。
　このように、本実施形態１により、特定の視点位置から移動体の存在による死角領域の状況を認識し易くすることができる。
＜実施形態２＞
　図１５は、本実施形態２にかかる歩道上に表示端末Ｍ２を設置した場合の例を示す図である。表示端末Ｍ２は、歩道Ｒ２上に設置され、無線通信機能を有し、表示画面を少なくとも備える情報処理装置である。表示端末Ｍ２は、上述した表示端末Ｍ１と同様に、歩行者Ｕの操作に応じて、又は、定期的に、通信網Ｎを介して、又は、近距離無線通信等により一定範囲内の車両Ｖ１に対して位置情報を含む合成画像要求を送信する。尚、表示端末Ｍ２の位置情報は、歩道Ｒ２上の固定位置であり、表示端末Ｍ２内の記憶装置に予め設定された値であってもよい。そして、表示端末Ｍ２は、車両Ｖ１に搭載された車載端末から通信網Ｎを介して、車両Ｖ１の死角領域Ｄに存在する対象物を含む合成画像を受信し、表示画面に合成画像を表示する。例えば、表示端末Ｍ２は、液晶ディスプレイ等を備えたデジタルサイネージ装置である。また、上述した視点位置Ｍは、表示端末Ｍ２の設置位置となる。つまり、視点位置Ｍは、移動体である必要はなく、歩道Ｒ２上に固定された位置であってもよい。このように、本実施形態２によっても、上述した実施形態１と同様に、特定の視点位置から移動体の存在による死角領域の状況を認識し易くすることができる。
　以上、本開示を上記実施の形態に即して説明したが、本開示は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の上記実施の形態の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
　尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　この出願は、２０２２年４月１日に出願された日本出願特願２０２２－０６１８５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本開示は、車載端末に適用可能であり、産業上の利用可能性を有する。

Claims (5)

  1. 　車外の視点位置を取得する取得部と、
    　前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定部と、
    　前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成部と、
    　を備える画像生成装置。
  2. 　前記取得部は、前記複数の車外画像に含まれる対象物の距離情報を取得し、
    　前記特定部は、前記距離情報に基づいて、前記死角領域に含まれる対象物を特定し、
    　前記生成部は、前記特定された対象物と前記車両との距離を前記複数の車外画像の間で合わせるように各車外画像の大きさを調整して前記合成画像を生成する
    　請求項１に記載の画像生成装置。
  3. 　前記特定部は、前記死角領域に含まれる対象物と前記車両との距離が閾値以内の場合、前記対象物として特定する
    　請求項２に記載の画像生成装置。
  4. 　コンピュータが、
    　車外の視点位置を取得し、
    　前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定し、
    　前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する、
    　画像生成方法。
  5. 　車外の視点位置を取得する取得処理と、
    　前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定処理と、
    　前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成処理と、
    　をコンピュータに実行させる画像生成プログラム。
PCT/JP2023/009961 2022-04-01 2023-03-14 画像生成装置、方法及びプログラム WO2023189568A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-061850 2022-04-01
JP2022061850A JP2023151962A (ja) 2022-04-01 2022-04-01 画像生成装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023189568A1 true WO2023189568A1 (ja) 2023-10-05

Family

ID=88201524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009961 WO2023189568A1 (ja) 2022-04-01 2023-03-14 画像生成装置、方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2023151962A (ja)
WO (1) WO2023189568A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2021160499A (ja) * 2020-03-31 2021-10-11 株式会社デンソー リモート駐車システムおよびそれに用いられる駐車支援制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2021160499A (ja) * 2020-03-31 2021-10-11 株式会社デンソー リモート駐車システムおよびそれに用いられる駐車支援制御装置

Also Published As

Publication number Publication date
JP2023151962A (ja) 2023-10-16

Similar Documents

Publication Publication Date Title
CN109937568B (zh) 图像处理装置和图像处理方法
US10449900B2 (en) Video synthesis system, video synthesis device, and video synthesis method
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
JP6819680B2 (ja) 撮像制御装置および方法、並びに車両
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP5262976B2 (ja) 車載表示装置
JP4892965B2 (ja) 移動体判定システム、移動体判定方法、及びコンピュータプログラム
US10704957B2 (en) Imaging device and imaging method
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
JP6816769B2 (ja) 画像処理装置と画像処理方法
JP6816768B2 (ja) 画像処理装置と画像処理方法
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
JP6415382B2 (ja) 移動体用画像生成装置及びナビゲーション装置
JP2017069852A (ja) 情報表示装置及び情報表示方法
KR102378860B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP2020032866A (ja) 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム
JP2005005978A (ja) 周囲状況認識システム
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
CN109644241B (zh) 图像处理设备和图像处理方法
WO2023189568A1 (ja) 画像生成装置、方法及びプログラム
JP6977725B2 (ja) 画像処理装置および画像処理方法
JP2019128517A (ja) 撮像装置、及び、電子機器
WO2024111324A1 (ja) 表示制御装置
US20230091500A1 (en) Data processing apparatus, sending apparatus, and data processing method
JP2019009599A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779586

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)