WO2020004593A1 - データ生成装置およびデータ生成方法 - Google Patents

データ生成装置およびデータ生成方法 Download PDF

Info

Publication number
WO2020004593A1
WO2020004593A1 PCT/JP2019/025730 JP2019025730W WO2020004593A1 WO 2020004593 A1 WO2020004593 A1 WO 2020004593A1 JP 2019025730 W JP2019025730 W JP 2019025730W WO 2020004593 A1 WO2020004593 A1 WO 2020004593A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
view image
sensing data
image
Prior art date
Application number
PCT/JP2019/025730
Other languages
English (en)
French (fr)
Inventor
西 孝啓
遠間 正真
敏康 杉尾
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2020527662A priority Critical patent/JPWO2020004593A1/ja
Publication of WO2020004593A1 publication Critical patent/WO2020004593A1/ja
Priority to US17/126,919 priority patent/US11741717B2/en
Priority to US18/218,251 priority patent/US20230351763A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to a data generation device and a data generation method.
  • a data generation device that is, an image generation device
  • Such a top view image is an image in which the surrounding area including the vehicle is viewed from above the vehicle, and is used, for example, for parking assistance.
  • the present disclosure provides a data generation device capable of realizing further improvement.
  • a data generation device includes a circuit and a memory connected to the circuit, and the circuit operates in a plurality of ways from each of the plurality of moving objects. Acquiring sensing data configured based on each sensing result of the sensor, generating synthetic data by mapping the sensing data of each of the plurality of moving objects on a virtual space, and generating the synthetic data. And determining a position of the sensing data to be mapped on the virtual space according to at least a position in the real space of the moving object corresponding to the sensing data.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program. And any combination of recording media.
  • the present disclosure can provide a data generation device capable of realizing further improvement.
  • FIG. 1 is a block diagram illustrating a functional configuration of the data generation device according to the embodiment.
  • FIG. 2 is a block diagram illustrating a detailed functional configuration of the data generation device according to the embodiment.
  • FIG. 3 is a diagram showing an example of platooning by three vehicles in the embodiment.
  • FIG. 4 is a diagram illustrating an example in which a wide-area top-view image is generated from a top-view image of each vehicle in the embodiment.
  • FIG. 5A is a flowchart illustrating an overall processing operation of the data generation device according to the embodiment.
  • FIG. 5B is a flowchart illustrating a combining position determination process performed by the wide area combining unit according to the embodiment.
  • FIG. 6A is a block diagram illustrating an implementation example of a data generation device according to the embodiment.
  • FIG. 6B is a flowchart illustrating a processing operation of the data generation device including the circuit and the memory according to the embodiment.
  • FIG. 7 is an overall configuration diagram of a content supply system that realizes a content distribution service.
  • FIG. 8 is a diagram illustrating an example of an encoding structure at the time of scalable encoding.
  • FIG. 9 is a diagram illustrating an example of an encoding structure at the time of scalable encoding.
  • FIG. 10 is a diagram illustrating a display screen example of a web page.
  • FIG. 11 is a diagram illustrating an example of a display screen of a web page.
  • FIG. 12 is a diagram illustrating an example of a smartphone.
  • FIG. 13 is a block diagram illustrating a configuration example of a smartphone.
  • a data generation device includes a circuit and a memory connected to the circuit, and the circuit operates in a plurality of ways from each of the plurality of moving objects. Acquiring sensing data configured based on each sensing result of the sensor, generating synthetic data by mapping the sensing data of each of the plurality of moving objects on a virtual space, and generating the synthetic data. And determining a position of the sensing data to be mapped on the virtual space according to at least a position in the real space of the moving object corresponding to the sensing data.
  • the moving object is a vehicle
  • the sensing data is a top-view image
  • the combined data is a wide-area top-view image.
  • each of the plurality of sensors may be a camera, and the circuit may acquire an image as the sensing data.
  • the circuit extracts a feature point from an image that is the sensing data, and extracts the feature point and the extracted real point in the real space of the moving object corresponding to the sensing data.
  • the position of the sensing data may be determined according to the position.
  • the sensing data can be mapped more accurately.
  • the circuit further obtains, from each of the plurality of moving objects, position information indicating a position in the real space of the moving object at the time when the sensing data of the moving object is generated, and In the data generation, a position in the virtual space of the sensing data acquired from the moving object may be determined based on a position indicated by the position information of each of the plurality of moving objects.
  • the position information is obtained from each of the plurality of moving objects, so that the positions of the moving objects in the real space can be easily specified, and the processing load of determining the position of the sensing data can be reduced. Can be.
  • the circuit further obtains, from each of the plurality of moving objects, direction information indicating a traveling direction of the moving object at the time when the sensing data of the moving object is generated, and generates the combined data. Then, the direction in the virtual space of the sensing data acquired from the moving object may be determined based on the traveling direction indicated by the direction information of each of the plurality of moving objects.
  • the sensing data of the moving object in the virtual space is determined based on the direction information of the moving object, the sensing data can be mapped in an appropriate direction. As a result, sensing data can be mapped more accurately.
  • the circuit periodically acquires the sensing data and time information indicating a time when the sensing data is generated from each of the plurality of moving objects, and In the generation, for each of the plurality of moving objects, a time specified by the time information corresponding to the sensing data is within a predetermined period from the plurality of sensing data periodically acquired from the moving object. May be selected, and the selected specific sensing data may be mapped on the virtual space.
  • the plurality of sensing data mapped in the virtual space are specific sensing data generated within a predetermined period. Therefore, it is possible to appropriately synchronize a plurality of pieces of sensing data mapped in the virtual space.
  • the circuit may acquire the sensing data from each of the plurality of moving objects having a predetermined positional relationship.
  • a plurality of moving objects are running in a row in a row.
  • one of the plurality of moving objects can easily grasp the environment around the other moving object in front or behind.
  • each of the plurality of moving bodies is a vehicle, and in the predetermined positional relationship, the plurality of moving bodies move in a line, and the circuit is arranged in a line in the generation of the composite data.
  • the circuit may display an image represented by the composite data on a display.
  • the driver of the vehicle can be shown the combined data, and the driving of the vehicle can be appropriately supported.
  • FIG. 1 is a block diagram illustrating a functional configuration of a data generation device according to the present embodiment.
  • the vehicle 100 includes a first sensor 101, a second sensor 102, a third sensor 103, and a fourth sensor 104, a position / direction detection unit 110, and a data generation device 200.
  • Each of the first sensor 101, the second sensor 102, the third sensor 103, and the fourth sensor 104 is configured as, for example, a camera.
  • the first sensor 101 is a camera that photographs the front of the vehicle 100.
  • the second sensor 102 is a camera that photographs the left side of the vehicle 100.
  • the third sensor 103 is a camera that photographs the right side of the vehicle 100.
  • the fourth sensor 104 is a camera that photographs the rear of the vehicle 100.
  • the position and direction detection unit 110 detects the current position and the traveling direction of the vehicle 100, and outputs position information indicating the detected position and direction information indicating the detected traveling direction to the data generation device 200. I do.
  • the position / direction detection unit 110 periodically performs detection, and outputs position information and direction information, which are detection results, to the data generation device 200.
  • the position and direction detection unit 110 detects a position and a traveling direction by GNSS (Global Navigation Satellite System). That is, the position and direction detecting unit 110 detects the position and the traveling direction by receiving the signal transmitted from the satellite.
  • GNSS Global Navigation Satellite System
  • the data generation device 200 generates a wide-area top-view image as synthesized data by synthesizing a top-view image of the vehicle 100 and a top-view image of at least one surrounding vehicle.
  • a data generation device 200 includes an acquisition unit 210, a synthesis unit 220, a display unit 230, and an output unit 240.
  • the acquisition unit 210 acquires a top view image from each of at least one surrounding vehicle.
  • the top view image acquired from the surrounding vehicle is an image of the surrounding including the surrounding vehicle viewed from above the surrounding vehicle.
  • the combining unit 220 acquires, from each of the first sensor 101, the second sensor 102, the third sensor 103, and the fourth sensor 104, a captured image generated by capturing using the sensor. Then, the synthesizing unit 220 generates a top-view image of the vehicle 100 by synthesizing the captured images acquired from the sensors. This top view image is an image of the surroundings including the vehicle 100 viewed from above the vehicle 100.
  • the synthesizing unit 220 generates a wide-area top-view image by synthesizing the top-view image of the vehicle 100 and at least one top-view image acquired by the acquiring unit 210.
  • the synthesis unit 220 uses the position information and the direction information output from the position and direction detection unit 110.
  • the display unit 230 includes a liquid crystal display, a plasma display, an organic EL (Electro-Luminescence) display, or the like, and displays the wide-area top-view image generated by the synthesis unit 220.
  • the output unit 240 transmits the top view image of the vehicle 100 generated by the combining unit 220 to at least one surrounding vehicle.
  • At least one peripheral vehicle that transmits the top view image to the data generation device 200 of the vehicle 100 may be the same as or different from at least one peripheral vehicle that receives the top view image of the vehicle 100. Good. Also, each of at least one peripheral vehicle that transmits the top view image to the data generation device 200 of the vehicle 100 includes a plurality of sensors similarly to the vehicle 100, and based on the sensing result of those sensors, A view image may be generated.
  • the data generation device 200 acquires, from each of the plurality of moving objects, sensing data configured based on the respective sensing results of the plurality of sensors provided in the moving objects.
  • the plurality of moving objects include the vehicle 100 and at least one peripheral vehicle.
  • the sensing data is a top view image.
  • the data generation device 200 generates synthesized data that is a wide-area top-view image by mapping the sensing data of each of the plurality of moving objects on the virtual space.
  • the data generation device 200 sets the position of the sensing data mapped in the virtual space to at least the position in the real space of the moving object corresponding to the sensing data. Determined accordingly.
  • the position of the moving body in the real space is the position of the vehicle 100 or a surrounding vehicle detected by, for example, GNSS.
  • each of the plurality of sensors such as the first sensor 101, the second sensor 102, the third sensor 103, and the fourth sensor 104 provided in each of the plurality of vehicles is a camera.
  • data generation device 200 in the present embodiment acquires an image as sensing data.
  • the synthesized data indicating the environment including the surroundings of each of the plurality of vehicles is generated as an image. Therefore, if the image (that is, the wide-area top-view image) is viewed, the environment in a wide range can be easily grasped visually. be able to.
  • the image indicated by the composite data is displayed on display unit 230.
  • the driver of the vehicle 100 can see the combined data, and the driving of the vehicle 100 can be appropriately supported.
  • FIG. 2 is a block diagram showing a detailed functional configuration of the data generation device 200.
  • the acquisition unit 210 of the data generation device 200 includes a first communication unit 211, a reception control unit 212, a data reception unit 213, and a first format conversion unit 214.
  • the reception control unit 212 controls the first communication unit 211, the data reception unit 213, and the first format conversion unit 214.
  • the first communication unit 211 establishes a communication path with a nearby vehicle based on the control by the reception control unit 212, and requests the nearby vehicle to transmit data.
  • the peripheral vehicle for which the data transmission is requested is hereinafter referred to as a request destination peripheral vehicle.
  • the first communication unit 211 exchanges information on data formats that can be supported by the first communication unit 211 with the surrounding vehicles of the request destination based on the control by the reception control unit 212.
  • the data receiving unit 213 receives a top-view image of the surrounding vehicle from the surrounding vehicle of the request destination by using the communication path established by the first communication unit 211.
  • Control information including time information, position information, and direction information is added to the top view image.
  • the time information indicates the time at which the top-view image of the surrounding vehicle was generated.
  • the position information indicates the position of the surrounding vehicle at the time when the top view image is generated, and the direction information indicates the traveling direction of the surrounding vehicle at the time when the top view image is generated.
  • the first format conversion unit 214 converts the data format of the top-view image received by the data reception unit 213 into a predetermined data format and outputs the data format to the synthesis unit 220.
  • the surrounding vehicles upon receiving the data transmission request from the acquisition unit 210, the surrounding vehicles periodically transmit the above-described top-view image. That is, the obtaining unit 210 obtains an image signal including a plurality of top-view images generated in the surrounding vehicles, and outputs the format-converted image signal to the synthesizing unit 220. Note that the above-described control information is added to the plurality of top-view images acquired in this manner.
  • the first format conversion unit 214 may decode the encoded image signal. That is, the first format conversion unit 214 may be configured as a decoding device, an image decoding device, or a moving image decoding device. For example, the first format conversion unit 214 uses An image signal encoded based on a moving image compression standard such as H.264 or HEVC (High Efficiency Video Coding) is decoded according to a decoding method, an image decoding method, or a moving image decoding method according to the standard.
  • a moving image compression standard such as H.264 or HEVC (High Efficiency Video Coding)
  • the combining unit 220 of the data generation device 200 includes an image storage unit 221, a wide-area combining unit 222, and a top-view image generating unit 223.
  • the top-view image generation unit 223 acquires, from each of the first sensor 101, the second sensor 102, the third sensor 103, and the fourth sensor 104, a captured image generated by capturing using the sensor. Then, the top-view image generation unit 223 generates a top-view image of the vehicle 100 by synthesizing the captured images acquired from the sensors. Specifically, the top view image generation unit 223 periodically generates a top view image. That is, each of the first sensor 101, the second sensor 102, the third sensor 103, and the fourth sensor 104 shoots at a predetermined frame rate, and repeatedly outputs a shot image according to the frame rate.
  • the top-view image generation unit 223 generates a top-view image of the vehicle 100 by synthesizing captured images captured by the sensors at substantially the same timing. For example, the top view image generation unit 223 repeatedly generates a top view image according to the above-described frame rate and outputs the generated top view image to the wide area synthesis unit 222.
  • the top-view image generation unit 223 adds control information including time information, position information, and direction information to the generated top-view image.
  • the time information indicates the time at which the top-view image was generated.
  • the position information and the direction information indicate the position and the direction detected by the position and direction detection unit 110. Specifically, the position information indicates the position of the vehicle 100 at the time when the top-view image is generated, and the direction information indicates the traveling direction of the vehicle 100 at the time.
  • the wide area synthesizing unit 222 acquires the image signal of the surrounding vehicle from the acquiring unit 210, and periodically acquires the top view image of the vehicle 100 from the top view image generating unit 223. Then, every time the wide-area synthesis unit 222 acquires the top-view image of the vehicle 100 from the top-view image generation unit 223, the wide-area synthesis unit 222 selects a top-view image of a surrounding vehicle corresponding to the top-view image of the vehicle 100 from the image signal. . For example, the wide area synthesizing unit 222 uses the time information added to the top-view image of the vehicle 100 and the time information added to each top-view image included in the image signal of the surrounding vehicle to generate information about the surrounding vehicle. Select the top view image.
  • the wide area synthesizing unit 222 determines the top time of the surrounding vehicle to which the same time as the time indicated by the time information of the top view image of the vehicle 100 or the time information indicating a time within a predetermined error range is added. Select a view image.
  • the wide area synthesizing unit 222 generates a wide area top view image by synthesizing the top view image of the vehicle 100 and the top view image of the selected surrounding vehicle, and stores the generated image in the image storage unit 221.
  • the wide area synthesis unit 222 in the present embodiment periodically indicates a top view image as sensing data from each of the plurality of vehicles including the vehicle 100 and the surrounding vehicles, and a time at which the top view image is generated. Get time information. Then, for each of the plurality of vehicles, the wide area synthesizing unit 222 sets the time indicated by the time information corresponding to the top view image from the plurality of top view images periodically acquired from the vehicle within a predetermined period. To select a specific top-view image. The wide area synthesizing unit 222 maps the selected specific top-view image on the virtual space.
  • the plurality of top-view images mapped on the virtual space are specific top-view images generated within a predetermined period. Therefore, it is possible to appropriately synchronize the plurality of top-view images mapped in the virtual space.
  • the image storage unit 221 is a recording medium for storing the wide-area top-view image generated by the wide-area synthesis unit 222.
  • the image storage unit 221 is a hard disk, a RAM (Read Only Memory), a ROM (Random Access Memory), a semiconductor memory, or the like. Note that such an image storage unit 221 may be volatile or non-volatile.
  • the output unit 240 of the data generation device 200 includes a second communication unit 241, a transmission control unit 242, a data transmission unit 243, and a second format conversion unit 244.
  • the transmission control unit 242 controls the second communication unit 241, the data transmission unit 243, and the second format conversion unit 244.
  • the second communication unit 241 When the second communication unit 241 receives a data transmission request from a nearby vehicle, the second communication unit 241 establishes a communication path with the nearby vehicle based on the control of the transmission control unit 242. Note that the above-described peripheral vehicle that has made the data transmission request is hereinafter referred to as a requesting peripheral vehicle. Further, the second communication unit 241 exchanges information on data formats that can be respectively supported with the requesting neighboring vehicles based on the control by the transmission control unit 242.
  • the second format conversion unit 244 acquires the generated top view image of the vehicle 100 every time the top view image generation unit 223 generates the top view image of the vehicle 100. Then, the second format conversion unit 244 converts the data format of the top view image into a data format corresponding to the surrounding vehicle of the request source based on the control from the transmission control unit 242.
  • the second format conversion unit 244 may encode at least one top-view image of the vehicle 100. That is, the second format conversion unit 244 may be configured as an encoding device, an image encoding device, or a moving image encoding device. For example, the second format conversion unit 244 uses The top-view images are encoded according to an encoding method, an image encoding method, or a moving image encoding method based on a moving image compression standard such as H.264 or HEVC (High Efficiency Video Coding).
  • a moving image compression standard such as H.264 or HEVC (High Efficiency Video Coding).
  • the data transmission unit 243 acquires the converted top view image. Then, the data transmission unit 243 transmits the top-view image of the vehicle 100 to the requesting peripheral vehicle using the communication path established by the second communication unit 241. That is, the data transmission unit 243 transmits an image signal including a plurality of top-view images of the vehicle 100 to the requesting peripheral vehicle. Note that the above-described control information is added to each top-view image included in this image signal.
  • the data transmission unit 243 transmits a stream or a bit stream generated by the encoding to the surrounding vehicle of the request source. Send to
  • the data amount of the top-view image can be reduced, and furthermore, the processing delay can be suppressed. For example, it is possible to suppress a delay in displaying a wide-area top-view image formed using the top-view image.
  • FIG. 3 is a diagram showing an example of platooning by three vehicles.
  • the vehicle C1, the vehicle C2, and the vehicle C3 are running in platoon. That is, the vehicle C1, the vehicle C2, and the vehicle C3 are traveling on the road in the same traveling direction in a state where they are arranged in a line.
  • each of the vehicle C1, the vehicle C2, and the vehicle C3 has the same configuration as the vehicle 100 described above.
  • the vehicle C1 generates a top view image of the vehicle C1
  • the vehicle C2 generates a top view image of the vehicle C2
  • the vehicle C3 generates a top view image of the vehicle C3.
  • the top view image of the vehicle C1 is an image in which the surrounding area including the vehicle C1 is viewed from above the vehicle C1.
  • Each top view image of the vehicle C2 and the vehicle C3 is also an image viewed from above the vehicle, like the top view image of the vehicle C1.
  • control information indicating the time, position, and traveling direction at the time when the top view image is generated is added to the top view image of the vehicle C1.
  • control information indicating the time, position, and traveling direction at the time when the top view image is generated is added to the top view image of the vehicle C2, and the top view image of the vehicle C3 is added to the top view image of the vehicle C3.
  • the control information indicating the time, the position, and the traveling direction at the time when is generated is added.
  • the vehicle C2 is the own vehicle, and each of the vehicles C1 and C3 is a vehicle around the vehicle C2.
  • the vehicle C2, which is the host vehicle receives the top view image of the vehicle C1 from the vehicle C1, which is a surrounding vehicle, and receives the top view image of the vehicle C3, from the vehicle C3, which is another surrounding vehicle.
  • the vehicle C2, which is the host vehicle generates a top-view image of the vehicle C2, and combines the top-view image of the host vehicle with the top-view images of the two surrounding vehicles to form a wide-area top-view image.
  • the vehicle C2 which is the host vehicle, transmits a top-view image of the vehicle C2 to the peripheral vehicles.
  • FIG. 4 is a diagram illustrating an example in which a wide-area top-view image is generated from a top-view image of each vehicle.
  • the vehicle C2 which is the host vehicle, combines the top view image of the vehicle C2 with the lane image based on the map information.
  • the map information is, for example, information used for a car navigation system, and is stored in a recording medium of the vehicle C2. Further, the map information may be obtained by the vehicle C2 via a network such as the Internet, and may be stored in a recording medium of the vehicle C2.
  • the wide area synthesizing unit 222 provided in the data generation device 200 for the vehicle C2 acquires the top view image of the vehicle C2 from the top view image generation unit 223. Then, the wide area synthesis unit 222 specifies the position indicated by the control information added to the top view image of the vehicle C2. The wide area synthesizing unit 222 extracts, from the map information, a lane image associated with the characteristic position in the map information. For example, the specified position is the center of the lane image.
  • the wide area synthesizing unit 222 specifies the traveling direction indicated by the control information of the top view image of the vehicle C2.
  • the wide area synthesis unit 222 changes the direction of the top view image of the vehicle C2 based on the specified traveling direction, and superimposes the top view image on the above-described position specified earlier in the lane image. For example, the wide area synthesis unit 222 rotates the top view image and superimposes it on the lane image so that the azimuth of the top view image matches the azimuth of the lane image. As a result, a temporary wide-area top-view image is generated.
  • the wide area synthesizing unit 222 synthesizes the top view image of the vehicle C1 that is the surrounding vehicle and the top view image of the vehicle C3 that is another surrounding vehicle with the temporary wide area top view image to obtain the final image. Generating a wide-area top-view image.
  • the wide area synthesis unit 222 when synthesizing the top view image of the surrounding vehicle with the temporary wide area top view image, performs a synthesis position determination process for determining the synthesis position and direction of the top view image.
  • the wide area synthesis unit 222 changes the direction of the top view image of the surrounding vehicle to the direction determined by the synthesis position determination processing. Then, the wide area synthesis unit 222 superimposes the top view image of the surrounding vehicle on the synthesis position in the temporary wide area top view image, that is, the synthesis position determined by the synthesis position determination processing.
  • FIG. 5A is a flowchart showing the overall processing operation of the data generation device 200.
  • the synthesizing unit 220 of the data generation device 200 generates a top-view image of the vehicle 100, which is the host vehicle, and treats the top-view image as a temporary wide-area top-view image (step S10).
  • the combining unit 220 may generate a temporary top-view image by superimposing the top-view image of the vehicle 100 on the lane image, as described above.
  • the data generation device 200 extracts at least one feature point included in the temporary wide-area top-view image (step S20).
  • the feature points are obtained by image processing such as SIFT (Scale-invariant feature transform), SURF (Speed-Upped robust feature), ORB (Oriented-BRIEF), or AKAZE (Accelerated KAZE).
  • the data generation device 200 executes the processing of steps S30 to S50 for each of at least one surrounding vehicle.
  • step S30 the wide area synthesizing unit 222 acquires, from the image signal transmitted from the surrounding vehicle, a top view image of the surrounding vehicle corresponding to the time information of the top view image of the vehicle 100 generated in step S10. Further, the data generation device 200 acquires the direction information and the position information added to the top view image of the surrounding vehicle.
  • step S40 the wide area synthesis unit 222 executes a synthesis position determination process of determining the synthesis position of the top view image of the surrounding vehicle in the temporary wide area top view image using at least one feature point extracted in step S20. I do.
  • step S50 the wide area synthesizing unit 222 synthesizes the top view image of the surrounding vehicle with the temporary wide area top view image synthesis position determined by the synthesis position determination process.
  • the data generation device 200 presents the generated wide-area top-view image to the driver of the vehicle by displaying the generated final wide-area top-view image on the display unit 230 (step S60).
  • FIG. 5B is a flowchart showing a combining position determination process by the wide area combining unit 222. That is, FIG. 5B is a flowchart illustrating the process of step S40 in FIG. 5A in detail.
  • the wide area synthesizing unit 222 rotates the top view image of the surrounding vehicle according to the relative traveling direction of the surrounding vehicle with respect to the own vehicle (step S41). For example, the wide area synthesizing unit 222 determines the traveling direction of the own vehicle indicated by the direction information added to the top view image of the own vehicle and the direction of the surrounding vehicle indicated by the direction information added to the top view image of the surrounding vehicle. Specify the direction of travel. Then, the wide area synthesizing unit 222 rotates the top view image of the surrounding vehicle by the difference between the traveling directions.
  • the wide area synthesizing unit 222 determines a candidate of a synthetic position in the temporary wide area top view image based on the relative position of the surrounding vehicle to the own vehicle (step S42). For example, the wide area synthesis unit 222 determines the position of the own vehicle indicated by the position information added to the top view image of the own vehicle and the position of the surrounding vehicle indicated by the position information added to the top view image of the surrounding vehicle. And Then, the wide area synthesizing unit 222 determines a candidate of a synthesis position in the temporary wide area top view image based on the relative relationship between the positions.
  • the wide area synthesizing unit 222 extracts at least one feature point from the top view image of the surrounding vehicle (Step S43).
  • the wide area synthesis unit 222 matches the feature points of the temporary wide area top view image extracted in step S20 shown in FIG. 5A with the feature points of the top view images of the surrounding vehicles extracted in step S43. Thereby, the wide area synthesizing unit 222 refines the candidate for the synthesizing position determined in step S42 (step S44).
  • the wide area synthesizing unit 222 extracts feature points from an image (ie, a top view image) that is sensing data, and extracts the extracted feature points and the actual vehicle information corresponding to the top view image.
  • the combination position of the top view image is determined according to the position in the space. Accordingly, the position of the top view image is determined based on not only the position of each vehicle but also the feature points of the image, so that the top view image can be mapped more accurately.
  • the synthesizing unit 220 in the present embodiment acquires, from each of the plurality of vehicles, position information indicating the position of the vehicle in the real space at the time when the top-view image of the vehicle is generated. Then, based on the position indicated by the position information of each of the plurality of vehicles, the wide area synthesis unit 222 determines the position of the top view image acquired from the vehicle in the virtual space. Thereby, since the position information is obtained from each of the plurality of vehicles, the positions of the vehicles in the real space can be easily specified, and the processing load of determining the position of the top view image can be reduced. it can.
  • the synthesizing unit 220 in the present embodiment acquires, from each of the plurality of vehicles, direction information indicating the traveling direction of the vehicle at the time when the top-view image of the vehicle is generated. Then, based on the traveling direction indicated by the direction information of each of the plurality of vehicles, the wide area synthesizing unit 222 determines the orientation of the top view image acquired from the vehicle in the virtual space. Accordingly, the direction of the top view image of the vehicle in the virtual space is determined based on the direction information of the vehicle, so that the top view image can be mapped in an appropriate direction. As a result, the top view image can be mapped more accurately.
  • data generation device 200 in the present embodiment acquires a top-view image from each of a plurality of vehicles having a predetermined positional relationship. For example, in a predetermined positional relationship, a plurality of mobiles are running in a row in a row. In such a case, for example, since a wide-area top-view image is generated as composite data, one of the plurality of vehicles can easily grasp the environment around the other vehicle in front or behind. Can be.
  • wide area synthesis section 222 in the present embodiment maps top view images obtained from each of a plurality of vehicles arranged in a row on a two-dimensional space that is a virtual space, thereby forming wide area top information that is synthetic data. Generate a view image.
  • the top view image is an image of the surroundings including the vehicle corresponding to the top view image as viewed from above the vehicle.
  • FIG. 6A is a block diagram showing an implementation example of data generation device 200 in the present embodiment.
  • the data generation device 200 includes a circuit 201 and a memory 202.
  • a plurality of components of the data generation device 200 shown in each of FIGS. 1 and 2 are implemented by the circuit 201 and the memory 202 shown in FIG. 6A.
  • the circuit 201 is a circuit that performs information processing, and is a circuit connected to the memory 202.
  • the circuit 201 is a dedicated or general-purpose electronic circuit that generates data such as a wide-area top-view image.
  • the circuit 201 may be a processor such as a CPU.
  • the circuit 201 may be an aggregate of a plurality of electronic circuits.
  • the circuit 201 may play the role of a plurality of components, except for a component for storing information, among a plurality of components of the data generation device 200 shown in each of FIGS. 1 and 2. Good.
  • the memory 202 is a general-purpose or dedicated memory in which information for the circuit 201 to generate data such as a wide-area top-view image is stored.
  • the memory 202 may be an electronic circuit. Further, the memory 202 may be included in the circuit 201. Further, the memory 202 may be an aggregate of a plurality of electronic circuits. Further, the memory 202 may be a magnetic disk, an optical disk, or the like, or may be expressed as a storage, a recording medium, or the like. Further, the memory 202 may be a nonvolatile memory or a volatile memory.
  • the memory 202 may store an image for generating a wide-area top-view image, or a program for causing the circuit 201 to generate a wide-area top-view image.
  • the memory 202 may play a role of a component for storing information among a plurality of components of the data generating device 200 shown in each of FIGS. 1 and 2.
  • the memory 202 may serve as the image storage unit 221 shown in FIG.
  • FIG. 6B is a flowchart illustrating a processing operation of the data generation device 200 including the circuit 201 and the memory 202.
  • the circuit 201 connected to the memory 202 acquires, from each of the plurality of moving objects, sensing data configured based on respective sensing results of the plurality of sensors provided in the moving objects (step S1). ).
  • the circuit 201 generates combined data by mapping the sensing data of each of the plurality of moving objects on a virtual space (step S2).
  • the circuit 201 determines the position of the sensing data mapped in the virtual space according to the position in the real space of the moving object corresponding to the sensing data.
  • the sensing data acquired by the circuit 201 from each of the plurality of moving objects may be the above-described top-view image, and may be a sensing result (that is, a captured image) of each of the plurality of sensors provided on the moving object. There may be.
  • synthesized data indicating not only the environment around a single moving object but also the environment including the surroundings of a plurality of moving objects in a virtual space is generated. Therefore, the environment of a wider range can be properly grasped. Further, when each of the plurality of moving objects moves, the position of the sensing data of the moving object in the virtual space can be changed according to the position in the real space after the movement of the moving object. Therefore, even when a plurality of moving objects move, the synthesized data can follow the movement.
  • the data generation device 200 is provided in a moving object such as the vehicle 100, but the data generation device 200 may be provided in a device or a server outside the moving object.
  • the data generation device 200 acquires the top view image of the vehicle from each of the plurality of vehicles including the vehicle 100 without generating the top view image of the vehicle 100 as in the above-described embodiment, and A view image may be generated.
  • the wide area synthesis unit 222 and the image storage unit 221 of the data generation device 200 may be provided in the above-described device or server.
  • the above-described device or server may be at least a part of a traffic monitoring cloud.
  • the top-view image is transmitted and received by the inter-vehicle communication, but the top-view image may be transmitted and received via the traffic monitoring cloud.
  • the traffic monitoring cloud may make a request for data transmission.
  • the surrounding vehicle transmits the top view image to the own vehicle, but the surrounding vehicle transmits the captured image obtained by each of the plurality of cameras provided in the surrounding vehicle. May be. That is, the surrounding vehicle may transmit a plurality of captured images for generating the top view image to the own vehicle instead of the top view image.
  • the data generation device 200 of the own vehicle receives a plurality of captured images transmitted from the surrounding vehicle, and generates a top-view image of the surrounding vehicle using the captured images. Further, when transmitting a plurality of captured images obtained by a plurality of cameras to the own vehicle, the surrounding vehicle may transmit the respective parameter sets of the plurality of cameras to the own vehicle.
  • the parameter set may include a parameter indicating a position of the camera in a surrounding vehicle, an internal parameter indicating a lens distortion of the camera, and an external parameter indicating a posture of the camera.
  • the own vehicle data generation device 200 generates a top view image of the surrounding vehicle using the parameter set.
  • the surrounding vehicle may transmit a part of the top view image to the host vehicle without transmitting the entire top view image to the host vehicle.
  • the data generation device 200 of the own vehicle may designate a transmission target portion in the top view image of the surrounding vehicle as the surrounding vehicle in accordance with the relative positional relationship between the own vehicle and the surrounding vehicle. . At least one of the position, size, and shape of the transmission target portion in the entire top view image may be specified.
  • the surrounding vehicle may specify a transmission target portion in the top-view image according to the relative positional relationship with the own vehicle and transmit the transmission target portion to the data generating device 200 of the own vehicle.
  • the position in the above embodiment may be a relative position or an absolute position.
  • the reference of the relative position may be any position of the surrounding vehicle and the own vehicle.
  • the criteria may be different for each vehicle.
  • the wide-area top-view image that is, the combined data is displayed by the display unit 230, but may be used for signal processing without being displayed.
  • the data generation device 200 may not include the display unit 230.
  • the sensing data is a top-view image, but may be another image, or may be data obtained by a light detection and ranging (LIDAR) or an infrared camera. May be data obtained by the above sensor.
  • LIDAR light detection and ranging
  • the sensing data may be a top-view image, but may be another image, or may be data obtained by a light detection and ranging (LIDAR) or an infrared camera. May be data obtained by the above sensor.
  • a feature point is used in the combined position determination process.
  • the combined position may be determined based on the position of the vehicle without using the feature point. Good.
  • the data generation device 200 of the own vehicle acquires the position information from the surrounding vehicle, but may detect the position of the surrounding vehicle instead of acquiring the position information.
  • the data generation device 200 may detect the position of the surrounding vehicle using a sensor such as LIDAR or millimeter wave radar.
  • the time managed by each vehicle including the own vehicle and the surrounding vehicles may be periodically synchronized using a time synchronization server such as an NTP (Network Time Protocol) server.
  • a time synchronization server such as an NTP (Network Time Protocol) server.
  • NTP Network Time Protocol
  • the time synchronization server may be installed in one of the plurality of vehicles performing the platooning.
  • a time synchronization server may be installed for each country or region.
  • the vehicle C2 is the own vehicle, and the vehicles C1 and C3 are the surrounding vehicles, but the vehicle C1 or the vehicle C3 is the own vehicle, and the other vehicles May be a nearby vehicle.
  • the data generation device 200 of the leading vehicle C1 may present the driver of the leading vehicle C1 with a wide-area top-view image of the entire train.
  • the position and the angle of view of each camera arranged in each vehicle are set so that the top-view images of each vehicle overlap according to the set inter-vehicle distance. May be set.
  • the data generation device 200 of the own vehicle may detect a surrounding vehicle traveling around the own vehicle by inter-vehicle communication or the like, and may switch an image to be presented to a driver of the own vehicle according to the detection result. .
  • the data generation device 200 of the own vehicle determines whether there is a nearby vehicle running ahead or behind the own vehicle within a certain distance (for example, within 100 m) from the own vehicle.
  • the data generation device 200 of the own vehicle When determining that there is a nearby vehicle, the data generation device 200 of the own vehicle generates a wide-area top view image by acquiring a top view image of the surrounding vehicle and combining the top view image with the top view image of the own vehicle. Present to the driver of the vehicle.
  • the data generation device 200 of the own vehicle determines that there is no surrounding vehicle, it presents a top view image of the own vehicle to the driver of the own vehicle. That is, the own vehicle data generation device 200 generates and presents a wide-area top-view image when a plurality of vehicles including the own vehicle are in a predetermined positional relationship, and the plurality of vehicles are determined in advance. When there is no positional relationship, a top view image of the own vehicle is presented.
  • the virtual space in the above embodiment is a two-dimensional space such as a top view image of the own vehicle, a lane image, or a lane image on which the top view image of the own vehicle is superimposed, but is a three-dimensional space. Is also good.
  • the vehicle is an example of a moving object
  • the moving object may be an object other than the vehicle such as a ship or an aircraft as long as the object is a moving object.
  • the number of sensors provided in vehicle 100 is four, but the number is not limited to four, and may be three or less, or five or more. Good.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • a software program that implements the data generation device 200 or the like of the above-described embodiment causes a computer to execute processing according to any of the flowcharts shown in FIGS. 5A, 5B, and 6B.
  • Each component may be a circuit as described above. These circuits may constitute one circuit as a whole, or may be separate circuits. Further, each component may be realized by a general-purpose processor, or may be realized by a dedicated processor.
  • a process performed by a specific component may be performed by another component.
  • the order in which the processes are performed may be changed, or a plurality of processes may be performed in parallel.
  • the first and second ordinal numbers used in the description may be appropriately replaced.
  • An ordinal number may be newly given to a component or the like, or may be removed.
  • the data generation device has been described based on the above-described embodiment, the data generation device is not limited to the embodiment. Various modifications conceived by those skilled in the art to the embodiments may be included in the scope of the data generation device without departing from the spirit of the present disclosure.
  • each of the functional blocks can be generally realized by an MPU, a memory, and the like.
  • the processing by each of the functional blocks is generally realized by a program execution unit such as a processor reading and executing software (program) recorded on a recording medium such as a ROM.
  • the software may be distributed by download or the like, or may be recorded on a recording medium such as a semiconductor memory and distributed. Note that it is naturally possible to realize each functional block by hardware (dedicated circuit).
  • processing described in the embodiment may be realized by centralized processing using a single device (system), or may be realized by distributed processing using a plurality of devices. .
  • the number of processors that execute the program may be one or more. That is, centralized processing or distributed processing may be performed.
  • the system is characterized by having an image encoding device using an image encoding method, an image decoding device using an image decoding method, and an image encoding / decoding device including both.
  • Other configurations in the system can be appropriately changed as necessary.
  • FIG. 7 is a diagram illustrating an overall configuration of a content supply system ex100 that realizes a content distribution service.
  • a communication service providing area is divided into desired sizes, and base stations ex106, ex107, ex108, ex109, and ex110, which are fixed wireless stations, are installed in each cell.
  • each device such as a computer ex111, a game machine ex112, a camera ex113, a home appliance ex114, and a smartphone ex115 is connected to the Internet ex101 via the Internet service provider ex102 or the communication network ex104 and the base stations ex106 to ex110. Is connected.
  • the content supply system ex100 may be connected by combining any of the above elements.
  • the devices may be directly or indirectly connected to each other via a telephone network or short-range wireless communication without using the base stations ex106 to ex110 which are fixed wireless stations.
  • the streaming server ex103 is connected to each device such as a computer ex111, a game machine ex112, a camera ex113, a home appliance ex114, and a smartphone ex115 via the Internet ex101 and the like.
  • the streaming server ex103 is connected to a terminal or the like in a hot spot in the airplane ex117 via the satellite ex116.
  • a wireless access point or a hot spot may be used instead of the base stations ex106 to ex110.
  • the streaming server ex103 may be directly connected to the communication network ex104 without going through the Internet ex101 or the Internet service provider ex102, or may be directly connected to the airplane ex117 without going through the satellite ex116.
  • the camera ex113 is a device such as a digital camera capable of photographing still images and moving images.
  • the smartphone ex115 is a smartphone, a mobile phone, or a PHS (Personal Handyphone System) compatible with a mobile communication system generally called 2G, 3G, 3.9G, 4G, and 5G in the future.
  • PHS Personal Handyphone System
  • the home appliance ex118 is a refrigerator or a device included in a home fuel cell cogeneration system.
  • a terminal having a photographing function is connected to the streaming server ex103 through the base station ex106 or the like, thereby enabling live distribution or the like.
  • the terminal (computer ex111, game machine ex112, camera ex113, home appliance ex114, smartphone ex115, terminal in the airplane ex117, etc.) performs the above-described processing on the still or moving image content shot by the user using the terminal.
  • the encoding process described in each embodiment is performed, the video data obtained by the encoding is multiplexed with the encoded audio data of the sound corresponding to the video, and the obtained data is transmitted to the streaming server ex103. That is, each terminal functions as an image encoding device according to an aspect of the present disclosure.
  • the streaming server ex103 stream-distributes the transmitted content data to the requested client.
  • the client is a computer ex111, a game machine ex112, a camera ex113, a household appliance ex114, a smartphone ex115, a terminal in an airplane ex117, or the like, which can decode the encoded data.
  • Each device that has received the distributed data decodes and reproduces the received data. That is, each device functions as an image decoding device according to an aspect of the present disclosure.
  • the streaming server ex103 may be a plurality of servers or a plurality of computers, and may process, record, or distribute data in a distributed manner.
  • the streaming server ex103 may be realized by a CDN (Contents Delivery Network), and the content distribution may be realized by a number of edge servers distributed around the world and a network connecting the edge servers.
  • CDN Contents Delivery Network
  • edge servers distributed around the world and a network connecting the edge servers.
  • physically close edge servers are dynamically allocated according to clients. Then, the delay can be reduced by caching and distributing the content to the edge server.
  • the processing is distributed among multiple edge servers, the distribution entity is switched to another edge server, and the part of the network where the failure has occurred Since the distribution can be continued by bypass, high-speed and stable distribution can be realized.
  • the encoding processing of the captured data may be performed by each terminal, may be performed on the server side, or may be performed by sharing with each other.
  • a processing loop is performed twice.
  • the first loop the complexity or code amount of an image in units of frames or scenes is detected.
  • the second loop processing for maintaining the image quality and improving the coding efficiency is performed.
  • the terminal performs the first encoding process
  • the server that receives the content performs the second encoding process, thereby improving the quality and efficiency of the content while reducing the processing load on each terminal. it can.
  • the first encoded data performed by the terminal can be received and played back by another terminal, so more flexible real time distribution is possible Become.
  • the camera ex113 or the like extracts a feature amount from an image, compresses data related to the feature amount as metadata, and transmits the metadata to the server.
  • the server performs compression according to the meaning of the image, such as switching the quantization precision by determining the importance of the object from the feature amount.
  • the feature amount data is particularly effective for improving the accuracy and efficiency of motion vector prediction at the time of recompression at the server.
  • the terminal may perform simple coding such as VLC (variable length coding), and the server may perform coding with a large processing load such as CABAC (context adaptive binary arithmetic coding).
  • a plurality of video data in which a plurality of terminals capture substantially the same scene.
  • a GOP Group @ of @ Picture
  • a picture unit or a tile obtained by dividing a picture
  • Distributed processing is performed by assigning encoding processing in units or the like.
  • the server may perform management and / or instructions so that video data shot by each terminal can be referred to each other.
  • the encoded data from each terminal may be received by the server, and the reference relationship may be changed among a plurality of data, or the picture itself may be corrected or replaced to be re-encoded. As a result, it is possible to generate a stream in which the quality and efficiency of each data is improved.
  • the server may distribute the video data after performing transcoding for changing the encoding method of the video data. For example, the server may convert an MPEG-based encoding method to a VP-based encoding method. H.264 to H.P. 265.
  • the encoding process can be performed by the terminal or one or more servers. Therefore, in the following, description such as “server” or “terminal” is used as the subject of processing, but a part or all of the processing performed by the server may be performed by the terminal, or the processing performed by the terminal may be performed. Some or all may be performed on the server. The same applies to the decoding process.
  • the server not only encodes a two-dimensional moving image, but also automatically encodes a still image based on scene analysis of the moving image or at a time designated by the user and transmits the encoded still image to the receiving terminal. Is also good. If the server can further acquire the relative positional relationship between the photographing terminals, the server can determine the three-dimensional shape of the scene based on not only a two-dimensional moving image but also a video of the same scene photographed from different angles. Can be generated. Note that the server may separately encode three-dimensional data generated by a point cloud or the like, or generate a video to be transmitted to the receiving terminal based on a result of recognizing or tracking a person or an object using the three-dimensional data. Alternatively, the image may be selected from images captured by a plurality of terminals or reconstructed and generated.
  • the user can arbitrarily select each video corresponding to each shooting terminal to enjoy the scene, and can generate a video of an arbitrary viewpoint from three-dimensional data reconstructed using a plurality of images or videos. You can also enjoy clipped content.
  • the sound is collected from a plurality of different angles, and the server may transmit the sound multiplexed with the video from a specific angle or space in accordance with the video.
  • the server may create right-eye and left-eye viewpoint images, and perform encoding that allows reference between viewpoint videos by Multi-View @ Coding (MVC) or the like. It may be encoded as a separate stream without reference. At the time of decoding another stream, it is preferable to reproduce them in synchronization with each other so that a virtual three-dimensional space is reproduced according to the viewpoint of the user.
  • MVC Multi-View @ Coding
  • the server superimposes virtual object information in a virtual space on camera information in a real space based on a three-dimensional position or a movement of a user's viewpoint.
  • the decoding device may obtain or hold the virtual object information and the three-dimensional data, generate a two-dimensional image according to the movement of the user's viewpoint, and create superimposed data by connecting the two-dimensional images smoothly.
  • the decoding device transmits the viewpoint movement of the user to the server in addition to the request for the virtual object information, and the server creates superimposed data in accordance with the viewpoint movement received from the three-dimensional data held in the server,
  • the superimposed data may be encoded and distributed to the decoding device.
  • the superimposition data has an ⁇ value indicating transparency other than RGB
  • the server sets the ⁇ value of a portion other than the object created from the three-dimensional data to 0 or the like, and sets the portion in a transparent state.
  • the server may generate data in which a predetermined RGB value such as a chroma key is set as a background and a portion other than the object is set as a background color.
  • the decoding process of the distributed data may be performed by each terminal as a client, may be performed on the server side, or may be performed by sharing each other.
  • a certain terminal may once send a reception request to the server, receive the content corresponding to the request by another terminal, perform a decoding process, and transmit a decoded signal to a device having a display.
  • High-quality data can be reproduced by distributing processing and selecting appropriate content regardless of the performance of the terminal itself capable of communication.
  • a partial area such as a tile obtained by dividing a picture may be decoded and displayed on a personal terminal of a viewer. As a result, while sharing the whole image, it is possible to check at hand the field in which the user is in charge or the area to be checked in more detail.
  • access to encoded data on a network such as when encoded data is cached on a server that can be accessed from a receiving terminal in a short time or copied to an edge server in a content delivery service. It is also possible to switch the bit rate of the received data based on ease.
  • the server may have a plurality of streams having the same contents and different qualities as individual streams, but the temporal / spatial scalable realization is realized by performing encoding in layers as shown in the figure.
  • a configuration in which the content is switched by utilizing the characteristics of the stream may be employed.
  • the decoding side determines the layer to be decoded according to an internal factor such as performance and an external factor such as a communication band state, so that the decoding side can separate the low-resolution content and the high-resolution content.
  • the picture is encoded for each layer, and in addition to the configuration for achieving scalability in which the enhancement layer exists above the base layer, the enhancement layer includes meta information based on image statistical information and the like.
  • the decoding side may generate high-quality content by super-resolution of the base layer picture based on the meta information.
  • the super-resolution may be either improvement of the SN ratio at the same resolution or enlargement of the resolution.
  • the meta information includes information for specifying a linear or non-linear filter coefficient used for super-resolution processing, or information for specifying a parameter value in filter processing, machine learning, or least-squares operation used for super-resolution processing. .
  • the picture may be divided into tiles or the like according to the meaning of an object or the like in the image, and the decoding side may decode only a part of the area by selecting a tile to be decoded.
  • the decoding side can determine the position of the desired object based on the meta information.
  • the tile that contains the object can be determined.
  • the meta information is stored using a data storage structure different from pixel data such as an SEI message in HEVC. This meta information indicates, for example, the position, size, color, or the like of the main object.
  • meta information may be stored in units composed of a plurality of pictures such as a stream, a sequence, or a random access unit.
  • the decoding side can obtain the time at which the specific person appears in the video and the like, and can specify the picture in which the object exists and the position of the object in the picture by matching the information with the picture unit information.
  • FIG. 10 is a diagram illustrating an example of a display screen of a web page on the computer ex111 or the like.
  • FIG. 11 is a diagram illustrating an example of a display screen of a web page on the smartphone ex115 or the like.
  • a web page may include a plurality of link images which are links to image contents, and the appearance differs depending on a viewing device.
  • the display device is operated until the user explicitly selects the link image, or until the link image approaches the center of the screen or the entire link image enters the screen.
  • the (decoding device) displays a still image or an I picture included in each content as a link image, displays a video such as a gif animation with a plurality of still images or I pictures, or receives only a base layer to receive a video. And display it.
  • the display device When a link image is selected by the user, the display device performs decoding with the base layer given top priority. Note that if there is information indicating that the content is scalable in the HTML constituting the web page, the display device may decode the content up to the enhancement layer. In addition, in order to ensure real-time performance, before selection or when the communication band is extremely severe, the display device decodes only forward-referenced pictures (I-pictures, P-pictures, and B-pictures with only forward-reference). And display, the delay between the decoding time of the first picture and the display time (the delay from the start of the decoding of the content to the start of the display) can be reduced. In addition, the display device may intentionally ignore the reference relation of pictures, perform coarse decoding with all B pictures and P pictures being forward-referenced, and perform normal decoding as time passes and the number of received pictures increases.
  • the receiving terminal may perform meta-information in addition to image data belonging to one or more layers. Weather or construction information may also be received and associated with them for decoding. Note that the meta information may belong to a layer or may be simply multiplexed with image data.
  • the receiving terminal since a car, a drone or an airplane including the receiving terminal moves, the receiving terminal transmits the location information of the receiving terminal at the time of the reception request, thereby seamlessly receiving and decoding while switching between the base stations ex106 to ex110. Can be realized.
  • the receiving terminal can dynamically switch how much the meta information is received or how much the map information is updated according to the user's selection, the user's situation, or the state of the communication band. become.
  • the client can receive, decode, and reproduce the encoded information transmitted by the user in real time.
  • the server may perform the encoding process after performing the editing process. This can be realized, for example, by the following configuration.
  • the server performs a recognition process such as a shooting error, a scene search, a meaning analysis, and an object detection from the original image or the encoded data after shooting in real time or after storing the image. Then, the server manually or automatically corrects out-of-focus or camera shake based on the recognition result, or deletes a less important scene such as a scene whose brightness is lower or out of focus compared to other pictures. Perform editing such as deleting, emphasizing the edges of the object, and changing the color. The server encodes the edited data based on the edited result.
  • a recognition process such as a shooting error, a scene search, a meaning analysis, and an object detection from the original image or the encoded data after shooting in real time or after storing the image. Then, the server manually or automatically corrects out-of-focus or camera shake based on the recognition result, or deletes a less important scene such as a scene whose brightness is lower or out of focus compared to other pictures. Perform editing such as deleting, emphasizing the edges of the object
  • the server will not only move the scenes with low importance as described above so that the content will be within a specific time range according to the shooting time. For example, a scene with few images may be automatically clipped based on the image processing result. Alternatively, the server may generate and encode a digest based on the result of the semantic analysis of the scene.
  • the server may dare to change the image of a person's face in the periphery of the screen or the inside of a house into an image that is out of focus. Further, the server recognizes whether or not a face of a person different from the person registered in advance is reflected in the image to be encoded, and if so, performs processing such as mosaicing the face part. May be.
  • a user specifies a person or a background area where the user wants to process an image from the viewpoint of copyright, and the server replaces the specified area with another video or defocuses. It is also possible to perform such a process. If it is a person, it is possible to replace the image of the face part while tracking the person in the moving image.
  • the decoding device first receives the base layer with the highest priority and decodes and reproduces it, depending on the bandwidth.
  • the decoding device may receive the enhancement layer during this time, and may reproduce high-quality video including the enhancement layer when the reproduction is performed twice or more, such as when the reproduction is looped.
  • the stream is scalable encoded in this way, it is a coarse moving image when not selected or when it is started to be viewed, but it is possible to provide an experience in which the stream gradually becomes smarter and the image becomes better.
  • a similar experience can be provided even when the coarse stream reproduced at the first time and the second stream encoded with reference to the first moving image are configured as one stream. .
  • these encoding or decoding processes are generally performed in the LSI ex500 included in each terminal.
  • the LSI ex500 may be a single chip or a configuration including a plurality of chips.
  • the video encoding or decoding software is incorporated into any recording medium (CD-ROM, flexible disk, hard disk, or the like) readable by the computer ex111 or the like, and the encoding or decoding processing is performed using the software. Is also good.
  • moving image data acquired by the camera may be transmitted. The moving image data at this time is data that has been encoded by the LSI ex500 of the smartphone ex115.
  • the LSI ex500 may be configured to download and activate application software.
  • the terminal first determines whether the terminal supports the content encoding method or has the ability to execute the specific service. If the terminal does not support the content encoding method or does not have the ability to execute a specific service, the terminal downloads a codec or application software, and then acquires and reproduces the content.
  • the digital broadcasting system at least the moving picture coding apparatus (picture coding apparatus) or the moving picture decoding apparatus (picture decoding apparatus) of each of the above embodiments.
  • the multiplexed data in which video and sound are multiplexed on the radio wave for broadcasting using a satellite or the like is transmitted and received, there is a difference that the content supply system ex100 is suitable for multicasting in contrast to the configuration in which unicast is easily performed.
  • similar applications are possible for the encoding process and the decoding process.
  • FIG. 12 is a diagram illustrating the smartphone ex115.
  • FIG. 13 is a diagram illustrating a configuration example of the smartphone ex115.
  • the smartphone ex115 receives an antenna ex450 for transmitting and receiving radio waves to and from the base station ex110, a camera unit ex465 capable of taking video and still images, a video image captured by the camera unit ex465, and an antenna ex450.
  • a display unit ex458 for displaying data obtained by decoding a video or the like.
  • the smartphone ex115 further includes an operation unit ex466 such as a touch panel, a sound output unit ex457 such as a speaker for outputting sound or sound, a sound input unit ex456 such as a microphone for inputting sound, and shooting.
  • a memory unit ex467 that can store encoded data such as encoded video or still images, recorded audio, received video or still images, mail, or decoded data, and identify a user
  • a slot unit ex464 is provided as an interface unit with the SIMex468 for authenticating access to various data. Note that an external memory may be used instead of the memory unit ex467.
  • a main control unit ex460 that comprehensively controls the display unit ex458 and the operation unit ex466, etc., a power supply circuit unit ex461, an operation input control unit ex462, a video signal processing unit ex455, a camera interface unit ex463, a display control unit ex459, modulation The / demodulation unit ex452, the multiplexing / demultiplexing unit ex453, the audio signal processing unit ex454, the slot unit ex464, and the memory unit ex467 are connected via a bus ex470.
  • the power supply circuit unit ex461 activates the smartphone ex115 by supplying power to each unit from the battery pack.
  • the smartphone ex115 performs processing such as telephone communication and data communication based on the control of the main control unit ex460 having a CPU, a ROM, a RAM, and the like.
  • the audio signal collected by the audio input unit ex456 is converted into a digital audio signal by the audio signal processing unit ex454, which is subjected to spectrum spread processing by the modulation / demodulation unit ex452, and digital / analog conversion by the transmission / reception unit ex451.
  • the signal is transmitted via the antenna ex450.
  • the received data is amplified, subjected to frequency conversion processing and analog-to-digital conversion processing, subjected to spectrum despreading processing by a modulation / demodulation unit ex452, converted to an analog audio signal by an audio signal processing unit ex454, and then converted to an audio output unit ex457.
  • Output from In the data communication mode text, still image, or video data is transmitted to the main control unit ex460 via the operation input control unit ex462 by an operation of the operation unit ex466 or the like of the main unit, and transmission and reception processing is performed in the same manner.
  • the video signal processing unit ex455 converts the video signal stored in the memory unit ex467 or the video signal input from the camera unit ex465 into each of the above embodiments.
  • the video data is compression-encoded by the moving image encoding method shown in the embodiment, and the encoded video data is transmitted to the multiplexing / demultiplexing unit ex453.
  • the audio signal processing unit ex454 encodes an audio signal collected by the audio input unit ex456 while capturing a video or a still image by the camera unit ex465, and transmits the encoded audio data to the multiplexing / demultiplexing unit ex453. I do.
  • the multiplexing / demultiplexing unit ex453 multiplexes the coded video data and the coded audio data by a predetermined method, and modulates and converts the multiplexed data in the modulation / demodulation unit (modulation / demodulation circuit unit) ex452 and the transmission / reception unit ex451. Processing is performed and transmission is performed via the antenna ex450.
  • the multiplexing / demultiplexing unit ex453 When receiving an image attached to an e-mail or a chat or an image linked to a web page or the like, the multiplexing / demultiplexing unit ex453 performs multiplexing to decode the multiplexed data received via the antenna ex450. By separating the data, the multiplexed data is divided into a bit stream of video data and a bit stream of audio data, and the coded video data is supplied to the video signal processing unit ex455 via the synchronous bus ex470, and The converted audio data is supplied to the audio signal processing unit ex454.
  • the video signal processing unit ex455 decodes the video signal by the video decoding method corresponding to the video encoding method described in each of the above embodiments, and is linked from the display unit ex458 via the display control unit ex459.
  • a video or a still image included in the moving image file is displayed.
  • the audio signal processing unit ex454 decodes the audio signal, and the audio is output from the audio output unit ex457. Since real-time streaming has become widespread, depending on the situation of the user, there may be places where sound reproduction is not socially appropriate. Therefore, as an initial value, a configuration in which only the video data is reproduced without reproducing the audio signal is more preferable.
  • the audio may be reproduced synchronously only when the user performs an operation such as clicking on the video data.
  • the smartphone ex115 has been described as an example here, as a terminal, in addition to a transmission / reception type terminal having both an encoder and a decoder, a transmission terminal having only an encoder and a reception terminal having only a decoder are provided.
  • multiplexed data in which audio data and the like are multiplexed with video data is received or transmitted, but multiplexed data includes character data related to video in addition to audio data.
  • the data may be multiplexed, or the video data itself may be received or transmitted instead of the multiplexed data.
  • the terminal often includes a GPU. Therefore, a configuration in which a wide area is collectively processed by utilizing the performance of the GPU by using a memory shared by the CPU and the GPU or a memory whose addresses are managed so as to be commonly used may be used. As a result, the encoding time can be reduced, real-time performance can be ensured, and low delay can be realized. In particular, it is efficient to perform the motion search, deblocking filter, SAO (Sample Adaptive Offset), and conversion / quantization processes collectively in units of pictures or the like by the GPU instead of the CPU.
  • SAO Sample Adaptive Offset
  • the data generation device has an effect that there is a possibility of further improvement.
  • the data generation device is mounted on a vehicle and can be used as an in-vehicle device for assisting driving of the vehicle, and has high utility value.
  • REFERENCE SIGNS LIST 100 vehicle 101 first sensor 102 second sensor 103 third sensor 104 fourth sensor 110 position / direction detector 200 data generator 201 circuit 202 memory 210 acquisition unit 211 first communication unit 212 reception control unit 213 data reception unit 214 first Format conversion section 220 Synthesis section 221 Image storage section 222 Wide area synthesis section 223 Top view image generation section 230 Display section 240 Output section 241 Second communication section 242 Transmission control section 243 Data transmission section 244 Second format conversion section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

さらなる改善を実現するデータ生成装置(200)は、回路(201)と、回路(201)に接続されたメモリ(202)とを備え、回路(201)は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し(S1)、その複数の移動体のそれぞれのセンシングデータを仮想空間上にマッピングすることによって合成データを生成し(S2)、その合成データの生成では、仮想空間上にマッピングされるセンシングデータの位置を、少なくともそのセンシングデータに対応する移動体の実空間上の位置に応じて決定する。

Description

データ生成装置およびデータ生成方法
 本開示は、データ生成装置およびデータ生成方法に関する。
 従来、複数の撮影画像からトップビュー画像を生成するデータ生成装置(すなわち画像生成装置)が提案されている(例えば特許文献1参照)。このようなトップビュー画像は、車両を含む周囲をその車両の上から見た画像であって、例えば駐車時の支援に用いられる。
特開2014-89513号公報
 このようなデータ生成装置では、さらなる改善が求められている。
 そこで、本開示は、さらなる改善を実現できるデータ生成装置を提供する。
 本開示の一態様に係るデータ生成装置は、回路と、前記回路に接続されたメモリとを備え、前記回路は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、前記合成データの生成では、前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 本開示は、さらなる改善を実現できるデータ生成装置を提供できる。
図1は、実施の形態におけるデータ生成装置の機能構成を示すブロック図である。 図2は、実施の形態におけるデータ生成装置の詳細な機能構成を示すブロック図である。 図3は、実施の形態における3台の車両による隊列走行の一例を示す図である。 図4は、実施の形態における各車両のトップビュー画像から広域トップビュー画像が生成される一例を示す図である。 図5Aは、実施の形態におけるデータ生成装置の全体的な処理動作を示すフローチャートである。 図5Bは、実施の形態における広域合成部による合成位置決定処理を示すフローチャートである。 図6Aは、実施の形態におけるデータ生成装置の実装例を示すブロック図である。 図6Bは、実施の形態における、回路およびメモリを備えたデータ生成装置の処理動作を示すフローチャートである。 図7は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図8は、スケーラブル符号化時の符号化構造の一例を示す図である。 図9は、スケーラブル符号化時の符号化構造の一例を示す図である。 図10は、webページの表示画面例を示す図である。 図11は、webページの表示画面例を示す図である。 図12は、スマートフォンの一例を示す図である。 図13は、スマートフォンの構成例を示すブロック図である。
 本開示の一態様に係るデータ生成装置は、回路と、前記回路に接続されたメモリとを備え、前記回路は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、前記合成データの生成では、前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する。例えば、移動体は車両であり、センシングデータはトップビュー画像であり、合成データは広域トップビュー画像である。
 これにより、1つの移動体の周囲の環境だけでなく、複数の移動体のそれぞれの周囲を含む環境がセンシングされ、そのセンシングされた環境を仮想空間上に示す合成データが生成されるため、より広い範囲の環境を適切に把握することができる。また、複数の移動体のそれぞれが移動すると、その移動体の移動後の実空間上の位置に応じて、その移動体のセンシングデータの仮想空間上での位置を変化させることができる。したがって、複数の移動体が移動しても、合成データをそれらの移動に追従させることができる。
 また、前記複数のセンサのそれぞれはカメラであり、前記回路は、画像を前記センシングデータとして取得してもよい。
 これにより、複数の移動体のそれぞれの周囲を含む環境を画像として示す合成データが生成されるため、その画像を見れば、広い範囲の環境を視覚的に容易に把握することができる。
 また、前記回路は、前記センシングデータの位置の決定では、前記センシングデータである画像から特徴点を抽出し、抽出された前記特徴点と、前記センシングデータに対応する前記移動体の実空間上の位置とに応じて、前記センシングデータの位置を決定してもよい。
 これにより、各移動体の位置だけでなく、画像の特徴点にも基づいてセンシングデータの位置が決定されるため、センシングデータをより正確にマッピングすることができる。
 また、前記回路は、さらに、前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の実空間上の位置を示す位置情報を取得し、前記合成データの生成では、前記複数の移動体のそれぞれの前記位置情報によって示される位置に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の位置を決定してもよい。
 これにより、複数の移動体のそれぞれから位置情報が取得されるため、それらの移動体の実空間上の位置を容易に特定することができ、センシングデータの位置の決定の処理負担を軽減することができる。
 また、前記回路は、さらに、前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の進行方向を示す方向情報を取得し、前記合成データの生成では、前記複数の移動体のそれぞれの前記方向情報によって示される進行方向に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の向きを決定してもよい。
 これにより、移動体の方向情報に基づいて、その移動体のセンシングデータの仮想空間上の向きが決定されるため、そのセンシングデータを適切な向きに向けてマッピングすることができる。その結果、センシングデータをより正確にマッピングすることができる。
 また、前記回路は、前記センシングデータの取得では、前記複数の移動体のそれぞれから周期的に前記センシングデータと、前記センシングデータが生成された時刻を示す時刻情報とを取得し、前記合成データの生成では、前記複数の移動体のそれぞれについて、当該移動体から周期的に取得される複数の前記センシングデータから、前記センシングデータに対応する前記時刻情報によって示される時刻が所定の期間内にある特定のセンシングデータを選択し、選択された前記特定のセンシングデータを前記仮想空間上にマッピングしてもよい。
 これにより、仮想空間上にマッピングされる複数のセンシングデータは、所定の期間内に生成された特定のセンシングデータである。したがって、仮想空間上にマッピングされる複数のセンシングデータの同期を適切に図ることができる。
 また、前記回路は、前記センシングデータの取得では、予め定められた位置関係にある前記複数の移動体のそれぞれから前記センシングデータを取得してもよい。
 例えば、予め定められた位置関係では、複数の移動体は一列に並んで隊列走行している。このような場合に、合成データが生成されるため、その複数の移動体のうちの1つの移動体は、前方または後方にある他の移動体の周囲の環境を容易に把握することができる。
 また、前記複数の移動体のそれぞれは車両であり、前記予め定められた位置関係では、前記複数の移動体が一列に並んで移動し、前記回路は、前記合成データの生成では、一列に並ぶ前記複数の移動体のそれぞれから取得された前記センシングデータであるトップビュー画像を、前記仮想空間である二次元空間上にマッピングすることによって、前記合成データである広域トップビュー画像を生成し、前記トップビュー画像は、前記トップビュー画像に対応する移動体を含む周囲を当該移動体の上方から見た画像であってもよい。
 これにより、隊列走行している複数の車両を上方から見た画像である広域トップビュー画像が生成される。したがって、その隊列走行している複数の車両のうちの1つの車両は、前方または後方にある他の車両によって視界が遮られても、その広域トップビュー画像によって、それらの車両の周囲を含む環境を容易に把握することができる。その結果、隊列走行における運転の支援を適切に行うことができる。
 また、前記回路は、前記合成データによって示される画像をディスプレイに表示してもよい。
 これにより、例えば車両の運転手に合成データを見せることができ、その車両の運転の支援を適切に行うことができる。
 以下、実施の形態について図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 図1は、本実施の形態におけるデータ生成装置の機能構成を示すブロック図である。
 車両100は、第1センサ101、第2センサ102、第3センサ103および第4センサ104と、位置方向検出部110と、データ生成装置200とを備える。
 第1センサ101、第2センサ102、第3センサ103および第4センサ104のそれぞれは、例えばカメラとして構成されている。具体的には、第1センサ101は、車両100の前方を撮影するカメラである。第2センサ102は、車両100の左側を撮影するカメラである。第3センサ103は、車両100の右側を撮影するカメラである。第4センサ104は、車両100の後方を撮影するカメラである。
 位置方向検出部110は、車両100の現在の位置および進行方向を検出して、その検出された位置を示す位置情報と、その検出された進行方向を示す方向情報とをデータ生成装置200に出力する。例えば、位置方向検出部110は、周期的に検出を行って、その検出結果である位置情報および方向情報をデータ生成装置200に出力する。具体的には、位置方向検出部110は、GNSS(Global Navigation Satellite System)によって位置および進行方向を検出する。つまり、位置方向検出部110は、衛星から送信される信号を受信することによって、その位置および進行方向を検出する。
 データ生成装置200は、車両100のトップビュー画像と、少なくとも1つの周辺車両のトップビュー画像とを合成することによって広域トップビュー画像を合成データとして生成する。このようなデータ生成装置200は、取得部210と、合成部220と、表示部230と、出力部240とを備える。
 取得部210は、少なくとも1つの周辺車両のそれぞれからトップビュー画像を取得する。この周辺車両から取得されるトップビュー画像は、その周辺車両を含む周囲をその周辺車両の上方から見た画像である。
 合成部220は、第1センサ101、第2センサ102、第3センサ103および第4センサ104のそれぞれから、そのセンサによる撮影によって生成された撮影画像を取得する。そして、合成部220は、それらのセンサから取得された撮影画像を合成することによって、車両100のトップビュー画像を生成する。このトップビュー画像は、車両100を含む周囲をその車両100の上方から見た画像である。
 さらに、合成部220は、その車両100のトップビュー画像と、取得部210によって取得された少なくとも1つのトップビュー画像とを合成することによって、広域トップビュー画像を生成する。合成部220は、その広域トップビュー画像を生成するときには、位置方向検出部110から出力される位置情報および方向情報を用いる。
 表示部230は、液晶ディスプレイ、プラズマディスプレイ、または有機EL(Electro-Luminescence)ディスプレイなどからなり、合成部220によって生成された広域トップビュー画像を表示する。
 出力部240は、合成部220によって生成された車両100のトップビュー画像を少なくとも1つの周辺車両に送信する。
 ここで、車両100のデータ生成装置200にトップビュー画像を送信する少なくとも1つの周辺車両は、車両100のトップビュー画像を受信する少なくとも1つの周辺車両と同一であってもよく、異なっていてもよい。また、車両100のデータ生成装置200にトップビュー画像を送信する少なくとも1つの周辺車両のそれぞれは、車両100と同様、複数のセンサを備え、それらのセンサのセンシング結果に基づいてその周辺車両のトップビュー画像を生成してもよい。
 したがって、本実施の形態におけるデータ生成装置200は、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得する。複数の移動体は、車両100と少なくとも1つの周辺車両からなる。また、センシングデータはトップビュー画像である。そして、データ生成装置200は、その複数の移動体のそれぞれのセンシングデータを仮想空間上にマッピングすることによって広域トップビュー画像である合成データを生成する。ここで、本実施の形態におけるデータ生成装置200は、その合成データの生成では、仮想空間上にマッピングされるセンシングデータの位置を、少なくともそのセンシングデータに対応する移動体の実空間上の位置に応じて決定する。なお、移動体の実空間上の位置は、例えばGNSSなどによって検出される車両100または周辺車両の位置である。
 これにより、車両100の周囲の環境だけでなく、複数の車両のそれぞれの周囲を含む環境がセンシングされ、そのセンシングされた環境を仮想空間上に示す合成データが生成されるため、より広い範囲の環境を適切に把握することができる。また、複数の車両のそれぞれが移動すると、その移動体の移動後の実空間上の位置に応じて、その車両のセンシングデータの仮想空間上での位置を変化させることができる。したがって、複数の車両が移動しても、合成データをそれらの移動に追従させることができる。
 また、本実施の形態では、複数の車両のそれぞれに備えられる例えば第1センサ101、第2センサ102、第3センサ103および第4センサ104などの複数のセンサのそれぞれはカメラである。そして、本実施の形態におけるデータ生成装置200は、画像をセンシングデータとして取得する。これにより、複数の車両のそれぞれの周囲を含む環境を画像として示す合成データが生成されるため、その画像(すなわち広域トップビュー画像)を見れば、広い範囲の環境を視覚的に容易に把握することができる。
 また、本実施の形態では、合成データによって示される画像は表示部230に表示される。これにより、例えば車両100の運転手に合成データを見せることができ、車両100の運転の支援を適切に行うことができる。
 図2は、データ生成装置200の詳細な機能構成を示すブロック図である。
 データ生成装置200の取得部210は、第1通信部211、受信制御部212、データ受信部213、および第1フォーマット変換部214を備える。
 受信制御部212は、第1通信部211、データ受信部213、および第1フォーマット変換部214を制御する。
 第1通信部211は、受信制御部212による制御に基づいて、周辺車両との間で通信路を確立し、その周辺車両に対してデータ送信を要求する。なお、そのデータ送信が要求される周辺車両を、以下、要求先の周辺車両という。このとき、第1通信部211は、受信制御部212による制御に基づいて、その要求先の周辺車両との間で、それぞれで対応可能なデータフォーマットに関する情報を交換する。
 データ受信部213は、第1通信部211によって確立された通信路を用いて、要求先の周辺車両から、その周辺車両のトップビュー画像を受信する。このトップビュー画像には、時刻情報、位置情報および方向情報を含む制御情報が付加されている。時刻情報は、その周辺車両のトップビュー画像が生成された時刻を示す。位置情報は、そのトップビュー画像が生成された時点におけるその周辺車両の位置を示し、方向情報は、そのトップビュー画像が生成された時点におけるその周辺車両の進行方向を示す。
 第1フォーマット変換部214は、データ受信部213によって受信されたトップビュー画像のデータフォーマットを、予め定められたデータフォーマットに変換して合成部220に出力する。
 ここで、周辺車両は、取得部210からのデータ送信の要求を受け付けると、上述のトップビュー画像を周期的に送信する。つまり、取得部210は、その周辺車両において生成された複数のトップビュー画像を含む画像信号を取得して、そのフォーマット変換された画像信号を合成部220に出力する。なお、このように取得される複数のトップビュー画像には、上述の制御情報が付加されている。
 また、第1フォーマット変換部214は、その画像信号が符号化されている場合には、その符号化されている画像信号を復号してもよい。つまり、第1フォーマット変換部214は、復号装置、画像復号装置、または動画像復号装置として構成されていてもよい。例えば、第1フォーマット変換部214は、H.264またはHEVC(High Efficiency Video Coding)などの動画像圧縮規格に基づいて符号化されている画像信号を、その規格に応じた復号方法、画像復号方法、または動画像復号方法にしたがって復号する。
 データ生成装置200の合成部220は、画像蓄積部221、広域合成部222、およびトップビュー画像生成部223を備える。
 トップビュー画像生成部223は、第1センサ101、第2センサ102、第3センサ103および第4センサ104のそれぞれから、そのセンサによる撮影によって生成された撮影画像を取得する。そして、トップビュー画像生成部223は、それらのセンサから取得された撮影画像を合成することによって、車両100のトップビュー画像を生成する。具体的には、トップビュー画像生成部223は、トップビュー画像を周期的に生成する。つまり、第1センサ101、第2センサ102、第3センサ103および第4センサ104のそれぞれは、予め定められたフレームレートで撮影を行い、そのフレームレートにしたがって撮影画像を繰り返し出力する。トップビュー画像生成部223は、それらのセンサによって実質的に同一のタイミングで撮影された撮影画像を合成することによって車両100のトップビュー画像を生成する。例えば、トップビュー画像生成部223は、上述のフレームレートにしたがってトップビュー画像を繰り返し生成して広域合成部222に出力する。
 ここで、トップビュー画像生成部223は、トップビュー画像が生成されるごとに、その生成されたトップビュー画像に対して、時刻情報、位置情報および方向情報を含む制御情報を付加する。時刻情報は、そのトップビュー画像が生成された時刻を示す。位置情報および方向情報は、位置方向検出部110によって検出された位置および方位を示す。具体的には、位置情報は、そのトップビュー画像が生成された時点における車両100の位置を示し、方向情報は、その時点における車両100の進行方向を示す。
 広域合成部222は、取得部210から周辺車両の画像信号を取得し、トップビュー画像生成部223から車両100のトップビュー画像を周期的に取得する。そして、広域合成部222は、トップビュー画像生成部223から車両100のトップビュー画像を取得するごとに、その車両100のトップビュー画像に対応する周辺車両のトップビュー画像をその画像信号から選択する。例えば、広域合成部222は、車両100のトップビュー画像に付加されている時刻情報と、周辺車両の画像信号に含まれる各トップビュー画像に付加されている時刻情報とを用いて、周辺車両のトップビュー画像を選択する。具体的には、広域合成部222は、車両100のトップビュー画像の時刻情報によって示される時刻と同一の時刻、または所定の誤差範囲にある時刻を示す時刻情報が付加されている周辺車両のトップビュー画像を選択する。
 そして、広域合成部222は、その車両100のトップビュー画像と、選択された周辺車両のトップビュー画像とを合成することによって、広域トップビュー画像を生成して画像蓄積部221に格納する。
 このように本実施の形態における広域合成部222は、車両100および周辺車両を含む複数の車両のそれぞれから周期的にセンシングデータであるトップビュー画像と、そのトップビュー画像が生成された時刻を示す時刻情報とを取得する。そして、広域合成部222は、その複数の車両のそれぞれについて、当該車両から周期的に取得される複数のトップビュー画像から、そのトップビュー画像に対応する時刻情報によって示される時刻が所定の期間内にある特定のトップビュー画像を選択する。広域合成部222は、その選択された特定のトップビュー画像を仮想空間上にマッピングする。
 これにより、仮想空間上にマッピングされる複数のトップビュー画像は、所定の期間内に生成された特定のトップビュー画像である。したがって、仮想空間上にマッピングされる複数のトップビュー画像の同期を適切に図ることができる。
 画像蓄積部221は、広域合成部222によって生成された広域トップビュー画像を格納するための記録媒体である。例えば、画像蓄積部221は、ハードディスク、RAM(Read Only Memory)、ROM(Random Access Memory)、または半導体メモリなどである。なお、このような画像蓄積部221は、揮発性であっても不揮発性であってもよい。
 データ生成装置200の出力部240は、第2通信部241、送信制御部242、データ送信部243、および第2フォーマット変換部244を備える。
 送信制御部242は、第2通信部241、データ送信部243、および第2フォーマット変換部244を制御する。
 第2通信部241は、周辺車両からのデータ送信の要求を受けると、送信制御部242による制御に基づいて、その周辺車両との間で通信路を確立する。なお、データ送信の要求を行った上述の周辺車両を、以下、要求元の周辺車両という。さらに、第2通信部241は、送信制御部242による制御に基づいて、その要求元の周辺車両との間で、それぞれで対応可能なデータフォーマットに関する情報を交換する。
 第2フォーマット変換部244は、トップビュー画像生成部223によって車両100のトップビュー画像が生成されるごとに、その生成された車両100のトップビュー画像を取得する。そして、第2フォーマット変換部244は、送信制御部242からの制御に基づいて、そのトップビュー画像のデータフォーマットを、要求元の周辺車両に対応するデータフォーマットに変換する。
 また、第2フォーマット変換部244は、その車両100の少なくとも1つのトップビュー画像を符号化してもよい。つまり、第2フォーマット変換部244は、符号化装置、画像符号化装置、または動画像符号化装置として構成されていてもよい。例えば、第2フォーマット変換部244は、H.264またはHEVC(High Efficiency Video Coding)などの動画像圧縮規格に基づく符号化方法、画像符号化方法、または動画像符号化方法にしたがって、それらのトップビュー画像を符号化する。
 データ送信部243は、第2フォーマット変換部244によって車両100のトップビュー画像のデータフォーマットが変換されるごとに、その変換後のトップビュー画像を取得する。そして、データ送信部243は、第2通信部241によって確立された通信路を用いて、その車両100のトップビュー画像を要求元の周辺車両に送信する。つまり、データ送信部243は、車両100の複数のトップビュー画像を含む画像信号を要求元の周辺車両に送信する。なお、この画像信号に含まれる各トップビュー画像には、上述の制御情報が付加されている。
 なお、データ送信部243は、第2フォーマット変換部244によって車両100の少なくとも1つのトップビュー画像が符号化される場合には、その符号化によって生成されるストリームまたはビットストリームを要求元の周辺車両に送信する。
 このように、トップビュー画像に対して上記動画像圧縮規格に基づく符号化が行われる場合には、トップビュー画像のデータ量を抑えることができ、さらに、処理の遅延を抑制することができる。例えば、そのトップビュー画像を用いて構成される広域トップビュー画像の表示の遅延を抑制することができる。
 図3は、3台の車両による隊列走行の一例を示す図である。
 例えば、図3に示すように、車両C1、車両C2および車両C3は隊列走行している。すなわち、車両C1、車両C2および車両C3は一列に沿って配列した状態で同じ進行方向に向かって道路を走行している。例えば、車両C1、車両C2および車両C3のそれぞれは、上述の車両100と同様の構成を有する。
 この場合、車両C1は、車両C1のトップビュー画像を生成し、車両C2は、車両C2のトップビュー画像を生成し、車両C3は、車両C3のトップビュー画像を生成する。車両C1のトップビュー画像は、図3に示すように、その車両C1を含む周囲をその車両C1の上方から見た画像である。車両C2および車両C3のそれぞれのトップビュー画像も、車両C1のトップビュー画像と同様、その車両の上方から見た画像である。
 また、車両C1のトップビュー画像には、そのトップビュー画像が生成された時点における時刻、位置、および進行方向を示す制御情報が付加されている。同様に、車両C2のトップビュー画像には、そのトップビュー画像が生成された時点における時刻、位置、および進行方向を示す制御情報が付加され、車両C3のトップビュー画像には、そのトップビュー画像が生成された時点における時刻、位置、および進行方向を示す制御情報が付加されている。
 例えば、車両C2が自車両であり、車両C1および車両C3のそれぞれが車両C2の周辺車両である。この場合、自車両である車両C2は、周辺車両である車両C1から、その車両C1のトップビュー画像を受信し、他の周辺車両である車両C3から、その車両C3のトップビュー画像を受信する。さらに、自車両である車両C2は、車両C2のトップビュー画像を生成し、その自車両のトップビュー画像と、2つの周辺車両のそれぞれのトップビュー画像とを合成することによって、広域トップビュー画像を生成する。
 また、自車両である車両C2は、2つの周辺車両のそれぞれからデータ送信の要求を受け付けると、それらの周辺車両に対して車両C2のトップビュー画像を送信する。
 図4は、各車両のトップビュー画像から広域トップビュー画像が生成される一例を示す図である。
 例えば、自車両である車両C2は、地図情報に基づく車線画像に車両C2のトップビュー画像を合成する。地図情報は、例えば、カーナビゲーションシステムに用いられる情報であって、車両C2の記録媒体に格納されている。また、地図情報は、インターネットなどのネットワークを介して車両C2に取得され、その車両C2の記録媒体に格納されていてもよい。
 具体的には、車両C2のデータ生成装置200に備えられている広域合成部222は、車両C2のトップビュー画像をトップビュー画像生成部223から取得する。そして、広域合成部222は、その車両C2のトップビュー画像に付加されている制御情報によって示される位置を特定する。広域合成部222は、地図情報において、その特性された位置に対応付けられている車線画像をその地図情報から抽出する。例えば、その特定された位置は、車線画像の中心である。
 次に、広域合成部222は、車両C2のトップビュー画像の制御情報によって示される進行方向を特定する。広域合成部222は、その特定された進行方向に基づいて車両C2のトップビュー画像の向きを変えて、車線画像において先に特定された上述の位置にそのトップビュー画像を重畳する。例えば、広域合成部222は、トップビュー画像の方位と、車線画像の方位とが一致するように、トップビュー画像を回転させて車線画像に重畳する。これにより、仮の広域トップビュー画像が生成される。
 次に、広域合成部222は、周辺車両である車両C1のトップビュー画像と、他の周辺車両である車両C3のトップビュー画像とを、その仮の広域トップビュー画像に合成することによって、最終的な広域トップビュー画像を生成する。
 ここで、広域合成部222は、周辺車両のトップビュー画像を仮の広域トップビュー画像に合成するときには、そのトップビュー画像の合成位置および向きを決定するための合成位置決定処理を行う。広域合成部222は、その周辺車両のトップビュー画像の向きを、合成位置決定処理によって決定された向きに変える。そして、広域合成部222は、仮の広域トップビュー画像における合成位置、つまり、合成位置決定処理によって決定された合成位置に、その周辺車両のトップビュー画像を重畳する。
 図5Aは、データ生成装置200の全体的な処理動作を示すフローチャートである。
 まず、データ生成装置200の合成部220は、自車両である車両100のトップビュー画像を生成し、そのトップビュー画像を仮の広域トップビュー画像として扱う(ステップS10)。なお、このとき、合成部220は、上述のように、車両100のトップビュー画像を車線画像に重畳することによって仮のトップビュー画像を生成してもよい。
 次に、データ生成装置200は、その仮の広域トップビュー画像に含まれる少なくとも1つの特徴点を抽出する(ステップS20)。例えば、特徴点は、SIFT(Scale-invariant feature transform)、SURF(Speed-Upped Robust Feature)、ORB(Oriented-BRIEF)、またはAKAZE(Accelerated KAZE)などの画像処理によって得られる。
 そして、データ生成装置200は、少なくとも1つの周辺車両のそれぞれに対して、ステップS30~S50の処理を実行する。
 ステップS30では、広域合成部222は、周辺車両から送信される画像信号から、ステップS10で生成された車両100のトップビュー画像の時刻情報に対応する周辺車両のトップビュー画像を取得する。さらに、データ生成装置200は、その周辺車両のトップビュー画像に付加されている方向情報および位置情報を取得する。
 ステップS40では、広域合成部222は、ステップS20で抽出された少なくとも1つの特徴点を用いて、仮の広域トップビュー画像における周辺車両のトップビュー画像の合成位置を決定する合成位置決定処理を実行する。
 ステップS50では、広域合成部222は、合成位置決定処理によって決定された仮の広域トップビュー画像の合成位置に、周辺車両のトップビュー画像を合成する。
 このようなステップS30~S50の処理が、少なくとも1つの周辺車両のそれぞれに対して実行されることによって、最終的な広域トップビュー画像が生成される。
 そして、データ生成装置200は、その生成された最終的な広域トップビュー画像を表示部230に表示することによって、自車両の運転手にその広域トップビュー画像を提示する(ステップS60)。
 図5Bは、広域合成部222による合成位置決定処理を示すフローチャートである。つまり、図5Bは、図5AにおけるステップS40の処理を詳細に示すフローチャートである。
 広域合成部222は、自車両に対する周辺車両の相対的な進行方向に応じて、周辺車両のトップビュー画像を回転させる(ステップS41)。例えば、広域合成部222は、自車両のトップビュー画像に付加されている方向情報によって示される自車両の進行方向と、周辺車両のトップビュー画像に付加されている方向情報によって示される周辺車両の進行方向とを特定する。そして、広域合成部222は、それらの進行方向の差分だけ周辺車両のトップビュー画像を回転させる。
 次に、広域合成部222は、自車両に対する周辺車両の相対的な位置に基づき、仮の広域トップビュー画像における合成位置の候補を決定する(ステップS42)。例えば、広域合成部222は、自車両のトップビュー画像に付加されている位置情報によって示される自車両の位置と、周辺車両のトップビュー画像に付加されている位置情報によって示される周辺車両の位置とを特定する。そして、広域合成部222は、それらの位置の相対的な関係に基づいて、仮の広域トップビュー画像における合成位置の候補を決定する。
 さらに、広域合成部222は、周辺車両のトップビュー画像から少なくとも1つの特徴点を抽出する(ステップS43)。
 そして、広域合成部222は、図5Aに示すステップS20で抽出された仮の広域トップビュー画像の特徴点と、ステップS43で抽出された周辺車両のトップビュー画像の特徴点とをマッチングする。これにより、広域合成部222は、ステップS42で決定された合成位置の候補をリファインする(ステップS44)。
 このように、本実施の形態における広域合成部222は、センシングデータである画像(すなわちトップビュー画像)から特徴点を抽出し、抽出された特徴点と、そのトップビュー画像に対応する車両の実空間上の位置とに応じて、トップビュー画像の合成位置を決定する。これにより、各車両の位置だけでなく、画像の特徴点にも基づいてトップビュー画像の位置が決定されるため、トップビュー画像をより正確にマッピングすることができる。
 また、本実施の形態における合成部220は、複数の車両のそれぞれから、その車両のトップビュー画像が生成された時点における、当該車両の実空間上の位置を示す位置情報を取得する。そして、広域合成部222は、複数の車両のそれぞれの位置情報によって示される位置に基づいて、当該車両から取得されたトップビュー画像の仮想空間上の位置を決定する。これにより、複数の車両のそれぞれから位置情報が取得されるため、それらの車両の実空間上の位置を容易に特定することができ、トップビュー画像の位置の決定の処理負担を軽減することができる。
 また、本実施の形態における合成部220は、複数の車両のそれぞれから、当該車両のトップビュー画像が生成された時点における、当該車両の進行方向を示す方向情報を取得する。そして、広域合成部222は、複数の車両のそれぞれの方向情報によって示される進行方向に基づいて、当該車両から取得されたトップビュー画像の仮想空間上の向きを決定する。これにより、車両の方向情報に基づいて、その車両のトップビュー画像の仮想空間上の向きが決定されるため、そのトップビュー画像を適切な向きに向けてマッピングすることができる。その結果、トップビュー画像をより正確にマッピングすることができる。
 また、本実施の形態におけるデータ生成装置200は、予め定められた位置関係にある複数の車両のそれぞれからトップビュー画像を取得する。例えば、予め定められた位置関係では、複数の移動体は一列に並んで隊列走行している。このような場合に、例えば広域トップビュー画像が合成データとして生成されるため、その複数の車両のうちの1つの車両は、前方または後方にある他の車両の周囲の環境を容易に把握することができる。
 また、本実施の形態における広域合成部222は、一列に並ぶ複数の車両のそれぞれから取得されたトップビュー画像を、仮想空間である二次元空間上にマッピングすることによって、合成データである広域トップビュー画像を生成する。このトップビュー画像は、そのトップビュー画像に対応する車両を含む周囲を当該車両の上方から見た画像である。
 これにより、隊列走行している複数の車両を上方から見た画像である広域トップビュー画像が生成される。したがって、その隊列走行している複数の車両のうちの1つの車両は、前方または後方にある他の車両によって視界が遮られても、その広域トップビュー画像によって、それらの車両の周囲を含む環境を容易に把握することができる。その結果、隊列走行における運転の支援を適切に行うことができる。
 図6Aは、本実施の形態におけるデータ生成装置200の実装例を示すブロック図である。データ生成装置200は、回路201およびメモリ202を備える。例えば、図1および図2のそれぞれに示されるデータ生成装置200の複数の構成要素は、図6Aに示さされる回路201およびメモリ202によって実装される。
 回路201は、情報処理を行う回路であり、メモリ202に接続された回路である。例えば、回路201は、広域トップビュー画像などのデータを生成する専用または汎用の電子回路である。回路201は、CPUのようなプロセッサであってもよい。また、回路201は、複数の電子回路の集合体であってもよい。また、例えば、回路201は、図1および図2のそれぞれに示されるデータ生成装置200の複数の構成要素のうち、情報を記憶するための構成要素を除く、複数の構成要素の役割を果たしてもよい。
 メモリ202は、回路201が広域トップビュー画像などのデータを生成するための情報が記憶される汎用または専用のメモリである。メモリ202は、電子回路であってもよい。また、メモリ202は、回路201に含まれていてもよい。また、メモリ202は、複数の電子回路の集合体であってもよい。また、メモリ202は、磁気ディスクまたは光ディスク等であってもよいし、ストレージまたは記録媒体等と表現されてもよい。また、メモリ202は、不揮発性メモリでもよいし、揮発性メモリでもよい。
 例えば、メモリ202には、広域トップビュー画像を生成するための画像が記憶されてもよいし、回路201が広域トップビュー画像を生成するためのプログラムが記憶されていてもよい。
 また、例えば、メモリ202は、図1および図2のそれぞれに示されたデータ生成装置200の複数の構成要素のうち、情報を記憶するための構成要素の役割を果たしてもよい。具体的には、メモリ202は、図2に示される画像蓄積部221の役割を果たしてもよい。
 なお、データ生成装置200において、図1および図2などに示された複数の構成要素の全てが実装されなくてもよいし、上述された複数の処理の全てが行われなくてもよい。図1および図2のそれぞれに示された複数の構成要素の一部は、他の装置に含まれていてもよいし、上述された複数の処理の一部は、他の装置によって実行されてもよい。
 図6Bは、回路201およびメモリ202を備えたデータ生成装置200の処理動作を示すフローチャートである。
 メモリ202に接続された回路201は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得する(ステップS1)。次に、回路201は、その複数の移動体のそれぞれのセンシングデータを仮想空間上にマッピングすることによって合成データを生成する(ステップS2)。ここで、その合成データの生成では、回路201は、仮想空間上にマッピングされるセンシングデータの位置を、そのセンシングデータに対応する移動体の実空間上の位置に応じて決定する。なお、複数の移動体のそれぞれから回路201によって取得されるセンシングデータは、上述のトップビュー画像であってもよく、移動体に備えられた複数のセンサのそれぞれのセンシング結果(すなわち撮影画像)であってもよい。
 以上のように、本実施の形態におけるデータ生成装置200では、1つの移動体の周囲の環境だけでなく、複数の移動体のそれぞれの周囲を含む環境を仮想空間上に示す合成データが生成されるため、より広い範囲の環境を適切に把握することができる。また、複数の移動体のそれぞれが移動すると、その移動体の移動後の実空間上の位置に応じて、その移動体のセンシングデータの仮想空間上での位置を変化させることができる。したがって、複数の移動体が移動しても、合成データをそれらの移動に追従させることができる。
 (変形例)
 上記実施の形態では、車両100などの移動体にデータ生成装置200が備えられているが、移動体の外部の機器またはサーバにデータ生成装置200が備えられていてもよい。この場合、データ生成装置200は、上記実施の形態のように車両100のトップビュー画像を生成することなく、車両100を含む複数の車両のそれぞれからその車両のトップビュー画像を取得して広域トップビュー画像を生成してもよい。例えば、データ生成装置200のうちの広域合成部222および画像蓄積部221が上述の機器またはサーバに備えられていてもよい。また、上述の機器またはサーバは、交通監視クラウドの少なくとも一部であってもよい。
 また、上記実施の形態では、車車間通信によってトップビュー画像が送受信されるが、交通監視クラウドを介してそのトップビュー画像が送受信されてもよい。この場合、交通監視クラウドがデータ送信の要求を行ってもよい。
 また、上記実施の形態では、周辺車両はトップビュー画像を自車両に送信するが、周辺車両は、その周辺車両に備えられている複数のカメラのそれぞれによる撮影によって得られた撮影画像を送信してもよい。つまり、周辺車両は、トップビュー画像の代わりに、そのトップビュー画像を生成するための複数の撮影画像を自車両に送信してもよい。この場合、自車両のデータ生成装置200は、周辺車両から送信される複数の撮影画像を受信し、これらの撮影画像を用いてその周辺車両のトップビュー画像を生成する。また、周辺車両は、複数のカメラによって得られた複数の撮影画像を自車両に送信するときには、その複数のカメラのそれぞれのパラメータセットを自車両に送信してもよい。パラメータセットは、周辺車両におけるカメラの位置を示すパラメータと、カメラのレンズ歪みなどを示す内部パラメータと、カメラの姿勢などを示す外部パラメータとを含んでいてもよい。自車両のデータ生成装置200は、そのパラメータセットを用いて周辺車両のトップビュー画像を生成する。
 また、周辺車両は、トップビュー画像の全体を自車両に送信することなく、そのトップビュー画像の一部の画像を自車両に送信してもよい。例えば、自車両のデータ生成装置200は、その自車両と周辺車両との相対的な位置関係に応じて、周辺車両のトップビュー画像のうちの送信対象部分をその周辺車両に指定してもよい。トップビュー画像の全体におけるその送信対象部分の位置、大きさ、および形状のうちの少なくとも1つが指定されてもよい。または、周辺車両が、自車両との相対的な位置関係に応じて、そのトップビュー画像のうちの送信対象部分を特定して自車両のデータ生成装置200に送信してもよい。
 上記実施の形態における位置は、相対位置であってもよく、絶対位置であってもよい。相対位置の基準は、周辺車両および自車両のいずれの位置であってもよく。その基準は、各車両で異なっていてもよい。
 また、上記実施の形態では、広域トップビュー画像、すなわち合成データは、表示部230によって表示されるが、表示されることなく、信号処理に用いられてもよい。この場合、データ生成装置200は、表示部230を備えていなくてもよい。
 また、上記実施の形態では、センシングデータは、トップビュー画像であるが、その他の画像であってもよく、LIDAR(Light Detection and Ranging)または赤外線カメラによって得られるデータであってもよく、それ以外のセンサによって得られるデータであってもよい。
 また、上記実施の形態では、合成位置決定処理に特徴点を用いるが、特徴点を検出することができない場合には、特徴点を用いることなく車両の位置に基づいて合成位置を決定してもよい。また、自車両のデータ生成装置200は、周辺車両から位置情報を取得するが、その位置情報を取得する代わりに、その周辺車両の位置を検出してもよい。例えば、データ生成装置200は、LIDARまたはミリ波レーダなどのセンサによって、周辺車両の位置を検出してもよい。
 また、自車両および周辺車両を含む各車両で管理される時刻は、NTP(Network Time Protocol)サーバなどの時刻同期サーバを用いて定期的に同期されていてもよい。隊列走行の場合、その隊列走行を行っている複数の車両のうちの1つの車両に、時刻同期サーバが設置されていてもよい。あるいは、国または地域ごとに時刻同期サーバが設置されていてもよい。
 また、図3および図4に示す隊列走行の例では、車両C2が自車両であり、車両C1および車両C3が周辺車両であったが、車両C1または車両C3が自車両であり、他の車両が周辺車両であってもよい。例えば、先頭車両C1のデータ生成装置200が、先頭車両C1の運転手に対して車列全体の広域トップビュー画像を提示してもよい。
 また、隊列走行システムにおいて予め車間距離が設定されている場合、設定されている車間距離に応じて、各車両のトップビュー画像が重なり合うように、各車両に配置される各カメラの位置および画角が設定されていてもよい。
 また、自車両のデータ生成装置200は、車車間通信などにより自車両の周辺を走行している周辺車両を検知し、検知結果に応じて自車両の運転手に提示する画像を切替えてもよい。例えば、自車両のデータ生成装置200は、自車両から一定の距離以内(例えば100m以内)に、その自車両の前方あるいは後方に走行中の周辺車両があるか否かを判定する。自車両のデータ生成装置200は、その周辺車両があると判定すると、その周辺車両のトップビュー画像を取得して自車両のトップビュー画像に合成することによって、広域トップビュー画像を生成して自車両の運転手に提示する。一方、自車両のデータ生成装置200は、その周辺車両がないと判定すると、自車両のトップビュー画像をその自車両の運転手に提示する。つまり、自車両のデータ生成装置200は、自車両を含む複数の車両が予め定められた位置関係にあるときに、広域トップビュー画像を生成して提示し、その複数の車両が予め定められた位置関係にないときに、自車両のトップビュー画像を提示する。
 また、上記実施の形態における仮想空間は、自車両のトップビュー画像、車線画像、またはその自車両のトップビュー画像が重畳された車線画像などの2次元空間であるが、3次元空間であってもよい。
 また、上記実施の形態において、車両は移動体の一例であって、その移動体は、移動する物体であれば、船舶または航空機などの車両以外の物体であってもよい。
 また、上記実施の形態において、車両100に備えられているセンサの数は4つであるが、その数は4つに限らず、3つ以下であってもよく、5つ以上であってもよい。
 なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。ここで、上記実施の形態のデータ生成装置200などを実現するソフトウェアプログラムは、コンピュータに、図5A、図5Bおよび図6Bのうちの何れかに示すフローチャートにしたがった処理を実行させる。
 また、各構成要素は、上述の通り、回路であってもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路であってもよい。また、各構成要素は、汎用的なプロセッサで実現されてもよいし、専用のプロセッサで実現されてもよい。
 また、特定の構成要素が実行する処理を別の構成要素が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。
 説明に用いられた第1及び第2等の序数は、適宜、付け替えられてもよい。また、構成要素などに対して、序数が新たに与えられてもよいし、取り除かれてもよい。
 以上、データ生成装置の態様について、上記実施の形態に基づいて説明したが、データ生成装置の態様は、その実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものも、データ生成装置の態様の範囲内に含まれてもよい。
 (その他の実施の形態)
 以上の実施の形態において、機能ブロックの各々は、通常、MPU及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ROM等の記録媒体に記録されたソフトウェア(プログラム)を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア(専用回路)によって実現することも、当然、可能である。
 また、実施の形態において説明した処理は、単一の装置(システム)を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
 本開示の態様は、以上の実施例に限定されることなく、種々の変更が可能であり、それらも本開示の態様の範囲内に包含される。
 さらにここで、上記実施の形態で示した動画像符号化方法(画像符号化方法)又は動画像復号化方法(画像復号方法)の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、画像復号方法を用いた画像復号装置、及び両方を備える画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
 [使用例]
 図7は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
 このコンテンツ供給システムex100では、インターネットex101に、インターネットサービスプロバイダex102又は通信網ex104、及び基地局ex106~ex110を介して、コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、及びスマートフォンex115などの各機器が接続される。当該コンテンツ供給システムex100は、上記のいずれかの要素を組合せて接続するようにしてもよい。固定無線局である基地局ex106~ex110を介さずに、各機器が電話網又は近距離無線等を介して直接的又は間接的に相互に接続されていてもよい。また、ストリーミングサーバex103は、インターネットex101等を介して、コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、及びスマートフォンex115などの各機器と接続される。また、ストリーミングサーバex103は、衛星ex116を介して、飛行機ex117内のホットスポット内の端末等と接続される。
 なお、基地局ex106~ex110の代わりに、無線アクセスポイント又はホットスポット等が用いられてもよい。また、ストリーミングサーバex103は、インターネットex101又はインターネットサービスプロバイダex102を介さずに直接通信網ex104と接続されてもよいし、衛星ex116を介さず直接飛行機ex117と接続されてもよい。
 カメラex113はデジタルカメラ等の静止画撮影、及び動画撮影が可能な機器である。また、スマートフォンex115は、一般に2G、3G、3.9G、4G、そして今後は5Gと呼ばれる移動通信システムの方式に対応したスマートフォン機、携帯電話機、又はPHS(Personal Handyphone System)等である。
 家電ex118は、冷蔵庫、又は家庭用燃料電池コージェネレーションシステムに含まれる機器等である。
 コンテンツ供給システムex100では、撮影機能を有する端末が基地局ex106等を通じてストリーミングサーバex103に接続されることで、ライブ配信等が可能になる。ライブ配信では、端末(コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、スマートフォンex115、及び飛行機ex117内の端末等)は、ユーザが当該端末を用いて撮影した静止画又は動画コンテンツに対して上記各実施の形態で説明した符号化処理を行い、符号化により得られた映像データと、映像に対応する音を符号化した音データと多重化し、得られたデータをストリーミングサーバex103に送信する。即ち、各端末は、本開示の一態様に係る画像符号化装置として機能する。
 一方、ストリーミングサーバex103は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントは、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、スマートフォンex115、又は飛行機ex117内の端末等である。配信されたデータを受信した各機器は、受信したデータを復号化処理して再生する。即ち、各機器は、本開示の一態様に係る画像復号装置として機能する。
 [分散処理]
 また、ストリーミングサーバex103は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバex103は、CDN(Contents Delivery Network)により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。CDNでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
 また、配信自体の分散処理にとどまらず、撮影したデータの符号化処理を各端末で行ってもよいし、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、一般に符号化処理では、処理ループが2度行われる。1度目のループでフレーム又はシーン単位での画像の複雑さ、又は、符号量が検出される。また、2度目のループでは画質を維持して符号化効率を向上させる処理が行われる。例えば、端末が1度目の符号化処理を行い、コンテンツを受け取ったサーバ側が2度目の符号化処理を行うことで、各端末での処理負荷を減らしつつもコンテンツの質と効率を向上させることができる。この場合、ほぼリアルタイムで受信して復号する要求があれば、端末が行った一度目の符号化済みデータを他の端末で受信して再生することもできるので、より柔軟なリアルタイム配信も可能になる。
 他の例として、カメラex113等は、画像から特徴量抽出を行い、特徴量に関するデータをメタデータとして圧縮してサーバに送信する。サーバは、例えば特徴量からオブジェクトの重要性を判断して量子化精度を切り替えるなど、画像の意味に応じた圧縮を行う。特徴量データはサーバでの再度の圧縮時の動きベクトル予測の精度及び効率向上に特に有効である。また、端末でVLC(可変長符号化)などの簡易的な符号化を行い、サーバでCABAC(コンテキスト適応型二値算術符号化方式)など処理負荷の大きな符号化を行ってもよい。
 さらに他の例として、スタジアム、ショッピングモール、又は工場などにおいては、複数の端末によりほぼ同一のシーンが撮影された複数の映像データが存在する場合がある。この場合には、撮影を行った複数の端末と、必要に応じて撮影をしていない他の端末及びサーバを用いて、例えばGOP(Group of Picture)単位、ピクチャ単位、又はピクチャを分割したタイル単位などで符号化処理をそれぞれ割り当てて分散処理を行う。これにより、遅延を減らし、よりリアルタイム性を実現できる。
 また、複数の映像データはほぼ同一シーンであるため、各端末で撮影された映像データを互いに参照し合えるように、サーバで管理及び/又は指示をしてもよい。または、各端末からの符号化済みデータを、サーバが受信し複数のデータ間で参照関係を変更、又はピクチャ自体を補正或いは差し替えて符号化しなおしてもよい。これにより、一つ一つのデータの質と効率を高めたストリームを生成できる。
 また、サーバは、映像データの符号化方式を変更するトランスコードを行ったうえで映像データを配信してもよい。例えば、サーバは、MPEG系の符号化方式をVP系に変換してもよいし、H.264をH.265に変換してもよい。
 このように、符号化処理は、端末、又は1以上のサーバにより行うことが可能である。よって、以下では、処理を行う主体として「サーバ」又は「端末」等の記載を用いるが、サーバで行われる処理の一部又は全てが端末で行われてもよいし、端末で行われる処理の一部又は全てがサーバで行われてもよい。また、これらに関しては、復号処理についても同様である。
 [3D、マルチアングル]
 近年では、互いにほぼ同期した複数のカメラex113及び/又はスマートフォンex115などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
 サーバは、2次元の動画像を符号化するだけでなく、動画像のシーン解析などに基づいて自動的に、又は、ユーザが指定した時刻において、静止画を符号化し、受信端末に送信してもよい。サーバは、さらに、撮影端末間の相対的な位置関係を取得できる場合には、2次元の動画像だけでなく、同一シーンが異なるアングルから撮影された映像に基づき、当該シーンの3次元形状を生成できる。なお、サーバは、ポイントクラウドなどにより生成した3次元のデータを別途符号化してもよいし、3次元データを用いて人物又はオブジェクトを認識或いは追跡した結果に基づいて、受信端末に送信する映像を、複数の端末で撮影した映像から選択、又は、再構成して生成してもよい。
 このようにして、ユーザは、各撮影端末に対応する各映像を任意に選択してシーンを楽しむこともできるし、複数画像又は映像を用いて再構成された3次元データから任意視点の映像を切り出したコンテンツを楽しむこともできる。さらに、映像と同様に音も複数の相異なるアングルから収音され、サーバは、映像に合わせて特定のアングル又は空間からの音を映像と多重化して送信してもよい。
 また、近年ではVirtual Reality(VR)及びAugmented Reality(AR)など、現実世界と仮想世界とを対応付けたコンテンツも普及してきている。VRの画像の場合、サーバは、右目用及び左目用の視点画像をそれぞれ作成し、Multi-View Coding(MVC)などにより各視点映像間で参照を許容する符号化を行ってもよいし、互いに参照せずに別ストリームとして符号化してもよい。別ストリームの復号時には、ユーザの視点に応じて仮想的な3次元空間が再現されるように互いに同期させて再生するとよい。
 ARの画像の場合には、サーバは、現実空間のカメラ情報に、仮想空間上の仮想物体情報を、3次元的位置又はユーザの視点の動きに基づいて重畳する。復号装置は、仮想物体情報及び3次元データを取得又は保持し、ユーザの視点の動きに応じて2次元画像を生成し、スムーズにつなげることで重畳データを作成してもよい。または、復号装置は仮想物体情報の依頼に加えてユーザの視点の動きをサーバに送信し、サーバは、サーバに保持される3次元データから受信した視点の動きに合わせて重畳データを作成し、重畳データを符号化して復号装置に配信してもよい。なお、重畳データは、RGB以外に透過度を示すα値を有し、サーバは、3次元データから作成されたオブジェクト以外の部分のα値が0などに設定し、当該部分が透過する状態で、符号化してもよい。もしくは、サーバは、クロマキーのように所定の値のRGB値を背景に設定し、オブジェクト以外の部分は背景色にしたデータを生成してもよい。
 同様に配信されたデータの復号処理はクライアントである各端末で行っても、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、ある端末が、一旦サーバに受信リクエストを送り、そのリクエストに応じたコンテンツを他の端末で受信し復号処理を行い、ディスプレイを有する装置に復号済みの信号が送信されてもよい。通信可能な端末自体の性能によらず処理を分散して適切なコンテンツを選択することで画質のよいデータを再生することができる。また、他の例として大きなサイズの画像データをTV等で受信しつつ、鑑賞者の個人端末にピクチャが分割されたタイルなど一部の領域が復号されて表示されてもよい。これにより、全体像を共有化しつつ、自身の担当分野又はより詳細に確認したい領域を手元で確認することができる。
 また今後は、屋内外にかかわらず近距離、中距離、又は長距離の無線通信が複数使用可能な状況下で、MPEG-DASHなどの配信システム規格を利用して、接続中の通信に対して適切なデータを切り替えながらシームレスにコンテンツを受信することが予想される。これにより、ユーザは、自身の端末のみならず屋内外に設置されたディスプレイなどの復号装置又は表示装置を自由に選択しながらリアルタイムで切り替えられる。また、自身の位置情報などに基づいて、復号する端末及び表示する端末を切り替えながら復号を行うことができる。これにより、目的地への移動中に、表示可能なデバイスが埋め込まれた隣の建物の壁面又は地面の一部に地図情報を表示させながら移動することも可能になる。また、符号化データが受信端末から短時間でアクセスできるサーバにキャッシュされている、又は、コンテンツ・デリバリー・サービスにおけるエッジサーバにコピーされている、などの、ネットワーク上での符号化データへのアクセス容易性に基づいて、受信データのビットレートを切り替えることも可能である。
 [スケーラブル符号化]
 コンテンツの切り替えに関して、図8に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的/空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンex115で視聴していた映像の続きを、帰宅後にインターネットTV等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
 さらに、上記のように、レイヤ毎にピクチャが符号化されており、ベースレイヤの上位にエンハンスメントレイヤが存在するスケーラビリティを実現する構成以外に、エンハンスメントレイヤが画像の統計情報などに基づくメタ情報を含み、復号側が、メタ情報に基づきベースレイヤのピクチャを超解像することで高画質化したコンテンツを生成してもよい。超解像とは、同一解像度におけるSN比の向上、及び、解像度の拡大のいずれであってもよい。メタ情報は、超解像処理に用いる線形或いは非線形のフィルタ係数を特定するため情報、又は、超解像処理に用いるフィルタ処理、機械学習或いは最小2乗演算におけるパラメータ値を特定する情報などを含む。
 または、画像内のオブジェクトなどの意味合いに応じてピクチャがタイル等に分割されており、復号側が、復号するタイルを選択することで一部の領域だけを復号する構成であってもよい。また、オブジェクトの属性(人物、車、ボールなど)と映像内の位置(同一画像における座標位置など)とをメタ情報として格納することで、復号側は、メタ情報に基づいて所望のオブジェクトの位置を特定し、そのオブジェクトを含むタイルを決定できる。例えば、図9に示すように、メタ情報は、HEVCにおけるSEIメッセージなど画素データとは異なるデータ格納構造を用いて格納される。このメタ情報は、例えば、メインオブジェクトの位置、サイズ、又は色彩などを示す。
 また、ストリーム、シーケンス又はランダムアクセス単位など、複数のピクチャから構成される単位でメタ情報が格納されてもよい。これにより、復号側は、特定人物が映像内に出現する時刻などが取得でき、ピクチャ単位の情報と合わせることで、オブジェクトが存在するピクチャ、及び、ピクチャ内でのオブジェクトの位置を特定できる。
 [Webページの最適化]
 図10は、コンピュータex111等におけるwebページの表示画面例を示す図である。図11は、スマートフォンex115等におけるwebページの表示画面例を示す図である。図10及び図11に示すようにwebページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置(復号装置)は、リンク画像として各コンテンツが有する静止画又はIピクチャを表示したり、複数の静止画又はIピクチャ等でgifアニメのような映像を表示したり、ベースレイヤのみ受信して映像を復号及び表示したりする。
 ユーザによりリンク画像が選択された場合、表示装置は、ベースレイヤを最優先にして復号する。なお、webページを構成するHTMLにスケーラブルなコンテンツであることを示す情報があれば、表示装置は、エンハンスメントレイヤまで復号してもよい。また、リアルタイム性を担保するために、選択される前又は通信帯域が非常に厳しい場合には、表示装置は、前方参照のピクチャ(Iピクチャ、Pピクチャ、前方参照のみのBピクチャ)のみを復号及び表示することで、先頭ピクチャの復号時刻と表示時刻との間の遅延(コンテンツの復号開始から表示開始までの遅延)を低減できる。また、表示装置は、ピクチャの参照関係を敢えて無視して全てのBピクチャ及びPピクチャを前方参照にして粗く復号し、時間が経ち受信したピクチャが増えるにつれて正常の復号を行ってもよい。
 [自動走行]
 また、車の自動走行又は走行支援のため2次元又は3次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、1以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
 この場合、受信端末を含む車、ドローン又は飛行機などが移動するため、受信端末は、当該受信端末の位置情報を受信要求時に送信することで、基地局ex106~ex110を切り替えながらシームレスな受信及び復号を実現できる。また、受信端末は、ユーザの選択、ユーザの状況又は通信帯域の状態に応じて、メタ情報をどの程度受信するか、又は地図情報をどの程度更新していくかを動的に切り替えることが可能になる。
 以上のようにして、コンテンツ供給システムex100では、ユーザが送信した符号化された情報をリアルタイムでクライアントが受信して復号し、再生することができる。
 [個人コンテンツの配信]
 また、コンテンツ供給システムex100では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
 撮影時にリアルタイム又は蓄積して撮影後に、サーバは、原画又は符号化済みデータから撮影エラー、シーン探索、意味の解析、及びオブジェクト検出などの認識処理を行う。そして、サーバは、認識結果に基いて手動又は自動で、ピントずれ又は手ブレなどを補正したり、明度が他のピクチャに比べて低い又は焦点が合っていないシーンなどの重要性の低いシーンを削除したり、オブジェクトのエッジを強調したり、色合いを変化させるなどの編集を行う。サーバは、編集結果に基いて編集後のデータを符号化する。また撮影時刻が長すぎると視聴率が下がることも知られており、サーバは、撮影時間に応じて特定の時間範囲内のコンテンツになるように上記のように重要性が低いシーンのみならず動きが少ないシーンなどを、画像処理結果に基き自動でクリップしてもよい。または、サーバは、シーンの意味解析の結果に基づいてダイジェストを生成して符号化してもよい。
 なお、個人コンテンツには、そのままでは著作権、著作者人格権、又は肖像権等の侵害となるものが写り込んでいるケースもあり、共有する範囲が意図した範囲を超えてしまうなど個人にとって不都合な場合もある。よって、例えば、サーバは、画面の周辺部の人の顔、又は家の中などを敢えて焦点が合わない画像に変更して符号化してもよい。また、サーバは、符号化対象画像内に、予め登録した人物とは異なる人物の顔が映っているかどうかを認識し、映っている場合には、顔の部分にモザイクをかけるなどの処理を行ってもよい。または、符号化の前処理又は後処理として、著作権などの観点からユーザが画像を加工したい人物又は背景領域を指定し、サーバは、指定された領域を別の映像に置き換える、又は焦点をぼかすなどの処理を行うことも可能である。人物であれば、動画像において人物をトラッキングしながら、顔の部分の映像を置き換えることができる。
 また、データ量の小さい個人コンテンツの視聴はリアルタイム性の要求が強いため、帯域幅にもよるが、復号装置は、まずベースレイヤを最優先で受信して復号及び再生を行う。復号装置は、この間にエンハンスメントレイヤを受信し、再生がループされる場合など2回以上再生される場合に、エンハンスメントレイヤも含めて高画質の映像を再生してもよい。このようにスケーラブルな符号化が行われているストリームであれば、未選択時又は見始めた段階では粗い動画だが、徐々にストリームがスマートになり画像がよくなるような体験を提供することができる。スケーラブル符号化以外にも、1回目に再生される粗いストリームと、1回目の動画を参照して符号化される2回目のストリームとが1つのストリームとして構成されていても同様の体験を提供できる。
 [その他の使用例]
 また、これらの符号化又は復号処理は、一般的に各端末が有するLSIex500において処理される。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD-ROM、フレキシブルディスク、又はハードディスクなど)に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンex115がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex115が有するLSIex500で符号化処理されたデータである。
 なお、LSIex500は、アプリケーションソフトをダウンロードしてアクティベートする構成であってもよい。この場合、端末は、まず、当該端末がコンテンツの符号化方式に対応しているか、又は、特定サービスの実行能力を有するかを判定する。端末がコンテンツの符号化方式に対応していない場合、又は、特定サービスの実行能力を有さない場合、端末は、コーデック又はアプリケーションソフトをダウンロードし、その後、コンテンツ取得及び再生する。
 また、インターネットex101を介したコンテンツ供給システムex100に限らず、デジタル放送用システムにも上記各実施の形態の少なくとも動画像符号化装置(画像符号化装置)又は動画像復号化装置(画像復号装置)のいずれかを組み込むことができる。衛星などを利用して放送用の電波に映像と音が多重化された多重化データを載せて送受信するため、コンテンツ供給システムex100のユニキャストがし易い構成に対してマルチキャスト向きであるという違いがあるが符号化処理及び復号処理に関しては同様の応用が可能である。
 [ハードウェア構成]
 図12は、スマートフォンex115を示す図である。また、図13は、スマートフォンex115の構成例を示す図である。スマートフォンex115は、基地局ex110との間で電波を送受信するためのアンテナex450と、映像及び静止画を撮ることが可能なカメラ部ex465と、カメラ部ex465で撮像した映像、及びアンテナex450で受信した映像等が復号されたデータを表示する表示部ex458とを備える。スマートフォンex115は、さらに、タッチパネル等である操作部ex466と、音声又は音響を出力するためのスピーカ等である音声出力部ex457と、音声を入力するためのマイク等である音声入力部ex456と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ex467と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464とを備える。なお、メモリ部ex467の代わりに外付けメモリが用いられてもよい。
 また、表示部ex458及び操作部ex466等を統括的に制御する主制御部ex460と、電源回路部ex461、操作入力制御部ex462、映像信号処理部ex455、カメラインタフェース部ex463、ディスプレイ制御部ex459、変調/復調部ex452、多重/分離部ex453、音声信号処理部ex454、スロット部ex464、及びメモリ部ex467とがバスex470を介して接続されている。
 電源回路部ex461は、ユーザの操作により電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンex115を動作可能な状態に起動する。
 スマートフォンex115は、CPU、ROM及びRAM等を有する主制御部ex460の制御に基づいて、通話及データ通信等の処理を行う。通話時は、音声入力部ex456で収音した音声信号を音声信号処理部ex454でデジタル音声信号に変換し、これを変調/復調部ex452でスペクトラム拡散処理し、送信/受信部ex451でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex450を介して送信する。また受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変調/復調部ex452でスペクトラム逆拡散処理し、音声信号処理部ex454でアナログ音声信号に変換した後、これを音声出力部ex457から出力する。データ通信モード時は、本体部の操作部ex466等の操作によってテキスト、静止画、又は映像データが操作入力制御部ex462を介して主制御部ex460に送出され、同様に送受信処理が行われる。データ通信モード時に映像、静止画、又は映像と音声を送信する場合、映像信号処理部ex455は、メモリ部ex467に保存されている映像信号又はカメラ部ex465から入力された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重/分離部ex453に送出する。また、音声信号処理部ex454は、映像又は静止画等をカメラ部ex465で撮像中に音声入力部ex456で収音した音声信号を符号化し、符号化された音声データを多重/分離部ex453に送出する。多重/分離部ex453は、符号化済み映像データと符号化済み音声データを所定の方式で多重化し、変調/復調部(変調/復調回路部)ex452、及び送信/受信部ex451で変調処理及び変換処理を施してアンテナex450を介して送信する。
 電子メール又はチャットに添付された映像、又はウェブページ等にリンクされた映像を受信した場合、アンテナex450を介して受信された多重化データを復号するために、多重/分離部ex453は、多重化データを分離することにより、多重化データを映像データのビットストリームと音声データのビットストリームとに分け、同期バスex470を介して符号化された映像データを映像信号処理部ex455に供給するとともに、符号化された音声データを音声信号処理部ex454に供給する。映像信号処理部ex455は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって映像信号を復号し、ディスプレイ制御部ex459を介して表示部ex458から、リンクされた動画像ファイルに含まれる映像又は静止画が表示される。また音声信号処理部ex454は、音声信号を復号し、音声出力部ex457から音声が出力される。なおリアルタイムストリーミングが普及しているため、ユーザの状況によっては音声の再生が社会的にふさわしくない場も起こりえる。そのため、初期値としては、音声信号は再生せず映像データのみを再生する構成の方が望ましい。ユーザが映像データをクリックするなど操作を行った場合にのみ音声を同期して再生してもよい。
 またここではスマートフォンex115を例に説明したが、端末としては符号化器及び復号化器を両方持つ送受信型端末の他に、符号化器のみを有する送信端末、及び、復号化器のみを有する受信端末という3通りの実装形式が考えられる。さらに、デジタル放送用システムにおいて、映像データに音声データなどが多重化された多重化データを受信又は送信するとして説明したが、多重化データには、音声データ以外に映像に関連する文字データなどが多重化されてもよいし、多重化データではなく映像データ自体が受信又は送信されてもよい。
 なお、CPUを含む主制御部ex460が符号化又は復号処理を制御するとして説明したが、端末はGPUを備えることも多い。よって、CPUとGPUで共通化されたメモリ、又は共通に使用できるようにアドレスが管理されているメモリにより、GPUの性能を活かして広い領域を一括して処理する構成でもよい。これにより符号化時間を短縮でき、リアルタイム性を確保し、低遅延を実現できる。特に動き探索、デブロックフィルタ、SAO(Sample Adaptive Offset)、及び変換・量子化の処理を、CPUではなく、GPUでピクチャなどの単位で一括して行うと効率的である。
 本開示のデータ生成装置は、さらなる改善の可能性があるという効果を奏し、例えば、車両に搭載されて、その車両の運転を支援するための車載装置として利用可能であり、利用価値が高い。
 100  車両
 101  第1センサ
 102  第2センサ
 103  第3センサ
 104  第4センサ
 110  位置方向検出部
 200  データ生成装置
 201  回路
 202  メモリ
 210  取得部
 211  第1通信部
 212  受信制御部
 213  データ受信部
 214  第1フォーマット変換部
 220  合成部
 221  画像蓄積部
 222  広域合成部
 223  トップビュー画像生成部
 230  表示部
 240  出力部
 241  第2通信部
 242  送信制御部
 243  データ送信部
 244  第2フォーマット変換部

Claims (10)

  1.  回路と、
     前記回路に接続されたメモリとを備え、
     前記回路は、動作において、
     複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、
     前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、
     前記合成データの生成では、
     前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する、
     データ生成装置。
  2.  前記複数のセンサのそれぞれはカメラであり、
     前記回路は、画像を前記センシングデータとして取得する、
     請求項1に記載のデータ生成装置。
  3.  前記回路は、前記センシングデータの位置の決定では、
     前記センシングデータである画像から特徴点を抽出し、抽出された前記特徴点と、前記センシングデータに対応する前記移動体の実空間上の位置とに応じて、前記センシングデータの位置を決定する、
     請求項2に記載のデータ生成装置。
  4.  前記回路は、さらに、
     前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の実空間上の位置を示す位置情報を取得し、
     前記合成データの生成では、
     前記複数の移動体のそれぞれの前記位置情報によって示される位置に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の位置を決定する、
     請求項1~3の何れか1項に記載のデータ生成装置。
  5.  前記回路は、さらに、
     前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の進行方向を示す方向情報を取得し、
     前記合成データの生成では、
     前記複数の移動体のそれぞれの前記方向情報によって示される進行方向に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の向きを決定する、
     請求項1~4の何れか1項に記載のデータ生成装置。
  6.  前記回路は、前記センシングデータの取得では、
     前記複数の移動体のそれぞれから周期的に前記センシングデータと、前記センシングデータが生成された時刻を示す時刻情報とを取得し、
     前記合成データの生成では、
     前記複数の移動体のそれぞれについて、当該移動体から周期的に取得される複数の前記センシングデータから、前記センシングデータに対応する前記時刻情報によって示される時刻が所定の期間内にある特定のセンシングデータを選択し、選択された前記特定のセンシングデータを前記仮想空間上にマッピングする、
     請求項1~5の何れか1項に記載のデータ生成装置。
  7.  前記回路は、前記センシングデータの取得では、
     予め定められた位置関係にある前記複数の移動体のそれぞれから前記センシングデータを取得する、
     請求項1~6の何れか1項に記載のデータ生成装置。
  8.  前記複数の移動体のそれぞれは車両であり、
     前記予め定められた位置関係では、前記複数の移動体が一列に並んで移動し、
     前記回路は、前記合成データの生成では、
     一列に並ぶ前記複数の移動体のそれぞれから取得された前記センシングデータであるトップビュー画像を、前記仮想空間である二次元空間上にマッピングすることによって、前記合成データである広域トップビュー画像を生成し、
     前記トップビュー画像は、前記トップビュー画像に対応する移動体を含む周囲を当該移動体の上方から見た画像である、
     請求項7に記載のデータ生成装置。
  9.  前記回路は、
     前記合成データによって示される画像をディスプレイに表示する、
     請求項1~8の何れか1項に記載のデータ生成装置。
  10.  複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、
     前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、
     前記合成データの生成では、
     前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する、
     データ生成方法。
PCT/JP2019/025730 2018-06-28 2019-06-27 データ生成装置およびデータ生成方法 WO2020004593A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020527662A JPWO2020004593A1 (ja) 2018-06-28 2019-06-27 データ生成装置およびデータ生成方法
US17/126,919 US11741717B2 (en) 2018-06-28 2020-12-18 Data generator and data generating method
US18/218,251 US20230351763A1 (en) 2018-06-28 2023-07-05 Data generator and data generating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862691312P 2018-06-28 2018-06-28
US62/691,312 2018-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/126,919 Continuation US11741717B2 (en) 2018-06-28 2020-12-18 Data generator and data generating method

Publications (1)

Publication Number Publication Date
WO2020004593A1 true WO2020004593A1 (ja) 2020-01-02

Family

ID=68986775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025730 WO2020004593A1 (ja) 2018-06-28 2019-06-27 データ生成装置およびデータ生成方法

Country Status (3)

Country Link
US (2) US11741717B2 (ja)
JP (1) JPWO2020004593A1 (ja)
WO (1) WO2020004593A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7482103B2 (ja) 2021-12-27 2024-05-13 株式会社ブロードリーフ 車両管理装置、車両管理方法、車両管理システム及び車両管理プログラム
JP7512724B2 (ja) 2020-07-09 2024-07-09 コニカミノルタ株式会社 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025767A (ko) * 2019-08-27 2021-03-10 현대자동차주식회사 군집 주행 제어 장치, 그를 포함한 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111491A1 (ja) * 2012-01-26 2013-08-01 日産自動車株式会社 監視システム
WO2016143113A1 (ja) * 2015-03-12 2016-09-15 三菱電機株式会社 車群管理装置、車群管理方法、車群管理プログラム及び車群表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089513A (ja) 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
TWI537842B (zh) * 2014-09-30 2016-06-11 廣達電腦股份有限公司 人流計數系統
US10721397B2 (en) * 2016-09-01 2020-07-21 Caterpillar Inc. Image processing system using predefined stitching configurations
US10940791B2 (en) * 2016-11-09 2021-03-09 Carlos Correa Apparatus, system and method to avoid glare while driving, using intermittent light pulse emission during night vision encounters
US10282074B2 (en) * 2017-03-10 2019-05-07 GM Global Technology Operations LLC Method and apparatus for enhancing top view image
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111491A1 (ja) * 2012-01-26 2013-08-01 日産自動車株式会社 監視システム
WO2016143113A1 (ja) * 2015-03-12 2016-09-15 三菱電機株式会社 車群管理装置、車群管理方法、車群管理プログラム及び車群表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7512724B2 (ja) 2020-07-09 2024-07-09 コニカミノルタ株式会社 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム
JP7482103B2 (ja) 2021-12-27 2024-05-13 株式会社ブロードリーフ 車両管理装置、車両管理方法、車両管理システム及び車両管理プログラム

Also Published As

Publication number Publication date
US11741717B2 (en) 2023-08-29
US20210104092A1 (en) 2021-04-08
JPWO2020004593A1 (ja) 2021-08-19
US20230351763A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
CN111295884B (zh) 图像处理装置及图像处理方法
TWI754644B (zh) 編碼裝置
JP6765520B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019093234A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018021374A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018101288A1 (ja) 符号化装置、符号化方法、復号装置および復号方法
US11741717B2 (en) Data generator and data generating method
WO2019208372A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2017103744A (ja) 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
JP2020191687A (ja) 符号化装置及び符号化方法
WO2018193968A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JPWO2020116630A1 (ja) 復号装置及び復号方法
WO2018097115A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019221103A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
US11356663B2 (en) Encoder, decoder, encoding method, and decoding method
JP6767691B2 (ja) 画像符号化方法、伝送方法および画像符号化装置
WO2018021373A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2022050166A1 (ja) 再生装置、送信装置、再生方法、及び、送信方法
WO2017094216A1 (ja) 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
WO2018097117A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018193967A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018097077A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2021187604A1 (ja) 画像処理装置、画像処理方法、ビットストリーム送信装置、および、非一時的記憶媒体
WO2021256382A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19824722

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020527662

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19824722

Country of ref document: EP

Kind code of ref document: A1