WO2021210134A1 - 映像配信装置、映像配信方法及びプログラム - Google Patents

映像配信装置、映像配信方法及びプログラム Download PDF

Info

Publication number
WO2021210134A1
WO2021210134A1 PCT/JP2020/016732 JP2020016732W WO2021210134A1 WO 2021210134 A1 WO2021210134 A1 WO 2021210134A1 JP 2020016732 W JP2020016732 W JP 2020016732W WO 2021210134 A1 WO2021210134 A1 WO 2021210134A1
Authority
WO
WIPO (PCT)
Prior art keywords
probability
video
collision
video distribution
image
Prior art date
Application number
PCT/JP2020/016732
Other languages
English (en)
French (fr)
Inventor
拓磨 鍔木
亮太 石橋
悠希 中原
孝太郎 小野
健 桑原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022514954A priority Critical patent/JP7416219B2/ja
Priority to US17/919,116 priority patent/US20230169862A1/en
Priority to PCT/JP2020/016732 priority patent/WO2021210134A1/ja
Publication of WO2021210134A1 publication Critical patent/WO2021210134A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle

Definitions

  • the present invention relates to a video distribution device, a video distribution method, and a program.
  • Non-Patent Document 2 At autonomous driving level 3, one observer is scheduled to monitor two or three vehicles by devising the interface used by the observer and training the observer (for example). , Non-Patent Document 2).
  • an observer who monitors a plurality of vehicles remotely controls one vehicle, it becomes difficult for the observer to monitor and operate the other vehicle, so that the observer automatically operates the vehicle.
  • a function of safely stopping another vehicle and restarting the other vehicle after the remote control is completed is known (for example, Non-Patent Documents 3 to 5).
  • One embodiment of the present invention has been made in view of the above points, and an object of the present invention is to realize high scaleability of a monitored vehicle in automatic driving.
  • the video distribution device is a video distribution device that distributes images from a plurality of cameras mounted on a plurality of vehicles that perform automatic driving to terminals, and until a predetermined time.
  • a collision probability calculation unit that calculates a collision probability indicating the probability that the vehicle will collide with an object
  • a selection unit that selects an image of a camera mounted on the vehicle having the highest collision probability among the images of the plurality of cameras. It is characterized by having a control unit for improving the image quality of the image of the selected camera.
  • the image quality (resolution / frame rate) will be adjusted according to the collision probability of the agricultural machines.
  • the video distribution system 1 that controls the above will be described. More specifically, the image of an agricultural machine that has a high probability of colliding with some object (including humans, animals, other agricultural machines, etc.) is delivered with high image quality, and the possibility of colliding with any object is low.
  • the video distribution system 1 for delivering the video of the agricultural machine with low video quality will be described.
  • FIG. 1 is a diagram showing an example of the overall configuration of the video distribution system 1 according to the first embodiment.
  • the video distribution system 1 includes a video distribution server 10, a monitor terminal 20, one or more agricultural machines 30, and one or more cameras 40.
  • the video distribution server 10 is a server installed in a system environment on the edge or the cloud, and distributes the video of the camera mounted on the agricultural machine 30 to the monitor terminal 20. At this time, the video distribution server 10 controls the video quality of each video according to the collision probability of each agricultural machine 30.
  • the system environment in and around the field is referred to as local with respect to the system environment on the edge or the cloud.
  • the observer terminal 20 is a terminal installed in a system environment in a remote location relative to the local area, and is used by an observer who monitors the image of a camera mounted on each of the automatically operated agricultural machines 30.
  • the observer is an operator or the like who monitors the video delivered to the observer terminal 20 and performs an operation such as an emergency stop or an emergency operation when the agricultural machine 30 is likely to collide with some object.
  • the agricultural machine 30 is, for example, a vehicle that automatically operates according to a preset action plan.
  • the agricultural machine 30 is equipped with a camera 31 for photographing the front (and its surroundings) of the agricultural machine 30 and a GPS (Global Positioning System) receiver 32 for positioning the current position of the agricultural machine 30.
  • the agricultural machine 30 transmits the image taken by the camera 31 and the position information indicating the current position determined by the GPS receiver 32 to the image distribution server 10.
  • agricultural machine 30 1 when distinguishing each of the plurality of agricultural machines 30, they are referred to as "agricultural machine 30 1 ", "agricultural machine 30 2 ", “agricultural machine 30 3 " and the like.
  • agricultural machinery 30 respectively "Camera 31 1” camera 31 and the GPS receiver 32 mounted on the first and “GPS receiver 32 1”, respectively camera 31 and the GPS receiver 32 mounted on the agricultural machine 30 2 It referred to as “camera 312” and “GPS receiver 32 2”, respectively camera 31 and the GPS receiver 32 mounted on the agricultural machine 30 3 "camera 31 3” and the like “GPS receiver 32 3”.
  • the agricultural machine 30 means an agricultural machine provided with a traveling device such as a wheel or a crawler.
  • a traveling device such as a wheel or a crawler.
  • the agricultural machine 30 include a tractor, a combine, and the like.
  • the agricultural machine 30 may include any agricultural machine capable of automatic operation (automatic running or automatic navigation).
  • the agricultural machine 30 may be, for example, a drone for agriculture, a ship for agriculture, or the like.
  • the camera 40 is a photographing device installed in or around the field.
  • the camera 40 transmits a video image of the field and its surroundings to the video distribution server 10. This makes it possible for the video distribution server 10 to manage the position information of the field and objects (animals, people, etc.) existing around the field from this video.
  • the image taken by the camera 31 is referred to as a “surveillance image” and the image taken by the camera 40 is referred to as a “position identification image”.
  • video Also referred to as "video”.
  • the overall configuration of the video distribution system 1 shown in FIG. 1 is an example, and may be another configuration.
  • the video distribution system 1 may include a plurality of observer terminals 20, or may include a plurality of cameras 40.
  • the video distribution system 1 may include a pedestrian terminal 50 possessed by a person walking in and around the field.
  • the pedestrian terminal 50 When the video distribution system 1 includes a pedestrian terminal 50, the pedestrian terminal 50 may be equipped with a GPS receiver, and position information indicating the current position of the pedestrian may be transmitted to the video distribution server 10. Thereby, the position information of the pedestrian at each time can be managed by the video distribution server 10.
  • the pedestrian terminal 50 for example, a smartphone, a wearable device, or the like can be used.
  • person 1 when distinguishing each of a plurality of people, they are expressed as "person 1", “person 2", “person 3" and the like.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the video distribution server 10 according to the first embodiment.
  • the video distribution server 10 is realized by a general computer or computer system, and includes an input device 11, a display device 12, an external I / F13, and a communication I / F14. It has a processor 15 and a memory device 16. Each of these hardware is communicably connected via the bus 17.
  • the input device 11 is, for example, a keyboard, a mouse, a touch panel, or the like.
  • the display device 12 is, for example, a display or the like.
  • the video distribution server 10 does not have to have at least one of the input device 11 and the display device 12.
  • the external I / F 13 is an interface with various external devices such as a recording medium 13a.
  • the video distribution server 10 can, for example, read or write the recording medium 13a via the external I / F 13.
  • the recording medium 13a includes, for example, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), a USB (Universal Serial Bus) memory card, and the like.
  • the communication I / F 14 is an interface for connecting the video distribution server 10 to the communication network.
  • the processor 15 is, for example, various arithmetic units such as a CPU (Central Processing Unit).
  • the memory device 16 is, for example, various storage devices such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory.
  • the video distribution server 10 can realize the video distribution process described later.
  • the hardware configuration shown in FIG. 2 is an example, and the video distribution server 10 may have another hardware configuration.
  • the video distribution server 10 may have a plurality of processors 15 or a plurality of memory devices 16.
  • FIG. 3 is a diagram showing an example of the functional configuration of the video distribution server 10 according to the first embodiment.
  • the video distribution server 10 includes a position information management unit 101, a relative speed calculation unit 102, an existence probability calculation unit 103, a collision probability calculation unit 104, and a network information reception unit. It has 105 and a video relay unit 106. Each of these parts is realized, for example, by a process in which one or more programs installed in the video distribution server 10 cause the processor 15 to execute.
  • the video distribution server 10 has a label DB 107.
  • the DB is realized by, for example, the memory device 16.
  • the position information management unit 101 receives position information from each agricultural machine 30 and each pedestrian terminal 50, and also receives a position identification image from the camera 50. Further, the position information management unit 101 identifies the position of each object (for example, an animal, a person, etc.) from the position specifying image, and generates position information indicating the specified position.
  • the position information received from each agricultural machine 30 and each pedestrian terminal 50 and the position information specified from the position identification image are, for example, in the memory device 16 or the like for each time and object (animal, person, etc.) or each agricultural machine 30. It will be saved.
  • the position information management unit 101 may specify the position of each object from the position identification image by using a known object recognition technique or the like. Further, as long as the position information is unified, it may be, for example, absolute position coordinates expressed in latitude, mildness, etc., or set in some standard (for example, a specific agricultural machine 30 or a field). It may be relative position coordinates from the reference point, etc.).
  • the relative velocity calculation unit 102 calculates the relative velocity between each object (for example, an animal or a person) and each agricultural machine 30 by using the position information of each object and the label and velocity stored in the label DB 107.
  • the label is a classification of an object, and as will be described later, the speed (accurately, the speed) of the object is predetermined for each label.
  • the existence probability calculation unit 103 uses the position information of each object and the label and speed stored in the label DB 107 to a predetermined area (for example, in a field, etc.) up to a predetermined time (for example, farm work end time, etc.). ), The existence probability of each object (for example, animal, person) is calculated.
  • the existence probability calculation unit 103 is described in, for example, Reference 1 "Daisuke Sugimura, Takanori Kobayashi, Yoichi Sato, Akihiro Sugimoto," Stabilization of three-dimensional tracking of a person by using the probability of existence of a person based on behavior history ", Information Processing. Academic journal Computer Vision and Image Media Vol. 1 No.
  • the collision probability calculation unit 104 uses the existence probability of each object and the coefficient determined for each label of each object, and the probability that each agricultural machine 30 collides with any object by a predetermined time (collision probability). To calculate.
  • the network information receiving unit 105 receives the communication quality (for example, communication band, etc.) of the communication network between the video distribution server 10 and each agricultural machine 30.
  • the network information receiving unit 105 may receive the communication quality from, for example, an external device or device that measures or predicts the communication quality of the communication network between the video distribution server 10 and each agricultural machine 30. However, for example, the network information receiving unit 105 may measure or predict the communication quality.
  • the video relay unit 106 controls the video quality (resolution / frame rate) of the camera 31 mounted on each of the agricultural machines 30 according to the collision probability of each of the agricultural machines 30. That is, the video relay unit 106 controls the camera 31 mounted on the agricultural machine 30 having a high collision probability to improve the video quality of the camera 31.
  • the video relay unit 106 is a camera 31 mounted on another agricultural machine 30 according to the communication quality (for example, communication band) of the communication network between the video distribution server 10 and the monitor terminal 20. Is controlled to lower the image quality of these cameras 31. Then, the video relay unit 106 distributes the surveillance video received from each agricultural machine 30 to the monitor terminal 20.
  • the label DB 107 stores information (label, coefficient, speed) used for calculation of relative velocity between each agricultural machine 30 and each object, calculation of existence probability of each object, calculation of collision probability of each agricultural machine 30, and the like.
  • information label, coefficient, speed
  • FIG. 4 is a diagram showing an example of the label DB 107.
  • the label, the coefficient a, and the velocity v are stored in association with each other in the label DB 107.
  • the label includes a major classification and a minor classification.
  • the coefficient a indicating the possibility of collision and the predetermined speed v are stored in association with each label indicating the type of the object.
  • FIG. 5 is a flowchart showing an example of the video distribution process according to the first embodiment.
  • the position information management unit 101 acquires the position information of each agricultural machine 30 and each object (animal, person, etc.) up to the current time (step S101).
  • the position information management unit 101 may acquire position information up to the current time of each agricultural machine 30 and each object from, for example, a memory device 16 or the like.
  • the existence probability calculation unit 103 calculates the existence probability of each object in a predetermined area up to a predetermined time by using the position information of each object, the label, and the velocity (step S103).
  • the predetermined time may be the farm work end time, and the predetermined area may be in the field.
  • the existence probability calculation unit 103 calculates the existence probability of each object in the field up to the farm work end time.
  • the total number of objects is N
  • a known method is used for calculating the existence probability.
  • FIG. 6 an example of the calculation result of the existence probability pkj of a certain object j is shown in FIG.
  • the region 1 and the region 3 other than the region 2 that is, the region 3
  • the other areas 3 are.
  • the region 1 is a circular or elliptical region around the object j, and the region 2 is an outer annular or elliptical ring region, but the region 1 is not limited to this and has an arbitrary shape.
  • the probability of existence in the region may be calculated. For example, the probability of existence in a rectangular area such as a mesh may be calculated. Further, in the example shown in FIG. 6, the existence probabilities in the three areas of the area 1, the area 2 and the area 3 are calculated, but if it is one or more areas, the existence probabilities in any number of areas can be calculated. good.
  • steps S104 to S112 are repeatedly executed at predetermined time intervals (for example, every 1 second to several seconds) until the distribution of the surveillance video is completed (for example, until the farm work end time is reached). NS.
  • the relative velocity calculation unit 102 calculates the relative velocity between each object and each agricultural machine 30 using the position information of each object, the label, and the velocity (velocity) (step S104). For example, as shown in FIG. 7, the velocity vector of the agricultural machine 30 i is V i , the velocity vector of the object j is v j , the angle representing the direction of the object j with respect to the agricultural machine 30 i is ⁇ ij , and the velocity vector V i is ⁇ ij.
  • V ij a V i cos ⁇ ij
  • V ij a V i cos ⁇ ij
  • the velocity vector v j is a velocity (velocity) corresponding to the label of the object j, and is a vector in the direction from the object j to the agricultural machine 30 i.
  • the relative speed calculation unit 102 calculates the relative speed assuming that each object heads for each agricultural machine 30 at the shortest distance at a speed corresponding to the label of the object. This is because, as will be described later, when calculating the collision probability, the faster the relative velocity, the larger the number of existence probabilities used in the calculation of the collision probability. That is, each object is supposed to move in the direction in which the probability of collision with each agricultural machine 30 is highest.
  • the collision probability calculation unit 104 uses the existence probability of each object and the coefficient determined for each label of each object by a predetermined time (that is, in the present embodiment, the farm work end time).
  • the probability (collision probability) that the agricultural machine 30 collides with any object is calculated (step S105).
  • the above-mentioned existence probability q j is the existence probability p kj of the object j in the region D ij .
  • the object j takes different existence probability in the area D ij, to the highest existence probability among the plurality of the existence probability may be q j, the average of the plurality of presence probability q j May be.
  • the above-mentioned region D ij is determined according to the relative velocity V ij of the agricultural machine 30 i and the object j.
  • d'[m] is a distance required for the observer to confirm the object from the surveillance image, and is a predetermined value (for example, 5 [m] or the like).
  • d 'ij [m] is the distance required to stop the agricultural machine 30 i
  • d' ij t r ⁇ V ij ⁇ (1000/3600) + (V i 2 / (256 ⁇ ⁇ ) ) Is calculated.
  • tr is the reaction time (that is, the time [s] required from the observer recognizing the necessity of stopping the agricultural machine 30 to performing the stop operation and controlling the agricultural machine 30)
  • ⁇ is the friction coefficient. be.
  • each agricultural machine 30 moves according to a predetermined action plan, it is assumed that the agricultural machines 30 do not collide with each other, but the collision probability is increased in consideration of the collision between the agricultural machines 30. It may be calculated. In this case, after calculating the existence probabilities of each agricultural machine 30 in step S103 above, the collision probability of each agricultural machine 30 may be calculated by using these existence probabilities as well.
  • the video relay unit 106, the collision probability P i of each agricultural machine 30, by using the communication quality network information receiving unit 105 receives, as well as selecting the monitoring image to be distributed with a high image quality, the selection The communication band of the agricultural machine 30 for transmitting the surveillance video is determined (step S106). That is, the video relay unit 106 selects the surveillance video of the farm machine 30 i having the highest collision probability Pi as the surveillance video to be delivered with high video quality, and the communication band when the farm machine 30 transmits this surveillance video. Is determined to be a higher communication band determined in advance.
  • the video relay unit 106 may be divided into, for example, a selection unit that selects surveillance video to be distributed with high video quality, and a control unit or determination unit that determines a higher communication band.
  • the video quality of the surveillance video other than the surveillance video is lowered, and the communication band when the agricultural machine 30 transmits the other surveillance video is set to a lower communication band determined in advance.
  • the band may be determined.
  • the communication quality received by the network information receiving unit 105 is used to determine whether or not it is necessary to lower the video quality of the other surveillance video, and the video of the other surveillance video is determined according to the determination result. It may be determined that the quality is lowered, and the communication band when the agricultural machine 30 transmits the other surveillance video may be determined to be a lower communication band.
  • video relay unit 106 selects a distributing monitoring image of a plurality of agricultural machines 30 i with high image quality, the communication band A higher communication band may be determined.
  • the process in this step is not performed.
  • P max is the maximum value of ⁇ P 1, ⁇ , P M ⁇ .
  • step S108 the video relay unit 106 determines the video quality (resolution / frame) of the camera 31 of each agricultural machine 30 according to the communication band determined in step S106. Rate) is changed (step S108).
  • the video relay unit 106 can receive the surveillance video at 800 Mbps without delay, and The image quality of the camera 31 of the agricultural machine 30 is changed so as to obtain the highest image quality.
  • the camera 31 of the agricultural machine 30 determined to have a higher communication band in step S106 is changed to a higher image quality, and the camera 31 of the agricultural machine 30 determined to have a lower communication band in step S106 is more.
  • the video relay unit 106 distributes the monitoring image of the collision probability P i is the highest agricultural machine 30 i to the monitoring terminal 20 (step S109).
  • the monitoring image of the agricultural machine 30 having the highest probability of colliding with any object (more accurately, the object j whose coefficient a j is not 0) by the end time of the agricultural work is delivered to the observer terminal 20.
  • the video relay unit 106 may distribute not only the monitoring video of the agricultural machine 30 having the highest collision probability Pi but also the monitoring video of the other agricultural machine 30 to the monitor terminal 20.
  • the monitor terminal 20 side only the monitoring image of the agricultural machine 30 having the highest collision probability may be displayed, or the upper L (L is a predetermined integer of 2 or more) in descending order of the collision probability.
  • Only one surveillance image may be displayed, or a plurality of surveillance images may be displayed and only the surveillance image of the agricultural machine 30 having the highest collision probability may be displayed in a different manner (for example, a mode that calls attention). It may be displayed with.
  • the video relay unit 106 randomly selects one monitoring image from the monitoring images of each agricultural machine 30 (that is, agricultural machine 30 1 , ..., Agricultural machine 30 M), and the selected monitoring image. Is delivered to the observer terminal 20 (step S111). As a result, only one randomly selected surveillance image is delivered to the observer terminal 20. At this time, a plurality of surveillance images may be randomly selected.
  • the video relay unit 106 determines whether or not to end the distribution of the surveillance video (step S112).
  • the video relay unit 106 may determine that the distribution of the surveillance video is terminated, for example, when the farm work end time is reached or the distribution end time is determined in advance. As a result, the above steps S104 to S111 are repeatedly executed at predetermined time intervals until the distribution of the surveillance video is completed.
  • FIG. 8 is a flowchart showing an example of the video distribution process according to the second embodiment.
  • steps S201 to S212 are repeatedly executed at predetermined time intervals (for example, every 1 second to several seconds).
  • the processing contents of steps S201 to S212 are the same as the processing contents of steps S101 to S112 of FIG.
  • the acquisition of the position information (step S201) and the calculation of the existence probability (step S202) are also repeatedly executed at predetermined time intervals.
  • the existence probability is calculated each time when the collision probability is calculated, so that the collision probability can be calculated with higher accuracy than that of the first embodiment.
  • the video distribution system 1 calculates the probability (collision probability) that the agricultural machine 30 collides with an object (object j whose coefficient a j is not 0). Then, the image of the agricultural machine 30 having a high collision probability is selected. As a result, it is possible to improve the image quality of the selected image and deliver only the selected image to the observer terminal 20, and only the selected image is displayed in a different display mode on the observer terminal 20. It is possible to display it on. Therefore, the monitoring burden of the observer when monitoring the agricultural machine 30 is reduced or reduced, and one observer can monitor more agricultural machines 30. That is, it is possible to realize high scaleability with respect to the number of monitored vehicles in automatic driving.
  • Video distribution system 10 Video distribution server 11 Input device 12 Display device 13 External I / F 13a Recording medium 14 Communication I / F 15 Processor 16 Memory device 17 Bus 20 Observer terminal 30 Agricultural machine 31 Camera 32 GPS receiver 40 Camera 50 Pedestrian terminal 101 Position information management unit 102 Relative velocity calculation unit 103 Existence probability calculation unit 104 Collision probability calculation unit 105 Network information reception unit 106 Video relay unit 107 Label DB

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一実施形態に係る映像配信装置（１０）は、自動運転を行う複数の車両（３０）にそれぞれ搭載された複数のカメラ（３１）の映像を端末（２０）に配信する映像配信装置（１０）であって、所定の時刻までに前記車両（３０）が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部（１０４）と、前記複数のカメラ（３１）の映像うち、前記衝突確率が最も高い車両（３０）に搭載されたカメラ（３１）の映像を選択する選択部と、前記選択されたカメラ（３１）の映像の映像品質を高くする制御部と、を有することを特徴とする。

Description

映像配信装置、映像配信方法及びプログラム
　本発明は、映像配信装置、映像配信方法及びプログラムに関する。
　近年、トラクタ等の農機を対象として、自動運転レベル３（条件付き運転自動運転）の実用化が進められている。農機の自動運転レベル３の安全確保のためには、緊急停止や緊急操作等を行うための遠隔監視が義務付けられている。このため、遠隔監視時の問題点等に関して様々な検討が行われている（例えば、非特許文献１）。
　自動運転レベル３では、監視者の利用するインタフェースを工夫したり、監視者を育成したりすることで、１人の監視者が２～３台の車両を監視することが予定されている（例えば、非特許文献２）。また、複数台の車両を監視している監視者が１台の車両に対して遠隔操作を行った場合には、当該監視者は他の車両の監視や操作が困難になるため、自動的に他の車両を安全に停止させ、遠隔操作が完了した後で他の車両を再発進させる機能が知られている（例えば、非特許文献３～５）。
「第３回　自動運転の段階的実現に向けた調査検討委員会　議事概要」，インターネット＜ＵＲＬ：https://www.npa.go.jp/koutsuu/kikaku/jidounten/kentoiinkai/03/gijigaiyou.pdf＞ 「無人運転車に安心して乗車するために、遠隔から監視、操作するセンター開設 - MONOist（モノイスト）」，インターネット＜ＵＲＬ：https://monoist.atmarkit.co.jp/mn/articles/1809/28/news063.html＞ 「1人で複数台の自動運転車を遠隔監視、福井県永平寺町で「世界初」の公道実証 - MONOist（モノイスト）」，インターネット＜ＵＲＬ：https://monoist.atmarkit.co.jp/mn/articles/1811/16/news030.html＞ 「ラストマイル自動走行に関する新たな遠隔型実証実験を開始します ～遠隔ドライバー1 名が2 台の車両を運用する遠隔型自動運転の世界初の公道実証～」，インターネット＜ＵＲＬ：https://wwwtb.mlit.go.jp/chubu/press/pdf/gian20181114.pdf＞ 「遠隔型自動運転システムの公道実証実験に係る道路使用許可の申請に対する取扱いの基準」，インターネット＜ＵＲＬ：https://www.npa.go.jp/laws/notification/koutuu/kouki/290601koukih92.pdf＞
　しかしながら、従来技術又は手法では、１人の監視者が監視できる車両台数のスケール性に限界がある。すなわち、例えば、インタフェースの工夫や監視者の育成等では２～３台程度しか監視できないと考えられる。
　一方で、例えば、圃場等で作業する複数台の農機を監視する場合、全ての農機を平等に監視する必要は必ずしもないと考えられる。例えば、何等かの物体（人、動物、他の農機等も含む）に衝突する可能性がある農機は特に注意して監視する必要がある一方で、そうでない農機は比較的監視を緩めても（又は監視しなくても）良いと考えられる。このため、監視対象の農機に軽重を付けたり、実際に監視する農機を選択したりすることで、農機台数のスケール性を向上させることができると考えられる。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、自動運転における監視対象車両の高いスケール性を実現することを目的とする。
　上記目的を達成するため、一実施形態に係る映像配信装置は、自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置であって、所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部と、前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択部と、前記選択されたカメラの映像の映像品質を高くする制御部と、を有することを特徴とする。
　自動運転における監視対象車両の高いスケール性を実現することができる。
第一の実施形態に係る映像配信システムの全体構成の一例を示す図である。 第一の実施形態に係る映像配信サーバのハードウェア構成の一例を示す図である。 第一の実施形態に係る映像配信サーバの機能構成の一例を示す図である。 ラベルＤＢの一例を示す図である。 第一の実施形態に係る映像配信処理の一例を示すフローチャートである。 存在確率の一例を説明するための図である。 相対速度の計算方法の一例を説明するための図である。 第二の実施形態に係る映像配信処理の一例を示すフローチャートである。
　以下、本発明の一実施形態について説明する。以降では、圃場等で自動運転する農機を監視対象車両として、これらの農機が搭載するカメラの映像を遠隔監視先に配信する際に、農機の衝突確率に応じて映像品質（解像度・フレームレート）を制御する映像配信システム１について説明する。より具体的には、何等かの物体（人、動物、他の農機等も含む）に衝突する確率が高い農機の映像は高い映像品質で配信し、何等かの物体に衝突する可能性が低い農機の映像は低い映像品質で配信する映像配信システム１について説明する。これにより、衝突確率が高い農機は鮮明な映像で監視され、そうでない農機は比較的鮮明でない映像で監視されることになり、監視者は、自身が監視する農機に軽重を付けることが可能となる。このため、監視者は多くの農機を監視することが可能となり、自動運転における監視対象車両である農機の台数に関して高いスケール性を実現することができるようになる。
　［第一の実施形態］
　まず、第一の実施形態について説明する。
　＜全体構成＞
　本実施形態に係る映像配信システム１の全体構成について、図１を参照しながら説明する。図１は、第一の実施形態に係る映像配信システム１の全体構成の一例を示す図である。
　図１に示すように、本実施形態に係る映像配信システム１には、映像配信サーバ１０と、監視者端末２０と、１以上の農機３０と、１以上のカメラ４０とが含まれる。
　映像配信サーバ１０はエッジ又はクラウド上のシステム環境に設置されているサーバであり、農機３０に搭載されたカメラの映像を監視者端末２０に配信する。このとき、映像配信サーバ１０は、各農機３０の衝突確率に応じて各映像の映像品質を制御する。なお、エッジ又はクラウド上のシステム環境に対して、圃場及びその周囲のシステム環境をローカルと称する。
　監視者端末２０はローカルに対して遠隔地のシステム環境に設置された端末であり、自動運転する各農機３０に搭載されたカメラの映像を監視する監視者が利用する。監視者は、監視者端末２０に配信された映像を監視し、例えば、農機３０が何等かの物体に衝突しそうな場合等に、緊急停止や緊急操作等の操作を行うオペレータ等である。
　農機３０は、例えば、予め設定された行動計画に従って自動運転する車両である。ここで、農機３０には、農機３０の前方（及びその周囲）を撮影するカメラ３１と、農機３０の現在位置を測位するためのＧＰＳ（Global Positioning System）受信機３２とが搭載されている。農機３０は、カメラ３１により撮影された映像と、ＧＰＳ受信機３２により測位された現在位置を示す位置情報とを映像配信サーバ１０に送信する。以降では、複数台の農機３０の各々を区別する場合は「農機３０１」、「農機３０２」、「農機３０３」等と表す。また、農機３０１に搭載されているカメラ３１及びＧＰＳ受信機３２をそれぞれ「カメラ３１１」及び「ＧＰＳ受信機３２１」、農機３０２に搭載されているカメラ３１及びＧＰＳ受信機３２をそれぞれ「カメラ３１２」及び「ＧＰＳ受信機３２２」、農機３０３に搭載されているカメラ３１及びＧＰＳ受信機３２をそれぞれ「カメラ３１３」及び「ＧＰＳ受信機３２３」等と表す。
　なお、本実施形態では、農機３０とは、車輪又はクローラ等の走行装置を備えた農業機械のことを意味するものとする。農機３０の具体例としては、トラクタやコンバイン等が挙げられる。ただし、これらは一例であって、農機３０には自動運転（自動走行又は自動航行）可能な任意の農業機械が含まれていてもよい。具体的には、農機３０は、例えば、農業用のドローンや農業用の船舶等であってもよい。
　カメラ４０は、圃場内又はその周囲に設置された撮影装置である。カメラ４０は、圃場やその周囲を撮影した映像を映像配信サーバ１０に送信する。これにより、この映像から圃場及びその周囲に存在する物体（動物、人等）の位置情報を映像配信サーバ１０で管理することが可能となる。以降では、カメラ３１で撮影された映像とカメラ４０で撮影された映像とを区別するため、カメラ３１で撮影された映像を「監視用映像」、カメラ４０で撮影された映像を「位置特定用映像」とも表す。
　なお、図１に示す映像配信システム１の全体構成は一例であって、他の構成であってもよい。例えば、映像配信システム１には、複数の監視者端末２０が含まれていてもよいし、複数のカメラ４０が含まれていてもよい。映像配信システム１には、圃場及びその周囲を歩行する人が所持する歩行者端末５０が含まれていてもよい。
　映像配信システム１に歩行者端末５０が含まれる場合、この歩行者端末５０にＧＰＳ受信機が搭載されており、歩行者の現在位置を示す位置情報が映像配信サーバ１０に送信されてもよい。これにより、各時刻における歩行者の位置情報を映像配信サーバ１０で管理することができる。なお、歩行者端末５０としては、例えば、スマートフォンやウェアラブルデバイス等を用いることが可能である。以降では、複数の人の各々を区別する場合は「人１」、「人２」、「人３」等と表す。
　＜ハードウェア構成＞
　次に、本実施形態に係る映像配信サーバ１０のハードウェア構成について、図２を参照しながら説明する。図２は、第一の実施形態に係る映像配信サーバ１０のハードウェア構成の一例を示す図である。
　図２に示すように、本実施形態に係る映像配信サーバ１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、プロセッサ１５と、メモリ装置１６とを有する。これらの各ハードウェアは、それぞれがバス１７を介して通信可能に接続されている。
　入力装置１１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１２は、例えば、ディスプレイ等である。なお、映像配信サーバ１０は、入力装置１１及び表示装置１２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ１３は、記録媒体１３ａ等の各種外部装置とのインタフェースである。映像配信サーバ１０は、外部Ｉ／Ｆ１３を介して、例えば、記録媒体１３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
　通信Ｉ／Ｆ１４は、映像配信サーバ１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１５は、例えば、ＣＰＵ（Central Processing Unit）等の各種演算装置である。メモリ装置１６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
　本実施形態に係る映像配信サーバ１０は、図２に示すハードウェア構成を有することにより、後述する映像配信処理を実現することができる。なお、図２に示すハードウェア構成は一例であって、映像配信サーバ１０は、他のハードウェア構成を有していてもよい。例えば、映像配信サーバ１０は、複数のプロセッサ１５を有していてもよいし、複数のメモリ装置１６を有していてもよい。
　＜機能構成＞
　次に、本実施形態に係る映像配信サーバ１０の機能構成について、図３を参照しながら説明する。図３は、第一の実施形態に係る映像配信サーバ１０の機能構成の一例を示す図である。
　図３に示すように、本実施形態に係る映像配信サーバ１０は、位置情報管理部１０１と、相対速度計算部１０２と、存在確率計算部１０３と、衝突確率計算部１０４と、ネットワーク情報受信部１０５と、映像中継部１０６とを有する。これら各部は、例えば、映像配信サーバ１０にインストールされた１以上のプログラムがプロセッサ１５に実行させる処理により実現される。
　また、本実施形態に係る映像配信サーバ１０は、ラベルＤＢ１０７を有する。当該ＤＢは、例えば、メモリ装置１６により実現される。
　位置情報管理部１０１は、各農機３０及び各歩行者端末５０から位置情報を受信すると共に、カメラ５０から位置特定用映像を受信する。また、位置情報管理部１０１は、位置特定用映像から各物体（例えば、動物、人等）の位置を特定し、特定した位置を示す位置情報を生成する。各農機３０及び各歩行者端末５０から受信した位置情報と、位置特定用映像から特定した位置情報とは、例えば、時刻毎かつ物体（動物、人等）又は農機３０毎にメモリ装置１６等に保存される。このとき、歩行者端末５０から受信した位置情報と、位置特定用映像から特定した位置情報とが同一の人の位置情報を表す場合には、これらの位置情報が同一人の位置情報としてメモリ装置１６等に保存されることが好ましいが、異なる人の位置情報としてメモリ装置１６等に保存されてもよい。なお、位置情報管理部１０１は、既知の物体認識技術等により位置特定用映像から各物体の位置を特定すればよい。また、位置情報は統一されていれば、例えば、緯度及び軽度等で表現される絶対位置座標であってもよいし、何等かの基準（例えば、或る特定の農機３０や圃場内に設定された基準点等）から相対位置座標であってもよい。
　相対速度計算部１０２は、各物体の位置情報とラベルＤＢ１０７に格納されているラベル及び速度とを用いて、各物体（例えば、動物、人）と各農機３０との相対速度を計算する。なお、ラベルとは物体の分類のことであり、後述するように、物体の速度（正確には速さ）はラベル毎に予め決められている。
　存在確率計算部１０３は、各物体の位置情報とラベルＤＢ１０７に格納されているラベル及び速度とを用いて、所定の時刻（例えば、農作業終了時刻等）までの所定の領域（例えば、圃場内等）における各物体（例えば、動物、人）の存在確率を計算する。なお、存在確率計算部１０３は、例えば、参考文献１「杉村 大輔，小林 貴訓，佐藤 洋一，杉本 晃宏，"行動履歴に基づく人物存在確率の利用による人物三次元追跡の安定化"，情報処理学会論文誌　コンピュータビジョンとイメージメディア Vol. 1 No. 2 100-110(July 2008)」や参考文献２「田中 博己，高須 淳宏，山名 早人，"MAP推定を用いた歩行者の位置情報予測－POI推薦を目的として－"，DENIM Forum 2018 H5-4」等に記載されている手法により、所定の時刻までの所定の領域における各物体の存在確率を計算すればよい。
　衝突確率計算部１０４は、各物体の存在確率と、各物体のラベル毎に決められた係数とを用いて、所定の時刻までに各農機３０がいずれかの物体と衝突する確率（衝突確率）を計算する。
　ネットワーク情報受信部１０５は、映像配信サーバ１０と各農機３０との間の通信ネットワークの通信品質（例えば、通信帯域等）を受信する。なお、ネットワーク情報受信部１０５は、例えば、映像配信サーバ１０と各農機３０との間の通信ネットワークの通信品質を測定又は予測する外部の装置又は機器から通信品質を受信すればよい。ただし、例えば、ネットワーク情報受信部１０５が当該通信品質を測定又は予測してもよい。
　映像中継部１０６は、各農機３０の衝突確率に応じて、これら各農機３０に搭載されているカメラ３１の映像品質（解像度・フレームレート）を制御する。すなわち、映像中継部１０６は、衝突確率が高い農機３０に搭載されているカメラ３１を制御して、当該カメラ３１の映像品質を高くする。一方で、映像中継部１０６は、映像配信サーバ１０と監視者端末２０との間の通信ネットワークの通信品質（例えば、通信帯域等）に応じて、他の農機３０にそれぞれ搭載されているカメラ３１を制御して、これらのカメラ３１の映像品質を低くする。そして、映像中継部１０６は、各農機３０から受信した監視用映像を監視者端末２０に配信する。
　ラベルＤＢ１０７は、各農機３０と各物体との相対速度の計算、各物体の存在確率の計算、各農機３０の衝突確率の計算等に用いられる情報（ラベル、係数、速度）を格納する。ここで、ラベルＤＢ１０７に格納されている情報の一例について、図４を参照しながら説明する。図４は、ラベルＤＢ１０７の一例を示す図である。
　図４に示すように、ラベルＤＢ１０７には、ラベルと、係数ａと、速度ｖとが対応付けて格納されている。また、ラベルには、大分類と小分類とが含まれる。ここで、係数ａは農機３０と衝突しても問題ないか否かを表し、ａ＝１の場合は衝突してはいけないことを表し、ａ＝０の場合は衝突しても問題ないことを表す。
　例えば、大分類「人」及び小分類「子供」のラベルには、係数ａ＝１と、速度ｖ＝３．６とが対応付けられている。同様に、大分類「人」及び小分類「大人」のラベルには、係数ａ＝１と、速度ｖ＝４．５とが対応付けられている。同様に、大分類「動物」及び小分類「害獣」のラベルには、係数ａ＝０と、速度ｖ＝８．０とが対応付けられている。大分類「動物」及び小分類「その他」のラベルには、係数ａ＝１と、速度ｖ＝８．０とが対応付けられている。
　このように、ラベルＤＢ１０７には、物体の種類を表すラベル毎に、衝突可否を表す係数ａと、予め決められた速度ｖ（正確には速さ）とが対応付けて格納されている。
　＜映像配信処理＞
　次に、本実施形態に係る映像配信サーバ１０が監視用映像を監視者端末２０に配信するための映像配信処理について、図５を参照しながら説明する。図５は、第一の実施形態に係る映像配信処理の一例を示すフローチャートである。
　まず、位置情報管理部１０１は、各農機３０及び各物体（動物、人等）の現在時刻までの位置情報を取得する（ステップＳ１０１）。なお、位置情報管理部１０１は、例えば、メモリ装置１６等から各農機３０及び各物体の現在時刻までの位置情報を取得すればよい。
　次に、位置情報管理部１０１は、各物体にそれぞれ対応するラベル、係数ａ及び速度ｖをラベルＤＢ１０７から取得する（ステップＳ１０２）。すなわち、例えば、圃場及びその周囲に動物１～動物２及び人１～人３の物体が存在する場合、動物１のラベル「動物、害獣」、係数ａ＝０及び速度ｖ＝８．０と、動物２のラベル「動物、害獣」、係数ａ＝０及び速度ｖ＝８．０と、人１のラベル「人、大人」、係数ａ＝１及び速度ｖ＝４．５と、人２のラベル「人、大人」、係数ａ＝１及び速度ｖ＝４．５と、人３のラベル「人、大人」、係数ａ＝１及び速度ｖ＝４．５とが取得される。
　次に、存在確率計算部１０３は、各物体の位置情報とラベル及び速度とを用いて、所定の時刻までの所定の領域における各物体の存在確率を計算する（ステップＳ１０３）。上述したように、例えば、所定の時刻としては農作業終了時刻、所定の領域としては圃場内とすればよい。この場合、存在確率計算部１０３は、農作業終了時刻までの圃場内における各物体の存在確率を計算する。以降では、物体の総数をＮとして、或る領域ｋにおけるｊ（ｊ＝１，・・・，Ｎ）番目の物体（以下、「物体ｊ」という。）の存在確率をｐｋｊと表す。なお、上述したように、存在確率の計算には既知の手法が用いられる。
　ここで、或る物体ｊの存在確率ｐｋｊの計算結果の一例を図６に示す。図６に示す例では、物体ｊの周囲の領域１における存在確率はｐ１ｊ＝０．９、領域２における存在確率はｐ２ｊ＝０．１、領域１及び領域２以外の領域３（つまり、圃場内で、かつ、領域１及び領域２以外の領域）における存在確率はｐ３ｊ＝０となっている。これは、当該物体ｊが農作業終了時刻までに領域１にいる確率がｐ１ｊ＝０．９、農作業終了時刻までに領域２にいる確率がｐ３ｊ＝０．１、それ以外の領域３にいる確率はｐ３ｊ＝０であることを表している。
　なお、図６に示す例では、領域１は物体ｊの周囲の円又は楕円状の領域、領域２はその外側の円環又は楕円環状の領域としたが、これに限られず、任意の形状の領域における存在確率が計算されてもよい。例えば、メッシュ等の矩形状の領域における存在確率が計算されてもよい。また、図６に示す例では、領域１と領域２と領域３の３つの領域における存在確率を計算したが、１つ以上の領域であれば任意の数の領域における存在確率が計算されてもよい。
　以降のステップＳ１０４～ステップＳ１１２の処理は、監視用映像の配信が終了するまで（例えば、農作業終了時刻となるまで等）、所定の時間毎（例えば、１秒～数秒毎等）に繰り返し実行される。
　相対速度計算部１０２は、各物体の位置情報とラベル及び速度（速さ）とを用いて、各物体と各農機３０との相対速度を計算する（ステップＳ１０４）。例えば、図７に示すように、農機３０ｉの速度ベクトルをＶｉ、物体ｊの速度ベクトルをｖｊ、農機３０ｉに対する物体ｊの方向を表す角度をθｉｊ、速度ベクトルＶｉのθｉｊ方向の成分をＶｉｊ ａ（つまり、Ｖｉｊ ａ＝Ｖｉｃｏｓθｉｊ）とすれば、農機３０ｉと物体ｊとの相対速度Ｖｉｊは、Ｖｉｊ＝ｖｊ＋Ｖｉｊ ａにより計算される。ここで、速度ベクトルｖｊは、物体ｊのラベルに対応する速度（速さ）で、かつ、物体ｊから農機３０ｉへの方向のベクトルである。
　このように、相対速度計算部１０２は、各物体が、当該物体のラベルに対応する速さで、最短距離で各農機３０に向かうものとして相対速度を計算する。これは、後述するように、衝突確率を計算する際に、相対速度が速いほど、衝突確率の計算に用いる存在確率の数が多くなるためである。つまり、各物体は、各農機３０との衝突確率が最も高くなる方向に移動するものとしている。
　次に、衝突確率計算部１０４は、各物体の存在確率と、各物体のラベル毎に決められた係数とを用いて、所定の時刻（つまり、本実施形態では、農作業終了時刻）までに各農機３０がいずれかの物体と衝突する確率（衝突確率）を計算する（ステップＳ１０５）。農機３０の総数をＭ、物体ｊのラベルに対応する係数をａｊ、物体ｊに対する農機３０ｉの周囲の所定の領域をＤｉｊ、領域Ｄｉｊにおける物体ｊの存在確率をｑｊとして、農作業終了時刻までに農機３０ｉ（ｉ＝１，・・・，Ｍ）がいずれかの物体と衝突する衝突確率Ｐｉは、
Figure JPOXMLDOC01-appb-M000001
 により計算される。上記の存在確率ｑｊは、領域Ｄｉｊにおける物体ｊの存在確率ｐｋｊである。なお、物体ｊが領域Ｄｉｊ内で異なる複数の存在確率を取る場合、これらの複数の存在確率のうちで最も高い存在確率をｑｊとしてもよいし、これら複数の存在確率の平均をｑｊとしてもよい。
　ここで、上記の領域Ｄｉｊは、農機３０ｉと物体ｊとの相対速度Ｖｉｊに応じて決定される。例えば、領域Ｄｉｊは、農機３０ｉを中心として、ｄｉｊ＝ｄ'ｉｊ＋ｄ'を半径とする円形領域とすればよい。ｄ'［ｍ］は監視者が監視用映像から物体を確認するために必要な距離であり、予め決められた値（例えば、５［ｍ］等）とする。一方で、ｄ'ｉｊ［ｍ］は農機３０ｉを停止させるために必要な距離であり、ｄ'ｉｊ＝ｔｒ×Ｖｉｊ×（１０００／３６００）＋（Ｖｉ ２／（２５６×μ））により算出される。なお、ｔｒは反応時間（つまり、農機３０の停止の必要性を監視者が認識してから停止操作を行い当該農機３０が制御されるまでに要する時間［ｓ］）、μは摩擦係数である。
　なお、本実施形態では、各農機３０は予め決定された行動計画に従って移動しているため、農機３０同士が衝突することはないものとしたが、農機３０同士の衝突も考慮して衝突確率が計算されてもよい。この場合、上記のステップＳ１０３で各農機３０の存在確率を計算した上で、これらの存在確率も用いて各農機３０の衝突確率を計算すればよい。
　次に、映像中継部１０６は、各農機３０の衝突確率Ｐｉと、ネットワーク情報受信部１０５が受信した通信品質とを用いて、高い映像品質で配信する監視用映像を選択すると共に、当該選択した監視用映像を送信する農機３０の通信帯域を決定する（ステップＳ１０６）。すなわち、映像中継部１０６は、衝突確率Ｐｉが最も高い農機３０ｉの監視用映像を高い映像品質で配信する監視用映像に選択し、この監視用映像を農機３０が送信する際の通信帯域を、予め決められたより高い通信帯域に決定する。なお、映像中継部１０６は、例えば、高い映像品質で配信する監視用映像を選択する選択部と、より高い通信帯域に決定する制御部又は決定部とに分けることができてもよい。
　このとき、必要に応じて、当該監視用映像以外の他の監視用映像の映像品質を下げると共に、当該他の監視用映像を農機３０が送信する際の通信帯域を、予め決められたより低い通信帯域に決定してもよい。例えば、ネットワーク情報受信部１０５が受信した通信品質を用いて当該他の監視用映像の映像品質を下げる必要があるか否かを判定し、この判定結果に応じて当該他の監視用映像の映像品質を下げると決定すると共に、当該他の監視用映像を農機３０が送信する際の通信帯域をより低い通信帯域に決定してもよい。
　なお、衝突確率Ｐｉが最も高い農機３０ｉが複数台存在する場合、映像中継部１０６は、これら複数台の農機３０ｉの監視用映像を高い映像品質で配信すると選択し、その通信帯域をより高い通信帯域に決定してもよい。一方で、Ｐ１＝・・・＝ＰＭ＝０である場合は、本ステップの処理は行われない。
　次に、映像中継部１０６は、Ｐｍａｘ＝０であるか否かを判定する（ステップＳ１０７）。ここで、Ｐｍａｘは、｛Ｐ１，・・・，ＰＭ｝の最大値である。
　上記のステップＳ１０７でＰｍａｘ＝０であると判定されなかった場合、映像中継部１０６は、上記のステップＳ１０６で決定した通信帯域に応じて、各農機３０のカメラ３１の映像品質（解像度・フレームレート）を変更する（ステップＳ１０８）。例えば、上記のステップＳ１０６において、或る農機３０が監視用映像を送信する際の通信帯域が８００Ｍｂｐｓと決定された場合、映像中継部１０６は、８００Ｍｂｐｓで遅延なく監視用映像が受信可能で、かつ、最も高い映像品質となるように、当該農機３０のカメラ３１の映像品質を変更する。これにより、上記のステップＳ１０６でより高い通信帯域に決定された農機３０のカメラ３１はより高い映像品質に変更され、上記のステップＳ１０６でより低い通信帯域に決定された農機３０のカメラ３１はより低い映像品質に変更される。このように、何等かの物体と衝突する確率が高い農機３０の映像品質を高くすることで、例えば、衝突対象の物体の大きさや色等の関係により通常の映像品質では監視用映像上で確認が困難な場合であっても、高い映像品質の監視用映像により監視者が容易に衝突対象を確認することができるようになる。
　次に、映像中継部１０６は、衝突確率Ｐｉが最も高い農機３０ｉの監視用映像を監視者端末２０に配信する（ステップＳ１０９）。これにより、農作業終了時刻までに何等かの物体（より正確には、係数ａｊが０でない物体ｊ）と衝突する確率の最も高い農機３０の監視用映像が監視者端末２０に配信される。
　ただし、映像中継部１０６は、衝突確率Ｐｉが最も高い農機３０の監視用映像だけでなく、他の農機３０の監視用映像も監視者端末２０に配信してもよい。このとき、例えば、監視者端末２０側では、衝突確率が最も高い農機３０の監視用映像のみを表示してもよいし、衝突確率が高い順に上位Ｌ（Ｌは予め決められた２以上の整数）個の監視用映像のみを表示してもよいし、複数の監視用映像を表示すると共に衝突確率が最も高い農機３０の監視用映像のみを異なる態様（例えば、注意喚起を促すような態様）で表示してもよい。
　一方で、上記のステップＳ１０７でＰｍａｘ＝０であると判定された場合、映像中継部１０６は、各農機３０（つまり、農機３０１，・・・，農機３０Ｍ）のカメラ３１の映像品質（解像度・フレームレート）を同一に変更する（ステップＳ１１０）。この場合、全ての農機３０は物体（係数ａｊが０でない物体ｊ）と衝突しないためである。
　次に、映像中継部１０６は、各農機３０（つまり、農機３０１，・・・，農機３０Ｍ）の監視用映像の中から１つの監視用映像をランダムに選択し、選択した監視用映像を監視者端末２０に配信する（ステップＳ１１１）。これにより、ランダムに選択された１つの監視用映像のみが監視者端末２０に配信される。なお、このとき、複数個の監視用映像がランダムに選択されてもよい。
　ステップＳ１０９又はステップＳ１１１に続いて、映像中継部１０６は、監視用映像の配信を終了するか否かを判定する（ステップＳ１１２）。なお、映像中継部１０６は、例えば、農作業終了時刻になった場合や予め決められた配信終了時刻になった場合等に、監視用映像の配信を終了すると判定すればよい。これにより、監視用映像の配信を終了するまで、上記のステップＳ１０４～ステップＳ１１１が所定の時間毎に繰り返し実行される。
　［第二の実施形態］
　次に、第二の実施形態について説明する。なお、第二の実施形態では、映像配信処理の流れのみが第一の実施形態と異なる。
　＜映像配信処理＞
　本実施形態に係る映像配信サーバ１０が監視用映像を監視者端末２０に配信するための映像配信処理について、図８を参照しながら説明する。図８は、第二の実施形態に係る映像配信処理の一例を示すフローチャートである。
　図８に示す映像配信処理では、所定の時間毎（例えば、１秒～数秒毎等）に、ステップＳ２０１～ステップＳ２１２の処理が繰り返し実行される。なお、ステップＳ２０１～ステップＳ２１２の処理内容は、図３のステップＳ１０１～ステップＳ１１２の処理内容とそれぞれ同様である。
　このように、第二の実施形態では、位置情報の取得（ステップＳ２０１）と存在確率の計算（ステップＳ２０２）も所定の時間毎に繰り返し実行される。これにより、映像配信サーバ１０の計算量は多くなるものの、衝突確率を計算する際に存在確率が都度計算されるため、第一の実施形態よりも高い精度で衝突確率を計算することが可能となる。
　＜まとめ＞
　以上のように、第一及び第二の実施形態に係る映像配信システム１は、農機３０が何からの物体（係数ａｊが０でない物体ｊ）と衝突する確率（衝突確率）を計算した上で、この衝突確率が高い農機３０の映像を選択する。これにより、この選択された映像の映像品質を高くしたり、選択された映像のみを監視者端末２０に配信したりすることが可能となり、選択された映像のみを異なる表示態様で監視者端末２０に表示させたりすることが可能となる。このため、農機３０を監視する際の監視者の監視負担が削減又は軽減され、１人の監視者でより多くの農機３０を監視することが可能なる。すなわち、自動運転における監視対象車両の台数に関して高いスケール性を実現することが可能となる。
　本発明は、具体的に開示された上記の各実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１　　　　映像配信システム
　１０　　　映像配信サーバ
　１１　　　入力装置
　１２　　　表示装置
　１３　　　外部Ｉ／Ｆ
　１３ａ　　記録媒体
　１４　　　通信Ｉ／Ｆ
　１５　　　プロセッサ
　１６　　　メモリ装置
　１７　　　バス
　２０　　　監視者端末
　３０　　　農機
　３１　　　カメラ
　３２　　　ＧＰＳ受信機
　４０　　　カメラ
　５０　　　歩行者端末
　１０１　　位置情報管理部
　１０２　　相対速度計算部
　１０３　　存在確率計算部
　１０４　　衝突確率計算部
　１０５　　ネットワーク情報受信部
　１０６　　映像中継部
　１０７　　ラベルＤＢ

Claims (8)

  1. 　自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置であって、
    　所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部と、
    　前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択部と、
    　前記選択されたカメラの映像の映像品質を高くする制御部と、
    　を有することを特徴とする映像配信装置。
  2. 　前記制御部は、
    　前記複数のカメラの映像のうち、前記選択されたカメラの映像を前記端末に配信するように制御する、請求項１に記載の映像配信装置。
  3. 　前記制御部は、
    　前記車両との間の通信ネットワークの通信品質に応じて、前記選択されたカメラの映像以外の映像の映像品質を低くする、ことを特徴とする請求項１又は２に記載の映像配信装置。
  4. 　前記所定の時刻までに所定の領域に前記物体が存在する確率を示す存在確率を計算する存在確率計算部を有し、
    　前記衝突確率計算部は、
    　前記物体の種類毎に予め決められた衝突可否を用いて、前記車両毎に、前記衝突確率を計算する、ことを特徴とする請求項１乃至３の何れか一項に記載の映像配信装置。
  5. 　前記衝突確率計算部は、
    　前記物体の衝突可否が衝突可である場合は、前記物体の存在確率を考慮せずに前記衝突確率を計算し、
    　前記物体の衝突可否が衝突不可である場合は、前記物体の存在確率を考慮した前記衝突確率を計算する、ことを特徴とする請求項４に記載の映像配信装置。
  6. 　前記映像配信装置は、
    　前記衝突確率計算部によって前記衝突確率を計算する都度、前記存在確率計算部によって前記存在確率を計算する、ことを特徴とする請求項４又は５に記載の映像配信装置。
  7. 　自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置が、
    　所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算手順と、
    　前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択手順と、
    　前記選択されたカメラの映像の映像品質を高くする制御手順と、
    　を実行することを特徴とする映像配信方法。
  8. 　コンピュータを、請求項１乃至６の何れか一項に記載の映像配信装置として機能させるプログラム。
PCT/JP2020/016732 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム WO2021210134A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022514954A JP7416219B2 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム
US17/919,116 US20230169862A1 (en) 2020-04-16 2020-04-16 Video distribution apparatus, video distribution method and program
PCT/JP2020/016732 WO2021210134A1 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/016732 WO2021210134A1 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021210134A1 true WO2021210134A1 (ja) 2021-10-21

Family

ID=78084158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016732 WO2021210134A1 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム

Country Status (3)

Country Link
US (1) US20230169862A1 (ja)
JP (1) JP7416219B2 (ja)
WO (1) WO2021210134A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170768A1 (ja) * 2022-03-08 2023-09-14 日本電気株式会社 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094885A (ja) * 2007-10-10 2009-04-30 Victor Co Of Japan Ltd 無線装置および接続方法
JP2009239673A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両用モニタリング装置
WO2013118191A1 (ja) * 2012-02-10 2013-08-15 三菱電機株式会社 運転支援装置及び運転支援方法
JP2018074286A (ja) * 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置
WO2018167891A1 (ja) * 2017-03-15 2018-09-20 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2019008796A (ja) * 2017-06-23 2019-01-17 ウーバー テクノロジーズ，インコーポレイテッド 自律可能車両用衝突回避システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6779835B2 (ja) * 2017-06-15 2020-11-04 株式会社日立製作所 監視制御システム、監視制御装置及び監視制御方法
US20220277164A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Technologies for image signal processing and video processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094885A (ja) * 2007-10-10 2009-04-30 Victor Co Of Japan Ltd 無線装置および接続方法
JP2009239673A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両用モニタリング装置
WO2013118191A1 (ja) * 2012-02-10 2013-08-15 三菱電機株式会社 運転支援装置及び運転支援方法
JP2018074286A (ja) * 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置
WO2018167891A1 (ja) * 2017-03-15 2018-09-20 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2019008796A (ja) * 2017-06-23 2019-01-17 ウーバー テクノロジーズ，インコーポレイテッド 自律可能車両用衝突回避システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170768A1 (ja) * 2022-03-08 2023-09-14 日本電気株式会社 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US20230169862A1 (en) 2023-06-01
JP7416219B2 (ja) 2024-01-17
JPWO2021210134A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US20200369271A1 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
US11449073B2 (en) Shared vehicle obstacle data
US10909628B1 (en) Accident fault determination implementing unmanned aerial vehicles (UAVS)
CN113366497B (zh) 自主载具的智能体优先级划分
EP3602220B1 (en) Dynamic sensor selection for self-driving vehicles
EP2444919B1 (en) Method and apparatus for generating alerts
US11783568B2 (en) Object classification using extra-regional context
EP3460406A1 (en) Information processing apparatus, vehicle, information processing method, running control method, and map updating method
JP7355877B2 (ja) 車路協同自動運転の制御方法、装置、電子機器及び車両
US8818043B2 (en) Traffic signal mapping and detection
US10849543B2 (en) Focus-based tagging of sensor data
WO2017079301A1 (en) Calibration for autonomous vehicle operation
DE102019122400A1 (de) Prognostizieren einer bewegungsabsicht von objekten
US11269327B2 (en) Picking up and dropping off passengers at an airport using an autonomous vehicle
CN110959143A (zh) 信息处理装置、信息处理方法、程序和移动体
US20230045416A1 (en) Information processing device, information processing method, and information processing program
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置
EP3690845A1 (en) Method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion and server using the same
WO2021210134A1 (ja) 映像配信装置、映像配信方法及びプログラム
US20220377283A1 (en) Image data collecting apparatus, method, and program
US20230373503A1 (en) Vehicle controller, method and computer program for vehicle control, priority setting device, and vehicle control system
US20230322252A1 (en) True vision autonomous mobile system
US20220309848A1 (en) Signal processing device, signal processing method, program, and imaging device
US20240217529A1 (en) Failover handling in autonomous vehicles
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931421

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022514954

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20931421

Country of ref document: EP

Kind code of ref document: A1