WO2021210134A1 - 映像配信装置、映像配信方法及びプログラム - Google Patents
映像配信装置、映像配信方法及びプログラム Download PDFInfo
- Publication number
- WO2021210134A1 WO2021210134A1 PCT/JP2020/016732 JP2020016732W WO2021210134A1 WO 2021210134 A1 WO2021210134 A1 WO 2021210134A1 JP 2020016732 W JP2020016732 W JP 2020016732W WO 2021210134 A1 WO2021210134 A1 WO 2021210134A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- probability
- video
- collision
- video distribution
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000005540 biological transmission Effects 0.000 title abstract 4
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims description 32
- 238000010187 selection method Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 17
- 241001465754 Metazoa Species 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
Definitions
- the present invention relates to a video distribution device, a video distribution method, and a program.
- Non-Patent Document 2 At autonomous driving level 3, one observer is scheduled to monitor two or three vehicles by devising the interface used by the observer and training the observer (for example). , Non-Patent Document 2).
- an observer who monitors a plurality of vehicles remotely controls one vehicle, it becomes difficult for the observer to monitor and operate the other vehicle, so that the observer automatically operates the vehicle.
- a function of safely stopping another vehicle and restarting the other vehicle after the remote control is completed is known (for example, Non-Patent Documents 3 to 5).
- One embodiment of the present invention has been made in view of the above points, and an object of the present invention is to realize high scaleability of a monitored vehicle in automatic driving.
- the video distribution device is a video distribution device that distributes images from a plurality of cameras mounted on a plurality of vehicles that perform automatic driving to terminals, and until a predetermined time.
- a collision probability calculation unit that calculates a collision probability indicating the probability that the vehicle will collide with an object
- a selection unit that selects an image of a camera mounted on the vehicle having the highest collision probability among the images of the plurality of cameras. It is characterized by having a control unit for improving the image quality of the image of the selected camera.
- the image quality (resolution / frame rate) will be adjusted according to the collision probability of the agricultural machines.
- the video distribution system 1 that controls the above will be described. More specifically, the image of an agricultural machine that has a high probability of colliding with some object (including humans, animals, other agricultural machines, etc.) is delivered with high image quality, and the possibility of colliding with any object is low.
- the video distribution system 1 for delivering the video of the agricultural machine with low video quality will be described.
- FIG. 1 is a diagram showing an example of the overall configuration of the video distribution system 1 according to the first embodiment.
- the video distribution system 1 includes a video distribution server 10, a monitor terminal 20, one or more agricultural machines 30, and one or more cameras 40.
- the video distribution server 10 is a server installed in a system environment on the edge or the cloud, and distributes the video of the camera mounted on the agricultural machine 30 to the monitor terminal 20. At this time, the video distribution server 10 controls the video quality of each video according to the collision probability of each agricultural machine 30.
- the system environment in and around the field is referred to as local with respect to the system environment on the edge or the cloud.
- the observer terminal 20 is a terminal installed in a system environment in a remote location relative to the local area, and is used by an observer who monitors the image of a camera mounted on each of the automatically operated agricultural machines 30.
- the observer is an operator or the like who monitors the video delivered to the observer terminal 20 and performs an operation such as an emergency stop or an emergency operation when the agricultural machine 30 is likely to collide with some object.
- the agricultural machine 30 is, for example, a vehicle that automatically operates according to a preset action plan.
- the agricultural machine 30 is equipped with a camera 31 for photographing the front (and its surroundings) of the agricultural machine 30 and a GPS (Global Positioning System) receiver 32 for positioning the current position of the agricultural machine 30.
- the agricultural machine 30 transmits the image taken by the camera 31 and the position information indicating the current position determined by the GPS receiver 32 to the image distribution server 10.
- agricultural machine 30 1 when distinguishing each of the plurality of agricultural machines 30, they are referred to as "agricultural machine 30 1 ", "agricultural machine 30 2 ", “agricultural machine 30 3 " and the like.
- agricultural machinery 30 respectively "Camera 31 1” camera 31 and the GPS receiver 32 mounted on the first and “GPS receiver 32 1”, respectively camera 31 and the GPS receiver 32 mounted on the agricultural machine 30 2 It referred to as “camera 312” and “GPS receiver 32 2”, respectively camera 31 and the GPS receiver 32 mounted on the agricultural machine 30 3 "camera 31 3” and the like “GPS receiver 32 3”.
- the agricultural machine 30 means an agricultural machine provided with a traveling device such as a wheel or a crawler.
- a traveling device such as a wheel or a crawler.
- the agricultural machine 30 include a tractor, a combine, and the like.
- the agricultural machine 30 may include any agricultural machine capable of automatic operation (automatic running or automatic navigation).
- the agricultural machine 30 may be, for example, a drone for agriculture, a ship for agriculture, or the like.
- the camera 40 is a photographing device installed in or around the field.
- the camera 40 transmits a video image of the field and its surroundings to the video distribution server 10. This makes it possible for the video distribution server 10 to manage the position information of the field and objects (animals, people, etc.) existing around the field from this video.
- the image taken by the camera 31 is referred to as a “surveillance image” and the image taken by the camera 40 is referred to as a “position identification image”.
- video Also referred to as "video”.
- the overall configuration of the video distribution system 1 shown in FIG. 1 is an example, and may be another configuration.
- the video distribution system 1 may include a plurality of observer terminals 20, or may include a plurality of cameras 40.
- the video distribution system 1 may include a pedestrian terminal 50 possessed by a person walking in and around the field.
- the pedestrian terminal 50 When the video distribution system 1 includes a pedestrian terminal 50, the pedestrian terminal 50 may be equipped with a GPS receiver, and position information indicating the current position of the pedestrian may be transmitted to the video distribution server 10. Thereby, the position information of the pedestrian at each time can be managed by the video distribution server 10.
- the pedestrian terminal 50 for example, a smartphone, a wearable device, or the like can be used.
- person 1 when distinguishing each of a plurality of people, they are expressed as "person 1", “person 2", “person 3" and the like.
- FIG. 2 is a diagram showing an example of the hardware configuration of the video distribution server 10 according to the first embodiment.
- the video distribution server 10 is realized by a general computer or computer system, and includes an input device 11, a display device 12, an external I / F13, and a communication I / F14. It has a processor 15 and a memory device 16. Each of these hardware is communicably connected via the bus 17.
- the input device 11 is, for example, a keyboard, a mouse, a touch panel, or the like.
- the display device 12 is, for example, a display or the like.
- the video distribution server 10 does not have to have at least one of the input device 11 and the display device 12.
- the external I / F 13 is an interface with various external devices such as a recording medium 13a.
- the video distribution server 10 can, for example, read or write the recording medium 13a via the external I / F 13.
- the recording medium 13a includes, for example, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), a USB (Universal Serial Bus) memory card, and the like.
- the communication I / F 14 is an interface for connecting the video distribution server 10 to the communication network.
- the processor 15 is, for example, various arithmetic units such as a CPU (Central Processing Unit).
- the memory device 16 is, for example, various storage devices such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory.
- the video distribution server 10 can realize the video distribution process described later.
- the hardware configuration shown in FIG. 2 is an example, and the video distribution server 10 may have another hardware configuration.
- the video distribution server 10 may have a plurality of processors 15 or a plurality of memory devices 16.
- FIG. 3 is a diagram showing an example of the functional configuration of the video distribution server 10 according to the first embodiment.
- the video distribution server 10 includes a position information management unit 101, a relative speed calculation unit 102, an existence probability calculation unit 103, a collision probability calculation unit 104, and a network information reception unit. It has 105 and a video relay unit 106. Each of these parts is realized, for example, by a process in which one or more programs installed in the video distribution server 10 cause the processor 15 to execute.
- the video distribution server 10 has a label DB 107.
- the DB is realized by, for example, the memory device 16.
- the position information management unit 101 receives position information from each agricultural machine 30 and each pedestrian terminal 50, and also receives a position identification image from the camera 50. Further, the position information management unit 101 identifies the position of each object (for example, an animal, a person, etc.) from the position specifying image, and generates position information indicating the specified position.
- the position information received from each agricultural machine 30 and each pedestrian terminal 50 and the position information specified from the position identification image are, for example, in the memory device 16 or the like for each time and object (animal, person, etc.) or each agricultural machine 30. It will be saved.
- the position information management unit 101 may specify the position of each object from the position identification image by using a known object recognition technique or the like. Further, as long as the position information is unified, it may be, for example, absolute position coordinates expressed in latitude, mildness, etc., or set in some standard (for example, a specific agricultural machine 30 or a field). It may be relative position coordinates from the reference point, etc.).
- the relative velocity calculation unit 102 calculates the relative velocity between each object (for example, an animal or a person) and each agricultural machine 30 by using the position information of each object and the label and velocity stored in the label DB 107.
- the label is a classification of an object, and as will be described later, the speed (accurately, the speed) of the object is predetermined for each label.
- the existence probability calculation unit 103 uses the position information of each object and the label and speed stored in the label DB 107 to a predetermined area (for example, in a field, etc.) up to a predetermined time (for example, farm work end time, etc.). ), The existence probability of each object (for example, animal, person) is calculated.
- the existence probability calculation unit 103 is described in, for example, Reference 1 "Daisuke Sugimura, Takanori Kobayashi, Yoichi Sato, Akihiro Sugimoto," Stabilization of three-dimensional tracking of a person by using the probability of existence of a person based on behavior history ", Information Processing. Academic journal Computer Vision and Image Media Vol. 1 No.
- the collision probability calculation unit 104 uses the existence probability of each object and the coefficient determined for each label of each object, and the probability that each agricultural machine 30 collides with any object by a predetermined time (collision probability). To calculate.
- the network information receiving unit 105 receives the communication quality (for example, communication band, etc.) of the communication network between the video distribution server 10 and each agricultural machine 30.
- the network information receiving unit 105 may receive the communication quality from, for example, an external device or device that measures or predicts the communication quality of the communication network between the video distribution server 10 and each agricultural machine 30. However, for example, the network information receiving unit 105 may measure or predict the communication quality.
- the video relay unit 106 controls the video quality (resolution / frame rate) of the camera 31 mounted on each of the agricultural machines 30 according to the collision probability of each of the agricultural machines 30. That is, the video relay unit 106 controls the camera 31 mounted on the agricultural machine 30 having a high collision probability to improve the video quality of the camera 31.
- the video relay unit 106 is a camera 31 mounted on another agricultural machine 30 according to the communication quality (for example, communication band) of the communication network between the video distribution server 10 and the monitor terminal 20. Is controlled to lower the image quality of these cameras 31. Then, the video relay unit 106 distributes the surveillance video received from each agricultural machine 30 to the monitor terminal 20.
- the label DB 107 stores information (label, coefficient, speed) used for calculation of relative velocity between each agricultural machine 30 and each object, calculation of existence probability of each object, calculation of collision probability of each agricultural machine 30, and the like.
- information label, coefficient, speed
- FIG. 4 is a diagram showing an example of the label DB 107.
- the label, the coefficient a, and the velocity v are stored in association with each other in the label DB 107.
- the label includes a major classification and a minor classification.
- the coefficient a indicating the possibility of collision and the predetermined speed v are stored in association with each label indicating the type of the object.
- FIG. 5 is a flowchart showing an example of the video distribution process according to the first embodiment.
- the position information management unit 101 acquires the position information of each agricultural machine 30 and each object (animal, person, etc.) up to the current time (step S101).
- the position information management unit 101 may acquire position information up to the current time of each agricultural machine 30 and each object from, for example, a memory device 16 or the like.
- the existence probability calculation unit 103 calculates the existence probability of each object in a predetermined area up to a predetermined time by using the position information of each object, the label, and the velocity (step S103).
- the predetermined time may be the farm work end time, and the predetermined area may be in the field.
- the existence probability calculation unit 103 calculates the existence probability of each object in the field up to the farm work end time.
- the total number of objects is N
- a known method is used for calculating the existence probability.
- FIG. 6 an example of the calculation result of the existence probability pkj of a certain object j is shown in FIG.
- the region 1 and the region 3 other than the region 2 that is, the region 3
- the other areas 3 are.
- the region 1 is a circular or elliptical region around the object j, and the region 2 is an outer annular or elliptical ring region, but the region 1 is not limited to this and has an arbitrary shape.
- the probability of existence in the region may be calculated. For example, the probability of existence in a rectangular area such as a mesh may be calculated. Further, in the example shown in FIG. 6, the existence probabilities in the three areas of the area 1, the area 2 and the area 3 are calculated, but if it is one or more areas, the existence probabilities in any number of areas can be calculated. good.
- steps S104 to S112 are repeatedly executed at predetermined time intervals (for example, every 1 second to several seconds) until the distribution of the surveillance video is completed (for example, until the farm work end time is reached). NS.
- the relative velocity calculation unit 102 calculates the relative velocity between each object and each agricultural machine 30 using the position information of each object, the label, and the velocity (velocity) (step S104). For example, as shown in FIG. 7, the velocity vector of the agricultural machine 30 i is V i , the velocity vector of the object j is v j , the angle representing the direction of the object j with respect to the agricultural machine 30 i is ⁇ ij , and the velocity vector V i is ⁇ ij.
- V ij a V i cos ⁇ ij
- V ij a V i cos ⁇ ij
- the velocity vector v j is a velocity (velocity) corresponding to the label of the object j, and is a vector in the direction from the object j to the agricultural machine 30 i.
- the relative speed calculation unit 102 calculates the relative speed assuming that each object heads for each agricultural machine 30 at the shortest distance at a speed corresponding to the label of the object. This is because, as will be described later, when calculating the collision probability, the faster the relative velocity, the larger the number of existence probabilities used in the calculation of the collision probability. That is, each object is supposed to move in the direction in which the probability of collision with each agricultural machine 30 is highest.
- the collision probability calculation unit 104 uses the existence probability of each object and the coefficient determined for each label of each object by a predetermined time (that is, in the present embodiment, the farm work end time).
- the probability (collision probability) that the agricultural machine 30 collides with any object is calculated (step S105).
- the above-mentioned existence probability q j is the existence probability p kj of the object j in the region D ij .
- the object j takes different existence probability in the area D ij, to the highest existence probability among the plurality of the existence probability may be q j, the average of the plurality of presence probability q j May be.
- the above-mentioned region D ij is determined according to the relative velocity V ij of the agricultural machine 30 i and the object j.
- d'[m] is a distance required for the observer to confirm the object from the surveillance image, and is a predetermined value (for example, 5 [m] or the like).
- d 'ij [m] is the distance required to stop the agricultural machine 30 i
- d' ij t r ⁇ V ij ⁇ (1000/3600) + (V i 2 / (256 ⁇ ⁇ ) ) Is calculated.
- tr is the reaction time (that is, the time [s] required from the observer recognizing the necessity of stopping the agricultural machine 30 to performing the stop operation and controlling the agricultural machine 30)
- ⁇ is the friction coefficient. be.
- each agricultural machine 30 moves according to a predetermined action plan, it is assumed that the agricultural machines 30 do not collide with each other, but the collision probability is increased in consideration of the collision between the agricultural machines 30. It may be calculated. In this case, after calculating the existence probabilities of each agricultural machine 30 in step S103 above, the collision probability of each agricultural machine 30 may be calculated by using these existence probabilities as well.
- the video relay unit 106, the collision probability P i of each agricultural machine 30, by using the communication quality network information receiving unit 105 receives, as well as selecting the monitoring image to be distributed with a high image quality, the selection The communication band of the agricultural machine 30 for transmitting the surveillance video is determined (step S106). That is, the video relay unit 106 selects the surveillance video of the farm machine 30 i having the highest collision probability Pi as the surveillance video to be delivered with high video quality, and the communication band when the farm machine 30 transmits this surveillance video. Is determined to be a higher communication band determined in advance.
- the video relay unit 106 may be divided into, for example, a selection unit that selects surveillance video to be distributed with high video quality, and a control unit or determination unit that determines a higher communication band.
- the video quality of the surveillance video other than the surveillance video is lowered, and the communication band when the agricultural machine 30 transmits the other surveillance video is set to a lower communication band determined in advance.
- the band may be determined.
- the communication quality received by the network information receiving unit 105 is used to determine whether or not it is necessary to lower the video quality of the other surveillance video, and the video of the other surveillance video is determined according to the determination result. It may be determined that the quality is lowered, and the communication band when the agricultural machine 30 transmits the other surveillance video may be determined to be a lower communication band.
- video relay unit 106 selects a distributing monitoring image of a plurality of agricultural machines 30 i with high image quality, the communication band A higher communication band may be determined.
- the process in this step is not performed.
- P max is the maximum value of ⁇ P 1, ⁇ , P M ⁇ .
- step S108 the video relay unit 106 determines the video quality (resolution / frame) of the camera 31 of each agricultural machine 30 according to the communication band determined in step S106. Rate) is changed (step S108).
- the video relay unit 106 can receive the surveillance video at 800 Mbps without delay, and The image quality of the camera 31 of the agricultural machine 30 is changed so as to obtain the highest image quality.
- the camera 31 of the agricultural machine 30 determined to have a higher communication band in step S106 is changed to a higher image quality, and the camera 31 of the agricultural machine 30 determined to have a lower communication band in step S106 is more.
- the video relay unit 106 distributes the monitoring image of the collision probability P i is the highest agricultural machine 30 i to the monitoring terminal 20 (step S109).
- the monitoring image of the agricultural machine 30 having the highest probability of colliding with any object (more accurately, the object j whose coefficient a j is not 0) by the end time of the agricultural work is delivered to the observer terminal 20.
- the video relay unit 106 may distribute not only the monitoring video of the agricultural machine 30 having the highest collision probability Pi but also the monitoring video of the other agricultural machine 30 to the monitor terminal 20.
- the monitor terminal 20 side only the monitoring image of the agricultural machine 30 having the highest collision probability may be displayed, or the upper L (L is a predetermined integer of 2 or more) in descending order of the collision probability.
- Only one surveillance image may be displayed, or a plurality of surveillance images may be displayed and only the surveillance image of the agricultural machine 30 having the highest collision probability may be displayed in a different manner (for example, a mode that calls attention). It may be displayed with.
- the video relay unit 106 randomly selects one monitoring image from the monitoring images of each agricultural machine 30 (that is, agricultural machine 30 1 , ..., Agricultural machine 30 M), and the selected monitoring image. Is delivered to the observer terminal 20 (step S111). As a result, only one randomly selected surveillance image is delivered to the observer terminal 20. At this time, a plurality of surveillance images may be randomly selected.
- the video relay unit 106 determines whether or not to end the distribution of the surveillance video (step S112).
- the video relay unit 106 may determine that the distribution of the surveillance video is terminated, for example, when the farm work end time is reached or the distribution end time is determined in advance. As a result, the above steps S104 to S111 are repeatedly executed at predetermined time intervals until the distribution of the surveillance video is completed.
- FIG. 8 is a flowchart showing an example of the video distribution process according to the second embodiment.
- steps S201 to S212 are repeatedly executed at predetermined time intervals (for example, every 1 second to several seconds).
- the processing contents of steps S201 to S212 are the same as the processing contents of steps S101 to S112 of FIG.
- the acquisition of the position information (step S201) and the calculation of the existence probability (step S202) are also repeatedly executed at predetermined time intervals.
- the existence probability is calculated each time when the collision probability is calculated, so that the collision probability can be calculated with higher accuracy than that of the first embodiment.
- the video distribution system 1 calculates the probability (collision probability) that the agricultural machine 30 collides with an object (object j whose coefficient a j is not 0). Then, the image of the agricultural machine 30 having a high collision probability is selected. As a result, it is possible to improve the image quality of the selected image and deliver only the selected image to the observer terminal 20, and only the selected image is displayed in a different display mode on the observer terminal 20. It is possible to display it on. Therefore, the monitoring burden of the observer when monitoring the agricultural machine 30 is reduced or reduced, and one observer can monitor more agricultural machines 30. That is, it is possible to realize high scaleability with respect to the number of monitored vehicles in automatic driving.
- Video distribution system 10 Video distribution server 11 Input device 12 Display device 13 External I / F 13a Recording medium 14 Communication I / F 15 Processor 16 Memory device 17 Bus 20 Observer terminal 30 Agricultural machine 31 Camera 32 GPS receiver 40 Camera 50 Pedestrian terminal 101 Position information management unit 102 Relative velocity calculation unit 103 Existence probability calculation unit 104 Collision probability calculation unit 105 Network information reception unit 106 Video relay unit 107 Label DB
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一実施形態に係る映像配信装置(10)は、自動運転を行う複数の車両(30)にそれぞれ搭載された複数のカメラ(31)の映像を端末(20)に配信する映像配信装置(10)であって、所定の時刻までに前記車両(30)が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部(104)と、前記複数のカメラ(31)の映像うち、前記衝突確率が最も高い車両(30)に搭載されたカメラ(31)の映像を選択する選択部と、前記選択されたカメラ(31)の映像の映像品質を高くする制御部と、を有することを特徴とする。
Description
本発明は、映像配信装置、映像配信方法及びプログラムに関する。
近年、トラクタ等の農機を対象として、自動運転レベル3(条件付き運転自動運転)の実用化が進められている。農機の自動運転レベル3の安全確保のためには、緊急停止や緊急操作等を行うための遠隔監視が義務付けられている。このため、遠隔監視時の問題点等に関して様々な検討が行われている(例えば、非特許文献1)。
自動運転レベル3では、監視者の利用するインタフェースを工夫したり、監視者を育成したりすることで、1人の監視者が2~3台の車両を監視することが予定されている(例えば、非特許文献2)。また、複数台の車両を監視している監視者が1台の車両に対して遠隔操作を行った場合には、当該監視者は他の車両の監視や操作が困難になるため、自動的に他の車両を安全に停止させ、遠隔操作が完了した後で他の車両を再発進させる機能が知られている(例えば、非特許文献3~5)。
「第3回 自動運転の段階的実現に向けた調査検討委員会 議事概要」,インターネット<URL:https://www.npa.go.jp/koutsuu/kikaku/jidounten/kentoiinkai/03/gijigaiyou.pdf>
「無人運転車に安心して乗車するために、遠隔から監視、操作するセンター開設 - MONOist(モノイスト)」,インターネット<URL:https://monoist.atmarkit.co.jp/mn/articles/1809/28/news063.html>
「1人で複数台の自動運転車を遠隔監視、福井県永平寺町で「世界初」の公道実証 - MONOist(モノイスト)」,インターネット<URL:https://monoist.atmarkit.co.jp/mn/articles/1811/16/news030.html>
「ラストマイル自動走行に関する新たな遠隔型実証実験を開始します ~遠隔ドライバー1 名が2 台の車両を運用する遠隔型自動運転の世界初の公道実証~」,インターネット<URL:https://wwwtb.mlit.go.jp/chubu/press/pdf/gian20181114.pdf>
「遠隔型自動運転システムの公道実証実験に係る道路使用許可の申請に対する取扱いの基準」,インターネット<URL:https://www.npa.go.jp/laws/notification/koutuu/kouki/290601koukih92.pdf>
しかしながら、従来技術又は手法では、1人の監視者が監視できる車両台数のスケール性に限界がある。すなわち、例えば、インタフェースの工夫や監視者の育成等では2~3台程度しか監視できないと考えられる。
一方で、例えば、圃場等で作業する複数台の農機を監視する場合、全ての農機を平等に監視する必要は必ずしもないと考えられる。例えば、何等かの物体(人、動物、他の農機等も含む)に衝突する可能性がある農機は特に注意して監視する必要がある一方で、そうでない農機は比較的監視を緩めても(又は監視しなくても)良いと考えられる。このため、監視対象の農機に軽重を付けたり、実際に監視する農機を選択したりすることで、農機台数のスケール性を向上させることができると考えられる。
本発明の一実施形態は、上記の点に鑑みてなされたもので、自動運転における監視対象車両の高いスケール性を実現することを目的とする。
上記目的を達成するため、一実施形態に係る映像配信装置は、自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置であって、所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部と、前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択部と、前記選択されたカメラの映像の映像品質を高くする制御部と、を有することを特徴とする。
自動運転における監視対象車両の高いスケール性を実現することができる。
以下、本発明の一実施形態について説明する。以降では、圃場等で自動運転する農機を監視対象車両として、これらの農機が搭載するカメラの映像を遠隔監視先に配信する際に、農機の衝突確率に応じて映像品質(解像度・フレームレート)を制御する映像配信システム1について説明する。より具体的には、何等かの物体(人、動物、他の農機等も含む)に衝突する確率が高い農機の映像は高い映像品質で配信し、何等かの物体に衝突する可能性が低い農機の映像は低い映像品質で配信する映像配信システム1について説明する。これにより、衝突確率が高い農機は鮮明な映像で監視され、そうでない農機は比較的鮮明でない映像で監視されることになり、監視者は、自身が監視する農機に軽重を付けることが可能となる。このため、監視者は多くの農機を監視することが可能となり、自動運転における監視対象車両である農機の台数に関して高いスケール性を実現することができるようになる。
[第一の実施形態]
まず、第一の実施形態について説明する。
まず、第一の実施形態について説明する。
<全体構成>
本実施形態に係る映像配信システム1の全体構成について、図1を参照しながら説明する。図1は、第一の実施形態に係る映像配信システム1の全体構成の一例を示す図である。
本実施形態に係る映像配信システム1の全体構成について、図1を参照しながら説明する。図1は、第一の実施形態に係る映像配信システム1の全体構成の一例を示す図である。
図1に示すように、本実施形態に係る映像配信システム1には、映像配信サーバ10と、監視者端末20と、1以上の農機30と、1以上のカメラ40とが含まれる。
映像配信サーバ10はエッジ又はクラウド上のシステム環境に設置されているサーバであり、農機30に搭載されたカメラの映像を監視者端末20に配信する。このとき、映像配信サーバ10は、各農機30の衝突確率に応じて各映像の映像品質を制御する。なお、エッジ又はクラウド上のシステム環境に対して、圃場及びその周囲のシステム環境をローカルと称する。
監視者端末20はローカルに対して遠隔地のシステム環境に設置された端末であり、自動運転する各農機30に搭載されたカメラの映像を監視する監視者が利用する。監視者は、監視者端末20に配信された映像を監視し、例えば、農機30が何等かの物体に衝突しそうな場合等に、緊急停止や緊急操作等の操作を行うオペレータ等である。
農機30は、例えば、予め設定された行動計画に従って自動運転する車両である。ここで、農機30には、農機30の前方(及びその周囲)を撮影するカメラ31と、農機30の現在位置を測位するためのGPS(Global Positioning System)受信機32とが搭載されている。農機30は、カメラ31により撮影された映像と、GPS受信機32により測位された現在位置を示す位置情報とを映像配信サーバ10に送信する。以降では、複数台の農機30の各々を区別する場合は「農機301」、「農機302」、「農機303」等と表す。また、農機301に搭載されているカメラ31及びGPS受信機32をそれぞれ「カメラ311」及び「GPS受信機321」、農機302に搭載されているカメラ31及びGPS受信機32をそれぞれ「カメラ312」及び「GPS受信機322」、農機303に搭載されているカメラ31及びGPS受信機32をそれぞれ「カメラ313」及び「GPS受信機323」等と表す。
なお、本実施形態では、農機30とは、車輪又はクローラ等の走行装置を備えた農業機械のことを意味するものとする。農機30の具体例としては、トラクタやコンバイン等が挙げられる。ただし、これらは一例であって、農機30には自動運転(自動走行又は自動航行)可能な任意の農業機械が含まれていてもよい。具体的には、農機30は、例えば、農業用のドローンや農業用の船舶等であってもよい。
カメラ40は、圃場内又はその周囲に設置された撮影装置である。カメラ40は、圃場やその周囲を撮影した映像を映像配信サーバ10に送信する。これにより、この映像から圃場及びその周囲に存在する物体(動物、人等)の位置情報を映像配信サーバ10で管理することが可能となる。以降では、カメラ31で撮影された映像とカメラ40で撮影された映像とを区別するため、カメラ31で撮影された映像を「監視用映像」、カメラ40で撮影された映像を「位置特定用映像」とも表す。
なお、図1に示す映像配信システム1の全体構成は一例であって、他の構成であってもよい。例えば、映像配信システム1には、複数の監視者端末20が含まれていてもよいし、複数のカメラ40が含まれていてもよい。映像配信システム1には、圃場及びその周囲を歩行する人が所持する歩行者端末50が含まれていてもよい。
映像配信システム1に歩行者端末50が含まれる場合、この歩行者端末50にGPS受信機が搭載されており、歩行者の現在位置を示す位置情報が映像配信サーバ10に送信されてもよい。これにより、各時刻における歩行者の位置情報を映像配信サーバ10で管理することができる。なお、歩行者端末50としては、例えば、スマートフォンやウェアラブルデバイス等を用いることが可能である。以降では、複数の人の各々を区別する場合は「人1」、「人2」、「人3」等と表す。
<ハードウェア構成>
次に、本実施形態に係る映像配信サーバ10のハードウェア構成について、図2を参照しながら説明する。図2は、第一の実施形態に係る映像配信サーバ10のハードウェア構成の一例を示す図である。
次に、本実施形態に係る映像配信サーバ10のハードウェア構成について、図2を参照しながら説明する。図2は、第一の実施形態に係る映像配信サーバ10のハードウェア構成の一例を示す図である。
図2に示すように、本実施形態に係る映像配信サーバ10は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置11と、表示装置12と、外部I/F13と、通信I/F14と、プロセッサ15と、メモリ装置16とを有する。これらの各ハードウェアは、それぞれがバス17を介して通信可能に接続されている。
入力装置11は、例えば、キーボードやマウス、タッチパネル等である。表示装置12は、例えば、ディスプレイ等である。なお、映像配信サーバ10は、入力装置11及び表示装置12のうちの少なくとも一方を有していなくてもよい。
外部I/F13は、記録媒体13a等の各種外部装置とのインタフェースである。映像配信サーバ10は、外部I/F13を介して、例えば、記録媒体13aの読み取りや書き込み等を行うことができる。なお、記録媒体13aには、例えば、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
通信I/F14は、映像配信サーバ10を通信ネットワークに接続するためのインタフェースである。プロセッサ15は、例えば、CPU(Central Processing Unit)等の各種演算装置である。メモリ装置16は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等の各種記憶装置である。
本実施形態に係る映像配信サーバ10は、図2に示すハードウェア構成を有することにより、後述する映像配信処理を実現することができる。なお、図2に示すハードウェア構成は一例であって、映像配信サーバ10は、他のハードウェア構成を有していてもよい。例えば、映像配信サーバ10は、複数のプロセッサ15を有していてもよいし、複数のメモリ装置16を有していてもよい。
<機能構成>
次に、本実施形態に係る映像配信サーバ10の機能構成について、図3を参照しながら説明する。図3は、第一の実施形態に係る映像配信サーバ10の機能構成の一例を示す図である。
次に、本実施形態に係る映像配信サーバ10の機能構成について、図3を参照しながら説明する。図3は、第一の実施形態に係る映像配信サーバ10の機能構成の一例を示す図である。
図3に示すように、本実施形態に係る映像配信サーバ10は、位置情報管理部101と、相対速度計算部102と、存在確率計算部103と、衝突確率計算部104と、ネットワーク情報受信部105と、映像中継部106とを有する。これら各部は、例えば、映像配信サーバ10にインストールされた1以上のプログラムがプロセッサ15に実行させる処理により実現される。
また、本実施形態に係る映像配信サーバ10は、ラベルDB107を有する。当該DBは、例えば、メモリ装置16により実現される。
位置情報管理部101は、各農機30及び各歩行者端末50から位置情報を受信すると共に、カメラ50から位置特定用映像を受信する。また、位置情報管理部101は、位置特定用映像から各物体(例えば、動物、人等)の位置を特定し、特定した位置を示す位置情報を生成する。各農機30及び各歩行者端末50から受信した位置情報と、位置特定用映像から特定した位置情報とは、例えば、時刻毎かつ物体(動物、人等)又は農機30毎にメモリ装置16等に保存される。このとき、歩行者端末50から受信した位置情報と、位置特定用映像から特定した位置情報とが同一の人の位置情報を表す場合には、これらの位置情報が同一人の位置情報としてメモリ装置16等に保存されることが好ましいが、異なる人の位置情報としてメモリ装置16等に保存されてもよい。なお、位置情報管理部101は、既知の物体認識技術等により位置特定用映像から各物体の位置を特定すればよい。また、位置情報は統一されていれば、例えば、緯度及び軽度等で表現される絶対位置座標であってもよいし、何等かの基準(例えば、或る特定の農機30や圃場内に設定された基準点等)から相対位置座標であってもよい。
相対速度計算部102は、各物体の位置情報とラベルDB107に格納されているラベル及び速度とを用いて、各物体(例えば、動物、人)と各農機30との相対速度を計算する。なお、ラベルとは物体の分類のことであり、後述するように、物体の速度(正確には速さ)はラベル毎に予め決められている。
存在確率計算部103は、各物体の位置情報とラベルDB107に格納されているラベル及び速度とを用いて、所定の時刻(例えば、農作業終了時刻等)までの所定の領域(例えば、圃場内等)における各物体(例えば、動物、人)の存在確率を計算する。なお、存在確率計算部103は、例えば、参考文献1「杉村 大輔,小林 貴訓,佐藤 洋一,杉本 晃宏,"行動履歴に基づく人物存在確率の利用による人物三次元追跡の安定化",情報処理学会論文誌 コンピュータビジョンとイメージメディア Vol. 1 No. 2 100-110(July 2008)」や参考文献2「田中 博己,高須 淳宏,山名 早人,"MAP推定を用いた歩行者の位置情報予測-POI推薦を目的として-",DENIM Forum 2018 H5-4」等に記載されている手法により、所定の時刻までの所定の領域における各物体の存在確率を計算すればよい。
衝突確率計算部104は、各物体の存在確率と、各物体のラベル毎に決められた係数とを用いて、所定の時刻までに各農機30がいずれかの物体と衝突する確率(衝突確率)を計算する。
ネットワーク情報受信部105は、映像配信サーバ10と各農機30との間の通信ネットワークの通信品質(例えば、通信帯域等)を受信する。なお、ネットワーク情報受信部105は、例えば、映像配信サーバ10と各農機30との間の通信ネットワークの通信品質を測定又は予測する外部の装置又は機器から通信品質を受信すればよい。ただし、例えば、ネットワーク情報受信部105が当該通信品質を測定又は予測してもよい。
映像中継部106は、各農機30の衝突確率に応じて、これら各農機30に搭載されているカメラ31の映像品質(解像度・フレームレート)を制御する。すなわち、映像中継部106は、衝突確率が高い農機30に搭載されているカメラ31を制御して、当該カメラ31の映像品質を高くする。一方で、映像中継部106は、映像配信サーバ10と監視者端末20との間の通信ネットワークの通信品質(例えば、通信帯域等)に応じて、他の農機30にそれぞれ搭載されているカメラ31を制御して、これらのカメラ31の映像品質を低くする。そして、映像中継部106は、各農機30から受信した監視用映像を監視者端末20に配信する。
ラベルDB107は、各農機30と各物体との相対速度の計算、各物体の存在確率の計算、各農機30の衝突確率の計算等に用いられる情報(ラベル、係数、速度)を格納する。ここで、ラベルDB107に格納されている情報の一例について、図4を参照しながら説明する。図4は、ラベルDB107の一例を示す図である。
図4に示すように、ラベルDB107には、ラベルと、係数aと、速度vとが対応付けて格納されている。また、ラベルには、大分類と小分類とが含まれる。ここで、係数aは農機30と衝突しても問題ないか否かを表し、a=1の場合は衝突してはいけないことを表し、a=0の場合は衝突しても問題ないことを表す。
例えば、大分類「人」及び小分類「子供」のラベルには、係数a=1と、速度v=3.6とが対応付けられている。同様に、大分類「人」及び小分類「大人」のラベルには、係数a=1と、速度v=4.5とが対応付けられている。同様に、大分類「動物」及び小分類「害獣」のラベルには、係数a=0と、速度v=8.0とが対応付けられている。大分類「動物」及び小分類「その他」のラベルには、係数a=1と、速度v=8.0とが対応付けられている。
このように、ラベルDB107には、物体の種類を表すラベル毎に、衝突可否を表す係数aと、予め決められた速度v(正確には速さ)とが対応付けて格納されている。
<映像配信処理>
次に、本実施形態に係る映像配信サーバ10が監視用映像を監視者端末20に配信するための映像配信処理について、図5を参照しながら説明する。図5は、第一の実施形態に係る映像配信処理の一例を示すフローチャートである。
次に、本実施形態に係る映像配信サーバ10が監視用映像を監視者端末20に配信するための映像配信処理について、図5を参照しながら説明する。図5は、第一の実施形態に係る映像配信処理の一例を示すフローチャートである。
まず、位置情報管理部101は、各農機30及び各物体(動物、人等)の現在時刻までの位置情報を取得する(ステップS101)。なお、位置情報管理部101は、例えば、メモリ装置16等から各農機30及び各物体の現在時刻までの位置情報を取得すればよい。
次に、位置情報管理部101は、各物体にそれぞれ対応するラベル、係数a及び速度vをラベルDB107から取得する(ステップS102)。すなわち、例えば、圃場及びその周囲に動物1~動物2及び人1~人3の物体が存在する場合、動物1のラベル「動物、害獣」、係数a=0及び速度v=8.0と、動物2のラベル「動物、害獣」、係数a=0及び速度v=8.0と、人1のラベル「人、大人」、係数a=1及び速度v=4.5と、人2のラベル「人、大人」、係数a=1及び速度v=4.5と、人3のラベル「人、大人」、係数a=1及び速度v=4.5とが取得される。
次に、存在確率計算部103は、各物体の位置情報とラベル及び速度とを用いて、所定の時刻までの所定の領域における各物体の存在確率を計算する(ステップS103)。上述したように、例えば、所定の時刻としては農作業終了時刻、所定の領域としては圃場内とすればよい。この場合、存在確率計算部103は、農作業終了時刻までの圃場内における各物体の存在確率を計算する。以降では、物体の総数をNとして、或る領域kにおけるj(j=1,・・・,N)番目の物体(以下、「物体j」という。)の存在確率をpkjと表す。なお、上述したように、存在確率の計算には既知の手法が用いられる。
ここで、或る物体jの存在確率pkjの計算結果の一例を図6に示す。図6に示す例では、物体jの周囲の領域1における存在確率はp1j=0.9、領域2における存在確率はp2j=0.1、領域1及び領域2以外の領域3(つまり、圃場内で、かつ、領域1及び領域2以外の領域)における存在確率はp3j=0となっている。これは、当該物体jが農作業終了時刻までに領域1にいる確率がp1j=0.9、農作業終了時刻までに領域2にいる確率がp3j=0.1、それ以外の領域3にいる確率はp3j=0であることを表している。
なお、図6に示す例では、領域1は物体jの周囲の円又は楕円状の領域、領域2はその外側の円環又は楕円環状の領域としたが、これに限られず、任意の形状の領域における存在確率が計算されてもよい。例えば、メッシュ等の矩形状の領域における存在確率が計算されてもよい。また、図6に示す例では、領域1と領域2と領域3の3つの領域における存在確率を計算したが、1つ以上の領域であれば任意の数の領域における存在確率が計算されてもよい。
以降のステップS104~ステップS112の処理は、監視用映像の配信が終了するまで(例えば、農作業終了時刻となるまで等)、所定の時間毎(例えば、1秒~数秒毎等)に繰り返し実行される。
相対速度計算部102は、各物体の位置情報とラベル及び速度(速さ)とを用いて、各物体と各農機30との相対速度を計算する(ステップS104)。例えば、図7に示すように、農機30iの速度ベクトルをVi、物体jの速度ベクトルをvj、農機30iに対する物体jの方向を表す角度をθij、速度ベクトルViのθij方向の成分をVij
a(つまり、Vij
a=Vicosθij)とすれば、農機30iと物体jとの相対速度Vijは、Vij=vj+Vij
aにより計算される。ここで、速度ベクトルvjは、物体jのラベルに対応する速度(速さ)で、かつ、物体jから農機30iへの方向のベクトルである。
このように、相対速度計算部102は、各物体が、当該物体のラベルに対応する速さで、最短距離で各農機30に向かうものとして相対速度を計算する。これは、後述するように、衝突確率を計算する際に、相対速度が速いほど、衝突確率の計算に用いる存在確率の数が多くなるためである。つまり、各物体は、各農機30との衝突確率が最も高くなる方向に移動するものとしている。
次に、衝突確率計算部104は、各物体の存在確率と、各物体のラベル毎に決められた係数とを用いて、所定の時刻(つまり、本実施形態では、農作業終了時刻)までに各農機30がいずれかの物体と衝突する確率(衝突確率)を計算する(ステップS105)。農機30の総数をM、物体jのラベルに対応する係数をaj、物体jに対する農機30iの周囲の所定の領域をDij、領域Dijにおける物体jの存在確率をqjとして、農作業終了時刻までに農機30i(i=1,・・・,M)がいずれかの物体と衝突する衝突確率Piは、
ここで、上記の領域Dijは、農機30iと物体jとの相対速度Vijに応じて決定される。例えば、領域Dijは、農機30iを中心として、dij=d'ij+d'を半径とする円形領域とすればよい。d'[m]は監視者が監視用映像から物体を確認するために必要な距離であり、予め決められた値(例えば、5[m]等)とする。一方で、d'ij[m]は農機30iを停止させるために必要な距離であり、d'ij=tr×Vij×(1000/3600)+(Vi
2/(256×μ))により算出される。なお、trは反応時間(つまり、農機30の停止の必要性を監視者が認識してから停止操作を行い当該農機30が制御されるまでに要する時間[s])、μは摩擦係数である。
なお、本実施形態では、各農機30は予め決定された行動計画に従って移動しているため、農機30同士が衝突することはないものとしたが、農機30同士の衝突も考慮して衝突確率が計算されてもよい。この場合、上記のステップS103で各農機30の存在確率を計算した上で、これらの存在確率も用いて各農機30の衝突確率を計算すればよい。
次に、映像中継部106は、各農機30の衝突確率Piと、ネットワーク情報受信部105が受信した通信品質とを用いて、高い映像品質で配信する監視用映像を選択すると共に、当該選択した監視用映像を送信する農機30の通信帯域を決定する(ステップS106)。すなわち、映像中継部106は、衝突確率Piが最も高い農機30iの監視用映像を高い映像品質で配信する監視用映像に選択し、この監視用映像を農機30が送信する際の通信帯域を、予め決められたより高い通信帯域に決定する。なお、映像中継部106は、例えば、高い映像品質で配信する監視用映像を選択する選択部と、より高い通信帯域に決定する制御部又は決定部とに分けることができてもよい。
このとき、必要に応じて、当該監視用映像以外の他の監視用映像の映像品質を下げると共に、当該他の監視用映像を農機30が送信する際の通信帯域を、予め決められたより低い通信帯域に決定してもよい。例えば、ネットワーク情報受信部105が受信した通信品質を用いて当該他の監視用映像の映像品質を下げる必要があるか否かを判定し、この判定結果に応じて当該他の監視用映像の映像品質を下げると決定すると共に、当該他の監視用映像を農機30が送信する際の通信帯域をより低い通信帯域に決定してもよい。
なお、衝突確率Piが最も高い農機30iが複数台存在する場合、映像中継部106は、これら複数台の農機30iの監視用映像を高い映像品質で配信すると選択し、その通信帯域をより高い通信帯域に決定してもよい。一方で、P1=・・・=PM=0である場合は、本ステップの処理は行われない。
次に、映像中継部106は、Pmax=0であるか否かを判定する(ステップS107)。ここで、Pmaxは、{P1,・・・,PM}の最大値である。
上記のステップS107でPmax=0であると判定されなかった場合、映像中継部106は、上記のステップS106で決定した通信帯域に応じて、各農機30のカメラ31の映像品質(解像度・フレームレート)を変更する(ステップS108)。例えば、上記のステップS106において、或る農機30が監視用映像を送信する際の通信帯域が800Mbpsと決定された場合、映像中継部106は、800Mbpsで遅延なく監視用映像が受信可能で、かつ、最も高い映像品質となるように、当該農機30のカメラ31の映像品質を変更する。これにより、上記のステップS106でより高い通信帯域に決定された農機30のカメラ31はより高い映像品質に変更され、上記のステップS106でより低い通信帯域に決定された農機30のカメラ31はより低い映像品質に変更される。このように、何等かの物体と衝突する確率が高い農機30の映像品質を高くすることで、例えば、衝突対象の物体の大きさや色等の関係により通常の映像品質では監視用映像上で確認が困難な場合であっても、高い映像品質の監視用映像により監視者が容易に衝突対象を確認することができるようになる。
次に、映像中継部106は、衝突確率Piが最も高い農機30iの監視用映像を監視者端末20に配信する(ステップS109)。これにより、農作業終了時刻までに何等かの物体(より正確には、係数ajが0でない物体j)と衝突する確率の最も高い農機30の監視用映像が監視者端末20に配信される。
ただし、映像中継部106は、衝突確率Piが最も高い農機30の監視用映像だけでなく、他の農機30の監視用映像も監視者端末20に配信してもよい。このとき、例えば、監視者端末20側では、衝突確率が最も高い農機30の監視用映像のみを表示してもよいし、衝突確率が高い順に上位L(Lは予め決められた2以上の整数)個の監視用映像のみを表示してもよいし、複数の監視用映像を表示すると共に衝突確率が最も高い農機30の監視用映像のみを異なる態様(例えば、注意喚起を促すような態様)で表示してもよい。
一方で、上記のステップS107でPmax=0であると判定された場合、映像中継部106は、各農機30(つまり、農機301,・・・,農機30M)のカメラ31の映像品質(解像度・フレームレート)を同一に変更する(ステップS110)。この場合、全ての農機30は物体(係数ajが0でない物体j)と衝突しないためである。
次に、映像中継部106は、各農機30(つまり、農機301,・・・,農機30M)の監視用映像の中から1つの監視用映像をランダムに選択し、選択した監視用映像を監視者端末20に配信する(ステップS111)。これにより、ランダムに選択された1つの監視用映像のみが監視者端末20に配信される。なお、このとき、複数個の監視用映像がランダムに選択されてもよい。
ステップS109又はステップS111に続いて、映像中継部106は、監視用映像の配信を終了するか否かを判定する(ステップS112)。なお、映像中継部106は、例えば、農作業終了時刻になった場合や予め決められた配信終了時刻になった場合等に、監視用映像の配信を終了すると判定すればよい。これにより、監視用映像の配信を終了するまで、上記のステップS104~ステップS111が所定の時間毎に繰り返し実行される。
[第二の実施形態]
次に、第二の実施形態について説明する。なお、第二の実施形態では、映像配信処理の流れのみが第一の実施形態と異なる。
次に、第二の実施形態について説明する。なお、第二の実施形態では、映像配信処理の流れのみが第一の実施形態と異なる。
<映像配信処理>
本実施形態に係る映像配信サーバ10が監視用映像を監視者端末20に配信するための映像配信処理について、図8を参照しながら説明する。図8は、第二の実施形態に係る映像配信処理の一例を示すフローチャートである。
本実施形態に係る映像配信サーバ10が監視用映像を監視者端末20に配信するための映像配信処理について、図8を参照しながら説明する。図8は、第二の実施形態に係る映像配信処理の一例を示すフローチャートである。
図8に示す映像配信処理では、所定の時間毎(例えば、1秒~数秒毎等)に、ステップS201~ステップS212の処理が繰り返し実行される。なお、ステップS201~ステップS212の処理内容は、図3のステップS101~ステップS112の処理内容とそれぞれ同様である。
このように、第二の実施形態では、位置情報の取得(ステップS201)と存在確率の計算(ステップS202)も所定の時間毎に繰り返し実行される。これにより、映像配信サーバ10の計算量は多くなるものの、衝突確率を計算する際に存在確率が都度計算されるため、第一の実施形態よりも高い精度で衝突確率を計算することが可能となる。
<まとめ>
以上のように、第一及び第二の実施形態に係る映像配信システム1は、農機30が何からの物体(係数ajが0でない物体j)と衝突する確率(衝突確率)を計算した上で、この衝突確率が高い農機30の映像を選択する。これにより、この選択された映像の映像品質を高くしたり、選択された映像のみを監視者端末20に配信したりすることが可能となり、選択された映像のみを異なる表示態様で監視者端末20に表示させたりすることが可能となる。このため、農機30を監視する際の監視者の監視負担が削減又は軽減され、1人の監視者でより多くの農機30を監視することが可能なる。すなわち、自動運転における監視対象車両の台数に関して高いスケール性を実現することが可能となる。
以上のように、第一及び第二の実施形態に係る映像配信システム1は、農機30が何からの物体(係数ajが0でない物体j)と衝突する確率(衝突確率)を計算した上で、この衝突確率が高い農機30の映像を選択する。これにより、この選択された映像の映像品質を高くしたり、選択された映像のみを監視者端末20に配信したりすることが可能となり、選択された映像のみを異なる表示態様で監視者端末20に表示させたりすることが可能となる。このため、農機30を監視する際の監視者の監視負担が削減又は軽減され、1人の監視者でより多くの農機30を監視することが可能なる。すなわち、自動運転における監視対象車両の台数に関して高いスケール性を実現することが可能となる。
本発明は、具体的に開示された上記の各実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
1 映像配信システム
10 映像配信サーバ
11 入力装置
12 表示装置
13 外部I/F
13a 記録媒体
14 通信I/F
15 プロセッサ
16 メモリ装置
17 バス
20 監視者端末
30 農機
31 カメラ
32 GPS受信機
40 カメラ
50 歩行者端末
101 位置情報管理部
102 相対速度計算部
103 存在確率計算部
104 衝突確率計算部
105 ネットワーク情報受信部
106 映像中継部
107 ラベルDB
10 映像配信サーバ
11 入力装置
12 表示装置
13 外部I/F
13a 記録媒体
14 通信I/F
15 プロセッサ
16 メモリ装置
17 バス
20 監視者端末
30 農機
31 カメラ
32 GPS受信機
40 カメラ
50 歩行者端末
101 位置情報管理部
102 相対速度計算部
103 存在確率計算部
104 衝突確率計算部
105 ネットワーク情報受信部
106 映像中継部
107 ラベルDB
Claims (8)
- 自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置であって、
所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部と、
前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択部と、
前記選択されたカメラの映像の映像品質を高くする制御部と、
を有することを特徴とする映像配信装置。 - 前記制御部は、
前記複数のカメラの映像のうち、前記選択されたカメラの映像を前記端末に配信するように制御する、請求項1に記載の映像配信装置。 - 前記制御部は、
前記車両との間の通信ネットワークの通信品質に応じて、前記選択されたカメラの映像以外の映像の映像品質を低くする、ことを特徴とする請求項1又は2に記載の映像配信装置。 - 前記所定の時刻までに所定の領域に前記物体が存在する確率を示す存在確率を計算する存在確率計算部を有し、
前記衝突確率計算部は、
前記物体の種類毎に予め決められた衝突可否を用いて、前記車両毎に、前記衝突確率を計算する、ことを特徴とする請求項1乃至3の何れか一項に記載の映像配信装置。 - 前記衝突確率計算部は、
前記物体の衝突可否が衝突可である場合は、前記物体の存在確率を考慮せずに前記衝突確率を計算し、
前記物体の衝突可否が衝突不可である場合は、前記物体の存在確率を考慮した前記衝突確率を計算する、ことを特徴とする請求項4に記載の映像配信装置。 - 前記映像配信装置は、
前記衝突確率計算部によって前記衝突確率を計算する都度、前記存在確率計算部によって前記存在確率を計算する、ことを特徴とする請求項4又は5に記載の映像配信装置。 - 自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置が、
所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算手順と、
前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択手順と、
前記選択されたカメラの映像の映像品質を高くする制御手順と、
を実行することを特徴とする映像配信方法。 - コンピュータを、請求項1乃至6の何れか一項に記載の映像配信装置として機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022514954A JP7416219B2 (ja) | 2020-04-16 | 2020-04-16 | 映像配信装置、映像配信方法及びプログラム |
US17/919,116 US20230169862A1 (en) | 2020-04-16 | 2020-04-16 | Video distribution apparatus, video distribution method and program |
PCT/JP2020/016732 WO2021210134A1 (ja) | 2020-04-16 | 2020-04-16 | 映像配信装置、映像配信方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/016732 WO2021210134A1 (ja) | 2020-04-16 | 2020-04-16 | 映像配信装置、映像配信方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021210134A1 true WO2021210134A1 (ja) | 2021-10-21 |
Family
ID=78084158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/016732 WO2021210134A1 (ja) | 2020-04-16 | 2020-04-16 | 映像配信装置、映像配信方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230169862A1 (ja) |
JP (1) | JP7416219B2 (ja) |
WO (1) | WO2021210134A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170768A1 (ja) * | 2022-03-08 | 2023-09-14 | 日本電気株式会社 | 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009094885A (ja) * | 2007-10-10 | 2009-04-30 | Victor Co Of Japan Ltd | 無線装置および接続方法 |
JP2009239673A (ja) * | 2008-03-27 | 2009-10-15 | Mitsubishi Motors Corp | 車両用モニタリング装置 |
WO2013118191A1 (ja) * | 2012-02-10 | 2013-08-15 | 三菱電機株式会社 | 運転支援装置及び運転支援方法 |
JP2018074286A (ja) * | 2016-10-26 | 2018-05-10 | 三菱自動車工業株式会社 | 運転支援装置 |
WO2018167891A1 (ja) * | 2017-03-15 | 2018-09-20 | 三菱電機株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2019008796A (ja) * | 2017-06-23 | 2019-01-17 | ウーバー テクノロジーズ,インコーポレイテッド | 自律可能車両用衝突回避システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6779835B2 (ja) * | 2017-06-15 | 2020-11-04 | 株式会社日立製作所 | 監視制御システム、監視制御装置及び監視制御方法 |
US20220277164A1 (en) * | 2021-02-26 | 2022-09-01 | Qualcomm Incorporated | Technologies for image signal processing and video processing |
-
2020
- 2020-04-16 WO PCT/JP2020/016732 patent/WO2021210134A1/ja active Application Filing
- 2020-04-16 US US17/919,116 patent/US20230169862A1/en active Pending
- 2020-04-16 JP JP2022514954A patent/JP7416219B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009094885A (ja) * | 2007-10-10 | 2009-04-30 | Victor Co Of Japan Ltd | 無線装置および接続方法 |
JP2009239673A (ja) * | 2008-03-27 | 2009-10-15 | Mitsubishi Motors Corp | 車両用モニタリング装置 |
WO2013118191A1 (ja) * | 2012-02-10 | 2013-08-15 | 三菱電機株式会社 | 運転支援装置及び運転支援方法 |
JP2018074286A (ja) * | 2016-10-26 | 2018-05-10 | 三菱自動車工業株式会社 | 運転支援装置 |
WO2018167891A1 (ja) * | 2017-03-15 | 2018-09-20 | 三菱電機株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2019008796A (ja) * | 2017-06-23 | 2019-01-17 | ウーバー テクノロジーズ,インコーポレイテッド | 自律可能車両用衝突回避システム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170768A1 (ja) * | 2022-03-08 | 2023-09-14 | 日本電気株式会社 | 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20230169862A1 (en) | 2023-06-01 |
JP7416219B2 (ja) | 2024-01-17 |
JPWO2021210134A1 (ja) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200369271A1 (en) | Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same | |
US11449073B2 (en) | Shared vehicle obstacle data | |
US10909628B1 (en) | Accident fault determination implementing unmanned aerial vehicles (UAVS) | |
CN113366497B (zh) | 自主载具的智能体优先级划分 | |
EP3602220B1 (en) | Dynamic sensor selection for self-driving vehicles | |
EP2444919B1 (en) | Method and apparatus for generating alerts | |
US11783568B2 (en) | Object classification using extra-regional context | |
EP3460406A1 (en) | Information processing apparatus, vehicle, information processing method, running control method, and map updating method | |
JP7355877B2 (ja) | 車路協同自動運転の制御方法、装置、電子機器及び車両 | |
US8818043B2 (en) | Traffic signal mapping and detection | |
US10849543B2 (en) | Focus-based tagging of sensor data | |
WO2017079301A1 (en) | Calibration for autonomous vehicle operation | |
DE102019122400A1 (de) | Prognostizieren einer bewegungsabsicht von objekten | |
US11269327B2 (en) | Picking up and dropping off passengers at an airport using an autonomous vehicle | |
CN110959143A (zh) | 信息处理装置、信息处理方法、程序和移动体 | |
US20230045416A1 (en) | Information processing device, information processing method, and information processing program | |
WO2020203241A1 (ja) | 情報処理方法、プログラム、及び、情報処理装置 | |
EP3690845A1 (en) | Method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion and server using the same | |
WO2021210134A1 (ja) | 映像配信装置、映像配信方法及びプログラム | |
US20220377283A1 (en) | Image data collecting apparatus, method, and program | |
US20230373503A1 (en) | Vehicle controller, method and computer program for vehicle control, priority setting device, and vehicle control system | |
US20230322252A1 (en) | True vision autonomous mobile system | |
US20220309848A1 (en) | Signal processing device, signal processing method, program, and imaging device | |
US20240217529A1 (en) | Failover handling in autonomous vehicles | |
JPWO2020116204A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20931421 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022514954 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20931421 Country of ref document: EP Kind code of ref document: A1 |